CN110771152B - 复眼摄像装置、图像处理方法以及记录介质 - Google Patents

复眼摄像装置、图像处理方法以及记录介质 Download PDF

Info

Publication number
CN110771152B
CN110771152B CN201780092291.3A CN201780092291A CN110771152B CN 110771152 B CN110771152 B CN 110771152B CN 201780092291 A CN201780092291 A CN 201780092291A CN 110771152 B CN110771152 B CN 110771152B
Authority
CN
China
Prior art keywords
resolution
image
imaging
low
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780092291.3A
Other languages
English (en)
Other versions
CN110771152A (zh
Inventor
栗原康平
丰田善隆
铃木大祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110771152A publication Critical patent/CN110771152A/zh
Application granted granted Critical
Publication of CN110771152B publication Critical patent/CN110771152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

使视场彼此相同的图像成像于高分辨率摄像区域(15a)和多个低分辨率摄像区域(15b、15c、…)。在摄像区域间设置光学滤波器(13a、13b、…)，以得到表示不同种类的信息的图像。能够取得多个彼此不同种类的信息，而且能够在高分辨率摄像区域(15a)中取得优先级高的信息。还能够使用在高分辨率摄像区域中取得的图像的高分辨率成分，使在低分辨率摄像区域(15b、15c、…)中取得的图像高分辨率化(30)。

Description

复眼摄像装置、图像处理方法以及记录介质
技术领域
本发明涉及摄像机装置、复眼摄像装置以及图像处理方法。
本发明特别涉及使相同视场的图像成像于多个摄像区域，在多个摄像区域中取得表示不同种类的信息的多个图像的摄像机装置。本发明还涉及具有处理器的复眼成像装置，该处理器对由上述摄像机装置取得的多个图像进行高分辨率化。本发明还涉及由上述复眼摄像装置实施的图像处理方法。
本发明还涉及使计算机执行上述复眼摄像装置或图像处理方法中的处理的程序以及记录有该程序的记录介质。
背景技术
近年来，对摄像装置的要求越来越多样化，例如，不仅期望取得RGB可见图像，还期望取得附加的信息。特别是对于近红外光，由于其对大气光的透射率高且不可见的特征而适于监视、被摄体识别等，在监视用摄像机、车载用摄像机等领域受到关注。另外，仅从特定偏振方向的光得到的图像在窗玻璃、路面等上的反射光的去除以及黑色的物体、透明的物体等难以看到的物体的识别中是有用的，在车载用摄像机、FA(factory automation：工厂自动化)中使用的检查用摄像机的领域受到关注。
这些异种信息以往一般是作为通常的彩色图像的替代品而取得的。作为同时取得彩色图像和异种信息的最简单的方法，有排列多台摄像机的摄像机阵列，但存在需要准确地进行摄像机定位这一点和装置大型化、设置成本和维持成本增大这样的课题。
另外，近年来还出现RGB-X传感器，即通过在滤色器阵列中设置仅透射近红外光的滤波器等而能够同时取得异种信息的传感器。但是，这样的传感器在设计开发上需要很多成本和时间，在制造方面也存在很多问题。
作为解决这些问题的小型装置，提出了将摄像元件分割成多个摄像区域，使图像分别成像于多个摄像区域的装置(专利文献1)。在该装置中，通过对多个摄像区域设置不同的光学滤波器，能够同时取得异种信息。专利文献1的装置能够通过在一个摄像元件上配置透镜阵列来制造，具有容易小型化的优点。
现有技术文献
专利文献
专利文献1：日本特开2001-61109号公报(第0061、0064段)
发明内容
发明要解决的课题
在专利文献1的装置中，能够通过分割摄像元件从一个摄像元件同时取得多个图像，但存在如下问题：摄像区域越增加，每一个摄像区域的像素数即分辨率越降低。
本发明正是为了解决上述问题而完成的，本发明的目的在于提供一种复眼摄像机，能够取得多个种类彼此不同的信息，并且能够高分辨率地取得优先级高的信息。
用于解决课题的手段
本发明的摄像机装置具有：
多个摄像区域；
多个透镜，它们使视场彼此相同的图像成像于所述多个摄像区域；
以及多个光学滤波器，
所述多个摄像区域包含至少一个第1种摄像区域和面积比所述第1种摄像区域小且像素数比所述第1种摄像区域少的多个第2种摄像区域，
所述多个光学滤波器被设置成在各个所述第2种摄像区域中取得的图像表示与在各个所述第1种摄像区域中取得的图像不同种类的信息。
本发明的复眼摄像装置具有上述摄像机装置以及具备至少一个高分辨率化部的处理器，
所述至少一个高分辨率化部接收在所述第1种摄像区域的任意摄像区域中取得的图像作为参照图像，接收在所述第2种摄像区域的任意摄像区域中取得的图像作为低分辨率图像，使用所述参照图像中包含的高分辨率成分使该低分辨率图像高分辨率化，生成高分辨率图像。
发明效果
根据本发明的摄像机装置，由于摄像机装置具有多个摄像区域，因此，能够取得表示多个种类彼此不同的信息的图像。另外，由于多个摄像区域包含至少一个第1种摄像区域和面积比第1种摄像区域小且像素数比第1种摄像区域少的多个第2种摄像区域，因此，通过对多个种类彼此不同的信息中的优先级高的信息即更强烈地期望高分辨率地取得的图像分配比较大的摄像区域，能够高分辨率地取得这样的图像。
根据本发明的复眼摄像装置，通过高分辨率化部进行低分辨率图像的高分辨率化，因此，即使摄像区域比较小，也能够得到高分辨率的图像。
附图说明
图1的(a)是示出构成本发明的实施方式1的摄像机装置的复眼摄像机的结构的分解立体图，图1的(b)是示出由上述的复眼摄像机取得的图像的大小的图。
图2的(a)～(d)是示出图1的(a)的复眼摄像机的摄像元件的摄像面的分割方法的不同例子的示意图。
图3的(a)和(b)是示出图1的(a)的复眼摄像机的摄像元件的摄像面的分割方法的不同例子的示意图。
图4是示出本发明的实施方式2的复眼摄像装置的框图。
图5是示出在实施方式2中使用的高分辨率化部的一例的框图。
图6是示出在实施方式2中使用的高分辨率化部的另一例的框图。
图7是示出在实施方式2中使用的处理器的另一例的框图。
图8是示出在实施方式2中使用的处理器的另一例的框图。
图9是示出在本发明的实施方式3中使用的处理器的一例的框图。
图10是示出在实施方式3中使用的合成部的一例的框图。
图11是示出在实施方式3中使用的处理器的另一例的框图。
图12是示出在本发明的实施方式4中使用的处理器的框图。
图13是示出实施方式4的处理器对图像信息的插值的例子的图。
图14是示出在本发明的实施方式5中使用的处理器的框图。
图15是示出本发明的实施方式6的复眼摄像装置的框图
图16是示出实施方式6的复眼摄像机和单眼摄像机的结构的分解立体图。
图17的(a)和(b)是示出图16的复眼摄像机的摄像元件的摄像面的分割方法的一例的示意图。
图18是示出本发明的实施方式7的图像处理方法中的处理过程的流程图。
具体实施方式
实施方式1
图1的(a)是示出本发明的实施方式1的摄像机装置1的概要的分解立体图。
图1的(a)所示的摄像机装置1由复眼摄像机10构成。复眼摄像机10具有摄像元件11、透镜阵列12、滤波器阵列13和分隔壁14。
摄像元件11具有矩形的摄像面11a，该摄像面11a例如如图2的(a)所示，被分割成多个矩形的摄像区域15a～15f。
透镜阵列12包含与各个摄像区域15a、15b对应地设置的多个透镜12a、12b、…。由多个透镜12a、12b、…构成透镜组。
透镜12a、12b、…构成为视场彼此相同的图像成像于各自对应的摄像区域15a、15b、…。
为了使视场相同的图像成像于大小不同的摄像区域，例如，对应于更大的摄像区域的透镜具有更长的焦距。
滤波器阵列13包含分别对多个摄像区域中的一个以上的摄像区域设置的光学滤波器13a、13b、…。
分隔壁14设置在摄像区域15a、15b、…相互间，防止来自对应的透镜以外的透镜的光入射到各摄像区域。
优选的是，摄像元件11是能够按照每个像素将得到的图像信号向外部读出的CMOS构造或CCD构造的传感器。为了便于分割，优选不产生像流的全局快门(同时曝光一起读出)方式的摄像元件。
将摄像区域中的最大的摄像区域即像素数最多的摄像区域15a称作高分辨率摄像区域，将除此以外的摄像区域15b、15c、…称作低分辨率摄像区域。在图2的(a)所示的例子中，摄像面11a为正方形(纵向的像素数和横向的像素数相同)，摄像区域15a～15f也为正方形，摄像区域15b～15f具有彼此相同的大小，因此具有相同的像素数，摄像区域15a的纵向和横向尺寸相对于各摄像区域15b～15f均为2倍。
高分辨率摄像区域15a的纵向和横向的像素数相对于各低分辨率摄像区域15b、15c、…为2倍，因此，如图1的(b)所示，在高分辨率摄像区域中得到的图像(高分辨率图像)D0相对于在各低分辨率摄像区域中得到的图像(低分辨率图像)D1具有4倍的大小(像素数)。
如上所述，高分辨率摄像区域和低分辨率摄像区域是分辨率彼此不同的摄像区域，前者的分辨率高。为了加以区分，有时将前者称作第1种摄像区域，将后者称作第2种摄像区域。
构成滤波器阵列13的光学滤波器13a、13b、…包含光学特性不同的光学滤波器，由此，能够从各个摄像区域得到种类彼此不同的信息(表示不同种类的信息的图像)。
例如，在摄像区域15a、15b、…中的一个以上的摄像区域设置具有彼此不同的光学特性的光学滤波器13a、13b、…，由此，按照每个摄像区域取得表示不同种类的信息的图像。
作为具有不同光学特性的光学滤波器，例如使用分光滤波器、偏振滤波器以及ND滤波器(Neutral Density Filter：中性密度滤波器)中的至少一个滤波器，通过使用它们，按照每个摄像区域取得基于不同波段的光的图像、基于不同偏振方向的光的图像以及基于不同曝光量下的摄像的图像。
这些光学滤波器可以单独使用，也可以组合使用。
上述的“基于不同波段的光的图像”是指通过对特定波段的光进行光电转换而得到的图像，“基于不同偏振方向的光的图像”是指通过对特定偏振方向的光进行光电转换而得到的图像。
例如，也可以针对高分辨率摄像区域15a设置透射率高的G(绿)透射滤波器、红外光截止滤波器或补色系的光学滤波器，或者也可以不设置光学滤波器(设为单色区域)。
补色系的光学滤波器一般透光率高，因此在这一点上优选。
这里，不设置光学滤波器是指不设置以取得不同种类的图像为目的的光学滤波器，也可以设置其他目的的光学滤波器。
另外，根据透镜设计，对高分辨率摄像区域设置的透镜的开口比低分辨率摄像区域大，因此，有时在高分辨率摄像区域中曝光量变大。如果对高分辨率摄像区域设置ND滤波器那样的减少透射光量的光学滤波器，则能够使得在高分辨率摄像区域和低分辨率摄像区域中曝光量的差异不会变大，能够消除高分辨率摄像区域的曝光量饱和和低分辨率摄像区域的曝光量不足。
将摄像面11a分割成摄像区域的方法不限于图2的(a)的例子。
摄像区域越大，得到的图像的分辨率越高。另一方面，如果增加摄像区域的数量，则能够增加不同光学特性的滤波器或不同光学特性的滤波器的不同组合的数量，因此，能够增加由摄像元件11得到的信息的种类。
图2的(b)～(d)以及图3的(a)和(b)示出与图2的(a)不同的分割方法。
在图2的(b)的例子中，摄像面11a为长方形，纵向的尺寸与横向的尺寸之比为3：4，摄像面11a被分割成一个高分辨率摄像区域15a和3个低分辨率摄像区域15b～15d。这些摄像区域15a～15d分别为正方形。在摄像面11a中的占左侧1/4的带状部分沿纵向依次排列有低分辨率摄像区域15b～15d，在其余的部分配置有高分辨率摄像区域15a。
位于纵向的中央的低分辨率摄像区域15c的中心和高分辨率摄像区域15a的中心沿横向排列。如果采用这样的配置，则通过利用由在低分辨率摄像区域15c中得到的图像与在高分辨率摄像区域15a中得到的图像的视差引起的位置偏移来进行立体匹配，能够取得进深信息。
在图2的(c)和(d)以及图3的(a)和(b)的例子中，摄像面11a和摄像区域15a、15b、…均为正方形。
在图2的(c)的例子中，摄像面11a被分割成1个高分辨率摄像区域15a和7个低分辨率摄像区域15b～15h。具体而言，在摄像面11a中的占左侧1/4的带状部分和占下侧1/4的带状部分排列低分辨率摄像区域15b～15h，在其余的部分配置高分辨率摄像区域15a。
图2的(c)的摄像面11a比图2的(a)的摄像面11a大，图2的(c)的高分辨率摄像区域15a比图2的(a)的高分辨率摄像区域15a大，能够取得分辨率更高的图像D0。另外，在左侧的带状部分中，位于上数第二位的低分辨率摄像区域15c的中心和高分辨率摄像区域15a的中心沿横向排列，另外，在下侧的带状部分中，位于右数第二位的低分辨率摄像区域15g的中心和高分辨率摄像区域15a的中心沿纵向排列，通过实施多视点立体匹配，能够在横向和纵向双方取得高精度的进深信息。
在图2的(d)的例子中，摄像面11a被分割成1个高分辨率摄像区域15a和12个低分辨率摄像区域15b～15m。具体而言，在摄像面11a中的占左侧1/4的带状部分、占下侧1/4的带状部分、占右侧1/4的带状部分以及占上侧1/4的带状部分，沿纵向依次排列低分辨率摄像区域15b～15m，在其余的部分配置高分辨率摄像区域15a。
在图2的(c)的例子和图2的(d)的例子中，如果摄像面11a的大小相同，则图2的(d)的高分辨率摄像区域15a比图2的(c)的高分辨率摄像区域15a小。取而代之，设置有更多的低分辨率摄像区域15b～15m，能够取得更多的具有种类彼此不同的信息的图像D1。
另外，在图3的(a)的例子中，摄像区域具有多个高分辨率摄像区域和多个低分辨率摄像区域。具体而言，摄像面11a被分割成3个高分辨率摄像区域15a～15c和4个低分辨率摄像区域15d～15g。
为了进行这样的分割，摄像面11a在纵向和横向上分别被分成两个，在左上、右上以及右下的各1/4的部分配置有高分辨率摄像区域15a～15c。并且，左下的1/4的部分在纵向和横向上分别被分成2个，在各个分割区域中构成4个低分辨率摄像区域15d～15g。
图3的(a)的例子例如能够用于在高分辨率摄像区域15a～15c中取得作为基本的颜色信息的RGB信息，在低分辨率摄像区域15d～15g中取得其他窄带的波长信息或者偏振信息等。由此，能够取得色调更自然且具有颜色信息的高分辨率的图像。另外，要想在高分辨率摄像区域15a～15c取得RGB信息，只要在高分辨率摄像区域15a～15c设置R透射滤波器、G透射滤波器、B透射滤波器即可。同样地，要想取得窄带的波长信息，只要设置窄带透射滤波器即可，要想取得特定方向的偏振信息，只要设置透射该方向的偏振成分而使其他方向的偏振成分衰减的光学滤波器即可。
在图3的(b)的例子中，摄像区域除了高分辨率摄像区域15a以外，还包含大小彼此不同的2种摄像区域。即，第2组摄像区域15j～15y各自的纵向和横向的尺寸相对于第1组摄像区域15b～15i为1/2。
为了加以区分，有时将第1组摄像区域15b～15i称作中间分辨率摄像区域，将第2组摄像区域15j～15y称作低分辨率摄像区域。
另外，由于第1组摄像区域15b～15i和第2组摄像区域15j～15y的分辨率比高分辨率摄像区域15a低，因此，有时也将它们统称作低分辨率摄像区域。
以下详细说明图3的(b)的结构中的摄像区域的配置。即，摄像面11a在纵向和横向上分别被分成2个，在右上的1/4的部分配置有高分辨率摄像区域15a。左上的1/4的部分在纵向和横向上分别被分成2个，在各个分割区域中构成4个低分辨率摄像区域15b～15e。另外，右下的1/4的部分在纵向和横向上分别被分成2个，在各个分割区域中构成4个低分辨率摄像区域15f～15i。并且，左下的1/4的部分在纵向和横向上分别被分成4个，在各个分割区域中构成16个低分辨率摄像区域15j～15y。
这样，通过具有多个摄像区域，能够取得许多不同种类的信息。另外，由于作为高分辨率摄像区域以外的摄像区域具有不同大小的摄像区域，因此，能够根据信息的种类分配不同大小的摄像区域。
例如在要取得由多个窄带图像构成的多谱图像的情况下，将比较小的摄像区域(低分辨率摄像区域)15j～15y中的一个以上的摄像区域分别分配给窄带的图像，对它们设置窄带的带通滤波器，另一方面，对基本的RGB的颜色信息、近红外信息、偏振信息等要求分辨率也高到一定程度的信息分配比较大的摄像区域(中间分辨率摄像区域)15b～15e中的一个以上的摄像区域，只要对它们设置用于取得各个信息的光学滤波器即可。
如上所述，在图2的(a)～(d)以及图3的(a)和(b)所示的例子中，摄像区域全部为正方形，但本发明不限于此，也可以为长方形。另外，高分辨率摄像区域和低分辨率摄像区域的大小不同，并且低分辨率摄像区域也可以包含多个大小彼此不同的摄像区域，但优选的是，包含高分辨率摄像区域和低分辨率摄像区域在内，全部摄像区域彼此的纵横比是相同的。
在如图2的(a)～(d)以及图3的(a)和(b)所例示的那样对摄像面11a进行分割而形成多个摄像区域的情况下，难以使多个摄像区域的视场准确地一致。这是因为透镜的焦距误差、像差等。在多个摄像区域的视场并不严格一致的情况下，只要裁剪通过摄像得到的图像(通过修整而去除图像的端部部分)来使用等即可。
接下来，对由实施方式1的摄像机装置1得到的效果进行说明。
在实施方式1的摄像机装置1中，构成该摄像机装置的复眼摄像机10的摄像元件的摄像面被分割成多个摄像区域，因此，能够取得表示多个种类彼此不同的信息的图像。
另外，摄像区域包含比较大的摄像区域和比较小的摄像区域，因此，通过对多个种类彼此不同的信息中的优先级高的信息即更强烈地期望高分辨率地取得的图像分配比较大的摄像区域，能够高分辨率地取得这样的图像。
由此，例如能够通过对RGB的可见光图像等基本图像分配比较大的摄像区域，高分辨率地取得这些图像，与此同时，通过将用于构成多谱图像的多个窄带的图像、近红外图像、紫外线图像以及偏振图像、不同曝光量下的图像等具有附加信息的图像分配给多个比较小的摄像区域，取得许多这些图像。
另外，由于多个摄像区域形成在一个摄像元件上，因此，能够抑制摄像机装置的尺寸。
实施方式2
图4是示出本发明的实施方式2的复眼摄像装置100的框图。图4所示的复眼摄像装置100具有摄像机装置1、摄像控制部17、A/D转换部18以及处理器20。作为摄像机装置1，可以使用在实施方式1中进行了说明的摄像机装置。
摄像控制部17控制摄像机装置1的摄像。例如，进行摄像定时、曝光时间的控制。
从摄像机装置1输出的摄像信号在未图示的模拟处理部中接受放大等处理后，由A/D转换部18转换成数字图像信号并输入到处理器20。
处理器20具有图像存储器22和至少一个高分辨率化部30。
图像存储器22优选具有与构成摄像机装置1的复眼摄像机10的多个摄像区域分别对应的多个存储区域22-1、22-2、…。在该情况下，通过各存储区域中存储的数字图像信号表示在对应的摄像区域中取得的图像。
图像存储器22的各个存储区域22-1、22-2、…中存储的图像中的在分辨率彼此不同的2个摄像区域中取得的图像被提供给高分辨率化部30。
例如，将在图2的(a)的摄像区域15a中取得的高分辨率图像和在摄像区域15b中取得的低分辨率图像提供给高分辨率化部30。以下，用标号D0表示在摄像区域15a中取得的高分辨率图像，用标号D1表示在摄像区域15b中取得的低分辨率图像。
高分辨率化部30使用高分辨率图像D0作为参照图像，对低分辨率图像D1进行高分辨率化，生成高分辨率图像D30。
高分辨率化部30根据要生成的各个高分辨率图像D30和参照图像D0在图像特征(局部的梯度、图案等)中彼此具有相关性的假设，使参照图像D0中包含的被摄体的高分辨率成分转移(反映)到低分辨率图像D1中，由此进行生成包含被摄体的高分辨率成分的高分辨率图像D30的处理。并且，也可以对低分辨率图像D1和参照图像D0进行比较，以在被认为相关性较强的摄像区域中促进高分辨率成分的转移，在被认为相关性较弱的摄像区域中抑制高分辨率成分的转移的方式，根据图像中的位置进行自适应的处理。这是因为，低分辨率图像D1和参照图像D0的摄像条件(波长、偏振方向、曝光量等)不同，因此根据被摄体的反射特性，低分辨率图像D1的高分辨率成分与参照图像D0未必具有相关性。
在图5中示出高分辨率化部30的一个结构例(用标号30a表示)。
图5的高分辨率化部30a通过滤波，从低分辨率图像D1和参照图像D0分别分离低频成分和高频成分，通过按照每个成分进行合成的方法来进行高分辨率化。
图5所示的高分辨率化部30a具有滤波处理部311、312、低频成分合成部313、高频成分合成部314以及成分合成部315。
滤波处理部(第1滤波处理部)311从低分辨率图像D1中提取其低频成分D1L和高频成分D1H。滤波处理部311例如对低分辨率图像D1进行平滑滤波处理，提取低频成分D1L，通过求出提取出的低频成分D1L与原始图像D1的差分而生成该图像的高频成分D1H。
滤波处理部(第2滤波处理部)312从参照图像D0中提取其低频成分D0L和高频成分D0H。滤波处理部312例如对参照图像D0进行平滑滤波处理，提取出低频成分D0L，通过求出提取出的低频成分D0L与原始图像D0的差分而生成该图像的高频成分D0H。
在滤波处理部311、312的平滑滤波处理中，可以使用高斯滤波器、双边滤波器等。
低频成分合成部313将低频成分D1L放大至与参照图像D0相同的分辨率，通过加权求和对放大后的低频成分和低频成分D0L进行合成，生成合成低频成分D313。
高频成分合成部314将高频成分D1H放大至与参照图像D0相同的分辨率，通过加权求和对该放大后的高频成分和高频成分D0H进行合成，生成合成高频成分D314。
成分合成部315对合成低频成分D313和合成高频成分D314进行合成，生成高分辨率图像D30。
在图5所示的结构中，在高频成分合成部314的合成中，通过增大高分辨率图像D0中包含的高分辨率的高频成分D0H的权重来进行合成，能够实现分辨率感的提高。
在图6中示出高分辨率化部30的其他结构例(用标号30b表示)。
图6所示的高分辨率化部30b是将低分辨率图像D1和参照图像D0作为输入，根据参照图像D0的信息对低分辨率图像D1进行高分辨率化的利用引导滤波器的部件。
图6所示的高分辨率化部30b具有缩小处理部321、系数计算部322、系数图放大部323以及线性转换部324。
缩小处理部321缩小参照图像D0，生成分辨率与低分辨率图像D1相同的缩小参照图像D0b。
系数计算部322计算对缩小参照图像D0b与低分辨率图像D1的线性关系进行近似的线性系数am、bm。
系数计算部322首先通过式(1)求出以像素位置x为中心的局部区域Ω(x)中的缩小参照图像D0b的像素值I(y)的方差varI(x)。
【数学式1】
Figure GDA0002325344170000111
在式(1)中，
I(x)是缩小参照图像D0b的像素位置x的像素的像素值。
I(y)是缩小参照图像D0b的像素位置y的像素的像素值。
这里，像素位置y是以像素位置x为中心的局部区域Ω(x)内的像素位置。
系数计算部322还通过式(2)求出以像素位置x为中心的局部区域Ω(x)中的缩小参照图像D0b的像素值I(y)与输入图像D1的像素值p(y)的协方差covIp(x)。
【数学式2】
Figure GDA0002325344170000112
在式(2)中，I(x)和I(y)如关于式(1)说明的那样。
p(y)是输入图像D1的像素位置y的像素的像素值。
系数计算部322还根据由式(1)求出的方差varI(x)和由式(2)求出的协方差covIp(x)，通过式(3)计算出系数a。
【数学式3】
Figure GDA0002325344170000121
在式(3)中，eps是决定边缘保存程度的常数，是预先确定的。
系数计算部322还使用由式(3)求出的系数a(x)，通过式(4)计算出系数b(x)。
【数学式4】
Figure GDA0002325344170000122
系数a(x)和b(x)被称作线性回归系数。
系数计算部322还通过式(5)对由式(3)和式(4)得到的系数a(x)和b(x)进行平均化，从而计算出线性系数am(x)、bm(x)。
【数学式5】
Figure GDA0002325344170000123
系数图放大部323将由在系数计算部322中通过式(5)求出的线性系数am(x)构成的系数图和由线性系数bm(x)构成的系数图放大至与参照图像D0相同的分辨率。放大后的系数图中的线性系数分别用amb(x)、bmb(x)表示。系数图是将与构成图像的全部像素对应的系数配置在与对应的像素相同的位置而成的。
线性转换部324根据放大后的系数图中的线性系数amb、bmb和参照图像D0，生成具有由低分辨率图像D1表示的信息的高分辨率图像D30。
即，线性转换部324使用放大后的系数图中的线性系数amb、bmb，通过式(6)导出引导滤波器输出值q。
【数学式6】
q(x)＝amb(x)J(x)+bmb(x) (6)
q(x)是高分辨率图像D30的像素位置x的像素的像素值。
J(x)是参照图像D0的像素位置x的像素的像素值。
式(6)表示引导滤波器的输出(图像D30的像素值)q(x)与参照图像D0的像素值J(x)具有线性关系。
图6所示的结构中的系数计算部322和线性转换部324是基于引导滤波器的处理的基本构成部分，缩小处理部321和系数图放大部323是为了减少系数计算部322中的处理负荷而附加的。
通过如上所述计算高分辨率图像D30的像素值，能够仅对缩小参照图像D0b的方差varI(x)的值小的区域进行平滑化处理，保存其他区域的纹理。
上述的高分辨率化部30b进行使用引导滤波器的处理，但本发明不限于此。高分辨率化部30b也可以采用其他方法，例如使用偶极双向滤波器的方法等、基于高分辨率图像的边缘或梯度信息使具有种类彼此不同的信息的图像高分辨率化的方法等。
图7示出在实施方式2中使用的处理器20的另一例(用标号20b表示)。图7所示的处理器20b除了图像存储器22和高分辨率化部30之外，还具有对位部25。
对位部25在从摄像机装置1输出的低分辨率图像D1与高分辨率图像D0之间具有位置偏移的情况下，在高分辨率化部30的高分辨率化之前进行对位处理。作为该对位处理，能够进行利用初始位置偏移(校正)信息的固定值对位、包含重合(registration)(图像匹配)的动态对位等。
高分辨率化部30将由对位部25对位后的图像作为输入来进行高分辨率化。
也可以设置多个在图5或图6中说明的高分辨率化部(30a、30b)或作为它们的变形例而说明的高分辨率化部，分别输入不同的低分辨率图像，在各高分辨率化部中，针对输入的低分辨率图像，使用高分辨率图像作为参照图像来进行高分辨率化。
在多个高分辨率化部间，作为参照图像使用的高分辨率图像可以彼此相同，也可以不同。
另外，也可以设置多个在图7中说明的对位部25与高分辨率化部30的组合。
图8示出在实施方式2中使用的处理器的另一例(用标号20c表示)。
图8所示的处理器20c具有图像存储器22、高分辨率化部30c以及图像放大部31r、31b。
图8的例子中，假设摄像面11a例如如图2的(a)所示，具有1个高分辨率摄像区域15a和3个以上的低分辨率摄像区域，在高分辨率摄像区域15a中取得G信息，在3个低分辨率摄像区域(例如15b、15c、15d)中分别取得R图像、G图像、B图像的情况。
在该情况下，3个低分辨率图像D1-r、D1-g、D1-b分别表示低分辨率的R图像、G图像、B图像。另外，用标号D0表示在高分辨率摄像区域15a中取得的G图像。
图像放大部31r、31b分别将图像D1-r、D1-b放大处理至与高分辨率图像D0相同的分辨率，生成放大图像D31-r、D31-b。
高分辨率化部30c用图像D0置换图像D1-g，将通过置换得到的图像作为高分辨率图像D30-g输出。
在进行这样的处理的情况下，能够大幅削减用于图像处理的运算量或运算时间，能够削减处理器花费的硬件成本。
在图8的结构中，也可以在高分辨率化部30c的前级设置对位部25(图7所示的部分)。并且，也可以在图像放大部31r、31b的前级设置同样的对位部。
接下来，对由实施方式2的复眼摄像装置100得到的效果进行说明。
在实施方式2的复眼摄像装置100中，从摄像机装置的多个摄像区域得到具有种类彼此不同的信息的多个图像，这些图像包含分辨率比较低的图像和分辨率比较高的图像，使用分辨率比较高的图像的高分辨率成分对分辨率比较低的图像进行高分辨率化，因此，能够得到具有种类彼此不同的信息且高分辨率的多个图像。
因此，即使用于取得具有种类彼此不同的信息的图像的摄像区域小，也能够生成高分辨率的图像，能够抑制摄像机装置的尺寸，并且高分辨率地得到具有种类彼此不同的信息的图像。
实施方式3
图9示出在本发明的实施方式3的复眼摄像装置中使用的处理器20的一例(用标号20d表示)。图9所示的处理器20d具有图像存储器22、多个即第1至第N(N为2以上的整数)高分辨率化部30-1～30-N以及合成部40。实施方式3的复眼摄像装置中的处理器20d以外的部分例如与图4同样地构成。
第1至第N高分辨率化部30-1～30-N分别与N个低分辨率摄像区域(例如图2的(a)的例子的15b、15c、…)对应地设置，分别接收在对应的低分辨率摄像区域取得的低分辨率图像D1-1～D1-N，并且接收在高分辨率摄像区域15a取得的高分辨率图像D0。
高分辨率化部30-n(n是1～N中的任意数)使用高分辨率图像D0作为参照图像，对低分辨率图像D1-n进行高分辨率化，生成高分辨率图像D30-n。在全部高分辨率化部30-1～30-N中进行这样的处理，生成多个具有种类彼此不同的信息的高分辨率图像D30-1～D30-N。
各个高分辨率化部30-1～30-N例如如图5、图6或图8中说明的那样构成。
合成部40将多个具有种类彼此不同的信息的高分辨率图像D30-1～D30-N作为输入，生成一个以上的合成高分辨率图像D40-a、D40-b…。
即，合成部40对由高分辨率化部30-1～30-N生成的、具有种类彼此不同的信息的高分辨率图像D30-1～D30-N进行合成，生成合成高分辨率图像D40-a、D40-b…。
合成部40中的合成处理例如可以通过泛锐化处理、图像的加权求和、明亮度合成或区域选择来进行。区域选择例如也可以根据以局部方差值为指标而估计的图像的视认性来进行。
上述的泛锐化技术是在卫星图像处理(遥感)等中利用的技术，在泛锐化处理中，RGB的彩色图像被转换成HSI(色相、色度、明亮度)图像，通过转换得到的HSI图像中的I值被高分辨率图像的单色图像的像素值置换，使用置换后的像素值将HSI图像返回到RGB图像。
在图10中示出合成部40的一例(用标号40b表示)。
图10所示的合成部40b具有亮度/颜色分离部411、亮度分离部412、加权加法部413以及亮度/颜色合成部414，进行基于亮度的加权求和的合成。
合成部40b被输入由多个高分辨率化部30-1、30-2、…(分别与在图5、图6、图8等中说明的相同)高分辨率化后的R图像D30-r、G图像D30-g、B图像D30-b、偏振光图像D30-p以及NIR(近红外线)图像D30-i。
另外，也可以将由图8所示的图像放大部31r、31b放大后的图像D31-r、D31-b输入到合成部40b，代替高分辨率图像使用。即，合成部40b也可以构成为对一个以上的高分辨率图像和一个以上的放大图像进行合成。
亮度/颜色分离部411将R图像D30-r、G图像D30-g、B图像D30-b作为输入，将它们分离成亮度成分D411-y以及各自的颜色成分(R色、G色、B色的成分)D411-r、D411-g、D411-b。
亮度分离部412将偏振图像D30-p作为输入，分离亮度成分D412。
加权加法部413对从亮度/颜色分离部411输出的亮度成分D411-y加权加上从亮度分离部412输出的偏振图像的亮度成分D412、输入到合成部40b的NIR图像D30-i，求出合成亮度成分D413。
亮度/颜色合成部414对从亮度/颜色分离部411输出的各个颜色成分D411-r、D411-g、D411-b和由加权加法部413求出的合成亮度成分D413进行合成，生成R图像D40-r、G图像D40-g以及B图像D40-b。
设从亮度/颜色合成部414输出的R图像D40-r、G图像D40-g以及B图像D40-b具有偏振图像D30-p的亮度成分、通过NIR图像D30-i增强后的亮度信息。
在加权加法部413的加权求和中，也可以使用将乘以与图像对应的增益后的像素值相加的方法。
也可以取而代之，通过滤波处理提取各个图像(从亮度/颜色分离部411输出的亮度成分D411-y、从亮度分离部412输出的亮度成分D412、输入到合成部40b的NIR图像D30-i)的高频成分，进行加权求和来求出加权平均。
图11示出在实施方式3中使用的处理器20的另一例(用标号20e表示)。
图11所示的处理器20e除了具有图像存储器22、多个高分辨率化部30-1～30-N以及合成部40之外，还具有摄像机信息输入端子23，通过该端子23，从复眼摄像机10接收复眼摄像机信息Dinfo，并向高分辨率化部30-1～30-N以及合成部40传递复眼摄像机信息Dinfo。
复眼摄像机信息Dinfo是表示在各摄像区域中取得的波长的信息、表示偏振方向的信息、表示各摄像区域的位置(摄像面内的位置)的信息等。
通过将复眼摄像机信息Dinfo输入到高分辨率化部30-1～30-N以及合成部40，能够提高高分辨率化、合成处理等中的精度，或者增加通过这些处理得到的信息。
例如，如果复眼摄像机信息Dinfo表示对各摄像区域设置的光学滤波器的谱特性，则能够在合成处理时从RGB图像和单色图像提取近红外图像。
如上所述，根据本实施方式3，通过在高分辨率化的基础上对由摄像机装置得到的具有多个种类彼此不同的信息的多个图像进行合成，能够根据使用目的生成更有用的图像。
实施方式4
在图12中示出在本发明的实施方式4的复眼摄像装置中使用的处理器20的结构例(用标号20f表示)。图12所示的处理器20f具有图像存储器22、多个即第1至第N高分辨率化部30-1～30-N以及合成部41。实施方式4的复眼摄像装置中的处理器20f以外的部分例如与图4同样地构成。高分辨率化部30-1～30-N例如与在图9中说明的相同。
合成部41接收从高分辨率化部30-1～30-N输出的高分辨率图像D30-1～D30-N，根据这些图像，通过插值生成表示与这些图像不同种类的信息的高分辨率图像D41-a、D41-b、…。
该情况下，假设在多个低分辨率摄像区域(例如图2的(a)的例子的15b、15c、…)中取得的图像D1-1、D1-2、…包含表示摄像条件的参数中的至少一个参数的种类或值彼此不同的多个图像，因此，根据这些低分辨率图像D1-1、D1-2、…生成的高分辨率图像D30-1、D30-2、…包含表示摄像条件的参数中的至少一个参数的种类或值彼此不同的多个图像的情况。
合成部41根据这样的多个高分辨率图像D30-1、D30-2…，通过插值生成(重构)上述至少一个参数的种类或值与多个高分辨率图像D30-1、D30-2…都不同的高分辨率图像D41-a、D41-b、…。
在该插值中，例如可以应用压缩感测中使用的复原方法。
以下，参照图13对基于该插值生成图像的例子进行说明。在图13的例子中，不同种类的参数是波长和曝光量。另外，参数的值对于波长是R、G、B(R波段的代表性波长、G波段的代表性波长、B波段的代表性波长)，对于曝光量是1/1000、1/100、1/10、1。这些数值是以不使用光学滤波器的情况为基准的相对值。
作为高分辨率图像D30-1、D30-2、…，将基于图13中O标记表示的参数的组合的图像输入到合成部41。例如，高分辨率图像D30-1是在具有透射R波段光的光学滤波器的摄像区域中，将通过曝光量1/1000下的摄像而得到的图像高分辨率化后的图像。同样地，高分辨率图像D30-2是在具有透射B波段光的光学滤波器的摄像区域中，将通过曝光量1/1000下的摄像而得到的图像高分辨率化后的图像。
合成部41以高分辨率图像D30-1～D30-6为基础，通过插值生成与用△标记表示的参数的组合对应的图像D41-a～D41-f。例如图像D41-a是估计在具有透射G波段光的光学滤波器的摄像区域中，将通过曝光量1/1000下的摄像而得到的图像高分辨率化时生成的图像。
合成部41不仅输出生成的图像D41-a～D41-f，还输出被输入的图像D30-1～D30-6。
通过进行这样的处理，能够得到更多的具有种类彼此不同的信息的高分辨率图像D30-1～D30-6、D40-a～D40-f。
接下来，对由实施方式4的复眼摄像装置得到的效果进行说明。
根据实施方式4，能够根据通过摄像而得到的、比较少的具有种类彼此不同的信息的图像，生成更多的具有种类彼此不同的信息的图像。因此，即使摄像区域的数量不多，也能够得到多种信息。
实施方式5
在图14中示出在本发明的实施方式5的复眼摄像装置中使用的处理器20的结构例(用标号20g表示)。图14所示的处理器20g具有图像存储器22、合成部42以及高分辨率化部32。实施方式5的复眼摄像装置中的处理器20g以外的部分例如与图4同样地构成。
合成部42对在低分辨率摄像区域(例如图2的(a)的例子的15b、15c、…)中取得的具有种类彼此不同的信息的图像D1-1～D1-N进行合成处理，生成一个以上的合成图像(合成低分辨率图像)D42-a、D42-b、…。
高分辨率化部32对从合成部42输出的合成图像D42-a、D42-b、…中的一个以上的合成图像，使用参照图像D0进行高分辨率化，生成高分辨率图像(高分辨率合成图像)D32-a、D32-b、…。
在通过合成部42中的合成，生成数量比输入图像D1-1～D1-N少的合成图像D42-a、D42-b、…的情况下，通过在合成之后进行高分辨率化，能够减少用于高分辨率化的处理，能够整体上减少运算量。
实施方式6
图15是示出本发明的实施方式6的复眼摄像装置102的框图。
实施方式6的复眼摄像装置102具有摄像机装置50、摄像控制部17、A/D转换部18、19以及处理器20h。
图16是摄像机装置50的分解立体图。摄像机装置50具有复眼摄像机60和单眼摄像机70。
如以下详细说明的那样，作为复眼摄像机60，与图1的(a)所示的复眼摄像机10同样地，使用摄像面被分割成多个摄像区域的复眼摄像机，另一方面，单眼摄像机70的摄像面未被分割，由单眼摄像机70取得的图像代替在图1的(a)的复眼摄像机10的高分辨率摄像区域中取得的图像而使用。
复眼摄像机60具有摄像元件61、透镜阵列62、滤波器阵列63以及分隔壁64。
摄像元件61具有矩形的摄像面61a，该摄像面61a例如如图17的(a)所示，被分割成多个例如9个摄像区域65a～65i。这9个摄像区域65a～65i的大小彼此相同，排列成3行3列。
图17的(b)示出摄像面61a的分割方法的另一例。在图17的(b)所示的例子中，复眼摄像机60的摄像元件61的摄像面61a被分割成4个摄像区域65a～65d。这4个摄像区域65a～65d的大小彼此相同，排列成2行2列。
如图17的(a)和(b)的例子所示，复眼摄像机60的摄像区域65a、65b、…也可以是大小彼此相同的摄像区域，但本发明不限于此，摄像区域65a、65b、…也可以是大小彼此不同的摄像区域。
即使在大小彼此不同的情况下，也优选纵横比彼此相同。
透镜阵列62包含与各个摄像区域65a、65b、…对应地设置，使相同视场的图像成像于各个对应的摄像区域的透镜62a、62b、…。
滤波器阵列63包含对多个摄像区域中的一个以上的摄像区域设置的光学滤波器63a、63b、…。
分隔壁64设置在摄像区域65a、65b、…的相互间，防止来自对应的透镜以外的透镜的光入射到各摄像区域。
单眼摄像机70具有摄像元件71、透镜72以及光学滤波器73。
摄像元件71也具有矩形的摄像面71a。由整个摄像面71a构成一个摄像区域75。
在图17的(a)和(b)中，示出单眼摄像机70的摄像区域75相对于复眼摄像机60的摄像区域65a、65b、…的位置关系的概略。
由单眼摄像机70的摄像元件71的摄像面71a整体构成的摄像区域75具有比复眼摄像机60的摄像区域65a、65b、…中的任何摄像区域都多的像素数。即，单眼摄像机70的摄像区域75的分辨率比复眼摄像机60的摄像区域65a、65b、中的最大摄像区域的分辨率高。
摄像区域75的纵横比与摄像区域65a、65b、…相等。
单眼摄像机70的摄像区域75是分辨率与复眼摄像机的摄像区域65a、65b、…彼此不同的摄像区域，前者的分辨率高。为了加以区分，有时将前者称作第1种摄像区域，将后者称作第2种摄像区域。
单眼摄像机70的透镜72被设置成视场与复眼摄像机60的各摄像区域相同的图像成像于摄像区域75。
由复眼摄像机60的透镜62a、62b、…和单眼摄像机70的透镜72构成透镜组。
构成滤波器阵列63的光学滤波器63a、63b、…以及光学滤波器73包含不同光学特性的光学滤波器，由此，能够从各个摄像区域得到种类彼此不同的信息(表示不同种类的信息的图像)。
例如，只要视为将实施方式1的图2的(a)的高分辨率摄像区域15a置换成单眼摄像机70的摄像区域75，将图2的(a)的低分辨率摄像区域15b、15c、…置换成复眼摄像机60的摄像区域65a、65b、…，针对各个摄像区域选择光学滤波器即可。即，在实施方式6中，只要对单眼摄像机70的摄像区域75设置特性与对图2的(a)的高分辨率摄像区域15a设置的光学滤波器相同的光学滤波器，对复眼摄像机60的摄像区域65a、65b、…设置特性与对图2的(a)的低分辨率摄像区域15b、15c、…设置的光学滤波器相同的光学滤波器即可。
另外，也可以对摄像区域75、65a、65b、…中的一个以上的摄像区域例如摄像区域75不设置光学滤波器(设为单色区域)。
摄像控制部17控制复眼摄像机60的摄像和单眼摄像机70的摄像。例如，进行2个摄像机的摄像定时和曝光量的控制。在摄像定时的控制中，以大致同时进行2个摄像机的摄像的方式进行控制。
分别经由A/D转换部18、19，向本实施方式的复眼摄像装置102的处理器20h提供在复眼摄像机60的多个摄像区域中取得的图像和在单眼摄像机70中取得的图像。
处理器20h具有图像存储器22和至少一个高分辨率化部30。
图像存储器22优选具有与复眼摄像机60的多个摄像区域和单眼摄像机70的摄像区域分别对应的多个存储区域22-1、22-2、…。
高分辨率化部30接收由单眼摄像机70取得的高分辨率图像D0作为参照图像，接收在复眼摄像机60的摄像区域的任意摄像区域中取得的图像D1作为低分辨率图像，使用参照图像D0中包含的高分辨率成分，使低分辨率图像D1高分辨率化，生成高分辨率图像D30。
如上所述，在使用实施方式1的摄像机装置1的情况下，将在该复眼摄像机10的高分辨率摄像区域(15a等)中取得的图像作为参照图像，进行在相同的复眼摄像机10的低分辨率摄像区域中取得的图像的高分辨率化，与此相对，在使用实施方式6的摄像机装置50的情况下，将由单眼摄像机70的摄像元件取得的图像作为参照图像，进行由复眼摄像机60取得的低分辨率图像的高分辨率化。
在上述以外的方面，实施方式6与实施方式2相同。例如，高分辨率化部30的处理可以与在实施方式2中参照图5、图6、图8等说明的处理同样地进行。
另外，作为实施方式6的处理器20h，假设使用与在实施方式2中说明的处理器相同的处理器进行了说明，但也可以取而代之，使用与实施方式3、4或5的处理器相同的处理器。总之，只要代替实施方式1的在高分辨率摄像区域中得到的高分辨率图像，将在单眼摄像机70的摄像区域中得到的图像用作参照图像即可。
另外，在图17的(a)所示的例子中，位于摄像面61a中心的摄像区域65i的中心与摄像区域75的中心沿横向排列。如果是这样的配置，则使用由在摄像区域65i中得到的图像与在摄像区域75中得到的图像的视差引起的位置偏移，通过进行立体匹配，能够取得进深信息。
接下来，对由实施方式6的复眼摄像装置102得到的效果进行说明。
在实施方式6的复眼摄像装置102中，与复眼摄像机60分开地设置单眼摄像机70，能够通过单眼摄像机70取得高分辨率的图像。因此，能够将在复眼摄像机60的各摄像区域中得到的图像高分辨率化成更高的分辨率。
另外，如图17的(a)和(b)所示的例子所示，能够使复眼摄像机60的摄像区域65a、65b、…全部为相同形状，由此，能够抑制制造成本。
并且，由于复眼摄像机60和单眼摄像机70的中心间的距离比较大，因此，由单眼摄像机70得到的图像与由复眼摄像机60得到的图像之间的视差引起的位置偏移，比实施方式1的由在复眼摄像机10的不同摄像区域中得到的图像间的视差引起的位置偏移大，通过利用该视差，能够取得更高精度的进深信息。
在以上的实施方式1中，摄像机装置仅由复眼摄像机10构成，在实施方式6中，摄像机装置由复眼摄像机60和单眼摄像机70构成，总之，只要摄像机装置具有大小彼此不同的多个摄像区域(第1种摄像区域和第2种摄像区域)，以在多个摄像区域中取得表示不同种类的信息的图像的方式设置滤波器组即可。彼此不同的摄像区域可以如实施方式1所示形成于一个摄像元件(11)，也可以如实施方式6所示形成于多个摄像元件(61、71)。大小彼此不同的多个摄像区域包含至少一个第1种摄像区域和面积比第1种摄像区域小且像素数比第1种摄像区域少的多个第2种摄像区域。
如实施方式1所示，在第1种摄像区域和第2种摄像区域均形成于一个摄像元件的情况下，第1种摄像区域和第2种摄像区域是通过分割上述一个摄像元件的摄像面而形成的，透镜组包含对上述摄像面设置的透镜阵列中包含的透镜。
在该情况下，设置用于使得来自对应的透镜以外的透镜的光不入射到多个摄像区域的各个摄像区域的分隔壁。
如实施方式6所示，在第1种摄像区域和第2种摄像区域形成于彼此不同的摄像元件的情况下，上述“一个以上的第1种摄像区域”由第1摄像元件71的整个摄像面构成的单个摄像区域构成，多个第2种摄像区域是通过分割第2摄像元件(61)的摄像面而形成的，透镜组包含对第1摄像元件的摄像面设置的透镜和对第2摄像元件的摄像面设置的透镜阵列中包含的透镜。
在该情况下，设置用于使得来自对应的透镜以外的透镜的光不入射到第2摄像元件的多个摄像区域的各个摄像区域的分隔壁。
实施方式7
在实施方式2～6中说明的复眼摄像装置的处理器可以是专用硬件，也可以是执行存储器中存储的程序的计算机的CPU。
以下，作为一例，参照图18对使计算机执行由具有图9的处理器的复眼摄像装置实施的图像处理时的处理的过程进行说明。
首先，在步骤ST1中，利用例如图1的(a)所示的摄像机装置1进行摄像，取得表示种类彼此不同的信息的多个低分辨率图像D1-1～D1-N和一个高分辨率图像D0并存储在存储器(具有与图9的图像存储器22相同的作用的存储器)中。这里，低分辨率图像D1-1～D1-N和高分辨率图像D0例如是在图1的(a)所示的摄像机装置1的、通过对视场相同的图像进行成像的多个摄像区域15a、15b、15c、…中的摄像而得到的具有种类彼此不同的信息的图像，取得这样的图像中的分辨率比较低的图像作为低分辨率图像D1-1、D1-2、…，取得分辨率比较高的图像作为高分辨率图像D0。
接下来，在步骤ST2中，将高分辨率图像D0用作参照图像，对多个低分辨率图像D1-1、D1-2、…分别进行高分辨率化处理，生成高分辨率图像D30-1、D30-2、…。高分辨率化处理例如是与关于图5、图6或图8的高分辨率化部说明的处理相同的处理。
接下来，在步骤ST3中，对多个高分辨率图像D30-1、D30-2、…进行合成，生成一个以上的合成高分辨率图像D40-a、D40-b。如关于图9的合成部40说明的那样进行合成处理。
如以上说明的那样，根据本发明，能够在多个摄像区域中，以彼此不同的分辨率取得具有种类彼此不同的信息的图像，并且能够从取得的分辨率比较低图像得到高分辨率图像。
以上，在实施方式2～6中对复眼摄像装置进行了说明，但由复眼摄像装置实施的图像处理方法也构成本发明的一部分。并且，使计算机执行上述的复眼摄像装置或图像处理方法中的处理的程序、以及记录有这样的程序的计算机能读取的记录介质也构成本发明的一部分。
标号说明
1：摄像机装置；10：复眼摄像机；11：摄像元件；11a：摄像面；12：透镜阵列；12a、12b、…：透镜；13：滤波器阵列；13a、13b、…：光学滤波器；14：分隔壁；15a：高分辨率摄像区域；15b、15c、…：低分辨率摄像区域；17：摄像控制部；18、19：A/D转换部；20、20a～20h：处理器；22：图像存储器；25：对位部；30、30a～30c、30-1～30-N：高分辨率化部；31r、31b：图像放大部；32：高分辨率化部；40、42：合成部；50：摄像机装置；60：复眼摄像机；61：摄像元件；61a：摄像面；62：透镜阵列；62a、62b、…：透镜；63：滤波器阵列；63a、63b、…：光学滤波器；64：分隔壁；65a、65b、…：低分辨率摄像区域；70：单眼摄像机；71：摄像元件；71a：摄像面；72：透镜；73：光学滤波器；75：高分辨率摄像区域；100、102：复眼摄像装置；311、312：滤波器处理部；313：低频成分合成部；314：高频成分合成部；315：成分合成部；321：缩小处理部；322：系数计算部；323：系数图放大部；324：线性转换部；411：亮度/颜色分离部；412：亮度分离部；413：加权加法部；414：亮度/颜色合成部。

Claims (11)

1.一种复眼摄像装置，该复眼摄像装置具有摄像机装置以及具备至少一个高分辨率化部的处理器，
所述摄像机装置具有：
具有多个摄像区域的摄像元件；
多个透镜，它们与所述多个摄像区域对应地设置，使视场彼此相同的图像成像于对应的摄像区域；以及
多个光学滤波器，
所述多个摄像区域包含至少一个第1种摄像区域和比所述第1种摄像区域小且大小彼此相同的多个第2种摄像区域，
所述多个透镜中的与更大的摄像区域对应的透镜具有更长的焦距，
所述多个光学滤波器被设置成在各个所述第2种摄像区域中取得的图像表示与在各个所述第1种摄像区域中取得的图像不同种类的信息，
所述至少一个高分辨率化部具有：
第1滤波处理部，其接收在所述第2种摄像区域的任意摄像区域中取得的图像作为低分辨率图像，从所述低分辨率图像中提取该低分辨率图像的低频成分和高频成分；
第2滤波处理部，其接收在所述第1种摄像区域的任意摄像区域中取得的图像作为参照图像，从所述参照图像中提取该参照图像的低频成分和高频成分；
低频成分合成部，其将所述低分辨率图像的低频成分放大至与所述参照图像相同的分辨率，通过加权求和对放大后的低频成分和所述参照图像的低频成分进行合成，生成合成低频成分；
高频成分合成部，其将所述低分辨率图像的高频成分放大至与所述参照图像相同的分辨率，通过加权求和对放大后的高频成分和所述参照图像的高频成分进行合成，生成合成高频成分；以及
成分合成部，其对所述合成低频成分和所述合成高频成分进行合成，生成高分辨率图像。
2.根据权利要求1所述的复眼摄像装置，其中，
所述至少一个高分辨率化部由多个高分辨率化部构成，
所述处理器还具有合成部，该合成部对由所述多个高分辨率化部生成的多个高分辨率图像进行合成，生成一个以上的合成高分辨率图像。
3.根据权利要求2所述的复眼摄像装置，其中，
对于被所述多个高分辨率化部高分辨率化的多个低分辨率图像而言，表示摄像条件的参数中的至少一个参数的种类或值彼此不同，因此，对于由所述多个高分辨率化部生成的多个高分辨率图像而言，表示摄像条件的参数中的至少一个参数的种类或值彼此不同，
所述合成部根据所述多个高分辨率图像，通过插值生成所述至少一个参数的种类或值与所述多个高分辨率图像都不同的高分辨率图像。
4.根据权利要求1所述的复眼摄像装置，其中，
所述处理器具有：
合成部，其对在所述多个第2种摄像区域中取得的多个图像进行合成，生成至少一个合成低分辨率图像；以及
高分辨率化部，其接收在所述第1种摄像区域的任意摄像区域中取得的图像作为参照图像，使用所述参照图像中包含的高分辨率成分使所述至少一个合成低分辨率图像高分辨率化，生成至少一个高分辨率合成图像。
5.根据权利要求1～4中的任意一项所述的复眼摄像装置，其中，
针对所述第1种摄像区域未设置用于取得表示所述不同种类的信息的图像的光学滤波器。
6.一种复眼摄像装置，该复眼摄像装置具有摄像机装置以及具备至少一个高分辨率化部的处理器，
该摄像机装置具有：
具有多个摄像区域的摄像元件；
多个透镜，它们与所述多个摄像区域对应地设置，使视场彼此相同的图像成像于对应的摄像区域；以及
多个光学滤波器，
所述多个摄像区域包含至少一个第1种摄像区域和比所述第1种摄像区域小且大小彼此相同的多个第2种摄像区域，
所述多个透镜中的与更大的摄像区域对应的透镜具有更长的焦距，
所述多个光学滤波器被设置成在各个所述第2种摄像区域中取得的图像表示与在各个所述第1种摄像区域中取得的图像不同种类的信息，
所述至少一个高分辨率化部具有：
缩小处理部，其接收在所述第1种摄像区域的任意摄像区域中取得的图像作为参照图像，缩小所述参照图像，生成分辨率与在所述第2种摄像区域的任意摄像区域中取得的低分辨率图像相同的缩小参照图像；
系数计算部，其计算对所述缩小参照图像与所述低分辨率图像的线性关系进行近似的线性系数；
系数图放大部，其将由所述系数计算部计算出的线性系数构成的系数图放大至与所述参照图像相同的分辨率；以及
线性转换部，其根据放大后的系数图的线性系数和所述参照图像，生成具有由所述低分辨率图像表示的信息的高分辨率图像。
7.根据权利要求6所述的复眼摄像装置，其中，
所述至少一个高分辨率化部由多个高分辨率化部构成，
所述处理器还具有合成部，该合成部对由所述多个高分辨率化部生成的多个高分辨率图像进行合成，生成一个以上的合成高分辨率图像。
8.根据权利要求7所述的复眼摄像装置，其中，
对于被所述多个高分辨率化部高分辨率化的多个低分辨率图像而言，表示摄像条件的参数中的至少一个参数的种类或值彼此不同，因此，对于由所述多个高分辨率化部生成的多个高分辨率图像而言，表示摄像条件的参数中的至少一个参数的种类或值彼此不同，
所述合成部根据所述多个高分辨率图像，通过插值生成所述至少一个参数的种类或值与所述多个高分辨率图像都不同的高分辨率图像。
9.根据权利要求6～8中的任意一项所述的复眼摄像装置，其中，
针对所述第1种摄像区域未设置用于取得表示所述不同种类的信息的图像的光学滤波器。
10.一种计算机能读取的记录介质，其中，该记录介质记录有用于使计算机执行权利要求1～9中的任意一项所述的复眼摄像装置中的处理的程序。
11.一种图像处理方法，该图像处理方法具有如下步骤：
取得具有种类彼此不同的信息且分辨率彼此不同的多个图像，所述多个图像是通过成像有相同视场的图像的多个摄像区域中的摄像而得到的；
高分辨率化步骤，使用所述分辨率彼此不同的多个图像中的分辨率比较高的图像中包含的高分辨率成分，对分辨率比较低的多个图像进行高分辨率化处理，生成具有种类彼此不同的信息的高分辨率图像；以及
合成步骤，对多个所述具有种类彼此不同的信息的高分辨率图像进行合成，生成一个以上的合成高分辨率图像，
在所述高分辨率化步骤中，
从所述分辨率比较低的多个图像中提取该多个图像的低频成分和高频成分，
从所述分辨率比较高的图像中提取该图像的低频成分和高频成分，
将所述分辨率比较低的多个图像的低频成分放大至与所述分辨率比较高的图像相同的分辨率，通过加权求和对放大后的低频成分和所述分辨率比较高的图像的低频成分进行合成，生成合成低频成分，
将所述分辨率比较低的多个图像的高频成分放大至与所述分辨率比较高的图像相同的分辨率，通过加权求和对放大后的高频成分和所述分辨率比较高的图像的高频成分进行合成，生成合成高频成分，
对所述合成低频成分和所述合成高频成分进行合成，生成所述高分辨率图像。
CN201780092291.3A 2017-06-26 2017-06-26 复眼摄像装置、图像处理方法以及记录介质 Active CN110771152B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023348 WO2019003258A1 (ja) 2017-06-26 2017-06-26 カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN110771152A CN110771152A (zh) 2020-02-07
CN110771152B true CN110771152B (zh) 2022-03-01

Family

ID=61629101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780092291.3A Active CN110771152B (zh) 2017-06-26 2017-06-26 复眼摄像装置、图像处理方法以及记录介质

Country Status (5)

Country Link
US (1) US10951817B2 (zh)
JP (1) JP6297234B1 (zh)
CN (1) CN110771152B (zh)
DE (1) DE112017007695T5 (zh)
WO (1) WO2019003258A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
JP7096144B2 (ja) * 2018-11-28 2022-07-05 株式会社アサヒ電子研究所 複眼撮像装置
CN110491890B (zh) * 2019-07-03 2022-03-15 芯盟科技有限公司 半导体结构及其形成方法
WO2021211127A1 (en) * 2020-04-16 2021-10-21 Hewlett-Packard Development Company, L.P. Light signal identification
US20220258882A1 (en) * 2021-02-16 2022-08-18 Rockwell Collins, Inc. Camera core monitor using gradient filter
CN112926030B (zh) * 2021-02-25 2024-01-23 南京信息工程大学 30m分辨率插值的气象要素确定方法
CN116994075B (zh) * 2023-09-27 2023-12-15 安徽大学 一种基于复眼事件成像的小目标快速预警与识别方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003176B1 (en) * 1999-05-06 2006-02-21 Ricoh Company, Ltd. Method, computer readable medium and apparatus for converting color image resolution
JP3821614B2 (ja) 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
US6771835B2 (en) * 2000-06-12 2004-08-03 Samsung Electronics Co., Ltd. Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same
CN1574894A (zh) * 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
JP2005303694A (ja) 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
JP4545190B2 (ja) * 2005-03-24 2010-09-15 パナソニック株式会社 撮像装置
US7718940B2 (en) * 2005-07-26 2010-05-18 Panasonic Corporation Compound-eye imaging apparatus
JP3930898B2 (ja) * 2005-08-08 2007-06-13 松下電器産業株式会社 画像合成装置および画像合成方法
JP2008079172A (ja) * 2006-09-25 2008-04-03 Mitsubishi Electric Corp ２波長イメージセンサおよび２波長イメージセンサを用いた撮像方法
JP2009117976A (ja) 2007-11-02 2009-05-28 Panasonic Corp 撮像装置
WO2011078244A1 (ja) * 2009-12-24 2011-06-30 シャープ株式会社 多眼撮像装置および多眼撮像方法
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5863094B2 (ja) * 2011-07-12 2016-02-16 国立大学法人 東京大学 撮像素子およびこれを用いた撮像装置
EP2582128A3 (en) * 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US9395516B2 (en) * 2012-05-28 2016-07-19 Nikon Corporation Imaging device
JP6071374B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置
US9591241B2 (en) 2012-12-11 2017-03-07 Konica Minolta, Inc. Compound eye optical system and imaging device using the same
US20160041311A1 (en) * 2013-03-26 2016-02-11 Konica Minolta, Inc. Compound Eye Optical System And Imaging Device
JP5896090B1 (ja) 2014-05-28 2016-03-30 コニカミノルタ株式会社 撮像装置および測色方法
JPWO2017064760A1 (ja) 2015-10-13 2018-08-02 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム
TWI781085B (zh) 2015-11-24 2022-10-21 日商索尼半導體解決方案公司 複眼透鏡模組及複眼相機模組

Also Published As

Publication number Publication date
JP6297234B1 (ja) 2018-03-20
CN110771152A (zh) 2020-02-07
WO2019003258A1 (ja) 2019-01-03
US20200177807A1 (en) 2020-06-04
JPWO2019003258A1 (ja) 2019-06-27
US10951817B2 (en) 2021-03-16
DE112017007695T5 (de) 2020-03-12

Similar Documents

Publication Publication Date Title
CN110771152B (zh) 复眼摄像装置、图像处理方法以及记录介质
US20190215496A1 (en) Extended Color Processing on Pelican Array Cameras
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
US8754957B2 (en) Image processing apparatus and method
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
CN104683767B (zh) 透雾图像生成方法及装置
JP6351903B1 (ja) 画像処理装置、画像処理方法、及び撮影装置
EP2664153B1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
JP5235642B2 (ja) 画像処理装置およびその方法
US20050265633A1 (en) Low latency pyramid processor for image processing systems
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
US10572974B2 (en) Image demosaicer and method
JP5943393B2 (ja) 撮像装置
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2018107731A (ja) 画像生成装置及び撮像装置
WO2014115453A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US20140118580A1 (en) Image processing device, image processing method, and program
US7602427B2 (en) Image sensor that provides raw output comprising compressed data
US20080007637A1 (en) Image sensor that provides compressed data based on junction area
CN106852190B (zh) 图像处理单元、拍摄装置及图像处理方法
JP2013187711A (ja) 画像処理装置、撮像装置及び画像処理方法
CN115719311A (zh) 处理图像的方法和相关设备
CN117322002A (zh) 固态成像装置和电子设备
CN116668657A (zh) 固体摄像元件、照相机模块、图像处理装置及拍摄方法
Zhang Conception of a high-speed digital color imaging device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant