CN106165398B - 摄像元件、摄像装置以及图像处理装置 - Google Patents

摄像元件、摄像装置以及图像处理装置 Download PDF

Info

Publication number
CN106165398B
CN106165398B CN201580018356.0A CN201580018356A CN106165398B CN 106165398 B CN106165398 B CN 106165398B CN 201580018356 A CN201580018356 A CN 201580018356A CN 106165398 B CN106165398 B CN 106165398B
Authority
CN
China
Prior art keywords
invisible
visible
parallax
pixel
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580018356.0A
Other languages
English (en)
Other versions
CN106165398A (zh
Inventor
石贺健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN106165398A publication Critical patent/CN106165398A/zh
Application granted granted Critical
Publication of CN106165398B publication Critical patent/CN106165398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

未考虑到接收入射光束中的不可见光的波段的情况。于是，提供一种摄像元件，其具有：可见视差像素，所述可见视差像素的分别具有开口的多种开口掩膜的任意一种与在可见光区域接收光的光电转换像素建立了对应关系，所述可见视差像素的多种开口掩膜的各自的开口相对于光电转换元件被定位成使相对于可见光的波段的入射光束而彼此不同的部分光束通过；和不可见视差像素，所述不可见视差像素的分别具有开口的多种开口掩膜的任意一种与在不可见光区域接收光的光电转换像素建立了对应关系，所述不可见视差像素的多种开口掩膜的各自的开口相对于光电转换元件被定位成使相对于不可见光的波段的入射光束而彼此不同的部分光束通过。

Description

摄像元件、摄像装置以及图像处理装置
技术领域
本发明涉及摄像元件、摄像装置以及图像处理装置。
背景技术
已知一种摄像装置，其使用单一的摄影光学系统而通过一次拍摄来生成彼此具有视差的左右的视差图像。
现有技术文献
专利文献
专利文献1：日本特开第2003-7994号公报
发明内容
在此种摄像装置中，未考虑到接收入射光束中的不可见光的波段的情况。
本发明的第1技术方案中的摄像元件具有：可见视差像素，所述可见视差像素的分别具有开口的多种开口掩膜的任意一种与在可见光区域接收光的光电转换像素建立了对应关系，所述可见视差像素的多种开口掩膜的各自的开口相对于光电转换元件被定位成使相对于可见光的波段的入射光束而彼此不同的部分光束通过；和不可见视差像素，所述不可见视差像素的分别具有开口的多种开口掩膜的任意一种与在不可见光区域接收光的光电转换像素建立了对应关系，所述不可见视差像素的多种开口掩膜的各自的开口相对于光电转换元件被定位成使相对于不可见光的波段的入射光束而彼此不同的部分光束通过。
本发明的第2技术方案中的摄像装置是装入有上述的摄像元件的摄像装置，其具有引导入射光束的1个光学系统，且具有控制光学系统的对焦位置而使其自动对焦到可见光所捕捉的主要被摄体。
本发明的第3技术方案中的摄像装置具有上述的摄像元件和图像处理部，所述图像处理部从摄像元件的输出生成彼此具有视差的多个可见视差图像数据和彼此具有视差的多个不可见视差图像数据。
本发明的第4技术方案中的图像处理装置具有：输入部，其输入由通过一次拍摄而从摄像元件的同一面输出的像素信号所生成的可见图像数据以及不可见图像数据；和图像处理部，其使用可见图像数据以及不可见图像数据中的一方来重新计算另一方。
本发明的第5技术方案中的图像处理装置输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，对于可见第1视差图像的要重新计算的像素值，以使可见第1视差图像的重新计算的像素值与可见无视差图像的像素值之差至少相对于不可见第1视差图像的像素值与不可见第2视差图像的像素值之差保持相关关系的方式，进行计算，并输出新的可见第1视差图像。
本发明的第6技术方案中的图像处理装置输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，对于不可见第1视差图像的要重新计算的像素值，以不可见第1视差图像的重新计算的像素值与不可见无视差图像的像素值之差至少相对于可见第1视差图像的像素值与可见第2视差图像的像素值之差而保持相关关系的方式，进行计算，并输出新的不可见第1视差图像。
本发明的第7技术方案中的图像处理装置输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，对于可见第1视差图像的要重新计算的像素值，以使在可见第1视差图像的重新计算的像素值与可见无视差图像的像素值之间所定义的比至少相对于在不可见第1视差图像的像素值与不可见第2视差图像的像素值之间所定义的比而保持相关关系的方式，进行计算，并输出新的可见第1视差图像。
本发明的第8技术方案中的图像处理装置输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，对于不可见第1视差图像的要重新计算的像素值，以使在不可见第1视差图像的重新计算的像素值与不可见无视差图像的像素值之间所定义的比至少相对于在可见第1视差图像的像素值与可见第2视差图像的像素值之间所定义的比而保持相关关系的方式，进行计算，并输出新的不可见第1视差图像。
本发明的第9技术方案中的图像处理装置具有：输入部，其输入由通过一次拍摄而从摄像元件的同一面输出的像素信号所生成的可见图像数据以及不可见图像数据；和图像处理部，其将可见图像数据以及不可见图像数据中至少一方所包含的视差成分向另一方重叠。
另外，上述发明的概要没有列举出本发明的全部特征。此外，这些特征组的子组合也能构成发明。
附图说明
图1是说明数码相机的构成的图。
图2是说明摄像元件的截面结构的图。
图3是说明无视差像素中的散焦的概念的图。
图4是说明视差像素中的散焦的概念的图。
图5是表示无视差像素和视差像素的光强度分布的图。
图6是说明视差像素的种类为两种的情况下的开口部的开口形状的图。
图7是表示成像位置上的波长依赖性的概略图。
图8是表示作为像素排列的一例的实际空间的排列和k空间的图。
图9是表示作为像素排列的一例的实际空间的排列和k空间的图。
图10是说明波长与分光灵敏度之间的关系的图。
图11是表示作为像素排列的一例的实际空间的排列和k空间的图。
图12是表示作为像素排列的一例的实际空间的排列和k空间的图。
图13是表示作为像素排列的一例的实际空间的排列和k空间的图。
图14是表示作为像素排列的一例的实际空间的排列和k空间的图。
具体实施方式
以下通过发明的实施方式说明本发明，但以下的实施方式并不限定权利要求书所涉及的发明。此外，在实施方式中说明的全部的特征组合不必是发明的解决方案所必须的。
作为摄像装置的一个方式的本实施方式的数码相机构成为，能够针对1个场景通过一次拍摄生成与可见光的波段对应的图像和与不可见光的波段对应的图像。而且，也存在构成为能够针对1个场景通过一次拍摄而生成多个视点数的图像的情况。将视点彼此不同的各个图像称为视差图像。在本实施方式中，尤其对生成基于与右眼和左眼对应的2个视点的视差图像的情况进行说明。具体情况将在后叙述，本实施方式中的数码相机能够与视差图像一起，生成基于作为基准方向的视点的中央视点的、没有视差的无视差图像。另外，也存在将左视点的视差像素记作视差Lt像素或者左视差像素、将右视点的视差像素记作视差Rt像素或者右视差像素、将无视差像素记作N像素的情况。也存在将左视点的视差图像记作视差Lt图像或者左视差图像、将右视点的视差图像记作视差Rt图像或者右视差图像、将无视差图像记作N图像的情况。此外，也存在将入射光束中对可见光的波段进行光电转换的像素记作可见像素、将对不可见光的波段进行光电转换的像素记作不可见像素的情况。
图1是说明本实施方式的数码相机10的构成的图。数码相机10具有：作为摄影光学系统的摄影透镜20和摄像元件100。摄影透镜20将沿着光轴21入射的被摄体光束向摄像元件100引导。具体情况将在后叙述，在摄像元件100的前级，在摄像元件100内的至少与不可见像素对应的位置处没有配置红外线截止滤光片。数码相机10在摄影透镜20以及摄像元件100的基础上，还具有控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF 207、操作部208、显示部209以及LCD驱动电路210。
另外，如图所示，将与朝向摄像元件100的光轴21平行的方向定为+Z轴方向，将在与Z轴正交的平面中朝向纸面内的方向定为+X轴方向，将朝向纸面上方的方向定为+Y轴方向。与摄影中取景的关系为，X轴为水平方向，Y轴为垂直方向。在以下若干图中，将图1的坐标轴作为基准显示坐标轴，以便明确各图的朝向。
摄影透镜20由多个光学透镜组构成，使来自场景的被摄体光束在其对焦面附近成像。摄影透镜20可以为相对于数码相机10而能够装拆的更换式透镜。另外，为了方便说明，以配置在光瞳附近的假想的1枚透镜为代表来表示摄影透镜20。
摄像元件100配置在摄影透镜20的对焦面附近。摄像元件100是以二维方式配置有多个像素的CCD、CMOS等的图像传感器。摄像元件100由驱动部204定时控制，将在受光面上成像的被摄体像转换成图像信号并向A/D转换电路202输出。向A/D转换电路202输出的图像信号包括与可见光的波段对应的图像信号以及与不可见光的波段对应的图像信号。
A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并向存储器203输出。图像处理部205将存储器203作为工作空间而实施各种图像处理，从而生成图像数据。图像处理部205还承担按照被选择的图像格式，而调整图像数据等图像处理通常的功能。所生成的图像数据通过LCD驱动回路210转换成显示信号，并显示在显示部209中。此外，记录到安装在存储卡IF207的存储卡220中。
一连串的摄影过程通过操作部208受理用户的操作并向控制部201输出操作信号而开始。伴随摄影过程中的AF、AE等各种动作由控制部201控制而执行。
接下来，对摄像元件100的结构的一例进行说明。图2是表示摄像元件100的截面的概略图。
摄像元件100从被摄体侧按顺序排列有微透镜101、光学滤光片102、开口掩膜103、布线层105以及光电转换元件108而构成。光电转换元件108通过将入射的光转换成电信号的光电二极管构成。光电转换元件108在基板109的表面上以二维方式排列有多个。
由光电转换元件108转换得到的图像信号、控制光电转换元件108的控制信号等经由设于布线层105上的布线106而被收发。此外，具有与各光电转换元件108一一对应地设置且以二维方式重复排列的开口部104的开口掩膜103，与布线层105相接地设置。开口部104如后所述，按对应的光电转换元件108而位移，且相对的位置是严格地确定的。具体情况将在后叙述，通过具有该开口部104的开口掩膜103的作用，在光电转换元件108所接收的被摄体光束中产生视差。
另一方面，在不产生视差的光电转换元件108上，不存在开口掩膜103。换言之，可以说是设有具有不限制相对于对应的光电转换元件108而入射的被摄体光束，即，使入射光束的整体通过的开口部104的开口掩膜103。虽然并不会产生视差，在实质上由布线106所形成的开口107规定入射的被摄体光束，因此也能够将布线106看作不会产生视差的、使入射光束的整体通过的开口掩膜。开口掩膜103既可以与各光电转换元件108对应地分别独立地排列，也可以与光学滤光片102的制造工艺同样地相对于多个光电转换元件108一并形成。
光学滤光片102设在开口掩膜103上。对于接收可见光的波段的可见像素，作为光学滤光片102而设有彩色滤光片。彩色滤光片是对各光电转换元件108以使特定的波段透过的方式着色得到的、与光电转换元件108分别一一对应地设置的滤光片。对于输出彩色图像，只要排列彼此不同的至少2种彩色滤光片即可，但对于获取更高画质的彩色图像，排列3种以上的彩色滤光片为好。例如可以以格子状排列使红色波段透过的红色滤光片(R滤光片)、使绿色波段透过的绿色滤光片(G滤光片)以及使蓝色波段透过的蓝色滤光片(B滤光片)。彩色滤光片不仅可以是原色RGB的组合，也可以是YCM的互补色滤光片的组合。另外，在输出黑白图像信号即可的情况下不设置彩色滤光片。对于接收不可见光的波段的不可见像素，作为光学滤光片102而设有近红外光的带通滤光片。具体情况将在后叙述，优选为排列彼此不同的至少2种带通滤光片。
微透镜101设在光学滤光片102上。微透镜101是用于将入射的被摄体光束更多地向光电转换元件108引导的聚光透镜。微透镜101与各个光电转换元件108一一对应地设置。关于微透镜101，优选考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系，以使更多的被摄体光束被引导到光电转换元件108的方式使其光轴位移。而且，也可以与开口掩膜103的开口部104的位置一起调整其配置位置，以使得后述的特定的被摄体光束更多地入射。
将这样与各个光电转换元件108一一对应地设置的开口掩膜103、光学滤光片102以及微透镜101的一个单位称为像素。尤其将设有产生视差的开口掩膜103的像素称为视差像素、将未设有产生视差的开口掩膜103的像素称为无视差像素。
另外，在聚光效率、光电转换效率高的图像传感器的情况下，也可以不设置微透镜101。此外，在背面照射型图像传感器的情况下，布线层105设在与光电转换元件108相反的一侧。此外，若开口掩膜103的开口部104具有颜色成分或者波段成分，则也能够将光学滤光片102与开口掩膜103一体地形成。
此外在本实施方式中，虽然将开口掩膜103与布线106分体地设置，但也可以由布线106承担视差像素中的开口掩膜103的功能。即，也可以通过布线106形成规定的开口形状，并根据该开口形状限制入射光束而仅将特定的部分光束向光电转换元件108引导。在该情况下，优选为形成开口形状的布线106在布线层105中最靠光电转换元件108侧。
此外，开口掩膜103也可以由与光电转换元件108重叠地设置的透过阻止膜形成。在该情况下，开口掩膜103例如将SiN膜和SiO2膜依次层叠来作为透过阻止膜，并将相当于开口部104的区域通过蚀刻除去而形成。而且，也可以将光电转换元件108其本身的区域以相当于开口掩膜103的开口部104的方式形成。
＜视差像素和模糊特性＞
说明视差Lt像素以及视差Rt像素受光的情况下的散焦的概念。首先，对无视差像素中的散焦的概念简单地进行说明。图3是说明无视差像素中的散焦的概念的图。如图3的(a)所示，在作为被摄体的物点存在于焦点位置的情况下，从透镜光瞳通过而到达摄像元件受光面的被摄体光束表现出以对应的像点的像素为中心而陡峭的光强度分布。即，若接收从透镜光瞳通过的所有有效光束的无视差像素排列于像点附近，则与像点对应的像素的输出值最大，排列于周边的像素的输出值急剧降低。
另一方面，如图3的(b)所示，若物点从焦点位置在远离摄像元件受光面的方向上偏移，则与物点存在于焦点位置的情况相比，被摄体光束在摄像元件受光面上表现出平缓的光强度分布。即，表现出在对应的像点的像素中的输出值降低的基础上，直至更周边像素仍具有输出值的分布。
如图3的(c)所示，若物点进一步从焦点位置偏移，则被摄体光束在摄像元件受光面上表现出更平缓的光强度分布。即，表现出在对应的像点的像素中的输出值更降低的基础上，直至更周边像素仍具有输出值的分布。
如图3的(d)所示，即使在物点在接近摄像元件受光面的方向上从焦点位置偏移的情况下，也表现出与物点在远离摄像元件受光面的方向上偏移的情况相同的光强度分布。
图4是说明视差像素中的散焦的概念的图。视差Lt像素以及视差Rt像素接收从作为透镜光瞳的部分区域而分别对光轴对象设定的2个视差假想光瞳中的某一个到达的被摄体光束。在本说明中，将通过接收从单一的透镜光瞳中的彼此不同的假想光瞳到达的被摄体光束而对视差图像拍摄的方式称为单眼光瞳分割摄像方式。
如图4的(a)所示，在作为被摄体的物点存在于焦点位置的情况下，无论是从哪一个视差假想光瞳通过的被摄体光束，均表现出以对应的像点的像素为中心而陡峭的光强度分布。若视差Lt像素排列于像点附近，则与像点对应的像素的输出值最大，排列于周边的像素的输出值急剧降低。此外，即使视差Rt像素排列于像点附近，与像点对应的像素的输出值也最大，排列在周边的像素的输出值也急剧降低。即，无论使被摄体光束从哪一个视差假想光瞳通过，均表现出与像点对应的像素的输出值最大、排列于周边的像素的输出值急剧降低的分布，且各个分布彼此一致。
另一方面，如图4的(b)所示，若物点在远离摄像元件受光面的方向从焦点位置偏移，则与物点存在于焦点位置的情况相比，视差Lt像素所表现的光强度分布的峰值显现于从与像点对应的像素向一个方向离开的位置，且其输出值降低。此外，具有输出值的像素的幅度也扩大。即，由于相对于摄像元件受光面的水平方向而具有点像的扩大，所以模糊量增加。视差Rt像素所表现出的光强度分布的峰值显现于从与像点对应的像素朝向与视差Lt像素中的一个方向相反的方向且以等距离离开的位置，同样地其输出值降低。此外，同样地具有输出值的像素的幅度也扩大。即，与物点存在于焦点位置的情况相比变得平缓的相同的光强度分布彼此以等距离分离而显现。视差Lt像素以及视差Rt像素所显示的光强度分布的峰值间的偏移量相当于视差量。
此外，如图4的(c)所示，若物点进一步从焦点位置偏移，则与图4的(b)的状态相比，进一步变得平缓的相同的光强度分布更分离地显现。由于点像的扩大变得更大，所以模糊量增加。此外，由于视差Lt像素以及视差Rt像素所表现出的光强度分布的峰值间的偏移也变大，所以视差量也增加。即，可以说物点从焦点位置偏移得越大，模糊量和视差量越增加。
如图4的(d)所示，在物点在接近摄像元件受光面的方向上从焦点位置偏移的情况下，与图4的(c)的状态相反，视差Rt像素所表现出的光强度分布的峰值显现于从与像点对应的像素向上述一个方向离开的位置。视差Lt像素所表现出的光强度分布的峰值显现于向与视差Rt像素中的一个方向相反的方向离开的位置。即，与物点的偏移的方向相对应地，确定视差Lt像素以及视差Rt像素表现出的光强度分布的峰值显现于从与像点对应的像素向哪一方向离开的位置。
当将图3中说明的光强度分布的变化、和图4中说明的光强度分布的变化分别制成曲线图时，如图5所示。图5是表示无视差像素和视差像素的光强度分布的图。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示各像素的输出值，由于该输出值实质上与光强度成正比，所以在图中作为光强度而示出。
另外，如上所述，物点从焦点位置在接近摄像元件受光面的方向上偏移的情况也表现出与物点在远离摄像元件受光面的方向上偏移的情况相同的光强度分布，因此，在图中省略了在接近摄像元件受光面的方向上偏移的情况下的光强度分布的变化。关于物点从焦点位置在接近摄像元件受光面的方向上偏移的情况下的视差Lt像素以及视差Rt像素所表现出的光强度分布的峰值，由于与物点在远离摄像元件受光面的方向上偏移的情况下的视差Lt像素以及视差Rt像素所表现出的光强度分布的峰值相同，因此也省略。
图5的(a)是表示图3中说明的光强度分布的变化的曲线图。分布曲线1801表示与图3的(a)对应的光强度分布，示出最陡峭的情况。分布曲线1802表示与图3的(b)对应的光强度分布，此外分布曲线1803表示与图3的(c)对应的光强度分布。与分布曲线1801相比，其峰值逐渐降低，可知具有扩大的状况。
图5的(b)是表示图4中说明的光强度分布的变化的曲线图。分布曲线1804和分布曲线1805分别表示图4的(b)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图可知，这些分布相对于中心位置成线对称的形状。此外，将这些分布曲线叠加而得到的合成分布曲线1806示出与相对于图4的(b)处于同等散焦状态的图3的(b)的分布曲线1802相似的形状。
分布曲线1807和分布曲线1808分别表示图4的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图可知，这些分布也相对于中心位置而成线对称的形状。此外，将这些分布曲线叠加得到的合成分布曲线1809示出与相对于图4的(c)处于同等散焦状态的图3的(c)的分布曲线1803相似的形状。另外，图4的(d)的视差Lt像素的光强度分布和视差Rt像素的光强度分布为将图4的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布的位置调换的关系，因此分别相当于分布曲线1808和分布曲线1807。
图6是说明视差像素的种类为2种的情况下的开口部104的开口形状的图。图6的(a)表示视差Lt像素的开口部104l的形状和视差Rt像素的开口部104r的形状与将无视差像素的开口部104n的形状以中心线322分割得到的各个形状相同的举例。即，在图6的(a)中，无视差像素的开口部104n的面积为视差Lt像素的开口部104l的面积与视差Rt像素的开口部104r的面积之和。在该情况下，将无视差像素的开口部104n称为全开口的开口部，将开口部104l以及开口部104r称为半开口的开口部。在开口部位于光电转换元件的中央的情况下，称为该开口部朝向基准方向。视差Lt像素的开口部104l以及视差Rt像素的开口部104r相对于从各自对应的光电转换元件108的中心(像素中心)通过的假想的中心线322，彼此向相反方向偏位。因此，视差Lt像素的开口部104l以及视差Rt像素的开口部104r分别在相对于中心线322的一个方向、与该一个方向相反的另一方向上产生视差。
图6的(b)示出在具有图6的(a)所示的各开口部的像素中，物点从焦点位置在远离摄像元件受光面的方向上偏移的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示光强度。此外，曲线Lt与图5的(b)的分布曲线1804相当，曲线Rt与图5的(b)的分布曲线1805相当。曲线N与无视差像素对应，且示出与图5的(b)的合成分布曲线1806相似的形状。此外，各个开口部104n、开口部104l、开口部104r发挥作为开口光圈的功能。因此，具有面积为开口部104l(开口部104r)成倍面积的开口部104n的无视差像素的模糊幅度与由图5的(b)的合成分布曲线1806示出的、将视差Lt像素与视差Rt像素的曲线叠加得到的曲线的模糊幅度为相同程度。
图6的(c)示出在具有图6的(a)所示的各开口部的像素中，物点从焦点位置在接近摄像元件受光面的方向上偏移的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示光强度。图6的(c)的曲线Lt、曲线Rt维持具有开口部104n的无视差像素的模糊幅度与将视差Lt像素和视差Rt像素叠加得到的曲线的模糊幅度为相同程度的关系，相对于图6的(b)的曲线Lt、曲线Rt而位置关系相反。
图6的(d)示出视差Lt像素的开口部104l的形状、视差Rt像素的开口部104r的形状、和开口部104c的形状全部为相同形状的举例。在该情况下，具有开口部104c的像素是虽然仅将以光瞳的中心部分为部分区域的被摄体光束向光电转换元件108引导，但具有与基准方向对应的开口部的、没有偏心的像素。由此，能够视为无视差像素(C像素)。此外，开口部104l、开口部104r、开口部104c的面积为图6的(a)所示的开口部104n的一半。与图6的(a)的情况同样地，开口部104l以及104r分别与从光电转换元件108的中心(像素中心)通过的假想的中心线322相接。
图6的(e)示出在具有图6的(d)所示的各开口部的像素中，物点从焦点位置在远离摄像元件受光面的方向上偏移的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示光强度。曲线Lt与图5的(b)的分布曲线1804相当，曲线Rt与图5的(b)的分布曲线1805相当。此外，各个开口部104c、开口部104l、开口部104r具有开口光圈的功能。因此，具有与开口部104l以及开口部104r为相同形状、相同面积的开口部104c的无视差像素的模糊幅度与视差Lt像素以及视差Rt像素的模糊幅度为相同程度。
图6的(f)示出在具有图6的(d)中所示的各开口部的像素中，物点从焦点位置在接近摄像元件受光面的方向上偏移的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示光强度。图6的(f)的曲线Lt、曲线Rt相对于图6的(e)的曲线Lt、曲线Rt而位置关系相反。
接下来，对在单眼立体摄像系统中从可见光区域至不可见光区域进行立体摄像的系统进行陈述。首先陈述原理说明和排列结构，在实施例1与实施例2中陈述显影处理方法。
＜向不可见区域的多波段化和立体摄像＞
若不仅能够拍摄被摄体像中的可见光的波段也能够拍摄不可见光的波段，则能够得到互补的丰富的信息。通过利用不可见光的波段的信息，能够提供具有新的空间分辨率的分光装置。此时，若能够同时对可见光的波段与不可见光的波段进行一次拍摄，则作为装置最容易使用。而且，优选使用单眼光瞳分割摄像方式的原理而对摄像元件的开口进行研究，使得能够同时进行立体摄像。此时，为了使用各个可见区域的颜色成分和/或不可见区域的波段成分来提高空间析像度，也为了进一步实现立体观看，使摄像元件为怎样的排列结构成为重要的课题。在将用于对可见光的波段的被摄体像进行立体摄像的方式扩展到不可见光的波段的情况下，将重新产生怎样的新状况，且采用怎样的摄像元件的排列来进行拍摄、进行怎样的显影处理为好均不能明确。其中，在采用单板摄像方式时，从可见至不可见的广大的多波段化的影响对光学系统特性产生的影响、和其结果对单眼光瞳分割摄像中的立体像的影响不能明确。
图7是表示成像位置的波长依赖性的概略图。横轴表示波长(nm)，纵轴表示焦点位置(μm)。当作为多波段化的不可见区域的波段而使用近红外区域(900nm～1700nm左右的范围)时，能够援用以往的可见区域(400nm～700nm)的单眼光学系统。若处理如此大波段的波长，则能够预测到即使是同一光学系统在可见区域与不可见区域中成像的对焦面的位置也会不同。即，通常短波长的折射角比长波长的折射角大，因此如图示那样，当使光学系统对焦于可见光的被摄体像时，近红外光的被摄体像成为稍微模糊了的像。另外，在市售的透镜组中通常以如下方式设计，即：当在可见光域中利用R、G、B这3色的波段进行平均时使对焦面尽量一致。可见光的对焦位置与近红外的对焦位置不同的性质潜藏着在单眼立体摄像中展现时能够作为重新有效活用的手段的可能性。
如使用图3、图4而既已说明的那样，在单眼光瞳分割摄像方式中，在对焦位置上的被摄体中，左视点的点像分布和右视点的点像分布相同，与之相对，在非对焦区域的被摄体中，越是从对焦位置远离的被摄体，点像分布越宽而且彼此越远离，从而产生视差。此外，基准视点的点像分布成为将左视点的点像分布和右视点的点像分布合计而成的点像分布。换言之，N像素捕捉左右的视差像素分别捕捉的被摄体像的重心位置处的视点方向上的被摄体像。
这种单眼光瞳分割摄像方式的性质显现于可见光的波段。如既已说明的那样，在单板摄像元件中，使对可见区域进行光电转换的可见像素和对近红外域进行光电转换的不可见像素排列在同一平面上。更具体地说，将与各像素对应的光电转换元件排列于相对于光轴方向相同的成像面上。如此，即使可见光的区域的被摄体像对焦，近红外光的区域的被摄体像也会变得稍微模糊。即，即使在可见光的区域的被摄体像中未产生视差，也会在近红外光的区域的被摄体像中产生一些视差。此外，在近红外光的被摄体像对焦时，成为其相反的关系。即，即使近红外光的区域的被摄体像对焦，可见光的区域的被摄体像也会变得稍微模糊。为了不产生这种性质，为了使成像位置在所有的波长域中一致，可以以改变作为像素的受光部的光电转换元件的深度的方式进行设计，但在本实施方式中，并不采用这种方式，而是利用可见光的对焦位置与近红外的对焦位置稍微不同的性质。作为显影处理的方法，当不利用后述的实施例1，而利用后述的实施例2时，尤其能够有效利用该性质。
＜像素排列构成的基本法则与显影处理的关系＞
对为了利用上述的可见波段和不可见波段的多波段来进行立体摄像而采用怎样的像素排列结构为好进行说明。在日本专利申请2012-060738(稀疏地各向同性的视差像素排列)中，作为可见像素排列有全开口的无视差像素和半开口的左右的视差像素。若作为不可见像素而同样地排列有全开口的视差像素和半开口的左右视差像素，则会产生导致可见波段的像素密度降低，削减可见区域的空间析像力的问题。即，伴随着多视差化和多波段化而同时实现各个成分的空间析像成为问题。于是，在本实施方式中，采取如下的基本立场，采用图8、图9等所示的排列。
图8以及图9是表示作为像素排列的一例的实际空间的排列和k空间的图。示出使用了将各图的上栏的排列图作为基本格子而周期地配置而成的摄像元件的举例。关于其倒格子空间的频率析像区域也将各颜色和各视差的组合示出。在各图的排列图中，实线的矩形表示可见视差像素，虚线的矩形表示不可见视差像素。实线的正方形表示可见无视差像素。
在可见区域中的RGB3色的2D摄像中拜耳阵列是有效的。这是由于，可见度大的G成分比R成分、B成分以高密度配置，由此，G成分承担基准析像，且能够利用RGB颜色成分之间的相关关系、即颜色比R/G、R/B固定或者色差R-G、B-G固定的关系，提升R成分、B成分的空间析像。而且，在可见区域中的RGB3色的立体摄像中，日本专利申请2012-060738所示的N：Lt：Rt＝6：1：1排列从拍摄2D-3D无缝(seamless)图像这一观点出发是最有效的。即，2D、3D都能够高析像地显影。这是由于，在单眼立体摄像系统中，利用仅在模糊了的区域产生视差这一性质来降低视差像素的密度，且通过N像素保持基准析像，将N像素所捕捉到的N图像(2D图像)的高析像信息反映给视差Lt图像以及视差Rt图像(3D图像)。在实验上，确认了日本专利申请2012-060738所示的N：Lt：Rt＝14：1：1排列也具有对2D-3D无缝图像的摄影有效的性能。若为N：Lt：Rt＝6以上：1：1的排列，则存在对2D-3D无缝图像的摄影具有有效的性能的可能性。另外，将佩戴3D眼镜的鉴赏者和未佩戴3D眼镜的鉴赏者能够同时鉴赏的图像称为2D-3D无缝图像。
于是，在本实施方式中，在从仅由可见像素构成的像素排列向增加了不可见像素的像素排列扩展时，在将日本专利申请2012-060738所示的N：Lt：Rt＝14：1：1用作基本结构的基础上，将一部分的可见无视差像素置换为不可见视差像素。更具体地说，采用在可见区域中保证2D-3D无缝的高析像输出的日本专利申请2012-060738的N：Lt：Rt＝14：1：1排列(RGB3色排列)，同时将向N：Lt：Rt＝6：1：1排列增加了视差像素的像素分别分配给近红外的3个波段的视差像素。通过如上那样地分配，如图示那样，使N：Lt：Rt＝14：1：1排列承担同时高析像地分辨可见光区域的2D-3D无缝图像的基本析像。另一方面，作为不可见像素不采用无视差像素，仅追加视差像素。在这样的排列中，为了同时高析像输出不可见光区域的2D-3D无缝图像，首先，反映可见光的无视差图像的信息来高析像度化出不可见光的无视差图像。然后，利用不可见视差像素的信息来生成不可见的高析像的立体图像。因此，作为不可见像素也可以不设置无视差像素。
图8上栏所示的排列在采样时刻具有图8下栏所示的频率析像。在显影处理阶段，具有到最外侧为止利用表示高析像的成分的信息，而将其他成分的频率析像延伸至最外侧的可能性。为此，优选在降低可见视差像素与不可见视差像素的密度的同时，将这些像素以使可见无视差像素的损伤变得最少的方式不聚集而分离地配置。另一方面，为了使具有各个颜色或波段、以及视差的各成分采用图8下栏的频率析像，需要各向同性地配置各成分。同时，以该颜色排列的基本结构保持为拜耳阵列为前提。如此，排列的基本法则为，为了各向同性地配置各成分并且相对于可见的N像素不聚集地配置，将某个波段成分的一方的视差像素以各向同性的方式配置，在此基础上，以与该波段的另一方的视差像素距离为最远的方式配置。而且，在不区分可见与不可见而统一地看待6个波段时，使相同视点的视差像素以彼此最为远离的方式配置，并且使不可见视差像素以彼此最为远离的方式配置，且使可见视差像素也以彼此最为远离的方式配置。可以说图9上栏所示的排列也同样。根据最后陈述的条件的优先顺序的排列方法，而采用图8的排列或采用图9的排列。图8是以非视差像素彼此离开为优先的排列。图9是以相同视点的视差像素彼此最为远离为优先的排列。
具体将在后叙述，在图11、图12中示出将黑白的立体摄像元件扩展至可见和近红外这2个波段的立体摄像元件的排列的举例。图11以及图12所示的像素排列也遵照上述的配置法则。
＜可见波段与不可见波段的混合立体显影＞
再稍微具体地说明利用在可见波段与不可见波段中即使使用同一光学系统成像面的位置也不同的这一性质的方面。若利用该性质在可见波段的立体显影中一边赋予不可见波段的视差信息一边进行显影处理，则产生在对焦位置也新产生视差这一新效果。在仅具有可见像素的单眼立体摄像系统中，在对焦位置的被摄体像中不产生视差，仅在非对焦位置的被摄体像中产生视差。在该情况下虽然也能够自然地立体观看，但基于人眼，即使在对焦位置上，映现在右眼与左眼中的像也存在视差。尽管如此，在未对准焦点的部分仅认知为模糊。因此，通过利用不可见光的成像位置不同这一性质，能够提供生成与视觉系统所捕捉的立体像更接近的立体图像的单眼立体摄像系统。
另一方面，在不可见波段的立体显影中，摄像信息仅被进行极低析像的采样。然而，由于不可见波长中的被摄体像也可以是虚拟的，所以存在想要作为空间析像高的图像来观看的要求。于是，在不可见波段的2D显影中，能够在反映了可见波段的2D析像的基础上，一边通过可见视差像素的采样信息来补偿在立体显影中仅通过不可见视差像素的信息也不充分的采样信息，一边进行高析像度的不可见立体显影。
另外，在理解可见区域中的单眼立体摄像与其显影方法的说明的基础上，与本申请为同一发明人的以下的专利文献供参考。
文献A1：PCT/JP2013/001811
文献A2：日本特开2013-229765
文献A3：PCT/JP2013/001705
＜实施例1＞
---可见+不可见6个波段稀疏的视差像素排列---
示出将图8的上栏的排列图作为基本格子周期性地配置而成的摄像元件的举例。关于其倒格子空间的频率析像区域也将各颜色与各视差的组合示出。若设频率为f，则在以k＝2πf表示的频率k的k空间中进行记述。
图10是说明波长与分光灵敏度之间的关系的图。横轴表示波长(nm)，纵轴表示分光灵敏度。如图10的(a)、(b)所示，作为可见光的RGB彩色滤光片，使用具有通常所使用的分光特性的彩色滤光片。另一方面，作为近红外光的I1，I2，I3带通滤光片，可以如图10的(a)所示那样使用半值宽度(half width)大的带通滤光片，也可以如图10的(b)所示那样使用半值宽度小并使特定的波长透过的带通滤光片。作为近红外光的带通滤光片能够使用彼此不同的3个波段的带通滤光片。
在以下的说明中，为了便于说明也存在将可见光的3个颜色和近红外的3个波段总括地称为6个波段的情况。此外，还存在将可见光的颜色成分和近红外的波段成分总括地称为颜色波段成分的情况。也使用从波长短的波段起依次为B、G、R、IB、IG、IR的符号。
在各个颜色波段成分中，对无视差像素添加N、对左视差像素添加Lt、对右视差像素添加Rt的下角标来进行区分。
可见无视差像素：RN、GN、BN
可见左视差像素：RLt、GLt、BLt
可见右视差像素：RRt、GRt、BRt
近红外左视差像素：IR Lt、IG Lt、IB Lt
近红外右视差像素：IR Rt、IG Rt、IB Rt
另外，为了方便说明，从波长短的顺序命名IB，IG，IR，但实际上也可以置换它们的作用。即，可以对像素密度高的成分取任意一个，此外，也可以未必使近红外3个波段中波长最长侧位于图8的R像素所存在的行中。
说明可见与不可见的非混合显影。处理的步骤大体如下。
1)颜色·视差多重化马赛克图像数据输入
2)颜色·视差马赛克图像的全局·增益平衡修正
3)临时的可见以及不可见视差图像的生成
4)基于左右的局部照度分布修正的、可见无视差颜色马赛克图像的生成
(局部·增益平衡修正)
5)可见无视差基准图像的生成
6)不可见无视差基准图像的生成
7)实际的可见以及不可见视差图像的生成
8)可见以及不可见图像向输出颜色空间的变换
以下具体说明。
1)颜色·视差多重化马赛克图像数据输入
将图8的可见光以及近红外的颜色波段和视差多重化后的单板式马赛克图像以M(x,y)表示。灰阶是基于A/D转换而输出的线性灰阶。即，具有与光量成比例的像素值。也存在将其称为RAW数据的情况。
2)颜色·视差马赛克图像的全局·增益平衡修正
关于进入左视差像素的照度和进入右视差像素的照度而产生如下现实问题：越缩小光圈，则不仅左右之间相对的分布越不同，作为图像整体的平均信号电平也会产生越大的差异，因此在该阶段中进行取整体亮度的整合的增益修正。这在可见光、近红外光中也同样地产生。因此，直接使用所拍摄的被摄体像来计算无视差像素的像素值的在图像整体的平均值、左视差像素的像素值的在图像整体的平均值、和右视差像素的像素值的在图像整体的平均值。在可见光中存在3种信号电平。在近红外光中存在2种信号电平。
首先，作为左右间的基准点，以使信号电平调合为平均值的方式进行增益修正。这是基于如下的假设：即使例如具有视差，也会在左右的视差像素中捕捉到相同区域的被摄体像，所以即使不拍摄均匀面也能够从被摄体像本身得到电平调合所需要的信号信息。作为左右之间的基准点，以使信号电平调合为平均值的方式进行增益修正。此时，作为基准点的获取方法可以考虑算术平均和几何平均这两种。然后，对于可见光，在经左右平均得到的信号电平与无视差像素的信号电平之间取几何平均，以使信号电平调合为该平均值的方式进行增益修正。对R、G、B、IR、IG、IB各个颜色波段成分进行该过程。将与各自对应的平均值表示如下。
另外，在全部的无视差像素具有全开口的掩膜时采用算术平均型的方式。在全部的无视差像素具有半开口的掩膜时采用几何平均型的方式。因此，在本实施方式中采用算术平均型。
为便于说明，在马赛克图像M(x,y)中，
将可见R成分的无视差像素的信号面表示为RN_mosaic(x,y)，
将可见R成分的左视差像素的信号面表示为RLt_mosaic(x,y)，
将可见R成分的右视差像素的信号面表示为RRt_mosaic(x,y)，
将可见G成分的左视差像素的信号面表示为GN_mosaic(x,y)，
将可见G成分的无视差像素的信号面表示为GLt_mosaic(x,y)，
将可见G成分的右视差像素的信号面表示为GRt_mosaic(x,y)，
将可见B成分的无视差像素的信号面表示为BN_mosaic(x,y)，
将可见B成分的左视差像素的信号面表示为BLt_mosaic(x,y)，
将可见B成分的右视差像素的信号面表示为BRt_mosaic(x,y)，
将近红外IR成分的左视差像素的信号面表示为IR Lt_mosaic(x,y)，
将近红外IR成分的右视差像素的信号面表示为IR Rt_mosaic(x,y)，
将近红外IG成分的左视差像素的信号面表示为IG N_mosaic(x,y)，
将近红外IG成分的右视差像素的信号面表示为IG Rt_mosaic(x,y)，
将近红外IB成分的左视差像素的信号面表示为IB Lt_mosaic(x,y)，
将近红外IB成分的右视差像素的信号面表示为IB Rt_mosaic(x,y)。
a)左右间取算术平均的情况下
平均值
对可见无视差像素的增益值
对可见以及近红外的左视差像素的增益值
对可见以及近红外的右视差像素的增益值
对可见无视差像素的全局·增益修正
对可见以及近红外的左视差像素的全局·增益修正
对可见及近红外的右视差像素的全局·增益修正
b)左右间取几何平均的情况下
平均值
对可见无视差像素的增益值
对可见以及近红外的左视差像素的增益值
对可见以及近红外的右视差像素的增益值
对可见无视差像素的全局·增益修正
对可见以及近红外的左视差像素的全局·增益修正
对可见以近红外的右视差像素的全局·增益修正
如上所述地，将无视差像素以1个增益系数修正、将左视差像素以1个增益系数修正、将右视差像素以1个增益系数修正得到的马赛克图像作为M'(x,y)而输出。
3)临时的可见以及不可见视差图像的生成
对于可见波段和近红外波段的6个颜色波段分别生成空间频率析像度低的分辨率的临时的左视差图像以及临时的右视差图像。例如进行仅聚集了单色波段的左视差像素的可见G色面内的单纯平均插补。例如，使用接近存在的像素值，与距离之比对应地进行线性插补。同样地，进行仅聚集了单色波段的右视差像素的G色面内的单纯平均插补。对R、G、B、IR、IG、IB这6个波段进行同样的处理。而且进行仅聚集了可见单色波段的无视差像素的G色面内的单纯平均插补。对R、G、B分别进行同样的处理。即，根据RLt_mosaic(x,y)生成RLt(x,y)，根据RRt_mosaic(x,y)生成RRt(x,y)，根据RN_mosaic(x,y)生成RN(x,y)。根据GLt_mosaic(x,y)生成GLt(x,y)，根据GRt_mosaic(x,y)生成GRt(x,y)，根据GN_mosaic(x,y)生成GN(x,y)。根据BLt_mosaic(x,y)生成BLt(x,y)，根据BRt_mosaic(x,y)生成BRt(x,y)，根据BN_mosaic(x,y)生成BN(x,y)。根据IR Lt_mosaic(x,y)生成IR Lt(x,y)，根据IR Rt_mosaic(x,y)生成IR Rt(x,y)，根据IG Lt_mosaic(x,y)生成IG Lt(x,y)，根据IG Rt_mosaic(x,y)生成IG Rt(x,y)，根据IB Lt_mosaic(x,y)生成IB Lt(x,y)，根据IB Rt_mosaic(x,y)生成IB Rt(x,y)。
将临时的可见R成分的无视差图像以RN(x,y)表示。
将临时的可见G成分的无视差图像以GN(x,y)表示。
将临时的可见B成分的无视差图像以BN(x,y)表示。
将临时的可见R成分的左视差图像以RLt(x,y)表示。
将临时的可见G成分的左视差图像以GLt(x,y)表示。
将临时的可见B成分的左视差图像以BLt(x,y)表示。
将临时的可见R成分的右视差图像以RRt(x,y)表示。
将临时的可见G成分的右视差图像以GRt(x,y)表示。
将临时的可见B成分的右视差图像以BRt(x,y)表示。
将临时的近红外IR成分的左视差图像以IR Lt(x,y)表示。
将临时的近红外IG成分的左视差图像以IG Lt(x,y)表示。
将临时的近红外IB成分的左视差图像以IB Lt(x,y)表示。
将临时的近红外IR成分的右视差图像以IR Rt(x,y)表示。
将临时的近红外IG成分的右视差图像以IG Rt(x,y)表示。
将临时的近红外IB成分的右视差图像以IB Rt(x,y)表示。
另外，优选为在生成临时的可见无视差图像RN(x,y)、GN(x,y)、BN(x,y)时，导入信号面内的方向判定而高精度地进行。此外，更优选为如下方法：在生成各个临时的视差图像时也是，首先对被上下左右的4点、或者倾斜4点所包围的对称性良好的像素一边观察纵横关系、或者倾斜关系一边通过相关量的倒数加权比进行插补，对剩余的对称性良好的像素按顺序反复进行该操作而进行插补。
4)基于左右的照度分布修正的可见无视差颜色马赛克图像的生成
(局部·增益平衡修正)
接下来在与步骤2)中进行的全局·增益修正同样的思考方式下，限于可见图像的RGB3个波段，通过进行像素单位的局部·增益修正，首先使画面内的左视差像素和画面内的右视差像素的照度调合。通过该操作消除左右间的视差。在此基础上，在取左右平均后的信号面与无视差像素的摄像信号面之间进一步使照度调合。这样，生成在全部像素中取增益整合后的新的拜耳面。其等同于与平均值替换，能够生成视差消除了的拜耳面。将其记作MN(x,y)。
在该情况下，在作为各像素的基准点而整齐的目标值的设定方法中，对于消除左右间的视差的方法，也存在选择算术平均的方法和选择几何平均的方法这2种方法。在全部无视差像素具有全开口的掩膜面积时，为了使左右间消除了视差的被摄体像的模糊幅度与全开口的模糊幅度一致而需要选择算术平均型。另一方面，在全部无视差像素具有半开口的掩膜面积时，为了使左右间消除了视差的被摄体像的模糊幅度与半开口的模糊幅度一致而需要选择几何平均型。由于在本实施方式中无视差像素为全开口，所以采用算术平均型。
而且，在左右间消除了视差的信号面与无视差像素的摄像信号面之间取平均的操作由于两者既已被调合为具有相同的模糊幅度的被摄体像，所以需要保存其模糊幅度。因此，此时必须共通地取几何平均。以下列举其具体式。
另外，此时能够取将摄像元件排列中的无视差像素与视差像素之间的密度比考虑在内的几何平均。即，在本实施例中使用的无视差像素(N)与左视差像素(Lt)、右视差像素(Rt)的比当仅取出可见像素时，为N：L：R＝12：1：1，即N：(L+R)＝6：1。因此，对视差像素赋予6/7次幂的加权，对无视差像素赋予1/7次幂的加权，成为重视密度高的无视差像素的分配。
a)左右间取算数平均的情况下
可见3个波段的各像素的平均值
对可见无视差像素的各像素的平均值
对可见左视差像素的各像素的平均值
对可见右视差像素的各像素的增益值
对可见无视差像素的各像素的局部·增益修正
对可见左视差像素的各像素的局部·增益修正
对可见右视差像素的各像素的局部·增益修正
b)左右间取几何平均的情况下
可见3个波段的各像素的平均值
对可见无视差像素的各像素的增益值
对可见左视差像素的各像素的增益值
对可见右视差像素的各像素的增益值
对可见无视差像素的各像素的局部·增益修正
对可见左视差像素的各像素的局部·增益修正
对可见右视差像素的各像素的局部·增益修正
如上所述，对于可见光3个波段，将对左视点的图像和右视点的图像的平均值进一步与无视差的基准视点的图像取平均值而得到的像素值作为新的无视差像素值，将拜耳面的数据改写，输出无视差拜耳面的图像MN(x,y)。另外，原本摄像像素为近红外像素的数据也遵照拜耳阵列的颜色的规则而替换为此求出的数据。
5)可见无视差基准图像的生成
像这样，能够根据使可见RGB各颜色成分的照度平衡一致、且消除了视差的拜耳面MN(x,y)，使用以往的颜色插补的技术将至与传感器所具有的像素数相当的奈奎斯特频率为止具有分辨率的无视差的彩色图像生成为2D图像。例如，作为公知的拜耳插补技术的最优选的举例，具有与本申请为同一发明人的USP8,259,213所示的插补算法。
将如以上那样得到的无视差的RGB彩色图像由RN(x,y)、GN(x,y)、BN(x,y)表示。它们是以线性灰阶表示的RGB数据。
6)不可见无视差基准图像的生成
接下来，说明高精度地生成不可见光中的近红外波段的2D图像的方法。将生成的图像由IR N(x,y)、IG N(x,y)、IB N(x,y)来表示。如果不是特别高精度地生成，则这些图像可通过以下式子求出。
但是，关于不可见区域中的近红外图像，也存在即便是虚拟地也想要将物体实际上怎样映现生成为高析像图像的情况。例如，蛇通过与人类能够视觉辨认的可见光不同的红外光认知物体。为了生成那样的像，作为修正项对不可见光的近红外的低析像度数据追加由可见光捕捉到的高析像的2D图像的高频信息。此时，在图8所示的排列中，利用近红外和与其为相同视差像素密度的可见光的视差像素之间的差异来进行取出实际上不足的高频成分的操作。由此，不用担心出现在无用的频带中边缘被过分强调这样的弊病，实现了自然的近红外光的高析像度化。
对修正方法能够考虑2种运算。即，假设在可见光的高析像度图像与低析像度图像之间成立的关系，在比值固定的状态下在近红外光的高析像度图像与低析像度图像之间也成立的方法、和在差值固定的状态下在近红外光的高析像度图像与低析像度图像之间也成立的方法。
另外，在比值固定类型的情况下，当全部可见无视差像素具有全开口的掩膜时采用算术平均型的方式。当全部可见无视差像素具有半开口的掩膜时采用几何平均型的方式。因此，在比值固定的情况下，在本实施方式中使用算术平均型。
比值固定的情况下
a)左右间取算数平均的情况下
b)左右间取几何平均的情况下
差值固定的情况下
其中，1/4次幂或1/2次幂，或者1/4倍或1/2倍的要素是与摄像元件的各颜色成分的像素密度的高低相应的信赖度的系数，即加权系数。
在比值固定的方式中，通常在保持线性灰阶空间的状态下进行运算。另一方面，在差值固定的方式中，通常进行如下过程：暂时通过伽马变换而放置在与对数接近的空间中，在此基础上，一边进行差值固定的修正一边生成近红外的高析像的2D图像，然后通过逆伽马变换而回到线性灰阶空间。该伽马变换的特性不限于对数，能够任意地设定，优选为以下的灰阶特性。其中，x表示输入信号，y表示输出信号，且在x：[0，1]、y：[0，1]的范围中被标准化。ε的值在低灵敏度图像中设定与零接近的值，且随着摄像灵敏度增大而设定得较大。请参照与本申请为同一发明人的USP7,957,588。
另外，若对比值固定方式的几何平均式子采用对数，则与差值固定的情况下的式子一致。
7)实际的可见以及不可见视差图像的生成
关于可见图像，使用在步骤3)中所生成的析像力低的临时的左视差彩色图像RLt(x,y)、GLt(x,y)、BLt(x,y)、步骤5)中作为中间处理而生成的析像力高的无视差彩色图像RN(x,y)、GN(x,y)、BN(x,y)，生成实际输出的析像力高的左视差彩色图像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)。同样地，使用在步骤3)中生成的析像力低的临时的右视差彩色图像RRt(x,y)、GRt(x,y)、BRt(x,y)、在步骤5)中作为中间处理而生成的析像力高的无视差彩色图像RN(x,y)、GN(x,y)、BN(x,y)，生成实际输出的析像力高的右视差彩色图像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)。
关于近红外图像，也使用在步骤3)中生成的析像力低的临时的左视差彩色图像IR Lt(x,y)、IG Lt(x,y)、IB Lt(x,y)、在步骤6)中作为中间处理而生成的析像力高的无视差的3个波段图像IR N(x,y)、IG N(x,y)、IB N(x,y)，来生成实际输出的析像力高的左视差的3个波段图像I'R Lt(x,y)、I'G Lt(x,y)、I'B Lt(x,y)。同样地，使用在步骤3)中生成的析像力低的临时的右视差的3个波段图像IR Rt(x,y)、IG Rt(x,y)、IB Rt(x,y)、在步骤6)中作为中间处理而生成的析像力高的无视差的3个波段图像IR N(x,y)、IG N(x,y)、IB N(x,y)，来生成实际输出的析像力高的右视差的3个波段图像I'R Rt(x,y)、I'G Rt(x,y)、I'B Rt(x,y)。
即，进行可见图像在可见图像之间中独立地闭合、近红外图像在近红外图像中独立地闭合的视差调制。但是，在可见波长中进行波段间的混合而进行多颜色视差调制。在近红外波长中也进行波段间的混合而进行多波段视差调制。在此为与之后的实施例2不同的思考方式。
作为视差调制的方式，能够考虑维持比值固定的方法和维持差值固定的方法这两种方法。而且，在比值固定的情况下，可以考虑对基准点取算术平均的方法和对基准点取几何平均的方法这两种。哪种都能获得视差调制效果，但在摄像元件的无视差像素的开口掩膜为全开口时，采用以算术平均为基准点的方式，在无视差像素的开口掩膜为与有视差的像素相同的半开口时，采用以几何平均为基准点的方式。因此，在本实施方式中使用以算术平均为基准点的方式。
在进行视差调制时，也采取将摄像元件排列中的各视差像素彼此之间的RGB的密度比考虑进去的几何平均。即，在左视差像素彼此之间为R：G：B＝1：2：1，右视差像素彼此之间也为R：G：B＝1：2：1，因此在比值固定的调制的情况下，对基于R成分的视差调制赋予1/4次幂的加权，对基于G成分的视差调制赋予1/2次幂的加权，对基于B成分的视差调制赋予1/4次幂的加权，取重视基于密度高的G成分的视差调制的分配。在差值固定的调制的情况下，1/4倍、1/2倍、1/4倍的系数分别与RGB相关。对于近红外的3个波段也是同样的。
比值固定的情况下
a)以算数平均为基准点的视差调制
左视差调制
右视差调制
b)以几何平均为基准点的视差调制
左视差调制
右视差调制
差值固定的情况下
左视差调制
右视差调制
另外，比值固定的视差调制在线性灰阶空间的状态下进行，差值固定的视差调制在伽马空间下进行。向伽马空间的变换和逆变换与通过步骤6)定义的式子相同。
另外，若对比值固定方式的几何平均的式子取对数，则与差值固定的情况下的式子一致。
8)向可见以及不可见图像的输出颜色空间的转换
对这样得到的可见光波长域的高析像的无视差的中间彩色图像RN(x,y)、GN(x,y)、BN(x,y)、高析像的左视差的彩色图像RLt(x,y)、GLt(x,y)、BLt(x,y)、高析像的右视差的彩色图像RRt(x,y)、GRt(x,y)、BRt(x,y)，分别从传感器的分光特性的相机RGB向标准的sRGB颜色空间进行颜色矩阵变换和伽马变换，并作为输出颜色空间的图像而输出。
另一方面，由于不存在与不可见光的波段有关的标准的颜色空间，所以尤其是涉及不可见光图像无需进行任何颜色变换。但是，在分光光谱在3个波段之间重叠而想要提高其分离度的情况下，进行基于不可见光3个波段间的3×3矩阵的线性运算。另外，在可见光的波段与近红外光的波段重叠的情况下，如以下所示，通过6×6矩阵同时进行颜色空间变换。另外，在本实施方式中，与可见像素对应地具备IR截止滤光片，而在不可见像素中不具备IR截止滤光片。此外，也可以是，在可见像素中不具备IR截止滤光片，而通过在可见像素中减去与IR相当的像素值来发挥与IR截止滤光片同等的作用。
这样做的结果是，作为由可见3色、近红外3个波段构成的2种“彩色”图像，生成高析像的2D图像和3D图像。
在此，预先基于实验事实记载进行多颜色视差调制的画质上的效果。假设不使用全部的3个颜色，仅通过单色成分进行了视差调制。这样做的情况下以下情形将变得明显：具有颜色边界的被摄体像不能适当地进行视差位移，成为视差的过大位移或过小位移而在立体像中产生浮色或沉色现象的情形。尤其是红色的被摄体看起来浮起的浮红现象被非常明显地看到。此外，即使对使用透镜的轴上色差大的光学系统拍摄到的图像在立体图像生成过程中进行了单色视差调制时，也判明会产生同样的现象。对此，在进行了多颜色视差调制的情况下，带来了能够几乎完全抑制所述现象这一非常显著的画质效果。这是由于，在颜色边界部中，即使某个颜色成分发生过大位移，而其他颜色成分发生过小位移的情况较多，从而实际上抵消成适当的视差位移量的机构产生作用。轴上色差也由于模糊大的颜色成分和小的颜色成分混合地存在，所以当使用3个颜色成分时，进行稳定于将3个颜色平均后的模糊的视差调制。在单眼立体摄像中，由于模糊与视差量处于对应关系，所以通常透镜的轴上色差使浮色·沉色现象产生。但是，若进行多颜色视差调制，则会使存在于颜色成分间的模糊程度的不同平均化，还伴有消除浮色·沉色现象的效果。
上述单眼立体摄像中的单色视差调制所具有的课题与基于多颜色视差调制的解决方法的关系正好能够与2D摄像中的例如、对拜耳阵列进行颜色插补时的单色外插与多颜色外插的关系相似地表现。单色外插是在对例如USP5,501,653所示那样的拜耳阵列的R成分的像素位置插补G成分时，通过由中心的R像素与周边的R像素的平均值的差分构成的外插项对周边的G像素的平均值进行修正而计算插补值。当进行这样的单色外插时，在颜色边界部分会产生由于过修正而导致的超调量(overshoot)的问题，而且在存在倍率色差时会产生块化现象，这详述于与本申请为同一发明人的USP7,236,628中。作为其解决方法在上述发明中示出了：若进行基于多颜色的外插修正，则能够解决所有问题。因此，2D图像的去马赛克处理中的多颜色外插修正处于与3D图像的立体图像生成中的多颜色视差调制正好对应的关系，两者均有效发挥作为在颜色边界部中互补地抵消的抵消效果，并且在2D图像生成中显现为防止倍率色差的影响的效果，在3D图像生成中显现为防止轴上色差的影响的效果。另外，上述的“多颜色”与“使用了多个颜色成分”为同义。
关于以上效果，可以说即使将可见中的多颜色的颜色成分置换为不可见中的大量的波段成分也是同样的。如前述，在进行不同波段间的调制处理时，使不同波段的图像彼此进行彼此相同的信号变化，假设满足差值固定或者比值固定的前提条件而进行调制处理。在该前提条件不成立时，在该条件不成立的区域与条件成立的区域之间的边界部周围产生不自然的伪像。然而，即使某个波段与某个波段之间条件不成立，其他波段在与其不同的状态下条件不成立的情况也较多，当在多个波段中进行调制处理时，假设的不成立被抵消，能够在大部分的图像区域中构筑假设成立那样的环境。
＜实施例2＞
---可见+不可见6波段稀疏的视差像素排列---
示出将图8上栏的排列图作为基本格子而周期性地配置而成的摄像元件的举例。在此，说明可见与不可见的相互混合显影。处理的顺序大体如下。
1)颜色·视差多重化马赛克图像数据输入
2)颜色·视差马赛克图像的全局·增益平衡修正
3)临时的可见以及不可见视差图像的生成
4)基于左右的局部照度分布修正的可见无视差颜色马赛克图像的生成
(局部·增益平衡修正)
5)可见无视差基准图像的生成
6)不可见无视差基准图像的生成
7)实际的可见以及不可见视差图像的生成
8)可见以及不可见图像向输出颜色空间的变换
以下具体进行说明。处理的整体流程与实施例1的流程相同。在此，作为处理内容不同的部分，说明步骤5以及步骤7。
5)可见无视差基准图像的生成
在实施例1中说明的通常的拜耳插补后，施加以下的修正。原因是，若不使用全部近红外像素的摄像信息，相应地，无论进行多么高性能的拜耳插补，与对通常的拜耳阵列进行了插补时相比，在其显影图像中也会产生模糊。由此，追加与近红外的信号面也具有相关关系的修正项。其具有3种方法，分别沿用实施例1中说明的区分方法。
比值固定的情况下
a)左右间取算数平均的情况下
b)左右间取几何平均的情况下
差值固定的情况下
〈〉表示局部平均。例如如以下所示，采用3×3的各向同性的低通滤光片。另外，也可以采用具有更大范围的平滑化滤光片。
<>＝(1/16)x
1 2 1
2 4 2
1 2 1
作为修正项而抽出的、由近红外的左右视差图像的平均值生成的近红外的无视差图像面的边缘成分的采样密度低。由此，通过插补而生成的图像区域平缓地变化因而不被抽出，抽出采样位置附近处的凹凸信息。因此，近红外像素被采样了的摄像信息被反映给可见光的拜耳插补结果。
7)实际的可见以及不可见视差图像的生成
关于可见图像，使用在步骤3)中生成的析像力低的临时的左视差彩色图像RLt(x,y)、GLt(x,y)、BLt(x,y)和在步骤5)中作为中间处理生成的析像力高的无视差彩色图像RN(x,y)、GN(x,y)、BN(x,y)，而且还使用近红外图像的在步骤3)中生成的析像力低的临时的左视差彩色图像IR Lt(x,y)、IG Lt(x,y)、IB Lt(x,y)和在步骤6)中作为中间处理而生成的析像力高的无视差的3个波段图像IR N(x,y)、IG N(x,y)、IB N(x,y)，来生成实际输出的析像力高的左视差彩色图像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)。同样地，使用在步骤3)中生成的析像力低的临时的右视差彩色图像RRt(x,y)、GRt(x,y)、BRt(x,y)和在步骤5)中作为中间处理而生成的析像力高的无视差彩色图像RN(x,y)、GN(x,y)、BN(x,y)，而且还使用近红外图像的在步骤3)中生成的析像力低的临时的左视差彩色图像IR Rt(x,y)、IG Rt(x,y)、IB Rt(x,y)和在步骤6)中作为中间处理而生成的析像力高的无视差的3个波段图像IR N(x,y)、IG N(x,y)、IB N(x,y)，来生成实际输出的析像力高的右视差彩色图像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)。
关于近红外图像也是，使用在步骤3)中生成的析像力低的临时的左视差彩色图像IR Lt(x,y)、IG Lt(x,y)、IB Lt(x,y)和在步骤6)中作为中间处理而生成的析像力高的无视差的3个波段图像IR N(x,y)、IG N(x,y)、IB N(x,y)，而且还使用可见图像的在步骤3)中生成的析像力低的临时的左视差彩色图像RLt(x,y)、GLt(x,y)、BLt(x,y)和在步骤5)中作为中间处理而生成的析像力高的无视差彩色图像RN(x,y)、GN(x,y)、BN(x,y)，来生成实际输出的析像力高的左视差的3个波段图像I'R Lt(x,y)、I'G Lt(x,y)、I'B Lt(x,y)。同样地，使用在步骤3中生成的析像力低的临时的右视差的3个波段图像IR Rt(x,y)、IG Rt(x,y)、IB Rt(x,y)和在步骤6)中作为中间处理而生成的析像力高的无视差的3个波段图像IR N(x,y)、IG N(x,y)、IB N(x,y)，而且还使用可见图像的在步骤3)中生成的析像力低的临时的左视差彩色图像RRt(x,y)、GRt(x,y)、BRt(x,y)和在步骤5)中作为中间处理而生成的析像力高的无视差的彩色图像RN(x,y)、GN(x,y)、BN(x,y)，来生成实际输出的析像力高的右视差的3个波段图像I'R Rt(x,y)、I'G Rt(x,y)、I'B Rt(x,y)。
即，对可见图像进行使可见图像与近红外图像彼此混合的视差调制，对近红外图像也进行使近红外图像与可见图像彼此混合的视差调制。且在可见波长中，还进行波段间的混合地进行多颜色视差调制。在近红外波长中也进行波段间的混合地进行多波段视差调制。根据以上内容，所生成的立体图像成为反映了拍摄时的全部采样信息、高析像的可见以及近红外的立体图像。
在进行视差调制时，也取将摄像元件排列中的各视差像素彼此之间的RGB以及IRIGIB的密度比考虑进去的几何平均。即，在左视差像素彼此之间为R：G：B：IR：IG：IB＝1：2：1：1：2：1，在右视差像素彼此之间也为R：G：B：IR：IG：IB＝1：2：1：1：2：1，因此，比值固定的调制的情况下，对基于R成分和IR成分的视差调制赋予1/8次幂的加权，对基于G成分和IG成分的视差调制赋予1/4次幂的加权，对基于B成分和IB成分的视差调制赋予1/8次幂的加权，取重视基于密度高的G成分和IG成分的视差调制的分配。差值固定的视差调制的情况下，1/4倍、1/2倍、1/4倍的系数分别与RGB和IRIGIB相关。对于近红外的3个波段也是同样的。
比值固定的情况下
a)以算术平均为基准点的视差调制
左视差调制
右视差调制
b)以几何平均为基准点的视差调制
左视差调制
右视差调制
差值固定的情况下
左视差调制
右视差调制
在此，再次说明利用可见图像和近红外图像的成像位置不同的性质，而对于对焦位置的成像图像也在立体图像中产生视差的原理。例如在差值固定的视差调制的情况下，在对焦于可见图像的被摄体像的区域中，视差调制项均为零。然而，近红外的视差调制项不会变为零，所以产生出视差调制效果。
＜实施例3＞
---可见黑白+不可见1个波段稀疏的视差像素排列---
图11以及图12是表示作为像素排列的一例的实际空间的排列和k空间的图。示出使用将各图的上栏的排列图作为基本格子周期性地配置而成的摄像元件的举例。关于其倒格子空间的频率析像区域也将各颜色和各视差的组合示出。在各图上栏的排列图的基本格子中，可见光以黑白拍摄，近红外光仅以1个波段拍摄。该排列是利用单眼光瞳分割方式的仅在模糊了的被摄体区域产生视差这一性质而如下构成的可见+不可见单波段摄像元件：使可见视差像素以及不可见视差像素的密度为稀疏的配置，且将剩余的像素尽可能地分配给可见无视差像素。以下列举图12的排列为例而进行说明。
另外，由于加入了可见光和不可见光的2个波段，在此也为了方便说明，而在流程的标题中，将所述两个波段称为颜色。在此，说明可见与不可见的相互混合显影。处理的顺序大体如下。在此，列举与实施例2对应的显影方法为例进行说明。关于与实施例1对应的显影方法也可以说基本上相同。
1)颜色·视差多重化马赛克图像数据输入
2)颜色·视差马赛克图像的全局·增益平衡修正
3)临时的可见以及不可见视差图像的生成
4)基于左右的局部照度分布修正的可见无视差基准图像的生成
(局部·增益平衡修正)
5)不可见无视差基准图像的生成
6)实际的可见以及不可见视差图像的生成
7)可见以及不可见图像向输出颜色空间的变换
以下具体地进行说明。
1)颜色·视差多重化马赛克图像数据输入
将图12所示的、视差多重化后的单板式的可见+不可见单波段的马赛克图像表示为M(x,y)。灰阶是根据A/D转换而输出的线性灰阶。
2)颜色·视差多重化马赛克图像的全局·增益平衡修正
直接使用拍摄所得到的被摄体像，计算出无视差像素的像素值的在图像整体的平均值左视差像素的像素值的在图像整体的平均值和右视差像素的像素值的在图像整体的平均值与实施例2同样地，存在3种信号电平。首先，作为左右间的基准点，以使信号电平调合为平均值的方式进行增益修正。此时，基准点的获取方法具有算术平均和几何平均这两种。然后，在左右平均后的信号电平与无视差像素的信号电平之间取几何平均，以使信号电平调合为该平均值的方式进行增益修正。对可见图像进行前述的全部过程，对不可见图像仅进行Lt和Rt间的运算。
为了方便说明，在马赛克图像M(x,y)内，
将可见无视差像素的信号面表示为WN_mosaic(x,y)，
将可见左视差像素的信号面表示为WLt_mosaic(x,y)，
将可见右视差像素的信号面表示为WRt_mosaic(x,y)，
将不可见左视差像素的信号面表示为ILt_mosaic(x,y)，
将不可见右视差像素的信号面表示为IRt_mosaic(x,y)。
a)左右间取算术平均的情况下
平均值
对可见无视差像素的增益值
对可见以及近红外的左视差像素的增益值
对可见以及近红外的右视差像素的增益值
对可见无视差像素的全局·增益修正
对可见以及近红外的左视差像素的全局·增益修正
对可见以及近红外的右视差像素的全局·增益修正
b)左右间取几何平均的情况下
平均值
对可见无视差像素的增益值
对可见以及近红外的左视差像素的增益值
对可见以及近红外的右视差像素的增益值
对可见无视差像素的全局·增益修正
对可见以及近红外的左视差像素的全局·增益修正
对可见以及近红外的右视差像素的全局·增益修正
在全部可见无视差像素具有全开口的掩膜时采用算术平均型的方式。在全部可见无视差像素具有半开口的掩膜时采用几何平均型的方式。因此，在本实施方式中采用算术平均型。由此，将可见无视差像素以1个增益系数修正、将可见左视差像素以1个增益系数修正、将可见右视差像素以1个增益系数修正、将不可见左视差像素以1个增益系数修正、将不可见右视差像素以1个增益系数修正所得到的马赛克图像作为M'(x,y)而输出。
3)临时的可见以及不可见视差图像的生成
分别对可见波段和近红外波段这2个颜色波段生成空间频率析像度低的分辨率的临时的左视差图像以及临时的右视差图像。例如，进行仅聚集了单色波段的左视差像素的信号色面内的单纯平均插补。例如，使用接近地存在的像素值，根据距离的比而进行线性插补。同样地，进行仅聚集了单色波段的右视差像素的信号面内的单纯平均插补。对W和I这2个波段进行该处理。而且，进行仅聚集了可见单色波段的无视差像素的信号面内的单纯平均插补。即，根据WLt_mosaic(x,y)生成WLt(x,y)，根据WRt_mosaic(x,y)生成WRt(x,y)，根据WN_mosaic(x,y)生成RN(x,y)，根据ILt_mosaic(x,y)生成ILt(x,y)，根据IRt_mosaic(x,y)生成IRt(x,y)。
将临时的可见无视差图像以WN(x,y)表示。
将临时的可见左视差图像以WLt(x,y)表示。
将临时的可见右视差图像以WRt(x,y)表示。
将临时的近红外左视差图像以ILt(x,y)表示。
将临时的近红外右视差图像以IRt(x,y)表示。
另外，优选的是，在生成临时的可见无视差图像WN(x,y)时，导入信号面内的方向判定而高精度地进行。此外，更优选如下的方法：在生成各个临时的视差图像时也是，首先对被上下左右的4点或者倾斜4点所包围的对称性良好的像素一边观察纵横关系或者倾斜关系一边以相关量的倒数加权比进行插补，对剩余的对称性良好的像素按顺序反复进行该操作而进行插补。
4)基于左右的局部照度分布修正的可见无视差基准图像的生成
(局部·增益平衡修正)
接下来，以与步骤2)中进行的全局·增益修正同样的思考方式，仅限于可见图像，通过进行像素单位的局部·增益修正，而首先使画面内的左视差像素与画面内的右视差像素的照度调合。通过该操作消除左右间的视差。在此基础上在取左右平均后的信号面与无视差像素的摄像信号面之间进一步使照度调合。然后，生成在全部像素中取得了增益整合后的新的可见无视差的基准图像面。这与替换为平均值是等效的，且能够生成消除了视差后的中间图像面。将其记作WN(x,y)。
另外，此时，采用将摄像元件排列中的无视差像素和视差像素的密度比考虑进去的几何平均。即，在本实施例中使用的可见无视差像素(WN)与可见左视差像素(WLt)、可见右视差像素(WRt)之间的比为WN：WLt：WRt＝12：1：1，即WN：(WLt+WRt)＝6：1，因此对视差像素赋予6/7次幂的加权，对无视差像素赋予1/7次幂的加权而进行重视密度高的无视差像素的分配。
a)左右间取算术平均的情况下
可见波段的各像素的平均值
对可见无视差像素的各像素的增益值
对可见左视差像素的各像素的增益值
对可见右视差像素的各像素的增益值
对可见无视差像素的各像素的局部·增益修正
对可见左视差像素的各像素的局部·增益修正
对可见右视差像素的各像素的局部·增益修正
b)左右间取几何平均的情况下
可见波段的各像素的平均值
对可见无视差像素的各像素的增益值
对可见左视差像素的各像素的增益值
对可见右视差像素的各像素的增益值
对可见无视差像素的各像素的局部·增益修正
对可见左视差像素的各像素的局部·增益修正
对可见右视差像素的各像素的局部·增益修正
像这样将对左视点的可见图像和右视点的可见图像的平均值进一步取与无视差的可见基准视点的图像之间的平均值后的像素值作为新的可见无视差像素值，改写可见单波段面的数据，输出可见无视差单波段面的图像WN(x,y)。
另外，也可以对照在实施例2的步骤5)中记述的内容，采用单波段的可见光面与近红外光面之间的相关关系来施加对可见无视差图像进行修正的处理。其区分方法遵照以下步骤6)的记载。
比值固定的情况下
a)以算术平均为基准点的视差调制
b)以几何平均为基准点的视差调制
差值固定的情况下
5)不可见无视差基准图像的生成
接下来，高精度地生成不可见光中的近红外的波段的2D图像。由IN(x,y)表示生成的图像。如果不是特别高精度地生成，则这些图像可通过以下式子取得。
但是，进行以下的修正并进行不可见图像的高析像度化为好。对于修正方法可以考虑2种运算。是比值固定的情况和差值固定的情况。另外，在比值固定的情况下，在全部可见无视差像素具有全开口的掩膜时采用算术平均型的方式。在全部可见无视差像素具有半开口的掩膜时采用几何平均型的方式。因此，在比值固定的情况下，在本实施方式中采用算术平均型。
比值固定的情况下
a)左右间取算术平均的情况下
b)左右间取几何平均的情况下
差值固定的情况下
6)实际的可见以及不可见视差图像的生成
对于可见图像，使用在步骤3)中生成的析像力低的临时的可见左视差图像WLt(x,y)、在步骤4)中作为中间处理而生成的析像力高的可见无视差图像WN(x,y)，来生成实际输出的析像力高的可见左视差图像WLt'(x,y)。同样地，使用在步骤3)中生成的析像力低的临时的可见右视差图像WRt(x,y)、在步骤4)中作为中间处理而生成的析像力高的可见无视差图像WN(x,y)，来生成实际输出的析像力高的可见右视差图像WRt'(x,y)。
对于不可见图像也是，使用在步骤3)中生成的析像力低的临时的不可见左视差图像ILt(x,y)、在步骤5)中作为中间处理而生成的析像力高的不可见无视差图像IN(x,y)，来生成实际输出的析像力高的不可见左视差图像ILt'(x,y)。同样地，使用在步骤3)中生成的析像力低的临时的不可见右视差图像IRt(x,y)、在步骤5)中作为中间处理而生成的析像力高的不可见无视差图像IN(x,y)，来生成实际输出的析像力高的不可见右视差图像IRt'(x,y)。
作为视差调制的方式，可以考虑取算术平均为基准点的方法和取几何平均为基准点的方法这两种方法。虽然哪种都能够取得视差调制效果，但在摄像元件的无视差像素的开口掩膜具有全开口的掩膜时采用以算术平均为基准点的方式，在无视差像素的开口掩膜为与有视差像素相同的半开口的掩膜时采用以几何平均为基准点的方式。因此，在本实施方式中采用以算术平均为基准点的方式。
比值固定的情况下
a)以算术平均为基准点的视差调制
左视差调制
右视差调制
b)以几何平均为基准点的视差调制
左视差调制
右视差调制
差值固定的情况下
左视差调制
右视差调制
7)可见以及不可见图像向输出颜色空间的变换
对如此得到的高析像的可见无视差图像WN(x,y)、高析像的可见左视差图像WLt'(x,y)、高析像的可见右视差图像WRt'(x,y)、高析像的不可见无视差图像IN(x,y)、高析像的不可见左视差图像ILt'(x,y)、和高析像的不可见右视差图像IRt'(x,y)分别进行适当的伽马变换，并作为输出空间的图像而输出。
＜实施例4＞
说明作为用于使在实施例2、3中说明的可见光和近红外光的成像面的位置不同最有效地产生作用的摄像装置的相机系统。即，将搭载了实施例2或者3所述的摄像元件的相机组装入通常的光学系统、例如具有单反式的可更换透镜的系统中，而且该相机的自动对焦功能直接使用以往的可见光的自动对焦功能而与可见光的主要被摄体对焦。在此基础上，通过相机内或者外部电脑的软件执行实施例2或者3所述的图像处理。在此，重要的是，以使焦点与可见光在摄像面成像的位置一致的方式控制相机，同时捕捉近红外光以该光学系统的特性所规定的量的模糊信息。该模糊信息无论使用怎样的光学系统都能始终提供相对于固定的范围中的可见光的偏移。如此，将生成最适于人类眼睛的可见光的立体图像，从而能够欣赏长时间鉴赏或者视听也不会头痛的立体图像。
以上，说明了图8的排列的显影方法，但图9的显影方法也与既已说明的实施例1、以及实施例2是共通的。此外，作为不可见的波段，示出了近红外的波段的举例，但也能够采用近紫外的波段。此外，不仅可以是近红外3个波段的组合，也可以将近红外与近紫外组合。
在实施例2的步骤5)中，说明了使用不可见图像的信息对可见无视差基准图像进行修正而生成2D彩色图像。在实施例3的可见和不可见各为单波段的情况下，也在步骤4)中同样地进行了说明。这些说明虽然均是使用了仅由视差像素构成不可见像素的摄像元件的说明，但不限于补偿在此说明的采样的不足量的效果，不论有无视差像素，在2D图像彼此的可见与不可见图像之间均始终带来有益的效果，具有这样的效果的事实在实验上判明了。其理由在以下陈述。
图13是表示作为像素排列的一例的实际空间的排列和k空间的图。表示使用了将图13的上栏的排列图作为基本格子而周期性地配置而成的摄像元件的举例。关于其倒格子空间的频率析像区域也将各颜色和各视差的组合示出。在此，在实施例1、2中说明的图8的排列中，不可见像素不全部为视差像素，也表示由无视差像素构成的情况。在这样的像素排列中，记载有在实施例2的步骤5)中进行的运算式的对应式。
比值固定的情况下
差值固定的情况下
另外，＜＞表示局部平均。
图14是表示作为像素排列的一例的实际空间的排列和k空间的图。表示使用了将图14的上栏的排列图作为基本格子而周期性地配置而成的摄像元件的举例。关于其倒格子空间的频率析像区域也将各颜色与各视差的组合示出。在此，在实施例3中说明的图12的排列中不可见像素不全部为视差像素，也表示由无视差像素构成的情况。在这样的像素排列中，对在实施例3的步骤4)中进行的运算式的对应式进行记载。但是，在图14中，可见像素的视差像素也全部由无视差像素构成。
比值固定的情况下
差值固定的情况下
W′N(x，y)＝W′N(x，y)+IN(x，y)-<IN(x，y)>
在前述的补偿采样不足之上，可见图像和近红外图像分别捕捉不同焦点位置上的被摄体像，因此获取到模糊状态的不同的新的光学信息。因此，在实验上判明了尽管近红外图像是模糊了的信息，但是具有将对焦于主要被摄体的可见图像非常高地析像度化的能力。其例如，采样对于全部像素通过可见图像和近红外图像双方作为双板式摄像也成立。原因是，基于采样的焦距位置上的被摄体像的折叠噪声(aliasing)在模糊图像中不产生，能够考虑通过模糊图像的修正信息也进行伪信息的修正。因此，在模糊像中含有在对焦图像中未包含的新的有益的与被摄体有关的信息。
在上述的实施例1至3的图像处理中新引入的可见图像与不可见图像之间彼此调制一致的概念，当将其本质部分作为图像(为了简单，该图像仅由可见单波段、不可见单波段构成)间的关系而取出时，概括为以下这样的关系式。但是，在实施方式中，虽然列举不可见图像仅通过视差像素的摄像而生成的情况为例进行了说明，但在此列举不可见图像通过视差像素以及无视差像素的摄像而生成的情况为例进行说明。另外，为了使说明容易理解，仅以比值固定的情况下以算术平均为基准点的调制为代表进行记载。
2D图像间的可见·不可见波段间的相互调制
a)基于相对于可见图像的近红外图像的调制处理
b)基于相对于近红外图像的可见图像的调制处理
3D图像生成中的可见·不可见波段间的相互视差调制
c)基于相对于可见图像的近红外的视差调制
d)基于相对于近红外图像的不可见图像的视差调制
对于在2D图像间的可见·不可见波段间的相互调制中确认的新效果之前已陈述了，而通过3D图像生成中的可见·不可见波段间的相互视差调制产生如下新的作用在实验上已判明。即，考虑在近前、中间、里侧这3个位置上配置3个物体那样的状况。若通过可见光使光学系统的焦点对合于处于中间物体的被摄体距离地进行单眼立体摄像，则以垂直地横穿置有中间物体的对焦面内的一根轴为中心而使图像整体旋转的方式，生成物体的视差。若将右视差图像和左视差图像交替地显示则能够观察到其状态。一方的近红外图像由于对焦位置向里侧的方向偏移而在里侧的物体附近具有对焦面，对近红外图像的右视差图像和左视差图像赋予以垂直地横穿该面内的一根轴为中心的图像旋转那样的视差。
不同的波段间的相互视差调制形成使该不同的旋转轴的视差相互混合的作用，在结果上从前述那样的图像整体旋转的全局的视差，向以一个个物体单位旋转的局部的视差转移。若使波段内视差调制为一半，使波段间视差调制为一半，则能够同时取得全局旋转的视差和局部旋转的视差。以该物体单位局部地旋转的视差在实际上立体观察时能够不可思议地看到正常的立体像。但是，相对于图像整体全局旋转的视差的距离感的绝对基准能够认定相同，以物体单位局部旋转的视差的距离感被相对地识别到，但是绝对基准产生对人而言在各种位置都相同的特殊的效果。例如当以物体单位修剪图像时，在仅使用了波段内视差调制的情况、和使用了波段间视差调制的情况下，成为能够获得来自不同视点的图像那样的结果。
也能够使个人计算机等设备作为承担图像处理部205的功能的图像处理装置来发挥功能。在该情况下，图像处理装置可以从相机等其他装置置入摄像元件的输出。图像处理装置不限于个人计算机，能够采用各种各样的方式。例如TV、手机、平板电脑、游戏机等均能够为图像处理装置。另外，在以上的说明中图像既有指图像数据的情况，也有指遵照格式展开而可视化的被摄体像本身的情况。此外，以上的说明中，为了应对R：G：B＝1：2：1，而使I1：I2：I3＝1：2：1，但I2也可以为1以上。I2优选为比1大。
以上，使用实施方式说明了本发明，但本发明的技术范围并不限定于上述实施方式所记载的范围。本领域技术人员能够明确可对上述实施方式施加多种变更或改良。从权利要求书能够明确，施加了这样的变更或改良后的方式也能够包含于本发明的技术范围内。
应当注意，权利要求书、说明书、以及附图中示出的装置、系统、程序以及方法中的动作、顺序、步骤、以及阶段等各处理的执行顺序，只要没有特别明示为“在......之前”、“先于......”等，此外，只要没有将前处理的输出用在后处理中，就能够以任意的顺序实现。关于权利要求书、说明书、以及附图中的摄影动作流程，即使为了方便而使用“首先”、“接下来”等进行了说明，也并不意指必须以该顺序实施。
附图标记说明
10数码相机、20摄影透镜、21光轴、100摄像元件、101微透镜、102光学滤光片、103开口掩膜、104开口部、105布线层、106布线、107开口、108光电转换元件、109基板、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、207存储卡IF、208操作部、209显示部、210LCD驱动回路、220存储卡、322中心线、1801分布曲线、1802分布曲线、1803分布曲线、1804分布曲线、1805分布曲线、1806合成分布曲线、1807分布曲线、1808分布曲线、1809合成分布曲线。

Claims (50)

1.一种摄像元件，其特征在于，具有：
可见视差像素，所述可见视差像素的分别具有开口的多种开口掩膜的任意一种与在可见光区域接收光的光电转换像素建立了对应关系，所述可见视差像素的多种开口掩膜的各自的开口相对于光电转换元件被定位成使相对于可见光的波段的入射光束而彼此不同的部分光束通过；和
不可见视差像素，所述不可见视差像素的分别具有开口的多种开口掩膜的任意一种与在不可见光区域接收光的光电转换像素建立了对应关系，所述不可见视差像素的多种开口掩膜的各自的开口相对于所述光电转换元件被定位成使相对于不可见光的波段的入射光束而彼此不同的部分光束通过，
所述不可见视差像素沿二维方向以等间隔配置，
所述不可见视差像素的多种带通滤光片的任意一种被建立了对应关系，所述多种带通滤光片使彼此不同的波段通过，
所述不可见视差像素按建立了对应关系的每种所述带通滤光片沿所述二维方向以等间隔配置，并且配置成：按每种所述带通滤光片而使不同种类的所述开口掩膜被建立了对应关系的所述不可见视差像素彼此的距离互为最远，
而且，所述可见视差像素沿二维方向以等间隔配置，
所述可见视差像素的多种彩色滤光片的任意一种被建立了对应关系，所述多种彩色滤光片使彼此不同的波段通过，
所述可见视差像素按建立了对应关系的每种所述彩色滤光片沿所述二维方向以等间隔配置，并且配置成：按每种所述彩色滤光片而使不同种类的所述开口掩膜被建立了对应关系的所述可见视差像素彼此的距离互为最远。
2.根据权利要求1所述的摄像元件，其特征在于，
所述不可见视差像素和所述可见视差像素中具有相同种类的开口掩膜的像素彼此被配置成互不相邻。
3.根据权利要求1所述的摄像元件，其特征在于，
所述不可见视差像素接收的波段是近红外区域的波段。
4.根据权利要求1或2所述的摄像元件，其特征在于，
所述不可见视差像素接收的波段是近红外区域的3种不同的波段I1、I2、I3，
所述可见视差像素接收的波段是可见光区域的红、绿、蓝这3种波段R、G、B。
5.根据权利要求1所述的摄像元件，其特征在于，
还具有不被所述开口限制地将入射光束导向所述光电转换元件的无视差像素，
所述不可见视差像素按建立了对应关系的每种所述开口掩膜，被夹在其他所述开口掩膜被建立了对应关系的所述不可见视差像素、所述可见视差像素以及所述无视差像素的任意一种或者全部中地配置，
所述可见视差像素按建立了对应关系的每种所述开口掩膜，被夹在其他所述开口掩膜被建立了对应关系的所述可见视差像素、所述不可见视差像素、所述无视差像素的任意一种或者全部中地配置。
6.一种摄像元件，其特征在于，具有：
可见视差像素，所述可见视差像素的分别具有开口的多种开口掩膜的任意一种与在可见光区域接收光的光电转换像素建立了对应关系，所述可见视差像素的多种开口掩膜的各自的开口相对于光电转换元件被定位成使相对于可见光的波段的入射光束而彼此不同的部分光束通过；
不可见视差像素，所述不可见视差像素的分别具有开口的多种开口掩膜的任意一种与在不可见光区域接收光的光电转换像素建立了对应关系，所述不可见视差像素的多种开口掩膜的各自的开口相对于所述光电转换元件被定位成使相对于不可见光的波段的入射光束而彼此不同的部分光束通过；和
不被所述开口限制地将入射光束导向所述光电转换元件的无视差像素，
所述不可见视差像素按建立了对应关系的每种所述开口掩膜，被夹在其他所述开口掩膜被建立了对应关系的所述不可见视差像素、所述可见视差像素以及所述无视差像素的任意一种或者全部中地配置，
所述可见视差像素按建立了对应关系的每种所述开口掩膜，被夹在其他所述开口掩膜被建立了对应关系的所述可见视差像素、所述不可见视差像素、所述无视差像素的任意一种或者全部中地配置。
7.根据权利要求5或6所述的摄像元件，其特征在于，
所述无视差像素是引导所述可见光的波段的入射光束且与在可见光区域接收光的光电转换像素建立了对应关系的可见无视差像素。
8.根据权利要求7所述的摄像元件，其特征在于，
所述不可见视差像素和所述可见视差像素的像素密度相对于所述可见无视差像素的像素密度而为稀疏的排列，所述不可见视差像素和所述可见视差像素的合计像素密度比所述可见无视差像素的像素密度小。
9.根据权利要求8所述的摄像元件，其特征在于，
在所述不可见视差像素和所述可见视差像素分别具有右视差像素和左视差像素的2种开口掩膜时，所述可见无视差像素、左视差像素和右视差像素的像素密度比由6：1：1构成。
10.根据权利要求7所述的摄像元件，其特征在于，
所述不可见视差像素的带通滤光片被建立了对应关系，所述带通滤波器使不可见光区域的3种不同的波段I1、I2、I3的任意一种通过，且所述不可见视差像素由具有左开口的开口掩膜的不可见左视差像素和具有右开口的开口掩膜的不可见右视差像素的任意一种构成，
在所述可见视差像素和所述可见无视差像素的使可见光区域的红、绿、蓝这3种波段R、G、B的任意一种通过的彩色滤光片分别被建立了对应关系，且所述可见视差像素由具有左开口的开口掩膜的可见左视差像素和具有右开口的开口掩膜的可见右视差像素的任意一方构成时，
所述不可见视差像素之间的按各波段的像素密度比、不可见左视差像素和不可见右视差像素都由I1：I2：I3＝1：2：1构成，
所述可见视差像素之间的按各波段的像素密度比、可见左视差像素、可见右视差像素和可见无视差像素都由R：G：B＝1：2：1构成。
11.根据权利要求7所述的摄像元件，其特征在于，
所述可见视差像素、所述可见无视差像素和所述不可见视差像素都在光轴上的相同摄像面的位置处配置有光电转换部。
12.一种摄像装置，其特征在于，
装入有权利要求11所述的摄像元件，
所述摄像装置具有引导所述入射光束的1个光学系统，且具有控制所述光学系统的对焦位置而使其自动对焦到可见光所捕捉的主要被摄体的控制部。
13.一种摄像装置，其特征在于，具有：
权利要求1至11中任一项所述的摄像元件；和
图像处理部，其从所述摄像元件的输出生成彼此具有视差的多个可见视差图像数据和彼此具有视差的多个不可见视差图像数据。
14.一种图像处理装置，其特征在于，具有：
输入部，其输入由通过一次拍摄而从摄像元件的同一面输出的像素信号所生成的可见图像数据以及不可见图像数据；和
图像处理部，其使用所述可见图像数据以及所述不可见图像数据中的一方来重新计算另一方，
所述图像处理部使用所述可见图像数据以及所述不可见图像数据中的任意一方的、基于基准方向的视点的无视差图像数据和与所述基准方向的视点不同的视差图像数据，来重新计算所述可见图像数据以及所述不可见图像数据中的另一方的基于所述基准方向的视点的无视差图像数据。
15.根据权利要求14所述的图像处理装置，其特征在于，
所述可见图像数据包括入射光束中的如下数据：可见光的波段中的、基准方向的视点的可见无视差图像数据；和所述可见光的波段中的、与所述基准方向的视点不同的第1视点的可见第1视差图像数据以及第2视点的可见第2视差图像数据，
所述不可见图像数据包括所述入射光束中的如下数据：不可见光的波段中的、所述基准方向的视点的不可见无视差图像数据。
16.根据权利要求15所述的图像处理装置，其特征在于，
所述图像处理部在使用所述可见图像数据来重新计算所述不可见图像数据的情况下，对于所述不可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述不可见无视差图像数据的所述对象像素位置上的像素值之差，相对于所述可见无视差图像数据的所述对象像素位置上的像素值、与所述可见第1视差图像数据的所述对象像素位置上的像素值和所述可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之差保持相关关系的方式，进行计算。
17.根据权利要求15所述的图像处理装置，其特征在于，
所述输入部针对所述可见光的波段中的多个颜色成分的每一个，输入所述可见无视差图像数据、所述可见第1视差图像数据以及所述可见第2视差图像数据，
所述图像处理部在使用所述可见图像数据来重新计算所述不可见图像数据的情况下，对于所述不可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述不可见无视差图像数据的所述对象像素位置上的像素值之差，至少与下述(1)和(2)之和保持相关关系的方式，进行计算，其中，所述(1)为：第1颜色成分中的所述可见无视差图像数据的所述对象像素位置上的像素值、与所述第1颜色成分中的所述可见第1视差图像数据的所述对象像素位置上的像素值和所述第1颜色成分中的所述可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之差；所述(2)为：第2颜色成分中的所述可见无视差图像数据的所述对象像素位置上的像素值、与由所述第2颜色成分中的所述可见第1视差图像数据的所述对象像素位置上的像素值和所述第2颜色成分中的所述可见第2视差图像数据的所述对象像素位置上的像素值的平均值构成的像素值之差。
18.根据权利要求16或17所述的图像处理装置，其特征在于，
所述不可见图像数据包括所述不可见光的波段中的、所述第1视点的不可见第1视差图像数据以及所述第2视点的不可见第2视差图像数据，
所述图像处理装置具有根据所述不可见第1视差图像数据以及所述不可见第2视差图像数据的平均值来生成所述不可见无视差图像数据的生成部，
所述图像处理部对于所述不可见第1视差图像数据的要重新计算的像素值，以使所述不可见第1视差图像数据的重新计算的像素值与所述不可见无视差图像数据的重新求出的像素值之差，至少相对于所述不可见第1视差图像数据的所述对象像素位置上的像素值与所述不可见第2视差图像数据的所述对象像素位置上的像素值之差保持相关关系的方式，进行计算。
19.根据权利要求15所述的图像处理装置，其特征在于，
所述图像处理部在使用所述可见图像数据来重新计算所述不可见图像数据的情况下，对于所述不可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述不可见无视差图像数据的所述对象像素位置上的像素值之比，相对于所述可见无视差图像数据的所述对象像素位置上的像素值、与所述可见第1视差图像数据的所述对象像素位置上的像素值和所述可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之比保持相关关系的方式，进行计算。
20.根据权利要求15所述的图像处理装置，其特征在于，
所述输入部针对所述可见光的波段中的多个颜色成分的每一个，输入所述可见无视差图像数据、所述可见第1视差图像数据以及所述可见第2视差图像数据，
所述图像处理部在使用所述可见图像数据来重新计算所述不可见图像数据的情况下，对于所述不可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述不可见无视差图像数据的所述对象像素位置上的像素值之比，至少与下述(1)和(2)的乘积保持相关关系的方式，进行计算，其中，所述(1)为：第1颜色成分中的所述可见无视差图像数据的所述对象像素位置上的像素值、与所述第1颜色成分中的所述可见第1视差图像数据的所述对象像素位置上的像素值和所述第1颜色成分中的所述可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之比；所述(2)为：第2颜色成分中的所述可见无视差图像数据的所述对象像素位置上的像素值、与由所述第2颜色成分中的所述可见第1视差图像数据的所述对象像素位置上的像素值和所述第2颜色成分中的所述可见第2视差图像数据的所述对象像素位置上的像素值之间的平均值构成的像素值之比。
21.根据权利要求19或20所述的图像处理装置，其特征在于，
所述不可见图像数据包括所述不可见光的波段中的、所述第1视点的不可见第1视差图像数据以及所述第2视点的不可见第2视差图像数据，
所述图像处理装置具有根据所述不可见第1视差图像数据以及所述不可见第2视差图像数据的平均值来生成所述不可见无视差图像数据的生成部，
所述图像处理部对于所述不可见第1视差图像数据的要重新计算的像素值，以使所述不可见第1视差图像数据的重新计算的像素值与所述不可见无视差图像数据的重新求出的像素值之差，至少相对于所述不可见第1视差图像数据的所述对象像素位置上的像素值与所述不可见第2视差图像数据的所述对象像素位置上的像素值之比保持相关关系的方式，进行计算。
22.根据权利要求14所述的图像处理装置，其特征在于，
所述可见图像数据包括入射光束中的可见光的波段中的、基准方向的视点的可见无视差图像数据，
所述不可见图像数据包括所述入射光束中的不可见光的波段中的、所述基准方向的视点的不可见无视差图像数据。
23.根据权利要求22所述的图像处理装置，其特征在于，
所述不可见图像数据包括所述不可见光的波段中的、与所述基准方向的视点不同的第1视点的不可见第1视差图像数据以及第2视点的不可见第2视差图像数据，
所述图像处理部在使用所述不可见图像数据来重新计算所述可见图像数据的情况下，对于所述可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述可见无视差图像数据的所述对象像素位置上的像素值之差，相对于所述不可见无视差图像数据的所述对象像素位置上的像素值、与所述不可见第1视差图像数据的所述对象像素位置上的像素值和所述不可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之差，或者所述不可见无视差图像数据的所述对象像素位置上的像素值与所述不可见无视差图像数据的所述对象像素位置上的局部的平均值之差保持相关关系的方式，进行计算。
24.根据权利要求22所述的图像处理装置，其特征在于，
所述不可见图像数据包括所述不可见光的波段中的、与所述基准方向的视点不同的第1视点的不可见第1视差图像数据以及第2视点的不可见第2视差图像数据，
所述输入部针对所述不可见光的波段中的多个波段成分的每一个，输入所述不可见无视差图像数据、所述不可见第1视差图像数据以及所述不可见第2视差图像数据，
所述图像处理部在使用所述不可见图像数据来重新计算所述可见图像数据的情况下，对于所述可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述可见无视差图像数据的所述对象像素位置上的像素值之差，至少与(1)第1波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值、与所述第1波段成分中的所述不可见第1视差图像数据的所述对象像素位置上的像素值和所述第1波段成分中的所述不可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之差、和(2)第2波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值、与由所述第2波段成分中的所述不可见第1视差图像数据的所述对象像素位置上的像素值和所述第2波段成分中的所述不可见第2视差图像数据的所述对象像素位置上的像素值的平均值构成的像素值之差的和保持相关关系的方式、或者至少与(1)第1波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值与所述第1波段成分中的所述不可见无视差图像数据的所述对象像素位置上的局部的平均值之差、和(2)第2波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值与所述第2波段成分中的所述不可见无视差图像数据的所述对象像素位置上的局部的平均值之差的和保持相关关系的方式，进行计算。
25.根据权利要求23或24所述的图像处理装置，其特征在于，
所述可见图像数据包括所述可见光的波段中的、与所述基准方向的视点不同的所述第1视点的可见第1视差图像数据以及所述第2视点的可见第2视差图像数据，
所述图像处理部对于所述可见第1视差图像数据的要重新计算的像素值，以使所述可见第1视差图像数据的重新计算的像素值与所述可见无视差图像数据的重新求出的像素值之差，至少相对于所述不可见第1视差图像数据的所述对象像素位置上的像素值与所述不可见第2视差图像数据的所述对象像素位置上的像素值之差保持相关关系的方式，进行计算。
26.根据权利要求22所述的图像处理装置，其特征在于，
所述不可见图像数据包括所述不可见光的波段中的、与所述基准方向的视点不同的第1视点的不可见第1视差图像数据以及第2视点的不可见第2视差图像数据，
所述图像处理部在使用所述不可见图像数据来重新计算所述可见图像数据的情况下，对于所述可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述可见无视差图像数据的所述对象像素位置上的像素值之比，相对于所述不可见无视差图像数据的所述对象像素位置上的像素值、与所述不可见第1视差图像数据的所述对象像素位置上的像素值和所述不可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之比，或者与所述不可见无视差图像数据的所述对象像素位置上的像素值和所述不可见无视差图像数据的所述对象像素位置上的局部的平均值之比保持相关关系的方式，进行计算。
27.根据权利要求22所述的图像处理装置，其特征在于，
所述不可见图像数据包括所述不可见光的波段中的、与所述基准方向的视点不同的第1视点的不可见第1视差图像数据以及第2视点的不可见第2视差图像数据，
所述输入部针对所述不可见光的波段中的多个波段成分的每一个，输入所述不可见无视差图像数据、所述不可见第1视差图像数据以及所述不可见第2视差图像数据，
所述图像处理部在使用所述不可见图像数据来重新计算所述可见图像数据的情况下，对于所述可见无视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述可见无视差图像数据的所述对象像素位置上的像素值之比，至少相对于(1)第1波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值、和所述第1波段成分中的所述不可见第1视差图像数据的所述对象像素位置上的像素值与所述第1波段成分中的所述不可见第2视差图像数据的所述对象像素位置上的像素值的平均像素值之比、和(2)第2波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值、与由所述第2波段成分中的所述不可见第1视差图像数据的所述对象像素位置上的像素值和所述第2波段成分中的所述不可见第2视差图像数据的所述对象像素位置上的像素值的平均值构成的像素值之比的乘积保持相关关系的方式，或者至少相对于(1)第1波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值与所述第1波段成分中的所述不可见无视差图像数据的所述对象像素位置上的局部的平均值之比、和(2)第2波段成分中的所述不可见无视差图像数据的所述对象像素位置上的像素值与所述第2波段成分中的所述不可见无视差图像数据的所述对象像素位置上的局部的平均值之比的乘积保持相关关系的方式，进行计算。
28.根据权利要求26或27所述的图像处理装置，其特征在于，
所述可见图像数据包括所述可见光的波段中的、与所述基准方向的视点不同的所述第1视点的可见第1视差图像数据以及所述第2视点的可见第2视差图像数据，
所述图像处理部对于所述可见第1视差图像数据的要重新计算的像素值，以使所述可见第1视差图像数据的重新计算的像素值与所述可见无视差图像数据的重新求出的像素值之比，至少相对于所述不可见第1视差图像数据的所述对象像素位置上的像素值、与所述不可见第2视差图像数据的所述对象像素位置上的像素值之比保持相关关系的方式，进行计算。
29.根据权利要求15所述的图像处理装置，其特征在于，
所述不可见光的波段是近红外区域。
30.一种图像处理装置，其特征在于，
输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、和不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，
对于所述可见第1视差图像的要重新计算的像素值，以使所述可见第1视差图像的重新计算的像素值与所述可见无视差图像的像素值之差，至少相对于所述不可见第1视差图像的像素值与所述不可见第2视差图像的像素值之差保持相关关系的方式，进行计算，并输出新的可见第1视差图像。
31.根据权利要求30所述的图像处理装置，其特征在于，
对于所述可见第1视差图像的要重新计算的像素值，以使所述可见第1视差图像的重新计算的像素值与所述可见无视差图像的像素值之差，至少相对于下述1)和2)之和保持相关关系的方式，进行计算，并输出新的可见第1视差图像，
所述1)为：所述可见第1视差图像的像素值与所述可见第2视差图像的像素值之差；
所述2)为：所述不可见第1视差图像的像素值与所述不可见第2视差图像的像素值之差。
32.根据权利要求30所述的图像处理装置，其特征在于，
输入被摄体像的与可见光的波段的第1～第m的多个颜色成分有关的基准方向的视点的可见无视差图像、与可见光的波段的第1～第m的多个颜色成分有关的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的与不可见光的波段的第1～第n的多个波段成分有关的基准方向的视点的不可见无视差图像、和与不可见光的波段的第1～第n的多个波段成分有关的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，其中，m≥2，n≥2，
对于与所述第1颜色成分有关的可见第1视差图像的要重新计算的像素值，以使与所述第1颜色成分有关的可见第1视差图像的重新计算的像素值和与所述第1颜色成分有关的可见无视差图像的像素值之差至少相对于下述1)和2)之和保持相关关系的方式，进行计算，并输出新的与第1颜色成分有关的可见第1视差图像，
所述1)为：与所述第1波段成分有关的不可见第1视差图像的像素值和与所述第1波段成分有关的不可见第2视差图像的像素值之差；
所述2)为：与所述第2波段成分有关的不可见第1视差图像的像素值和与所述第2波段成分有关的不可见第2视差图像的像素值之差。
33.根据权利要求32所述的图像处理装置，其特征在于，
对于与所述第1颜色成分有关的可见第1视差图像的要重新计算的像素值，以使与所述第1颜色成分有关的可见第1视差图像的重新计算的像素值和与所述第1颜色成分有关的可见无视差图像的像素值之差，至少相对于下述1)、2)、3)和4)之和保持相关关系的方式，进行计算，并输出新的与第1颜色成分有关的可见第1视差图像，
所述1)为：与所述第1颜色成分有关的可见第1视差图像的像素值和与所述第1颜色成分有关的可见第2视差图像的像素值之差；
所述2)为：与所述第2颜色成分有关的可见第1视差图像的像素值和与所述第2颜色成分有关的可见第2视差图像的像素值之差；
所述3)为：与所述第1波段成分有关的不可见第1视差图像的像素值和与所述第1波段成分有关的不可见第2视差图像的像素值之差；
所述4)为：与所述第2波段成分有关的不可见第1视差图像的像素值和与所述第2波段成分有关的不可见第2视差图像的像素值之差。
34.一种图像处理装置，其特征在于，
输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，
对于所述不可见第1视差图像的要重新计算的像素值，以使所述不可见第1视差图像的重新计算的像素值与所述不可见无视差图像的像素值之差，至少相对于所述可见第1视差图像的像素值与所述可见第2视差图像的像素值之差保持相关关系的方式，进行计算，并输出新的不可见第1视差图像。
35.根据权利要求34所述的图像处理装置，其特征在于，
对于所述不可见第1视差图像的要重新计算的像素值，以使所述不可见第1视差图像的重新计算的像素值与所述不可见无视差图像的像素值之差，至少相对于下述1)和2)之和保持相关关系的方式，进行计算，并输出新的不可见第1视差图像，
所述1)为：所述不可见第1视差图像的像素值与所述不可见第2视差图像的像素值之差；
所述2)为：所述可见第1视差图像的像素值与所述可见第2视差图像的像素值之差。
36.根据权利要求34所述的图像处理装置，其特征在于，
输入被摄体像的与可见光的波段的第1～第m的多个颜色成分有关的基准方向的视点的可见无视差图像、与可见光的波段的第1～第m的多个颜色成分有关的、与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的与不可见光的波段的第1～第n的多个波段成分有关的基准方向的视点的不可见无视差图像、与不可见光的波段的第1～第n的多个波段成分有关的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，其中，m≥2，n≥2
对于与所述第1波段成分有关的不可见第1视差图像的要重新计算的像素值，以使与所述第1波段成分有关的不可见第1视差图像的重新计算的像素值和与所述第1波段成分有关的不可见无视差图像的像素值之差，至少相对于下述1)和2)之和保持相关关系的方式，进行计算，并输出新的与第1波段成分有关的不可见第1视差图像，
所述1)为：与所述第1颜色成分有关的可见第1视差图像的像素值和与所述第1颜色成分有关的可见第2视差图像的像素值之差；
所述2)为：与所述第2颜色成分有关的可见第1视差图像的像素值和与所述第2颜色成分有关的可见第2视差图像的像素值之差。
37.根据权利要求36所述的图像处理装置，其特征在于，
对于与所述第1波段成分有关的不可见第1视差图像的要重新计算的像素值，以使与所述第1波段成分有关的不可见第1视差图像的重新计算的像素值和与所述第1波段成分有关的不可见无视差图像的像素值之差，至少相对于下述1)、2)、3)和4)之和保持相关关系的方式，进行计算，并输出新的与第1波段成分有关的不可见第1视差图像，
所述1)为：与所述第1波段成分有关的不可见第1视差图像的像素值和与所述第1波段成分有关的不可见第2视差图像的像素值之差；
所述2)为：与所述第2波段成分有关的不可见第1视差图像的像素值和与所述第2波段成分有关的不可见第2视差图像的像素值之差；
所述3)为：与所述第1颜色成分有关的可见第1视差图像的像素值和与所述第1颜色成分有关的可见第2视差图像的像素值之差；
所述4)为：与所述第2颜色成分有关的可见第1视差图像的像素值和与所述第2颜色成分有关的可见第2视差图像的像素值之差。
38.一种图像处理装置，其特征在于，
输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、和不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，
对于所述可见第1视差图像的要重新计算的像素值，以使在所述可见第1视差图像的重新计算的像素值与所述可见无视差图像的像素值之间所定义的比，至少相对于在所述不可见第1视差图像的像素值与所述不可见第2视差图像的像素值之间所定义的比保持相关关系的方式，进行计算，并输出新的可见第1视差图像。
39.根据权利要求38所述的图像处理装置，其特征在于，
对于所述可见第1视差图像的要重新计算的像素值，以使在所述可见第1视差图像的重新计算的像素值与所述可见无视差图像的像素值之间所定义的比，至少相对于下述1)和2)的乘积保持相关关系的方式，进行计算，并输出新的可见第1视差图像，
所述1)为：在所述可见第1视差图像的像素值与所述可见第2视差图像的像素值之间所定义的比；
所述2)为：在所述不可见第1视差图像的像素值与所述不可见第2视差图像的像素值之间所定义的比。
40.根据权利要求38所述的图像处理装置，其特征在于，
输入被摄体像的与可见光的波段的第1～第m的多个颜色成分有关的基准方向的视点的可见无视差图像、与可见光的波段的第1～第m的多个颜色成分有关的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的与不可见光的波段的第1～第n的多个波段成分有关的基准方向的视点的不可见无视差图像、与不可见光的波段的第1～第n的多个波段成分有关的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，其中，m≥2，n≥2，
对于与所述第1颜色成分有关的可见第1视差图像的要重新计算的像素值，以使在与所述第1颜色成分有关的可见第1视差图像的重新计算的像素值和与所述第1颜色成分有关的可见无视差图像的像素值之间所定义的比，至少相对于下述1)和2)的乘积保持相关关系的方式，进行计算，并输出新的与第1颜色成分有关的可见第1视差图像，
所述1)为：在与所述第1波段成分有关的不可见第1视差图像的像素值和与所述第1波段成分有关的不可见第2视差图像的像素值之间所定义的比；
所述2)为：在与所述第2波段成分有关的不可见第1视差图像的像素值和与所述第2波段成分有关的不可见第2视差图像的像素值之间所定义的比。
41.根据权利要求40所述的图像处理装置，其特征在于，
对于与所述第1颜色成分有关的可见第1视差图像的要重新计算的像素值，以使在与所述第1颜色成分有关的可见第1视差图像的重新计算的像素值和与所述第1颜色成分有关的可见无视差图像的像素值之间所定义的比，至少相对于下述1)、2)、3)和4)的乘积保持相关关系的方式，进行计算，并输出新的与第1颜色成分有关的可见第1视差图像，
所述1)为：在与所述第1颜色成分有关的可见第1视差图像的像素值和与所述第1颜色成分有关的可见第2视差图像的像素值之间所定义的比；
所述2)为：在与所述第2颜色成分有关的可见第1视差图像的像素值和与所述第2颜色成分有关的可见第2视差图像的像素值之间所定义的比；
所述3)为：在与所述第1波段成分有关的不可见第1视差图像的像素值和与所述第1波段成分有关的不可见第2视差图像的像素值之间所定义的比；
所述4)为：在与所述第2波段成分有关的不可见第1视差图像的像素值和与所述第2波段成分有关的不可见第2视差图像的像素值之间所定义的比。
42.一种图像处理装置，其特征在于，
输入被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、和不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，
对于所述不可见第1视差图像的要重新计算的像素值，以使在所述不可见第1视差图像的重新计算的像素值与所述不可见无视差图像的像素值之间所定义的比，至少相对于在所述可见第1视差图像的像素值与所述可见第2视差图像的像素值之间所定义的比保持相关关系的方式，进行计算，并输出新的不可见第1视差图像。
43.根据权利要求42所述的图像处理装置，其特征在于，
对于所述不可见第1视差图像的要重新计算的像素值，以使在所述不可见第1视差图像的重新计算的像素值与所述不可见无视差图像的像素值之间所定义的比，至少相对于下述1)和2)的乘积保持相关关系的方式，进行计算，并输出新的不可见第1视差图像，
所述1)为：在所述不可见第1视差图像的像素值与所述不可见第2视差图像的像素值之间所定义的比；
所述2)为：在所述可见第1视差图像的像素值与所述可见第2视差图像的像素值之间所定义的比。
44.根据权利要求42所述的图像处理装置，其特征在于，
输入被摄体像的与可见光的波段的第1～第m的多个颜色成分有关的基准方向的视点的可见无视差图像、与可见光的波段的第1～第m的多个颜色成分有关的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的与不可见光的波段的第1～第n的多个波段成分有关的基准方向的视点的不可见无视差图像、和与不可见光的波段的第1～第n的多个波段成分有关的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像，其中，m≥2，n≥2，
对于与所述第1波段成分有关的不可见第1视差图像的要重新计算的像素值，以使在与所述第1波段成分有关的不可见第1视差图像的重新计算的像素值和与所述第1波段成分有关的不可见无视差图像的像素值之间所定义的比，至少相对于下述1)和2)的乘积保持相关关系的方式，进行计算，并输出新的与第1波段成分有关的不可见第1视差图像，
所述1)为：在与所述第1颜色成分有关的可见第1视差图像的像素值和与所述第1颜色成分有关的可见第2视差图像的像素值之间所定义的比；
所述2)为：在与所述第2颜色成分有关的可见第1视差图像的像素值和与所述第2颜色成分有关的可见第2视差图像的像素值之间所定义的比。
45.根据权利要求44所述的图像处理装置，其特征在于，
对于与所述第1波段成分有关的不可见第1视差图像的要重新计算的像素值，以使在与所述第1波段成分有关的不可见第1视差图像的重新计算的像素值和与所述第1波段成分有关的不可见无视差图像的像素值之间所定义的比，至少相对于下述1)、2)、3)、和4)的乘积保持相关关系的方式，进行计算，并输出新的与1波段成分有关的不可见第1视差图像，
所述1)为：在与所述第1波段成分有关的不可见第1视差图像的像素值和与所述第1波段成分有关的不可见第2视差图像的像素值之间所定义的比；
所述2)为：在与所述第2波段成分有关的不可见第1视差图像的像素值和与所述第2波段成分有关的不可见第2视差图像的像素值之间所定义的比；
所述3)为：在与所述第1颜色成分有关的可见第1视差图像的像素值和与所述第1颜色成分有关的可见第2视差图像的像素值之间所定义的比；
所述4)为：在与所述第2颜色成分有关的可见第1视差图像的像素值和与所述第2颜色成分有关的可见第2视差图像的像素值之间所定义的比。
46.根据权利要求30至45中任一项所述的图像处理装置，其特征在于，
被摄体像的可见光的波段的基准方向的视点的可见无视差图像、可见光的波段的与所述基准方向的视点不同的第1视点和第2视点的可见第1视差图像及可见第2视差图像、被摄体像的不可见光的波段的基准方向的视点的不可见无视差图像、和不可见光的波段的第1视点和第2视点的不可见第1视差图像及不可见第2视差图像均由对通过1个光学系统而在同一摄像面上成像的各波段的像进行拍摄得到的图像构成。
47.一种图像处理装置，其特征在于，具有：
输入部，其输入由通过一次拍摄而从摄像元件的同一面输出的像素信号所生成的可见图像数据以及不可见图像数据；和
图像处理部，其使所述可见图像数据以及所述不可见图像数据中的至少一方所含有的视差成分向另一方重叠，
所述可见图像数据包括入射光束中的如下数据：可见光的波段中的、基准方向的视点的可见无视差图像数据；和所述可见光的波段中的与所述基准方向的视点不同的第1视点的可见第1视差图像数据，
所述不可见图像数据包括所述入射光束中的如下数据：不可见光的波段中的、所述第1视点的不可见第1视差图像数据以及第2视点的不可见第2视差图像数据，
对于所述可见第1视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述可见无视差图像数据的所述对象像素位置上的像素值之差，至少相对于所述不可见第1视差图像数据的所述对象像素位置上的像素值与所述不可见第2视差图像数据的所述对象像素位置上的像素值之差保持相关关系的方式，进行计算。
48.一种图像处理装置，其特征在于，具有：
输入部，其输入由通过一次拍摄而从摄像元件的同一面输出的像素信号所生成的可见图像数据以及不可见图像数据；和
图像处理部，其使所述可见图像数据以及所述不可见图像数据中的至少一方所含有的视差成分向另一方重叠，
所述可见图像数据包括入射光束中的如下数据：可见光的波段中的、与基准方向的视点不同的第1视点的可见第1视差图像数据以及第2视点的可见第2视差图像数据，
所述不可见图像数据包括所述入射光束中的如下数据：不可见光的波段中的、所述基准方向的视点的不可见无视差图像数据；和所述不可见光的波段中的、所述第1视点的不可见第1视差图像数据，
对于所述不可见第1视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述不可见无视差图像数据的所述对象像素位置上的像素值之差，至少相对于所述可见第1视差图像数据的所述对象像素位置上的像素值与所述可见第2视差图像数据的所述对象像素位置上的像素值之差保持相关关系的方式，进行计算。
49.一种图像处理装置，其特征在于，具有：
输入部，其输入由通过一次拍摄而从摄像元件的同一面输出的像素信号所生成的可见图像数据以及不可见图像数据；和
图像处理部，其使所述可见图像数据以及所述不可见图像数据中的至少一方所含有的视差成分向另一方重叠，
所述可见图像数据包括入射光束中的如下数据：可见光的波段中的、基准方向的视点的可见无视差图像数据；和所述可见光的波段中的、与所述基准方向的视点不同的第1视点的可见第1视差图像数据，
所述不可见图像数据包括所述入射光束中的如下数据：不可见光的波段中的、所述第1视点的不可见第1视差图像数据以及第2视点的不可见第2视差图像数据，
对于所述可见第1视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述可见无视差图像数据的所述对象像素位置上的像素值之比，至少相对于所述不可见第1视差图像数据的所述对象像素位置上的像素值与所述不可见第2视差图像数据的所述对象像素位置上的像素值之比保持相关关系的方式，进行计算。
50.一种图像处理装置，其特征在于，具有：
输入部，其输入由通过一次拍摄而从摄像元件的同一面输出的像素信号所生成的可见图像数据以及不可见图像数据；和
图像处理部，其使所述可见图像数据以及所述不可见图像数据中的至少一方所含有的视差成分向另一方重叠，
所述可见图像数据包括入射光束中的如下数据：可见光的波段中的、与基准方向的视点不同的第1视点的可见第1视差图像数据以及第2视点的可见第2视差图像数据，
所述不可见图像数据包括所述入射光束中的如下数据：不可见光的波段中的、所述基准方向的视点的不可见无视差图像数据；和所述不可见光的波段中的、所述第1视点的不可见第1视差图像数据，
对于所述不可见第1视差图像数据的对象像素位置上的要重新计算的像素值，以使重新计算的所述像素值与所述不可见无视差图像数据的所述对象像素位置上的像素值之比，至少相对于所述可见第1视差图像数据的所述对象像素位置上的像素值与所述可见第2视差图像数据的所述对象像素位置上的像素值之比保持相关关系的方式，进行计算。
CN201580018356.0A 2014-04-04 2015-04-06 摄像元件、摄像装置以及图像处理装置 Active CN106165398B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2014077854 2014-04-04
JP2014-077852 2014-04-04
JP2014077853 2014-04-04
JP2014077852 2014-04-04
JP2014-077854 2014-04-04
JP2014-077853 2014-04-04
PCT/JP2015/060715 WO2015152423A1 (ja) 2014-04-04 2015-04-06 撮像素子、撮像装置および画像処理装置

Publications (2)

Publication Number Publication Date
CN106165398A CN106165398A (zh) 2016-11-23
CN106165398B true CN106165398B (zh) 2019-07-02

Family

ID=54240726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580018356.0A Active CN106165398B (zh) 2014-04-04 2015-04-06 摄像元件、摄像装置以及图像处理装置

Country Status (4)

Country Link
US (1) US10291901B2 (zh)
JP (1) JP6354838B2 (zh)
CN (1) CN106165398B (zh)
WO (1) WO2015152423A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002578A1 (ja) * 2014-07-04 2016-01-07 ソニー株式会社 画像処理装置および方法
KR101684194B1 (ko) * 2015-12-17 2016-12-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
CN108885335B (zh) * 2016-03-30 2021-10-22 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
WO2018211588A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置、撮像方法及びプログラム
CN107333034B (zh) * 2017-06-12 2020-09-04 信利光电股份有限公司 一种红外摄像抗干扰的实现方法及实现装置
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
JP6947021B2 (ja) * 2017-12-27 2021-10-13 株式会社リコー 画像処理方法、画像処理装置および画像処理システム
CN110475083B (zh) * 2019-08-26 2021-12-14 Oppo广东移动通信有限公司 一种像素结构、图像传感器及终端
WO2023047825A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 撮像装置および撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229498A (zh) * 2010-11-29 2013-07-31 株式会社尼康 摄像元件及摄像装置
JP5263373B2 (ja) * 2011-11-07 2013-08-14 ソニー株式会社 半導体装置および撮像装置
JP2013175807A (ja) * 2012-02-23 2013-09-05 Nikon Corp 撮像装置
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
JP2014060694A (ja) * 2012-03-16 2014-04-03 Nikon Corp 撮像素子および撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541653A (en) 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
JP4599672B2 (ja) 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
EP1781043B1 (en) 2004-07-07 2013-01-23 Nikon Corporation Image processor and computer program product
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
WO2009066770A1 (ja) 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
CN102037717B (zh) * 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US8203465B2 (en) * 2009-07-13 2012-06-19 The Boeing Company Filtering aircraft traffic for display to a pilot
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
CN103503447B (zh) * 2011-05-06 2016-05-18 株式会社尼康 拍摄装置及拍摄装置的控制方法
JP6131546B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP6131545B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2013136819A1 (ja) 2012-03-16 2013-09-19 株式会社ニコン 撮像素子、撮像装置および撮像システム
CN104412586B (zh) 2012-04-25 2016-12-28 株式会社尼康 图像处理装置、摄像装置
WO2014003806A1 (en) * 2012-06-29 2014-01-03 Xhale, Inc. Photoplethysmography sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229498A (zh) * 2010-11-29 2013-07-31 株式会社尼康 摄像元件及摄像装置
JP5263373B2 (ja) * 2011-11-07 2013-08-14 ソニー株式会社 半導体装置および撮像装置
JP2013175807A (ja) * 2012-02-23 2013-09-05 Nikon Corp 撮像装置
JP2014060694A (ja) * 2012-03-16 2014-04-03 Nikon Corp 撮像素子および撮像装置
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置

Also Published As

Publication number Publication date
JP6354838B2 (ja) 2018-07-11
JPWO2015152423A1 (ja) 2017-04-13
WO2015152423A1 (ja) 2015-10-08
US20170026632A1 (en) 2017-01-26
US10291901B2 (en) 2019-05-14
CN106165398A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN105651384B (zh) 一种全光信息采集系统
CN105122793B (zh) 图像处理装置、摄像装置及图像处理程序
CN103688536B (zh) 图像处理装置、图像处理方法
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与系统
CN105187815B (zh) 用于获得图像深度信息的系统及方法
CN107925751A (zh) 用于多视点降噪和高动态范围的系统和方法
CN104170377B (zh) 图像处理装置、摄像装置
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN103718547B (zh) 图像处理设备、图像处理方法及程序
CN104185984B (zh) 图像处理装置、摄像装置及图像处理程序
CN105230000B (zh) 摄像元件以及摄像装置
CN104322061B (zh) 图像处理装置、摄像装置及图像处理方法
JP2013044806A (ja) 撮像装置
CN104412586B (zh) 图像处理装置、摄像装置
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
CN104144284A (zh) 成像设备和成像方法
CN104756493B (zh) 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
CN103636199A (zh) 三维摄像装置、图像处理装置、图像处理方法及图像处理程序
CN107431755A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
WO2013005489A1 (ja) 撮像装置、画像処理装置
CN103621078B (zh) 图像处理装置和图像处理程序
CN105359519B (zh) 摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant