CN109565539A - 拍摄装置以及拍摄方法 - Google Patents

拍摄装置以及拍摄方法 Download PDF

Info

Publication number
CN109565539A
CN109565539A CN201780049925.7A CN201780049925A CN109565539A CN 109565539 A CN109565539 A CN 109565539A CN 201780049925 A CN201780049925 A CN 201780049925A CN 109565539 A CN109565539 A CN 109565539A
Authority
CN
China
Prior art keywords
camera
image
lens
lens cap
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780049925.7A
Other languages
English (en)
Other versions
CN109565539B (zh
Inventor
若井信彦
吾妻健夫
登生
登一生
佐藤智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109565539A publication Critical patent/CN109565539A/zh
Application granted granted Critical
Publication of CN109565539B publication Critical patent/CN109565539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)

Abstract

拍摄装置(101)具备：拍摄第1图像的第1摄像头(102)；拍摄第2图像的第2摄像头(103)；透镜罩(106)，其包括具有透光性的多个部分和多条棱线，覆盖第1摄像头(102)和第2摄像头(103)，多个部分包括上部和多个邻接部，多个邻接部的每个与上部邻接，多条棱线分别形成在多个邻接部的多个表面的各表面与上部的表面之间；处理电路(111)，在第1图像中确定处于需要进行像素值插补的区域内的像素，使用第1图像和用于对所确定的像素的像素值进行插补的插补像素信息来生成输出图像，多条棱线的每条处于相对于连结第1摄像头(102)的第1透镜的中心和第2摄像头(103)的第2透镜的中心的基线而扭曲的位置，上部与设置有第1摄像头(102)和所述第2摄像头(103)的基座相对。

Description

拍摄装置以及拍摄方法
技术领域
本公开涉及摄像头(camera，相机)的拍摄技术。
背景技术
在立体测距和/或光场摄像头的拍摄装置中，根据从多个视点拍摄到的图像，进行拍摄对象的进深的计算和基于虚拟视点的像的合成等。当在室外环境下持续地使用这些复眼拍摄装置的情况下，为了保护透镜，会使用透镜罩(lens cover)(例如参照专利文献1、专利文献2、专利文献3)。
一般而言，在透镜彼此间的距离大的情况下会对各个透镜分别使用透镜罩，在透镜彼此间的距离小的情况下会对多个透镜使用一个透镜罩。因此，在小型的拍摄装置中，优选对复眼、即多个透镜使用单个摄像头模组(module)和单个透镜罩。
现有技术文献
专利文献
专利文献1：日本特开2015-222423号公报
专利文献2：日本特开2009-211012号公报
专利文献3：日本特开2009-223526号公报
非专利文献
非专利文献1：Roger Y.Tsai.A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelf TV cameras andlenses.IEEE Journal of Robotics and Automation.Vol.3,pp.323-344,1987
发明内容
在将多个透镜收纳于一个透镜罩内的情况下，为了使该透镜罩的尺寸缩小，考虑将该透镜罩的外形变为具有棱线(山脊线)的形状。
然而，在利用具有棱线的透镜罩的情况下，由于通过棱线附近的光出现失真(畸变)，因而在拍摄图像中会产生透射光没有正确成像的区域。
于是，本公开提供能够较以往降低由从透镜罩的棱线附近通过的光的失真带给拍摄图像的影响的拍摄装置以及拍摄方法。
本公开的非限定性的例示性的一个技术方案涉及的拍摄装置，具备：第1摄像头，其拍摄第1图像；第2摄像头，其拍摄第2图像；透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间；以及处理电路，(i)在所述第1图像中确定处于需要进行像素值插补(内插)的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置，所述上部与设置有所述第1摄像头和所述第2摄像头的基座相对。
另外，本公开的非限定性的例示性的一个技术方案涉及的拍摄装置，其特征在于，具备：第1摄像头，其拍摄第1图像；第2摄像头，其拍摄第2图像；透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间；以及处理电路，(i)在所述第1图像中确定处于需要进行像素值插补的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，在设N为摄像头的数量、S为视野、i为表示所述第1摄像头或者所述第2摄像头的索引、为摄像头i的单位视线向量、为所述摄像头i的视线向量通过的位置处的所述罩的单位法线向量的情况下，所述透镜罩的外形是由下式规定的评价值J变为大于0.7的形状，
另外，本公开的非限定性的例示性的一个技术方案涉及的拍摄装置，其特征在于，具备：第1摄像头，其拍摄第1图像；第2摄像头，其拍摄第2图像；以及透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多条棱线分别形成在所述多个邻接部的多个表面中的各个表面与所述上部的表面之间，所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置。
此外，这些总括性的或具体的技术方案既可以通过系统、方法来实现，也可以通过装置、系统、方法的任意组合来实现。
根据本公开，能够较以往降低由透镜罩的棱线带来的影响。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种技术方案及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的技术方案及特征。
附图说明
图1是表示实施方式1涉及的拍摄装置的构成的框图。
图2A是表示广角摄像头与透镜罩的位置关系的俯视图。
图2B是表示广角摄像头与透镜罩的位置关系的侧视图。
图3是表示透镜罩的剖面的一部分的图。
图4是表示插补部的工作的流程图。
图5是表示第1判定处理的流程图。
图6是表示第2判定处理的流程图。
图7是表示插补步骤的处理的流程图。
图8是通过四眼进行的世界坐标计算的示意图。
图9A是表示广角摄像头与透镜罩的位置关系的俯视图。
图9B是表示广角摄像头与透镜罩的位置关系的侧视图。
图10A是表示广角摄像头与透镜罩的位置关系的俯视图。
图10B是表示广角摄像头与透镜罩的位置关系的侧视图。
图11A是表示广角摄像头与透镜罩的位置关系的俯视图。
图11B是表示广角摄像头与透镜罩的位置关系的侧视图。
图12A是表示广角摄像头与透镜罩的位置关系的俯视图。
图12B是表示广角摄像头与透镜罩的位置关系的侧视图。
图12C是表示车载用途中的、广角摄像头与透镜罩的位置关系的侧视图。
图13A是表示广角摄像头与透镜罩的位置关系的俯视图。
图13B是表示广角摄像头与透镜罩的位置关系的侧视图。
图13C是表示车载用途中的、广角摄像头与透镜罩的位置关系的侧视图。
图13D是表示车载用途中的、广角摄像头与透镜罩的位置关系的侧视图。
图14A是表示广角摄像头与透镜罩的位置关系的俯视图。
图14B是表示广角摄像头与透镜罩的位置关系的侧视图。
图15A是表示广角摄像头与透镜罩的位置关系的俯视图。
图15B是表示广角摄像头与透镜罩的位置关系的侧视图。
图16A是表示广角摄像头与透镜罩的位置关系的俯视图。
图16B是表示广角摄像头与透镜罩的位置关系的侧视图。
图17A是表示广角摄像头与透镜罩的位置关系的俯视图。
图17B是表示广角摄像头与透镜罩的位置关系的侧视图。
图18是对摄像头的视野进行说明的概念图。
图19是对评价值J进行说明的概念图。
图20A是表示广角摄像头与透镜罩的位置关系的俯视图。
图20B是表示广角摄像头与透镜罩的位置关系的侧视图。
图21是评价值J的等高线图。
图22A是表示广角摄像头与透镜罩的位置关系的俯视图。
图22B是表示广角摄像头与透镜罩的位置关系的侧视图。
图23是表示实施方式5涉及的拍摄装置的构成的框图。
图24是罩的侧视图。
图25是表示插补部的工作的流程图。
图26是用于对透镜罩进行说明的俯视图。
图27是用于对透镜罩进行说明的俯视图。
具体实施方式
(得到本公开的一个技术方案的经过)
关于上述以往的拍摄装置等，发明人发现会产生以下等问题。
为了移动体、例如无人机或者汽车中的周边监视或者驾驶辅助而利用立体摄像头。出于这种目的，优选广角的复眼摄像头。另外，在移动体的情况下，会对拍摄系统产生设置位置、尺寸以及重量的制约。关于设置位置，为了确保广视野，优选在移动体表面附近。关于尺寸，为了避免碰撞，且由于搭载空间的制约，优选透镜罩低的、小型的摄像头。关于重量，尤其在无人机等飞行器中优选轻量的摄像头。在配置多个独立的广角摄像头的拍摄系统中，要满足所述制约是困难的。
发明人鉴于这种问题，想到了基于被单个壳体覆盖的小型复眼拍摄装置的、使得能够进行广角拍摄的透镜罩以及使用该透镜罩的拍摄装置。
为了解决这种问题，本公开的一个技术方案涉及的拍摄装置，其特征在于，具备：第1摄像头，其拍摄第1图像；第2摄像头，其拍摄第2图像；透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间；以及处理电路，(i)在所述第1图像中确定处于需要进行像素值插补的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置，所述上部与设置有所述第1摄像头和所述第2摄像头的基座相对。
由此，通过上述拍摄装置，能够较以往降低由透镜罩的棱线附近带来的影响。
例如，进而也可以，所述处理电路基于所述第1图像和所述第2图像进行所述像素的确定。
由此，该拍摄装置即使没有预先确定哪个像素是受通过棱线附近的光失真影响的区域的像素，也能够利用由自身装置取得的图像来确定受通过棱线附近的光失真影响的区域的像素。
例如也可以，还具备存储部，所述存储部存储用于确定所述区域的区域确定信息，所述处理电路基于所述区域确定信息进行所述像素的确定。
由此，该拍摄装置即使不利用由自身装置取得的图像，也能够确定受通过棱线附近的光失真影响的区域的像素。
例如，进而也可以，所述处理电路取得位于与所述区域相距预定距离以下的位置的相邻像素的像素值作为所述插补像素信息。
由此，该拍摄装置能够根据第1图像生成输出图像。
例如也可以，还具备拍摄第3图像的第3摄像头，所述处理电路使用所述第2图像和所述第3图像，取得与所述区域对应的像素的像素值的信息作为所述插补像素信息。
由此，该拍摄装置能够生成受通过棱线附近的光失真影响的区域的像素被更高精度地进行了插补的输出图像。
例如，进而也可以，所述透镜罩还覆盖所述基座的上表面，并包含于以所述上表面的外接圆的半径为半径的球。
由此，该拍摄装置由于透镜罩的高度变得较低，因而能够降低与外部物体接触的可能性。
例如，进而也可以，所述多条棱线中的一条和其相邻区域被替换成曲面。
由此，该拍摄装置能够使透镜罩的安全性提高。
例如，进而也可以，所述透镜罩还覆盖所述基座的上表面，所述上部的外表面、所述上部的内表面以及所述上表面是平行的。
由此，该拍摄装置能够将从透镜罩的上部的外表面垂直透射的光作为垂直入射在基座的上表面的光。
例如，进而也可以，所述透镜罩还覆盖所述基座的上表面，所述上部的外表面与所述上表面为相似形状，所述上部的外表面比所述上表面小。
由此，该拍摄装置能够抑制棱线数量的增加。
本公开的一个技术方案涉及的拍摄装置，其特征在于，具备：第1摄像头，其拍摄第1图像；第2摄像头，其拍摄第2图像；透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间；以及处理电路，(i)在所述第1图像中确定处于需要进行像素值插补的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，在设N为摄像头的数量、S为视野、i为表示所述第1摄像头或者所述第2摄像头的索引、为摄像头i的单位视线向量、为所述摄像头i的视线向量通过的位置处的所述罩的单位法线向量的情况下，所述透镜罩的外形是由下式规定的评价值J变为大于0.7的形状，
由此，通过上述拍摄装置，能够较以往降低由透镜罩的棱线附近带来的影响。
本公开的一个技术方案涉及的拍摄装置，其特征在于，具备：第1摄像头，其拍摄第1图像；第2摄像头，其拍摄第2图像；以及透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多条棱线分别形成在所述多个邻接部的多个表面中的各个表面与所述上部的表面之间，所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置。
由此，能够较以往降低由透镜罩的棱线附近带来的影响。
本公开的一个技术方案涉及的拍摄方法，其特征在于，使第1摄像头拍摄第1图像，使第2摄像头拍摄第2图像，所述第1摄像头以及所述第2摄像头被透镜罩覆盖，所述透镜罩包括具有透光性的多个部分和多条棱线，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间，(i)在所述第1图像中确定处于需要进行像素值插补的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置，所述上部与设置有所述第1摄像头和所述第2摄像头的基座相对。
由此，能够较以往降低由透镜罩的棱线附近带来的影响。
以下参照附图来对本公开的实施方式进行说明。此外，以下说明的实施方式均表示本公开中的优选的一个具体例子。因此，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤(工序)及步骤的顺序等仅为一例，并非旨在限定本公开。由此，对于以下的实施方式中的构成要素中的、没有记载在表示本公开中的最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。
此外，各附图为示意图，不一定是严格图示。另外，在各附图中，对于实质上相同的构成赋予同一标号，并省略或简化重复的说明。
(实施方式1)
(锥台形状)
本实施方式中的拍摄装置包括配置于具有正方形上表面的基座的四个广角摄像头的透镜。基座的上表面的中心是该正方形的对角线的交点。在将四个广角摄像头各自的透镜的形状设为半球形的情况下，四个广角摄像头各自的透镜与基座的上表面形成圆并相交。在将该圆的中心定义为广角摄像头的透镜的中心的情况下，将四个透镜配置在基座的上表面以使得四个广角摄像头的四个透镜的四个中心的中心与基座的上表面的中心一致，并且配置为使得四个透镜相对于基座的上表面的中心而对称。
摄像头模组也可以包括基座和配置于基座的上表面的四个拍摄元件。四个拍摄元件与四个广角摄像头的每一个相对应。各个广角摄像头也可以包括对应的拍摄元件和对应的广角摄像头透镜。
此外，本公开的拍摄装置包括两个以上的广角摄像头，也可以对两个以上的广角摄像头应用本公开的内容。
在此，设摄像头已进行过摄像头校准，摄像头参数已知。摄像头参数可以使用基于针孔摄像头的摄像头模型的摄像头参数(式1)，也能够用Tsai的手法(参照非专利文献1)等已知方式算出所述摄像头参数。
在此，设图像中心的x分量和y分量为Cx和Cy，焦点距离为f，拍摄元件的一个像素的x和y方向的长度分别为d'x、d'y，相对于摄像头的世界坐标的基准的三行三列的旋转矩阵为R(右下角标的十位表示行，个位表示列)，相对于摄像头的世界坐标的基准的平移的x、y、z分量分别为Tx、Ty、Tz，没有自由度的参变量为h。
图1是表示实施方式1涉及的拍摄装置101的构成的框图。
如该图所示，拍摄装置101包括第1广角摄像头102、第2广角摄像头103、第3广角摄像头104、第4广角摄像头105、透镜罩106、帧存储器107以及处理电路111。作为一例，第1广角摄像头102～第4广角摄像头105的每一个具有110°以上的视角。此外，有时将广角摄像头简称为摄像头。
以下，对这些构成要素进行说明。
第1广角摄像头102拍摄第1图像。第2广角摄像头103拍摄第2图像。第3广角摄像头104拍摄第3图像。第4广角摄像头105拍摄第4图像。
第1广角摄像头102～第4广角摄像头105配置在基座的上表面以使得广角摄像头的视野有重叠。例如，第1广角摄像头的视野与第2广角摄像头的视野有重叠，第1广角摄像头的视野与第3广角摄像头的视野有重叠，第1广角摄像头的视野与第4广角摄像头的视野有重叠，第2广角摄像头的视野与第3广角摄像头的视野有重叠，第2广角摄像头的视野与第4广角摄像头的视野有重叠，第3广角摄像头的视野与第4广角摄像头的视野有重叠。
透镜罩106具有多个有透光性的部分，覆盖第1广角摄像头102～第4广角摄像头105。多个部分各自具有外表面和与外表面平行的内表面。也可以考虑为外表面从拍摄对象接收光，内表面输出与外表面接收到的光对应的光。更具体而言，透镜罩106将配置第1广角摄像头102～第4广角摄像头105的基座的上表面整体以2π弧度角的立体角的范围进行覆盖。作为一例，透镜罩106是透明的树脂制的罩。
图2A、图2B是表示广角摄像头与透镜罩的位置关系的图。
在图2A、图2B中，501为基座，502～505分别为第1广角摄像头102～第4广角摄像头105的透镜，106为透镜罩，506为与基座501外接的虚拟的半球面。也可以将基座501的厚度考虑为无限小。
如图2A、图2B所示，透镜罩106具有一个上部和四个侧面。透镜罩106的形状是由以正方形的基座501的上表面为底面、一个上部以及四个侧面所构成的锥台(梯形台)形。在此，h为透镜罩106的高度，d为基座的一边的长度的一半，外接于基座的虚拟的半球面的半径成为
由此，透镜罩106能够使用底面尺寸成为与外接于基座的虚拟的半球面506的底面的直径相比而小于倍的透镜罩。
在此，参照附图，对从透镜罩106的棱线附近通过的光的传导进行说明。透镜罩106具有包括四个侧部和一个上部的多个部分。多个部分中的相邻的两个部分具有棱线。透镜罩106具有八条棱线。
图3是表示透镜罩106的剖面的一部分的图。
如该图所示，棱线附近的区域可近似地视为剖面是包含以板厚作为边长的两条边的四边形的透镜。由此，通过棱线附近的光会失真。因此，在拍摄图像中，会在与棱线附近对应的部分产生透射光没有正确成像而模糊不清的区域(以下，将该区域称为“受通过棱线附近的光失真影响的区域”。)。
重新参照图1，继续说明拍摄装置101的构成。
帧存储器107存储由第1广角摄像头102～第4广角摄像头105拍摄到的图像。
处理电路111确定第1图像中的、位于受从透镜罩106的多个部分中的彼此相邻的两个部分的棱线附近通过的光失真影响的区域内的像素，使用第1图像和用于对所确定的像素的像素值进行插补的插补像素信息来生成输出图像。作为一例，处理电路111既可以通过由处理器(未图示)执行存储于存储器(未图示)的程序来实现，也可以由ASIC(Application Specific Integrated Circuit，专用集成电路)等专用硬件电路实现。
处理电路111包括插补部108、图像合成部109以及图像输出部110。插补部108对受通过棱线附近的光失真影响的区域所包含的像素的像素值进行插补。
参照附图来说明插补部108所进行的插补。
图4是表示插补部108的工作的流程图。
如该图所示，插补部108在被输入各摄像头的拍摄图像时(步骤S401)，判定受从棱线附近通过的光失真影响的区域(步骤S402)，并用不受通过棱线附近的光失真影响的区域所包含的像素的像素值来对受通过棱线附近的光失真影响的区域所包含的像素的像素值进行插补(步骤S403)。
对受通过棱线附近的光失真影响的区域的判定能够通过下述处理中的某个处理来实现：(1)使用复眼的共同视野区域的图像进行判定的处理(第1判定处理)；(2)通过拍摄预先已知的图案(pattern)，预先算出并存储位于受通过棱线附近的光失真影响的区域的像素的像素坐标，使用该坐标进行判定的处理(第2判定处理)。
以下，参照附图，对上述第1判定处理和第2判定处理进行说明。
图5是表示第1判定处理的流程图。
插补部108为了判定是否为受通过棱线附近的光失真影响的区域，从由除关注摄像头以外的其他摄像头拍摄到的图像中搜索与由关注摄像头拍摄到的图像中的关注像素相邻区域匹配的区域(步骤S501)。该图像匹配基于像素比较所使用的矩形图像区域(例如一边四个像素的正方形)的像素值之差来算出匹配误差，并将匹配误差成为最小的图像区域作为匹配区域。
在此，对作为匹配的一个手法的块匹配(block matching)的一个具体例进行说明。
插补部108针对以基准图像中的像素位置(x0,y0)为中心的基准块，在参照图像的搜索区域内，计算由下记(式2)定义的残差平方和(SSD)，并将在搜索区域内使SSD成为最小的像素位置(ui,vj)设为像素位置(x0,y0)处的推定值(u,v)。
在此，f1(x,y)表示基准图像的像素位置(x,y)处的辉度值，f2(x,y)表示参照图像的像素位置(x,y)处的辉度值，w表示进行相关运算的块区域。
再继续说明第1判定处理。
受通过棱线附近的光失真影响的区域的判定根据使用摄像头数而产生分支(步骤S502)。
在使用摄像头数为三个以上的情况下，插补部108通过所有摄像头对(pair)进行立体测距(步骤S503)。例如在使用摄像头的数量为四个、例如为第1广角摄像头、第2广角摄像头、第3广角摄像头、第4广角摄像头的情况下，用成对的第1广角摄像头和第2广角摄像头进行立体测距、用成对的第1广角摄像头和第3广角摄像头进行立体测距、用成对的第1广角摄像头和第4广角摄像头进行立体测距、用成对的第2广角摄像头和第3广角摄像头进行立体测距、用成对的第2广角摄像头和第4广角摄像头进行立体测距、用成对的第3广角摄像头和第4广角摄像头进行立体测距。
插补部108基于通过步骤S503的测距所算出的世界坐标值或者进深值之差来计算测距误差(步骤S504)。
然后，插补部108对在步骤S504中算出的测距误差与基于从摄像头参数的误差估算的测距误差的阈值进行比较(步骤S505)。该阈值能够基于测距误差与摄像头参数的误差相关来决定。立体测距求取以测定对象物和两个摄像头的位置为顶点的三角形，基于三角测量的原理算出测定对象物的位置。因此，在根据摄像头参数算出从摄像头位置朝向测定对象物的方向向量的情况下，产生由摄像头参数的误差引起的测距误差。从摄像头位置朝向测定对象物的方向向量的误差能够根据摄像头参数的再投影(二次投影)误差来估算。再投影误差是将世界坐标以摄像头参数投影到图像上所算出的图像坐标与和图像坐标对应的真实值的图像坐标间的距离。再投影误差被用作Tsai的手法等已知的摄像头校正方式的评价值，能够在摄像头参数计算时取得。另外，从摄像头位置朝向测定对象物的方向向量的误差能够基于摄像头模型和再投影误差来估算。例如在摄像头模型为通过式1所示的针孔摄像头的情况下，通过设摄像头中心Cx和Cy分别为拍摄图像的横向和纵向的像素数量的一半、旋转矩阵R为单位矩阵、平移Tx、Ty、Tz分别为0，由此图像坐标与从摄像头位置朝向测定对象物的方向向量的关系由式3来表示。
在此，ωx和ωy是从摄像头位置朝向测定对象物的方向向量与摄像头的光轴所形成的角的x分量和y分量。设再投影误差的x分量和y分量的误差分别为Δx、Δy、所述方向向量与摄像头的光轴所形成的角的x分量和y分量的误差分别为Δωx、Δωy(式4)。
从摄像头位置朝向测定对象物的方向向量的误差Δωx、Δωy与测距误差的关系能够根据到测距对象物的距离来估算。在从摄像头位置朝向测定对象物的方向向量存在误差的情况下，两个摄像头的方向向量上的两条直线不通过测距对象物并且成为扭曲的位置。作为两条直线的交点的近似位置，能够作为相对于两条直线变为最短距离的位置来算出。
在步骤S505中，当测距误差比阈值小的情况下，将像素设定在不受通过棱线附近的光失真影响的区域(步骤S507)，当比阈值大的情况下，将像素设定在受通过棱线附近的光失真影响的区域(步骤S508)。以上设定也可以按每个像素进行。
在步骤S502中，当使用摄像头数未满三个的情况下，比较匹配误差与基于图像噪声的阈值，或者比较匹配误差与基于像素的采样误差的阈值(步骤S506)。例如将图像整体的平均辉度噪声等级的常数倍(2～3倍左右)设为阈值即可。
作为一例，图像的辉度噪声等级能够按以下步骤来计算。
对相同的场景拍摄N帧(例如100枚)，用这N帧，能够按每个像素计算辉度值的方差和标准偏差。将该各像素的标准偏差的全部像素的平均设为像素整体的辉度噪声等级。
在块匹配中，即使在参照了相同的拍摄对象区域的情况下，也会产生图像整体的辉度噪声等级程度的匹配误差。因此，能够将辉度噪声等级的常数倍(2～3倍左右)用作匹配判定的阈值。
在步骤S506中，当匹配误差比阈值小的情况下，在步骤S507中将对象像素设定在不受通过棱线附近的光失真影响的区域，当比阈值大的情况下前进至步骤S509的处理。
在步骤S509的处理中，插补部108对于匹配误差比阈值大的、互不相同的图像中包含的相对应的两个块，比较辉度梯度的大小(辉度梯度大的情况下图像清晰)，将辉度梯度较大的块在步骤S507中设定在不受通过棱线附近的光失真影响的区域，将辉度梯度较小的块在步骤S508中设定在受通过棱线附近的光失真影响的区域。
此外，也可以在使用摄像头数为三个以上的情况下基于匹配误差进行是否为受通过棱线附近的光失真影响的区域的判定。
接着，对第2判定处理进行说明。
在进行该第2判定处理的情况下，拍摄装置101还具备存储部，存储部存储用于确定受通过棱线附近的光失真影响的区域的区域确定信息。
由棱线附近引起的图像上的模糊区域能够通过拍摄预先已知的图案来确定。作为已知图案的例子，可以使用网格线、格状(checker)图案。在黑白两色图案的情况下，在模糊区域出现灰色，边缘消失。存储部将位于该模糊区域的像素坐标存储为区域确定信息。
图6是表示第2判定处理的流程图。
插补部108参照存储部所存储的区域确定信息，检查成为对象的像素是否与受通过棱线附近的光失真影响的区域相应(步骤S601)。
在步骤S601的处理中，当成为对象的像素与受通过棱线附近的光失真影响的区域相应的情况下，插补部108将成为对象的像素设定在受通过棱线附近的光失真影响的区域(步骤S602)，当成为对象的像素不受通过棱线附近的光的失真的影响的情况下，插补部108将成为对象的像素设定在不受通过棱线附近的光失真影响的区域(步骤S603)。
重新参照图4，继续使用图4进行说明。
图像合成部109将由插补部108判定出的受通过棱线附近的光失真影响的区域的像素值利用插补得到的图像合成为不包含受通过棱线附近的光失真影响的区域的单一的图像(步骤S403)。而且，图像输出部110将由图像合成部109生成的图像输出。
图7是表示插补步骤(步骤S403)的处理的流程图。遮蔽区域内的像素值的插补根据使用摄像头数而产生分支(步骤S701)。
在使用摄像头数为三个以上的情况下，基于由受通过棱线附近的光失真影响的区域的判定步骤S402的所有摄像头对的立体测距所算出的世界坐标，算出与受通过棱线附近的光失真影响的区域对应的世界坐标(步骤S702)。该世界坐标选择所有摄像头对的立体测距的平均以及/或者测距点集中的位置即可。
在此，参照附图，对世界坐标计算的一个具体例进行说明。
图8是通过四眼进行的世界坐标计算的示意图。
在通过四眼进行立体测距的情况下，能够选择六个摄像头对，设这些摄像头对的各测距位置为P1～P6。在此，设在从P1～P6中选择三点的情况下，方差成为最小的组为P1～P3。这里所说的方差指的是三维坐标的X、Y、Z的各分量中的方差的平均。
在该情况下，作为四眼整体的测距点Q的世界坐标设为P1～P6的重心G(G(X,Y,Z)是P1～P6的三维坐标的X、Y、Z分量的平均)或者测距点集中的点的组(图中的P1～P3)的重心Q即可。
重新参照图7，继续说明插补步骤(步骤S403)。
由关注摄像头P1拍摄到的拍摄图像A1中的受通过棱线附近的光失真影响的区域的像素B1的像素值C1利用与在步骤S702中算出的受通过棱线附近的光失真影响的区域所包含的像素B1的世界坐标W对应的像素B2的像素值C2来进行插补。关于该对应的像素B2的像素值C2，只要求取以与关注摄像头不同的另外的摄像头P2的摄像头参数将所述世界坐标投影在由该另外的摄像头P2拍摄到的拍摄图像A2中而得到的像素坐标，并求取与该像素坐标对应的像素的像素值即可(步骤S703)。此外，投影了的像素B2包含在拍摄图像A2的不受通过棱线附近的光失真影响的区域内成为使用拍摄图像A2的前提。
在步骤S701中，当使用摄像头数未满三个的情况下，利用双线性(bi-linear)或者双立方(bi-cubic)插补等公知的插补方法根据相邻像素来对像素值进行插补(步骤S704)。
上述构成的拍摄装置101通过对受通过棱线附近的光失真影响的区域的像素值进行插补，从而不会产生由通过透镜罩106的棱线附近的光的失真引起的输出图像的缺损。
以下，对摄像头数为四个以外的情况进行例示。
图9A、图9B中表示摄像头数为三个并且透镜配置为对称配置的透镜罩1201。在图9A、图9B中，将第1广角摄像头的透镜1202、第2广角摄像头的透镜1203、第3广角摄像头的透镜1204配置为正三角形，设三角锥台的透镜罩1201的上底为1205。
图10A、图10B中表示摄像头数为五个并且透镜配置为对称配置的透镜罩1401。在图10A、图10B中，将第1广角摄像头的透镜1402、第2广角摄像头的透镜1403、第3广角摄像头的透镜1404、第4广角摄像头的透镜1405、第5广角摄像头的透镜1406配置为正五边形，设五角锥台的透镜罩1401的上底为1407。
图11A、图11B中表示摄像头数为六个并且透镜配置为对称配置的透镜罩1601。在图11A、图11B中，将第1广角摄像头的透镜1602、第2广角摄像头的透镜1603、第3广角摄像头的透镜1604、第4广角摄像头的透镜1605、第5广角摄像头的透镜1606、第6广角摄像头的透镜1607配置为正六边形，设六角锥台的透镜罩1601的上底为1608。
此外，在摄像头数不为3～6或者透镜配置不为对称配置的除了以上例子以外的情况下，透镜罩的外形设为以基座的上表面为底面的锥台即可。另外，各摄像头中的受通过棱线附近的光失真影响的区域也可以根据透镜罩的棱线和拍摄元件上的像素的位置关系来确定。
另外，只要是覆盖配置有摄像头的透镜的基座的上表面的形状，透镜罩的形状不必限于其形状为直锥台的情况。关于外形为除了直锥台以外的形状的透镜罩的例子，图示于图12A、图12B、图13A、图13B。
在图12A、图12B中，511为基座，512～515分别为第1广角摄像头102～第4广角摄像头105的透镜，116为透镜罩。
在图12A、图12B中，透镜罩116的上部与基座511的上表面不平行。使所述透镜罩116的上表面倾斜以使得所述透镜罩116的上部的法线向量与所述基座511的上表面的法线向量所形成的角度大于0°且小于等于30°。此外，在图12A、图12B中记载为没有对透镜罩116考虑板厚，但也可以认为透镜罩116的上部的外表面和其对应的内表面相互平行。也就是说，透镜罩116的上部的外表面和其对应的内表面均不与基座511的上表面平行。透镜罩116的上部上表面的法线向量可以是透镜罩116的上部的外表面的法线向量，也可以是透镜罩116的上部的内表面的法线向量。
通过使所述透镜罩116的上部相对于基座摄像头模组511的上表面倾斜，能够使不受从所述透镜罩116的棱线附近通过的光失真影响的共同视野扩大。例如在车载用途中，相对于空中，地表侧的影像更重要，因此配置为如图12C那样。也就是说，使得透镜罩116的上部的法线向量朝向地表。
在图13A、图13B中，521为基座，522～525分别为第1广角摄像头102～第4广角摄像头105的透镜，126为透镜罩。
在图13A、图13B中，透镜罩126的上部与基座521的上表面平行。此外，在图13A、图13B中记载为没有对透镜罩126考虑板厚，但也可以认为透镜罩126的上部的外表面和其对应的内表面相互平行。也就是说，透镜罩126的上部的外表面和其对应的内表面均与基座521的上表面平行。另一方面，在俯视透镜罩126的情况下，透镜罩126的上部的外表面的重心位置、设置在基座的上表面的第1广角摄像头～第4广角摄像头的透镜523～525各自的中心的中心、以及透镜罩的上部的外表面的中心是相偏离的。
通过一边维持所述透镜罩126的上部与下部平行一边进行平行移动，能够使不包含受通过所述透镜罩126的棱线附近的光失真影响的区域的共同视野扩大。例如在车载用途中，相对于空中，地表侧的影像更重要，因此配置为如图13C那样。也就是说，使得透镜罩116的上部的法线向量朝向地表。
相似形状的透镜罩也能获得降低通过棱线附近的光失真影响的效果，因而透镜罩的大小等的阈值可用相对于透镜罩整体的比例来规定。如果是以球体的一半所规定的半球的透镜罩，则能够仅用球的半径来定义透镜罩的大小。在此，在半球的透镜罩的情况下，透镜罩的大小相当于球的直径。或者，透镜罩的大小相当于透镜罩的俯视图中的直径。
另一方面，考虑到锥台的透镜罩的大小有多种表现。因此，定义平均基线长D作为表示锥台透镜罩的大小的有效指标。
在此，N为摄像头数量(透镜数)，d为基线长(透镜间距离)。
通过使用该平均基线长，即使在不规则地配置了多个透镜的情况下，也可规定透镜罩的大小。此外，也能取代基线长的平均，而利用最小值、最大值、中央值或者标准偏差。
由于无法将多个透镜配置在同一地方，因而在N≥2时成为D>0。在将透镜配置在如图26那样的正方形形状的情况下，若设水平方向的透镜间距离为a，则成为式7。
图27表示将透镜以彼此挨得最密的方式配置并使用具有最小的正方形表面的基座的情况。作为透镜半径，假设光轴对称的透镜，设从光轴的最大距离为r。例如在使用四个半径为r的透镜的情况下，球面透镜罩的半径的最小值成为2√2r。
如上所述，通过考虑透镜彼此挨得最密的配置，能够算出平均基线长D的下限(上限取决于基座的表面的尺寸，是将透镜配置在基座的表面的端部的情况)。因此，透镜罩的大小等的阈值能够用平均基线长的常数倍等来规定。例如，透镜罩的大小在以上且平均基线长的三倍以下。
关于透镜罩的进一步其他的形状，在以下的实施方式2中进行说明。
(实施方式2)
(扭曲锥台形状)
实施方式1中的透镜罩的形状不需要限于锥台形状。通过使锥台的上底在上底所在的平面上旋转θ(θ≠0)，会变为上底的边存在于相对于下底的边而扭曲的位置的多面体。将该多面体称为扭曲锥台。为使说明简单，用与实施方式1同样的四个广角摄像头进行说明。
在实施方式2涉及的拍摄装置中，根据实施方式1涉及的拍摄装置101，透镜罩106变更成后述的透镜罩631(参照图14A、图14B)。
图14A、图14B是表示广角摄像头与扭曲锥台透镜罩的配置的图。在图14中，对与实施方式1相同的构成要素赋予与图2A、图2B相同的标号，并省略其说明。631表示外形为扭曲锥台形状的透镜罩，632表示631的上底的四条边中的、在考虑包含所述边与连结透镜502和透镜503的线段的矩形时所述矩形的面积成为最小的边，633表示连结透镜502和透镜503的中心的线段(基线)。此外，在将四个透镜各自的形状设为半球的情况下，四个透镜的每一个与基座的上表面形成圆并相交。也可以将该圆的中心定义为透镜的中心。
632与633的位置关系为扭曲旋转角θ(θ≠0)且非平行。即，包围透镜罩631的多个表面中的上部的外表面的各棱线处于相对于连结第1广角摄像头(第1摄像头)102和第2广角摄像头(第2摄像头)103的基线而扭曲的位置。如此在摄像头的基线处于与透镜罩的上底的边相扭曲的位置的情况下，针对某个空间内的一个点的世界坐标，通过棱线附近的光失真的影响仅由一个摄像头产生。另一方面，在锥台形状的情况下，将基线和上底的边一起包含在内的三维空间中的平面(在锥台形状的情况下，基线与上底的边平行，存在包含所述基线和所述边的平面。)由于形成上述基线的摄像头对的双方而成为受通过棱线附近的光失真影响的区域。
在由图14A、图14B所示的例子中，透镜罩631的上部的外表面的各边处于相对于连结第1广角摄像头(第1摄像头)的透镜502和第2广角摄像头(第2摄像头)的透镜503的基线而扭曲的位置。
如此，实施方式2涉及的拍摄装置具备：第1广角摄像头(第1摄像头)102，其拍摄第1图像；第2广角摄像头(第2摄像头)103，其拍摄第2图像；透镜罩631，其由具有透光性的多个面形成，覆盖第1广角摄像头(第1摄像头)102和第2广角摄像头(第2摄像头)103；以及处理电路111，其确定第1图像中的处于受从作为上述多个面中的彼此相邻的两个面的边界线的棱线附近通过的光失真影响的区域内的像素，使用第1图像和用于对所确定的像素的像素值进行插补的插补像素信息来生成输出图像，包围透镜罩631的上述多个面中的上部的外表面的各棱线处于相对于连结第1广角摄像头(第1摄像头)102和第2广角摄像头(第2摄像头)103的基线而扭曲的位置。
根据以上，通过使透镜罩的外形变为扭曲锥台形状，能够使拍摄包含受从透镜罩的棱线附近通过的光失真影响的区域的图像的摄像头的数量减少，其结果，能够易于进行使用由拍摄不受从棱线附近通过的光失真影响的图像的另外的摄像头得到的像素值的插补。
对摄像头数不为4的情况进行说明。
图15A、图15B是表示三个广角摄像头与锥台透镜罩的配置的图。在图15A、图15B中，对与实施方式1相同的构成要素赋予与图9A、图9B相同的标号，并省略其说明。1301表示扭曲锥台形状的透镜罩，1302表示1301的上底的三条边中的、位于与透镜1202和透镜1203最相邻的位置的边，1303表示连结透镜1202和透镜1203的中心的线段(基线)。
图16A、图16B是表示五个广角摄像头与锥台透镜罩的配置的图。在图16A、图16B中，对与实施方式1相同的构成要素赋予与图10A、图10B相同的标号，并省略其说明。1501表示扭曲锥台形状的透镜罩，1502表示1501的上底的五条边中的、位于与透镜1402和透镜1403最相邻的位置的边，1503表示连结透镜1402和透镜1403的中心的线段(基线)。
图17A、图17B是表示六个广角摄像头与锥台透镜罩的配置的图。在图17A、图17B中，对与实施方式1相同的构成要素赋予与图16A、图16B相同的标号，并省略其说明。1701表示扭曲锥台形状的透镜罩，1702表示1701的上底的六条边中的、位于与透镜1602和透镜1603最相邻的位置的边，1703表示连结透镜1602和透镜1603的中心的线段(基线)。
此外，在摄像头数不为3～6或者透镜配置不为对称配置的除了以上例子以外的情况下，透镜罩的外形设为以基座为底面的扭曲锥台即可。
(实施方式3)
(入射光尽量垂直通过)
为了降低入射光衰减的影响，透镜罩的形状优选为，所述入射光通过的透镜罩面与入射光的方向向量垂直。在实施方式3中对这样考虑到由透镜罩产生的衰减影响的形状进行说明。
图18是对摄像头的视野进行说明的概念图。设摄像头1801的光轴为1802、摄像头的视野S为1803。将通过视野边界的直线与光轴所形成的角设为半视场角ω1804。在视线的方向向量与视线的方向向量通过的透镜罩面的法线向量所形成的角小的情况下，入射光通过的透镜罩面与入射光的方向向量接近于垂直，由透镜罩引起的入射光的衰减小而优选。在覆盖两个以上的摄像头的透镜罩中，要作为透镜罩整体来评价视线的方向向量与透镜罩面的法线向量所形成的角，只要对于以透镜位置为中心的视野S，按各摄像头算出作为视线的方向向量的单位向量的单位视线向量和作为视线的方向向量通过的透镜罩面的法线向量的单位向量的单位法线向量的内积即可。将评价上述两个向量所形成的角的大小的评价值J表示于式5。
在此，N为摄像头数，i为摄像头索引，为单位视线向量，为视线向量通过的位置处的透镜罩的单位法线向量。
该评价值J与相对于上述两个向量所形成的角的平均余弦相当。也就是说，评价值J在上述两个向量所形成的角为0的情况下成为最大值1。例如用图19来说明，在对半视场角为90°的一个摄像头使用了摄像头的中心与球面的中心一致的半球面的透镜罩的情况下式5的评价值J的算出。在图19中，对与图18相同的构成要素赋予与图18相同的标号，并省略其说明。设摄像头的视线向量为1901、视线向量通过的微小视野为1902、微小视野的单位法线向量为1903。式5中的与面积相当的区域的进深值为任意值，因此设为R的半球面。球面的法线向量通过所述球面中心，因此透镜罩与视线向量正交，式5的和的内积总为1。因此，式5的评价值J成为最大值即1。
图20A、图20B中以与实施方式1同样的四个摄像头为例来进行说明。在图20A、图20B中，对与实施方式1相同的构成要素赋予与图2A、图2B相同的标号，并省略其说明。701是式5中的以透镜位置为中心的视野，摄像头的视野设为半球状(从光轴起90°以内)。w是上底的边长的一半，φ表示锥台的侧面与底面所形成的角。在此，作为一例，将透镜罩的底面的一边设为30mm，将透镜的中心设为距离底面的边7.5mm的位置。在该配置中，算出使式5的评价值J最大的w和h。作为透镜罩的构造的制约，设为0<w≤15mm、0<h≤30mm。由于难以计算解析解，因而在球面坐标系以等角度间隔生成视线向量，获得数值解。作为实际例子，在角度分辨率为0.36°的情况下，最大值J为0.841，视线向量与视线向量通过的透镜罩面的法线向量所形成的角的平均为32.7°。此时，w＝11.37mm、h＝8.11mm、φ＝65.9°(图21)。此外，在φ＝60°的情况下，评价值J大约为0.7。因此，可以说成为φ＝65.9°的上述形状的透镜罩能够比φ＝60°的情况降低由透镜罩引起的入射光衰减的影响。
在此，对一个透镜位于基座中央的情况和复眼的情况的差异进行说明。在前者的情况下，根据对称性在从侧面观察时将正六边形减半后的梯形中使评价值J最大化，成为φ＝60°。对此，在后者的情况下，由于透镜的位置不在透镜罩的中央，因而评价值J在φ比60°大的65.9°成为最大。因此，将一个透镜配置在基座中央的情况下的评价值J的最大值成为实施方式3中的表示透镜罩相对于入射光垂直这一情况的阈值的例子。
根据以上，能够利用评价值J评价入射到透镜罩的光的角度，并能够通过决定透镜罩形状以使得所述评价值增大来降低由透镜罩产生的入射光衰减的影响。
(实施方式4)
(透镜罩的高度低，位于半球面透镜罩的内部)
在移动体、例如汽车或者无人机中，透镜罩突出可能会引起碰撞。因此，透镜罩的高度最好较低。因此，将透镜罩配置在以与基座外接的圆的半径为半径的半球面透镜罩的内部。
使用图22A、图22B，以与实施方式1同样的四个摄像头为例来进行说明。在图22A、图22B中，对与实施方式1相同的构成要素赋予与图2A、图2B相同的标号，并省略其说明。P表示透镜罩的上底的顶点(有四个顶点，但因具有对称性，因此以一点为代表)。通过将透镜罩配置为使得P存在于半球面506的内部，使透镜罩的高度相对于半球面透镜罩降低。
在该情况下，透镜罩包含于以配置有第1广角摄像头(第1摄像头)102以及第2广角摄像头(第2摄像头)103的下表面(基座501的上表面)的外接圆的半径为半径的球内。
根据以上，能够使透镜罩的高度降低，降低碰撞的可能性。
(实施方式5)
(圆角)
在移动体、例如汽车或者无人机中，从安全性的观点来看，优选没有角的形状。因此，在将透镜罩的棱线和棱线相邻的区域替换成曲面的形状的情况下，透镜罩没有角，成为安全的形状。
图23中表示实施方式5的拍摄装置901的框图。为使说明简单，以与实施方式1同样的四个摄像头为例。
如该图所示，实施方式5涉及的拍摄装置901构成为，根据实施方式1涉及的拍摄装置101(参照图1)，将透镜罩106替换成透镜罩906，并将插补部108替换成插补部908。透镜罩906由透镜罩106变为将其棱线和棱线相邻的区域替换成曲面的罩。以下，对该透镜罩106进行说明。
图24中表示透镜罩906的侧视图，透镜罩906是将透镜罩的棱线和棱线相邻的区域替换成曲面的透镜罩。1001为透镜，1002为与底面平行的透镜罩面，称为上表面。此外，在图24中忽略了透镜罩的板厚。该透镜罩面也可以被认为是透镜罩的外表面。也可以以相同的想法来设计透镜罩的内表面。1003为与底面接触的透镜罩面，称为侧面。1004为与上表面1002和侧面1003接触的圆筒，在图24的侧视图中成为圆。为了将透镜罩的棱线和棱线相邻的区域替换成曲面，可通过如图24的配置那样，配置曲面以使其与两个平面部1002、1003相接，并将实施方式1～4的锥台透镜罩和扭曲锥台透镜罩中的棱线和棱线相邻的区域用上述曲面替换来获得。上述曲面的大小由曲率半径表示。优选满足车载用途中的安全基准，例如根据确定道路运输车辆的安保基准的细则的公告[2016年6月18日]附件20(外装的技术基准)，曲率半径设为2.5mm以上。另外，也可以基于基座的大小确定曲率，设为相对于所述基座的一边长的比例、例如1％即可。
此外，上述曲面不限于1004的圆筒。与实施方式1～4同样地确定除了棱线和棱线相邻的区域以外的透镜罩的平面区域即可，省略其说明。
插补部908在由透镜罩906的曲面产生的图像上的受通过棱线附近的光失真影响的区域内对像素值进行插补。使用图25对该插补进行说明。
图25是表示插补部908的工作的流程图。
如该图所示，插补部908进行的工作是根据实施方式1涉及的插补部108所进行工作(参照图4)来将步骤S402的处理变更为步骤S1102的处理后的工作。以下，对该步骤S1102的处理进行说明。
插补部908判定由透镜罩的曲面引起的图像上的受光的失真影响的遮蔽区域(步骤S1102)。该判定利用以下说明的三个方法中的某一个或者它们的组合来进行。作为第一个方法，与实施方式1～4同样地根据其他摄像头是否有与关注摄像头的关注像素相邻区域匹配的区域来算出。作为第二个方法，基于透镜罩的设计值，按图像上的每个像素根据入射光是否通过曲面来算出。作为第三个方法，根据是否位于从由透镜罩产生的遮蔽区域的边界起的给定像素数以内来算出。
根据以上，能使用没有角而提高了安全性的透镜罩，用小型的拍摄装置进行广角摄影。
以上，基于实施方式说明了一个或多个技术方案涉及的拍摄装置，但本公开不限定于该实施方式。只要不偏离本公开的宗旨，将本领域技术人员想到的各种变形应用于本实施方式而得到的方式、和将不同的实施方式中的构成要素组合而构建的方式也可以包含在一个或多个技术方案的范围内。
产业上的可利用性
本公开涉及的拍摄装置以及拍摄方法在用于移动体、例如无人机或者汽车中的例如周边监视或者驾驶辅助时是有用的。
标号说明
101、901拍摄装置；102第1广角摄像头(第1摄像头)；103第2广角摄像头(第2摄像头)；104第3广角摄像头(第3摄像头)；105第4广角摄像头(第4摄像头)；106、116、126、631、906、1201、1301、1401、1501、1601、1701透镜罩；107帧存储器；108、908插补部；109图像合成部；110图像输出部；111处理电路。

Claims (12)

1.一种拍摄装置，具备：
第1摄像头，其拍摄第1图像；
第2摄像头，其拍摄第2图像；
透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间；以及
处理电路，(i)在所述第1图像中确定处于需要进行像素值插补的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，
所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置，
所述上部与设置有所述第1摄像头和所述第2摄像头的基座相对。
2.根据权利要求1所述的拍摄装置，
所述处理电路基于所述第1图像和所述第2图像进行所述像素的确定。
3.根据权利要求1所述的拍摄装置，
还具备存储部，所述存储部存储用于确定所述区域的区域确定信息，
所述处理电路基于所述区域确定信息进行所述像素的确定。
4.根据权利要求1至3中任一项所述的拍摄装置，
所述处理电路取得位于与所述区域相距预定距离以下的位置的相邻像素的像素值作为所述插补像素信息。
5.根据权利要求1至3中任一项所述的拍摄装置，
还具备拍摄第3图像的第3摄像头，
所述处理电路使用所述第2图像和所述第3图像，取得与所述区域对应的像素的像素值的信息作为所述插补像素信息。
6.根据权利要求1至5中任一项所述的拍摄装置，
所述透镜罩还覆盖所述基座的上表面，并包含于以所述上表面的外接圆的半径为半径的球。
7.根据权利要求1至6中任一项所述的拍摄装置，
所述多条棱线中的一条和其相邻区域被替换成曲面。
8.根据权利要求1至7中任一项所述的拍摄装置，
所述透镜罩还覆盖所述基座的上表面，
所述上部的外表面、所述上部的内表面以及所述上表面是平行的。
9.根据权利要求1至7中任一项所述的拍摄装置，
所述透镜罩还覆盖所述基座的上表面，
所述上部的外表面与所述上表面为相似形状，
所述上部的外表面比所述上表面小。
10.一种拍摄装置，具备：
第1摄像头，其拍摄第1图像；
第2摄像头，其拍摄第2图像；
透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间；以及
处理电路，(i)在所述第1图像中确定处于需要进行像素值插补的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，
在设N为摄像头的数量、S为视野、i为表示所述第1摄像头或者所述第2摄像头的索引、为摄像头i的单位视线向量、为所述摄像头i的视线向量通过的位置处的所述罩的单位法线向量的情况下，所述透镜罩的外形是由下式规定的评价值J变为大于0.7的形状，
11.一种拍摄装置，具备：
第1摄像头，其拍摄第1图像；
第2摄像头，其拍摄第2图像；以及
透镜罩，其包括具有透光性的多个部分和多条棱线，覆盖所述第1摄像头和所述第2摄像头，所述多个部分包括上部和多个邻接部，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间，
所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置。
12.一种拍摄方法，
使第1摄像头拍摄第1图像，
使第2摄像头拍摄第2图像，
所述第1摄像头以及所述第2摄像头被透镜罩覆盖，所述透镜罩包括具有透光性的多个部分和多条棱线，所述多个部分包括上部和多个邻接部，所述多个邻接部的每一个与所述上部邻接，所述多条棱线分别形成在所述多个邻接部的多个表面的各个表面与所述上部的表面之间，(i)在所述第1图像中确定处于需要进行像素值插补的区域内的像素，(ii)使用所述第1图像和用于对所确定的所述像素的像素值进行插补的插补像素信息来生成输出图像，
所述多条棱线的每一条处于相对于连结所述第1摄像头的第1透镜的第1中心和所述第2摄像头的第2透镜的第2中心的基线而扭曲的位置，
所述上部与设置有所述第1摄像头和所述第2摄像头的基座相对。
CN201780049925.7A 2016-12-15 2017-11-28 拍摄装置以及拍摄方法 Active CN109565539B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-243850 2016-12-15
JP2016243850 2016-12-15
PCT/JP2017/042484 WO2018110264A1 (ja) 2016-12-15 2017-11-28 撮像装置、及び撮像方法

Publications (2)

Publication Number Publication Date
CN109565539A true CN109565539A (zh) 2019-04-02
CN109565539B CN109565539B (zh) 2021-04-27

Family

ID=62558457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780049925.7A Active CN109565539B (zh) 2016-12-15 2017-11-28 拍摄装置以及拍摄方法

Country Status (5)

Country Link
US (1) US10812691B2 (zh)
EP (1) EP3557858B1 (zh)
JP (1) JP6854472B2 (zh)
CN (1) CN109565539B (zh)
WO (1) WO2018110264A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039117B2 (en) * 2019-08-27 2021-06-15 Htc Corporation Dual lens imaging module and capturing method thereof
JP2023094128A (ja) * 2021-12-23 2023-07-05 株式会社日立製作所 撮像装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092357A (ja) * 1998-09-08 2000-03-31 Mitsubishi Electric Corp 撮像装置
CN1739287A (zh) * 2003-10-22 2006-02-22 松下电器产业株式会社 成像装置及其生产方法、便携设备、以及成像传感器及其生产方法
JP2009211012A (ja) * 2008-03-06 2009-09-17 Funai Electric Co Ltd 広角複眼撮像装置
US20120147224A1 (en) * 2010-12-08 2012-06-14 Canon Kabushiki Kaisha Imaging apparatus
CN102646647A (zh) * 2011-02-17 2012-08-22 佳能株式会社 固态成像装置、其制造方法和照相机
US20130135439A1 (en) * 2011-11-29 2013-05-30 Fujitsu Limited Stereoscopic image generating device and stereoscopic image generating method
JP2013110711A (ja) * 2011-11-24 2013-06-06 Canon Inc 画像処理装置および画像処理方法、並びにプログラム
US20150319409A1 (en) * 2014-04-30 2015-11-05 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and distance measuring apparatus using the same
CN205545576U (zh) * 2015-12-30 2016-08-31 南昌欧菲光电技术有限公司 成像模组及电子装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177004A1 (en) * 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
JP2009223526A (ja) 2008-03-14 2009-10-01 Ricoh Co Ltd 画像入力装置及び個人認証装置
JP2011250138A (ja) * 2010-05-27 2011-12-08 Jvc Kenwood Corp 画像検証方法及び画像検証装置
US8899761B2 (en) 2011-03-23 2014-12-02 Gentex Corporation Lens cleaning apparatus
JP6089767B2 (ja) * 2013-02-25 2017-03-08 株式会社リコー 画像処理装置、撮像装置、移動体制御システム及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092357A (ja) * 1998-09-08 2000-03-31 Mitsubishi Electric Corp 撮像装置
CN1739287A (zh) * 2003-10-22 2006-02-22 松下电器产业株式会社 成像装置及其生产方法、便携设备、以及成像传感器及其生产方法
JP2009211012A (ja) * 2008-03-06 2009-09-17 Funai Electric Co Ltd 広角複眼撮像装置
US20120147224A1 (en) * 2010-12-08 2012-06-14 Canon Kabushiki Kaisha Imaging apparatus
CN102646647A (zh) * 2011-02-17 2012-08-22 佳能株式会社 固态成像装置、其制造方法和照相机
JP2013110711A (ja) * 2011-11-24 2013-06-06 Canon Inc 画像処理装置および画像処理方法、並びにプログラム
US20130135439A1 (en) * 2011-11-29 2013-05-30 Fujitsu Limited Stereoscopic image generating device and stereoscopic image generating method
US20150319409A1 (en) * 2014-04-30 2015-11-05 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and distance measuring apparatus using the same
CN205545576U (zh) * 2015-12-30 2016-08-31 南昌欧菲光电技术有限公司 成像模组及电子装置

Also Published As

Publication number Publication date
EP3557858B1 (en) 2021-01-20
WO2018110264A1 (ja) 2018-06-21
CN109565539B (zh) 2021-04-27
JPWO2018110264A1 (ja) 2019-10-24
US20190230264A1 (en) 2019-07-25
EP3557858A1 (en) 2019-10-23
US10812691B2 (en) 2020-10-20
EP3557858A4 (en) 2020-01-01
JP6854472B2 (ja) 2021-04-07

Similar Documents

Publication Publication Date Title
Nene et al. Stereo with mirrors
US10088296B2 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
US9609210B2 (en) Technique for view synthesis
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
US8121352B2 (en) Fast three dimensional recovery method and apparatus
Gluckman et al. Real-time omnidirectional and panoramic stereo
US8098958B2 (en) Processing architecture for automatic image registration
CN101308018B (zh) 基于双目全方位视觉传感器的立体视觉测量装置
CN101393012B (zh) 双目立体视觉测量装置
ES2747387A2 (es) Dispositivo y metodo para obtener informacion de profundidad a partir de una escena.
JP3827912B2 (ja) 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
CN106500596A (zh) 结构光全景测量系统的测量方法
US11281087B2 (en) Imaging device, image processing apparatus, and image processing method
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
KR19990068886A (ko) 프리즘에 의한 스테레오 카메라 시스템
CN109565539A (zh) 拍摄装置以及拍摄方法
Lanman et al. Spherical catadioptric arrays: Construction, multi-view geometry, and calibration
JPH1195344A (ja) 全方位ステレオ画像撮影装置
Bergamasco et al. Can a fully unconstrained imaging model be applied effectively to central cameras?
Hua et al. A high-resolution panoramic camera
Caracotte et al. Photometric stereo with twin-fisheye cameras
Yang et al. Coplanar common points in non-centric cameras
Shishido et al. Calibration method for sparse multi-view cameras by bridging with a mobile camera
KR101902999B1 (ko) 360도 이미지를 형성할 수 있는 카메라

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant