CN104717481B - 摄像装置、图像处理装置、摄像方法 - Google Patents

摄像装置、图像处理装置、摄像方法 Download PDF

Info

Publication number
CN104717481B
CN104717481B CN201410735057.6A CN201410735057A CN104717481B CN 104717481 B CN104717481 B CN 104717481B CN 201410735057 A CN201410735057 A CN 201410735057A CN 104717481 B CN104717481 B CN 104717481B
Authority
CN
China
Prior art keywords
camera
location information
image
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410735057.6A
Other languages
English (en)
Other versions
CN104717481A (zh
Inventor
登生
登一生
佐藤智
吾妻健夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104717481A publication Critical patent/CN104717481A/zh
Application granted granted Critical
Publication of CN104717481B publication Critical patent/CN104717481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种摄像装置、图像处理装置、摄像方法。摄像装置拍摄多个图像，从多个图像计算三维位置，输出多个图像和三维位置的信息，具有：摄像单元，利用至少3个照相机进行拍摄，生成并输出多个图像，各照相机配置为光轴互相平行且靠近；照相机参数存储单元，预先存储包含外部参数、内部参数及遮挡信息的照相机参数；位置计算单元，由2个以上的图像的组和照相机参数来计算多个点的三维位置；位置选择单元，从多个点的位置信息选择无遮挡的被拍摄物体区域的位置信息，作为选择位置信息而输出；图像补全单元，基于选择位置信息生成对多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像，输出补全图像和选择位置信息。

Description

摄像装置、图像处理装置、摄像方法
技术领域
本发明涉及拍摄宽视野角的图像、并且取得视野内的三维位置的技术。
背景技术
以往，已知有使用多个具备鱼眼透镜的摄像装置来对目标物进行测位的技术方案(参照专利文献2)。
<现有技术文献>
专利文献1：日本特开2001－285692号公报
专利文献2：日本特开平6－167564号公报
专利文献3：日本特开2007－24647号公报
非专利文献1：C.Zach,T.Pock和H.Bischof，“A duality based approach forrealtime TV-L1optical flow,”，关于图案识别的第29届DAGM会议的会议记录，第214-223页，2007年。
非专利文献2：M.Werlberger,T.Pock,H.Bischof，“Motion estimation withnon-local total variation regularization,”，IEEE Conference on Computer Visionand Pattern Recognition(CVPR)，第2464-2471页，2010年6月13-18日。
非专利文献3：松山隆司等编，“计算机视觉”、新技术通信株式会社(ShinGijutsuCommunications K.K.)、pp123～137。
发明内容
在上述现有技术中，在具备多个包括鱼眼透镜的照相机的摄像装置中存在以下情况：在用多个照相机所包含的某一照相机拍摄到的图像中，存在映入了多个照相机所包含的其它照相机的区域。也即是，在用某一照相机拍摄到的图像中，位于其它照相机的后方的物体等被遮挡而无法取得图像和三维位置。
一个非限制的例示性实施例提供了一种摄像装置，其能够取得不存在拍摄到摄像装置所包含的照相机的区域的图像和三维位置。
本发明的实施方式的其他益处和优点将通过说明书和附图得到明确。这些益处和/或优点能够单独地由所公开的说明书和附图的各个实施方式和特征来实现，并且，不需要通过所有的实施方式和特征来实现一个或更多的益处和/或优点。
本发明的一个技术方案涉及一种摄像装置，其拍摄多个图像，并且，从所取得的所述多个图像计算三维位置，输出所述多个图像和所述三维位置的信息，所述摄像装置具有：摄像单元，其通过利用至少3个照相机的每个照相机进行拍摄，生成并输出所述多个图像，各照相机配置为其光轴互相平行且靠近；照相机参数存储单元，其预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息；位置计算单元，其接受所述多个图像和所述照相机参数，由利用了所述多个图像的2个以上的图像的组和所述照相机参数来计算多个点的三维位置；位置选择单元，其接受在所述位置计算单元中计算出的所述多个点的位置信息和所述照相机参数存储单元存储的遮挡信息，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出；以及图像补全单元，其接受所述多个图像和所述选择位置信息，基于所述选择位置信息来生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全(追补)后的补全图像，输出所述补全图像和所述选择位置信息。
此外，本发明的总体以及具体实施方式可以由系统、方法、集成电路、计算机程序或计算机能读取的记录介质、例如压缩盘只读存储器(CD-ROM)的形式来实现，或者可以使用系统、方法、集成电路、计算机程序和计算机能读取的记录介质的任何组合来实现。
根据本发明的一个技术方案涉及的摄像装置，能够取得没有拍摄到摄像装置所包含的照相机的区域的图像和三维位置。
附图说明
图1A是表示实施方式1的摄像装置的结构的框图。
图1B是表示实施方式1的摄像装置的结构的框图。
图2的(a)和(b)是表示本发明例示的实施方式1的摄像单元的结构的示意图。
图3是表示具备由计算机构成的图像处理单元的摄像装置的结构的框图。
图4是表示实施方式1的图像处理单元的工作的顺序的流程图。
图5的(a)是表示本发明例示的实施方式1的摄像装置的设置的例子的示意图，图5的(b)是表示摄像状况的例子的示意图。
图6的(a)和(b)是表示本发明例示的实施方式1的摄像图像的例子的示意图。
图7是表示实施方式1的各照相机图像的遮挡信息的例子的示意图。
图8是表示实施方式1的位置信息中的遮挡区域的例子的示意图。
图9的(a)和(b)是表示本发明例示的实施方式1的补全图像和选择位置信息的例子的示意图。
图10是表示实施方式1的从移动物体检测单元输出的合成图像的例子的示意图。
图11是表示实施方式2的摄像装置的工作的顺序的流程图。
图12的(a)～(d)是表示实施方式1中的考虑到遮挡的4个照相机的图像间的视差的例子的示意图。
图13是表示由实施方式1的图像中的位置产生的被拍摄物体像的形状、大小、朝向的差异的例子的示意图。
图14的(a)和(b)是表示现有技术中的摄像装置的结构例的示意图。
图15是说明照相机坐标系和照相机的外部参数的示意图。
标号说明
1：摄像装置
100：摄像单元
100a～100d：照相机
110：图像处理单元
111：位置计算单元
112：位置选择单元
113：图像补全单元
114：照相机参数存储单元
115：照相机参数取得单元
120：障碍物检测单元
130：显示器
具体实施方式
(基础见解)
在汽车安全驾驶支援系统、移动机器人的远程操作系统、或者检测可疑者等的监视摄像系统等中，用户和系统要进行判断或控制，需要系统周围的图像和监视对象的三维位置的信息。特别是在人或车等的监视对象移动的情况下，甚至是汽车、机器人等的系统本身移动的情况下，取得更宽视角的图像和监视对象等的三维位置尤为重要。
作为取得图像和监视对象等的三维位置的手段，一般采用所谓的双目立体视觉。在双目立体视觉下，将两台照相机配置为在互不相同的视点上视野重复而取得两个图像，计算两个图像间的对应点，使用对应点和预先求出的照相机的位置和/或朝向的信息来计算对应点的三维位置。
在双目立体视觉下，在连接两台照相机的直线上、更准确而言在连接两台照相机的视点的直线上以及该直线附近无法计算三维位置。其理由是，作为来自两个视点的方向之差的视差成为0或接近0。特别是在利用鱼眼透镜等的使用视野角为180度以上的照相机的情况下，视野内一定包含由于视差成为0而无法计算三维位置的区域。因而，作为取得宽视角的图像和三维位置的方法，研究出将构成比180度窄的视野角的立体视觉的多个照相机作为1组并使用该多组照相机的方法、和使用3台以上的具有180度以上的鱼眼透镜的照相机的方法。
图14的(a)示出在同一构件上设置视野角小于180度的多个照相机并将其作为1组立体照相机、在多面体的各面各设置1组立体照相机的结构的装置。例如专利文献1公开了该装置。当使用该装置时，能够取得全方位(球状)的三维位置。该技术由于各组立体照相机的视野角相对于180度充分窄，因此不包含由于视差成为0而无法计算三维位置的区域。但是，为了测量(计测)360度的视野角(球状)，需要12～60台的非常多的照相机。
与此相对，专利文献2、3公开了用更少的照相机来取得宽范围的图像和三维位置的方法。例如，图14的(b)示出专利文献2所公开的采用了具有视野角宽的鱼眼透镜的照相机组的装置。该技术是使用具有鱼眼透镜的照相机来取得宽视野角的鱼眼图像，并且从各鱼眼图像检测移动物体，计算经过各移动物体的直线方程式，针对各移动物体求出将多个直线方程式作为1组的直线方程式组。由此，确定三维位置坐标，追踪在视野内高速移动的物体或同时追踪多个目标物。
在上述现有技术中，在具备多个包括鱼眼透镜的照相机的摄像装置中，存在如下情况：在用多个照相机所包含的某一照相机拍摄到的图像中，存在映入了多个照相机所包含的其他照相机的区域。也即是，在用某一照相机拍摄到的图像中，位于其他照相机的后方的物体等被遮挡而无法取得图像和三维位置。
因此，作为本发明的一种方式的摄像装置是拍摄多个图像，并且，从所取得的所述多个图像计算三维位置，输出所述多个图像和所述三维位置的信息的摄像装置，所述摄像装置具有：摄像单元，其通过利用至少3个照相机的每个照相机进行拍摄，生成并输出所述多个图像，各照相机配置为其光轴互相平行且靠近；照相机参数存储单元，其预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息；位置计算单元，其接受所述多个图像和所述照相机参数，由利用了所述多个图像的2个以上的图像的组和所述照相机参数来计算多个点的三维位置；位置选择单元，其接受在所述位置计算单元中计算出的所述多个点的位置信息和所述照相机参数存储单元存储的遮挡信息，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出；以及图像补全单元，其接受所述多个图像和所述选择位置信息，基于所述选择位置信息来生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像，输出所述补全图像和所述选择位置信息。
根据上述结构，能够取得不存在拍摄到摄像装置所包含的照相机的区域的补全图像和被拍摄物体的三维位置。
另外，所述至少3个照相机的各视野角例如也可以为大致180度以上。
另外，所述至少3个照相机中的相邻的2个照相机的光轴中心间的距离例如也可以小于所述2个照相机的透镜直径之和。
另外，所述相邻的2个照相机的光轴中心间的距离例如也可以与2个照相机的透镜直径的平均值大致相同。
另外，所述位置选择单元也可以基于所述遮挡信息从所述多个点的位置信息中选择未被遮挡的区域的位置信息，并且，基于视差的大小对所选择的位置信息进行加权加法运算，生成选择位置信息。
另外，所述位置选择单元也可以基于视差的大小对所选择的位置信息进行加权加法运算，增大视差大的位置信息的权重来生成所述选择位置信息。
另外，所述位置选择单元也可以基于视差的大小对所选择的位置信息进行加权加法运算，基于视差的半径方向分量和切线方向分量进行加权加法运算来生成所述选择位置信息。
另外，所述位置选择单元也可以基于视差的大小对所选择的位置信息进行加权加法运算，视差的切线方向的切线方向分量越大、半径方向分量越小，则越增大权重来生成所述选择位置信息。
另外，也可以在取得图像和三维位置的摄影空间为沿着平面的三维空间的情况下，平面的法线和照相机的光轴配置为大致平行。
本发明的另一个技术方案涉及的监视系统具有：上述的摄像装置；障碍物检测单元，其接受所述补全图像和所述选择位置信息，基于所述选择位置信息来检测障碍物区域，生成能够识别地显示有所检测到的障碍物区域的合成图像；以及显示所述合成图像的显示器。
本发明的又一技术方案涉及的图像处理装置是从多个图像计算三维位置，输出所述多个图像和所述三维位置的图像处理装置，所述多个图像利用配置为光轴互相平行且靠近的至少3个照相机来进行拍摄，所述图像处理装置具有：照相机参数存储单元，其预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息；位置计算单元，其接受所述多个图像和所述照相机参数，由利用了所述多个图像的2个以上的图像的组和所述照相机参数来计算多个点的三维位置；位置选择单元，其接受在所述位置计算单元中计算出的多个点的位置信息和来自所述照相机参数存储单元的遮挡信息，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出；以及图像补全单元，其接受所述多个图像和所述选择位置信息，基于所述选择位置信息来生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像，输出所述补全图像和所述选择位置信息。
本发明的再一技术方案涉及的方法是利用摄像装置的摄像方法，所述摄像装置拍摄多个图像，从所述多个图像计算三维位置，输出所述多个图像和所述三维位置的信息，且具备摄像单元和照相机参数存储单元，所述摄像单元利用配置为光轴互相平行且靠近的至少3个照相机的每个照相机进行拍摄，生成并输出所述多个图像，所述照相机参数存储单元存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息，所述摄像方法包括：由利用了所述多个图像的2个以上的图像的组和所述照相机参数来计算多个点的三维位置的步骤；接受所述多个点的位置信息和所述照相机参数，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出的步骤；基于所述选择位置信息，生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像的步骤；以及输出所述补全图像和所述选择位置信息的步骤。
本发明的再一技术方案涉及图像处理装置，所述图像处理装置包括执行图像处理的计算机。所述计算机执行由从多个图像计算三维位置、并输出所述多个图像和所述三维位置的图像处理，所述多个图像利用配置为光轴互相平行且靠近的至少3个照相机进行拍摄，所述图像处理装置预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息，所述图像处理装置包括使所述计算机执行如下步骤的单元：接受所述多个图像和所述照相机参数的单元；由利用了所述多个图像的2个以上的图像的组和所述照相机参数来计算多个点的三维位置的单元；接受所述多个点的位置信息和所述照相机参数，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出的单元；基于所述选择位置信息，生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像的单元；以及输出所述补全图像和所述选择位置信息的单元。
作为本发明又一技术方案的摄像装置，包括：摄像单元，其具备包括第1照相机、第2照相机、第3照相机的多个照相机，所述多个照相机分别输出图像数据，所述多个照相机的光轴平行，所述多个照相机靠近地配置；照相机参数取得单元，其取得包含所述多个照相机的位置信息、所述多个照相机的焦点距离、以及遮挡信息的照相机参数，所述遮挡信息包含表示所述多个图像数据的各像素是否包含在遮挡区域中的信息，所述包含在遮挡区域中的像素是拍摄了所述摄像装置所包含的部分的像素；位置计算单元，其基于所述图像数据和所述照相机参数来生成多个位置信息，所述多个位置信息各自包含三维位置信息和像素对信息，由所述像素对信息确定的2个像素是对应点，所述三维位置信息基于所述2个像素的位置信息来决定；位置选择单元，其生成选择位置信息，所述选择位置信息从所述多个位置信息中选择预定的位置信息来生成，所述预定的位置信息各自包含预定的像素对信息，由所述预定的像素对信息确定的像素均不包含在所述遮挡区域中；以及图像补全单元，其使用由所述选择位置信息所包含的像素对信息确定的选择出的像素的像素值，确定由所述第3照相机拍摄到的图像数据中包含的且包含在遮挡区域中的对象像素的像素值，所述选择出的像素是由所述第1照相机或所述第2照相机拍摄到的图像数据的像素，所述对象像素和所述选择出的像素之一位于对应点，基于所述照相机参数和与所述选择出的像素对应的三维位置信息来决定所述对象像素和所述选择出的像素之一是否位于对应点。
以下，参照附图来说明本发明的摄像装置的实施方式。此外，在本说明书中，将由本发明涉及的摄像装置拍摄到的被拍摄物体的三维位置仅记载为“三维位置”。对于这里所说的“被拍摄物体”，在例如摄像装置用于监视的情况下表示监视的对象，在用于一般摄影的情况下表示想要拍摄的摄影对象，在用于障碍物检测的情况下表示在拍摄到的图像内存在的1个或多个物体(障碍物)。但是，在本说明书中，有时将在拍摄到的图像中存在的全部要素称作“被拍摄物体”。“被拍摄物体”无论是有意地拍摄到的还是无意地拍摄到的均可。
下文中描述的实施例表明了本发明的具体或一般的实施例。实施例中记载的值、形状、材料、构成单元、这些构成要素的位置和连接、步骤以及这些步骤的顺序只是示例，对本发明并不构成限制。在描述本发明的最一般的概念的独立权利要求中未描述的实施例的构成要素作为任意的构成要素来描述。
(实施方式1)
在本实施方式中，对将本发明的摄像装置用于车载用的障碍物检测的例子进行说明。
图1A示出本实施方式中的摄像装置1的结构，图2的(a)和(b)示出其中的摄像单元100不同的2个构造例。
如图1A所示，摄像装置1具备摄像单元100、图像处理单元110、障碍物检测单元120、显示器130。
摄像单元100具备分别具有鱼眼透镜的3台以上的照相机101a～101d。图像处理单元110具备位置计算单元111、位置选择单元112、图像补全单元113、照相机参数存储单元114。此外，为了区别4个照相机，使用添标a～d，但是，以下在不特别区分这些照相机的情况下，不使用添标而记为“照相机101”。
图2的(a)和(b)示出摄像装置1的摄像单元的结构例。图2的(a)是将4台照相机101固定为一体的结构的摄像单元的例子，示出了主视图、侧视图、剖视图。图2的(b)是将3台照相机101固定为一体的结构的另一摄像单元的例子，示出了主视图、侧视图。在任一个摄像单元的例子中都为：各照相机的透镜是鱼眼透镜，其直径大致相同，光轴中心互相平行，且靠近地配置相邻的2个透镜。因此，在这些例子中，相邻的2个照相机的光轴中心间的距离与透镜的直径大致一致。
此外，上述的摄像装置1至少包含摄像单元100和图像处理单元110即可。障碍物检测单元120和显示器130也可以是设置在摄像装置1外部的设备、例如PC及其显示器。图像处理单元110和障碍物检测单元120既可以以有线方式连接，也可以以无线方式连接。另外，这些单元既可以1对1进行连接，也可以经由通信网络来连接。
上述的摄像单元100中的照相机101的结构基于本发明的发明人的以下的见解。
作为立体视觉中的三维位置的推定误差的原因之一，有视差推定中的量化误差。量化误差是指由于以1个像素精度来推定实际上为实数值的视差而产生的误差。该量化误差的大小可以认为是一定的，因此，视差越大(视差矢量的长度越长)，量化误差的影响越低，三维位置的精度就越高。因而，对于成为立体视觉组的多个照相机，为使视差变大，通常配置为使照相机间的距离即基线长度成为足够长。
另一方面，由于用具有鱼眼透镜的照相机拍摄到的被拍摄物体像会发生较大的畸变，因此，被拍摄物体像的形状、大小、朝向会根据视野内的被拍摄物体的三维位置的不同而不同，换言之，会根据图像中的被拍摄物体的位置的不同而不同。
在将用具有鱼眼透镜的2个照相机拍摄到的图像用于立体视觉的情况下，视差越大，被拍摄物体像的形状、大小、朝向就越不同。因而，存在如下另一问题：2个图像间的被拍摄物体位置的关联、即视差的推定变得困难，推定出的视差的误差和/或差错变多。
作为这种例子，图13示出了在使被拍摄物体与照相机的距离为一定(1m)的状态下将照相机的朝向变更为0度、45度、90度而拍摄到的被拍摄物体像的例子。根据图13可知，被拍摄物体像的视觉表现(形状、大小、朝向)根据图像中的位置的差异而不同。其原因是，由鱼眼透镜产生的畸变根据距离光轴中心的角度而不同。能够类推在最上部的0度的图像与最下部的90度的图像之间难以建立被拍摄物体位置的关联。照相机间的基线长度越长，或被拍摄物体与摄像装置的距离越近，这样的两个图像中的被拍摄物体像的形状、大小、朝向的差异越显著。因而，特别是在将被拍摄物体与摄像装置的距离无法保持在一定值以上的情况下，通过缩短基线长度，能够降低其影响。
因此，在本实施方式中，即使在被拍摄物体位于摄像装置1的附近的情况下，为了使得多个鱼眼照相机间的视差不会过大，使用将多个具有鱼眼透镜的照相机配置为光轴互相平行且相互靠近的结构的摄像单元(图2的(a)或图2的(b))。由此，能够期待减少所推定出的视差的误差和/或差错的效果。进而，通过使用实数精度的视差推定方法，也能够期待减少视差推定中的量化误差的问题的效果。
但是，当靠近地配置具有视野角为180度的鱼眼透镜的多个照相机、例如第1照相机和第2照相机时，第1照相机的透镜和/或主体会映入到由第2照相机拍摄到的图像中。也即是，第1照相机的后方的被拍摄物体由于被第1照相机的透镜和/或主体遮挡，因此，会产生没有包含在由第2照相机拍摄到的图像中的另一问题。例如，在现有的使用3台以上的鱼眼照相机的摄像装置(图14的(b))中，由于两个照相机间的基线长度长，因此，即使在映入了其他照相机的透镜和/或主体的情况下，其区域在视野内所占的比例也较小。
相对于此，当如图2的(a)或图2的(b)所示使照相机靠近时，被透镜遮挡而无法取得图像的区域变宽。进而，由于在三维位置的计算中使用两个图像，因此，当两个图像的任一方为遮挡区域时，则无法计算出三维位置。其结果，无法计算出三维位置的区域变宽至与两个图像的遮挡区域之和相当的区域。
因此，本发明的发明人完成了如下技术：对于用具有鱼眼透镜的照相机拍摄到的某图像中的遮挡区域，用其他未被遮挡的图像来补上，并且，针对三维位置也根据无遮挡的两个图像进行计算。由此，能够取得无遮挡的图像和三维位置。此外，图像中的遮挡区域的信息能够基于多个透镜的物理的配置关系、各透镜的规格而事先取得。
此外，在本说明书中，鱼眼透镜的视野角为大致180度或其以上，将这些记述为“大致180度以上”。大致180度包含180度以下的角度、例如160度到180度的角度。另外，180度以上是指包含例如180度以上且230度以下的角度。
“视差”是指看到对象点的方向根据2个地点处的观测地点的位置的差异而不同，在本说明书中，将三维空间中的方向的差和二维投影像中的位置的差不加区别地称作视差。
摄像装置1用摄像单元100拍摄视野的图像，在图像处理单元110中生成从拍摄到的图像补充了遮挡区域的图像和三维位置，障碍物检测单元120基于视野内的图像和三维位置生成合成图像，在显示器130上进行显示。
摄像单元100包含具有视野角为大致180度的鱼眼透镜的4台照相机101a～101d。4台照相机101a～101d配置为如图2(a)所示。4台照相机101a～101d分别拍摄视野内的图像并输出图像(以下将该图像称作照相机图像)。即，4台照相机101a～101d输出4个照相机图像(图像数据)。相邻的两个照相机的光轴中心间的距离可以小于2个照相机的透镜直径之和。
两个照相机的光轴中心间的距离越近、透镜的直径越大，则在一方的照相机图像中，另一方的照相机的透镜会照映得更宽，位于另一方的照相机的后方的物体等被遮挡得更宽。在两个照相机的光轴中心间的距离小于2个照相机的透镜直径之和的情况下，被遮挡的区域显著变宽，对此，在本发明中，能够取得基于其他照相机的无遮挡的图像和三维位置。
相邻的2个照相机的光轴中心间的距离也可以为与2个照相机的透镜直径的平均值大致相同。2个照相机的光轴中心间的距离越近，则在一方的照相机图像中，另一方的照相机会照映得更宽，位于另一方的照相机的后方的物体等越会被遮挡。在使照相机最靠近的情况下，即2个照相机的透镜相接触的情况下，2个照相机的光轴中心间的距离成为与2个照相机的透镜直径的平均值大致相同，此时，在现有技术中被其他照相机遮挡而无法取得图像和三维位置的区域成为最大。
另一方面，即使2个照相机的光轴中心间的距离与2个照相机的透镜直径的平均值大致相同，在本发明中也能够取得基于其他照相机的无遮挡的图像和三维位置。换句话说，2个照相机的光轴中心间的距离与2个照相机的透镜直径的平均值大致相同时，本发明的效果最好。
图像处理单元110包括位置计算单元111、位置选择单元112、图像补全单元113、照相机参数存储单元114。
照相机参数存储单元114针对4台照相机101分别预先存储照相机参数。
照相机参数包含外部参数、内部参数、遮挡信息。
外部参数包含照相机的位置、朝向等的与照相机的物理配置有关的信息。
内部参数包含透镜的畸变、焦点距离等的与照相机的特性有关的信息。
遮挡信息包含表示照相机图像中的被本摄像装置遮挡的区域的信息。遮挡信息也可以是确定输出拍摄到本摄像装置所包含的部分的像素值的像素的信息。
位置计算单元111被输入从4台照相机101输出的4个照相机图像(图像数据)，并将4个照相机图像中的2个照相机图像作为1组，推定6组的2个照相机图像间的视差。
位置计算单元111从照相机参数存储单元114中读取4台照相机101的照相机参数。
位置计算单元111基于所推定出的6组的两个照相机图像间的视差、照相机参数所包含的外部参数、内部参数来计算三维位置，并作为位置信息而进行输出。
位置计算单元111基于照相机参数生成多个位置信息，多个位置信息分别包含三维位置信息和像素对信息，由像素对信息确定的两个像素位于对应点，三维位置信息基于两个像素的位置信息来决定，两个像素也可以分别包含于不同的照相机。
位置选择单元112得到位置计算单元111输出的位置信息，从照相机参数存储单元114读取照相机参数。
位置选择单元112基于照相机参数所包含的遮挡信息来选择不包含在遮挡区域中的位置信息的至少一部分，并作为选择位置信息而进行输出。
位置选择单元112生成选择位置信息，选择位置信息是从多个位置信息中除去预定的位置信息而生成的，预定的位置信息各自包含预定的像素对信息，由预定的像素对信息确定的像素的至少一方也可以包含在遮断区域中。
图像补全单元113得到照相机图像和从位置选择单元112输出的选择位置信息。
图像补全单元113对于至少1个照相机图像的遮挡区域，基于其他照相机图像的非遮挡区域和选择位置信息来置换遮挡区域的图像，生成没有遮挡区域的补全图像，输出补全图像和选择位置信息。
图像补全单元113使用通过选择位置信息所包含的像素对信息而确定并选择的像素的像素值，决定不包含遮挡区域所包含且由像素对信息确定的像素的照相机中所包含的对象像素的像素值，对象像素和所选择的像素(pixels)之一位于对应点，可以基于照相机参数和与所选择的像素(pixels)对应的三维位置信息来决定对象像素和所选择的像素(pixels)之一是否位于对应点。
障碍物检测单元120得到补全图像和选择位置信息，基于选择位置信息检测障碍物，在与检测到的障碍物的位置对应的补全图像上的区域中重叠合成表示注视区域的框而作为合成图像来进行输出。
显示器130得到合成图像并进行显示。
图1A的构成图像处理单元110和障碍物检测单元120的各构成要素既可以用电子电路或集成电路等硬件来实现，也可以用在计算机上执行的程序等的软件来实现。
此外，如图1B所示，图像处理单元110也可以包含位置计算单元111、位置选择单元112、图像补全单元113、照相机参数存储单元114、照相机参数取得单元115。
此外，图像处理单元110也可以不包含照相机参数存储单元114，例如外部的装置(云服务器等)包含照相机参数存储单元114。
在该情况下，照相机参数存储单元114可以以无线或有线的通信方式与照相机参数取得单元115连接，照相机参数取得单元115可以取得存储在照相机参数存储单元114中的信息、例如照相机参数。
照相机参数取得单元115也可以从照相机参数存储单元114中取得包含多个照相机的位置信息、多个照相机的焦点距离、多个照相机的遮挡信息的照相机参数，该遮挡信息包括表示哪个像素包含在遮挡区域中的信息。
位置计算单元111、位置选择单元112、图像补全单元113也可以经由照相机参数取得单元115与照相机参数存储单元114交换信息(例如读取存储在照相机存储部114中的信息)。
位置计算单元111也可以经由照相机参数取得单元115从照相机参数存储单元114读取4台照相机101的照相机参数。
位置选择单元112也可以得到位置计算单元111所输出的位置信息，并经由照相机参数取得单元115从照相机参数存储单元114读取照相机参数。
图3是表示由计算机构成的本实施方式中的摄像装置1的硬件结构的图。在图3中，摄像单元100拍摄视野内的图像并进行输出，计算机300取得图像，计算补全图像和选择位置信息并进行输出。显示器130显示由计算机300生成的合成图像。
3台以上的照相机101a、101b、101c···对应于摄像单元100。
计算机300包含CPU301、ROM302、RAM303、HDD304、视频输入接口(I/F)305以及显卡306。使计算机300工作的程序预先保存在ROM302或HDD304中。程序通过作为处理器的CPU301从ROM302或HDD304读取到RAM303并被展开。CPU301执行在RAM303展开的程序中的代码化的各指令(命令)。视频输入I/F 305根据程序的执行而将用摄像单元100拍摄到的图像取入(读入、加入)到RAM303。显卡306输出根据程序的执行而生成的图像，显示器130显示该图像。计算机300对应于图像处理单元110和障碍物检测单元120。照相机参数存储单元114对应于ROM302、RAM303或HDD304。
此外，计算机程序不限于存储在作为半导体的ROM302或HDD304中，例如也可以存储在CD-ROM中。另外，也可以通过有线或无线的网络、广播等来传送，取入到计算机300的RAM303中。
以下，使用图4来说明本实施方式的摄像装置1的工作。
图4是表示摄像装置1的图像处理单元110和障碍物检测单元120的工作的流程图。在图4中，4个步骤S401～S405由图3的计算机300来执行。
此外，图4的各步骤也可以由图1A的图像处理单元110以及障碍物检测单元120所包含的各处理单元来执行。即，也可以由照相机参数存储单元114、照相机参数取得单元115执行照相机参数读取步骤S401的工作，由位置计算单元111执行位置计算步骤S402的工作，由位置选择单元112执行位置选择步骤S403的工作，由图像补全单元113执行图像补全步骤S404的工作，由障碍物检测单元120执行障碍物检测步骤S405的工作。
在本实施方式中，说明摄像装置1设置在汽车中的例子。摄像装置1通过取得汽车后方的图像和三维位置来检测障碍物，将其结果显示在设置于汽车内的显示器上，由此向使用者即驾驶员提示车辆后方的状况。
图5的(a)是表示本实施方式中的摄像装置的设置的例子的图。摄像单元100设置在车体后部以使得照相机101的光轴与车辆向后方直进的方向大致一致。图像处理单元110、障碍物检测单元120、显示器130设置驾驶员能看得到的车室内。
摄像单元100的4台照相机101a～101d彼此同步地以一定时间间隔拍摄图像并进行输出。
图6的(a)是表示摄像单元100的4台照相机101a～101d的配置的例子的图。图6的(b)示出了在图5的(a)的摄像装置的设置状况、以及在图5的(b)的摄影状况中由4台照相机101a～101d所拍摄的图像的例子。与图像的左右两端接触的圆的内侧表示视野角180度的视野内的被拍摄物体。在本实施方式中，照相机101分别具有鱼眼透镜，该投影模型设为等距离投影模型。另外，照相机101和视频输入I/F 305设为分别能拍摄、取得横向1280像素、纵向960像素的彩色图像。此外，并不限定照相机的投影模型、像素数，也可以是其他的投影模型、像素数。如前所述，在本发明中，为了减少由图像间的被拍摄物体像的形状、大小、朝向的差异而引起的视差推定的误差和/或差错，靠近地配置多个照相机。在本实施方式中，使最短的基线长度(图2的(a))为0.015m。图6的(b)示出用如此构成的摄像单元100拍摄到的4个照相机图像的例子。对于图中的4个图像中的被拍摄物体，可知其形状、大小、朝向大致相同。另一方面可知，由于靠近地配置照相机，所以在全部的图像中映入了与视野一端邻接的照相机的透镜，其后方的被拍摄物体被遮挡(图6的(b)中的“由邻接的照相机的透镜引起的遮挡”的部分)。
在计算机300中，通过与摄像单元100的工作并行地执行预先确定的程序，进行图4的S401～S405的工作。
以下，使用图6～图11来说明由计算机300执行的步骤S401～S405的详细工作。
在照相机参数读取步骤S401中，读取预先存储的包含各照相机101a～101d的内部参数、外部参数、以及遮挡信息的照相机参数。
步骤S401也可以由照相机参数取得单元115来执行。
由式1、式2表示照相机的外部参数{Mq，r}与三维坐标的关系、以及照相机的内部参数(f，k)与三维坐标、像素坐标的关系。
【式1】
{Mq，r}，q＝1..4，q≠r
【式2】
r＝fθ
外部参数{Mq，r}是表示两个照相机q、r的各坐标系的位置关系的矩阵的集合，矩阵Mq，r表示用于将照相机q的坐标系的三维位置(xq，yq，zq)变换为照相机r的坐标系的三维位置(xr，yr，zr)的4×4的矩阵。内部参数的f是焦点距离，k是摄像元件上的像素尺寸。式2表示照相机坐标系的三维位置(x，y，z)与像素坐标(u，v)的关系。这些外部参数{Mq，r}、内部参数(f，k)通过一般被称作照相机校正方法的众所周知的方法来预先求取。此外，式2使用了透镜的投影模型为等距离投影的情况下的内部参数，但并不限定投影模型，也可以是立体投影、等角投影等的其他投影模型。
图7示出4台照相机101a～101d的遮挡信息的例子。遮挡信息是指表示在照相机图像中映入透镜和/或照相机主体而遮挡了其后方的被拍摄物体的区域的信息。在本实施方式中，遮挡信息表示照相机图像的各像素为“被拍摄物体区域”、“遮挡区域”、“视野外区域”这三个中的哪一个。例如，将照相机图像I的像素坐标(u，v)的遮挡信息表示为O(u，v)。图7是分别表示了各像素的3种状态、即被拍摄物体区域为白色、遮挡区域为斜线、视野外区域为黑色的图。该遮挡信息能通过事先用照相机101拍摄图像、人工判定各像素属于哪个区域来生成。在本实施方式中，摄像装置根据图6的(b)的包含遮挡区域的照相机图像来计算无遮挡区域的图像和三维位置。
接着，在位置计算步骤S402中，得到用摄影单元100的照相机101a～101d拍摄到的多个照相机图像(图像数据)。然后，将所输入的多个照相机图像中的2个以上的照相机图像作为1组，构成多组的图像照相机组。最后，在各图像照相机组中，使用在照相机参数读取步骤S401中读取出的照相机参数，通过立体视觉来计算照相机图像中的多个点的三维位置。
以下，说明位置计算步骤S402的详细工作。当将用照相机101a、101b、101c、101d拍摄到的4个照相机图像分别设为Ia、Ib、Ic，Id时，针对由其中两个照相机图像构成的6组的图像(Ia，Ib)、(Ia，Ic)、(Ia，Id)、(Ib，Ic)、(Ib，Id)、(Ic，Id)，分别对2个图像间的对应点进行多个点的检测。2个图像间的对应点是指在映到一方图像中的被拍摄物体上的点也映到另一方图像中的情况下的2个图像上的点。例如，在照相机图像的组为(Ia，Ib)的情况下，针对照相机图像Ia上的全部像素，检测与其像素坐标(uan，van)对应的照相机图像Ib上的对应点的像素坐标(ubn，vbn)。
在图像Ia的像素坐标(uan，van)和图像Ib的像素坐标(ubn，vbn)为对应点的情况下，2点的像素值ia(uan，van)与ib(ubn，vbn)相等。将其称作辉度约束。另外，由于某一个被拍摄物体占有图像中的多个邻接的像素，因此与图像Ia的像素坐标(uan，van)邻接的像素的对应点位于图像Ib的像素坐标(ubn，vbn)的附近的可能性高。将其称作平滑度约束。通过推定最好满足上述的辉度约束和平滑约束这两个条件的(uan，van)、(ubn，vbn)的组的集合，能够得到照相机图像(Ia，Ib)间的对应点。
以实数精度计算2个照相机图像间的对应的像素坐标的对应点搜索方法、移动推定方法详细地记载在非专利文献1或者非专利文献2等中，因此在此省略详细的说明。
也可以将照相机图像Ia上的像素坐标和与该照相机图像Ia上的像素坐标对应的照相机图像Ib上的像素坐标的组合信息称作像素对信息。
接着，针对各对应点，使用对应点的坐标(uan，van)－(ubn，vbn)、预先求出的照相机101a、101b的外部参数Mb、a以及内部参数fa、ka、fb、kb，通过求解式x的联立方程式来计算对应点的三维位置(xan、yan、zan)。三维位置为照相机101a的视点坐标系的坐标值。
【式x】
由2个照相机图像间的对应点和2个照相机位置计算三维位置的双目立体视觉方法、和2个三维坐标系间的坐标值的变换详细地记载在非专利文献3等中，因此在此省略详细的说明。
进而，针对其他5组的照相机图像组，也同样地进行三维位置的计算。
通过以上的位置计算步骤S402的详细工作，针对6组的照相机图像，分别计算多个2个照相机图像间的对应点及其三维位置，将这些作为位置信息来输出。用Iq、Ir(q和r)表示2个照相机图像，用式3表示2个照相机图像Iq、Ir间的Nq个对应点的位置信息pq，r，n的集合即Pq，r。另外，将全部的图像组的位置信息表示为{Pq，r}。
【式3】
位置信息也可以为确定2个像素的像素对信息(与像素坐标对应的像素坐标)、和包含与由像素对信息确定的像素对对应的三维位置的信息。
接着，在位置选择步骤S403中，输入在照相机参数读取步骤S401中读取出的遮挡信息、和在位置计算步骤S402中计算出的多组位置信息{Pq，r}，选择全部对应点的位置信息中的被拍摄物体区域的位置信息，作为选择位置信息{P'q，r}而进行输出。
具体而言，针对构成位置信息{Pq，r}的全部对应点的位置信息(pq，r，n)，反复进行以下的选择处理。
从两个图像Ia、Ib的组的某对应点的位置信息(pa，b，n)中读取图像Ia的坐标值(uan，van)和图像Ib的坐标值(ubn，vbn)。然后，从照相机图像Ia的遮挡信息Oa和照相机图像Ib的遮挡信息Ob中，在该对应点的2个图像上读取点的遮挡信息Oa(uan，van)和Ob(ubn，vbn)。在这两个遮挡信息都为“被拍摄物体区域”的情况下，该对应点选择该位置信息(pa，b，n)来作为选择位置信息。另一方面，在2个遮挡信息中包含“遮挡区域”或者“视野外区域”的情况下，不选择该对应点。
对位置信息{Pq，r}的全部对应点反复进行该选择操作，生成并输出全部的照相机图像组的选择位置信息{P'q，r}。
图8示出表示位置信息{Pq，r}与遮挡信息的关系的示意图。6个图分别示出了从6组的照相机图像组计算出的位置信息与遮挡信息的关系。例如，在“照相机a－b”的图中，基于从照相机a和照相机b的2个照相机图像的组计算出的位置信息(Pa，b)，对于各对应点的照相机a的像素的像素值，包含“视野外区域”的点表示为黑色，除其以外的对应点中包含“遮挡区域”的点表示为斜线，除其以外的“被拍摄物体区域”的点表示为白色。
在图7的照相机a中右上方为遮挡区域，在照相机b中左上方为遮挡区域，相对于此，在位置信息中，照相机a的遮挡区域和照相机b的遮挡区域这两方的遮挡区域中无法测量三维位置。因而，在图8的“照相机a－b”中，右上方和左上方产生遮挡区域。
另一方面，相对于在照相机a－b的组中右上方和左上方有遮挡区域，在其他照相机的组中遮挡区域的位置不同，例如在照相机a－c、照相机b－d中，各自的右上方、左上方不是遮挡区域。因此，通过从根据多个照相机图像组计算出的位置信息中选择并集合未被遮挡的被拍摄物体区域、即图7中的白色区域，能够得到无遮挡区域的位置信息。在该想法中，集合了未被遮挡的区域(白色)的位置信息对应于在位置选择步骤S403中所选择的选择位置信息{P'q，r}。
选择位置信息也可以为从多个位置信息中除去预定的位置信息而生成，预定的位置信息各自包含预定的像素对信息，由预定的像素对信息确定的像素的至少一方包含在遮断区域中。
接着，在图像补全步骤S404中，输入用摄影单元100的照相机101a～101d拍摄到的多个图像、在照相机参数读取步骤S401中读取出的遮挡信息、照相机的内部参数、照相机的外部参数、在位置选择步骤S403中所生成的选择位置信息，对于图像的遮挡区域的像素的像素值，根据选择位置信息而使用基于其他图像的像素的像素值的值来进行置换，由此生成补全图像，输出补全图像和选择位置信息。
以下，说明图像补全步骤S404的详细工作。在本实施方式中，对使用其他3个图像Ib、Ic、Id和选择位置信息来补全图像Ia的遮挡区域的像素的像素值的情况进行说明。
在图像补全步骤S404中，最初针对选择位置信息{P'q，r}的全部对应点p'q，r，n，计算图像Ia上的像素坐标(ua，va)。计算图像Ia上的像素坐标的方法如下所述。使用对应点p'q，r，n所包含的照相机q的坐标系的三维位置(xq、yq、zq)、和照相机q及照相机a的外部参数Mqa，以照相机a的坐标系计算三维位置(xa、ya、za)。然后，使用三维位置(xa、ya、za)和照相机a的内部参数(f，k)来计算照相机a的像素坐标(ua，va)(式4)。
【式4】
接着，在图像补全步骤S404中，抽取图像Ia的全部像素中的遮挡信息Oa(u，v)为“遮挡区域”的像素的坐标(u，v)。将其称作遮挡像素oaj＝(uaj，vaj)。接着，针对各遮挡像素，以对应点的照相机a的像素坐标(ua，va)与遮挡像素的像素坐标(uaj，vaj)的距离为基准，从先求出的选择位置信息{P'q，r}的全部对应点p'q，r，n中选择距离最近的对应点的位置信息。然后，从所选择的对应点的2个图像q、r上的像素值iq(uqn，vqn)、iq(uqn，vqn)来计算像素值，将其设定为被遮挡的图像Ia的坐标(uaj，vaj)的像素的像素值。作为从对应点的2个图像q、r上的像素值iq(uqn，vqn)、iq(uqn，vqn)来计算1个像素值的方法，在此为使用平均像素值的方法。进而，对遮挡像素的全部重复进行该处理，将图像Ia的遮挡区域的全部像素设定为新的像素值。
通过上述的图像补全步骤S404的详细工作，生成补全图像。此外，不包含在遮挡区域中的像素的像素值不变更而直接使用即可。
图9的(a)和(b)表示补全图像和选择位置信息的例子。图9的(a)是使用选择位置信息将图6的(b)中的“照相机a”的照相机图像中的遮挡区域(由邻接的透镜等引起的被遮挡的区域)用其他图像的像素值来置换而生成的图像。在图6的(b)的照相机图像中，右端的车辆的较多部分被遮挡，而在图9的(a)中车辆未被遮挡。另外，图9的(b)是从选择位置信息{P'q，r}的各对应点的三维位置来计算图像Ia中的像素坐标值、和与点与照相机a的距离成比例的辉度值，并作为浓淡图像来进行表示的图。
最后，在障碍物检测步骤S405中，输入补全图像和选择位置信息，基于选择位置信息检测障碍物，在与所检测到的障碍物的位置对应的补全图像上的区域重叠合成表示注视区域的框，作为合成图像来进行输出。
在本实施方式中，作为基于选择位置信息来检测障碍物的方法，使用如下方法：在选择位置信息的各对应点的三维位置(xa、ya、za)与照相机a的距离d小于预先确定的距离dth的情况下，检测为障碍物上的点。进而，将作为障碍物而检测到的点的集合的外接矩形重叠在补全图像上，作为合成图像而进行输出，显示在显示器130上。
通过以上的由计算机300执行的步骤S401～S405的工作，从用摄像单元100拍摄到的4个照相机图像，在图像处理单元110中生成并输出1个补全图像和选择位置信息，在障碍物检测单元120中生成并输出1个合成图像。进而，摄像单元100和计算机300也可以反复进行上述工作。
图10示出通过障碍物检测步骤405生成的合成图像的例子。由于图10中显示有对位于靠近车辆后方的照相机的位置的障碍物(在该例中为行人和停止车辆)唤起注意的框，因此，驾驶员能够从图10容易认识到接触的可能性高的障碍物的存在。特别是在现有技术的使用鱼眼的照相机的三维位置计算法中，即使对于由于被照相机主体遮挡而不能取得图像和三维位置的区域，在本实施方式的摄像装置1中也能够取得180度内的无遮挡的图像和三维位置。例如，图6的(b)“照相机a”的图像中的右侧的车辆的一部分的区域被透镜遮挡住。但是，在摄像装置1中，能够取得如图9的(a)所示的180度内无遮挡区域的图像和三维位置。进而，能够显示如图10所示的无遮挡区域的合成图像。
如上所述，能够得到如下所述的本发明特有的效果。
摄像装置1的摄像单元100、由计算机300实现的图像处理单元110的工作的结果，能够从用具有视野角为大致180度的鱼眼透镜的4台照相机拍摄到的照相机图像来计算三维位置，使用预先求出的遮挡信息，生成选择了不包含在遮挡区域中的区域的位置信息的选择位置信息，并且补全由透镜和/或照相机主体而产生的图像的遮挡，由此能够取得作为无遮挡区域且具有大致180度的视野角的图像和三维位置的、补全图像和选择位置信息。
进而，障碍物检测单元120和显示器130的工作的结果，能够在障碍物检测单元120中检测180度的视野内的障碍物并进行显示。因而，搭载了本实施方式的摄像装置的车载照相机系统的使用者能够容易地掌握障碍物。
此外，在本实施方式中为摄像单元100包括4台照相机101a～d，但并不是将照相机的台数限定为4台。要补全某个照相机的图像中所包含的由其他照相机造成的遮挡，至少有3台照相机即可，只要是3台以上，则可以是任意台。
此外，在本实施方式中，也可以在包含在摄像装置中的多个照相机所含有的一个照相机中包含的像素的像素值呈现拍摄到该一个照相机的部分的值的情况下，设为该像素包含在遮挡区域中。
此外，在本实施方式中为将多个照相机图像组作为输入，依次进行S402～S404的工作，但并不是将S402～404一次处理的数据量限定为照相机图像组，也可以按照照相机图像中的每一部分区域或每个像素而反复进行S402～404的工作。
此外，在本实施方式中，作为在图像补全步骤S404中从其他图像的像素值补全包含在遮挡区域中的像素的像素值的方法，为使用包含在遮挡区域中的像素的最接近的对应点的像素的像素值，但不限于该方法。只要是使用选择位置信息所包含的对应点的信息、基于不包含在遮挡区域中的图像的像素的像素值来设定像素值的方法，则可以是任何方法。例如，也可以采用如下方法等：基于遮挡区域的像素和某一定距离以内的多个对应点，参照不包含在遮挡区域中的图像上的多个像素和像素值，进行加权加法运算。
此外，在本实施方式中为如下顺序，即在位置计算步骤402中，针对多个像素检测对应点来计算出三维位置，然后在位置计算步骤403中选择多个像素中不包含在遮挡区域中的像素，但用于选择不包含在遮挡区域中的像素的顺序不限于此，只要作为结果而能够选择不包含在遮挡区域中的像素，则也可以是任意的顺序。
例如，替代在计算出像素的位置坐标之后选择不包含在遮挡区域中的像素的顺序，也可以为在使用遮挡信息选择了不包含在遮挡区域中的像素之后，针对所选择的像素进行对应点的检测和三维位置的计算。该顺序与在本实施方式中进行了说明的顺序相比，由于对应点的检测和计算三维位置的像素的数量少，所以具有能够削减计算量的效果。
(实施方式2)
在本实施方式中，对构成为降低视差的推定(对应点的检测)中的误差的影响、选择位置信息所包含的三维位置的误差更少的摄像装置进行说明。本实施方式的摄像装置的结构与在实施方式1中进行了说明的摄像装置1的构造相同。因此，关于本实施方式，也引用图1A、图2、图3所示的摄像装置1的结构来说明。
在实施方式1的摄像装置1中，为了减少由鱼眼透镜造成的被拍摄物体像的畸变所引起的视差推定的误差和/或差错，如图2的(a)或图的2(b)所示，为将摄像单元100的多个照相机101彼此靠近地配置的结构。
该结构的摄像装置1在被拍摄物体和摄像单元100分开一定距离以上的条件下，视差小于一定值，2个图像间的被拍摄物体像的大小、形状、朝向的差异小，因此，能够期待被拍摄物体像的畸变引起的视差推定中的误差和/或差错足够小。例如，在摄像单元100中2个照相机101间的基线长度为0.015m、被拍摄物体和摄像单元分开1m以上的摄影条件的情况下，视差(角度差)最大也就是0.85度。
此时，如图6(b)所示，2个图像间的畸变的差异小，能够期待被拍摄物体像的畸变引起的视差推定的误差和/或差错足够小。
另一方面，在上述的摄影条件下，视差的误差的主要原因为像素值的噪声、像素坐标的量化误差。由噪声、量化误差引起的视差推定的误差能够认为其大小是一定值，因此，对于根据视差计算的三维位置，视差的绝对值越大，误差越小。
因此，在本实施方式中，摄像装置1从某个点附近的多个对应点的位置信息中，与视差小的位置信息相比，提高视差大的位置信息的权重，减少三维位置的误差。由此，摄像装置1生成三维位置的误差小的选择位置信息。
本实施方式的摄像装置与在实施方式1中进行了说明的摄像装置1的不同点是位置选择步骤S403'(位置选择单元112)的工作，其他构成以及工作与实施方式1相同。
以下，参照图11说明本实施方式中的摄像装置2的工作。
在照相机参数读取步骤S401中，预先存储包含各照相机101a～101d的内部参数、外部参数、以及遮挡信息的照相机参数，在执行时读出并输出其信息。
在位置计算步骤S402中，输入用摄影单元100拍摄到的多个图像，按将2个图像作为1组的图像组来检测多个对应点，使用在照相机参数读取步骤S401中读取出的照相机参数，通过立体视觉计算对应点的三维位置。
上述的照相机参数读取步骤S401和位置计算步骤S402的工作与实施方式1相同，因此在此省略详细的说明。
在位置选择步骤S403'中，位置选择单元112被输入在照相机参数读取步骤S401中读取出的遮挡信息和在位置计算步骤S402中计算出的位置信息，从全部的对应点的位置信息中选择未被遮挡的被拍摄物体区域的对应点的位置信息，针对所选择出的位置信息，基于视差的大小进行加权加法运算，将其作为选择位置信息而进行输出。
以下，说明位置选择步骤S403'的详细工作。
最初，位置选择步骤S403'中通过与实施方式1的位置选择单元112相同的工作，从全部的图像组的位置信息{Pq，r}生成临时的选择位置信息{P'q，r}。具体而言，从对应点的位置信息pa，b，n读取图像Ia的坐标值(uan，van)和图像Ib的坐标值(ubn，vbn)。然后，从照相机图像Ia的遮挡信息Oa和照相机图像Ib的遮挡信息Ob，在该对应点的2个图像上读取点的遮挡信息Oa(uan，van)和Ob(ubn，vbn)。在这两个遮挡信息均为“被拍摄物体区域”的情况下，选择该位置信息pa，b，n来作为临时的选择位置信息{P'q，r}。另一方面，在2个遮挡信息中包含“遮挡区域”或者“视野外区域”的情况下，不选择该对应点。对位置信息{Pq，r}的全部对应点反复进行该选择操作，生成全部的图像组的临时的选择位置信息{P'q，r}。
接着，位置选择步骤S403'抽取多个临时的选择位置信息{P'q，r}的对应点中位置彼此靠近的对应点，计算基于视差的大小对所抽取出的多个点的位置信息进行加权加法运算而得到的位置信息，与原来的多个点的位置信息进行置换，由此生成选择位置信息{P″q，r}而进行输出。在此，针对全部的对应点，通过式4计算照相机图像Ia的像素坐标(ua，va)，进一步，计算最接近的整数像素坐标(uai，vai)。然后，抽取照相机a中的整数像素坐标相同的M个对应点(p'a，q，m)。然后，从所抽取出的M个对应点，计算根据各对应点的视差的大小dm而对各对应点的照相机a中的三维位置(xam，yam，zam)进行加权加法运算而得到的三维坐标值(xa'，ya'，za')，并作为新的选择位置信息p″a，s(式5)。
【式5】
p″a，s＝(uai，vai，us，vs，，xa′，za′)
p′a，q，m＝(uam，vam，uqm，vqm，xam，yam，zam)，(m＝1..M)
在该选择位置信息p″a，s中，与照相机图像Ia成为一组的图像选择所抽取出的M个对应点中视差最大的对应点的图像Is及其像素坐标(us，vs)。像素坐标(us，vs)与(式4)同样地通过从照相机a的三维坐标(xa'，ya'，za')向照相机s的像素坐标进行投影来计算。
最后，通过将计算出的选择位置信息(p″a，s)与原来的多个对应点的位置信息进行置换，生成选择位置信息{P″a，s}。
图12的(a)～(d)表示各图像组的视差的大小的分布的例子。图12的(a)～(d)的4个图是针对6组图像组中的距照相机为一定距离(1m)的点用浓淡表示出视差的大小即对应点间的距离的图。与图像的左右端抵接的圆的内侧为180度的视野内。
另一方面，圆的外侧是视野外，因此是无法拍摄图像的视野外区域，用“黑色”来表示。从图12的(a)～(d)可知，对于1个图像组的视野内，视差的大小根据图像内的位置而不同。例如，图12的(a)是照相机a、b的组的视差的例子的图，视野的上和下的视差较大(白)，视野内的左和右的视差较小(黑)。特别是，左右的黑区域是视差接近0的区域，根据这种接近0的视差计算出的三维位置的误差较大。
另一方面，可知：对于不同的图像组，即使是相同的位置，视差的大小也会根据图像组而存在较大的不同。例如，图12的(b)是照相机a、c的组的视差的例子的图，视野的左和右的视差较大(白)，视野内的上和下的视差较小(黑)，为与照相机a、b组相反的倾向。因而，通过从多个照相机组以视差大的位置信息的权重高的方式生成位置信息，能够期待三维位置的误差变小。
在图像补全步骤S404中，输入在位置选择步骤S403'中生成的选择位置信息{P″a，s}、从摄影单元100输出的多个图像、在照相机参数读取步骤S401中读取出的遮挡信息、照相机的内部参数、照相机的外部参数，基于选择位置信息将图像的遮挡区域的像素用其他图像的像素进行置换而生成补全图像，输出补全图像和选择位置信息。
在障碍物检测步骤405中，输入补全图像和选择位置信息，基于选择位置信息检测障碍物，在与所检测到的障碍物的位置对应的补全图像上的区域中重叠合成表示注视区域的框，作为合成图像而进行输出。
上述的图像补全步骤S404和障碍物检测步骤405的工作与实施方式1的障碍物检测单元120的障碍物检测步骤405相同，因此在此省略详细的说明。
如上所述，本实施方式的摄像装置的摄像单元100、由计算机300实现的图像处理单元110的工作的结果，能够与实施方式1的摄像装置1同样地取得具有大致180度的视野角且无遮挡的图像和三维位置。进而，在本实施方式的摄像装置2中，从多个对应点的位置信息中选择未被遮挡的区域且视差大的位置信息来生成选择位置信息。对于由噪声、量化误差引起的三维位置的误差，视差越大，三维位置的误差越小，因此，通过选择视差大的位置信息，具有能够得到三维位置的误差小的选择位置信息的效果。
此外，在本实施方式的摄像装置中，通过从多个对应点的位置信息，计算提高了视差大的位置信息的权重的位置信息，能够生成三维位置的误差小的选择位置信息，能够减少三维位置的误差。在被拍摄物体从摄像单元分开一定距离以上的情况等能够假设为视差小、由被拍摄物体像的畸变引起的视差推定的误差和/或差错足够小的情况下，该方法是有效的。
但是，在被拍摄物体与摄像单元的距离较近，由被拍摄物体像的畸变引起的视差推定的误差和/或差错不能忽略的情况下，三维位置的误差变大。在这种情况下，通过设为在位置选择步骤403'中对应点的视差为预先确定的阈值以上的情况下，针对该对应点不进行基于视差的大小的加权加法运算处理，而具有三维位置的推定误差变小的效果。
此外，同样地，在被拍摄物体与摄像单元的距离较近，由被拍摄物体像的畸变引起的视差推定的误差变大至不能忽略的程度的情况下，在位置选择步骤403'中，替代基于视差的大小进行加权加法运算，也可以设为基于视差的切线方向的大小进行加权加法运算。
以下示出该理由。如前所述，用鱼眼透镜拍摄到的图像的被拍摄物体像的形状、大小、朝向根据图像中的位置而不同。特别是在鱼眼透镜中，即使视差的大小相同，被拍摄物体像的畸变也根据其视差是半径方向还是切线方向而不同。
具体来说，在半径方向上存在视差的情况下，主要是被拍摄物体像的形状和大小不同，相对于此，在切线方向上存在视差的情况下，主要是被拍摄物体像的朝向不同，但具有形状和大小几乎不改变的性质。另一方面，在前述的对应点检测方法中，具有形状的差异会比大小、朝向的差异更多地产生误差和/或差错的倾向。
因此，在本实施方式的位置选择步骤中，替代根据视差的大小dm进行加权加法运算而计算三维位置(式5)，通过使用基于视差的切线方向的大小dtm和半径方向的大小drm的权重(式6)，具有能够在减少由噪声、量化误差引起的三维位置的误差的同时，还能够减少由被拍摄物体像的畸变引起的视差推定的误差和三维位置的误差的效果。
【式6】
在式6中，ctr是对视差的半径方向和切线方向的权重进行调整的系数，(uc，vc)是光轴中心的像素坐标。
位置选择单元也可以针对所选择出的位置信息而基于视差的大小进行加权加法运算，视差的切线方向的切线方向分量越大，半径方向分量越小，则越增大权重来生成选择位置信息。
此外，在实施方式1和2中，以在车辆的后部设置摄像单元来取得车辆后方的图像和三维位置的情况为例进行了说明，但并不限定照相机的设置位置、取得图像的方向和范围，也可以设置为任意的方向。
在汽车、移动式机器人、建筑物等中，由于能够设置摄像装置的场所有限、外观(设计)上存在限制，因此，希望装置尽量小、其台数也尽量少。因此，希望能够用1台摄像装置取得尽量宽的范围的图像和三维位置。
根据作为本发明的一例的摄像装置，与现有的摄像装置相比，视野角宽。进而，在将本发明的摄像装置应用于安全驾驶支持系统、移动式机器人、监视摄像系统等的情况下，具有如下的间接的次要的效果。即，有时车身、机器人主体、或者建筑物具有平面，需要无遮挡地取得沿着该平面的三维空间的图像和三维位置。例如是沿着车身的后面或侧面的三维空间中的障碍物的检测、沿着建筑物的墙面的空间中的侵入者检测等。
此时，在视野角小于180度的以往的摄像装置中，沿着平面的空间的摄影需要2台摄像装置，而在本发明的摄像装置中，通过将1台摄像装置设置在平面上以使得平面的法线与照相机的光轴平行，能够无遮挡地取得图像和三维位置。换句话说，在本发明的摄像装置中，具有能够大幅度地减少摄像装置的台数的效果。
在上述的实施方式中，说明了摄像装置只要至少包含摄像单元100和图像处理单元110即可。作为进一步的变形例，本发明可以作为以不具有摄像单元100的图像处理单元110作为主要结构的图像处理装置或图像处理电路来实现。此时，摄影单元100作为图像处理装置的外部构成要素来设置即可。并且，由摄影单元100拍摄到的图像存储在未图示的硬盘驱动器等的存储装置中，以有线或无线的方式发送到具有图像处理单元110的图像处理装置即可。
此外，关于障碍物检测单元120和显示器130，与前面说明的同样地，也可以是设置在摄像装置1的外部的设备(例如PC及其显示器)。上述的图像处理装置或图像处理电路可以通过执行计算机程序而进行工作。
本发明涉及的摄像装置适于使用分别具有大致180度以上的视野的多个照相机来测量被拍摄物体和该被拍摄物体的三维位置的用途、例如汽车用的车载照相机以及监视照相机。
本申请基于2013年12月13日提交的日本专利申请No.2013-258380，包括其说明书、附图和权利要求书在内的全部内容在此通过引用引入。

Claims (14)

1.一种摄像装置，拍摄多个图像，并且，从所取得的所述多个图像计算三维位置，输出所述多个图像和所述三维位置的信息，
所述摄像装置具有：
摄像单元，其通过利用至少3个照相机的每个照相机进行拍摄，生成并输出所述多个图像，各照相机配置为其光轴互相平行且靠近；
照相机参数存储单元，其预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息；
位置计算单元，其接受所述多个图像和所述照相机参数，根据由所述多个图像中的2个以上的图像构成的组和所述照相机参数来计算多个点的三维位置；
位置选择单元，其接受在所述位置计算单元中计算出的所述多个点的位置信息和所述照相机参数存储单元存储的遮挡信息，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出；以及
图像补全单元，其接受所述多个图像和所述选择位置信息，基于所述选择位置信息来生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像，输出所述补全图像和所述选择位置信息。
2.根据权利要求1所述的摄像装置，
所述至少3个照相机的各视野角为160度以上。
3.根据权利要求1所述的摄像装置，
所述至少3个照相机中的相邻的2个照相机的光轴中心间的距离小于所述2个照相机的透镜直径之和。
4.根据权利要求3所述的摄像装置，
所述相邻的2个照相机的光轴中心间的距离与2个照相机的透镜直径的平均值相同。
5.根据权利要求1所述的摄像装置，
所述位置选择单元基于所述遮挡信息从所述多个点的位置信息中选择未被遮挡的区域的位置信息，并且，基于视差的大小对所选择的位置信息进行加权加法运算，生成选择位置信息。
6.根据权利要求5所述的摄像装置，
所述位置选择单元基于视差的大小对所选择的位置信息进行加权加法运算，增大视差大的位置信息的权重来生成所述选择位置信息。
7.根据权利要求5所述的摄像装置，
所述位置选择单元基于视差的大小对所选择的位置信息进行加权加法运算，基于视差的半径方向分量和切线方向分量进行加权加法运算来生成所述选择位置信息。
8.根据权利要求7所述的摄像装置，
所述位置选择单元基于视差的大小对所选择的位置信息进行加权加法运算，视差的切线方向的切线方向分量越大、半径方向分量越小，则越增大权重来生成所述选择位置信息。
9.根据权利要求1所述的摄像装置，
在取得图像和三维位置的摄影空间为沿着平面的三维空间的情况下，平面的法线和照相机的光轴配置为平行。
10.一种监视系统，具有：
权利要求1所述的所述摄像装置；
障碍物检测单元，其接受所述补全图像和所述选择位置信息，基于所述选择位置信息来检测障碍物区域，生成能够识别地显示有所检测到的障碍物区域的合成图像；以及
显示所述合成图像的显示器。
11.一种图像处理装置，从多个图像计算三维位置，输出所述多个图像和所述三维位置，
所述多个图像利用配置为光轴互相平行且靠近的至少3个照相机来进行拍摄，
所述图像处理装置具有：
照相机参数存储单元，其预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息；
位置计算单元，其接受所述多个图像和所述照相机参数，根据由所述多个图像中的2个以上的图像构成的组和所述照相机参数来计算多个点的三维位置；
位置选择单元，其接受在所述位置计算单元中计算出的多个点的位置信息和来自所述照相机参数存储单元的遮挡信息，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出；以及
图像补全单元，其接受所述多个图像和所述选择位置信息，基于所述选择位置信息来生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像，输出所述补全图像和所述选择位置信息。
12.一种摄像方法，是利用摄像装置的摄像方法，
所述摄像装置拍摄多个图像，从所述多个图像计算三维位置，输出所述多个图像和所述三维位置的信息，且具备摄像单元和照相机参数存储单元，
所述摄像单元利用配置为光轴互相平行且靠近的至少3个照相机的每个照相机进行拍摄，生成并输出所述多个图像，
所述照相机参数存储单元存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息，
所述摄像方法包括：
根据由所述多个图像中的2个以上的图像构成的组和所述照相机参数来计算多个点的三维位置的步骤；
接受所述多个点的位置信息和所述照相机参数，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出的步骤；
基于所述选择位置信息，生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像的步骤；以及
输出所述补全图像和所述选择位置信息的步骤。
13.一种图像处理装置，所述图像处理装置包括执行图像处理的计算机，所述计算机执行从多个图像计算三维位置、并输出所述多个图像和所述三维位置的图像处理，
所述多个图像利用配置为光轴互相平行且靠近的至少3个照相机进行拍摄，
所述图像处理装置预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息，
所述图像处理装置包括使所述计算机执行如下步骤的单元：
用于接受所述多个图像和所述照相机参数的单元；
用于根据由所述多个图像中的2个以上的图像构成的组和所述照相机参数来计算多个点的三维位置的单元；
用于接受所述多个点的位置信息和所述照相机参数，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出的的单元；
用于基于所述选择位置信息，生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像的单元；以及
用于输出所述补全图像和所述选择位置信息的单元。
14.一种摄像装置，包括：
摄像单元，其具备包括第1照相机、第2照相机、第3照相机的多个照相机，所述多个照相机分别输出图像数据，所述多个照相机的光轴平行，所述多个照相机靠近地配置；
照相机参数取得单元，其取得包含所述多个照相机的位置信息、所述多个照相机的焦点距离、以及遮挡信息的照相机参数，所述遮挡信息包含表示所述多个图像数据的各像素是否包含在遮挡区域中的信息，所述包含在遮挡区域中的像素是拍摄了所述摄像装置所包含的部分的像素；
位置计算单元，其基于所述图像数据和所述照相机参数来生成多个位置信息，所述多个位置信息各自包含三维位置信息和像素对信息，由所述像素对信息确定的2个像素是对应点，所述三维位置信息基于所述2个像素的位置信息来决定；
位置选择单元，其生成选择位置信息，所述选择位置信息从所述多个位置信息中选择预定的位置信息来生成，所述预定的位置信息各自包含预定的像素对信息，由所述预定的像素对信息确定的像素均不包含在所述遮挡区域中；以及
图像补全单元，其使用由所述选择位置信息所包含的像素对信息确定的选择出的像素的像素值，确定由所述第3照相机拍摄到的图像数据中包含的且包含在遮挡区域中的对象像素的像素值，所述选择出的像素是由所述第1照相机或所述第2照相机拍摄到的图像数据的像素，所述对象像素和所述选择出的像素之一位于对应点，基于所述照相机参数和与所述选择出的像素对应的三维位置信息来决定所述对象像素和所述选择出的像素之一是否位于对应点。
CN201410735057.6A 2013-12-13 2014-12-04 摄像装置、图像处理装置、摄像方法 Active CN104717481B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013258380 2013-12-13
JP2013-258380 2013-12-13

Publications (2)

Publication Number Publication Date
CN104717481A CN104717481A (zh) 2015-06-17
CN104717481B true CN104717481B (zh) 2018-12-28

Family

ID=51947207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410735057.6A Active CN104717481B (zh) 2013-12-13 2014-12-04 摄像装置、图像处理装置、摄像方法

Country Status (4)

Country Link
US (4) US10157315B2 (zh)
EP (2) EP2884460B1 (zh)
JP (1) JP6355052B2 (zh)
CN (1) CN104717481B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014145722A2 (en) * 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US10075693B2 (en) * 2015-04-29 2018-09-11 Han Jin Embedding calibration metadata into stereoscopic video files
US20170078653A1 (en) * 2015-09-15 2017-03-16 Qualcomm Incorporated Systems and methods for producing a surround view
TWI622000B (zh) * 2015-09-29 2018-04-21 新加坡商雲網科技新加坡有限公司 行人偵測系統及方法
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
US20190026924A1 (en) * 2016-01-15 2019-01-24 Nokia Technologies Oy Method and Apparatus for Calibration of a Multi-Camera System
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法
JP6868805B2 (ja) * 2016-06-07 2021-05-12 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム
CN106096043B (zh) * 2016-06-24 2019-09-27 维沃移动通信有限公司 一种拍照方法和移动终端
KR101892135B1 (ko) * 2016-06-30 2018-08-29 전자부품연구원 시선 방향에 따른 가림 물체 투명 표시 장치, 방법 및 시스템
KR102520225B1 (ko) 2016-06-30 2023-04-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
CN106231284B (zh) * 2016-07-14 2019-03-05 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106210700B (zh) * 2016-07-14 2019-03-05 上海玮舟微电子科技有限公司 三维图像的获取系统、显示系统及所适用的智能终端
CN106210694B (zh) * 2016-07-14 2018-04-27 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN108471496B (zh) * 2018-02-13 2020-11-03 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
CN108495057B (zh) * 2018-02-13 2020-12-08 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
JP6922169B2 (ja) * 2016-08-24 2021-08-18 ソニーグループ株式会社 情報処理装置および方法、車両、並びに情報処理システム
JP6803570B2 (ja) * 2016-09-08 2020-12-23 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
CN107808398B (zh) * 2016-09-08 2023-04-07 松下知识产权经营株式会社 摄像头参数算出装置以及算出方法、程序、记录介质
CN107809610B (zh) * 2016-09-08 2021-06-11 松下知识产权经营株式会社 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
US9936163B1 (en) * 2016-10-05 2018-04-03 Avaya Inc. System and method for mirror utilization in meeting rooms
GB2560185A (en) * 2017-03-03 2018-09-05 Nokia Technologies Oy Method and apparatus for a multi-camera unit
JP7018566B2 (ja) 2017-04-28 2022-02-14 パナソニックＩｐマネジメント株式会社 撮像装置、画像処理方法及びプログラム
JP7016058B2 (ja) * 2017-04-28 2022-02-04 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP7002007B2 (ja) 2017-05-01 2022-01-20 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
JP7054803B2 (ja) 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
WO2019080061A1 (zh) * 2017-10-26 2019-05-02 深圳市柔宇科技有限公司 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
JPWO2019082415A1 (ja) * 2017-10-26 2020-11-05 シャープ株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理プログラムおよび記録媒体
CN111492293B (zh) * 2017-12-19 2022-07-29 松下知识产权经营株式会社 投影镜头系统以及图像投影装置
JP6986683B2 (ja) 2018-01-05 2021-12-22 パナソニックＩｐマネジメント株式会社 視差値算出装置、視差値算出方法及びプログラム
WO2019153196A1 (zh) * 2018-02-08 2019-08-15 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
JP7033649B2 (ja) * 2018-03-22 2022-03-10 日立Astemo株式会社 車載ステレオカメラ
GB2586389B (en) * 2018-03-29 2022-03-30 Mitsubishi Electric Corp Image processing device, image processing method, and monitoring system
CN113168712A (zh) * 2018-09-18 2021-07-23 近图澳大利亚股份有限公司 从多个图像中选择互补图像以用于3d几何提取的系统和方法
KR20210147405A (ko) * 2020-05-28 2021-12-07 삼성전자주식회사 객체 인식을 수행하는 전자 장치 및 이의 동작 방법
JP6779554B1 (ja) * 2020-06-29 2020-11-04 株式会社シータ 画像を出力する方法、プログラム及び装置
CN111860409A (zh) * 2020-07-29 2020-10-30 广东智媒云图科技股份有限公司 一种通过无人机对电缆线进行巡检的方法及装置
CN112326202B (zh) * 2020-10-23 2022-12-09 歌尔光学科技有限公司 虚拟现实设备的双目视差测试方法、装置及工装
CN115086538B (zh) * 2021-03-15 2024-03-15 北京字跳网络技术有限公司 一种拍摄位置确定方法、装置、设备及介质
CN113990108B (zh) * 2021-10-22 2023-01-20 苏交科集团股份有限公司 一种船舶优化识别和实时跟踪方法及防撞预警系统
IT202200006677A1 (it) * 2022-04-05 2023-10-05 Turf Europe Srl Dispositivo di acquisizione, elaborazione e trasmissione di immagini digitali ad almeno 5 bande multispettrali coassiali ad ampio campo visivo, per l’agromonitoraggio delle superfici agricole ed a verde.
US20240203084A1 (en) * 2022-12-14 2024-06-20 GM Global Technology Operations LLC System and method for augmented decision making by detecting occlusions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475422A (en) * 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
CN101978694A (zh) * 2008-03-19 2011-02-16 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN102143321A (zh) * 2010-02-01 2011-08-03 卡西欧计算机株式会社 摄影装置及控制方法
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611173B2 (ja) 1992-06-11 1997-05-21 運輸省船舶技術研究所長 魚眼レンズを用いた測位方法およびその装置
US6778211B1 (en) * 1999-04-08 2004-08-17 Ipix Corp. Method and apparatus for providing virtual processing effects for wide-angle video images
JP3827912B2 (ja) 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
US7206434B2 (en) * 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
JP2004173048A (ja) * 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk 車載カメラシステム
JP4825971B2 (ja) 2005-07-14 2011-11-30 国立大学法人岩手大学 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP5011528B2 (ja) * 2006-10-06 2012-08-29 国立大学法人岩手大学 ３次元距離計測センサおよび３次元距離計測方法
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8160391B1 (en) * 2008-06-04 2012-04-17 Google Inc. Panoramic image fill
JP2010020581A (ja) * 2008-07-11 2010-01-28 Shibaura Institute Of Technology 不要物を除去した画像合成システム
US7899321B2 (en) * 2009-03-23 2011-03-01 James Cameron Stereo camera with automatic control of interocular distance
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US20120154548A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Left/right image generation for 360-degree stereoscopic video
WO2012136388A1 (en) * 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
CN103858156B (zh) * 2011-10-18 2015-04-15 本田技研工业株式会社 车辆周围监测装置
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
CN104010183B (zh) * 2012-11-21 2017-03-01 豪威科技股份有限公司 包括至少一个拜耳型摄像机的阵列系统及关联的方法
US9423588B2 (en) * 2013-10-18 2016-08-23 The Lightco Inc. Methods and apparatus for supporting zoom operations
KR102105189B1 (ko) * 2013-10-31 2020-05-29 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475422A (en) * 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
CN101978694A (zh) * 2008-03-19 2011-02-16 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
CN102143321A (zh) * 2010-02-01 2011-08-03 卡西欧计算机株式会社 摄影装置及控制方法

Also Published As

Publication number Publication date
US20150172633A1 (en) 2015-06-18
JP2015133691A (ja) 2015-07-23
EP3654286A2 (en) 2020-05-20
US10157315B2 (en) 2018-12-18
US20190073535A1 (en) 2019-03-07
EP2884460B1 (en) 2020-01-01
US20200143165A1 (en) 2020-05-07
US11354891B2 (en) 2022-06-07
EP3654286B1 (en) 2024-01-17
US10839213B2 (en) 2020-11-17
US20210064873A1 (en) 2021-03-04
US10565449B2 (en) 2020-02-18
EP2884460A1 (en) 2015-06-17
CN104717481A (zh) 2015-06-17
EP3654286A3 (en) 2020-09-09
JP6355052B2 (ja) 2018-07-11

Similar Documents

Publication Publication Date Title
CN104717481B (zh) 摄像装置、图像处理装置、摄像方法
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
US10242454B2 (en) System for depth data filtering based on amplitude energy values
CN107396080B (zh) 产生深度信息的方法及系统
JP7018566B2 (ja) 撮像装置、画像処理方法及びプログラム
US7554575B2 (en) Fast imaging system calibration
TWI554976B (zh) 監控系統及其影像處理方法
WO2015180659A1 (zh) 图像处理方法和图像处理装置
KR101609486B1 (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
CN108805917A (zh) 空间定位的方法、介质、装置和计算设备
CN107113415A (zh) 用于多技术深度图获取和融合的方法和设备
JP2000512790A (ja) データ処理システムおよび方法
CN103248810A (zh) 图像处理装置、图像处理方法和程序
JP2001008235A (ja) ３次元データの再構成のための画像入力方法及び多眼式データ入力装置
JP7407428B2 (ja) 三次元モデル生成方法及び三次元モデル生成装置
Bostanci 3D reconstruction of crime scenes and design considerations for an interactive investigation tool
JP2004193962A (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
CN112801038B (zh) 一种多视点的人脸活体检测方法及系统
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
JP2001167276A (ja) 撮影装置
CN110191284B (zh) 对房屋进行数据采集的方法、装置、电子设备和存储介质
TWI542194B (zh) 立體影像處理系統、裝置與方法
US20230122149A1 (en) Asymmetric communication system with viewer position indications
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant