CN107211085A - 摄像装置和摄像方法 - Google Patents

摄像装置和摄像方法 Download PDF

Info

Publication number
CN107211085A
CN107211085A CN201680009963.5A CN201680009963A CN107211085A CN 107211085 A CN107211085 A CN 107211085A CN 201680009963 A CN201680009963 A CN 201680009963A CN 107211085 A CN107211085 A CN 107211085A
Authority
CN
China
Prior art keywords
camera
benchmark
unit
image
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680009963.5A
Other languages
English (en)
Other versions
CN107211085B (zh
Inventor
井藤功久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107211085A publication Critical patent/CN107211085A/zh
Application granted granted Critical
Publication of CN107211085B publication Critical patent/CN107211085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开涉及用于高精度地估计具有重复图案的图像的深度的摄像装置和摄像方法。根据基于不同素数的倒数的基线长度来布置外围相机，同时使用当从不同视点捕获图像时要作为基准的基准相机的位置作为基准。本公开能够应用于例如光场相机等，其设置有基准相机和多个外围相机，根据多个视点的图像来生成视差图像，并且使用来自多个视点的图像和视差图像来生成重聚焦图像。

Description

摄像装置和摄像方法
技术领域
本公开涉及摄像装置和摄像方法，并且尤其涉及能够高精度地估计具有重复图案的图像的深度的摄像装置和摄像方法。
背景技术
摄像装置如光场相机和用于根据多基线立体方法来估计深度的相机(被称为多基线立体相机)包括用于对来自不同视点的图像进行成像的多个相机。然后，摄像装置通过对预定相机的捕获图像和另一相机的捕获图像执行块匹配来估计捕获图像中的对象的深度。
作为具有多个相机的摄像装置，以非等间隔来布置具有多个相机的摄像装置(例如，参考专利文献1)。
引用列表
专利文献
专利文献1：日本专利申请特开第11-125522号
发明内容
本发明要解决的问题
同时，在由人创建的世界如房间的内部和城市风景中，包括大量的简单重复图案。因此，如果使用这样的世界作为摄像装置如光场相机和多基线立体相机的对象并且执行块匹配，则具有高相关度的块重复出现，并且难以精确地估计深度。
本公开是在考虑以上情形的情况下做出的，并且可以高精度地估计具有重复图案的图像的深度。
问题的解决方案
根据本公开的第一方面的摄像装置是包括多个成像单元的摄像装置，多个成像单元根据基于不同素数的倒数的基线长度来布置，使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准。
在本公开的第一方面中，包括多个成像单元，多个成像单元根据基于不同素数的倒数的基线长度来布置，使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准。
根据本公开的第二方面的摄像方法是包括下述步骤的摄像方法：由多个成像单元和要作为基准的成像单元对来自不同视点的图像进行成像，使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准并根据基于不同素数的倒数的基线长度来布置多个成像单元和要作为基准的成像单元。
在本公开的第二方面中，使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准并根据基于不同素数的倒数的基线长度来布置的多个成像单元和要作为基准的成像单元对来自不同视点的图像进行成像。
素数的倒数并不严格是素数的倒数的值，而意指可以获得本公开的效果的范围内的值——包括素数的倒数的值。
本发明的效果
根据本公开的第一方面和第二方面，可以对图像进行成像。此外，根据本公开的第一方面和第二方面，可以高精度地估计具有重复图案的图像的深度。
注意，本文描述的效果不受限制，并且效果可以是本公开中描述的任何效果。
附图说明
图1是立体相机中包含的相机的示例性布置的透视图。
图2是图1中的立体相机捕获的示例性捕获图像的图。
图3是光场相机中包含的相机的示例性布置的透视图。
图4是图3中的基准相机和外围相机捕获的示例性捕获图像的图。
图5是基线长度X1是基线长度X2的两倍的情况下示例性相关值的图。
图6是基线长度X1是基线长度X2的两分之三的情况下示例性相关值的图。
图7是作为应用本公开的摄像装置的光场相机的一个实施例的示例性配置的框图。
图8是图7中的成像单元的示例性配置的框图。
图9是图7中的成像单元的基准相机和外围相机的第一布置示例的透视图。
图10是图7中的成像单元的基准相机和外围相机的第二布置示例的透视图。
图11是图7中的成像单元的基准相机和外围相机的第三布置示例的透视图。
图12是图7中的成像单元的基准相机和外围相机的第四布置示例的透视图。
图13是图7中的成像单元的基准相机和外围相机的第五布置示例的透视图。
图14是描述图9至图13中分别所示的基准相机和外围相机的第一至第五布置示例以及由以上布置获得的效果的表。
图15是描述成像处理的流程图。
图16是计算机的硬件的示例性配置的框图。
图17是车辆控制系统的示例性示意性配置的框图。
图18是外部信息检测部和成像单元的示例性设置位置的说明图。
具体实施方式
下面描述本公开的前提和用于执行本公开的实施例(以下称为实施例)。注意，将按照下面的顺序来描述。
0.本公开的前提(图1至图4)
1.本技术的概述(图5和图6)
2.第一实施例：光场相机(图7至图15)
3.第二实施例：计算机(图16)
4.修改(图17和图18)
<本公开的前提>
(立体相机中包含的相机的示例性布置)
图1是立体相机中包含的相机的示例性布置的透视图。
图1中的立体相机10包括两个相机11和12，并且相机11和12沿水平方向(X方向)对齐。
(由立体相机捕获的示例性捕获图像)
图2是图1中的立体相机10捕获的示例性捕获图像的图。
在图2的示例中，捕获图像31由立体相机10的相机11捕获，并且捕获图像32由相机12捕获。
在这种情况下，在捕获图像31中的块41与捕获图像32中的存在于块41的极线42上的多个块43之间依次执行块匹配。此外，基于在水平方向上具有最高相关性的块41与块43的位置之间的差异来估计捕获图像31中的对象的深度。
然而，如图2中所示，在捕获图像31和32具有在水平方向和垂直方向上包括重复图案的方格图案51并且方格图案51中的空间小时，与块41具有高相关性的块43以预定的间隔出现。因此，极可能选择不正确的块43作为与块41具有最高相关性的块，并且难以精确地估计深度。
(光场相机中包含的相机的示例性布置)
图3是光场相机中包含的相机的示例性布置的透视图。
图3中的光场相机90包括单个基准相机100和七个外围相机101至107。基准相机100和外围相机101至107布置在XY平面上，其中，将基准相机100的位置定义为原点(0,0)。外围相机101至107的位置的坐标是(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)、(X5,Y5)、(X6,Y6)和(X7,Y7)。
(由光场相机捕获的示例性捕获图像)
图4是由图3中的基准相机100以及外围相机101和102捕获的示例性捕获图像的图。
在图4的示例中，在由基准相机100捕获的捕获图像140中，存在具有xr像素间隔的竖条纹的重复图案。在这种情况下，外围相机101捕获捕获图像141，并且外围相机102捕获捕获图像142。
当估计捕获图像140中重复图案中的位置(x0,y0)的深度时，通过下面的公式(1)来计算捕获图像141中的在块151的极线152上的与块151匹配的块153的中心位置(x1,y1)，所述块151以位置(x0,y0)为中心。
[数学公式1]
注意，D是指示与块151和153对应的视差的视差值以及指示存在于块151和153二者中的对象在深度方向上的位置的值。将零或更大的整数依次代入视差值D中。利用以上代入，捕获图像141中的在块151的极线152上的块被依次假定为块153。此外，a是用于确定块153的移动量的可选系数。
类似地，当估计捕获图像140中位置(x0,y0)的深度时，通过下面的公式(2)来计算捕获图像142中的在块151的极线154上的与块151匹配的块155的中心位置(x2,y2)。
[数学公式2]
此外，与中心位置(x1,y1)类似地计算外围相机103至107的捕获图像中的每个捕获图像中的要与块151匹配的块的中心位置。因此，由下面的公式(3)来表示由相应的外围相机101至107捕获的捕获图像中的要与块151匹配的块的中心位置(xn,yn)(n＝1、2、……和7)。
[数学公式3]
然后，在采用绝对差和之和(SAD之和(SSAD))、平方差和之和(SSD值和(SSSD))等作为用于估计深度的方法时，对块151和153依次执行块匹配，并且针对每个块153获取相关值。然后，保持每个块153的相关值与对应于块153的视差值D相关联。
此外，类似地，关于块155，对块151和155依次执行块匹配，并且保持相关值与视差值D相关联。还对由基准相机100和外围相机103至107捕获的捕获图像执行块匹配。然后，针对每个视差值D，相加外围相机101至107的捕获图像的所有保持的相关值，并且使用具有最大总值的视差值D作为深度估计结果。此处，注意，相关性越高，则相关值越大。
此处，当假定D的范围等于或大于零并且等于或小于Dmax时，由下面的公式(4)来表示xn和yn的移动量，也就是块匹配搜索范围的宽度xwn和ywn。
[数学公式4]
因此，当捕获图像140中包含的重复图案中x方向和y方向上的间隔分别大于宽度xwn和ywn时，块匹配搜索范围中包含的重复图案的数目等于或小于1。因此，不会发生由重复图案引起的深度估计的不正确识别。
根据以上描述，为了防止由重复图案引起的深度估计的不正确识别，有必要减小xn和yn(n＝1、2、……和7)以尽可能地减小宽度xwn和ywn，xn和yn是基准相机100和外围相机101至107在x方向和y方向上的基线长度。然而，当减小基线长度xn和基线长度yn时，视差值的三角测量的精度将会恶化。因此，难以高精度地估计具有重复图案的图像的深度。
<本技术的概述>
(外围相机的基线长度与相关值之间的关系)
图5是在基线长度X1是基线长度X2的两倍的情况下，也就是说在水平方向上等间隔布置基准相机100以及外围相机101和102的情况下，块151和块153以及块151和块155的示例性相关值的图。
注意，在图5中，水平轴指示与块151和153或者块151和155对应的视差值D，并且垂直轴指示与视差值D对应的相关值。这类似地应用于稍后要描述的图6。
此外，图5的A是示出块151和153的相关值的曲线图，并且图5的B是示出块151和155的相关值的曲线图。图5的C是示出通过将块151和153的相关值与块151和155的相关值相加而获得的总相关值(SSAD)的曲线图。
在基线长度X1是基线长度X2的两倍的情况下，如果根据上述公式(1)和(2)块155的x坐标x2移动xr，则块153的x坐标x1移动2xr。
因此，如图5的B所示，在块151和155的相关值的峰值以每个周期dw出现的情况下，如图5的A所示，块151和153的相关值的峰值以周期dw的一半的每个周期出现。也就是说，当基准相机100与外围相机之间的基线长度被加倍时，相关值的峰值的周期变成一半，其是两倍的倒数。此外，块151和153的相关值的峰值的相位与块151和155的相关值的峰值的相位同步。
根据以上，如图5的C所示，通过将块151和153的相关值与块151和155的相关值相加而获得的具有大的总相关值的峰值以与块151和155的相关值的峰值的视差值D相同的视差值D出现。也就是说，具有大的总相关值的峰值的周期是周期dw，其是周期1/2dw和周期dw的最小公倍数。
图6是基线长度X1是基线长度X2的两分之三的情况下块151和153以及块151和155的示例性相关值的图。
此外，图6的A是块151和153的相关值的曲线图，并且图6的B是块151和155的相关值的曲线图。图6的C是通过将块151和153的相关值与块151和155的相关值相加而获得的总相关值的曲线图。
在基线长度X1是基线长度X2的二分之三的情况下，根据上述公式(1)和(2)如果块155的x坐标x2移动xr，则块153的x坐标x1移动3/2xr。
因此，如图6的B所示，在块151和155的相关值的峰值以每个周期dw出现的情况下，如图6的A所示，块151和153的相关值的峰值以每个周期2/3dw出现。也就是说，如果基准相机100与外围相机之间的基线长度变成3/2，则相关值的峰值的周期变成2/3，其是3/2的倒数。此外，块151和153的相关值的峰值的相位与块151和155的相关值的峰值的相位同步。
根据以上，如图6的C所示，通过将块151和153的相关值与块151和155的相关值相加而获得的具有大的总相关值的峰值以每个周期2dw出现，其是块151和155的相关值的峰值的周期dw的两倍。也就是说，具有大的总相关值的峰值的周期是周期2dw，其是周期2/3dw和周期dw的最小公倍数。周期2dw等于基线长度是基线长度X2的一半的基准相机100和外围相机的捕获图像的相关值的峰值的周期。
此外，在图5和图6中，已经描述了外围相机101和外围相机102的相关值。然而，其他两个外围相机的相关值与上述相关值类似。
如上所述，在捕获图像140中存在垂直条纹重复图案的情况下，基准相机100和外围相机101至107在水平方向上的基线长度Xn的比率的倒数是相关值的峰值的周期的比率。此外，与外围相机101至107分别对应的相关值的峰值的周期的最小公倍数是具有大的总相关值的峰值的周期。
此外，虽然未示出，但是在捕获图像140中存在水平条纹重复图案的情况下，与存在垂直条纹重复图案的情况类似，基准相机100和外围相机101至107在垂直方向上的基线长度Yn的比率的倒数是相关值的峰值的周期的比率。此外，与外围相机101至107分别对应的相关值的峰值的周期的最小公倍数是具有大的总相关值的峰值的周期。
因此，本技术通过将基准相机和外围相机之间的水平方向和垂直方向上的基线长度的比率中的至少一个比率求微分，在不减小基线长度的情况下延长了具有大的总相关值的峰值的生成周期。这可以减小宽度xwn和ywn，使得重复图案的宽度变得大于宽度xwn和ywn，而不减小视差值的三角测量的精度。因此，不会发生由重复图案引起的深度估计的不正确识别，并且可以高精度地估计深度。
此处，如上所述，具有大的总相关值的峰值的周期是与相应外围相机对应的相关值的峰值的最小公倍数。因此，通过使与相应外围相机对应的相关值的峰值的周期的比率较接近素数比率，可以高效地延长具有大的总相关值的峰值的周期。
例如，如果与四个外围相机分别对应的相关值的峰值的周期是周期dws的两倍、三倍、五倍和七倍，则具有大的总相关值的峰值的周期变成周期dws的210(＝2×3×5×7)倍。此外，如上所述，相应外围相机的相关值的峰值的周期的比率是基准相机100和外围相机的基线长度的比率的倒数。因此，在与相应外围相机对应的相关值的峰值的周期的比率是2:3:5:7的情况下，基准相机100和外围相机的基线长度的比率为1/2:1/3:1/5:1/7。
此时，与具有大的总相关值的峰值的周期对应的基线长度是与周期dws对应的基线长度的1/210(＝1/(2×3×5×7))，也就是基准相机和外围相机之间的实际最短基线长度的1/30(＝(1/210)/(1/7))。因此，可以将由重复图案引起深度估计的不正确识别的极限空间频率提高30倍。
<第一实施例>
(光场相机的一个实施例的示例性配置)
图7是作为应用本公开的摄像装置的光场相机的一个实施例的示例性配置的框图。
图7中的光场相机200包括成像单元201和图像处理单元202。光场相机200根据由多个相机获得的捕获图像来生成虚拟焦点捕获图像作为重聚焦图像。
具体地，光场相机200的成像单元201包括单个基准相机(成像单元)、多个其他外围相机(成像单元)等。在从不同视点捕获图像的情况下基准相机是基准。根据基于不同素数的倒数的基线长度来分别布置外围相机，同时使基准相机的位置作为基准。
基准相机和外围相机从不同的视点捕获图像。成像单元201响应于来自图像处理单元202的请求而向图像处理单元202供给块，所述块包括由基准相机和外围相机捕获的捕获图像(光线信息)中的一个或更多个像素。此外，成像单元201向图像处理单元202供给由基准相机和外围相机捕获的捕获图像。
图像处理单元202例如由大规模集成电路(LSI)构成。图像处理单元202包括检测单元211、虚拟视点图像生成单元212和重聚焦图像生成单元213。
检测单元211(深度估计单元)例如通过使用从成像单元201供给的基准相机的捕获图像的块和每个外围相机的捕获图像的块，针对每个像素来估计基准相机的图像的深度。
具体地，检测单元211将基准相机的捕获图像的像素按顺序确定为待处理的像素。检测单元211针对要作为候选的每个视差值请求成像单元201供给与视差值对应的、基准相机的捕获图像的包括待处理像素的块和每个外围相机的捕获图像的块。检测单元211通过使用待响应于请求而从成像单元201供给的基准相机的捕获图像的块和每个外围相机的捕获图像的块来对每个外围相机执行块匹配。利用以上处理，检测单元211针对每个外围相机和每个像素获得与每个视差值对应的相关值。
然后，针对每个像素的每个视差值，检测单元211通过将所有外围相机的相关值相加而获得总相关值。检测单元211将具有最大总相关值的视差值确定为每个像素的深度估计结果。检测单元211将通过使用每个像素的深度估计结果而形成的视差图像供给至虚拟视点图像生成单元212作为来自基准相机的视点的视差图像。
虚拟视点图像生成单元212(生成单元)通过使用从检测单元211供给的来自基准相机的视点的视差图像来生成来自外围相机的视点的视差图像。虚拟视点图像生成单元212通过使用所生成的来自每个视点的视差图像和从成像单元201供给的来自每个视点的捕获图像来内插来自基准相机和外围相机的视点以外的虚拟视点的捕获图像(光线信息)。具体地，例如，虚拟视点图像生成单元212通过使用来自虚拟视点周围的视点的视差图像和捕获图像来内插来自虚拟视点的捕获图像。
虚拟视点图像生成单元212将从成像单元201供给的来自每个视点的捕获图像和来自虚拟视点的捕获图像供给至重聚焦图像生成单元213作为具有高密度视点的超多视点图像(光线组信息)。
重聚焦图像生成单元213通过使用从虚拟视点图像生成单元212供给的超多视点图像来生成虚拟焦点捕获图像作为重聚焦图像。重聚焦图像生成单元213输出所生成的重聚焦图像。
(成像单元的示例性配置)
图8是图7中的成像单元201的示例性配置的框图。
图8中的成像单元201包括基准相机221-0、N(N是等于或大于2的整数)个外围相机221-1至221-N、捕获控制单元222、帧存储器223、读取控制单元224和校正单元225。
基准相机221-0包括透镜221A-0和图像传感器221B-0如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。基准相机221-0根据从捕获控制单元222供给的同步信号来对图像进行成像。
具体地，基准相机221-0根据同步信号来接收由图像传感器221B-0经由透镜221A-0从对象入射的光，并且通过对作为光的接收结果而获得的模拟信号执行A/D转换等来对图像进行成像。基准相机221-0将通过对图像进行成像而获得的捕获图像供给至捕获控制单元222。
与基准相机221-0类似地形成外围相机221-1至221-N，并且相应地，外围相机221-1至221-N根据来自捕获控制单元222的同步信号来对图像进行成像。外围相机221-1至221-N将通过对图像进行成像而获得的捕获图像分别供给至捕获控制单元222。
捕获控制单元222通过将相同的同步信号供给至基准相机221-0和外围相机221-1至221-N来从不同的视点同时获得捕获图像。捕获控制单元222将从不同视点同时获得的捕获图像供给至帧存储器223(存储单元)，并且使帧存储器223存储供给的图像。
读取控制单元224控制读取，使得响应于来自图7中的检测单元221的请求而从帧存储器223读取基准相机221-0和外围相机221-1至221-N的捕获图像中的预定块。读取控制单元224将所读取的块供给至校正单元225。此外，读取控制单元224从帧存储器223读取基准相机221-0和外围相机221-1至221-N的捕获图像，并且将所读取的图像供给至校正单元225。
校正单元225对从读取控制单元224供给的块和捕获图像执行校正处理。例如，校正处理是黑电平校正、失真校正和阴影校正。校正单元225将已经对其执行了校正处理的块供给至图7中的检测单元211，并且将已经对其执行了校正处理的捕获图像供给至虚拟视点图像生成单元212。
此外，优选地，基准相机221-0(成像单元)和外围相机221-1至221-N(成像单元)不包括透镜221A-0至221A-N。在这种情况下，成像单元201包括被布置成与基准相机221-0和外围相机221-1至221-N分离的透镜221A-0至221A-N。
(基准相机和外围相机的第一布置示例)
图9是图7中的成像单元201的基准相机221-0和外围相机221-1至221-N的第一布置示例的透视图。
在图9的成像单元201中，作为基准相机221-0的单个基准相机230和作为外围相机221-1至221-N的四个外围相机231至234沿水平方向对齐。
此外，基准相机230与外围相机231至234之间在水平方向上的距离，也就是基准相机230与外围相机231至234之间在水平方向上的基线长度是通过将不同素数的倒数乘以预定值da而获得的值。具体地，基准相机230与外围相机231至234之间在水平方向上的基线长度是1/7da、1/5da、1/3da和1/2da。
在这种情况下，如果在基准相机230的捕获图像中存在垂直条纹的重复图案，则具有大的总相关值的峰值的周期是水平方向上的基线长度是预定值da的外围相机和基准相机230的捕获图像的相关值的峰值的210(＝2×3×5×7)倍。也就是说，具有大的总相关值的峰值的周期是与基准相机230在水平方向上的基线长度(水平基线长度)是最短的1/7da的外围相机231和基准相机230的捕获图像的相关值的峰值的周期的30倍。因此，可以将由水平方向上的重复图案引起深度估计的不正确识别的极限空间频率提高30倍。
此外，如果基准相机230与外围相机231至234中的每个外围相机之间在水平方向上的基线长度是通过将接近素数的倒数的值乘以预定值da而获得的值，则基线长度不必是通过将素数的倒数乘以预定值da而获得的值。
此外，虽然在图9中未示出，但是基准相机与外围相机可以布置在除水平方向以外的一个方向如垂直方向和倾斜方向上。在基准相机与外围相机布置在垂直方向上的情况下，可以防止由垂直方向上的重复图案引起的深度估计的不正确识别。此外，在相机布置在倾斜方向上的情况下，除了水平方向和垂直方向以外还可以防止由倾斜方向上的重复图案引起的深度估计的不正确识别。
(基准相机和外围相机的第二布置示例)
图10是图7中的成像单元201的基准相机221-0和外围相机221-1至221-N的第二布置示例的透视图。
在图10的成像单元201中，作为基准相机221-0的单个基准相机250和作为外围相机221-1至221-N的八个外围相机251至258被二维布置。
此外，基准相机250与外围相机251至256之间在水平方向上的距离，也就是基准相机250与外围相机251至256之间在水平方向上的基线长度是通过将不同素数的倒数乘以预定值da而获得的值。具体地，基准相机250与外围相机251至258之间在水平方向上的基线长度是1/13da、1/11da、1/7da、1/5da、1/3da和1/2da。
此外，基准相机250与外围相机251至254、257和258之间在垂直方向上的距离，也就是基准相机250与外围相机251至254、257和258之间在垂直方向上的基线长度(垂直基线长度)是通过将不同素数的倒数乘以预定值da而获得的值。具体地，基准相机250与外围相机251至254、257和258之间在垂直方向上的基线长度分别是1/13da、1/11da、1/5da、1/7da、1/3da和1/2da。
在这种情况下，如果在基准相机250的捕获图像中存在垂直条纹的重复图案，则具有大的总相关值的峰值的周期是水平方向上的基线长度是预定值da的外围相机和基准相机250的捕获图像的相关值的峰值的周期的30030(＝2×3×5×7×11×13)倍。也就是说，具有大的总相关值的峰值的周期是与基准相机250在水平方向上的基线长度是最短的1/13da的外围相机251和基准相机250的捕获图像的相关值的峰值的周期的2310倍。因此，可以将由水平方向上的重复图案引起深度估计的不正确识别的极限空间频率提高2310倍。
类似地，也可以将由垂直方向上的重复图案引起深度估计的不正确识别的极限空间频率提高2310倍。
此外，如果基准相机250与外围相机251至258中的每个外围相机之间在水平方向和垂直方向上的基线长度是通过将接近素数的倒数的值乘以预定值da而获得的值，则基线长度不必是通过将素数的倒数乘以预定值da而获得的值。
(基准相机和外围相机的第三布置示例)
图11是图7中的成像单元201的基准相机221-0和外围相机221-1至221-N的第三布置示例的透视图。
在图11的成像单元201中，作为基准相机221-0的单个基准相机270和作为外围相机221-1至221-N的八个外围相机271至278被布置成十字形状。具体地，当外围相机272被定位在中心处时，基准相机270和外围相机271至274被布置在水平方向上，并且外围相机272和275至278被布置在垂直方向上。
此外，基准相机270与外围相机271至274之间在水平方向上的基线长度是通过将不同素数的倒数乘以预定值da而获得的值。具体地，基准相机270与外围相机271至274之间在水平方向上的基线长度是1/7da、1/5da、1/3da和1/2da。
此外，外围相机275与外围相机272和276至278之间在垂直方向上的基线长度是通过将不同素数的倒数乘以预定值db而获得的值。具体地，外围相机275与外围相机272和276至278之间在垂直方向上的基线长度是1/5db、1/7db、1/3db和1/2db。
在这种情况下，不仅可以防止由水平方向和垂直方向上的重复图案引起的深度估计的不正确识别的生成，而且可以防止由所有方向上的重复图案引起的深度估计的不正确识别的生成。
此外，如果基准相机270与外围相机271至274中的每个外围相机之间在水平方向上的基线长度是通过将接近素数的倒数的值乘以预定值da而获得的值，则基线长度不必是通过将素数的倒数乘以预定值da而获得的值。类似地，如果外围相机275与外围相机272和276至278之间在垂直方向上的基线长度是通过将接近素数的倒数的值乘以预定值da而获得的值，则基线长度不必是通过将素数的倒数乘以预定值da而获得的值。
(基准相机和外围相机的第四布置示例)
图12是图7中的成像单元201的基准相机221-0和外围相机221-1至221-N的第四布置示例的透视图。
在图12的成像单元201中，作为外围相机221-1至221-N的五个外围相机291至295被布置成以作为基准相机221-0的单个基准相机290为中心的正五边形的形状。
此外，基准相机290与外围相机291至294之间在水平方向上的基线长度是通过将素数的倒数乘以预定值da而获得的值。具体地，基准相机290与外围相机291和292中的每个外围相机之间在水平方向上的基线长度是1/5da，并且基准相机290与外围相机293和294中的每个外围相机之间在水平方向上的基线长度是1/3da。此外，外围相机295在水平方向上的位置与基准相机290在水平方向上的位置相同。
此外，基准相机290与外围相机291至294之间在垂直方向上的基线长度是通过将素数的倒数乘以预定值db而获得的值。具体地，基准相机290与外围相机291和292中的每个外围相机之间在垂直方向上的基线长度是1/5db，并且基准相机290与外围相机293和294中的每个外围相机之间在垂直方向上的基线长度是1/13db。基准相机290与外围相机295在垂直方向上的基线长度是1/4db。
如图12所示，在五个外围相机291至295被布置成以基准相机290为中心的正五边形形状的情况下，水平方向和垂直方向的大部分基线长度是通过将素数的倒数乘以预定值而获得的值。因此，可以防止由水平方向和垂直方向上的重复图案引起的深度估计的不正确识别。
此外，关于通过连接基准相机290和外围相机291至295中的三个相邻相机而形成的三角形，通过连接基准相机290和两个相邻的外围相机而形成的三角形301至305是相同的。因此，虚拟视点图像生成单元212可以利用下述方法来内插来自虚拟视点的捕获图像，而不管虚拟视点的位置：所述方法用于通过使用捕获图像和来自定位在与包括虚拟视点的三角形301至305具有相同大小的三角形的顶点处的相机的视点的视差图像来内插来自虚拟视点的捕获图像。也就是说，不必根据虚拟视点的位置来改变用于内插来自虚拟视点的捕获图像的方法。因此，可以容易地内插来自虚拟视点的捕获图像。
(基准相机和外围相机的第五布置示例)
图13是图7中的成像单元201的基准相机221-0和外围相机221-1至221-N的第五布置示例的透视图。
在图13的成像单元201中，布置了作为基准相机221-0的单个基准相机310和作为外围相机221-1至221-N的18个外围相机311至328。具体地，外围相机311至316被布置成以基准相机310为中心的正六边形的形状，并且外围相机317至328被布置成以基准相机310为中心的正十二边形的形状。正六边形的每个边的长度等于正十二边形的每个边的长度。
此外，基准相机310与外围相机311至314和317至328之间在水平方向上的基线长度是通过将素数的倒数乘以预定值da而获得的值。
具体地，基准相机310与外围相机311至314和317至320中的每个外围相机之间在水平方向上的基线长度是1/19da，并且基准相机310与外围相机321至324中的每个外围相机之间在水平方向上的基线长度是1/7da。此外，基准相机310与外围相机325至328中的每个外围相机之间在水平方向上的基线长度是1/5da。此外，基准相机310与外围相机315和316中的每个外围相机之间在水平方向上的基线长度是2/19da。
基准相机310与外围相机311至328中的每个外围相机之间在垂直方向上的基线长度是通过将素数的倒数乘以预定值da而获得的值。具体地，基准相机310与外围相机325至328中的每个外围相机之间在垂直方向上的基线长度是1/19da，并且基准相机310与外围相机311至314中的每个外围相机之间在垂直方向上的基线长度是1/11da。
此外，基准相机310与外围相机321至324中的每个外围相机之间在垂直方向上的基线长度是1/7da，并且基准相机310与外围相机317至320中的每个外围相机之间在垂直方向上的基线长度是1/5da。
如图13所示，在外围相机311至316被布置成以基准相机310为中心的正六边形的形状并且外围相机317至328被布置成以基准相机310为中心的正十二边形的形状的情况下，水平方向和垂直方向的大部分基线长度是通过将素数的倒数乘以预定值而获得的值。因此，可以防止由水平方向和垂直方向上的重复图案引起的深度估计的不正确识别。
此外，关于通过连接基准相机310和外围相机311至328中的三个相邻相机而形成的三角形，通过连接基准相机310和外围相机311至316中的两个相邻相机而形成的三角形341至346以及通过连接外围相机311至316中的一个外围相机和外围相机317至328中的两个相邻相机而形成的三角形347至352是相同的正三角形。
此外，关于通过连接四个相邻的相机而形成的正四边形，通过连接外围相机311至316中的两个相邻相机和外围相机317至328中的与上述两个相邻相机相对的两个外围相机而形成的正四边形361至366是相同的正方形。
因此，需要两种用于由虚拟视点图像生成单元212内插虚拟视点的方法。第一内插方法是用于通过使用捕获图像和来自定位在与包括虚拟视点的三角形341至352具有共同边的正三角形的顶点处的相机的视点的视差图像来内插来自虚拟视点的捕获图像的方法。第二内插方法是用于通过使用捕获图像和来自定位在与包括虚拟视点的四边形361至366具有共同边的正方形的顶点处的相机的视点的视差图像来内插来自虚拟视点的捕获图像的方法。根据以上方法，可以容易地内插来自虚拟视点的捕获图像。
此外，由于三角形341至352和四边形361至366的各个边的长度相同，所以用均匀的密度来内插来自虚拟视点的捕获图像。
(基准相机和外围相机的布置的描述以及效果)
图14是描述图9至图13中分别所示的基准相机和外围相机的第一至第五布置示例以及由以上布置获得的效果的表。
在图14的表中，图9至图13中分别所示的布置的名称写在左栏中，并且对由重复图案引起的深度估计的不正确识别的效果的程度写在中间栏中。此外，对来自虚拟视点的捕获图像的内插的效果的程度写在右栏中。注意，在下文中，第一至第五布置示例分别被称为水平布置、二维布置、十字形布置、正五边形布置和19-相机布置。
在成像单元201的基准相机和外围相机的布置是图9中的水平布置的情况下，可以防止由水平方向上的重复图案引起的深度估计的不正确识别。然而，水平布置不具有防止由垂直方向上的重复图案引起的深度估计的不正确识别的效果。因此，在图14所示的表中的中间栏的第二行中，写入指示“中等”的三角形作为对由重复图案引起的深度估计的不正确识别的效果的程度。
另一方面，在成像单元201的基准相机和外围相机的布置是图10中的二维布置、图11中的十字形布置、图12中的正五边形布置和图13中的19-相机布置的情况下，可以防止由水平方向和垂直方向上的重复图案引起的深度估计的不正确识别。因此，在图14所示的表中的中间栏的第三行至第六行中，写入指示“高”的圆作为对由重复图案引起的深度估计的不正确识别的效果的程度。
此外，在成像单元201的基准相机和外围相机的布置是图9中的水平布置的情况下，所有相邻相机之间的距离彼此不同。此外，在成像单元201的基准相机和外围相机的布置是图10中的二维布置和图11中的十字形布置的情况下，通过连接基准相机和外围相机中的三个或更多个相邻相机而形成的所有形状彼此不同。因此，不能获得内插来自虚拟视点的捕获图像的效果。因此，在图14所示的表中的右栏的第二行至第四行中，写入指示“无”的十字标记作为内插来自虚拟视点的捕获图像的效果的程度。
此外，在成像单元201的基准相机和外围相机的布置是图12中的正五边形布置和图13中的19-相机布置的情况下，通过连接基准相机和外围相机中的三个或更多个相邻相机而形成的形状中的至少一部分形状是相同的。因此，用于内插来自虚拟视点的捕获图像的方法的种类少，并且可以容易地内插来自虚拟视点的捕获图像。
然而，由于在图12中的正五边形布置中三角形301至305不是正三角形，所以不能用均匀的密度内插来自虚拟视点的捕获图像。因此，在图14所示的表中的右栏的第五行中，写入指示“中等”的三角形作为内插来自虚拟视点的捕获图像的效果的程度。
然而，在图13中的19-相机布置中，三角形341至352和四边形361至366的各个边的长度相同。因此，可以用均匀的密度来内插来自虚拟视点的捕获图像。因此，在图14所示的表中的右栏的第六行中，写入指示“高”的圆作为内插来自虚拟视点的捕获图像的效果的程度。
如上所述，光场相机200包括用于从不同视点对图像进行成像的基准相机和多个外围相机，并且基准相机与至少两个外围相机之间在至少一个方向上的距离是分别通过将不同素数的倒数乘以预定值而获得的值。因此，可以高精度地估计在至少一个方向上包括重复图案的捕获图像的深度。因此，提高了重聚焦图像的精度。
然而，在以恒定的间隔在水平方向和垂直方向上布置相机的情况下，也就是说，在以格子(lattice)图案布置相机的情况下，难以高精度地估计具有重复图案的捕获图像的深度。
此外，基准相机和外围相机的分辨率可以相同，并且可以彼此不同。在基准相机的分辨率与外围相机的分辨率不同的情况下，可以针对每个子像素获得视差值。
此外，外围相机的数目不限于以上描述的数目。可以利用外围相机的数目的增加来防止由更精细的重复图案引起的深度估计的不正确识别。此外，可以将预定值da和db设置为任意值。
(光场相机的处理的描述)
图15是描述由图7中的光场相机200执行的成像处理的流程图。
在图15的步骤S11中，光场相机200的成像单元201的基准相机221-0和外围相机221-1至221-N(图8)根据来自捕获控制单元222的同步信号同时从各个视点对图像进行成像。作为以上处理的结果而获得的捕获图像经由捕获控制单元222存储在帧存储器223中。
然后，读取控制单元224响应于来自检测单元211的请求而从帧存储器223读取由基准相机221-0和外围相机221-1至221-N成像的捕获图像的预定块。此外，读取控制单元224从帧存储器223读取基准相机221-0和外围相机221-1至221-N的捕获图像。将从帧存储器223读取的块经由校正单元225供给至检测单元211，并且将从帧存储器223读取的捕获图像经由校正单元225供给至虚拟视点图像生成单元212。
在步骤S12中，检测单元211例如通过使用从校正单元225供给的基准相机221-0的捕获图像的块和外围相机221-1至221-N中的每个外围相机的捕获图像的块，针对每个像素来估计基准相机221-0的视点的深度。检测单元211将由每个像素的深度估计结果而形成的视差图像供给至虚拟视点图像生成单元212作为来自基准相机221-0的视点的视差图像。
在步骤S13中，虚拟视点图像生成单元212通过使用从检测单元211供给的来自基准相机221-0的视点的视差图像来生成来自外围相机221-1至221-N的视点的视差图像。
在步骤S14中，虚拟视点图像生成单元212通过使用所生成的来自每个视点的视差图像和从校正单元225供给的来自每个视点的捕获图像来内插来自虚拟视点的捕获图像。虚拟视点图像生成单元212将从校正单元225供给的来自每个视点的捕获图像和来自虚拟视点的捕获图像供给至重聚焦图像生成单元213作为高密度视点的超多视点图像。
在步骤S15中，重聚焦图像生成单元213通过使用从虚拟视点图像生成单元212供给的超多视点图像来生成虚拟焦点捕获图像作为重聚焦图像。重聚焦图像生成单元213输出所生成的重聚焦图像，并且终止处理。
<第二实施例>
(应用本公开的计算机的描述)
可以由硬件和软件来执行上面提到的一系列处理。在由软件执行一系列处理的情况下，将包括在软件中的程序安装在计算机中。此处，计算机包括合并在专用硬件中的计算机以及例如可以通过安装各种程序来执行各种功能的通用个人计算机。
图16是用于通过程序来执行上面提到的一系列处理的计算机的硬件的示例性配置的框图。
在计算机400中，用总线404将中央处理器(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403彼此连接。
此外，输入/输出接口405连接至总线404。成像单元406、输入单元407、输出单元408、存储单元409、通信单元410和驱动器411连接至输入/输出接口405。
成像单元406被配置成与图7中的成像单元201类似。输入单元407包括键盘、鼠标、麦克风等。输出单元408包括显示器、扬声器等。存储单元409包括硬盘、非易失性存储器等。通信单元410包括网络接口等。驱动器411驱动可移除介质412如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机400中，CPU 401经由输入/输出接口405和总线404将例如存储在存储单元409中的程序加载至RAM 403，并且执行程序以执行上面提到的一系列处理。
例如可以通过将由计算机400(CPU 401)执行的程序记录在如封装介质等的可移除介质412中来提供。此外，可以经由有线或无线传输介质如局域网、因特网和数字卫星广播来提供程序。
在计算机400中，可以通过将可移除介质412安装在驱动器411中来经由输入/输出接口505将程序安装至存储单元409。此外，可以经由有线或无线传输介质通过通信单元410来接收程序，并且将其安装至存储单元409。此外，可以将程序预先安装至ROM 402和存储单元409。
注意，由计算机400执行的程序可以是按照本文描述的顺序以时间序列方式来执行处理的程序，并且可以是并行执行处理的程序或在进行调用的必要时刻执行处理的程序。
<修改>
根据本公开的技术可以应用于各种产品。例如，可以将根据本公开的技术实现为待安装至车辆如汽车、电动车、混合电动车和摩托车中的任一车辆的装置。
图17是可以应用根据本公开的技术的车辆控制系统2000的示例性示意性配置的框图。车辆控制系统2000包括经由通信网络2010连接的多个电子控制单元。在图17所示的示例中，车辆控制系统2000包括驱动系统控制单元2100、车身系统控制单元2200、电池控制单元2300、外部信息检测单元2400、车内信息检测单元2500和集成控制单元2600。用于连接这些控制单元的通信网络2010可以是遵从可选标准例如控制器局域网络(CAN)、LIN(局域互联网络)、局域网(LAN)或FlexRay(注册商标)的车内通信网络。
每个控制单元包括根据各种程序来执行操作处理的微型计算机、存储由微型计算机执行的程序或用于各种操作的参数的存储单元以及驱动待被控制的装置的驱动电路。每个控制单元包括用于经由通信网络2010与其他控制单元进行通信的网络I/F以及用于通过有线或无线连接与车辆内部/外部的装置、传感器等进行通信的通信I/F。在图17中，示出了微型计算机2610、通用通信I/F 2620、专用通信I/F 2630、定位单元2640、信标接收单元2650、车内装置I/F 2660、声音和图像输出单元2670、车内网络I/F 2680和存储单元2690作为集成控制单元2600的功能配置。其他控制单元类似地包括微型计算机、通信I/F、存储单元等。
驱动系统控制单元2100根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元2100用作控制装置，如用于产生车辆的驱动力的驱动力产生装置如内燃机或驱动电机、用于向车轮传送驱动力的驱动力传送机构、调节车辆的转向角的转向机构和产生车辆的制动力的制动装置。驱动系统控制单元2100可以具有作为控制装置如制动防抱死系统(ABS)或电子稳定控制系统(ESC)的功能。
驱动系统控制单元2100连接至车辆状况检测单元2110。车辆状况检测单元2110包括以下中的至少一者：例如，检测车身的轴旋转运动的角速度的陀螺传感器，检测车辆的加速度的加速度传感器，以及检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度的传感器。驱动系统控制单元2100通过使用从车辆状况检测单元2110输入的信号来执行操作处理，并且控制内燃机、驱动电机、电动助力转向装置、制动装置等。
车身系统控制单元2200根据各种程序来控制附接至车身的各种装置的操作。例如，车身系统控制单元2200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或各种灯如前照灯、尾灯、制动灯、方向指示灯或雾灯的控制装置。在这种情况下，从用于代替钥匙的便携式机器发射的无线电波或各种开关的信号可以输入至车身系统控制单元2200。车身系统控制单元2200接收无线电波或信号的输入，并且控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元2300根据各种程序来控制蓄电池2310，其是驱动电机的电源。例如，包括蓄电池2310的电池装置将与电池温度、电池输出电压、电池的剩余电量等有关的信息输出至电池控制单元2300。电池控制单元2300通过使用这些信号来执行操作处理，并且控制蓄电池2310的温度调节或控制包括在电池装置中的冷却装置等。
外部信息检测单元2400检测包括车辆控制系统2000的车辆的外部信息。例如，外部信息检测单元2400连接至成像单元2410和外部信息检测部2420中的至少一个。成像单元2410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。外部信息检测部2420包括例如用于检测当前天气或气象现象的环境传感器或者用于检测包括车辆控制系统2000的车辆周围的其他车辆、障碍物或行人的周围环境信息检测传感器。
环境传感器可以是例如以下中的至少一个：检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器和检测降雪的雪传感器。周围环境信息检测传感器可以是超声波传感器、雷达设备、以及光探测和测距、激光成像检测和测距(LIDAR)装置中的至少一个。成像单元2410和外部信息检测部2420可以作为独立的传感器和装置而被包括，并且可以是通过集成多个传感器和装置而形成的装置。
此处，在图18中，示出了成像单元2410和外部信息检测部2420的设置位置的示例。成像单元2910、2912、2914、2916和2918中的每个成像单元设置在例如车辆2900的前鼻、侧视镜、后保险杠、后门和车辆内饰中的挡风玻璃的上侧的至少一个中。设置在前鼻中的成像单元2910和设置在车辆内饰中的挡风玻璃的上侧上的成像单元2918主要获取车辆2900前方的图像。设置在侧视镜中的成像单元2912和2914主要获取车辆2900的侧边上的图像。设置在后保险杠或后门中的成像单元2916主要获取车辆2900后方的图像。设置在车辆内饰中的挡风玻璃的上侧上的成像单元2918主要用于检测前面的车辆、行人、障碍物、红绿灯、交通标志、交通车道等。
此外，在图18中，示出了各个成像单元2910、2912、2914和2916的示例性摄像范围。成像范围a指示设置在前鼻中的成像单元2910的成像范围，并且成像范围b和c分别指示设置在侧视镜中的成像单元2912和2914的成像范围。成像范围d指示设置在后保险杠或后门中的成像单元2916的成像范围。例如，由成像单元2910、2912、2914和2916成像的图像数据被叠加，使得可以获得从上方观察的车辆2900的鸟瞰图。
分别设置在车辆2900的前面、后面、侧面、角落和车辆内饰的挡板玻璃的上侧的外部信息检测部2920、2922、2924、2926、2928和2930可以是例如超声波传感器或雷达设备。设置在车辆2900的前鼻、后保险杠、后门和车辆内饰的挡板玻璃的上侧中的外部信息检测部2920、2926和2930可以是例如LIDAR装置。外部信息检测部2920至2930主要用于检测前面的车辆、行人、障碍物等。
再次参照图17来继续描述。外部信息检测单元2400使成像单元2410对车辆外部的图像进行成像，并且接收所成像的图像数据。此外，外部信息检测单元2400从连接至外部信息检测单元2400的外部信息检测部2420接收检测信息。在外部信息检测部2420是超声波传感器、雷达设备或LIDAR装置的情况下，外部信息检测单元2400发射超声波或电磁波，并且接收关于所接收的反射波的信息。外部信息检测单元2400可以基于所接收的信息来执行用于检测对象如人、汽车、障碍物、标志或路上的字母的处理或距离检测处理。外部信息检测单元2400可以基于所接收的信息来执行用于识别雨、雾、道路表面状况等的环境识别处理。外部信息检测单元2400可以基于所接收的信息来计算距车辆外部的对象的距离。
此外，外部信息检测单元2400可以基于所接收的图像数据来执行用于识别人、汽车、障碍物、标志、路上的字母等的图像识别处理或距离识别处理。外部信息检测单元2400可以通过执行诸如对所接收的图像数据的失真校正或定位以及合成由不同的成像单元2410成像的图像数据的处理来生成鸟瞰图或全景图。外部信息检测单元2400可以通过使用由不同的成像单元2410成像的图像数据来执行视点转换处理。
车内信息检测单元2500检测车内信息。车内信息检测单元2500连接至例如用于检测驾驶员的状况的驾驶员状况检测单元2510。驾驶员状况检测单元2510可以包括用于对驾驶员进行成像的相机、用于检测驾驶员的生物信息的生物传感器、用于收集车辆内部的声音的麦克风等。生物传感器设置在例如座椅表面或方向盘中，并且检测坐在座椅上的占有者或握着方向盘的驾驶员的生物信息。基于从驾驶员状况检测单元2510输入的检测信息，车内信息检测单元2500可以计算驾驶员的疲劳程度或集中程度，并且可以确定驾驶员是否睡着。车内信息检测单元2500可以执行诸如对所收集的音频信号的噪声消除处理等处理。
集成控制单元2600根据各种程序来控制车辆控制系统2000的整体操作。集成控制单元2600连接至输入单元2800。输入单元2800由占有者可以对其执行输入操作的装置如触摸面板、按钮、麦克风、开关或杠杆来实现。输入单元2800可以是例如使用红外线或其他无线电波的远程控制装置，并且可以是外部连接装置如与车辆控制系统2000的操作对应的移动电话或个人数字助理(PDA)。输入单元2800可以是例如相机。在这种情况下，占有者可以通过使用手势来输入信息。此外，输入单元2800可以包括例如输入控制单元，该输入控制单元基于由占有者等通过使用输入单元2800输入的信息来生成输入信号，并且将输入信号输出至集成控制单元2600。占有者等通过操作输入单元2800来对车辆控制系统2000输入各种数据并且指示处理操作。
存储单元2690可以包括用于存储由微型计算机执行的各种程序的随机存取存储器(RAM)和用于存储各种参数、计算结果、传感器值等的只读存储器(ROM)。此外，存储单元2690可以由磁存储装置如硬盘驱动(HDD)、半导体存储装置、光存储装置或磁光存储装置来实现。
通用通信I/F 2620调解与存在于外部环境2750中的各种装置的通信。通用通信I/F 2620可以实现如全球移动通信系统(GSM)(注册商标)、WiMAX、长期演进(LTE)或高级LTE(LTE-A)等蜂窝通信协议或者如无线LAN(Wi-Fi(注册商标))等其他无线通信协议。例如，通用通信I/F 2620可以经由基站或接入点连接至存在于外部网络(例如，因特网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 2620可以例如通过使用对等(P2P)技术连接至存在于车辆附近的终端(例如，行人或商店的终端或者机器类型通信(MTC)终端)。
专用通信I/F 2630支持为车辆使用而建立的通信协议。专用通信I/F 2630可以例如实现标准协议如车辆环境的无线接入(WAVE)或专用短程通信(DSRC)，WAVE是下层的IEEE802.11p和上层的IEEE 1609的结合。专用通信I/F 2630通常执行V2X通信，其是包括车辆至车辆通信、车辆至基础设施通信和车辆至行人通信中的一个或更多个通信的概念。
例如，定位单元2640从全球导航卫星系统(GNSS)卫星接收GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)并且执行定位。然后，定位单元2640生成包括车辆的纬度、经度和高度的位置信息。此外，定位单元2640可以通过与无线接入点交换信号来指定当前位置，并且可以从具有定位功能的终端如移动电话、PHS或智能电话来获取位置信息。
信标接收单元2650例如接收从安装在道路上的无线站发射的无线电波或电磁波，并且获取包括当前位置、交通堵塞、封闭区域、所需时间等的信息。此外，信标接收单元2650的功能可以被包括在以上描述的专用通信I/F 2630中。
车内装置I/F 2660是用于调解微型计算机2610与车辆中的各种装置之间的连接的通信接口。车内装置I/F 2660可以通过使用无线通信协议如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)来建立无线连接。此外，车内装置I/F 2660可以经由连接终端(未示出)(和电缆，如果必要)来建立有线连接。车内装置I/F 2660例如与占有者的移动装置或可穿戴装置或者车辆中携带的或附接至车辆的信息装置交换控制信号或数据信号。
车内网络I/F 2680是用于调解微型计算机2610与通信网络2010之间的通信的接口。车内网络I/F 2680根据由通信网络2010支持的预定协议来发射和接收信号等。
集成控制单元2600的微型计算机2610根据各种程序，基于经由通用通信I/F2620、专用通信I/F 2630、定位单元2640、信标接收单元2650、车内装置I/F 2660和车内网络I/F 2680中的至少一个获得的信息来控制车辆控制系统2000。例如，微型计算机2610可以基于所获得的车辆内部和外部的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元2100输出控制指令。例如，微型计算机2610可以执行协同控制以避免或缓和车辆的碰撞、以基于车辆间的距离来执行接下来的行驶、以执行速度保持行驶、以执行自动操作等。
微型计算机2610可以基于经由通用通信I/F 2620、专用通信I/F 2630、定位单元2640、信标接收单元2650、车内装置I/F 2660和车内网络I/F 2680中的至少一个获得的信息来创建包括车辆的当前位置的周边信息的局部地图信息。此外，微型计算机2610可以基于所获得的信息来预测危险如车辆的碰撞、行人的接近或进入封闭的道路，并且生成警告信号。警告信号可以是例如生成警告声音或点亮警告灯的信号。
声音和图像输出单元2670向输出装置发射语音或图像中的一个的输出信号，输出装置可以视觉地或听觉地通知车辆的占有者或车辆外部的信息。在图17的示例中，将音频扬声器2710、显示单元2720和仪表板2730例示为输出装置。显示单元2720可以包括例如车载显示器和抬头显示器中的至少一个。显示单元2720可以具有增强现实(AR)显示功能。除这些装置以外，输出装置可以是诸如耳机、投影仪或灯等装置。在输出装置是显示装置的情况下，显示装置在视觉上显示由微型计算机2610执行的各种处理获得的结果或以各种格式如文本、图像、图表和曲线图从其他控制单元接收的信息。此外，在输出装置是声音输出装置的情况下，声音输出装置将包括再现的音频数据或声学数据的音频信号转换成模拟信号，并且在听觉上输出该信号。
此外，在图17所示的示例中，可以将经由通信网络2010连接的至少两个控制单元集成为单个控制单元。可替选地，每个控制单元可以包括多个控制单元。此外，车辆控制系统2000可以包括未示出的其他控制单元。此外，在以上描述中，其他控制单元可以具有控制单元中的任一控制单元的部分或全部功能。也就是说，如果可以经由通信网络2010发送和接收信息，则控制单元中的任一控制单元可以执行预定的操作处理。类似地，连接至控制单元中的任一控制单元的传感器或装置可以连接至另一控制单元，并且控制单元可以经由通信网络2010向彼此发送检测信息以及从彼此接收检测信息。
在以上描述的车辆控制系统2000中，图7中的成像单元201可以应用于例如图17中的成像单元2410。此外，图7中的图像处理单元202可以应用于例如图17中的外部信息检测单元2400。因此，可以高精度地估计具有重复图案的车辆外部图像的深度。因此，提高了重聚焦图像的精度。
此外，本文中描述的效果仅仅是示例性的，并且不限于这些效果。此外，可以有另外的效果。
此外，本公开的实施例不限于上述实施例，并且可以在不偏离本公开的范围的情况下进行各种改变。例如，外围相机221-1至221-N可以布置成除以基准相机221-0为中心的正五边形、正六边形、正十二边形以外的多边形形状。
此外，本技术可以应用于多基线立体相机。
此外，本公开可以具有以下配置。
(1)一种摄像装置，包括：
多个成像单元，多个成像单元被配置成使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准并根据基于不同素数的倒数的基线长度来布置。
(2)根据(1)所述的摄像装置，其中，
基线长度是通过将不同素数的倒数乘以预定值而获得的值。
(3)根据(1)或(2)所述的摄像装置，其中，
基线长度是作为水平方向上的基线长度的水平基线长度或作为垂直方向上的基线长度的垂直基线长度。
(4)根据(1)或(2)所述的摄像装置，其中，
基线长度包括作为水平方向上的基线长度的水平基线长度和作为垂直方向上的基线长度的垂直基线长度。
(5)根据(1)至(4)中的任一项所述的摄像装置，其中，
多个成像单元和要作为基准的成像单元被布置成十字形状。
(6)根据(1)至(4)中的任一项所述的摄像装置，其中，
成像单元的数目等于或大于四，以及
通过连接三个或更多个相邻的成像单元而形成的形状的一部分是相同的。
(7)根据(6)所述的摄像装置，其中，
多个成像单元被布置成以要作为基准的成像单元为中心的多边形形状。
(8)根据(6)所述的摄像装置，其中，
多个成像单元被布置成以要作为基准的成像单元为中心的五边形形状。
(9)根据(6)所述的摄像装置，其中，
多个成像单元被布置成以要作为基准的成像单元为中心的六边形形状和十二边形形状。
(10)根据(9)所述的摄像装置，其中，
六边形形状和十二边形形状的边彼此相等。
(11)根据(1)至(10)中的任一项所述的摄像装置，其中，
多个成像单元和要作为基准的成像单元根据同一同步信号来获取图像。
(12)根据(11)所述的摄像装置，还包括：
存储单元，存储单元被配置成存储由多个成像单元和要作为基准的成像单元获得的图像；
读取控制单元，读取控制单元被配置成控制存储在存储单元中的图像的读取；以及
校正单元，校正单元被配置成校正通过读取控制单元的控制而读取的图像。
(13)根据(12)所述的摄像装置，还包括：
深度估计单元，深度估计单元被配置成：通过使用由校正单元校正的图像来估计由要作为基准的成像单元获得的图像的深度，并且生成图像的视差图像；以及
生成单元，生成单元被配置成：通过使用由深度估计单元生成的要作为基准的成像单元的视差图像以及由多个成像单元和要作为基准的成像单元获得的图像来生成超多视点图像。
(14)一种摄像方法，包括：
由多个成像单元和要作为基准的成像单元对来自不同视点的图像进行成像的步骤，多个成像单元被配置成使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准并根据基于不同素数的倒数的基线长度来布置。
附图标记列表
200 光场相机
230 基准相机
231至234 外围相机
250 基准相机
251至258 外围相机
270 基准相机
271至278 外围相机
290 基准相机
291至295 外围相机
310 基准相机
311至328 外围相机

Claims (14)

1.一种摄像装置，包括：
多个成像单元，多个成像单元被配置成使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准并根据基于不同素数的倒数的基线长度来布置。
2.根据权利要求1所述的摄像装置，其中，
基线长度是通过将不同素数的倒数乘以预定值而获得的值。
3.根据权利要求2所述的摄像装置，其中，
基线长度是作为水平方向上的基线长度的水平基线长度或作为垂直方向上的基线长度的垂直基线长度。
4.根据权利要求2所述的摄像装置，其中，
基线长度包括作为水平方向上的基线长度的水平基线长度和作为垂直方向上的基线长度的垂直基线长度。
5.根据权利要求1所述的摄像装置，其中，
多个成像单元和要作为基准的成像单元被布置成十字形状。
6.根据权利要求1所述的摄像装置，其中，
成像单元的数目等于或大于四，以及
通过连接三个或更多个相邻的成像单元而形成的形状的一部分是相同的。
7.根据权利要求6所述的摄像装置，其中，
多个成像单元被布置成以要作为基准的成像单元为中心的多边形形状。
8.根据权利要求6所述的摄像装置，其中，
多个成像单元被布置成以要作为基准的成像单元为中心的五边形形状。
9.根据权利要求6所述的摄像装置，其中，
多个成像单元被布置成以要作为基准的成像单元为中心的六边形形状和十二边形形状。
10.根据权利要求9所述的摄像装置，其中，
六边形形状和十二边形形状的边长彼此相等。
11.根据权利要求1所述的摄像装置，其中，
多个成像单元和要作为基准的成像单元根据同一同步信号来获取图像。
12.根据权利要求11所述的摄像装置，还包括：
存储单元，存储单元被配置成存储由多个成像单元和要作为基准的成像单元获得的图像；
读取控制单元，读取控制单元被配置成控制存储在存储单元中的图像的读取；以及
校正单元，校正单元被配置成校正通过读取控制单元的控制而读取的图像。
13.根据权利要求12所述的摄像装置，还包括：
深度估计单元，深度估计单元被配置成：通过使用由校正单元校正的图像来估计由要作为基准的成像单元获得的图像的深度，并且生成图像的视差图像；以及
生成单元，生成单元被配置成：通过使用由深度估计单元生成的要作为基准的成像单元的视差图像以及由多个成像单元和要作为基准的成像单元获得的图像来生成超多视点图像。
14.一种摄像方法，包括：
由多个成像单元和要作为基准的成像单元对来自不同视点的图像进行成像的步骤，多个成像单元被配置成使用当对来自不同视点的图像进行成像时要作为基准的成像单元的位置作为基准并根据基于不同素数的倒数的基线长度来布置。
CN201680009963.5A 2015-02-20 2016-02-08 摄像装置和摄像方法 Active CN107211085B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-032006 2015-02-20
JP2015032006 2015-02-20
PCT/JP2016/053716 WO2016132950A1 (ja) 2015-02-20 2016-02-08 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
CN107211085A true CN107211085A (zh) 2017-09-26
CN107211085B CN107211085B (zh) 2020-06-05

Family

ID=56692222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680009963.5A Active CN107211085B (zh) 2015-02-20 2016-02-08 摄像装置和摄像方法

Country Status (4)

Country Link
US (1) US20170359565A1 (zh)
JP (1) JP6645492B2 (zh)
CN (1) CN107211085B (zh)
WO (1) WO2016132950A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7107224B2 (ja) * 2016-11-08 2022-07-27 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6995494B2 (ja) * 2017-05-02 2022-01-14 キヤノン株式会社 信号処理装置
JP6717272B2 (ja) * 2017-08-01 2020-07-01 トヨタ自動車株式会社 車外報知装置
JP6690612B2 (ja) * 2017-08-03 2020-04-28 トヨタ自動車株式会社 車外報知装置
JP7035447B2 (ja) 2017-10-26 2022-03-15 トヨタ自動車株式会社 車両制御装置
US10375378B2 (en) * 2017-12-12 2019-08-06 Black Sesame International Holding Limited Dual camera system for real-time depth map generation
DE102017130897A1 (de) 2017-12-21 2019-06-27 Pilz Gmbh & Co. Kg Verfahren zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs
JP2019158759A (ja) * 2018-03-15 2019-09-19 株式会社リコー 撮像装置、車両、及び撮像方法
JP7150508B2 (ja) * 2018-07-24 2022-10-11 株式会社東芝 鉄道車両用撮像システム
US10623660B1 (en) 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
DE102021104947B4 (de) * 2021-03-02 2023-05-25 Gerhard Schubert Gesellschaft mit beschränkter Haftung Scanner, damit ausgestattete Ermittlungs-Vorrichtung sowie Verfahren für deren Betrieb
WO2024004190A1 (ja) * 2022-06-30 2024-01-04 富士通株式会社 ３次元位置算出方法、装置、及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57175206A (en) * 1981-04-22 1982-10-28 Canon Inc Distance measuring device
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101936731A (zh) * 2009-06-29 2011-01-05 （株）赛丽康 获取3d距离信息和图像的装置
WO2011036813A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 立体映像表示方法及び立体映像表示装置
CN102135722A (zh) * 2010-01-05 2011-07-27 索尼公司 摄像机结构、摄像机系统和方法
US20110187827A1 (en) * 2010-01-29 2011-08-04 Sony Corporation Method and apparatus for creating a stereoscopic image
CN102157012A (zh) * 2011-03-23 2011-08-17 深圳超多维光电子有限公司 对场景进行立体渲染的方法、图形图像处理装置及设备、系统
CN102823231A (zh) * 2010-03-30 2012-12-12 松下电器产业株式会社 摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法
US8368690B1 (en) * 2011-07-05 2013-02-05 3-D Virtual Lens Technologies, Inc. Calibrator for autostereoscopic image display
CN103181173A (zh) * 2010-10-27 2013-06-26 松下电器产业株式会社 三维图像处理装置、三维摄像装置以及三维图像处理方法
US20140063193A1 (en) * 2012-08-31 2014-03-06 Wayne Martin Williams Natural 3D Motion For Film And Video

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009912B1 (en) * 1989-10-30 2006-03-07 Northrop Grumman Corporation Method and system for detection of broadband energy
JP3827912B2 (ja) * 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP2011061684A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 固体撮像素子及びその駆動方法並びに撮像装置
US9222767B2 (en) * 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
JP5701785B2 (ja) * 2012-02-03 2015-04-15 株式会社東芝 カメラモジュール
US9373183B2 (en) * 2012-11-15 2016-06-21 Honeywell International Inc. Removing an occlusion from an image
US9083873B1 (en) * 2013-03-28 2015-07-14 Google Inc. Devices and methods for providing multi-aperture lens functionality
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9967538B2 (en) * 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
JP2015128131A (ja) * 2013-11-27 2015-07-09 ソニー株式会社 固体撮像素子および電子機器
TWM545271U (zh) * 2017-02-09 2017-07-11 Largan Digital Co Ltd 雙鏡頭驅動裝置與電子裝置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57175206A (en) * 1981-04-22 1982-10-28 Canon Inc Distance measuring device
CN101936731A (zh) * 2009-06-29 2011-01-05 （株）赛丽康 获取3d距离信息和图像的装置
WO2011036813A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 立体映像表示方法及び立体映像表示装置
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN102135722A (zh) * 2010-01-05 2011-07-27 索尼公司 摄像机结构、摄像机系统和方法
US20110187827A1 (en) * 2010-01-29 2011-08-04 Sony Corporation Method and apparatus for creating a stereoscopic image
CN102823231A (zh) * 2010-03-30 2012-12-12 松下电器产业株式会社 摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法
CN103181173A (zh) * 2010-10-27 2013-06-26 松下电器产业株式会社 三维图像处理装置、三维摄像装置以及三维图像处理方法
CN102157012A (zh) * 2011-03-23 2011-08-17 深圳超多维光电子有限公司 对场景进行立体渲染的方法、图形图像处理装置及设备、系统
US8368690B1 (en) * 2011-07-05 2013-02-05 3-D Virtual Lens Technologies, Inc. Calibrator for autostereoscopic image display
US20140063193A1 (en) * 2012-08-31 2014-03-06 Wayne Martin Williams Natural 3D Motion For Film And Video

Also Published As

Publication number Publication date
US20170359565A1 (en) 2017-12-14
JP6645492B2 (ja) 2020-02-14
JPWO2016132950A1 (ja) 2017-11-30
WO2016132950A1 (ja) 2016-08-25
CN107211085B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN107211085A (zh) 摄像装置和摄像方法
CN111033571B (zh) 图像处理设备和图像处理方法
CN109076163A (zh) 成像控制装置、成像控制方法以及成像装置
JPWO2017159382A1 (ja) 信号処理装置および信号処理方法
EP3606057B1 (en) Image processing device and image processing method
CN109196557A (zh) 图像处理装置、图像处理方法和车辆
CN109844813A (zh) 图像处理装置和图像处理方法
CN108139202A (zh) 图像处理装置、图像处理方法和程序
CN109565550A (zh) 成像设备和成像方法
EP3585045B1 (en) Information processing device, information processing method, and program
US10748264B2 (en) Image processing apparatus and image processing method
WO2018150685A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN109155824A (zh) 图像处理设备和图像处理方法以及学习设备和学习方法
CN109891463A (zh) 图像处理设备和图像处理方法
CN109076167A (zh) 图像处理器、摄像装置和图像处理系统
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
WO2018042815A1 (ja) 画像処理装置と画像処理方法
WO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
JPWO2018034157A1 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2018011246A (ja) 固体撮像装置、補正方法、および電子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant