CN107483774B - 拍摄装置以及车辆 - Google Patents

拍摄装置以及车辆 Download PDF

Info

Publication number
CN107483774B
CN107483774B CN201710096168.0A CN201710096168A CN107483774B CN 107483774 B CN107483774 B CN 107483774B CN 201710096168 A CN201710096168 A CN 201710096168A CN 107483774 B CN107483774 B CN 107483774B
Authority
CN
China
Prior art keywords
image
distance
sensor
filter
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710096168.0A
Other languages
English (en)
Other versions
CN107483774A (zh
Inventor
佐佐木贵之
森内优介
三岛直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN107483774A publication Critical patent/CN107483774A/zh
Application granted granted Critical
Publication of CN107483774B publication Critical patent/CN107483774B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)

Abstract

提供拍摄装置以及车辆。目的在于更高精度地取得距离信息。拍摄装置具备第1图像传感器、第2图像传感器、第1滤波区域、第1距离算出部以及第2距离算出部。第1图像传感器具有第1传感器和第2传感器，第1传感器接收第1波段的光并输出对象图像，第2传感器接收第2波段的光并输出基准图像。第1滤波区域透射第3波段的第1光，第3波段包括第1波段的至少一部分。第2图像传感器输出第1图像。第1距离算出部基于对象图像和基准图像，算出到对象图像和基准图像所包含的被拍摄对象的第1距离。第2距离算出部基于基准图像和第1图像，算出到基准图像和第1图像所包含的被拍摄对象的第2距离。

Description

拍摄装置以及车辆
技术领域
本发明的实施方式涉及拍摄装置以及车辆。
背景技术
已知从在不同位置拍摄到的两张图像中取得距离信息的技术。在该技术中，例如使用配置于不同位置的两个摄像头(camera)，拍摄拍到被拍摄对象(被摄物体)的图像。另外，从两张图像中求得具有相同特征的像素的对应关系，并利用三角测量的原理根据视差量和摄像头的位置关系来求得到被拍摄对象的距离。通过对所有特征计算距离，能够从两张图像中取得距离信息。
发明内容
然而，在现有技术中，存在无法高精度地取得距离信息的情况。例如，在与对极(epipolar)平面平行的直线上分布有多个同样的特征的情况下，特征没有差异，对应关系变得不确定，难以取得距离。
实施方式的拍摄装置具备第1图像传感器、第2图像传感器、第1滤波区域、第1距离算出部以及第2距离算出部。第1图像传感器具有第1传感器和第2传感器，第1传感器接收第1波段的光并输出对象图像，第2传感器接收第2波段的光并输出基准图像。第1滤波区域透射第3波段的第1光，第3波段包括第2波段的至少一部分。第2图像传感器输出第1图像。第1距离算出部基于对象图像和基准图像，算出到对象图像和基准图像所包含的被拍摄对象的第1距离。第2距离算出部基于基准图像和第1图像，算出到基准图像和第1图像所包含的被拍摄对象的第2距离。
根据上述拍摄装置，能够更高精度地取得距离信息。
附图说明
图1是第1实施方式涉及的拍摄装置的硬件结构图。
图2是对根据三角测量来取得距离的方法进行说明的图。
图3是对使用对极几何的搜索方法进行说明的图。
图4是对立体视觉的问题点进行说明的图。
图5是第1实施方式涉及的拍摄装置的功能框图。
图6是第1实施方式中的图像处理的流程图。
图7是第1实施方式中的第1传感器图像取得处理的流程图。
图8是第1实施方式中的第1距离图像生成处理的流程图。
图9是表示第1实施方式涉及的滤波区域的构成例的图。
图10是表示第1实施方式涉及的滤波区域的透射率特性的例子的图。
图11是对第1实施方式涉及的到被拍摄对象的距离与模糊函数的形状之间的关系进行说明的图。
图12是表示第1实施方式涉及的基准图像的模糊函数的例子的图。
图13是表示第1实施方式涉及的对象图像的模糊函数的例子的图。
图14是表示第1实施方式涉及的模糊修正核(kernel)的例子的图。
图15是表示包括第3滤波区域的滤波器的构成例的图。
图16是表示包括第3滤波区域的滤波器的构成例的图。
图17是表示包括第3滤波区域的滤波器的构成例的图。
图18是表示包括第3滤波区域的滤波器的构成例的图。
图19是表示包括第3滤波区域的滤波器的构成例的图。
图20是表示包括第3滤波区域的滤波器的构成例的图。
图21是第2实施方式涉及的拍摄装置的功能框图。
图22是表示第2实施方式涉及的滤波区域的构成例的图。
图23是表示对极线的方向发生变化的情况的图。
图24是第3实施方式涉及的拍摄装置的功能框图。
图25是第3实施方式中的修正信息的算出处理的流程图。
图26是第3实施方式中的图像处理的流程图。
图27是表示对汽车搭载了拍摄装置的例子的图。
标号说明
10a、10b：透镜 20a、20b：图像传感器
30：CPU 40：HDD
50：显示器 60：存储卡插槽
100、100-2、100-3：拍摄装置 110：滤波器
121、122、123：传感器 130：图像处理部
131：传感器控制部 132、133：距离算出部
134：输出控制部 140-3：修正信息算出部
具体实施方式
下面，参照附图，详细地说明本发明涉及的拍摄装置的优选的实施方式。
(第1实施方式)
第1实施方式涉及的拍摄装置除了由使用两个图像传感器的立体视觉进行的距离算出以外，还通过DFD(Depth from Defocus，散焦测距)，根据1个图像传感器算出距离。根据本实施方式的DFD，可基于由接收不同波段的光的两个以上的传感器所生成的多个传感器图像的模糊形状(defocusing shape)的差异，算出距离。透射不同波段的光的多个滤波器所排列的方向设为与立体视觉的基线的方向不同的方向(例如正交的方向)。由此，能够更高精度地算出距离。
图1是表示第1实施方式涉及的拍摄装置100的硬件构成例的框图。如图1所示，拍摄装置100具有透镜10a、透镜10b、图像传感器20a(第1图像传感器)、图像传感器20b(第2图像传感器)、CPU(Central Processing Unit，中央处理单元)30、HDD(Hard Disk Drive，硬盘装置)40、显示器50以及存储卡插槽60。
图像传感器20a、图像传感器20b、CPU30、HDD40、显示器50以及存储卡插槽60例如通过总线连接。拍摄装置100拍摄包含成为拍摄对象的任意的被拍摄对象的图像，生成包含到被拍摄对象的距离的距离信息。
透镜10a入射因拍摄而由被拍摄对象反射的光，具备透射所入射的光的滤波器(彩色滤光片)。例如，透镜10a在所入射的光聚集时，根据滤波器的颜色，透射特定波段的光。经过滤波器的光到达图像传感器20a。由此，通过图像传感器20a拍摄的多种传感器图像的模糊函数(PSF：Point Spread Function，点扩散函数)的形状根据滤波器而变更。
图像传感器20a接收经过透镜10a的光。例如，图像传感器20a具有接收互不相同的波段(第1波段、第2波段)的光的两个以上的传感器，生成对象图像和基准图像，对象图像是因光经过滤波器而模糊函数变更为非点对称所得到的，基准图像是至少一种以上的传感器图像。第1波段也可以包括第2波段的一部分。两个以上的传感器指的是，例如RGB传感器中的、R和G、G和B、R和B、R和G和B等两个以上的组合。例如，两个以上的传感器中的、某个传感器(传感器121、第1传感器)生成对象图像，其他传感器(传感器122、第2传感器)生成基准图像。在对图像传感器20a的受光面均匀地设置有各传感器的像素。
图像传感器20a例如是CCD(Charge Coupled Device，电荷藕合器件)图像传感器以及CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器等。作为一种方式，图像传感器20a具有接收红色光的传感器(R传感器)、接收绿色光的传感器(G传感器)以及接收蓝色光的传感器(B传感器)，通过各个传感器接收对应波段的光，生成拍摄图像(R图像、G图像、B图像)。
透镜10a也可以具备开口部。另外，滤波器只要设置于拍摄装置100的光学系统的某一方即可。例如，拍摄装置100的光学系统指的是透镜10a、图像传感器20a等。即，滤波器也可以设置于透镜的内部和/或开口部、或者透镜10a与图像传感器20a之间。在所入射的光聚集时，根据滤波器的颜色，透射特定波段的光。以下，列举在透镜10a的开口部具备滤波器的情况为例进行说明。
开口部在任意的开口尺寸φ(0<φ≤φMAX，φMAX是开口的最大直径长)下原点对称。通过调整开口尺寸，能够调整进入图像传感器20a的光量。例如，也可以对透镜设置用户能够物理调整尺寸的机构。也可以为，对计算机或者便携终端安装软件(应用)，由用户经由计算机或者便携终端等向拍摄装置100输入信息。
透镜10b入射因拍摄而由被拍摄对象反射的光，并输出给图像传感器20b。图像传感器20b具有接收任意波段的光的传感器。例如，图像传感器20b是CCD图像传感器和/或CMOS图像传感器等。作为一种方式，图像传感器20b具有接收红色光的传感器(R传感器)、接收绿色光的传感器(G传感器)以及接收蓝色光的传感器(B传感器)，通过各个传感器接收对应波段的光，生成拍摄图像(R图像、G图像、B图像)。另外，图像传感器20b也可以是至少具有R、G、B传感器中的任意一方的图像传感器。
CPU30对拍摄装置100的工作进行统一控制。具体而言，CPU30执行存储于HDD40等的程序，对拍摄装置100整体的工作进行控制。例如，CPU30从由图像传感器20a和图像传感器20b生成的拍摄图像，算出到被拍摄对象的距离图像，生成距离信息。另外，CPU30从拍摄图像和距离图像，生成用于向用户提示的显示图像。
HDD40是能够进行改写的非易失性存储设备。例如，HDD40存储与拍摄装置100的控制有关的程序和/或各种数据等。也可以代替HDD40或者与HDD40一起，具备RAM(RandomAccess Memory)、ROM(Read Only Memory)以及NAND型闪存等其他存储介质。
存储卡插槽60是移动存储介质的接口。例如，在存储卡插槽60中，可以插入SD存储卡和/或SDHC存储卡等移动存储介质。显示器50显示各种信息和/或图像(拍摄图像和/或距离图像等)。例如，显示器50是液晶显示器和/或触摸面板等。
使用图2，说明从两个摄像头根据三角测量来取得到被拍摄对象的距离的方法。图2表示了两个摄像头(设为摄像头C1、摄像头C2)观测某个具有三维坐标的点P的情况。但是，此处为了简单起见，设摄像头C1和摄像头C2的关系是，相互姿态为相同朝向，且在X轴方向上分开一定的基线长度B。此时，到摄像头C1和摄像头C2的距离D通过使用在各摄像头的拍摄位置hR、hL以及摄像头的焦距f并根据下式来算出。
(hR-hL):f＝B:(D-f)
为了从上式中求取距离D，需要检测拍摄面上的视差(hR－hL)。取得左右的摄像头图像的对应关系的方法主要可列举基于全面搜索的模板匹配和使用对极约束(epipolarconstraints)的搜索手法。如果使用对极几何，与全面搜索相比能够使搜索时间大幅度减少。对极几何指的是以下性质：存在于三维空间上的点映入左右的摄像头时，在一方的摄像头上的点的投影被约束在作为另一方的摄像头的直线上。此时，包含所求取的三维的点和两个摄像头的位置的平面被称为对极平面。与对极平面对应的对极线投影在各摄像头图像上。
利用图3对使用对极几何的搜索方法进行说明。考虑寻找映入摄像头C1的点XL在摄像头C2中的对应点这一情况。若假定已知摄像头C1、摄像头C2的位置姿态，则XL在三维空间上的点可以限定在连接摄像头C1的位置和XL的直线上。例如，将该直线上的各点(例如P0、P1、P2)投影于摄像头C2，投影出的点中的、左右的匹配代价最小的点成为与XL对应的XR。在图3的情况下，作为与XR对应的直线上的点，可获得P1。
包含摄像头C1的位置、P1以及摄像头C2的位置的平面是对极平面S。摄像头C2和对极平面S相交的线是对极线。对于摄像头C1也同样可获得对极线。即，各点的对应能够通过对极线的一维搜索来实现高速化。
在立体视觉中，存在原理上无法取得距离信息的特征。使用图4，说明立体视觉的问题点。设拍摄如图4所示的具有横边(edge)的图案，求取摄像头图像I1的部分图像PI1所对应的摄像头图像I2内的部分图像的位置。在该情况下，即使在搜索方向SD上进行搜索，由于对极平面上存在多个同样的特征(在图4的例子中为横边)，因此也无法唯一地确定对应关系，距离变得不确定。在图4中，示出了部分图像PI2、PI3作为能与部分图像PI1对应的图像的例子。
这是不依赖于左右摄像头的位置姿态的不同的、立体视觉的原理上的问题之一。如此，在立体视觉中，存在于对极平面上的特征在原理上无法取得距离。
在本实施方式中，使用通过立体摄像头中的至少一方摄像头所拍摄的图像，对与立体的基线长度方向不同的方向，进行与立体视觉相当的距离推定。由此，能够进行以往无法检测出的特征的距离推定，实现距离取得的高精度化。
图5是表示第1实施方式涉及的拍摄装置100的功能构成例的框图。如图5所示，拍摄装置100具有透镜10a、透镜10b、图像传感器20a、图像传感器20b以及图像处理部130。
透镜10a例如在开口部具备滤波器110。滤波器110具有透射特定波段的光的滤波区域111(第1滤波区域)。滤波器110也可以还具有滤波区域112(第2滤波区域)。滤波区域111入射入射到透镜或开口的全部光中的一部分，透射特定波段的光。例如滤波区域111透射包括第2波段的至少一部分的第3波段的光。透过滤波区域111的光是入射到图像传感器20a的光的一部分。
滤波区域112入射入射到透镜或开口的全部光中的一部分，透射特定波段的光。例如滤波区域112透射包括第2波段的至少一部分的第4波段的光。透过滤波区域112的光是入射到图像传感器20a的光的一部分。例如滤波区域111是透射红色光和绿色光的黄色滤波器(Y滤波器)。滤波区域112是透射与滤波区域111不同波段的光的滤波器。滤波区域111和滤波区域112所透射的颜色的组合不限于此。
透镜10a在所入射的光聚集时，根据滤波器110的颜色，透射特定波段的光。经过滤波器110以及透镜10a的光到达图像传感器20a。
图像传感器20a接收经过透镜10a以及滤波器110的光。图像传感器20a具备传感器121、传感器122以及传感器123。例如传感器121、传感器122以及传感器123分别为R传感器、G传感器以及B传感器。图像传感器20a基于由这些传感器接收到的光，输出第1传感器图像。第1传感器图像包括上述的基准图像以及对象图像。关于基准图像以及对象图像的详细内容，将在后面进行说明。
透镜10b聚集所入射的光，输出给图像传感器20b。图像传感器20b接收经过透镜10b的光。图像传感器20b基于所接收到的光，输出第2传感器图像(第1图像)。
图像处理部130具有传感器控制部131、距离算出部132(第1距离算出部)、距离算出部133(第2距离算出部)以及输出控制部134。此外，关于传感器控制部131、距离算出部132、距离算出部133以及输出控制部134，它们的一部分或全部既可以通过软件(程序)来实现，也可以通过硬件电路来实现。此外，以下，列举图像传感器20a以及图像传感器20b具有RGB传感器的情况为例进行说明，但传感器的波段不限于此。
传感器控制部131控制图像传感器20a，取得对象图像和基准图像，对象图像是模糊函数变更为非点对称所得到的，基准图像是至少一种以上的传感器图像。
距离算出部132将第1传感器图像作为输入，算出到映在图像中的被拍摄对象的距离，输出表示距离的距离图像(第1距离图像)。例如距离算出部132通过求取多个模糊修正核中的、作为附加了模糊的对象图像的修正图像与基准图像之间的相关更高的模糊修正核，算出到被拍摄对象的距离，输出第1距离图像。多个模糊修正核是对对象图像附加各不相同的模糊的函数。
距离算出部133将第1传感器图像和第2传感器图像作为输入，算出到映在图像中的被拍摄对象的距离，输出表示距离的距离图像(第2距离图像)。
输出控制部134将第1距离图像和第2距离图像作为输入，生成并输出距离信息。距离信息是表示基于由距离算出部132以及距离算出部133双方所获得的距离(距离图像)而求得的、到被拍摄对象的距离的信息。距离信息是用由距离算出部133取得的信息来对距离算出部132因对极平面的问题而没能取得的信息进行了补充的信息。或者距离信息是用由距离算出部132取得的信息来对距离算出部133因对极平面的问题而没能取得的信息进行了补充的信息。另外，距离信息例如可以是第1距离图像和第2距离图像的加权平均的图像，也可以是分别包含第1距离图像和第2距离图像的信息。另外，也可以将以列表结构包含各距离图像的数据的信息作为距离信息进行输出。距离信息也可以是表示距离的数值。
接着，使用图6，对根据如上所述构成的第1实施方式涉及的拍摄装置100的图像处理进行说明。图6是表示第1实施方式中的图像处理的一例的流程图。此外，以下，列举图像传感器20a以及图像传感器20b具有RGB传感器的情况为例进行说明，但图像传感器20a以及图像传感器20b的波段不限于此。
首先，执行第1传感器图像取得处理，该处理取得由透镜10a以及图像传感器20a生成的图像(步骤S101)。接着，执行第1距离图像生成处理，该处理基于第1传感器图像来生成距离图像(步骤S102)。将在后面对第1传感器图像取得处理以及第1距离图像生成处理的详细内容进行说明。
与步骤S101以及步骤S102并行地，执行第2传感器图像取得处理，该处理取得由透镜10b以及图像传感器20b生成的图像(步骤S103)。在第2传感器图像取得处理中，图像传感器20b接收经过透镜10b的光，生成并输出第2传感器图像。
接着，执行第2距离图像生成处理，该处理基于第1传感器图像以及第2传感器图像来生成距离图像(步骤S104)。在第2距离图像生成处理中，距离算出部133使用图像传感器20a与图像传感器20b之间的基线长度、第1传感器图像以及第2传感器图像来进行立体测距，求取每个像素的到摄像头(图像传感器20a、图像传感器20b)的距离，生成第2距离图像。
输出控制部134将第1距离图像和第2距离图像作为输入，生成并输出距离信息(步骤S105)。
图7是表示第1实施方式中的第1传感器图像取得处理的一例的流程图。以下，以滤波区域111是Y滤波器、滤波区域112是三色透射滤波器的情况为例进行说明。
首先，滤波区域111(Y滤波器)透射红色光和绿色光(步骤S201)。滤波区域112透射红色光、绿色光和蓝色光(步骤S202)。
传感器121接收红色光，生成传感器图像之一的R图像(步骤S203)。传感器122接收绿色光，生成传感器图像之一的G图像(步骤S204)。传感器123接收蓝色光，生成传感器图像之一的B图像(步骤S205)。
传感器控制部131取得第1传感器图像，该第1传感器图像包含由传感器121生成的R图像、由传感器122生成的G图像以及由传感器123生成的B图像(步骤S206)。
接着，对使用第1传感器图像所包含的基准图像和对象图像、以及第1传感器图像的第1距离图像生成处理进行说明。图8是表示第1实施方式中的第1距离图像生成处理的一例的流程图。
首先，通过因拍摄而由被拍摄对象反射的光经过滤波器110，由图像传感器20a观测的传感器图像中的、至少一种以上的传感器图像的模糊函数被变更为非点对称。滤波器110的滤波区域通过使由图像传感器20a所接收的光中的、任意种类的光衰减和/或使光线的聚光的分布产生偏差，能够变更传感器图像的模糊函数。
图9是表示第1实施方式涉及的滤波区域的构成例的图。如图9所示，滤波器110的滤波区域中的滤波区域111构成为，在以光学中心即滤波区域的中心点902(重心位置的点)为对称点时，不成为点对称形。在图9所示出的例子中，将滤波区域中的、黄色滤波器(Y滤波器)设为滤波区域111，将不是滤波区域111的滤波区域设为滤波区域112。即，作为滤波区域111的黄色滤波(Y滤波器)区域在以光学中心为对称点时，不成为点对称形。滤波区域112作为透射红色光、绿色光和蓝色光的滤波器，与滤波区域111同样地，在以光学中心为对称点时，不成为点对称形。
对向开口部配置滤波器110的方法进行说明。将滤波区域111的重心设为第1重心901，将滤波区域112的重心设为第2重心903，将连接这两点的直线称作直线L。此时，配置滤波器110以使得直线L的朝向与基线方向(图9的X轴方向)不一致。另外，将重心间距离设为0以外的正数。在图9的例子中，直线L与X轴呈垂直关系，重心间距离是滤波区域的半径的大致一半。
图10是表示第1实施方式涉及的滤波区域111(Y滤波器)的透射率特性的例子的图。如图10所示，滤波区域111(Y滤波器)透射红色光和绿色光，使蓝色光衰减。此外，滤波区域111也可以是对任意波段的透射率进行变更的滤波器、使任意方向的偏振光经过的偏振滤波器(偏振板)、使任意波段的聚光功率(light collection power)变更的微透镜。例如，对任意波段的透射率进行变更的滤波器也可以是原色滤波器(RGB)、补色滤波器(CMY)、色彩修正滤波器(CC-RGB/CMY)、红外线/紫外线截止滤波器、ND滤波器、屏蔽板。在滤波区域111是微透镜的情况下，通过由透镜10a进行的光线的聚光的分布中产生偏差，模糊函数发生变化。
此外，在滤波器110中，只要不会成为点对称形，也可以存在任意区域数的滤波区域。另外，滤波器110也可以由对多个传感器图像的模糊函数进行变更的一个滤波区域来构成。
另外，滤波区域111优选是将滤波器110用任意的直线分割出的形状，直线优选是经过光学中心的直线。只要是将滤波器110用任意的直线分割出的形状，则能够削减后述的模糊修正滤波器的维数。另外，只要直线经过光学中心，则即使在插入了用于调整光量的屏蔽物等光圈机构(diaphragm mechanism)的情况下，也能够构成能够变更传感器图像的模糊函数的结构。
图像传感器20a接收透过滤波器110的滤波区域的光中的、在任何滤波区域都没有衰减而经过了的光，生成基准图像。由此，传感器控制部131取得由图像传感器20a生成的基准图像(步骤S301)。所谓任何滤波区域，在图9所示出的例子中，指的是滤波区域111和滤波区域112。基准图像的模糊函数在经过滤波区域前后少有变化。在图9所示出的滤波区域的情况下，由图像传感器20a接收并不衰减而经过作为滤波区域111的黄色滤波(Y滤波器)的红色光和绿色光、以及任何颜色的光都没有被滤波区域112衰减而经过了的光，因此，R图像和G图像成为基准图像。R图像和G图像具有圆形的模糊函数，模糊形状呈圆形形状。
另外，图像传感器20a接收透过滤波器110的滤波区域的光中的、因经过滤波区域111而模糊函数被变更的光，生成对象图像。由此，传感器控制部131取得由图像传感器20a生成的对象图像(步骤S302)。对象图像的模糊函数通过滤波区域111变化为非点对称形。在图9所示出的滤波区域的情况下，由图像传感器20a接收通过作为滤波区域111的黄色滤波(Y滤波器)区域而以衰减的方式经过了的蓝色光，因此，B图像成为对象图像。即，经过滤波器110的滤波区域的蓝色光中的、经过滤波区域111的蓝色光被吸收、经过滤波区域112的蓝色光不被吸收而经过。因此，在图9所示出的滤波器110的情况下，对象图像的模糊函数在经过滤波区域前后从圆形形状变更为半圆形形状，成为半圆形形状的模糊形状。
图11是说明第1实施方式涉及的到被拍摄对象的距离与模糊函数的形状之间的关系的图。如图11所示，在映在图像中的被拍摄对象的位置比焦点位置远的“d>0”的情况下，对象图像与基准图像相比被拍摄为模糊偏向左侧。另外，在映在图像中的被拍摄对象的位置比焦点位置近的“d<0”的情况下，对象图像与基准图像相比被拍摄为模糊偏向右侧。另外，在映在图像中的被拍摄对象的位置位于焦点位置的“d＝0”的情况下，对象图像和基准图像都被拍摄为没有模糊的图像。在本实施方式中，利用这样的特性，算出拍摄现场的距离。
另外，距离算出部132基于由传感器控制部131取得的对象图像和基准图像，通过对对象图像附加不同的模糊，生成对对象图像的模糊形状进行了修正的修正图像(步骤S303)。如上所述，根据到映在图像中的被拍摄对象的距离d，对象图像和基准图像的模糊形状发生变化。在本实施方式中，假定到映在图像中的被拍摄对象的距离是任意的距离d，使用制作出的多个模糊修正核，生成对对象图像的模糊形状进行了修正的修正图像，求取使所生成的修正图像与基准图像之间的相关更高的距离d，由此，算出到被拍摄对象的距离。此外，关于计算修正图像与基准图像之间的相关的手法，将在后面进行说明。
在此，若将从映在拍摄图像Ix中的被拍摄对象到摄像头的焦点位置的距离设为d，则拍摄图像Ix可以使用模糊少的理想的拍摄图像Iy和拍摄图像的模糊函数f(d)，通过(式1)来表示。
Ix＝f(d)*Iy (式1)
拍摄图像的模糊函数f(d)根据拍摄装置100的开口形状和距离d来决定。关于距离d，如上所述，以焦点位置为基准，在被拍摄对象比焦点位置远的情况下表示为“d>0”，在被拍摄对象比焦点位置近的情况下表示为“d<0”。图12是表示第1实施方式涉及的基准图像的模糊函数的例子的图。如图12所示，在图9所示出的滤波区域的情况下，开口形状是点对称形的圆形形状，因此，模糊函数f(d)的形状在焦点位置的前后没有变化，模糊函数f(d)可以表达为模糊的宽度根据距离d的大小|d|而变化的高斯函数。此外，模糊函数f(d)也可以表达为模糊的宽度根据距离d的大小|d|而变化的圆柱面函数(Pillbox function)。
基准图像Ixr与(式1)同样地，可以使用根据开口形状和滤波区域的特性而决定的模糊函数fr(d)，通过(式2)来表示。
Ixr＝fr(d)*Iy (式2)
另外，对象图像Ixo与(式1)同样地，可以使用根据开口形状和滤波区域的特性而决定的模糊函数fo(d)，通过(式3)来表示。
Ixo＝fo(d)*Iy (式3)
在图9所示出的滤波区域的情况下，基准图像不受滤波区域111的影响，因此，成为fr(d)＝f(d)。另外，fo(d)由于在滤波区域111的光衰减的影响，在作为焦点位置的d＝0的前后变化为不同形状。图13是表示第1实施方式涉及的对象图像的模糊函数的例子的图。如图13所示，对象图像的模糊函数fo(d)在被拍摄对象较焦点位置位于远处的d>0的情况下，在x>0处根据在滤波区域111的光衰减，成为所衰减的模糊的宽度|d|的高斯函数。另外，对象图像的模糊函数fo(d)在被拍摄对象较焦点位置位于近处的d<0的情况下，在x<0处根据在滤波区域111的光衰减，成为所衰减的模糊的宽度|d|的高斯函数。
在此，对对象图像Ixo赋予模糊，将用于使对象图像Ixo的模糊形状与基准图像Ixr的模糊形状一致的模糊函数定义为模糊修正核fc(d)。模糊修正核fc(d)可以通过(式4)来表示。
Ixr＝fc(d)*Ixo (式4)
(式4)的模糊修正核fc(d)可以根据(式2)～(式4)，使用基准图像Ixr的模糊函数fr(d)、对象图像Ixo的模糊函数fo(d)通过(式5)来表示。
Figure GDA0002467131590000141
(式5)的fo -1(d)是对象图像的模糊函数fo(d)的逆滤波器。由此，模糊修正核fc(d)能够根据基准图像Ixr和对象图像Ixo的模糊函数来解析并算出。另外，对象图像Ixo的模糊形状能够使用模糊修正核fc(d)，修正为设想了任意的距离d的各种模糊形状。
图14是表示第1实施方式涉及的模糊修正核的例子的图。此外，图14所示的模糊修正核是使用了图9所示出的滤波区域的情况下的模糊修正核。如图14所示，在将滤波区域设定为用任意的直线分割出的形状的情况下，模糊修正核fc(d)经过所分割出的线段的中心点，相对于该线段分布于垂直方向的直线上(直线附近)。在此，若将使用任意的距离d下的模糊修正核fc(d)来修正对象图像Ixo的模糊形状而得到的修正图像设为Ix^o(d)，则修正图像Ix^o(d)可以通过(式6)来表示。此外，“Ix^”是数式中的Ix估计值(hat)。
Figure GDA0002467131590000142
返回到图8，距离算出部132对所生成的修正图像Ix^o(d)与基准图像Ixr进行比较，判定修正图像Ix^o(d)和基准图像Ixr的模糊形状是否一致(步骤S304)。距离算出部132在修正图像Ix^o(d)和基准图像Ixr的模糊形状一致的情况下(步骤S304：是)，结束处理。另一方面，距离算出部132在修正图像Ix^o(d)和基准图像Ixr的模糊形状不一致的情况下(步骤S304：否)，重新执行步骤S303的处理。即，距离算出部132通过拍摄图像的各像素来求取修正图像Ix^o(d)和基准图像Ixr的模糊形状最一致的距离d。所谓一致，并非仅为模糊形状完全一致，例如也可以包括一致度小于预定的阈值的情况(后述)。对于模糊形状的一致度，计算以各像素为中心的任意尺寸的矩形区域内的修正图像Ix^o(d)与基准图像Ixr的相关即可。对于该模糊形状的一致度的计算，使用已有的相似度评价手法即可。由此，距离算出部132通过修正图像Ix^o(d)和基准图像Ixr求取相关最高的距离d，算出到映在各像素中的被拍摄对象的距离。
例如，对于已有的相似度评价手法，利用SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-meanNormalized Cross-Correlation)、Color Alignment Measure(色彩序列测量)等即可。在本实施方式中，利用Color Alignment Measure，其利用了自然图像的颜色成分具有在局部有线性关系的特性。
在Color Alignment Measure中，根据以拍摄图像的对象像素为中心的局部区域的颜色分布的方差，算出表示相关关系的指标L。在根据由图像传感器20a拍摄的基准图像Ixr、和假定了距离d的修正图像Ix^o(d)所生成的RGB图像的以各像素为中心的局部区域中，算出指标L(d)。在图9所示出的滤波区域的情况下，在通过将由图像传感器20a拍摄的R图像、G图像和B图像用距离d的模糊修正核进行修正得到的修正图像B^(d)所生成的彩色图像的各像素中，通过(式7)算出指标L(d)。此外，“B^”是数式中的B估计值。
Figure GDA0002467131590000151
在(式7)中，λ0、λ1、λ2是沿着图像的颜色分布的主成分轴的方差(图像的协方差矩阵的特征值)。另外，在(式7)中，σR 2、σG 2、σB 2是沿着图像的颜色分布的R轴、G轴、B轴的方差。因此，表示指标L(d)越小，彩色图像的一致度越高。由此，在步骤S304中，距离算出部132判定指标L(d)是否小于阈值，如果指标L(d)小于阈值则结束对象像素的距离推定。距离算出部132在指标L(d)大于等于阈值时返回至步骤S303的处理，生成不同距离d的修正图像。此外，对于到映在各像素中的被拍摄对象的距离的算出，也可以并非通过使用阈值的条件判定，而是算出假定的所有距离d的指标L(d)，并求取指标L(d)成为最小的距离d。另外，例如，对于距离图像，作为求出了到各被拍摄对象的距离的结果，生成被拍摄对象越靠前越亮、被拍摄对象越靠里越暗的图像。
如上所述，通过生成修正图像，求取使所生成的修正图像与基准图像的相关更高的距离d，从而算出到映在图像中的被拍摄对象的距离，所述修正图像通过假定了距离d的模糊修正核对对象图像的模糊形状进行修正而得到，对象图像的模糊形状根据设置于拍摄装置100的光学系统的滤波区域而变更。根据本实施方式，使用模糊函数和取样位置一致的图像的相关来算出距离，因此，能够实现高精度的距离推定。另外，根据本实施方式，由于利用作为空间信息的卷积结果的模糊信息，因此，距离推定的结果稳定，不会产生重复模式(repetitive patterns)和阴面(shade formation)问题，而能够实现高精度的距离推定。
另外，能够对由立体视觉取得的距离图像中的、存在于对极平面上且无法取得距离信息的点赋予使用彩色滤光片而取得的距离信息。能够对使用彩色滤光片而取得的距离图像中的、存在于对极平面上且无法取得距离信息的点赋予由立体视觉取得的距离信息。本实施方式的拍摄装置100还能够取得对极平面上的距离信息。
另外，根据本实施方式，通过距离算出部133能够取得对极平面上的特征的对应，能够高精度地取得以往无法取得的特征的距离信息。
(变形例1)
图像传感器20b也可以具备透射特定波段的光的滤波器。滤波器也可以具备透射各不相同的波段的光的两个滤波区域。该滤波区域可以与滤波区域111或者滤波区域112相同，也可以不同。
也可以使用由图像传感器20b取得的传感器图像，进行基于DFD的距离算出。例如，距离算出部132也可以不仅对来自图像传感器20a的传感器图像(第1传感器图像)，还对来自图像传感器20b的传感器图像，也通过与上述同样的方法算出到被拍摄对象的距离。由此，能够进一步高精度地求取距离信息。
(变形例2)
在上述实施方式中，将模糊形状根据滤波器而变化的传感器图像(例如B图像)设为对象图像，将模糊形状不发生变化的传感器图像(例如R图像、G图像)设为基准图像。也可以使用将某个传感器图像修正成任意的形状后的图像来作为基准图像。即，也可以将对多个传感器图像中的、除作为对象图像的传感器图像以外的传感器图像进行修正后的图像设为基准图像。
(变形例3)
滤波器110也可以还具备除滤波区域111以及滤波区域112以外的滤波区域。图15～图20是表示还包括滤波区域113(第3滤波区域)的滤波器110的构成例的图。对如图15～图20所示的滤波器110，也能够适用与上述实施方式同样的手法。
滤波区域113透射与滤波区域111和滤波区域112不同的波段，形状也可以并非是非点对称。如图15所示，也可以构成为对滤波器110的整个区域追加有滤波区域113。由此，能够使图像传感器20a接收经过透镜10a的开口的所有的光。
如图16所示，也可以配置为将滤波区域分为3等分。如图17所示，也可以在上下端配置滤波区域111、滤波区域112，滤波区域的剩余的部分为滤波区域113。另外，上下端的形状也可以是如图18所示的形状。如图19所示，也可以为，滤波区域111和滤波区域112为圆形形状并配置在不同位置，剩余的区域成为滤波区域113。再者，如图20所示，滤波区域111和滤波区域112的形状也可以为正方形等形状。另外，滤波区域113也可以是透射由图像传感器20a所接收的所有波段的滤波器。
如图15所示，在构成为对滤波区域111以及滤波区域112重叠滤波区域113的情况下，例如也可以将滤波区域111、滤波区域112以及滤波区域113设为分别透射红色光、蓝色光以及绿色光的滤波器。在该情况下，滤波区域111和滤波区域113重叠的区域相当于Y滤波器。即，例如组合了滤波区域111和滤波区域113的透射率特性与图10是同样的。
(第2实施方式)
在使用非点对称形的滤波器的第1实施方式中，利用模糊的形状在焦点位置的前后不同这一情况，能够唯一地确定与模糊的形状对应的距离。在第2实施方式中，在将光学中心设为对称点时，使用成为点对称形的滤波器。在该情况下，模糊的形状在焦点位置的前后相同，存在无法唯一地确定距离的情况。于是，在第2实施方式中，将焦点位置设定为无限远或者最近邻。由此，能够仅限制于前模糊或者后模糊的形状变化，因此，即使是点对称形的滤波器构造，也能够唯一地确定模糊量与距离之间的对应。
第2实施方式的拍摄装置的硬件结构与图1是同样的，因此省略说明。图21是表示第2实施方式涉及的拍摄装置100-2的功能构成例的框图。如图21所示，拍摄装置100-2具有透镜10-2a、透镜10b、图像传感器20a、图像传感器20b以及图像处理部130-2。
在第2实施方式中，与第1实施方式的不同之处在于，透镜10-2a以及图像处理部130-2的构成。其他构成以及功能与第1实施方式涉及的拍摄装置100的框图即图5是同样的，因此，赋予相同标号，并省略此处的说明。
透镜10-2a具有滤波器110-2。滤波器110-2具有透射各不相同波段的光的滤波区域111-2和滤波区域112-2。
图22是表示第2实施方式涉及的滤波区域的构成例的图。如图22所示，滤波区域111-2构成为，在将作为光学中心的滤波区域111-2的中心点2201(重心位置的点)设为对称点时，成为点对称形。
例如，能够将滤波器110-2中的、黄色滤波器(Y滤波器)设为滤波区域111-2，将不是滤波区域111-2的滤波区域设为滤波区域112-2。即，作为滤波区域111-2的黄色滤波器(Y滤波器)在将光学中心设为对称点时，成为点对称形。滤波区域112-2也在将光学中心设为对称点时，成为点对称形。滤波区域111-2在滤波器110-2的内侧，因此，只要是点对称形，则也可以并非圆形。例如，也可以是正四边形和/或正六边形等形状。
图像处理部130-2的距离算出部132-2的功能不同于第1实施方式的图像处理部130。
距离算出部132-2将第1传感器图像作为输入，算出到映在图像中的被拍摄对象的距离，输出表示距离的距离图像(第1距离图像)。例如距离算出部132-2与第1实施方式同样地，将与没有被滤波器110-2衰减而经过的光对应的传感器图像(例如R图像、G图像)设为基准图像。另外，距离算出部132-2例如将与被滤波区域111-2衰减而经过的光对应的传感器图像(例如B图像)设为对象图像。而且，距离算出部132-2通过求取多个模糊修正核中的、作为附加了模糊的对象图像的修正图像与基准图像之间的相关更高的模糊修正核，算出到被拍摄对象的距离，输出第1距离图像。
在本实施方式中，将焦点位置设定为无限远或者最近邻，因此，模糊的形状唯一地与距离对应。为此，也可唯一地决定与距离d对应的模糊修正核。距离算出部132-2能够通过求取使修正图像与基准图像之间的相关更高的模糊修正核来算出距离d。
(第3实施方式)
如在第1实施方式中所述的，在立体测距中，通过使两个摄像头(图像传感器20a、图像传感器20b)成为平行配位(parallel coordinative)的关系，能够将匹配的搜索范围从二维减到一维。换言之，通过对极几何，左右的摄像头的对极线被规定为水平方向。
然而，由于经年劣化等，存在左右的摄像头的位置关系被破坏、对极线相对于图像面出现倾斜、找不到对应点、或者变为误对应的情况。图23是表示对极线的方向发生变化的情况的图。平行配位时的搜索方向2301是水平的。在因经年劣化等而左右的摄像头的位置以及姿态发生了变化的情况下，对极线倾斜，搜索方向2302变为非水平的。
作为该问题的解决措施之一，有重新推定两个图像的对极几何的方法。例如，准备形状已知的校准模式，从在左右的摄像头上的多点的对应关系来推定对极几何。而且，对所获得的对极线进行图像变换以使得图像变为水平，从变为平行配位的左右的摄像头图像中生成距离图像。在该手法中，需要人工准备校准模式，存在对用户造成负担的问题。另外，在不使用校准模式而使用被拍摄对象的特征的情况下，存在所获得的距离图像的尺度不确定这一问题。
在第3实施方式中，根据第1距离图像以及第2距离图像的对应关系推定对极几何。由此，无需对用户造成负担，就能够容易地修正图像传感器20a和图像传感器20b的位置姿态的偏离。
第3实施方式的拍摄装置的硬件结构与图1是同样的，因此省略说明。图24是表示第3实施方式涉及的拍摄装置100-3的功能构成例的框图。如图24所示，拍摄装置100-3具有透镜10a、透镜10b、图像传感器20a、图像传感器20b、图像处理部130-3以及修正信息算出部140-3。
在第3实施方式中，与第1实施方式的不同之处在于，图像处理部130-3内的距离算出部133-3的功能，以及追加了修正信息算出部140-3。其他构成及功能与第1实施方式涉及的拍摄装置100的框图即图5是同样的，因此赋予相同标号，并省略此处的说明。
修正信息算出部140-3根据用户的指示等，从第1传感器图像以及第2传感器图像中算出修正信息。修正信息是用于对修正对象图像进行修正以使得第1传感器图像与第2传感器图像的位置关系成为特定关系的信息，所述修正对象图像是第1传感器图像和第2传感器图像中的至少一方。例如修正信息是进行变换以使左右的摄像头图像(第1传感器图像、第2传感器图像)成为平行配位的图像的射影变换矩阵以及基线长度的长短等。
用于成为平行配位的摄像头间的关系只要在将一方的位置姿态固定后，对另一方的位置姿态进行变换即可获得。因此，只要获得变换左右的摄像头图像中的一方的图像的射影变换矩阵的参数就足够了。但是，也可以包含分别变换两方的图像的多个射影变换矩阵的参数来作为修正信息。在本实施方式中，说明将用于变换第2传感器图像的射影变换矩阵的参数和基线长度的长短作为修正信息来使用的例子。
修正信息算出部140-3例如在被输入表示用户等指示了开始修正位置姿态的偏离的信息(例如表示开始的代码等)的情况下，开始修正信息的算出处理。将在后面说明修正信息的算出处理的详细内容。
距离算出部133-3与上述实施方式的距离算出部133的不同之处在于，使用修正信息对第2传感器图像进行修正后，通过立体测距生成第2距离图像。
接着，使用图25，对这样构成的第3实施方式涉及的拍摄装置100-3的修正信息的算出处理进行说明。图25是表示第3实施方式中的修正信息的算出处理的一例的流程图。
步骤S401、步骤S402与图6的步骤S101、步骤S102是同样的，因此省略说明。
修正信息算出部140-3执行算出修正信息的修正参数优化处理(步骤S403)。首先，修正信息算出部140-3计测左右的摄像头的位置姿态的偏离，虚拟地生成平行配位的图像。例如修正信息算出部140-3根据左右的摄像头图像推定对极几何，通过虚拟地生成平行配位的图像的手法(例如参照专利文献1)，获得左右的摄像头图像的平行配位的图像。用这样的手法获得的两张图像由于摄像头的基线长度的长短是未知的，因此无法准确地算出距离。
于是，修正信息算出部140-3使用并非由立体测距而是由DFD所求得的第2距离图像来推定基线长度B'。例如修正信息算出部140-3对多个基线长度的各基线长度，由立体测距算出第1距离图像。修正信息算出部140-3将算出的第1距离图像按像素与第2距离图像进行比较，求取与误差最小的第1距离图像对应的基线长度B'。
通过以上的处理，可获得基线长度B'以及用于成为平行配位的第2传感器图像的射影变换矩阵。
修正信息算出部140-3将基线长度B'以及射影变换矩阵作为修正信息输出给图像处理部130-3(步骤S404)。
接着，使用图26，对第3实施方式涉及的拍摄装置100-3的图像处理进行说明。图26是表示第3实施方式中的图像处理的一例的流程图。
步骤S501～步骤S503与图6的步骤S101～步骤S103是同样的，因此省略说明。
距离算出部133-3使用由修正信息算出部140-3获得的射影变换矩阵，变换第2传感器图像(步骤S504)。距离算出部133-3使用由修正信息算出部140-3获得的基线长度的长短来进行立体视觉，生成第2距离图像(步骤S505)。
步骤S506与图6的步骤S106是同样的，因此省略说明。
此外，前面说明了对第1实施方式追加了修正信息算出部140-3的构成。能够追加修正信息算出部140-3的构成并不限于第1实施方式，也可以适用于上述的各变形例以及第2实施方式。即，能够适用本实施方式的滤波器是任意的。
根据第3实施方式，除了与第1实施方式同等的效果，还能够通过修正信息算出部140-3修正图像传感器20a和图像传感器20b的位置姿态的偏离。即，能够减少校准(calibration)的工夫。
综上所述，根据第1至第3实施方式，能够更高精度地取得距离信息。
如上所述的拍摄装置例如能够搭载于汽车等车辆(移动体的一例)。图27是表示对汽车搭载了拍摄装置的例子的图。汽车包括作为左右摄像头的摄像头2701、2702以及控制部2711。摄像头2701例如对应于图1的透镜10a以及图像传感器20a。摄像头2702例如对应于图1的透镜10b以及图像传感器20b。控制部2711基于距离信息(第1距离信息、第2距离信息)控制汽车的移动。控制部2711也可以除此之外，例如还具备与图5的图像处理部130同样的功能。
移动体不限于是车辆，例如也可以是机器人、船舶以及飞行器(飞机、无人机等)。移动体既可以是自主式的移动体，也可以是载人的移动体。
在第1至第3实施方式涉及的拍摄装置中执行的程序用可安装形式或者可执行形式的文件记录在CD-ROM(Compact Disk Read OnlyMemory)、软盘(FD)、CD-R(Compact DiskRecordable)、DVD(DigitalVersatile Disk)等可由计算机读取的记录介质中，作为计算机程序产品来提供。
另外，也可以将在第1至第3实施方式涉及的拍摄装置中执行的程序构成为，保存在与互联网等网络连接的计算机上，通过经由网络而下载来提供。另外，也可以将在第1至第3实施方式涉及的拍摄装置中执行的程序构成为经由互联网等网络来提供或者发布。
另外，也可以将第1至第3实施方式的程序构成为预先配置于ROM等来提供。
在第1至第3实施方式涉及的拍摄装置中执行的程序构成为包括上述的各部分的模块结构，作为实际的硬件，通过CPU30(处理器)从上述存储介质中将程序读出并执行从而上述各部分被加载在主存储装置上，上述的各部分被生成在主存储装置上。
虽然对本发明的几个实施方式进行了说明，但是这些实施方式是作为例子提出的，并非旨在限定发明的范围。这些新实施方式能够以其他各种方式实施，在不偏离发明宗旨的范围内，可以进行各种省略、替换、变更。这些实施方式和/或其变形包含在发明的范围和/或宗旨中，并且，包含在权利要求书所记载的发明和其等同的范围内。
此外，能够将上述的实施方式总结为以下的技术方案。
技术方案1
一种拍摄装置，具备：
第1图像传感器，其具有第1传感器和第2传感器，所述第1传感器接收第1波段的光并输出对象图像，所述第2传感器接收第2波段的光并输出基准图像；
第1滤波区域，其透射第3波段的第1光，所述第3波段包括所述第2波段的至少一部分，所述第1光是入射到所述第1图像传感器的光的一部分；
第2图像传感器，其输出第1图像；
第1距离算出部，其基于所述对象图像和所述基准图像，算出到所述对象图像和所述基准图像所包含的被拍摄对象的第1距离；以及
第2距离算出部，其基于所述基准图像和所述第1图像，算出到所述基准图像和所述第1图像所包含的被拍摄对象的第2距离。
技术方案2
根据技术方案1所述的拍摄装置，
所述第1距离算出部根据所述对象图像与所述基准图像的相关，算出所述第1距离，
所述第2距离算出部基于所述基准图像、所述第1图像、和所述第1图像传感器与所述第2图像传感器之间的第3距离，算出所述第2距离。
技术方案3
根据技术方案2所述的拍摄装置，
所述第1距离算出部基于模糊函数为非点对称的所述对象图像、和所述基准图像，算出所述第1距离。
技术方案4
根据技术方案2所述的拍摄装置，
还具备第2滤波区域，所述第2滤波区域透射与所述第2波段不同的波段的光，
在与第1方向不同的第2方向上，所述第1滤波区域的重心位置与所述第2滤波区域的重心位置错开，所述第1方向是所述第3距离的方向。
技术方案5
根据技术方案4所述的拍摄装置，
所述第1方向和所述第2方向正交。
技术方案6
根据技术方案2所述的拍摄装置，
所述第1距离算出部基于模糊函数为点对称的所述对象图像、和模糊函数为点对称的所述基准图像，算出所述第1距离。
技术方案7
根据技术方案1所述的拍摄装置，
还具备修正信息算出部，所述修正信息算出部基于所述第1距离算出修正信息，所述修正信息是用于对修正对象图像进行修正以使所述基准图像与所述第1图像的位置关系成为特定关系的信息，所述修正对象图像是所述基准图像以及所述第1图像中的至少一方，
所述第2距离算出部基于根据所述修正信息而修正后的所述修正对象图像来算出所述第2距离。
技术方案8
根据技术方案1所述的拍摄装置，
所述第1图像传感器的开口的大小能够调整，所述开口在任意的大小下为原点对称。
技术方案9
根据技术方案1所述的拍摄装置，
所述第2图像传感器具有第3传感器和第4传感器，所述第3传感器接收所述第1波段的光并输出对象图像，所述第4传感器接收所述第2波段的光并输出基准图像。
技术方案10
根据技术方案1所述的拍摄装置，
还具备输出控制部，所述输出控制部基于所述第1距离和所述第2距离，生成并输出距离信息。
技术方案11
一种车辆，具备：
技术方案1至技术方案10中任一项所述的拍摄装置；以及
基于所述第1距离和所述第2距离来控制车辆的移动的控制部。

Claims (10)

1.一种拍摄装置，具备：
第1图像传感器，其具有第1传感器和第2传感器，所述第1传感器接收第1波段的光并输出对象图像，所述第2传感器接收第2波段的光并输出基准图像；
滤波器，其具备第1滤波区域，所述第1滤波区域透射第3波段的第1光，所述第3波段包括所述第2波段的至少一部分，所述第1光是入射到所述第1图像传感器的光的一部分；
第2图像传感器，其输出第1图像；
第1距离算出部，其基于所述对象图像和所述基准图像，算出到所述对象图像和所述基准图像所包含的被拍摄对象的第1距离；以及
第2距离算出部，其基于所述基准图像和所述第1图像，算出到所述基准图像和所述第1图像所包含的被拍摄对象的第2距离。
2.根据权利要求1所述的拍摄装置，
所述第1距离算出部根据所述对象图像与所述基准图像的相关，算出所述第1距离，
所述第2距离算出部基于所述基准图像、所述第1图像、以及所述第1图像传感器与所述第2图像传感器之间的第3距离，算出所述第2距离。
3.根据权利要求2所述的拍摄装置，
所述第1距离算出部基于模糊函数为非点对称的所述对象图像、和所述基准图像，算出所述第1距离。
4.根据权利要求2所述的拍摄装置，
所述滤波器还具备第2滤波区域，所述第2滤波区域透射与所述第2波段不同的波段的光，
在与第1方向不同的第2方向上，所述第1滤波区域的重心位置与所述第2滤波区域的重心位置错开，所述第1方向是所述第3距离的方向。
5.根据权利要求4所述的拍摄装置，
所述第1方向和所述第2方向正交。
6.根据权利要求2所述的拍摄装置，
所述第1距离算出部基于模糊函数为点对称的所述对象图像、和模糊函数为点对称的所述基准图像，算出所述第1距离。
7.根据权利要求1所述的拍摄装置，
还具备修正信息算出部，所述修正信息算出部基于所述第1距离算出修正信息，所述修正信息是用于对修正对象图像进行修正以使所述基准图像与所述第1图像的位置关系成为特定关系的信息，所述修正对象图像是所述基准图像以及所述第1图像中的至少一方，
所述第2距离算出部基于通过所述修正信息而修正后的所述修正对象图像来算出所述第2距离。
8.根据权利要求1所述的拍摄装置，
所述第1图像传感器的开口的大小能够调整，所述开口在任意的大小下为原点对称。
9.根据权利要求1所述的拍摄装置，
所述第2图像传感器具有第3传感器和第4传感器，所述第3传感器接收所述第1波段的光并输出对象图像，所述第4传感器接收所述第2波段的光并输出基准图像。
10.一种车辆，具备：
权利要求1至权利要求9中任一项所述的拍摄装置；以及
基于所述第1距离和所述第2距离来控制车辆的移动的控制部。
CN201710096168.0A 2016-06-07 2017-02-22 拍摄装置以及车辆 Expired - Fee Related CN107483774B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016113465A JP6585006B2 (ja) 2016-06-07 2016-06-07 撮影装置および車両
JP2016-113465 2016-06-07

Publications (2)

Publication Number Publication Date
CN107483774A CN107483774A (zh) 2017-12-15
CN107483774B true CN107483774B (zh) 2020-10-16

Family

ID=60483638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710096168.0A Expired - Fee Related CN107483774B (zh) 2016-06-07 2017-02-22 拍摄装置以及车辆

Country Status (3)

Country Link
US (1) US10412370B2 (zh)
JP (1) JP6585006B2 (zh)
CN (1) CN107483774B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699897B2 (ja) 2016-11-11 2020-05-27 株式会社東芝 撮像装置、自動制御システム及びシステム
JP6852369B2 (ja) * 2016-11-30 2021-03-31 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
DE102017103660B4 (de) * 2017-02-22 2021-11-11 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Verfahren zum betrieb einer lichtquelle für eine kamera, lichtquelle, kamera
JP2019015575A (ja) 2017-07-05 2019-01-31 株式会社東芝 画像処理装置、測距装置および処理システム
CN110998657B (zh) * 2017-08-01 2023-12-12 索尼公司 图像处理设备、图像处理方法和程序
JP6878219B2 (ja) 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
JP7236029B2 (ja) 2017-11-16 2023-03-09 田村製薬株式会社 消毒用製剤、並びに消毒方法
JP6971934B2 (ja) 2018-08-10 2021-11-24 株式会社東芝 画像処理装置
US10682955B1 (en) * 2018-12-03 2020-06-16 Beijing Voyager Technology Co., Ltd. Multicamera system for autonomous driving vehicles
KR20210099126A (ko) * 2018-12-14 2021-08-11 스펙트랄 엠디, 인크. 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법
CN113544543A (zh) * 2019-01-09 2021-10-22 特里纳米克斯股份有限公司 用于确定至少一个对象的位置的检测器
JP7204586B2 (ja) 2019-06-17 2023-01-16 株式会社東芝 学習方法、プログラム及び画像処理装置
JP7341033B2 (ja) * 2019-11-11 2023-09-08 キヤノン株式会社 視差検出装置、撮像装置、視差検出方法、及びプログラム
US11695911B2 (en) 2020-04-27 2023-07-04 Ouster, Inc. Stereoscopic image capturing systems
CN111595292A (zh) * 2020-04-29 2020-08-28 杭州电子科技大学 一种基于不等焦距的双目视觉测距方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6025790A (en) * 1997-08-04 2000-02-15 Fuji Jukogyo Kabushiki Kaisha Position recognizing system of autonomous running vehicle
CN101150735A (zh) * 2006-09-19 2008-03-26 三星电子株式会社 图像拍摄设备、方法和介质
CN101680756A (zh) * 2008-02-12 2010-03-24 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
CN104299231A (zh) * 2014-09-26 2015-01-21 北京环境特性研究所 多传感器实时图像配准方法和系统
CN104811682A (zh) * 2014-01-23 2015-07-29 钰创科技股份有限公司 产生深度信息的装置、产生深度信息的方法和立体摄像机
CN104952064A (zh) * 2014-03-27 2015-09-30 株式会社理光 视差值计算装置、物体识别系统、视差值计算方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843055A (ja) 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
US6118475A (en) 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
JP4778569B2 (ja) 2009-03-19 2011-09-21 旭化成株式会社 ステレオ画像処理装置、ステレオ画像処理方法及びステレオ画像処理プログラム
JP5468426B2 (ja) * 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
EP2711891B1 (en) * 2011-06-17 2016-03-23 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
JP2013057761A (ja) * 2011-09-07 2013-03-28 Olympus Corp 距離測定装置、撮像装置、距離測定方法
JP5846872B2 (ja) * 2011-11-21 2016-01-20 日立オートモティブシステムズ株式会社 画像処理装置
JP5587930B2 (ja) * 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
JP2014006882A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
EP3812962A1 (en) * 2013-12-04 2021-04-28 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
KR101611261B1 (ko) * 2013-12-12 2016-04-12 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP5852637B2 (ja) * 2013-12-27 2016-02-03 富士重工業株式会社 矢印信号認識装置
WO2015182147A1 (ja) * 2014-05-28 2015-12-03 京セラ株式会社 ステレオカメラ装置およびステレオカメラ装置を設置した車両
JP6408817B2 (ja) * 2014-07-22 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム
JP2016102733A (ja) * 2014-11-28 2016-06-02 株式会社東芝 レンズ及び撮影装置
JP2016134090A (ja) * 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
JP6608763B2 (ja) 2015-08-20 2019-11-20 株式会社東芝 画像処理装置及び撮影装置
US10382684B2 (en) 2015-08-20 2019-08-13 Kabushiki Kaisha Toshiba Image processing apparatus and image capturing apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6025790A (en) * 1997-08-04 2000-02-15 Fuji Jukogyo Kabushiki Kaisha Position recognizing system of autonomous running vehicle
CN101150735A (zh) * 2006-09-19 2008-03-26 三星电子株式会社 图像拍摄设备、方法和介质
CN101680756A (zh) * 2008-02-12 2010-03-24 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
CN104811682A (zh) * 2014-01-23 2015-07-29 钰创科技股份有限公司 产生深度信息的装置、产生深度信息的方法和立体摄像机
CN104952064A (zh) * 2014-03-27 2015-09-30 株式会社理光 视差值计算装置、物体识别系统、视差值计算方法
CN104299231A (zh) * 2014-09-26 2015-01-21 北京环境特性研究所 多传感器实时图像配准方法和系统

Also Published As

Publication number Publication date
US20170353710A1 (en) 2017-12-07
JP2017220780A (ja) 2017-12-14
JP6585006B2 (ja) 2019-10-02
CN107483774A (zh) 2017-12-15
US10412370B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
CN107483774B (zh) 拍摄装置以及车辆
CN106469431B (zh) 图像处理装置
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
CN109831660B (zh) 深度图像获取方法、深度图像获取模组及电子设备
CN105627932B (zh) 一种基于双目视觉的测距方法及装置
JP5834615B2 (ja) プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
US20200210733A1 (en) Enhanced video-based driver monitoring using phase detect sensors
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
WO2013005244A1 (ja) ３次元相対座標計測装置およびその方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP5849522B2 (ja) 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
CN111492201B (zh) 测距摄像机
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
US20130169837A1 (en) Device having image reconstructing function, method, and recording medium
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP2022039719A (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
JP2013015519A (ja) ３次元相対座標計測装置およびその方法
CN110728714B (zh) 图像处理方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201016