CN105849504A - 视差运算系统、信息处理装置、信息处理方法和记录介质 - Google Patents

视差运算系统、信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN105849504A
CN105849504A CN201480070211.0A CN201480070211A CN105849504A CN 105849504 A CN105849504 A CN 105849504A CN 201480070211 A CN201480070211 A CN 201480070211A CN 105849504 A CN105849504 A CN 105849504A
Authority
CN
China
Prior art keywords
pixel
image
parallax
picture
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480070211.0A
Other languages
English (en)
Other versions
CN105849504B (zh
Inventor
关口洋义
横田聪郎
横田聪一郎
铃木修
铃木修一
青木伸
关海克
吉田淳
中岛充
藤本英臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN105849504A publication Critical patent/CN105849504A/zh
Application granted granted Critical
Publication of CN105849504B publication Critical patent/CN105849504B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

信息处理装置包括关联单元，其将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置的距离的距离信息与组成由图像拾取单元拍摄的图像的第一图像中的第一像素关联，所述距离信息基于电磁波的反射后的波获得并且所述第一像素与所述电磁波的照射位置对应；以及生成单元，其通过使用与所述第一像素关联的距离信息生成视差图像，用于组成图像的第二图像中的像素的视差计算。

Description

视差运算系统、信息处理装置、信息处理方法和记录介质
技术领域
本发明涉及视差运算系统、信息处理装置、信息处理方法和记录介质。
背景技术
传统上，已知通过对由立体相机的多个图像拾取单元等拍摄的图像(立体图像)中包括的物体的图像执行视差计算来计算到物体的距离的距离测量技术。例如，由距离测量技术产生的视差图像的使用便于检测到运行车辆前面的障碍物。
发明内容
本发明要解决的问题
然而，对其执行视差计算的立体图像通常包括具有平滑纹理的图像部分、饱和图像部分、强阴影图像(solidly shaded image)部分等。在立体图像包括这样的图像部分的情况下，难于确保立体图像之间的匹配精度并且视差计算的精度被显著劣化。出于这个原因，在距离测量技术的领域，需要即使当立体图像包括具有平滑纹理的图像部分、饱和图像部分和强阴影图像部分等的图像时，也允许以良好精度执行视差计算。
因此，鉴于上面描述的问题，本发明目标在于增加由多个图像拾取单元拍摄的图像的视差计算的精度。
解决问题的方案
在一个方面，本发明提供能够增加由多个图像拾取单元拍摄的立体图像的视差计算的精度的信息处理装置。
在一个实施例中，本发明提供一种信息处理装置，其基于由多个图像拾取单元拍摄的图像生成视差图像，信息处理装置包括：处理器；以及存储器，存储计算机可读代码，当计算机可读代码由处理器执行时使得处理器充当关联单元，配置来将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置的距离的距离信息与组成图像的第一图像中的第一像素关联，距离信息基于电磁波的反射后的波获得并且第一像素与电磁波的照射位置对应；以及生成单元，配置来通过使用与第一像素关联的距离信息生成视差图像，以用于组成图像的第二图像中的像素的视差计算。
根据本发明的实施例，能够增加由多个图像拾取单元拍摄的立体图像的视差计算的精度。
当结合附图阅读时时实施例的其他目的、特征和优点将从下面的描述显而易见。
附图说明
图1是示出根据实施例的视差运算系统的整体配置的框图。
图2是示出根据实施例的视差运算系统所应用的车辆的图。
图3A和3B是示出由组成视差运算系统的一部分的激光雷达距离测量模块的激光束的照射范围的图。
图4A、4B到4C是示出由组成视差运算系统的一部分的立体图像运算模块的立体图像的拍摄范围的图。
图5是说明由激光雷达距离测量模块的激光束的照射位置和立体图像的像素位置之间的关系的图。
图6是示出激光雷达距离测量模块的功能配置的框图。
图7是示出立体图像运算模块的功能配置的框图。
图8是说明由组成立体图像运算模块的一部分的成本计算单元执行的成本计算处理的图。
图9是说明由成本计算单元执行的成本计算处理的图。
图10A和10B是说明立体图像的预定像素的视差和SAD之间的关系的图。
图11是说明通过使用密集匹配算法(dense matching algorithm)计算传播参数的处理的图。
图12是示出密集匹配算法的示例的图。
图13是说明由能量计算单元计算出的能量值和视差之间的关系的图。
图14是说明由能量计算单元执行的能量计算处理的流程图。
图15是说明由视差计算单元执行的视差计算处理的流程图。
图16是示出立体图像运算模块的另一功能配置的图。
图17是说明激光束的照射位置和立体图像的像素位置之间的关系的图。
图18是说明由组成立体图像运算模块的一部分的视差计算单元执行的视差计算处理的图。
图19是说明由视差计算单元执行的视差计算处理的流程图。
图20是示出立体图像运算模块的另一功能配置的图。
图21A和21B是说明由组成立体图像运算模块的一部分的信息嵌入单元执行的信息嵌入处理的图。
图22是说明由信息嵌入单元执行的信息嵌入处理的流程图。
图23是示出立体图像运算模块的另一功能配置的图。
具体实施方式
现在将参考附图给出实施例的描述
第一实施例
首先，说明根据实施例的视差运算系统的整体配置。图1是示出根据本实施例的视差运算系统100的整体配置的图。如图1中所示，视差运算系统100包括激光雷达距离测量模块110和立体图像运算模块120。
激光雷达距离测量模块110配置来当由组成立体图像运算模块120的立体相机拍摄立体图像时在拍摄方向上照射激光束，并且配置来接收反射后的光束以测量到激光束的反射位置的距离。由激光雷达距离测量模块110测量出的距离和光束接收定时信息被输入到立体图像运算模块120作为距离信息。
立体图像运算模块120包括立体相机并且基于由立体相机以预定帧时段拍摄的立体图像计算视差图像。立体图像运算模块120被配置来当计算视差图像时基于距离信息中包括的反射定时信息来标识帧。另外，立体图像运算模块120被配置来将距离信息中包括的距离数据与立体图像的对应帧中与激光束的照射位置对应的像素关联。立体图像运算模块120被配置来在计算视差图像时使用基于与对应像素关联的距离数据(基于距离数据计算出的值)。
由此，在计算视差图像时，可以通过使用由激光雷达距离测量模块110测量出的距离增加视差计算的精度。
例如，由立体图像运算模块120计算出的视差图像使得能够精确检测到在道路上运转的车辆前面的道路表面上的物体、人等。另一方面，在具有诸如道路表面之类的平滑纹理的图像部分的情况下，视差计算的精度劣化。为了避免这一点，立体图像运算模块120配置来在计算视差图像时使用由激光雷达距离测量模块110测量出的距离。
接着，说明视差运算系统100的应用的示例。图2是示出根据实施例的视差运算系统100所应用到的车辆200的图。在图2的示例中，激光雷达距离测量模块110和立体图像运算模块120安装在车辆200的前窗口的内部中间位置处。激光雷达距离测量模块110和立体图像运算模块120安装为面向车辆200的朝前方向，并且激光雷达距离测量模块110布置在组成立体图像运算模块120的一部分的立体相机(两个图像拾取单元)之间。
接着，说明由激光雷达距离测量模块110的激光束的照射范围。图3A和3B是示出由激光雷达距离测量模块110的激光束的照射范围的图。图3A是车辆200的顶视图并且图3B是车辆200的侧视图。
如图3A中所示，激光雷达距离测量模块100在车辆200的朝前方向上线性照射激光束。当车辆200的行进的方向定义为角度0°时，当从其上位置观看车辆200时，在转向方向(turning direction，与水平方向平行)上的激光束的照射角度被固定为时的角度0°。
此外，激光雷达距离测量模块110朝车辆200前面的道路表面部分照射激光束。具体地，如图3B所示，道路表面上激光雷达距离测量模块110的激光束的照射范围被设置为从相对于激光雷达距离测量模块110的安装位置测量的距离D1到距离D2。
即，激光雷达距离测量模块110被安装，以使得激光束的照射方向可以在仰角方向(与垂直方向平行)上旋转。由此，可以在从依据激光雷达距离测量模块110的安装位置而测量出的距离D1到距离D2的照射范围内，向道路表面照射激光束。
接着，说明由立体图像运算模块120的立体图像的拍摄范围。图4A、4B和4C是说明立体图像运算模块120的立体图像的拍摄范围的图。图4A是当从其上部分观看时车辆200的顶视图。如图4A中所示，立体图像运算模块120的立体相机安装为面向车辆200的朝前方向并且拍摄车辆的朝前方向上的图像(包括道路表面和天空)。
图4B和4C示出由立体相机拍摄的每个立体图像中的一个帧。图4B示出由安装在组成立体图像运算模块120的立体相机的图像拾取单元的左手侧的左图像拾取单元拍摄的立体图像的一个帧。图4C示出由安装在组成立体图像运算模块120的立体相机的图像拾取单元的右手侧的右图像拾取单元拍摄的立体图像的一个帧。
左图像拾取单元和右图像拾取单元以两个图像拾取单元之间的已知距离相互平行设置。因此，图4B中所示的立体图像410内的物体的位置和图4C中所示的立体图像420内的相同物体的位置在水平方向上相互偏离。
立体图像运算模块120配置来通过计算组成图像410中的物体的每个像素和组成图像420中的物体的像素的对应像素之间的偏移量(称为“视差”)，生成和输出视差图像。
接着，说明激光雷达距离测量模块110的激光束的照射位置与由立体图像运算模块120拍摄的立体图像(参考图像)中的像素位置之间的关系。图5是说明激光束的照射位置和立体图像(参考图像)的像素位置之间的关系的图。
如上面描述，激光雷达距离测量模块110安装在立体图像运算模块120的立体相机(两个图像拾取单元)之间，以使得在转向方向上激光雷达距离测量模块110的激光束的照射角度被固定为角度0°，并且激光雷达距离测量模块110被安装为在仰角方向上可旋转。
因此，图像420中激光束的照射范围与由图5中的照射范围520指示的图像部分对应。即，图像420中预定位置处的像素是照射范围520中的预定位置处的像素。
在本实施例中，假设像素(Px1,Py1)、像素(Px1,Py2)、像素(Px1,Py3)和像素(Px1,Py4)与测量出距离的位置对应。因此，由激光雷达距离测量单元110测量出的距离可以与这些像素关联。
在图5中所示的图像420中，距离数据LD1与像素(Px1,Py1)关联，距离数据LD2与像素(Px1,Py2)关联，距离数据LD3与像素(Px1,Py3)关联，并且距离数据LD4与像素(Px1,Py4)关联。
因为距离数据LD1-LD4与图像420中的像素(Px1,Py1)、(Px1,Py2)、(Px1,Py3)和(Px1,Py4)关联，所以可以计算相对于图像420(参考图像)中这些像素与图像410(比较图像)中对应于这些像素的像素的视差。具体地，可以基于距离数据LD1以及立体相机之间的已知距离计算图像410中的像素(Px1,Py1)的视差。类似地，可以基于距离数据LD2以及立体相机之间的已知距离计算图像410中的像素(Px1,Py2)的视差，可以基于距离数据LD3以及立体相机之间的已知距离计算图像410中的像素(Px1,Py3)的视差，以及可以基于距离数据LD4和立体相机之间的已知距离计算图像410中的像素(Px1,Py4)的视差。
接着，说明激光雷达距离测量模块110的功能配置。图6是示出激光雷达距离测量模块110的功能配置的框图。
如图6中所示，在激光雷达距离测量模块110中，响应于从信号处理单元601接收到指令，仰角方向扫描驱动单元602驱动马达603以在仰角方向上旋转仰角方向扫描镜604。由此，可以在仰角方向上旋转仰角方向扫描镜604。
在激光雷达距离测量模块110中，响应于从信号处理单元601接收到指令，激光驱动器609驱动激光输出单元608以输出激光束。此时，在时间间隔计数器607中临时存储输出激光束的定时。由激光输出单元608输出的激光束由在仰角方向上旋转的仰角方向扫描镜604反射到外部，以使得反射后的激光束的照射覆盖预定照射范围。
由激光雷达距离测量模块110输出的激光束被道路表面上的照射位置反射，并且反射后的光束通过仰角方向扫描镜604由激光束接收单元605接收到。激光束接收单元605包括在垂直方向上布置的多个光电检测器(PD)，反射后的光束由任一个光电检测器接收到，并且接收到的束由相关光电检测器转换为电信号。
转换后的信号由信号放大器606放大并且来自信号放大器605的放大后的信号被输入到时间间隔计数器607。时间间隔计数器607基于激光输出单元608输出激光束的定时和激光束接收单元605接收反射后的光束的定时，计算时间间隔。
由时间间隔计数器607计算出的时间间隔由信号处理单元601转换为距离数据，并且信号处理单元601向立体图像运算模块120发送指示距离数据的距离信息和指示接收定时的接收定时信息。
接着，说明立体图像运算模块120的功能配置。图7是示出立体图像运算模块120的功能配置的框图。
如图7中所示，立体图像运算模块120包括图像拾取单元710、图像拾取单元720和视差运算单元730。视差运算单元730组成根据本实施例的信息处理装置。图像拾取单元710和图像拾取单元720组成立体图像照相机。
在本实施例中，由图像拾取单元710拍摄的图像用作比较图像，并且由图像拾取单元720拍摄的图像用作参考图像。
视差运算单元730包括成本计算单元731、能量计算单元732和视差计算单元733。下面，将说明组成视差运算单元730的成本计算单元731、能量计算单元732和视差计算单元733中的每个。下面将说明的成本计算单元731、能量计算单元732和视差计算单元733可以由一个或者多个专用电子电路实现。可替代地，单元731-733的功能可以由执行代表使得计算机执行单元731-733的功能的计算机可读代码的程序的计算机(或者立体图像运算模块120的处理器或者CPU)实现。
成本计算单元731执行成本计算处理。具体地，由成本计算单元731执行的成本计算处理通过获取由图像拾取单元710拍摄的图像(比较图像)和由图像拾取单元720拍摄的图像(参考图像)，并且比较这两个图像，来计算组成图像(比较图像)的每个像素的成本C(p,d)。
成本是当一个图像(比较图像)在水平向右/向左方向上偏移时两个图像(比较图像和参考图像)中的一个(比较图像)与另一个图像(参考图像)一致性的程度的指标，这两个图像组成立体图像。SAD(sum of absolute difference,绝对差之和)可以用作成本的示例。然而，成本不限于SAD。例如，SSD(sumof squared differences，均方差之和)、NCC(normalized cross-correlation，归一化互关联)等也可以用作成本的另一示例。
图8和9是说明由成本计算单元731执行的成本计算处理的图。图8示出成本计算处理计算SAD作为包括由图像拾取单元710拍摄的图像410和由图像拾取单元720拍摄的图像420的立体图像中的注意到的像素p＝(Px3,Py5)的成本的示例。
如图8中所示，图像410的拍摄位置与图像420的拍摄位置不同，并且即使从立体图像的相同位置读取注意到的像素p＝(Px3,Py5)，立体图像中的两个像素不指向相同物体，而是指向在水平向右/向左方向上相互偏离的不同位置。
因此，图像420中的注意到的像素p＝(Px3,Py5)和图像410中的注意到的像素p＝(Px3,Py5)之间的辉度值之间的差(其等于块大小是1x1个像素的情况下的SAD)比较大。
这里，图像410(比较图像)中的注意到的像素p朝右偏移一个像素，并且计算当视差d＝1时的SAD的值。具体地，计算图像420中的注意到的像素p＝(Px3,Py5)的辉度值和图像410中的注意到的像素p＝(Px3+1,Py5)的辉度值之间的差值(SAD)。在图8的示例中，当视差d＝1时，SAD的值比较大。
类似地，视差改变为d＝2、3...，并且相应地计算对应SAD的值。在图8的示例中，当视差d＝3时，图410中的注意到的像素p＝(Px3+3,Py5)指向的物体变成与图像420中注意到的像素p＝(Px3,Py5)指向的物体相同的物体。出于这个原因，当视差d＝3时的SAD的值小于当视差d≠3时SAD的值。
图10A示出图形(视差-SAD图形)，该图形示出当水平轴表示视差d并且垂直轴表示SAD时注意到的像素p＝(Px3,Py5)的SAD对视差d的变化。如图10A所示，当视差d＝3时注意到的像素p＝(Px3,Py5)的SAD的值是最小的，并且可以确定注意到的像素p＝(Px3,Py5)的视差d等于3。
另一方面，图9示出这样的示例，在该示例中，成本计算处理计算SAD作为包括由图像拾取单元710拍摄的图像410和由图像拾取单元720拍摄的图像420的立体图像中注意到的像素p＝(Px4,Py6)的成本。
如图9中所示，图像410的拍摄位置与图像420的拍摄位置不同，并且即使从立体图像的相同位置读取注意到的像素p＝(Px4,Py6)，立体图像中的两个像素也不指向相同物体，而是指向在水平向右/向左方向上相互偏离的不同位置。
因此，图像420中的注意到的像素p＝(Px4,Py6)和图像410中的注意到的像素p＝(Px4,Py6)之间的辉度值的差(其等于块大小1x1像素的情况下的SAD)比较大。
这里，类似于图8，图像410(比较图像)中的注意到的像素P向右位移一个像素，并且计算出当视差d＝1时的SAD的值。具体地，计算图像420中的注意到的像素p＝(Px4,Py6)和图像410中的注意到的像素p＝(Px4+1,Py6)的辉度值之间的差值(SAD)。在图9的示例中，同样，当视差d＝1时，SAD的值比较大。
类似地，视差改变为d＝2、3...，并且相应地计算对应的SAD的值。在图9的示例中，当视差d＝3时，图像410中注意到的像素p＝(Px4+3,Py6)所指向的物体变成与图像420中注意到的像素p＝(Px4,Py6)所指向的物体相同的物体。在图9的示例中，然而，图像部分与道路表面对应，并且图像部分的对应像素原始地具有平滑纹理。因此，对应像素的SAD的变化也小。
图10B示出图形(视差SAD图形)，该图形示出相对于注意到的像素p＝(Px4,Py6)的视差的SAD的变化，其中，水平轴表示视差d并且垂直轴表示SAD。如图10B中所示，注意到的像素p＝(Px4,Py6)的SAD的变化对视差d的改变是小的，并且不能提取视差。
由此，存在其视差不能由通过成本计算单元731执行的成本计算处理确定的像素，并且视差运算单元730的能量计算单元732配置来执行能量计算处理，以允许视差被确定。
能量计算单元732配置来执行能量计算处理，其通过使用密集匹配算法计算传播参数Lr并且使用计算出的传播参数Lr计算注意到的像素p的能量值S(p,d)。
首先，先说明通过使用密集匹配算法计算传播参数Lr的能量计算处理中的处理。图11是说明通过使用密集匹配算法计算传播参数Lr的处理的图。
图11中图示确定作为注意到的像素P的像素1100的四个方向上的传播参数Lr的的情况。具体地，关于作为注意到的像素p的像素1100，确定箭头1111方向上的传播参数L1、箭头1112方向上的传播参数L2、箭头1113方向上的传播参数L3和箭头1114方向上的传播参数L4。然而，对于像素1100确定传播参数的方向(r)不限于四个方向。例如，方向(r)可以是八个方向或者两个方向。
如图11中所示，可以根据下面的公式确定箭头1111方向上的传播参数Lr：
L 1 ( p , d ) = C ( p , d ) + m i n { L 1 ( p - 1 , d ) , L 1 ( p - 1 , d - 1 ) + P 1 , L 1 ( p - 1 , d + 1 ) + P 1 , m i n i L 1 ( p - 1 , i ) + p 2 }
其中，P表示像素1100的坐标，并且d表示视差。
以这样的方式，可以以视差(d-1)、视差d和视差(d+1)中的每个，使用像素1100的成本C(p，d)和位于像素1100的左手侧并且离开像素1100一个像素的相邻像素的传播参数，计算传播参数L1(p,d)。即，箭头111方向上的传播参数在从左向右的方向上顺序计算。以从左向右计算传播参数的传播间隔不限于一个像素。可替代地，可以以视差(d-1)、视差d和视差(d+1)使用像素1100的左手侧上并且离开像素1100“a”个像素(“a”≧2)的附近像素的传播参数计算传播参数L1(p,d)。
类似地，在从上到下的方向上顺序计算箭头1112方向上的传播参数L2，在从右到左的方向上顺序计算箭头1113方向上的传播参数L3，并且在从下到上的方向上顺序计算箭头1114方向上的传播参数L4。
接着，说明使用计算出的传播参数Lr计算注意到的像素p的能量值S(p，d)的能量计算处理中的处理。
如上面描述，能量计算单元732配置来根据下面的公式，基于针对像素计算出的各个方向上的所有传播参数计算每个像素的能量值S(p，d)。
S ( p , d ) = Σ r L r ( p , d )
在图11的示例中，可以根据公式：S(p,d)＝L1(p,d)+L2(p,d)+L3(p,d)+L4(p,d)计算能量值S(p，d)。
接着，说明密集匹配算法的示例，并且说明对从激光雷达距离测量模块110发送的距离数据的密集匹配算法的应用。
图12是示出从传播参数L1(p,d)确定传播参数L1(p+1,d)的密集匹配算法的示例的图。在图12中，假设像素1220是图像420中的注意到的像素p＝(Px4,Py6)，像素1210是图像410中的注意到的像素p＝(Px4,Py6)，并且像素1211-1214分别是像素1210的视差d等于1-4时的像素。
这里，假设图像420中的像素1220是针对其由激光雷达距离测量模块110测量出到达由该像素指示出的物体的距离数据的像素(并且距离数据与像素1220关联)。当测量出到由像素1220指示的物体的距离时，可以使用图像拾取单元710和图像拾取单元720之间的已知距离，计算与像素1220对应的图像410中的像素的视差。
在图12的示例中，假设与距离数据与其关联的像素1220对应的图像410中的像素1210的视差d等于4(d＝4)。即，假设由图像410中的像素1214指示的位置与由距离数据与其关联的图像420中的像素指示的位置相同。
在这种情况下，图像420中的像素1220的辉度值和图像410中的像素1214的辉度值相同，并且像素1214的传播参数L1(p,4)等于0。
当像素1214的传播参数L1(p,4)等于0时，像素1213的传播参数L1(p,3)设置为C(p,3)+0。也就是，可以基于像素1213的辉度值和像素1220的辉度值之间的差值计算出像素1213的传播参数L1(p,3)。
类似地，像素1212的传播参数L1(p,2)设置为C(p,2)+0，并且可以基于像素1212的辉度值和像素1220的辉度值之间的差值计算出像素1212的传播参数L1(p,2)。
类似地，也可以基于像素1211的辉度值和像素1220的辉度值之间的差值以及像素1210的辉度值和像素1220的辉度值之间的差值，计算像素1211的传播参数L1(p,1)和像素1210的传播参数L1(p,0)。即，基于图像410中的像素和图像420中的对应像素之间的相似性，可以计算像素1210-1214的传播参数L1(p,0)-L1(p,4)。
在计算出图像410中的像素1210-1214的传播参数L1(p,0)-L1(p,4)之后，可以计算像素1223的传播参数L1(p+1,d)。
具体地，根据公式L1(p+1,3)＝C(p+1,3)+min{L1(p,3),L1(p,2)+P1,L1(p,4)+P1}计算传播参数L1(p+1,3)。在这个公式中，P1是常数并且L1(p,4)＝0，并且，如上面描述，L1(p,3)等于C(p,3)并且L1(p,2)等于C(p,2)。
通过重复相同的处理，可以确定像素1222、1221......的传播参数，并且由此可以计算图像410中所有像素的传播参数。
因此，能量计算单元732配置来基于从激光雷达距离测量模块110接收到的距离数据，计算与图像420(参考图像)中的距离数据与其关联的像素对应的图像410(比较图像)中的像素的视差d。另外，通过假设与距离数据与其关联的像素对应的像素的视差d的传播参数L1(p,d)等于0，能量计算单元732配置来通过使用传播参数L1(p,d)作为开始点，顺序计算与对应像素不同的像素的传播参数。
以这样的方式，能量计算单元732使用与由激光雷达距离测量模块110测量出的距离与其关联的参考图像中的像素对应的比较图像中的像素，作为当计算其他像素的传播参数时的开始点。通过假设对应像素的视差d的传播参数等于0，可以增加使用作为开始点的对应像素的视差d的传播参数顺序计算出的其他像素的传播参数的精度。因此，可以增加视差计算的精度。
接着，说明由能量计算单元732计算出的能量值S(p,d)和视差之间的关系。图13是说明由能量计算单元732计算出的能量值和视差之间的关系的图。
在图13中示出的示例中，对于在视差d＝0到10的范围内变化的视差分别计算四个方向上的像素1301的传播参数L1到L4。通过对于视差中的对应一个的四个方向上的传播参数L1-L4求和，计算各个视差的能量值S(p,0)-S(p,10)。
在图13的下部分指示的视差能量图1311中，水平轴表示视差d，垂直轴表示能量值S(p)，并且点绘对于像素1301计算出的能量值S(p,0)-S(p,10)。如视差-能量图1311中所示，能量值S(p)在视差d的某一值急剧下降。
如前面说明显而易见，在这个实施例中，对于具有光滑纹理(诸如道路表面之类)的图像部分计算能量值S(p)，并且根据视差d的变化的能量值S(p)的变化可能足够大来增加视差计算的精度。另一方面，在相关领域，对于具有光滑纹理(诸如道路表面之类)的图像部分计算SAD，并且根据视差d的变化的SAD的变化可能太小以至于不能增加视差计算的精度。因此，根据本实施例能够以足够的精度计算视差。
也可以对应其他像素1302、1303......执行相同的处理，并且可以通过计算能量值S(p)以足够的精度计算其他像素的视差。
接着，说明由能量计算单元732执行的能量计算处理的流程。图14是说明由能量计算单元732执行的能量计算处理的流程图。
在成本计算单元731的成本计算处理的结束之后，能量计算单元732开始执行图14中所示的能量计算处理。应当注意，对于立体图像的每个帧，基于逐帧重复执行图14所示的能量计算处理，并且在图14的示例中，对于立体图像的一帧执行能量计算处理。
如图14中所示，在步骤S1401，能量计算单元732从激光雷达距离测量模块110读取与要处理的立体图像的多个帧之一对应的距离数据。
在步骤S1402，能量计算单元732标识距离数据与其关联的要处理的帧的参考图像中的像素之中的像素。另外，在步骤S1402，能量计算单元732基于距离数据以及图像拾取单元710和720之间的已知距离，计算与参考图像中的标识出的像素对应的比较图像中的像素的视差d。
在步骤S1403，能量计算单元732计算与距离数据与其关联的像素对应的比较图像中的像素的视差d的传播参数。
在步骤S1404，计数器r设置为1(计数器r＝1表示四个方向上的传播参数之中的由图11中的箭头1111指示出的方向上的传播参数)。
在步骤S1405，能量计算单元732在假设在步骤S1403计算出的传播参数是开始点的情况下，通过使用密集匹配算法计算“r”方向上的所有其他像素的传播参数L1(p,d)。
在步骤S1406，能量计算单元732确定计数器r是否大于或等于4(r≧4)。当计数器r小于4时(r<4)，处理行进到计数器r递增(r＝r+1)的步骤S1407，并且返回步骤S1405。在步骤S1405，能量计算单元732在假设在步骤S1403计算出的传播参数是开始点的情况下，通过使用密集匹配算法计算“r”方向上的所有其他像素的传播参数L2(p,d)。
类似地，由能量计算单元732计算传播参数L3(p,d)和L4(p,d)。当在步骤S1406确定完成四个方向上的传播参数的计算时(r≧4)，处理行进到步骤S1408。
在步骤S1408，能量计算单元732通过对视差中的对应一个的四个方向上的传播参数L1(p,d)-L4(p,d)求和，针对各个视差计算每个像素的能量值S(p)。随后，能量计算单元732基于计算出的能量值S(p)，生成视差-能量图形，如图13中所示。
接着，说明视差计算单元733。图15是说明由视差计算单元733执行的视差计算处理的流程图。
在由能量计算单元732的能量计算处理的结束之后，视差计算单元733开始执行视差计算处理，如图15中所示。应当注意，对于立体图像的每个帧，基于逐帧重复执行图15所示的能量计算处理，并且在图15的示例中，对于立体图像的一个帧中包括的比较图像执行视差计算处理。
如图15中所示，在步骤S1501，像素计数器p设置为1。在步骤S1502，读取比较图像中的注意到的像素p(由像素计数器p指示)的视差-能量图形。如上面描述，由能量计算单元732计算比较图像中的每个像素的视差-能量图形，并且在步骤1502读取那些视差-能量图形之中的注意到的像素p的视差-能量图形。
在步骤S1503，视差计算单元733计算在预定阈值之下的、读取出的视差-能量图形中的最低点，并且从读取出的视差-能量图形提取最低点作为视差D(p)。在步骤S1504，视差计算单元733确定是否对于要处理的帧中的所有像素提取视差D(p)。
当在步骤S1504确定存在对于其没有提取视差D(p)的像素时，处理返回步骤S1502。
另一方面，当在步骤S1504确定对于要处理的帧的所有像素提取视差D(p)时，视差计算单元733在步骤S1505基于提取出的视差D(p)，生成和输出要处理的帧的视差图像。
如前面描述，根据本实施例的视差运算系统100包括通过使用激光束测量距离的激光雷达距离测量模块110和计算视差图像的立体图像运算模块120。视差运算系统100的这些模块如下配置。
-激光雷达距离测量模块110配置来与由组成立体相机的图像拾取单元710和720拍摄的立体图像同步，以使得可以测量预定照射的距离。
-立体图像运算模块120配置来将从激光雷达距离测量模块110读取出的距离数据与对应立体图像(参考图像)的帧中的像素关联。
-立体图像运算模块120配置来基于距离数据和立体相机之间的已知距离，计算与距离数据与其关联的参考图像中的像素对应的比较图像中的像素的视差。
-立体图像运算模块120配置来通过将与距离数据与其关联的参考图像中的像素对应的比较图像中的像素的视差d的传播参数作为开始点，通过密集匹配算法顺序计算帧中的其他像素的传播参数。
以这样的方式，通过使用与由激光雷达距离测量模块110测量出的距离与其关联的参考图像中的像素对应的比较图像中的像素的视差d的传播参数，作为当计算其他像素的传播参数时的开始点，根据本实施例的视差运算系统100可以以良好的精度确定其他像素的传播参数。因此，根据本实施例的视差运算系统能够通过使用比较图像中的像素的视差d的传播参数作为开始点增加顺序计算出的其它像素的传播参数的精度。因此，根据本实施例的视差运算系统100能够增加视差计算的精度。
第二实施例
在上面的第一实施例中，已经描述由能量计算单元732使用由激光雷达距离测量模块110测量出的距离的情况。然而，本发明不限于这个实施例。例如，当执行视差计算处理时可以由视差计算单元733使用由激光雷达距离测量模块110测量出的距离。
接着，说明根据第二实施例的视差运算系统100。下面，将仅说明根据第二实施例的视差运算系统100和根据第一实施例的视差运算系统100的区别。
说明根据本实施例的视差运算系统100中的立体图像运算模块120的功能配置。图16是示出根据本实施例的视差运算系统100中的立体图像运算模块120的功能配置的框图。
图16中所示的根据本实施例的立体图像运算模块120与图7中所示的第一实施例的不同之处在于从激光雷达距离测量模块110发送的距离信息被输入到视差计算单元733。在根据本实施例的视差运算系统100中，激光雷达距离测量模块110包括转向方向扫描镜(未示出)，并且配置来当由图像拾取单元710和720拍摄立体图像时，通过使用转向方向扫描镜围绕转向方向相对于车辆的前向方向改变激光束的照射方向。例如，可以以与车辆的前向方向不同的三个照射角度围绕转向方向照射激光束。因此，在从激光雷达距离测量模块110接收到的距离信息中包括与几个照射方向对应的两个或者更多距离信息项。
说明由根据本实施例的视差运算系统100使用的激光束的照射位置和立体图像的像素位置之间的关系。图17是说明根据本实施例的视差运算系统100中的激光束的照射位置和立体图像的像素位置之间的关系的图。在根据本实施例的视差运算系统100中，激光雷达距离测量模块110安装在立体图像运算模块120的立体相机之间，以使得激光雷达距离测量模块110在转向方向上可旋转，并且在仰角发方向的预定照射范围中照射激光束。
因此，如图17中所示，在几个照射角度上，图像420的预定位置处的像素与激光束的照射位置对应。在图17中，附图标记1711-1713表示图像420中的激光束的照射范围。
具体地，如图17中所示，像素(Px11,Py1)、像素(Px12,Py2)、像素(Px13,Py3)和像素(Px14,Py4)与测量照射范围1711的距离的位置对应。因此，这些像素与由激光雷达距离测量模块110测量出的距离关联。
在图420的示例中，距离数据LD11与像素(Px11,Py1)关联，距离数据LD12与像素(Px12,Py2)关联，距离数据LD13与像素(Px13,Py3)关联，并且距离数据LD14与像素(Px14,Py4)关联。
类似地，像素(Px2,Py1)、像素(Px2,Py2)、像素(Px2,Py3)和像素(Px2,Py4)与测量照射范围1712的距离的位置对应。因此，距离数据LD21与像素(Px2,Py1)关联，距离数据LD22与像素(Px2,Py2)关联，距离数据LD23与像素(Px2,Py3)关联，并且距离数据LD24与像素(Px2,Py4)关联。
类似地，像素(Px31,Py1)、像素(Px32,Py2)、像素(Px33,Py3)和像素(Px34,Py4)与测量照射范围1713的距离的位置对应。因此，距离数据LD31与像素(Px31,Py1)关联，距离数据LD32与像素(Px32,Py2)关联，距离数据LD33与像素(Px33,Py3)关联，并且距离数据LD34与像素(Px34,Py4)关联。
因为已知组成立体相机的图像拾取单元710和图像拾取单元720之间的距离，所以可以分别基于距离数据LD11-LD34正确地计算出距离数据与其关联的这些像素的视差。
接着，说明由视差计算单元733执行的视差计算处理。图18是说明由视差计算单元733执行的视差计算处理的图。具体地，图18示出包括与距离数据与其关联的图像420(参考图像)中的像素对应的像素的图像410(比较图像)的图像部分。在图18中，假设阴影像素是与距离数据与其关联的图像420中的像素对应的图像410中的像素。换言之，图18中的阴影像素是已经基于距离数据计算出其视差的像素。
另外，假设像素1801和像素1802是未由能量计算单元732提取其视差的像素。具体地，假设由能量计算单元732计算出的这些像素的能量值S(p)，没有示出对于视差变化的大变化，并且没有找到预定阈值之下的视差-能量图形中的最低点。
视差计算单元733配置来使用已经基于距离数据计算出的视差内插这些像素1801和1802的视差。换言之，使用对应像素的计算出的视差，内插与其视差已经基于距离数据计算出的像素不同的像素的视差。
例如，像素1801位于计算出其视差的像素(Px2,Py3)和像素(Px2,Py2)之间，其距离像素(Px2,Py3)一个像素，并且距离像素(Px2,Py2)两个像素。这里，假设d23表示基于距离数据LD23计算出的像素(Px2,Py3)的视差，并且d22表示基于距离数据LD22计算出的像素(Px2,Py2)的视差。在这种情况下，视差计算单元733通过公式：像素1801的视差＝d23x2/3+d22x1/3计算像素1801的视差。
此外，像素1802相邻于计算出其视差的像素(Px32,Py2)和像素(Px33,Py3)。这里，假设d32表示基于距离数据D32计算出的像素(Px32,Py3)的视差，并且d33表示基于距离数据D33计算出的像素(Px33,Py3)的视差。在这种情况下，视差计算单元733通过公式：像素1802的视差＝d32x3/4+d33x1/4计算像素1802的视差。
以这样的方式，视差计算单元733通过使用已经基于距离数据计算出的附近像素的视差，计算未由能量计算单元732计算出的像素的视差。此外，当使用基于距离数据计算出其视差的附近像素时，根据附近像素和未由能量计算单元732计算出其视差的像素之间的距离的执行加权的视差计算。
这使得能够计算图像410的帧中的所有像素的视差。因此，能够增加视差计算的精度。
接着，说明由视差计算单元733的视差计算的流程。图19是说明由视差计算单元733执行的视差计算处理的流程图。
类似于上面描述的第一实施例，在能量计算单元732的能量计算处理之后，视差计算单元733开始执行图19中所示的视差计算处理。应当注意，对于立体图像的每个帧，基于逐帧重复执行图19中所示的视差计算处理，并且在图19的示例中，对立体图像的一个帧执行视差计算处理。
如图19中所示，在步骤S1901，视差计算单元733读取由能量计算单元732计算出的比较图像中的每个像素的视差。
在步骤S1902，视差计算单元733确定在步骤S1901读取其视差的像素之中是否存在没有计算出其视差的像素。当在步骤S1902确定不存在其视差没有计算出的像素时，处理行进到步骤S1907。
另一方面，当在步骤S1902确定存在没有计算出其视差的像素时，处理行进到步骤S1903。在步骤S1903，视差计算单元733读取在视差没有计算出的像素的附近并且已经基于距离数据计算出其视差的附近像素。
随后，在步骤S1904，视差计算单元733根据视差计算出的附近像素和视差没有计算出的像素之间的距离，计算每个附近像素的加权因子。在步骤S1905，视差计算单元733通过在步骤S1903读取的附近像素的视差和在步骤S1904计算出的加权因子的乘积和，计算其视差没有由能量计算单元732计算出的像素的视差。
在步骤S1906，视差计算单元733确定是否计算出要处理的帧中的所有的像素的视差。当在步骤S1906确定出存在其视差没有计算出的像素时，处理返回步骤S1903。
另一方面，当在步骤S1906确定计算出要处理的帧中的所有像素的视差时，处理行进到步骤S1907。在步骤S1907，视差计算单元733基于要处理的帧中的所有像素的计算出的视差，生成和输出视差图像。
如前面描述，根据本实施例的视差运算系统100包括通过使用激光束测量距离的激光雷达距离测量模块110和计算视差图像的立体图像运算模块120。视差运算系统100的模块如下配置。
-激光雷达距离测量模块110配置来与由组成立体相机的图像拾取单元710和720拍摄的立体图像同步，以使得可以在转向方向上的几个照射角度测量预定照射范围。
-立体图像运算模块120配置来将从激光雷达距离测量模块110读取出的距离数据与对应立体图像(参考图像)的帧中的像素关联。
-立体图像运算模块120配置来基于距离数据和立体相机之间的已知距离，计算与距离数据与其关联的像素对应的比较图像中的像素的视差。
-立体图像运算模块120配置来当基于立体图像计算出视差的帧的像素中存在没有计算出其视差的像素时，通过使用基于距离数据计算出其视差的附近像素，计算视差没有计算出的像素的视差。
以这样的方式，根据本实施例的视差运算系统100配置来使用基于由激光雷达距离测量模块110测量出的距离计算出的视差，内插基于立体图像计算出的视差，并且根据本实施例的视差运算系统100能够增加视差计算的精度。
第三实施例
在上面描述的第一实施例中，已经说明由能量计算单元732使用由激光雷达距离测量模块110测量出的距离的情况，并且在上面描述的第二实施例中，说明由视差计算单元733使用由激光雷达距离测量模块110测量出的距离的情况。
然而，本发明不限于这些实施例。可替代地，可以通过将距离数据与其关联的参考图像中的像素的辉度值和来自与参考图像中的像素对应的比较图像中的像素在视差d的位置处的像素的辉度值，改变为预定辉度值，来处理立体图像。这是因为，可以通过处理立体图像中具有平滑纹理的图像部分中的像素，便于视差计算。
接着，说明根据第三实施例的视差运算系统。下面，将仅描述第三实施例与上面描述的第一和第二实施例的区别。
首先，说明根据本实施例的视差运算系统100中的立体图像运算模块120的功能配置。图20是示出根据本实施例的视差运算系统100中的立体图像运算模块120的功能配置的框图。
图20中所示的根据本实施例的立体图像运算模块120与图7中所示的立体图像运算模块120不同之处在于从激光雷达距离测量模块110发送的距离信息被输入到信息嵌入单元2001。
信息嵌入单元2001配置来从由图像拾取单元720拍摄的图像420的像素中提取从激光雷达距离测量模块110接收到的距离数据与其关联的像素。另外，信息嵌入单元2001配置来从与图像420中提取出的像素对应的图像410中的像素中提取在视差d的位置的像素。
此外，信息嵌入单元2001配置来将图像410中的提取出的像素的辉度值和图像420中的提取出的像素的辉度值(两个提取出的像素相互对应并且指示相同物体)改变为预定辉度值。具体地，信息嵌入单元2001配置来将那些初始辉度值改变为使得随后由能量计算单元732计算的能量值S(p)的变化能够相对于视差的变化扩大的辉度值。即，初始辉度值改变为与提取出的像素周围的像素的平均辉度值显著区别并且对于图像410和图像420完全相同的辉度值。
由此，即使在具有平滑纹理的图像部分的情况下，可以确定地执行提取出的像素的视差的计算，并且能够增加视差计算的精度。
接着，说明由信息嵌入单元2001执行的信息嵌入处理。图21A和21B是说明由信息嵌入单元2001执行的信息嵌入处理的图。
假设在图21A所示的图像420中，距离数据与在激光束的照射范围520内的像素(Px1,Py1)、像素(Px1,Py2)、像素(Px1,Py3)和像素(Px1,Py4)中的每个关联。
这里，假设d1表示基于与像素(Px1,Py1)关联的距离数据LD1计算出的视差，d2表示基于与像素(Px1,Py2)关联的距离数据LD2计算出的视差，d3表示基于与像素(Px1,Py3)关联的距离数据LD3计算出的视差，并且d4表示基于与像素(Px1,Py4)关联的距离数据LD4计算出的视差。
在这种情况下，指示与由图像420中像素(Px1,Py1)、(Px1,Py2)、(Px1,Py3),和(Px1,Py4)指示的物体相同的物体的图像410中的像素如下。
-(Px1,Py1)->(Px1+d1,Py1)
-(Px1,Py2)->(Px1+d2,Py2)
-(Px1,Py3)->(Px1+d3,Py3)
-(Px1,Py4)->(Px1+d4,Py4)
信息嵌入单元2001配置来将图像410中的提取出的像素的初始辉度值和图像420中的提取出的像素的辉度值(两个提取出的像素相互对应并且指示相同物体)，改变为与提取出的像素周围的像素的平均辉度值显著不同并且对于图像410和图像420完全相同的第二辉度值。
图21B示出通过信息嵌入单元2001将指示相同位置的像素的初始辉度值改变为第二辉度值的状态。具体地，在图21B中，图像410中的像素(Px1+d1,Py1)和图像420中的像素(Px1,Py1)的辉度值改变为g1，图像410中的像素(Px1+d2,Py2)和图像420中的像素(Px1,Py2)的辉度值改变为g2，图像410中的像素(Px1+d3,Py3)和图像420中的像素(Px1,Py3)的辉度值改变为g3，并且图像410中的像素(Px1+d4,Py4)和图像420中的像素(Px1,Py4)的辉度值改变为g4。
假设辉度值g1、g2、g3和g4与周围像素的平均辉度值显著不同。以这样的方式，可以通过基于从激光雷达距离测量模块110接收到的距离信息标识指示立体图像中的相同物体的像素并且改变标识出的像素的初始辉度值，确定地执行能量计算单元732的视差的计算。因此，能够增加视差计算的精度。
接着，说明由信息嵌入单元2001执行的信息嵌入处理的流程。图22是说明由信息嵌入单元2001执行的信息嵌入处理的流程图。一旦开始由图像拾取单元710和图像拾取单元720的拍摄，信息嵌入单元2001就开始执行图22中所示的信息嵌入处理。应当注意，对于立体图像的每个帧，基于逐帧重复执行图22中所示的信息嵌入处理，并且在图22的示例中，对立体图像的一个帧执行信息嵌入处理。
如图22中所示，在步骤S2201，信息嵌入单元2001读取由图像拾取单元710拍摄的图像和由图像拾取单元720拍摄的图像。在步骤S2202，信息嵌入单元2001读取与在步骤S2201读取图像同步地测量出的距离。
在步骤S2203，信息嵌入单元2001基于在步骤S2202读取的距离数据标识在步骤S2201读取的每个图像中指示相同物体的像素。
在步骤S2204，信息嵌入单元2001以上面描述的方式分别改变在步骤S2203标识出的像素的辉度值。在步骤S2205，信息嵌入单元2001向成本计算单元731输出在步骤S2204改变标识出的像素的辉度值的图像。
如前面描述，根据本实施例的视差运算系统100包括通过使用激光束测量距离的激光雷达距离测量模块110和计算视差图像的立体图像运算模块120。视差运算系统100的这些模块如下配置。
-立体图像运算模块120(或者信息嵌入单元2001)配置来基于从激光雷达距离测量模块110读取的距离数据，从每个立体图像的帧中包括的像素之中标识指示相同物体的像素。
-立体图像运算模块120(或者信息嵌入单元2001)配置来将基于距离数据标识出的像素的初始辉度值改变为与提取出的像素周围的像素的平均辉度值显著不同并且对于比较图像和参考图像完全相同的第二辉度值。将初始辉度值改变为粗糙纹理的方向上的第二辉度值。
以这样的方式，根据本实施例的视差运算系统100配置来基于从激光雷达距离测量模块110读取出的距离数据，改变每个立体图像的帧中的像素的辉度值，这可以有助于能量计算单元732的视差的提取。因此，能够增加视差计算的精度。
第四实施例
在前面的实施例中，已经描述由图像拾取单元710拍摄的图像和由图像拾取单元720拍摄的图像直接输入到视差运算单元730的情况。然而，本发明不限于这样的实施例。图23是示出立体图像运算模块120的另一功能配置的图。如图23中所示，可以在视差运算单元730前面布置预处理单元2301和预处理单元2302。即，在对由图像拾取单元720拍摄的图像和由图像拾取单元710拍摄的图像执行预处理之后，预处理后的图像可以输入到视差运算单元730。
由预处理单元2301和2302执行的预处理可以包括噪声消除处理、失真校正处理、伽玛转换处理等。通过执行预处理，能够增加视差计算的精度。
第五实施例
在前面的实施例中，在照射范围中的四个测量点处由激光雷达距离测量模块110测量距离数据。然而，本发明不限于这些实施例。根据本发明的视差运算系统在照射范围中的一个或者多个测量点处测量距离数据是足够的。
在上面的第一实施例中，通过能量计算单元732，用作传播参数的计算的开始点的像素的数目是一个。然而，本发明不限于这个实施例。用作传播参数的计算的开始点的像素的数目可以是两个或者更多。
在上面的第一实施例中，当计算成本时由能量计算单元732使用的块大小设置为1x1个像素。然而，本发明不限于这个实施例。当计算成本时由能量计算单元732使用的块大小可以是两个或者更多像素。
在上面的第一实施例中，(由整数单元)逐像素执行从视差-能量图形的视差的提取。然而，本发明不限于这个实施例。可以由分数单元执行从视差-能量图形的视差的提取。
在上面的第一实施例中，当生成视差-能量图形时，在范围p＝0-10中变化视差p。然而，本发明不限于这个实施例。可以在更宽的范围或者更窄的范围中变化视差。
在上面的第一实施例中，与由激光雷达距离测量模块110测量出的距离与其关联的参考图像中的像素对应的比较图像中的像素的视差d的传播参数被用作传播参数的计算的开始点。然而，本发明不限于这个实施例。可替代地，视差d可以包括在另一方法的密集匹配算法中。
在上面的第二实施例中，激光雷达距离测量模块配置来在转向方向上的三个照射角度照射激光束。然而，本发明可以不限于这个实施例。激光束可以在转向方向上的两个照射角度或者转向方向上的四个或者更多照射角度照射。
在前面的实施例中，激光雷达距离测量模块110被配置，以使得激光束的照射方向可以在仰角方向上旋转。然而，本发明不限于这个示例。激光雷达距离测量模块110也可以配置来在不需要旋转激光束的照射方向的情况下，照射多个激光束。此外，在上面的第五实施例中，也可以使用利用单个固定激光束的配置。
在前面的实施例中，视差计算的精度的增加描述为针对立体图像运算模块120的视差图像的产生使用由激光雷达距离测量模块110测量出的距离的有利效果。本发明的有利效果不限于实施例。例如，由于增加视差计算的精度而增加道路表面上的物体的识别率的效果，可以包括在本发明的有利效果中。
在前面的实施例中，基于从激光雷达距离测量模块110照射的激光束的反射后的激光束，获取指示到激光束的照射位置的距离的距离信息。然而，本发明不限于实施例。可以基于从与激光雷达距离测量模块110不同的电磁波距离测量模块照射的电磁波的反射后的波，获取指示到照射位置的距离的距离信息。
根据本发明的图像处理装置和视差运算系统不限于上面描述的实施例，并且可以在不脱离本发明的范围的情况下，作出各种变型和修改。
本申请基于并且要求2013年12月26日提交的日本专利申请第2013-268506和2014年12月19日提交的日本专利申请第2014-256864的优先权的权益，其全部内容通过引用的方式并入本文。
附图标记的描述
100 视差运算系统
110 激光雷达距离测量模块
120 立体图像运算模块
200 车辆
410 图像
420 图像
520 照射范围
601 信号处理单元
602 仰角方向扫描驱动单元
603 马达
604 仰角方向扫描镜
605 激光束接收单元
606 信号放大器
607 时间间隔计数器
608 激光输出单元
609 激光驱动器
710 图像拾取单元
720 图像拾取单元
730 视差运算单元
731 成本计算单元
732 能量计算单元
733 视差计算单元
1210-1214 像素
1220 像素
1711 照射范围
1712 照射范围
1713 照射范围
1801 像素
1802 像素
2001 信息嵌入单元
2301 预处理单元
2302 预处理单元
现有技术文件
[专利文献]
[专利文献1]日本专利第3,212,218
[专利文献2]日本专利第4,265,931

Claims (11)

1.一种信息处理装置，其基于由多个图像拾取单元拍摄的图像生成视差图像，信息处理装置包括：
处理器；以及
存储器，其存储计算机可读代码，当计算机可读代码由所述处理器执行时使得处理器充当
关联单元，配置来将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置的距离的距离信息与组成图像的第一图像中的第一像素关联，距离信息基于所述电磁波的反射后的波获得并且所述第一像素与所述电磁波的照射位置对应；以及
生成单元，配置来通过使用与所述第一像素关联的所述距离信息生成视差图像，用于组成图像的第二图像中的像素的视差计算。
2.如权利要求1所述的信息处理装置，其中，所述生成单元配置为基于与所述第一像素关联的所述距离信息和多个像素拾取单元之间的已知距离，计算与所述第一图像中的所述第一像素对应的所述第二图像中的像素之中的第二像素的视差。
3.如权利要求2所述的信息处理装置，其中，所述生成单元配置来基于所述第一图像中的像素和所述第二图像中的像素的相似性，通过使用密集匹配算法顺序计算所述第二图像中的像素的传播参数，根据与所述第一图像中的对应像素的偏移量计算所述第二图像中的像素的能量值，并且根据所述偏离量的变化基于所述第二图像中的计算出的像素的能量值的变化，计算所述第二图像中的像素的视差。
4.如权利要求3所述的信息处理装置，其中，所述生成单元配置来包括密集匹配算法中的所述第二像素的视差，并且顺序计算所述传播参数。
5.如权利要求3所述的信息处理装置，其中，所述生成单元配置来基于与所述第一像素关联的距离信息和多个图像拾取单元之间的已知距离计算所述第二图像中的像素的视差，并且配置为当存在其视差没有基于根据所述偏离量的变化对于所述第二图像中的像素计算出的能量值的变化而计算出的像素时，通过使用基于与所述第一像素关联的距离信息计算出的所述第二像素的视差，内插视差没有计算出的像素的视差。
6.如权利要求2所述的信息处理装置，其中，所述生成单元配置来将所述第一图像中的所述第一像素的辉度值和在根据所述第二图像中的所述第二像素的视差的位置处的所述第二图像中的像素的辉度值，改变为第二辉度值，并且处理所述第一像素的辉度值和该像素的辉度值改变为第二辉度值之后的图像。
7.一种视差运算系统，包括多个图像拾取单元、电磁波距离测量单元和信息处理装置，所述信息处理装置包括存储计算机可读取代码的存储器，当计算机可读代码由处理器执行时将处理器配置为：
获取单元，配置来获取由多个图像拾取单元拍摄的图像；
关联单元，配置来将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置的距离与组成图像的第一图像中的第一像素关联，所述距离信息基于所述电磁波的反射后的波获得并且所述第一像素与所述电磁波的照射位置对应；以及
生成单元，配置来通过使用与所述第一像素关联的所述距离信息生成视差图像，用于组成图像的第二图像中的像素的视差计算。
8.如权利要求7所述的视差运算系统，其中，所述电磁波距离测量单元配置来照射电磁波，以使得所述电磁波的照射范围设置在由多个图像拾取单元拍摄的图像中包括的道路表面部分中。
9.如权利要求7或8所述的视差运算系统，其中，所述电磁波距离测量单元配置为当由多个图像拾取单元拍摄图像时，通过改变所述电磁波的照射方向接收多个距离信息项。
10.一种在视差运算系统中使用的信息处理方法，所述视差运算系统包括多个图像拾取单元、电磁波距离测量单元和信息处理装置，该方法包括：
获取由多个图像拾取单元拍摄的图像；
将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置的距离与组成图像的第一图像中的第一像素关联，所述距离信息基于所述电磁波的反射后的波获得并且所述第一像素与所述电磁波的照射位置对应；以及
通过使用与所述第一像素关联的所述距离信息生成视差图像，用于组成图像的第二图像中的像素的视差计算。
11.一种非临时计算机可读记录介质，存储计算机可读代码的程序，当计算机可读代码由计算机执行时，使得计算机执行权利要求10所述的信息处理方法。
CN201480070211.0A 2013-12-26 2014-12-22 视差运算系统、信息处理装置、信息处理方法和记录介质 Expired - Fee Related CN105849504B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-268506 2013-12-26
JP2013268506 2013-12-26
JP2014-256864 2014-12-19
JP2014256864A JP6476831B2 (ja) 2013-12-26 2014-12-19 視差演算システム、情報処理装置、情報処理方法及びプログラム
PCT/JP2014/084742 WO2015099193A1 (en) 2013-12-26 2014-12-22 Parallax operation system, information processing apparatus, information processing method, and recording medium

Publications (2)

Publication Number Publication Date
CN105849504A true CN105849504A (zh) 2016-08-10
CN105849504B CN105849504B (zh) 2018-09-14

Family

ID=53479031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480070211.0A Expired - Fee Related CN105849504B (zh) 2013-12-26 2014-12-22 视差运算系统、信息处理装置、信息处理方法和记录介质

Country Status (6)

Country Link
US (1) US10198830B2 (zh)
EP (1) EP3087342B1 (zh)
JP (1) JP6476831B2 (zh)
KR (1) KR101815407B1 (zh)
CN (1) CN105849504B (zh)
WO (1) WO2015099193A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630345A (zh) * 2017-12-21 2020-09-04 皮尔茨公司 用于根据空间区域的图像确定距离信息的方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6776692B2 (ja) * 2016-07-25 2020-10-28 株式会社リコー 視差演算システム、移動体及びプログラム
JP6772639B2 (ja) * 2016-08-02 2020-10-21 株式会社リコー 視差演算システム、移動体及びプログラム
CN108027238B (zh) * 2016-09-01 2022-06-14 索尼半导体解决方案公司 成像装置
JP7176406B2 (ja) * 2018-01-23 2022-11-22 株式会社リコー 画像処理方法、画像処理装置、車載装置、移動体、システム
EP3514759A1 (en) 2018-01-23 2019-07-24 Ricoh Company, Ltd. Image processing method, image processing apparatus, on-board device, moving body, and system
JP7119444B2 (ja) 2018-03-13 2022-08-17 株式会社リコー 測距システム、測距方法、車載装置、車両
JP7238422B2 (ja) 2019-01-22 2023-03-14 株式会社リコー 測距方法、測距装置、車載装置、移動体、測距システム
JP7255259B2 (ja) 2019-03-19 2023-04-11 株式会社リコー 検出装置、測距装置、時間測定方法、プログラム、移動体
CN110376595B (zh) * 2019-06-28 2021-09-24 湖北大学 自动装车机车辆测量系统
JP7298350B2 (ja) 2019-07-08 2023-06-27 株式会社リコー 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム
JP7463701B2 (ja) 2019-11-19 2024-04-09 株式会社リコー 画像診断装置、故障診断装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602653A (en) * 1994-11-08 1997-02-11 Xerox Corporation Pixel pair grid halftoning for a hyperacuity printer
JP2009047496A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
US20100091017A1 (en) * 2006-10-09 2010-04-15 Marcin Michal Kmiecik Method and apparatus for generating an orthorectified tile
CN103198314A (zh) * 2013-02-20 2013-07-10 北京农业信息技术研究中心 遥感图像辐射校正方法
CN103247033A (zh) * 2013-04-26 2013-08-14 中国科学院东北地理与农业生态研究所 一种基于影像选取控制点的矢量数据纠正方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
JP3212218B2 (ja) 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2001141457A (ja) * 1999-11-12 2001-05-25 Minolta Co Ltd ３次元計測装置
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
JP4265931B2 (ja) 2003-05-22 2009-05-20 富士重工業株式会社 先行車両検出装置
JP4394487B2 (ja) 2004-03-05 2010-01-06 富士重工業株式会社 ステレオ画像処理装置
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP4856611B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP5316805B2 (ja) 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
CN103593851B (zh) 2009-03-31 2017-11-28 松下知识产权经营株式会社 立体图像处理器
JP4934701B2 (ja) 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
US9317754B2 (en) 2009-12-25 2016-04-19 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
KR101086305B1 (ko) * 2010-02-03 2011-11-23 한국과학기술연구원 3차원 영상 디스플레이 장치 및 방법
JP5545036B2 (ja) * 2010-05-28 2014-07-09 三菱電機株式会社 画像処理装置、画像処理方法および画像表示装置
JP5494286B2 (ja) * 2010-06-25 2014-05-14 株式会社明電舎 架線位置測定装置
US9200895B2 (en) * 2010-11-16 2015-12-01 Konica Minolta, Inc. Image input device and image processing device
JP5682065B2 (ja) * 2011-03-02 2015-03-11 独立行政法人産業技術総合研究所 ステレオ画像処理装置及びステレオ画像処理方法
WO2013031807A1 (ja) * 2011-09-02 2013-03-07 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP2013093013A (ja) 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
JP2013174547A (ja) * 2012-02-27 2013-09-05 Sharp Corp ステレオ３次元計測装置
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602653A (en) * 1994-11-08 1997-02-11 Xerox Corporation Pixel pair grid halftoning for a hyperacuity printer
US20100091017A1 (en) * 2006-10-09 2010-04-15 Marcin Michal Kmiecik Method and apparatus for generating an orthorectified tile
JP2009047496A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
CN103198314A (zh) * 2013-02-20 2013-07-10 北京农业信息技术研究中心 遥感图像辐射校正方法
CN103247033A (zh) * 2013-04-26 2013-08-14 中国科学院东北地理与农业生态研究所 一种基于影像选取控制点的矢量数据纠正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630345A (zh) * 2017-12-21 2020-09-04 皮尔茨公司 用于根据空间区域的图像确定距离信息的方法
CN111630345B (zh) * 2017-12-21 2022-09-02 皮尔茨公司 用于根据空间区域的图像确定距离信息的方法

Also Published As

Publication number Publication date
EP3087342B1 (en) 2019-02-06
US10198830B2 (en) 2019-02-05
JP2015143679A (ja) 2015-08-06
JP6476831B2 (ja) 2019-03-06
KR101815407B1 (ko) 2018-01-04
EP3087342A1 (en) 2016-11-02
KR20160089445A (ko) 2016-07-27
CN105849504B (zh) 2018-09-14
US20180165834A1 (en) 2018-06-14
WO2015099193A1 (en) 2015-07-02
EP3087342A4 (en) 2017-01-04

Similar Documents

Publication Publication Date Title
CN105849504A (zh) 视差运算系统、信息处理装置、信息处理方法和记录介质
CN112634374B (zh) 双目相机的立体标定方法、装置、系统及双目相机
US10373337B2 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
CN105335955A (zh) 对象检测方法和对象检测装置
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN106225676B (zh) 三维测量方法、装置及系统
CN111179329A (zh) 三维目标检测方法、装置及电子设备
US10904512B2 (en) Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US9628777B2 (en) Method of 3D reconstruction of a scene calling upon asynchronous sensors
CN104049257A (zh) 一种多相机空间目标激光立体成像装置及方法
US20220138971A1 (en) Three-dimensional displacement measuring method and three-dimensional displacement measuring device
TW201715882A (zh) 深度估測裝置及方法
JP2019020952A (ja) 画像処理装置、方法、及びプログラム
Zhang et al. High quality depth maps from stereo matching and ToF camera
KR101694890B1 (ko) 다시점 이차원 영상을 활용한 영상처리 시스템 및 방법
CN114332373A (zh) 一种克服继电器金属表面反光的磁路落差检测方法及系统
CN113628265A (zh) 车辆周视点云的生成方法、深度估计模型训练方法及装置
CN113673284B (zh) 深度相机抓拍方法、系统、设备及介质
Schmitt et al. Feature detection and matching on atmospheric nuclear detonation video
WO2019066724A1 (en) LIGHT PROJECTION SYSTEMS
US20210146951A1 (en) Spatial aware object detection by lidar and camera fusion based super-resolution
CN113673285B (zh) 深度相机抓拍时的深度重建方法、系统、设备及介质
Wang et al. A feasibility study on data automation for comprehensive pavement condition survey
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
JP2020118697A (ja) 視差演算システム、情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180914

Termination date: 20211222

CF01 Termination of patent right due to non-payment of annual fee