CN103322983B - 校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆 - Google Patents

校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆 Download PDF

Info

Publication number
CN103322983B
CN103322983B CN201310085503.9A CN201310085503A CN103322983B CN 103322983 B CN103322983 B CN 103322983B CN 201310085503 A CN201310085503 A CN 201310085503A CN 103322983 B CN103322983 B CN 103322983B
Authority
CN
China
Prior art keywords
parallax
unique point
measurement system
range measurement
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310085503.9A
Other languages
English (en)
Other versions
CN103322983A (zh
Inventor
青木伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103322983A publication Critical patent/CN103322983A/zh
Application granted granted Critical
Publication of CN103322983B publication Critical patent/CN103322983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种用于校准由测距系统获得的范围的校准装置,该校准装置包含图像获取单元、特征点搜索单元、坐标转换器和校正值计算器,其中该图像获取单元接收两个参考图像的输入和来自视差计算器的多项视差数据,该两个参考图像在两个地点被参考成像装置捕获,视差数据是基于在该参考图像的多个特征点和在该对比图像中的多个对应点的位置被计算,该对比图像与在该参考图像中的特征点相关;该特征点搜索单元搜索对于两个参考图像共通的多个参考特征点;该坐标转换器基于多个特征点和多个相应点为在参考图像之间的每个参考点转换两项视差数据的坐标;基于来自坐标转换器的转换的视差,该校正值计算器计算校正值,该校正值被用来校正由该视差计算器计算的距离。

Description

校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆
技术领域
本发明涉及能够校准立体相机类型测距系统的校准装置,包含立体相机和校准装置的测距系统以及安装测距系统的车辆。
背景技术
包括车载立体相机的使用的防碰撞系统已变得更加通用。通过使用立体相机产生在车辆前面区域的立体图像,并且基于生成的立体图像检测障碍物并测量到障碍物的距离。然后驾驶员可以被警告采取正确的措施避免碰撞或者在车辆之间维持最小安全距离。另一种选择,系统可以衔接(engage)诸如刹车和转向的控制装置。
可以通过提前记住静止对象的形状,把检测的目标和记住的形状匹配来识别静止目标对象,基于在车辆中的速度传感器计算行进距离,并且将静止对象和距离改变相关联计算视差补偿。然后基于在两个不同点捕获的立体图像计算视差补偿。
在该实例中,必须在存储器中存储静止对象(例如,绿灯)的形状以便从单个亮度图像中识别静止对象。值得注意的是,如果记住的对象不存在,控制系统不运行。例如因为在高速公路上没有红绿灯,因此系统不能在高速公路上运行。此外,诸如交通标志的静止对象的形状和大小随着地区和国家不同而不同,并且它们将有可能在将来被改变。相应地,使用已登记形状的静止对象的鉴别可能是不可靠的。
另一种选择,可以从在车辆前面道路的阴影的图案(阴影图案)中提取特征点,通过使用特征点测量距离(范围),计算指示道路位置和方向的道路参数,以及基于在道路参数上的改变计算视差补偿。只要车辆正在移动,有可能立即呈现车辆前面的平坦道路,并且较少可能发生目标不能被找到的问题。在该实例中,识别特定形状的对象不是必须的。
然而,在该技术中,用于计算视差补偿的信息源被局限于道路。因此,诸如墙壁、建筑物、电话线杆等等不是道路的静止对象不能被有效地支持(leverage)。该局限性在诸如室内而不是车辆的环境中使用时是严重的问题。
此外,虽然依赖于相机分辩率和相关点搜索法,但是因为在道路上的阴影趋向于精细的并且存在很少长范围特征点,上述技术仅仅可以被用于计算接近范围区域的视差并且不可以被用于校准。依赖于诸如在车辆之间距离的自动调整的目的,有时希望的是针对前方车辆在较远距离设置测距范围,这种情况可能不利地影响校准的精确度。
发明内容
在本公开的一个方面,具有用于校准由测距系统获得的范围的校准装置,该测距系统被连接到捕获至少两个参考图像的参考成像装置,捕获至少两个对比图像的对比成像装置以及视差计算器,该校准装置包含图像获取单元、特征点搜索单元、坐标转换器和校正值计算器。该图像获取单元从该视差计算器接收该两个参考图像的输入和来自视差计算器的多项视差数据,该两个参考图像在两个地点上由参考成像装置捕获。通过使用该两个参考图像和在该两个地点上由该对比成像装置捕获的两个对比图像,基于在该参考图像的多个特征点和在该对比图像中的多个对应点计算该视差数据,该对比图像中的多个对应点与在该参考图像中的该特征点相关。该特征点搜索单元搜索对该两个参考图像是共通的多个参考特征点。该坐标转换器基于所述多个特征点和所述多个对应点为在该参考图像之间的每个该参考特征点转换两项视差数据的坐标。基于来自该坐标转换器的转换视差,该校正值计算器计算校正值以校正距离,该距离由所述测距系统测量。
在本公开的另一方面,提供新颖的测距系统,该测距系统包含捕获参考图像的参考成像装置;捕获对比图像的对比成像装置;计算距离的视差的视差计算器;以及用于校准由测距系统测量的距离的上述校准装置。
在本公开的又一方面,提供新颖的车辆,该车辆包含上述测距系统。
附图说明
通过参考接下来详细的描述同时考虑附图时,披露的内容的更完整的认识及其多个随之产生的优点将被容易地获得并会变得更好理解。
图1是图解根据本公开的测距系统的硬件方框图,该测距系统包含立体相机和校准装置;
图2是图解在图1中显示的测距系统中的图像处理器的配置的软件方框图;
图3是图解由在图2中显示的图像处理器中的视差图像生成器处理器执行的处理的流程图;
图4是图解由在图2中显示的图像处理器中的视差补偿检测处理器执行的处理的一次循环的流程图;
图5是图解在图1中显示的立体相机的排列的示意图,该排列用于从两个视角捕获立体图像;
图6是图解通过使用在图5中显示的立体相机来形成立体图像的图像的示意图;
图7是根据对比的实例参数被绘制成曲线图的图,该曲线图的横轴是典型的视差并且纵轴是视差的差值;
图8是根据第一实施例参数被绘制成曲线图的图,该曲线图的横轴是视差倒数的平均数并且纵轴是视差倒数的差值;
图9是在图8显示的曲线图中绘制的视差补偿的图;
图10是根据第二实施例参数被绘制成曲线图的图,该曲线图的横轴是视差并且纵轴是视差的比率;
图11是在图10显示的曲线图中绘制的视差补偿的图;以及
图12是图解安装了图1显示的本测距系统的车辆的示意图。
具体实施方式
在描述在附图中图解的首选实施例中,为了清楚起见采用特定术语。然而,本专利说明书的公开并不是想要被限制于这样选择的特定术语,并且可以理解的是每个特定元件包括具有相同功能,以类似方式操作以及达到类似结果的所有技术等效物。
现在参考附图,描述根据本公开图解实施例的测距系统,其中同样的参考编号指定贯穿附图的几个视图,特别是图1到6以及8到12的完全相同的或者对应部分。
(第一实施例)
首先,以下描述包含第一实施例的校准装置15的测距系统10的配置。图1是图解包含第一实施例的校准装置15的测距系统的硬件方框图。在图1显示的测距系统10中,第一相机(参考相机)11a和第二相机(对比相机)11b被平行地排列以捕获图像。图像处理器12从两个相机11a和11b接收捕获的图像并且输出视差图像数据。图像处理器12是通常的电子计算机,该电子计算机由中央处理单元(CPU)、动态随机访问存储器(DRAM)、非易失性闪存构成。测距功能被存储在闪存中,它作为能被CPU和DRAM执行的软件程序实现。
图2是图解由图像处理器12执行的软件模块的方框图。图像处理器12包含相机控制器13、视差图像生成处理器14以及视差补偿检测处理器(校准装置)15。相机控制器13控制两个相机11a和11b并且接收图像数据。此外,相机控制器13实施两个相机同步、相机初始化以及用于输出立体图像和图像的曝光控制。
而且,希望的是,在图像数据被输入之后,如果需要,相机控制器13立即通过使用处理来校正图像(不是校正视差补偿),该处理通常对诸如光学畸变的校正、图像旋转的校正等等立体测距来说被认为是有效的。视差图像生成处理器14从相机控制器13输入的立体图像中生成视差图像Pr1和Pr2,该相机控制器起着测距功能重要的作用。视差图像生成处理器14接收由对比成像装置(第二相机11b)在多点(例如,两点)捕获的两个对比图像C1和C2,其中在多点上参考图像R1和R2由参考成像装置(第一相机)11a捕获。然后,视差图像生成处理器14从特征点(Fpr1和FPr2)和对应点CP1(CP2)的位置中计算视差数据的多个项目,该对应点CP1(CP2)对在立体图像中的参考图像R1(R2)和对比图像C1(C2)是共通的。
更具体地,如图2所示,视差图像生成处理器14包含获取立体图像的立体图像获取单元30,在各个立体图像中提取特征点FPr1和FPr2的特征点提取单元31,搜索在参考图像R1(R2)中与特征点FPr1(FPr2)相关的对比图像中的对应特征点(对应点)CP1(CP2)的对应点搜索单元32,其中FPr2在参考图像R1(R2)和对比图像C1(C2)之间,从对应点(CP1-FPr1;CP2-FPr2)的位置的差值中计算视差的视差计算器33,以及基于计算的视差输出视差图像Pr1和Pr2的视差图像输出单元34。视差补偿检测处理器15通过使用从相机控制器13输入的参考图像R1和R2以及从视差图像生成处理器14输入的视差图像Pr1和Pr2计算视差补偿。计算出的视差补偿被传输到视差图像生成处理器14并且被用于随后的视差图像生成处理。
参考图2,视差补偿检测处理器15包含图像获取单元20的处理单元、特征点搜索单元21、坐标转换器22、以及校正值计算器23。在这些处理部分中,图像获取单元20从相机控制器13中获取由参考成像装置(第一相机)11a在多点(例如,两点)P1和P2上捕获的多个参考图像(例如,两个参考图像)R1和R2。此外,图像获取单元20接收多项视差数据,该视差数据对应于在由视差图像生成处理器14生成的参考图像R1和R2中的特征点FPr1和FPr2。此外,特征点搜索单元21搜索与从相机控制器13输入的图像获取单元20中的参考图像R1和R2共通的多个参考特征点(相应部分(counterpart)特征点)FPr2-FPr1和FPr2’-FPr1’。坐标转换器22为参考特征点FPr2-FPr1和FPr2’-FPr1’转换两项视差数据的坐标,该参考特征点FPr2-FPr1和FPr2’-FPr1’对由特征点搜索单元21搜索的参考图像R1和R2是共通的。而且,校正值计算器23从视差数据中计算与成像装置(第一相机11a,第二相机11b)位置有关的参数的校正值(视差补偿),该视差数据的坐标由坐标转换器22转换并且把视差补偿提供给视差图像生成处理器14。与两个相机11a和11b的位置有关的参数代表到由测距系统10测量的对象的距离(范围)。视差图像生成处理器14执行通常的测距立体相机处理。在此,通过使用由视差补偿检测处理器15生成的补偿,在硬件结构的测距精确度上的劣化可以随着时间被减轻。
下面描述在视差补偿检测处理器15的处理单元中的详细处理。首先,下面参考图3显示的流程图描述在视差图像生成处理器14的处理操作。在步骤S300,立体图像获取单元30接收由两个相机11a和11b同时捕获的立体图像以用于输出到特征点提取单元31,其中两个相机11a和11b平行地排列。
在步骤S301,特征点提取单元31在立体图像中提取特征点FPr1和FPr2。更具体地说,特征点提取单元31提取多个特征点FPr1和FPr2,该多个特征点FPr1和FPr2的阴影在由第一相机11a捕获的参考图像R1和R2上被极大程度地改变。
然后,在步骤S302,对应点搜索单元32搜索对应点。更具体地说,对应点搜索单元32搜索对应点CP1和CP2的位置,其中在参考图像R1和R2中被检测作为特征点FPr1和FPr2的对象在由第二相机11b捕获的对比图像C1和C2的特征接近区域(块)中与在对比图像C1和C2中显示的对象相同。为了搜索对应点CP1和CP2,诸如绝对差值和(SAD)和纯相位相关(POC)的各种类型的已知方法可以被应用。
在步骤S303,视差计算器33计算视差(视差数据)。更具体地说,视差计算器33获取在参考图像R1(R2)的特征点FPr1(FPr2)和在对比图像C1(C2)的对应点CP1(CP2)之间的位置差值以计算视差。
而且,视差计算器33从视差中减去从视差补偿检测处理器15输入的视差补偿以校正视差补偿。视差补偿在等待视差补偿检测处理的结果期间被设置为0。
在步骤S304,视差图像输出单元34输出具有视差的视差图像Pr1和Pr2,该视差的视差补偿作为像素值被校正。通过重复以上描述的处理,对应于在相机前面的区域的视差图像Pr1和Pr2可以总是被保持输出。
视差补偿检测处理器15计算来自输入图像的视差补偿。依赖于温度改变,视差补偿检测处理器15总是使用立体相机定期且重复地计算视差补偿。
图4是图解在视差补偿检测处理器15中的视差补偿检测处理的1次循环的流程图。在步骤S200,图像R1、R2、Pr1和Pr2被输入到图像获取单元20。更具体地说,在第一点P1和P2上来自相机控制器13的参考图像R1和R2被输入到图像获取单元20。此外,来自视差图像生成处理器14的与参考图像R1和R2相关的两个视差图像Pr1和Pr2被输入到图像获取单元20。
在步骤S201,特征点搜索单元21通过将在参考图像R1中检测的特征点FPr1(FPr1’)与点相关来搜索在两个参考图像R1和R2之间的与特征点FPr1和FPr1’相关的对应特征点(相应部分)FPr2和FPr2’,其中在该点上在参考图像R1中被检测作为特征点FPr1(FPr1’)的对象与在参考图像R2中显示的对象相同。即,特征点搜索单元21在参考图像R2中搜索参考图像R1的特征点FPr1(FPr1’)的相应部分FPr2(FPr2’);换句话说,特征点搜索单元21在两个参考图像R1和R2中搜索共通的特征点(FPr1’-FPr1,FPr2’-FPr2)。特征点搜索单元21计算每个块的SAD并且类似于在视差图像生成处理器25中的对应搜索来搜索带有最小值的位置。然而,不同于在立体图像中对应点(CP1-FPr1,CP2-FPr2)的搜索,特征点搜索单元21设置径向搜索区域。通过设置径向搜索区域,缩减计算量并且可以在某种程度上消除在水平方向的运动对象和车辆的旋转。
在步骤S202,坐标转换器22转换视差数据坐标的坐标。更具体地说,坐标转换器22计算每个参考特征点FPr2-FPr1和FPr2’-FPr1’的视差倒数的平均值,以及依赖于视差数据的两项(p0,p1)的视差的差值Q。
P = 1 2 × ( 1 p 0 + 1 p 1 ) - - - ( 1 )
Q = 1 p 0 - 1 p 1 - - - ( 2 )
然后,作为校正值计算处理,下面描述由坐标转换处理转换的近似线性的多项视差数据并且基于近似直线的位置计算校正值的计算处理。直线“Q=aP+B”通过对模型拟合“P-Q”数据(参见图8和9)执行“哈夫变换(Haugh transform)”被提取。
更具体地说,由被判定的参数(a,b)构成的二维平坦表面被划分为多个区,并且对应于各个区的二维排列在存储器中被准备。公式“Q=aP+B”被认为是在(a,b)空间中的直线,指示(a,b)空间的二维排列,并且校正值计算器23在指示(a,b)空间的二维排列的直线“b=-aP+Q”上选取测量值p0,p00。作为关于所有数据(P,Q)的选取的结果,可以设想,对应具有最高次(highest number of volte)的数量的区的(a,b)对通过许多测量值(P,Q),并且(a,b)对被选择作为模型直线。
如上所述,通过转换坐标系统使得相机本身的行进距离可以被容易地从视差补偿的影响中分离,校准系统15可以被用于广泛的适用性和以高度精确度校准校正值。基于简单直线逼近计算校正值,该直线逼近可以以较低成本实现稳定的校准系统。
参考图8和9,依赖于视差补偿和相机行进距离的量改变直线的位置和倾斜度,稍后进一步详细地描述它。因此,可以基于获取的参数(a,b)判定视差补偿的估计值。如图8和9所示,带有各种类型的相机行进距离以及视差补偿量的各种类型的模拟被进行,并且用于来自值(a,b)的视差补偿量的近似转换公式可以被提前设置。
其中,依赖于如下公式计算视差补偿的估计值poff
p off = a 2 b - - - ( 3 )
值得注意的是,视差补偿的估计值poff是曲线近似于直线的结果,这不能在模型阶段避免估计误差。
然而,通过重复视差补偿的检测处理及其校正处理,如果当误差被缩减同时视差补偿变得接近于0,那么在多次重复这些处理之后,视差补偿可以被预期下降至0值附近。
校正值计算器23(23a)发送视差补偿到视差图像生成处理器14的视差计算器33,其中该视差补偿被作为视差补偿poff的输出模型拟合的结果而获得。值得注意的是,稳定性、累积以及可靠性的评估是有效的,并且执行它们是更好的。
此外,在如上所述的坐标转换处理中,在该实施例中计算横轴上两个视差倒数的平均值。另一种选择,如果任何视差倒数(1/p0或1/p1)被使用,那么这些计算具有类似趋势。又一种选择,倒数的差值不能被直接计算但是按照公式计算,这样减少除法的数目。
1 p 0 - 1 p 1 = p 1 - p 0 p 0 p 1 - - - ( 4 )
如上所述,仅仅使用从立体图像中计算出的数据估计视差补偿,其中该立体图像在预定点(地点)P1和P2上被捕获。因此视差补偿不依赖于测量车辆位置的传感器(例如,除了相机之外的车速传感器)的特性。此外,不通过特定形状对象(例如,红绿灯和路面)的呈现,而是通过使用在操作中捕获的各种图像,校准装置15可以稳定地检测视差补偿。
基本规则
然后,以下描述校正视差补偿的基本规则。
(1)首先,在图5和6中,一直前行的立体相机11a和11b捕获两个参考图像R1和R2以及对比图像C1和C2作为含有静止对象的周围场景;和移动对象。
(2)在第一点(地点)P1和第二点P2周围,搜索在参考图像R1(R2)和对比图像C1(C2)之间的对应点CP1-FPr1和CP2-FPr2;更具体地说,在对应点CP1(CP2),在参考图像R1(R2)中被检测作为特征点FPr1(FPr2)的对象与在对比图像C1(C2)中显示的对象是相同。.然后,在各个地点P1和P2上计算视差图像Pr1和Pr2。在此,视差图像Pr1和Pr2是视差被设置为像素值的图像。
(3)通过把在参考图像R1中检测的特征点FPr1(FPr1’)与点(相应部分)FPr2(FPr2’)相关来搜索位于第一点(地点)P1和第二点P2的参考图像R1和R2之间的对应特征点(相应部分特征点)(FPr1’-FPr1;FPr2’-FPr2),其中在该点(相应部分)FPr2(FPr2’)上在参考图像R1中被检测作为特征点FPr1(FPr1’)的对象与在参考图像R2中显示的对象相同。
用这些处理,为每个特征点FPr1(FPr1’)和相应部分特征点FPr2(FPr2’)捕获两点的一对两个视差数据上被多重收集,其中在FPr2(FPr2’)处相同对象被捕获到FPr1(FPr1’)。表1图解对应于特征点FPr1和FPr2的视差1(p0)和视差2(p1)。
表1
在图7显示的校准技术的对比实例中,作为立体相机测距系统被安装在移动机身中(例如,车辆)的前提条件,通过移动立体相机就能看到在地上停止的多个对象被相对移动。在该校准技术中,通过使用由视差和视差差值组成的两个轴以取消视差补偿的影响,测量数据的建模方法被校准,视差补偿是通过从两个不同视点由立体地捕获相同对象获得的两个视差之间的差值而获得。
例如,假定基线长是10cm,镜头焦距是5mm并且传感器像素间距是3μm,静止对象的视差数据和视差差数在图7中被绘制。在图7的曲线图中,水平轴表示典型的视差纵轴表示视差(p1-p0)的差值,并且线和点意指如下情况。
(a)无视差补偿;在两点之间的行进距离:3m
(b)视差补偿:1像素;在两点之间的行进距离:3m
(c)视差补偿:0像素;在两点之间的行进距离:3.3m
(d)由增加随机数字获得的虚拟测量数据,该增加的随机数字的幅度是(b)的理想视差数据的0.3像素。
参考图7,无视差补偿的曲线从1像素视差补偿的曲线中偏离。具有补偿的虚拟测量数据(d)肯定地分配在曲线(b)周围。如果二次方曲线适合于数据(d),那么可以获取极其靠近曲线(b)的结果。
然而,同时行进距离是3.3m而不是零补偿的曲线(c)非常靠近曲线(b)并且在曲线(b)和曲线(c)之间的间隔比0.3像素度(pixel degree)的视差计算误差要小。即,如果具有在实际测量数据上由噪声导致的轻微的偏离,那么曲线(b)和曲线(c)容易弄错,并且可能出现对应于0.3像素的视差补偿的估计误差。
相应地,依赖于诸如在车辆中行进距离传感器的存在以及在立体图像中对应点(特征点)的搜索误差(视差检测误差)的各种情况,已经限制视差补偿的精确度。因此,需要改进视差补偿检测的精确度的视差补偿校正方法。
图8是根据本实施例与图7相同的参数被绘制到这些轴的图表。图9是行进距离被设置为3m,并且视差补偿被设置在-1、0、1、2像素的图表。视差倒数与距离成正比,作为本现象的前提,静止对象被移动相同距离,视差倒数的差值(1/p0-1/p1)当视差补偿是0像素时被设置为恒定的。
如图9所示,虽然当视差补偿存在时严密的解(solution)(差值(1/p0-1/p1))是复杂的,当视差补偿在加或减1像素的范围内时,解基本上是直线,并且可以假定依赖于视差补偿量改变直线的倾斜度。此外,考虑到视差检测误差,因为计算视差倒数,在视差是小的并且视差倒数是大的区域内噪音被相对增加。
然而,在视差是大的(例如,在图7中横轴附近的0.05像素的范围内)的区域中,3.3m的行进距离和每1像素的视差可以被容易地辨别与图7不同。
为了概括该点,由视差倒数的和以及视差倒数的差值这两个轴定义的空间中获得以下数据结果。
(1)对应于静止对象的数据被实质上线性地分布。
(2)行进距离对应于直线的高度(Y截距)。更具体地说,整个图表被扩展并且依赖于行进距离在垂直方向上被截取。
(3)视差补偿对应于直线的倾斜度。
在该方法中,拟合的模型是直线,并且未知的行进距离和视差被分成高度和倾斜度。相应地,通过该空间的拟合模型,视差补偿的估计变得容易,并且可以预期带有高度精确度的估计。
因此,在以下描述的第二实施例中,在视差-视差比率参数空间的横轴表示视差本身(p0),并且这里的纵轴表示视差比率(p0/p1)。
第二实施例
然后,作为第二实施例,以下描述使用视差-视差比率空间的视差补偿检测处理的操作。在该实施例中,配置是类似于第一实施例的配置;并因此,如下描述仅仅与第一实施例中的在视差-数据坐标转换处理的视差补偿检测处理和模型拟合处理的差异。
此外,基于对应好两项视差数据(1/p0,1/p1),为在坐标转换器23b的视差-数据坐标转换处理中搜索的每一个特征点FPr1和FPr1’以及相应特征点FPr2和FPr2’计算视差比率p。
p=p0/p1……(5)
然后,如下描述作为坐标转换的计算两个视差的比率的计算处理。类似于以上在第一实施例中描述的模型拟合处理,通过对视差-视差比率数据执行“哈夫变换(Houghtransform)”,提取直线“p0=ap+b”。
因此,可以基于获取的参数(a,b)确定视差偏离量的估计值poff。如图10和11所示,利用各种类型的相机行进距离以及视差补偿量执行各种类型的模拟,并且用于来自值(a,b)的视差补偿量的近似转换公式可以被提前设置。
在此,依赖于如下公式计算视差补偿的估计值poff
p off = 1 - b 2 a . . . ( 6 )
如上所述,对于在两个参考图像R1和R2中的参考特征点FPr2-FPr1和FPr2’-FPr1’上的两个视差数据的视差比率,通过对视差-视差比率数据执行“哈夫变换”提取直线“p0=ap+b”,并且随着时间可以用高度精确度校正立体相机的位置偏离。更具体地说,没有依赖于除了相机之外诸如车辆、速度传感器的车辆信息测量传感器,并且没有假定特定形状对象存在,视差补偿可以通过在使用中的各种图像被稳定地检测。
类似于图8,图10图解图9的参数被绘制到上述空间的图表。类似于上面所述的情况,图11图解设置行进距离为3m并且分级-1、0、1、2像素的图表。图11的空间不同于图9的空间并且图11的空间具有以下特性。
(1)静止对象被实质上线性地排列。然而,当视差补偿是零时,静止对象的排列的倾斜度不是水平的。
(2)依赖于行进距离改变直线的倾斜度。
(3)依赖于视差补偿实质上平行地移位直线。
(4)当视差很小时,在视差检测误差中的影响很大。当视差变得较大时,可变性变得较小。
相应地,在该空间中,相机行进距离和视差补偿被近似地划分到平行移位和倾斜度。因此,3.3m的行进距离和视差补偿可以被容易地分离。
如上所述,在两个视差被转换成合适的坐标系统后评估两个视差,未知的相机行进距离和视差补偿可以被稳定地估计。
效果
在此,在图8到11的本公开和图7的对比实例中,许多对象相对地面保持固定,并且静止对象被由移动相机本身导致的以相同方向朝向相机等量的移动。通过使用该现象,通过使用当静止对象被测量时获得两个视差(p0,p1)的限制条件,计算立体相机的视差补偿。
在对比实例中通过使用在图7显示的两个视差之间的差值(p1-p0),静止对象被安排在二次方曲线上的限制条件具有模型拟合的问题。
相反地,在图8到11显示的本公开的计算中,通过使用由两项视差数据的比率((p1/p0)或者倒数差值(1/p1-1/p0)构成的轴坐标的空间,可以进行更稳定的模型拟合,因此达到更可靠的视差校正。如上所述,在图8和9显示的第一实施例中,横轴代表两个视差参数倒数的平均值,并且在图10和11显示的第二实施例中,纵轴代表视差倒数的差值(1/p1-1/p0)。
在此,通过把由立体图像在两点上获取的一对视差数据(p0,p1)转换到合适的除视差差值(p1-p0)之外的坐标系统,随后的视差补偿估计(近似于直线)的可靠性可以被改进。
此外,当从为了获取补偿值绘制的点中估计二次方曲线时,在补偿值为0并且在不同的距离点的二次方曲线中补偿值很容易被搞混成不同点的问题可以通过把距离差和补偿差分离到截距和倾斜度中被解决。因此,视差可以被容易地估计。
车辆
图12是图解安装了本测距系统10的车辆100的示意图。在车辆100中的图像处理系统包含获取车辆100前方图像的图像拾取单元101和图像分析单元102,该图像分析单元102基于在图像拾取单元101中获得的图像计算在车辆100的前方驾驶的另一车辆的距离。图像拾取单元101被安置在靠近车辆100的后视镜使得图像拾取单元101可以捕获含有在车辆100的前面驾驶的另一车辆的前方图像并且计算车辆100和另一车辆的距离。由图像拾取单元101获取的前方车辆的图像被输入并被转换到图像信号,该图像信号用于输出到图像分析单元102。图像分析单元102分析来自图像拾取单元101的输出图像信号。至于图像拾取单元101,可以使用由参考相机11a和对比相机11b组成的本实施例的立体相机装置1。作为图像分析单元102一部分的功能,图像处理器12可以被应用。
基于由图像分析单元102计算的距离前方车辆的距离,车辆驾驶控制单元108可以控制车辆100的转向和刹车。
根据上述教导,可能有很多附加的修改和变动。因此可以理解的是,在附加的权利要求的范围内,除了在此具体地描述,本发明说明书公开的内容也可以被实践。

Claims (6)

1.一种用于校准由测距系统获得的范围的校准装置,所述测距系统被连接到捕获至少两个参考图像的参考成像装置、捕获至少两个对比图像的对比成像装置以及视差计算器,其特征在于,
所述校准装置包括:
图像获取单元,所述图像获取单元接收所述两个参考图像的输入以及来自所述视差计算器的多项视差数据,所述两个参考图像在两个地点被所述参考成像装置捕获,通过使用所述两个参考图像和被所述对比成像装置在所述两个地点上捕获的两个对比图像,基于所述参考图像中的多个特征点和与在所述参考图像中的所述特征点相关的所述对比图像中的多个对应点计算所述视差数据,
特征点搜索单元,所述特征点搜索单元搜索与所述两个参考图像是共通的多个参考特征点;
坐标转换器,所述坐标转换器基于所述多个特征点和所述多个对应点、为在所述参考图像之间的每个所述参考特征点转换两项视差数据的坐标;以及
校正值计算器,基于来自所述坐标转换器的转换视差,所述校正值计算器计算校正值以校正距离,所述距离由所述测距系统测量。
2.如权利要求1的所述校准装置,其特征在于,所述坐标转换器包含计算两个视差的比率的比率计算器。
3.如权利要求1的所述校准装置,其特征在于,所述坐标转换器包含计算两个视差倒数的差值的差值计算器。
4.如权利要求1的所述校准装置,其特征在于,其中所述校正值计算器将由所述坐标转换器转换的多项视差数据近似为直线,并且基于在所述直线上的位置计算所述校正值。
5.一种测量距离的测距系统,其特征在于,包括:
参考成像装置,所述参考成像装置捕获参考图像;
对比成像装置,所述对比成像装置捕获对比图像;
视差计算器,所述视差计算器计算距离的视差;以及
校准装置,所述校准装置用于校准由所述测距系统测量的距离,
所述校准装置,包括:
图像获取单元,所述图像获取单元接收两个所述参考图像的输入以及来自所述视差计算器的多项视差数据,两个所述参考图像在两个地点被所述参考成像装置捕获,通过使用在两个所述参考图像和被对比成像装置在所述两个地点上捕获的两个所述对比图像,基于在所述参考图像中的多个特征点和与在所述参考图像中的所述特征点相关的所述对比图像中的多个对应点计算所述视差数据;
特征点搜索单元,所述特征点搜索单元搜索与两个所述参考图像是共通的多个参考特征点;
坐标转换器,所述坐标转换器基于所述多个特征点和所述多个对应点、为在所述参考图像之间的每个所述参考特征点转换两项视差数据的坐标;以及
校正值计算器,基于来自所述坐标转换器的转换视差,所述校正值计算器计算校正值以校正距离,所述距离由所述测距系统测量。
6.一种车辆,其特征在于,安装有如权利要求5所述的测距系统。
CN201310085503.9A 2012-03-21 2013-03-15 校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆 Active CN103322983B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-063639 2012-03-21
JP2012063639 2012-03-21
JP2013002679A JP6182866B2 (ja) 2012-03-21 2013-01-10 校正装置、距離計測装置及び車両
JP2013-002679 2013-01-10

Publications (2)

Publication Number Publication Date
CN103322983A CN103322983A (zh) 2013-09-25
CN103322983B true CN103322983B (zh) 2015-10-28

Family

ID=47884175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310085503.9A Active CN103322983B (zh) 2012-03-21 2013-03-15 校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆

Country Status (4)

Country Link
US (1) US9148657B2 (zh)
EP (1) EP2642447A3 (zh)
JP (1) JP6182866B2 (zh)
CN (1) CN103322983B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
WO2014148031A1 (ja) * 2013-03-19 2014-09-25 パナソニック株式会社 画像生成装置、撮像装置および画像生成方法
US9538096B2 (en) * 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
US9451185B2 (en) 2014-03-07 2016-09-20 Raytheon Company Multi-spectral optical tracking system and methods
JP6427900B2 (ja) * 2014-03-07 2018-11-28 株式会社リコー 校正方法、校正システム、プログラム及び移動体
CN103871068B (zh) * 2014-03-31 2016-08-17 河海大学常州校区 一种基于遗传算法的高精度标定方法
US10186034B2 (en) 2015-01-20 2019-01-22 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
US10007998B2 (en) 2015-03-20 2018-06-26 Ricoh Company, Ltd. Image processor, apparatus, and control system for correction of stereo images
JP6515650B2 (ja) * 2015-04-14 2019-05-22 国立大学法人東京工業大学 校正装置、距離計測装置及び校正方法
JP6233345B2 (ja) * 2015-04-17 2017-11-22 トヨタ自動車株式会社 路面勾配検出装置
EP3139346B1 (en) * 2015-09-01 2019-01-16 Veoneer Sweden AB Vision system for a motor vehicle and method of controlling a vision system
TWI663466B (zh) * 2015-09-25 2019-06-21 佳能企業股份有限公司 攝像裝置及其操作方法
CN108028883B (zh) * 2015-09-30 2020-11-03 索尼公司 图像处理装置和图像处理方法
US10552966B2 (en) * 2016-03-07 2020-02-04 Intel Corporation Quantification of parallax motion
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
US10250801B2 (en) * 2017-04-13 2019-04-02 Institute For Information Industry Camera system and image-providing method
JP6967715B2 (ja) * 2017-04-18 2021-11-17 パナソニックIpマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
JP7043755B2 (ja) * 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
CN109959920B (zh) * 2017-12-25 2021-11-12 比亚迪股份有限公司 车辆、基于路灯进行自动校正测距误差的方法和装置
KR102479492B1 (ko) * 2018-01-08 2022-12-20 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
CN110998241A (zh) * 2018-01-23 2020-04-10 深圳市大疆创新科技有限公司 用于校准可移动对象的光学系统的系统和方法
JP7253323B2 (ja) * 2018-02-14 2023-04-06 オムロン株式会社 3次元計測システム及び3次元計測方法
CN111971528B (zh) * 2018-04-23 2022-06-03 日立安斯泰莫株式会社 车载摄像机装置
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
CN108972562B (zh) * 2018-09-13 2021-04-23 河南机电职业学院 一种校准分拣机器人工作站输送链CountsPerMeter参数的方法
CN109462746B (zh) * 2018-10-26 2020-11-06 北京双髻鲨科技有限公司 一种图像去抖的方法及装置
CN109782755B (zh) * 2018-12-27 2022-05-31 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
CN109520480B (zh) * 2019-01-22 2021-04-30 合刃科技(深圳)有限公司 基于双目立体视觉的测距方法及测距系统
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
JP7386098B2 (ja) * 2020-02-27 2023-11-24 株式会社日立製作所 測距センサの校正システム、及び測距センサの校正方法
TWI753760B (zh) * 2021-01-26 2022-01-21 神達數位股份有限公司 車距估測方法及系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530420A (en) * 1993-12-27 1996-06-25 Fuji Jukogyo Kabushiki Kaisha Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof
EP1087626A2 (en) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Distance correcting apparatus in a surrounding monitoring system
CN102077246A (zh) * 2008-06-24 2011-05-25 汤姆森特许公司 利用运动补偿进行图像的深度提取的系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3147002B2 (ja) * 1996-09-26 2001-03-19 富士電機株式会社 距離検出値の補正方法
JP3436074B2 (ja) * 1997-06-10 2003-08-11 トヨタ自動車株式会社 車載ステレオカメラ
JP3760068B2 (ja) 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
JP2001169310A (ja) 1999-12-06 2001-06-22 Honda Motor Co Ltd 距離検出装置
JP2003329439A (ja) * 2002-05-15 2003-11-19 Honda Motor Co Ltd 距離検出装置
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
WO2008157622A1 (en) * 2007-06-18 2008-12-24 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, apparatus and system for food intake and physical activity assessment
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP2009014445A (ja) 2007-07-03 2009-01-22 Konica Minolta Holdings Inc 測距装置
JP4894771B2 (ja) 2008-01-31 2012-03-14 コニカミノルタホールディングス株式会社 校正装置及び校正方法
JP5280768B2 (ja) 2008-08-18 2013-09-04 本田技研工業株式会社 車両周辺監視装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
JP2009075124A (ja) * 2008-11-06 2009-04-09 Honda Motor Co Ltd 距離検出装置
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 3次元画像出力装置及び方法
JP2011013803A (ja) * 2009-06-30 2011-01-20 Ihi Corp 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
JP5440461B2 (ja) 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
JP5870510B2 (ja) 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530420A (en) * 1993-12-27 1996-06-25 Fuji Jukogyo Kabushiki Kaisha Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof
EP1087626A2 (en) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Distance correcting apparatus in a surrounding monitoring system
CN102077246A (zh) * 2008-06-24 2011-05-25 汤姆森特许公司 利用运动补偿进行图像的深度提取的系统和方法

Also Published As

Publication number Publication date
US20130250068A1 (en) 2013-09-26
EP2642447A3 (en) 2017-11-29
EP2642447A2 (en) 2013-09-25
CN103322983A (zh) 2013-09-25
JP2013224919A (ja) 2013-10-31
JP6182866B2 (ja) 2017-08-23
US9148657B2 (en) 2015-09-29

Similar Documents

Publication Publication Date Title
CN103322983B (zh) 校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆
Guindel et al. Automatic extrinsic calibration for lidar-stereo vehicle sensor setups
CN106405555B (zh) 用于车载雷达系统的障碍物检测方法和装置
US7768527B2 (en) Hardware-in-the-loop simulation system and method for computer vision
CN102612634B (zh) 校准装置、距离测量系统和校准方法
Luo et al. A simple calibration procedure for structured light system
JP6317456B2 (ja) 車両用のステレオ/ビデオシステム内の相対的なヨー角の変化を検知するための方法および制御装置
AU2018282302A1 (en) Integrated sensor calibration in natural scenes
US20190324129A1 (en) Sensor calibration
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN110764110B (zh) 路径导航方法、装置及计算机可读存储介质
CN110023953A (zh) 信息处理设备、成像设备、装置控制系统、移动体、信息处理方法以及计算机程序产品
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
Lee et al. Temporally consistent road surface profile estimation using stereo vision
RU2686279C1 (ru) Устройство обнаружения уступов и способ обнаружения уступов
Xue et al. Monocular vision ranging and camera focal length calibration
US11532100B2 (en) Method for environmental acquisition, data processing unit
CN111986248B (zh) 多目视觉感知方法、装置及自动驾驶汽车
CN114241057A (zh) 相机和激光雷达的外参标定方法、系统及可读存储介质
KR101639264B1 (ko) 무인 단말기 제어 방법 및 장치
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
JP6365744B2 (ja) プログラム、記録媒体、及び校正方法
Fang et al. Automatic roadblock identification algorithm for unmanned vehicles based on binocular vision
Unger et al. Efficient stereo matching for moving cameras and decalibrated rigs
Dekkiche et al. Vehicles detection in stereo vision based on disparity map segmentation and objects classification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant