CN104052986B - 检测用具、立体照相机检测装置以及检测方法 - Google Patents

检测用具、立体照相机检测装置以及检测方法 Download PDF

Info

Publication number
CN104052986B
CN104052986B CN201410097991.XA CN201410097991A CN104052986B CN 104052986 B CN104052986 B CN 104052986B CN 201410097991 A CN201410097991 A CN 201410097991A CN 104052986 B CN104052986 B CN 104052986B
Authority
CN
China
Prior art keywords
photographing unit
pair
detection apparatus
pattern
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410097991.XA
Other languages
English (en)
Other versions
CN104052986A (zh
Inventor
岸和田润
青木伸
酒匂史子
长沼优子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN104052986A publication Critical patent/CN104052986A/zh
Application granted granted Critical
Publication of CN104052986B publication Critical patent/CN104052986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明涉及立体照相机的检测工具、立体照相机检测装置以及检测方法,其目的在于提供一种能够以良好且简便的操作性能同时检测照相机上下方向相对位置偏差以及除此以外方向的位置偏差的检测用具。本发明具备:图像处理部(4),在一对照相机(3a、3b)拍摄测试图(2)后输入由该一对照相机输出的图像信号,生成一对测试图像,该测试图像画面上,第一图案(2a)中映照第二图案(2b)中的一部分图案;对应点探索部(4a),分别探索上述一对测试图像上的第一对应点和第二对应点;以及,位置偏差计算部(5),计算在一对测试图像上找到的第一对应点和第二对应点各自的对应位置差,基于该对应位置差,计算一对照相机的相对位置偏差。

Description

检测用具、立体照相机检测装置以及检测方法
技术领域
本发明涉及对构成立体照相机的一对照相机之间的相对位置偏差进行检测的检测工具,以及利用该检测工具检测构成立体照相机的一对照相机之间的相对位置偏差的立体照相机检测装置以及检测方法。
背景技术
近年来,用于自动进行车辆辅助驾驶的驾驶辅助系统正逐步走向实用。驾驶辅助系统利用车辆上搭载的以一对照相机构成的立体照相机,拍摄汽车行驶前方,监视车辆前方,测定该车辆前方存在的障碍物或前方车辆与该车辆自己之间的距离,根据立体照相机计测的与障碍物或前方车辆之间的距离信息,自动进行诸如刹车制动自动控制之类的驾驶辅助。
利用立体照相机的测试技术即所谓的立体法具体为,用一对具备摄像镜头和CCD等摄像元件的照相机分别拍摄对象物,而后在其中一台照相机拍摄的图像中,确定与另一台照相机拍摄的图像中的特定像素块(对象物的成像位置)相关的特定像素快(对象物的成像位置),计算各图像的视差,用三角测量原理以及各照相机之间的距离信息来计算与对象物之间的距离数据。
但是,用上述三维测量技术之一的立体法准确计算对象物(如上述的障碍物或前方车辆)与自身车辆之间距离数据的条件是,一对照相机拍摄的一对图像之间不存在除视差以外其它偏差。
为此,立体照相机组装之后,需要正确地检测造成距离数据精度下降的主要原因,即照相机之间是否存在位置偏差,如果存在位置偏差,则需要对偏差进行补偿。尤其是照相机之间上下方向的偏差以及除此以外的其他偏差在进行立体匹配时表现为各像素中的水平线偏差,因而,这些偏差对距离数据的计算可信度产生较大影响。
关于立体照相机中各照相机之间的位置偏差调整,例如专利文献1(JP特开2004-132870号公报)揭示了一种方案,该方案用立体照相机拍摄测试图,该测试图中设有多个与立体照相机相聚不同距离的规定图案,而后,根据拍摄的图像所对应的坐标的偏差值,计算校正参数,用该校正参数校正一对照相机之间的位置偏差造成的一对图像数据之间的偏差。
利用专利文献1的技术方案,用被置于立体照相机前方的多个测试图,能够检测到一对照相机上下方向的位置偏差,并通过图像处理来补偿位置偏差。由此可知,专利文献1的技术方案中使用的测试图只能够用来检测一对照相机上下方向上的位置偏差,但却不能够检测照相机上下方向以外的方向上的位置偏差。
为此,对于照相机上下方向以外的位置偏差检测,需要在照相机前方设置用于检测照相机上下方向偏差以外的位置偏差的其它测试图。而同时检测照相机上下方向位置偏差和上下方向以外的其它位置偏差在作业性能上并不简单。
发明内容
本发明的目的在于以供一种用于检测一对照相机的相对位置偏差、即能够同时检测照相机上下方向的相对位置偏差以及除此以外方向的位置偏差且操作性能良好简便的检测用具、立体照相机检测装置以及检测方法。
为了达到上述目的,首先,本发明提供一种检测用具,用于检测构成立体照相机的一对照相机之间的位置偏差,该一对照相机之间相距基线长度,该检测用具的特征在于,具备第一检测用具、第二检测用具、以及图案映照单元,所述第一检测用具被设置为在所述一对照相机的摄像方向上与该一对照相机相距规定距离,并且该第一检测用具的与所述一对照相机相对设置一侧的表面上形成第一图案,所述第二检测用具与所述第一检测用具相距规定距离,并相对于所述第一检测用具,位于与所述一对照相机相反一侧,或者位于与所述所述一对照相机相同一侧,而且,该第二检测用具的与所述第一检测用具相对设置一侧的表面上形成第二图案,所述图案映照单元用于在用所述一对照相机拍摄时,使得该一对照相机分别拍摄的画面上,所述第一检测用具的第一图案中映照所述第二检测用具的第二图案中的一部分图案,所述第一图案和所述第二图案中分别具有用立体照相机检测装置检测所述一对照相机的相对位置偏差时使用的检测点即特征区域。
其次,本发明提供一种立体照相机检测装置,用于检测构成立体照相机的一对照相机之间的位置偏差,该一对照相机之间相距基线长度,该立体照相机检测装置的特征在于,具备检测用具,该检测用具包括第一检测用具、第二检测用具、以及图案映照单元,所述第一检测用具被设置为在所述一对照相机的摄像方向上与该一对照相机相距规定距离,并且该第一检测用具的与所述一对照相机相对设置一侧的表面上形成第一图案,所述第二检测用具与所述第一检测用具相距规定距离,并相对于所述第一检测用具,位于与所述一对照相机相反一侧,或者位于与所述所述一对照相机相同一侧,而且,该第二检测用具的与所述第一检测用具相对设置一侧的表面上形成第二图案,所述图案映照单元用于在用所述一对照相机拍摄时,使得该一对照相机分别拍摄的画面上,所述第一检测用具的第一图案中映照所述第二检测用具的第二图案中的一部分图案,此外,该立体照相机检测装置还具备以下各部:图像处理部,用于在所述一对照相机拍摄所述检测用具后输入由该一对照相机输出的图像信号,并生成一对图像,在该图像的画面上,所述第一图案中映照所述第二图案中的一部分图案;对应点探索部,用于分别在生成的一对图像的画面上,用所述第一图案和所述第二图案的检测点即特征区域,探索该一对图像上的第一对应点和第二对应点;位置偏差计算部,用于计算在所述一对图像上找到的所述第一对应点和所述第二对应点各自的对应位置差,并基于求出的对应位置差,计算所述一对照相机的相对位置偏差;以及,补偿参数计算部,用于计算对求出的位置偏差进行补偿的补偿参数。
进而,本发明提供一种检测方法,用于检测构成立体照相机的一对照相机之间的位置偏差,该一对照相机之间相距基线长度,该检测方法的特征在于,使用检测用具进行检测,该检测用具具备第一检测用具、第二检测用具、以及图案映照单元,所述第一检测用具被设置为在所述一对照相机的摄像方向上与该一对照相机相距规定距离,并且该第一检测用具的与所述一对照相机相对设置一侧的表面上形成第一图案,所述第二检测用具与所述第一检测用具相距规定距离,并相对于所述第一检测用具,位于与所述一对照相机相反一侧,或者位于与所述所述一对照相机相同一侧,而且,该第二检测用具的与所述第一检测用具相对设置一侧的表面上形成第二图案,所述图案映照单元用于在用所述一对照相机拍摄时,使得该一对照相机分别拍摄的画面上,所述第一检测用具的第一图案中映照所述第二检测用具的第二图案中的一部分图案,该检测方法包括以下各步骤:图像处理步骤,在所述一对照相机拍摄所述检测用具后输入由该一对照相机输出的图像信号,并生成一对图像,在该图像的画面上,所述第一图案中映照所述第二图案中的一部分图案;对应点探索步骤,分别在生成的一对图像的画面上,用所述第一图案和所述第二图案的检测点即特征区域,探索该一对图像上的第一对应点和第二对应点;位置偏差计算步骤,计算在所述一对图像上找到的所述第一对应点和所述第二对应点各自的对应位置差,并基于求出的所述对应位置差,计算所述一对照相机的相对位置偏差;以及,补偿参数计算步骤,计算对求出的位置偏差进行补偿的补偿参数。
本发明的效果如下。
本发明的检查用具具有图案映照单元,该图案映照单元用于在用所述一对照相机拍摄时,使得该一对照相机分别拍摄的画面上第一检测用具的第一图案中映照第二检测用具的第二图案中的一部分图案。本发明利用该检测用具,在一对照相机拍摄的一对图像的画面上,用所述第一图案和所述第二图案的检测点即特征区域,探索该一对图像上的第一对应点和第二对应点,而后,计算在所述一对图像上找到的第一对应点和第二对应点各自的对应位置差,并基于求出的对应位置差,计算所述一对照相机的相对位置偏差。因而,本发明能够以良好简便的操作性能同时对一对照相机在上下方向以及除上下方向以外的其他方向上的相对位置偏差进行检测。
附图说明
图1是本发明的实施方式1涉及的立体照相机检测装置的结构示意图。
图2A、图2B、图2C是一对照相机的设置状态的示意图。
图3A和图3B是分别用于说明摄像面中心偏差和光学中心偏差的示意图。
图4A是用于补偿一对照相机光学中心偏差的补偿角度的示意图。
图4B是一对照相机光学中心偏差受到补偿后的状态的示意图。
图5是实施方式1中第一测试图和第二测试图的设置状态示意图。
图6A和图6B是实施方式1中用照相机拍摄的第一测试图和第二测试图的图像的示意图。
图7是照相机和测试图之间距离与摄像面上光学中心偏离量之间关系的图。
图8是用于对第一照相机以及第二照相机之间相对位置偏差进行补偿的补偿参数的计算流程图。
图9是实施方式1对经过立体照相机检测装置检测后照相机实行补偿动作的功能模块图。
图10是实施方式2中第一测试图和第二测试图的设置状态示意图。
图11是实施方式2中用照相机拍摄的第一测试图和第二测试图的图像的示意图。
图12是实施方式3中第一测试图和第二测试图的设置状态示意图。
图13是实施方式3中用照相机拍摄的第一测试图和第二测试图的图像的示意图。
具体实施方式
以下利用附图说明实施方式。
〈实施方式1〉
图1是本发明的实施方式1涉及的立体照相机检测装置的结构示意图。
立体照相机检测装置的结构
如图1所示,立体照相机检测装置1具备测试图2、图像处理部4、补偿参数计算部5、补偿参数存储部6、以及控制部7。其中,测试图2用以作为以下将要详述的检测用具,图像处理部4用于读取立体照相机3输出的测试图2的图像信号。
立体照相机3具有水平方向相距距离(基线长度)L的一对照相机,即第一照相机3a和第二照相机3b。第一照相机3a和第二照相机3b中各自具备摄像镜8和摄像元件(CCD图像传感器等)9,摄像镜8拍摄的被摄体像在摄像元件9的摄像面(受光面)上成像。
图像处理部4读取立体照相机3的一对照相机即第一照相机3a和第二照相机3b的摄像元件9输出的图像信号,对该图像信号施加图像处理,生成一对测试图图像(图像数据)。
图像处理部4具有对应点探索部4a和位置偏差计算部4b。对应点探索部4a用于在生成的一对测试图图形画面上,用成为下述测试图2的各检测图案P1和P2(第一图案和第二图案)的检测点的特征区域,寻找该一对测试图图像上的对应点。
关于对应点的探索方法,例如可以使用SAD(Sum of Absolute Difference)或POC(像位限定相关)等公知技术。
位置偏离计算部4b用于计算被找到的一对测试图图像上的对应点之间对应位置差,根据该对应位置差的计算结果,计算第一照相机3a和第二照相机3b之间的位置偏差。
补偿参数计算部5用于计算用来对位置偏差计算部4b求出的位置偏差进行补偿的补偿参数(以下详述)。
补偿参数存储部6是用于保存补偿参数计算部5求出的补偿参数的存储部。例如可用RAM或HDD、USB存储器、SD卡等存储媒体作为补偿参数保存部6。控制部7用于控制立体照相机检测装置1的各功能部(图像处理部4、补偿参数计算部5、补偿参数存储部6等)的动作。
立体照相机组装后,其中具备的第一照相机3a和第二照相机3b按照规定公差被设置为在水平方向上相距规定间距。但是,第一照相机3a和第二照相机3b之间如果存在像素单位大小的相对位置偏差(上下方向的位置偏差和除此之外的方向上的位置偏差),则将影响到立体照相机3的距离测定精度。
为此,对于组装后的立体照相机3,需要用立体照相机检测装置1检测第一照相机3a和第二照相机3b之间的相对位置偏差,并在判断发生上述偏差时,计算偏差补偿的补偿参数,而后保存该补偿参数。而后,基于上述求出的补偿参数对第一照相机3a和第二照相机3b输出的图像信号进行图像处理,利用图像处理来补偿(校正)第一照相机3a和第二照相机3b之间的相对位置偏差。
如图2A、图2B、图2C所示,对于水平方向上相距规定距离(基线长度)L设置的一对照相机即第一照相机3a和第二照相机3b,本实施方式设定水平方向平行于x轴,上下方向平行于y轴,光轴M方向平行于z轴。
在此参考图3A和图3B,说明本实施方式中定义的上下方向位置偏差即摄像面(摄像元件9的受光面)的中心位置偏差(以下称为摄像面中心偏差),图3A)、以及光学中心位置偏差(以下称为光学中心偏差),图3B)。
在图3A中,例如第二照相机3b被设置为,其摄像元件9的摄像面(受光面)的实际中心位置A2相对于理想中心位置A1向y轴方向偏离Ys,此时,通过摄像透镜8(焦距为f)在摄像元件9上成像的位置发生ys(=Ys)的变化。在这种情况下,不同距离(Z1和Z2)的测定对象物B1和B2在摄像元件9的摄像面上的偏差ys相同。
为此,对于用一对照相机(第一照相机3a和第二照相机3b)拍摄的摄像面C1和C2,只要以其中之一的摄像面为基准,并将另一摄像面移动ys,便能够补偿该一对照相机的摄像面中心偏离。
而在图3B中,例如第二照相机3b被设置为,其摄像透镜8(焦距为f)的实际光学中心位置A4相对于理想光学中心位置A3向y轴方向偏离Yo。此时,不同距离(Z1和Z2)的测定对象物B1和B2在摄像元件9上的成像位置分别偏离yo1和yo2(yo1>yo2)。
如图4A所示,当以第一照相机3a(左侧的照相机)拍摄的摄像面C1为基准时,如果发生如上所述的、第二照相机3b(右侧的照相机)的摄像透镜8的光学中心向y轴方向偏离Yo,则第二照相机3b拍摄的摄像面C2的中心也向y轴方向偏离Yo
在图4A中,设定θ为相对于Z轴的补偿角度,用于补偿第二照相机3b(右侧的照相机)的摄像透镜8的光学中心偏差Yo,并设定L为第一照相机3a和第二照相机3b之间的基线长度,此时,补偿角度θ用以下计算式计算。
θ = arcsin ( Y o L )
这样,如图4B所示,只要将一对照相机(第一照相机3a和第二照相机3b)拍摄的摄像面C1和C2围绕z轴转动补偿角度θ,便能够补偿一对照相机的光学中心偏差。据此,如图4B所示,可将一对照相机的摄像面C1和C2的中心之间的基线方向L1调整为与水平方向保持一致。
测试图2的构成
如图5所示,本实施方式涉及的测试图2包括作为第一检测用具的第一测试图2a和作为第二检测用具的第二测试图2b,第一测试图2a和第二测试图2b均位于第一照相机3a和第二照相机3b摄像方向的前方,其中,第一测试图2a与第一照相机3a及第二照相机3b相距Z1,第二测试图2b与第一照相机3a及第二照相机3b相距更远,离开第一测试图的距离为Z2。第一测试图2a和第二测试图2b既可构成为一体,也可分开构成。
矩形第一测试图2a如图6A和图6B所示,其中照相机一侧的表面上形成黑白方格图案P1,中心部分形成矩形开口部2c,用以作为图案射入部。第一测试图2a需要有足够大小,用以反映第一照相机3a和第二照相机3b的摄像镜头8的整个摄像范围。这样才能够使用整个摄像范围的下述对应点的信息,进一步正确获得有关第一照相机3a和第二照相机3b之间位置偏差的信息。但是,该第一测试图2a的大小受到设置空间大小的约制。
为此,优选第一测试图2a的大小为,当该第一测试图2a处于与第一照相机3a和第二照相机3b相距Z1的位置上时,其大小与第一照相机3a和第二照相机3b的摄像镜头8的摄像范围基本一致。
如图6A和图6B所示,第一照相机3a和第二照相机3b通过第一测试图2a的开口部2c拍摄矩形第二测试图2b中与开口部2c的框对应的视图区域。在第二测试图2b的表面形成黑白格子图案P2,该黑白格子图案P2的图形小于第一测试图2a的黑白格子图案P1的图形。
在本实施方式中设第一图案的格子图案P1与第二图案的格子图案P2互不相同,但是,在下述的实施方式中如果形成能够取得的对应点,也可以用相同图案。此外,如下述的实施方式3,第一测试图2a中的开口部2c不仅意味着被第一测试图2a的开口边缘部包围起来的空间,而且还意味着被第一测试图2a分割形成的空间。
如果照相机(例如第二照相机3b)中发生上述光学中心偏离(参见图3B),则测定结果如图7所示,因光学中心偏离造成的摄像元件9的摄像面(受光面)上的偏差随着第一照相机3a以及第二照相机3b与第一测试图2a之间的距离而变化。图7所示的测定结果是在第一照相机3a和第二照相机3b之间的基线长度度为100mm,摄像元件9的摄像面的像素间距为0.00375mm,光学中心偏差为1mm时的结果。
根据图7的测定结果可知,第一照相机3a及第二照相机3b与测试图2a之间的距离越近,摄像面上的偏差越大,测试感度越高。
为此,对于照相机的光学中心偏离,应尽可能减小第一照相机3a及第二照相机3b与第一测试图2a之间的距离Z1,用以高精度计算照相机的光学中心偏差。而对于照相机的摄像面中心偏离(Y轴向的位置偏离),则应使得第一照相机3a和第二照相机3b与第二测试图2b分开,即尽可能增加第一测试图2a与第二测试图2b之间的距离,用以高精度计算照相机的摄像面中心偏离。
但是,由于摄像镜头8拍摄的图像需要在摄像元件9的摄像面上合焦,第一照相机3a及第二照相机3b与第一测试图2a之间的距离Z1为摄像镜头8的最小合焦距离以上。为此,对于例如图5中第一照相机3a和第二照相机3b与第一测试图2a之间的距离Z1,本实施方式设Z1为摄像镜头8的最小合焦距离2m。同时设定第一测试图2a与第二测试图2b之间的距离Z2为2m,据此本实施方式能够以良好的精度计算第一照相机3a和第一照相机3b的光学中心偏差以及Y轴方向的位置偏差。
补偿参数计算处理
以下说明补偿参数的计算处理,该处理用于立体照相机检测装置1补偿第一照相机3a和第二照相机3b的上下方向位置偏差(摄像面中心偏离以及光学中心偏离)。
在本实施方式中,首先如图6A所示,在拍摄画面整个区域的测试图图像(第一测试图2a)中设定多个成为检测点的第一测试图2a的特征区域(以○表示的部分,即浓淡变化较大的格子图案的角部)。
而后,用该特征区域探索分别由第一照相机3a和第二照相机3b拍摄的画面上对应的第一对应点D1的位置,以第一照相机3a为基准,根据找到的第一对应点D1在画面上的对应位置差,获得第二照相机3b中包含上下方向偏差(摄像面中心偏离和光学中心偏离)或除上下方向以外的其它位置偏差在内的整个位置偏差,并计算补偿该偏差的补偿参数。
而后,如图6B所示,在拍摄画面整个区域的测试图图像(第一测试图2a和第二测试图2b)中设定多个成为检测点的第一测试图2a的特征区域(以○表示的部分,即浓淡变化较大的格子图案的角部),以及多个成为检测点的第二测试图2b的特征区域(以×表示的部分,即浓淡变化较大的格子图案的角部)。
而后,用这些特征区域探索分别由第一照相机3a和第二照相机3b拍摄的画面上对应的第一对应点D1和第二对应点D2的位置,以第一照相机3a为基准,根据找到的各第一对应点D1和各第二对应点D2在画面上的对应位置差,获得第二照相机3b中的摄像面中心偏差和光学中心偏差,计算补偿该偏差的最终补偿参数。
以下参考图8所示的流程图详细描述第一照相机及第二照相机之间相对位置偏差补偿参数的计算。
如图5和图6所示,用体照相机3的第一照相机3a和第二照相机3b拍摄测试图2,得到大约整个第一测试图2a、以及通过第一侧试图2a的开口部2c的与第二测试图2b的开口部2c内对应的测试区域(S1)。
立体照相机检测装置1的图像处理部4从第一照相机3a和第二照相机3b各自的摄像元件9输入图像信号,并对该图像信号施加预定的图像处理,生成图6A和图6B所示的一对测试图图像。
而后,对应点探索部4a在图像处理部4生成的一对测试图图像画面上探索整个第一侧试图2a画面上的第一对应点D1。同时,为了下述可靠性判断,还探索第二侧试图2b画面上的第二对应点D2。位置偏差计算部4b求出被找到的第一对应点D1和第二对应点D2的对应位置差(dx,dy)(S2)。
而后,判断求出的对应位置差(dx,dy)的值作为数据是否具有较高的可靠性(S3)。关于该判断方法,例如,如果第一对应点D1和第二对应点D2之间求出的对应位置差(dx,dy)整体趋势不一致,则判断第一测试图2a与第二测试图2b不是平行而是倾斜设置。这样便可判断求出的数据不可靠。
而后,在步骤S3中,如果判断求出的数据不可靠(S3的否),则重新调整第一测试图2a和第二测试图2b,使该两个测试图以良好的精度平行设置,而后返回S1。
另一方面,在步骤S3中,如果判断求出的数据可靠(S3的是),则计算补偿参数,该参数为使得上述从第一侧试图2a取得的整个画面上的区域的对应位置差(dy)成为最小(S5)。该对应位置差(dy)基于第一对应点D1。此外,仅用对应点D1便足以计算该对应位置差(dy),但是也可以使用第二对应点D2。
而后,图像处理部4用步骤S8求出的补偿参数对在步骤S1拍摄的测试图画面的图像进行图像补偿处理,将位置偏差减小为最小(S6)。
在步骤S6的图像补偿处理中,可以使用下述透视转换。在此设转换之前原来的坐标位置为(x1,y1),转换之后的坐标位置为(x0,y0),此时透视转换一般如以下式(1)和式(2)所示,用3×3的阵列M表示。
X Y Z = M x 0 y 0 1 式(1)
x 1 y 1 = X / A Y / A 式(2)
在此,A是表示倍率的坐标。此外,关于透视转换阵列M可参考非专利文献1(《画像と空间ュンピュ一タビジョンの几何学》出口光一郎著,昭晃堂,1991)。
计算透视转换后的坐标中使得第一照相机3a和第二照相机3b的位置偏差在摄像面的整个画面上平方和成为最小的补偿参数。
而后,对应点探索部4a在经过步骤S6的图像补偿处理的画面上寻找第一测试图2a的第一对应点D1和第二测试图2b的第二对应点D2的x、y坐标。而后位置偏差计算部4b分别在一对测试图图像画面上计算第一对应点D1和第二对应点D2各自的对应位置差(dx,dy)(S7)。
而后用步骤S7中求出的对应位置差dy,计算造成位置差的原因即摄像面中心偏差和光学中心偏差的最终补偿参数(S8)。而后,将步骤S8求出的补偿参数保存到补偿参数存储部6中(S9)。被保存的补偿参数将用于下述的立体照相机3的第一照相机3a和第二照相机3b的相对位置偏差(摄像面中心偏差和光学中心偏差)的补偿动作。
然而,对于第一照相机3a和第二照相机3b上下方向的位置偏差,仅用步骤S6的图像补偿处理(式(1)和式(2)的透视转换)的补偿是不够的,其原因在于,第一照相机3a和第二照相机3b的上下方向位置偏差中存在摄像面中心偏差(Ys)和光学中心偏差(Yo)两项成分。
该两项成分的特征为,摄像面上的第一照相机3a和第二照相机3b的y偏差中,摄像面中心偏差相对于距离(第一照相机3a和第二照相机3b与第一测试图2a和第二测试图2b之间的距离)为定值,而光学中心偏差则随着距离的变化而变化。对此,在步骤S8的补偿参数计算中,利用具有距离信息的第一照相机3a的第一对应点D1和第二照相机3b的第二对应点D2,获得两个距离的位置偏差(Y1,Y2)。该两个位置偏差(Y1,Y2)可以如以下用摄像面中心偏差带来的位置偏差ys以及光学中心偏差带来的位置偏差yo表示。
Y1=yo1+yo
Y2=yo2+yo
为了将上述yo1和yo2分别转换成光学中心偏差Yo,用下式取代上述中的yo1和yo2
y o 1 = Y o ( f Z 1 )
y o 2 = Y o ( f Z 2 )
获得式(3),用式(3)可以求出光学中心偏差Yo
Y 1 - Y 2 = ( 1 Z 1 - 1 Z 2 ) Y o f 式(3)
Z1是第一照相机3a及第二照相机3b与第一测试图2a之间的距离,Z2是第一照相机3a及第二照相机3b与第二测试图2b之间的距离,f为第一照相机3a和第二照相机3b的摄像镜头8的焦距。
如上所述,通过计算第一照相机3a和第二照相机3b的上下方向位置偏差的原因即摄像面中心偏差(Ys)和光学中心偏差(Yo),可以如步骤S8那样求出补偿这些偏差的补偿参数。
摄像面中心偏差(Ys)的补偿参数是对应摄像面中心偏差(Ys)的补偿量在Y轴向移动的距离的值,光学中心偏差(Yo)的补偿参数是对应光学中心偏差(Yo)围绕Z轴转动的补偿角度θ的值。
补偿角度θ用下式(4)计算。
θ = arcsin ( Y o L ) 式(4)
在此,L为第一照相机3a和第二照相机3b之间的基线长度。
如上所述,在使用本实施方式的立体照相机检测装置1时,在第一照相机3a和第二照相机3b前方设置第一测试图2a,该第一侧试图2a的中心部分设有开口部2c,并在该第一测试图2a后方设置第二测试图2b。而后,在第一照相机3a和第二照相机3b各自拍摄的一对测试图图像画面上,分别计算第一对应点D1和第二对应点D2之间的对应位置差(dx,dy),并根据求出的对应位置差,同时检测第一照相机3a和第二照相机3b的上下方向位置偏差以及上下方向以外方向的位置偏差,该检测简便且具有良好的操作性能。
另外,本实施方式考虑到如图7所示的光学中心偏差造成的位置偏差与测定距离成反比、测定距离越远位置偏差越小这一特点,能够以良好的精度测试光学中心偏差,即将第一照相机3a及第二照相机3b与第一测试图2a之间的距离(测定距离)设定在摄像镜头8的最小合焦位置附近,并且在顾及设定空间的同时,将第一测试图2a设定为尽可能远离第一照相机3a及第二照相机3b。
立体照相机3的补偿动作
图9是经过上述立体照相机检测装置1检测后对立体照相机3的第一照相机3a和第二照相机3b实行补偿动作的功能模块图。
如上所述,立体照相机3的第一照相机3a和第二照相机3b之间发生位置偏离后,立体照相机检测装置1求出用于补偿偏差的补偿参数,这些参数被保存到补偿参数存储部6中。
在立体照相机3的第一照相机3a和第二照相机3b之间存在位置偏差的情况下,如图9所示,分别将保存在所述补偿参数存储部6中用于补偿相对位置偏差的补偿参数输入第一图像补偿部10a和第二图像补偿部10b。
而后,误差计算部11根据经过第一图像补偿部10a补偿的由第一照相机3a拍摄的图像、以及经过第二图像补偿部10b补偿的由第二照相机3b拍摄的图像,计算视差,并将该视差图象输入到外部。
本实施方式设定立体照相机3发生像面中心偏离以及光学中心偏离,并对第一照相机3a和第二照相机3b双方进行偏差补偿。但是对于其他情况,当然可以改进本实施方式,以适用于与本实施方式不同的情况。例如,在仅发生像面中心偏离时,如果以第一照相机3a为基准,则可以不对第一照相机施加偏差补偿。
如上所述,例如在相对于第一照相机3a的基准位置,第二照相机3b中同时发生上下方向的位置偏离和上下方向以外的位置偏离时,可以根据立体照相机检测装置1的补偿参数存储部6中保存的补偿参数进行补偿。据此,能够基于第一照相机3a和第二照相机3b拍摄的图象,输出正确的视差图像。
<实施方式2>
图10是本发明实施方式2涉及的测试图结构示意图。
实施方式2的测试图设置结构
如图10所示,本实施方式涉及的测试图2包括第一测试图2a、第二测试图2b、以及反射板12。第一测试图2a位于第一照相机3a和第二照相机3b前方并与第一照相机3a和第二照相机3b相距距离Z1,第二测试图2b位于第一照相机3a和第二照相机3b的下方,反射板12位于第一测试图2a的一部分表面上。
在本实施方式中,一对照相机3a和3b、反射板12以及第二测试图2b被设置为,反射板12可照到第二测试图2b,但照不到一对照相机3a和3b。距离Z1例如与实施方式1相同,约为2m。
图11是映照在第一测试图2a画面内的反射板12表面区域中的第二测试图2a的示意图。
第一照相机3a和第二照相机3b的测试图案是与图6所示的实施方式1相同的格子图案。
与上述相同,在本实施方式拍摄画面内的测试图图像(第一测试图2a和第二测试图2b)中,设定多个作为检测点的第一测试图2a的特征区域(浓淡变化较大的格子图案角部)和第二测试图2b的特征区域(浓淡变化较大的格子图案角部)。而后,用这些特征区域来探索第一照相机3a拍摄的画面上对应的第一对应点D1和第二照相机3b拍摄的画面上对应的第二对应点D2,寻找第一对应点D1和第二对应点D2的位置,并基于找到的第一对应点D1和第二对应点D2在画面上的对应位置差,获得第二照相机3b中的摄像面中心偏差以及光学中心偏差,进而计算用于补偿这些偏差的补偿参数。
如上所述,本实施方式将反射板12设于第一测试图2a的部分表面,并使得该反射板12能够照到被置于第一测试图2a前方(第一照相机2a和第二照相机2b下方)的第二测试图2b。采用这样的设置结构,不需要将第二测试图2b设置到第一测试图2a的后方,减小了第一测试图2a和第二测试图2b的设置空间,因而,本实施方式能够用于狭小室内的检测。
<实施方式3>
图12是本发明实施方式3涉及的测试图结构示意图。
实施方式3的测试图设置结构
如图12所示,本实施方式涉及的测试图2包括位于第一照相机3a和第二照相机3b前方第一测试图2a和第二测试图2b,其中,第一测试图2a与第一照相机3a和第二照相机3b之间的距离为Z1,第二测试图2b更加远离第一照相机3a和第二照相机3b,与第一测试图2a之间的距离为Z2
如图13所示,第一测试图2a位于照相机一侧表面上形成黑白格子图案,整个中心区域被分割成三个矩形开口部2c。这样,如图13所示,在第一照相机3a和第二照相机3b拍摄的画面中第一测试图2a的三个开口部2c中分别映照第二测试图2b的对应区域。据此,能够在第一照相机3a和第二照相机3b拍摄的画面中心的整个区域中交替设定设置距离不同的第一测试图2a和第二测试图2b各自的特征区域(浓淡变化较大的格子图案的角部)。
同样,本实施方式也在拍摄画面内的测试图图像(第一岑试图2a和第二测试图2b)中,设定多个作为检测点的第一测试图2a的特征区域(浓淡变化较大的格子图案角部)和第二测试图2b的特征区域(浓淡变化较大的格子图案角部)。而后,用这些特征区域来探索第一照相机3a拍摄的画面上对应的第一对应点D1和第二照相机3b拍摄的画面上对应的第二对应点D2,寻找第一对应点D1和第二对应点D2的位置,并基于找到的第一对应点D1和第二对应点D2在画面上的对应位置差,获得第二照相机3b中的摄像面中心偏差以及光学中心偏差,进而计算用于补偿这些偏差的补偿参数。
这样,本实施方式能够在拍摄画面中心的整个区域获得第一对应点D1和第二对应点D2的对应位置差,便于基于各对应位置差之间偏差,掌握第一测试图2a和第二测试图2b的倾斜程度和平面性,有利于以良好的精度重新进行调整,获得更加可靠的对应位置差数据。
通过在拍摄画面中心的整个区域获得第一对应点D1和第二对应点D2的对应位置差,能够抑制摄像镜头8的弯曲和局部光学性能变化所产生的影响,进一步提高第一对应点D1和第二对应点D2的对应位置差计算精度。
上述各实施方式中的第一测试图2a和第二测试图2b均使用格子图案,但是本发明并不受此限制,也可以采用如圆形图案等其他图案。

Claims (10)

1.一种检测用具,用于检测构成立体照相机的一对照相机之间的位置偏差,该一对照相机之间相距基线长度,该检测用具的特征在于,
具备第一检测用具、第二检测用具、以及图案映照单元,
所述第一检测用具被设置为在所述一对照相机的摄像方向上与该一对照相机相距规定距离,并且该第一检测用具的与所述一对照相机相对设置一侧的表面上形成第一图案,
所述第二检测用具与所述第一检测用具相距规定距离,并相对于所述第一检测用具,位于与所述一对照相机相反一侧,或者位于与所述一对照相机相同一侧,而且,该第二检测用具的与所述第一检测用具相对设置一侧的表面上形成第二图案,
所述图案映照单元用于在用所述一对照相机拍摄时,使得该一对照相机分别拍摄的画面上,所述第一检测用具的第一图案中映照所述第二检测用具的第二图案中的一部分图案,
所述第一图案和所述第二图案中分别具有用立体照相机检测装置检测所述一对照相机的相对位置偏差时使用的检测点即特征区域。
2.根据权利要求1所述的检测用具,其特征在于,
所述图案映照单元为所述第一检测用具上形成的一个或多个开口部,
所述第一检测用具和所述第二检测用具均位于所述一对照相机的镜头前方,所述第二检测用具比所述第一检测用具离开所述一对照相机更远。
3.根据权利要求1所述的检测用具,其特征在于,
所述图案映照单元为设于所述第一检测用具中所述一对照相机一侧的一部分表面上的反射板,
所述第二检测用具被设置在所述第一检测用具的所述一对照相机一侧的前方。
4.根据权利要求3所述的检测用具,其特征在于,
所述一对照相机、所述反射板、以及所述第二检测用具被设置为,该反射板能够照到该第二检测用具,但映照不到该一对照相机。
5.根据权利要求1至4中任意一项所述的检测用具,其特征在于,
所述一对照相机与所述第一检测用具之间的距离为该一对照相机的最小合焦距离。
6.根据权利要求1至4中任意一项所述的检测用具,其特征在于,
所述第一检测用具大于所述一对照相机在其最小合焦距离上的摄像范围。
7.一种立体照相机检测装置,用于检测构成立体照相机的一对照相机之间的位置偏差,该一对照相机之间相距基线长度,该立体照相机检测装置的特征在于,
具备检测用具,该检测用具包括第一检测用具、第二检测用具、以及图案映照单元,所述第一检测用具被设置为在所述一对照相机的摄像方向上与该一对照相机相距规定距离,并且该第一检测用具的与所述一对照相机相对设置一侧的表面上形成第一图案,所述第二检测用具与所述第一检测用具相距规定距离,并相对于所述第一检测用具,位于与所述一对照相机相反一侧,或者位于与所述一对照相机相同一侧,而且,该第二检测用具的与所述第一检测用具相对设置一侧的表面上形成第二图案,所述图案映照单元用于在用所述一对照相机拍摄时,使得该一对照相机分别拍摄的画面上,所述第一检测用具的第一图案中映照所述第二检测用具的第二图案中的一部分图案,
此外,该立体照相机检测装置还具备以下各部:
图像处理部,用于在所述一对照相机拍摄所述检测用具后输入由该一对照相机输出的图像信号,并生成一对图像,在该图像的画面上,所述第一图案中映照所述第二图案中的一部分图案;
对应点探索部,用于分别在生成的一对图像的画面上,用所述第一图案和所述第二图案的检测点即特征区域,探索该一对图像上的第一对应点和第二对应点;
位置偏差计算部,用于计算在所述一对图像上找到的所述第一对应点和所述第二对应点各自的对应位置差,并基于求出的对应位置差,计算所述一对照相机的相对位置偏差;以及,
补偿参数计算部,用于计算对求出的位置偏差进行补偿的补偿参数。
8.根据权利要求7所述的立体照相机检测装置,其特征在于,进一步具备补偿参数存储部,用于保存所述补偿参数计算部求出的补偿参数。
9.根据权利要求8所述的立体照相机检测装置,其特征在于,用所述位置偏差计算部求出的位置偏差为所述一对照相机在上下方向的位置偏差。
10.一种检测方法,用于检测构成立体照相机的一对照相机之间的位置偏差,该一对照相机之间相距基线长度,该检测方法的特征在于,
使用检测用具进行检测,该检测用具具备第一检测用具、第二检测用具、以及图案映照单元,所述第一检测用具被设置为在所述一对照相机的摄像方向上与该一对照相机相距规定距离,并且该第一检测用具的与所述一对照相机相对设置一侧的表面上形成第一图案,所述第二检测用具与所述第一检测用具相距规定距离,并相对于所述第一检测用具,位于与所述一对照相机相反一侧,或者位于与所述一对照相机相同一侧,而且,该第二检测用具的与所述第一检测用具相对设置一侧的表面上形成第二图案,所述图案映照单元用于在用所述一对照相机拍摄时,使得该一对照相机分别拍摄的画面上,所述第一检测用具的第一图案中映照所述第二检测用具的第二图案中的一部分图案,
该检测方法包括以下各步骤:
图像处理步骤,在所述一对照相机拍摄所述检测用具后输入由该一对照相机输出的图像信号,并生成一对图像,在该图像的画面上,所述第一图案中映照所述第二图案中的一部分图案;
对应点探索步骤,分别在生成的一对图像的画面上,用所述第一图案和所述第二图案的检测点即特征区域,探索该一对图像上的第一对应点和第二对应点;
位置偏差计算步骤,计算在所述一对图像上找到的所述第一对应点和所述第二对应点各自的对应位置差,并基于求出的所述对应位置差,计算所述一对照相机的相对位置偏差;以及,
补偿参数计算步骤,计算对求出的位置偏差进行补偿的补偿参数。
CN201410097991.XA 2013-03-12 2014-03-12 检测用具、立体照相机检测装置以及检测方法 Active CN104052986B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-048901 2013-03-12
JP2013048901A JP6209833B2 (ja) 2013-03-12 2013-03-12 検査用具、検査方法、ステレオカメラの生産方法及びシステム

Publications (2)

Publication Number Publication Date
CN104052986A CN104052986A (zh) 2014-09-17
CN104052986B true CN104052986B (zh) 2016-09-21

Family

ID=51505305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410097991.XA Active CN104052986B (zh) 2013-03-12 2014-03-12 检测用具、立体照相机检测装置以及检测方法

Country Status (2)

Country Link
JP (1) JP6209833B2 (zh)
CN (1) CN104052986B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447055B2 (ja) 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
JP6457775B2 (ja) * 2014-10-10 2019-01-23 エヌ・ティ・ティ・インフラネット株式会社 3次元形状計測装置及び3次元形状計測方法
US20160142700A1 (en) * 2014-11-19 2016-05-19 Ginni Grover Measuring Accuracy of Image Based Depth Sensing Systems
CN116699635A (zh) 2016-11-10 2023-09-05 莱卡地球系统公开股份有限公司 激光扫描仪
CN109146977A (zh) * 2017-06-16 2019-01-04 中兴通讯股份有限公司 图像平移误差修正方法、移动终端及计算机可读存储介质
CN109462752A (zh) * 2018-11-19 2019-03-12 信利光电股份有限公司 一种摄像模组光心位置测量方法及装置
CN111263131A (zh) * 2018-12-03 2020-06-09 宏碁股份有限公司 影像撷取装置及影像撷取方法
CN109889820A (zh) * 2019-03-14 2019-06-14 深圳博时特科技有限公司 双目摄像头模组的检测方法、装置、存储介质及终端
CN109889823B (zh) * 2019-04-08 2021-02-26 苏州莱测检测科技有限公司 一种用于立体视觉成像设备性能检测的检测方法
JP2020190438A (ja) 2019-05-20 2020-11-26 株式会社リコー 計測装置および計測システム
JP7341033B2 (ja) * 2019-11-11 2023-09-08 キヤノン株式会社 視差検出装置、撮像装置、視差検出方法、及びプログラム
CN112752094B (zh) * 2020-12-28 2023-12-01 歌尔科技有限公司 一种双摄像头光轴检测设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101223416A (zh) * 2005-07-13 2008-07-16 丰田自动车株式会社 物体检测装置
CN202294794U (zh) * 2011-07-29 2012-07-04 富士重工业株式会社 车辆的驾驶辅助装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3719586B2 (ja) * 2000-03-27 2005-11-24 コニカミノルタフォトイメージング株式会社 電子カメラの調整方法
JP4109077B2 (ja) * 2002-10-11 2008-06-25 敬二 実吉 ステレオカメラの調整装置およびステレオカメラの調整方法
JP3735344B2 (ja) * 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
US20120033049A1 (en) * 2010-08-06 2012-02-09 Corley Ferrand David E Apparatus and method of aligning three dimensional camera systems
JP5477658B2 (ja) * 2010-11-29 2014-04-23 独立行政法人産業技術総合研究所 キャリブレーション用校正治具、校正治具を備えた3次元計測システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101223416A (zh) * 2005-07-13 2008-07-16 丰田自动车株式会社 物体检测装置
CN202294794U (zh) * 2011-07-29 2012-07-04 富士重工业株式会社 车辆的驾驶辅助装置

Also Published As

Publication number Publication date
CN104052986A (zh) 2014-09-17
JP2014174088A (ja) 2014-09-22
JP6209833B2 (ja) 2017-10-11

Similar Documents

Publication Publication Date Title
CN104052986B (zh) 检测用具、立体照相机检测装置以及检测方法
CN110322702B (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
US9369695B2 (en) Method and apparatus for three-dimensional measurement and image processing device
JP5745178B2 (ja) 3次元測定方法、装置及びシステム、並びに画像処理装置
CN110415300B (zh) 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN103247053A (zh) 基于双目显微立体视觉的零件精确定位方法
CN105627926A (zh) 四像机组平面阵列特征点三维测量系统及测量方法
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
TW201100760A (en) Distance measuring apparatus having dual stereo cameras
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
Nienaber et al. A comparison of low-cost monocular vision techniques for pothole distance estimation
CN104764401B (zh) 一种发动机柔性喷管摆角及摆心测量方法
US8941732B2 (en) Three-dimensional measuring method
CN106705860B (zh) 一种激光测距方法
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
CN104180756B (zh) 激光位移传感器测对接件相对位移的方法
TW201203173A (en) Three dimensional distance measuring device and method
JP6040782B2 (ja) 画像処理装置及びプログラム
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
US20090087013A1 (en) Ray mapping
KR101995344B1 (ko) 사각지역이 없는 듀얼 깊이 카메라 모듈
JP6241083B2 (ja) 撮像装置及び視差検出方法
JPH07234111A (ja) 三次元物体の計測方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant