CN104718750A - 校准方法及校准装置 - Google Patents

校准方法及校准装置 Download PDF

Info

Publication number
CN104718750A
CN104718750A CN201380051577.9A CN201380051577A CN104718750A CN 104718750 A CN104718750 A CN 104718750A CN 201380051577 A CN201380051577 A CN 201380051577A CN 104718750 A CN104718750 A CN 104718750A
Authority
CN
China
Prior art keywords
video camera
marker
vehicle
road surface
parameter value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380051577.9A
Other languages
English (en)
Other versions
CN104718750B (zh
Inventor
田中仁
今西胜之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN104718750A publication Critical patent/CN104718750A/zh
Application granted granted Critical
Publication of CN104718750B publication Critical patent/CN104718750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

一种校准方法，使用沿着同一铅垂方向排列且离路面的高度均为已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正。校准方法具有第一工序～第三工序。在第一工序(S205)中利用摄像机拍摄所述多个标识物，得到二维图像。在第二工序(S215)中，将通过第一工序(S205)得到的二维图像中的多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上。在第三工序(S240、S245)中，根据通过第二工序(S215)得到的、所述面中的多个标识物之间的距离与由已知的位置关系求出的多个标识物之间的距离之间的偏差，计算摄像机的参数值。

Description

校准方法及校准装置
关联申请的相互参照
本申请以2012年10月2日提交的日本专利申请2012-220622号为基础，在此通过参照而引用其记载内容。
技术领域
本发明涉及进行与车载摄像机的设置有关的测定的技术。
背景技术
以往，作为进行与车载摄像机的设置有关的测定(所谓校准)的技术，已知有下面的技术。
例如，下述的专利文献1所记载的方法，预先规定预定的位置关系，在路面上设置多个设置图案(target：标靶)，使车辆停在该设置图案的附近而进行测定。
另外，下述的专利文献2所记载的方法，通过联接器、指示器等对位机构，将车辆与标靶装置的位置关系固定而进行测定。
现有技术文献
专利文献
专利文献1：日本公开专利公报2008-142665号
专利文献2：日本公开专利公报2009-288152号
发明内容
然而，在上述专利文献1所记载的方法的情况下，为了提高测定的精度，需要适当设定从摄像机到标靶的距离和角度，所以需要在路面上的大范围内设置标靶。因此，需要车辆所占据的面积的几倍以上的测定空间(放置测定所需的标靶的平面空间)。
另外，在专利文献2所记载的技术的情况下，由于使用离路面具有高度的标靶，所以节省了测定所需的空间，但测定需要车辆与标靶之间的位置关系信息。因此，通过联接器将车辆和标靶物理性地固定到预定的位置关系，使用指示器机构调整标靶的位置，使得车辆和标靶处于预定的位置关系，存在测定耗费时间的问题。
本发明是鉴于上述问题而做出的，其目的在于，提供一种技术，能够节省测定所需的空间，并容易地进行测定。
本发明的第1例，提供一种校准方法，使用沿着同一铅垂方向排列且离路面的高度均为已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括第一工序～第三工序。第一工序是利用摄像机拍摄多个标识物而得到二维图像的工序。第二工序是将通过第一工序得到的二维图像中的多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上的工序。第三工序是根据通过第二工序得到的、所述面中的多个标识物彼此的位置偏差，计算摄像机的参数值的工序。
根据具有这种工序的校准方法，由于标识物(标靶)设置于离路面具有一定高度的场所，所以与标识物位于路面上的情况相比，能够节省测定所需的空间。而且，无需通过联接器将车辆和标识物物理性地固定成预定的位置关系，或者使用指示器机构调整标识物的位置而使车辆和标识物处于预定的位置关系，所以与现有技术相比，测定不费工夫。
本发明的第2例，提供一种校准装置，使用沿着同一铅垂方向排列且离路面的高度均为已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括：图像取得部，利用所述摄像机拍摄所述多个标识物，得到二维图像；变换部，将通过所述图像取得部得到的二维图像中的所述多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及计算部，根据通过所述变换部得到的、所述面中的所述多个标识物彼此的位置偏差，计算所述摄像机的参数值。
提供这种校准装置，能够发挥与上述第1例的校准方法相同的效果。
本发明的第3例，提供一种校准方法，利用从路面离开预定距离且在水平方向上错开、且标识物之间的位置关系已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括第一工序～第三工序。第一工序是利用摄像机拍摄多个标识物而得到二维图像的工序。第二工序是将通过第一工序得到的二维图像中的多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上的工序。第三工序是根据通过第二工序得到的、所述面中的多个标识物之间的距离与由已知的位置关系求出的多个标识物之间的距离的偏差，计算摄像机的参数值的工序。
根据具有这种工序的校准方法，由于标识物(标靶)设置于离路面具有一定高度的场所，所以与标识物位于路面上的情况相比，能够节省测定所需的空间。而且，无需通过联接器将车辆和标识物物理性地固定成预定的位置关系，或者使用指示器机构调整标识物的位置而使车辆和标识物处于预定的位置关系，所以与现有技术相比，测定不费工夫。
本发明的第4例，提供一种校准装置，利用从路面离开预定距离且在水平方向上错开、且标识物之间的位置关系已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括：图像取得部，利用所述摄像机拍摄所述多个标识物，得到二维图像；变换部，将通过所述图像取得部取得的二维图像中的所述多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及计算部，根据通过所述变换部得到的、所述面中的所述多个标识物之间的距离与由所述已知的位置关系求出的所述多个标识物之间的距离的偏差，计算所述摄像机的参数值。
根据这种校准装置，能够得到与上述第3例的校准方法相同的效果。
附图说明
本发明的上述及其他目的、特征、优点可以通过参照附图进行的下述说明而更加明确。在附图中，
图1是示出实施方式的图像处理系统的概要结构的框图。
图2A是示出第一实施方式的摄像机的安装位置、以及车辆和标识物的位置关系的说明图。
图2B是示出第二实施方式的摄像机的安装位置、以及车辆和标识物的位置关系的说明图。
图3是用于说明姿态参数决定处理1的流程图。
图4A是示出摄影图像的一个例子的图。
图4B是在鸟瞰变换后计算标识物之间的距离的说明图。
图4C是用于说明标识物之间的实际距离的图。
图4D是示出使根据测定所获得的标识物定义的线段平行移动以及旋转而与根据实际的配置定义的线段重合的情况的图。
图4E是示出平行移动以及旋转后的图。
图5A是概念性地示出通过测定获得的各摄像机的安装位置的图(标识物坐标系)。
图5B是概念性地示出以基于理想摄像机配置的车辆为基准的坐标系的图。
图5C是示出使由测定所获得的摄像机位置定义的线段平行移动以及旋转而与根据理想的配置定义的线段重合的情况的图。
图5D是概念性地示出摄像机的安装位置的水平成分和摄像机的摄影方向的偏转角由标识物坐标系变换成车辆坐标系的图。
图6是用于说明姿态参数决定处理2的流程图。
图7A是示出摄影图像的一个例子的图。
图7B是在鸟瞰变换后计算同一标识柱上的标识物的位置差的说明图。
图7C是示出将各鸟瞰图像合成而使得同一标识物在任意鸟瞰图像的摄像机坐标系中重合，由此确定各摄像机的安装位置的水平成分以及摄影方向的偏转角的说明图。
图8A是概念性地示出通过测定获得的各摄像机的安装位置的图(摄像机坐标系)。
图8B是概念性地示出以基于理想摄像机配置的车辆为基准的坐标系的图。
图8C是示出使由测定获得的摄像机位置定义的线段平行移动以及旋转而与根据理想的配置定义的线段重合的情况的图。
图8D是概念性地示出摄像机的安装位置的水平成分和摄像机的摄影方向的偏转角从摄像机坐标系变换成车辆坐标系的图。
具体实施方式
下面使用附图例示本发明的实施方式。另外，本发明的实施方式不被下述的实施方式做任何限定解释。另外，在能够解决课题的情况下，将下述的实施方式的构成的一部分省略的方式也属于本发明的实施方式。另外，将下述的多个实施方式适当组合构成的方式也是本发明的实施方式。
(构成的说明)
如图1所示，实施方式的图像处理系统5具备摄像机11a～11d、图像处理装置21以及显示装置31。
摄像机11a～11d是具有CCD、CMOS等摄像元件的广角摄像机，是对车辆周边进行拍摄并将该摄影图像以预定频率(例如1秒钟60帧)向图像处理装置21输出的摄像机。在本实施方式中，如图2A所示，摄像机11a被设置在车辆的前端中央，以能够对车辆的前方周边进行拍摄；摄像机11b被设置在车辆的右侧面(具体为门镜)，以能够对车辆的右方周边进行拍摄；摄像机11c被设置在车辆的后端中央，以能够对车辆的后方周边进行拍摄；摄像机11d被设置在车辆的左侧面(具体为门镜)，以能够对车辆的左方周边进行拍摄。另外，在下文中，不对各摄像机进行区分进行说明时，简称为摄像机11。
返回到图1进行说明，图像处理装置21具备图像存储部22a～22d、操作部23、姿态参数等存储部24、以及控制部25。
图像存储部22a～22d由DRAM等存储器件构成，存储预定时间量(例如过去10秒期间)的从摄像机11依次输出的摄影图像。另外，图像存储部22a存储从摄像机11a输出的图像，图像存储部22b存储从摄像机11b输出的图像，图像存储部22c存储从摄像机11c输出的图像，图像存储部22d存储从摄像机11d输出的图像。在下文中，在不区分各图像存储部进行说明时，简称为图像存储部22进行说明。
操作部23由设置在显示装置31的显示面的触摸面板和设置在显示装置31的周围等的机械性的按键开关构成，是能够从驾驶者等输入各种操作指示的器件。
姿态参数等存储部24由闪存等非易失性存储器件构成，是用于存储摄像机11的姿态参数值(关于摄像机11的安装位置的水平成分及铅垂成分、以及摄影方向的俯仰角、横滚角及偏转角)、控制部25执行的程序等的器件。另外，使用姿态参数等存储部24所存储的姿态参数，对摄像机11拍摄到的影像进行处理(例如变换为鸟瞰图像)。另外，该姿态参数还用于在因车辆的振动等原因导致摄像机11的安装位置、安装角度出现异常的情况下发出警告时的判断。
控制部25由微机构成，该微机由CPU、RAM、ROM以及I/O等构成，控制部25读取姿态参数等存储部24中存储的程序，执行各种处理。
显示装置31由液晶显示器或有机EL显示器构成，显示由图像处理装置21对摄像机11拍摄到的摄影图像进行处理后的图像。
(第1实施方式的动作的说明)
接着，说明第1实施方式的图像处理装置21的动作，下面以与本发明有关的处理为中心进行说明，对于以往已知的、用于将车载摄像机拍摄到的摄影图像显示到显示装置的处理(例如，为了辅助车辆入库，将摄影图像变换为鸟瞰图像，合成车轮的预测轨迹等，显示到显示装置上的处理等)，省略说明。
在第1实施方式中，如图2A所示，使车辆移动到由4根标识柱41a～41d包围的场所，进行摄像机校准。这4根标识柱41a～41d具有圆柱形状，以其轴向与路面垂直的方式固定。而且，在标识柱41a～41d的中央附近且从路上离开相同距离的位置，分别设置有朝向车辆方向的标识物42a～42d。也就是说，标识物42a～42d被设置在与路面平行的同一平面内。另外，标识物42a～42d在平面上的位置也已被掌握。因此，标识物42a～42d的实际位置由以预定的位置为基准的坐标系(标识物坐标系)上的坐标确定。标识物42a～42d只要能够被搭载到车辆上的摄像机11拍摄，并被图像处理装置21识别即可，可以是任意形式的标识物。例如，用与标识柱41a～41不同的颜色描绘的标记、LED等发光元件等均是合适的。
另外，在下文中，不对各标识柱进行区分说明时，简称为标识柱41进行说明，在不对各标识物进行区分说明时，简称为标识物42进行说明。
接着，使用图3的流程图来说明图像处理装置21执行的摄像机校准、即姿态参数决定处理1。如图2A所示方式配置车辆，能够通过各摄像机11分别拍摄2根标识柱41(2个标识物42)之后，测定者对操作部23进行操作，在输入了表示更新姿态参数的指示时，从姿态参数等存储部24将程序读取到控制部25，由此开始执行姿态参数决定处理1。另外，控制部25使各个摄像机11a～11d分别相应地执行下文中说明的S105～S140，然后在各个摄像机全部完成了S105～S140之后，执行一次S145以及S150。
控制部25开始执行姿态参数决定处理1时，从某个选择的一个图像存储部22取得最新的摄影图像(S105)。也就是说，从图像存储部22a～22d的某一个读取图像数据，展开到控制部25的未予图示的RAM。
接着，控制部25从取得的摄影图像检测标识物42的坐标(S110)。也就是说，如图4A所示，在图像坐标系中确定摄影图像中的标识物42a以及标识物42b各自的中心位置。确定方法可以考虑如下方法：将摄影图像中的色差或亮度差等大的部位确定为标识物42的位置的方法；若标识物42由发光元件构成，使发光元件闪烁，取得发光前的摄影图像与发光后的摄影图像的差值，由此进行确定的方法。
返回到图3进行说明，接着，控制部25考虑标识物42的高度，对摄影图像进行鸟瞰变换(S115)。鸟瞰变换的方法是众所周知的，所以省略说明，例如在日本特开平10-211849号已有详细记载。另外，开始执行姿态参数决定处理1，首先执行S115时(鸟瞰变换时)使用的摄像机11的姿态参数的值可以使用车辆出库时等的初始值，也可以使用姿态参数等存储部24中存储的姿态参数的值(通过上次的姿态参数决定处理1存储的值)。另外，鸟瞰变换可以针对整个摄影图像进行，也可以针对局部(例如只对标识物42的位置)进行。另外，可以考虑如下方法：对于标识物42，在标识物42所处高度的水平面进行鸟瞰变换，对于标识物42以外，在路面进行鸟瞰变换，将它们合成。
接着，控制部25计算进行了鸟瞰变换的图像中的标识物之间的距离D(S120)。也就是说，如图4B所示，由标识物42a的坐标和标识物42b的坐标计算在以对象的摄像机11为基准的坐标系(摄像机坐标系)上的标识物之间的距离D。
返回到图3进行说明，接着，控制部25判断在S120中计算出的标识物之间的距离D是否能够评价为十分接近规定值(S125)。在此所说的“规定值”是标识物之间的实际距离，是根据预先确定的标识物42在标识物坐标系上的坐标计算出的2个标识物之间的距离(参照图4C)。另外，“评价为十分接近”是指，例如在S120中计算出的标识物之间的距离D与规定值之差的比率在预定比率以下的情况下，做出这样的评价。
控制部25在S125中判断为能够评价为在S120中计算出的标识物之间的距离D十分接近规定值的情况下，转移到S135，另一方面，在判断为不能评价为十分接近的情况下，转移到S130。
在判断为不能评价为在S120中计算出的标识物之间的距离D十分接近规定值的情况下进入到S130，在该S130中，控制部25选定S115的鸟瞰变换时使用的姿态参数之中的、摄像机11的安装位置的铅垂成分(z)、以及摄影方向的俯仰角和横滚角的下一候选。下一候选是稍微改变这些要素之中的至少某一个值(例如只改变相当于0.1％的值)的成分而得到的。
在S130中选择下一候选后，控制部25转移到上述的S115，使用所选定的值，再次进行鸟瞰变换。
另一方面，在判断为能够评价为在S120中计算出的标识物之间的距离D十分接近规定值的情况下进入到S135，在S135中，控制部25将在最新的S115的鸟瞰变换中使用的、摄像机11的安装位置的铅垂成分(z)、以及摄影方向的俯仰角和横滚角存储到姿态参数等存储部24。
接着，控制部25使将通过最新的S115的鸟瞰变换得到的鸟瞰图像(摄像机坐标系上的图像)的标识物42之间连接得到的线段移动以及旋转，而与将现实配置(实际的标识物的配置、且标识物坐标系上的配置)上的标识物42之间连接得到的线段重合。而且，与此同时，使在S115中得到的鸟瞰图像上的摄像机坐标系的原点以及各坐标轴移动以及旋转，根据旋转后的原点以及各坐标轴，在标识物坐标系中计算摄像机11的安装位置的水平成分(x，y)和摄影方向的偏转角(S140)。在S140中，换言之，确定将标识物之间的线段对准规定的标识物配置进行移动以及旋转时的摄像机位置(x、y)以及偏转角。另外，对于线段的移动，考虑以各线段的中点对准的方式移动，但不限于此。
使用图4B～图4E具体说明S140。
图4B是根据对摄影图像进行了鸟瞰变换之后的图像来选择性地描绘了标识物42a、42b以及标识柱41a、41b的图像，定义了将标识物42a和标识物42b连接的线段44。另外，拍摄到该图像的摄像机11的安装位置与摄像机坐标系的原点Oc对应，摄像机的摄影方向位于YcZc平面上。
图4C是示出标识物42a与标识物42b的现实配置(实际的标识物的配置)的图，定义了将标识物42a和标识物42b连接的线段45。另外，作为与标识物42有关的坐标系(标识物坐标系)，其原点Om设置在图中示出的位置，但不限于该位置。
图4D是示出使图4B中的线段44平行移动以及旋转而与图4C中的线段45重合的情况的图。像这样使线段44平行移动以及旋转时，摄像机坐标系的原点Oc和各坐标轴也移动(移动的情况未图示)。
图4E是示出使图4B中的线段44平行移动以及旋转而与图4C中的线段45重合的图。能够确认在标识物坐标系上的、摄像机坐标系的原点Oc的位置以及各轴。该图中的原点Oc的坐标位置的水平成分(x成分和y成分)是在标识物坐标系中的摄像机11的安装位置的水平成分，摄像机坐标系的Yc·Zc面与Ym·Zm面所成的角度是标识物坐标系中的摄像机11的摄影方向的偏转角。
返回到图3进行说明，接着控制部25将在S140中计算出的标识物坐标系上的各摄像机11的安装位置的水平成分和摄影方向的偏转角变换为在车辆坐标系中的摄像机11的安装位置的水平成分和摄像机11的摄影方向的偏转角(S145)。使用图5A～图5D说明该变换。
图5A是概念性地示出使各个摄像机11a～11d分别进行了S105～S140而得到的标识物坐标系上的各摄像机的安装位置的图。在该例中，选择设置于车辆前端中央的摄像机11a和设置于车辆后端中央的摄像机11c，定义将各摄像机的安装位置连接的线段51。另外，所选择的摄像机不限于该例，也可以是其他组合。
图5B是概念性地示出以基于理想摄像机配置的车辆的前端中央部为基准的坐标系(车辆坐标系)的图。将设置于车辆前端中央的摄像机11a的设置位置设为原点，将车辆前方的水平方向设为Y轴，将车辆右方的水平方向设为X轴，将车辆上方(铅垂方向)设为Z轴。另外，在该例子中，选择设置于车辆前端中央的摄像机11a和设置于车辆后端中央的摄像机11c，定义将各摄像机的安装位置连接的线段52。
以此为前提，使图5A的线段51旋转以及平行移动而与图5B的线段52重合，随着线段51的旋转以及平行移动，摄像机11的安装位置的水平成分和摄影方向的偏转角也旋转以及平行移动。由此，摄像机11的安装位置的水平成分和摄影方向的偏转角由标识物坐标系变换为车辆坐标系。
图5c是示出使图5A的线段51旋转以及平行移动而与图5B的线段52重合的情况的图。另外，对于线段51的移动，考虑以使线段51的中点与线段52的中点对准的方式移动，但不限于此。
图5D是概念性地示出各摄像机11的安装位置的水平成分和摄影方向的偏转角从标识物坐标系变换为车辆坐标系的图。与图5B相比，能够确认到各摄像机朝向不同的方向，能够确认到能够在车辆坐标系中确定图5A中的各摄像机11的安装位置。
返回到图3进行说明，接着控制部25将在S145中变换的车辆坐标系上的各摄像机11的安装位置的水平成分和摄影方向的偏转角存储到姿态参数等存储部24(S150)。然后，控制部25结束本处理(姿态参数决定处理1)。
(第1实施方式的效果)
以上说明了第1实施方式的图像处理装置21的动作，据此，由于标识物42设置于离路面具有一定高度的位置，所以与标识物位于路面上的情况相比，能够节省测定所需的空间。而且，无需通过联接器将车辆和标识物物理地固定成预定的位置关系，或者使用指示器机构调整标识物的位置而使车辆和标识物处于预定的位置关系，所以与现有技术相比，测定节约工时。
另外，根据第1实施方式的图像处理装置21，能够对车载的全部摄像机11计算各摄像机的全部参数值(摄像机11的安装位置、俯仰角、横滚角以及偏转角)。
(第2实施方式的动作的说明)
接着，说明第2实施方式的图像处理装置21的动作，下面以与第1实施方式的图像处理装置21的不同点为中心进行说明，对于相同动作，省略说明。
在第2实施方式中，如图2B所示，使车辆移动到由4根标识柱41a～41d包围的场所，进行摄像机校准。在该4根标识柱41a～41d上，在其中央附近且从路上离开相同距离的位置分别设置有朝向车辆方向的标识物42a～42d(以下将它们称为“下侧标识物”)。另外，在标识柱41a～41d的上端附近且从路上离开相同距离的位置分别设置有朝向车辆方向的标识物43a～43d(下面将它们称为“上侧标识物”)。另外，这些标识物42a～42d、43a～43d被设置成设置于同一标识柱上的标识物彼此位于铅垂线上。另外，与第一实施方式的情况不同，标识物42a～42d、43a～43d的位置无需由任何坐标系来确定。但是，各标识物离路面的高度是确定的。
另外，下面在不对标识物42a～42d的各标识物进行区分说明时，简称为标识物42(或下侧标识物42)，在不对标识物43a～43d的各标识物进行区分说明时，简称为标识物43(或上侧标识物43)。
接着，使用图6的流程图，说明图像处理装置21执行的摄像机校准、即姿态参数决定处理2。姿态参数决定处理2如下开始执行：如图2B所示方式配置车辆，设定成能够通过各摄像机11分别拍摄2根标识柱41的各标识物之后，测定者对操作部23进行操作，输入了表示更新姿态参数的指示时，从姿态参数等存储部24将程序读取到控制部25，由此开始执行姿态参数决定处理2。另外，控制部25使各个摄像机11a～11d分别相应地执行下文中说明的S205～S235，然后在各个摄像机全部完成了S205～S235之后，执行一次S240～S250。
控制部25开始执行姿态参数决定处理2时，从某个选择的一个图像存储部22取得最新的摄影图像(S205)。
接着，控制部25从取得的摄影图像检测下侧标识物42以及上侧标识物43的坐标(S210)。也就是说，如图7A所示，在图像坐标系中确定在摄影图像中的标识物42a、42b、43a、43b各自的中心位置。
返回到图6进行说明，接着，控制部25对摄影图像进行鸟瞰变换(S215)。此时，考虑下侧标识物42以及上侧标识物43的高度进行鸟瞰变换。
接着，控制部25在进行了鸟瞰变换后的图像中计算同一标识柱的下侧标识物42和上侧标识物43的位置偏差的距离(S220)。例如，如图7B所示，在以进行拍摄的摄像机11a为基准的坐标系(摄像机坐标系)中计算下侧标识物42a与上侧标识物43a的位置偏差的距离d1、以及下侧标识物42b与上侧标识物43b的位置偏差的距离d2。
返回到图6进行说明，接着，控制部25判断是否能够评价为在S220中计算出的同一标识柱的下侧标识物42与上侧标识物43的位置偏差的距离均为最小(S225)。另外，作为“最小”，理想为0，但考虑到误差等因素，只要是接近0的值即可。
控制部25在S225中判断为能够评价为在S220中计算出的同一标识柱的下侧标识物42与上侧标识物43的位置偏差的距离为最小的情况下，转移到S235，另一方面，判断为不能评价为在S220中计算出的同一标识柱的下侧标识物42与上侧标识物43的位置偏差的距离为最小的情况下，转移到S230。
在判断为不能评价为在S220中计算出的同一标识柱的下侧标识物42与上侧标识物43的位置偏差的距离最小的情况下进入到S230，在S230中，控制部25选择在S215的鸟瞰变换时使用的姿态参数之中的、摄像机11的安装位置的铅垂成分(z)、以及摄像机11的摄影方向的俯仰角和横滚角的下一候选。下一候选是稍微改变这些要素之中的至少某一个的值(例如，只改变0.1％的值)的成分而得到的。
在S230中选择下一候选后，控制部25转移到上述的S215，使用所选定的值再次进行鸟瞰变换.
另一方面，在判断为能够评价为在S220中计算出的同一标识柱的下侧标识物42与上侧标识物43的位置偏差的距离最小的情况下进入到S235，在S235中，控制部25将在最新的S215的鸟瞰变换中使用的、摄像机11的安装位置的铅垂成分(z)、以及摄像机11的摄影方向的俯仰角和横滚角存储于姿态参数等存储部24。
控制部25使各个摄像机11a～11d分别相对应地执行到此为止的处理(S205～S235)，对全部摄像机11得到鸟瞰图像(基于最新的S215的鸟瞰变换图像)后，开始S240的处理。
控制部25将每个摄像机11的鸟瞰图像(摄像机坐标系中的图像)合成(S240)。也就是说，使图像彼此平行移动以及旋转，进行对位而将图像合成，使得不同的图像之间的同一标识物重叠成一个。此时，以任意一个的图像中的摄像机坐标系为基准，使其他摄像机11的摄像机坐标系的原点以及坐标轴的平行移动以及旋转，换言之，在S240中，在任意一个鸟瞰图像的摄像机坐标系中合成角鸟瞰图像，确定各摄像机的摄像机位置(x、y)以及偏转角。
在此，使用图7C来说明合成。前方鸟瞰图像61a是基于设置于车辆的前端中央部的摄像机11a的摄影图像的鸟瞰图像，右方鸟瞰图像61b是基于设置于车辆的右侧面的摄像机11b的摄影图像的鸟瞰图像，后方鸟瞰图像61c是基于设置于车辆的后端中央部的摄像机11c的摄影图像的鸟瞰图像，左方鸟瞰图像61d是基于设置于车辆的左侧面的摄像机11d的摄影图像的鸟瞰图像。在图7C的例子中，以前方鸟瞰图像61a的摄像机坐标系为基准，使图像彼此平行移动以及旋转，进行对位而将图像合成，使得不同的图像之间的同一标识物重叠成一个。此时，与各图像对应的各摄像机11的安装位置的水平成分和摄影方向的偏转角也平行移动以及旋转。因此，针对与各图像对应的各摄像机11，以前方鸟瞰图像61a的摄像机坐标系为基准，计算摄影位置的水平成分和摄影方向的偏转角。
返回到图6进行说明，接着，控制部25将在S240中计算出的摄像机坐标系的各摄像机11的安装位置的水平成分和摄影方向的偏转角变换为在车辆坐标系上的摄像机11的安装位置的水平成分和摄影方向的偏转角(S245)。使用图8A～图8D说明该变换。
图8A是概念性地示出在摄像机坐标系上的各摄像机11的安装位置的水平成分和摄影方向的偏转角的图。在该例中，选择设置于车辆前端中央的摄像机11a和设置于车辆后端中央的摄像机11c，定义将各摄像机的安装位置连接的线段71。另外，选择的摄像机不限于该例，也可以是其他组合。
图8B是概念性地示出以基于理想摄像机配置的车辆的前端中央为基准的坐标系(车辆坐标系)的图。以设置于车辆前端中央的摄像机11a的设置位置为原点，将车辆前方的水平方向设为Y轴，将车辆右方的水平方向设为X轴，将车辆上方(铅垂方向)设为Z轴。另外，在该例子中，选择设置于车辆前端中央的摄像机11a和设置于车辆后端中央的摄像机11c，定义将各摄像机的安装位置连接的线段72。
以此为前提，图8A的线段71旋转以及平行移动而与图8B的线段72重合，随着该旋转以及平行移动，摄像机11的安装位置的水平成分和摄像机11的摄影方向的偏转角也旋转以及平行移动。由此，摄像机11的安装位置的水平成分和摄像机11的摄影方向的偏转角变换为车辆坐标系。
图8C是示出图8A的线段71旋转以及平行移动而与图8B的线段72重合的情况。另外，线段71的移动也考虑以线段71的中点和线段72的中点对准的方式移动，但不限于此。
图8D是概念性地示出各摄像机11的安装位置的水平成分和摄影方向的偏转角从摄像机坐标系变换为车辆坐标系的图。与图8B相比，能够确认到各摄像机朝向不同的方向，能够确认到能够在车辆坐标系中确定图8A中的各摄像机11的安装位置。
返回到图6进行说明，接着控制部25将在S245中变换的车辆坐标系上的各摄像机11的安装位置的水平成分和摄影方向的偏转角存储于姿态参数等存储部24(S250)。于是，控制部25结束本处理(姿态参数决定处理2)。
(第2实施方式的效果)
以上说明了第2实施方式的图像处理装置21的动作，根据该结构，标识物42、43设置于离路面具有一定高度的位置，所以与标识物位于路面上的情况相比，能够节省测定所需的空间。而且，无需通过联接器将车辆和标识物物理性地固定到预定的位置关系，或者使用指示器机构调整标识物的位置，使得车辆和标识物处于预定的位置关系，所以与现有技术相比，测定节约工时。
另外，根据第2实施方式的图像处理装置21，能够对车载的全部摄像机11计算各摄像机的全部参数值(摄像机11的安装位置、俯仰角、横滚角以及偏转角)。
另外，与第1实施方式比较说明，在第2实施方式的情况下，无需已知标识柱41的设置位置(无需严格地设置于预先设定的位置)。因此，与第1实施方式相比，容易地只在测定时设置标识柱41进行测定。
(其他实施方式)
(1)上述实施方式计算了摄像机11的姿态参数之中的全部姿态参数值，然而也可以只计算一部分姿态参数值。例如，也可以采用只计算摄像机11的摄影方向的俯仰角以及偏转角的方式等。
(2)存储于姿态参数等存储部24的姿态参数值不限于上述实施方式中说明的坐标系，也可以变换为其他坐标系，存储于姿态参数等存储部24。
(3)上述实施方式中，搭载到车辆上的图像处理装置21的控制部25执行全部姿态参数决定处理，但也可以由不是图像处理装置21的其他装置执行姿态参数决定处理的一部分。在该情况下，其他装置也可以相对于图像处理装置21设置于其他位置(车外)，图像处理装置21通过通信线与其他装置进行通信的同时，执行姿态参数决定处理。
另外，在上述的实施方式中，由控制部25执行的S105及S205相当于第一工序及图像取得部(或机构)的一个例子。由控制部25执行的S115和S215相当于第二工序及变换的(或机构)的一个例子。由控制部25执行的S140、S145、S240、S245相当于第三工序及计算部(或机构)的一个例子。
根据本发明，能够提供各种方式的校准方法以及校准装置。
例如，本发明的第1例的校准方法，使用在同一铅垂方向上排列且离路面的高度均为已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，具有第一工序～第三工序。第一工序是利用摄像机拍摄多个标识物而获得二维图像的工序。第二工序是将通过第一工序得到的二维图像中的多个标识物在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上的工序。第三工序是根据由第二工序得到的、所述面中的多个标识物彼此的位置偏差计算摄像机的参数值的工序。
根据具有这种工序的校准方法，由于标识物(标靶)设置于离路面具有一定高度的位置，所以与标识物位于路面上的情况相比，能够节省测定所需的空间。而且，由于无需通过联接器将车辆和标识物物理性地固定到预定的位置关系，或者使用指示器机构调整标识物的位置，而使车辆和标识物处于预定的位置关系，所以与现有技术相比，测定节约工时。
但是，在第三工序中计算的参数值也可以是摄像机的安装位置的铅垂成分、俯仰角、或横滚角的至少某一个(第2例)。这种参数能够通过第三工序高精度地计算。
另外，摄像机也可以在车辆上只搭载1台，也可以搭载多台。在搭载多台的情况下，各工序可以如下进行(第3例)。在第一工序中，利用多个摄像机拍摄同一多个标识物，使每个摄像机得到二维图像。在第二工序中，对在第一工序中得到的二维图像分别进行所述鸟瞰变换。在第三工序中，除了每个摄像机的所述参数值的计算之外，还对每个摄像机计算在摄像机之间同一标识物的鸟瞰变换后的位置一致的、各摄像机的偏转角或各摄像机的安装位置的水平成分的至少某一个，作为参数值。
根据具有这种工序的校准方法，能够节省测定所需的空间和测定的容易化的同时，能够针对多台车载摄像机，在同一坐标系中计算与各摄像机的安装位置有关的偏转角、或各摄像机的安装位置的水平成分的至少某一个。
另外，本申请的第4例所涉及的校准方法，使用从路面离开预定距离且在水平方向上错开、而且标识物之间的位置关系已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，具有第一工序～第三工序。第一工序是利用摄像机拍摄多个标识物而得到二维图像的工序。第二工序是将通过第一工序得到的二维图像中的多个标识物在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上的工序。第三工序是根据通过第二工序得到的、所述面中的多个标识物之间的距离和已知的位置关系求出的多个标识物之间的距离(实际的距离)的偏差计算摄像机的参数值的工序。
根据具有这种工序的校准方法，标识物(标靶)设置于从路面离开一定高度的位置，所以与标识物位于路面上的情况相比，能够节省测定所需的空间。而且，无需通过联接器将车辆和标识物物理性地固定成预定的位置关系，或者使用指示器机构调整标识物的位置而使车辆和标识物处于预定的位置关系，与现有技术相比，测定不费工夫。
然而，在第三工序中计算的参数值也可以是摄像机的安装位置的铅垂成分、俯仰角、或、横滚角的至少某一个(第5例)。该参数能够通过第三工序高精度地计算。
然而，在第三工序中计算的参数值也可以只是摄像机的安装位置的铅垂成分、俯仰角、或、横滚角的至少某一个，除了这些参数值的计算之外，在第三工序中，也可以按照如下方式计算其他参数值。也就是说，根据通过第二工序得到的、将所述面中的多个标识物彼此连接的线段和由已知的位置关系求出的将多个标识物彼此连接的线段之间的位置偏差，作为摄像机的参数值，计算摄像机的偏转角、或、摄像机的安装位置的水平成分的至少某一个(第6例)。
根据具有这种工序的校准方法，能够节省测定所需的空间和测定的容易化的同时，能够针对多台车载摄像机，在同一坐标系中计算与各摄像机的安装位置有关的偏转角、或各摄像机的安装位置的水平成分的至少某一个。
另外，摄像机可以在车辆上只搭载1台，也可以搭载多台。在搭载多台的情况下，对每个摄像机进行第一工序至第三工序(第7例)。
根据这种校准方法，能够节省测定所需的空间和测定的容易化的同时，能够对多台车载摄像机计算各摄像机的参数值。
根据本发明的第8例，提供一种校准装置，使用在同一铅垂方向上排列且离路面的高度均为已知的多个标识物，对搭载于车辆上的摄像机的姿态进行校正，具备：图像取得部，利用所述摄像机拍摄所述多个标识物而获得二维图像；变换部，将通过所述图像取得部取得的二维图像中的所述多个标识物在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及计算部，根据所述变换部得到的、所述面中的所述多个标识物彼此的位置偏差，计算所述摄像机的参数值。
另外，所述计算部计算出的所述参数值是所述摄像机的安装位置的铅垂成分、俯仰角、或、横滚角的至少某一个(第9例)。
另外，在校准装置中，在所述车辆上搭载多个摄像机，所述图像取得部取得由所述多个摄像机对同样的所述多个标识物进行拍摄得到的二维图像，并针对每个摄像机取得该二维图像，所述变换部对所述图像取得部取得的各个所述二维图像，进行所述鸟瞰变换，所述计算部计算每个所述摄像机的所述参数值，还作为参数值，对每个所述摄像机计算，在所述摄像机之间进行了同一标识物的鸟瞰变换后的位置一致的、所述各摄像机的偏转角、或、所述各摄像机的水平成分的至少某一个(第10例)。
根据这种校准装置，能够发挥与上述的第1例至第3例的校准方法相同的效果。
另外，根据本发明的第11的例，提供一种校准装置，使用从路面离开预定距离且在水平方向上错开、且标识物之间的位置关系已知的多个标识物，对搭载于车辆上的摄像机的姿态进行校正，具备：图像取得部，利用所述摄像机拍摄所述多个标识物而获得二维图像；变换部，将通过所述图像取得部取得的二维图像中的所述多个标识物在反应了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及计算部，根据所述变换部得到的、所述面中的所述多个标识物之间的距离和由所述已知的位置关系求出的所述多个标识物之间的距离的偏差，计算所述摄像机的参数值。
所述计算部计算的所述参数值可以是所述摄像机的按照位置的铅垂成分、俯仰角、或、横滚角的至少某一个(第12例)。
另外，在校准装置中，所述计算部除了计算所述摄像机的所述参数值之外，还根据由所述变换部得到的、将所述面中的所述多个标识物彼此连接的线段和由所述已知的位置关系求出的将所述多个标识物彼此连接的线段的偏差，作为所述摄像机的参数值，计算所述摄像机的偏转角、或、所述摄像机的安装位置的水平成分的至少某一个(第13例)。
另外，在校准装置中，在所述车辆上搭载多个摄像机，所述各部对每个所述摄像机进行上述处理(第14例)。
根据这种校准装置，能够发挥与上述的第4例至第7例的校准方法相同的效果。
以上示出了本发明的实施方式以及构成，本发明的实施方式以及构成不限于上述的各实施方式以及各构成。由不同的实施方式以及构成分别与公开的技术要素适当组合得到的实施方式以及构成也属于本发明的实施方式以及构成的范围。

Claims (14)

1.一种校准方法，使用沿着同一铅垂方向排列且离路面的高度均为已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括：
第一工序(S205)，利用所述摄像机拍摄所述多个标识物，得到二维图像；
第二工序(S215)，将通过所述第一工序(S205)得到的二维图像中的所述多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及
第三工序(S240、S245)，根据通过所述第二工序(S215)得到的所述面中的所述多个标识物彼此的位置偏差，计算所述摄像机的参数值。
2.根据权利要求1所述的校准方法，
在所述第三工序(S240、S245)中计算的所述参数值是所述摄像机的安装位置的铅垂成分、俯仰角、或者横滚角的至少某一个。
3.根据权利要求2所述的校准方法，
在所述车辆上搭载有多个摄像机，
在所述第一工序(S205)中，利用所述多个摄像机拍摄同样的所述多个标识物，按每个摄像机获得二维图像，
在所述第二工序(S215)中，对在所述第一工序(S205)中得到的所述二维图像分别进行所述鸟瞰变换，
在所述第三工序(S240、S245)中，除了计算每个所述摄像机的所述参数值之外，还针对每个所述摄像机，计算在所述摄像机之间对同样的标识物进行了鸟瞰变换后的位置一致的、所述各摄像机的偏转角或者所述各摄像机的安装位置的水平成分的至少某一个，来作为参数值。
4.一种校准方法，利用从路面离开预定距离且在水平方向上错开、且相互之间的位置关系已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括：
第一工序(S105)，利用所述摄像机拍摄所述多个标识物，得到二维图像；
第二工序(S115)，将通过所述第一工序(S105)得到的二维图像中的所述多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及
第三工序(S140、S145)，根据通过所述第二工序(S215)得到的所述面中的所述多个标识物之间的距离与从所述已知的位置关系求出的所述多个标识物之间的距离的偏差，计算所述摄像机的参数值。
5.根据权利要求4所述的校准方法，
在所述第三工序(S140、S145)中计算的所述参数值是所述摄像机的安装位置的铅垂成分、俯仰角、或者横滚角的至少某一个。
6.根据权利要求5所述的校准方法，
在所述第三工序(S140、S145)中，除了计算所述摄像机的所述参数值之外，还根据通过所述第二工序(S115)得到的、将所述面中的所述多个标识物彼此连接的线段与从所述已知的位置关系求出的将所述多个标识物彼此连接的线段之间的偏差，计算所述摄像机的偏转角或者所述摄像机的安装位置的水平成分的至少某一个，作为所述摄像机的参数值。
7.根据权利要求4～6的任意一项所述的校准方法，
在所述车辆上搭载有多个摄像机，
对每个所述摄像机进行所述第一工序(S105)至所述第三工序(S140、S145)。
8.一种校准装置，使用沿着同一铅垂方向排列且离路面的高度均为已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括：
图像取得部(25、S205)，利用所述摄像机拍摄所述多个标识物，得到二维图像；
变换部(25、S215)，将通过所述图像取得部(25、S205)取得的二维图像中的所述多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及
计算部(25、S240、S245)，根据通过所述变换部(25、S215)得到的所述面中的所述多个标识物彼此的位置偏差，计算所述摄像机的参数值。
9.根据权利要求8所述的校准装置，
所述计算部(25、S240、S245)计算的所述参数值是所述摄像机的安装位置的铅垂成分、俯仰角或者横滚角的至少某一个。
10.根据权利要求9所述的校准装置，
在所述车辆上搭载有多个摄像机，
所述图像取得部(25、S205)利用所述多个摄像机拍摄同样的所述多个标识物，按每个摄像机获得二维图像，
所述变换部(25、S215)对所述图像取得部(25、S205)取得的各个所述二维图像分别进行所述鸟瞰变换，
所述计算部(25、S240、S245)除了计算每个所述摄像机的所述参数值之外，还针对每个所述摄像机，计算在所述摄像机之间对同样的标识物进行了鸟瞰变换后的位置一致的、所述各摄像机的偏转角或者所述各摄像机的安装位置的水平成分的至少某一个，来作为参数值。
11.一种校准装置，利用从路面离开预定距离且在水平方向上错开、且相互之间的位置关系已知的多个标识物，对搭载于车辆的摄像机的姿态进行校正，包括：
图像取得部(25、S105)，利用所述摄像机拍摄所述多个标识物，得到二维图像；
变换部(25、S115)，将通过所述图像取得部(25、S105)取得的二维图像中的所述多个标识物，在反映了各标识物的高度的状态下鸟瞰变换到路面或与路面平行的面上；以及
计算部(25、S140、S145)，根据通过所述变换部(25、S115)得到的、所述面中的所述多个标识物之间的距离与从所述已知的位置关系求出的所述多个标识物之间的距离的偏差，计算所述摄像机的参数值。
12.根据权利要求11所述的校准装置，其中，
所述计算部(25、S140、S145)计算的所述参数值是所述摄像机的安装位置的铅垂成分、俯仰角、或者横滚角的至少某一个。
13.根据权利要求12所述的校准装置，其中，
所述计算部(25、S140、S145)除了计算所述摄像机的所述参数值之外，还根据通过所述变换部(25、S115)得到的将所述面中的所述多个标识物彼此连接的线段与从所述已知的位置关系求出的将所述多个标识物彼此连接的线段之间的偏差，计算所述摄像机的偏转角或者所述摄像机的安装位置的水平成分的至少某一个，作为所述摄像机的参数值。
14.根据权利要求11～13的任意一项所述的校准装置，
在所述车辆上搭载有多个摄像机，
各部按照每个所述摄像机进行所述处理。
CN201380051577.9A 2012-10-02 2013-09-05 校准方法及校准装置 Active CN104718750B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012220622A JP6009894B2 (ja) 2012-10-02 2012-10-02 キャリブレーション方法、及びキャリブレーション装置
JP2012-220622 2012-10-02
PCT/JP2013/005276 WO2014054223A1 (ja) 2012-10-02 2013-09-05 キャリブレーション方法、及びキャリブレーション装置

Publications (2)

Publication Number Publication Date
CN104718750A true CN104718750A (zh) 2015-06-17
CN104718750B CN104718750B (zh) 2018-03-16

Family

ID=50434569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380051577.9A Active CN104718750B (zh) 2012-10-02 2013-09-05 校准方法及校准装置

Country Status (5)

Country Link
US (1) US10171802B2 (zh)
JP (1) JP6009894B2 (zh)
CN (1) CN104718750B (zh)
DE (1) DE112013004851B4 (zh)
WO (1) WO2014054223A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621278A (zh) * 2017-08-04 2018-01-23 驭势科技（北京）有限公司 自主校准方法及装置
CN107852482A (zh) * 2015-08-05 2018-03-27 株式会社电装 校准装置、校准方法以及校准程序
CN108141570A (zh) * 2015-10-20 2018-06-08 歌乐株式会社 校准装置、校准方法以及校准程序
CN108367710A (zh) * 2016-06-15 2018-08-03 Jvc 建伍株式会社 姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法以及程序
CN108886606A (zh) * 2016-04-03 2018-11-23 株式会社电装 车载照相机的安装角度检测装置、安装角度校准装置、以及安装角度检测方法
CN109353275A (zh) * 2018-09-21 2019-02-19 上海豫兴电子科技有限公司 一种车载摄像头角度标定贴膜及标定方法
CN109353276A (zh) * 2018-09-21 2019-02-19 上海豫兴电子科技有限公司 一种车载摄像头角度标定方法和标定装置
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法
CN111142082A (zh) * 2018-11-02 2020-05-12 现代自动车株式会社 用于校准车辆用雷达的零点的设备和方法
CN111717742A (zh) * 2019-03-20 2020-09-29 东芝电梯株式会社 图像处理装置
CN111717768A (zh) * 2019-03-20 2020-09-29 东芝电梯株式会社 图像处理装置
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112399172A (zh) * 2019-08-13 2021-02-23 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112639391A (zh) * 2018-08-28 2021-04-09 株式会社斯库林集团 可动部位置检测方法、基板处理方法、基板处理装置以及基板处理系统
CN116381632A (zh) * 2023-06-05 2023-07-04 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质
CN112399172B (zh) * 2019-08-13 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6034775B2 (ja) * 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
CN105934774A (zh) * 2014-03-24 2016-09-07 株式会社日立制作所 物体检测装置、物体检测方法以及移动机器人
US9953420B2 (en) 2014-03-25 2018-04-24 Ford Global Technologies, Llc Camera calibration
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
CN104008548B (zh) * 2014-06-04 2017-04-19 无锡维森智能传感技术有限公司 一种用于车载环视系统摄像头参数标定的特征点抽取方法
JP6450530B2 (ja) 2014-06-11 2019-01-09 株式会社Ｓｏｋｅｎ 車載カメラの取付角度調整処理、取付角度検出装置
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
CN104240262B (zh) * 2014-10-16 2017-02-15 中国科学院光电技术研究所 一种用于摄影测量的相机外参数标定装置及标定方法
KR101740566B1 (ko) * 2015-10-12 2017-05-31 아진산업(주) 스테레오 카메라의 차량 설치 장비
GB2549259B (en) * 2016-04-05 2019-10-23 Continental Automotive Gmbh Determining mounting positions and/or orientations of multiple cameras of a camera system of a vehicle
US11541825B2 (en) * 2016-04-29 2023-01-03 Faraday&Future Inc. System for providing color balance in automotive display
JP2017211200A (ja) * 2016-05-23 2017-11-30 株式会社デンソー カメラ校正装置及びカメラ校正方法
US20180033124A1 (en) * 2016-07-28 2018-02-01 The Texas A&M University System Method and apparatus for radiometric calibration and mosaicking of aerial images
JP6536529B2 (ja) * 2016-10-17 2019-07-03 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
US10466027B2 (en) 2017-06-21 2019-11-05 Fujitsu Ten Corp. Of America System and method for marker placement
US10089753B1 (en) * 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
CN107481292B (zh) * 2017-09-05 2020-07-28 百度在线网络技术（北京）有限公司 车载摄像头的姿态误差估计方法和装置
DE102018206190A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform
US11115623B2 (en) * 2018-05-07 2021-09-07 Maxim Integrated Products, Inc. Systems and methods for asymmetric image splitter with line mark memory
KR102071418B1 (ko) * 2018-05-17 2020-01-30 에스케이텔레콤 주식회사 차량용 카메라 캘리브레이션 장치 및 방법
JP2020016920A (ja) * 2018-07-23 2020-01-30 Ｎｅｃソリューションイノベータ株式会社 画像補正装置、カウント装置、画像補正方法、カウント方法、プログラム及び記録媒体
US10769813B2 (en) 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
US10984521B2 (en) 2018-11-20 2021-04-20 Bnsf Railway Company Systems and methods for determining defects in physical objects
US11508055B2 (en) * 2018-11-20 2022-11-22 Bnsf Railway Company Systems and methods for calibrating image capturing modules
US11423527B2 (en) 2018-11-20 2022-08-23 Bnsf Railway Company System and method for minimizing lost vehicle axel motion and filtering erroneous electrical signals
CN111508027B (zh) * 2019-01-31 2023-10-20 杭州海康威视数字技术股份有限公司 摄像机外参标定的方法和装置
US10723281B1 (en) * 2019-03-21 2020-07-28 Lyft, Inc. Calibration of vehicle sensor array alignment
CN110108203B (zh) * 2019-04-11 2020-12-15 东莞中子科学中心 一种基于摄影测量技术的丝线位置测量方法及系统
WO2020248210A1 (en) * 2019-06-14 2020-12-17 Bayerische Motoren Werke Aktiengesellschaft Roadmodel manifold for 2d trajectory planner
JP7067574B2 (ja) * 2020-01-30 2022-05-16 トヨタ自動車株式会社 距離推定装置及び距離推定用コンピュータプログラム
US11270466B2 (en) * 2020-03-12 2022-03-08 Bnsf Railway Company Systems and methods for calibrating image capturing modules
CN113327293B (zh) * 2021-06-18 2022-07-12 东莞理工学院 一种用于工业机器人抓取领域的深度相机标定装置
CN114993266B (zh) * 2022-06-14 2024-03-22 深圳市道通科技股份有限公司 定位装置及定位系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1412047A (zh) * 2001-10-15 2003-04-23 松下电器产业株式会社 车辆周围监视装置及其调整方法
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统
US20090299684A1 (en) * 2008-05-30 2009-12-03 Denso Corporation Method for calibrating cameras installed on vehicle
WO2012002415A1 (ja) * 2010-06-29 2012-01-05 クラリオン株式会社 画像のキャリブレーション方法および装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3663801B2 (ja) 1997-01-30 2005-06-22 いすゞ自動車株式会社 車両後方視界支援装置
US6542840B2 (en) 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
JP3387911B2 (ja) 2000-01-27 2003-03-17 松下電器産業株式会社 キャリブレーションシステムおよびキャリブレーション方法
US6561202B1 (en) * 2000-11-09 2003-05-13 Steven Amadio Extendible side guide poles for car wash
JP2004280728A (ja) 2003-03-18 2004-10-07 Lab:Kk 画像合成装置及びカメラパラメータキャリブレーション用マーカー設定装置
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
JP2008187564A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008209354A (ja) * 2007-02-28 2008-09-11 Toyota Motor Corp キャリブレーション方法及び装置、並びに自動検知装置
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
JP2010076527A (ja) * 2008-09-25 2010-04-08 Sanyo Electric Co Ltd 操縦支援装置
EP2377094B1 (en) * 2008-10-01 2014-06-11 Connaught Electronics Limited A method and a system for calibrating an image capture device
JP2010103730A (ja) * 2008-10-23 2010-05-06 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2010121987A (ja) 2008-11-18 2010-06-03 Panasonic Corp 車載カメラ用のキャリブレーションターゲット及びキャリブレーションシステム
JP4876118B2 (ja) * 2008-12-08 2012-02-15 日立オートモティブシステムズ株式会社 立体物出現検知装置
US8872920B2 (en) * 2009-03-26 2014-10-28 Aisin Seiki Kabushiki Kaisha Camera calibration apparatus
JP5091902B2 (ja) * 2009-03-31 2012-12-05 アイシン精機株式会社 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
JP5369873B2 (ja) * 2009-04-27 2013-12-18 富士通株式会社 判定プログラムおよびキャリブレーション装置
JP5471038B2 (ja) * 2009-05-27 2014-04-16 アイシン精機株式会社 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1412047A (zh) * 2001-10-15 2003-04-23 松下电器产业株式会社 车辆周围监视装置及其调整方法
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统
US20090299684A1 (en) * 2008-05-30 2009-12-03 Denso Corporation Method for calibrating cameras installed on vehicle
WO2012002415A1 (ja) * 2010-06-29 2012-01-05 クラリオン株式会社 画像のキャリブレーション方法および装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107852482A (zh) * 2015-08-05 2018-03-27 株式会社电装 校准装置、校准方法以及校准程序
CN108141570B (zh) * 2015-10-20 2020-09-11 歌乐株式会社 校准装置、校准方法以及校准程序存储介质
CN108141570A (zh) * 2015-10-20 2018-06-08 歌乐株式会社 校准装置、校准方法以及校准程序
CN108886606A (zh) * 2016-04-03 2018-11-23 株式会社电装 车载照相机的安装角度检测装置、安装角度校准装置、以及安装角度检测方法
CN108367710A (zh) * 2016-06-15 2018-08-03 Jvc 建伍株式会社 姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法以及程序
CN107621278A (zh) * 2017-08-04 2018-01-23 驭势科技（北京）有限公司 自主校准方法及装置
CN112639391B (zh) * 2018-08-28 2022-08-02 株式会社斯库林集团 可动部位置检测方法、基板处理方法、基板处理装置以及基板处理系统
CN112639391A (zh) * 2018-08-28 2021-04-09 株式会社斯库林集团 可动部位置检测方法、基板处理方法、基板处理装置以及基板处理系统
CN109353276B (zh) * 2018-09-21 2022-02-11 上海豫兴电子科技有限公司 一种车载摄像头角度标定方法和标定装置
CN109353276A (zh) * 2018-09-21 2019-02-19 上海豫兴电子科技有限公司 一种车载摄像头角度标定方法和标定装置
CN109353275A (zh) * 2018-09-21 2019-02-19 上海豫兴电子科技有限公司 一种车载摄像头角度标定贴膜及标定方法
CN109353275B (zh) * 2018-09-21 2022-03-25 上海豫兴电子科技有限公司 一种车载摄像头角度标定贴膜及标定方法
CN111142082A (zh) * 2018-11-02 2020-05-12 现代自动车株式会社 用于校准车辆用雷达的零点的设备和方法
CN111717768B (zh) * 2019-03-20 2023-02-24 东芝电梯株式会社 图像处理装置
CN111717768A (zh) * 2019-03-20 2020-09-29 东芝电梯株式会社 图像处理装置
CN111717742A (zh) * 2019-03-20 2020-09-29 东芝电梯株式会社 图像处理装置
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112184827B (zh) * 2019-07-01 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置
CN112399172A (zh) * 2019-08-13 2021-02-23 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112399172B (zh) * 2019-08-13 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置
CN116381632A (zh) * 2023-06-05 2023-07-04 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质
CN116381632B (zh) * 2023-06-05 2023-08-18 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质

Also Published As

Publication number Publication date
US20150254853A1 (en) 2015-09-10
CN104718750B (zh) 2018-03-16
JP6009894B2 (ja) 2016-10-19
DE112013004851B4 (de) 2019-05-09
JP2014074591A (ja) 2014-04-24
US10171802B2 (en) 2019-01-01
DE112013004851T5 (de) 2015-06-18
WO2014054223A1 (ja) 2014-04-10

Similar Documents

Publication Publication Date Title
CN104718750A (zh) 校准方法及校准装置
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
WO2014034064A1 (ja) 画像処理装置、及び記憶媒体
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP4555876B2 (ja) 車載カメラのキャリブレーション方法
US10509983B2 (en) Operating device, operating system, operating method, and program therefor
US8872920B2 (en) Camera calibration apparatus
JP5091902B2 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
JP5471038B2 (ja) 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
CN105916758B (zh) 自主泊车方法、用于执行所述方法的驾驶员辅助设备以及具有所述驾驶员辅助设备的车辆
CN104395692B (zh) 三维测定方法、装置、系统以及图像处理装置
JP2007261463A (ja) 車載カメラのキャリブレーションシステム
JP2002197469A (ja) 車線検出装置
JP2013115540A (ja) 車載カメラシステム及びその較正方法、及びその較正プログラム
CN104159787A (zh) 摄像机设备，摄像机系统和摄像机校正方法
CN111243029A (zh) 视觉传感器的标定方法以及装置
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
EP3644279A1 (en) Static camera calibration using motion of vehicle portion
CN202111802U (zh) 多图像传感器的监控设备的校准装置
US11145112B2 (en) Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
CN116358486A (zh) 基于单目相机的目标测距方法、装置及介质
JP6536529B2 (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP2016225719A (ja) ステレオカメラ装置、車両、および較正方法
JP4905812B2 (ja) カメラ校正装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant