CN111815719A - 图像采集设备的外参数标定方法、装置、设备及存储介质 - Google Patents

图像采集设备的外参数标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111815719A
CN111815719A CN202010699987.6A CN202010699987A CN111815719A CN 111815719 A CN111815719 A CN 111815719A CN 202010699987 A CN202010699987 A CN 202010699987A CN 111815719 A CN111815719 A CN 111815719A
Authority
CN
China
Prior art keywords
coordinate system
calibration plate
calibration
vehicle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010699987.6A
Other languages
English (en)
Other versions
CN111815719B (zh
Inventor
远财贸
杨鹏斌
韩丰泽
倪菲
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010699987.6A priority Critical patent/CN111815719B/zh
Publication of CN111815719A publication Critical patent/CN111815719A/zh
Priority to EP21166759.7A priority patent/EP3848901A3/en
Priority to JP2021073973A priority patent/JP7060774B2/ja
Priority to KR1020210056760A priority patent/KR20210056964A/ko
Priority to US17/356,649 priority patent/US20210319588A1/en
Application granted granted Critical
Publication of CN111815719B publication Critical patent/CN111815719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请公开了图像采集设备的外参数标定方法、装置、设备及存储介质，涉及车辆定位技术领域。具体实现方案为：获取图像采集设备摄取的图像；确定图像中的标定板上的多个标记点；根据各个标记点在图像像素坐标系及标定板坐标系下的坐标，确定图像像素坐标系到标定板坐标系的第一转换矩阵；根据车辆的至少一个车轮接地点在标定板坐标系及车身坐标系下的坐标，确定标定板坐标系到车身坐标系的第二转换矩阵；利用第一转换矩阵和所述第二转换矩阵，确定图像采集设备的外参数。本申请能够便捷高精度地标定车辆的图像采集设备的外参数。

Description

图像采集设备的外参数标定方法、装置、设备及存储介质
技术领域
本申请涉及自动驾驶领域，尤其涉及车辆定位技术领域。
背景技术
自动驾驶过程中，需要确定自动驾驶车辆在车道内的精确位置，即自动驾驶车辆与左右车道线的距离。通常可以在车辆两侧放置侧视的图像采集装置(例如摄像头)，利用这些摄像头获得包含车道线的高分辨率图像，确定车道线在图像像素坐标系中的坐标；之后通过摄像头的内参数和外参数，确定车道线在车身坐标系下的坐标；从而得到当前车辆与车道线的距离，该距离作为车道内车辆位置的精确测量值。
摄像头的内参数是指图像像素坐标系与摄像头坐标系之间的关系，摄像头的外参数是指摄像头坐标系与车身坐标系之间的关系。其中，摄像头的内参数是预先标定的固定值。为了保证车辆定位精度，需要标定摄像头的外参数。
目前的摄像头外参数标定方式一般有以下三种：
(1)使用预置的棋盘格标定板，分别对每个摄像头进行外参数标定；
(2)建立专用标定场地，车辆驶入场地指定位置进行标定；
(3)结合运动估计的动态标定方法。
上述三种方式各有确定，其中，方式(1)的应用场景为小视场、近距离场景，要求标定板全部处于摄像头视野内，不可被遮挡。只能标定摄像头相对于标定板的外参数，转换到车身坐标系较困难。方案(2)适用于需要较高标定精度、且标定车辆和摄像头标准化的场景，需要专门的场地支持。方案(3)依赖其他传感器，而且标定精度较低。
可见，现有技术中缺乏能够便捷高精度地标定图像采集设备外参数的方法。
发明内容
本申请提供了一种图像采集设备的外参数标定方法、装置、设备及存储介质。
根据本申请的一方面，提供了一种图像采集设备的外参数标定方法，所述图像采集设备设置于车辆的车身侧面，所述图像采集设备的视野向下，所述车辆侧面的地面上设置有标定板，并且所述标定板在所述图像采集设备的视野范围内，所述方法包括：
获取所述图像采集设备摄取的图像；
确定所述图像中的标定板上的多个标记点；
根据各个所述标记点在图像像素坐标系及标定板坐标系下的坐标，确定所述图像像素坐标系到所述标定板坐标系的第一转换矩阵；
根据所述车辆的至少一个车轮接地点在所述标定板坐标系及车身坐标系下的坐标，确定所述标定板坐标系到所述车身坐标系的第二转换矩阵；
利用所述第一转换矩阵和所述第二转换矩阵，确定所述图像采集设备的外参数。
根据本申请的另一方面，提供了一种图像采集设备外参数的精度误差衡量方法，所述图像采集设备外参数由图像像素坐标系到标定板坐标系的第一转换矩阵、以及标定板坐标系到车身坐标系的第二转换矩阵确定，所述方法包括：
衡量所述第一转换矩阵和/或所述第二转换矩阵的精度误差；其中，
衡量所述第一转换矩阵的精度误差包括：利用标定板中的标定点在所述图像像素坐标系下的坐标及所述第一转换矩阵，计算所述标定点在所述标定板坐标系下的第一坐标；计算所述第一坐标与所述标定点在所述标定板坐标系下的真实坐标的距离，用于衡量所述第一转换矩阵的精度误差；
衡量所述第二转换矩阵的精度误差包括：利用所述车辆的车轮接地点在所述标定板坐标系下的坐标及所述第二转换矩阵，计算所述车轮接地点在所述车身坐标系下的第二坐标；计算所述第二坐标与所述车轮接地点在所述车身坐标系下的真实坐标的距离，用于衡量所述第二转换矩阵的精度误差。
根据本申请的另一方面，提供了一种图像采集设备的外参数标定装置，所述图像采集设备设置于车辆的车身侧面，所述图像采集设备的视野向下，所述车辆侧面的地面上设置有标定板，并且所述标定板在所述图像采集设备的视野范围内，所述装置包括：
图像获取模块，用于获取所述图像采集设备摄取的图像；
标记点确定模块，用于确定所述图像中的标定板上的多个标记点；
第一转换矩阵确定模块，用于根据各个所述标记点在图像像素坐标系及标定板坐标系下的坐标，确定所述图像像素坐标系到所述标定板坐标系的第一转换矩阵；
第二转换矩阵确定模块，用于根据所述车辆的至少一个车轮接地点在所述标定板坐标系及车身坐标系下的坐标，确定所述标定板坐标系到所述车身坐标系的第二转换矩阵；
外参数确定模块，用于利用所述第一转换矩阵和所述第二转换矩阵，确定所述图像采集设备的外参数。
根据本申请的另一方面，提供了一种图像采集设备外参数的精度误差衡量装置，所述图像采集设备外参数由图像像素坐标系到标定板坐标系的第一转换矩阵、以及标定板坐标系到车身坐标系的第二转换矩阵确定，所述装置包括：
第一衡量模块和/或第二衡量模型；其中，
所述第一衡量模块包括：
第一计算子模块，用于利用标定板中的标定点在所述图像像素坐标系下的坐标及所述第一转换矩阵，计算所述标定点在所述标定板坐标系下的第一坐标；
第二计算子模块，用于计算所述第一坐标与所述标定点在所述标定板坐标系下的真实坐标的距离，用于衡量所述第一转换矩阵的精度误差；
所述第二衡量模块包括：
第三计算子模块，用于利用所述车辆的车轮接地点在所述标定板坐标系下的坐标及所述第二转换矩阵，计算所述车轮接地点在所述车身坐标系下的第二坐标；
第四计算子模块，用于计算所述第二坐标与所述车轮接地点在所述车身坐标系下的真实坐标的距离，用于衡量所述第二转换矩阵的精度误差。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中中任一项所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例的一种图像采集设备的外参数标定方法实现流程图；
图2为本申请实施例的一种ChArUco标定板示意图；
图3为本申请实施例的一种图像采集设备的外参数标定方法中，车轮接地点在标定板坐标系下的坐标的确定方式实现流程图；
图4A为本申请实施例的一种利用车轮轮毂边缘进行标记的方式示意图；
图4B为本申请实施例的一种确定车辆一侧的车轮接地点在标定板坐标系下的坐标的方式示意图；
图4C为本申请实施例的一种根据车辆一侧的车轮接地点的坐标，确定车辆另一侧的车轮接地点在标定板坐标系下的坐标的方式示意图；
图5为本申请实施例的一种图像采集设备外参数的精度误差衡量方法中，衡量第一转换矩阵的精度误差的实现流程图；
图6为本申请实施例的一种图像采集设备外参数的精度误差衡量方法中，衡量第二转换矩阵的精度误差的实现流程图；
图7A为本申请实施例的一种第一转换矩阵的精度误差示意图；
图7B为对图像采集装置采集的图像去畸变处理之后的图像示意图；
图8为本申请实施例的一种精度误差衡量方法示意图；
图9为本申请实施例的一种精度误差衡量方法中，拟合直线的方法示意图；
图10为本申请实施例的一种拟合直线示意图；
图11为本申请实施例的一种图像采集设备的外参数标定装置1100结构示意图；
图12为本申请实施例的一种图像采集设备的外参数标定装置1200结构示意图；
图13为本申请实施例的一种图像采集设备外参数的精度误差衡量装置1300结构示意图；
图14为本申请实施例的一种图像采集设备外参数的精度误差衡量装置1400结构示意图；
图15是用来实现本申请实施例的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提出一种图像采集设备的外参数标定方法，图像采集设备设置于车辆的车身侧面，图像采集设备的视野向下，车辆侧面的地面上设置有标定板，并且该标定板在图像采集设备的视野范围内。图1为本申请实施例的一种图像采集设备的外参数标定方法实现流程图，包括：
步骤S101：获取图像采集设备摄取的图像；
步骤S102：确定该图像中的标定板上的多个标记点；
步骤S103：根据各个标记点在图像像素坐标系及标定板坐标系下的坐标，确定图像像素坐标系到标定板坐标系的第一转换矩阵；
步骤S104：根据车辆的至少一个车轮接地点在标定板坐标系及车身坐标系下的坐标，确定标定板坐标系到车身坐标系的第二转换矩阵；
步骤S105：利用该第一转换矩阵和第二转换矩阵，确定该图像采集设备的外参数。
需要说明的是，上述S104和步骤S101～S103之间没有执行顺序的限制。二者可以一先一后执行、也可以同步执行。
在一些实施方式中，可以在车辆的四个车轮上方分别安装一个摄像头，摄像头视野向下，拍摄车辆一侧2米左右的距离。可选地，可以在显示器上预览摄像头摄取的图像，以调整摄像头至合适位置。
在一些实施例中，上述标定板可以包括ChArUco标定板。ChArUco标定板结合了棋盘格标定板(Chessboard)和ArUco标定板的特点，ChArUco标定板中，每一个白色方格被4个黑色方格围绕，同样地，每一个黑色方格被4个白色方格围绕。方格的角点可以称为棋盘格角点。每个白色方格中有一个ArUco标记，每个ArUco标记都有一个对应的标识(ID)信息。相比于传统棋盘格标定板，ChArUco标定板具有更强的鲁棒性，摄像头能够完全观测到整个标定板，由于每个ArUco标记均有唯一ID，故只需在图像中包含部分ChArUco标定板图像即可完成标定。
在一些实施方式中，可以根据车辆长度确定ChArUco标定板的长度，ChArUco标定板的宽度可以设置为1.2米左右。ChArUco标定板四周可以留下与一个标定格子同尺寸的空白，并在标定板两侧的空白处绘制精确刻度。整个标定板可以使用普通背胶广告纸打印，方便携带。图2为本申请实施例的一种ChArUco标定板示意图。
在上述过程中，涉及到三个坐标系，即图像像素坐标系、标定板坐标系和车身坐标系。其中：
图像像素坐标系，用于描述图像采集设备采集的图像中的像素点在图像上的位置。图像坐标系是以图像左上角为坐标系原点、并以像素为单位的直角坐标系，其中，横坐标和纵坐标分别表示像素点在图像中所处的列数和行数。
标定板坐标系，是以标定板左下角为原点的直角坐标系，X轴方向向右，Y轴方向向前，Y轴坐标刻度已经标识于标定板上。可选地，可以将车辆停在一处地面平坦的较宽阔处，车轮方向打直；在摄像头下方的地面上铺设标定板，标定板边缘与车辆之间有一定距离(例如30cm左右)。
车身坐标系，是指以车辆后轴中心为原点的直角坐标系，X轴方向向前，Y轴方向向右。
在一些实施方式中，上述步骤S101中的获取图像采集设备摄取的图像可以包括：采用图像采集设备拍摄一段标定板视频，即车辆保持静止、标定板放置在车辆一侧时摄取标定板视频；再从该视频中选取一帧，作为用于标定获取图像采集设备外参数时使用的图像。
上述步骤S102和步骤S103中，用于确定第一转换矩阵的标记点可以包括ChArUco标定板上的多个棋盘格角点。利用ChArUco标定法，可以采用棋盘格角点在图像像素坐标系和标定板坐标系下的坐标，确定图像像素坐标系到标定板坐标系的第一转换矩阵。
在上述步骤S104中，需要利用车轮接地点在标定板坐标系及车身坐标系下的坐标，确定标定板坐标系到车身坐标系的第二转换矩阵。其中，如图3所示，车轮接地点在标定板坐标系下的坐标的确定方式可以包括，
S301：确定车辆一侧的两个车轮接地点在标定板坐标系下的坐标；
S302：利用确定出的坐标及该车辆的车辆模型，确定该车辆另一侧的两个车轮接地点在标定板坐标系下的坐标。
在一些实施方式中，上述步骤S301中确定车辆一侧的两个车轮接地点在标定板坐标系下的坐标的方式可以包括：
首先，在车辆一侧的两个车轮的车轮轮毂边缘放置铅垂线，线与轮毂边缘相切，铅锤与地面相交处，使用粉笔或记号笔做下标记。每个车轮记下两个标记。图4A为本申请实施例的一种利用车轮轮毂边缘进行标记的方式示意图。如图4A所示，利用在每个车辆轮毂边缘放置的铅垂线，能够在车辆的一侧标记出4个标记点，该侧的每个车轮对应2个标记点；每个车轮的2个标记点的中点即为该车轮的车轮接地点。
接着，可以利用标定板和直角尺，测量每个标记点在标定板坐标系下的坐标，从而确定出每个车轮接地点在标定板坐标系下的坐标。图4B为本申请实施例的一种确定车辆一侧的车轮接地点在标定板坐标系下的坐标的方式示意图。如图4B所示，在车辆的左侧，每个车轮已被标记出2个标记点，可以使用直角尺测量标定板同侧的车轮标记点在标定板坐标系下的坐标。例如，将直角尺一边贴合标定板边缘，另一边贴合上述标记点，记下直角尺上的刻度和标定板上Y轴的刻度，换算出标记点在标定板坐标系下坐标。再根据车轮对应的两个标记点在标定板坐标系下的坐标，确定这两个标记点的中点的坐标，即该车轮的车轮接地点在标定板坐标系下的坐标。
以上过程确定出了确定车辆一侧的两个车轮接地点在标定板坐标系下的坐标，之后，可以根据该侧车轮接地点的坐标以及车辆的车辆模型，确定出另一侧的车轮接地点在标定板坐标系下的坐标，即执行上述步骤S302。车辆模型可以包括车长、车宽、轴距等信息。图4C为本申请实施例的一种根据车辆一侧的车轮接地点的坐标，确定车辆另一侧的车轮接地点在标定板坐标系下的坐标的方式示意图。如图4C所示，如果A和B是已经确定出坐标的2个车轮接地点，A坐标为(x1,y1)，B坐标为(x2,y2)，则根据车辆偏转角和车宽W，可以确定出另外2个车轮接地点C(x3,y3)和D(x4,y4)在标定板坐标系下的坐标。具体地：
x3＝x2+W*cosθ；
y3＝y2+W*sinθ；
x4＝x1+W*cosθ；
y4＝y1+W*sinθ；
其中，θ＝arctan(|x1-x2|/|y1-y2|)
确定出车辆的各个车轮接地点在标定板坐标系的坐标之后，即可以根据车辆的至少一个车轮接地点在标定板坐标系及车身坐标系下的坐标，确定标定板坐标系到所述车身坐标系的第二转换矩阵，即执行上述步骤S104。例如，可以利用车辆的3个车轮接地点确定第二转换矩阵，剩余的1个车轮接地点可以用于后续对第二转换矩阵精度误差的衡量。
本申请实施例还提出一种图像采集设备外参数的精度误差衡量方法，该图像采集设备外参数由图像像素坐标系到标定板坐标系的第一转换矩阵、以及标定板坐标系到车身坐标系的第二转换矩阵确定，该方法包括：衡量该第一转换矩阵和/或该第二转换矩阵的精度误差；其中，
如图5所示，衡量第一转换矩阵的精度误差可以包括：
步骤S501：利用标定板中的标定点在图像像素坐标系下的坐标及第一转换矩阵，计算标定点在标定板坐标系下的第一坐标；
步骤S502：计算该第一坐标与标定点在标定板坐标系下的真实坐标的距离，用于衡量第一转换矩阵的精度误差。
可选地，前述距离可以为欧氏距离。
如图6所示，衡量第二转换矩阵的精度误差可以包括：
步骤S601：利用车辆的车轮接地点在标定板坐标系下的坐标及第二转换矩阵，计算车轮接地点在车身坐标系下的第二坐标；
步骤S602：计算该第二坐标与车轮接地点在车身坐标系下的真实坐标的距离，用于衡量第二转换矩阵的精度误差。
可选地，前述距离可以为欧氏距离。
可选地，上述衡量精度误差的过程中，步骤S501中利用的标定点可以包括标定板上确定第一转换矩阵时未使用的标定点；步骤S601中利用的车轮接地点可以包括车辆的车轮接地点中确定第二转换矩阵时未使用的车轮接地点。
例如，如果采用ChArUco标定板，在确定第一转换矩阵时使用的是ChArUco标定板中的棋盘格角点；那么，在衡量第一转换矩阵的精度误差时，可以采用ChArUco标定板中ArUco标记的角点。
又如，如果该车辆有4个车轮，在确定第二转换矩阵时使用的是车辆的3个车轮接地点；那么，在衡量第二转换矩阵的精度误差时，可以采用该车辆的另外一个车轮接地点。
进一步地，利用上述第一转换矩阵的精度误差，可以确定图像采集设备的高精度区域。图7A为本申请实施例的一种第一转换矩阵的精度误差示意图，在图7A中，标定板左上角有4个黑色的标记点、标定板左下角有1个黑色的标记点，这5个黑色标记点的精度为大于1cm；图7A中其他标记点的精度为0.5cm～1cm之间、或者小于0.5cm。可见，图7A中5个黑色标记点位置的精度误差较大，利用这些误差较大的标记点，可以划定出图像采集设备的高精度区域，如图7A中4条黑色直线所划定的区域即为图像采集设备的高精度区域。其中，2条黑色横线及左侧的1条黑色纵线是由图7A中5个精度误差较大的黑色标记点确定出的，右侧的1条黑色纵线是由去畸变后的图像边界确定的。去畸变后的图像如图7B所示。
上述图5和图6所示的精度误差方式是针对第一转换矩阵和第二转换矩阵分别进行衡量的。本申请实施例还可以进一步针对第一转换矩阵和第二转换矩阵的综合精度进行衡量。图8为本申请实施例的一种精度误差衡量方法示意图，该衡量方式可以包括：
步骤S801：利用设置于车辆同侧的两个图像采集设备，分别拟合一条直线；
步骤S802：确定两条直线的夹角，用于衡量图像采集设备外参数的精度误差。
可选地，图9为本申请实施例的一种精度误差衡量方法中，拟合直线的方法示意图，如图9所示，上述步骤S801中拟合直线的方式可以包括：
步骤S901：确定图像采集设备摄取的图像中，标定板上同一条直线上的多个标定点；
步骤S902：针对每个标定点，利用标定点在标定板坐标系下的坐标、上述第一转换矩阵和第二转换矩阵，确定标定点在车身坐标系下的坐标；
步骤S903：利用多个标定点在车身坐标系下的坐标，将多个标定点拟合成一条直线。
由于车辆同侧的两个图像采集设备拟合直线时采用的是同一条直线上的标定点，那么，这两条直线的夹角越大，则可以说明图像采集设备外参数的精度误差越大。
图10为本申请实施例的一种拟合直线示意图。在图10上半部分的两条直线，分别为车辆左前和左后的两个图像采集设备所拟合出的直线；图10下半部分的两条交叉的直线，分别为车辆右前和右后的两个图像采集设备所拟合出的直线。车辆右前和右后的两个图像采集设备所拟合出的直线之间存在一定夹角，说明外参数标定存在一定误差。
综上可见，本申请实施例提出的图像采集设备的外参数标定方法以及精度衡量方法，能够克服标定板遮挡带来的影响，且能方便地计算与车身坐标系的转换关系。无需专门标定场地，适应性好。并且能够同时标定多个摄像头，无需移动标定板和摄像头。本申请实施例的标定精度高，并且标定误差可定量衡量。
本申请实施例还提出一种图像采集设备的外参数标定装置，其中图像采集设备设置于车辆的车身侧面，图像采集设备的视野向下，车辆侧面的地面上设置有标定板，并且标定板在图像采集设备的视野范围内，图11为本申请实施例的一种图像采集设备的外参数标定装置1100结构示意图，包括：
图像获取模块1110，用于获取图像采集设备摄取的图像；
标记点确定模块1120，用于确定图像中的标定板上的多个标记点；
第一转换矩阵确定模块1130，用于根据各个标记点在图像像素坐标系及标定板坐标系下的坐标，确定图像像素坐标系到标定板坐标系的第一转换矩阵；
第二转换矩阵确定模块1140，用于根据车辆的至少一个车轮接地点在标定板坐标系及车身坐标系下的坐标，确定标定板坐标系到车身坐标系的第二转换矩阵；
外参数确定模块1150，用于利用第一转换矩阵和第二转换矩阵，确定图像采集设备的外参数。
可选地，上述标定板可以包括ChArUco标定板。
可选地，上述标记点确定模块1120，可以用于确定ChArUco标定板上的多个棋盘格角点。
图12为本申请实施例的一种图像采集设备的外参数标定装置1200结构示意图，包括：图像获取模块1110、标记点确定模块1120、第一转换矩阵确定模块1130、第二转换矩阵确定模块1240和外参数确定模块1150。
其中，第二转换矩阵确定模块1240可包括：
第一坐标确定子模块1241，用于确定车辆一侧的两个车轮接地点在标定板坐标系下的坐标；
第二坐标确定子模块1242，用于利用确定出的坐标及车辆的车辆模型，确定车辆另一侧的两个车轮接地点在标定板坐标系下的坐标。
本申请实施例还提出一种图像采集设备外参数的精度误差衡量装置，该图像采集设备外参数由图像像素坐标系到标定板坐标系的第一转换矩阵、以及标定板坐标系到车身坐标系的第二转换矩阵确定，图13为本申请实施例的一种图像采集设备外参数的精度误差衡量装置1300结构示意图，包括：
第一衡量模块1310和/或第二衡量模型1320；其中，
第一衡量模块1310可以包括：
第一计算子模块1311，用于利用标定板中的标定点在图像像素坐标系下的坐标及第一转换矩阵，计算标定点在所述标定板坐标系下的第一坐标；
第二计算子模块1312，用于计算第一坐标与标定点在所述标定板坐标系下的真实坐标的距离，用于衡量第一转换矩阵的精度误差；
第二衡量模块1320可以包括：
第三计算子模块1321，用于利用车辆的车轮接地点在标定板坐标系下的坐标及第二转换矩阵，计算车轮接地点在所述车身坐标系下的第二坐标；
第四计算子模块1322，用于计算第二坐标与车轮接地点在车身坐标系下的真实坐标的距离，用于衡量第二转换矩阵的精度误差。
可选地，上述第一计算子模块1311利用的可以是标定板中确定第一转换矩阵时未使用的标定点；
上述第三计算子模块1321利用的可以是车辆的车轮接地点中确定第二转换矩阵时未使用的车轮接地点。
可选地，上述标定板可以包括ChArUco标定板。
图14为本申请实施例的一种图像采集设备外参数的精度误差衡量装置1400结构示意图，如图14所示，上述装置还可以包括：
第三衡量模块1430，用于利用设置于车辆同侧的两个图像采集设备，分别拟合一条直线；确定两条直线的夹角，用于衡量图像采集设备外参数的精度误差；其中，利用各个图像采集设备拟合直线的方式包括：确定图像采集设备摄取的图像中，标定板上同一条直线上的多个标定点；针对每个标定点，利用标定点在标定板坐标系下的坐标、第一转换矩阵和第二转换矩阵，确定标定点在所述车身坐标系下的坐标；利用多个标定点在车身坐标系下的坐标，将多个标定点拟合成一条直线。
高精度区域确定模块1440，用于利用第一转换矩阵的精度误差，确定图像采集设备的高精度区域。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图15所示，是根据本申请实施例的图像采集设备的外参数标定方法或图像采集设备外参数的精度误差衡量方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图15所示，该电子设备包括：一个或多个处理器1501、存储器1502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图15中以一个处理器1501为例。
存储器1502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像采集设备的外参数标定方法或图像采集设备外参数的精度误差衡量方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像采集设备的外参数标定方法或图像采集设备外参数的精度误差衡量方法。
存储器1502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像采集设备的外参数标定方法对应的程序指令/模块(例如，附图11所示的图像获取模块1110、标记点确定模块1120、第一转换矩阵确定模块1130、第二转换矩阵确定模块1140和外参数确定模块1150)，或者如本申请实施例中的图像采集设备外参数的精度误差衡量方法对应的程序指令/模块(例如，附图13所示的第一衡量模块1310和/或第二衡量模型1320)。处理器1501通过运行存储在存储器1502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像采集设备的外参数标定方法或图像采集设备外参数的精度误差衡量方法。
存储器1502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像采集设备的外参数标定或图像采集设备外参数的精度误差衡量的电子设备的使用所创建的数据等。此外，存储器1502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1502可选包括相对于处理器1501远程设置的存储器，这些远程存储器可以通过网络连接至图像采集设备的外参数标定或图像采集设备外参数的精度误差衡量的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像采集设备的外参数标定方法或图像采集设备外参数的精度误差衡量方法的电子设备还可以包括：输入装置1503和输出装置1504。处理器1501、存储器1502、输入装置1503和输出装置1504可以通过总线或者其他方式连接，图15中以通过总线连接为例。
输入装置1503可接收输入的数字或字符信息，以及产生与图像采集设备的外参数标定或图像采集设备外参数的精度误差衡量的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种图像采集设备的外参数标定方法，所述图像采集设备设置于车辆的车身侧面，所述图像采集设备的视野向下，所述车辆侧面的地面上设置有标定板，并且所述标定板在所述图像采集设备的视野范围内，所述方法包括：
获取所述图像采集设备摄取的图像；
确定所述图像中的标定板上的多个标记点；
根据各个所述标记点在图像像素坐标系及标定板坐标系下的坐标，确定所述图像像素坐标系到所述标定板坐标系的第一转换矩阵；
根据所述车辆的至少一个车轮接地点在所述标定板坐标系及车身坐标系下的坐标，确定所述标定板坐标系到所述车身坐标系的第二转换矩阵；
利用所述第一转换矩阵和所述第二转换矩阵，确定所述图像采集设备的外参数。
2.根据权利要求1所述的方法，其中，所述标定板包括ChArUco标定板。
3.根据权利要求2所述的方法，其中，所述确定所述图像中的标定板上的多个标记点，包括：确定所述ChArUco标定板上的多个棋盘格角点。
4.根据权利要求1至3任一所述的方法，其中，所述车轮接地点在所述标定板坐标系下的坐标的确定方式包括：
确定所述车辆一侧的两个车轮接地点在所述标定板坐标系下的坐标；
利用确定出的坐标及所述车辆的车辆模型，确定所述车辆另一侧的两个车轮接地点在所述标定板坐标系下的坐标。
5.一种图像采集设备外参数的精度误差衡量方法，所述图像采集设备外参数由图像像素坐标系到标定板坐标系的第一转换矩阵、以及标定板坐标系到车身坐标系的第二转换矩阵确定，所述方法包括：
衡量所述第一转换矩阵和/或所述第二转换矩阵的精度误差；其中，
衡量所述第一转换矩阵的精度误差包括：利用标定板中的标定点在所述图像像素坐标系下的坐标及所述第一转换矩阵，计算所述标定点在所述标定板坐标系下的第一坐标；计算所述第一坐标与所述标定点在所述标定板坐标系下的真实坐标的距离，用于衡量所述第一转换矩阵的精度误差；
衡量所述第二转换矩阵的精度误差包括：利用所述车辆的车轮接地点在所述标定板坐标系下的坐标及所述第二转换矩阵，计算所述车轮接地点在所述车身坐标系下的第二坐标；计算所述第二坐标与所述车轮接地点在所述车身坐标系下的真实坐标的距离，用于衡量所述第二转换矩阵的精度误差。
6.根据权利要求5所述的方法，其中，所述标定板中的标定点包括，所述标定板中确定所述第一转换矩阵时未使用的标定点；
所述车辆的车轮接地点包括，所述车辆的车轮接地点中确定所述第二转换矩阵时未使用的车轮接地点。
7.根据权利要求5或6所述的方法，其中，所述标定板包括ChArUco标定板。
8.根据权利要求5或6所述的方法，还包括：
利用设置于车辆同侧的两个图像采集设备，分别拟合一条直线；确定两条所述直线的夹角，用于衡量图像采集设备外参数的精度误差；
其中，利用各个所述图像采集设备拟合直线的方式包括：
确定所述图像采集设备摄取的图像中，所述标定板上同一条直线上的多个标定点；
针对每个所述标定点，利用所述标定点在标定板坐标系下的坐标、所述第一转换矩阵和所述第二转换矩阵，确定所述标定点在所述车身坐标系下的坐标；
利用所述多个标定点在所述车身坐标系下的坐标，将所述多个标定点拟合成一条直线。
9.根据权利要求5或6所述的方法，还包括：利用所述第一转换矩阵的精度误差，确定所述图像采集设备的高精度区域。
10.一种图像采集设备的外参数标定装置，所述图像采集设备设置于车辆的车身侧面，所述图像采集设备的视野向下，所述车辆侧面的地面上设置有标定板，并且所述标定板在所述图像采集设备的视野范围内，所述装置包括：
图像获取模块，用于获取所述图像采集设备摄取的图像；
标记点确定模块，用于确定所述图像中的标定板上的多个标记点；
第一转换矩阵确定模块，用于根据各个所述标记点在图像像素坐标系及标定板坐标系下的坐标，确定所述图像像素坐标系到所述标定板坐标系的第一转换矩阵；
第二转换矩阵确定模块，用于根据所述车辆的至少一个车轮接地点在所述标定板坐标系及车身坐标系下的坐标，确定所述标定板坐标系到所述车身坐标系的第二转换矩阵；
外参数确定模块，用于利用所述第一转换矩阵和所述第二转换矩阵，确定所述图像采集设备的外参数。
11.根据权利要求10所述的装置，其中，所述标定板包括ChArUco标定板。
12.根据权利要求11所述的方法，其中，所述标记点确定模块，用于确定所述ChArUco标定板上的多个棋盘格角点。
13.根据权利要求10至12任一所述的装置，其中，所述第二转换矩阵确定模块包括：
第一坐标确定子模块，用于确定所述车辆一侧的两个车轮接地点在所述标定板坐标系下的坐标；
第二坐标确定子模块，用于利用确定出的坐标及所述车辆的车辆模型，确定所述车辆另一侧的两个车轮接地点在所述标定板坐标系下的坐标。
14.一种图像采集设备外参数的精度误差衡量装置，所述图像采集设备外参数由图像像素坐标系到标定板坐标系的第一转换矩阵、以及标定板坐标系到车身坐标系的第二转换矩阵确定，所述装置包括：
第一衡量模块和/或第二衡量模型；其中，
所述第一衡量模块包括：
第一计算子模块，用于利用标定板中的标定点在所述图像像素坐标系下的坐标及所述第一转换矩阵，计算所述标定点在所述标定板坐标系下的第一坐标；
第二计算子模块，用于计算所述第一坐标与所述标定点在所述标定板坐标系下的真实坐标的距离，用于衡量所述第一转换矩阵的精度误差；
所述第二衡量模块包括：
第三计算子模块，用于利用所述车辆的车轮接地点在所述标定板坐标系下的坐标及所述第二转换矩阵，计算所述车轮接地点在所述车身坐标系下的第二坐标；
第四计算子模块，用于计算所述第二坐标与所述车轮接地点在所述车身坐标系下的真实坐标的距离，用于衡量所述第二转换矩阵的精度误差。
15.根据权利要求14所述的装置，其中，所述第一计算子模块利用的是所述标定板中确定所述第一转换矩阵时未使用的标定点；
所述第三计算子模块利用的是所述车辆的车轮接地点中确定所述第二转换矩阵时未使用的车轮接地点。
16.根据权利要求14或15所述的装置，其中，所述标定板包括ChArUco标定板。
17.根据权利要求14或15所述的装置，还包括：
第三衡量模块，用于利用设置于车辆同侧的两个图像采集设备，分别拟合一条直线；确定两条所述直线的夹角，用于衡量图像采集设备外参数的精度误差；其中，利用各个所述图像采集设备拟合直线的方式包括：确定所述图像采集设备摄取的图像中，所述标定板上同一条直线上的多个标定点；针对每个所述标定点，利用所述标定点在标定板坐标系下的坐标、所述第一转换矩阵和所述第二转换矩阵，确定所述标定点在所述车身坐标系下的坐标；利用所述多个标定点在所述车身坐标系下的坐标，将所述多个标定点拟合成一条直线。
18.根据权利要求14或15所述的装置，还包括：
高精度区域确定模块，用于利用所述第一转换矩阵的精度误差，确定所述图像采集设备的高精度区域。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
CN202010699987.6A 2020-07-20 2020-07-20 图像采集设备的外参数标定方法、装置、设备及存储介质 Active CN111815719B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010699987.6A CN111815719B (zh) 2020-07-20 2020-07-20 图像采集设备的外参数标定方法、装置、设备及存储介质
EP21166759.7A EP3848901A3 (en) 2020-07-20 2021-04-01 Method and apparatus for calibrating external parameters of image acquisition device, device and storage medium
JP2021073973A JP7060774B2 (ja) 2020-07-20 2021-04-26 画像収集デバイスの外部パラメータのキャリブレーション方法、装置、デバイス、記憶媒体、及びプログラム
KR1020210056760A KR20210056964A (ko) 2020-07-20 2021-04-30 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
US17/356,649 US20210319588A1 (en) 2020-07-20 2021-06-24 Method and Apparatus for Calibrating External Parameters of Image Acquisition Device, Device and Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699987.6A CN111815719B (zh) 2020-07-20 2020-07-20 图像采集设备的外参数标定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111815719A true CN111815719A (zh) 2020-10-23
CN111815719B CN111815719B (zh) 2023-12-22

Family

ID=72864958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699987.6A Active CN111815719B (zh) 2020-07-20 2020-07-20 图像采集设备的外参数标定方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20210319588A1 (zh)
EP (1) EP3848901A3 (zh)
JP (1) JP7060774B2 (zh)
KR (1) KR20210056964A (zh)
CN (1) CN111815719B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734857A (zh) * 2021-01-08 2021-04-30 香港理工大学深圳研究院 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN112884842A (zh) * 2020-12-25 2021-06-01 杭州迦智科技有限公司 双舵轮零位和采集装置外参同步标定方法及可移动平台
CN113066135A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 图像采集设备的标定方法及装置、电子设备和存储介质
CN113223076A (zh) * 2021-04-07 2021-08-06 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN113592951A (zh) * 2021-07-14 2021-11-02 阿波罗智联(北京)科技有限公司 车路协同中路侧相机外参标定的方法、装置、电子设备
CN115861429A (zh) * 2023-02-28 2023-03-28 深圳思谋信息科技有限公司 图像采集设备标定方法、装置、计算机设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409405A (zh) * 2021-07-19 2021-09-17 北京百度网讯科技有限公司 评估相机标定位置的方法、装置、设备和存储介质
CN114565681B (zh) * 2022-03-01 2022-11-22 禾多科技（北京）有限公司 一种相机标定方法、装置、设备、介质及产品
CN115082573B (zh) * 2022-08-19 2023-04-11 小米汽车科技有限公司 参数标定方法、装置、车辆及存储介质
CN116148259B (zh) * 2022-12-28 2024-03-22 广州市斯睿特智能科技有限公司 车辆缺陷定位系统、方法、装置及存储介质
CN116703902B (zh) * 2023-08-03 2023-11-17 深圳卡尔文科技有限公司 一种基于多图像的种植牙综合精度评估调整方法
CN117253380B (zh) * 2023-11-13 2024-03-26 国网天津市电力公司培训中心 一种基于数据融合技术的智慧校园安全管理系统和方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120287232A1 (en) * 2011-05-10 2012-11-15 Harman Becker Automotive Systems Gmbh Surround View System Camera Automatic Calibration
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
DE102015107677A1 (de) * 2014-05-16 2015-11-19 Gm Global Technology Operations, Llc Rundum-Sicht-Kamerasystem- (VPM-) Online-Kalibrierung
US20160267657A1 (en) * 2011-04-25 2016-09-15 Magna Electronics Inc. Method for dynamically calibrating vehicular cameras
JP6211157B1 (ja) * 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置
CN208314858U (zh) * 2018-03-12 2019-01-01 杭州海康威视数字技术股份有限公司 车载环视系统标定装置
CN109118547A (zh) * 2018-11-01 2019-01-01 百度在线网络技术（北京）有限公司 多摄像头联合标定系统和方法
US20190102911A1 (en) * 2017-09-29 2019-04-04 Intel IP Corporation Extrinsic calibration of camera systems
JP2019052983A (ja) * 2017-09-15 2019-04-04 キヤノン株式会社 校正方法、および校正装置
WO2019170066A1 (zh) * 2018-03-07 2019-09-12 杭州海康威视数字技术股份有限公司 一种车载相机外参确定方法、装置、设备及系统
CN110264520A (zh) * 2019-06-14 2019-09-20 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN110363819A (zh) * 2019-06-25 2019-10-22 华为技术有限公司 智能汽车中图像采集设备标定的方法和相关设备
CN110414355A (zh) * 2019-06-27 2019-11-05 沈阳工业大学 基于视觉的右方位空停车位与泊车过程中车位线检测方法
CN110599548A (zh) * 2019-09-02 2019-12-20 Oppo广东移动通信有限公司 摄像头的标定方法、装置、相机及计算机可读存储介质
CN110930462A (zh) * 2019-11-27 2020-03-27 驭势科技（浙江）有限公司 车辆摄像头外部参数标定方法、装置、系统及计算机设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5473742B2 (ja) 2010-04-20 2014-04-16 富士通テン株式会社 キャリブレーション方法
JP2014174067A (ja) 2013-03-12 2014-09-22 Panasonic Corp 車載カメラのキャリブレーション装置
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
KR102597435B1 (ko) 2016-04-20 2023-11-03 엘지이노텍 주식회사 영상 취득 장치 및 그 방법
WO2018005561A1 (en) 2016-06-28 2018-01-04 Magic Leap, Inc. Improved camera calibration system, target, and process
US11288876B2 (en) * 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267657A1 (en) * 2011-04-25 2016-09-15 Magna Electronics Inc. Method for dynamically calibrating vehicular cameras
CN102842127A (zh) * 2011-05-10 2012-12-26 哈曼贝克自动系统股份有限公司 环景显示系统摄像机仅对外参数的自动标定
US20120287232A1 (en) * 2011-05-10 2012-11-15 Harman Becker Automotive Systems Gmbh Surround View System Camera Automatic Calibration
DE102015107677A1 (de) * 2014-05-16 2015-11-19 Gm Global Technology Operations, Llc Rundum-Sicht-Kamerasystem- (VPM-) Online-Kalibrierung
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
JP6211157B1 (ja) * 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置
JP2019052983A (ja) * 2017-09-15 2019-04-04 キヤノン株式会社 校正方法、および校正装置
US20190102911A1 (en) * 2017-09-29 2019-04-04 Intel IP Corporation Extrinsic calibration of camera systems
CN110246184A (zh) * 2018-03-07 2019-09-17 杭州海康威视数字技术股份有限公司 一种车载相机外参确定方法、装置、设备及系统
WO2019170066A1 (zh) * 2018-03-07 2019-09-12 杭州海康威视数字技术股份有限公司 一种车载相机外参确定方法、装置、设备及系统
CN208314858U (zh) * 2018-03-12 2019-01-01 杭州海康威视数字技术股份有限公司 车载环视系统标定装置
CN109118547A (zh) * 2018-11-01 2019-01-01 百度在线网络技术（北京）有限公司 多摄像头联合标定系统和方法
CN110264520A (zh) * 2019-06-14 2019-09-20 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN110363819A (zh) * 2019-06-25 2019-10-22 华为技术有限公司 智能汽车中图像采集设备标定的方法和相关设备
CN110414355A (zh) * 2019-06-27 2019-11-05 沈阳工业大学 基于视觉的右方位空停车位与泊车过程中车位线检测方法
CN110599548A (zh) * 2019-09-02 2019-12-20 Oppo广东移动通信有限公司 摄像头的标定方法、装置、相机及计算机可读存储介质
CN110930462A (zh) * 2019-11-27 2020-03-27 驭势科技（浙江）有限公司 车辆摄像头外部参数标定方法、装置、系统及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张渝;彭建平;杨凯;彭朝勇;: "轮对外形轮廓检测中摄像机系统的标定算法", 光电工程, no. 07 *
武彦林;全燕鸣;郭清达;: "基于局部单应性矩阵的结构光系统标定研究", 科学技术与工程, no. 13 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884842A (zh) * 2020-12-25 2021-06-01 杭州迦智科技有限公司 双舵轮零位和采集装置外参同步标定方法及可移动平台
CN112884842B (zh) * 2020-12-25 2024-03-22 杭州迦智科技有限公司 双舵轮零位和采集装置外参同步标定方法及可移动平台
CN112734857A (zh) * 2021-01-08 2021-04-30 香港理工大学深圳研究院 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN112734857B (zh) * 2021-01-08 2021-11-02 香港理工大学深圳研究院 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN113223076A (zh) * 2021-04-07 2021-08-06 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN113223076B (zh) * 2021-04-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN113066135A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 图像采集设备的标定方法及装置、电子设备和存储介质
CN113592951A (zh) * 2021-07-14 2021-11-02 阿波罗智联(北京)科技有限公司 车路协同中路侧相机外参标定的方法、装置、电子设备
CN115861429A (zh) * 2023-02-28 2023-03-28 深圳思谋信息科技有限公司 图像采集设备标定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP3848901A2 (en) 2021-07-14
KR20210056964A (ko) 2021-05-20
EP3848901A3 (en) 2022-02-09
CN111815719B (zh) 2023-12-22
US20210319588A1 (en) 2021-10-14
JP7060774B2 (ja) 2022-04-27
JP2021120678A (ja) 2021-08-19

Similar Documents

Publication Publication Date Title
CN111815719B (zh) 图像采集设备的外参数标定方法、装置、设备及存储介质
CN107976669B (zh) 一种确定相机与激光雷达之间的外参数的装置
CN107976668B (zh) 一种确定相机与激光雷达之间的外参数的方法
CN100458359C (zh) 远距离面内小位移测量系统
JP6083747B2 (ja) 位置姿勢検出システム
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及系统
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
US20080050042A1 (en) Hardware-in-the-loop simulation system and method for computer vision
KR20140113538A (ko) 부정확한 캘리브레이션 타겟을 사용하는 머신 비전 시스템 캘리브레이션
CN107883874B (zh) 一种圆结构光的标定方法
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN112381889B (zh) 相机检验方法、装置、设备及存储介质
CN112344855B (zh) 障碍物的检测方法、装置、存储介质和路测设备
CN109544643A (zh) 一种摄像机图像校正方法及装置
CN114283201A (zh) 相机标定方法、装置和路侧设备
CN112489136A (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN111508020B (zh) 融合图像与激光雷达的电缆三维位置计算方法、装置
CN111998959A (zh) 基于实时测温系统的温度校准方法、装置及存储介质
Boehm Accuracy investigation for structured-light based consumer 3D sensors
CN105513074A (zh) 一种羽毛球机器人相机标定方法
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN111612851B (zh) 用于标定相机的方法、装置、设备以及存储介质
JP5883688B2 (ja) 設置状態検出システム、設置状態検出装置、及び設置状態検出方法
CN112419423A (zh) 一种标定方法、装置、电子设备及存储介质
CN116592766A (zh) 一种基于激光与单目视觉融合的精密三维测量方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211013

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant