CN110264520A - 车载传感器与车辆位姿关系标定方法、装置、设备和介质 - Google Patents

车载传感器与车辆位姿关系标定方法、装置、设备和介质 Download PDF

Info

Publication number
CN110264520A
CN110264520A CN201910515862.0A CN201910515862A CN110264520A CN 110264520 A CN110264520 A CN 110264520A CN 201910515862 A CN201910515862 A CN 201910515862A CN 110264520 A CN110264520 A CN 110264520A
Authority
CN
China
Prior art keywords
coordinate system
angle point
image
transformation relation
pose transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910515862.0A
Other languages
English (en)
Other versions
CN110264520B (zh
Inventor
韩承志
唐逸之
晏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910515862.0A priority Critical patent/CN110264520B/zh
Publication of CN110264520A publication Critical patent/CN110264520A/zh
Priority to US16/708,241 priority patent/US11157766B2/en
Priority to EP19214803.9A priority patent/EP3751519B1/en
Application granted granted Critical
Publication of CN110264520B publication Critical patent/CN110264520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种车载传感器与车辆位姿关系标定方法、装置、设备和介质，该方法包括：通过预先部署在标定环境中的场端传感器获取标定环境的第一图像，并通过车载传感器获取标定环境的第二图像，场端传感器安装在标定环境的侧边区域，标定环境的空间平面上铺设按照预设模式排布的不同标识物单元；利用从第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；利用从第二图像上识别的第二特征角点，确定车载传感器坐标系与世界坐标系的第二位姿变换关系；利用上述确定的位姿变换关系，对车载传感器和车辆的位姿关系进行标定。本发明实施例可以实现较高的标定精度，降低标定成本。

Description

车载传感器与车辆位姿关系标定方法、装置、设备和介质
技术领域
本发明实施例涉及智能驾驶技术领域，尤其涉及一种车载传感器与车辆位姿关系标定方法、装置、设备和介质。
背景技术
车载相机与车身的相对位姿表示相机坐标系相对车身坐标系的旋转与平移转换关系。由于在自动驾驶中，需要通过相机采集车身周围环境的信息，并通过相机与车身的位姿关系，将该信息传递到车身坐标系下，以达到控制汽车进行正常自动驾驶的目的。因此，相机与车身位姿标定十分重要。
现有的车辆标定方法，为保证标定精度通常会借助外部的车辆对中设备，通过调整车辆的位姿，达到车身与标定板预先设置好的位姿关系，最后再标定相机与标定板的相对关系，从而标定出相机与车辆的相对位姿。此外，在车载相机数量较多的情况下，通常标定出两两相机之间的位姿关系，再借助其他传感器如激光雷达等，以该其他传感器作为媒介，标定出相机与车身的位姿关系。
在上述方案中，在标定过程架设车辆对中设备，由于该设备造价不菲，并且需要对场地做下沉式改造，工程复杂度高，后续还要工人维护，导致使用该设备进行标定的成本很高。对于车载多相机的标定，目前市场上的标定方法虽简单，但达到的标定精度结果仅限用于标定精度要求较低的场景，例如对多相机拍摄的环境图像进行拼接，用于辅助驾驶员在倒车过程中观察周围环境，不适用于对标定精度要求较高的场景，例如指导车辆进行自动泊车或者自主巡航等。
发明内容
本发明实施例提供一种车载传感器与车辆位姿关系标定方法、装置、设备和介质，以实现较高的标定精度，降低标定成本。
第一方面，本发明实施例提供了一种车载传感器与车辆位姿关系标定方法，该方法包括：
通过预先部署在标定环境中的场端传感器获取所述标定环境的第一图像，并通过车载传感器获取所述标定环境的第二图像，其中，所述场端传感器安装在所述标定环境的侧边区域，所述标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点；
利用从所述第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；
利用从所述第二图像上识别的第二特征角点，确定车载传感器坐标系与所述世界坐标系的第二位姿变换关系；
利用所述第一位姿变换关系和所述第二位姿变换关系，对所述车载传感器和所述车辆的位姿关系进行标定。
第二方面，本发明实施例还提供了一种车载传感器与车辆位姿关系标定装置，该装置包括：
图像获取模块，用于通过预先部署在标定环境中的场端传感器获取所述标定环境的第一图像，并通过车载传感器获取所述标定环境的第二图像，其中，所述场端传感器安装在所述标定环境的侧边区域，所述标定环境的空间平面上铺设按照预设规则排布的不同标识物单元，每个标识物单元对应一个特征角点；
第一位姿变换关系确定模块，用于利用从所述第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；
第二位姿变换关系确定模块，用于利用从所述第二图像上识别的第二特征角点，确定车载传感器坐标系与所述世界坐标系的第二位姿变换关系；
位姿关系标定模块，用于利用所述第一位姿变换关系和所述第二位姿变换关系，对所述车载传感器和所述车辆的位姿关系进行标定。
第三方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的车载传感器与车辆位姿关系标定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的车载传感器与车辆位姿关系标定方法。
本发明实施例在执行车载传感器与车辆本身的位姿关系标定之前，部署专门的标定环境，在标定环境的侧边区域安装场端传感器，在标定环境的空间平面上以密集型铺设方式，铺设按照预设模式排布的不同标识物单元，当待标定车辆停在标定环境中后，利用场端传感器获取包括车辆在内的标定环境的第一图像，利用车载传感器获取标定环境的第二图像，最后从第一图像和第二图像上识别相关的特征角点以及车辆与地面的接触点，用于标定车载传感器与车辆的位姿关系。由于标定过程中不需要借助专门的对中设备，标定环境部署简单，易于后期维护，因此，本发明实施例可以降低标定成本；同时，由于标定环境的空间平面上铺满了标识物单元，在车载传感器与车辆的位姿关系标定过程中具有足够的可用标定特征，因此，本发明实施例可以得到精度较高的标定结果，并且本发明实施例的标定方案具有较高的鲁棒性与广泛的适用性。
附图说明
图1是本发明实施例一提供的车载传感器与车辆位姿关系标定方法的流程图；
图2a是本发明实施例一提供的标识物单元的一种示意图；
图2b是本发明实施例一提供的标定环境的一种示意图；
图2c是本发明实施例一提供的标定环境的另一种示意图；
图3是本发明实施例二提供的车载传感器与车辆位姿关系标定方法的流程图；
图4是本发明实施例三提供的车载传感器与车辆位姿关系标定装置的结构示意图；
图5是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的车载传感器与车辆位姿关系标定方法的流程图，本实施例可适用于在预先部署的标定环境中，对车载传感器和车辆本身的位姿关系进行标定的情况，车载传感器包括但不限于前视相机、后视相机和环视相机等。本实施例方法可以由车载传感器与车辆位姿关系标定装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任意的计算设备上，包括但不限于车载计算设备。
如图1所示，本实施例提供的车载传感器与车辆位姿关系标定方法可以包括：
S110、通过预先部署在标定环境中的场端传感器获取标定环境的第一图像，并通过车载传感器获取标定环境的第二图像，其中，场端传感器安装在标定环境的侧边区域，标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点。
在部署标定环境的过程中，可以借助固定支架等设备将预设数量的场端传感器安装在标定环境的侧边区域，例如标定区域的左右两侧，使得即使在空旷的环境下也可便捷安装场端传感器，并且，场端传感器在侧边区域中的具体位置以及拍摄视角可以根据需要灵活变动。场端传感器拍摄的图像用于计算车身与标定环境的位姿关系(即车身在世界坐标系中的位姿关系)。标定环境的各个空间平面上以密集型铺设的方式铺满标识物单元，例如标定环境的墙面和地面均铺设标识物单元，以保证无论车辆以何种姿态停在标定环境中，车载传感器与场端传感器均可以拍摄到足够可用的标识物单元(即标定特征)，标定特征的充足保证了较高精度的标定结果。具体的，标定环境中地面上的标识物单元可以用于标定车载环视相机，墙面上的标识物单元可以用于标定车载前视相机和车载后视相机。
同一空间平面上铺设的标识物单元各不相同，每个标识物单元对应一个特征角点，从而在后续图像识别过程中，可以通过对标识物单元的识别确定相应的特征角点，特征角点可以理解为标识物单元中各个子区域的交点。标识物单元在各空间平面上的铺设模式可以预先设计，可以采用任意的规律性排列方式。示例性的，每个空间平面上的标识物单元基于规则阵列形式排布，例如棋盘格阵列或者圆形阵列(相当于将棋盘格中的正方形变为圆形)，每个标识物单元内任一种颜色的子区域内设置不同的子标识，该子标识可以是二维码形式，也可以是其他形状的图案，本实施不做具体限定。各个子标识在子区域内的具体位置，本实施例也不作限定，例如子标识可以设置在子区域的中心位置。通常，每个标识物单元可以采用黑白相间的形式，可以选择在白色子区域或者黑色子区域设置子标识，子标识的不同保证了标识物单元的各不相同。
此外，标定环境整体占用空间的大小，每个标识物单元的尺寸，以及每个标识物单元内各个子区域和子标识的尺寸本实施例均不作具体限定，可以根据具体标定场景进行合理设计。例如，根据实验结论，标定环境的空间长度大于或等于8m，空间宽度大于或等于6m，空间高度大于或等于2.5m，便可满足大多数标定场景中对高精度标定结果的需求，可以实现厘米级的标定精度。
图2a作为示例，示出了一种可用的标识物单元的示意图，但不应理解为对本实施例的具体限定。如图2所示，该标识物单元由两个白色子区域和两个黑色子区域组成，两个白色子区域内分别设置不同的二维码，即左上角与右下角的二维码形式不同，该标识物单元的中心区域即特征角点。
图2b和图2c作为示例，分别示出了一种标定环境在不同视角下的示意图。如图2b和图2c所示，分别在标定环境的地面21、前方墙面22和后方墙面23上以棋盘格阵列形式铺设标识物单元。标识物单元的形式可以如图2a所示，但是同一墙面或地面上的标识物单元各不相同(尽管当前图2b和图2c中无法示出标识物单元之间的区别)。标定环境的左右两侧利用固定支架各安装一个场端传感器24，每一侧安装的场端传感器的数量可以根据需求进行设置。
S120、利用从第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系。
具体的，可以分别利用标定环境两侧的场端传感器对车辆进行拍摄，从而在拍摄得到的第一图像上确定车辆两侧车轮与地面的接触点，该接触点可以是指四个车轮分别与地面的接触点，也可以是指部分后轮与地面的接触点，例如两个后轮与地面的接触点；然后结合识别的第一特征角点，利用场端传感器坐标系、场端传感器对应的像素坐标系以及世界坐标系之间的变换关系，得到车辆在标定环境中的位置表示，从而确定车辆坐标系与世界坐标系之间的第一位姿变换关系。其中，标定环境中每个特征角点的世界坐标(Xi，Yi，Zi)是确定的(i指特征角点的数量，可取任意整数)，这在部署标定环境的过程中可利用测量设备，例如全站仪或三维扫描仪等，计算得到，并且，图像拍摄完后，特征角点在图像上的像素坐标(ui，vi)也可以确定，因此，可以将特征角点作为确定上述第一位姿变换关系以及后续的第二位姿变换关系的过度点。
S130、利用从第二图像上识别的第二特征角点，确定车载传感器坐标系与世界坐标系的第二位姿变换关系。
具体的，基于第二特征角点，利用车载传感器坐标系、车载传感器对应的像素坐标系以及世界坐标系之间的变换关系，确定车载传感器坐标系与世界坐标系的第二位姿变换关系。
本实施例中特征角点的识别过程可以包括：
识别目标图像上的标识物单元，并确定各个标识物单元的像素坐标，其中，目标图像包括第一图像或者第二图像；
基于各个标识物单元的像素坐标，利用特征角点检测技术确定目标图像上的特征角点。
本实施例中可以采用相同的特征角点检测技术确定第一图像和第二图像上的特征角点。特征角点检测技术包括但不限于Harris角点检测算法、Shi-Tomasi角点检测算法和亚像素级角点检测算法等。亚像素级角点检测算法得到的特征角点识别精准性更高，常见的亚像素级角点检测算法有三类：1)基于插值方法，2)基于几何矩寻找方法，3)基于拟合方法。其中，关于第一图像和第二图像上的标识物单元的像素坐标，可以选择标识物单元上具有代表性的预设数量的特征点的像素坐标作为标识物单元的像素坐标，以提高特征角点的识别效率和识别精度，当然，也可以在第一图像和第二图像上对标识物单元的所有像素坐标均进行确定。
示例性的，如图2a所示，在特征角点的识别过程中，可以首先识别目标图像上的标识物单元，确定出每个标识物单元中包括的不同子标识，然后将每个标识物单元中不同子标识之间的目标区域作为特征角点检测区域，基于目标图像上的每个标识物单元中目标区域内的像素坐标，利用特征角点检测技术确定目标图像上的特征角点。其中，目标区域属于每个标识物单元中不同子标识之间的邻域，具体的区域尺寸可以根据特征角点识别需求进行设置。
S140、利用第一位姿变换关系和第二位姿变换关系，对车载传感器和车辆的位姿关系进行标定。
当车辆坐标系与世界坐标系之间的位姿变换关系，以及车载传感器坐标系与世界坐标系的位姿变换关系被确定后，通过矩阵变换计算，便可以得到车载传感器坐标系与车辆坐标系之间的位姿变换关系，从而实现车载传感器和车辆自身的相对位姿关系的标定。
本实施例的技术方案在执行车载传感器与车辆本身的位姿关系标定之前，部署专门的标定环境，在标定环境的侧边区域安装场端传感器，在标定环境的空间平面上以密集型铺设方式，铺设按照预设模式排布的不同标识物单元，当待标定车辆停在标定环境中后，利用场端传感器获取包括车辆在内的标定环境的第一图像，利用车载传感器获取标定环境的第二图像，最后从第一图像和第二图像上识别相关的特征角点以及车辆与地面的接触点，用于标定车载传感器与车辆的位姿关系，可以实现以下技术效果：
1)标定环境中标识物单元的密集型铺设，使得本实施例的标定方法具有很高的泛化能力，既可以保证标定自动检测的稳定性(或鲁棒性)，也能够提供充足的标定特征来得到高精度的标定结果，并且无需在车辆上张贴标定特征，可以解决现有技术中因为部分标定特征未被识别到而导致标定过程意外结束，以及因标定特征有限导致标定精度较低的问题；
2)场端传感器的引入，使得整个标定过程的自动化程度较高，只需要将车辆停放在标定环境中，后续标定过程不需要人工参与，可以提高标定效率，并可以避免人为操作引入的误差；
3)标定环境搭建简易、方便，工程量小，成本低，标定过程中不需要借助额外的车辆对中设备来调整车辆与标定场地的位置关系；后期对标定环境的维护成本也较低；
4)得益于标定效率高以及标定操作简单，适用于量产线上标定，同时由于标定环境的建造成本低，也可用于车辆售后维护的标定中；
5)由于标定结果的精度较高，不仅可以实现全景图像的准确拼接，达到几个像素的误差；同时还可以实现厘米级的定位效果，用于自动驾驶技术中。
实施例二
图3是本发明实施例二提供的车载传感器与车辆位姿关系标定方法的流程图，本实施例是在上述实施例的基础上进一步进行优化与扩展。如图3所示，该方法可以包括：
S210、通过预先部署在标定环境中的场端传感器获取标定环境的第一图像，并通过车载传感器获取标定环境的第二图像，其中，场端传感器安装在标定环境的侧边区域，标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点。
S220、根据从第一图像上识别的第一特征角点对应的像素坐标以及世界坐标，确定场端传感器对应的像素坐标系与世界坐标系的位姿变换关系。
可选的，特征角点对应的世界坐标的确定过程包括：
根据每个特征角点对应的标识物单元，确定每个特征角点的唯一性标识；
根据确定的唯一性标识，确定每个特征角点对应的世界坐标；
其中，每个特征角点与对应标识物单元的信息，以及每个特征角点的唯一性标识与世界坐标的对应关系，在部署标定环境的过程中预先确定。
当识别出每个特征角点之后，可以根据每个特征角点对应的标识物单元(该标识物单元在识别特征角点之前已经预先被识别)，确定每个特征角点的唯一性标识(例如，特征角点ID)，然后通过查表(即查询特征角点的唯一性标识与其世界坐标系的对应关系表)的方式，确定每个特征角点的世界坐标。示例性，如图2a所示，当利用特征角点检测技术识别出图中特征角点之后，可以根据该特征角点与图2a所示的标识物单元的对应关系，对该特征角点进行定位，确定出该特征角点的唯一性标识，进而确定该特征角点的世界坐标。
S230、利用场端传感器对应的像素坐标系与世界坐标系的位姿变换关系，以及从第一图像上识别的车辆与地面的接触点对应的像素坐标，确定接触点对应的世界坐标。
将接触点对应的像素坐标代入上述确定的像素坐标系与世界坐标系的位姿变换关系中，经过矩阵计算，便可得到接触点对应的世界坐标。
示例性的，场端传感器对应的像素坐标系(u，v)与世界坐标系(X，Y，Z)的位姿变换关系可用下述公式表示：
Z＝0
其中，旋转矩阵Rstation_cam2world和位移向量Tstation_cam2world＝(Tx，Ty，Tz)用于表示场端传感器坐标系与世界坐标系的位姿变换关系，K表示场端传感器的内参矩阵(具体可由张氏标定法得到)。在利用第一特征角点对应的像素坐标与世界坐标，确定场端传感器对应的像素坐标系与世界坐标系的位姿变换关系的过程中，可以通过第一特征角点对应的像素坐标与世界坐标的映射关系建立投影误差，优化该投影误差到最小值，从而得到最优的旋转矩阵Rstation_cam2world和位移向量Tstation_cam2world。
基于反投影原理，将接触点对应的像素坐标(ui，vi)代入上述公式中，便可确定接触点对应的世界坐标(Xi，Yi，Zi)。
S240、依据接触点对应的世界坐标，确定车辆坐标系与世界坐标系之间的第一位姿变换关系。
本实施例中使用接触点对应的世界坐标表征车辆在世界坐标系中的位置，根据车辆的位置表示便可确定车辆坐标系与世界坐标系之间的第一位姿变换关系Hcar2world。
具体的，依据接触点对应的世界坐标，确定车辆坐标系与世界坐标系之间的第一位姿变换关系，包括：
确定车辆与地面的接触点相对于车辆坐标系原点的位姿偏差；
依据位姿偏差和接触点对应的世界坐标，确定车辆坐标系与世界坐标系之间的第一位姿变换关系。
通常，车辆坐标系原点是车辆的质心位置，可以利用质心确定方法预先确定车辆质心，然后利用测绘工具，测量出车轮与地面的接触点相对于车辆坐标系原点的位姿偏差，结合接触点的世界坐标，便可确定车辆坐标系与世界坐标系之间的第一位姿变换关系。
S250、根据从第二图像上识别的第二特征角点对应的像素坐标以及世界坐标，确定车载传感器对应的像素坐标系与世界坐标系的位姿变换关系。
S260、利用车载传感器对应的像素坐标系与世界坐标系的位姿变换关系，以及车载传感器的内参矩阵，确定车载传感器坐标系与世界坐标系的第二位姿变换关系。
其中，第二图像上的特征角点对应的世界坐标的确定过程与第一图像上特征角点对应的世界坐标的确定过程相同，车载传感器对应的像素坐标系与世界坐标系的位姿变换关系可以采用与场端传感器对应的像素坐标系与世界坐标系的位姿变换关系相类似的公式表示。通过第二特征角点对应的像素坐标与世界坐标的映射关系建立投影误差，优化该投影误差到最小值，便可得到最优的车载传感器坐标系与世界坐标系的第二位姿变换关系Hcam2world。
S270、利用第一位姿变换关系和第二位姿变换关系，对车载传感器和车辆的位姿关系进行标定。
示例性的，车载传感器和车辆之间的位姿关系Hcam2car可用以下公式表示：
本实施例的技术方案在执行车载传感器与车辆本身的位姿关系标定之前，部署专门的标定环境，在标定环境的侧边区域安装场端传感器，在标定环境的空间平面上以密集型铺设方式，铺设按照预设模式排布的不同标识物单元，当待标定车辆停在标定环境中后，利用场端传感器获取包括车辆在内的标定环境的第一图像，利用车载传感器获取标定环境的第二图像，最后从第一图像和第二图像上识别相关的特征角点以及车辆与地面的接触点，用于标定车载传感器与车辆的位姿关系。由于标定过程中不需要借助专门的对中设备，标定环境部署简单，易于后期维护，因此，本发明实施例可以降低标定成本；同时，由于标定环境的空间平面上铺满了标识物单元，在车载传感器与车辆的位姿关系标定过程中具有足够的可用标定特征，因此，本发明实施例可以得到精度较高的标定结果，并且本发明实施例的标定方案具有较高的鲁棒性与广泛的适用性。
实施例三
图4是本发明实施例三提供的车载传感器与车辆位姿关系标定装置的结构示意图，本实施例可适用于在预先部署的标定环境中，对车载传感器和车辆本身的位姿关系进行标定的情况，车载传感器包括但不限于前视相机、后视相机和环视相机等。该装置可以采用软件和/或硬件的方式实现，并可集成在任意的计算设备上，例如车载计算设备。
如图4所示，本实施例提供的车载传感器与车辆位姿关系标定装置可以包括图像获取模块310、第一位姿变换关系确定模块320、第二位姿变换关系确定模块330和位姿关系标定模块340，其中：
图像获取模块310，用于通过预先部署在标定环境中的场端传感器获取标定环境的第一图像，并通过车载传感器获取标定环境的第二图像，其中，场端传感器安装在标定环境的侧边区域，标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点；
第一位姿变换关系确定模块320，用于利用从第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；
第二位姿变换关系确定模块330，用于利用从第二图像上识别的第二特征角点，确定车载传感器坐标系与世界坐标系的第二位姿变换关系；
位姿关系标定模块340，用于利用第一位姿变换关系和第二位姿变换关系，对车载传感器和车辆的位姿关系进行标定。
可选的，每个空间平面上的标识物单元基于规则阵列形式排布，每个标识物单元内任一种颜色的子区域内设置不同的子标识。
可选的，该装置还包括特征角点识别模块，用于识别第一图像或者第二图像上的特征角点，其中，该特征点识别模块包括：
标识物单元像素坐标确定单元，用于识别目标图像上的标识物单元，并确定各个标识物单元的像素坐标，其中，目标图像包括第一图像或者第二图像；
特征角点检测单元，用于基于各个标识物单元的像素坐标，利用特征角点检测技术确定目标图像上的特征角点。
可选的，第一位姿变换关系确定模块320包括：
像素坐标系与世界坐标系位姿计算单元，用于根据从第一图像上识别的第一特征角点对应的像素坐标以及世界坐标，确定场端传感器对应的像素坐标系与世界坐标系的位姿变换关系；
接触点世界坐标确定单元，用于利用场端传感器对应的像素坐标系与世界坐标系的位姿变换关系，以及从第一图像上识别的车辆与地面的接触点对应的像素坐标，确定接触点对应的世界坐标；
第一位姿变换关系确定单元，用于依据接触点对应的世界坐标，确定车辆坐标系与世界坐标系之间的第一位姿变换关系。
可选的，第一位姿变换关系确定单元具体用于：
确定车辆与地面的接触点相对于车辆坐标系原点的位姿偏差；
依据位姿偏差和接触点对应的世界坐标，确定车辆坐标系与世界坐标系之间的第一位姿变换关系。
可选的，第二位姿变换关系确定模块330包括：
像素坐标系与世界坐标系位姿计算单元，用于根据从第二图像上识别的第二特征角点对应的像素坐标以及世界坐标，确定车载传感器对应的像素坐标系与世界坐标系的位姿变换关系；
第二位姿变换关系确定单元，用于利用车载传感器对应的像素坐标系与世界坐标系的位姿变换关系，以及车载传感器的内参矩阵，确定车载传感器坐标系与世界坐标系的第二位姿变换关系。
可选的，该装置还包括特征角点世界坐标确定模块，用于确定特征角点对应的世界坐标，其中，该特征角点世界坐标确定模块包括：
唯一性标识确定单元，用于根据每个特征角点对应的标识物单元，确定每个特征角点的唯一性标识；
特征角点世界坐标确定单元，用于根据确定的唯一性标识，确定每个特征角点对应的世界坐标；
其中，每个特征角点与对应标识物单元的信息，以及每个特征角点的唯一性标识与世界坐标的对应关系，在部署标定环境的过程中预先确定。
可选的，车载传感器包括前视相机、后视相机和环视相机。
本发明实施例所提供的车载传感器与车辆位姿关系标定装置可执行本发明任意实施例所提供的车载传感器与车辆位姿关系标定方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
实施例四
图5是本发明实施例四提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备412的框图。图5显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备412可以是任意的计算设备，包括但不限于车载计算设备。
如图5所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的车载传感器与车辆位姿关系标定方法，该方法可以包括：
通过预先部署在标定环境中的场端传感器获取所述标定环境的第一图像，并通过车载传感器获取所述标定环境的第二图像，其中，所述场端传感器安装在所述标定环境的侧边区域，所述标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点；
利用从所述第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；
利用从所述第二图像上识别的第二特征角点，确定车载传感器坐标系与所述世界坐标系的第二位姿变换关系；
利用所述第一位姿变换关系和所述第二位姿变换关系，对所述车载传感器和所述车辆的位姿关系进行标定。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的车载传感器与车辆位姿关系标定方法，该方法可以包括：
通过预先部署在标定环境中的场端传感器获取所述标定环境的第一图像，并通过车载传感器获取所述标定环境的第二图像，其中，所述场端传感器安装在所述标定环境的侧边区域，所述标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点；
利用从所述第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；
利用从所述第二图像上识别的第二特征角点，确定车载传感器坐标系与所述世界坐标系的第二位姿变换关系；
利用所述第一位姿变换关系和所述第二位姿变换关系，对所述车载传感器和所述车辆的位姿关系进行标定。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (18)

1.一种车载传感器与车辆位姿关系标定方法，其特征在于，包括：
通过预先部署在标定环境中的场端传感器获取所述标定环境的第一图像，并通过车载传感器获取所述标定环境的第二图像，其中，所述场端传感器安装在所述标定环境的侧边区域，所述标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点；
利用从所述第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；
利用从所述第二图像上识别的第二特征角点，确定车载传感器坐标系与所述世界坐标系的第二位姿变换关系；
利用所述第一位姿变换关系和所述第二位姿变换关系，对所述车载传感器和所述车辆的位姿关系进行标定。
2.根据权利要求1所述的方法，其特征在于，每个空间平面上的标识物单元基于规则阵列形式排布，每个标识物单元内任一种颜色的子区域内设置不同的子标识。
3.根据权利要求1所述的方法，其特征在于，特征角点的识别过程包括：
识别目标图像上的标识物单元，并确定各个标识物单元的像素坐标，其中，所述目标图像包括所述第一图像或者所述第二图像；
基于所述各个标识物单元的像素坐标，利用特征角点检测技术确定所述目标图像上的特征角点。
4.根据权利要求1所述的方法，其特征在于，利用从所述第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系，包括：
根据从所述第一图像上识别的第一特征角点对应的像素坐标以及世界坐标，确定所述场端传感器对应的像素坐标系与所述世界坐标系的位姿变换关系；
利用所述场端传感器对应的像素坐标系与所述世界坐标系的位姿变换关系，以及所述接触点对应的像素坐标，确定所述接触点对应的世界坐标；
依据所述接触点对应的世界坐标，确定所述车辆坐标系与所述世界坐标系之间的第一位姿变换关系。
5.根据权利要求4所述的方法，其特征在于，依据所述接触点对应的世界坐标，确定所述车辆坐标系与所述世界坐标系之间的第一位姿变换关系，包括：
确定所述接触点相对于车辆坐标系原点的位姿偏差；
依据所述位姿偏差和所述接触点对应的世界坐标，确定所述车辆坐标系与所述世界坐标系之间的第一位姿变换关系。
6.根据权利要求1所述的方法，其特征在于，利用从所述第二图像上识别的第二特征角点，确定车载传感器坐标系与所述世界坐标系的第二位姿变换关系，包括：
根据从所述第二图像上识别的第二特征角点对应的像素坐标以及世界坐标，确定所述车载传感器对应的像素坐标系与所述世界坐标系的位姿变换关系；
利用所述车载传感器对应的像素坐标系与所述世界坐标系的位姿变换关系，以及所述车载传感器的内参矩阵，确定所述车载传感器坐标系与所述世界坐标系的第二位姿变换关系。
7.根据权利要求4或6所述的方法，其特征在于，特征角点对应的世界坐标的确定过程包括：
根据每个特征角点对应的标识物单元，确定所述每个特征角点的唯一性标识；
根据所述唯一性标识，确定所述每个特征角点对应的世界坐标；
其中，所述每个特征角点与对应标识物单元的信息，以及所述每个特征角点的唯一性标识与世界坐标的对应关系，在部署所述标定环境的过程中预先确定。
8.根据权利要求1所述的方法，其特征在于，所述车载传感器包括前视相机、后视相机和环视相机。
9.一种车载传感器与车辆位姿关系标定装置，其特征在于，包括：
图像获取模块，用于通过预先部署在标定环境中的场端传感器获取所述标定环境的第一图像，并通过车载传感器获取所述标定环境的第二图像，其中，所述场端传感器安装在所述标定环境的侧边区域，所述标定环境的空间平面上铺设按照预设模式排布的不同标识物单元，每个标识物单元对应一个特征角点；
第一位姿变换关系确定模块，用于利用从所述第一图像上识别的第一特征角点以及车辆与地面的接触点，确定车辆坐标系与世界坐标系之间的第一位姿变换关系；
第二位姿变换关系确定模块，用于利用从所述第二图像上识别的第二特征角点，确定车载传感器坐标系与所述世界坐标系的第二位姿变换关系；
位姿关系标定模块，用于利用所述第一位姿变换关系和所述第二位姿变换关系，对所述车载传感器和所述车辆的位姿关系进行标定。
10.根据权利要求9所述的装置，其特征在于，每个空间平面上的标识物单元基于规则阵列形式排布，每个标识物单元内任一种颜色的子区域内设置不同的子标识。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括特征角点识别模块，用于识别特征角点，其中，所述特征角点识别模块包括：
标识物单元像素坐标确定单元，用于识别目标图像上的标识物单元，并确定各个标识物单元的像素坐标，其中，所述目标图像包括所述第一图像或者所述第二图像；
特征角点检测单元，用于基于所述各个标识物单元的像素坐标，利用特征角点检测技术确定所述目标图像上的特征角点。
12.根据权利要求9所述的装置，其特征在于，所述第一位姿变换关系确定模块包括：
像素坐标系与世界坐标系位姿计算单元，用于根据从所述第一图像上识别的第一特征角点对应的像素坐标以及世界坐标，确定所述场端传感器对应的像素坐标系与所述世界坐标系的位姿变换关系；
接触点世界坐标确定单元，用于利用所述场端传感器对应的像素坐标系与所述世界坐标系的位姿变换关系，以及所述接触点对应的像素坐标，确定所述接触点对应的世界坐标；
第一位姿变换关系确定单元，用于依据所述接触点对应的世界坐标，确定所述车辆坐标系与所述世界坐标系之间的第一位姿变换关系。
13.根据权利要求12所述的装置，其特征在于，所述第一位姿变换关系确定单元具体用于：
确定所述接触点相对于车辆坐标系原点的位姿偏差；
依据所述位姿偏差和所述接触点对应的世界坐标，确定所述车辆坐标系与所述世界坐标系之间的第一位姿变换关系。
14.根据权利要求9所述的装置，其特征在于，所述第二位姿变换关系确定模块包括：
像素坐标系与世界坐标系位姿计算单元，用于根据从所述第二图像上识别的第二特征角点对应的像素坐标以及世界坐标，确定所述车载传感器对应的像素坐标系与所述世界坐标系的位姿变换关系；
第二位姿变换关系确定单元，用于利用所述车载传感器对应的像素坐标系与所述世界坐标系的位姿变换关系，以及所述车载传感器的内参矩阵，确定所述车载传感器坐标系与所述世界坐标系的第二位姿变换关系。
15.根据权利要求12或14所述的装置，其特征在于，所述装置还包括特征角点世界坐标确定模块，用于确定特征角点对应的世界坐标，其中，所述特征角点世界坐标确定模块包括：
唯一性标识确定单元，用于根据每个特征角点对应的标识物单元，确定所述每个特征角点的唯一性标识；
特征角点世界坐标确定单元，用于根据所述唯一性标识，确定所述每个特征角点对应的世界坐标；
其中，所述每个特征角点与对应标识物单元的信息，以及所述每个特征角点的唯一性标识与世界坐标的对应关系，在部署所述标定环境的过程中预先确定。
16.根据权利要求9所述的装置，其特征在于，所述车载传感器包括前视相机、后视相机和环视相机。
17.一种设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的车载传感器与车辆位姿关系标定方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的车载传感器与车辆位姿关系标定方法。
CN201910515862.0A 2019-06-14 2019-06-14 车载传感器与车辆位姿关系标定方法、装置、设备和介质 Active CN110264520B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910515862.0A CN110264520B (zh) 2019-06-14 2019-06-14 车载传感器与车辆位姿关系标定方法、装置、设备和介质
US16/708,241 US11157766B2 (en) 2019-06-14 2019-12-09 Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
EP19214803.9A EP3751519B1 (en) 2019-06-14 2019-12-10 Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910515862.0A CN110264520B (zh) 2019-06-14 2019-06-14 车载传感器与车辆位姿关系标定方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110264520A true CN110264520A (zh) 2019-09-20
CN110264520B CN110264520B (zh) 2021-06-08

Family

ID=67918413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910515862.0A Active CN110264520B (zh) 2019-06-14 2019-06-14 车载传感器与车辆位姿关系标定方法、装置、设备和介质

Country Status (3)

Country Link
US (1) US11157766B2 (zh)
EP (1) EP3751519B1 (zh)
CN (1) CN110264520B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705433A (zh) * 2019-09-26 2020-01-17 杭州鲁尔物联科技有限公司 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN110723079A (zh) * 2019-10-31 2020-01-24 北京百度网讯科技有限公司 车载传感器的位姿调整方法、装置、设备和介质
CN110766761A (zh) * 2019-10-21 2020-02-07 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN110910311A (zh) * 2019-10-30 2020-03-24 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN111402335A (zh) * 2020-03-18 2020-07-10 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN111414818A (zh) * 2020-03-09 2020-07-14 北京三快在线科技有限公司 一种基于环境图像的定位方法及装置
CN111508031A (zh) * 2020-04-10 2020-08-07 中国科学院自动化研究所 特征自识别标定板
CN111524189A (zh) * 2020-05-09 2020-08-11 浙江大华技术股份有限公司 门开关状态检测方法、装置及计算机存储介质
CN111680685A (zh) * 2020-04-14 2020-09-18 上海高仙自动化科技发展有限公司 一种基于图像的定位方法、装置、电子设备及存储介质
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN111950504A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 车辆检测方法、装置以及电子设备
CN112053406A (zh) * 2020-08-25 2020-12-08 杭州零零科技有限公司 成像装置参数标定方法、装置及电子设备
CN112465920A (zh) * 2020-12-08 2021-03-09 广州小鹏自动驾驶科技有限公司 一种视觉传感器标定方法及装置
CN112652018A (zh) * 2019-10-11 2021-04-13 北京地平线机器人技术研发有限公司 外参确定方法、外参确定装置及电子设备
CN112767487A (zh) * 2021-01-27 2021-05-07 京东数科海益信息科技有限公司 机器人的定位方法、装置以及系统
CN113095103A (zh) * 2021-04-15 2021-07-09 京东数科海益信息科技有限公司 智能设备定位方法、装置、设备及存储介质
CN113313966A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 一种位姿确定方法以及相关设备
CN113496520A (zh) * 2020-04-02 2021-10-12 北京四维图新科技股份有限公司 摄像机转俯视图的方法、装置及存储介质
CN113561970A (zh) * 2021-09-27 2021-10-29 国汽智控(北京)科技有限公司 初始泊车位置信息确定的方法、装置、设备及存储介质
WO2022012365A1 (zh) * 2020-07-17 2022-01-20 炬星科技（深圳）有限公司 机器人标定方法、设备及存储介质
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN115690194A (zh) * 2022-10-17 2023-02-03 广州赤兔宸行科技有限公司 一种车载xr设备定位方法、装置、设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
CN113418543B (zh) * 2019-01-16 2023-06-20 北京百度网讯科技有限公司 自动驾驶传感器的检测方法、装置、电子设备及存储介质
US11669789B1 (en) * 2020-03-31 2023-06-06 GM Cruise Holdings LLC. Vehicle mass determination
US11199614B1 (en) * 2020-07-08 2021-12-14 Beijing Voyager Technology Co., Ltd Lidar and image calibration for autonomous vehicles
DE102021201923A1 (de) * 2021-03-01 2022-09-01 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zum Kalibrieren mindestens eines in einem Fahrzeug angeordneten Fahrzeugsensors
CN113313755A (zh) * 2021-04-16 2021-08-27 中科创达软件股份有限公司 目标对象位姿的确定方法、装置、设备及存储介质
US11887338B2 (en) * 2022-06-16 2024-01-30 Motional Ad Llc Maintaining calibration of an IBIS camera
CN116027951B (zh) * 2023-03-29 2023-07-25 小米汽车科技有限公司 车辆采集数据的可视化方法、装置以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930544A (zh) * 2012-11-05 2013-02-13 北京理工大学 一种车载摄像机的参数标定系统
CN103871071A (zh) * 2014-04-08 2014-06-18 北京经纬恒润科技有限公司 一种用于全景泊车系统的摄像头外参标定方法
US20170134722A1 (en) * 2013-05-21 2017-05-11 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
DE102017207614A1 (de) * 2017-05-05 2018-11-08 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Kamerasystems eines Fahrzeugs
CN108876857A (zh) * 2018-07-02 2018-11-23 上海西井信息科技有限公司 无人驾驶车辆的定位方法、系统、设备及存储介质
CN109215083A (zh) * 2017-07-06 2019-01-15 华为技术有限公司 车载传感器的外部参数标定的方法和设备
CN109712196A (zh) * 2018-12-17 2019-05-03 北京百度网讯科技有限公司 摄像头标定处理方法、装置、车辆控制设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386302B2 (en) 2014-05-21 2016-07-05 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
CN107133988B (zh) 2017-06-06 2020-06-02 科大讯飞股份有限公司 车载全景环视系统中摄像头的标定方法及标定系统
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
CN108734743A (zh) 2018-04-13 2018-11-02 深圳市商汤科技有限公司 用于标定摄像装置的方法、装置、介质及电子设备
US10867409B2 (en) * 2019-04-22 2020-12-15 Great Wall Motor Company Limited Methods and systems to compensate for vehicle calibration errors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930544A (zh) * 2012-11-05 2013-02-13 北京理工大学 一种车载摄像机的参数标定系统
US20170134722A1 (en) * 2013-05-21 2017-05-11 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
CN103871071A (zh) * 2014-04-08 2014-06-18 北京经纬恒润科技有限公司 一种用于全景泊车系统的摄像头外参标定方法
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
DE102017207614A1 (de) * 2017-05-05 2018-11-08 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Kamerasystems eines Fahrzeugs
CN109215083A (zh) * 2017-07-06 2019-01-15 华为技术有限公司 车载传感器的外部参数标定的方法和设备
CN108876857A (zh) * 2018-07-02 2018-11-23 上海西井信息科技有限公司 无人驾驶车辆的定位方法、系统、设备及存储介质
CN109712196A (zh) * 2018-12-17 2019-05-03 北京百度网讯科技有限公司 摄像头标定处理方法、装置、车辆控制设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FAN ZHU ET AL.: "Baidu Apollo Auto-Calibration System - An Industry-Level Data-Driven and Learning based Vehicle Longitude Dynamic Calibrating Algorithm", 《ARXIV:1808.10134V1》 *
GEOFFREY PASCOE ET AL. : "Direct Visual Localisation and Calibration for Road Vehicles in Changing City Environments", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV) WORKSHOPS》 *
吴庆华 等: "一种基于平面标靶的线结构光视觉传感器标定方法", 《光电子·激光》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705433A (zh) * 2019-09-26 2020-01-17 杭州鲁尔物联科技有限公司 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN112652018A (zh) * 2019-10-11 2021-04-13 北京地平线机器人技术研发有限公司 外参确定方法、外参确定装置及电子设备
CN112652018B (zh) * 2019-10-11 2024-04-16 北京地平线机器人技术研发有限公司 外参确定方法、外参确定装置及电子设备
CN110766761B (zh) * 2019-10-21 2023-09-26 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN110766761A (zh) * 2019-10-21 2020-02-07 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN110910311A (zh) * 2019-10-30 2020-03-24 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN110910311B (zh) * 2019-10-30 2023-09-26 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN110723079A (zh) * 2019-10-31 2020-01-24 北京百度网讯科技有限公司 车载传感器的位姿调整方法、装置、设备和介质
CN113313966A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 一种位姿确定方法以及相关设备
CN111414818A (zh) * 2020-03-09 2020-07-14 北京三快在线科技有限公司 一种基于环境图像的定位方法及装置
CN111402335A (zh) * 2020-03-18 2020-07-10 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN113496520A (zh) * 2020-04-02 2021-10-12 北京四维图新科技股份有限公司 摄像机转俯视图的方法、装置及存储介质
CN113496520B (zh) * 2020-04-02 2024-05-28 北京四维图新科技股份有限公司 摄像机转俯视图的方法、装置及存储介质
CN111508031B (zh) * 2020-04-10 2023-11-21 中国科学院自动化研究所 特征自识别标定板
CN111508031A (zh) * 2020-04-10 2020-08-07 中国科学院自动化研究所 特征自识别标定板
CN111680685A (zh) * 2020-04-14 2020-09-18 上海高仙自动化科技发展有限公司 一种基于图像的定位方法、装置、电子设备及存储介质
CN111680685B (zh) * 2020-04-14 2023-06-06 上海高仙自动化科技发展有限公司 一种基于图像的定位方法、装置、电子设备及存储介质
CN111524189A (zh) * 2020-05-09 2020-08-11 浙江大华技术股份有限公司 门开关状态检测方法、装置及计算机存储介质
WO2022012365A1 (zh) * 2020-07-17 2022-01-20 炬星科技（深圳）有限公司 机器人标定方法、设备及存储介质
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN111815719B (zh) * 2020-07-20 2023-12-22 阿波罗智能技术(北京)有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
EP3848901A3 (en) * 2020-07-20 2022-02-09 Beijing Baidu Netcom Science And Technology Co. Ltd. Method and apparatus for calibrating external parameters of image acquisition device, device and storage medium
JP7060774B2 (ja) 2020-07-20 2022-04-27 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像収集デバイスの外部パラメータのキャリブレーション方法、装置、デバイス、記憶媒体、及びプログラム
JP2021120678A (ja) * 2020-07-20 2021-08-19 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 画像収集デバイスの外部パラメータのキャリブレーション方法、装置、デバイス、記憶媒体、及びプログラム
CN111950504A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 车辆检测方法、装置以及电子设备
CN111950504B (zh) * 2020-08-21 2024-04-16 东软睿驰汽车技术（沈阳）有限公司 车辆检测方法、装置以及电子设备
CN112053406B (zh) * 2020-08-25 2024-05-10 杭州零零科技有限公司 成像装置参数标定方法、装置及电子设备
CN112053406A (zh) * 2020-08-25 2020-12-08 杭州零零科技有限公司 成像装置参数标定方法、装置及电子设备
CN112465920A (zh) * 2020-12-08 2021-03-09 广州小鹏自动驾驶科技有限公司 一种视觉传感器标定方法及装置
CN112767487B (zh) * 2021-01-27 2024-04-05 京东科技信息技术有限公司 机器人的定位方法、装置以及系统
CN112767487A (zh) * 2021-01-27 2021-05-07 京东数科海益信息科技有限公司 机器人的定位方法、装置以及系统
CN113095103A (zh) * 2021-04-15 2021-07-09 京东数科海益信息科技有限公司 智能设备定位方法、装置、设备及存储介质
CN113561970A (zh) * 2021-09-27 2021-10-29 国汽智控(北京)科技有限公司 初始泊车位置信息确定的方法、装置、设备及存储介质
CN114882115B (zh) * 2022-06-10 2023-08-25 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN115690194B (zh) * 2022-10-17 2023-09-19 广州赤兔宸行科技有限公司 一种车载xr设备定位方法、装置、设备及存储介质
CN115690194A (zh) * 2022-10-17 2023-02-03 广州赤兔宸行科技有限公司 一种车载xr设备定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3751519B1 (en) 2022-03-23
EP3751519A1 (en) 2020-12-16
US11157766B2 (en) 2021-10-26
CN110264520B (zh) 2021-06-08
US20200394445A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
CN110264520A (zh) 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN111223038B (zh) 一种车载环视图像的自动拼接方法及显示装置
US11762071B2 (en) Multi-mode multi-sensor calibration
US10719955B2 (en) Camera extrinsic parameters estimation from image lines
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
CN111507130A (zh) 车道级定位方法及系统、计算机设备、车辆、存储介质
CN111220126A (zh) 一种基于点特征和单目相机的空间物体位姿测量方法
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN110865388A (zh) 摄像机与激光雷达的联合标定方法、装置及存储介质
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN108596982A (zh) 一种简易的车载多目摄像机环视系统标定方法及装置
CN108805910A (zh) 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
EP4016457A1 (en) Positioning method and apparatus
US11527006B2 (en) System and method for dynamic stereoscopic calibration
CN113658262B (zh) 相机外参标定方法、装置、系统及存储介质
WO2023103679A1 (zh) 一种车载环视相机快速自动标定方法和装置
CN114881863B (zh) 一种图像拼接方法、电子设备及计算机可读存储介质
US20190147623A1 (en) Bird's-eye view image generating device for vessel, and calibration method of the same
TW201605247A (zh) 影像處理系統及方法
CN113492829B (zh) 数据处理的方法和装置
CN110188665B (zh) 图像处理方法、装置以及计算机设备
CN112598756A (zh) 路边传感器标定方法、装置和电子设备
CN110910311A (zh) 一种基于二维码的多路环视相机自动拼接方法
CN116030139A (zh) 摄像头检测方法、装置、电子设备及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211019

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Patentee before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right