CN116205986A - 车载环视相机外参的标定方法、装置、计算机设备及介质 - Google Patents

车载环视相机外参的标定方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN116205986A
CN116205986A CN202211702830.XA CN202211702830A CN116205986A CN 116205986 A CN116205986 A CN 116205986A CN 202211702830 A CN202211702830 A CN 202211702830A CN 116205986 A CN116205986 A CN 116205986A
Authority
CN
China
Prior art keywords
vehicle
target
targets
camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211702830.XA
Other languages
English (en)
Inventor
金靖熠
张琴
仇开金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jimu Intelligent Technology Co ltd
Original Assignee
Wuhan Jimu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jimu Intelligent Technology Co ltd filed Critical Wuhan Jimu Intelligent Technology Co ltd
Priority to CN202211702830.XA priority Critical patent/CN116205986A/zh
Publication of CN116205986A publication Critical patent/CN116205986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明实施例提供了一种车载环视相机外参的标定方法、装置、计算机设备及介质，涉及相机参数标定技术领域，其中，该方法包括：环绕车辆来采集所有标靶的视频；根据视频中各个标靶的位置信息，生成各个标靶组成的标靶地图；根据放置在所述车辆的车身中轴线的相关位置上的标靶在标靶地图中的位置信息，确定车辆的车中心坐标系；将标靶地图转换到车中心坐标系上；针对车辆上的每路车载环视相机，根据相机定位标靶在每路所述车载环视相机采集的图像中的位置信息和在标靶地图中的位置信息，确定每路车载环视相机的外参。该方案可以提高标定的灵活性，提高标定结果的精度。

Description

车载环视相机外参的标定方法、装置、计算机设备及介质
技术领域
本发明涉及相机参数标定技术领域，特别涉及一种车载环视相机外参的标定方法、装置、计算机设备及介质。
背景技术
现有环视外参标定技术或无法避免人工测量误差，或需要制作高成本的标定场所。较为接近的方案包括：
目前，现有车辆环视系统的外参标定方法有以下几种：
借助于棋盘格来进行车辆环视系统的外参标定。由于仍需要对棋盘格位置参数进行测量，且仅支持4路车种的标定，因此，仍存在对非标环境下标定无法进行或精度不满足要求的问题。在非标准环境下，标定人需要对棋盘格标定布进行摆放、测量，且标定人不同，摆放规则度、测量准确性均存在不可控问题，可能会引入测量误差，影响标定精度，同时仅支持4路车种的标定，应用灵活性差。
还有一种通过布设大、小二维码标定板的方法，用大标签获取各路相机下的鸟瞰姿态图，用小标签来推理相邻相机之间的姿态转换。此方案减少了对标靶的测量，但仍需测量车身坐标系到标靶坐标系的距离，因此，仍会引入测量误差，影响标定的精度，且所需二维码尺寸过大，不利于提供技术支持人员的随身携带，应用便捷性差。
其他可能的方案包括基于高精度预设场地的标定、基于特殊环境的在线标定(如车道线)等，然而这些方案对场地依赖程度较高，应用灵活性差。
发明内容
有鉴于此，本发明实施例提供了一种车载环视相机外参的标定方法，以解决现有技术中标定结果精度低、灵活性差的技术问题。该方法包括：
环绕车辆来采集所有标靶的视频，所述标靶为编码图形标记板，多个所述标靶环绕所述车辆的车身放置，所述车辆的车身中轴线的相关位置放置有所述标靶；
根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图；
根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，所述车辆的车身中心点为所述车中心坐标系的原点；
将所述标靶地图转换到所述车中心坐标系上；
针对所述车辆上的每路车载环视相机，将每路所述车载环视相机采集的图像所包括的所述标靶视为每路所述车载环视相机的相机定位标靶，根据所述相机定位标靶在每路所述车载环视相机采集的图像中的位置信息和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参。
本发明实施例还提供了一种车载环视相机外参的标定装置，以解决现有技术中标定结果精度低、灵活性差的技术问题。该装置包括：
视频采集模块，用于环绕车辆来采集所有标靶的视频，所述标靶为编码图形标记板，多个所述标靶环绕所述车辆的车身放置，所述车辆的车身中轴线的相关位置放置有所述标靶；
地图生成模块，用于根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图；
车身坐标系生成模块，用于根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，所述车辆的车身中心点为所述车中心坐标系的原点；
坐标系转换模块，用于将所述标靶地图转换到所述车中心坐标系上；
标定模块，用于针对所述车辆上的每路车载环视相机，将每路所述车载环视相机采集的图像所包括的所述标靶视为每路所述车载环视相机的相机定位标靶，根据所述相机定位标靶在每路所述车载环视相机采集的图像中的位置和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的车载环视相机外参的标定方法，以解决现有技术中标定结果精度低、灵活性差的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的车载环视相机外参的标定方法的计算机程序，以解决现有技术中标定结果精度低、灵活性差的技术问题。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：提出了采用标靶来进行车载环视相机外参的标定，该标靶为编码图形标记板，将标靶环绕车辆的车身放置即可，同时，车辆的车身中轴线的相关位置放置有标靶，进而即可环绕车辆来采集所有标靶的视频，并根据视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图，并根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，将标靶地图转换到所述车中心坐标系上后，即可根据相机定位标靶在每路所述车载环视相机采集的图像中的位置信息和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参。实现了基于标靶来进行车载环视相机外参的标定，该标靶的放置无需布设棋盘格、也无需测量，使得避免引入测量误差，对标定场地没有特殊要去，从而提高了标定的灵活性，也有利于提高标定结果的精度；此外对标靶的尺寸没有要求，不需要大尺寸的标靶，从而有利于提高标定的操作便捷性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种车载环视相机外参的标定方法的流程图；
图2是本发明实施例提供的一种车身定位示意图；
图3是本发明实施例提供的一种标靶地图的示意图；
图4是本发明实施例提供的一种俯视图拼接结果的示意图；
图5是本发明实施例提供的一种实施上述车载环视相机外参的标定方法的流程图；
图6是本发明实施例提供的一种计算机设备的结构框图；
图7是本发明实施例提供的一种车载环视相机外参的标定装置的结构框图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中，提供了一种车载环视相机外参的标定方法，如图1所示，该方法包括：
步骤S101：环绕车辆来采集所有标靶的视频，所述标靶为编码图形标记板，多个所述标靶环绕所述车辆的车身放置，所述车辆的车身中轴线的相关位置放置有所述标靶；
步骤S102：根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图；
步骤S103：根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，所述车辆的车身中心点为所述车中心坐标系的原点；
步骤S104：将所述标靶地图转换到所述车中心坐标系上；
步骤S105：针对所述车辆上的每路车载环视相机，将每路所述车载环视相机采集的图像所包括的所述标靶视为每路所述车载环视相机的相机定位标靶，根据所述相机定位标靶在每路所述车载环视相机采集的图像中的位置信息和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参。
由图1所示的流程可知，在本发明实施例中，实现了基于标靶来进行车载环视相机外参的标定，该标靶的放置无需布设棋盘格、也无需测量，使得避免引入测量误差，对标定场地没有特殊要去，从而提高了标定的灵活性，也有利于提高标定结果的精度；此外对标靶的尺寸没有要求，不需要大尺寸的标靶，从而有利于提高标定的操作便捷性。
具体实施时，上述标靶为编码图形标记板，编码类型为Aruco或AprilTag。
具体实施时，上述编码图形标记板的形状是方形、固定尺寸的。
具体实施时，在进行车载环视相机外参的标定时，上述多个标靶环绕车辆的车身放置即可，无需布设棋盘格，也无需测量，仅需提供一块尽可能平整的地面即可，为了进一步提高车身定位的准确性，上述车辆的车身中轴线的相关位置可以放置有所述标靶，以便可以根据车身中轴线的相关位置上放置的标靶快速、准确的确定出车身中心点，进而确定所述车辆的车中心坐标系。
具体实施时，上述车辆的车身中轴线的相关位置包括以下至少两项：
车身中轴线上车身的前方、车身中轴线上车身的后方、与车身中轴线平行的车身左侧平行线以及与车身中轴线平行的车身右侧平行线，在与车身中轴线平行的车身左侧平行线以及与车身中轴线平行的车身右侧平行线上可以在贴于车身或者轮胎的位置放置标靶。
具体的，根据车身定位情况的不同，可以放置2/3块标靶在车身的特殊位置(即车身中轴线的相关位置)，放置在车身中轴线的相关位置上的标靶可以称为车身定位标靶；图2提供了两种在车辆的车身中轴线的相关位置放置标靶对的策略，一种，如图2中的a图所示，在车身中轴线紧贴车身前、后的位置各放置一块标靶；另一种，如图2中的b图所示，在车身中轴线上车前侧、与车身中轴线平行的车左、右侧平行线上贴于车身或轮胎各放置一块标靶。这两种摆放策略的有益贡献在于：第一种，车前、后有明显的居中标志，使得在目测条件下就可以精确定位车身中轴线；第二种，车左、右侧轮胎贴于地面，也可以快速准确的找到定位点。利用这些定位标靶，可以精确定位车中心坐标系，从而避免复杂、耗时且存在较大误差的测量问题。
具体实施时，在环绕车辆来采集所有标靶的视频的过程，可以通过USB接口低畸变相机实现，将USB接口低畸变相机连接于便携式PC机，将USB接口低畸变相机环绕车身一周，来采集标靶的图像或视频，需拍摄到所有的相机定位标靶和车身定位标靶，其中，车载环视相机采集的图像包括的标靶为相机定位标靶，放置在车辆的车身中轴线的相关位置放置上的标靶为车身定位标靶。
具体实施时，得到车身周围所有标靶的视频之后，为了进一步提供标定的精度，在本实施例中，提供了一种构建标靶地图的方法，例如，根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图，包括：
识别所述视频的每帧图像中的所述标靶，并提取每帧图像中所述标靶的角点的像素坐标；
确定出所述视频的关键帧图像，其中，所述关键帧图像为两帧相邻图像，且两帧相邻图像中包括至少一个相同的所述标靶；
将所述关键帧图像输入图优化模型，所述图优化模型输出将各个所述标靶的坐标系转换到目标标靶的坐标系的转换矩阵，其中，所述目标标靶为多个所述标靶中的一个所述标靶，每个所述标靶自身对应有一个坐标系，所述关键帧图像包括所述标靶的角点的像素坐标；
根据所述转换矩阵，将各个所述标靶的坐标系转换到所述目标标靶的坐标系中，生成所述标靶地图。
具体实施时，标靶的角点的像素坐标即标靶形状的顶角的像素坐标，例如，标靶为正方形，则标靶的角点的像素坐标即为正方形的标靶的四个顶角的像素坐标。
具体实施时，为了提供标靶地图的精度，在本实施例中，确定出关键帧(即前后两帧至少存在1个相同的标靶)图像之后，建立图优化模型，对所有的关键帧图像进行优化，优化对象包括相机(即采集视频的相机)参数(包括内参和外参)、图像中标靶的位置和姿态。
具体的，考虑单帧中的一个标靶，图优化模型如公式(1)所示，计算重投影误差。
Figure BDA0004024475120000071
cj为已知量，表示标靶i在自身标靶坐标系下角点j的三维坐标；
γi为待估计量，表示从标靶坐标系到世界坐标系的齐次变换矩阵；
γt为待估计量，表示从世界坐标系到相机坐标系的齐次变换矩阵，即相机(即采集视频的相机)的外参。
δ为待估计量，表示相机(即采集视频的相机)的内参矩阵。
函数Ψ(δ,γt,γi,cj)表示标靶i的第j个角点从三维空间坐标到像素坐标的投影，它先将角点cj转换到世界坐标系，再转换到相机坐标系，最后转换到像素坐标系。
ui t ,j为观测量，表示在第t帧关键帧图像下观察到的标靶i第j个角点真实的像素坐标。
ei t表示第i个标靶在第t帧关键帧图像下重投影和观测的误差。
考虑所有关键帧图像中的所有标靶，图优化模型如公式(2)所示，公式(2)为最小化总重投影误差的模型。
Figure BDA0004024475120000081
其中，M表示标靶的总数，N表示关键帧图像的总数。
对于图优化模型的求解，使用了现有的图优化模型技术，即将每个标靶当作一个节点，计算任意两个节点之间的最优位姿变换，然后寻找最优路径，使得组成该路径的所有边的重投影误差和最小。
经过图优化模型的优化后，获取所有标靶的位置和姿态信息，即将各个标靶的坐标系转换到目标标靶的坐标系的转换矩阵，进而根据各个标靶的转换矩阵，将各个标靶的坐标系转换到目标标靶的坐标系中，即可生成标靶地图，也称为二维码地图，如图3所示。
具体实施时，得到标靶地图之后，即可对车身定位，进而确定车辆的车中心坐标系，例如，根据放置在所述车辆的车身中轴线的相关位置上的所述标靶的ID，在所述标靶地图中获取放置在所述车辆的车身中轴线的相关位置上的所述标靶的三维坐标；
根据所述三维坐标确定所述车辆的车身中心点的坐标；
将所述车辆的车身前方确定为所述车中心坐标系的y轴正方向，将所述车辆的车身右方确定为所述车中心坐标系的x轴正方向，将垂直所述车辆所在地面向上的方向确定为所述车中心坐标系的z轴正方向，根据所述三维坐标确定y轴的向量，并根据y轴的向量计算x轴的向量和z轴的向量。
具体实施时，每个标靶有唯一的ID，该唯一的ID可以字母、字符、数字等可区分的标识，如图3所示，各个标靶的唯一的ID为唯一的数字。
具体实施时，根据放置在所述车辆的车身中轴线的相关位置上的各个标靶在标靶地图中的三维坐标，即可确定出所述车辆的车身中心点的坐标，例如，以图2中的a图所示的标靶放置策略为例，在车身中轴线紧贴车身前、后的位置，各放置一块标靶，这样可以推理车中心坐标、车身横向、车身纵向在二维码地图中的向量表示，即可确定出车中心坐标系，进而可以计算二维码地图坐标系到车中心坐标系的位姿变换，基于该位姿变换将二维码地图转换到车中心坐标系中，使二维码地图可以被环视标定系统使用。
具体的，构建二维码地图(即上述标靶地图)后，所有标靶的角点的像素坐标是已知的，以图2中的a图所示的标靶放置策略为例，根据车身中轴线紧贴车身前、后位置的标靶在二维码地图中的中心坐标，即可确定出车身中心点的坐标，车前、后的标靶在二维码地图中的中心坐标分别为pF、pR，则车身中心点的坐标为
Figure BDA0004024475120000091
以车身前方、车身右方、垂直车身所在地面向上的方向分别为车中心坐标系的y、x、z轴，则x、y、z方向的单位向量为x＝v(v(pF-pR)×(0,0,1)T)、y＝v(pF-pR)、z＝v(v(pF-pR)×(0,0,1)T)×v(pF-pR)，其中，v(·)表示向量的单位化，即求得二维码地图坐标系到车中心坐标系的转换为：旋转矩阵/>
Figure BDA0004024475120000092
平移向量tcm＝-RcmOm。
具体实施时，将标靶地图(即二维码地图坐标系)转换到所述车中心坐标系上之后，即可根据相机定位标靶在每路所述车载环视相机采集的图像中的位置信息和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参，例如，在每路所述车载环视相机采集的图像中识别所述相机定位标靶的角点的2D坐标信息，根据转换后的所述标靶地图获取所述相机定位标靶的角点的3D坐标信息，将所述相机定位标靶的角点的所述2D坐标信息和所述3D坐标信息输入每路所述车载环视相机，每路所述车载环视相机通过自动化标定得到自身的外参。
具体实施时，在每路所述车载环视相机基于2D坐标信息和所述3D坐标信息进行自动化标定之前，还可以使用全向模型或鱼眼模型对相机定位标靶的角点的2D坐标信息和3D坐标信息进行矫正，进而在动化标定过程中，利用矫正后的2D坐标信息和3D坐标信息，建立重投影误差最小化的优化模型，优化对象为每路所述车载环视相机的位姿，并使用Levenberg-Marquardt算法进行迭代优化，从而求解每路所述车载环视相机的外参。
具体实施时，得到每路所述车载环视相机的外参之后，即可根据每路所述车载环视相机的外参，推理鸟瞰姿态的俯视变换，将每路所述车载环视相机采集的图像转换为俯视图，进而将各路所述车载环视相机的俯视图拼接起来，完成拼接融合等工作，拼接结果如图4所示。
具体实施时，上述车载环视相机外参的标定方法可以通过使用1套便携式上位机(PC机)、1台USB接口低畸变相机、1套二维码标记板(即上述标靶)、1组车载环视相机(例如，3枚以上)及1套终端设备来实现，通过USB接口低畸变相机来环绕车辆来采集所有标靶的视频，进而将视频输入便携式上位机上，构建二维码地图，再将二维码地图输入终端设备上，终端设备根据二维码地图中车身中轴线的相关位置上的标靶的坐标确定车中心坐标系，并将二维码地图转换到车中心坐标系上，最后，针对每路所述车载环视相机，在每路所述车载环视相机采集的图像中识别所述相机定位标靶的角点的2D坐标信息，根据转换后的所述标靶地图获取所述相机定位标靶的角点的3D坐标信息，并将所述相机定位标靶的角点的所述2D坐标信息和所述3D坐标信息输入每路所述车载环视相机，使得每路所述车载环视相机进行自动化标定，得到自身的外参。
具体实施时，以下结合图5来介绍实施上述车载环视相机外参的标定方法的过程，包括以下步骤：
1、场地布置
(1)将二维码标靶适当分布于车身周围。各车载环视相机幅面靠中心区域可以适量多放置标靶，边缘区域可适量少放置，车载环视相机视野范围内的标靶可以称为相机定位标靶；
(2)根据车身定位策略的不同，需放置2/3块标靶在车身的特殊位置(即上述车辆的车身中轴线的相关位置)，这些位置放置的标靶可以称为车身定位标靶；图2提供了两个放置车身定位标靶的策略。
(3)标靶总体上要环绕车身一周，任意两标靶距离可以控制在1米以内为宜。
2、低畸变相机数据采集
将USB接口低畸变相机连接于便携式PC机，USB接口低畸变相机环绕车身一周来采集所有标靶的图像或视频，需拍摄到所有的相机定位标靶和车身定位标靶。
3、低畸图像标靶检测
使用二维码检测算法识别视频的每帧图像中的二维码标靶并提取二维码标靶的角点的像素坐标。
4、二维码地图构建
利用识别的二维码标靶的ID来提取关键帧图像(即前后两帧至少存在1个相同的标靶)。建立图优化模型，将关键帧图像输入图优化模型，对所有的关键帧图像进行优化，优化对象包括相机(USB接口低畸变相机)参数(包括内参和外参)、图像中标靶的位置和姿态(即上述将各个所述标靶的坐标系转换到目标标靶的坐标系的转换矩阵)，γ1,...,γM,γ1,...,γN,δ为公式2的图像优化模型输出的结果。每个标靶是一个有向二维码，即拥有固定的笛卡尔坐标系，以其中一个标靶(即上述目标标靶)为参照来表示其他标靶的位置。
考虑单帧中的一个标靶，图像优化模型如公式(1)所示，计算重投影误差。
Figure BDA0004024475120000111
cj为已知量，表示标靶i在该标靶坐标系下角点j的三维坐标；
γi为待估计量，表示从标靶坐标系到世界坐标系的齐次变换矩阵；
γt为待估计量，表示从世界坐标系到相机坐标系的齐次变换矩阵，即相机的外参。
δ为待估计量，表示相机的内参矩阵。
函数Ψ(δ,γt,γi,cj)表示标靶i的角点j从三维空间坐标到像素坐标的投影，它先将角点cj转换到世界坐标系，再转换到相机坐标系，最后转换到像素坐标系。
Figure BDA0004024475120000122
为观测量，表示在第t帧下观察到的标靶i第j个角点真实的像素坐标。
Figure BDA0004024475120000123
表示标靶i在第t帧下重投影和观测的误差。
考虑所有帧中的所有标靶，图像优化模型如公式(2)所示，公式(2)为最小化总重投影误差的模型。
Figure BDA0004024475120000121
对于图像优化模型的求解，使用了现有的图优化模型技术，即将每个标靶当作一个节点，计算任意两个节点之间的最优位姿变换，然后寻找最优路径，使得组成该路径的所有边的重投影误差和最小。
经过优化后，获取所有标靶的位置和姿态信息，将各个标靶的坐标系转换到目标标靶的坐标系中，即可生成标靶地图，也称为二维码地图，将二维码地图导入到车机终端设备中。
5、车载环视相机数据采集
在车机终端上采集4路车载环视相机(车载环视相机以4路为例)的图像，图像中包含视野范围内的二维码标靶。
6、环视图像标靶检测
使用二维码检测算法识别车载环视相机采集图像中的二维码标靶并提取二维码标靶的角点的2D坐标信息。
7、车身定位
本方案的相机外参是以车中心坐标系作为参照的，使用二维码地图前，需要先对车身进行定位，确定车中心坐标系，再将二维码地图转换到车中心坐标系上。具体的，以图2中的a图所示的标靶放置策略为例，在车身中轴线紧贴车身前、后的位置，各放置一块标靶，这样可以推理车中心坐标、车身横向、车身纵向在二维码地图中的向量表示，即可确定出车中心坐标系，进而可以计算二维码地图坐标系到车中心坐标系的位姿变换，基于该位姿变换将二维码地图转换到车中心坐标系中，使二维码地图可以被环视标定系统使用。
8、车载环视相机外参标定
根据转换后的二维码地图获取所述相机定位标靶的角点的3D坐标信息，使用全向模型或鱼眼模型对相机定位标靶的角点的2D坐标信息和3D坐标信息进行矫正，每路所述车载环视相机利用矫正后2D坐标信息和3D坐标信息进行自动化标定，得到自身的外参。
9、俯视变换、拼接等
利用求解的各路车载环视相机的外参，推理鸟瞰姿态的俯视变换，将每路所述车载环视相机采集的图像转换为俯视图，进而将各路所述车载环视相机的俯视图拼接起来，完成拼接融合等工作。
可见，与标靶为棋盘格标定布的方案相比，上述车载环视相机外参的标定方法使用的二维码标靶不需要规则的摆放和任何测量，大大节省时间成本；棋盘格标定布摆放与测量本质上是人工建立地图，但存在人工误差，是无法消除且难以优化的，上述车载环视相机外参的标定方法利用二维码的有向性及绝对尺度信息，在单目相机条件下得到了优化的二维码地图，因此全局精度优于后者。
与现有技术中标靶为大小两种尺寸二维码的方案相比，上述车载环视相机外参的标定方法统一二维码的大小，形式上更加简化；大小二维码的方案对标靶数量是有限制的，不能增加更多的标靶来提升标定的精度，上述车载环视相机外参的标定方法则没有此限制；大小二维码的方案通过增加标靶的尺寸来提升标定精度，过大的尺寸不便于运输，现实中难于技术支持服务的实施。
上述车载环视相机外参的标定方法规避了诸如车道线方案的安全性、交规违法问题。与所述其他高精度标定间方案相比，上述车载环视相机外参的标定方法若实施标定间的搭建，不需要考虑标靶布设精度问题。
在本实施例中，提供了一种计算机设备，如图6所示，包括存储器601、处理器602及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的车载环视相机外参的标定方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的车载环视相机外参的标定方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种车载环视相机外参的标定装置，如下面的实施例所述。由于车载环视相机外参的标定装置解决问题的原理与车载环视相机外参的标定方法相似，因此车载环视相机外参的标定装置的实施可以参见车载环视相机外参的标定方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是本发明实施例的车载环视相机外参的标定装置的一种结构框图，如图7所示，该装置包括：
视频采集模块701，用于环绕车辆来采集所有标靶的视频，所述标靶为编码图形标记板，多个所述标靶环绕所述车辆的车身放置，所述车辆的车身中轴线的相关位置放置有所述标靶；
地图生成模块702，用于根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图；
车身坐标系生成模块703，用于根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，所述车辆的车身中心点为所述车中心坐标系的原点；
坐标系转换模块704，用于将所述标靶地图转换到所述车中心坐标系上；
标定模块705，用于针对所述车辆上的每路车载环视相机，将每路所述车载环视相机采集的图像所包括的所述标靶视为每路所述车载环视相机的相机定位标靶，根据所述相机定位标靶在每路所述车载环视相机采集的图像中的位置和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参。
在一个实施例中，地图生成模块，用于识别所述视频的每帧图像中的所述标靶，并提取每帧图像中所述标靶的角点的像素坐标；确定出所述视频的关键帧图像，其中，所述关键帧图像为两帧相邻图像，且两帧相邻图像中包括至少一个相同的所述标靶；将所述关键帧图像输入图优化模型，所述图优化模型输出将各个所述标靶的坐标系转换到目标标靶的坐标系的转换矩阵，其中，所述目标标靶为多个所述标靶中的一个所述标靶，每个所述标靶自身对应有一个坐标系，所述关键帧图像包括所述标靶的角点的像素坐标，根据所述转换矩阵，将各个所述标靶的坐标系转换到所述目标标靶的坐标系中，生成所述标靶地图。
在一个实施例中，车身坐标系生成模块，用于根据放置在所述车辆的车身中轴线的相关位置上的所述标靶的ID，在所述标靶地图中获取放置在所述车辆的车身中轴线的相关位置上的所述标靶的三维坐标；根据所述三维坐标确定所述车辆的车身中心点的坐标；将所述车辆的车身前方确定为所述车中心坐标系的y轴正方向，将所述车辆的车身右方确定为所述车中心坐标系的x轴正方向，将垂直所述车辆所在地面向上的方向确定为所述车中心坐标系的z轴正方向，根据所述三维坐标确定y轴的单位向量，并根据y轴的向量计算x轴的单位向量和z轴的单位向量。
在一个实施例中，标定模块，用于在每路所述车载环视相机采集的图像中识别所述相机定位标靶的角点的2D坐标信息，根据转换后的所述标靶地图获取所述相机定位标靶的角点的3D坐标信息，将所述相机定位标靶的角点的所述2D坐标信息和所述3D坐标信息输入每路所述车载环视相机，每路所述车载环视相机通过自动化标定得到自身的外参。
在一个实施例中，还包括：
拼接模块，用于根据每路所述车载环视相机的外参，将每路所述车载环视相机采集的图像转换为俯视图，将各路所述车载环视相机的俯视图拼接起来。
本发明实施例实现了如下技术效果：实现了基于标靶来进行车载环视相机外参的标定，该标靶的放置无需布设棋盘格、也无需测量，使得避免引入测量误差，对标定场地没有特殊要去，从而提高了标定的灵活性，也有利于提高标定结果的精度；此外对标靶的尺寸没有要求，不需要大尺寸的标靶，从而有利于提高标定的操作便捷性。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车载环视相机外参的标定方法，其特征在于，包括：
环绕车辆来采集所有标靶的视频，所述标靶为编码图形标记板，多个所述标靶环绕所述车辆的车身放置，所述车辆的车身中轴线的相关位置放置有所述标靶；
根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图；
根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，所述车辆的车身中心点为所述车中心坐标系的原点；
将所述标靶地图转换到所述车中心坐标系上；
针对所述车辆上的每路车载环视相机，将每路所述车载环视相机采集的图像所包括的所述标靶视为每路所述车载环视相机的相机定位标靶，根据所述相机定位标靶在每路所述车载环视相机采集的图像中的位置信息和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参。
2.如权利要求1所述的车载环视相机外参的标定方法，其特征在于，根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图，包括：
识别所述视频的每帧图像中的所述标靶，并提取每帧图像中所述标靶的角点的像素坐标；
确定出所述视频的关键帧图像，其中，所述关键帧图像为两帧相邻图像，且两帧相邻图像中包括至少一个相同的所述标靶；
将所述关键帧图像输入图优化模型，所述图优化模型输出将各个所述标靶的坐标系转换到目标标靶的坐标系的转换矩阵，其中，所述目标标靶为多个所述标靶中的一个所述标靶，每个所述标靶自身对应有一个坐标系，所述关键帧图像包括所述标靶的角点的像素坐标；
根据所述转换矩阵，将各个所述标靶的坐标系转换到所述目标标靶的坐标系中，生成所述标靶地图。
3.如权利要求1所述的车载环视相机外参的标定方法，其特征在于，所述车辆的车身中轴线的相关位置包括以下至少两项：
车身中轴线上车身的前方、车身中轴线上车身的后方、与车身中轴线平行的车身左侧平行线以及与车身中轴线平行的车身右侧平行线。
4.如权利要求1所述的车载环视相机外参的标定方法，其特征在于，根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，包括：
根据放置在所述车辆的车身中轴线的相关位置上的所述标靶的ID，在所述标靶地图中获取放置在所述车辆的车身中轴线的相关位置上的所述标靶的三维坐标；
根据所述三维坐标确定所述车辆的车身中心点的坐标；
将所述车辆的车身前方确定为所述车中心坐标系的y轴正方向，将所述车辆的车身右方确定为所述车中心坐标系的x轴正方向，将垂直所述车辆所在地面向上的方向确定为所述车中心坐标系的z轴正方向，根据所述三维坐标确定y轴的单位向量，并根据y轴的向量计算x轴的单位向量和z轴的单位向量。
5.如权利要求1至4中任一项所述的车载环视相机外参的标定方法，其特征在于，根据所述相机定位标靶在每路所述车载环视相机采集的图像中的位置信息和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参，包括：
在每路所述车载环视相机采集的图像中识别所述相机定位标靶的角点的2D坐标信息，根据转换后的所述标靶地图获取所述相机定位标靶的角点的3D坐标信息，将所述相机定位标靶的角点的所述2D坐标信息和所述3D坐标信息输入每路所述车载环视相机，每路所述车载环视相机通过自动化标定得到自身的外参。
6.如权利要求1至4中任一项所述的车载环视相机外参的标定方法，其特征在于，所述标靶为二维码标记板。
7.如权利要求1至4中任一项所述的车载环视相机外参的标定方法，其特征在于，还包括：
根据每路所述车载环视相机的外参，将每路所述车载环视相机采集的图像转换为俯视图，将各路所述车载环视相机的俯视图拼接起来。
8.一种车载环视相机外参的标定装置，其特征在于，包括：
视频采集模块，用于环绕车辆来采集所有标靶的视频，所述标靶为编码图形标记板，多个所述标靶环绕所述车辆的车身放置，所述车辆的车身中轴线的相关位置放置有所述标靶；
地图生成模块，用于根据所述视频中各个所述标靶的位置信息，生成各个所述标靶组成的标靶地图；
车身坐标系生成模块，用于根据放置在所述车辆的车身中轴线的相关位置上的所述标靶在所述标靶地图中的位置信息，确定所述车辆的车中心坐标系，所述车辆的车身中心点为所述车中心坐标系的原点；
坐标系转换模块，用于将所述标靶地图转换到所述车中心坐标系上；
标定模块，用于针对所述车辆上的每路车载环视相机，将每路所述车载环视相机采集的图像所包括的所述标靶视为每路所述车载环视相机的相机定位标靶，根据所述相机定位标靶在每路所述车载环视相机采集的图像中的位置和在所述标靶地图中的位置信息，确定每路所述车载环视相机的外参。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的车载环视相机外参的标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的车载环视相机外参的标定方法的计算机程序。
CN202211702830.XA 2022-12-28 2022-12-28 车载环视相机外参的标定方法、装置、计算机设备及介质 Pending CN116205986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211702830.XA CN116205986A (zh) 2022-12-28 2022-12-28 车载环视相机外参的标定方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211702830.XA CN116205986A (zh) 2022-12-28 2022-12-28 车载环视相机外参的标定方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN116205986A true CN116205986A (zh) 2023-06-02

Family

ID=86516370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211702830.XA Pending CN116205986A (zh) 2022-12-28 2022-12-28 车载环视相机外参的标定方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN116205986A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499470A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 环视相机定位系统优化控制方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499470A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 环视相机定位系统优化控制方法、装置及系统
CN116499470B (zh) * 2023-06-28 2023-09-05 苏州中德睿博智能科技有限公司 环视相机定位系统优化控制方法、装置及系统

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN111505606B (zh) 多相机与激光雷达系统相对位姿检校方法及装置
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN104019829B (zh) 一种基于pos系统的车载全景相机和线阵激光扫描仪的外参标定方法
CN110969663B (zh) 一种相机外部参数的静态标定方法
CN100417231C (zh) 立体视觉半实物仿真系统及方法
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN111210468A (zh) 一种图像深度信息获取方法及装置
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN101577004B (zh) 一种极线矫正方法、装置和系统
KR20210049581A (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
CN109903382B (zh) 点云数据的融合方法及装置
CN113793270A (zh) 一种基于无人机姿态信息的航拍图像几何校正方法
CN112648976A (zh) 实景影像测量方法、装置、电子设备及存储介质
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN105513078A (zh) 基于图像的立木信息采集方法和装置
CN111932627B (zh) 一种标识物绘制方法及系统
CN116086411B (zh) 数字地形图生成方法、装置、设备和可读存储介质
CN116205986A (zh) 车载环视相机外参的标定方法、装置、计算机设备及介质
CN114820769A (zh) 车辆定位方法、装置、计算机设备、存储介质及车辆
CN112233184B (zh) 基于图像配准的激光雷达与相机标定参数校正方法及装置
CN116594419A (zh) 巡检航线规划方法、装置、电子设备及存储介质
CN113658262B (zh) 相机外参标定方法、装置、系统及存储介质
CN114429515A (zh) 一种点云地图构建方法、装置和设备
CN111968182A (zh) 一种双目相机非线性模型参数的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination