CN115546299A - 一种结合激光雷达来识别相机位姿变化和异常的方法 - Google Patents
一种结合激光雷达来识别相机位姿变化和异常的方法 Download PDFInfo
- Publication number
- CN115546299A CN115546299A CN202211206030.9A CN202211206030A CN115546299A CN 115546299 A CN115546299 A CN 115546299A CN 202211206030 A CN202211206030 A CN 202211206030A CN 115546299 A CN115546299 A CN 115546299A
- Authority
- CN
- China
- Prior art keywords
- camera
- laser radar
- pose
- transformation matrix
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008859 change Effects 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 123
- 230000009466 transformation Effects 0.000 claims abstract description 97
- 230000001360 synchronised effect Effects 0.000 claims abstract description 46
- 230000005856 abnormality Effects 0.000 claims abstract description 20
- 238000009616 inductively coupled plasma Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 abstract description 11
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 abstract description 11
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 abstract description 11
- 238000009434 installation Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种结合激光雷达来识别相机位姿变化和异常的方法，包括根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达的第一位姿关系；获取车辆行驶时激光雷达的点云数据和相机的图像数据；根据激光雷达点云数据的时间戳进行时间同步得到多组同步后的图像数据；计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，进而得到相机与激光雷达的第二位姿关系；若第一位姿关系和第二位姿关系的欧氏距离大于预设门限值，输出相机位姿异常的识别结果。本发明实施例提供的一种结合激光雷达来识别相机位姿变化和异常的方法，根据相机和激光雷达的位姿关系进行标定及比较，实现了对车辆相机安装姿态的监控，进而保证ADAS功能的可靠性和安全性。
Description
技术领域
本发明涉及车辆控制技术领域，尤其是涉及一种结合激光雷达来识别相机位姿变化和异常的方法。
背景技术
高级驾驶辅助系统(Advanced Driving Assistance System)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、摄像头以及卫星导航)，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。
ADAS摄像头的安装姿态会在车辆下线时进行标定，但在车辆使用过程中，由于震动和老化等原因会影响相机的精度，这将导致视觉感知结果的不准确，进而影响ADAS功能的可靠性和安全性。因此，如何提升相机的准确度，保证ADAS功能的可靠性和安全性，是摆在本行业技术人员面前亟需解决的问题。
发明内容
本发明提供一种结合激光雷达来识别相机位姿变化和异常的方法，根据相机和激光雷达的位姿关系进行特定计算及比较，实现了对车辆相机安装姿态的监控，进而保证ADAS功能的可靠性和安全性。
为了解决上述技术问题，本发明实施例提供了一种结合激光雷达来识别相机位姿变化的方法，包括：
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。
作为其中一种优选方案，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
本发明另一实施例提供了一种结合激光雷达来识别相机位姿异常的方法，包括：
根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；
若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。
作为其中一种优选方案，基于相机与激光雷达的灵敏度确定所述预设门限值。
作为其中一种优选方案，所述根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系，具体包括：
分别获取初始状态下相机的标定参数和激光雷达的标定参数，其中，所述相机的标定参数包括内参矩阵和第一外参矩阵，所述激光雷达的标定参数包括第二外参矩阵；
根据所述标定参数，采用如下公式计算初始状态下相机与激光雷达之间的第一位姿关系：
其中，
为所述第一位姿关系，Rc为所述第一外参矩阵，Rl为所述第二外参矩阵。
作为其中一种优选方案，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
作为其中一种优选方案，基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系，具体包括：
将各组同步后的前后两帧图像之间的特征点进行匹配，得到匹配点对，并基于所述匹配点对，计算前后两帧图像之间相机的位姿变换矩阵；
根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵；
基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系。
作为其中一种优选方案，所述计算前后两帧图像之间相机的位姿变换矩阵，具体包括：
基于所述匹配点对，采用如下公式计算基础矩阵和本质矩阵：
xTFx′＝0
其中，x和x′分别为匹配点对，F为基础矩阵，Mc为所述内参矩阵，E为所述本质矩阵；
对所述本质矩阵进行SVD分解，得到相机的位姿变换矩阵。
作为其中一种优选方案，所述根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵，具体包括：
对预设的目标函数进行迭代，并将所述目标函数小于收敛误差时的函数值确定为激光雷达的位姿变换矩阵；
所述目标函数为：
其中，E(Rnl)为迭代的目标函数的函数值，Rnl为所述激光雷达的位姿变换矩阵，pi为收敛误差为1e-10。
作为其中一种优选方案，所述基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系，具体包括：
构建手眼标定模型，代入多组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算得到相机与激光雷达之间的第二位姿关系；
所述手眼标定模型具体包括：
其中，Rnc为所述相机的位姿变换矩阵，Rnl为所述激光雷达的位姿变换矩阵，
为所述第二位姿关系。
本发明另一实施例提供了一种结合激光雷达来识别相机位姿变化的装置，包括整车控制器，所述整车控制器被配置为：
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。
本发明另一实施例提供了一种结合激光雷达来识别相机位姿异常的装置，包括整车控制器，所述整车控制器被配置为：
根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；
若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。
本发明再一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现如上所述的结合激光雷达来识别相机位姿变化的方法或实现如上所述的结合激光雷达来识别相机位姿异常的方法。
相比于现有技术，本发明实施例的有益效果在于以下所述中的至少一点：
首先根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的(初始)第一位姿关系，从而为后续的比较提供参照指标，在这其中，同步获取门限值；然后根据时间戳技术进行时间同步，得到多组同步后的图像数据，时间戳的同步环节能够提供多组的检测图像数据，为后续的计算提供准确的数据支撑；接着基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系，第二位姿关系反映了相机及激光雷达在每组图像数据中相对于上一时刻的位姿变化；最后在得到新的相机与激光雷达之间的位姿关系(即第二位姿关系)后，计算其与初始标定时两者之间位姿关系的欧式距离，然后判断欧氏距离是否大于预先设置的门限值，进而判断ADAS相机位姿是否发生明显变换，从而输出相机位姿异常的识别结果。通过本发明提供的结合激光雷达来识别相机位姿异常的方法，在车辆使用过程中可以进行标定分析，并输出准确的识别结果，降低了由于震动和老化等原因对相机的影响，保障视觉感知结果的准确，进而保证ADAS功能的可靠性和安全性。
附图说明
图1是本发明其中一种实施例中的结合激光雷达来识别相机位姿变化的方法的流程示意图；
图2是本发明其中一种实施例中的结合激光雷达来识别相机位姿异常的方法的流程示意图；
图3是本发明其中一种实施例中的图像数据获取的流程示意图；
图4是本发明其中一种实施例中的第二位姿关系的获取流程示意图；
图5是本发明其中一种实施例中的整个方法的逻辑框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。本文所使用的术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”以及类似的表述只是为了说明的目的，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
本发明一实施例提供了一种结合激光雷达来识别相机位姿变化的方法，具体的，请参见图1，图1示出为本发明其中一种实施例中的结合激光雷达来识别相机位姿变化的方法的流程示意图，其中包括步骤S1～S3，具体为：
S1、获取车辆行驶时激光雷达的点云数据和相机的图像数据；
S2、根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
S3、基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。
进一步地，在上述实施例中，对于步骤S2：所根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
本发明另一实施例提供了一种结合激光雷达来识别相机位姿异常的方法，具体的，请参见图2，图2示出为本发明其中一种实施例中的结合激光雷达来识别相机位姿异常的方法的流程示意图，其中包括步骤S1～S5，具体为：
S1、根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；
S2、获取车辆行驶时激光雷达的点云数据和相机的图像数据；
S3、根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
S4、基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；
S5、若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。
需要说明的是，本发明中的相机和激光雷达，适用于集环境感知、规划决策以及多等级辅助驾驶等功能于一体的车辆中，该车辆可以是无人驾驶汽车，以适配ADAS的相关功能。无人驾驶汽车是智能汽车的一种，主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目的，所谓无人驾驶，可以通过利用车载传感器来感知车辆周围环境，并根据智能车辆获得的道路、车辆位置和障碍物信息，控制车辆的转向和车辆的速度，从而使车辆能够安全、可靠地在道路上行驶。
进一步地，在上述实施例中，基于相机与激光雷达的灵敏度确定所述预设门限值。
进一步地，在上述实施例中，对于步骤S1中的：根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系，具体包括：
S11、分别获取初始状态下相机的标定参数和激光雷达的标定参数，其中，所述相机的标定参数包括内参矩阵和第一外参矩阵，所述激光雷达的标定参数包括第二外参矩阵；
S12、根据所述标定参数，采用如下公式计算初始状态下相机与激光雷达之间的第一位姿关系：
其中，
为所述第一位姿关系，Rc为所述第一外参矩阵，Rl为所述第二外参矩阵。
相机的内参矩阵反映了相机自身的属性，例如焦距等指标，由实际的车辆型号和相机型号决定，外参矩阵反映了相机在世界坐标系下的坐标位置，上述例如内参矩阵的获取过程和外参矩阵的获取过程可以参照现有技术公开的相关方法，在此不再赘述。
进一步地，在上述实施例中，请参见图3，图3示出为本发明其中一种实施例中的图像数据获取的流程示意图，对于步骤S3：根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
S31、根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
S32、获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
考虑到相机和激光雷达的采样频率各不相同，例如相机为30帧，激光雷达为10帧，因此，为了提供准确的图像数据，便于后续的计算比较，本实施例根据激光雷达点云数据的时间戳，将图像与其进行时间同步，从而得到同步后的准确的图像数据，再选取多组同步后的图像数据，为后续的计算提供数据支撑。
进一步地，在上述实施例中，请参见图4，图4示出为第二位姿关系的获取流程示意图，对于步骤S4：基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系，其具体包括：
S41、将各组同步后的前后两帧图像之间的特征点进行匹配，得到匹配点对，并基于所述匹配点对，计算前后两帧图像之间相机的位姿变换矩阵；
S42、根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵；
S43、基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系。
在获取到多组准确的图像数据后，在各组数据中，分别计算相机和激光雷达相对于上一时刻的位姿变化，进而得到相机的位姿变换矩阵Rnc和激光雷达的位姿变换矩阵Rnl，下面详细说明具体的过程。
对于相机的位姿变换矩阵Rnc，在本实施例中，在得到上述匹配点对后，基于所述匹配点对，采用如下公式计算基础矩阵和本质矩阵：
xTFx′＝0
其中，x和x′分别为匹配点对，F为基础矩阵，Mc为所述内参矩阵，E为所述本质矩阵；
对所述本质矩阵进行SVD分解，得到相机的位姿变换矩阵Rnc。
对于激光雷达的位姿变换矩阵Rnl，通过设置目标函数进行迭代计算获取，先设置目标函数：
其中，E(Rnl)为迭代的目标函数的函数值，Rnl为所述激光雷达的位姿变换矩阵，pi为收敛误差为1e-10。通过迭代，寻找E<收敛误差时，Rnl此刻的值，一般收敛误差设置为1e-10。
在得到相机的位姿变换矩阵Rnc和激光雷达的位姿变换矩阵Rnl后，构建手眼标定模型，即AX＝XB，来计算相机与激光雷达之间的位姿关系，计算方法如下：
其中，Rnc为所述相机的位姿变换矩阵，Rnl为所述激光雷达的位姿变换矩阵，
为所述第二位姿关系。
由于一开始的图像数据有多组，依次对每组图像数据重复上述计算过程，通过带入多组Rnc和Rnl的数据作为输入，即可计算出此刻
的值。
本发明另一实施例提供了一种结合激光雷达来识别相机位姿变化的装置，包括整车控制器，所述整车控制器被配置为：
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。
本发明另一实施例提供了一种结合激光雷达来识别相机位姿异常的装置，包括整车控制器，所述整车控制器被配置为：
根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；
若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。
需要说明的是，上述结合激光雷达来识别相机位姿变化的装置，和结合激光雷达来识别相机位姿异常的装置可以集成到相关的车辆电子设备或模块中，并与相机与激光雷达具有通信连接的关系，作为其中一种优选方案，请参见图5，图5示出为本发明其中一种实施例中的整个方法的逻辑框图，例如上述结合激光雷达来识别相机位姿异常的装置以图中监测模块的形式，来执行上述结合激光雷达来识别相机位姿异常的方法，监测相机姿态是否发生变化，在监测到相机姿态发生变化时，通过车辆内的相关报警模块，或仪表盘上的显示装置向用户进行提醒，若监测到相机姿态没有发生变化，则ADAS正常工作。
此外，上述车辆的电子设备还可以为服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此，也即，本发明提供的结合激光雷达来识别相机位姿异常的方法，也可以由服务器实现，也可以由终端和服务器共同实现，在此不再赘述。
本发明再一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现如上所述的结合激光雷达来识别相机位姿变化的方法或实现如上所述的结合激光雷达来识别相机位姿异常的方法。
本发明提供的一种结合激光雷达来识别相机位姿变化和异常的方法、装置及计算机可读存储介质，有益效果在于以下所述中的至少一点：
首先根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的(初始)第一位姿关系，从而为后续的比较提供参照指标，在这其中，同步获取门限值；然后根据时间戳技术进行时间同步，得到多组同步后的图像数据，时间戳的同步环节能够提供多组的检测图像数据，为后续的计算提供准确的数据支撑；接着基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系，第二位姿关系反映了相机及激光雷达在每组图像数据中相对于上一时刻的位姿变化；最后在得到新的相机与激光雷达之间的位姿关系(即第二位姿关系)后，计算其与初始标定时两者之间位姿关系的欧式距离，然后判断欧氏距离是否大于预先设置的门限值，进而判断ADAS相机位姿是否发生明显变换，从而输出相机位姿异常的识别结果。通过本发明提供的结合激光雷达来识别相机位姿异常的方法，在车辆使用过程中可以进行标定分析，并输出准确的识别结果，降低了由于震动和老化等原因对相机的影响，保障视觉感知结果的准确，进而保证ADAS功能的可靠性和安全性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种结合激光雷达来识别相机位姿变化的方法，其特征在于，包括：
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。
2.如权利要求1所述的结合激光雷达来识别相机位姿变化的方法，其特征在于，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
3.一种结合激光雷达来识别相机位姿异常的方法，其特征在于，包括：
根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；
若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。
4.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，基于相机与激光雷达的灵敏度确定所述预设门限值。
5.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，所述根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系，具体包括：
分别获取初始状态下相机的标定参数和激光雷达的标定参数，其中，所述相机的标定参数包括内参矩阵和第一外参矩阵，所述激光雷达的标定参数包括第二外参矩阵；
根据所述标定参数，采用如下公式计算初始状态下相机与激光雷达之间的第一位姿关系：
其中，
为所述第一位姿关系，Rc为所述第一外参矩阵，Rl为所述第二外参矩阵。
6.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
7.如权利要求5所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系，具体包括：
将各组同步后的前后两帧图像之间的特征点进行匹配，得到匹配点对，并基于所述匹配点对，计算前后两帧图像之间相机的位姿变换矩阵；
根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵；
基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系。
8.如权利要求7所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，所述计算前后两帧图像之间相机的位姿变换矩阵，具体包括：
基于所述匹配点对，采用如下公式计算基础矩阵和本质矩阵：
xTFx′＝0
其中，x和x′分别为匹配点对，F为基础矩阵，Mc为所述内参矩阵，E为所述本质矩阵；
对所述本质矩阵进行SVD分解，得到相机的位姿变换矩阵。
9.如权利要求7所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，所述根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵，具体包括：
对预设的目标函数进行迭代，并将所述目标函数小于收敛误差时的函数值确定为激光雷达的位姿变换矩阵；
所述目标函数为：
其中，E(Rnl)为迭代的目标函数的函数值，xi为输入量，Rnl为所述激光雷达的位姿变换矩阵，pi为收敛误差为1e-10。
10.如权利要求7所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，所述基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系，具体包括：
构建手眼标定模型，代入多组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算得到相机与激光雷达之间的第二位姿关系；
所述手眼标定模型具体包括：
其中，Rnc为所述相机的位姿变换矩阵，Rnl为所述激光雷达的位姿变换矩阵，
为所述第二位姿关系。
11.一种结合激光雷达来识别相机位姿变化的装置，其特征在于，包括整车控制器，所述整车控制器被配置为：
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。
12.一种结合激光雷达来识别相机位姿异常的装置，其特征在于，包括整车控制器，所述整车控制器被配置为：
根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；
获取车辆行驶时激光雷达的点云数据和相机的图像数据；
根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；
若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现如权利要求1至2中所述的结合激光雷达来识别相机位姿变化的方法或实现如权利要求3至10中任意一项所述的结合激光雷达来识别相机位姿异常的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211206030.9A CN115546299A (zh) | 2022-09-29 | 2022-09-29 | 一种结合激光雷达来识别相机位姿变化和异常的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211206030.9A CN115546299A (zh) | 2022-09-29 | 2022-09-29 | 一种结合激光雷达来识别相机位姿变化和异常的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546299A true CN115546299A (zh) | 2022-12-30 |
Family
ID=84731541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211206030.9A Pending CN115546299A (zh) | 2022-09-29 | 2022-09-29 | 一种结合激光雷达来识别相机位姿变化和异常的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546299A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115877401A (zh) * | 2023-02-07 | 2023-03-31 | 南京北路智控科技股份有限公司 | 一种液压支架的姿态检测方法、装置、设备及存储介质 |
-
2022
- 2022-09-29 CN CN202211206030.9A patent/CN115546299A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115877401A (zh) * | 2023-02-07 | 2023-03-31 | 南京北路智控科技股份有限公司 | 一种液压支架的姿态检测方法、装置、设备及存储介质 |
| CN115877401B (zh) * | 2023-02-07 | 2023-11-10 | 南京北路智控科技股份有限公司 | 一种液压支架的姿态检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4030393B1 (en) | Method and apparatus for detecting bumpy region of road surface, electronic device, storage medium, computer program product, and vehicle | |
| JP7161410B2 (ja) | シーンにおけるカメラの姿勢を特定するシステム及び方法 | |
| CN111415387A (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| US9744971B2 (en) | Method, system, and computer program product for monitoring a driver of a vehicle | |
| EP3816663B1 (en) | Method, device, equipment, and storage medium for determining sensor solution | |
| CN112781586B (zh) | 一种位姿数据的确定方法、装置、电子设备及车辆 | |
| CN112146682B (zh) | 智能汽车的传感器标定方法、装置、电子设备及介质 | |
| CN110470333A (zh) | 传感器参数的标定方法及装置、存储介质和电子装置 | |
| CN111127584A (zh) | 建立视觉地图的方法和装置、电子设备和存储介质 | |
| CN115546299A (zh) | 一种结合激光雷达来识别相机位姿变化和异常的方法 | |
| CN114323033A (zh) | 基于车道线和特征点的定位方法、设备及自动驾驶车辆 | |
| CN114970705A (zh) | 基于多传感数据的行驶状态分析方法、装置、设备及介质 | |
| CN111982133A (zh) | 基于高精地图对车辆进行定位的方法、装置及电子设备 | |
| CN113610136A (zh) | 传感器数据同步方法、装置、计算机设备和存储介质 | |
| CN114136356A (zh) | 参数采集测试系统、方法、设备及计算机可读存储介质 | |
| CN112590798B (zh) | 用于检测驾驶员状态的方法、装置、电子设备和介质 | |
| CN114359386A (zh) | 点云数据的处理方法、处理装置、存储介质及处理器 | |
| CN112477868B (zh) | 碰撞时间计算方法、装置、可读存储介质和计算机设备 | |
| CN115171384A (zh) | 一种车载显示过程中关键车位置延迟补偿方法及装置 | |
| CN116642511A (zh) | Ar导航图像渲染方法、装置、电子设备及存储介质 | |
| GB2604175A (en) | A method for determining a mounting position error of an environment sensor device of an assistance system of a motor vehicle as well as an assistance syste | |
| CN111142762A (zh) | 车辆、车机设备及其触摸操作智能修正方法 | |
| CN110738190A (zh) | 一种疲劳驾驶的判断方法、装置及设备 | |
| US11485385B2 (en) | Processing data for driving automation system | |
| CN113442910B (zh) | 用于辅助停车的方法、装置、设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |