CN117890902A - 传感器融合的时序同步方法 - Google Patents

传感器融合的时序同步方法 Download PDF

Info

Publication number
CN117890902A
CN117890902A CN202211228944.5A CN202211228944A CN117890902A CN 117890902 A CN117890902 A CN 117890902A CN 202211228944 A CN202211228944 A CN 202211228944A CN 117890902 A CN117890902 A CN 117890902A
Authority
CN
China
Prior art keywords
point cloud
cloud data
time
image
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211228944.5A
Other languages
English (en)
Inventor
黄韦翔
林义傑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automotive Research and Testing Center
Original Assignee
Automotive Research and Testing Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automotive Research and Testing Center filed Critical Automotive Research and Testing Center
Priority to CN202211228944.5A priority Critical patent/CN117890902A/zh
Publication of CN117890902A publication Critical patent/CN117890902A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

一种传感器融合的时序同步方法，每当运算装置自光达模块接收到点云数据时，进行以下步骤：(A)根据点云数据，从已自影像拍摄装置所接收到的影像中获得时间上与点云数据对应的候选影像；(B)将点云数据叠合至候选影像；(C)获得叠合后的点云数据与候选影像间的叠合误差；(D)根据叠合误差，利用转换模型，获得叠合误差所对应的时间误差；(E)根据候选影像的接收时间与时间误差获得目标时间；(F)根据目标时间，从已自影像拍摄装置所接收到的影像中获得对应有接收时间与目标时间最近的目标影像。借此使得最后所获得的目标影像与该点云数据在感测时间上最接近甚至是同步，进而达成不同传感器的时序同步。

Description

传感器融合的时序同步方法
技术领域
本发明涉及一种时序同步方法，特别是涉及一种融合不同传感器的传感器融合的时序同步方法。
背景技术
不论是包含了Traffic Jam Assist(交通堵塞辅助机能)而符合Level 3程度的自动驾驶系统，或是Level 4的自主性驾驶(Autonomous Drive，AD)系统，都需要考虑各种不同传感器如，雷达、光达(LiDAR，激光雷达)及摄影机等的信息并比对结合再输出侦测以便后续的自驾控制，故多重感知融合系统被视为必要技术发展。
各感测组件有其不同优势，例如，摄影机(Camera)负责计算机视觉处理，用于辨识行人、交通号志等实际物体的成像，激光雷达(LiDAR)用于探测目标的距离、方位、高度、速度、姿态等特征量。然而，各传感器的感测数据及取样时间皆不相同，例如，摄影机是在每33ms拍摄一影像，光达是在每100ms获得一点云数据，因而存在时间无法同步的问题，将导致各感测数据时序不一致，以及存在彼此之间的空间位姿关系相依问题，故实有必要提出一解决方案。
发明内容
本发明的目的在于提供一种进行不同传感器的时序同步的传感器融合的时序同步方法。
本发明一种传感器融合的时序同步方法，通过存储有用于根据距离误差获得对应该距离误差的时间误差的转换模型的运算装置来实施，该运算装置与设置于移动载具上的影像拍摄装置与光达模块电连接，该影像拍摄装置用于持续且周期性地拍摄位于该移动载具前方的多个障碍物的一连串影像并传送至该运算装置，该光达模块用于持续且周期性地获得位于该移动载具前方且包含所述障碍物的一连串点云数据并传送至该运算装置，该传感器融合的时序同步方法包含以下步骤：
每当该运算装置自该光达模块接收到点云数据时，该运算装置进行以下步骤
(A)根据该点云数据，从已自该影像拍摄装置所接收到的影像中获得时间上与该点云数据对应的候选影像，
(B)将该点云数据叠合至该候选影像，
(C)获得叠合后的点云数据与该候选影像间的叠合误差，
(D)根据该叠合误差，利用该转换模型，获得该叠合误差所对应的时间误差，
(E)根据该候选影像的接收时间与该叠合误差所对应的该时间误差获得目标时间，及
(F)根据该目标时间，从已自该影像拍摄装置所接收到的影像中获得对应有接收时间与该目标时间最近的目标影像。
本发明所述传感器融合的时序同步方法，该运算装置还存储有多笔训练数据，每笔训练数据包含训练距离误差及训练时间误差，在接收所述点云数据前，还包含以下步骤：
(G)根据所述训练数据，利用机器学习算法，获得该转换模型。
本发明所述传感器融合的时序同步方法，步骤(B)包含以下子步骤：
(B-1)根据相关于该点云数据的点云坐标系与该候选影像的像素坐标系的坐标系转换的坐标转换参数组，将该点云数据转换为二维点云数据；及
(B-2)将该二维点云数据与该候选影像叠合。
本发明所述传感器融合的时序同步方法，在步骤(B)前，还包含以下步骤：
(H)将该点云数据进行对象分群以获得多个不同的点云群组，并将每一点云群组标记为点云对象；及
(I)将该候选影像进行对象分群，以获得多个不同的影像对象。
本发明所述传感器融合的时序同步方法，在步骤(H)中，是透过基于密度的聚类算法及k-平均算法的其中一者来将该点云数据进行对象分群以获得多个不同的点云群组，且在步骤(I)中，是透过该基于密度的聚类算法及该k-平均算法的其中一者来将该候选影像进行对象分群，以获得多个不同的影像对象。
本发明所述传感器融合的时序同步方法，步骤(C)包含以下子步骤：
(C-1)自该候选影像的影像对象中获得至少一待比对对象，其中每一待比对对象位置上与叠合后的点云数据所对应的点云对象的其中一者对应；
(C-2)获得该候选影像的至少一待比对对象的几何特征；
(C-3)获得叠合后的点云数据所对应的点云对象中对应该至少一待比对对象的至少一基准对象的几何特征；及
(C-4)计算该至少一待比对对象的几何特征与该至少一基准对象的几何特征间的距离差值，以作为该叠合误差。
本发明所述传感器融合的时序同步方法，在步骤(C-2)中，是透过随机抽样一致性算法及快速特征点提取和描述的算法的其中一者来获得该至少一待比对对象的几何特征，且在步骤(C-3)中，是透过该随机抽样一致性算法及该快速特征点提取和描述的算法的其中一者来获得该至少一基准对象的几何特征。
本发明所述传感器融合的时序同步方法，在步骤(C-4)中是透过计算该至少一待比对对象的几何特征与该至少一基准对象的几何特征间的欧式距离及马氏距离的其中一者来获得该距离差值。
本发明的有益效果在于：通过先自该影像拍摄装置所接收到的影像中初步获得该候选影像，接着计算叠合后的点云数据与该候选影像间的该叠合误差，且根据该叠合误差利用该转换模型，获得该时间误差，再根据该时间误差获得该目标影像，借此针对该时间误差进行时间补偿，以使得最后所获得的目标影像与该点云数据在感测时间上最接近甚至是同步，进而达成不同传感器的时序同步。
附图说明
本发明的其他的特征及功效，将于参照附图的实施方式中清楚地呈现，其中：
图1是一方块图，说明实施本发明传感器融合的时序同步方法的实施例的运算装置与影像拍摄装置及光达模块电连接；
图2是一流程图，说明本发明传感器融合的时序同步方法的实施例的转换模型获得程序；
图3是一流程图，说明本发明传感器融合的时序同步方法的实施例的传感器时序同步程序；
图4是一流程图，说明运算装置如何将点云数据叠合至候选影像；
图5是一流程图，说明运算装置如何获得叠合误差。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
参阅图1，本发明传感器融合的时序同步方法的实施例通过一运算装置11来实施。该运算装置11与设置于一移动载具上的一影像拍摄装置12与一光达模块13电连接。
该影像拍摄装置12用于持续且周期性地拍摄位于该移动载具前方的多个障碍物的一连串影像并传送至该运算装置11。在本实施例中，该影像拍摄装置12例如为一摄影机，且在每33ms拍摄一张影像。
该光达模块13用于持续获得位于该移动载具前方且包含所述障碍物的一连串点云数据。在本实施例中，该光达模块13例如为一光达传感器，且在每100ms获得一笔点云数据。
该运算装置11存储有多笔训练数据，每笔训练数据包含一训练距离误差及一训练时间误差。在本实施方式中，每笔训练数据的获得方式相似，以下仅就其中一笔训练数据的获得方式进行说明，该训练数据可透过实验设计在一第一时间点透过该影像拍摄装置12拍摄相关于一场景的一训练影像，且在一第二时间点透过该光达模块13获得相关于该场景的一训练点云数据，并将该第一时间点与该第二时间点间的差值作为该训练数据的训练时间误差。接着，将该训练点云数据进行对象分群以获得多个不同的训练点云群组，并将每一训练点云群组标记为一训练点云对象，且将该训练影像进行对象分群，以获得多个不同的训练影像对象，然后，将该训练点云数据叠合至该训练影像，接着，自该训练影像的训练影像对象中获得至少一待比对训练对象，其中每一待比对训练对象位置上与叠合后的训练点云数据所对应的训练点云对象的其中一者对应，然后，获得该训练影像的至少一待比对训练对象的几何特征，并获得叠合后的训练点云数据所对应的训练点云对象中至少一对应该至少一待比对训练对象的基准训练对象的几何特征，最后，计算该至少一待比对训练对象的几何特征与该至少一基准训练对象的几何特征间的一距离差值，以作为该训练数据的训练距离误差。
该运算装置11例如为一处理器或一微处理器等其他可执行运算功能的芯片。
本发明传感器融合的时序同步方法的实施例包含一转换模型获得程序及一传感器时序同步程序。其中，每当该运算装置11自该光达模块13接收到一点云数据时，该运算装置11即会进行该传感器时序同步程序。
参阅图1与图2，本发明传感器融合的时序同步方法的实施例的转换模型获得程序包含以下步骤。
在步骤21中，该运算装置11根据所述训练数据，利用一机器学习算法，获得一用于根据一距离误差获得一对应该距离误差的时间误差的转换模型。通过此转换模型即可获得距离误差与时间误差的关系，以建立出可实时调整多重传感器的时序同步的机制，进而达成适应性获得补偿时间的目的。
参阅图1与图3，本发明传感器融合的时序同步方法的实施例的传感器时序同步程序包含以下步骤。
在步骤31中，该运算装置11根据该点云数据，从已自该影像拍摄装置12所接收到的影像中获得一时间上与该点云数据对应的候选影像。
在步骤32中，该运算装置11将该点云数据进行对象分群以获得多个不同的点云群组，并将每一点云群组标记为一点云对象。在本实施方式中，该运算装置11是透过一基于密度的聚类算法或一k-平均算法来将该点云数据进行对象分群以获得多个不同的点云群组。
在步骤33中，该运算装置11将该候选影像进行对象分群，以获得多个不同的影像对象。在本实施方式中，该运算装置11是透过该基于密度的聚类算法或该k-平均算法来将该候选影像进行对象分群，以获得多个不同的影像对象。
在步骤34中，该运算装置11将该点云数据叠合至该候选影像。
值得一提，步骤34还包含以下子步骤(见图4)。
在子步骤341，该运算装置11根据相关于该点云数据的一点云坐标系与该候选影像的像素坐标系的坐标系转换的一坐标转换参数组，将该点云数据转换为二维点云数据。值得一提的是，该坐标转换参数组包含一外部参数矩阵及一内部参数矩阵，该外部参数矩阵是根据该光达模块13的架设位置与该影像拍摄装置12的架设位置而获得。该内部参数矩阵是根据该影像拍摄装置12的以像素为单位的焦距距离，及影像中心坐标而获得。由于本发明的重点不在于如何将该点云数据转换为二维点云数据，其运算细节可参考http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/parameters.htm1此网站的说明，不再于此赘述及细节。
在子步骤342，该运算装置11将该二维点云数据与该候选影像叠合。
在步骤35中，该运算装置11获得叠合后的点云数据与该候选影像间的一叠合误差。
值得一提，步骤35还包含以下子步骤(见图5)。
在子步骤351，该运算装置11自该候选影像的影像对象中获得至少一待比对对象，其中每一待比对对象位置上与叠合后的点云数据所对应的点云对象的其中一者对应。
在子步骤352，该运算装置11获得该候选影像的至少一待比对对象的几何特征。在本实施方式中，该运算装置11是透过一随机抽样一致性算法或一快速特征点提取和描述的算法来获得该至少一待比对对象的几何特征。
在子步骤353，该运算装置11获得叠合后的点云数据所对应的点云对象中对应该至少一待比对对象的至少一基准对象的几何特征。在本实施方式中，该运算装置11是透过该随机抽样一致性算法或该快速特征点提取和描述的算法来获得该至少一基准对象的几何特征。
在子步骤354，该运算装置11计算该至少一待比对对象的几何特征与该至少一基准对象的几何特征间的一距离差值，以作为该叠合误差。在本实施方式中，该运算装置11是透过计算该至少一待比对对象的几何特征与该至少一基准对象的几何特征间的一欧式距离或一马氏距离来获得该距离差值。
在步骤36中，该运算装置11根据该叠合误差，利用该转换模型，获得该叠合误差所对应的一时间误差。透过该转换模型，针对不同的叠合误差，皆可适应性地获得对应的时间误差，借此达成依据不同的叠合误差来适应性地调整补偿时间的目的。
在步骤37中，该运算装置11根据该候选影像的接收时间与该叠合误差所对应的该时间误差获得一目标时间。借此以针对该时间误差进行时间补偿。
在步骤38中，该运算装置11根据该目标时间从已自该影像拍摄装置12所接收到的影像中获得对应有接收时间与该目标时间最近的目标影像。借此，获得拍摄上与进行时间补偿后的目标时间最接近的目标影像。
值得特别说明的是，由于该影像拍摄装置12是每33ms拍摄一张影像，该光达模块13是每100ms获得一笔点云数据，加上该影像拍摄装置12与该光达模块13开始获取数据的起始时间恐也存在误差，故该影像拍摄装置12与该光达模块13获得数据的时间恐不同步，本发明通过步骤31～38的执行，以该光达模块13获得该点云数据的获得时间(等同于该运算装置11接收到该点云数据的接收时间)为准去获得拍摄时间(等同于该运算装置11接收到影像的接收时间)上最接近该点云数据的获得时间的目标影像，进而尽量使所获得的目标影像能与所对应的点云数据在时间上同步。
综上所述，本发明传感器融合的时序同步方法，通过该运算装置11先自该影像拍摄装置12所接收到的影像中初步获得该候选影像，接着计算叠合后的点云数据与该候选影像间的该叠合误差，且根据该叠合误差利用该转换模型，获得该时间误差，再根据该时间误差获得该目标影像，以使得最后所获得的目标影像与该点云数据在感测时间上最接近甚至是同步，借此，以达成不同传感器的时序同步，所以确实能达成本发明的目的。
惟以上所述者，仅为本发明的实施例而已，当不能以此限定本发明实施的范围，凡是依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，皆仍属本发明涵盖的范围内。

Claims (8)

1.一种传感器融合的时序同步方法，通过存储有用于根据距离误差获得对应该距离误差的时间误差的转换模型的运算装置来实施，该运算装置与设置于移动载具上的影像拍摄装置与光达模块电连接，该影像拍摄装置用于持续且周期性地拍摄位于该移动载具前方的多个障碍物的一连串影像并传送至该运算装置，该光达模块用于持续且周期性地获得位于该移动载具前方且包含所述障碍物的一连串点云数据并传送至该运算装置，其特征在于，该传感器融合的时序同步方法包含以下步骤：
每当该运算装置自该光达模块接收到点云数据时，该运算装置进行以下步骤
(A)根据该点云数据，从已自该影像拍摄装置所接收到的影像中获得时间上与该点云数据对应的候选影像，
(B)将该点云数据叠合至该候选影像，
(C)获得叠合后的点云数据与该候选影像间的叠合误差，
(D)根据该叠合误差，利用该转换模型，获得该叠合误差所对应的时间误差，
(E)根据该候选影像的接收时间与该叠合误差所对应的该时间误差获得目标时间，及
(F)根据该目标时间，从已自该影像拍摄装置所接收到的影像中获得对应有接收时间与该目标时间最近的目标影像。
2.根据权利要求1所述的传感器融合的时序同步方法，其特征在于，该运算装置还存储有多笔训练数据，每笔训练数据包含训练距离误差及训练时间误差，在接收所述点云数据前，还包含以下步骤：
(G)根据所述训练数据，利用机器学习算法，获得该转换模型。
3.根据权利要求1所述的传感器融合的时序同步方法，其特征在于，步骤(B)包含以下子步骤：
(B-1)根据相关于该点云数据的点云坐标系与该候选影像的像素坐标系的坐标系转换的坐标转换参数组，将该点云数据转换为二维点云数据；及
(B-2)将该二维点云数据与该候选影像叠合。
4.根据权利要求1所述的传感器融合的时序同步方法，其特征在于，在步骤(B)前，还包含以下步骤：
(H)将该点云数据进行对象分群以获得多个不同的点云群组，并将每一点云群组标记为点云对象；及
(I)将该候选影像进行对象分群，以获得多个不同的影像对象。
5.根据权利要求4所述的传感器融合的时序同步方法，其特征在于，在步骤(H)中，是透过基于密度的聚类算法及k-平均算法的其中一者来将该点云数据进行对象分群以获得多个不同的点云群组，且在步骤(I)中，是透过该基于密度的聚类算法及该k-平均算法的其中一者来将该候选影像进行对象分群，以获得多个不同的影像对象。
6.根据权利要求4所述的传感器融合的时序同步方法，其特征在于，步骤(C)包含以下子步骤：
(C-1)自该候选影像的影像对象中获得至少一待比对对象，其中每一待比对对象位置上与叠合后的点云数据所对应的点云对象的其中一者对应；
(C-2)获得该候选影像的至少一待比对对象的几何特征；
(C-3)获得叠合后的点云数据所对应的点云对象中对应该至少一待比对对象的至少一基准对象的几何特征；及
(C-4)计算该至少一待比对对象的几何特征与该至少一基准对象的几何特征间的一距离差值，以作为该叠合误差。
7.根据权利要求6所述的传感器融合的时序同步方法，其特征在于，在步骤(C-2)中，是透过随机抽样一致性算法及快速特征点提取和描述的算法的其中一者来获得该至少一待比对对象的几何特征，且在步骤(C-3)中，是透过该随机抽样一致性算法及该快速特征点提取和描述的算法的其中一者来获得该至少一基准对象的几何特征。
8.根据权利要求6所述的传感器融合的时序同步方法，其特征在于，在步骤(C-4)中是透过计算该至少一待比对对象的几何特征与该至少一基准对象的几何特征间的欧式距离及马氏距离的其中一者来获得该距离差值。
CN202211228944.5A 2022-10-08 2022-10-08 传感器融合的时序同步方法 Pending CN117890902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211228944.5A CN117890902A (zh) 2022-10-08 2022-10-08 传感器融合的时序同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211228944.5A CN117890902A (zh) 2022-10-08 2022-10-08 传感器融合的时序同步方法

Publications (1)

Publication Number Publication Date
CN117890902A true CN117890902A (zh) 2024-04-16

Family

ID=90638147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211228944.5A Pending CN117890902A (zh) 2022-10-08 2022-10-08 传感器融合的时序同步方法

Country Status (1)

Country Link
CN (1) CN117890902A (zh)

Similar Documents

Publication Publication Date Title
JP6825569B2 (ja) 信号処理装置、信号処理方法、およびプログラム
EP2194725A1 (en) Method and apparatus for correcting a depth image
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
CN111950426A (zh) 目标检测方法、装置及运载工具
CN113160327A (zh) 一种点云补全的实现方法和系统
CN110738703B (zh) 定位方法及装置、终端、存储介质
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
CN114898314B (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN112132900A (zh) 一种视觉重定位方法及系统
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN114037968A (zh) 基于深度雷达点云和图像数据融合的车道线检测方法
CN117557637A (zh) 基于Mark点标记的动态飞拍高精度定位方法和装置
CN117422858A (zh) 一种双光图像目标检测方法、系统、设备和介质
CN117890902A (zh) 传感器融合的时序同步方法
CN116342677A (zh) 一种深度估计方法、装置、车辆及计算机程序产品
TWI774543B (zh) 障礙物偵測方法
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
TWI807997B (zh) 感測器融合之時序同步方法
CN113902662A (zh) 基于高阶特征的相机与激光雷达同步融合方法及装置
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
TWI736960B (zh) 同步定位與建圖優化方法
CN109328459B (zh) 智能终端及其3d成像方法、3d成像系统
US20240185456A1 (en) Method of sensor fusion for harmonizing data from multiple data sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination