CN115471678A - 点云数据和图像的对齐方法、装置、设备、介质和车辆 - Google Patents

点云数据和图像的对齐方法、装置、设备、介质和车辆 Download PDF

Info

Publication number
CN115471678A
CN115471678A CN202210509288.XA CN202210509288A CN115471678A CN 115471678 A CN115471678 A CN 115471678A CN 202210509288 A CN202210509288 A CN 202210509288A CN 115471678 A CN115471678 A CN 115471678A
Authority
CN
China
Prior art keywords
image
acquisition device
radar
image acquisition
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210509288.XA
Other languages
English (en)
Inventor
冯宗宝
范京琛
贾鹏
詹锟
张亚州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing CHJ Automobile Technology Co Ltd
Original Assignee
Beijing CHJ Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing CHJ Automobile Technology Co Ltd filed Critical Beijing CHJ Automobile Technology Co Ltd
Priority to CN202210509288.XA priority Critical patent/CN115471678A/zh
Publication of CN115471678A publication Critical patent/CN115471678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提出了一种点云数据和图像的对齐方法、装置、设备、介质和车辆，涉及车辆检测技术领域，该方法包括：获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻；获取图像采集装置所采集图像的曝光时刻，并基于曝光时刻与重合时刻，从图像采集装置所采集图像中，确定重合时刻对应的目标图像；将目标图像与雷达采集的点云数据进行配对。由此，通过将图像采集装置的曝光时刻和重合时刻进行匹配，筛选出最符合点云数据生成时采集的图像，并将其与点云数据进行匹配，可以大大提高点云数据和图像匹配的准确率。

Description

点云数据和图像的对齐方法、装置、设备、介质和车辆
技术领域
本公开涉及车辆雷达技术领域，尤其涉及一种点云数据和图像的对齐方法、装置、设备、介质和车辆。
背景技术
相关技术中可以通过雷达对车辆四周进行扫描形成点云数据，来识别周边环境，以实现车辆的环境感知，同时也利用环视相机通过拍摄的图像数据进行环境感知，为了提高识别的准确度，通常会对雷达的点云数据和相机的图像数据进行融合处理。
现有的对齐方案通常是将雷达采集的点云数据按照同一个时刻去匹配相机采集的图像数据。一般车辆的环视相机包括有多个，分布在车辆的不同位置，例如前视相机、前左侧视相机、前右侧视相机等等，根据不同的应用场景使用不同相机的图像数据。由于相机相对于雷达的分布位置不同，而雷达通常沿一个方向圆周扫描，例如先扫经前右侧视相机、后右侧视相机…最后再扫经前视相机，匹配点云数据和图像数据时，同一时刻点云和不同相机的图像数据匹配存在时间误差，影响点云数据和图像数据匹配的准确性。
公开内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开的一个目的在于提出一种点云数据和图像对齐方法。
本公开的第二个目的在于提出一种点云数据和图像对齐装置。
本公开的第三个目的在于提出一种电子设备。
本公开的第四个目的在于提出一种非瞬时计算机可读存储介质。
本公开的第五个目的在于提出一种车辆。
为达上述目的，本公开第一方面实施方式提出了一种点云数据和图像对齐方法，包括：获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻；获取所述图像采集装置所采集图像的曝光时刻，并基于所述曝光时刻与所述重合时刻，从所述图像采集装置所采集图像中，确定所述重合时刻对应的目标图像；将所述目标图像与所述雷达采集的点云数据进行配对。
根据本公开的一个实施方式，所述获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻，包括：获取所述图像采集装置的视场角；根据所述图像采集装置的视场角在所述雷达的扫描区域划分对应的扫描扇区；获取所述雷达在扫描过程中扫描位置与所述图像采集装置对应的扫描扇区发生重合的重合时刻。
优选的，所述重合时刻满足以下条件中的任意一种，包括：所述雷达扫描位置与所述图像采集装置的视场角的中线重合的时刻；或所述雷达扫描位置与所述图像采集装置的视场角初始重合的时刻；或所述雷达扫描位置与所述图像采集装置的视场角最后重合的时刻。
根据本公开的一个实施方式，所述获取雷达在扫描过程中扫描位置与图像采集装置对应的扫描扇区发生重合的重合时刻，包括：获取所述雷达的初始扫描位置与所述图像采集装置对应的扫描扇区之间的夹角；获取所述雷达的扫描角速度；根据所述扫描角速度与所述夹角确定所述重合时刻。
根据本公开的一个实施方式，所述基于所述曝光时刻与所述重合时刻，从所述图像采集装置所采集图像中，确定所述重合时刻对应的目标图像，包括：获取所述所采集图像的曝光时刻与所述重合时刻的时间差值；确定所述时间差值中最小值对应的曝光时刻为目标曝光时刻，并将所述目标曝光时刻对应的图像作为所述目标图像。
根据本公开的一个实施方式，所述曝光时刻的确定过程，包括：获取所述图像采集装置所采集的初始图像的初始曝光时刻；根据所述初始曝光时刻和所述曝光周期，确定所述雷达扫描过程中所述图像采集装置所采集的后续图像的曝光时刻。
根据本公开的一个实施方式，所述方法还包括：将所述曝光周期和所述雷达的扫描周期进行比较；响应于所述曝光周期大于所述扫描周期，进行报警，重新设置曝光周期。
根据本公开的一个实施方式，所述获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻之前，还包括：将所述雷达和所述图像采集装置进行时间同步。
为达上述目的，本公开第二方面实施例提出了一种点云数据和图像对齐装置，包括：获取模块，用于获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻；确定模块，用于获取所述图像采集装置所采集图像的曝光时刻，并基于所述曝光时刻与所述重合时刻，从所述图像采集装置所采集图像中，确定所述重合时刻对应的目标图像；匹配模块，用于将所述目标图像与所述雷达采集的点云数据进行配对。
为达上述目的，本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本公开第一方面实施例所述的点云数据和图像对齐方法。
为达上述目的，本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本公开第一方面实施例所述的点云数据和图像对齐方法。
为达上述目的，本公开第五方面实施例提出了一种车辆，包括如本公开第二方面实施例所述的点云数据和图像的对齐装置或如如第三方面实施例所述的电子设备。
本发明首先获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻，然后获取图像采集装置所采集图像的曝光时刻，并基于曝光时刻与重合时刻，从图像采集装置所采集图像中，确定重合时刻对应的目标图像，最后将目标图像与雷达采集的点云数据进行配对。由此，通过将图像采集装置的曝光时刻和重合时刻进行匹配，筛选出最符合点云数据生成时采集的图像，并将其与点云数据进行匹配，可以大大提高点云数据和图像匹配的准确率。
附图说明
图1是本公开一个实施方式的一种点云数据和图像对齐方法的流程图；
图2是本公开一个实施方式的一种点云数据和图像对齐方法的雷达的坐标图；
图3是本公开一个实施方式的另一种点云数据和图像对齐方法的流程图；
图4是本公开一个实施方式的一种点云数据和图像对齐方法的雷达和图像采集装置的方位示意图；
图5是本公开一个实施方式的另一种点云数据和图像对齐方法的流程图；
图6为本公开提出的一种点云数据和图像对齐装置的框图；
图7为本公开提出的一种电子设备框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
图1为本公开提出的一种点云数据和图像对齐方法的一种示例性实施方式的示意图，如图1所示，该点云数据和图像对齐方法包括以下步骤：
S101，获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻。
需要说明的是，本实施例的执行主体为电子设备，该电子设备可为车载电脑或者车载主机等，此处不作任何限定。
在本公开实施例中所描述的雷达为车载雷达，该雷达的种类可为多种，举例来说，该雷达可为激光探测与测量雷达(Light Detection And Ranging，LiDAR)。进一步地，雷达通过扫描，可以生成点云数据，通过点云数据可以分析出车辆行驶过程中雷达扫描到周围环境物体的距离、方位、高度、速度、形态等。
如图2所示，激光雷达按照顺时针旋转，设定其实的同步角度0°，也就是Y轴方向的角度，由于激光雷达各通道在水平方向上存在固定偏差，这里定义当雷达扫描位置经过图2所示的有0°位置时，点云UDP包中对应数据块的方位角(Azimuth)为0°。
本公开实施例中的图像采集装置可为车载摄像头、车载相机等，此处不作任何限定，具体可根据实际情况进行设定。车辆上可装有多个图像采集装置，这些图像采集的装置的位置可为不同，用于采集车辆不同方向上的图像数据。进一步地，视场角在光学工程中又称视场，视场角的大小决定了图像采集装置的视野范围。可以理解的是，不同位置的图像采集装置，由于用途不同，视场角可为不同，此处不作任何限定。
需要说明的是，图像采集装置在车辆的位置为固定的，既视场角的角度为固定的。在本公开实施例中，可认为雷达扫描区域的中心与图像采集装置的视场角的中心重合的那个时刻为重合时刻，此时采集的图像往往时与点云数据最为匹配的图像。举例来说，如图2所示，在确定雷达扫描位置的0度坐标后，可根据雷达的顺时针方向确定图像采集装置的视场角的角度。确定时，可以将图像采集装置的视场角在雷达的扫描区域划分匹配对应的扫描扇区，通过获取雷达在扫描过程中扫描位置与图像采集装置对应的扫描扇区的中线发生重合的重合时刻。
在本公开实施例中，可通过传感器监测雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻。传感器可检测雷达在扫描过程中扫描位置与图像采集装置的视场角重合，然后记录该重合时刻。可选地，还可以将雷达与扫描扇区初始重合的时刻作为重合时刻。
可选地，还可以将雷达与扫描扇区最后重合的时刻作为重合时刻。
可选地，还可通过雷达和图像采集装置的角度差，来确定重合时刻。
S102，获取图像采集装置所采集图像的曝光时刻，并基于曝光时刻与重合时刻，从图像采集装置所采集图像中，确定重合时刻对应的目标图像。
实现中，雷达的扫描频率远小于图像采集装置的曝光频率，既雷达扫描一个周期，图像采集装置可采集了多张图像。为了准确的将点云数据和图像进行匹配，需要选取重合时刻采集的图像，以防止由于图像与点云数据生成时刻的时间差较大，使点云数据和图像的匹配误差较大。
在本公开实施例中，可通过传感器确定图像采集装置采集图像的曝光时刻，并上报进行处理。传感器可检测图像采集装置的曝光动作，并记录该曝光时刻。
可选地，还可通过获取图像采集装置的曝光频率，来确定图像采集装置的曝光时刻。
S103，将目标图像与雷达采集的点云数据进行配对。
在本公开实施例中，响应于雷达扫描一周，将重合时刻的点云数据与目标图像进行匹配。需要说明的是，雷达每扫描一周，形成点云数据，此时需要将每个扫描位置上扫描的点云数据，与基于扫描位置对应的重合时刻确定的目标图像进行匹配。
在本公开实施例中，首先获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻，然后获取图像采集装置所采集图像的曝光时刻，并基于曝光时刻与重合时刻，从图像采集装置所采集图像中，确定重合时刻对应的目标图像，最后将目标图像与雷达采集的点云数据进行配对。由此，通过将图像采集装置的曝光时刻和重合时刻进行匹配，筛选出最符合点云数据生成时采集的图像，并将其与点云数据进行匹配，可以大大提高点云数据和图像匹配的准确率。
需要说明的是，在本公开实施例中，为了防止由于雷达和图像采集装置由于时间不同步，无法按照预设的时间点进行图像采集，以及无法按照准确的时间进行图像、点云数据间的匹配，因此在获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻之前，还需要对雷达和图像采集装置进行时间同步，以实现雷达和图像采集装置根据预设的频率进行工作。
可选地，可通过高精度无线电导航的定位系统(Global Positioning System，GPS)提供两个基础服务，精确位置与授时。此处我们主要使用GPS的基础授时功能，将拿到的时间戳同步到雷达与图像采集装置，达到最基础的授时同步。
可选地，还可根据车载设备的时钟，对雷达和图像采集装置的时间进行同步。
进一步地，在将目标图像与雷达在重合时刻采集的点云数据配对后，在选取到该点的点云数据后，同时可以浏览该点云数据对应的图像。该匹配数据可应用在点云地图的制作、精确导航等领域。
上述实施例中，获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻，还可通过图3进一步解释，该方法包括：
S301，获取雷达的初始扫描位置与图像采集装置对应的扫描扇区之间的夹角。
在本公开实施例中，雷达的初始扫描位置并不固定，可以根据实际需要进行确定，在确定了雷达的初始扫描位置之后，确定雷达的转向，然后根据初始扫描位置和转向确定初始扫描位置与视场角之间的夹角，需要说明的是，该夹角可大于180°。
举例来说，如图4所示，确定雷达的初始扫描位置后，确定雷达的转向为顺时针，然后基于雷达的初始扫描位置和几个图像采集装置的位置，获取它们之间的夹角。
S302，获取雷达的扫描角速度。
在本公开实施例中，雷达的扫描角速度可根据实际需要进行设定，此处不作任何限定。
S303，根据扫描角速度与夹角确定重合时刻。
在本公开实施例中，可通将夹角与扫描角速度进行相除，然后与雷达工作的初始时刻相加，计算获取重合时刻。可以理解的是，不同的初始扫描位置，重合时刻可为不同。可通过设置初始扫描位置，来获取需要的点云及图像的匹配数据。需要说明的是雷达工作的初始时刻并不固定，可定义该雷达到达工作状态后的时刻为初始工作时刻，也可为雷达经历某个位置后的时刻为初始工作时刻。
进一步地，还可通过传感器检测雷达与图像采集装置的实际重合时刻，以防止由于环境原因、系统误差等原因，导致采集的数据出现错误。举例来说，当实际的重合时刻和上述方法计算出的重合时刻存在误差时，可认为雷达和/或相机工作异常，可对设备进行检查。
在本公开实施例中，首先获取雷达的初始扫描位置与视场角之间的夹角，然后获取雷达的扫描角速度，最后根据扫描角速度与夹角确定重合时刻。由此，通过雷达和图像采集装置之间的初始位置关系，确定准确的重合时刻，为后续选取目标图片提供基础。
上述实施例中，基于曝光时刻与重合时刻，从图像采集装置所采集图像中，确定重合时刻对应的目标图像，还可通过图5进一步解释，该方法包括：
S501，获取所采集图像的曝光时刻与重合时刻的时间差值。
在本公开实施例中，可先获取图像采集装置所采集的初始图像的初始曝光时刻，然后根据初始曝光时刻和曝光周期，确定雷达扫描过程中图像采集装置所采集的后续图像的曝光时刻。
举例来说，在确定初始曝光时刻t后，可通过曝光周期T确定N次曝光后的曝光时刻tN，可通过如下公式进行计算：
tN＝t+N*T。
需要说明的是，曝光周期可根据实际情况进行设定，曝光周期越短，雷达扫描周期内采集的图像越多，点云数据可选择绑定的图片越多。
S502，确定时间差值中最小值对应的曝光时刻为目标曝光时刻，并将目标曝光时刻对应的图像作为目标图像。
需要说明的是，获取到曝光时刻与重合时刻的时间差值越小，说明曝光时刻获取的图片越接近重合时刻的时间点，此时采集的图片与点云数据的匹配性越高。
在本公开实施例中，首先获取所采集图像的曝光时刻与重合时刻的时间差值，然后确定时间差值中最小值对应的曝光时刻为目标曝光时刻，并将目标曝光时刻对应的图像作为目标图像。通过重合时刻，对曝光时刻进行筛选，筛选出距离重合时刻最近的目标图像，可以大大增加图片与点云数据的匹配性，提高匹配的正确率。
在本实施例中，每个图像采集装置的曝光周期可为不同，进一步地，由于各个图像采集装置的位置不同，重合时刻也可为不同。举例来说，如图4所示，雷达按照顺时针进行扫描，可将各个图像采集装置的曝光时刻与重合时刻进行比较，确定每个图像采集装置的重合时刻的目标图像。
与上述几种实施例提供的点云数据和图像对齐方法相对应，本公开的一个实施例还提供了一种点云数据和图像对齐装置，由于本公开实施例提供的点云数据和图像对齐装置与上述几种实施例提供的点云数据和图像对齐方法相对应，因此上述点云数据和图像对齐方法的实施方式也适用于本公开实施例提供的点云数据和图像对齐装置，在下述实施例中不再详细描述。
图6为本公开提出的一种点云数据和图像对齐装置的示意图，如图6所示，该点云数据和图像对齐装置600，包括获取模块610、确定模块620、匹配模块630。
其中，获取模块610，用于获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻。
确定模块620，用于获取所述图像采集装置所采集图像的曝光时刻，并基于所述曝光时刻与所述重合时刻，从所述图像采集装置所采集图像中，确定所述重合时刻对应的目标图像。
匹配模块630，用于将所述目标图像与所述雷达采集的点云数据进行配对。
在本公开的一个实施例中，获取模块610，还用于：获取雷达的初始扫描位置与视场角之间的夹角；获取雷达的扫描角速度；根据扫描角速度与夹角确定重合时刻。
在本公开的一个实施例中，确定模块620，还用于：获取所采集图像的曝光时刻与重合时刻的时间差值；确定时间差值中最小值对应的曝光时刻为目标曝光时刻，并将目标曝光时刻对应的图像作为目标图像。
在本公开的一个实施例中，确定模块620，还用于：获取图像采集装置所采集的初始图像的初始曝光时刻；根据初始曝光时刻和曝光周期，确定雷达扫描过程中图像采集装置所采集的后续图像的曝光时刻。
在本公开的一个实施例中，获取模块610，还用于：将雷达和图像采集装置进行时间同步。
在本公开的一个实施例中，匹配模块630，还用于：响应于雷达扫描一周，将重合时刻的点云数据与目标图像进行匹配。
为了实现上述实施例，本公开实施例还提出一种电子设备700，如图7所示，该电子设备700包括：处理器701和处理器通信连接的存储器702，存储器702存储有可被至少一个处理器执行的指令，指令被至少一个处理器701执行，以实现如本公开第一方面实施例的点云数据和图像对齐方法。
为了实现上述实施例，本公开实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如本公开第一方面实施例的点云数据和图像对齐方法。
为了实现上述实施例，本公开实施例还提出一种车辆，包括如本公开第二方面实施例所述的点云数据和图像的对齐装置。
在本公开的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种点云数据和图像的对齐方法，其特征在于，所述方法包括：
获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻；
获取所述图像采集装置所采集图像的曝光时刻，并基于所述曝光时刻与所述重合时刻，从所述图像采集装置所采集图像中，确定所述重合时刻对应的目标图像；
将所述目标图像与所述雷达采集的点云数据进行配对。
2.根据权利要求1所述的方法，其特征在于，所述获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻，包括：
获取所述图像采集装置的视场角；
根据所述图像采集装置的视场角在所述雷达的扫描区域划分对应的扫描扇区；
获取所述雷达在扫描过程中扫描位置与所述图像采集装置对应的扫描扇区发生重合的重合时刻。
3.根据权利要求2所述的方法，其特征在于，所述重合时刻满足以下条件中的任意一种，包括：
所述雷达扫描位置与所述图像采集装置对应的扫描扇区的中线重合的时刻；
所述雷达扫描位置与所述图像采集装置对应的扫描扇区初始重合的时刻；
所述雷达扫描位置与所述图像采集装置对应的扫描扇区最后重合的时刻。
4.根据权利要求2或3所述的方法，其特征在于，所述获取雷达在扫描过程中扫描位置与图像采集装置对应的扫描扇区发生重合的重合时刻，包括：
获取所述雷达的初始扫描位置与所述图像采集装置对应的扫描扇区之间的夹角；
获取所述雷达的扫描角速度；
根据所述扫描角速度与所述夹角确定所述重合时刻。
5.根据权利要求1所述的方法，其特征在于，所述基于所述曝光时刻与所述重合时刻，从所述图像采集装置所采集图像中，确定所述重合时刻对应的目标图像，包括：
获取所述所采集图像的曝光时刻与所述重合时刻的时间差值；
确定所述时间差值中最小值对应的曝光时刻为目标曝光时刻，并将所述目标曝光时刻对应的图像作为所述目标图像。
6.根据权利要求5所述的方法，其特征在于，所述曝光时刻的确定过程，包括：
获取所述图像采集装置采集图像的初始曝光时刻；
根据所述初始曝光时刻和所述图像采集装置的曝光周期，确定所述雷达扫描过程中所述图像采集装置所采集的后续图像的曝光时刻。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述曝光周期和所述雷达的扫描周期进行比较；
响应于所述曝光周期大于所述扫描周期，进行报警，重新设置曝光周期。
8.一种点云数据和图像的对齐装置，其特征在于，所述装置包括：
获取模块，用于获取雷达在扫描过程中扫描位置与图像采集装置的视场角发生重合的重合时刻；
确定模块，用于获取所述图像采集装置所采集图像的曝光时刻，并基于所述曝光时刻与所述重合时刻，从所述图像采集装置所采集图像中，确定所述重合时刻对应的目标图像；
匹配模块，用于将所述目标图像与所述雷达采集的点云数据进行配对。
9.一种电子设备，其特征在于，包括存储器、处理器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
11.一种车辆，其特征在于，所述车辆包括如权利要求8所述的点云数据和图像的对齐装置或者如权利要求9所述的电子设备。
CN202210509288.XA 2022-05-10 2022-05-10 点云数据和图像的对齐方法、装置、设备、介质和车辆 Pending CN115471678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210509288.XA CN115471678A (zh) 2022-05-10 2022-05-10 点云数据和图像的对齐方法、装置、设备、介质和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210509288.XA CN115471678A (zh) 2022-05-10 2022-05-10 点云数据和图像的对齐方法、装置、设备、介质和车辆

Publications (1)

Publication Number Publication Date
CN115471678A true CN115471678A (zh) 2022-12-13

Family

ID=84364801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210509288.XA Pending CN115471678A (zh) 2022-05-10 2022-05-10 点云数据和图像的对齐方法、装置、设备、介质和车辆

Country Status (1)

Country Link
CN (1) CN115471678A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US9197866B2 (en) Method for monitoring a traffic stream and a traffic monitoring device
CN105716582B (zh) 摄像机视场角的测量方法、装置以及摄像机视场角测量仪
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN108429908B (zh) 一种摄像模组的测试方法、装置、设备及介质
US8405716B2 (en) Folding optical path transfer videometrics method for measuring the three-dimensional position and attitude of non-intervisible objects
CN112291024B (zh) 信息同步方法、信息同步装置及电子设备
JP7332475B2 (ja) 車両のカメラシステムを較正するための装置と方法
CN108195305B (zh) 一种双目检测系统及其深度检测方法
CN115471678A (zh) 点云数据和图像的对齐方法、装置、设备、介质和车辆
JP2008292278A (ja) 距離検出装置の光学ずれ検出方法及び距離検出装置
US20080123903A1 (en) Surveying apparatus
JP6075377B2 (ja) 通信装置、通信システム、通信方法およびプログラム
JP2011112556A (ja) 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム
US20230260159A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN114638789A (zh) 一种用于孔位检测的方法及系统
CN209877942U (zh) 像距测量仪
JP2013170829A (ja) ひずみ計測装置及びひずみ計測方法
CN108038888B (zh) 混合相机系统的空间标定方法及装置
CN112465920A (zh) 一种视觉传感器标定方法及装置
US20210240196A1 (en) Positioning apparatus, recording medium, and positioning method
CN117459688B (zh) 基于地图系统的摄像头角度标示方法、装置及介质
JP2011227073A (ja) ３次元位置測定装置
JP7409163B2 (ja) 定置センサ較正装置、および、定置センサ較正方法
WO2024204030A1 (ja) 重機の情報の取得方法、システムおよびプログラム
CN117310649A (zh) 一种激光雷达与相机同步曝光控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination