CN113030990A - 车辆的融合测距方法、装置、测距设备及介质 - Google Patents

车辆的融合测距方法、装置、测距设备及介质 Download PDF

Info

Publication number
CN113030990A
CN113030990A CN202110227824.2A CN202110227824A CN113030990A CN 113030990 A CN113030990 A CN 113030990A CN 202110227824 A CN202110227824 A CN 202110227824A CN 113030990 A CN113030990 A CN 113030990A
Authority
CN
China
Prior art keywords
target area
point cloud
cloud data
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110227824.2A
Other languages
English (en)
Other versions
CN113030990B (zh
Inventor
张坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiways Automobile Shanghai Co Ltd
Original Assignee
Aiways Automobile Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiways Automobile Shanghai Co Ltd filed Critical Aiways Automobile Shanghai Co Ltd
Priority to CN202110227824.2A priority Critical patent/CN113030990B/zh
Publication of CN113030990A publication Critical patent/CN113030990A/zh
Application granted granted Critical
Publication of CN113030990B publication Critical patent/CN113030990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种车辆的融合测距方法、装置、测距设备及介质，涉及数据处理技术领域。该方法包括：获取摄像装置采集的待处理图像、激光雷达采集的点云数据；采用预设算法获取待处理图像中目标检测物所属的目标区域；根据各目标区域以及点云数据，确定各目标区域对应的点云数据；根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据。根据各目标区域的点云数据计算各目标区域与本车之间的距离数据，对待处理图像和点云数据进行融合，使得计算的各目标区域与本车之间的距离数据更加准确。而且，响应用户指令，根据距离数据进行语音播报，使得用户可以快速获知准确的距离数据，以便用户采取相应的驾驶措施，提高了车辆驾驶的安全性。

Description

车辆的融合测距方法、装置、测距设备及介质
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种车辆的融合测距方法、装置、测距设备及介质。
背景技术
在车辆驾驶系统中，环境感知功能是实现后续的决策、路径规划、控制等功能的基础和依据。目前的环境感知主要通过摄像头、雷达等设备实现。摄像头、雷达成为了是实现准确感知功能的核心设备。
相关技术中，通过摄像头采集的车辆周围环境图像，可以确定目标检测物的范围和种类，但是无法准确确定目标检测物与本车的距离；激光雷达可以准确地获得区域内目标检测物离本车的距离，但是区域的测量精度较差。
但是，相关技术中，采用摄像头、雷达进行测距时，容易出现测量的区域与本车之间的距离数据不准确的问题。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种车辆的融合测距方法、装置、测距设备及介质，以便解决相关技术中采用摄像头、雷达进行测距时，容易出现测量的区域与本车之间的距离数据不准确的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种车辆的融合测距方法，包括：
获取摄像装置采集的待处理图像、激光雷达采集的点云数据；
采用预设算法获取所述待处理图像中目标检测物所属的目标区域；
根据各所述目标区域以及所述点云数据，确定各所述目标区域对应的点云数据；
根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据。
可选的，所述根据各所述目标区域以及所述点云数据，确定各所述目标区域对应的点云数据之前，还包括：
根据所述激光雷达的位置坐标，将所述点云数据进行位置变换，获取变换后的所述点云数据，其中，所述变换后的点云数据与所述待处理图像位于同一坐标系统。
可选的，所述根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据之后，还包括：
响应于用户指令，根据所述距离数据生成播报信息；
播放所述播报信息。
可选的，所述响应于用户指令，根据所述距离数据生成播报信息，包括：
响应于用户指令，根据所述距离数据生成对应的文本信息；
生成所述文本信息对应的语音播报信息。
可选的，所述响应于用户指令，根据所述距离数据生成对应的文本信息，包括：
识别获取所述用户指令中的关键词；
根据所述关键词获取所述关键词对应的参数信息；
根据所述关键词以及所述关键词对应的参数信息，采用预设模板生成对应的文本信息。
可选的，所述采用预设算法获取所述待处理图像中目标检测物所属的目标区域，包括：
将所述待处理图像划分为预设个数的子区域；
采用每个所述子区域预测多个回归框和对应的类别信息；
采用每个回归框预测所述回归框内包括不同类别目标检测物的置信值；
根据所述类别信息和所述置信值，确定所述待处理图像中目标检测物所属的目标区域。
可选的，所述根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据之前，还包括：
根据各所述目标区域对应的点云数据，计算各所述目标区域内其它点离中心点之间的距离，其中，每个所述中心点指所述目标区域中点云数据的聚类中心点；
将所述距离小于预设阈值的点确定为目标点、将所述距离大于所述预设阈值的点确定为背景点；
所述根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据，包括：
根据各所述目标区域中的所述目标点，计算各所述目标区域与本车之间的距离数据。
第二方面，本发明实施例还提供了一种车辆的融合测距装置，包括：
获取模块，用于获取摄像装置采集的待处理图像、激光雷达采集的点云数据；采用预设算法获取所述待处理图像中目标检测物所属的目标区域；
确定模块，用于根据各所述目标区域以及所述点云数据，确定各所述目标区域对应的点云数据；
计算模块，用于根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据。
可选的，变换模块，用于根据所述激光雷达的位置坐标，将所述点云数据进行位置变换，获取变换后的所述点云数据，其中，所述变换后的点云数据与所述待处理图像位于同一坐标系统。
可选的，还包括：
生成模块，用于响应于用户指令，根据所述距离数据生成播报信息；
播放模块，用于播放所述播报信息。
可选的，所述生成模块，还用于响应于用户指令，根据所述距离数据生成对应的文本信息；生成所述文本信息对应的语音播报信息。
可选的，所述生成模块，还用于识别获取所述用户指令中的关键词；根据所述关键词获取所述关键词对应的参数信息；根据所述关键词以及所述关键词对应的参数信息，采用预设模板生成对应的文本信息。
可选的，所述获取模块，还用于将所述待处理图像划分为预设个数的子区域；采用每个所述子区域预测多个回归框和对应的类别信息；采用每个回归框预测所述回归框内包括不同类别目标检测物的置信值；根据所述类别信息和所述置信值，确定所述待处理图像中目标检测物所属的目标区域。
可选的，还包括：
第一计算模块，用于根据各所述目标区域对应的点云数据，计算各所述目标区域内其它点离中心点之间的距离，其中，每个所述中心点指所述目标区域中点云数据的聚类中心点；
第一确定模块，用于将所述距离小于预设阈值的点确定为目标点、将所述距离大于所述预设阈值的点确定为背景点；
所述计算模块，还用于根据各所述目标区域中的所述目标点，计算各所述目标区域与本车之间的距离数据。
第三方面，本发明实施例还提供了一种测距设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的车辆的融合测距方法。
第四方面，本发明实施例还提供了一种计算机可读取存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面任一项所述的车辆的融合测距方法。
本发明的有益效果是：本申请实施例提供一种车辆的融合测距方法，包括：获取摄像装置采集的待处理图像、激光雷达采集的点云数据；采用预设算法获取待处理图像中目标检测物所属的目标区域；根据各目标区域以及点云数据，确定各目标区域对应的点云数据；根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据。确定待处理图形中目标检测物所属的目标区域，可以准确的确定出目标区域，继而确定出各目标区域对应的点云数据，根据各目标区域的点云数据计算各目标区域与本车之间的距离数据，对待处理图像和点云数据进行融合，使得计算的各目标区域与本车之间的距离数据更加准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种车辆的融合测距系统的结构示意图；
图2为本发明实施例提供的一种车辆的融合测距方法的流程示意图；
图3为本发明实施例提供的一种车辆的融合测距方法的流程示意图；
图4为本发明实施例提供的一种车辆的融合测距方法的流程示意图；
图5为本发明实施例提供的一种车辆的融合测距方法的流程示意图；
图6为本发明实施例提供的一种车辆的融合测距方法的流程示意图；
图7为本发明实施例提供的一种车辆的融合测距方法的流程示意图；
图8为本发明实施例提供的一种车辆的融合测距装置的结构示意图；
图9为本发明实施例提供的一种测距设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
针对相关技术中，采用摄像头、雷达进行测距时，容易出现测量的区域与本车之间的距离数据不准确的问题。本申请实施例提供的融合测距方法，确定待处理图形中目标检测物所属的目标区域，可以准确的确定出目标区域，继而确定出各目标区域对应的点云数据，根据各目标区域的点云数据计算各目标区域与本车之间的距离数据，对待处理图像和点云数据进行融合，使得计算的各目标区域与本车之间的距离数据更加准确。
本申请实施例提供的车辆的融合测距方法，可以应用于车辆的融合测距系统中。图1为本发明实施例提供的一种车辆的融合测距系统的结构示意图，如图1所示，该车辆的融合测距系统可以包括：摄像装置101、激光雷达102、测距设备103，其中，测距设备103均与摄像装置101、激光雷达102通信连接，通信连接的方式可以为有线通信连接或者无线通信连接。
在一种可能的实施方式中，摄像装置101可以采集待处理图像，激光雷达102可以采集点云数据；摄像装置101可以向测距设备103发送待处理图像，激光雷达102可以向测距设备103发送点云数据；测距设备103可以接收待处理图像和点云数据，并采用预设算法获取待处理图像中目标检测物所属的目标区域，继而根据各目标区域以及点云数据，确定各目标区域对应的点云数据，根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据。
在实际应用中，车辆的融合测距系统可以部署于车辆上，该车辆可以为自动驾驶车辆，也可以为人工驾驶车辆，还可以为其他类型的车辆，本申请实施例对此不进行具体限制。例如，摄像装置101、激光雷达102可以部署在车辆顶部的中间区域，测距设备103可以部署在车辆内。
需要说明的是，测距设备103可以为具备处理功能的设备，例如，测距设备103可以为车载终端或者车载服务器。以下以测距设备103为执行主体，对本申请实施例提供的车辆的融合测距方法进行解释说明。
图2为本发明实施例提供的一种车辆的融合测距方法的流程示意图，如图2所示，该车辆的融合测距方法可以包括：
S201、获取摄像装置采集的待处理图像、激光雷达采集的点云数据。
其中，待处理图像可以为至少一个摄像装置所采集的图像，例如，摄像装置的数量可以为4个。
在一些实施方式中，摄像装置可以采集待处理图像，激光雷达可以采集的点云数据；摄像装置可以向测距设备发送待处理图像，激光雷达可以向测距设备发送点云数据；测距设备可以接收待处理图像和点云数据，以获取到待处理图像和点云数据。
需要说明的是，测距设备可以同时获取待处理图像和点云数据，也可以先获取待处理图像后获取点云数据，还可以先获取点云数据后获取待处理图像，本申请实施例对此不进行具体限制。
S202、采用预设算法获取待处理图像中目标检测物所属的目标区域。
其中，待处理图像中目标检测物的数量可以为至少一个，对应的，目标区域的数量也可以为至少一个。
在本申请实施例中，测距设备可以采用预设算法对待处理图像进行处理，得到目标检测物所属的目标区域；也可以采用预设模型对待处理图像进行处理，得到目标检测物所属的目标区域；还可以采用其他方式对待处理图像进行处理，得到目标检测物所属的目标区域，本申请实施例对此不进行具体限制。
S203、根据各目标区域以及点云数据，确定各目标区域对应的点云数据。
其中，一个目标区域对应一个目标检测物，一个目标区域对应的点云数据可以为一个目标检测物对应的点云数据。
在一些实施方式中，测距设备可以确定摄像装置采集的待处理图像和激光雷达采集的点云数据之间的对应关系，在确定出待处理图像中的至少一个目标区域后，可以确定出各目标区域对应的点云数据。
需要说明的是，点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以X，Y，Z三维坐标的形式表示，每组X，Y，Z代表一个点的几何位置信息。目标检测物表面反射可以生成点云数据，点云数据的集合可以代表目标检测物的外表面。
S204、根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据。
在本申请实施例中，测距设备可以同时计算各目标区域与本车之间的距离数据，也可以依次计算各目标区域与本车之间的距离数据，还可以采用其他方式计算计算各目标区域与本车之间的距离数据，本申请实施例对此不进行具体限制。
需要说明的是，一个目标区域可以对应一个目标检测物，计算的各目标区域与本车之间的距离数据，可以为待处理图像中各个目标检测物与本车之间的距离。
综上所述，本申请实施例提供一种车辆的融合测距方法，包括：获取摄像装置采集的待处理图像、激光雷达采集的点云数据；采用预设算法获取待处理图像中目标检测物所属的目标区域；根据各目标区域以及点云数据，确定各目标区域对应的点云数据；根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据。确定待处理图形中目标检测物所属的目标区域，可以准确的确定出目标区域，继而确定出各目标区域对应的点云数据，根据各目标区域的点云数据计算各目标区域与本车之间的距离数据，对待处理图像和点云数据进行融合，使得计算的各目标区域与本车之间的距离数据更加准确。
可选的，在上述S203中根据各目标区域以及点云数据，确定各目标区域对应的点云数据的过程之前，该方法还可以包括：
根据激光雷达的位置坐标，将点云数据进行位置变换，获取变换后的点云数据。
其中，变换后的点云数据与待处理图像位于同一坐标系统。
在本申请实施例中，待处理图像具有对应的坐标系统，点云数据也具有对应的坐标系统。以车辆行驶方向为参照，待处理图像具有对应的坐标系统X轴方向向右，Y轴方向向下，Z轴方向向前；点云数据对应的坐标系统X轴的方向向前，Y轴的方向向左，Z轴的方向向上。对点云数据的进行位置变换后，可以得到变换后的点云数据，变换后的点云数据与待处理图像位于同一坐标系统，实现了待处理图像与点云数据的融合。
在一些实施方式中，可以采用预设公式，根据激光雷达的位置坐标，将点云数据进行位置变换，获取变换后的点云数据。预设公式可以为
Figure BDA0002957118020000091
其中，
Figure BDA0002957118020000092
y＝(u，v，1)T为待处理图像对应的坐标系统中一点，x＝(x，y，z，1)T为点云数据对应的坐标系统中一点，
Figure BDA0002957118020000093
表示横坐标对应的焦距，
Figure BDA0002957118020000094
表示纵坐标对应的焦距，
Figure BDA0002957118020000095
表示横坐标对应的常数，
Figure BDA0002957118020000096
表示纵坐标对应的常数，摄像装置的数量可以为多个，
Figure BDA0002957118020000097
可以表示多个摄像装置中其他摄像装置相对于目标摄像装置的偏移。
可选的，图3为本发明实施例提供的一种车辆的融合测距方法的流程示意图，如图3所示，上述S204中根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据的过程之后，该方法还可以包括：
S301、响应于用户指令，根据距离数据生成播报信息。
其中，用户指令可以为语音输入的指令，也可以为触控输入的指令，还可以为采用其他方式输入的指令，本申请实施例对此不进行具体限制。
在一些实施方式中，如图1所示，车辆的融合测距系统还可以包括麦克风104，测距设备还与麦克风电连接，测距设备可以响应麦克风输入的用户指令，根据距离数据生成播报信息。
S302、播放播报信息。
其中，如图1所示，车辆的融合测距系统还可以包括扬声器105，测距设备还与扬声器电连接。
在一些实施方式中，测距设备可以向扬声器发送播报信息，扬声器可以根据播报信息进行播放，以使用户获知距离数据。当然，测距设备还可以电连接有显示屏，测距设备可以向显示屏发送播报信息，显示屏可以根据播报信息进行展示，以使用户获知距离数据。
可选的，图4为本发明实施例提供的一种车辆的融合测距方法的流程示意图，如图4所示，上述S301中响应于用户指令，根据距离数据生成播报信息的过程，可以包括：
S401、响应于用户指令，根据距离数据生成对应的文本信息。
S402、生成文本信息对应的语音播报信息。
需要说明的是，基于用户指令的不同，距离数据生成对应的文本信息可以不同。该文本信息可以为多个目标区域与本车之间的距离数据对应的文本信息；也可以为多个目标区域中一个目标区域与本车之间的距离数据对应的文本信息；本申请实施例对此不进行具体限制。
可选的，图5为本发明实施例提供的一种车辆的融合测距方法的流程示意图，如图5所示，上述S401中响应于用户指令，根据距离数据生成对应的文本信息的过程，可以包括：
S501、识别获取用户指令中的关键词。
在一些实施方式中，测距设备可以根据命令词识别SDK(Software DevelopmentKit，软件开发工具包)识别用户指令中的关键词。例如，用户指令可以为“前面车辆距离多远”，则关键词可以为“距离”以及“前面车辆”。
S502、根据关键词获取关键词对应的参数信息。
其中，待处理图像中可以包括至少一个目标区域，候选参数信息可以为每个目标区域与本车之间的距离数据，即包括多个距离数据。
在一种可能的实施方式中，每个目标区域具有对应的标识信息，标识信息可以标识目标区域的类型，测距设备与关键词匹配的标识信息，继而根据标识信息确定相应的目标区域，将该目标区域与本车的距离数据作为关键词对应的参数信息。
例如，多个距离数据可以包括：前面车辆所在的第一区域与本车的第一距离；前面行人所在的第二区域与本车的第二距离；当确定关键字为“距离”以及“前面车辆”时，可以从第一距离和第二距离中确定第一距离为关键词对应的参数信息。
S503、根据关键词以及关键词对应的参数信息，采用预设模板生成对应的文本信息。
综上所述，本发明实施例中，本车可以为自动驾驶车辆，通过语音交互系统，可使得用户能方便地通过语音获得环境感知系统所检测到的环境的相关信息，例如目标区域与本车的距离信息，如果相关信息有误，用户可及时获知并采取对应的措施。从而有效提高环境感知系统的可靠性及自动驾驶系统的安全性能。
可选的，图6为本发明实施例提供的一种车辆的融合测距方法的流程示意图，如图6所示，上述S202中采用预设算法获取待处理图像中目标检测物所属的目标区域的过程，可以包括：
S601、将待处理图像划分为预设个数的子区域。
S602、采用每个子区域预测多个回归框和对应的类别信息。
其中，当待检测物的中心点落在多个子区域中的一个子区域时，该子区域可以对待检测物所在的区域和类别进行预测。
在本申请实施例中，目标子区域可以预测多个回归框(bounding boxs)，该可以预测每个回归框的置信度，每个回归框的置信度可以表示为
Figure BDA0002957118020000111
其中，Pr(Object)表示目标子区域存在待检测物的概率，若待检测物落在一个目标子区域中，Pr(Object)可以取1，否则取0。
Figure BDA0002957118020000112
表示重叠区域和合并区域的比值，重叠区域为回归框与待检测物所在的实际区域的重叠区域，待检测物为回归框与实际区域的合并区域。
另外，回归框的数量可以为B，对于每个回归框需要预测(x，y，w，h)和置信度共5个值，其中，中心坐标的预测值(x,y)是相对于每个子区域左上角坐标点的偏移值，w和h预测值是相对于整个待处理图像的宽与高的比例，对于每个子区域预测的类别信息数量为C；当多个子区域的数量为S x S时，则输出的向量数量为：S x S x(5*B+C)。
S603、采用每个回归框预测回归框内包括不同类别目标检测物的置信值。
其中，置信值可以用于表示每个回归框为不同类别目标检测物的概率。
在一些实施方式中，对子区域预测的类别信息和每个回归框的置信度进行相乘，得到预测每个回归框为不同类别目标检测物的概率
Figure BDA0002957118020000113
Figure BDA0002957118020000114
其中，Pr(Classi|)为子区域预测的类别信息，
Figure BDA0002957118020000115
Figure BDA0002957118020000116
为每个回归框的置信度。
S604、根据类别信息和置信值，确定待处理图像中目标检测物所属的目标区域。
在一种可能的实施方式中，测距设备可以判断回归框的置信值是否大于或者等于预设阈值；若是，则保留该回归框，以及该回归框对应的置信值和类别信息；对保留的回归框进行NMS(非极大值抑制算法)处理，得到目标检测物所属的目标区域，其中，还可以确定目标区域的标识信息，即目标检测物的类别信息。
在实际应用中，目标检测物可以包括：车辆、行人、骑行人、交通标志等，可以根据场景具体确定，在此不作限制。
可选的，图7为本发明实施例提供的一种车辆的融合测距方法的流程示意图，如图7所示，S204中根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据的过程之前，该方法还可以包括：
S701、根据各目标区域对应的点云数据，计算各目标区域内其它点离中心点之间的距离。
其中，每个中心点指目标区域中点云数据的聚类中心点。
在本申请实施例中，测距设备可以采用预设公式，根据各目标区域对应的点云数据，计算各目标区域内其它点离中心点之间的距离。预设公式可以为：
Figure BDA0002957118020000121
x为其它点与中心点横坐标的差值，y为其它点与中心点纵坐标的差值，z为其它点与中心点竖坐标的差值。
S702、将距离小于预设阈值的点确定为目标点、将距离大于预设阈值的点确定为背景点。
上述S204中根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据的过程，可以包括：
S703、根据各目标区域中的目标点，计算各目标区域与本车之间的距离数据。
其中，目标点也为点云数据。
需要说明的是，目标区域中的目标点更能表示待检测物的位置，基于目标区域中的目标点计算各目标区域与本车之间的距离数据，可以使得计算的距离数据更加准确。
综上所述，本申请实施例提供一种车辆的融合测距方法，包括：获取摄像装置采集的待处理图像、激光雷达采集的点云数据；采用预设算法获取待处理图像中目标检测物所属的目标区域；根据各目标区域以及点云数据，确定各目标区域对应的点云数据；根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据。确定待处理图形中目标检测物所属的目标区域，可以准确的确定出目标区域，继而确定出各目标区域对应的点云数据，根据各目标区域的点云数据计算各目标区域与本车之间的距离数据，对待处理图像和点云数据进行融合，使得计算的各目标区域与本车之间的距离数据更加准确。
而且，通过语音交互系统，可使得用户能方便地通过语音获得环境感知系统所检测到的环境的相关信息，例如目标区域与本车的距离信息，如果相关信息有误，用户可及时获知并采取对应的措施。从而有效提高环境感知系统的可靠性及自动驾驶系统的安全性能。
下述对用以执行本申请所提供的车辆的融合测距方法的车辆的融合测距装置、测距设备及介质等进行说明，其具体的实现过程以及技术效果参见上述车辆的融合测距方法的相关内容，下述不再赘述。
图8为本发明实施例提供的一种车辆的融合测距装置的结构示意图，如图8所示，该装置可以包括：
获取模块801，用于获取摄像装置采集的待处理图像、激光雷达采集的点云数据；采用预设算法获取待处理图像中目标检测物所属的目标区域；
确定模块802，用于根据各目标区域以及点云数据，确定各目标区域对应的点云数据；
计算模块803，用于根据各目标区域对应的点云数据，计算各目标区域与本车之间的距离数据。
可选的，变换模块，用于根据激光雷达的位置坐标，将点云数据进行位置变换，获取变换后的点云数据，其中，变换后的点云数据与待处理图像位于同一坐标系统。
可选的，还包括：
生成模块，用于响应于用户指令，根据距离数据生成播报信息；
播放模块，用于播放播报信息。
可选的，生成模块，还用于响应于用户指令，根据距离数据生成对应的文本信息；生成文本信息对应的语音播报信息。
可选的，生成模块，还用于识别获取用户指令中的关键词；根据关键词获取关键词对应的参数信息；根据关键词以及关键词对应的参数信息，采用预设模板生成对应的文本信息。
可选的，获取模块801，还用于将待处理图像划分为预设个数的子区域；采用每个子区域预测多个回归框和对应的类别信息；采用每个回归框预测回归框内包括不同类别目标检测物的置信值；根据类别信息和置信值，确定待处理图像中目标检测物所属的目标区域。
可选的，还包括：
第一计算模块，用于根据各目标区域对应的点云数据，计算各目标区域内其它点离中心点之间的距离，其中，每个中心点指目标区域中点云数据的聚类中心点；
第一确定模块，用于将距离小于预设阈值的点确定为目标点、将距离大于预设阈值的点确定为背景点；
计算模块803，还用于根据各目标区域中的目标点，计算各目标区域与本车之间的距离数据。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图9为本发明实施例提供的一种测距设备的结构示意图，如图9所示，该测距设备可以包括：处理器901、存储器902。
存储器902用于存储程序，处理器901调用存储器902存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆的融合测距方法，其特征在于，包括：
获取摄像装置采集的待处理图像、激光雷达采集的点云数据；
采用预设算法获取所述待处理图像中目标检测物所属的目标区域；
根据各所述目标区域以及所述点云数据，确定各所述目标区域对应的点云数据；
根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据。
2.如权利要求1所述的方法，其特征在于，所述根据各所述目标区域以及所述点云数据，确定各所述目标区域对应的点云数据之前，还包括：
根据所述激光雷达的位置坐标，将所述点云数据进行位置变换，获取变换后的所述点云数据，其中，所述变换后的点云数据与所述待处理图像位于同一坐标系统。
3.如权利要求1所述的方法，其特征在于，所述根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据之后，还包括：
响应于用户指令，根据所述距离数据生成播报信息；
播放所述播报信息。
4.如权利要求3所述的方法，其特征在于，所述响应于用户指令，根据所述距离数据生成播报信息，包括：
响应于用户指令，根据所述距离数据生成对应的文本信息；
生成所述文本信息对应的语音播报信息。
5.如权利要求4所述的方法，其特征在于，所述响应于用户指令，根据所述距离数据生成对应的文本信息，包括：
识别获取所述用户指令中的关键词；
根据所述关键词获取所述关键词对应的参数信息；
根据所述关键词以及所述关键词对应的参数信息，采用预设模板生成对应的文本信息。
6.如权利要求1所述的方法，其特征在于，所述采用预设算法获取所述待处理图像中目标检测物所属的目标区域，包括：
将所述待处理图像划分为预设个数的子区域；
采用每个所述子区域预测多个回归框和对应的类别信息；
采用每个回归框预测所述回归框内包括不同类别目标检测物的置信值；
根据所述类别信息和所述置信值，确定所述待处理图像中目标检测物所属的目标区域。
7.如权利要求1所述的方法，其特征在于，所述根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据之前，还包括：
根据各所述目标区域对应的点云数据，计算各所述目标区域内其它点离中心点之间的距离，其中，每个所述中心点指所述目标区域中点云数据的聚类中心点；
将所述距离小于预设阈值的点确定为目标点、将所述距离大于所述预设阈值的点确定为背景点；
所述根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据，包括：
根据各所述目标区域中的所述目标点，计算各所述目标区域与本车之间的距离数据。
8.一种车辆的融合测距装置，其特征在于，包括：
获取模块，用于获取摄像装置采集的待处理图像、激光雷达采集的点云数据；采用预设算法获取所述待处理图像中目标检测物所属的目标区域；
确定模块，用于根据各所述目标区域以及所述点云数据，确定各所述目标区域对应的点云数据；
计算模块，用于根据各所述目标区域对应的点云数据，计算各所述目标区域与本车之间的距离数据。
9.一种测距设备，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的车辆的融合测距方法。
10.一种计算机可读取存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-7任一项所述的车辆的融合测距方法。
CN202110227824.2A 2021-03-01 2021-03-01 车辆的融合测距方法、装置、测距设备及介质 Active CN113030990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110227824.2A CN113030990B (zh) 2021-03-01 2021-03-01 车辆的融合测距方法、装置、测距设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110227824.2A CN113030990B (zh) 2021-03-01 2021-03-01 车辆的融合测距方法、装置、测距设备及介质

Publications (2)

Publication Number Publication Date
CN113030990A true CN113030990A (zh) 2021-06-25
CN113030990B CN113030990B (zh) 2024-04-05

Family

ID=76465426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110227824.2A Active CN113030990B (zh) 2021-03-01 2021-03-01 车辆的融合测距方法、装置、测距设备及介质

Country Status (1)

Country Link
CN (1) CN113030990B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724104A (zh) * 2022-05-24 2022-07-08 交通运输部公路科学研究所 一种视认距离检测的方法、装置、电子设备、系统及介质
CN115331447A (zh) * 2022-10-13 2022-11-11 苏州挚途科技有限公司 基于传感器融合的数据关联方法以及装置
WO2024001356A1 (zh) * 2022-06-30 2024-01-04 比亚迪股份有限公司 车辆的检测方法、控制器、程序和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334594A (zh) * 2019-05-28 2019-10-15 昆明理工大学 一种基于批再规范化处理的yolo算法的目标检测方法
CN110706704A (zh) * 2019-10-17 2020-01-17 四川长虹电器股份有限公司 用于生成语音交互原型的方法、装置和计算机设备
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334594A (zh) * 2019-05-28 2019-10-15 昆明理工大学 一种基于批再规范化处理的yolo算法的目标检测方法
CN110706704A (zh) * 2019-10-17 2020-01-17 四川长虹电器股份有限公司 用于生成语音交互原型的方法、装置和计算机设备
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724104A (zh) * 2022-05-24 2022-07-08 交通运输部公路科学研究所 一种视认距离检测的方法、装置、电子设备、系统及介质
CN114724104B (zh) * 2022-05-24 2022-09-09 交通运输部公路科学研究所 一种视认距离检测的方法、装置、电子设备、系统及介质
WO2024001356A1 (zh) * 2022-06-30 2024-01-04 比亚迪股份有限公司 车辆的检测方法、控制器、程序和存储介质
WO2024002392A3 (zh) * 2022-06-30 2024-02-29 比亚迪股份有限公司 车辆的检测方法、控制器、程序和存储介质
CN115331447A (zh) * 2022-10-13 2022-11-11 苏州挚途科技有限公司 基于传感器融合的数据关联方法以及装置

Also Published As

Publication number Publication date
CN113030990B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN113030990A (zh) 车辆的融合测距方法、装置、测距设备及介质
CN106503653B (zh) 区域标注方法、装置和电子设备
US20180018528A1 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
EP2405393B1 (en) Device, method and program for creating information for object position estimation
CN109918977B (zh) 确定空闲车位的方法、装置及设备
CN110751012A (zh) 目标检测评估方法、装置、电子设备及存储介质
CN107240104B (zh) 点云数据分割方法和终端
CN114267041B (zh) 场景中对象的识别方法及装置
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN108319931B (zh) 一种图像处理方法、装置及终端
CN113450459B (zh) 目标物的三维模型构建方法及装置
JP7265961B2 (ja) アノテーション支援方法、アノテーション支援装置、及びアノテーション支援プログラム
CN116386373A (zh) 车辆定位方法、装置、存储介质及电子设备
CN110967036A (zh) 导航产品的测试方法和设备
CN114359386A (zh) 点云数据的处理方法、处理装置、存储介质及处理器
CN114638947A (zh) 数据标注方法、装置、电子设备及存储介质
CN112598007A (zh) 图片训练集的筛选方法、装置、设备和可读存储介质
CN112698421A (zh) 障碍物检测的测评方法、装置、设备以及存储介质
CN117437602B (zh) 一种双图层数据标定方法、装置、设备及可读存储介质
CN116385336B (zh) 基于深度学习的焊缝检测方法、系统、装置及存储介质
CN113642533B (zh) 车道级定位方法及电子设备
KR102672315B1 (ko) 센서 융합 기반으로 주변 객체의 위치를 판별하는 시스템 및 방법
CN110706374B (zh) 运动状态预测方法、装置、电子设备及车辆
JP7295711B2 (ja) 教師データ生成装置、教師データの生成方法、及びプログラム
JP2018097588A (ja) ３次元空間特定装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant