CN115690119A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN115690119A
CN115690119A CN202110865389.6A CN202110865389A CN115690119A CN 115690119 A CN115690119 A CN 115690119A CN 202110865389 A CN202110865389 A CN 202110865389A CN 115690119 A CN115690119 A CN 115690119A
Authority
CN
China
Prior art keywords
point cloud
cloud data
semantic
semantic point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110865389.6A
Other languages
English (en)
Inventor
王佳纯
苏鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110865389.6A priority Critical patent/CN115690119A/zh
Priority to PCT/CN2022/107074 priority patent/WO2023005797A1/zh
Publication of CN115690119A publication Critical patent/CN115690119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

本申请实施例提供一种数据处理方法及装置，在该方法中，路侧设备可以确定包含图像语义信息的第一语义点云数据，并从中筛选出目标车辆的视野盲区对应的第二语义点云数据，并发送至目标车辆，使得目标车辆可以根据第二语义点云数据确定目标语义点云数据，以及根据目标语义点云数据进行目标检测。如此，使得目标车辆的视野盲区的点云数据的语义信息更加丰富，从而有效提升目标车辆的感知范围和目标检测精度，进而有效提升自动驾驶的安全性。

Description

一种数据处理方法及装置
技术领域
本申请实施例涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。
背景技术
随着自动驾驶的等级不断提高，对自动驾驶的质量与安全要求也逐渐提高。其中，高精度的目标检测是实现自动驾驶安全的前提。现有的目标检测是利用三维扫描设备采集到的点云数据进行目标检测。
然而，三维扫描设备无法采集车辆的视野盲区的点云数据，且远处的点云数据比较稀疏，导致基于点云数据的目标检测存在检测误差，准确率较低。
因此，如何扩大车辆的感知范围，以及提升车辆的目标检测的检测精度，从而提升自动驾驶的安全性，是亟需解决的问题。
发明内容
本申请实施例提供一种数据处理方法及装置，用以提升自动驾驶中目标检测的精度。
第一方面，本申请实施例提供一种数据处理方法，该方法可以应用于路侧设备，在该方法中，路侧设备可以确定第一语义点云数据，第一语义点云数据是包括图像语义信息的点云数据；以及在第一语义点云数据中筛选出第二语义点云数据，第二语义点云数据为目标车辆的视野盲区对应的语义点云数据，并将第二语义点云数据发送至目标车辆，以使所述目标车辆根据第二语义点云数据确定目标语义点云数据，所述目标语义点云数据用于进行目标检测。
本申请实施例中，路侧设备可以确定包含图像语义信息的第一语义点云数据，并从中筛选出目标车辆的视野盲区对应的语义点云数据，并发送至目标车辆，使得目标车辆可以根据该第二语义点云数据，确定目标语义点云数据，并基于目标语义点云数据进行目标检测。如此，使得目标车辆的视野盲区的点云数据的语义信息更加丰富，从而有效提升目标车辆的目标检测精度，进而有效提升自动驾驶的安全性。
在一种可能的设计中，路侧设备在第一语义点云数据中筛选出第二语义点云数据，可以是：在第一语义点云数据中筛选出动态语义点云数据，并在该动态语义点云数据中筛选出第二语义点云数据。
在该设计中，通过对第一语义点云数据进一步筛选，可以使得向目标车辆传输的点云数据更为精简，从而有效减少通信资源的浪费。
在一种可能的设计中，路侧设备确定第一语义点云数据的过程可以是：获取第一点云数据和第一图像；其中，第一图像中包括多个物体的语义类别，进而路侧设备可以根据关联路侧设备的相机参数和三维扫描设备参数的第一变换矩阵，对将第一点云数据投影到第一图像，得到第一语义点云数据。其中，三维扫描设备例如可以是安装在路侧设备上的激光雷达。第一图像可以是通过语义分割得到的，或者是实例分割得到的，本申请实施例不作具体的限制。
在该设计中，通过将携带语义信息的图像和点云数据相融合，可以得到第一语义点云数据。如此，使得第一语义点云数据具备丰富的语义信息。
在一种可能的设计中，第一语义点云数据或第二语义点云数据包括以下一项或多项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。
应理解，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在该设计中，第一语义点云数据或第二语义点云数据包括丰富的特征信息。
在一种可能的设计中，路侧设备可以根据目标车辆的位姿参数和三维扫描设备参数确定目标车辆的视野盲区。其中，三维扫描设备例如可以是安装在路侧设备上的激光雷达，相应的，三维扫描设备参数可以是激光雷达外参。
第二方面，本申请实施例还提供了另一种数据处理方法，该方法可以应用于目标车辆，在该方法中，目标车辆可以从路侧设备接收第二语义点云数据，以及确定第三语义点云数据；并对第二语义点云数据和第三语义点云数据进行融合，得到目标语义点云数据；然后基于目标语义点云数据，进行目标检测。其中，第二语义点云数据是目标车辆的视野盲区对应的语义点云数据。
通过上述方法，目标车辆可以得到具备丰富语义信息的目标语义点云数据，且该目标语义点云数据中融合了该目标车辆的视野盲区的语义点云数据，如此可以有效解决视野盲区内检出率和精度较低的问题，进而有效提升目标车辆的感知范围和目标检测精度。
在一种可能的设计中，第二语义点云数据或第三语义点云数据包括以下至少一项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在一种可能的设计中，目标车辆确定第三语义点云数据的过程可以是：获取第二点云数据和第二图像；其中，第二图像中包括多个物体的语义类别，进而目标设备可以根据关联目标设备的相机参数和三维扫描设备参数的第三变换矩阵，对将第二点云数据投影到第二图像，得到第三语义点云数据。其中，三维扫描设备可以是安装在目标车辆上的激光雷达。第二图像可以是通过语义分割得到的，或者是实例分割得到的，本申请实施例不作具体的限制。
在一种可能的设计中，目标车辆在确定目标语义点云数据之前，还可以确定第二语义点云数据中与第三语义点云数据中相对应的语义点云数据是否存在时间差；若确定第二语义点云数据与第三语义点云数据中相对应的语义点云数据均不存在时间差，则基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据。
在该设计中，在确定第二语义点云数据中与第三语义点云数据中相对应的语义点云数据均不存在时间差时，才基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据。如此，使得基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据更为准确。
在一种可能的设计中，在确定目标语义点云数据之前，若确定第二语义点云数据中与第三语义点云数据中相对应的语义点云数据存在时间差，对存在时间差的语义点云数据进行调整；基于调整后的语义点云数据和第三语义点云数据，确定目标语义点云数据。
在该设计中，在确定第二语义点云数据中与第三语义点云数据中对应的语义点云数据存在时间差，对存在时间差的语义点云数据进行调整；并基于调整后的语义点云数据和第三语义点云数据，确定目标语义点云数据。如此，有效解决第二语义点云数据和第三语义点云数据不匹配的问题，从而使得确定出目标语义点云数据更为准确。
在一种可能的设计中，确定目标语义点云数据的过程可以是：基于关联目标车辆的相机参数和三维扫描设备参数的第二变换矩阵，对第二语义点云数据进行处理，得到第四语义点云数据；然后，将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据。
在该设计中，通过将第二语义点云数据转换成与第三语义点云数据相同的坐标系，再基于坐标转换后的第二语义点云数据(即第四语义点云数据)和第三语义点云数据相融合。如此，使得融合得到的目标语义点云数据更为准确。
在一种可能的设计中，确定目标语义点云数据的过程可以是：基于关联目标车辆的相机参数和三维扫描设备参数的第二变换矩阵，对调整后的语义点云数据进行处理，得到第四语义点云数据；将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据。
在该设计中，通过将调整后的第二语义点云数据转换成与第三语义点云数据相同的坐标系，再基于坐标转换后的得到的第四语义点云数据和第三语义点云数据相融合，确定目标语义点云数据。如此，使得融合得到的目标语义点云数据更为准确，从而有效提升后续的目标检测精度。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括RGB值时，将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据，包括：将第三语义点云和第四语义点云中相对应的两个语义点云数据的RGB值的均值，作为两个语义点云数据的融合得到的目标点云数据的RGB值。
在该设计中，在第三语义点云数据和第四语义点云数据融合的过程中，若发现相对应的两个语义点云数据的RGB值不同，则将这两个语义点云数据的RGB值的均值，作为这两个语义点云数据的融合得到的第一目标语义点云数据的RGB值。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括语义类别的置信度时，将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据，包括：将第三语义点云和第四语义点云中相对应的两个语义点云数据的语义类别的置信度中最大的置信度对应的语义类别，作为这两个语义点云数据的融合得到的第一目标语义点云数据的语义类别。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括三维坐标时，将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据，包括：将第三语义点云数据和第四语义点云数据相对应的两个语义点云数据的三维坐标的平均值确定的坐标，作为这两个语义点云数据的融合得到的第一目标语义点云数据的三维坐标。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括反射率时，将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据，包括：将第三语义点云数据和第四语义点云数据相对应的两个语义点云数据的反射率的平均值，作为这两个语义点云数据的融合得到的第一目标语义点云数据的反射率。
第三方面，本申请实施例提供一种数据处理装置，该装置可以用于实现上述第一方面中所述的数据处理方法。
作为一种示例，该装置包括：
处理模块，用于确定第一语义点云数据；第一语义点云数据是包括图像语义信息的点云数据；
处理模块，还用于在第一语义点云数据中筛选出第二语义点云数据，第二语义点云数据为目标车辆的视野盲区对应的语义点云数据；
收发模块，用于将第二语义点云数据发送至目标车辆，以使所述目标车辆根据所述第二语义点云数据确定目标语义点云数据，所述目标语义点云数据用于进行目标检测。
在一种可能的设计中，处理模块在用于在第一语义点云数据中筛选出第二语义点云数据时，具体用于：在第一语义点云数据中筛选出动态语义点云数据；在动态语义点云数据中筛选出第二语义点云数据。
在一种可能的设计中，处理模块在用于确定第一语义点云数据时，具体用于：获取第一点云数据和第一图像；第一图像中包括多个物体的语义类别；根据第一变换矩阵，将第一点云数据投影到第一图像，得到第一语义点云数据；其中，第一变换矩阵关联路侧设备相机参数和三维扫描设备参数。其中，三维扫描设备例如可以是安装在路侧设备上的激光雷达。第一图像可以是通过语义分割得到的，或者是实例分割得到的，本申请实施例不作具体的限制。
在一种可能的设计中，第一语义点云数据或第二语义点云数据包括以下一项或多项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在一种可能的设计中，视野盲区是根据目标车辆的位姿参数和三维扫描设备参数确定的。其中，三维扫描设备例如可以是安装在路侧设备上的激光雷达，相应的，三维扫描设备参数可以是激光雷达外参。
在一种可能的设计中，该装置可以是芯片或者集成电路。
在一种可能的设计中，该装置是路侧设备。
第四方面，本申请实施例还提供了一种数据处理装置，该装置可以用于实现上述第二方面所述的数据处理方法。
作为一种示例，该装置包括：
处理模块，用于确定目标语义点云数据；目标语义点云数据为第二语义点云数据和第三语义点云数据融合获得的，第二语义点云数据为通过路侧设备接收的点云数据，第三语义点云数据为目标车辆确定的；
检测模块，用于基于目标语义点云数据，进行目标检测。
在一种可能的设计中，第二语义点云数据或第三语义点云数据包括以下至少一项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在一种可能的设计中，处理模块用于：获取第二点云数据和第二图像；其中，第一图像中包括多个物体的语义类别，进而目标设备可以根据关联目标设备的相机参数和三维扫描设备参数的第三变换矩阵，对将第二点云数据投影到第二图像，得到第三语义点云数据。其中，三维扫描设备例如可以是安装在目标车辆上的激光雷达。第二图像可以是通过语义分割得到的，或者是实例分割得到的，本申请实施例不作具体的限制。
在一种可能的设计中，处理模块用于：确定第二语义点云数据中的各个语义点云数据与第三语义点云数据中对应的语义点云数据是否存在时间差；若确定第二语义点云数据中的各个语义点云数据与第三语义点云数据中对应的语义点云数据均不存在时间差，则基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据。
在一种可能的设计中，处理模块用于：若确定第二语义点云数据中与第三语义点云数据中对应的语义点云数据存在时间差，对存在时间差的点云数据进行调整；基于调整后的点云数据和第三语义点云数据，确定目标语义点云数据。
在一种可能的设计中，处理模块用于：基于第二变换矩阵，对第二语义点云数据进行处理，得到第四语义点云数据；第二变换矩阵关联目标车辆的相机参数和三维扫描设备参数；将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据。
在一种可能的设计中，处理模块用于：基于第二变换矩阵，对调整后的点云数据进行变换处理，得到第四语义点云数据；第二变换矩阵关联目标车辆的相机参数和三维扫描设备参数；将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括RGB值时，处理模块用于：将第三语义点云和第四语义点云中相对应的两个语义点云数据的RGB值的均值，作为两个语义点云数据的融合得到的第一目标语义点云数据的RGB值。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括语义类别的置信度时，处理模块在用于将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据，具体用于：将第三语义点云和第四语义点云中相对应的两个语义点云数据的语义类别的置信度中最大的置信度对应的语义类别，作为两个语义点云数据的融合得到的第一目标语义点云数据的语义类别。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括三维坐标时，处理模块用于：将第三语义点云数据和第四语义点云数据相对应的两个语义点云数据的三维坐标的平均值确定的坐标，作为这两个语义点云数据的融合得到的第一目标语义点云数据的三维坐标。
在一种可能的设计中，第三语义点云数据或第四语义点云数据包括反射率时，处理模块用于：将第三语义点云数据和第四语义点云数据相对应的两个语义点云数据的反射率的平均值，作为这两个语义点云数据的融合得到的第一目标语义点云数据的反射率。
在一个可能的设计中，该装置可以是芯片或者集成电路。
在一个可能的设计中，该装置可以是目标车辆或服务器。
第五方面，本申请实施例还提供了一种终端，所述终端包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中存储的计算程序，实现如上述第一方面或第一方面中任一项可能的设计中所述的数据处理方法。
在一种可能的设计中，所述终端为路侧设备。
第六方面，本申请实施例还提供了一种车辆。示例性的，该车辆包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中存储的计算程序，实现如上述第二方面或第二方面中任一项可能的设计所述的数据处理方法。
第七方面，本申请实施例还提供了一种服务器。示例性的，所述服务器包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中存储的计算程序，实现如上述第一方面或第一方面中任一项可能的设计中所述的数据处理方法，或，如上述第二方面或第二方面中任一项可能的设计所述的数据处理方法。
在一种可能的设计中，所述服务器为单服务器或由多个子服务器构成的服务器集群，当服务器为由多个子服务器构成的服务器集群时，多个子服务器联合执行上述第二方面以及上述第二方面任一可能的设计中所述的数据处理方法。
第八方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，实现如上述第一方面以及第一方面中任一项可能的设计所述的数据处理方法或第二方面以及第二方面中任一项可能的设计所述的数据处理方法。
第九方面，本申请实施例提供了一种芯片系统，该芯片系统包括至少一个处理器，当程序指令在至少一个处理器中执行时，使得上述第一方面以及上述第一方面可能的设计中任一所述的数据处理方法或第二方面以及第二方面中任一项可能的设计所述的数据处理方法得以实现。
在一种可能的设计中，该芯片系统还包括通信接口，通信接口用于输入或输出信息。
在一种可能的设计中，该芯片系统还包括存储器，该存储器通过通信接口耦合处理器，用于存储上述指令，以便处理器通过通信接口读取存储器中存储的指令。
在一种可能的设计中，上述处理器可以为处理电路，本申请对此不作限定。
第十方面，本申请实施例还提供了一种包括指令的计算机程序产品，当其在上述装置上运行时，以执行如上述第一方面至第二方面以及上述第一方面至第二方面可选的设计中任一所述的方法得以实现。
上述第三方面到第十方面的有益效果，请参见上述第一方面和第二方面的有益效果的描述，这里不再重复赘述。
附图说明
图1A为本申请实施例适用的一种可能的系统架构示意图；
图1B为本申请实施例适用的另一种可能的系统架构示意图；
图2为本申请实施例提供的一种数据处理方法的流程示意图；
图3为本申请实施例提供的一种语义点云数据的示意图；
图4为本申请实施例适用的一种目标车辆的视野盲区的场景示意图；
图5为本申请实施例提供的另一种数据处理方法的流程示意图；
图6为本申请实施例提供的一种数据处理装置的示意图；
图7为本申请实施例提供的一种数据处理装置的结构示意图；
图8为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
首先，对本申请实施例中涉及的部分用语进行解释说明，以便于理解。
1)点云(point cloud)数据：通过测量设备测量得到的物体外观表面上的点数据集合可称之为点云数据。点云数据可以表示为在一个三维坐标系中的一组向量的集合，这些向量通常以三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。大多数点云数据是由三维(3-dimension，3D)扫描设备扫描得到的，三维扫描设备例如可以为激光雷达(lidar)。
2)目标检测：是指从采集的数据(例如点云数据)中定位多个目标物体的过程。
3)语义点云数据：语义点云数据是包括图像语义信息的点云数据，即语义点云数据中每个物体表面的每个点云数据均被标记了该物体对应的语义类别。
4)本申请实施例中的术语“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a和b和c。
以及，在本申请实施例的描述中，以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。例如，第一语义点云数据可以包括一个或多个语义点云数据，本申请不作具体的限制。
本申请实施例提供一种数据处理方法，在该方法中，路侧设备可以确定第一语义点云数据，并在该第一语义点云数据中筛选出第二语义点云数据，该第二语义点云数据为目标车辆的视野盲区对应的语义点云数据；路侧设备可以将第二语义点云数据发送至目标车辆，进而目标车辆可以根据第二语义点云数据和其确定的第三语义点云数据，确定目标语义点云数据，并基于目标语义点云数据进行目标检测。如此，使得目标语义点云数据具备丰富的语义信息以及目标车辆的视野盲区的点云数据，进而有效提升目标车辆的感知范围和目标检测精度，从而有效提升自动驾驶的安全性。
应理解，本申请实施例中的语义点云数据(例如，第一语义点云数据、第二语义点云数据和第三语义点云数据)是包括图像语义信息的点云数据，即该语义点云数据中的各个点云数据已被标记相应的语义信息。
需要说明的是，本申请实施例提供的数据处理方法可以应用于目标车辆时，具体可以是应用于具有数据处理功能的车辆，或者车辆中具有数据处理功能的车载设备(onboard unit，OBU)，或者设置在具有采集及处理数据的功能的传感器中。其中，车载设备可以包括但不限于车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达、电子控制单元(electronic control unit，ECU)、域控制器(domaincontroller，DC)等装置。
在详细介绍本申请实施例的技术方案之前，首先结合附图对本申请实施例适用的系统架构进行介绍。
示例性的，图1A示出了为本申请实施例适用的一种可能的系统架构示意图。如图1A所示，该系统中包括路侧设备100(road side unit，RSU)和目标车辆200。
其中，路侧设备100可以确定第一语义点云数据，并从中筛选出目标车辆的视野盲区对应的第二语义点云数据，并发送至目标车辆200；目标车辆200可以接收第二语义点云数据，以及确定第三语义点云数据，并对第三语义点云数据和第二语义点云数据融合处理，得到目标语义点云数据，进而基于该目标语义点云数据进行检测。如此可以解决视野盲区内检出率和精度较低的问题，进而有效提升目标车辆的感知范围和目标检测精度，进而提升自动驾驶的安全性。
其中，路侧设备100确定第一语义点云数据有多种实现方式。
如图1A所示，在一种可能的实施方式中，路侧设备100可以包括点云数据处理装置101和采集模块102。其中，采集模块102可以包括相机和激光雷达，激光雷达可以用于采集第一点云数据，并将采集到的第一点云数据发送到点云数据处理装置101；相机可以用于采集第一图像，并将采集到的第一图像发送到点云数据处理装置101；进而点云数据处理装置101可以用于对第一图像和第一点云数据进行融合处理，得到第一语义点云数据。
在另一种可能的实施方式中，路侧设备100可以只包括点云数据处理装置101，点云数据处理装置101可以集成激光雷达和相机的功能，即点云数据处理装置101既可以采集第一点云数据和第一图像，并对第一点云数据和第一图像进行处理，得到第一语义点云数据。
其中，目标车辆200确定第三语义点云数据也有多种实现方式。
在一种可能的实施方式中，目标车辆可以包括点云数据处理装置201和采集模块202。其中，采集模块202包括相机和激光雷达，激光雷达可以用于采集第二点云数据，并将采集到的第二点云数据发送到点云数据处理装置201；相机可以用于采集第二图像，并将采集到的第二图像发送到点云数据处理装置201；进而点云数据处理装置201可以用于结合相机采集的第二图像，对激光雷达采集的第二点云数据进行处理，得到第三语义点云数据。
在另一种可能的实施方式中，目标车辆200可以只包括点云数据处理装置201，点云数据处理装置201可以集成激光雷达和相机的功能，即点云数据处理装置201既可以采集第二点云数据和第二图像，并对第二点云数据和第二图像进行处理，得到第三语义点云数据。
可选的，采集模块202还可以包括惯性导航系统(global navigation satellitesystem+inertial measurement unit，GNSS+IMU)，GNSS+IMU可以用于获取目标车辆200的位姿信息(例如，平移参数和旋转参数)。
需要说明的是，在图1A中，激光雷达只是一种示例的能够采集点云数据的3D扫描设备，本申请实施例中采集点云数据的3D扫描设备不仅限于激光雷达，还可以是其它任何能够采集点云数据的装置。同理，相机也只是一种示例的能够采集图像的装置，本申请实施例中采集图像的装置也不仅限于相机，还可以是其它任何能够采集图像的装置，如手机、车载摄像头等。
需要说明的是，本申请实施例提供的数据处理方法应用于目标车辆时，还可以是应用于目标车辆关联的服务器中。图1B示出了为本申请实施例适用的另一种可能的系统架构示意图。如图1B所示，该系统中包括路侧设备300、目标车辆400和服务器500。
其中，路侧设备300可以用于确定第一语义点云数据，从第一语义点云数据筛选第二语义点云数据，并发送至服务器500；目标车辆400采集到第二图像和第二点云数据后，发送至服务器500；服务器500接收第二语义点云数据，以及根据第二图像和第二点云数据，确定第三语义点云数据，然后对第三语义点云数据和第二语义点云数据融合处理，得到目标语义点云数据，进而基于该目标语义点云数据进行检测，如此可以解决视野盲区内检出率和精度较低的问题，进而有效提升目标车辆的感知范围和目标检测精度，进而提升自动驾驶的安全性。
以上介绍了本申请实施例适用的可能的系统架构图，下面结合附图，对本申请实施例提供的数据处理方法进行详细说明。
示例性的，请参见图2，图2为本申请实施例提供的一种数据处理方法的示意图，该方法可以应用于图1A中的路侧设备100或图1B中的路侧设备300。如图2所示，该方法包括以下步骤：
S201：确定第一语义点云数据。
本申请实施例中，第一语义点云数据可以理解为包含图像语义信息的点云数据。
在一种可能的实施方式中，上述第一语义点云数据还可以包括以下一项或多项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在一种可能的实施方式中，路侧设备确定第一语义点云数据的过程可以是：获取第一点云数据和包括多个物体的语义类别的第一图像，并根据第一变换矩阵，将第一点云数据投影到第一图像，得到第一语义点云数据。
其中，本申请实施例中的“第一点云数据”包括一个或多个点云的三维坐标，“第一图像”包括多个物体的语义信息，其中，“第一点云数据”可以是通过路侧设备的3D扫描设备(例如激光雷达)获取到的，“第一图像”可以是通过路侧设备的相机采集以及进行相应的语义分割处理、实例分割处理得到的。相应的，上述第一变换矩阵关联路侧设备的相机参数和三维扫描设备参数。其中，相机参数包括相机内参和相机外参，相机内参包括相机的光心位置(cx，cy)、相机焦距(fx，fy)和相机的畸变参数s；相机外参包括相机在世界坐标系的3个方向上的平移参数(xc,yc,zc)和相机在世界坐标系的3个方向上的旋转参数(γx，βy，θz)；三维扫描设备参数可以是激光雷达外参，该激光雷达外参包括激光雷达在世界坐标系的3个方向上的平移参数(x1,y1,z1)和旋转参数(γ1，β1，θ1)。
因此，上述将第一点云数据投影到第一图像的过程可以是：基于路侧设备的相机的内参和外参、以及激光雷达的外参构成的第一变换矩阵，将第一点云数据的三维坐标从激光雷达坐标系转换到世界坐标系，再从世界坐标系转换到相机坐标系，以及从相机坐标系转换到像素坐标系的过程。若已标定相机到激光雷达的外参，则将第一点云数据的三维坐标从激光雷达坐标系直接转换到相机坐标系，再从相机坐标系转换到像素坐标系。
应理解，路侧设备的相机的内参对应矩阵
Figure BDA0003187352540000091
路侧设备的相机在世界坐标系的3个方向上的平移参数对应的平移向量为
Figure BDA0003187352540000101
路侧设备的相机在世界坐标系的3个方向上的旋转参数对应旋转矩阵R＝Rx*Ry*Rz；其中，
Figure BDA0003187352540000102
路侧设备的激光雷达在世界坐标系的3个方向上的平移参数对应的平移向量为
Figure BDA0003187352540000103
路侧设备的激光雷达在世界坐标系的3个方向上的平移参数对应旋转矩阵R1＝Rx1*Ry1*Rz1；
其中，
Figure BDA0003187352540000104
则第一变换矩阵为H1＝K*[R|t]-1*[R1|t1]。
其中，第一点云数据的三维坐标转换到像素坐标系之后，得到第一语义点云数据，第一语义点云数据中的各个点云均已被标注上相应的语义信息。示例性的，请参见图3，第一点云数据如图3中的(a)所示，第一点云数据中的点云并未标记语义信息；第一语义点云数据如图3中的(b)所示，第一语义点云数据中的各个物体均已标注相应的语义信息，例如图3中的(b)所示的路面、人和车对应的点云数据均已标注相应的语义信息。
S202：在第一语义点云数据中筛选出第二语义点云数据。
本申请实施例中，第二语义点云数据为目标车辆的视野盲区对应的语义点云数据。也就是说，路侧设备可以从其确定的第一语义点云数据中筛选出第二语义点云数据。
在一种可能的实施方式中，上述第二语义点云数据还可以包括以下一项或多项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
需要说明的是，S201中，在第一语义点云数据中筛选出第二语义点云数据有多种实施方式，包括但不限于以下实施方式：
方式1：在第一语义点云数据中筛选出动态语义点云数据，并在动态语义点云数据中筛选出第二语义点云数据。
本申请实施例中的“动态语义点云数据”可以理解为运动物体对应的语义点云数据。
在方式1中，在确定视野盲区对应的语义点云数据之前，进一步筛选动态语义点云数据，使得筛选出的第二语义点云中的点云数据量减少，即可以减少路侧设备向目标车辆传输的数据量，如此可以有效减少通信资源的浪费，提升第二语义点云数据的传输效率。
方式2：在第一语义点云数据中直接筛选出第二语义点云数据。
在方式2中，可以直接从第一语义点云数据中筛选出第二语义点云数据，如此可以有效确定第二语义点云数据的效率，进而有效提升后续目标检测的效率。
可以理解的是，筛选第二语义点云数据的前提是确定目标车辆的视野盲区。其中，该视野盲区可以根据目标车辆的位姿参数和三维扫描设备参数确定。
其中，路侧设备确定目标车辆的视野盲区包括以下步骤：
A1、接收目标车辆的位姿信息和三维扫描设备参数。
其中，三维扫描设备可以是激光雷达，进而三维扫描设备参数可以是激光雷达外参。
在一种可能的实施方式中，路侧设备可以通过车联网(vehicle to everything，V2X)网络接收目标车辆的位姿信息和三维扫描设备参数，也可以通过5G网络接收目标车辆的位姿信息和三维扫描设备参数，本申请实施例不作具体的限定。
A2、根据目标车辆的位姿信息，计算目标车辆在世界坐标系下的坐标位置(x_0,y_0,z_0)。
A3、确定目标车辆所在视野区域内的障碍物的语义点云数据，并根据三维扫描设备参数关联的变换矩阵将该语义点云数据的三维坐标转换到世界坐标系。
A4、根据目标车辆在世界坐标系下的坐标位置(x_0，y_0，z_0)与障碍物外表面的切线，以及在世界坐标系下障碍物对应的语义点云数据，确定目标车辆的视野盲区。
应理解，目标车辆的位置即为设置在目标车辆上的三维扫描设备(例如，激光雷达)的位置，三维扫描设备可以是一个或多个，本申请不作具体的限制。
示例性的，请参见图4，图4中的目标车辆存在视野范围内存在障碍物1和障碍物2，路侧设备可以接收目标车辆的位姿参数和激光雷达外参；根据目标车辆的位姿参数，计算目标车辆在世界坐标系下的坐标位置(x_0，y_0，z_0)；然后，根据激光雷达外参将障碍物1和障碍物2的语义点云数据的三维坐标转换到世界坐标系，并根据目标车辆在世界坐标系下的坐标位置(x_0，y_0，z_0)与障碍物外表面的切线、以及在世界坐标系下障碍物1和障碍物2对应的语义点云数据，确定目标车辆的视野盲区1和视野盲区2。
S203：将第二语义点云数据发送至目标车辆。
在一种可能的实施方式中，路侧设备可以通过V2X网络将第二语义点云数据发送至目标车辆，也可以通过5G网络将第二语义点云数据发送至目标车辆，本申请实施例不作具体的限定。
可以理解的是，第二语义点云数据是目标车辆的视野盲区对应的语义点云数据，进而目标车辆可以根据第二语义点云数据确定目标语义点云数据，并基于目标语义点云数据进行目标检测。
图2所示的实施例中，路侧设备可以确定包含图像语义信息的第一语义点云数据，并从中筛选出目标车辆的视野盲区对应的第二语义点云数据，并发送至目标车辆，使得目标车辆可以根据该第二语义点云数据，确定目标语义点云数据，并基于目标语义点云数据进行目标检测。如此，使得目标车辆的视野盲区的点云数据的语义信息更加丰富，从而有效提升目标车辆的感知范围和目标检测精度，进而有效提升自动驾驶的安全性。
以上介绍了路侧设备确定第二语义点云数据的过程，下面结合具体的附图介绍目标车辆接收到第二语义点云数据之后，对第二语义点云数据的处理过程。
示例性的，请参见图5，图5为本申请实施例提供的另一种数据处理方法的流程示意图，该方法可以应用于图1A所示的目标车辆200或图1B所示的服务器500，该方法包括：
S501：接收第二语义点云数据。
请继续参见图1A，在一种可能的实施方式中，目标车辆200可以从路侧设备100接收第二语义点云数据。
请继续参见图1B，在另一种可能实施方式中，服务器500可以从路侧设备300接收第二语义点云数据。
S502：确定第三语义点云数据。
本申请实施例中，第三语义点云数据包括以下至少一项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在一种可能的实施方式中，确定第三语义点云数据的过程可以是：获取第二点云数据，和第二图像，并根据第三变换矩阵，将第二点云数据投影到第二图像，得到第三语义点云数据。
其中，本申请实施例中的“第二点云数据”包括一个或多个点云的三维坐标，“第二图像”包括多个物体的语义信息。其中，“第一点云数据”可以是通过目标车辆的3D扫描设备(例如激光雷达)获取到的，“第一图像”可以是通过目标车辆的相机采集以及进行相应的语义分割处理、实例分割处理得到的。相应的，上述第三变换矩阵关联目标车辆的相机参数和三维扫描设备参数。其中，相机参数包括相机内参和相机外参，相机内参包括相机的光心位置(cx，cy)、相机焦距(fx，fy)和相机的畸变参数s；相机外参包括相机在世界坐标系的3个方向上的平移参数(xc,yc,zc)和相机在世界坐标系的3个方向上的旋转参数(γx，βy，θz)；三维扫描设备参数可以是激光雷达外参，该激光雷达外参包括激光雷达在世界坐标系的3个方向上的平移参数(x1,y1,z1)和旋转参数(γ1，β1，θ1)。
因此，上述将第二点云数据投影到第二图像的过程可以是：基于目标车辆的相机的内参和外参、以及目标车辆的激光雷达的外参构成的第三变换矩阵，将第一点云数据的三维坐标从激光雷达坐标系转换到世界坐标系，再从世界坐标系转换到相机坐标系，以及从相机坐标系转换到像素坐标系的过程。
应理解，目标车辆的相机的内参对应矩阵
Figure BDA0003187352540000121
目标车辆的相机在世界坐标系的3个方向上的平移参数对应的平移向量为
Figure BDA0003187352540000122
目标车辆的相机在世界坐标系的3个方向上的旋转参数对应旋转矩阵R2＝Rx*Ry*Rz；其中，
Figure BDA0003187352540000123
目标车辆的激光雷达在世界坐标系的3个方向上的平移参数对应的平移向量为
Figure BDA0003187352540000124
目标车辆的激光雷达在世界坐标系的3个方向上的平移参数对应旋转矩阵R3＝Rx1*Ry1*Rz1；
其中，
Figure BDA0003187352540000131
三变换矩阵为H2＝K1*[R2|t]-1*[R3|t1]。
示例性的，目标车辆200通过其自身的相机采集图像进行相应的语义分割得到第二图像，以及通过其自身的激光雷达获取第二点云数据，进而根据该相机的内参和外参、以及激光雷达的外参对第二点云数据中的各个点云的三维坐标进行转换处理，即可得到第三语义点云数据。
再示例性地，目标车辆400通过其自身的相机采集图像进行相应的语义分割得到第二图像，以及通过其自身的激光雷达获取第二点云数据，并将第二图像和第二点云数据发送至服务器500；进而服务器500根据预先存储的该相机的内参和外参、以及激光雷达的外参对第二点云数据中的各个点云的三维坐标进行转换处理，即可得到第三语义点云数据。
S503：基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据。
在一种可能的实施方式中，基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据的过程可以是：基于关联目标车辆的相机参数和三维扫描设备参数的第二变换矩阵，对第二语义点云数据进行变换处理，将第二语义点云数据转换到第三语义点云数据所在的像素坐标系，得到第四语义点云数据；进而将第三语义点云数据和第四语义点云数据合并，可以得到目标语义点云数据。
其中，目标车辆的相机参数包括相机内参和相机外参，相机内参包括相机的光心位置(cx，cy)、相机焦距(fx，fy)和相机的畸变参数s；相机外参包括相机在世界坐标系的3个方向上的平移参数(xc,yc,zc)和相机在世界坐标系的3个方向上的旋转参数(γx，βy，θz)；三维扫描设备参数可以是激光雷达外参，该激光雷达外参包括激光雷达在世界坐标系的3个方向上的平移参数(x1,y1,z1)和旋转参数(γ1，β1，θ1)。
其中，将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据的过程会涉及到语义点云数据中的多个参数，在将第三语义点云数据和第四语义点云数据中相对应的两个语义点云数据的特定参数不同时，针对不同的参数有不同的处理方式。下面针对各个参数的合并方式进行详细的介绍。
1、RGB值。
在一种可能的实施方式中，若发现第三语义点云是数据和第四语义点云数据中相对应的两个语义点云数据的RGB值不同，则将这两个语义点云数据的RGB值的均值，作为这两个语义点云数据的融合得到的第一目标语义点云数据的RGB值。
示例性的，第三语义点云数据中的语义点云数据1的RGB值为(255，0，255)，语义点云数据1在第四语义点云数据中对应语义点云数据2，而语义点云数据2的RGB值为(215，20，215)，在对语义点云数据1和语义点云数据2进行合并处理时，则将语义点云数据1和语义点云数据2的RGB值的均值为(235，20，235)，作为语义点云数据1和语义点云数据2融合得到第一目标语义点云的RGB值。
2、语义类别的置信度。
在一种可能的实施方式中，若发现第三语义点云是数据和第四语义点云数据中相对应的两个语义点云数据的语义类别不同，则将这两个语义点云数据的语义类别的置信度中最大的置信度对应的语义类别，作为这两个语义点云数据的融合得到的第一目标语义点云数据的语义类别。
示例性的，第三语义点云数据中的语义点云数据1的语义类别为人，且该语义类别的置信度为0.9，语义点云数据1在第四语义点云数据中对应语义点云数据2，而语义点云数据2的语义类别为车，且该语义类别的置信度为0.2，在对语义点云数据1和语义点云数据2进行合并处理时，则语义点云数据1和语义点云数据2融合得到第一目标语义点云的语义类别为人。
3、三维坐标。
在一种可能的实施方式中，若发现第三语义点云数据和第四语义点云数据中相对应的两个语义点云数据的三维坐标不同，则将这两个语义点云数据对应的所有参数直接合并，得到融合得到的第一目标语义点云数据。
示例性的，第三语义点云数据中的语义点云数据1的三维坐标为(x1，y1，z1)，语义点云数据1在第四语义点云数据中对应语义点云数据2，而语义点云数据2的三维坐标为(x2，y2，z2)，则将语义点云数据1和语义点云数据2是所有参数(例如，RGB值、反射率、语义类别、语义类别的置信度)融合得到第一目标语义点云。
4、反射率。
在一种可能的实施方式中，若发现第三语义点云数据和第四语义点云数据中相对应的两个语义点云数据的反射率值不同，则将这两个语义点云数据的反射率的平均值，作为这两个语义点云数据的融合得到的第一目标语义点云数据的反射率。
示例性的，第三语义点云数据中的语义点云数据1的反射率为0.9，语义点云数据1在第四语义点云数据中对应语义点云数据2，而语义点云数据2的反射率为0.3，在对语义点云数据1和语义点云数据2进行合并处理时，则语义点云数据1和语义点云数据2融合得到第一目标语义点云的放射率为0.6。
需要说明的是，第二语义点云数据和第三语义点云数据可能存在时间差，即第二语义点云数据和第三语义点云数据的时间戳不匹配，此时将第二语义点云数据和第二语义点云数据相融合得到目标语义点云数据则不再准确。因此，目标车辆在确定目标语义点云数据之前，还需要确定第二语义点云数据中的各个语义点云数据与第三语义点云数据中对应的语义点云数据是否存在时间差。
在一种可能的实施方式中，若确定第二语义点云数据中的各个语义点云数据与第三语义点云数据中对应的语义点云数据均不存在时间差，则直接基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据。
在一种可能的实施方式中，若确定第二语义点云数据中与第三语义点云数据中对应的语义点云数据存在时间差，对存在时间差的语义点云数据进行调整；基于调整后的语义点云数据和第三语义点云数据，确定目标语义点云数据。其中，基于调整后的语义点云数据和第三语义点云数据，确定目标语义点云数据的过程可以是：基于第二变换矩阵，对调整后的点云数据进行变换处理，得到第四语义点云数据；第二变换矩阵关联目标车辆的相机参数和三维扫描设备参数；将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据。
应理解，这里将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据的具体实施方式与前文类似，请参见前文，这里不再赘述。
在一种可能的实施方式中，目标车辆对存在时间差的语义点云数据进行调整的过程，可以是对存在时间差的语义点云数据进行运动补偿。
示例性地，第三语义点云数据中的语义点云数据1对应的时间戳为t1时刻，语义点云数据1在第四语义点云数据中对应语义点云数据2，而语义点云数据2对应的时间戳为t2时刻，其中t2时刻晚于t1时刻，则需要对语义点云数据2进行运动补偿，可以根据如下公式进行运动补偿，确定语义点云数据2在t1时刻对应的语义点云数据3，再对语义点云数据3和语义点云数据1进行融合，得到第一目标语义数据。
Figure BDA0003187352540000151
Figure BDA0003187352540000152
其中，
Figure BDA0003187352540000153
为语义点云数据的运动速度，Δt为t1时刻与t2时刻的时间差。
S504：基于目标语义点云数据，进行目标检测。
请继续参见图1A，在一种可能的实施方式中，目标车辆200可以基于目标语义点云数据，进行目标检测，确定出多个目标物体。
请继续参见图1B，在另一种可能实施方式中，服务器500可以基于目标语义点云数据，进行目标检测，确定出多个目标物体。
图5所示的实施例中，目标车辆或服务器可以接收第二语义点云数据，以及确定第三语义点云数据，并根据该第二语义点云数据和第三语义点云数据，确定目标语义点云数据，并基于目标语义点云数据进行目标检测。如此，使得目标语义点云数据的语义信息更加丰富，从而有效提升目标车辆的目标检测精度，进而有效提升自动驾驶的安全性。
上述实施例中，是路侧设备确定第二语义点云数据，并发送至目标车辆或者目标车辆关联的服务器。在一些场景中，第二语义点云数据还可以由其他车辆确定，并发送至目标车辆或者目标车辆关联的服务器。如此，可以有效实现车与车之间的语义点云数据的共享，从而确定第一语义点云数据；第一语义点云数据是包括图像语义信息的点云数据。
图6示出了本申请上述实施例中所涉及的另一种数据处理装置的一种可能的结构示意图，该装置600可以用于实现上述图1A中所示的路侧设备的功能。
示例性地，该装置600包括：
处理模块601，还用于在第一语义点云数据中筛选出第二语义点云数据，第二语义点云数据为目标车辆的视野盲区对应的语义点云数据；
收发模块602，用于将第二语义点云数据发送至目标车辆，以使目标车辆根据第二语义点云数据确定目标语义点云数据，目标语义点云数据用于进行目标检测。
在一种可能的实施方式中，处理模块601还用于：在第一语义点云数据中筛选出动态语义点云数据；在动态语义点云数据中筛选出第二语义点云数据。
在一种可能的实施方式中，处理模块601还用于：获取第一点云数据和第一图像；第一图像中包括多个物体的语义类别；根据第一变换矩阵，将第一点云数据投影到第一图像，得到第一语义点云数据；其中，第一变换矩阵关联路侧设备相机参数和三维扫描设备参数。其中，三维扫描设备例如可以是安装在路侧设备上的激光雷达。第一图像可以是通过语义分割得到的，或者是实例分割得到的，本申请实施例不作具体的限制。
在一种可能的实施方式中，第一语义点云数据或第二语义点云数据包括以下一项或多项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在一种可能的实施方式中，视野盲区可以是处理模块601根据目标车辆的位姿参数和三维扫描设备参数确定的。其中，三维扫描设备例如可以是安装在路侧设备上的激光雷达，相应的，三维扫描设备参数可以是激光雷达外参。
在一个可能的实施方式中，该装置可以是芯片或者集成电路。
在一个可能的实施方式中，该装置是路侧设备。
图7示出了本申请上述实施例中所涉及的另一种数据处理装置的一种可能的结构示意图，该装置700可以用于实现上述图1A或图1B中所示的目标车辆的功能，或图1B中所示的服务器的功能。
示例性的，该装置700包括：
处理模块701，用于确定目标语义点云数据；目标语义点云数据为第二语义点云数据和第三语义点云数据融合获得的，第二语义点云数据为通过路侧设备接收的点云数据，第三语义点云数据为目标车辆确定的；
检测模块702，用于基于目标语义点云数据，进行目标检测。
在一种可能的实施方式中，第二语义点云数据或第三语义点云数据包括以下至少一项：多个点云的三维坐标、反射率、RGB值、语义类别和语义类别的置信度。其中，反射率用于表征该点云被激光雷达扫描的反射强度，RGB值用于表示目标物体的颜色信息，语义类别用于标识目标物体的语义信息，语义类别的置信度用于表示目标物体属于该语义信息对应的准确度。
在一种可能的实施方式中，处理模块701还用于：获取第二点云数据和第二图像；其中，第一图像中包括多个物体的语义类别，进而目标设备可以根据关联目标设备的相机参数和三维扫描设备参数的第三变换矩阵，对将第二点云数据投影到第二图像，得到第三语义点云数据。其中，三维扫描设备例如可以是安装在目标车辆上的激光雷达。第二图像可以是通过语义分割得到的，或者是实例分割得到的，本申请实施例不作具体的限制。
在一种可能的实施方式中，处理模块701还用于：确定第二语义点云数据中的各个语义点云数据与第三语义点云数据中对应的语义点云数据是否存在时间差；若确定第二语义点云数据中的各个语义点云数据与第三语义点云数据中对应的语义点云数据均不存在时间差，则基于第二语义点云数据和第三语义点云数据，确定目标语义点云数据。
在一种可能的实施方式中，处理模块701还用于：若确定第二语义点云数据中与第三语义点云数据中对应的语义点云数据存在时间差，对存在时间差的点云数据进行调整；基于调整后的点云数据和第三语义点云数据，确定目标语义点云数据。
在一种可能的实施方式中，处理模块701还用于：基于第二变换矩阵，对第二语义点云数据进行变换处理，得到第四语义点云数据；第二变换矩阵关联目标车辆的相机参数和三维扫描设备参数；将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据。
在一种可能的实施方式中，处理模块701还用于：基于第二变换矩阵，对调整后的点云数据进行变换处理，得到第四语义点云数据；第二变换矩阵关联目标车辆的相机参数和三维扫描设备参数；将第三语义点云数据和第四语义点云数据合并，得到目标语义点云数据。
在一种可能的实施方式中，第三语义点云数据或第四语义点云数据包括RGB值时，处理模块701还用于：将第三语义点云和第四语义点云中相对应的两个语义点云数据的RGB值的均值，作为两个语义点云数据的融合得到的第一目标语义点云数据的RGB值。
在一种可能的实施方式中，第三语义点云数据或第四语义点云数据包括语义类别的置信度时，处理模块701还用于：将第三语义点云和第四语义点云中相对应的两个语义点云数据的语义类别的置信度中最大的置信度对应的语义类别，作为两个语义点云数据的融合得到的第一目标语义点云数据的语义类别。
在一种可能的实施方式中，第三语义点云数据或第四语义点云数据包括三维坐标时，处理模块701还用于：将第三语义点云数据和第四语义点云数据相对应的两个语义点云数据的三维坐标的平均值确定的坐标，作为这两个语义点云数据的融合得到的第一目标语义点云数据的三维坐标。
在一种可能的实施方式中，第三语义点云数据或第四语义点云数据包括反射率时，处理模块701还用于：将第三语义点云数据和第四语义点云数据相对应的两个语义点云数据的反射率的平均值，作为这两个语义点云数据的融合得到的第一目标语义点云数据的反射率。
在一个可能的实施方式中，该装置可以是芯片或者集成电路。
在一个可能的实施方式中，该装置可以是目标车辆或服务器。
本申请实施例还提供了一种车辆，该车辆可以包括处理器，处理器用于执行上述图5所示实施例中的数据处理方法。
在一种可能的实施方式中，还包括存储器，用于存储计算机程序或指令。
在一种可能的实施方式中，还包括收发器，用于接收或发送信息。
本申请实施例还提供了一种服务器，该服务器包括处理器，处理器用于执行上述图1B中所示的服务器500的功能，以实现本申请实施例提供的数据处理方法。
在一种可能的实施方式中，还包括存储器，用于存储计算机程序或指令。
在一种可能的实施方式中，还包括收发器，用于接收或发送信息。
在一种可能的实施方式中，服务器为单服务器或由多个子服务器构成的服务器集群，当服务器为由多个子服务器构成的服务器集群时，多个子服务器联合执行上述图1B中所示的服务器500的功能。
本申请实施例还提供了一种芯片系统，请参见图8，该芯片系统800包括至少一个处理器，当程序指令在至少一个处理器801中执行时，使得上述图2或图5所示实施例中的数据处理方法得以实现。
在一种可能的实施方式中，该芯片系统还包括通信接口803，通信接口用于输入或输出信息。
在一种可能的实施方式中，该芯片系统还包括存储器802，该存储器802通过通信接口803耦合处理器，用于存储上述指令，以便处理器通过通信接口803读取存储器中存储的指令。
应理解，本申请实施例中不限定上述处理器801、存储器802以及通信接口803之间的连接介质。本申请实施例在图8中以存储器802、处理器801以及通信接口803之间通过通信总线804连接，总线在图8中以粗线表示，其它部件之间的连接方式，仅是示意性说明，并不作为限定。所述总线可以包括地址总线、数据总线、控制总线等。为了便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线等。
本申请实施例还提供了一种包括指令的计算机程序产品，当其在上述装置上运行时，以执行如上述图2或图5所示实施例中的数据处理方法得以实现。
本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当计算机程序被运行时，实现上述图2或图5所示实施例中的数据处理方法得以实现。
上述各实施例可以相互结合以实现不同的技术效果。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (30)

1.一种数据处理方法，其特征在于，所述方法包括：
确定第一语义点云数据；所述第一语义点云数据是包括图像语义信息的点云数据；
在所述第一语义点云数据中筛选出第二语义点云数据，所述第二语义点云数据为目标车辆的视野盲区对应的语义点云数据；
将所述第二语义点云数据发送至所述目标车辆，以使所述目标车辆根据所述第二语义点云数据确定目标语义点云数据，所述目标语义点云数据用于进行目标检测。
2.根据权利要求1所述的方法，其特征在于，所述在所述第一语义点云数据中筛选出第二语义点云数据，包括：
在所述第一语义点云数据中筛选出动态语义点云数据；
在所述动态语义点云数据中筛选出所述第二语义点云数据。
3.根据权利要求1或2所述的方法，其特征在于，所述确定第一语义点云数据，包括：
获取第一点云数据和第一图像；所述第一图像中包括多个物体的语义类别；
根据第一变换矩阵，将所述第一点云数据投影到所述第一图像，得到所述第一语义点云数据；其中，所述第一变换矩阵关联路侧设备的相机参数和三维扫描设备参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一语义点云数据或所述第二语义点云数据包括以下一项或多项：
多个点云的三维坐标、反射率、RGB值、语义类别和所述语义类别的置信度。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述视野盲区是根据所述目标车辆的位姿参数和三维扫描设备参数确定的。
6.一种数据处理方法，其特征在于，所述方法包括：
确定目标语义点云数据；所述目标语义点云数据为第二语义点云数据和第三语义点云数据融合获得的，所述第二语义点云数据为通过路侧设备接收的点云数据，所述第三语义点云数据为目标车辆确定的；
基于所述目标语义点云数据，进行目标检测。
7.根据权利要求6所述的方法，其特征在于，所述第二语义点云数据或所述第三语义点云数据包括以下至少一项：
多个点云的三维坐标、反射率、RGB值、语义类别和所述语义类别的置信度。
8.根据权利要求6或7所述的方法，其特征在于，所述确定目标语义点云数据之前，还包括：
确定所述第二语义点云数据中的各个语义点云数据与所述第三语义点云数据中对应的语义点云数据是否存在时间差；
若确定所述第二语义点云数据中与所述第三语义点云数据中相对应的语义点云数据均不存在时间差，则基于所述第二语义点云数据和所述第三语义点云数据，确定目标语义点云数据。
9.根据权利要求6或7所述的方法，其特征在于，所述确定目标语义点云数据之前，还包括：
若确定所述第二语义点云数据中与所述第三语义点云数据中相对应的语义点云数据存在时间差，对存在所述时间差的语义点云数据进行调整；
基于调整后的语义点云数据和所述第三语义点云数据，确定所述目标语义点云数据。
10.根据权利要求6-8任一项所述的方法，其特征在于，所述确定目标语义点云数据，包括：
基于第二变换矩阵，对所述第二语义点云数据进行处理，得到第四语义点云数据；所述第二变换矩阵关联所述目标车辆的相机参数和三维扫描设备参数；
将所述第三语义点云数据和所述第四语义点云数据合并，得到所述目标语义点云数据。
11.根据权利要求9所述的方法，其特征在于，所述确定目标语义点云数据，包括：
基于第二变换矩阵，对所述调整后的语义点云数据进行处理，得到第四语义点云数据；所述第二变换矩阵关联所述目标车辆的相机参数和三维扫描设备参数；
将所述第三语义点云数据和所述第四语义点云数据合并，得到所述目标语义点云数据。
12.根据权利要求10或11所述的方法，其特征在于，所述第三语义点云数据或所述第四语义点云数据包括RGB值时，所述将所述第三语义点云数据和所述第四语义点云数据合并，得到所述目标语义点云数据，包括：
将所述第三语义点云和所述第四语义点云中相对应的两个语义点云数据的RGB值的均值，作为所述两个语义点云数据的融合得到的第一目标语义点云数据的RGB值。
13.根据权利要求10或11所述的方法，其特征在于，所述第三语义点云数据或所述第四语义点云数据包括所述语义类别的置信度时，所述将所述第三语义点云数据和所述第四语义点云数据合并，得到所述目标语义点云数据，包括：
将所述第三语义点云和所述第四语义点云中相对应的两个语义点云数据的所述语义类别的置信度中最大的置信度对应的语义类别，作为所述两个语义点云数据的融合得到的第一目标语义点云数据的语义类别。
14.一种数据处理装置，其特征在于，包括：
处理模块，用于确定第一语义点云数据；所述第一语义点云数据是包括图像语义信息的点云数据；
所述处理模块，还用于在所述第一语义点云数据中筛选出第二语义点云数据，所述第二语义点云数据为目标车辆的视野盲区对应的语义点云数据；
收发模块，用于将所述第二语义点云数据发送至所述目标车辆，以使所述目标车辆根据所述第二语义点云数据确定目标语义点云数据，所述目标语义点云数据用于进行目标检测。
15.根据权利要求14所述的装置，其特征在于，所述处理模块还用于：
在所述第一语义点云数据中筛选出动态语义点云数据；
在所述动态语义点云数据中筛选出所述第二语义点云数据。
16.根据权利要求14或15所述的装置，其特征在于，所述处理模块还用于：
获取第一点云数据和第一图像；所述第一图像中包括多个物体的语义类别；
根据第一变换矩阵，将所述第一点云数据投影到所述第一图像，得到所述第一语义点云数据；其中，所述第一变换矩阵关联路侧设备相机参数和三维扫描设备参数。
17.根据权利要求14-16任一项所述的装置，其特征在于，所述第一语义点云数据或所述第二语义点云数据包括以下一项或多项：
多个点云的三维坐标、反射率、RGB值、语义类别和所述语义类别的置信度。
18.根据权利要求14-17任一项所述的装置，其特征在于，所述视野盲区是根据所述目标车辆的位姿参数和三维扫描设备参数确定的。
19.一种数据处理装置，其特征在于，所述装置包括：
处理模块，用于确定目标语义点云数据；所述目标语义点云数据为第二语义点云数据和第三语义点云数据融合获得的，所述第二语义点云数据为通过路侧设备接收的点云数据，所述第三语义点云数据为目标车辆确定的；
检测模块，用于基于所述目标语义点云数据，进行目标检测。
20.根据权利要求19所述的装置，其特征在于，所述第二语义点云数据或所述第三语义点云数据包括以下至少一项：
多个点云的三维坐标、反射率、RGB值、语义类别和所述语义类别的置信度。
21.根据权利要求19或20所述的装置，其特征在于，所述处理模块还用于：
确定所述第二语义点云数据中与所述第三语义点云数据中相对应的语义点云数据是否存在时间差；
若确定所述第二语义点云数据中与所述第三语义点云数据中相对应的语义点云数据均不存在时间差，则基于所述第二语义点云数据和所述第三语义点云数据，确定目标语义点云数据。
22.根据权利要求19或20所述的装置，其特征在于，所述处理模块还用于：
若确定所述第二语义点云数据中与所述第三语义点云数据中相对应的语义点云数据存在时间差，对存在所述时间差的语义点云数据进行调整；
基于调整后的语义点云数据和所述第三语义点云数据，确定所述目标语义点云数据。
23.根据权利要求19-21任一项所述的装置，其特征在于，所述处理模块还用于：
基于第二变换矩阵，对所述第二语义点云数据进行处理，得到第四语义点云数据；所述第二变换矩阵关联所述目标车辆的相机参数和三维扫描设备参数；
将所述第三语义点云数据和所述第四语义点云数据合并，得到所述目标语义点云数据。
24.根据权利要求22所述的装置，其特征在于，所述处理模块还用于：
基于第二变换矩阵，对所述调整后的语义点云数据进行处理，得到第四语义点云数据；所述第二变换矩阵关联所述目标车辆的相机参数和三维扫描设备参数；
将所述第三语义点云数据和所述第四语义点云数据合并，得到所述目标语义点云数据。
25.根据权利要求23或24所述的装置，其特征在于，所述第三语义点云数据或所述第四语义点云数据包括RGB值时，所述处理模块还用于：
将所述第三语义点云和所述第四语义点云中相对应的两个语义点云数据的RGB值的均值，作为所述两个语义点云数据的融合得到的第一目标语义点云数据的RGB值。
26.根据权利要求23或24所述的装置，其特征在于，所述第三语义点云数据或所述第四语义点云数据包括所述语义类别的置信度时，所述处理模块还用于：
将所述第三语义点云和所述第四语义点云中相对应的两个语义点云数据的所述语义类别的置信度中最大的置信度对应的语义类别，作为所述两个语义点云数据的融合得到的第一目标语义点云数据的语义类别。
27.一种终端，其特征在于，所述终端包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算程序，实现如权利要求1～5中任一项所述的方法。
28.一种车辆，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算程序，实现如权利要求6～13中任一项所述的方法。
29.一种服务器，其特征在于，所述服务器包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算程序，实现如权利要求1～5中任一项所述的方法或如权利要求6～13中任一项所述的方法。
30.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，实现如上述权利要求1～5中任一项所述的方法或权利要求6～13中任一项所述的方法。
CN202110865389.6A 2021-07-29 2021-07-29 一种数据处理方法及装置 Pending CN115690119A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110865389.6A CN115690119A (zh) 2021-07-29 2021-07-29 一种数据处理方法及装置
PCT/CN2022/107074 WO2023005797A1 (zh) 2021-07-29 2022-07-21 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110865389.6A CN115690119A (zh) 2021-07-29 2021-07-29 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN115690119A true CN115690119A (zh) 2023-02-03

Family

ID=85059389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110865389.6A Pending CN115690119A (zh) 2021-07-29 2021-07-29 一种数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN115690119A (zh)
WO (1) WO2023005797A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807633A (zh) * 2017-09-27 2018-03-16 北京图森未来科技有限公司 一种路侧设备、车载设备以及自动驾驶感知方法及系统
CN108762245B (zh) * 2018-03-20 2022-03-25 华为技术有限公司 数据融合方法以及相关设备
US11067693B2 (en) * 2018-07-12 2021-07-20 Toyota Research Institute, Inc. System and method for calibrating a LIDAR and a camera together using semantic segmentation
CN110430401B (zh) * 2019-08-12 2021-06-01 腾讯科技（深圳）有限公司 车辆盲区预警方法、预警装置、mec平台和存储介质

Also Published As

Publication number Publication date
WO2023005797A1 (zh) 2023-02-02

Similar Documents

Publication Publication Date Title
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
EP3792660B1 (en) Method, apparatus and system for measuring distance
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
JP7018566B2 (ja) 撮像装置、画像処理方法及びプログラム
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN112419385B (zh) 一种3d深度信息估计方法、装置及计算机设备
CN109094669A (zh) 用于评估铰接角度的方法和设备
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
CN108603933A (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
CN113160328A (zh) 一种外参标定方法、系统、机器人和存储介质
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
WO2022054422A1 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN113240813A (zh) 三维点云信息确定方法及装置
CN111563936A (zh) 一种相机外部参数自动标定方法及行车记录仪
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN113435224A (zh) 用于获取车辆3d信息的方法和装置
CN115690119A (zh) 一种数据处理方法及装置
CN116907469A (zh) 多模态数据联合优化的同步定位及建图方法及系统
CN110286366A (zh) 一种视觉与雷达协同感知的车辆运动状态信息提取方法
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
CN115546305A (zh) 一种相机的标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination