CN111401194B - 用于自动驾驶车辆的数据处理方法和装置 - Google Patents

用于自动驾驶车辆的数据处理方法和装置 Download PDF

Info

Publication number
CN111401194B
CN111401194B CN202010162584.8A CN202010162584A CN111401194B CN 111401194 B CN111401194 B CN 111401194B CN 202010162584 A CN202010162584 A CN 202010162584A CN 111401194 B CN111401194 B CN 111401194B
Authority
CN
China
Prior art keywords
dimensional image
target
motion compensation
labeling
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010162584.8A
Other languages
English (en)
Other versions
CN111401194A (zh
Inventor
唐伟康
王军
张晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010162584.8A priority Critical patent/CN111401194B/zh
Publication of CN111401194A publication Critical patent/CN111401194A/zh
Application granted granted Critical
Publication of CN111401194B publication Critical patent/CN111401194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于自动驾驶车辆的数据处理方法和装置。该方法的一具体实施方式包括：获取该第一传感器采集的三维图像的标注数据和该第二传感器采集的二维图像的标注数据；对该三维图像中标注目标的位置，进行相对于该二维图像的运动补偿，得到运动补偿结果；将该运动补偿结果与该二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为该三维图像与该二维图像中具有关联关系的关联目标。本申请实施例提供的方案对三维图像中标注目标的位置进行了运动补偿，从而可以减小因拍摄时间不同造成的二维图像和三维图像中标注目标的偏差。

Description

用于自动驾驶车辆的数据处理方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及用于自动驾驶车辆的数据处理方法和装置。
背景技术
自动驾驶车辆又称无人车，指可以通过车载系统(比如车载大脑)实现自动驾驶的车辆。自动驾驶车辆具有视觉感知系统，为了进行更加准确的视觉感知，采用了不止一路传感器获取数据。比如，视觉感知系统可以包括摄像头和雷达。
视觉感知系统一般基于深度学习模型进行环境感知以及目标检测。通常情况下，该深度学习模型需要训练样本进行训练。
发明内容
本申请实施例提出了用于自动驾驶车辆的数据处理方法和装置。
第一方面，本申请实施例提供了一种用于自动驾驶车辆的数据处理方法，自动驾驶车辆包括第一传感器和第二传感器，方法包括：获取第一传感器采集的三维图像的标注数据和第二传感器采集的二维图像的标注数据，其中，三维图像和二维图像两者的时间戳之差的绝对值不大于预设时长，标注数据包括标注目标的位置；对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果；将运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。
在一些实施例中，方法还包括：将三维图像中标注目标的位置，从第一传感器的雷达坐标系转换到世界坐标系，得到转换后的标注目标的位置；以及对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果，包括：在世界坐标系中，对转换后的标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果。
在一些实施例中，方法还包括：将世界坐标系中的运动补偿结果，转换到第二传感器的相机坐标系中，得到转换后的运动补偿结果；以及将三维图像所对应的运动补偿结果与二维图像中标注目标的位置进行匹配，包括：基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在一些实施例中，方法还包括：基于第二传感器的内参，将三维图像所对应的转换后的运动补偿结果，投影到二维空间中，得到投影结果；以及基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标，包括：在二维空间中，基于三维图像所对应的投影结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在一些实施例中，在将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标之后，方法还包括：获取关联目标与自动驾驶车辆的距离，并确定距离对应的交并比参考范围；若相匹配的标注目标的交并比在交并比参考范围内，确认关联关系成立；若相匹配的标注目标的交并比不在交并比参考范围内，确认关联关系不成立。
在一些实施例中，对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果，包括：确定二维图像与三维图像两者的时间戳之差；确定在第一传感器检测得到三维图像时，三维图像中标注目标的移动速度；根据所述移动速度与所述时间戳之差的乘积，确定运动补偿量；根据所述三维图像中标注目标的位置与所述运动补偿量，确定所述运动补偿结果。
在一些实施例中，方法还包括：将二维图像和三维图像，以及二维图像和三维图像中，关联目标的标注数据和关联目标的关联信息，确定为用于检测图像的深度神经网络的一个训练样本的样本信息，其中，关联信息用于指示三维图像与二维图像中的关联目标之间的关联关系。
在一些实施例中，深度神经网络通过以下方式训练得到：将二维图像，以及三维图像输入深度神经网络，得到从深度神经网络输出的对关联目标的位置的预测结果，其中，预测结果包括关联目标在二维图像中的二维位置，以及关联目标在第二传感器的坐标系中的三维位置；将关联信息和关联目标的标注数据作为期望预测结果，并基于预测结果和期望预测结果，训练深度神经网络，得到训练后的深度神经网络。
第二方面，本申请实施例提供了一种用于自动驾驶车辆的数据处理装置，自动驾驶车辆包括第一传感器和第二传感器，装置包括：获取单元，被配置成获取第一传感器采集的三维图像的标注数据和第二传感器采集的二维图像的标注数据，其中，三维图像和二维图像两者的时间戳之差的绝对值不大于预设时长，标注数据包括标注目标的位置；补偿单元，被配置成对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果；确定单元，被配置成将运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。
在一些实施例中，装置还包括：第一转换单元，被配置成将三维图像中标注目标的位置，从第一传感器的雷达坐标系转换到世界坐标系，得到转换后的标注目标的位置；以及补偿单元，进一步被配置成按照如下方式执行对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果：在世界坐标系中，对转换后的标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果。
在一些实施例中，装置还包括：第二转换单元，被配置成将世界坐标系中的运动补偿结果，转换到第二传感器的相机坐标系中，得到转换后的运动补偿结果；以及确定单元，进一步被配置成按照如下方式执行将三维图像所对应的运动补偿结果与二维图像中标注目标的位置进行匹配：基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在一些实施例中，装置还包括：基于第二传感器的内参，将三维图像所对应的转换后的运动补偿结果，投影到二维空间中，得到投影结果；以及确定单元，进一步被配置成按照如下方式执行基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标：在二维空间中，基于三维图像所对应的投影结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在一些实施例中，装置还包括：获取单元，被配置成在将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标之后，获取关联目标与自动驾驶车辆的距离，并确定距离对应的交并比参考范围；第一确认单元，被配置成若相匹配的标注目标的交并比在交并比参考范围内，确认关联关系成立；第二确认单元，被配置成若相匹配的标注目标的交并比不在交并比参考范围内，确认关联关系不成立。
在一些实施例中，补偿单元，进一步被配置成按照如下方式执行对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果：确定二维图像与三维图像两者的时间戳之差；确定在第一传感器检测得到三维图像时，三维图像中标注目标的移动速度；根据所述移动速度与所述时间戳之差的乘积，确定运动补偿量；根据所述三维图像中标注目标的位置与所述运动补偿量，确定所述运动补偿结果。
在一些实施例中，装置还包括：样本确定单元，被配置成将二维图像和三维图像，以及二维图像和三维图像中，关联目标的标注数据和关联目标的关联信息，确定为用于检测图像的深度神经网络的一个训练样本的样本信息，其中，关联信息用于指示三维图像与二维图像中的关联目标之间的关联关系。
在一些实施例中，深度神经网络通过以下方式训练得到：将二维图像，以及三维图像输入深度神经网络，得到从深度神经网络输出的对关联目标的位置的预测结果，其中，预测结果包括关联目标在二维图像中的二维位置，以及关联目标在第二传感器的坐标系中的三维位置；将关联信息和关联目标的标注数据作为期望预测结果，并基于预测结果和期望预测结果，训练深度神经网络，得到训练后的深度神经网络。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如用于自动驾驶车辆的数据处理方法中任一实施例的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如用于自动驾驶车辆的数据处理方法中任一实施例的方法。
本申请实施例提供的用于自动驾驶车辆的数据处理方案，首先，获取第一传感器采集的三维图像的标注数据和第二传感器采集的二维图像的标注数据，其中，三维图像和二维图像两者的时间戳之差的绝对值不大于预设时长，标注数据包括标注目标的位置。之后，对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果。然后，将运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。本申请实施例提供的方案对三维图像中标注目标的位置进行了运动补偿，从而可以减小因拍摄时间不同造成的二维图像和三维图像中标注目标的偏差，进而更准确地在二维图像和三维图像中，找到位置相匹配的标注目标。这样，有助于更准确地在自动驾驶车辆采集的不同图像中，确定出相同的目标。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请一些实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于自动驾驶车辆的数据处理方法的一个实施例的流程图；
图3是根据本申请的用于自动驾驶车辆的数据处理方法的一个应用场景的示意图；
图4是根据本申请的用于自动驾驶车辆的数据处理方法的又一个实施例的流程图；
图5是根据本申请的用于自动驾驶车辆的数据处理装置的一个实施例的结构示意图；
图6是适于用来实现本申请一些实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于自动驾驶车辆的数据处理方法或用于自动驾驶车辆的数据处理装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括车载系统(也即车载大脑)101，网络102和服务器103。网络102用以在车载系统101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用车载系统101通过网络102与服务器103交互，以接收或发送消息等。车载系统101上可以安装有各种通讯客户端应用。
服务器103可以是提供各种服务的服务器，例如对车载系统101提供支持的后台服务器。后台服务器可以对接收到的二维图像的标注数据和三维图像的标注数据等数据进行分析等处理，并将处理结果(例如二维图像和三维图像的关联目标)反馈给终端设备。
需要说明的是，本申请实施例所提供的用于自动驾驶车辆的数据处理方法可以由车载系统101执行，相应地，用于自动驾驶车辆的数据处理装置可以设置于车载系统101中。
应该理解，图1中的车载系统、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的车载系统、网络和服务器。
继续参考图2，示出了根据本申请的用于自动驾驶车辆的数据处理方法的一个实施例的流程200。该用于自动驾驶车辆的数据处理方法，包括以下步骤：
步骤201，获取第一传感器采集的三维图像的标注数据和第二传感器采集的二维图像的标注数据，其中，三维图像和二维图像两者的时间戳之差的绝对值不大于预设时长，标注数据包括标注目标的位置。
在本实施例中，用于自动驾驶车辆的数据处理方法的执行主体(例如图1所示的车载系统)可以获取三维图像的标注数据，还可以获取二维图像的标注数据。该自动驾驶车辆可以安装有第一传感器和第二传感器，其中，第一传感器和第二传感器的数量均可以是多个。在实践中，三维图像可以是第一传感器采集的，二维图像可以是第二传感器采集的。第一传感器可以是雷达，比如激光雷达。第二传感器可以是相机，也即摄像头。在实践中，三维图像可以是雷达在360度的环视视角中采集的图像，从而可以与任意视角的相机进行关联。
在实践中，上述执行主体可以在自动驾驶车辆的第一传感器采集的各个三维图像，以及第二传感器采集的各个二维图像中，确定出时间戳之差的绝对值小于一定阈值的图像，作为本申请获取标注数据所针对的对象。可选地，上述执行主体可以将上述的各个传感器采集的时间戳之差的绝对值最小的图像，作为上述三维图像和二维图像。
二维图像和三维图像的标注数据中均可以包括标注目标的信息，这里的标注目标指被标注的目标(对象)。二维图像的标注数据可以包括对标注目标在二维图像中所标注的位置，以及标注目标的标识，比如，该位置可以是(x,y,h,w)，即目标所在目标框(boundingbox)的左上角顶点的坐标x,y，以及目标框的高和宽，此外，也可以是目标框四个顶点的坐标。该标注目标的标识可以是数字，也可以是字母或文字等等。三维图像的标注数据可以包括标注目标的标识，以及标注目标在雷达坐标系中的位置、尺寸和/或速度等。比如，三维图像中标注目标的位置可以采用标注目标与自动驾驶车辆的距离来表示，也可以采用标注目标的具体坐标来表示。
在实践中，这里的标注数据是对单个图像(比如二维图像或三维图像)进行目标检测的结果，标注数据并不能表示出不同的图像目标之间的关联。比如，一辆自动驾驶车辆在1号二维图像中检测到两个目标，标注数据表示为目标X“一只兔子”和目标Y“一个男孩”，在2号二维图像中检测到3个目标，标注数据表示为目标X(一个男孩)、目标Y(一只鹿)和目标Z(一辆自行车)。
步骤202，对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果。
在本实施例中，上述执行主体可以对三维图像中标注目标的位置，进行运动补偿，从而得到运动补偿结果。具体地，该运动补偿是针对上述二维图像进行的。如果二维图像与三维图像的拍摄时间(时间戳)不一致，则在该时间差内，传感器所拍摄的标注目标可能存在运动，从而三维图像相对于二维图像，相同的标注目标(即同一个标注目标)可能移动了，即存在位置的偏差。
步骤203，将运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。
在本实施例中，上述执行主体可以将经过运动补偿后的、三维图像的标注目标的位置，与二维图像中标注目标的位置进行匹配。之后，上述执行主体可以将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。这里的相匹配的标注目标即是在二维图像和三维图像中的相同的标注目标。
举例来说，二维图像的标注目标包括标注目标X，三维图像的标注目标也包括标注目标X，标注目标X在这两个图像中的位置相同或相似(相似度大于预设阈值)，这里的标注目标X则是这两个图像中相匹配的标注目标。
本申请的上述实施例提供的方法对三维图像中标注目标的位置进行了运动补偿，从而可以减小因拍摄时间不同造成的二维图像和三维图像中标注目标的偏差，进而更准确地在二维图像和三维图像中，找到位置相匹配的标注目标进行关联。这样，有助于更准确地在自动驾驶车辆采集的不同图像中，确定出相同的目标。
在本实施例的一些可选的实现方式中，上述方法还可以包括：将二维图像和三维图像，以及二维图像和三维图像中，关联目标的标注数据和关联目标的关联信息，确定为用于检测图像的深度神经网络的一个训练样本的样本信息，其中，关联信息用于指示三维图像与二维图像中的关联目标之间的关联关系。
在这些可选的实现方式中，上述执行主体可以将二维图像和三维图像中，上述关联目标的标注数据和关联信息，确定为一个训练样本中的样本信息。这里的一个训练样本可以训练用于检测图像的深度神经网络。上述深度神经网络可以是各种在图像中进行目标检测的深度神经网络，比如，深度神经网络可以是卷积神经网络、残差神经网络等等。
在二维图像和三维图像之间，关联目标的标识可以是不同的。比如，在二维图像中关联目标“小白兔”的标识是可以“1”，该关联目标“小白兔”在三维图像中的标识可以是“2”。具体地，关联信息可以包括标识“1”和标识“2”，以及指示这些标识之间关联关系的标识。
这些实现方式可以基于关联得到的关联目标生成训练样本，从而提高生成训练样本的准确度和效率。并且，这些实现方式可以将二维图像和三维图像，以及关联目标的标注数据和关联信息，作为同一个训练样本中的样本信息，从而进一步提高训练样本的准确度。
在这些实现方式的一些可选的应用场景中，上述深度神经网络可以通过以下方式训练得到：将二维图像，以及三维图像输入深度神经网络，得到从深度神经网络输出的对关联目标的位置的预测结果，其中，预测结果包括关联目标在二维图像中的二维位置，以及关联目标在第二传感器的坐标系中的三维位置；将关联信息和关联目标的标注数据作为期望预测结果，并基于预测结果和期望预测结果，训练深度神经网络，得到训练后的深度神经网络。
在这些可选的应用场景中，上述执行主体或者其他电子设备可以训练上述深度神经网络。以上述执行主体为例，上述执行主体可以将二维图像和三维图像输入深度神经网络。深度神经网络可以在二维图像和三维图像中进行关联目标的位置的预测，这样，上述执行主体可以得到从深度神经网络输出的预测结果。具体地，这里预测结果包括关联目标在二维图像中的二维坐标位置，还包括该关联目标在相机坐标系(第二传感器的相机坐标系)中的三维坐标位置。
作为期望预测结果，关联信息和标注数据可以用于指示关联目标在二维图像的真实二维坐标位置，和在相机坐标系中的真实三维坐标位置。上述执行主体可以利用预设的损失函数，确定出预测结果与期望预测结果之间的损失值。并利用该损失值训练上述深度神经网络，从而得到训练后的深度神经网络。
这些应用场景可以利用存在关联信息的训练样本进行训练，以使训练得到的深度神经网络能够更准确地在二维图像和三维图像中分别找到关联目标的位置。
在本实施例的一些可选的实现方式中，步骤202可以包括：确定二维图像与三维图像两者的时间戳之差；确定在第一传感器检测三维图像时，三维图像中标注目标的移动速度；根据所述移动速度与所述时间戳之差的乘积，确定运动补偿量；根据所述三维图像中标注目标的位置与所述运动补偿量，确定所述运动补偿结果。
在这些可选的实现方式中，上述执行主体可以利用第一传感器检测三维图像时，三维图像中标注目标的移动速度，作为标注目标的实际移动速度进行运动补偿。该移动速度是上述三维图像中标注目标在第一传感器检测到三维图像时的移动速度。这里的移动速度一般指标注目标在世界坐标系中相对于地面的移动速度，也可以是标注目标相对于该自动驾驶车辆的移动速度。该运动补偿的过程可以在雷达坐标系、相机坐标系或者世界坐标系中进行。上述执行主体可以采用各种方式确定运动补偿量，例如直接将移动速度与所述时间戳之差的乘积作为运动补偿量，还可以对该乘积进行预设处理，比如输入指定模型或者乘以指定系数等等，以确定运动补偿量。上述执行主体可以采用各种方式确定运动补偿结果，例如直接将三维图像中标注目标的位置与运动补偿量之和，确定为运动补偿结果，还可以对三维图像中标注目标的位置与运动补偿量之和进行预设处理，比如输入预设模型或者乘以指定系数等等，以确定运动补偿结果。
在实践中，可以采用Xw(tc)表示世界坐标系中，相机时间戳(即上述二维图像的时间戳)时标注目标的位置即运动补偿结果，Xw(tl)为雷达时间戳(即上述三维图像的时间戳)时该标注目标的位置。其中的X表示标注目标的位置，w表示世界坐标系，tc表示相机时间戳，tl表示雷达时间戳，Xw表示世界坐标系中标注目标的位置。具体地，
Xw(tc)＝Xw(tl)+ΔX
ΔX＝V*(tc-tl)
其中，ΔX为运动补偿量，V为三维图像中标注目标的移动速度，tc-tl得到的数值可能为正数、负数或者零。
这些实现方式通过将雷达的时间戳转换到相机的时间戳，不仅可以进行运动补偿，避免二维图像和三维图像之间的标注目标的位置偏差，还可以有助于后续将标注目标的位置统一到在相机坐标系中。
继续参见图3，图3是根据本实施例的用于自动驾驶车辆的数据处理方法的应用场景的一个示意图。在图3的应用场景中，该自动驾驶车辆包括第一传感器和第二传感器，执行主体301可以获取第一传感器采集的三维图像的标注数据302和第二传感器采集的二维图像的标注数据303，其中，三维图像和二维图像两者的时间戳之差的绝对值为0.1，不大于预设时长0.2，标注数据包括标注目标的位置。执行主体301可以对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果303。执行主体301可以将运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标(比如标注目标一只灰兔子，和/或标注目标一个小女孩)，确定为三维图像与二维图像中具有关联关系的关联目标304。
进一步参考图4，其示出了用于自动驾驶车辆的数据处理方法的又一个实施例的流程400。该用于自动驾驶车辆的数据处理方法的流程400，包括以下步骤：
步骤401，获取第一传感器采集的三维图像的标注数据和第二传感器采集的二维图像的标注数据，其中，三维图像和二维图像两者的时间戳之差的绝对值不大于预设时长，标注数据包括标注目标的位置。
在本实施例中，用于自动驾驶车辆的数据处理方法的执行主体(例如图1所示的车载系统)可以获取三维图像的标注数据，还可以获取二维图像的标注数据。该自动驾驶车辆可以安装有第一传感器和第二传感器，其中，第二传感器的数量可以是多个。在实践中，三维图像可以是第一传感器采集的，二维图像可以是第二传感器采集的。第一传感器可以是雷达，比如激光雷达。第二传感器可以是相机，也即摄像头。
步骤402，将三维图像中标注目标的位置，从第一传感器的雷达坐标系转换到世界坐标系，得到转换后的标注目标的位置。
在本实施例中，上述执行主体可以将三维图像中标注目标的位置从第一传感器的雷达坐标系，转换到世界坐标系中。在本次转换后，三维图像中标注目标的位置即是在世界坐标系中的位置。这样，后续对三维图像中标注目标的位置进行的操作则是在世界坐标系中进行。
步骤403，在世界坐标系中，对转换后的标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果。
在本实施例中，上述执行主体可以在世界坐标系中，对转换后的标注目标的位置，进行运动补偿，从而得到在世界坐标系中的运动补偿结果。
步骤404，将三维图像所对应的运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。
在本实施例中，上述执行主体可以将经过运动补偿后的、三维图像的标注目标的位置，与二维图像中标注目标的位置进行匹配。之后，上述执行主体可以将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。这里的相匹配的标注目标即是在二维图像和三维图像中的相同的标注目标。
在本实施例的一些可选的实现方式中，上述方法还可以包括：将世界坐标系中的运动补偿结果，转换到第二传感器的相机坐标系中，得到转换后的运动补偿结果；以及，步骤404中的将三维图像所对应的运动补偿结果与二维图像中标注目标的位置进行匹配，可以包括：基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在这些可选的实现方式中，上述执行主体可以将上述运动补偿结果，从世界坐标系中，转换到第二传感器的相机坐标系中。之后，上述执行主体可以确定转换后的运动补偿结果与二维图像中标注目标的交并比(Intersection-over-Union，IoU)，从而确定出相匹配的标注目标。比如，上述执行主体可以将交并比大于预设交并比阈值的标注目标，确定为相匹配的标注目标。此外，上述执行主体还可以对各个交并比进行排序，并在排序得到的序列中，从交并比较大的一端获取预设数量的交并比，并将所获取的交并比对应的标注目标作为相匹配的标注目标。
具体地，上述执行主体可以按照如下方式将三维图像中标注目标的位置，从第一传感器的雷达坐标系转换到世界坐标系：
Xw(tl)＝Tl→w(tl)*XI(tl)
其中，Xl(tl)为雷达时间戳tl时标注目标的位置，Tl→w(tl)为tl时雷达坐标系到世界坐标系的转换矩阵，Xw(tl)为雷达时间戳时该标注目标的位置。
之后，上述执行主体可以进行运动补偿：
Xw(tc)＝Xw(tl)+ΔX
这里的运动补偿量可以是预设的，也可以是按照预设规则确定的，比如按照图2对应的实施例中的方式确定的。Xw(tc)表示世界坐标系中，相机时间戳时标注目标的位置，即运动补偿结果。
而后，上述执行主体可以将世界坐标系中的运动补偿结果，转换到第二传感器的相机坐标系中：
Xc(tc)＝Tw→c(tc)*Xw(tc)
其中，Xc(tc)为相机时间戳tc时标注目标的位置。Tw→c(tc)为tc时世界坐标系到相机坐标系的转换矩阵。
这些实现方式可以将标注目标的位置统一到相机坐标系中，从而能够更加准确地确定出二维图像和三维图像中相匹配的标注目标。
在这些实现方式的一些可选的应用场景中，上述方法还可以包括：基于第二传感器的内参，将三维图像所对应的转换后的运动补偿结果，投影到二维空间中，得到投影结果；以及这些实现方式中的基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标，可以包括：在二维空间中，基于三维图像所对应的投影结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在这些可选的应用场景中，上述执行主体可以利用上述第二传感器的内参，将上述转换后的运动补偿结果，投影到二维空间中，从而得到二维的投影结果。这样，三维图像中标注目标的位置则转换为二维的位置，从而与二维图像中标注目标的位置确定交并比，从而实现匹配。在实践中，由第二传感器的各个内参可以生成从三维空间转换到二维空间的转换矩阵，从而实现上述投影过程。
这些应用场景可以通过投影，将相机坐标系中的运动补偿结果转换成二维的位置，从而能够更加准确地获取到三维图像与二维图像中，标注目标的交并比，从而让标注目标的匹配结果更加准确。
在这些实现方式的一些可选的应用场景中，在步骤404之后，上述方法还可以包括：获取关联目标与自动驾驶车辆的距离，并确定距离对应的交并比参考范围；若相匹配的标注目标的交并比在交并比参考范围内，确认关联关系成立；若相匹配的标注目标的交并比不在交并比参考范围内，确认关联关系不成立。
在这些可选的应用场景中，上述执行主体可以根据关联目标与自动驾驶车辆的距离，确定出该距离所对应的交并比参考范围。举例来说，相匹配的标注目标的交并比为0.95，距离相对应的交并比参考范围为大于或等于0.90，则上述执行主体可以确认该标注目标在二维图像和三维图像之间的关联关系成立。若相匹配的标注目标的交并比为0.95，距离相对应的交并比参考范围为大于或等于0.97，则上述执行主体可以确认该标注目标在二维图像和三维图像之间的关联关系不成立。
在实践中，不同的关联目标与自动驾驶车辆的距离或距离范围，对应不同的交并比参考范围。比如，关联目标是一只兔子，该关联目标与自动驾驶车辆的距离为10米，交并比的参考范围为大于或等于0.80。关联目标与自动驾驶车辆的距离为9米，则交并比的参考范围为大于或等于0.82。再比如，关联目标与自动驾驶车辆的距离范围在为9米-10米之间，交并比的参考范围为大于或等于0.85，关联目标与自动驾驶车辆的距离范围在为11米-12米之间，交并比的参考范围为大于或等于0.80。
这些应用场景可以根据关联目标与自动驾驶车辆的距离，设置不同的关联检测方式，从而可以在建立关联关系后，通过该方式准确地验证出关联关系是否成立。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于自动驾驶车辆的数据处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征或效果。该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于自动驾驶车辆的数据处理装置500,自动驾驶车辆包括第一传感器和第二传感器，该装置包括：获取单元501、补偿单元502和确定单元503，其中，获取单元501，被配置成获取第一传感器采集的三维图像的标注数据和第二传感器采集的二维图像的标注数据，其中，三维图像和二维图像两者的时间戳之差的绝对值不大于预设时长，标注数据包括标注目标的位置；补偿单元502，被配置成对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果；确定单元503，被配置成将运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。
在一些实施例中，用于自动驾驶车辆的数据处理装置500的获取单元501获取三维图像的标注数据，还可以获取二维图像的标注数据。该自动驾驶车辆可以安装有第一传感器和第二传感器，其中，第一传感器和第二传感器的数量均可以是多个。在实践中，三维图像可以是第一传感器采集的，二维图像可以是第二传感器采集的。第一传感器可以是雷达，比如激光雷达。第二传感器可以是相机，也即摄像头。
在一些实施例中，补偿单元502可以对三维图像中标注目标的位置，进行运动补偿，从而得到运动补偿结果。具体地，该运动补偿是针对上述二维图像进行的。如果二维图像与三维图像的拍摄时间(时间戳)不一致，则在该时间差内，传感器所拍摄的标注目标可能存在运动，从而三维图像相对于二维图像，相同的标注目标可能移动了，即存在位置的偏差。
在一些实施例中，确定单元503可以将经过运动补偿后的、三维图像的标注目标的位置，与二维图像中标注目标的位置进行匹配。之后，上述执行主体可以将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标。这里的相匹配的标注目标即是在二维图像和三维图像中的相同的标注目标。
在本实施例的一些可选的实现方式中，补偿单元，进一步被配置成按照如下方式执行对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果：确定二维图像与三维图像两者的时间戳之差；确定在第一传感器检测得到三维图像时，三维图像中标注目标的移动速度；根据所述移动速度与所述时间戳之差的乘积，确定运动补偿量；根据所述三维图像中标注目标的位置与所述运动补偿量，确定所述运动补偿结果。
在本实施例的一些可选的实现方式中，装置还包括：第一转换单元，被配置成将三维图像中标注目标的位置，从第一传感器的雷达坐标系转换到世界坐标系，得到转换后的标注目标的位置；以及补偿单元，进一步被配置成按照如下方式执行对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果：在世界坐标系中，对转换后的标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果。
在本实施例的一些可选的实现方式中，装置还包括：第二转换单元，被配置成将世界坐标系中的运动补偿结果，转换到第二传感器的相机坐标系中，得到转换后的运动补偿结果；以及确定单元，进一步被配置成按照如下方式执行将三维图像所对应的运动补偿结果与二维图像中标注目标的位置进行匹配：基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在本实施例的一些可选的实现方式中，装置还包括：基于第二传感器的内参，将三维图像所对应的转换后的运动补偿结果，投影到二维空间中，得到投影结果；以及确定单元，进一步被配置成按照如下方式执行基于三维图像所对应的转换后的运动补偿结果与二维图像中标注目标的交并比，确定出相匹配的标注目标：在二维空间中，基于三维图像所对应的投影结果与二维图像中标注目标的交并比，确定出相匹配的标注目标。
在本实施例的一些可选的实现方式中，装置还包括：获取单元，被配置成在将相匹配的标注目标，确定为三维图像与二维图像中具有关联关系的关联目标之后，获取关联目标与自动驾驶车辆的距离，并确定距离对应的交并比参考范围；第一确认单元，被配置成若相匹配的标注目标的交并比在交并比参考范围内，确认关联关系成立；第二确认单元，被配置成若相匹配的标注目标的交并比不在交并比参考范围内，确认关联关系不成立。
在本实施例的一些可选的实现方式中，装置还包括：样本确定单元，被配置成将二维图像和三维图像，以及二维图像和三维图像中，关联目标的标注数据和关联目标的关联信息，确定为用于检测图像的深度神经网络的一个训练样本的样本信息，其中，关联信息用于指示三维图像与二维图像中的关联目标之间的关联关系。
在本实施例的一些可选的实现方式中，深度神经网络通过以下方式训练得到：将二维图像，以及三维图像输入深度神经网络，得到从深度神经网络输出的对关联目标的位置的预测结果，其中，预测结果包括关联目标在二维图像中的二维位置，以及关联目标在第二传感器的坐标系中的三维位置；将关联信息和关联目标的标注数据作为期望预测结果，并基于预测结果和期望预测结果，训练深度神经网络，得到训练后的深度神经网络。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、补偿单元和确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，补偿单元还可以被描述为“对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取第一传感器采集的三维图像的标注数据和第二传感器采集的二维图像的标注数据，其中，三维图像和二维图像两者的时间戳之差的绝对值不大于预设时长，标注数据包括标注目标的位置；对三维图像中标注目标的位置，进行相对于二维图像的运动补偿，得到运动补偿结果；将运动补偿结果与二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为所述三维图像与所述二维图像中具有关联关系的关联目标。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于自动驾驶车辆的数据处理方法，所述自动驾驶车辆包括第一传感器和第二传感器，所述方法包括：
获取所述第一传感器采集的三维图像的标注数据和所述第二传感器采集的二维图像的标注数据，其中，所述三维图像和所述二维图像两者的时间戳之差的绝对值不大于预设时长，所述标注数据包括标注目标的位置；
对所述三维图像中标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果；
将所述运动补偿结果与所述二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为所述三维图像与所述二维图像中具有关联关系的关联目标；
在所述将相匹配的标注目标，确定为所述三维图像与所述二维图像中具有关联关系的关联目标之后，所述方法还包括：
获取所述关联目标与所述自动驾驶车辆的距离，并确定所述距离对应的交并比参考范围；
若相匹配的标注目标的交并比在所述交并比参考范围内，确认所述关联关系成立；
若相匹配的标注目标的交并比不在所述交并比参考范围内，确认所述关联关系不成立。
2.根据权利要求1所述的方法，其中，所述方法还包括：
将所述三维图像中标注目标的位置，从第一传感器的雷达坐标系转换到世界坐标系，得到转换后的标注目标的位置；以及
所述对所述三维图像中标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果，包括：
在世界坐标系中，对所述转换后的标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果。
3.根据权利要求2所述的方法，其中，所述方法还包括：
将所述世界坐标系中的所述运动补偿结果，转换到所述第二传感器的相机坐标系中，得到转换后的运动补偿结果；以及
所述将所述三维图像所对应的运动补偿结果与所述二维图像中标注目标的位置进行匹配，包括：
基于所述三维图像所对应的所述转换后的运动补偿结果与所述二维图像中标注目标的交并比，确定出所述相匹配的标注目标。
4.根据权利要求3所述的方法，其中，所述方法还包括：
基于所述第二传感器的内参，将所述三维图像所对应的所述转换后的运动补偿结果，投影到二维空间中，得到投影结果；以及
所述基于所述三维图像所对应的所述转换后的运动补偿结果与所述二维图像中标注目标的交并比，确定出所述相匹配的标注目标，包括：
在所述二维空间中，基于所述三维图像所对应的所述投影结果与所述二维图像中标注目标的交并比，确定出所述相匹配的标注目标。
5.根据权利要求1所述的方法，其中，所述对所述三维图像中标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果，包括：
确定所述二维图像与所述三维图像两者的时间戳之差；
确定在所述第一传感器检测得到所述三维图像时，所述三维图像中标注目标的移动速度；
根据所述移动速度与所述时间戳之差的乘积，确定运动补偿量；
根据所述三维图像中标注目标的位置与所述运动补偿量，确定所述运动补偿结果。
6.根据权利要求1-5任一项所述的方法，其中，所述方法还包括：
将所述二维图像和所述三维图像，以及所述二维图像和所述三维图像中，所述关联目标的标注数据和所述关联目标的关联信息，确定为用于检测图像的深度神经网络的一个训练样本的样本信息，其中，所述关联信息用于指示所述三维图像与所述二维图像中的所述关联目标之间的关联关系。
7.根据权利要求6所述的方法，其中，所述深度神经网络通过以下方式训练得到：
将所述二维图像，以及所述三维图像输入所述深度神经网络，得到从所述深度神经网络输出的对所述关联目标的位置的预测结果，其中，所述预测结果包括所述关联目标在所述二维图像中的二维位置，以及所述关联目标在所述第二传感器的坐标系中的三维位置；
将所述关联信息和所述关联目标的标注数据作为期望预测结果，并基于所述预测结果和所述期望预测结果，训练所述深度神经网络，得到训练后的所述深度神经网络。
8.一种用于自动驾驶车辆的数据处理装置，所述自动驾驶车辆包括第一传感器和第二传感器，所述装置包括：
获取单元，被配置成获取所述第一传感器采集的三维图像的标注数据和所述第二传感器采集的二维图像的标注数据，其中，所述三维图像和所述二维图像两者的时间戳之差的绝对值不大于预设时长，所述标注数据包括标注目标的位置；
补偿单元，被配置成对所述三维图像中标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果；
确定单元，被配置成将所述运动补偿结果与所述二维图像中标注目标的位置进行匹配，以及将相匹配的标注目标，确定为所述三维图像与所述二维图像中具有关联关系的关联目标；
所述装置还包括：
获取单元，被配置成在所述将相匹配的标注目标，确定为所述三维图像与所述二维图像中具有关联关系的关联目标之后，获取所述关联目标与所述自动驾驶车辆的距离，并确定所述距离对应的交并比参考范围；
第一确认单元，被配置成若相匹配的标注目标的交并比在所述交并比参考范围内，确认所述关联关系成立；
第二确认单元，被配置成若相匹配的标注目标的交并比不在所述交并比参考范围内，确认所述关联关系不成立。
9.根据权利要求8所述的装置，其中，所述装置还包括：
第一转换单元，被配置成将所述三维图像中标注目标的位置，从第一传感器的雷达坐标系转换到世界坐标系，得到转换后的标注目标的位置；以及
所述补偿单元，进一步被配置成按照如下方式执行所述对所述三维图像中标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果：
在世界坐标系中，对所述转换后的标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果。
10.根据权利要求9所述的装置，其中，所述装置还包括：
第二转换单元，被配置成将所述世界坐标系中的所述运动补偿结果，转换到所述第二传感器的相机坐标系中，得到转换后的运动补偿结果；以及
所述确定单元，进一步被配置成按照如下方式执行所述将所述三维图像所对应的运动补偿结果与所述二维图像中标注目标的位置进行匹配：
基于所述三维图像所对应的所述转换后的运动补偿结果与所述二维图像中标注目标的交并比，确定出所述相匹配的标注目标。
11.根据权利要求10所述的装置，其中，所述装置还包括：
基于所述第二传感器的内参，将所述三维图像所对应的所述转换后的运动补偿结果，投影到二维空间中，得到投影结果；以及
所述确定单元，进一步被配置成按照如下方式执行所述基于所述三维图像所对应的所述转换后的运动补偿结果与所述二维图像中标注目标的交并比，确定出所述相匹配的标注目标：
在所述二维空间中，基于所述三维图像所对应的所述投影结果与所述二维图像中标注目标的交并比，确定出所述相匹配的标注目标。
12.根据权利要求8所述的装置，其中，所述补偿单元，进一步被配置成按照如下方式执行所述对所述三维图像中标注目标的位置，进行相对于所述二维图像的运动补偿，得到运动补偿结果：
确定所述二维图像与所述三维图像两者的时间戳之差；
确定在所述第一传感器检测得到所述三维图像时，所述三维图像中标注目标的移动速度；
根据所述移动速度与所述时间戳之差的乘积，确定运动补偿量；
根据所述三维图像中标注目标的位置与所述运动补偿量，确定所述运动补偿结果。
13.根据权利要求8-12任一项所述的装置，其中，所述装置还包括：
样本确定单元，被配置成将所述二维图像和所述三维图像，以及所述二维图像和所述三维图像中，所述关联目标的标注数据和所述关联目标的关联信息，确定为用于检测图像的深度神经网络的一个训练样本的样本信息，其中，所述关联信息用于指示所述三维图像与所述二维图像中的所述关联目标之间的关联关系。
14.根据权利要求13所述的装置，其中，所述深度神经网络通过以下方式训练得到：
将所述二维图像，以及所述三维图像输入所述深度神经网络，得到从所述深度神经网络输出的对所述关联目标的位置的预测结果，其中，所述预测结果包括所述关联目标在所述二维图像中的二维位置，以及所述关联目标在所述第二传感器的坐标系中的三维位置；
将所述关联信息和所述关联目标的标注数据作为期望预测结果，并基于所述预测结果和所述期望预测结果，训练所述深度神经网络，得到训练后的所述深度神经网络。
15.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202010162584.8A 2020-03-10 2020-03-10 用于自动驾驶车辆的数据处理方法和装置 Active CN111401194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010162584.8A CN111401194B (zh) 2020-03-10 2020-03-10 用于自动驾驶车辆的数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010162584.8A CN111401194B (zh) 2020-03-10 2020-03-10 用于自动驾驶车辆的数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN111401194A CN111401194A (zh) 2020-07-10
CN111401194B true CN111401194B (zh) 2023-09-22

Family

ID=71432308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162584.8A Active CN111401194B (zh) 2020-03-10 2020-03-10 用于自动驾驶车辆的数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN111401194B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017241A (zh) * 2020-08-20 2020-12-01 广州小鹏汽车科技有限公司 一种数据处理的方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106595502A (zh) * 2016-12-01 2017-04-26 广州亚思信息科技有限责任公司 一种基于结构光的运动补偿3d测量方法
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN108961422A (zh) * 2018-06-27 2018-12-07 百度在线网络技术（北京）有限公司 三维模型的标记方法和装置
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
KR101985712B1 (ko) * 2018-12-13 2019-06-04 주식회사 버넥트 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템
CN109859239A (zh) * 2019-05-05 2019-06-07 深兰人工智能芯片研究院（江苏）有限公司 一种目标追踪的方法及设备
CN109902677A (zh) * 2019-01-30 2019-06-18 深圳北斗通信科技有限公司 一种基于深度学习的车辆检测方法
CN110163904A (zh) * 2018-09-11 2019-08-23 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
CN110210304A (zh) * 2019-04-29 2019-09-06 北京百度网讯科技有限公司 用于目标检测和跟踪的方法及系统
CN110220501A (zh) * 2019-06-11 2019-09-10 北京百度网讯科技有限公司 用于获取验证数据的方法、装置、电子设备和计算机存储介质
CN110555903A (zh) * 2018-05-31 2019-12-10 北京京东尚科信息技术有限公司 图像处理方法和装置
CN110632608A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种基于激光点云的目标检测方法和装置
CN110675453A (zh) * 2019-10-16 2020-01-10 北京天睿空间科技股份有限公司 一种已知场景中运动目标的自定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006035924A1 (de) * 2006-07-31 2008-02-07 Robert Bosch Gmbh Verfahren zum Bestimmen der Drehachse und des Drehzentrums eines Fahrzeugrads

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106595502A (zh) * 2016-12-01 2017-04-26 广州亚思信息科技有限责任公司 一种基于结构光的运动补偿3d测量方法
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN110555903A (zh) * 2018-05-31 2019-12-10 北京京东尚科信息技术有限公司 图像处理方法和装置
CN110632608A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种基于激光点云的目标检测方法和装置
CN108961422A (zh) * 2018-06-27 2018-12-07 百度在线网络技术（北京）有限公司 三维模型的标记方法和装置
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
CN110163904A (zh) * 2018-09-11 2019-08-23 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
KR101985712B1 (ko) * 2018-12-13 2019-06-04 주식회사 버넥트 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템
CN109902677A (zh) * 2019-01-30 2019-06-18 深圳北斗通信科技有限公司 一种基于深度学习的车辆检测方法
CN110210304A (zh) * 2019-04-29 2019-09-06 北京百度网讯科技有限公司 用于目标检测和跟踪的方法及系统
CN109859239A (zh) * 2019-05-05 2019-06-07 深兰人工智能芯片研究院（江苏）有限公司 一种目标追踪的方法及设备
CN110220501A (zh) * 2019-06-11 2019-09-10 北京百度网讯科技有限公司 用于获取验证数据的方法、装置、电子设备和计算机存储介质
CN110675453A (zh) * 2019-10-16 2020-01-10 北京天睿空间科技股份有限公司 一种已知场景中运动目标的自定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IoU Loss for 2D/3D Object Detection;Dingfu Zhou等;《2019 International Conference on 3D Vision》;85-94 *
冯韬.基于单目视觉的人体三维姿态估计.《中国硕士学位论文全文数据库(信息科技辑)》.2020,I138-1741. *
基于改进YOLOv3算法的道路多目标实时检测方法;宋二猛;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第2020（01）期);C035-326 *
基于车载视频的道路车辆及行人检测;唐诗;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第2018（08）期);C035-24 *

Also Published As

Publication number Publication date
CN111401194A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN109345596B (zh) 多传感器标定方法、装置、计算机设备、介质和车辆
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
CN108694882B (zh) 用于标注地图的方法、装置和设备
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN109285188B (zh) 用于生成目标物体的位置信息的方法和装置
CN109492656B (zh) 用于输出信息的方法和装置
CN109300151B (zh) 图像处理方法和装置、电子设备
CN107941226B (zh) 用于生成车辆的方向引导线的方法和装置
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
CN107830869B (zh) 用于车辆的信息输出方法和装置
CN110119725B (zh) 用于检测信号灯的方法及装置
CN111681172A (zh) 协同构建点云地图的方法、设备和系统
CN111401423B (zh) 用于自动驾驶车辆的数据处理方法和装置
CN109903308B (zh) 用于获取信息的方法及装置
US11314975B2 (en) Object identification in data relating to signals that are not human perceptible
CN111401194B (zh) 用于自动驾驶车辆的数据处理方法和装置
CN117870716A (zh) 地图兴趣点的显示方法、装置、电子设备及存储介质
CN113240750A (zh) 三维空间信息测算方法及装置
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN111383337B (zh) 用于识别对象的方法和装置
CN112668371B (zh) 用于输出信息的方法和装置
CN111325712B (zh) 用于检测图像有效性的方法及装置
CN112560324B (zh) 用于输出信息的方法和装置
CN111523409B (zh) 用于生成位置信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant