CN112241978A - 一种数据处理的方法和装置 - Google Patents

一种数据处理的方法和装置 Download PDF

Info

Publication number
CN112241978A
CN112241978A CN202011134124.0A CN202011134124A CN112241978A CN 112241978 A CN112241978 A CN 112241978A CN 202011134124 A CN202011134124 A CN 202011134124A CN 112241978 A CN112241978 A CN 112241978A
Authority
CN
China
Prior art keywords
data
image data
depth information
radar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011134124.0A
Other languages
English (en)
Inventor
董旭
刘兰个川
毛云翔
王弢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Autopilot Technology Co Ltd filed Critical Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority to CN202011134124.0A priority Critical patent/CN112241978A/zh
Publication of CN112241978A publication Critical patent/CN112241978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9094—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种数据处理的方法和装置，所述方法包括：获取第一图像数据和雷达数据；根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；获取单目相机采集的第二图像数据；采用所述目标网络，生成所述第二图像数据对应的第二深度信息。通过本发明实施例，实现了高精度的仅从单目相机中检测出物体的深度信息，通过雷达相机目标匹配以获取深度信息，并进行目标网络训练，从而达到了通过数据驱动的方式对物体深度距离的高精度检测，且能够低成本自动化地获取深度信息。

Description

一种数据处理的方法和装置
技术领域
本发明涉及数据处理领域，特别是涉及一种数据处理的方法和装置。
背景技术
目前，针对物体深度距离检测的方法，通常为基于多传感器直接进行物体深度距离检测，但采用该方法需要依赖多传感器融合，成本较高；或利用逆透视变换算法的拟合技术获取物体的深度距离信息，然而受限于相机图像在深度上的多义性和现实驾驶场景中物体的复杂性，无法得到精确度高的深度距离检测结果。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置，包括：
一种数据处理的方法，所述方法包括：
获取第一图像数据和雷达数据；
根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
获取单目相机采集的第二图像数据；
采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
可选地，在所述根据所述第一图像数据和所述第一深度信息，训练预置的目标网络之前，还包括：
对所述第一图像数据和所述第一深度信息进行数据增强。
可选地，所述对所述第一图像数据和所述第一深度信息进行数据增强，包括：
确定数据增强方式；
确定所述数据增强方式对应的数据增强参数；
按照所述数据增强参数，对所述第一图像数据和所述第一深度信息进行数据增强。
可选地，所述根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息，包括
确定所述第一图像数据中第一相机对象；
在所述雷达数据中，确定与所述第一相机对象匹配的第一雷达对象；
根据所述第一雷达对象，确定与所述第一图像数据对应的第一深度信息。
可选地，在所述根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息之前，还包括：
对所述第一图像数据和所述雷达数据进行时间对齐。
可选地，在所述根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息之前，还包括：
对所述第一图像数据和所述雷达数据进行空间校准。
可选地，所述根据所述第一图像数据和所述第一深度信息，训练预置的目标网络，包括：
采用预置的目标网络，生成所述第一图像数据对应的样本深度信息；
根据所述第一深度信息和所述样本深度信息，确定所述目标网络的回归损失；
根据所述回归损失，训练所述目标网络。
一种数据处理的装置，所述装置包括：
第一图像数据和雷达数据获取模块，用于获取第一图像数据和雷达数据；
第一深度信息确定模块，用于根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
目标网络训练模块，用于根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
第二图像数据获取模块，用于获取单目相机采集的第二图像数据；
第二深度信息生成模块，用于采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
一种服务器，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理的方法。
本发明实施例具有以下优点：
在本发明实施例中，通过获取第一图像数据和雷达数据，根据雷达数据，确定与第一图像数据对应的第一深度信息，然后根据第一图像数据和第一深度信息，训练预置的目标网络，进而获取单目相机采集的第二图像数据，采用目标网络，生成第二图像数据对应的第二深度信息，实现了高精度的仅从单目相机中检测出物体的深度信息，通过雷达相机目标匹配以获取深度信息，并进行目标网络训练，从而达到了通过数据驱动的方式对物体深度距离的高精度检测，且能够低成本自动化地获取深度信息。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据处理的方法的步骤流程图；
图2是本发明一实施例提供的另一种数据处理的方法的步骤流程图；
图3是本发明一实施例提供的另一种数据处理的方法的步骤流程图；
图4a是本发明一实施例提供的一种数据增强示例的示意图；
图4b是本发明一实施例提供的另一种数据增强示例的示意图；
图4c是本发明一实施例提供的一种数据增强流程示例的示意图；
图4d是本发明一实施例提供的一种物体深度距离检测流程示例的示意图；
图5是本发明一实施例提供的一种数据处理的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明一实施例提供的一种数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取第一图像数据和雷达数据；
其中，第一图像数据可以为通过相机采集的图像信号，例如，可以基于采集的相机图像进行二维平面目标检测。
作为一示例，雷达数据可以为通过毫米波雷达采集的雷达信号，例如，相较于现有技术中利用的激光雷达，可以采用低成本的毫米波雷达采集雷达信号。
在物体深度距离检测的过程中，可以通过采集相机图像信号和毫米波雷达信号，进而可以获取第一图像数据和雷达数据，以根据第一图像数据和雷达数据进一步获取目标物体检测信息，例如，可以针对相机采集的图像信号和毫米波雷达采集的雷达信号进行数据处理，以进一步在训练阶段中为神经网络算法的训练提供标注信息。
在一示例中，可以采集毫米波雷达信号和相机图像信号，并可以对雷达信号和相机图像信号分别进行处理，进而可以获取相应的目标物体检测信息，例如，雷达目标物体检测信息可以包括三维平面中位置信息和速度信息，相机目标物体检测信息可以包括在相机平面内的边界框和其它属性信息等。
在又一示例中，可以针对雷达目标物体检测信息和相机目标物体检测信息进行匹配，可以采用多种不同匹配算法，例如，可以为通过计算目标物体在相机平面距离的方式，也可以为通过计算目标物体在三维平面上距离的方式，还可以通过深度学习进行目标物体匹配的方式，还可以通过结合上述三种方式，进而可以实现雷达信号和相机信号的检测目标物体匹配。
通过毫米波雷达目标与相机图像目标匹配的方式，从而能够低成本自动化地得到相机目标的深度距离检测结果。
步骤102，根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
作为一示例，第一深度信息可以为针对雷达数据的第一图像数据中目标物体的深度距离，例如，可以从雷达信号中获取带有深度信息的相机图像目标检测标注。
在获取第一图像数据和雷达数据后，可以通过雷达数据和第一图像数据目标物体匹配结果，进而可以根据雷达数据，确定与相机采集的第一图像数据对应的第一深度信息，以采用该第一深度信息为后续算法训练提供标注信息。
在一示例中，可以根据毫米波雷达信号和相机图像检测目标物体的匹配结果，进而可以从雷达信号中获取准确的相机目标的深度距离信息，可以将该深度距离信息作为相机目标的标注，以为后续的深度学习算法提供标注信息。
步骤103，根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
作为一示例，目标网络可以为神经网络，例如，深度学习神经网络(DeepNeuralNetwork)。
在确定第一深度信息后，可以根据相机采集的第一图像数据和第一深度信息，训练预置的目标网络，例如，可以通过深度学习神经网络进行目标检测并回归目标深度距离信息，进而可以将该回归的深度距离信息与深度标注信息进行比较，可以通过损失函数进行神经网络的学习，以针对训练阶段中神经网络算法进行训练。
步骤104，获取单目相机采集的第二图像数据；
其中，第二图像数据可以为通过单目相机采集的图像信号，例如，基于深度学习的算法，可以直接通过单目相机采集的相机图像，得到物体深度距离信息。
在物体深度距离检测的过程中，可以获取单目相机采集的第二图像数据，以进一步通过训练后的深度学习神经网络，根据该单目相机采集的相机图像直接计算出物体深度距离信息。
步骤105，采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
作为一示例，第二深度信息可以为单目相机采集的相机图像中目标物体的深度距离。
在获取单目相机采集的第二图像数据后，可以采用训练后的深度学习神经网络，进而可以生成第二图像数据对应的第二深度信息，例如，可以通过训练后的深度学习神经网络，直接从单目相机图片中计算得到物体深度距离信息。
由于相机作为车载传感器，其可以提供丰富的关于物体的语义信息，进而可以实现基于相机图像的二维平面目标检测，但相机图像在提供几何信息方面存在天然不足，尤其是相机图像在物体深度距离上的多义性，导致了基于相机图像的三维空间目标检测存在较大困难，进而在从二维目标检测向三维目标检测的扩展中，需要解决如何实现物体的深度距离检测的问题。
在一示例中，通过毫米波雷达跟相机目标匹配的技术，可以低成本自动化地获取深度距离标注信息，进而可以通过深度学习的技术，直接从单目相机采集的图像信号中检测物体深度距离信息，从而能够通过神经网络针对单目相机图像直接进行物体深度信息回归。
在本发明实施例中，通过获取第一图像数据和雷达数据，根据雷达数据，确定与第一图像数据对应的第一深度信息，然后根据第一图像数据和第一深度信息，训练预置的目标网络，进而获取单目相机采集的第二图像数据，采用目标网络，生成第二图像数据对应的第二深度信息，实现了高精度的仅从单目相机中检测出物体的深度信息，通过雷达相机目标匹配以获取深度信息，并进行目标网络训练，从而达到了通过数据驱动的方式对物体深度距离的高精度检测，且能够低成本自动化地获取深度信息。
参照图2，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤201，获取第一图像数据和雷达数据；
在物体深度距离检测的过程中，可以通过采集相机图像信号和毫米波雷达信号，进而可以获取第一图像数据和雷达数据，以根据第一图像数据和雷达数据进一步获取目标物体检测信息，例如，可以针对相机采集的图像信号和毫米波雷达采集的雷达信号进行数据处理，以进一步在训练阶段中为神经网络算法的训练提供标注信息。
步骤202，对所述第一图像数据和所述雷达数据进行时间对齐；
在获取第一图像数据和雷达数据后，可以对第一图像数据和雷达数据进行时间对齐。
例如，可以针对任一帧相机图像，通过找到其时间上最接近的毫米波雷达信号，并可以对雷达信号进行运动补偿，进而可以实现相机图像信号和雷达信号时间对齐。
在一示例中，可以通过运动补偿的方式将雷达信号向相机图像信号进行时间对齐，通过雷达的速度估算和预测雷达点在不同时间点下的位置，从而可以消除雷达信号和相机图像信号在采集时间上的误差。
步骤203，对所述第一图像数据和所述雷达数据进行空间校准；
在获取第一图像数据和雷达数据后，可以对第一图像数据和雷达数据进行空间校准，例如，可以通过雷达信号向相机平面进行空间投影，进而可以实现相机图像信号和雷达信号空间上的校准和对齐。
在一示例中，可以将雷达目标投影到相机平面上，如通过坐标系变换的方式将雷达信号向相机坐标系进行空间对齐，从而可以进行空间上的数据校准和对齐。
步骤204，根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
在获取第一图像数据和雷达数据后，可以通过雷达数据和第一图像数据目标物体匹配结果，进而可以根据雷达数据，确定与相机采集的第一图像数据对应的第一深度信息，以采用该第一深度信息为后续算法训练提供标注信息。
在本发明一实施例中，步骤204可以包括如下子步骤：
确定所述第一图像数据中第一相机对象；在所述雷达数据中，确定与所述第一相机对象匹配的第一雷达对象；根据所述第一雷达对象，确定与所述第一图像数据对应的第一深度信息。
作为一示例，第一相机对象可以为相机图像信号中检测目标物体，第一雷达对象可以为雷达信号中检测目标物体。
在实际应用中，可以通过确定相机图像信号中被检测相机目标，然后可以针对该相机目标，在雷达信号中确定与其匹配的被检测雷达目标，进而可以根据雷达目标，从雷达信号中获取带有深度信息的相机图像目标检测标注。
步骤205，根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
在确定第一深度信息后，可以根据相机采集的第一图像数据和第一深度信息，训练预置的目标网络，例如，可以通过深度学习神经网络进行目标检测并回归目标深度距离信息，进而可以将该回归的深度距离信息与深度标注信息进行比较，可以通过损失函数进行神经网络的学习，以针对训练阶段中神经网络算法进行训练。
步骤206，获取单目相机采集的第二图像数据；
在物体深度距离检测的过程中，可以获取单目相机采集的第二图像数据，以进一步通过训练后的深度学习神经网络，根据该单目相机采集的相机图像直接计算出物体深度距离信息。
步骤207，采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
在获取单目相机采集的第二图像数据后，可以采用训练后的深度学习神经网络，进而可以生成第二图像数据对应的第二深度信息，例如，可以通过训练后的深度学习神经网络，直接从单目相机图片中计算得到物体深度距离信息。
参照图3，示出了本发明一实施例提供的一种数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤301，获取第一图像数据和雷达数据；
在物体深度距离检测的过程中，可以通过采集相机图像信号和毫米波雷达信号，进而可以获取第一图像数据和雷达数据，以根据第一图像数据和雷达数据进一步获取目标物体检测信息，例如，可以针对相机采集的图像信号和毫米波雷达采集的雷达信号进行数据处理，以进一步在训练阶段中为神经网络算法的训练提供标注信息。
步骤302，根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
在获取第一图像数据和雷达数据后，可以通过雷达数据和第一图像数据目标物体匹配结果，进而可以根据雷达数据，确定与相机采集的第一图像数据对应的第一深度信息，以采用该第一深度信息为后续算法训练提供标注信息。
步骤303，对所述第一图像数据和所述第一深度信息进行数据增强；
在确定第一深度信息后，可以对第一图像数据和第一深度信息进行数据增强，以在算法训练阶段解决数据不平衡问题，从而可以提高算法性能。
在一示例中，由于数据集中大部分物体均集中存在于20-60米范围内，且偏航角大部分也均在90度左右，进而造成了数据分布不平衡，为了使得物体在各个距离范围、角度范围内能够均匀分布，可以通过数据增强的方式解决数据不平衡问题，提高了算法性能。
在本发明一实施例中，步骤303可以包括如下子步骤：
子步骤11，确定数据增强方式；
作为一示例，数据增强方式可以包括针对图像和标注拉近数据增强和针对图像和标注拉远数据增强，例如，可以采用拉近和拉远两种数据增强方式，有选择性地进行数据增强。
在实际应用中，可以通过确定数据增强方式，该数据增强方式可以包括针对图像和标注进行拉近数据增强、针对图像和标注进行拉远数据增强，以进一步针对图像和标注进行数据增强处理。
子步骤12，确定所述数据增强方式对应的数据增强参数；
作为一示例，数据增强参数可以为针对数据增强的比例参数，例如，可以预设放大或缩小的比例，以作为数据增强方式对应的数据增强参数。
在确定数据增强方式后，可以针对数据增强方式确定其对应的数据增强参数，该数据增强参数可以为预设的放大或缩小的比例参数。
子步骤13，按照所述数据增强参数，对所述第一图像数据和所述第一深度信息进行数据增强。
在确定数据增强参数后，可以按照数据增强参数，对第一图像数据和第一深度信息进行数据增强。
例如，针对图像和标注拉近的数据增强方式，如图4a所示，可以将原始图像放大a倍(a>1)，然后可以选定中心切割范围，进而通过以中心进行裁剪，切割原始图像，并可以放大至原始图片尺寸，其中，物体的距离可以缩小a倍(如从原始距离d变换为d/a)。
又如，针对图像和标注拉原的数据增强方式，如图4b所示，可以将原始图像缩小a倍(a>1)，然后可以针对缩小图像，通过以中心进行补齐，进而可以补齐为原始图片尺寸，其中，物体的距离可以放大a倍(如从原始距离d变换为d*a)。
在一示例中，如图4c所示，针对图像和标注信息，可以采用如下方式进行数据增强：
1、(原始/增强后)带有深度信息的相机图像目标检测标注；
2、(原始/增强后)相机图像；
3、是否继续进行数据增强变换；
4、若是，可以选择增强变换类型；若否，可以进入步骤8、步骤9；
5、可以获取增强变换参数；
6、可以针对图像增强进行目标检测标注变换；
7、可以针对图像增强进行图像变换；
8、增强后带有深度信息的相机图像目标检测标注；
9、增强后相机图像。
步骤304，根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
在确定第一深度信息后，可以根据相机采集的第一图像数据和第一深度信息，训练预置的目标网络，例如，可以通过深度学习神经网络进行目标检测并回归目标深度距离信息，进而可以将该回归的深度距离信息与深度标注信息进行比较，可以通过损失函数进行神经网络的学习，以针对训练阶段中神经网络算法进行训练。
在本发明一实施例中，步骤304可以包括如下子步骤：
子步骤21，采用预置的目标网络，生成所述第一图像数据对应的样本深度信息；
其中，样本深度信息可以为针对相机图像信号，通过深度学习神经网络回归的深度距离信息。
在算法训练阶段中，可以采用预置的目标网络，该目标网络可以为深度学习神经网络，进而可以生成第一图像数据对应的样本深度信息，例如，可以将相机图像输入到深度学习神经网络进行目标检测，并可以直接回归目标深度距离信息。
具体的，在回归深度信息的过程中，可以采取不同的回归形式，例如，可以通过直接回归深度(d)，或回归深度的倒数(1/d)等回归形式，其中，本发明可以采用回归深度的倒数的方式，以回归深度信息。
子步骤22，根据所述第一深度信息和所述样本深度信息，确定所述目标网络的回归损失；
在生成样本深度信息后，可以根据第一深度信息和样本深度信息，确定目标网络的回归损失。
在一示例中，损失函数可以采取多种形式，例如，可以为L2损失函数，可以为平滑L1损失函数等，其中，本发明可以采用L2损失函数，且可以配合不确定性估计的形式。
子步骤23，根据所述回归损失，训练所述目标网络。
在确定回归损失后，可以根据该回归损失训练目标网络，例如，可以将神经网络回归的深度信息(即样本深度信息)与深度标注信息(即第一深度信息)进行比较，进而可以通过损失函数训练神经网络深度学习。
在一示例中，可以采用如下公式进行计算：
Figure BDA0002736112760000121
其中，y可以为标注信息中深度信息，x可以为算法输入的相机图像，函数f可以为本发明采用的算法，f(x)可以为算法预测的深度信息，sigma(x)可以为算法预测的不确定性。
步骤305，获取单目相机采集的第二图像数据；
在物体深度距离检测的过程中，可以获取单目相机采集的第二图像数据，以进一步通过训练后的深度学习神经网络，根据该单目相机采集的相机图像直接计算出物体深度距离信息。
步骤306，采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
在获取单目相机采集的第二图像数据后，可以采用训练后的深度学习神经网络，进而可以生成第二图像数据对应的第二深度信息，例如，可以通过训练后的深度学习神经网络，直接从单目相机图片中计算得到物体深度距离信息。
在一示例中，可以采用基于深度学习神经网络的单目相机物体深度距离检测的算法，由于该算法可以充分利用神经网络的强大表达能力和信息抽象能力，进而可以弥补相机图像在深度上的多义性不足，从而可以通过数据驱动的方式来实现高精度的物体深度距离的检测。
在又一示例中，可以通过雷达相机目标匹配的方式获取深度距离信息，进而可以为神经网络的算法训练提供标注信息，从而能够低成本自动化地获取深度信息，为基于深度学习的算法奠定基础。
为了使本领域技术人员能够更好地理解上述步骤，以下结合图4d对本发明实施例加以示例性说明，但应当理解的是，本发明实施例并不限于此。
1、可以通过毫米波雷达采集雷达数据；
2、获取采集的毫米波雷达数据的目标检测信息；
3、雷达检测结果向相机平面的空间对齐和时间对齐；
4、可以进行相机图像采集；
5、获取相机图像(即第一图像数据)二维目标检测；
6、相机被检测目标(即第一相机对象)三维信息估计；
7、毫米波雷达信号与相机图像被检测目标匹配；
8、从雷达信号中获取带有深度信息(即第一深度信息)的相机图像目标检测标注；
9、是否进行数据增强(非必须)；
10、若是，对图像和标注信息进行数据增强；
11、带有深度信息的相机图像目标检测标注；
12、深度信息回归目标变换；
13、相机图像；
14、深度学习神经网络(DNN)(即目标网络)；
15、目标检测并且进行深度信息(即样本深度信息)回归；
16、深度信息回归损失函数(即回归损失)；终止。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图5，示出了本发明一实施例提供的一种数据处理的装置的结构示意图，具体可以包括如下模块：
第一图像数据和雷达数据获取模块501，用于获取第一图像数据和雷达数据；
第一深度信息确定模块502，用于根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
目标网络训练模块503，用于根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
第二图像数据获取模块504，用于获取单目相机采集的第二图像数据；
第二深度信息生成模块505，用于采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
在本发明一实施例中，所述装置还包括：
数据增强模块，用于对所述第一图像数据和所述第一深度信息进行数据增强。
在本发明一实施例中，所述数据增强模块包括：
数据增强方式确定子模块，用于确定数据增强方式；
数据增强参数确定子模块，用于确定所述数据增强方式对应的数据增强参数；
数据增强子模块，用于按照所述数据增强参数，对所述第一图像数据和所述第一深度信息进行数据增强。
在本发明一实施例中，所述第一深度信息确定模块502包括：
第一相机对象确定子模块，用于确定所述第一图像数据中第一相机对象；
第一雷达对象确定子模块，用于在所述雷达数据中，确定与所述第一相机对象匹配的第一雷达对象；
第一深度信息确定子模块，用于根据所述第一雷达对象，确定与所述第一图像数据对应的第一深度信息。
在本发明一实施例中，所述装置还包括：
时间对齐模块，用于对所述第一图像数据和所述雷达数据进行时间对齐。
在本发明一实施例中，所述装置还包括：
空间校准模块，用于对所述第一图像数据和所述雷达数据进行空间校准。
在本发明一实施例中，所述目标网络训练模块503包括：
样本深度信息生成子模块，用于采用预置的目标网络，生成所述第一图像数据对应的样本深度信息；
回归损失确定子模块，用于根据所述第一深度信息和所述样本深度信息，确定所述目标网络的回归损失；
目标网络训练子模块，用于根据所述回归损失，训练所述目标网络。
在本发明实施例中，通过获取第一图像数据和雷达数据，根据雷达数据，确定与第一图像数据对应的第一深度信息，然后根据第一图像数据和第一深度信息，训练预置的目标网络，进而获取单目相机采集的第二图像数据，采用目标网络，生成第二图像数据对应的第二深度信息，实现了高精度的仅从单目相机中检测出物体的深度信息，通过雷达相机目标匹配以获取深度信息，并进行目标网络训练，从而达到了通过数据驱动的方式对物体深度距离的高精度检测，且能够低成本自动化地获取深度信息。
本发明一实施例还提供了一种服务器，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据处理的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理的方法，其特征在于，所述方法包括：
获取第一图像数据和雷达数据；
根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
获取单目相机采集的第二图像数据；
采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述第一图像数据和所述第一深度信息，训练预置的目标网络之前，还包括：
对所述第一图像数据和所述第一深度信息进行数据增强。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像数据和所述第一深度信息进行数据增强，包括：
确定数据增强方式；
确定所述数据增强方式对应的数据增强参数；
按照所述数据增强参数，对所述第一图像数据和所述第一深度信息进行数据增强。
4.根据权利要求1或2或3所述的方法，其特征在于，所述根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息，包括：
确定所述第一图像数据中第一相机对象；
在所述雷达数据中，确定与所述第一相机对象匹配的第一雷达对象；
根据所述第一雷达对象，确定与所述第一图像数据对应的第一深度信息。
5.根据权利要求4所述的方法，其特征在于，在所述根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息之前，还包括：
对所述第一图像数据和所述雷达数据进行时间对齐。
6.根据权利要求4所述的方法，其特征在于，在所述根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息之前，还包括：
对所述第一图像数据和所述雷达数据进行空间校准。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像数据和所述第一深度信息，训练预置的目标网络，包括：
采用预置的目标网络，生成所述第一图像数据对应的样本深度信息；
根据所述第一深度信息和所述样本深度信息，确定所述目标网络的回归损失；
根据所述回归损失，训练所述目标网络。
8.一种数据处理的装置，其特征在于，所述装置包括：
第一图像数据和雷达数据获取模块，用于获取第一图像数据和雷达数据；
第一深度信息确定模块，用于根据所述雷达数据，确定与所述第一图像数据对应的第一深度信息；
目标网络训练模块，用于根据所述第一图像数据和所述第一深度信息，训练预置的目标网络；
第二图像数据获取模块，用于获取单目相机采集的第二图像数据；
第二深度信息生成模块，用于采用所述目标网络，生成所述第二图像数据对应的第二深度信息。
9.一种服务器，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
CN202011134124.0A 2020-10-21 2020-10-21 一种数据处理的方法和装置 Pending CN112241978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011134124.0A CN112241978A (zh) 2020-10-21 2020-10-21 一种数据处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011134124.0A CN112241978A (zh) 2020-10-21 2020-10-21 一种数据处理的方法和装置

Publications (1)

Publication Number Publication Date
CN112241978A true CN112241978A (zh) 2021-01-19

Family

ID=74169561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011134124.0A Pending CN112241978A (zh) 2020-10-21 2020-10-21 一种数据处理的方法和装置

Country Status (1)

Country Link
CN (1) CN112241978A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095154A (zh) * 2021-03-19 2021-07-09 西安交通大学 基于毫米波雷达与单目相机的三维目标检测系统及方法
CN113219475A (zh) * 2021-07-06 2021-08-06 北京理工大学 利用单线激光雷达校正单目测距的方法及系统
CN113625271A (zh) * 2021-07-29 2021-11-09 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN114509753A (zh) * 2021-12-24 2022-05-17 浙江大华技术股份有限公司 雷达视频数据的融合方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data
US20200167941A1 (en) * 2018-11-27 2020-05-28 GM Global Technology Operations LLC Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
CN111428859A (zh) * 2020-03-05 2020-07-17 北京三快在线科技有限公司 自动驾驶场景的深度估计网络训练方法、装置和自主车辆

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data
US20200167941A1 (en) * 2018-11-27 2020-05-28 GM Global Technology Operations LLC Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
CN111428859A (zh) * 2020-03-05 2020-07-17 北京三快在线科技有限公司 自动驾驶场景的深度估计网络训练方法、装置和自主车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆峰;徐友春;李永乐;王德宇;谢德胜;: "基于信息融合的智能车障碍物检测方法", 计算机应用 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095154A (zh) * 2021-03-19 2021-07-09 西安交通大学 基于毫米波雷达与单目相机的三维目标检测系统及方法
CN113219475A (zh) * 2021-07-06 2021-08-06 北京理工大学 利用单线激光雷达校正单目测距的方法及系统
CN113219475B (zh) * 2021-07-06 2021-10-22 北京理工大学 利用单线激光雷达校正单目测距的方法及系统
CN113625271A (zh) * 2021-07-29 2021-11-09 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN113625271B (zh) * 2021-07-29 2023-10-27 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN114509753A (zh) * 2021-12-24 2022-05-17 浙江大华技术股份有限公司 雷达视频数据的融合方法及相关设备

Similar Documents

Publication Publication Date Title
CN112241978A (zh) 一种数据处理的方法和装置
CN111192331B (zh) 一种激光雷达和相机的外参标定方法及装置
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
CN102036094B (zh) 一种基于数字分数延时技术的立体匹配方法
US20220051425A1 (en) Scale-aware monocular localization and mapping
CN114898314B (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
EP3304500B1 (en) Smoothing 3d models of objects to mitigate artifacts
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
US20140286537A1 (en) Measurement device, measurement method, and computer program product
WO2022037403A1 (zh) 一种数据处理的方法和装置
CN114037762A (zh) 基于图像与高精度地图配准的实时高精度定位方法
CN115760636A (zh) 激光雷达点云的畸变补偿方法、装置、设备及存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN115457084A (zh) 一种多相机目标检测跟踪方法、装置
Zhang et al. An overlap-free calibration method for LiDAR-camera platforms based on environmental perception
Shao et al. Out-of-plane full-field vibration displacement measurement with monocular computer vision
CN113221744A (zh) 一种基于深度学习的单目图像3d物体检测方法
CN117197775A (zh) 对象标注方法、对象标注装置及计算机可读存储介质
CN114492676B (zh) 一种目标检测模型的构建方法、装置和电子设备
CN114332187B (zh) 单目目标测距方法及装置
JP6087218B2 (ja) 画像解析装置
Huang Research on binocular vision ranging based on YOLO algorithm and stereo matching algorithm
CN114371475A (zh) 一种优化标定参数的方法、系统、设备及计算机存储介质
CN115330976A (zh) 一种障碍物检测方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 46, room 406, No. 1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou, Guangdong 510725

Applicant after: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210119