CN110765894B - 目标检测方法、装置、设备及计算机可读存储介质 - Google Patents

目标检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110765894B
CN110765894B CN201910945928.XA CN201910945928A CN110765894B CN 110765894 B CN110765894 B CN 110765894B CN 201910945928 A CN201910945928 A CN 201910945928A CN 110765894 B CN110765894 B CN 110765894B
Authority
CN
China
Prior art keywords
point cloud
image
information
data
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910945928.XA
Other languages
English (en)
Other versions
CN110765894A (zh
Inventor
谭深
伍阔梁
王甜甜
钱炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN201910945928.XA priority Critical patent/CN110765894B/zh
Publication of CN110765894A publication Critical patent/CN110765894A/zh
Application granted granted Critical
Publication of CN110765894B publication Critical patent/CN110765894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种目标检测方法、装置、设备及计算机可读存储介质，方法包括：获取激光雷达采集的点云数据与图像采集装置采集的图像数据；分别获取点云数据对应的点云特征信息以及图像数据对应的图像特征信息；对点云特征信息与图像特征信息进行特征融合操作，获得目标特征信息；根据目标特征信息进行目标检测，获得目标物体信息；根据目标物体信息控制遥控可移动平台运行。由于点云数据包含目标物体的3d信息和距离信息，但较为稀疏；而图像数据包含稠密的纹理、颜色等信息。二者进行融合能够相互弥补，从而获得更为丰富的信息特征，提高目标物体检测的精准度。从而根据该目标特征信息能够更加精准地实现对遥控可移动平台的控制。

Description

目标检测方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及自动驾驶领域，尤其涉及一种目标检测方法、装置、设备及计算机可读存储介质。
背景技术
随着科技的发展，自动驾驶技术逐渐走进用户的生活，例如自动驾驶汽车、无人机、遥控可移动平台等。在自动驾驶技术中，为了使遥控可移动平台能够安全行驶，需要根据对环境和障碍物的感知确定当前行驶道路上的障碍物信息，进而能够根据障碍物信息进行实时行进路线的规划。
现有技术中一般通过激光雷达或图像采集装置进行障碍物的检测。具体地，激光雷达是一种获取外界信息的主动式传感器，通过发射、接收激光束实现障碍物表面距离的测量，且受外界干扰小。基于图像采集装置的障碍物检测主要利用相机获取高分辨率图像，再利用机器学习的方法，检测图像中的障碍物。对于常见的障碍物(车辆、行人、自行车、路障等)检测模型能够比较精准地给出检测结果。
但是，由于激光雷达受激光线束的限制，对于一些小目标(如行人、骑自行车的人)或低矮的障碍物(如路障)等，点云会比较稀疏，造成障碍物等信息缺失，影响检测效果。而基于图像采集装置的障碍物检测无法检测出非常规障碍物，同时图像采集装置成像容易受到外界干扰，如光照、遮挡、阴影、雨雪等均对图像质量造成很大影响，会极大降低检测效果。另一方面，受外界条件限制，相比激光雷达，基于图像采集装置的障碍物检测很难给出的障碍物精准的3D距离信息。
发明内容
本发明提供一种目标检测方法、装置、设备及计算机可读存储介质，用于解决现有的基于激光雷达或基于图像采集装置的障碍物检测方法障碍物检测不精准的技术问题。
本发明的第一个方面是提供一种目标检测方法，包括：
获取激光雷达采集的点云数据与图像采集装置采集的图像数据；
分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息；
对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息；
根据所述目标特征信息进行目标检测，获得目标物体信息；
根据所述目标物体信息控制遥控可移动平台运行。
本发明的另一个方面是提供一种目标检测装置，包括：
数据获取模块，用于获取激光雷达采集的点云数据与图像采集装置采集的图像数据；
特征信息获取模块，用于分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息；
特征融合模块，用于对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息；
目标检测模块，用于根据所述目标特征信息进行目标检测，获得目标物体信息；
控制模块，用于根据所述目标物体信息控制遥控可移动平台运行。
本发明的又一个方面是提供一种目标检测设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如第一方面所述的目标检测方法。
本发明的又一个方面是提供一种遥控可移动平台，包括：
机身；
动力系统，安装在所述机身，用于提供运行动力；
运行控制器，与所述动力系统通讯连接，用于控制所述遥控可移动平台运行；所述运行控制器包括一个或多个处理器，所述处理器用于执行如第一方面所述的目标检测方法。
本发明的又一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的目标检测方法。
本发明提供的目标检测方法、装置、设备及计算机可读存储介质，通过分别获取激光雷达采集的点云数据以及图像采集装置采集的图像数据，分别对点云数据以及图像数据进行特征提取，对点云特征信息与图像特征信息进行特征融合操作，获得目标特征信息，根据目标特征信息确定目标物体信息。由于点云数据包含目标物体的3d信息和距离信息，但较为稀疏；而图像数据包含稠密的纹理、颜色等信息。二者进行融合能够相互弥补，从而获得更为丰富的信息特征，提高目标物体检测的精准度。从而根据该目标特征信息能够更加精准地实现对遥控可移动平台的控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明基于的网络架构示意图；
图2为本发明实施例一提供的目标检测方法的流程示意图；
图3为本发明实施例提供的又一网络架构示意图；
图4为本发明实施例提供的应用场景图；
图5为本发明实施例二提供的目标检测方法的流程示意图；
图6为本发明实施例提供的第一网络模型的网络架构图；
图7为本发明实施例三提供的目标检测方法的流程示意图；
图8为本发明实施例四提供的目标检测装置的结构示意图；
图9为本发明实施例五提供的目标检测设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例所获得的所有其他实施例，都属于本发明保护的范围。
针对上述提及的现有的基于激光雷达或基于图像采集装置的障碍物检测方法障碍物检测不精准的技术问题，本发明提供了一种目标检测方法、装置、设备及计算机可读存储介质。
需要说明的是，本申请提供目标检测方法、装置、设备及计算机可读存储介质可运用在对各种目标物体检测的场景中。
图1为本发明基于的网络架构示意图，如图1所示，本发明基于的网络架构至少包括：目标检测装置1、激光雷达2以及图像采集装置3。其中，目标检测装置1分别与激光雷达2以及图像采集装置3通信连接，从而能够与激光雷达2以及图像采集装置3进行信息交互，实现点云数据与图像数据的获取。其中，目标检测装置1可以采用C/C++、Java、Shell或Python等语言编写；图像采集装置3可以为相机等。
图2为本发明实施例一提供的目标检测方法的流程示意图；图3为本发明实施例提供的又一网络架构示意图；图4为本发明实施例提供的应用场景图，如图2-图4所示，所述方法包括：
步骤101、获取激光雷达采集的点云数据与图像采集装置采集的图像数据。
本实施例的执行主体为目标检测装置。该目标检测装置可以设置在遥控可移动平台内部，并与遥控可移动平台的运行控制器通信连接，进而能够在检测到目标物体信息之后，控制遥控可移动平台进行自主避障或者路线规划等操作。此外，该目标检测装置也可以设置在远程服务器中，如图3所示，遥控可移动平台4上设置有激光雷达与图像采集装置，遥控可移动平台4与远程服务器5通信连接，远程服务器5中安装有目标检测装置。具体地，遥控可移动平台上设置的激光雷达与图像采集装置采集到点云数据与图像数据之后，可以将点云数据与图像数据发送至远程服务器中的目标检测装置，目标检测装置检测到目标物体信息之后，可以将目标物体信息发送至遥控可移动平台，以使遥控可移动平台中的运行控制器根据该目标物体信息进行自主避障或者路线规划等操作。具体地，为了实现对目标物体的检测，首先需要获取激光雷达采集的点云数据与图像采集装置采集的图像数据。其中，激光雷达与图像采集装置的数量均可以为至少一个。
步骤102、分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息。
在本实施方式中，获取到激光雷达采集的点云数据与图像采集装置采集的图像数据之后，为了实现对目标物体的检测，需要提取点云数据与图像数据对应的特征信息，该特征信息能够更加清楚地表征目标物体的信息，降低计算量的同时，提高目标检测的精准度。具体地，可以分别获取点云数据对应的点云特征信息以及图像数据对应的图像特征信息。其中，可以采用任意一种方式实现对特征信息的获取，例如可以采用神经网络模型进行特征获取，本发明对此不做限制。
步骤103、对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息。
在本实施方式中，由于点云数据包含目标物体的3d信息和距离信息，但较为稀疏；而图像数据包含稠密的纹理、颜色等信息。因此，为了获得更加精准地目标物体信息，可以将点云特征信息与图像特征信息进行特征融合操作，融合以后的目标特征信息能够弥补基于激光雷达或基于图像采集装置的障碍物检测方法障碍物检测不精准的缺陷，提高目标检测的精准度。其中，可以采用任意一种方式实现对点云特征信息与图像特征信息的特征融合操作，本发明对此不做限制。
具体地，在上述任一实施例的基础上，步骤103具体包括：
对所述点云特征信息与所述图像特征信息进行维度叠加操作，获得目标特征信息。
在本实施例中，具体可以对点云特征信息与图像特征信息进行维度叠加操作，获得目标特征信息。以实际应用举例来说，若当前输入的点云特征信息与图像特征信息均为7*7*256的特征图，在对二者进行维度叠加之后，获得7*7*512的特征图。
步骤104、根据所述目标特征信息进行目标检测，获得目标物体信息。
在本实施方式中，获得目标特征信息之后，则可以根据该目标特征信息进行目标检测操作，以确定目标物体信息。其中，该目标物体信息包括待检测区域是否包括目标物体、所述目标物体的尺寸、所述目标物体的类别、所述目标物体的朝向、所述目标物体的位置中的至少一项。该目标物体具体可以为道路中的障碍物信息，也可以为其他应用场景中用户较为感兴趣的物体，本发明对此不做限制。
步骤105、根据所述目标物体信息控制遥控可移动平台运行。
在本实施方式中，在根据融合后的目标特征信息获取到目标物体信息之后，可以根据该精准的目标物体信息控制遥控可移动平台运行。其中，遥控可移动平台包括但不限于无人车、无人机、可移动机器人等。具体地，可以根据目标物体信息控制遥控可移动平台进行自主避障或者路线规划等操作。以实际应用举例来说，检测到的目标物体信息可以为道路正前方XX米处存在一个自行车。则可移动平台可以根据当前的运行信息确定是否可以通过路线变更实现避障操作，若无法避障，则可以进行紧急刹车，以保证运行安全。
如图4所示，遥控可移动平台具体可以为无人车6，目标物体可以为障碍物7。无人车6行驶过程中，可以获取激光雷达采集的点云数据以及图像采集装置采集的图像数据，根据点云数据与图像数据进行障碍物的识别，确定运行前方有一障碍物7，则可以根据采集到的障碍物信息进行自主避障操作，实现安全行驶。
本实施例提供的目标检测方法，通过分别获取激光雷达采集的点云数据以及图像采集装置采集的图像数据，分别对点云数据以及图像数据进行特征提取，对点云特征信息与图像特征信息进行特征融合操作，获得目标特征信息，根据目标特征信息确定目标物体信息。由于点云数据包含目标物体的3d信息和距离信息，但较为稀疏；而图像数据包含稠密的纹理、颜色等信息。二者进行融合能够相互弥补，从而获得更为丰富的信息特征，提高目标物体检测的精准度。从而根据该目标特征信息能够更加精准地实现对遥控可移动平台的控制。
进一步地，在上述任一实施例的基础上，所述激光雷达与所述图像采集装置按照相同的采集频率同步进行数据采集。
在本实施例中，为了保证激光雷达采集到的数据与图像采集装置采集到的数据的同步性，可以控制激光雷达与图像采集装置按照相同的采集频率同步进行数据采集。以实际应用举例来说，具体可以控制激光雷达设备和图像采集装置按照预设的频率10Hz同步进行采集。
进一步地，在上述任一实施例的基础上，步骤101具体包括：
获取至少一个激光雷达采集的点云数据，所述至少一个激光雷达中包括一个预设的主激光雷达与从激光雷达；
将从激光雷达采集的点云数据转换至所述主激光雷达采集的点云数据的坐标系上。
在本实施例中，激光雷达的数量具体可以为至少一个，其中，包括一个主激光雷达和多个从激光雷达。为了方便后续计算，提高目标检测的效率，可以对多个激光雷达采集到的数据进行数据转换操作。具体地，可以获取至少一个激光雷达采集的点云数据，并将从激光雷达采集的点云数据转换至主激光雷达采集的点云数据的坐标系上。相应地，为了保证激光雷达与图像采集装置采集到的数据同步，还可以将图像采集装置采集到的数据与激光雷达采集到的数据进行关联。
本实施例提供的目标检测方法，通过控制激光雷达与图像采集装置按照相同的采集频率同步进行数据采集，从而能够保证激光雷达采集到的数据与图像采集装置采集到的数据的同步性。此外，通过将从激光雷达采集的点云数据转换至所述主激光雷达采集的点云数据的坐标系上，从而能够方便后续计算，提高目标检测的效率。
图5为本发明实施例二提供的目标检测方法的流程示意图；图6为本发明实施例提供的第一网络模型的网络架构图，在上述任一实施例的基础上，如图5-图6所示，步骤102之前，还包括：
步骤201、将所述点云数据输入至预设的第一网络模型，获得所述点云数据对应的第一点云特征信息；
相应地，步骤102具体包括：
步骤202、将所述点云数据输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合；
步骤203、通过预设的图像特征提取对所述图像数据进行初步特征提取，获得第一图像特征信息；
步骤204、根据所述目标物体集合对所述第一图像特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述图像特征信息；
步骤205、根据所述目标物体集合对所述第一点云特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述点云特征信息。
在本实施例中，获取到激光雷达获取的点云数据之后，首先可以确定点云数据的第一点云特征信息，具体地，可以通过预设的第一网络模型实现对第一点云特征信息的获取。进一步地，可以通过预设的区域候选网络对点云数据中的目标物体进行识别，获得目标物体集合，其中，该目标物体具体可以为障碍物。通过预设的图像特征提取对所述图像数据进行初步特征提取，获得第一图像特征信息。为了进一步地提高点云数据以及图像数据对应的特征信息的精准度，可以根据该目标物体集合对第一点云特征信息中与所述目标物体集合对应的位置进行特征提取，获得点云特征信息；相应地，可以根据目标物体集合对所述第一点云特征信息中与目标物体集合对应的位置进行再次特征提取，获得所述点云特征信息。
需要说明的是，如图6所示，第一网络模型61以残差神经网络(ResNet)为基础，并采用特征金字塔网络(Feature Pyramid Networks，简称FPN)作为特征提取网络。其中FPN使用卷积神经网络(Convolutional Neural Networks，简称CNN)中每一层的信息来生成最后的表达特征组合。FPN会模型每个CNN层的特征输出进行处理以生成反映此维度信息的特征。而自上至下处理后所生成出的特征之间也有个关联关系，即上层high level的特征会影响下一层次的low level特征表达。此外，针对场景中的障碍物距离和大小分布广，进而网络对大物体的回归弱，小物体在小分辨率特征图上不可见的问题，还可以在ResNet50中stage1-5的基础上，增加了额外的stage6。从而能够更加精准地获取到数据的特征信息。stage4-6这三个stage的stride都是16，也就是这三个stage的特征图都是原图尺寸的1/16，相对于原本的ResNet50的stage5的特征图是原图尺寸的1/32，能够保留更多的特征信息。进一步地，第一网络模型还采用了膨胀卷积结构，从而能够增大感受野，保证了特征数据的尺寸。stage5和stage6均为相同的256的输入通道。实际应用中，获取到激光雷达采集到的点云数据之后，可以将点云数据输入至该第一网络模型中，第一网络模型中的每一stage均输出1/16尺寸的数据进行卷积，将卷积后的结果进行相加，获得点云特征信息。进而可以根据图像特征信息以及点云特征信息进行特征融合，获得目标特征信息，进而可以根据目标特征信息实现对目标物体信息的确定。
进一步地，在上述任一实施例的基础上，步骤201之前，还包括：
在竖直方向上对所述点云数据进行切片操作，获得点云俯视图；
相应地，步骤201具体包括：
将所述点云俯视图输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合。
在本实施例中，由于激光雷达采集到的点云数据为3D数据，因此，在将其输入至区域候选网络中之前，还需要在点云数据的竖直方向上对点云数据进行切片操作，获得点云俯视图，将点云俯视图输入至区域候选网络中进行目标物体集合。
进一步地，在上述任一实施例的基础上，步骤201之前，还包括：
获取第一待处理数据，所述第一待处理数据中包括预设的点云数据；
对所述预设的点云数据中的目标物体集合进行标注，获得第一待训练数据；
通过所述第一待训练数据对预设的第一待训练模型进行训练，获得所述区域候选网络，所述区域候选网络用于对点云数据中的目标物体集合进行识别。
在本实施例中，在通过第一网络模型对点云数据对应的目标物体集合识别之前，首先需要建立区域候选网络。具体地，可以获取第一待处理数据，其中，第一待处理数据中包括多个目标物体集合已知的预设的点云数据。对预设的点云数据中的目标物体集合进行标注，获得第一待训练数据。通过该第一待训练数据对预设的第一待训练模型进行训练，获得区域候选网络。
本实施例提供的目标检测方法，通过该第一待训练数据对预设的第一待训练模型进行训练，获得区域候选网络，能够提高区域候选网络的精准度，从而能够精准地实现对点云特征信息与图像特征信息的获取。
图7为本发明实施例三提供的目标检测方法的流程示意图，在上述任一实施例的基础上，如图7所示，步骤103具体包括：
步骤301、确定所述点云数据与所述图像数据对应的权重值；
步骤302、根据所述权重值对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息。
在本实施例中，由于在现实场景中，激光雷达的水平视场角与图像采集装置的水平视场角不一定一致，一般来说，在自动驾驶场景中，一个(或多个)激光雷达的水平视场角为360度，而图像采集装置是50-80度，这样就不能保证所有区域都既有点云数据又有图像数据。因此，可以为点云数据与图像数据设置对应的权重值，后续可以根据该权重值对点云特征信息与图像特征信息进行特征融合操作，获得目标特征信息。
具体地，在上述任一实施例的基础上，步骤301具体包括：
对所述点云数据与所述图像数据对应的待检测区域进行分割操作，获得至少一个子区域；
针对每一子区域，若所述子区域内只包括点云数据，则将所述图像数据的权重值设置为第一权重，将所述点云数据的权重值设置为第二权重；
若所述子区域内只包括图像数据，则将所述点云数据的权重值设置为第一权重，将所述图像数据的权重值设置为第二权重。
在本实施例中，由于激光雷达与图像采集装置水平视场角的不同，不能保证所有区域都既有点云数据又有图像数据。因此，可以先将点云数据与图像数据对应的待检测区域进行分割操作，获得至少一个子区域，针对每一个子区域，若该子区域内只有点云数据，则可以将图像数据的权重值设置为第一权重，将点云数据的权重值设置为第二权重；相应地，若子区域内只包括图像数据，则将点云数据的权重值设置为第一权重，将图像数据的权重值设置为第二权重。其中，第一权重可以为0，第二权重可以为1。以实际应用举例来说，针对仅有点云数据的区域，将融合过程中图像数据的权重设为0；相应的，仅有图像数据的区域，将融合过程中点云数据的权重设为0。
本实施例提供的目标检测方法，通过为点云数据与图像数据设置对应的权重值，根据该权重值对点云特征信息与图像特征信息进行特征融合操作，获得目标特征信息。从而即使部分数据缺失或某个传感器故障，也能正常地完成障碍物检测任务，保证遥控可移动平台运行的安全性。
进一步地，在上述任一实施例的基础上，步骤104具体包括：
将所述目标特征信息输入至预设的第二网络模型，获得所述目标物体信息。
在本实施例中，具体可以采用神经网络模型对目标物体信息进行识别。具体地，可以将目标特征信息输入至预设的第二网络模型中，获得该目标物体信息。
具体地，在上述任一实施例的基础上，所述将所述目标特征信息输入至预设的第二网络模型之前，还包括：
获取第二待处理数据，所述第二待处理数据中包括预设的目标特征信息；
通过所述目标特征信息中的目标物体信息对所述目标特征信息进行标注，获得第二待训练数据；
通过所述第二待训练数据对预设的第二待训练模型进行训练，获得所述第二网络模型。
在本实施例中，在通过第二网络模型对目标特征信息对应的目标物体信息识别之前，首先需要建立第二网络模型。具体地，可以获取第二待处理数据，其中，第二待处理数据中包括多个目标物体信息已知的预设的目标特征信息。对预设的目标特征信息中的目标物体信息进行标注，获得第二待训练数据。通过该第二待训练数据对预设的第二待训练模型进行训练，获得第二网络模型。
本实施例提供的目标检测方法，通过采用神经网络模型对目标物体信息进行识别，从而能够提高目标物体检测的精准度。
图8为本发明实施例四提供的目标检测装置的结构示意图，如图8所示，所述目标检测装置包括：
数据获取模块41，用于获取激光雷达采集的点云数据与图像采集装置采集的图像数据；
特征信息获取模块42，用于分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息；
特征融合模块43，用于对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息；
目标检测模块44，用于根据所述目标特征信息进行目标检测，获得目标物体信息；
控制模块45，用于根据所述目标物体信息控制遥控可移动平台运行。
本实施例提供的目标检测装置，通过分别获取激光雷达采集的点云数据以及图像采集装置采集的图像数据，分别对点云数据以及图像数据进行特征提取，对点云特征信息与图像特征信息进行特征融合操作，获得目标特征信息，根据目标特征信息确定目标物体信息。由于点云数据包含目标物体的3d信息和距离信息，但较为稀疏；而图像数据包含稠密的纹理、颜色等信息。二者进行融合能够相互弥补，从而获得更为丰富的信息特征，提高目标物体检测的精准度。从而根据该目标特征信息能够更加精准地实现对遥控可移动平台的控制。
进一步地，在上述任一实施例的基础上，所述激光雷达与所述图像采集装置按照相同的采集频率同步进行数据采集。
进一步地，在上述任一实施例的基础上，所述数据获取模块包括：
数据获取单元，用于获取至少一个激光雷达采集的点云数据，所述至少一个激光雷达中包括一个预设的主激光雷达与从激光雷达；
转换单元，用于将从激光雷达采集的点云数据转换至所述主激光雷达采集的点云数据的坐标系上。
进一步地，在上述任一实施例的基础上，所述装置还包括：
获取模块，用于将所述点云数据输入至预设的第一网络模型，获得所述点云数据对应的第一点云特征信息；
相应地，所述特征信息获取模块包括：
目标物体集合获取单元，用于将所述点云数据输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合；
图像识别单元，用于通过预设的图像特征提取对所述图像数据进行初步特征提取，获得第一图像特征信息；
图像特征信息获取单元，用于根据所述目标物体集合对所述第一图像特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述图像特征信息；
点云特征信息获取单元，用于根据所述目标物体集合对所述第一点云特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述点云特征信息。
进一步地，在上述任一实施例的基础上，所述装置还包括：
切片模块，用于在竖直方向上对所述点云数据进行切片操作，获得点云俯视图；
相应地，所述目标物体集合获取模块包括：
输入单元，用于将所述点云俯视图输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合。
进一步地，在上述任一实施例的基础上，所述装置还包括：
第一待处理数据获取模块，用于获取第一待处理数据，所述第一待处理数据中包括预设的点云数据；
第一标注模块，用于对所述预设的点云数据中的第一点云特征信息进行标注，获得第一待训练数据；
第一训练模块，用于通过所述第一待训练数据对预设的第一待训练模型进行训练，获得所述区域候选网络，所述区域候选网络用于对点云数据中的目标物体集合进行识别。
进一步地，在上述任一实施例的基础上，所述特征融合模块包括：
叠加模块，用于对所述点云特征信息与所述图像特征信息进行维度叠加操作，获得目标特征信息。
进一步地，在上述任一实施例的基础上，所述特征融合模块包括：
权重确定单元，用于确定所述点云数据与所述图像数据对应的权重值；
融合单元，用于根据所述权重值对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息。
进一步地，在上述任一实施例的基础上，所述权重确定单元具体用于：
对所述点云数据与所述图像数据对应的待检测区域进行分割操作，获得至少一个子区域；
针对每一子区域，若所述子区域内只包括点云数据，则将所述图像数据的权重值设置为第一权重，将所述点云数据的权重值设置为第二权重；
若所述子区域内只包括图像数据，则将所述点云数据的权重值设置为第一权重，将所述图像数据的权重值设置为第二权重。
进一步地，在上述任一实施例的基础上，所述目标检测模块包括：
目标检测单元，用于将所述目标特征信息输入至预设的第二网络模型，获得所述目标物体信息。
进一步地，在上述任一实施例的基础上，所述目标检测模块还包括：
第二待处理数据获取单元，用于获取第二待处理数据，所述第二待处理数据中包括预设的目标特征信息；
第二标注单元，用于通过所述目标特征信息中的目标物体信息对所述目标特征信息进行标注，获得第二待训练数据；
第二训练单元，用于通过所述第二待训练数据对预设的第二待训练模型进行训练，获得所述第二网络模型。
进一步地，在上述任一实施例的基础上，所述目标物体信息包括待检测区域是否包括目标物体、所述目标物体的尺寸、所述目标物体的类别、所述目标物体的朝向、所述目标物体的位置中的至少一项。
图9为本发明实施例五提供的目标检测设备的结构示意图，如图9所示，所述目标检测设备包括：存储器51，处理器52；
存储器51；用于存储所述处理器52可执行指令的存储器51；
其中，所述处理器52被配置为由所述处理器52执行如上述任一实施例所述的目标检测方法。
本发明又一实施例还提供一种遥控可移动平台，所述遥控可移动平台包括：
机身；
动力系统，安装在所述机身，用于提供运行动力；
运行控制器，与所述动力系统通讯连接，用于控制所述遥控可移动平台运行；所述运行控制器包括一个或多个处理器，所述处理器用于执行如上述任一实施例所述的目标检测方法。
本发明又一实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的目标检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种目标检测方法，其特征在于，包括：
获取激光雷达采集的点云数据与图像采集装置采集的图像数据，所述激光雷达与所述图像采集装置按照相同的采集频率同步进行数据采集；
分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息；
对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息；
根据所述目标特征信息进行目标检测，获得目标物体信息；
根据所述目标物体信息控制遥控可移动平台运行；
所述分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息之前，还包括：
将所述点云数据输入至预设的第一网络模型，获得所述点云数据对应的第一点云特征信息；所述第一网络模型以残差神经网络为基础，并采用特征金字塔网络作为特征提取网络，以及在ResNet50中stage1-5的基础上，增加额外的stage6；所述第一网络模型还采用膨胀卷积结构；
相应地，所述分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息，包括：
将所述点云数据输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合；
通过预设的图像特征提取对所述图像数据进行初步特征提取，获得第一图像特征信息；
根据所述目标物体集合对所述第一图像特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述图像特征信息；
根据所述目标物体集合对所述第一点云特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述点云特征信息。
2.根据权利要求1所述的方法，其特征在于，所述获取激光雷达采集的点云数据与图像采集装置采集的图像数据，包括：
获取至少一个激光雷达采集的点云数据，所述至少一个激光雷达中包括一个预设的主激光雷达与从激光雷达；
将从激光雷达采集的点云数据转换至所述主激光雷达采集的点云数据的坐标系上。
3.根据权利要求1所述的方法，其特征在于，所述将所述点云数据输入至预设的第一网络模型，获得所述点云数据对应的目标物体集合之前，还包括：
在竖直方向上对所述点云数据进行切片操作，获得点云俯视图；
相应地，所述将所述点云数据输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合，包括：
将所述点云俯视图输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合。
4.根据权利要求3所述的方法，其特征在于，所述将所述点云数据输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合之前，还包括：
获取第一待处理数据，所述第一待处理数据中包括预设的点云数据；
对所述预设的点云数据中的目标物体集合进行标注，获得第一待训练数据；
通过所述第一待训练数据对预设的第一待训练模型进行训练，获得所述区域候选网络，所述区域候选网络用于对点云数据中的目标物体集合进行识别。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息，包括：
对所述点云特征信息与所述图像特征信息进行维度叠加操作，获得目标特征信息。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息，包括：
确定所述点云数据与所述图像数据对应的权重值；
根据所述权重值对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息。
7.根据权利要求6所述的方法，其特征在于，所述确定所述点云数据与所述图像数据对应的权重值，包括：
对所述点云数据与所述图像数据对应的待检测区域进行分割操作，获得至少一个子区域；
针对每一子区域，若所述子区域内只包括点云数据，则将所述图像数据的权重值设置为第一权重，将所述点云数据的权重值设置为第二权重；
若所述子区域内只包括图像数据，则将所述点云数据的权重值设置为第一权重，将所述图像数据的权重值设置为第二权重。
8.根据权利要求1-3、7任一项所述的方法，其特征在于，所述根据所述目标特征信息进行目标检测，获得目标物体信息，包括：
将所述目标特征信息输入至预设的第二网络模型，获得所述目标物体信息。
9.一种目标检测装置，其特征在于，包括：
数据获取模块，用于获取激光雷达采集的点云数据与图像采集装置采集的图像数据；
特征信息获取模块，用于分别获取所述点云数据对应的点云特征信息以及所述图像数据对应的图像特征信息；
特征融合模块，用于对所述点云特征信息与所述图像特征信息进行特征融合操作，获得目标特征信息；
目标检测模块，用于根据所述目标特征信息进行目标检测，获得目标物体信息；
控制模块，用于根据所述目标物体信息控制遥控可移动平台运行；
获取模块，用于将所述点云数据输入至预设的第一网络模型，获得所述点云数据对应的第一点云特征信息；所述第一网络模型以残差神经网络为基础，并采用特征金字塔网络作为特征提取网络，以及在ResNet50中stage1-5的基础上，增加额外的stage6；所述第一网络模型还采用膨胀卷积结构；
所述特征信息获取模块，包括：
目标物体集合获取单元，用于将所述点云数据输入至预设的区域候选网络，获得所述点云数据对应的目标物体集合；
图像识别单元，用于通过预设的图像特征提取对所述图像数据进行初步特征提取，获得第一图像特征信息；
图像特征信息获取单元，用于根据所述目标物体集合对所述第一图像特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述图像特征信息；
点云特征信息获取单元，用于根据所述目标物体集合对所述第一点云特征信息中与所述目标物体集合对应的位置进行再次特征提取，获得所述点云特征信息。
10.一种目标检测设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如权利要求1-8任一项所述的目标检测方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的目标检测方法。
CN201910945928.XA 2019-09-30 2019-09-30 目标检测方法、装置、设备及计算机可读存储介质 Active CN110765894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910945928.XA CN110765894B (zh) 2019-09-30 2019-09-30 目标检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910945928.XA CN110765894B (zh) 2019-09-30 2019-09-30 目标检测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110765894A CN110765894A (zh) 2020-02-07
CN110765894B true CN110765894B (zh) 2022-07-08

Family

ID=69330933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910945928.XA Active CN110765894B (zh) 2019-09-30 2019-09-30 目标检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110765894B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435232A (zh) * 2020-03-23 2021-09-24 北京京东乾石科技有限公司 一种物体的检测方法、装置、设备及存储介质
CN111444839B (zh) * 2020-03-26 2023-09-08 北京经纬恒润科技股份有限公司 一种基于激光雷达的目标检测方法及系统
CN111461221B (zh) * 2020-04-01 2023-05-23 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN112200303B (zh) * 2020-09-28 2022-10-21 杭州飞步科技有限公司 基于上下文相关编码器的激光雷达点云3d目标检测方法
CN113762001B (zh) * 2020-10-10 2024-04-19 北京京东乾石科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN112270251B (zh) * 2020-10-26 2021-07-06 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN114638996B (zh) * 2020-12-01 2024-10-15 广州视源电子科技股份有限公司 基于对抗学习的模型训练方法、装置、设备和存储介质
CN112529011B (zh) * 2020-12-10 2024-09-06 深圳先进技术研究院 目标检测方法及相关装置
CN114556445A (zh) * 2020-12-17 2022-05-27 深圳市大疆创新科技有限公司 物体识别方法、装置、可移动平台以及存储介质
CN113066124A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种神经网络的训练方法以及相关设备
CN113205515B (zh) * 2021-05-27 2023-04-18 上海高德威智能交通系统有限公司 目标检测方法、装置、及计算机存储介质
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置
CN113421305B (zh) * 2021-06-29 2023-06-02 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113554643B (zh) * 2021-08-13 2022-12-06 上海高德威智能交通系统有限公司 一种目标检测方法、装置、电子设备及存储介质
CN114049613A (zh) * 2021-10-11 2022-02-15 深圳市惠尔智能有限公司 一种目标检测方法、装置、电子设备和可读存储介质
CN114239755A (zh) * 2022-02-25 2022-03-25 北京智弘通达科技有限公司 基于深度学习的铁路沿线彩钢瓦建筑智能识别方法
CN116413740B (zh) * 2023-06-09 2023-09-05 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法
CN109145680A (zh) * 2017-06-16 2019-01-04 百度在线网络技术（北京）有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN110031824A (zh) * 2019-04-12 2019-07-19 杭州飞步科技有限公司 激光雷达联合标定方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145680A (zh) * 2017-06-16 2019-01-04 百度在线网络技术（北京）有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN110031824A (zh) * 2019-04-12 2019-07-19 杭州飞步科技有限公司 激光雷达联合标定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于雷达与图像信息融合的路面目标识别与应用;陆怡悦;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20170715;全文 *

Also Published As

Publication number Publication date
CN110765894A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110765894B (zh) 目标检测方法、装置、设备及计算机可读存储介质
US10943355B2 (en) Systems and methods for detecting an object velocity
US11885910B2 (en) Hybrid-view LIDAR-based object detection
US10310087B2 (en) Range-view LIDAR-based object detection
CN109716160B (zh) 用于检测车辆环境信息的方法和系统
CA2950791C (en) Binocular visual navigation system and method based on power robot
US20190310651A1 (en) Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications
CN113424079A (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
CN112379681B (zh) 无人机避障飞行方法、装置及无人机
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN112596071B (zh) 无人机自主定位方法、装置及无人机
CN112378397B (zh) 无人机跟踪目标的方法、装置及无人机
US12012102B2 (en) Method for determining a lane change indication of a vehicle
CN112380933B (zh) 无人机识别目标的方法、装置及无人机
US20220230018A1 (en) Combining visible light camera and thermal camera information
CN108106617A (zh) 一种无人机自动避障方法
JP2020067896A (ja) 進行可能方向検出装置及び進行可能方向検出方法
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
US20220284623A1 (en) Framework For 3D Object Detection And Depth Prediction From 2D Images
US20230401748A1 (en) Apparatus and methods to calibrate a stereo camera pair
Chavan et al. Obstacle detection and avoidance for automated vehicle: A review
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
Muffert et al. Stix-fusion: A probabilistic stixel integration technique
Al-Kaff Navigating the Future: AI Innovations for Intelligent Mobility in Smart Cities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant