CN111144315A - 目标检测方法、装置、电子设备和可读存储介质 - Google Patents

目标检测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111144315A
CN111144315A CN201911376999.9A CN201911376999A CN111144315A CN 111144315 A CN111144315 A CN 111144315A CN 201911376999 A CN201911376999 A CN 201911376999A CN 111144315 A CN111144315 A CN 111144315A
Authority
CN
China
Prior art keywords
point cloud
cloud data
target detection
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911376999.9A
Other languages
English (en)
Inventor
付良成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201911376999.9A priority Critical patent/CN111144315A/zh
Publication of CN111144315A publication Critical patent/CN111144315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开了一种目标检测方法、装置、电子设备和可读存储介质。所述方法包括：将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域；利用所述目标检测模型从所述感兴趣区域中确定目标检测结果。该方案具有输入数据维度更丰富、检测模型轻量化且检测结果更精确等优点。

Description

目标检测方法、装置、电子设备和可读存储介质
技术领域
本申请涉及无人驾驶技术领域，具体涉及一种目标检测方法、装置、电子设备和可读存储介质。
背景技术
无人驾驶是一个复杂系统，其中包括感知模块，用于识别并定位环境中的各种行人、车辆等障碍物，该模块主要包括激光雷达和摄像头。随着技术迭代更新，传感器融合技术在无人车目标检测上的应用越来越广泛，其目的是结合上述两种传感器的优点，实现更精确的目标检测效果。
然而在现有用于无人驾驶的融合方案中，需要两个特征提取网络分支对点云和图像分别进行特征提取，导致整体网络复杂，容易对数据造成过拟合；在特征级别进行融合操作难免会丢失原始数据中本应包含的信息；且由于在生成感兴趣区域(Region ofInterest，ROI)时只用到了点云信息，数据维度少，往往直接影响检测结果的精准性。
申请内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种目标检测方法、装置、电子设备和可读存储介质。
依据本申请的一个方面，提供了一种目标检测方法，应用于无人驾驶设备中，所述目标检测方法包括：
将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；
利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域；
利用所述目标检测模型从所述感兴趣区域中确定目标检测结果。
可选的，所述方法还包括获取所述具有对应关系的图像数据和点云数据的步骤，其中，所述图像数据是通过无人驾驶设备的摄像头采集的RGB图像，所述点云数据是通过无人驾驶设备的激光雷达采集的激光点云数据；
所述对应关系是将所述图像数据和点云数据经过时间同步处理后实现的。
可选的，所述将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据包括：
根据所述激光雷达到所述摄像头的外参以及摄像头的内参，将所述激光点云数据中的反射点投影到图像坐标系中，确定各所述反射点在所述图像坐标系中的第一坐标；
根据所述RGB图像中的各像素点在所述图像坐标系中的第二坐标，确定距离各所述反射点的第一坐标最近的像素点，通过线性插值根据所述最近的像素点的RGB值确定各所述反射点的RGB值；
根据确定的各所述反射点的RGB值得到包含色彩信息的增强点云数据。
可选的，所述利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域包括：
利用所述目标检测模型对所述增强点云数据中的融合点进行一级特征提取，基于提取的一级特征对各所述融合点进行背景和前景点的划分，根据所述前景点生成感兴趣区域。
可选的，所述根据所述前景点生成感兴趣区域包括：
对生成的各所述感兴趣区域进行非极大值抑制，控制生成的感兴趣区域的数量。
可选的，所述利用目标检测模型从所述感兴趣区域中确定目标检测结果包括：
利用所述目标检测模型的二阶段网络从所述感兴趣区域中提取二级特征；
将所述一级特征和所述二级特征进行融合，得到融合特征；
根据所述融合特征确定目标检测结果。
可选的，所述目标检测结果包括如下的至少一类信息：
所述感兴趣区域的中心点位置，目标物体大小，朝向角度，目标物体类别。
依据本申请的另一方面，提供了一种目标检测装置，应用于无人驾驶设备中，其特征在于，所述目标检测装置包括：
数据融合单元，适于将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；
区域生成单元，适于利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域；
结果确定单元，适于利用目标检测模型从所述感兴趣区域中确定目标检测结果。
依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。
由上述可知，本申请的技术方案公开了一种目标检测方法，所述方法包括：将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域；利用所述目标检测模型从所述感兴趣区域中确定目标检测结果。上述方案将点云数据和图像数据进行融合，获得了包括点云数据中XYZI四维以及图像数据中的RGB三维共七维信息，再利用检测模型对增强后的点云进行特征提取获得感兴趣区域，然后对感兴趣区域利用检测模型再次进行特征提取，从而获得目标检测结果，该方案具有输入数据更丰富、检测模型轻量化且检测结果更精确等优点。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的目标检测方法的流程示意图；
图2示出了根据本申请一个实施例的目标检测装置的结构示意图；
图3示出了根据本申请一个实施例的电子设备的结构示意图；
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；
图5示出了根据本申请一个实施例的数据融合的预处理流程示意图；
图6示出了根据本申请一个实施例的增强点云的示意图；
图7示出了根据本申请一个实施例的目标检测模型的各阶段示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
图1示出了根据本申请一个实施例的目标检测方法的流程示意图；应用于无人驾驶设备中，该目标检测方法包括：
步骤S110，将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；
该步骤为对初始的点云数据和RGB图像数据进行预处理的预处理步骤，其中RGB图像是包含彩色信息的图像，需要按照一定的对应关系比如时间同步将RGB图像和点云数据进行对齐，然后融合生成包含七维XYZI-RGB信息的增强点云数据，增强后的点云不仅有精确地深度信息，也包含了视觉信息，使得融合后的数据包含的信息更丰富，提高了最终目标检测的精准度。
步骤S120，利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域。
在该步骤中以增强点云数据作为输入，通过目标检测模型中的神经网络从所述增强点云数据中提取出一级特征，然后通过比如边框回归等算法基于所述一级特征在所述增强点云数据中生成感兴趣区域。
步骤S130，利用所述目标检测模型从所述感兴趣区域中确定目标检测结果。
在本实施例的该S130步骤中，以所述感兴趣区域作为输入，根据目标检测模型的神经网络再次通过特征提取以及特征融合等步骤，获取每个感兴趣区域所属框的属性信息，比如包括感兴趣区域框中心点位置、目标物体大小、目标物体类别等信息。
由此可知，本实施例公开了一种特定目标检测方式，包括了数据融合、感兴趣区域生成以及从感兴趣区域中获取检测目标的属性信息等步骤，从而在数据处理时提高了数据的维度，且减少了目标检测模型中神经网络的类别和使用次数，实现了模型的轻量化目标；实验表明，使用经RGB增强的点云比使用原始点云在神经网络阶段生成的感兴趣区域包含信息更丰富，从而提高了最终检测结果的准确性。
在一个实施例中，所述方法还包括获取所述具有对应关系的图像数据和点云数据的步骤，其中，所述图像数据是通过无人驾驶设备的摄像头采集的RGB图像，所述点云数据是通过无人驾驶设备的激光雷达采集的激光点云数据；所述对应关系是将所述图像数据和点云数据经过时间同步处理后实现的。
在该实施例中对无人驾驶的采集设备进行了说明，其中RGB图像由摄像头采集，其优点是成本低廉，对获取视野中目标的纹理和颜色等信息非常有效，但是缺乏目标的深度信息，一般在无人设备目标检测中处于辅助地位；而激光雷达成本较高，能够获取目标在三维空间中的距离等信息，且准确度稿，通常作为无人驾驶设备的主传感器，其数据表示为距离和反射强度构成的XYZI四维信息。
为了将上述两种传感器的数据进行融合，需要进行数据同步和对齐，主要包括在获取上述传感器数据后进行时间同步，保证点云数据和图像数据之间的时间差很小，比如可以预设两者数据差小于20ms的时间，从而实现将图像中的RGB信息和点云中每个反射点的XYZI进行准确叠加的目标。
在一个实施例中，所述步骤S110包括：根据所述激光雷达到所述摄像头的外参以及摄像头的内参，将所述激光点云数据中的反射点投影到图像坐标系中，确定各所述反射点在所述图像坐标系中的第一坐标。
将点云数据投影到RGB图像平面的公式为Prgb＝KGPpcl，其中Ppcl表示点云数据，Prgb表示摄像头坐标系RGB图像中的点，G为摄像头与激光点云数据的坐标转换矩阵，即为上述的外参，它表达了上述摄像头坐标系与激光点云数据坐标系之间转换和平移的关系；K为摄像头内参的矩阵。上述内外参矩阵的乘积KG也被称为投影矩阵，混合了内参和外参而成，其内外参标定可采用标定法进行标定，具体可采用本领域技术人员的公知技术实现，这里不再赘述，为了便于说明，这里将激光点云中的各反射点在RGB图像中的坐标统称为第一坐标。
根据所述RGB图像中的各像素点在所述图像坐标系中的第二坐标，确定距离各所述反射点的第一坐标最近的像素点，通过线性插值根据所述最近的像素点的RGB值确定各所述反射点的RGB值。
确定所述点云中反射点的第一坐标附近中最近的像素点，该最近的摄像点可以根据第一坐标与其附近像素点的第二坐标的距离确定，同样地，所述第二坐标是各反射点在图像坐标系中最近像素点的坐标的统称，并且区别于反射点的第一坐标点，然后根据所述第二坐标的各像素点的RGB利用线性插值算法确定各反射点的RGB值。
优选的，可采用双线性插值的方法来计算各反射点的RGB值，双线性插值的核心思想是在两个方向分别进行一次线性插值。
具体来说，假设某一反射点在RGB图像坐标系投影后的第一坐标为(u,v)，然后根据RGB图像中各像素点的第二坐标以及欧几里得距离计算公式获得该第一坐标(u,v)最近的四个像素点，然后根据该四个像素点的RGB值通过双线性差值计算出该反射点的RGB值。
最后，根据确定的各所述反射点的RGB值得到包含色彩信息的增强点云数据。
参见图5，该图示出了对点云数据和图像数据进行融合预处理的流程，首先根据坐标变换关系，将点云数据投影到图像数据中，然后根据双线性差值算法获得各反射点的RGB值。而图6示出了融合后的增强点云图像示意图，根据该图6可知，增强点云图像更加清晰，数据量更丰富。
在一个实施例中，所述步骤S120包括：利用所述目标检测模型对所述增强点云数据中的融合点进行一级特征提取，基于提取的一级特征对各所述融合点进行背景和前景点的划分，根据所述前景点生成感兴趣区域。
参见图7，步骤S120以及后续的步骤S130是采用神经网络实现3D增强点云数据的目标检测的，由于上述两个步骤采用了同样的特征提取网络，因此实现了轻量化的网络模型。
其中步骤S120描述了目标检测第一阶段的过程，即如何获得感兴趣区域。在该步骤中，根据目标检测模型的需要对每个3D的点进行编码和解码，然后提取出特征向量，具体可以利用点网(PointNet++)作为主干网络来实现。为了获取更精确和丰富的信息，该实施例还包括对增强点云中的融合点进行背景点和前景点的划分，并且利用前景点生成感兴趣区域ROI，从而使得点网能够获取更丰富的环境信息，提高了目标检测物体的位置和方向精度。
需要说明的是，该实施例中的每个ROI可表示为3D的长方体框，框内的可能存在检测的目标，比如行人、车辆等目标物。
在一个实施例中，所述步骤S120还包括：对生成的各所述感兴趣区域进行非极大值抑制，控制生成的感兴趣区域的数量。
非极大值抑制(Non-maximum suppression，简称为NMS)，是将覆盖目标的非极大值框过滤掉，选取其中置信度最高的一个框作为最后的结果，消除多余的框，从而找到最佳的目标检测位置，从而控制感兴趣区域的数量。
例如在车辆检测中，滑动窗口经提取特征以及分类器分类识别后，每个窗口都会得到一个分数，但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到NMS来选取那些邻域里分数最高(是车辆的概率最大)，并且抑制那些分数低的窗口。
在一个实施例中，所述步骤S130包括：利用所述目标检测模型的二阶段网络从所述感兴趣区域中提取二级特征；将所述一级特征和所述二级特征进行融合，得到融合特征；根据所述融合特征确定目标检测结果。
步骤S130为目标检测的第二阶段，即从所述感兴趣区域中再次提取特征向量，并且融合第一阶段中提取出的特征，从而得到融合特征，根据该融合特征确定目标的各属性信息。
为了提高可操作性和目标检测的准确性，优选地，可以以感兴趣区域的长方体框的中心点为原点建立坐标系，从而便于后续如点网等神经网络对该感兴趣区域进行特征提取以及分类等处理。
在该实施例中，该第二阶段的网络可以和第一阶段的网络相同，当然也可以采用不同的网络进行特征向量的提取。
在一个实施例中，所述目标检测结果包括如下的至少一类信息：所述感兴趣区域的中心点位置，目标物体大小，朝向角度，目标物体类别。
通过分类和回归等操作后获得的目标检测结果主要为目标对象的属性信息，可以输出感兴趣区域的中心点位置，物体大小，朝向角度，物体类别等信息。优选地，可以根据上述信息输出可视化的检测结果，比如根据上述信息绘制出更加清晰的RGB图像。
图2示出了根据本申请一个实施例的目标检测装置的结构示意图；所述目标检测装置200用于无人驾驶设备，具体包括：
数据融合单元210，适于将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；。
该单元主要实现对初始的点云数据和RGB图像数据融合预处理，需要按照一定的对应关系将RGB图像和点云数据进行对齐，融合生成包含七维XYZI-RGB信息的增强点云数据。增强后的点云不仅有精确地深度信息，也包含了视觉信息，使得融合后的数据包含的信息更丰富，提高了最终目标检测的精准度。
区域生成单元220，适于利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域。
在该单元中以增强点云数据作为输入，通过目标检测模型中的神经网络从所述增强点云数据中提取出一级特征，然后通过比如边框回归等算法基于所述一级特征在所述增强点云数据中生成感兴趣区域。
结果确定单元230，适于利用目标检测模型从所述感兴趣区域中确定目标检测结果。
在本实施例的该单元中，以所述感兴趣区域作为输入，根据目标检测模型的神经网络再次通过特征提取以及特征融合等步骤，获取每个感兴趣区域所属框的属性信息，比如包括感兴趣区域框中心点位置、物体大小、物体类别等信息。
由此可知，本实施例公开了一种特定目标检测装置，包括了数据融合、感兴趣区域生成以及从感兴趣区域中获取检测目标的属性信息等模块，从而在数据处理时提高了数据的维度，且减少了目标检测模型中神经网络的类别和使用次数，实现了模型的轻量化目标；实验表明，使用经RGB增强的点云比使用原始点云在神经网络阶段生成的感兴趣区域包含信息更丰富，并直接提高了最终检测结果的准确性。
在一个实施例中，所述目标检测装置还包括获取单元，适于获取所述具有对应关系的图像数据和点云数据，其中，所述图像数据是通过无人驾驶设备的摄像头采集的RGB图像，所述点云数据是通过无人驾驶设备的激光雷达采集的激光点云数据；所述对应关系是将所述图像数据和点云数据经过时间同步处理后实现的。
在该实施例中对无人驾驶的采集设备进行了说明，其中RGB图像由摄像头采集，其优点是成本低廉，对获取视野中目标的纹理和颜色等信息非常有效，但是缺乏目标的深度信息，一般在无人设备目标检测中处于辅助地位；而激光雷达成本较高，能够获取目标在三维空间中的距离等信息，且准确度稿，通常作为无人驾驶设备的主传感器，其数据表示为距离和反射强度构成的XYZI四维信息。
为了将上述两种传感器的数据进行融合，需要进行数据同步和对齐，主要包括在获取上述传感器数据后进行时间同步，保证点云数据和图像数据之间的时间差很小，比如可以预设低于20ms的时间，从而最终实现将图像中的RGB信息和点云中每个反射点的XYZI进行准确叠加的目标。
在一个实施例中，所述数据融合单元210适于：根据所述激光雷达到所述摄像头外参以及摄像头的内参，将所述激光点云数据中的反射点投影到图像坐标系中，确定各所述反射点在所述图像坐标系中的第一坐标。
将点云数据投影到RGB图像平面的公式为Prgb＝KGPpcl，其中Ppcl表示点云数据，Prgb表示摄像头坐标系图像中的点，G为摄像头与激光数据的坐标转换矩阵，表示外参矩阵，K为摄像头的内参矩阵，内外参矩阵的乘积KG也被成为投影矩阵，混合了内参和外参而成，其内外参标定可采用标定法进行标定，具体可采用本领域技术人员的公知技术实现，这里不再赘述。
根据所述RGB图像中的各像素点在所述图像坐标系中的第二坐标，确定距离各所述反射点的第一坐标最近的像素点，通过线性插值根据所述像素点的RGB值确定各所述反射点的RGB值。
确定所述点云中反射点的第一坐标附近中最近的像素点，该最近的摄像点可以根据第一坐标与其附近像素点的第二坐标的距离确定，然后利用线性插值算法根据该最近的像素点的RGB值确定所述反射点的RGB值。
优选的，可采用双线性插值的方法来计算，双线性插值的核心思想是在两个方向分别进行一次线性插值。设各反射点的投影坐标为(u,v)，找到该坐标最近的四个像素点，然后该四个像素点的RGB值计算出该反射点的RGB值。
最后，根据确定的各所述反射点的RGB值得到包含色彩信息的增强点云数据。
参见图5，该图示出了对点云数据和图像数据进行融合预处理的流程。而图6示出了融合后的增强点云图像示意图，根据该图6可知，增强点云图像更加清晰，数据量更为丰富。
在一个实施例中，所述区域生成单元220适于：利用所述目标检测模型对所述增强点云数据中的融合点进行一级特征提取，基于提取的一级特征对各所述融合点进行背景和前景点的划分，根据所述前景点生成感兴趣区域。参见图7，区域生成单元220和后面的结果确定单元230为装置中采用点网等神经网络实现3D增强点云数据的目标检测模块。其中区域生成单元220实现了目标检测第一阶段，获得了感兴趣区域。
在该单元中，根据目标检测模型的需要对每个3D的点进行编码和解码，然后提取出特征向量，具体可以利用点网(PointNet++)作为主干网络来实现。
需要说明的是，为了获取更精确和丰富的信息，该实施例还包括对增强点云中的融合点进行背景点和前景点的划分，并且利用前景点生成感兴趣区域ROI，从而使得点网能够获取更丰富的环境信息，提高了目标检测的位置和方向精度。
需要说明的是该实施例中的每个ROI可表示为3D的长方体框，框内的可能存在检测的目标，比如行人、车辆等目标物。
在一个实施例中，所述区域生成单元220还适于：对生成的各所述感兴趣区域进行非极大值抑制，控制生成的感兴趣区域的数量。
非极大值抑制，是将覆盖目标的非极大值框过滤掉，选取其中置信度最高的一个框作为最后的结果，消除多余的框，从而找到最佳的目标检测位置，从而控制感兴趣区域的数量。
在一个实施例中，所述结果确定单元230适于：利用所述目标检测模型的二阶段网络从所述感兴趣区域中提取二级特征；将所述一级特征和所述二级特征进行融合，得到融合特征；根据所述融合特征确定目标检测结果。
继续参见图7，该单元实现了目标检测的第二阶段功能，即从所述感兴趣区域中再次提取特征向量，并且融合第一阶段中提取出的特征，从而得到融合特征，根据该融合特征确定目标的各属性信息。
为了提高可操作性和目标检测的准确性，优选地，可以以感兴趣区域的长方体框的中心点为原点建立坐标系，从而便于利用点网等神经网络对其进行特征提取等后续的操作。
在该实施例中，该第二阶段的网络可以和第一阶段的网络相同，当然也可以采用不同的网络进行特征向量的提取。
在一个实施例中，所述目标检测结果包括如下的至少一类信息：感兴趣区域的中心点位置，目标物体大小，朝向角度，目标物体类别信息。
通过分类和回归等操作后获得的目标检测结果主要为目标对象的属性信息，可以输出感兴趣区域的中心点位置，物体大小，朝向角度，物体类别等信息。
优选地，可以根据上述信息输出可视化的检测结果，比如根据上述信息绘制出更加清晰的RGB图像。
综上所述，本申请的技术方案公开了一种目标检测方法，所述方法包括：将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域；利用所述目标检测模型从所述感兴趣区域中确定目标检测结果。该方案具有输入数据更丰富、检测模型轻量化且检测结果更精确等优点。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的目标检测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种目标检测方法，其特征在于，应用于无人驾驶设备中，所述目标检测方法包括：
将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；
利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域；
利用所述目标检测模型从所述感兴趣区域中确定目标检测结果。
2.如权利要求1所述的目标检测方法，其特征在于，所述方法还包括获取所述具有对应关系的图像数据和点云数据的步骤，其中，所述图像数据是通过无人驾驶设备的摄像头采集的RGB图像，所述点云数据是通过无人驾驶设备的激光雷达采集的激光点云数据；
所述对应关系是将所述图像数据和点云数据经过时间同步处理后实现的。
3.如权利要求2所述的目标检测方法，其特征在于，所述将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据包括：
根据所述激光雷达到所述摄像头的外参以及摄像头的内参，将所述激光点云数据中的反射点投影到图像坐标系中，确定各所述反射点在所述图像坐标系中的第一坐标；
根据所述RGB图像中的各像素点在所述图像坐标系中的第二坐标，确定距离各所述反射点的第一坐标最近的像素点，通过线性插值根据所述最近的像素点的RGB值确定各所述反射点的RGB值；
根据确定的各所述反射点的RGB值得到包含色彩信息的增强点云数据。
4.如权利要求1所述的目标检测方法，其特征在于，所述利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域包括：
利用所述目标检测模型对所述增强点云数据中的融合点进行一级特征提取，基于提取的一级特征对各所述融合点进行背景和前景点的划分，根据所述前景点生成感兴趣区域。
5.如权利要求4所述的目标检测方法，其特征在于，所述根据所述前景点生成感兴趣区域包括：
对生成的各所述感兴趣区域进行非极大值抑制，控制生成的感兴趣区域的数量。
6.如权利要求1所述的目标检测方法，其特征在于，所述利用目标检测模型从所述感兴趣区域中确定目标检测结果包括：
利用所述目标检测模型从所述感兴趣区域中提取二级特征；
将所述一级特征和所述二级特征进行融合，得到融合特征；
根据所述融合特征确定目标检测结果。
7.如权利要求1所述的目标检测方法，其特征在于，所述目标检测结果包括如下的至少一类信息：
所述感兴趣区域的中心点位置，目标物体大小，朝向角度，目标物体类别。
8.一种目标检测装置，应用于无人驾驶设备中，其特征在于，所述装置包括：
数据融合单元，适于将具有对应关系的图像数据和点云数据进行融合，生成包含色彩信息的增强点云数据；
区域生成单元，适于利用目标检测模型从所述增强点云数据中提取一级特征，基于所述一级特征在所述增强点云数据中生成感兴趣区域；
结果确定单元，适于利用所述目标检测模型从所述感兴趣区域中确定目标检测结果。
9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的目标检测方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的目标检测方法。
CN201911376999.9A 2019-12-27 2019-12-27 目标检测方法、装置、电子设备和可读存储介质 Pending CN111144315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911376999.9A CN111144315A (zh) 2019-12-27 2019-12-27 目标检测方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911376999.9A CN111144315A (zh) 2019-12-27 2019-12-27 目标检测方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN111144315A true CN111144315A (zh) 2020-05-12

Family

ID=70520960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911376999.9A Pending CN111144315A (zh) 2019-12-27 2019-12-27 目标检测方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111144315A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476840A (zh) * 2020-05-14 2020-07-31 阿丘机器人科技(苏州)有限公司 目标定位方法、装置、设备及计算机可读存储介质
CN111612017A (zh) * 2020-07-07 2020-09-01 中国人民解放军国防科技大学 一种基于信息增强的目标检测方法
CN111881790A (zh) * 2020-07-14 2020-11-03 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN112365455A (zh) * 2020-10-29 2021-02-12 杭州富阳富创大数据产业创新研究院有限公司 基于3d点云和深度学习的变电站设备检测方法
CN114758333A (zh) * 2020-12-29 2022-07-15 北京瓦特曼科技有限公司 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN115223110A (zh) * 2022-07-08 2022-10-21 苏州万集车联网技术有限公司 目标检测方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
US9756324B1 (en) * 2017-04-10 2017-09-05 GELT Inc. System and method for color calibrating an image
CN109271880A (zh) * 2018-08-27 2019-01-25 深圳清创新科技有限公司 车辆检测方法、装置、计算机设备和存储介质
KR20190060341A (ko) * 2017-11-24 2019-06-03 재단법인대구경북과학기술원 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110008891A (zh) * 2019-03-29 2019-07-12 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
CN110443199A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二维几何轮廓的点云姿态识别方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
US9756324B1 (en) * 2017-04-10 2017-09-05 GELT Inc. System and method for color calibrating an image
KR20190060341A (ko) * 2017-11-24 2019-06-03 재단법인대구경북과학기술원 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법
CN109271880A (zh) * 2018-08-27 2019-01-25 深圳清创新科技有限公司 车辆检测方法、装置、计算机设备和存储介质
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110008891A (zh) * 2019-03-29 2019-07-12 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110443199A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二维几何轮廓的点云姿态识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476840A (zh) * 2020-05-14 2020-07-31 阿丘机器人科技(苏州)有限公司 目标定位方法、装置、设备及计算机可读存储介质
CN111476840B (zh) * 2020-05-14 2023-08-22 阿丘机器人科技(苏州)有限公司 目标定位方法、装置、设备及计算机可读存储介质
CN111612017A (zh) * 2020-07-07 2020-09-01 中国人民解放军国防科技大学 一种基于信息增强的目标检测方法
CN111881790A (zh) * 2020-07-14 2020-11-03 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN111881790B (zh) * 2020-07-14 2023-04-28 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN112365455A (zh) * 2020-10-29 2021-02-12 杭州富阳富创大数据产业创新研究院有限公司 基于3d点云和深度学习的变电站设备检测方法
CN114758333A (zh) * 2020-12-29 2022-07-15 北京瓦特曼科技有限公司 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN114758333B (zh) * 2020-12-29 2024-02-13 北京瓦特曼科技有限公司 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN115223110A (zh) * 2022-07-08 2022-10-21 苏州万集车联网技术有限公司 目标检测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111144315A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
CN110197148B (zh) 目标物体的标注方法、装置、电子设备和存储介质
CN106952308B (zh) 运动物体的位置确定方法及系统
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN111222395A (zh) 目标检测方法、装置与电子设备
US11669972B2 (en) Geometry-aware instance segmentation in stereo image capture processes
CN111401133A (zh) 目标数据增广方法、装置、电子设备和可读存储介质
CN111123927A (zh) 轨迹规划方法、装置、自动驾驶设备和存储介质
CN112749594B (zh) 信息补全方法、车道线识别方法、智能行驶方法及相关产品
CN112967283A (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN111742344A (zh) 图像语义分割方法、可移动平台及存储介质
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
CN111091739A (zh) 自动驾驶场景的生成方法、装置和存储介质
CN114708583A (zh) 目标物的检测方法、装置、设备及存储介质
CN112529011A (zh) 目标检测方法及相关装置
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN115761425A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN115880662A (zh) 利用异类传感器的协同作用进行自主驾驶的3d目标检测方法
CN112651405B (zh) 目标检测方法及装置
CN116681884B (zh) 一种对象检测方法和相关装置
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN117036985B (zh) 一种面向视频卫星图像的小目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200512