CN113920101A - 目标检测方法、装置、设备及存储介质 - Google Patents
目标检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113920101A CN113920101A CN202111231437.2A CN202111231437A CN113920101A CN 113920101 A CN113920101 A CN 113920101A CN 202111231437 A CN202111231437 A CN 202111231437A CN 113920101 A CN113920101 A CN 113920101A
- Authority
- CN
- China
- Prior art keywords
- feature map
- candidate frame
- point cloud
- image
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 174
- 238000012545 processing Methods 0.000 claims abstract description 96
- 238000000605 extraction Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000007499 fusion processing Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 description 11
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 240000004050 Pentaglottis sempervirens Species 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种目标检测方法、装置、设备及存储介质，该方法获取待检测车辆的图像信息和点云数据信息；根据预设特征提取网络，分别对图像信息和点云数据信息进行特征提取处理，得到图像特征图和点云特征图；确定目标检测候选框，根据目标检测候选框对图像特征图和点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图；对候选框图像特征图和候选框点云特征图进行特征融合处理，得到检测目标特征图，可以获取到全面的目标信息，提高了目标检测的准确度、精度。
Description
技术领域
本申请涉及无人驾驶领域，尤其涉及一种目标检测方法、装置、设备及存储介质。
背景技术
随着人工智能技术和计算机技术的发展，无人驾驶技术也日渐成熟，一个完整的无人驾驶系统主要由感知系统、控制系统和执行系统所组成，其中感知系统就是要对可行驶区域、交通标志、车辆以及行人的检测等，为汽车提供一个安全、高效、实时和精准的环境信息，为控制系统和执行系统提供前提条件，目标检测是感知系统中必不可少的组成，在无人驾驶车辆的行驶过程中，需要准确的目标检测来规避障碍物、识别道路标识从而实现对路径的规划。
目前，无人驾驶车辆主要通过摄像机获取二维图像，对二维图像进行人工智能和深度学习处理来实现目标检测，或者是通过激光雷达获取点云数据，将雷达获得的点云数据进行直接处理、体素化处理或转换成伪二维图像来实现目标检测。
然而现有的针对无人驾驶车辆的目标检测方法，无法获取到全面的目标信息，目标检测准确度低。
发明内容
本申请提供一种目标检测方法、装置、设备及存储介质，以解决现有的针对无人驾驶车辆的目标检测方法，无法获取到全面的目标信息，目标检测准确度低的技术问题。
第一方面，本申请提供一种目标检测方法，包括：
获取待检测车辆的图像信息和点云数据信息；
根据预设特征提取网络，分别对所述图像信息和所述点云数据信息进行特征提取处理，得到图像特征图和点云特征图；
确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图；
对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，得到检测目标特征图。
这里，本申请在目标检测时结合了摄像头采集的图像信息和激光雷达采集的点云数据信息，充分考虑了两种传感器获取的信息的特征，通过对两种不同方式获取的道路信息进行特征提取，确定待检测车辆行驶路线上的目标检测物，再通过同一尺寸的候选框进行特征区域的提取，便于进行特征融合，同时候选框的区域提取处理提高了目标检测的精度，再对两种方式提取的特征进行融合，得到融合了多方面因素的检测目标特征图，可以获取到全面的目标信息，提高了目标检测的准确度、精度。
可选地，所述确定目标检测候选框，包括：
根据区域候选网络，在所述点云数据信息上生成三维候选框；
将所述三维候选框投影至所述图像信息上，得到投影候选框；
对所述三维候选框和所述投影候选框进行归一化处理，得到目标检测候选框。
这里，本申请首先根据区域候选网络，在点云数据信息上生成三维候选框，进一步地提高了目标的检测效率，无需处理大量的多余数据，也提高了精度，再将三维候选框投影至图像信息上，得到投影候选框，经过归一化处理，可以将点云数据信息的候选框和图像信息转换成相同尺寸的框，便于特征融合和其他后续的处理，进一步地提高了目标检测的精度和效率。
可选地，所述对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，得到检测目标特征图，包括：
将所述候选框图像特征图和所述候选框点云特征图进行信道级联处理，再分别与N*N的卷积核进行卷积，通过激活函数，得到所述候选框图像特征图的权重和所述候选框点云特征图的权重，其中，N为任意正整数；
根据所述候选框图像特征图的权重和所述候选框点云特征图的权重，对所述候选框图像特征图和所述候选框点云特征图进行信道级联处理，得到检测目标特征图。
这里，本申请在特征融合过程中，利用卷积和激活函数引用权重比例参数，使融合更合理，进一步地提高了目标检测的精度。
可选地，在所述获取待检测车辆的图像信息和点云数据信息之后，还包括：
对所述点云数据信息进行数据转换处理，得到鸟瞰图信息；
相应的，所述根据预设特征提取网络，分别对所述图像信息和所述点云数据信息进行特征提取处理，得到图像特征图和点云特征图包括：
根据预设特征提取网络，分别对所述图像信息和所述鸟瞰图信息进行特征提取处理，得到图像特征图和鸟瞰图特征图；
所述确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图，包括：
确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述鸟瞰图特征图进行区域提取处理，得到候选框图像特征图和候选框鸟瞰图特征图；
所述对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，包括：
对所述候选框图像特征图和所述候选框鸟瞰图特征图进行特征融合处理。
这里，本申请在对点云数据信息进行处理之前，首先将点云数据信息转化为鸟瞰图信息，便于对数据进行处理，减少了数据处理的时间，保证了目标检测的实时性，进一步地提高了目标检测的精度和效率。
可选地，所述获取待检测车辆的图像信息和点云数据信息，包括：
根据车载摄像头和/或路测摄像头获取图像信息；
根据车载激光雷达获取点云数据信息。
这里，本申请在获取图像信息时，可以获取车载摄像头和/或路测摄像头不同位置的图像信息，得到更加全面的图像信息，进一步地提高了目标检测的精度，提高无人驾驶车辆行驶的安全性。
可选地，在所述得到检测目标特征图之后，还包括：
根据所述目标检测框，在所述图像信息和所述点云数据信息上进行目标标注。
这里，本申请可将目标标注在地图上，结合图像信息和点云数据信息进行标注，便于用户查看，进一步地提高了用户体验。
可选地，在所述在所述图像信息和所述点云数据信息上进行目标标注之后，还包括：
根据标注后的图像信息和点云数据信息，对所述待检测车辆进行路径规划。
本申请可根据标注了目标的图像信息和点云数据信息进行无人驾驶车辆的路径规划，进一步地提高了无人驾驶车辆行驶路线的准确性及安全性。
第二方面，本申请提供一种目标检测装置，包括：
获取模块，用于获取待检测车辆的图像信息和点云数据信息；
特征提取模块，用于根据预设特征提取网络，分别对所述图像信息和所述点云数据信息进行特征提取处理，得到图像特征图和点云特征图；
第一处理模块，用于确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图；
第二处理模块，用于对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，得到检测目标特征图。
可选地，所述第一处理模块具体用于：
根据区域候选网络，在所述点云数据信息上生成三维候选框；
将所述三维候选框投影至所述图像信息上，得到投影候选框；
对所述三维候选框和所述投影候选框进行归一化处理，得到目标检测候选框。
可选地，所述第二处理模块具体用于：
将所述候选框图像特征图和所述候选框点云特征图进行信道级联处理，再分别与N*N的卷积核进行卷积，通过激活函数，得到所述候选框图像特征图的权重和所述候选框点云特征图的权重；
根据所述候选框图像特征图的权重和所述候选框点云特征图的权重，对所述候选框图像特征图和所述候选框点云特征图进行信道级联处理，得到检测目标特征图。
可选地，在所述获取模块获取待检测车辆的图像信息和点云数据信息之后，上述装置还包括：
转换模块，用于对所述点云数据信息进行数据转换处理，得到鸟瞰图信息；
相应的，所述特征提取模块具体用于：
根据预设特征提取网络，分别对所述图像信息和所述鸟瞰图信息进行特征提取处理，得到图像特征图和鸟瞰图特征图；
所述第一处理模块具体用于：
确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述鸟瞰图特征图进行区域提取处理，得到候选框图像特征图和候选框鸟瞰图特征图；
所述第二处理模块具体用于：
对所述候选框图像特征图和所述候选框鸟瞰图特征图进行特征融合处理。
可选地，所述获取模块具体用于：
根据车载摄像头和/或路测摄像头获取图像信息；
根据车载激光雷达获取点云数据信息。
可选地，在所述第二处理模块得到检测目标特征图之后，上述装置还包括：
标注模块，用于根据所述目标检测框，在所述图像信息和所述点云数据信息上进行目标标注。
可选地，在所述标注模块在所述图像信息和所述点云数据信息上进行目标标注之后，上述装置还包括：
规划模块，用于根据标注后的图像信息和点云数据信息，对所述待检测车辆进行路径规划。
第三方面，本申请提供一种目标检测设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的目标检测方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的目标检测方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的目标检测方法。
本申请提供的目标检测方法、装置、服务器及存储介质，其中该方法首先根据区域候选网络，在点云数据信息上生成三维候选框，进一步地提高了目标的检测效率，无需处理大量的多余数据，也提高了精度，再将三维候选框投影至图像信息上，得到投影候选框，经过归一化处理，可以将点云数据信息的候选框和图像信息转换成相同尺寸的框，便于特征融合和其他后续的处理，进一步地提高了目标检测的精度和效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标检测系统架构示意图；
图2为本申请实施例提供的一种目标检测方法的流程示意图；
图3为本申请实施例提供的一种特征融合的框架示意图；
图4为本申请实施例提供的一种目标检测方法的流程框图示意图；
图5为本申请实施例提供的一种目标检测装置的结构示意图；
图6为本申请实施例提供的一种目标检测设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，随着人工智能技术的发展，无人驾驶技术得到了空前的发展。一个比较完整的无人驾驶系统主要由感知系统、控制系统和执行系统所组成，其中感知系统就是要对可行驶区域、交通标志、车辆以及行人的检测等，为汽车提供一个安全、高效、实时和精准的环境信息，为控制系统和执行系统提供前提条件，是无人驾驶系统中重要的一部分，目标检测是感知系统中必不可少的组成。目前主要利用车辆上的摄像机、激光雷达和毫米雷达等传感器设备进行道路场景的目标检测。
目前，主流的基于摄像机的目标检测和基于激光雷达的目标检测由于传感器自身的局限性使获取的目标的信息不够全面，摄像机不能够获得几何信息，而且容易受到光照和拍摄角度的影响；雷达不能提供给目标的细粒度形状、颜色、问题等丰富的信息，进而造成目标检测的精度不高，无法应用于无人驾驶车辆中，同时车辆自身获取信息的局限性。具体的，基于摄像机获取的二维图像的目标检测技术利用了人工智能和深度学习等技术得到了较好的发展，目前存在的基于摄像机的目标检测主要分为基于区域建议的目标检测算法和基于回归的目标检测算法两种：基于区域建议的目标检测是两阶段的目标检测，第一阶段生成候选框，第二阶段对候框进行细致化的回归得到最终的检测结果，此种方法检测精度较高，但检测速度较慢；基于回归的目标检测算法是一种单阶段的检测方法，不需要选取候选框，直接得到检测的结果，这类框架检测速度比较快，但在精度方面一般弱于基于候选框的目标检测框架。两种方法各有优缺点，但也存在着共性问题，由于摄像头传感器自身的缺陷，容易受到天气、光照、拍摄角度等因素的影响，造成拍摄的图像不清晰或物体形状有偏差，进而影响检测精度。基于激光雷达的目标检测方法，一种处理方法是将雷达获得的点云数据进行体素化处理或转换成伪二维图像，再利用基于摄摄像的二维目标检测方法进行检测，另一种是直接对点云进行处理。与基于摄像机的目标检测方法相比较，不易受天气、光照等因素的影响，还能够获得物体的空间坐标、颜色及反射强度等属性信息；具有全天候、高精度、高密度、高效率等特点。但是在提供物体的密集和丰富的信息方面受到限制，如它们的细粒度形状、颜色和纹理，尤其对于远处的物体，能获取的信息更少，不利于对目标的检测。因此，现有的针对无人驾驶车辆的目标检测方法，存在无法获取到全面的目标信息，目标检测准确度低的技术问题。
为了解决上述技术问题，本申请实施例提供一种目标检测方法、装置、服务器及存储介质，利用摄像机和激光雷达两种传感器数据，采用两阶段的检测方法，将通过激光雷达采集的点云数据信息和摄像机采集的图像信息进行目标检测的检测结果进行融合，进而提高目标检测的精度。
可选地，图1为本申请实施例提供的一种目标检测系统架构示意图。如图1所示，上述架构包括无人驾驶汽车101和服务器102。
其中，无人驾驶汽车101可以与服务器102实现通信连接，无人驾驶汽车安装有车载摄像头和激光雷达，通过车载摄像头和激光雷达获取图像信息和点云数据信息，无人驾驶汽车可以将上述信息发送至服务器102。
可选地，服务器102可以与其它无人驾驶汽车进行通信连接，或者与路测摄像头连接，获取其它无人驾驶汽车和路测摄像头发送的图像信息和点云数据信息。
可选地，无人驾驶汽车可以根据服务器的控制指令进行行驶。
可选地，上述无人驾驶汽车、路测摄像头、服务器可以通过基于蜂窝网络的车用无线通信技术(Cellular Vehicle-to-Everything，C-V2X)实现通信连接，将路端与车端连接起来。
可以理解的是，本申请实施例示意的结构并不构成对目标检测系统架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图1所示的部件可以以硬件，软件，或软件与硬件的组合实现。
另外，本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面以几个实施例为例对本申请的技术方案进行描述，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的一种目标检测方法的流程示意图，本申请实施例的执行主体可以为图1所示实施例中的服务器102，具体执行主体可以根据实际应用场景确定。如图2所示，该方法包括如下步骤：
S201：获取待检测车辆的图像信息和点云数据信息。
可选地，获取待检测车辆的图像信息和点云数据信息，包括：
根据车载摄像头和/或路测摄像头获取图像信息；根据车载激光雷达获取点云数据信息。
可选地，服务器可以通过无线通信获取车辆和/或路测发送的图像信息和点云数据信息，还可以通过车辆的全球定位系统(Global Positioning System，GPS)模块采集待检测车辆的车辆位置和方向信息，从而实现目标的准确检测。
可选地，这里的图形信息可以是红绿蓝色彩模式(RGB color mode，RGB)图像。点云数据信息为激光雷达采集到的点云数据(point cloud data)，是指在一个三维坐标系统中的一组向量的集合。
这里，本申请实施例在获取图像信息时，可以获取车载摄像头和/或路测摄像头不同位置的图像信息，得到更加全面的图像信息，进一步地提高了目标检测的精度，提高无人驾驶车辆行驶的安全性。
S202：根据预设特征提取网络，分别对图像信息和点云数据信息进行特征提取处理，得到图像特征图和点云特征图。
其中，通过特征提取，可以识别目标的特征信息。
可选地，采用改进的VGG16网络，对VGG16网络中提取的最高层的网络进行上采样，同时进行横向连接，能够将低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图连接，获得更多的需要检测目标的特征信息。
其中，对图像信息和点云数据信息进行特征提取处理采用统一相同的特征提取网络，便于特征融合，进一步的提高了准确性。
S203：确定目标检测候选框，根据目标检测候选框对图像特征图和点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图。
可选地，确定目标检测候选框，包括：
根据区域候选网络，在点云数据信息上生成三维候选框；将三维候选框投影至图像信息上，得到投影候选框；对三维候选框和投影候选框进行归一化处理，得到目标检测候选框。
具体地，可以通过以下方式实现三维候选框的选取：利用区域候选网络(RegionProposal Network，RPN)生成三维候选框，RPN的本质是“基于滑窗的无类别obejct检测器”，将特征图的每个位置投影至原图并形成K个锚框，即为生成的候选框，对候选框进行分类(此处的分类只是分为背景和前景两类)，再利用非极大值抑制取消重叠的候选框。
K种锚框的选取采用了K均值聚类的方法，将真实标注的目标框中的长宽参数放入聚类算法中处理。聚类的公式是：
d(box，centroid)＝1-IOU(box，centroid)
其中，上述公式中centroid为随机选取的中心目标框，box为其他目标框，IOU(box，centroid)为中心目标框与其他目标框的重叠度。在计算时，所有box中心点的x，y坐标都置为0。
这里，本申请实施例首先根据区域候选网络，在点云数据信息上生成三维候选框，进一步地提高了目标的检测效率，无需处理大量的多余数据，也提高了精度，再将三维候选框投影至图像信息上，得到投影候选框，经过归一化处理，可以将点云数据信息的候选框和图像信息转换成相同尺寸的框，便于特征融合和其他后续的处理，进一步地提高了目标检测的精度和效率。
可选地，对三维候选框和投影候选框进行归一化处理，得到目标检测候选框的方式为通过池化(mean-pooling或max-pooling等操作)实现，通过归一化处理，进一步地提高了精度。
S204：对候选框图像特征图和候选框点云特征图进行特征融合处理，得到检测目标特征图。
示范性的，图3为本申请实施例提供的一种特征融合的框架示意图，如图3所示，对候选框图像特征图和候选框点云特征图进行特征融合处理，得到检测目标特征图，包括：
将候选框图像特征图和候选框点云特征图进行信道级联处理，再分别与N*N的卷积核进行卷积，通过激活函数，得到候选框图像特征图的权重和候选框点云特征图的权重；根据候选框图像特征图的权重和候选框点云特征图的权重，对候选框图像特征图和候选框点云特征图进行信道级联处理，得到检测目标特征图。
可选地，这里将候选框图像特征图和候选框点云特征图进行信道级联处理，再分别与3*3的卷积核进行卷积。
这里，本申请实施例在特征融合过程中，利用卷积和激活函数引用权重比例参数，使融合更合理，进一步地提高了目标检测的精度。
可选地，在得到检测目标特征图之后，还包括：
根据目标检测框，在图像信息和点云数据信息上进行目标标注。
可选地，可以在融合后的特征图(即检测目标特征图)上再次对候选框进行分类和回归操作，最终生成目标的类别的标注框。这里的分类和回归操作通过池化方法实现。
这里，本申请实施例可将目标标注在地图上，结合图像信息和点云数据信息进行标注，便于用户查看，进一步地提高了用户体验。
可选地，在在图像信息和点云数据信息上进行目标标注之后，还包括：
根据标注后的图像信息和点云数据信息，对待检测车辆进行路径规划。
可选地，在得到目标检测图和标注之后，可以将标注的图像发送至车载单元，以使车载单元控制车辆进行匀速行驶、减速、躲避等操作。
本申请实施例可根据标注了目标的图像信息和点云数据信息进行无人驾驶车辆的路径规划，进一步地提高了无人驾驶车辆行驶路线的准确性及安全性。
本申请实施例在目标检测时结合了摄像头采集的图像信息和激光雷达采集的点云数据信息，充分考虑了两种传感器获取的信息的特征，通过对两种不同方式获取的道路信息进行特征提取，确定待检测车辆行驶路线上的目标检测物，再通过同一尺寸的候选框进行特征区域的提取，便于进行特征融合，同时候选框的区域提取处理提高了目标检测的精度，再对两种方式提取的特征进行融合，得到融合了多方面因素的检测目标特征图，可以获取到全面的目标信息，提高了目标检测的准确度、精度。
在一种可行的实现方式中，本申请实施例在获取待检测车辆的图像信息和点云数据信息之后，还包括：
对点云数据信息进行数据转换处理，得到鸟瞰图信息。
可选地，将激光雷达点云数据转换为鸟瞰图的方式如下：
鸟瞰图的表示是由高度、强度和密度编码的。将投影点云离散化为分辨率为0.1m的二维网格。对于每个单元，高度特征计算为单元中点的最大高度。为了对更详细的高度信息进行编码，将点云平均分为M个切片。为每个切片计算一个高度图，因此我们获得M个高度图。强度特征是每个单元中具有最大高度的点的反射率值。点云密度表示每个单元中点的数量。因此总的来说，鸟瞰图被编码为(M+2)通道特征。
相应的，根据预设特征提取网络，分别对图像信息和点云数据信息进行特征提取处理，得到图像特征图和点云特征图包括：根据预设特征提取网络，分别对图像信息和鸟瞰图信息进行特征提取处理，得到图像特征图和鸟瞰图特征图；
确定目标检测候选框，根据目标检测候选框对图像特征图和点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图，包括：确定目标检测候选框，根据目标检测候选框对图像特征图和鸟瞰图特征图进行区域提取处理，得到候选框图像特征图和候选框鸟瞰图特征图；
对候选框图像特征图和候选框点云特征图进行特征融合处理，包括：对候选框图像特征图和候选框鸟瞰图特征图进行特征融合处理。
可选地，确定三维候选框的方式为在鸟瞰图上生成三维候选框，将三维候选框投影到RGB图像上，对候选框利用max pooling进行归一化处理，转换成相同尺寸的框，便于后面到的融合等操作。
可选地，投影方式为：
三维候选框是在点云转换为的鸟瞰图上生成的，此时投影到RGB图像上，需要用到雷达点云与摄像机图像的转换矩阵。即为:
Y＝P_rect_0x*R_rect_00*(R|T)*X
其中，X为雷达坐标系中的齐次坐标，Y为对应在xx号相机的图像坐标系的齐次坐标。P_rect_0x：3×4投影矩阵，用于从矫正后的0号相机坐标系投影到X号相机的图像平面；
R_rect_00：3x3旋转矩阵，用于矫正00号相机；
R：雷达坐标系到0号相机坐标系的转换的3x3旋转矩阵；
T：雷达坐标系到0号相机坐标系的转换的3x1平移矩阵。
相应的，图4为本申请实施例提供的一种目标检测方法的流程框图示意图，如图4所示，本申请实施例预先将点云数据信息转换鸟瞰图信息，再分别对图像信息和鸟瞰图信息进行特征提取，通过在鸟瞰图信息上生成三维候选框、将三维候选框投影到摄像机采集的图像(这里以RGB图像为例)上、对鸟瞰图和图像的候选框进行归一化处理，再将归一化后的鸟瞰图和图像的建议框进行融合，可得到最终检测目标特征图。
这里，本申请实施例在对点云数据信息进行处理之前，首先将点云数据信息转化为鸟瞰图信息，便于对数据进行处理，减少了数据处理的时间，保证了目标检测的实时性，进一步地提高了目标检测的精度和效率。
图5为本申请实施例提供的一种目标检测装置的结构示意图，如图5所示，本申请实施例的装置包括：获取模块501、特征提取模块502、第一处理模块503和第二处理模块504。这里的目标检测装置可以是上述服务器102或者处理器本身，或者是实现服务器的功能的芯片或者集成电路。这里需要说明的是，获取模块501、特征提取模块502、第一处理模块503和第二处理模块504的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，获取模块，用于获取待检测车辆的图像信息和点云数据信息；
特征提取模块，用于根据预设特征提取网络，分别对图像信息和点云数据信息进行特征提取处理，得到图像特征图和点云特征图；
第一处理模块，用于确定目标检测候选框，根据目标检测候选框对图像特征图和点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图；
第二处理模块，用于对候选框图像特征图和候选框点云特征图进行特征融合处理，得到检测目标特征图。
可选地，第一处理模块具体用于：
根据区域候选网络，在点云数据信息上生成三维候选框；
将三维候选框投影至图像信息上，得到投影候选框；
对三维候选框和投影候选框进行归一化处理，得到目标检测候选框。
可选地，第二处理模块具体用于：
将候选框图像特征图和候选框点云特征图进行信道级联处理，再分别与N*N的卷积核进行卷积，通过激活函数，得到候选框图像特征图的权重和候选框点云特征图的权重；
根据候选框图像特征图的权重和候选框点云特征图的权重，对候选框图像特征图和候选框点云特征图进行信道级联处理，得到检测目标特征图。
可选地，在获取模块获取待检测车辆的图像信息和点云数据信息之后，上述装置还包括：
转换模块，用于对点云数据信息进行数据转换处理，得到鸟瞰图信息；
相应的，特征提取模块具体用于：
根据预设特征提取网络，分别对图像信息和鸟瞰图信息进行特征提取处理，得到图像特征图和鸟瞰图特征图；
第一处理模块具体用于：
确定目标检测候选框，根据目标检测候选框对图像特征图和鸟瞰图特征图进行区域提取处理，得到候选框图像特征图和候选框鸟瞰图特征图；
第二处理模块具体用于：
对候选框图像特征图和候选框鸟瞰图特征图进行特征融合处理。
可选地，获取模块具体用于：
根据车载摄像头和/或路测摄像头获取图像信息；
根据车载激光雷达获取点云数据信息。
可选地，在第二处理模块得到检测目标特征图之后，上述装置还包括：
标注模块，用于根据目标检测框，在图像信息和点云数据信息上进行目标标注。
可选地，在标注模块在图像信息和点云数据信息上进行目标标注之后，上述装置还包括：
规划模块，用于根据标注后的图像信息和点云数据信息，对待检测车辆进行路径规划。
图6为本申请实施例提供的一种目标检测设备(可以为图1中的服务器102)的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该目标检测设备包括：处理器601和存储器602，各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器601可以对在终端内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。图6中以一个处理器601为例。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的目标检测设备的方法对应的程序指令/模块(例如，附图5所示的获取模块501、特征提取模块502、第一处理模块503和第二处理模块504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行目标检测设备的各种功能应用以及数据处理，即实现上述方法实施例中的目标检测设备的方法。
目标检测设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与目标检测设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以是目标检测设备的显示设备等输出设备。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
本申请实施例的目标检测设备，可以用于执行本申请上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一的目标检测方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，用于实现上述任一项的目标检测方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种目标检测方法，其特征在于，包括：
获取待检测车辆的图像信息和点云数据信息；
根据预设特征提取网络，分别对所述图像信息和所述点云数据信息进行特征提取处理，得到图像特征图和点云特征图；
确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图；
对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，得到检测目标特征图。
2.根据权利要求1所述的方法，其特征在于，所述确定目标检测候选框，包括：
根据区域候选网络，在所述点云数据信息上生成三维候选框；
将所述三维候选框投影至所述图像信息上，得到投影候选框；
对所述三维候选框和所述投影候选框进行归一化处理，得到目标检测候选框。
3.根据权利要求1所述的方法，其特征在于，所述对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，得到检测目标特征图，包括：
将所述候选框图像特征图和所述候选框点云特征图进行信道级联处理，再分别与N*N的卷积核进行卷积，通过激活函数，得到所述候选框图像特征图的权重和所述候选框点云特征图的权重，其中，N为任意正整数；
根据所述候选框图像特征图的权重和所述候选框点云特征图的权重，对所述候选框图像特征图和所述候选框点云特征图进行信道级联处理，得到检测目标特征图。
4.根据权利要求1至3任一项所述的方法，其特征在于，在所述获取待检测车辆的图像信息和点云数据信息之后，还包括：
对所述点云数据信息进行数据转换处理，得到鸟瞰图信息；
相应的，所述根据预设特征提取网络，分别对所述图像信息和所述点云数据信息进行特征提取处理，得到图像特征图和点云特征图包括：
根据预设特征提取网络，分别对所述图像信息和所述鸟瞰图信息进行特征提取处理，得到图像特征图和鸟瞰图特征图；
所述确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图，包括：
确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述鸟瞰图特征图进行区域提取处理，得到候选框图像特征图和候选框鸟瞰图特征图；
所述对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，包括：
对所述候选框图像特征图和所述候选框鸟瞰图特征图进行特征融合处理。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述获取待检测车辆的图像信息和点云数据信息，包括：
根据车载摄像头和/或路测摄像头获取图像信息；
根据车载激光雷达获取点云数据信息。
6.根据权利要求1至3任一项所述的方法，其特征在于，在所述得到检测目标特征图之后，还包括：
根据所述目标检测框，在所述图像信息和所述点云数据信息上进行目标标注。
7.根据权利要求6所述的方法，其特征在于，在所述在所述图像信息和所述点云数据信息上进行目标标注之后，还包括：
根据标注后的图像信息和点云数据信息，对所述待检测车辆进行路径规划。
8.一种目标检测装置，其特征在于，包括：
获取模块，用于获取待检测车辆的图像信息和点云数据信息；
特征提取模块，用于根据预设特征提取网络，分别对所述图像信息和所述点云数据信息进行特征提取处理，得到图像特征图和点云特征图；
第一处理模块，用于确定目标检测候选框，根据所述目标检测候选框对所述图像特征图和所述点云特征图进行区域提取处理，得到候选框图像特征图和候选框点云特征图；
第二处理模块，用于对所述候选框图像特征图和所述候选框点云特征图进行特征融合处理，得到检测目标特征图。
9.一种目标检测设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111231437.2A CN113920101A (zh) | 2021-10-22 | 2021-10-22 | 目标检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111231437.2A CN113920101A (zh) | 2021-10-22 | 2021-10-22 | 目标检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920101A true CN113920101A (zh) | 2022-01-11 |
Family
ID=79242238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111231437.2A Pending CN113920101A (zh) | 2021-10-22 | 2021-10-22 | 目标检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920101A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131619A (zh) * | 2022-08-26 | 2022-09-30 | 北京江河惠远科技有限公司 | 基于点云和图像融合的特高压零件分拣方法和系统 |
| CN116812590A (zh) * | 2023-08-29 | 2023-09-29 | 苏州双祺自动化设备股份有限公司 | 一种基于视觉的卸货方法及系统 |
| CN117557999A (zh) * | 2023-11-20 | 2024-02-13 | 镁佳(北京)科技有限公司 | 一种图像联合标注方法、计算机设备及介质 |
| CN118230312A (zh) * | 2024-02-29 | 2024-06-21 | 北京卓视智通科技有限责任公司 | 一种路端bev感知方法、系统、计算机设备和存储介质 |
| WO2024164979A1 (zh) * | 2023-02-09 | 2024-08-15 | 京东科技控股股份有限公司 | 物品识别方法、装置、存储介质及电子设备 |
-
2021
- 2021-10-22 CN CN202111231437.2A patent/CN113920101A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131619A (zh) * | 2022-08-26 | 2022-09-30 | 北京江河惠远科技有限公司 | 基于点云和图像融合的特高压零件分拣方法和系统 |
| WO2024164979A1 (zh) * | 2023-02-09 | 2024-08-15 | 京东科技控股股份有限公司 | 物品识别方法、装置、存储介质及电子设备 |
| CN116812590A (zh) * | 2023-08-29 | 2023-09-29 | 苏州双祺自动化设备股份有限公司 | 一种基于视觉的卸货方法及系统 |
| CN116812590B (zh) * | 2023-08-29 | 2023-11-10 | 苏州双祺自动化设备股份有限公司 | 一种基于视觉的卸货方法及系统 |
| CN117557999A (zh) * | 2023-11-20 | 2024-02-13 | 镁佳(北京)科技有限公司 | 一种图像联合标注方法、计算机设备及介质 |
| CN118230312A (zh) * | 2024-02-29 | 2024-06-21 | 北京卓视智通科技有限责任公司 | 一种路端bev感知方法、系统、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113920101A (zh) | 目标检测方法、装置、设备及存储介质 | |
| KR102447352B1 (ko) | 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 | |
| US10627512B1 (en) | Early fusion of lidar return data with camera information | |
| US20200193832A1 (en) | Image generating apparatus, image generating method, and recording medium | |
| CN109886312B (zh) | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 | |
| CN111324115B (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
| US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
| CN111133447A (zh) | 适于自主驾驶的对象检测和检测置信度 | |
| CN109740604A (zh) | 一种行驶区域检测的方法和设备 | |
| JPWO2007083494A1 (ja) | 図形認識装置、図形認識方法および図形認識プログラム | |
| JP7279848B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| WO2020199057A1 (zh) | 一种自动驾驶模拟系统、方法、设备及存储介质 | |
| CN117975436A (zh) | 基于多模态融合和可变形注意力的三维目标检测方法 | |
| CN114140592A (zh) | 高精地图生成方法、装置、设备、介质及自动驾驶车辆 | |
| CN115147333A (zh) | 一种目标检测方法及装置 | |
| CN113723170A (zh) | 危险检测整合架构系统和方法 | |
| CN113126120B (zh) | 数据标注方法、装置、设备、存储介质以及计算机程序产品 | |
| CN114118247A (zh) | 一种基于多传感器融合的无锚框3d目标检测方法 | |
| CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
| CN112381876A (zh) | 一种交通标志标注方法、装置及计算机设备 | |
| US20220309693A1 (en) | Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| CN114581748B (zh) | 基于机器学习的多智能体感知融合系统及其实现方法 | |
| CN116630931A (zh) | 障碍物检测方法、系统、农业机械、电子设备和存储介质 | |
| US20220318456A1 (en) | Simulation method based on three-dimensional contour, storage medium, computer equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |