CN114049613A - 一种目标检测方法、装置、电子设备和可读存储介质 - Google Patents
一种目标检测方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114049613A CN114049613A CN202111182264.XA CN202111182264A CN114049613A CN 114049613 A CN114049613 A CN 114049613A CN 202111182264 A CN202111182264 A CN 202111182264A CN 114049613 A CN114049613 A CN 114049613A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- characteristic
- feature
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及目标检测领域，尤其涉及一种目标检测方法、装置、电子设备和可读存储介质。该方法通过获取待检测图像，对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像，然后根据所述待检测图像获取第一特征向量，投射所述第一特征向量至所述特征图像，从而获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。该目标检测方法、装置、电子设备和可读存储介质能够实现对点云和图像进行深度的整合，提高了3D检测目标性能。
Description
【技术领域】
本发明涉及图像处理的技术领域，主要涉及一种目标检测方法、装置、电子设备和可读存储介质。
【背景技术】
自动驾驶汽车又称无人驾驶汽车，是一种通过电脑系统实现无人驾驶的智能汽车，目前在自动驾驶领域对于传感器前融合的研究还在起步阶段，传感器的前融合是通过利用各传感器的原始数据融合，将每种传感模态的优势结合，达到更好的环境感知效果。
基于神经网络的前融合通常是使用两个单独的网络来分别提取点云和图像的特征，由于这两个单独的神经网络内部并没有信息的融合，仅仅是将点云特征和图像特征做了一个合并，所以不能根据图像特征提取点云特征，从而导致图像和点云的信息无法进行深度的整合，出现3D目标检测性能低的问题。
【发明内容】
本发明实施例提供一种基于神经网络前融合的方法、装置和电子设备，旨在解决现有技术中自动驾驶汽车领域前融合的点云和图像不能进行深度的整合、3D目标检测性能低的技术问题。
为解决上述技术问题，本发明实施方式采用的一个技术方案是：提供一种目标检测方法，所述方法包括：
获取待检测图像；
对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像；
根据所述待检测图像获取第一特征向量；
投射所述第一特征向量至所述特征图像，以获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。
可选的，所述对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像，包括：
对所述待检测图像进行卷积处理，获取不同层次的卷积特征图；
在所述卷积特征图上设置锚点，获取所述卷积特征图的第一目标区域；
在所述锚点为积极属性的锚点时，根据所述第一目标区域对所述锚点进行修正，获取第二目标区域；
根据所述卷积特征图将所述第二目标区域划分网格，并将所述网格进行处理，获取第三目标区域；
对所述第三目标区域进行分类，获取所述特征图像。
可选的，所述根据所述待检测图像获取第一特征向量，包括：
基于激光雷达获取所述待检测图像对应的四维点云向量；
提取所述四维点云向量中点的位置坐标，并根据所述位置坐标建立所述第一特征向量。
可选的，所述对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像和所述根据所述待检测图像获取第一特征向量和所述投射所述第一特征向量至所述特征图像的步骤由预设的算法模型执行；
所述方法还包括：
获取训练样本，所述训练样本包括批量待检测图像数据；
根据预设标签对所述批量待检测图像数据进行标注，以获取标注后的训练样本，所述预设标签包括是目标区域的前景；
将所述标注后的训练样本输入所述预设的算法模型中，以输出所述训练样本的特征图像；
根据分类损失函数和绝对损失函数约束所述特征图像和所述预设标签的关系，以使所述预设的算法模型输出的所述特征图像与所述预设标签逼近；
获取所述特征图像中最逼近于所述前景的特征图像；
将所述最逼近于所述前景的特征图像对应的算法模型作为所述预设的算法模型。
可选的，在执行所述根据所述待检测图像获取第一特征向量的步骤之后，所述方法还包括：
将所述第一特征向量与所述特征图像进行归一化处理，以获取所述第一特征向量对应的图向量；
对所述图向量进行下采样。
为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种目标检测装置，所述装置包括：
第一获取模块，用于获取待检测图像；
提取模块，用于对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像；
第二获取模块，用于根据所述待检测图像获取第一特征向量；
第三获取模块，用于投射所述第一特征向量至所述特征图像，以获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。
可选的，所述提取模块包括：
第一获取单元，用于对所述待检测图像进行卷积处理，获取不同层次的卷积特征图；
第二获取单元，用于在所述卷积特征图上设置锚点，获取所述卷积特征图的第一目标区域；
修正单元，用于在所述锚点为积极属性的锚点时，根据所述第一目标区域对所述锚点进行修正，获取第二目标区域；
处理单元，用于根据所述卷积特征图将所述第二目标区域划分网格，并将所述网格进行处理，获取第三目标区域；
第三获取单元，用于对所述第三目标区域进行分类，获取所述特征图像。
可选的，所述第二获取模块包括：
第四获取单元，用于基于激光雷达获取所述待检测图像对应的四维点云向量；
提取单元，用于提取所述四维点云向量中点的位置坐标，并根据所述位置坐标建立所述第一特征向量。
为解决上述技术问题，本发明实施方式采用的又一个技术方案是：提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的方法。
为解决上述技术问题，本发明实施方式采用的又一个技术方案是：提供一种可读存储介质，所述可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述所述的方法。
区别于相关技术的情况，本发明实施例提供的一种目标检测方法、装置、电子设备和可读存储介质，通过获取待检测图像，对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像，然后根据所述待检测图像获取第一特征向量，投射所述第一特征向量至所述特征图像，从而获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。该目标检测方法、装置、电子设备和可读存储介质能够实现对点云和图像进行深度的整合，提高了3D检测目标性能。
【附图说明】
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种目标检测方法的流程图；
图2是本发明实施例提供的对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像的方法流程图；
图3是本发明另一实施例提供的一种目标检测方法的流程图；
图4本发明实施例提供的获取预设的算法模型的方法的流程图；
图5是本发明实施例提供的一种目标检测装置的结构示意图；
图6是本发明实施例提供的执行上述目标检测方法的电子设备硬件结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，图1是本发明实施例提供的一种目标检测方法的流程图，如图1所示，所述方法包括如下步骤：
S11、获取待检测图像。
在本实施例中，所述待检测的图像可以通过包含摄像头的电子设备实时采集获得，也可以从本地数据库中调取得到，其中，所获得的待检测图像包括颜色、材质和纹理等信息。
S12、对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像。
在本实施例中，可以实现对图像进行像素级的分类，也即是每个像素点都进行分类。具体的，如图2所示，所述对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像的方法流程图，包括：
S121、对所述待检测图像进行卷积处理，获取不同层次的卷积特征图。
其中，对所述待检测图像进行卷积处理前可以先确定卷积核和步长，所述卷积核的每个单元内有权重。根据所述步长在所述待检测图像上移动卷积核，比如步长为1，表示卷积核每次向右移动一个像素。在卷积核移动的过程中将图片上的像素和卷积核的对应权重相乘，最后将所有乘积相加，从而得到一个输出。其中，所述待检测图像用矩阵表示，所述待检测图像的每一个像素点构成所述矩阵。不同层的卷积核可以相同也可以不同。通过上述卷积核与图像矩阵的运算操作可以提取图像的部分特征，比如颜色特征。为了得到更高层次的特征，可以基于当前输出的图像特征继续进行卷积处理，在卷积处理过程中，上一层的输出是下一层的输入，经过多次运算后，最后得到更深层次的图像特征(比如语义特征)，该更深层次的图像特征融合了前面的低层次的图像特征。
在本实施例中，可以使用VGG网络对所述待检测图像进行卷积处理，具体的，所述VGG网络是采用连续的几个3*3的卷积核来代替较大的卷积核，例如，使用三个3*3的卷积核来代替7*7的卷积核。通过这种方式，在保证具有相同感知视野的条件下，提升了网络的深度，提高了神经网络的效果。
具体的，所述VGG网络包括13个conv层，13个relu层和4个pooling层，将所述待检测的图像缩放至固定大小的M*N的图像，并将所述图像输入到所述VGG网络中，经过所述VGG网络处理后，经过conv层和relu层处理的所述待检测图片输出大小不变，经过pooling层处理处理的所述待检测图片的大小为原图片大小的二分之一。
S122、在所述卷积特征图上设置锚点，获取所述卷积特征图的第一目标区域。
经过上述多次卷积操作后，获取到许多不同尺寸的所述卷积特征图，为了解决尺寸不定的问题，可以通过设置锚点来得到固定尺寸的卷积特征图。
具体的，首先获取一个基础锚点，其中，所述基础锚点可以是16*16的锚点，然后根据所述基础锚点获得所述基础锚点在所述待检测图像上的坐标，再根据所述基础锚点的坐标，获取所述基础锚点在所述待检测图像中的中心点，接着根据所述基础锚点生成三个面积相近、尺寸不同的三个锚点，将所述尺寸不同的三个锚点，按照三种不同的倍数放大，以获得九个放大后的锚点，然后获取所述九个放大后锚点在所述卷积特征图上的坐标，并将所述坐标乘以16，获取所述放大后锚点在所述待检测图像上的坐标，最后将所述九个放大后的锚点依次移动到各个位置，从而获取所述卷积特征图的第一目标区域。
S123、在所述锚点为积极属性的锚点时，根据所述第一目标区域对所述锚点进行修正，获取第二目标区域。
其中，所述锚点分为积极属性的锚点和消极属性的锚点，可以根据soft max分类器将所述锚点分为所述积极属性和所述消极属性分类，具体的，所述soft max分类器指的是最小化在估计分类概率和真实分布之间的交叉熵，通过线性分类函数得知所述积极属性和所述消极属性的原始得分，然后根据所述soft max分类器的公式计算出所述锚点的类别，其中，所述soft max分类器的公式为：
其中，V指的是锚点总数，T指的是类别总数，Vi指的是V中的第i个元素，j的范围是类别1到类别T。
在获取到所述积极属性的锚点后，由于所述soft max分类器存在误差，所以使用Bbox(Bounding Box Regression)回归器对所述锚点进行修正，以获取所述第二目标区域。
具体的，通过Bbox回归器的回归结果调整每个锚点的位置，去掉超出所述待检测图像的锚点，然后对于剩下的锚点根据所述soft max分类器进行排序，并提取前N个所述锚点，接着将所述前N个锚点进行非极大值抑制处理，最后剩下的所述锚点区域就是所述第二目标区域。
S124、根据所述卷积特征图将所述第二目标区域划分网格，并将所述网格进行处理，获取第三目标区域。
由于对所述积极属性的锚点进行了所述Bbox回归器的处理，使其得到的所述第二目标区域的大小形状各不相同，具体的，将所述大小各不相同的所述第二目标区域划分为大小一致的网格，然后对每一个所述网格选取一个最大值进行处理，最后获取大小一致的第三目标区域。
S125、对所述第三目标区域进行分类，获取所述特征图像。
将所述获取到的第三目标区域进行soft max分类器和Bbox回归器的处理，最终得到所述特征图像。
S13、根据所述待检测图像获取第一特征向量。
根据所述激光雷达获取所述待检测图像对应的四维点云向量，其中，所述四维点云向量包括在三维空间中的坐标和所述激光雷达提供的反射强度，然后提取所述四维点云向量中点的位置坐标，并根据所述位置坐标建立所述第一特征向量，其中，所述第一特征向量为三维向量。
具体的，在获取到所述第一特征向量之后，将所述第一特征向量和所述特征图像进行归一化处理，以获取所述第一特征向量对应的图向量，其中，所述归一化处理的公式为：
将所述归一化处理后得到的所述图像量进行下采样，由于一帧点云图像包含的点超过十万个，导致运行速度下降，所以对所述图像量进行下采样，以加快模型的运行速度，其中，所述下采样的方法有很多种，例如，最远点采样，所述最远点采样能够保证对样本的均匀采样，以避免获取信息重复的点。
S14、投射所述第一特征向量至所述特征图像，以获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。
将所述第一向量投射至所述特征图像中，以获取第二特征向量，其中，所述第二特征向量包括所述待检测图像的位置、纹理、颜色和材质等。
本发明实施例提供了一种目标检测方法，通过上述方法实施例可以实现对所述待检测图像进行特征提取，根据所述待检测图像获取第一特征向量，最后投射所述第一特征向量至所述特征图像，从而获取第二特征向量，该方法能够实现对点云和图像进行深度的整合，提高了3D检测目标性能。
在一些实施例中，上述步骤S12和步骤S13是由预设的算法模型执行的，具体地，如图3所示，所述方法包括：
S21、获取待检测图像；
S22、获取预设的算法模型：
其中，所述预设的算法模型可以是语义分割算法，所述语义分割算法包括FasterR-CNN、编码器-解码器(encoder-decoder)结构(比如U-Net网络)、条件随机场(Conditional Random Field，CRF)方法、金字塔场景解析网络(Pyramid Scene ParsingNetwork，PSPNet)等。
S23、对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像。
S24、根据所述待检测图像获取第一特征向量。
S25、投射所述第一特征向量至所述特征图像，以获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。
上述步骤S21，S23，S24和S25具体可以参考上述方法实施例。
在本实施例中，所述预设的算法模型为Faster R-CNN，如图4所示，所述S22、获取预设的算法模型，包括：
S221、获取训练样本，所述训练样本包括批量待检测图像数据。
S222、根据预设标签对所述批量待检测图像数据进行标注，以获取标注后的训练样本，所述预设标签包括是目标区域的前景。
S223、将所述标注后的训练样本输入所述预设的算法模型中，以输出所述训练样本的特征图像。
S224、根据分类损失函数和绝对损失函数约束所述特征图像和所述预设标签的关系，以使所述预设的算法模型输出的所述特征图像与所述预设标签逼近。
S225、获取所述特征图像中最逼近于所述前景的特征图像。
S226、将所述最逼近于所述前景的特征图像对应的算法模型作为所述预设的算法模型。
上述步骤S221至步骤S226即是Faster R-CNN训练的具体过程。其中，所述训练样本可以从公共数据集中得到。训练Faster R-CNN的主要目的是确定一组最优参数，该最优参数可以使Faster R-CNN分类的结果与真实结果最接近。
所述分类损失函数是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数。分类损失函数越小，模型的鲁棒性就越好。常用的分类损失函数包括铰链损失(比如hinge loss)、互熵损失(比如cross entropy loss，softmax loss)等。在本实施例中，可以采用所述softmax损失函数约束所述分类结果与所述预设标签的关系，以使所述预设的算法模型输出的分类结果与预设标签逼近。
所述绝对损失函数时计算预测值与目标值之间的绝对值，其中，所述绝对损失函数的公式为：
L(Y,f(x))＝|Y-f(x)|。
在一些实施例中，可以根据Faster R-CNN算法对所述待检测的图像进行特征提取，其中，所述待检测图像的特征包括位置、颜色和纹理等。
下面通过举例说明上述目标检测的过程。
第一步，训练Faster R-CNN算法的过程，包括：
首先，根据所述锚点与真实目标的重叠度的值将所述锚点进行标注，其中，所述锚点分为为前景和背景，所述前景指的是所述锚点与所述真实目标的重叠度的值大于0.5，所述背景指的是所述锚点不与任何真实目标重叠或与真实目标重叠度的值小于0.1。将所述标注后的训练样本输入所述预设的算法模型Faster R-CNN中，该预设算法模型的参数是预设好的，通过模型中的卷积层学习图像本身的特征信息，比如颜色、纹理、材质等特征，根据该预设算法模型Faster R-CNN可以获得所述待测图像的特征图像，再根据分类损失函数和绝对损失函数约束所述特征图像和所述预设标签的关系，以使所述预设的算法模型输出的所述特征图像与所述预设标签逼近，获取所述特征图像中最逼近于所述前景的特征图像。重复上述过程，可以得到多组所述分类结果与所述预设标签逼近的结果。最后将输出的分类结果最逼近所述预设标签的分类的算法模型作为训练得到的Faster R-CNN算法模型。
第二步，获取待检测的图像。
第三步，将所述待检测的图像输入到上述训练好的Faster R-CNN算法模型中，以获取特征图像。
第四步，根据所述待检测图像获取第一特征向量。
第五步，根据所述特征图像和所述第一特征向量，获取第二特征向量。
请参阅图5，图5是本发明实施例提供的一种目标检测装置的结构示意图，如图5所示，所述目标检测装置1包括第一获取模块11、提取模块12、第二获取模块13和第三获取模块14。
所述第一获取模块11用于获取待检测图像；
所述提取模块12用于对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像；
所述第二获取模块13用于根据所述待检测图像获取第一特征向量；
所述第三获取模块14用于投射所述第一特征向量至所述特征图像，以获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。
在一些实施例中，所述提取模块12还包括第一获取单元121、第二获取单元122、修正单元123、处理单元124和第三获取单元125。
所述第一获取单元121用于对所述待检测图像进行卷积处理，获取不同层次的卷积特征图；
所述第二获取单元122用于在所述卷积特征图上设置锚点，获取所述卷积特征图的第一目标区域；
所述修正单元123用于在所述锚点为积极属性的锚点时，根据所述第一目标区域对所述锚点进行修正，获取第二目标区域；
所述处理单元124用于根据所述卷积特征图将所述第二目标区域划分网格，并将所述网格进行处理，获取第三目标区域；
所述第三获取单元125用于对所述第三目标区域进行分类，获取所述特征图像。
在一些实施例中，所述第二获取模块13包括第四获取单元131和提取单元132。
所述第四获取单元131用于基于激光雷达获取所述待检测图像对应的四维点云向量；
所述提取单元132用于提取所述四维点云向量中点的位置坐标，并根据所述位置坐标建立所述第一特征向量。
需要说明的是，上述目标检测装置可执行本发明实施例所提供的目标检测方法，具备执行方法相应的功能模块和有益效果。未在目标检测装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的目标检测方法。
请参阅图6，本发明实施例提供了一种电子设备30，所述电子设备30包括：至少一个处理器31，图6中以一个处理器31为例；所述至少一个处理器31通信连接的存储器32，图6中以通过总线连接为例。
其中，所述存储器存32储有可被所述至少一个处理器31执行的指令，所述指令被所述至少一个处理器31执行，以使所述至少一个处理器31能够执行上述目标检测方法。
存储器32作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的目标检测方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非易失性软件程序、指令以及模块，从而执行电子设备30的各种功能应用以及数据处理，即实现上述方法实施例中目标检测的方法。
存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，包括至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器。
所述一个或者多个模块存储在所述存储器32中，当被所述一个或者多个处理器31执行时，执行上述任意方法实施例中的目标检测方法，例如，执行以上描述的图1中的方法步骤。
所述电子设备30还连接其他装置用于更好的执行本发明实施例所提供的方法，如可以电性连接显示屏或其他显示器，可以远程通信连接目标用户的通信设备等，在此不一一列举。
上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
本申请实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤，实现图5中的各模块的功能。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种目标检测方法，其特征在于，所述方法包括：
获取待检测图像；
对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像；
根据所述待检测图像获取第一特征向量；
投射所述第一特征向量至所述特征图像，以获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像，包括：
对所述待检测图像进行卷积处理，获取不同层次的卷积特征图；
在所述卷积特征图上设置锚点，获取所述卷积特征图的第一目标区域；
在所述锚点为积极属性的锚点时，根据所述第一目标区域对所述锚点进行修正，获取第二目标区域；
根据所述卷积特征图将所述第二目标区域划分网格，并将所述网格进行处理，获取第三目标区域；
对所述第三目标区域进行分类，获取所述特征图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像获取第一特征向量，包括：
基于激光雷达获取所述待检测图像对应的四维点云向量；
提取所述四维点云向量中点的位置坐标，并根据所述位置坐标建立所述第一特征向量。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像和所述根据所述待检测图像获取第一特征向量和所述投射所述第一特征向量至所述特征图像的步骤由预设的算法模型执行；
所述方法还包括：
获取训练样本，所述训练样本包括批量待检测图像数据；
根据预设标签对所述批量待检测图像数据进行标注，以获取标注后的训练样本，所述预设标签包括是目标区域的前景；
将所述标注后的训练样本输入所述预设的算法模型中，以输出所述训练样本的特征图像；
根据分类损失函数和绝对损失函数约束所述特征图像和所述预设标签的关系，以使所述预设的算法模型输出的所述特征图像与所述预设标签逼近；
获取所述特征图像中最逼近于所述前景的特征图像；
将所述最逼近于所述前景的特征图像对应的算法模型作为所述预设的算法模型。
5.根据权利要求1所述的方法，其特征在于，在执行所述根据所述待检测图像获取第一特征向量的步骤之后，所述方法还包括：
将所述第一特征向量与所述特征图像进行归一化处理，以获取所述第一特征向量对应的图向量；
对所述图向量进行下采样。
6.一种目标检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取待检测图像；
提取模块，用于对所述待检测图像进行特征提取，以获取所述待检测图像的特征图像；
第二获取模块，用于根据所述待检测图像获取第一特征向量；
第三获取模块，用于投射所述第一特征向量至所述特征图像，以获取第二特征向量，所述第二特征向量包括所述待检测图像的目标特征信息。
7.根据权利要求6所述的装置，其特征在于，所述提取模块包括：
第一获取单元，用于对所述待检测图像进行卷积处理，获取不同层次的卷积特征图；
第二获取单元，用于在所述卷积特征图上设置锚点，获取所述卷积特征图的第一目标区域；
修正单元，用于在所述锚点为积极属性的锚点时，根据所述第一目标区域对所述锚点进行修正，获取第二目标区域；
处理单元，用于根据所述卷积特征图将所述第二目标区域划分网格，并将所述网格进行处理，获取第三目标区域；
第三获取单元，用于对所述第三目标区域进行分类，获取所述特征图像。
8.根据权利要求6所述的装置，其特征在于，所述第二获取模块包括：
第四获取单元，用于基于激光雷达获取所述待检测图像对应的四维点云向量；
提取单元，用于提取所述四维点云向量中点的位置坐标，并根据所述位置坐标建立所述第一特征向量。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5任一项所述的方法。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111182264.XA CN114049613A (zh) | 2021-10-11 | 2021-10-11 | 一种目标检测方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111182264.XA CN114049613A (zh) | 2021-10-11 | 2021-10-11 | 一种目标检测方法、装置、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114049613A true CN114049613A (zh) | 2022-02-15 |
Family
ID=80205268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111182264.XA Pending CN114049613A (zh) | 2021-10-11 | 2021-10-11 | 一种目标检测方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049613A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765894A (zh) * | 2019-09-30 | 2020-02-07 | 杭州飞步科技有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| US20200082207A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Object detection method and apparatus for object detection |
| US20200175315A1 (en) * | 2018-11-30 | 2020-06-04 | Qualcomm Incorporated | Early fusion of camera and radar frames |
| CN112149550A (zh) * | 2020-09-21 | 2020-12-29 | 华南理工大学 | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 |
| KR20210022016A (ko) * | 2019-08-02 | 2021-03-02 | 네이버랩스 주식회사 | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 |
| CN113052109A (zh) * | 2021-04-01 | 2021-06-29 | 西安建筑科技大学 | 一种3d目标检测系统及其3d目标检测方法 |
-
2021
- 2021-10-11 CN CN202111182264.XA patent/CN114049613A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200082207A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Object detection method and apparatus for object detection |
| US20200175315A1 (en) * | 2018-11-30 | 2020-06-04 | Qualcomm Incorporated | Early fusion of camera and radar frames |
| KR20210022016A (ko) * | 2019-08-02 | 2021-03-02 | 네이버랩스 주식회사 | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 |
| CN110765894A (zh) * | 2019-09-30 | 2020-02-07 | 杭州飞步科技有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| CN112149550A (zh) * | 2020-09-21 | 2020-12-29 | 华南理工大学 | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 |
| CN113052109A (zh) * | 2021-04-01 | 2021-06-29 | 西安建筑科技大学 | 一种3d目标检测系统及其3d目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡远志;刘俊生;何佳;肖航;宋佳;: "基于激光雷达点云与图像融合的车辆目标检测方法", 汽车安全与节能学报, no. 04, 15 December 2019 (2019-12-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
| Shen et al. | Detection of stored-grain insects using deep learning | |
| CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN113128558B (zh) | 基于浅层空间特征融合与自适应通道筛选的目标检测方法 | |
| CN112132156A (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| CN111640125A (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
| CN111401293B (zh) | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 | |
| CN110298281B (zh) | 视频结构化方法、装置、电子设备及存储介质 | |
| CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
| CN111539957A (zh) | 一种用于目标检测的图像样本生成方法、系统及检测方法 | |
| CN114495089B (zh) | 基于多尺度异源特征自适应融合的三维目标检测方法 | |
| CN113887649B (zh) | 一种基于深层特征和浅层特征融合的目标检测方法 | |
| CN110245747A (zh) | 基于全卷积神经网络的图像处理方法及装置 | |
| CN115512238A (zh) | 病害区域的确定方法、装置、存储介质及电子装置 | |
| CN113627478A (zh) | 一种目标检测方法、目标检测装置及机器人 | |
| CN111914596A (zh) | 车道线检测方法、装置、系统及存储介质 | |
| CN112132753B (zh) | 多尺度结构引导图像的红外图像超分辨率方法及系统 | |
| CN112013820B (zh) | 一种面向无人机机载平台部署的实时目标检测方法及装置 | |
| CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
| CN114049613A (zh) | 一种目标检测方法、装置、电子设备和可读存储介质 | |
| CN114743045B (zh) | 一种基于双分支区域建议网络的小样本目标检测方法 | |
| CN115049827B (zh) | 目标物体检测分割方法、装置、设备及存储介质 | |
| CN115116052A (zh) | 一种果园荔枝识别方法、装置、设备及存储介质 | |
| CN116912484A (zh) | 图像语义分割方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |