CN117611592A - 一种异物检测方法、装置、电子设备以及存储介质 - Google Patents
一种异物检测方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN117611592A CN117611592A CN202410098407.6A CN202410098407A CN117611592A CN 117611592 A CN117611592 A CN 117611592A CN 202410098407 A CN202410098407 A CN 202410098407A CN 117611592 A CN117611592 A CN 117611592A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- feature vector
- detected
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 164
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 184
- 230000003287 optical effect Effects 0.000 claims description 47
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000009545 invasion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000011284 combination treatment Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明公开了一种异物检测方法、装置、电子设备以及存储介质，方法包括：获取目标空间区域的待检测图像以及点云数据；将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果。本发明充分利用点云数据所包含的速度、距离以及空间位置等信息，从而获取置信度高且包含语义信息的预选框，用于后续的异物检测，提升了异物检测的准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种异物检测方法、装置、电子设备以及存储介质。
背景技术
目标检测的任务是找出图像中所有感兴趣的目标、确定它们的位置和大小，是机器视觉领域的核心问题之一。异物检测是目标检测的一种应用，比如工业生产中，对工业品的异物检测；自动驾驶过程中对于车辆周围环境的异物检测等等。目前，异物检测涉及到诸多难点，包括目标类型形状、尺寸、移动速度、种类多变等问题，另外，异物检测是很难覆盖全天侯场景，因为背景会随着时间和环境的变化呈现无规律性，入侵物体和背景可以有无数种可能融合，很难穷举。
目前，业界更多采用的结合昂贵的激光雷达来处理，使用激光雷达生成稠密的点云图，然后再做目标检测判断，在实际的部署过程中增加了诸多成本。而采用诸如雷达和摄像头结合方法进行判断的，更多的只在浅层特征上做事件判断，输出基于点云数据的预测结果以及基于图像的预测结果，基于各自的输出结果实现对于异物入侵的综合判断，并以帧差作为前置判断条件，然后在结果层上进行异物检测的合并处理。由此可知，现有技术并没有充分利用点云数据，在异物检测性能上还有待提高。
发明内容
本发明提供了一种异物检测方法、装置、电子设备以及存储介质，旨在有效解决上述技术问题。
根据本发明的第一方面，本发明提供一种异物检测方法，所述方法包括：
获取目标空间区域的待检测图像以及点云数据；
将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；
对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；
基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果；
其中，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果得步骤，包括：
基于所述预选框，对所述待检测图像进行异物检测，和/或对目标区域进行异物检测，获取包括目标位置信息的目标特征向量，所述目标区域根据所述待检测图像的光流信息确定；
将所述目标特征向量与预设的特征模版库中背景模版所对应的背景特征向量进行匹配，并在匹配不成功的情况下，将所述目标特征向量与预设的特征模版库中异物模版的异物特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
进一步地，在所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤之前，方法还包括：
根据所述待检测图像的光流信息从所述待检测图像中确定目标区域；
所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
基于所述预选框，对所述目标区域进行异物检测，获取异物检测结果。
进一步地，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
基于所述预选框，对所述待检测图像进行异物检测，和/或对所述目标区域进行异物检测，获取包括目标位置信息的目标特征向量；
将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
进一步地，在所述将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型的步骤之后，方法还包括：
计算目标特征向量与所述特征模版库中的特征向量之间的距离；并在计算得到的距离满足预设距离阈值的情况下，将所述目标特征向量替换至所述特征模版库中，以更新所述特征模版库。
进一步地，所述将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据的步骤，包括：
将所述点云数据投影到所述待检测图像的二维平面上，获取初始投影后数据；
将所述初始投影后数据中的点云映射至所述待检测图像的各个目标上，并按照目标的形状对所述点云进行高斯化处理，将获取得到的高斯图作为最终的投影后数据；
所述对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像的步骤，包括：
利用预先训练好的区域候选网络分别对所述最终的投影后数据与所述待检测图像进行候选区域检测，对应获得包括第一预选框的点云数据以及包括第二预选框的图像；
对所述包括第一预选框的点云数据与所述包括第二预选框的图像进行融合，获取包括预选框的检测后图像。
进一步地，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
基于所述预选框，利用预先训练好的目标检测模型对所述待检测图像进行异物检测，获取异物检测结果；其中，所述预先训练好的目标检测模型基于YOLOX算法训练得到。
进一步地，所述根据所述待检测图像的光流信息从所述待检测图像中确定目标区域的步骤，包括：
利用稀疏光流算法对所述待检测图像进行全局视野的光流信息提取，并根据提取到的稀疏光流信息从所述待检测图像中确定初始目标区域；
利用稠密光流算法对所述初始目标区域进行光流信息提取，并根据提取到的稠密光流信息从所述初始目标区域中确定最终的目标区域。
进一步地，所述特征模板库包括异物特征向量；
所述计算目标特征向量与所述特征模版库中的特征向量之间的距离；并在计算得到的距离满足预设距离阈值的情况下，将所述目标特征向量替换至所述特征模版库中，以更新所述特征模版库的步骤，包括：
计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离，并在计算得到的欧式距离小于异物距离阈值的情况下，比较异物特征向量与第一中心特征之间的欧式距离和目标特征向量与第一中心特征之间的欧式距离之间的大小；
在目标特征向量与第一中心特征之间的欧式距离小于异物特征向量与第一中心特征之间的欧式距离的情况下，将所述目标特征向量作为新的异物特征向量，并根据所述新的异物特征向量更新所述第一中心特征以及替换所述特征模版库中的异物特征向量，以更新所述特征模版库。
进一步地，所述特征模板库还包括背景特征向量；
在所述计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离的步骤之前，方法还包括：
计算目标特征向量与每一类背景特征向量对应的第二中心特征之间的欧式距离；并在计算得到的欧式距离大于等于背景距离阈值的情况下，计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离；
在计算得到的欧式距离小于背景距离阈值的情况下，比较背景特征向量与第二中心特征之间的欧式距离和目标特征向量与第二中心特征之间的欧式距离之间的大小；
在目标特征向量与第二中心特征之间的欧式距离小于背景特征向量与第二中心特征之间的欧式距离的情况下，将所述目标特征向量作为新的背景特征向量，并根据所述新的背景特征向量更新所述第二中心特征以及替换所述特征模版库中的背景特征向量，以更新所述特征模版库。
进一步地，所述特征模板库通过预先训练好的分类器对模板图像进行特征提取与分类得到；其中，所述预先训练好的分类器基于模板图像以及对应的标签信息，并利用Softmax损失函数、中心损失函数以及三元组损失函数训练得到。
根据本发明的第二方面，本发明还提供了一种异物检测装置，所述装置包括：
数据获取模块，用于获取目标空间区域的待检测图像以及点云数据；
点云投影模块，用于将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；
数据融合模块，用于对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；
目标检测模块，用于基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果；
其中，所述目标检测模块具体用于基于所述预选框，对所述待检测图像进行异物检测，和/或对目标区域进行异物检测，获取包括目标位置信息的目标特征向量，所述目标区域根据所述待检测图像的光流信息确定；
将所述目标特征向量与预设的特征模版库中背景模版所对应的背景特征向量进行匹配，并在匹配不成功的情况下，将所述目标特征向量与预设的特征模版库中异物模版的异物特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
根据本发明的第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的任一异物检测方法的步骤。
根据本发明的第四方面，本发明还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一异物检测方法的步骤。
通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：根据投影后数据对所述待检测图像进行候选区域检测，从而获得置信度高的预选框，并基于这些预选框对待检测图像进行异物检测，从而获得异物检测结果。本发明的异物检测方法不是简单的对点云数据进行投射，而是充分利用点云数据所包含的速度、距离以及空间位置等信息，以在待检测图像上获取置信度高且包含语义信息的预选框，用于后续的异物检测，提升了异物检测的准确性。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1所示为本发明实施例所提供的异物检测方法的流程图之一；
图2所示为本发明实施例所提供的异物检测方法的流程图之二；
图3为本发明实施例所提供的异物检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
下面结合附图对本发明提供的一种异物检测方法、装置、电子设备以及存储介质进行介绍。
图1所示为本发明实施例所提供的异物检测方法的流程图之一，图2所示为本发明实施例所提供的异物检测方法的流程图之二，如图1以及图2所示，一种异物检测方法，包括如下步骤：
S101，获取目标空间区域的待检测图像以及点云数据。
在本步骤中，可以利用相机等图像获取装置获取待检测图像，并利用激光雷达、深度相机等点云数据获取装置获取三维点云数据，此处的待检测图像与对应的点云数据均为同一目标空间区域的数据，且，点云数据与待检测图像为同时同一角度下获取。
S102，将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据。
在本步骤中，先将所述点云数据投影到所述待检测图像的二维平面上，获取初始投影后数据。通过将点云数据投影至待检测图像的二维平面，实现点云数据与待检测图像的空间与时间上的对齐。
然后，将所述初始投影后数据中的点云映射至所述待检测图像的各个目标上，并按照目标的形状对所述点云进行高斯化处理，将获取得到的高斯图作为最终的投影后数据。
也即，以目标所对应的多个点云的中心为高斯中心，以最远点云的边界为高斯核尺寸生成高斯核，最后形成一个椭圆，从而获得高斯图。通过高斯处理实现了点云数据与待检测图像的语义对齐。
其中，高斯图生成过程中的参数—高斯核大小根据三维点云数据传递过来的尺寸来确定，具体地，在训练阶段，预先设置一定数量（具体可以根据需求设定，示意性地，可以设置为9、10等数值）的固定的锚高斯核（即尺寸固定的高斯核），通过分析数据样本，将所有目标的点云数据根据距离信息划分为n部分（示意性地，可以分为0-200m、200-400m、400-600m），然后在每一个部分中都采用1x1、1x1.25、1.25x1的长宽比设计高斯尺寸，通过样本分析不同的目标的点云数据和相对位置设计的三个不同的锚高斯来进行空间的IoU计算，根据计算得到的IoU值（IoU值越大，锚高斯核越接近，根据设定的IoU阈值筛选出接近的锚高斯核）挑选获得最接近的锚高斯核，用于实际使用。通过上述方式确定的高斯核，可以减少异常点引起的波动，同时能够拟合物体的实际大概形状，从而有助于图像的语义信息的提取。
S103，对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像。
在本步骤中，可以利用候选区域生成算法分别对所述最终的投影后数据与所述待检测图像进行候选区域检测，对应获得包括第一预选框的点云数据以及包括第二预选框的图像。
然后，对所述包括第一预选框的点云数据与所述包括第二预选框的图像进行融合，获取包括预选框的检测后图像。
其中，最终的投影后数据是经过空间、时间以及语义对齐后的点云数据，点云数据包含速度、距离以及空间位置等信息，鉴于点云数据非常稀疏，如果纯粹只以单个点来进行投射，这样信息容易被待检测图像的数据覆盖。因此为了充分利用点云数据所包含的速度、距离以及空间位置等信息，可以对最终的投影后数据进行候选区域检测，获取包括第一预选框的点云数据。同时，对待检测图像进行候选区域检测，获取包括第二预选框的图像，并根据第一预选框与第二预选框，以及最终的投影后数据与待检测图像之间的对应关系进行点云数据与图像的融合，从而获得包括预选框的检测后图像，此处的预选框为第一预选框与第二预选框融合后的最终的预选框，且检测后图像为带有点云信息的图像。通过上述方式获得一批置信度非常高的含有语义信息的预选框，通过这些置信度高的预选框来提升目标检测区域的准确性。
另外，此处的候选区域生成算法可以是滑动窗口、选择性搜索、RPN等等，对此不限定。
优选地，可以利用预先训练好的区域候选网络（即RPN）分别对所述待检测图像、最终的投影后数据进行候选区域检测，进而获取包括第一预选框的点云数据以及包括第二预选框的图像。然后，利用最大池化层对包括第一预选框的点云数据与包括第二预选框的图像进行数据融合，从而获取包括预选框的检测后图像。通过RPN网络进行候选区域检测能够提升预选框生成的速率以及准确性。另外，通过最大池化操作还可以将RPN网络输出的检测后图像进行尺寸调整，以适应后续目标检测网络的深层次特征融合。
S104，基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果。
在本步骤中，在前述检测到的高置信度的预选框的基础上，进一步通过目标检测算法对待检测图像进行异物检测，从而获取异物检测结果（包括异物检测框与异物类别）。此处的目标检测算法可以是R-CNN系列算法、SSD系列算法、YOLO系列算法等等，也可以选用针对点云数据与图像数据融合的目标检测算法CRF-Net、CenterFusion、FUTR3D、CRAFT、RCBEV等等，对此不做限定。
本发明实施例提供的异物检测方法，根据投影后数据对所述待检测图像进行候选区域检测，从而获得置信度高的预选框，并基于这些预选框对待检测图像进行异物检测，从而获得异物检测结果。本发明的异物检测方法不是简单的对点云数据进行投射，而是充分利用点云数据所包含的速度、距离以及空间位置等信息，以在待检测图像上获取置信度高且包含语义信息的预选框，用于后续的异物检测，提升了异物检测的准确性。
现有技术中，一般采用帧差法确定目标区域，即，使用背景图像和当前图像进行比对，经过滤波后，得到一个目前是否有目标变化的结论。然后基于此变化的区域，采用视觉算法进行检测，或者采用光流信息进行特征提取，来针对性的检测目标。然而上述帧差法存在如下缺陷：1.背景图像和当前图像的比对过于敏感，场景变化不大，但是天气或者日照或者摄像头抖动带来的判断误差非常大。2.细微的目标变化很难提取，容易漏检。3.背景图片相对来说比较固定，这样对于逐渐变化的场景没有适应能力。针对上述问题，本实施例利用光流信息提升检测效率以及准确率。
优选地，在所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤之前，方法还包括：
根据所述待检测图像的光流信息从所述待检测图像中确定目标区域，光流信息根据前后帧中目标的位移信息确定。
具体地，可以先利用稀疏光流算法对所述待检测图像进行全局视野的光流信息提取，并根据提取到的稀疏光流信息从所述待检测图像中确定初始目标区域。即，粗粒度的区域筛选。
然后再利用稠密光流算法对所述初始目标区域进行光流信息提取，并根据提取到的稠密光流信息从所述初始目标区域中确定最终的目标区域。即，细粒度的区域筛选。
在本实施例中，稀疏光流算法可以是Lucas-Kanade（简称LK算法）光流算法、LK金字塔算法、Kanade-Lucas-Tomasi算法（简称KLT算法）等等，稠密光流算法可以是Farneback算法、DeepFlow算法等等，对此不做限定。
需要说明的是，光流信息根据待检测图像的前后帧中目标的微小移动确定，光流信息在场景没有巨大变化的环境中，相对来说比较稳定，它以相邻两帧之间的亮度恒定值、相邻帧间的微小移动以及空间一致性来判断目标的相对移动。但是利用帧差法来进行异物检测存在一定缺陷，即帧差需要一定的阈值条件，这个会带来更大的不确定性，同时帧差无法直观检测目标移动的方向，因此，本实施例将光流信息作为辅助信息确定目标区域，进而对目标区域进行异物检测，从而提升异物检测的效率。
在确定目标区域之后，基于所述预选框，对所述目标区域进行异物检测，获取异物检测结果。
本发明实施例提供的异物检测方法，先通过稀疏光流算法获取待检测图像的全局光流信息，根据全局光流信息确定可能出现异物入侵的初始目标区域。进而利用稠密光流算法获取初始目标区域的光流信息，根据稠密光流信息确定置信度更高的区域为最终的目标区域，通过稀疏光流信息以及稠密光流信息的辅助，缩小了检测区域，提升了目标区域确定的稳定性以及敏感性，也有利用异物检测过程中的特征提取，增强了针对小目标的异物检测性能，提升了异物检测的效率以及异物入侵的判断准确率。
进一步地，由于目标检测的深度学习算法只针对特有的异物具有检测功能，对于未知的目标无法包含其他类别，所以无法给出报警以及报警等级，因此，本实施例中通过特征模版库匹配的方式确定异物类型。
具体地，基于所述预选框，利用目标检测算法对所述待检测图像进行异物检测，和/或对所述目标区域以及所述检测后图像进行异物检测，以获取包括目标位置信息的目标特征向量。也即先利用训练好的目标检测模型进行异物检测，需要注意的是，此处并不输出异物检测结果，而是输出目标特征向量，该目标特征向量包括目标位置信息。
另外，在实际应用中，可以利用训练好的目标检测模型对整张待检测图像以及所述检测后图像进行异物检测。也可以为了提升检测速率只对整张待检测图像中的目标区域以及所述检测后图像进行异物检测。更或者为了避免光流信息没有起到辅助作用的情况，可以一起对整张待检测图像以及所述检测后图像检测、目标区域以及所述检测后图像分别进行异物检测，从而获得对应的两组目标特征向量，这两组目标特征向量均用于后续的向量匹配。
然后，将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
具体地，特征模版库包括了背景模版以及异物模版。其中，背景模版是指空白的带有噪声的背景图，举例来说，在自动驾驶领域，若对车辆周围环境进行异物检测时，飞向车辆的鸟、气球等算作异物，而降落的雨滴等属于背景，但是在目标检测过程可能会将雨滴误判为异物，因此，需要提供背景模版来提升特征匹配的抗干扰能力。而异物模版是指包括不同异物类型的图像，通过异物模版确定目标类型。
需要说明的是，为了提升目标特征向量的匹配速率，背景模版以及异物模版通过特征提取的方式以特征向量的形式存储在特征模版库中。在应用过程中，可以先将目标特征向量与背景模版对应的背景特征向量进行匹配，若在背景模版中匹配成功，则确定目标特征向量为背景，不是异物入侵。若目标特征向量与背景特征向量都不相关，进而进行后续的异物特征向量匹配。具体通过计算目标特征向量与背景特征向量、异物特征向量之间的距离确定是否相关，比如计算向量之间的欧式距离、余弦距离、马氏距离、汉明距离、曼哈顿距离等等，根据计算得到的距离判断相似性，进而确定目标特征向量类别。
以欧式距离为例，若目标特征向量与背景特征向量之间的欧式距离越小，说明目标特征向量属于背景特征向量，越大则不属于背景特征向量，并在超过预设的背景欧式距离阈值的情况下，进行目标特征向量与异物特征向量之间的欧式距离计算，在目标特征向量与异物特征向量之间的欧式距离小于预设的异物距离阈值的情况下，确定目标特征向量所属的类别。以余弦距离为例，若计算得到的目标特征向量与背景特征向量之间的余弦距离越大，则越相关，并在大于预设的背景余弦距离阈值的情况下，计算目标特征向量与异物特征向量之间的余弦距离，以确定目标特征向量所属的类别。
由于异物入侵的类别具有无限且数据集难累积的特点，因此基于深度学习训练得到的目标检测模型往往无法囊括全部目标种类，每增加一类异物检测的时候，需要重复的积累大量的数据，带来不可避免的工作量。因此，为了能够不断适应种类无限扩大的情况，本实施例通过不断更新特征模版库来提升异物识别的准确性。
通过计算目标特征向量与所述特征模版库中的特征向量之间的距离；并在计算得到的距离满足预设距离阈值的情况下，将所述目标特征向量替换至所述特征模版库中，以更新所述特征模版库。
具体地，在所述特征模板库包括异物特征向量时，计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离，并在计算得到的欧式距离小于异物距离阈值的情况下，比较异物特征向量与第一中心特征之间的欧式距离和目标特征向量与第一中心特征之间的欧式距离之间的大小。
在目标特征向量与第一中心特征之间的欧式距离小于异物特征向量与第一中心特征之间的欧式距离的情况下，将所述目标特征向量作为新的异物特征向量，并根据所述新的异物特征向量更新所述第一中心特征以及替换所述特征模版库中的异物特征向量，以更新所述特征模版库。
也就是说，目标特征向量与异物特征向量之间的距离越小，则目标特征向量与异物特征向量越相似，从而根据异物特征向量所属的类别确定目标特征向量的类别。并在确定类别之后，比较该类别下所有异物特征向量与该类别的中心特征（即第一中心特征）之间的欧式距离与目标特征向量和第一中心特征之间的欧式距离，若目标特征向量和第一中心特征之间的欧式距离比某一异物特征向量与第一中心特征之间的欧式距离小，则将目标特征向量作为新的异物特征向量将已有的异物特征向量中欧式距离最大的异物特征向量替换掉，仅并根据新的异物特征向量进行第一中心特征的更新。通过上述特征模版库的更新，保证特征模板库不会无限扩大，以减低特征匹配的难度，提升匹配效率，保证特征模版库能够适应不同类型的异物检测的同时，还能保证特征模版库的质量。
在上述实施例的基础上，如果所述特征模板库还包括背景特征向量，则先计算目标特征向量与每一类背景特征向量对应的第二中心特征之间的欧式距离；并在计算得到的欧式距离大于等于背景距离阈值的情况下，计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离。
在计算得到的欧式距离小于背景距离阈值的情况下，比较背景特征向量与第二中心特征之间的欧式距离和目标特征向量与第二中心特征之间的欧式距离之间的大小。
在目标特征向量与第二中心特征之间的欧式距离小于背景特征向量与第二中心特征之间的欧式距离的情况下，将所述目标特征向量作为新的背景特征向量，并根据所述新的背景特征向量更新所述第二中心特征以及替换所述特征模版库中的背景特征向量，以更新所述特征模版库。
此处的背景特征向量的更新与上述异物特征向量的更新相似，在此不再赘述。
需要说明的是，本实施例中，计算的是特征向量之间的欧式距离，在本发明的其他实施例中，也可以通过计算特征向量之间的余弦距离、马氏距离、汉明距离等其他方式确定向量之间的相似性，进而根据相似性所属的类别以及确定所需要替换掉的模版特征向量，以实现特征模版库的更新。
更进一步地，所述特征模板库通过预先训练好的分类器对模板图像进行特征提取与分类得到；其中，所述预先训练好的分类器基于模板图像以及对应的标签信息，并利用Softmax损失函数、中心损失函数以及三元组损失函数训练得到。
具体地，先获取初始背景模版图以及初始异物模版图，利用分类器进行特征提取与分类，以获得初始背景特征向量以及异物特征向量，并通过计算向量之间的距离不断对初始背景特征向量以及异物特征向量进行更新，以获得后续实际使用的特征模版库。
此处的分类器可以是基于多标签分类算法ML-KNN、ML-DT、Rank-SVM、CML、ReID等训练得到。
优选地，本实施例中采样基于ReID训练得到的分类器进行特征提取与分类，另外，对原本的网络结构中仅基于softmax损失进行分类器的训练更新进行了改进，具体是加入了center-loss（中心损失）与triplet-loss（三元组损失）其中，center-loss是为每一个类别设置了一个中心距离，即不仅优化类间间隔，同时也让每个类别更加靠近类别中心点，实现球面上的均匀分布，这样可以有效的抑制了误报的问题。triplet-loss引入了锚点a、正例p和负例n，通过挑选正负样本，使得样本之间有更大的区分度。通过在Softmax的基础上，增加中心损失与三元组损失，以提升分类器的分类性能。
需要说明的是，由于softmax的分类依据是角度信息，是以原点为中心放射状，是增大类间距的一个分布。但是没有考虑类内间距也可能过大的问题，直白来说就是异物检测可以识别到一只猫或者一只狗的入侵检测，因为和空白的背景模板差距很大，但是对于阳光和雨雾的变化，会带来误检，本质上就是类内的间距也过大，通过增加中心损失与三元组损失能够克服上述问题，使得分类器更适用于异物检测这一场景中。
在上述实施例的基础上，为了提升异物检测过程对小目标的检测效果，本实施例中，利用基于YOLOX的算法进行异物检测。
具体地，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
基于所述预选框，利用预先训练好的目标检测模型对所述待检测图像进行异物检测，获取异物检测结果。其中，所述预先训练好的目标检测模型基于YOLOX算法训练得到。
相较于常用的雷达与相机融合的目标检测算法CRFNet而言，本实施例将CRFNet中原本的主干网络VGG替换为YOLOX中包括改进的SPP和ResX的Darknet53，Neck层采用的是FPN网络结构，YOLOX相较于CRFNet的网络，极大增加了网络的表现力。
另外，对YOLOX网络最后不直接输出目标框去做分类和位置回归，而是直接将特征层进行压缩到一个维度后，通过1x1卷积形成固定长度的目标特征向量，通过与特征模版库进行比对，确定目标特征向量的类别。
除此之外，本实施例中的目标检测模型在训练过程对训练用点云数据以及图像还进行了数据增强，具体增强手段包括随机裁剪、随机缩放、增加马赛克等等。
另外，本发明为了提升目标检测的抗干扰能力，在训练阶段，还会增加伪点云数据，与采集到的点云数据和训练图像一起参与训练，从而使得目标检测能够有效抑制静态目标的物体所产生的不同程度虚景的问题。
基于上述任一实施例，本发明另一实施例还提供了一种异物检测装置，图3为本发明所提供的异物检测装置的结构示意图，如图3所示，所述异物检测装置包括：
数据获取模块501，用于获取目标空间区域的待检测图像以及点云数据。
点云投影模块502，用于将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据。
数据融合模块503，用于对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像。
目标检测模块504，用于基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果。
异物检测装置与上述异物检测方法对应，在此不在赘述。
基于上述任一实施例，本发明另一实施例还提供了一种电子设备，该电子设备可以包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，处理器可以调用存储器中的逻辑指令，以执行如下方法：获取目标空间区域的待检测图像以及点云数据；将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种存储介质，其上存储有多条指令，指令适于由处理器加载以执行如上述各实施例提供的异物检测方法，例如包括：获取目标空间区域的待检测图像以及点云数据；将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。
Claims (12)
1.一种异物检测方法，其特征在于，包括：
获取目标空间区域的待检测图像以及点云数据；
将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；
对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；
基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果；
其中，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果得步骤，包括：
基于所述预选框，对所述待检测图像进行异物检测，和/或对目标区域进行异物检测，获取包括目标位置信息的目标特征向量，所述目标区域根据所述待检测图像的光流信息确定；
将所述目标特征向量与预设的特征模版库中背景模版所对应的背景特征向量进行匹配，并在匹配不成功的情况下，将所述目标特征向量与预设的特征模版库中异物模版的异物特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
2.如权利要求1所述的异物检测方法，其特征在于，在所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤之前，方法还包括：
根据所述待检测图像的光流信息从所述待检测图像中确定目标区域；
所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
基于所述预选框，对所述目标区域进行异物检测，获取异物检测结果。
3.如权利要求1所述的异物检测方法，其特征在于，在所述将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型的步骤之后，方法还包括：
计算目标特征向量与所述特征模版库中的特征向量之间的距离；并在计算得到的距离满足预设距离阈值的情况下，将所述目标特征向量替换至所述特征模版库中，以更新所述特征模版库。
4.如权利要求1所述的异物检测方法，其特征在于，所述将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据的步骤，包括：
将所述点云数据投影到所述待检测图像的二维平面上，获取初始投影后数据；
将所述初始投影后数据中的点云映射至所述待检测图像的各个目标上，并按照目标的形状对所述点云进行高斯化处理，将获取得到的高斯图作为最终的投影后数据；
所述对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像的步骤，包括：
利用预先训练好的区域候选网络分别对所述最终的投影后数据与所述待检测图像进行候选区域检测，对应获得包括第一预选框的点云数据以及包括第二预选框的图像；
对所述包括第一预选框的点云数据与所述包括第二预选框的图像进行融合，获取包括预选框的检测后图像。
5.如权利要求1所述的异物检测方法，其特征在于，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
基于所述预选框，利用预先训练好的目标检测模型对所述待检测图像进行异物检测，获取异物检测结果；其中，所述预先训练好的目标检测模型基于YOLOX算法训练得到。
6.如权利要求2所述的异物检测方法，其特征在于，所述根据所述待检测图像的光流信息从所述待检测图像中确定目标区域的步骤，包括：
利用稀疏光流算法对所述待检测图像进行全局视野的光流信息提取，并根据提取到的稀疏光流信息从所述待检测图像中确定初始目标区域；
利用稠密光流算法对所述初始目标区域进行光流信息提取，并根据提取到的稠密光流信息从所述初始目标区域中确定最终的目标区域。
7.如权利要求3所述的异物检测方法，其特征在于，所述特征模板库包括异物特征向量；
所述计算目标特征向量与所述特征模版库中的特征向量之间的距离；并在计算得到的距离满足预设距离阈值的情况下，将所述目标特征向量替换至所述特征模版库中，以更新所述特征模版库的步骤，包括：
计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离，并在计算得到的欧式距离小于异物距离阈值的情况下，比较异物特征向量与第一中心特征之间的欧式距离和目标特征向量与第一中心特征之间的欧式距离之间的大小；
在目标特征向量与第一中心特征之间的欧式距离小于异物特征向量与第一中心特征之间的欧式距离的情况下，将所述目标特征向量作为新的异物特征向量，并根据所述新的异物特征向量更新所述第一中心特征以及替换所述特征模版库中的异物特征向量，以更新所述特征模版库。
8.如权利要求7所述的异物检测方法，其特征在于，所述特征模板库还包括背景特征向量；
在所述计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离的步骤之前，方法还包括：
计算目标特征向量与每一类背景特征向量对应的第二中心特征之间的欧式距离；并在计算得到的欧式距离大于等于背景距离阈值的情况下，计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离；
在计算得到的欧式距离小于背景距离阈值的情况下，比较背景特征向量与第二中心特征之间的欧式距离和目标特征向量与第二中心特征之间的欧式距离之间的大小；
在目标特征向量与第二中心特征之间的欧式距离小于背景特征向量与第二中心特征之间的欧式距离的情况下，将所述目标特征向量作为新的背景特征向量，并根据所述新的背景特征向量更新所述第二中心特征以及替换所述特征模版库中的背景特征向量，以更新所述特征模版库。
9.如权利要求3所述的异物检测方法，其特征在于，所述特征模板库通过预先训练好的分类器对模板图像进行特征提取与分类得到；其中，所述预先训练好的分类器基于模板图像以及对应的标签信息，并利用Softmax损失函数、中心损失函数以及三元组损失函数训练得到。
10.一种异物检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标空间区域的待检测图像以及点云数据；
点云投影模块，用于将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；
数据融合模块，用于对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；
目标检测模块，用于基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果；
其中，所述目标检测模块具体用于基于所述预选框，对所述待检测图像进行异物检测，和/或对目标区域进行异物检测，获取包括目标位置信息的目标特征向量，所述目标区域根据所述待检测图像的光流信息确定；
将所述目标特征向量与预设的特征模版库中背景模版所对应的背景特征向量进行匹配，并在匹配不成功的情况下，将所述目标特征向量与预设的特征模版库中异物模版的异物特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9中任一项所述的异物检测方法的步骤。
12.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1至9中任一项所述的异物检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410098407.6A CN117611592B (zh) | 2024-01-24 | 2024-01-24 | 一种异物检测方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410098407.6A CN117611592B (zh) | 2024-01-24 | 2024-01-24 | 一种异物检测方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117611592A true CN117611592A (zh) | 2024-02-27 |
| CN117611592B CN117611592B (zh) | 2024-04-05 |
Family
ID=89953921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410098407.6A Active CN117611592B (zh) | 2024-01-24 | 2024-01-24 | 一种异物检测方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117611592B (zh) |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007274653A (ja) * | 2006-03-31 | 2007-10-18 | Saxa Inc | 映像監視装置及び方法 |
| JP2008209211A (ja) * | 2007-02-26 | 2008-09-11 | Hitachi High-Tech Control Systems Corp | 異物検査装置および異物検査方法 |
| CN110175576A (zh) * | 2019-05-29 | 2019-08-27 | 电子科技大学 | 一种结合激光点云数据的行驶车辆视觉检测方法 |
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| US20200082207A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Object detection method and apparatus for object detection |
| CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
| CN111709982A (zh) * | 2020-05-22 | 2020-09-25 | 浙江四点灵机器人股份有限公司 | 一种动态环境三维重建方法 |
| WO2020243962A1 (zh) * | 2019-06-06 | 2020-12-10 | 深圳市大疆创新科技有限公司 | 物体检测方法、电子设备和可移动平台 |
| CN112233097A (zh) * | 2020-10-19 | 2021-01-15 | 中国科学技术大学 | 基于空时域多维融合的道路场景他车检测系统和方法 |
| KR20210026412A (ko) * | 2019-08-30 | 2021-03-10 | 순천향대학교 산학협력단 | Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법 |
| CN112560972A (zh) * | 2020-12-21 | 2021-03-26 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
| CN112884771A (zh) * | 2021-02-02 | 2021-06-01 | 贵州电网有限责任公司 | 一种基于激光lidar点云的电力线异物搭挂自动检测方法 |
| US20210237594A1 (en) * | 2020-02-03 | 2021-08-05 | GM Global Technology Operations LLC | Intelligent vehicles with advanced vehicle camera systems for underbody hazard and foreign object detection |
| CN113470067A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、存储介质和处理器 |
| US20210326624A1 (en) * | 2019-07-03 | 2021-10-21 | Institute Of Automation, Chinese Academy Of Sciences | Method, system and device for difference automatic calibration in cross modal target detection |
| CN113761999A (zh) * | 2020-09-07 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
| US20220114759A1 (en) * | 2020-12-25 | 2022-04-14 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Target detection method, electronic device and medium |
| CN114399733A (zh) * | 2022-01-14 | 2022-04-26 | 京东方科技集团股份有限公司 | 图像检测方法、装置、设备和存储介质 |
| CN114724025A (zh) * | 2022-03-18 | 2022-07-08 | 上海商汤智能科技有限公司 | 异物检测方法、装置、电子设备及存储介质 |
| CN115171034A (zh) * | 2022-06-06 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 道路异物检测方法、场景中异物检测方法及装置 |
| US20230072289A1 (en) * | 2020-05-13 | 2023-03-09 | Huawei Technologies Co., Ltd. | Target detection method and apparatus |
| CN116486287A (zh) * | 2023-04-04 | 2023-07-25 | 吉林大学 | 基于环境自适应机器人视觉系统的目标检测方法及系统 |
| CN116630947A (zh) * | 2023-03-08 | 2023-08-22 | 京东方科技集团股份有限公司 | 异物检测方法及装置、非瞬态计算机可读存储介质 |
-
2024
- 2024-01-24 CN CN202410098407.6A patent/CN117611592B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007274653A (ja) * | 2006-03-31 | 2007-10-18 | Saxa Inc | 映像監視装置及び方法 |
| JP2008209211A (ja) * | 2007-02-26 | 2008-09-11 | Hitachi High-Tech Control Systems Corp | 異物検査装置および異物検査方法 |
| US20200082207A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Object detection method and apparatus for object detection |
| CN110175576A (zh) * | 2019-05-29 | 2019-08-27 | 电子科技大学 | 一种结合激光点云数据的行驶车辆视觉检测方法 |
| WO2020243962A1 (zh) * | 2019-06-06 | 2020-12-10 | 深圳市大疆创新科技有限公司 | 物体检测方法、电子设备和可移动平台 |
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| US20210326624A1 (en) * | 2019-07-03 | 2021-10-21 | Institute Of Automation, Chinese Academy Of Sciences | Method, system and device for difference automatic calibration in cross modal target detection |
| KR20210026412A (ko) * | 2019-08-30 | 2021-03-10 | 순천향대학교 산학협력단 | Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법 |
| US20210237594A1 (en) * | 2020-02-03 | 2021-08-05 | GM Global Technology Operations LLC | Intelligent vehicles with advanced vehicle camera systems for underbody hazard and foreign object detection |
| CN113470067A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、存储介质和处理器 |
| CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
| US20230072289A1 (en) * | 2020-05-13 | 2023-03-09 | Huawei Technologies Co., Ltd. | Target detection method and apparatus |
| CN111709982A (zh) * | 2020-05-22 | 2020-09-25 | 浙江四点灵机器人股份有限公司 | 一种动态环境三维重建方法 |
| CN113761999A (zh) * | 2020-09-07 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
| CN112233097A (zh) * | 2020-10-19 | 2021-01-15 | 中国科学技术大学 | 基于空时域多维融合的道路场景他车检测系统和方法 |
| CN112560972A (zh) * | 2020-12-21 | 2021-03-26 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
| US20220198806A1 (en) * | 2020-12-21 | 2022-06-23 | Beihang University | Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature |
| US20220114759A1 (en) * | 2020-12-25 | 2022-04-14 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Target detection method, electronic device and medium |
| CN112884771A (zh) * | 2021-02-02 | 2021-06-01 | 贵州电网有限责任公司 | 一种基于激光lidar点云的电力线异物搭挂自动检测方法 |
| CN114399733A (zh) * | 2022-01-14 | 2022-04-26 | 京东方科技集团股份有限公司 | 图像检测方法、装置、设备和存储介质 |
| CN114724025A (zh) * | 2022-03-18 | 2022-07-08 | 上海商汤智能科技有限公司 | 异物检测方法、装置、电子设备及存储介质 |
| CN115171034A (zh) * | 2022-06-06 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 道路异物检测方法、场景中异物检测方法及装置 |
| CN116630947A (zh) * | 2023-03-08 | 2023-08-22 | 京东方科技集团股份有限公司 | 异物检测方法及装置、非瞬态计算机可读存储介质 |
| CN116486287A (zh) * | 2023-04-04 | 2023-07-25 | 吉林大学 | 基于环境自适应机器人视觉系统的目标检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张袅娜;鲍旋旋;李昊林;: "基于激光雷达和摄像机融合的智能车障碍物识别方法", 科学技术与工程, no. 04, 8 February 2020 (2020-02-08), pages 178 - 183 * |
| 陈毅 等: "基于激光雷达和摄像头信息融合的车辆检测算法", 《机械与电子》, vol. 38, no. 1, 31 January 2020 (2020-01-31), pages 52 - 56 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117611592B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108304873B (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
| CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| Kulchandani et al. | Moving object detection: Review of recent research trends | |
| CN113156421A (zh) | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 | |
| CN103093198B (zh) | 一种人群密度监测方法及装置 | |
| JP2006209755A (ja) | シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法 | |
| CN114677554A (zh) | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 | |
| CN110674705A (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
| CN111046856A (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
| CN113168520A (zh) | 跟踪场景中的对象的方法 | |
| CN112683228A (zh) | 单目相机测距方法及装置 | |
| Qing et al. | A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation | |
| CN115327572A (zh) | 一种车辆前方障碍物检测方法 | |
| KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
| Huang et al. | Random sampling-based background subtraction with adaptive multi-cue fusion in RGBD videos | |
| Joo et al. | A temporal variance-based moving target detector | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN117611592B (zh) | 一种异物检测方法、装置、电子设备以及存储介质 | |
| CN116311000A (zh) | 烟火检测方法、检测装置、设备及存储介质 | |
| CN108256444B (zh) | 一种用于车载视觉系统的目标检测方法 | |
| Wang | Moving Vehicle Detection and Tracking Based on Video Sequences. | |
| Cheng et al. | A novel improved ViBe algorithm to accelerate the ghost suppression | |
| Fatichah et al. | Optical flow feature based for fire detection on video data | |
| CN114898306A (zh) | 一种检测目标朝向的方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |