CN116543343B - 一种滞留行李检测方法、装置、计算机设备和存储介质 - Google Patents
一种滞留行李检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116543343B CN116543343B CN202310824939.9A CN202310824939A CN116543343B CN 116543343 B CN116543343 B CN 116543343B CN 202310824939 A CN202310824939 A CN 202310824939A CN 116543343 B CN116543343 B CN 116543343B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- fingerprint
- baggage
- average value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000717 retained effect Effects 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 230000002159 abnormal effect Effects 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 230000005856 abnormality Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 abstract description 18
- 230000008859 change Effects 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种滞留行李检测方法、装置、计算机设备和存储介质，所述方法包括：对行李异常检测区域进行图像采集，通过待检测图像的特征描述子和模板图像的特征描述子计算出的余弦值来判定待检测图像与模板图像的相似性，若判定出待检测图像与模板图像相似，则根据待检测图像的图像指纹与模板图像的图像指纹进行相似性比较，最后根据图像指纹相似性的基比较结果确定出在行李异常检测区域是否存在滞留行李；本发明通过对行李异常检测区域的图像与模板图像分别进行两次相似性检测，可以降低漏检测的概率与光照、背景环境变化等因素的影响；同时，两种相似性检测方法的原理不同，可以互相弥补技术缺陷，整体上提高了对滞留行李检测的准确率。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种滞留行李检测方法、装置、计算机设备和存储介质。
背景技术
托盘分拣机作为托运行李系统中重要的设备之一，在与之对应航班行李的分流与筛选中承担着重要的作用。但在托盘分拣机倾翻过程中，由于行李重量、大小、表面材质等因素，会使得行李无法正常掉落到分拣滑槽进入传送带，从而滞留在滑槽两侧造成行李异常的结果，致行李延误装机的问题出现，影响旅客正常出行。
现有技术中，主要以视觉图像检测的方式对机场托运行李系统中异常掉落的滞留行李进行检测及报警反馈给现场工作人员，通常采用图像处理中帧差算法（FrameDifference Method）进行视觉图像检测，但是检测方法鲁棒性较差，在复杂的背景或者光照变化较大的情况下，存在漏检和误检率高的问题，无法保障滞留行李的检测准确性，从而影响机场的服务质量。
发明内容
针对现有技术中所存在的不足，本发明提供的一种滞留行李检测方法、装置、计算机设备和存储介质，解决了现有技术中的滞留行李检测方法漏检和误检率高的问题，本发明通过对行李异常检测区域的图像与模板图像分别进行两次相似性检测，可以降低漏检测的概率与光照、背景环境变化等因素的影响；同时，两种相似性检测方法的原理不同，可以互相弥补技术缺陷，整体上提高了对滞留行李检测的准确率。
第一方面，本发明提供一种滞留行李检测方法，所述方法包括：对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李。
可选地，获取所述待检测图像集中每个待检测图像的特征描述子，包括：对当前待检测图像进行归一化处理后，计算出图像中每个像素的梯度；将所述当前待检测图像分成若干个细胞单元，根据每个细胞单元内的像素梯度计算出每个细胞单元的梯度方向直方图；根据所述每个细胞单元的梯度方向直方图进行拼接，得到所述当前待检测图像的特征描述子。
可选地，对当前待检测图像进行归一化处理后，计算出图像中每个像素的梯度，包括：将所述当前待检测图像转换成灰度图，并对所述灰度图进行颜色空间标准化，得到目标检测图；根据第一梯度算子对所述目标检测图进行卷积运算得到每个像素点在水平方向的梯度分量，根据第二梯度算子对所述目标检测图进行卷积运算得到每个像素点在垂直方向的梯度分量；根据每个像素点在水平方向的梯度分量和每个像素点在垂直方向的梯度分量，计算出每个像素点的梯度幅值和梯度方向。
可选地，根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值的公式表达式为：
其中，i表示特征向量的维度，n表示方向总数，表示模板图像在第i个维度上的分量，/>表示待检测图像在第i个维度上的分量，A表示模板图像的描述特征子，B表示待检测图像的描述特征子。
可选地，获取每个待检测图像的图像指纹，包括：对当前待检测图像进行矩阵变换，得到相对应的正交特征矩阵；对所述正交特征矩阵进行分块得到目标特征矩阵；获取所述目标特征矩阵中每个矩阵块的特征平均值；将每个矩阵块的特征平均值与DCT均值进行比较，根据比较结果得到所述当前待检测图像的图像指纹。
可选地，对所述当前待检测图像进行矩阵变换，得到相对应的正交特征矩阵的公式表达式为：
其中，表示当前待检测图像中第i个像素点的像素值，N表示像素点总数量，表示补偿系数，/>表示正交特征矩阵。
可选地，所述方法还包括：当所有余弦值的均值大于或等于所述第一预设阈值时，或所述所有指纹对比值的均值小于或等于第二预设阈值时，继续对行李异常检测区域的当前视频流数据进行抽帧，得到下一个待检测图像集。
第二方面，本发明提供一种滞留行李检测装置，所述装置包括：图像抽帧模块，用于对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；余弦值计算模块，用于根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；图像指纹获取模块，用于若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；指纹对比值计算模块，用于将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；确定模块，用于若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李。
第四方面，本发明实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李。
与现有技术相比，本发明的有益效果为：
1、本发明通过对行李异常检测区域进行图像采集，首先通过待检测图像的特征描述子和模板图像的特征描述子计算出的余弦值来判定待检测图像与模板图像的相似性，若判定出待检测图像与模板图像相似，则继续根据待检测图像的图像指纹与模板图像的图像指纹进行相似性比较，最后根据图像指纹相似性的基比较结果确定出在所述行李异常检测区域是否存在滞留行李；因此本发明通过对行李异常检测区域的图像与模板图像分别进行两次相似性检测，可以降低漏检测的概率与光照、背景环境变化等因素的影响；同时，两种相似性检测方法的原理不同，可以互相弥补技术缺陷，整体上提高了对滞留行李检测的准确率。
2、本发明通过对一定时间段的视频流数据进行抽帧得到当前待检测图像集，进而对当前检测图像集中的多个待检测图像与模板图像进行相似性比较，与现有技术中将视频流数据中的每个图像与模板图像进行相似性比较相比，降低了图像处理数据量，提高了检测效率；并且，本发明将多个图像的相似性比较结果取平均后再与预设阈值进行比较，提高了比较结果的精度。
附图说明
图1所示为本发明实施例提供的一种滞留行李检测方法的流程示意图；
图2所示为本发明实施例提供的一种托盘分拣机的结构示意图；
图3所示为本发明实施例提供的一种获取待检测图像的特征描述子的流程示意图；
图4所示为本发明实施例提供的一种获取待检测图像的图像指纹的流程示意图；
图5所示为本发明实施例提供的一种滞留行李检测系统的结构示意图；
图6所示为本发明实施例提供的另一种滞留行李检测方法的流程示意图。
附图标记说明：网络摄像机1、倾翻机2、行李3、易掉落滞留区域4、分拣滑槽5。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一方面，本发明提供一种滞留行李检测方法，具体包括以下实施例：
图1所示为本发明实施例提供的一种滞留行李检测方法的流程示意图；如图1所示，所述滞留行李检测方法具体包括以下步骤：
步骤S101，对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；
需要说明的是，如图2所示，在行李异常检测区域架设网络摄像机1，根据相机架设视野范围，设置交互式选定ROI算法，对行李异常检测区域进行框选，获取行李掉落区域图像，达到针对性检测的目的，减少算法计算量提升检测效率。
在得到当前检测时间段内的行李异常检测区域的当前视频流数据，然后根据当前视频流每秒帧数推算，间隔n帧抽取一帧图像作为待检测图像，重复上述抽帧步骤直至达到设定待检测图像数量达到设定数量，从而得到当前待检测图像集。其中，当前待检测图像集对应的模板图像可以是当前视频流数据中的第一张图像，也可以是之前检测时间段内的模板图像，所述模板图像为行李异常检测区域中无滞留行李的图像。
步骤S102，根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；
在本实施例中，如图3所示，获取所述待检测图像集中每个待检测图像的特征描述子具体包括以下步骤：
步骤S201，对当前待检测图像进行归一化处理后，计算出图像中每个像素的梯度；
在本实施例中，对当前待检测图像进行归一化处理后，计算出图像中每个像素的梯度，包括：将所述当前待检测图像转换成灰度图，并对所述灰度图进行颜色空间标准化，得到目标检测图；根据第一梯度算子对所述目标检测图进行卷积运算得到每个像素点在水平方向的梯度分量，根据第二梯度算子对所述目标检测图进行卷积运算得到每个像素点在垂直方向的梯度分量；根据每个像素点在水平方向的梯度分量和每个像素点在垂直方向的梯度分量，计算出每个像素点的梯度幅值和梯度方向。
需要说明的是，为了减少光照因素的影响，首先需要将整个图像进行规范化(归一化)。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以压缩处理能够有效地降低图像局部的阴影和光照变化，由于颜色信息作用不大，通常先转化为灰度图。
进一步地，首先用[-1,0,1]梯度算子对目标检测图做卷积运算，得到x方向(水平方向，以向右为正方向)的梯度分量gradscalx，然后用梯度算子对目标检测图做卷积运算，得到y方向(竖直方向，以向上为正方向)的梯度分量gradscaly。然后再用以梯度计算公式计算出该像素点的梯度幅值和梯度方向。其中，梯度计算公式为：
（1）
公式（1）中，表示像素点/>的梯度幅值，/>表示像素点/>的梯度方向。
步骤S202，将所述当前待检测图像分成若干个细胞单元，根据每个细胞单元内的像素梯度计算出每个细胞单元的梯度方向直方图；
在本实施例中，将图像分成若干个单元细胞（cell）, 例如每个cell为6*6个像素。假设我们采用9个bin的直方图来统计这6*6个像素的梯度信息。也就是将cell的梯度方向360度分成9个方向块,例如:如果这个像素的梯度方向是20-40度，直方图第2个bin的计数就加一，这样，对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，就可以得到这个cell的梯度方向直方图了,就是该cell对应的9维特征向量。
步骤S203，根据所述每个细胞单元的梯度方向直方图进行拼接，得到所述当前待检测图像的特征描述子。
在本实施例中，由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大，需要对梯度强度做归一化，归一化能够进一步地对光照、阴影和边缘进行压缩。具体方法是把各个细胞单元组合成大的、空间上连通的区间( blocks)。这样一个block内所有cell的特征向量串联起来便得到该block的HOG特征。这些区间是互有重叠的，这就意味着:每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符(向量)就称之为特征描述子，最后将所有block的特征描述子进行拼接得到整个图像的特征描述子。
进一步地，根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值的公式表达式为：
（2）
公式（2）中，i表示特征向量的维度，n表示方向总数，表示模板图像在第i个维度上的分量，/>表示待检测图像在第i个维度上的分量，A表示模板图像的描述特征子，B表示待检测图像的描述特征子。
需要说明的是，本实施例通过计算图像多维空间中多维向量之间角度的余弦，然后比较两个向量之间的夹角，夹角越小代表相似度越高。夹角越大则相似度越小。用于图像对比则需要找出图像方向梯度直方图特征描述子来进行向量计算的。HOG特征描述子可以有效的描述出图像中局部目标的表象和形状，可以有效地捕捉图像中对象的形状和结构信息，并且对于光照变化和颜色变化等干扰具有一定的不敏感性，并且通过边缘方向的密度来表达；通过上述公式计算得出的取值则为-1到1，通过余弦特性判定两个向量夹角大小为两个特征描述子相似度即图像相似度。当夹角为0度余弦取值为1时，图像一模一样；当夹角为90度时余弦取值为0时，图像完全不一样；当夹角为180度时余弦取值为-1时，该对比无意义。
步骤S103，若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；
在本实施例中，将多幅时间序列间隔相同的抽帧图像与模板图像进行余弦相似度检测，并且得到多个余弦值，将其取平均值与设定的第一预设阈值进行对比，若大于第一预设阈值则返回取帧步骤继续检测，若小于第一预设阈值则获取每个待检测图像的图像指纹和模板图像的图像指纹。
如图4所示，获取每个待检测图像的图像指纹具体包括以下步骤：
步骤S301，对当前待检测图像进行矩阵变换，得到相对应的正交特征矩阵；
步骤S302，对所述正交特征矩阵进行分块得到目标特征矩阵；
步骤S303，获取所述目标特征矩阵中每个矩阵块的特征平均值；
步骤S304，将每个矩阵块的特征平均值与DCT均值进行比较，根据比较结果得到所述当前待检测图像的图像指纹。
需要说明的是，对图像内容进行指纹识别的方法是通过将图像转化为数字“指纹”来识别图像的相似度。对图像进行操作，得到一个数字哈希值，该值代表图像的内容特征。其中包括：1）预处理过程，将图像进行缩放、裁剪、灰度化使得图像统一。2）矩阵变换主要是捕捉图像中的频率信息。当原始输入信号即当前待检测图像中第i个像素点的像素值，经过公式（3）根据图像中N原始信号点数即图像像素与补偿系数/>，通过变换后的系数可使得DCT变换矩阵为正交矩阵，最终得到/>，即信号在频率域上的幅度和相位信息，作为待对比结果。
（3）
通过DCT变换得到压缩图像，改变图像空域的信号使其到频域上，将每张图像的信号集中在较少的高频系数上。3）分块即将DCT结果缩小分成小的块图像会被划分为多个大小相同的正方形块，以计算结果为32×32大小的矩阵为例，只需要保留左上角8×8的矩阵即可。4）计算每个块的平均值，每个块的大小为8×8像素，累加块中所有像素值，再统计块中的像素数量，将累加的像素值除以像素数量得到块的平均值。5）根据每个块的平均值，将其与DCT均值进行比较，大于均值即映射为1，小于则映射为0；并将结果组合，构成当前待检测图像的图像指纹。其中，所述DCT均值为均值。
步骤S104，将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；
需要说明的是，将每个待检测图像的图像指纹与所述模板图像的图像指纹采用汉明距离判断两幅图像相似性，得到多个指纹对比结果；其中，汉明距离是通过计算两个字符串对应位置上不同字符的个数来确定差异，即将哈希值转换为字符串进行对比。
步骤S105，若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李。
在本实施例中，最终求取多个指纹对比结果的平均值与设定的第二预设阈值进行对比，小于第二预设阈值则返回取帧步骤继续检测，若大于第二预设阈值确定在所述行李异常检测区域存在滞留行李，进一步地取第a次抽帧图像，作为输出报警窗口图像进行弹窗报警，其中a为待检测图像集中图像总数的中位数，目的在于排除头尾抽帧图像并未有异物，但是平均结果判断有异物滞留的情况，同时设置声音报警功能。
与现有技术相比，本发明的有益效果为：
1、本发明通过对行李异常检测区域进行图像采集，首先通过待检测图像的特征描述子和模板图像的特征描述子计算出的余弦值来判定待检测图像与模板图像的相似性，若判定出待检测图像与模板图像相似，则继续根据待检测图像的图像指纹与模板图像的图像指纹进行相似性比较，最后根据图像指纹相似性的基比较结果确定出在所述行李异常检测区域是否存在滞留行李；因此本发明通过对行李异常检测区域的图像与模板图像分别进行两次相似性检测，可以降低漏检测的概率与光照、背景环境变化等因素的影响；同时，两种相似性检测方法的原理不同，可以互相弥补技术缺陷，整体上提高了对滞留行李检测的准确率。
2、本发明通过对一定时间段的视频流数据进行抽帧得到当前待检测图像集，进而对当前检测图像集中的多个待检测图像与模板图像进行相似性比较，与现有技术中将视频流数据中的每个图像与模板图像进行相似性比较相比，降低了图像处理数据量，提高了检测效率；并且，本发明将多个图像的相似性比较结果取平均后再与预设阈值进行比较，提高了比较结果的精度。
本实施例提供一种实现滞留行李检测方法的检测系统，如图5所示，检测系统实现对行李滑槽两侧存在异常掉落滞留的情况进行监测和滑槽运行情况的实时监控。考虑充分满足系统的性能和数据的稳定，系统采用NVR服务器的方式采集现场实时监控数据，同时本地保存。系统后台实时采集现场监控视频数据流，并利用上述实施例提供的滞留行李检测方法实时处理视频流数据，及时发现异常情况。前后端数据通过网络进行数据传输。系统设备主要为网络相机、网络视频录像机(Network Video Recorder NVR)、图像处理服务器、终端工作站电脑主机、交换机等，具体工作过程为：
S11：设定场景为倾翻机导出口。首先定位网络相机架设位置，根据视距、采集范围、光照、安装位置是否无阻挡等因素确定安装点位。
S12：接入交换机，根据离中心机房的远近，可选择通过网络、光纤等方式进行数据资源汇聚。
S13：NVR设备放置于机柜中，采集前端摄像机监控数据并存储用于后期回放等功能的支持。通过汇聚交换机将数据流传输给NVR存储。
S14：系统服务器，负责整体系统的服务支撑、集中管理、数据流分析、报警数据存储、算法分析等功能。数据中心监控平台服务器支持客户端远程访问，用户可以在客户端上实现统计报表、告警管理、权限管理和系统配置管理等。其中滞留行李检测方法如图6所示，具体包括以下几个步骤：
（1）算法加载视频流解码，输入备用；
（2）在视频流预览框选定需要检测的行李掉落滞留区域（可根据需要选定多个区域）；
（3）按时间序列抽取第一帧作为模板图像即正常情况图像；
（4）根据视频流每秒帧数推算，间隔n帧抽取一帧图像作为待匹配图像a；
（5）重复步骤4）直至设定图像数量，触发余弦相似度检测层；
（6）将多个计算结果取平均值与设定阈值进行比较，若小于设定阈值则触发哈希感知算法检测图像相似度，若大于则返回步骤3）；
（7）将多个计算结果取平均值与设定阈值进行比较，若大于设定阈值则通过数据接口输出报警给终端工作站电脑展示界面，提示检测到异常行李滞留，若小于则返回步骤3）；
（8）因考虑到会存在室外光照变化影响，在步骤3）设定了一定时间的延时重启，以应对不同时间光照变化对检测结果的影响。待现场人员将异常掉落滞留行李处理后，可在监控端点击继续检测按钮继续进行检测。同时因考虑到会存在室外光照变化影响，在取帧步骤前设定了一定时间的延时重启包括更新模板图片，以应对不同时间光照变化对检测结果的影响，例如下午4点的光照强度与晚上7点光照强度会影响判断，则需要重新加载算法以应对光照变换。
S15：终端工作站电脑用作信息展示与视频流实时查看，系统采用B/S架构，可实现异物报警信息、历史数据查询、报表统计、系统设置等功能。通过IE获取各行李滑槽的异物检测报警信息，包括有主页面、后台管理页面两部分。主页面，提供日常数据浏览所需功能，实现报警数据和历史数据的展示，可根据查询项生产图形报表等功能。后台管理页面，主要用来进行系统运行设置管理，可以进行用户管理、权限配置管理、告警设置等。系统主界面设定为：顶部导航栏、中部报警展示区及设备列表区域、底部历史报警数据展示区。
第二方面，本发明提供一种滞留行李检测装置，具体包括：
图像抽帧模块，用于对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；
余弦值计算模块，用于根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；
图像指纹获取模块，用于若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；
指纹对比值计算模块，用于将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；
确定模块，用于若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李。
第四方面，本发明实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种滞留行李检测方法，其特征在于，所述方法包括：
对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；
根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；
若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；
将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；
若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李；
其中，获取每个待检测图像的图像指纹，包括：对当前待检测图像进行矩阵变换，得到相对应的正交特征矩阵；对所述正交特征矩阵进行分块得到目标特征矩阵；获取所述目标特征矩阵中每个矩阵块的特征平均值；将每个矩阵块的特征平均值与DCT均值进行比较，根据比较结果得到所述当前待检测图像的图像指纹。
2.如权利要求1所述的滞留行李检测方法，其特征在于，获取所述待检测图像集中每个待检测图像的特征描述子，包括：
对当前待检测图像进行归一化处理后，计算出图像中每个像素的梯度；
将所述当前待检测图像分成若干个细胞单元，根据每个细胞单元内的像素梯度计算出每个细胞单元的梯度方向直方图；
根据所述每个细胞单元的梯度方向直方图进行拼接，得到所述当前待检测图像的特征描述子。
3.如权利要求2所述的滞留行李检测方法，其特征在于，对当前待检测图像进行归一化处理后，计算出图像中每个像素的梯度，包括：
将所述当前待检测图像转换成灰度图，并对所述灰度图进行颜色空间标准化，得到目标检测图；
根据第一梯度算子对所述目标检测图进行卷积运算得到每个像素点在水平方向的梯度分量，根据第二梯度算子对所述目标检测图进行卷积运算得到每个像素点在垂直方向的梯度分量；
根据每个像素点在水平方向的梯度分量和每个像素点在垂直方向的梯度分量，计算出每个像素点的梯度幅值和梯度方向。
4.如权利要求1所述的滞留行李检测方法，其特征在于，根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值的公式表达式为：
其中，i表示特征向量的维度，n表示方向总数，表示模板图像在第i个维度上的分量，表示待检测图像在第i个维度上的分量，A表示模板图像的描述特征子，B表示待检测图像的描述特征子。
5.如权利要求1所述的滞留行李检测方法，其特征在于，对所述当前待检测图像进行矩阵变换，得到相对应的正交特征矩阵的公式表达式为：
其中，表示当前待检测图像中第i个像素点的像素值，N表示像素点总数量，/>表示补偿系数，/>表示正交特征矩阵。
6.如权利要求1-5任一项所述的滞留行李检测方法，其特征在于，所述方法还包括：
当所有余弦值的均值大于或等于所述第一预设阈值时，或所述所有指纹对比值的均值小于或等于第二预设阈值时，继续对行李异常检测区域的当前视频流数据进行抽帧，得到下一个待检测图像集。
7.一种滞留行李检测装置，其特征在于，所述装置包括：
图像抽帧模块，用于对行李异常检测区域的当前视频流数据进行抽帧，获取当前待检测图像集和相对应的模板图像；
余弦值计算模块，用于根据所述待检测图像集中每个待检测图像的特征描述子和模板图像的特征描述子，计算出每个待检测图像的余弦值；
图像指纹获取模块，用于若所有余弦值的均值小于第一预设阈值时，获取每个待检测图像的图像指纹和模板图像的图像指纹；
指纹对比值计算模块，用于将每个待检测图像的图像指纹与所述模板图像的图像指纹进行相似性比较，得到每个待检测图像的指纹对比值；
确定模块，用于若所有指纹对比值的均值大于第二预设阈值时，确定在所述行李异常检测区域存在滞留行李；
其中，所述图像指纹获取模块还用于对当前待检测图像进行矩阵变换，得到相对应的正交特征矩阵；还用于对所述正交特征矩阵进行分块得到目标特征矩阵；获取所述目标特征矩阵中每个矩阵块的特征平均值；还用于将每个矩阵块的特征平均值与DCT均值进行比较，根据比较结果得到所述当前待检测图像的图像指纹。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项方法的步骤。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310824939.9A CN116543343B (zh) | 2023-07-06 | 2023-07-06 | 一种滞留行李检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310824939.9A CN116543343B (zh) | 2023-07-06 | 2023-07-06 | 一种滞留行李检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116543343A CN116543343A (zh) | 2023-08-04 |
| CN116543343B true CN116543343B (zh) | 2023-09-12 |
Family
ID=87454630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310824939.9A Active CN116543343B (zh) | 2023-07-06 | 2023-07-06 | 一种滞留行李检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543343B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017171443A (ja) * | 2016-03-23 | 2017-09-28 | パナソニックＩｐマネジメント株式会社 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
| CN111994553A (zh) * | 2020-09-09 | 2020-11-27 | 昆明昆船逻根机场系统有限公司 | 一种行李螺旋滑槽降噪输送系统及方法 |
| CN114994100A (zh) * | 2022-06-06 | 2022-09-02 | 河南双晟智能科技有限公司 | 一种自助式铁路旅客安检系统及其检测方法 |
| CN115205223A (zh) * | 2022-06-22 | 2022-10-18 | 锋睿领创(珠海)科技有限公司 | 透明物体的视觉检测方法、装置、计算机设备及介质 |
| CN115410135A (zh) * | 2022-11-01 | 2022-11-29 | 中国民航大学 | 自主式搬运的航空行李特征感知重构方法、系统及其应用 |
| CN219210746U (zh) * | 2022-12-16 | 2023-06-20 | 同方威视技术股份有限公司 | 行李安检设备以及安检系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2606701A (en) * | 2021-04-26 | 2022-11-23 | Univ Brunel | Object identification system and method |
-
2023
- 2023-07-06 CN CN202310824939.9A patent/CN116543343B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017171443A (ja) * | 2016-03-23 | 2017-09-28 | パナソニックＩｐマネジメント株式会社 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
| CN111994553A (zh) * | 2020-09-09 | 2020-11-27 | 昆明昆船逻根机场系统有限公司 | 一种行李螺旋滑槽降噪输送系统及方法 |
| CN114994100A (zh) * | 2022-06-06 | 2022-09-02 | 河南双晟智能科技有限公司 | 一种自助式铁路旅客安检系统及其检测方法 |
| CN115205223A (zh) * | 2022-06-22 | 2022-10-18 | 锋睿领创(珠海)科技有限公司 | 透明物体的视觉检测方法、装置、计算机设备及介质 |
| CN115410135A (zh) * | 2022-11-01 | 2022-11-29 | 中国民航大学 | 自主式搬运的航空行李特征感知重构方法、系统及其应用 |
| CN219210746U (zh) * | 2022-12-16 | 2023-06-20 | 同方威视技术股份有限公司 | 行李安检设备以及安检系统 |
Non-Patent Citations (1)
| Title |
|---|
| 工业监控视频中的遗留物品检测与识别方法研究;蒋晓可;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;I138-1488 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116543343A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10777076B2 (en) | License plate recognition system and license plate recognition method | |
| US9846821B2 (en) | Fast object detection method based on deformable part model (DPM) | |
| US10438050B2 (en) | Image analysis device, image analysis system, and image analysis method | |
| CN104303193B (zh) | 基于聚类的目标分类 | |
| CN110807385A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| AU2017250159A1 (en) | Video recording method, server, system, and storage medium | |
| CN111462155B (zh) | 移动侦测方法、装置、计算机设备和存储介质 | |
| CN110781839A (zh) | 一种基于滑窗的大尺寸图像中小目标识别方法 | |
| CN108564598B (zh) | 一种改进的在线Boosting目标跟踪方法 | |
| CN105631418A (zh) | 一种人数统计的方法和装置 | |
| CN103208008A (zh) | 基于机器视觉的交通视频监控目标检测快速适应方法 | |
| WO2021139049A1 (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
| CN101065968A (zh) | 用于监视系统的目标属性地图 | |
| KR20190038137A (ko) | 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치 | |
| CN103581620A (zh) | 图像处理设备、图像处理方法及程序 | |
| CN111291587A (zh) | 一种基于密集人群的行人检测方法、存储介质及处理器 | |
| US20220301317A1 (en) | Method and device for constructing object motion trajectory, and computer storage medium | |
| KR101030257B1 (ko) | 카메라의 영상을 이용한 보행자 계수 방법 및 장치 | |
| CN113052039B (zh) | 一种交通路网行人密度检测的方法、系统及服务器 | |
| CN111383244A (zh) | 一种目标检测跟踪方法 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| Ajmal et al. | Human motion trajectory analysis based video summarization | |
| CN116543343B (zh) | 一种滞留行李检测方法、装置、计算机设备和存储介质 | |
| CN116431857B (zh) | 一种用于无人场景的视频处理方法和系统 | |
| Hao et al. | Extracting spatio-temporal texture signatures for crowd abnormality detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |