CN117437601A - 仓门异动识别方法、装置及电子设备 - Google Patents
仓门异动识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117437601A CN117437601A CN202311754499.0A CN202311754499A CN117437601A CN 117437601 A CN117437601 A CN 117437601A CN 202311754499 A CN202311754499 A CN 202311754499A CN 117437601 A CN117437601 A CN 117437601A
- Authority
- CN
- China
- Prior art keywords
- door
- image
- bin gate
- frame
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012544 monitoring process Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000007704 transition Effects 0.000 claims description 66
- 239000013598 vector Substances 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000013136 deep learning model Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种仓门异动识别方法、装置及电子设备，其中方法可以包括：根据监控视频获得监控图像帧；根据监控图像帧获得仓门区域图像和门框特征；基于仓门区域图像确定仓门特征；根据门框特征和仓门特征确定仓门状态。本发明提出的方法根据监控视频获取到仓门区域的图像，并通过对图像的分析和处理来确定仓门的状态。本发明提出的方法能够实现不需额外安装传感器等设备，利用监控视频即可实时、准确的监测仓门状态。
Description
技术领域
本发明涉及计算视觉领域，尤其是涉及一种仓门异动识别方法、装置及电子设备。
背景技术
随着信息技术的发展，利用现代化手段对仓储安全进行监控已经得到广泛应用。例如，粮食的存储一般在不同地区的粮库中的粮仓进行，为了保证储粮的安全性，可以对仓门的开关信息进行监控，以获得储粮仓库是否有人员进入、仓门打开时间等信息。现有的仓门监测主要采用在仓门上面安装传感器的方式，通过传感器技术监测仓门是否有异动，即仓门是否是打开或者关闭状态。
本发明的发明人发现，现有利用传感器监测仓门状态的方法存在以下问题：传感器长期使用后会出现灵敏度低的问题，无法及时准确监测仓门状态；出现监测不准确的情况后，需要对传感器设备进行更换，造成监测成本较高。
发明内容
根据本发明的第一个方面，提出一种仓门异动识别方法，该方法可以包括：根据监控视频获得监控图像帧；根据监控图像帧确定仓门区域图像和门框特征；基于仓门区域图像确定仓门特征；根据门框特征和仓门特征确定仓门状态。
根据一些实施例，本发明提出的方法中，门框特征可以包括门框向量，仓门特征可以包括至少一个仓门向量。
根据上述实施方案，本发明提出的方法能够监控存在一个或多个仓门情况下的仓门状态。
根据一些实施例，本发明提出的方法中，步骤：根据门框特征和仓门特征确定仓门状态可以包括：计算门框向量和至少一个仓门向量之间的仓门夹角，以得到仓门夹角集合；根据仓门夹角集合确定仓门状态。
根据上述实施方案，本发明提出的方法通过计算门框向量和仓门向量之间的夹角，快速准确的实现对仓门状态的确定。
根据本发明的第二个方面，提出一种仓门异动识别装置，该装置可以包括：初始化模块，可以用于根据监控视频获得监控图像帧；图像处理模块，可以用于：根据监控图像帧获确定仓门区域图像和门框特征；基于仓门区域图像确定仓门特征；状态判断模块，可以用于根据门框特征和仓门特征确定仓门状态。
根据本发明的第三个方面，提出一种电子设备，可以包括：处理器；存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如本发明第一个方面所述的方法。
根据本发明的第四个方面，提出一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如本发明第一个方面所述的方法。
根据上述实施方案，本发明提出的方法根据监控视频获取到仓门区域的图像，并通过对仓门图像的分析和处理来确定仓门的状态。根据上述实施方式的方法能够实现不需额外安装传感器等设备，利用监控视频即可实时、准确的监测仓门状态。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本发明要求保护的范围。
图1为本发明的仓门异动识别方法1000的流程示意图；
图2为图1中的步骤S102的流程示意图；
图3为图2的步骤S102所包括的步骤S1023的流程示意图；
图4为图1中的步骤S103中的流程示意图；
图5为图4的步骤S103所包括的步骤S1031的流程示意图；
图6为图5的步骤S1031所包括的步骤S314中的流程示意图；
图7为图1中的步骤S104的流程示意图；
图8为图7的步骤S104所包括的步骤S1042的流程示意图；
图9为本发明的仓门异动识别装置2000的结构示意图；
图10-A、图10-B为本发明的仓门异动识别方法的具体实施例3000的示意图；
图11为本发明提供的一种电子设备的结构图。
附图标记说明：
仓门异动装置：2000；初始化模块：201；图像处理模块：202；状态判断模块：203。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中包括的英文缩写及对应的中文翻译如下：ResNet，Residual Network,残差网络；HRNet，High-Resolution net，高分辨率网络；AlphaPose，一种区域多人姿态估计框架，2018年经论文《RMPE: Regional Multi-Person Pose Estimation》提出。
图1为本发明的仓门异动识别方法1000的流程示意图。如图1所示，方法1000包括步骤S101-步骤S104。
在步骤S101中，仓门异动识别装置（如处理器，下文以处理器代称）根据监控视频获得监控图像帧。
在一些具体实施例中，在步骤S101中，处理器通过监控设备（如监控摄像头）获取到监控画面包括了仓门区域的监控视频。可选地，监控视频可以是任意一种视频编码格式的视频。在步骤S101中，处理器利用编解码算法从监控视频中获得监控图像帧，其中，监控图像帧可以是监控视频中任意一个时刻的视频帧。可选地，监控图像帧为监控视频的首帧。可选地，监控图像帧为监控视频中时刻为t1的视频帧。
在步骤S102中，处理器根据监控图像帧确定仓门区域图像和门框特征。
在一些具体实施例中，在步骤S102中，处理器识别监控图像帧中的仓门所在的位置，通过定位仓门的门框边缘和仓门完全打开情况下的仓门边缘得到门框关键点坐标集合。其中，门框边缘包括门框的上、下、左、右四条边缘直线，仓门完全打开情况下的仓门边缘包括左、右两条仓门直线以及仓门的上边缘点、下边缘点。可选地，在步骤S102中，仓门的形状为矩形。在一些具体实施例中，在步骤S102中，仓门为一扇单开或两扇双开的形式。
在一些具体实施例中，在步骤S102中，处理器根据门框关键点坐标集合确定过渡区域图像和门框特征。可选地，门框关键点坐标集合中包括能够构成一个多边形区域的四个坐标点k1、k2、k3和k4，其中k1、k2、k3和k4构成的多边形区域能够在仓门完全打开状态下将仓门所在的区域完全包围，以保证后续对仓门状态的判断。在一些具体实施例中，在步骤S102中，处理器将门框关键点坐标集合中的k1、k2、k3和k4构成的多边形区域作为过渡区域图像。
在步骤S102中，处理器根据过渡区域图像确定仓门区域图像。在一些具体实施例中，在步骤S102中，处理器对过渡区域图像进行质量判断。可选地，处理器利用图像质量模型对过渡区域图像进行判断，其中图像质量模型可以是基于ResNet（Residual Network,残差网络）结构的深度学习模型。
在步骤S102中，处理器通过图像质量模型得出过渡区域图像的质量得分。在一些具体实施例中，在步骤S102中，过渡质量得分大于质量得分阈值的情况下，处理器确定过渡区域图像的图像质量满足图像质量指标，处理器将过渡区域图像作为仓门区域图像。在一些具体实施例中，过渡质量得分小于质量得分阈值的情况下，处理器确定过渡区域图像的图像质量不满足图像质量指标，处理器将监控图像帧的下一帧作为新的监控图像帧，返回步骤S102。
在步骤S102中，处理器根据门框关键点坐标集合确定门框特征。可选地，门框关键点坐标集合中包括坐标点k5、k6，其中k5、k6连成的直线平行于水平方向的上门框边缘直线或下门框边缘直线。在一些具体实施例中，在步骤S102中，处理器将k5、k6连成的直线构成的向量作为门框特征。
在步骤S103中，处理器基于仓门区域图像确定仓门特征。在一些具体实施例中，在步骤S103中，处理器首先构建和训练用于处理仓门区域图像的深度学习模型，然后利用该模型对仓门区域图像进行分析，来确定表示仓门特征的坐标点，作为仓门关键点集合。可选地，用于处理仓门区域图像的深度学习模型为仓门关键点定位模型。在一些具体实施例中，在步骤S103中，处理器首先制作训练数据，包括对已有数据进行标注，然后利用标注后的数据对深度学习模型进行训练，在训练过程中采用随机角度旋转、水平翻转、模糊扰动等数据增强方法，来提升模型对表示仓门特征的坐标点的定位精度。
在一些具体实施例中，在步骤S103中，处理器根据仓门特征的坐标点得到仓门特征。可选地，仓门特征可以是至少一个特征向量，其中特征向量的数量和仓门所包括的门的扇数相对应。
在步骤S104中，处理器根据门框特征和仓门特征确定仓门状态。在一些具体实施例中，在步骤S104中，门框特征为门框向量，门框向量能够表示仓门闭合情况下的仓门上边的方向。仓门特征为至少一个仓门向量，仓门向量的数量和仓门所包括的矩形门的个数相对应，每个仓门向量表示其对应的每扇仓门的仓门上边的方向。在步骤S104中，处理器计算门框向量和每个仓门向量的夹角，得到仓门夹角集合。在一些具体实施例中，在步骤S104中，仓门夹角集合中存在大于第一角度阈值的仓门夹角，处理器确定仓门状态为打开。在一些具体实施例中，在步骤S104中，仓门夹角集合中不存在大于第一角度阈值的仓门夹角，处理器确定仓门状态为关闭。
根据如图1所示的实施方案，本发明提出的方法通过监控视频来获取到仓门区域的监控图像，通过对监控图像进行具体的分析、处理来得出仓门状态的监视结果，从而能够对仓门异动情况进行判断。本发明提出的方法不需额外安装传感器等设备，利用监控视频即可实时、准确的监测仓门状态，不仅节约了监测成本，并且监测的准确度高，效果好。
图2为图1中的步骤S102的流程示意图。如图2所示，步骤S102包括步骤S1021-步骤S1023。
在步骤S1021中，处理器根据监控图像帧确定门框关键点坐标集合。在一些具体实施例中，在步骤S1021中，处理器识别监控图像帧中的仓门所在的位置，通过定位仓门的门框边缘和仓门完全打开情况下的仓门边缘得到门框关键点坐标集合。其中，门框边缘包括门框的上、下、左、右四条边缘直线，仓门完全打开情况下的仓门边缘包括左、右两条仓门直线以及仓门的上边缘点、下边缘点。可选地，在步骤S1021中，仓门的形状为矩形。在一些具体实施例中，在步骤S1021中，仓门为一扇单开或两扇双开的形式。
在一些具体实施例中，在步骤S1021中，门框关键点坐标集合中包括n个能构成多边形区域的坐标点，其中n个坐标点构成的多边形区域能够在仓门完全打开状态下将仓门所在的区域完全包围，以保证后续对仓门状态的判断。在一些具体实施例中，在步骤S1021中，门框关键点坐标集合中包括能够构成一个多边形区域的四个坐标点k1、k2、k3和k4，其中k1、k2、k3和k4构成的多边形区域能够在仓门完全打开状态下将仓门所在的区域完全包围，以保证后续对仓门状态的判断。
在步骤S1022中，处理器根据门框关键点坐标集合确定过渡区域图像和门框特征。在一些具体实施例中，在步骤S1022中，处理器根据k1、k2、k3和k4得到过渡区域图像的高度、宽度以及左上角顶点的坐标。在一些具体实施例中，在步骤S1022中，处理器根据过渡区域图像的高度、宽度以及左上角顶点的坐标，将门框关键点坐标集合中的k1、k2、k3和k4构成的多边形区域作为过渡区域图像。
在一些具体实施例中，在步骤S1022中，过渡区域图像为矩形图像，门框关键点坐标集合中包括确定过渡区域图像上边的两个顶点k5、k6，其中k5、k6连成的直线平行于水平方向的上门框边缘直线或下门框边缘直线。在一些具体实施例中，在步骤S1022中，处理器将k5、k6连成的直线构成的向量作为门框特征。
在步骤S1023中，处理器根据过渡区域图像确定仓门区域图像。在一些具体实施例中，在步骤S1023中，处理器通过图像质量模型得出过渡区域图像的质量得分。可选地，处理器利用图像质量模型对过渡区域图像进行判断，其中图像质量模型可以是基于ResNet（Residual Network, 残差网络）结构的深度学习模型。
在一些具体实施例中，在步骤S1023中，过渡质量得分大于质量得分阈值的情况下，处理器确定过渡区域图像的图像质量满足图像质量指标，处理器将过渡区域图像作为仓门区域图像。在一些具体实施例中，在步骤S1023中，过渡质量得分小于质量得分阈值的情况下，处理器确定过渡区域图像的图像质量不满足图像质量指标，处理器将监控图像帧的下一帧作为新的监控图像帧，返回图1中的步骤S102。
根据如图2所示的实施方案，本发明提出的方法根据图像质量模型对确定的包含仓门区域的图像进行质量判断，避免在图像质量差的情况下继续对仓门区域图像进行分析，导致得到的仓门状态不准确，造成时间及资源的浪费。
图3为图2中的步骤S102中的步骤S1023的流程示意图。如图3所示，步骤S1023包括步骤S231-步骤S233。
在步骤S231中，处理器对过渡区域图像进行质量判断。在一些具体实施例中，在步骤S231中，处理器通过图像质量模型得出过渡区域图像的质量得分。可选地，处理器利用图像质量模型对过渡区域图像进行判断，其中图像质量模型可以是基于ResNet（ResidualNetwork, 残差网络）结构的深度学习模型。
可选地，在步骤S231中，图像质量模型为ResNet18结构，其中包括block1、block2、block3、block4四个block块，最后的block4模块两个并联，构成两个输出分支。可选地，两个输出分支包括第一分支和第二分支，其中，第一分支是过黑、模糊、质量好三个属性输出的分支，第二分支是遮挡、无遮挡两个属性输出的分支，每个分支属性输出里面的具体表现形式为每个属性具体类别的概率分数。
在一些具体实施例中，在步骤S231中，对图像质量模型中的数据标签，采用多标签标注的方式对质量训练图像进行标注，即每个质量训练图像包含两个分支，第一分支包括过黑、模糊、质量好三个属性，分别采用0、1、2标识；第二分支包括有遮挡、无遮挡两个属性，分别采用0、1标识。可选地，在步骤S231中，图像质量模型训练时，每个分支采用交叉熵损失函数获取对应的属性值计算每个分支的损失，其数学公式如下所示：
其中，yi表示样本i的label,pi表示预测正确的概率。对两个分支内的所有属性的损失进行累计求和，既能获得图像质量模型总的损失，最终训练完成得到一个两分支的图像质量模型。
在步骤S232中，在过渡区域图像的图像质量满足图像质量指标的情况下，处理器将过渡区域图像作为仓门区域图像。在步骤S233中，在过渡区域图像的图像质量不满足图像质量指标的情况下，处理器将监控图像帧的下一帧作为新的监控图像帧，返回步骤：根据监控图像帧获得门框边缘坐标点集。
可选地，block4模块的两个输出分支中包括过黑、模糊、质量好三个属性输出的分支1，以及，遮挡、无遮挡两个属性输出的分支2。可选地，在步骤S232中，分支1中的清晰属性分数和分支2中的无遮挡属性分数均大于设定的质量得分阈值，处理器确定过渡区域图像的图像质量满足图像质量指标，并将过渡区域图像作为仓门区域图像。
可选地，在步骤S233中，分支1中的清晰属性分数和分支2中的无遮挡属性分数存在小于设定的质量得分阈值的分数，处理器确定过渡区域图像的图像质量不满足图像质量指标，并将监控图像帧的下一帧作为新的监控图像帧，返回图1中步骤S102。
根据如图3所示的实施方案，本发明提出的方法中的图像质量模型能够根据图像质量指标来衡量图像的质量，并根据实际情况调整图像衡量的方式，例如能够从清晰度和遮挡程度两个维度判断图像的质量。图3所示的实施方式能够实现对图像质量的灵活判断，保证后续仓门状态判断的准确度。
图4为图1中的步骤S103的流程示意图。如图4所示，步骤S103包括步骤S1031-步骤S1032。
在步骤S1031中，处理器根据仓门区域图像获得仓门关键点坐标集合。在一些具体实施例中，在步骤S1031中，处理器先定义一组标识仓门顶点的顶点特征信息。例如，顶点特征信息可以是标识每个仓门顶点的一组关键点位置序号。在步骤S1031中，处理器利用顶点特征信息标注已有的图像数据集，并利用标注后的图像数据集对仓门关键点定位模型进行训练。在步骤S1031中，仓门关键点定位模型可以是任意能够实现关键点预测任务的机器学习模型或深度学习网络。在步骤S1031中，处理器利用训练好的仓门关键点定位模型对仓门区域图像进行分析，以得到仓门关键点坐标集合。
在步骤S1032中，处理器根据仓门关键点坐标集合确定仓门特征。在一些具体实施例中，仓门关键点坐标集合可以包括仓门所包括的每扇矩形门的上边两个顶点或下边两个顶点。在一些具体实施例中，在步骤S1032中，处理器根据仓门关键点坐标集合中的坐标点确定仓门所包括的每扇矩形门的上边两个顶点或下边两个顶点连成的直线向量，作为仓门特征。
根据如图4所示的实施方式，本申请提出的方法对仓门区域图像进行分析，进一步通过对关键坐标点的定位来确定仓门的特征，所确定的仓门特征具有较高的准确度，有利于后续结合门框特征对仓门状态进行判断。
图5为图4的步骤S103所包括的步骤S1031的流程示意图。如图5所示，步骤S1031包括步骤S311-步骤S314。
在步骤S311中，处理器定义一组关键点位置序号。可选地，关键点位置序号可以是对仓门区域图像中包括的所有仓门的四个顶点进行的顺序标号。可选地，对仓门顶点进行顺序标号的顺序可以是顺时针，也可以是逆时针，也可以不遵循规律进行自定义，但需满足所有仓门顶点的关键点位置序号不能重复。
在步骤S312中，处理器根据关键点位置序号对仓门图像数据集进行关键点标注，以生成仓门训练数据集。可选地，在步骤S312中，仓门图像数据集包括一组仓门图像，其中的仓门图像经过质量筛选和处理，能够通过图像处理技术识别到边缘和顶点的位置。在步骤S312中，利用在步骤S311中定义的关键点位置序号对仓门图像数据集中的每个仓门图像进行标注，标注后的仓门图像组成仓门训练数据集。可选地，在步骤S312中，处理器利用labelme或者labelbee标注工具对仓门图像数据集进行8个关键点位置序号的标注。
在步骤S313中，处理器利用仓门训练数据集训练仓门关键点定位模型。可选地，仓门关键点定位模型为基于HRNet（High-Resolution net，高分辨率网络）结构的深度学习模型。可选地，仓门关键点定位模型可以是能够实现关键点预测任务的深度学习网络，如AlphaPose（一种区域多人姿态估计框架，2018年经论文《RMPE: Regional Multi-PersonPose Estimation》提出）。
在步骤S314中，处理器利用训练后的仓门关键点定位模型对仓门区域图像进行分析，以得到仓门关键点坐标集合。在一些具体实施例中，在步骤S314中，处理器将仓门区域图像作为训练好的仓门关键点定位模型的输入，通过仓门关键点定位模型进行图像的分析，得到表示仓门顶点的过渡坐标集合。在步骤S314中，处理器根据过渡坐标集合确定仓门关键点坐标集合。例如，在一些具体实施例中，仓门包括两扇门，仓门关键点坐标集合包括8个顶点的坐标。
根据如图5所示的实施方案，本发明提出的方法针对当前应用场景设定关键点位置序号，并在对仓门图像数据集进行关键点标注后，利用标注后的仓门训练数据集对模型进行训练。图5所示的方法能够实现训练效果好，仓门判断准确的技术效果。
图6为图5中的步骤S1031所包括的步骤S314的流程示意图。如图6所示，步骤S314包括步骤S3141-步骤S3144。
在步骤S3141中，处理器根据仓门区域图像获得过渡坐标集合。在一些具体实施例中，在步骤S3141中，处理器利用仓门关键点模型，对仓门区域图像分析后确定过渡坐标集合，其中过渡坐标集合包含了仓门所包括的每扇矩形门的全部顶点所对应的坐标。
在步骤S3142中，处理器根据过渡坐标集合确定置信坐标集合。在一些具体实施例中，在步骤S3142中，置信坐标集合中包含仓门所包括的每扇矩形门的上边两个顶点或下边两个顶点的坐标，置信坐标集合中坐标点的个数为仓门包含的所有门的个数的两倍。
在步骤S3143中，在置信坐标集合中的坐标点的置信度均大于置信度阈值的情况下，处理器将过渡坐标集合作为仓门关键点坐标集合。在步骤S3144中，在置信坐标集合中的坐标点的置信度存在小于置信度阈值的情况下，处理器将监控图像帧的下一帧作为新的监控图像帧，返回图1中步骤S102。在步骤S3143和步骤S3144中，置信度即表示该坐标点的坐标和仓门区域图像中仓门的实际位置关联的准确程度，置信度越高，表示该坐标点定位越准确。
根据如图6所示的实施方案，本发明提出的方法根据仓门关键点模型确认仓门可能包括的顶点坐标后，还对坐标的置信度进行判断，规避了模型输出结果不够准确，导致后续仓门状态的判断出现失误的情况。本申请提出的方法具有可靠性和实用性，能够准确判断仓门的状态。
图7为图1中的步骤S104的流程示意图。如图7所示，步骤S104包括步骤S1041-步骤S1042。
在步骤S1041中，处理器计算门框向量和至少一个仓门向量之间的仓门夹角，以得到仓门夹角集合。在一些具体实施例中，在步骤S1041中，门框向量能够表示仓门闭合情况下的仓门上边的方向，仓门向量的数量和仓门所包括的矩形门的个数相对应，每个仓门向量表示其对应的每扇仓门的矩形上边的方向。
例如，门框向量由处理器在图1中步骤S102确定，具体由门框关键点坐标集合中的点a，坐标（x1,y1）和点b，坐标(x2,y2)确定，门框向量k1即为两个坐标点组成的直线的斜率。在一些具体实施例中，在步骤S1041中，仓门中包括1扇门，仓门向量为1个，在图1中步骤S103中，处理器根据仓门关键点坐标集合中的点c,坐标（x3,y3）、点d,坐标（x4,y4）确定仓门向量k2为点c和点d组成的直线的斜率。在步骤S1041中，处理器计算k1和k2之间的第一夹角，将第一夹角作为仓门夹角合集。
在步骤S1042中，处理器根据仓门夹角集合确定仓门状态。。在一些具体实施例中，在步骤S1042中，仓门夹角集合中存在大于第一角度阈值的仓门夹角，处理器确定仓门状态为打开。在一些具体实施例中，在步骤S1042中，仓门夹角集合中不存在大于第一角度阈值的仓门夹角，处理器确定仓门状态为关闭。
根据如图7所示的实施方案，本发明提出的方法能够对包含数量为至少一扇门的仓门的状态均进行判断，适应更多场景。
图8为图7的步骤S104所包括的步骤S1042的流程示意图。如图8所示，步骤S1042包括步骤S421-步骤S422。
在步骤S421中，在仓门夹角集合中的任意一个仓门夹角大于第一角度阈值的情况下，处理器确定仓门状态为打开。在步骤S422中，在仓门夹角集合中的所有仓门夹角都小于第一角度阈值的情况下，处理器确定仓门状态为关闭。在一些具体实施例中，仓门夹角表示在仓门区域图像中的仓门上边方向和仓门关闭时的仓门上边方向的夹角，仓门夹角即表示仓门的打开程度。
根据如图8所示的实施方案，本发明提出的方法能够根据实际应用情况灵活调整第一角度阈值的大小，实现在不同衡量标准下对仓门异动均能准确判断的技术效果。
图9为本发明的仓门异动识别装置2000的结构示意图。如图9所示，装置2000包括初始化模块201、图像处理模块202和状态判断模块203。
在一些具体实施例中，初始化模块201根据监控视频获得监控图像帧。在一些具体实施例中，初始化模块201通过监控设备（如监控摄像头）获取到监控画面包括了仓门区域的监控视频。可选地，监控视频可以是任意一种视频编码格式的视频。在一些具体实施例中，初始化模块201利用编解码算法从监控视频中获得监控图像帧，其中，监控图像帧可以是监控视频中任意一个时刻的视频帧。可选地，监控图像帧为监控视频的首帧。可选地，监控图像帧为监控视频中时刻为t1的视频帧。
在一些具体实施例中，图像处理模块202根据监控图像帧确定仓门区域图像和门框特征。
在一些具体实施例中，图像处理模块202识别监控图像帧中的仓门所在的位置，通过定位仓门的门框边缘得到门框关键点坐标集合。其中，门框边缘包括门框的上、下、左、右四条边缘直线。可选地，仓门的形状为矩形。在一些具体实施例中，仓门为一扇单开或两扇双开的形式。
在一些具体实施例中，图像处理模块202根据门框关键点坐标集合确定过渡区域图像和门框特征。可选地，门框关键点坐标集合中包括能够构成一个多边形区域的四个坐标点k1、k2、k3和k4，其中k1、k2、k3和k4构成的多边形区域能够在仓门完全打开状态下将仓门所在的区域完全包围，以保证后续对仓门状态的判断。在一些具体实施例中，图像处理模块202将门框关键点坐标集合中的k1、k2、k3和k4构成的多边形区域作为过渡区域图像。
在一些具体实施例中，图像处理模块202根据门框关键点坐标集合确定门框特征。可选地，门框关键点坐标集合中包括坐标点k5、k6，其中k5、k6连成的直线平行于水平方向的上门框边缘直线或下门框边缘直线。在一些具体实施例中，图像处理模块202将k5、k6连成的直线构成的向量作为门框特征。
在一些具体实施例中，图像处理模块202根据过渡区域图像确定仓门区域图像。可选地，图像处理模块202对过渡区域图像进行质量判断。可选地，处理器利用图像质量模型对过渡区域图像进行判断，其中图像质量模型可以是基于ResNet（Residual Network, 残差网络）结构的深度学习模型。
在一些具体实施例中，图像处理模块202通过图像质量模型得出过渡区域图像的质量得分。在一些具体实施例中，过渡质量得分大于质量得分阈值的情况下，在一些具体实施例中，图像处理模块202确定过渡区域图像的图像质量满足图像质量指标，将过渡区域图像作为仓门区域图像。在一些具体实施例中，过渡质量得分小于质量得分阈值的情况下，在一些具体实施例中，图像处理模块202确定过渡区域图像的图像质量不满足图像质量指标，将监控图像帧的下一帧作为新的监控图像帧，返回根据监控图像帧确定仓门区域图像和门框特征。
在一些具体实施例中，图像处理模块202基于仓门区域图像确定仓门特征。在一些具体实施例中，图像处理模块202首先构建和训练用于处理仓门区域图像的深度学习模型，然后利用该模型对仓门区域图像进行分析，来确定表示仓门特征的坐标点，作为仓门关键点集合。可选地，用于处理仓门区域图像的深度学习模型为仓门关键点定位模型。在一些具体实施例中，图像处理模块202构建深度学习的过程包括：首先制作训练数据，包括对已有数据进行标注，然后利用标注后的数据对深度学习模型进行训练，在训练过程中采用随机角度旋转、水平翻转、模糊扰动等数据增强方法，来提升模型对表示仓门特征的坐标点的定位精度。
在一些具体实施例中，图像处理模块202根据仓门特征的坐标点得到仓门特征。可选地，仓门特征可以是至少一个特征向量，其中特征向量的数量和仓门所包括的门的扇数相对应。
在一些具体实施例中，状态判断模块203根据门框特征和仓门特征确定仓门状态。在一些具体实施例中，门框特征为门框向量，门框向量能够表示仓门闭合情况下的仓门上边的方向，仓门特征为至少一个仓门向量，仓门向量的数量和仓门所包括的矩形门的个数相对应，每个仓门向量表示其对应的每扇仓门的仓门上边的方向。在一些具体实施例中，状态判断模块203计算门框向量和每个仓门向量的夹角，得到仓门夹角集合。在一些具体实施例中，仓门夹角集合中存在大于第一角度阈值的仓门夹角，状态判断模块203确定仓门状态为打开。在一些具体实施例中，仓门夹角集合中不存在大于第一角度阈值的仓门夹角，状态判断模块203确定仓门状态为关闭。
图10-A、图10-B为本发明的仓门异动识别方法的具体实施例3000的示意图。
如图10-A所示为仓门完全打开情况下的示意图，图10-B为仓门部分打开情况下的示意图。下面说明本申请的仓门异动识别方法识别图10-B中仓门异动的具体过程。
如图10-B所示为仓门异动识别装置（如处理器，下文以处理器代称）获取到的监控图像帧。在图10-B中，处理器识别监控图像帧中的仓门所在的位置，定位仓门的门框边缘定位到点K5、点K6、点K7、点K8。处理器根据仓门自身的信息，来确定仓门完全打开情况下的仓门图像为图10-A。处理器根据图10-A中仓门完全打开情况下的仓门边缘，可以定位到点M1、点M2、点M3、点M5、点M7、点M8。
处理器根据定位仓门的门框边缘以及仓门完全打开情况下的仓门边缘，可以得到构成一个多边形区域的点K1、点K2、点K3和点K4，这4个点构成的多边形区域可以在仓门完全打开状态下将仓门所在的区域完全包围，以保证后续对仓门状态的判断。点K1、点K2、点K3和点K4构成的区域即为过渡区域图像。处理器根据图像质量模型对过渡区域图像进行质量判断，并确定过渡区域图像的质量得分大于质量得分阈值将过渡区域图像作为仓门区域图像。
在图10-B中，处理器利用点K5、点K6确定一个直线向量，该直线向量即为门框向量，也就是门框特征，可以表示门框的方向。在图10-B中，点K5坐标为（x1,y1），点K6坐标为（x2,y2），则门框向量的计算公式为：
在图10-B中，处理器利用仓门关键点模型对仓门区域图像进行分析，确定标识仓门特征的坐标点，即点M1’、点M2’、点M3’、点M4’、点M5’、点M6’、点M7’和点M8’，作为仓门关键点坐标集合。在图10-B中，处理器计算仓门关键点坐标集合中的坐标点的置信度分数，并和置信度阈值进行比较。在图10-B中，处理器确定仓门关键点坐标集合中的坐标点的置信度分数均大于置信度阈值，进行后续的计算。
在图10-B中，仓门包括2扇矩形的门，因此仓门特征也包括两个对应的仓门向量。处理器将每扇仓门的上边方向的两个顶点构成的向量或每扇仓门的下边方向的两个顶点构成的向量作为仓门向量。在图10-B中，处理器确定仓门特征即包括点M1’、点M2’构成的第一仓门向量和点M7’、点M8’构成的第二仓门向量。或者，处理器确定仓门特征为包括点M3’、点M4’构成的第三仓门向量和点M5’、点M6’构成的第四仓门向量。
在图10-B中，点M1’（x3,y3）、点M2’（x4,y4）构成的第一仓门向量的计算公式为：
同理，点M7’（x5,y5）、点M8’（x6,y6）构成的第二仓门向量的计算公式为：
在图10-B中，处理器分别计算门框向量和第一仓门向量、第二仓门向量的夹角，得到第一夹角和第二夹角。在图10-B中，门框向量和第一仓门向量、第二仓门向量之间的第一夹角、第二夹角的计算公式分别为：
其中，计算得到的和/>的范围在0-180°之间，最终可以表示为仓门开、关两种状态，当θ1或者θ2的夹角值越大，说明仓门打开的程度越大。在图10-B中，处理器设定一个可调整的第一角度阈值，可以灵活地对仓门打开的状态进行判断。在图10-B中，第一夹角和第二夹角的值均大于第一角度阈值，处理器确定仓门状态为打开。
图11为本发明提供的一种电子设备的结构图。参阅图11，图11提供一种电子设备，包括处理器以及存储器。存储器存储有计算机指令，当计算机指令被处理器执行时，使得处理器执行所述计算机指令从而实现如图1所示的方法以及细化方案。
应该理解，上述的装置实施例仅是示意性的，本发明披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
另外，若无特别说明，在本发明各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，所述处理器或芯片可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，所述片上缓存、片外内存、存储器可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-AccessMemory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方 HMC（Hybrid Memory Cube）等等。
所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行如图1所示的方法以及细化方案。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本发明的方法及其核心思想。同时，本领域技术人员依据本发明的思想，基于本发明的具体实施方式及应用范围上做出的改变或变形之处，都属于本发明保护的范围。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种仓门异动识别方法，其特征在于，包括：
根据监控视频获得监控图像帧；
根据所述监控图像帧确定仓门区域图像和门框特征；
基于所述仓门区域图像确定仓门特征；
根据所述门框特征和所述仓门特征确定仓门状态。
2.如权利要求1所述的方法，其特征在于，根据所述监控图像帧确定仓门区域图像和门框特征包括：
根据所述监控图像帧确定门框关键点坐标集合；
根据所述门框关键点坐标集合确定过渡区域图像和所述门框特征；
根据所述过渡区域图像确定仓门区域图像。
3.如权利要求2所述的方法，其特征在于，根据所述过渡区域图像确定仓门区域图像包括：
对所述过渡区域图像进行质量判断；
在所述过渡区域图像的图像质量满足图像质量指标的情况下，将所述过渡区域图像作为所述仓门区域图像；或
在所述过渡区域图像的图像质量不满足图像质量指标的情况下，将所述监控图像帧的下一帧作为新的所述监控图像帧，返回步骤：根据所述监控图像帧获得门框边缘坐标点集合。
4.如权利要求1所述的方法，其特征在于，根据所述仓门区域图像确定仓门特征包括：
根据所述仓门区域图像获得仓门关键点坐标集合；
根据所述仓门关键点坐标集合确定仓门特征。
5.如权利要求4所述的方法，其特征在于，根据所述仓门区域图像获得仓门关键点坐标集合包括：
定义一组关键点位置序号；
根据所述关键点位置序号对仓门图像数据集进行关键点标注，以生成仓门训练数据集；
利用所述仓门训练数据集训练仓门关键点定位模型；
利用训练后的所述仓门关键点定位模型对所述仓门区域图像进行分析，以得到仓门关键点坐标集合。
6.如权利要求5所述的方法，其特征在于，利用训练后的所述仓门关键点定位模型对所述仓门区域图像进行分析，以得到仓门关键点坐标集合包括：
根据所述仓门区域图像获得过渡坐标集合；
根据所述过渡坐标集合确定置信坐标集合；
在所述置信坐标集合中的坐标点的置信度均大于置信度阈值的情况下，将所述过渡坐标集合作为所述仓门关键点坐标集合；或
在所述置信坐标集合中的坐标点的置信度存在小于所述置信度阈值的情况下，将所述监控图像帧的下一帧作为新的所述监控图像帧，返回步骤：根据所述监控图像帧获得门框关键点坐标集合。
7.如权利要求1-6任一者所述的方法，其特征在于，所述门框特征包括门框向量，所述仓门特征包括至少一个仓门向量。
8.如权利要求7所述的方法，其特征在于，根据所述门框特征和所述仓门特征确定仓门状态包括：
计算所述门框向量和所述至少一个仓门向量之间的仓门夹角，以得到仓门夹角集合；
根据所述仓门夹角集合确定仓门状态。
9.如权利要求8所述的方法，其特征在于，根据所述夹角集合确定仓门状态包括：
在所述仓门夹角集合中的任意一个仓门夹角大于第一角度阈值的情况下，确定所述仓门状态为打开；或
在所述仓门夹角集合中的所有仓门夹角都小于所述第一角度阈值的情况下，确定所述仓门状态为关闭。
10.一种仓门异动识别装置，其特征在于，包括：
初始化模块，用于根据监控视频获得监控图像帧；
图像处理模块，用于根据所述监控图像帧确定仓门区域图像和门框特征；基于所述仓门区域图像确定仓门特征；
状态判断模块，用于根据所述门框特征和所述仓门特征确定仓门状态。
11.一种电子设备，其特征在于，包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-9任一项所述的方法。
12.一种非瞬时性计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311754499.0A CN117437601A (zh) | 2023-12-20 | 2023-12-20 | 仓门异动识别方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311754499.0A CN117437601A (zh) | 2023-12-20 | 2023-12-20 | 仓门异动识别方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117437601A true CN117437601A (zh) | 2024-01-23 |
Family
ID=89553846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311754499.0A Pending CN117437601A (zh) | 2023-12-20 | 2023-12-20 | 仓门异动识别方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437601A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723706A (zh) * | 2020-06-09 | 2020-09-29 | 杭州古德微机器人有限公司 | 基于树莓派的厢式货车厢门开度监控装置及系统 |
| CN116109915A (zh) * | 2023-04-17 | 2023-05-12 | 济宁能源发展集团有限公司 | 一种集装箱箱门状态智能识别方法 |
| CN116469054A (zh) * | 2023-04-23 | 2023-07-21 | 浪潮数字粮储科技有限公司 | 一种针对粮库仓门的异常监测方法、设备及介质 |
| CN117197440A (zh) * | 2023-09-26 | 2023-12-08 | 广州高新兴机器人有限公司 | 基于机器人的平开门开合程度的检测方法、介质及设备 |
-
2023
- 2023-12-20 CN CN202311754499.0A patent/CN117437601A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723706A (zh) * | 2020-06-09 | 2020-09-29 | 杭州古德微机器人有限公司 | 基于树莓派的厢式货车厢门开度监控装置及系统 |
| CN116109915A (zh) * | 2023-04-17 | 2023-05-12 | 济宁能源发展集团有限公司 | 一种集装箱箱门状态智能识别方法 |
| CN116469054A (zh) * | 2023-04-23 | 2023-07-21 | 浪潮数字粮储科技有限公司 | 一种针对粮库仓门的异常监测方法、设备及介质 |
| CN117197440A (zh) * | 2023-09-26 | 2023-12-08 | 广州高新兴机器人有限公司 | 基于机器人的平开门开合程度的检测方法、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416250B (zh) | 人数统计方法及装置 | |
| Chen et al. | A hierarchical model incorporating segmented regions and pixel descriptors for video background subtraction | |
| CN104866616B (zh) | 监控视频目标搜索方法 | |
| CN107967440B (zh) | 一种基于多区域变尺度3d-hof的监控视频异常检测方法 | |
| CN109146912B (zh) | 一种基于目标性分析的视觉目标跟踪方法 | |
| CN103988232B (zh) | 使用运动流形来改进图像匹配 | |
| CN109657581A (zh) | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 | |
| CN111898504A (zh) | 一种基于孪生循环神经网络的目标跟踪方法及系统 | |
| Zhu et al. | A novel recursive Bayesian learning-based method for the efficient and accurate segmentation of video with dynamic background | |
| CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
| CN111882586A (zh) | 一种面向剧场环境的多演员目标跟踪方法 | |
| WO2023035538A1 (zh) | 车辆损伤的检测方法、装置、设备及存储介质 | |
| CN111383244A (zh) | 一种目标检测跟踪方法 | |
| CN112634254A (zh) | 绝缘子缺陷检测方法及相关装置 | |
| CN116419059A (zh) | 基于行为标签的自动监控方法、装置、设备及介质 | |
| Huang et al. | Superpixel-based change detection in high resolution sar images using region covariance features | |
| Yang et al. | Video anomaly detection for surveillance based on effective frame area | |
| CN117437601A (zh) | 仓门异动识别方法、装置及电子设备 | |
| JP5318664B2 (ja) | 対象物検知装置 | |
| Zhu | Moving Objects Detection and Segmentation Based on Background Subtraction and Image Over-Segmentation. | |
| CN114494999B (zh) | 一种双分支联合型目标密集预测方法及系统 | |
| CN106372650B (zh) | 一种基于运动预测的压缩跟踪方法 | |
| CN112199984B (zh) | 一种大尺度遥感图像的目标快速检测方法 | |
| Zhu et al. | [Retracted] Basketball Object Extraction Method Based on Image Segmentation Algorithm | |
| Ma | [Retracted] Research on Sports Video Image Based on Clustering Extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |