CN117576778A - 基于视频流的厂区异常行为监测方法及系统、电子设备 - Google Patents
基于视频流的厂区异常行为监测方法及系统、电子设备 Download PDFInfo
- Publication number
- CN117576778A CN117576778A CN202311412663.XA CN202311412663A CN117576778A CN 117576778 A CN117576778 A CN 117576778A CN 202311412663 A CN202311412663 A CN 202311412663A CN 117576778 A CN117576778 A CN 117576778A
- Authority
- CN
- China
- Prior art keywords
- person
- video
- target
- adjacent frames
- preset threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 49
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 230000006399 behavior Effects 0.000 claims abstract description 40
- 238000001931 thermography Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000005856 abnormality Effects 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种基于视频流的厂区异常行为监测方法及系统、电子设备，包括：S100、获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；S200、对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；S300、根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。实现了仅通过红外热成像视频数据即可对厂区异常行为进行监测，大大简化了硬件系统，无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性。
Description
技术领域
本发明涉及基于视频流的厂区异常行为监测方案设计技术领域，具体涉及一种基于视频流的厂区异常行为监测方法及系统、电子设备。
背景技术
随着社会发展，厂区的安全监控逐渐成为研究热点，在现有技术中，通常在厂区内部上方位置摄像头实时进行视屏拍摄，然后再由值班人员进行监控或事后翻看监控记录。单凭借摄像头采集信息作为监控在功能使用上是比较单一的，另外也存在很多弊端，比如：需要监控人员通过肉眼实时监控，但由于人眼容易疲劳，会丢失很多信息，容易发生漏检的情况；采集到的数据多于事后的调查取证，无法实现实时报警功能。
因此，现有技术还有待进一步发展。
发明内容
本发明的目的在于克服上述技术不足，提供一种基于视频流的厂区异常行为监测方法及系统、电子设备，以解决现有技术存在的问题。
为达到上述技术目的，根据本发明的第一方面，本发明提供了一种基于视频流的厂区异常行为监测方法，包括：
S100、获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；
S200、对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；
S300、根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。
具体的，所述对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，具体为：
对相邻两帧视频图像进行灰度处理，判断相邻两帧视频图像中是否均存在灰度值大于或等于第四预设阈值的像素点，若存在，则将相邻两帧视频图像中灰度值大于或等于第四预设阈值的像素点确定为目标点，根据目标点分别在相邻两帧视频图像中确定第一目标范围和第二目标范围，所述第一目标范围和第二目标范围需要分别包括相邻两帧视频图像内的所有目标点，根据第一目标范围和第二目标范围分别建立第一目标搜索框和第二目标搜索框，并分别计算第一目标搜索框和第二目标搜索框的面积差值，判断第一目标搜索框和第二目标搜索框的面积差值的绝对值是否大于或等于第二预设阈值，并根据判断结果判定相邻两帧视频图像中是否存在指示同一人员的目标图像。
具体的，所述判断第一目标搜索框和第二目标搜索框的面积差值的绝对值是否大于或等于第二预设阈值，并根据判断结果判定相邻两帧视频图像中是否存在指示同一人员的目标图像，包括：
若第一目标搜索框和第二目标搜索框的面积差值大于或等于第二预设阈值，判定相邻两帧视频图像中不存在指示同一人员的目标图像；
若第一目标搜索框和第二目标搜索框的面积差值小于第二预设阈值，判定相邻两帧视频图像中存在指示同一人员的目标图像。
具体的，所述根据坐标数据计算该人员的移动速度，具体为：
预先测量并计算从红外热成像视频数据中截取的视频图像所指示的厂区实际区域的面积，记为第一面积，计算视频图像的尺寸，根据视频图像的尺寸计算视频图像的面积，记为第二面积，计算第一面积和第二面积的比值，记为第一比值，计算第一目标搜索框中该人员的第一质心坐标以及第二目标搜索框中该人员的第二质心坐标，根据第一质心坐标、第二质心坐标计算第一质心坐标和第二质心坐标的欧式距离，根据第一质心坐标和第二质心坐标的欧式距离和第一比值，计算该人员实际移动的直线距离，根据预设频率计算相邻两帧视频图像的获取时间间隔，根据该人员实际移动的直线距离、获取时间间隔计算该人员的移动速度。
具体的，所述判断该人员的移动速度是否大于或等于第一预设阈值，根据判断结果判定该人员行为是否存在异常，包括：
若该人员的移动速度是否大于或等于第一预设阈值，判定该人员行为存在异常；
若该人员的移动速度是否小于第一预设阈值，判定该人员行为不存在异常。
具体的，所述方法还包括：
若该人员的移动速度小于第一预设阈值，判断该人员的移动速度是否大于或等于第三预设阈值，若是，则控制计数器记录一次有关于该人员的行为疑似异常，记录在预设时间间隔内该人员的行为疑似异常的次数，判断在预设时间间隔内该人员的行为疑似异常的次数是否大于或等于第五预设阈值，根据判断结果判定该人员行为是否存在异常。
具体的，所述方法还包括：
若在预设时间间隔内该人员的行为疑似异常的次数大于或等于第五预设阈值，判定该人员行为存在异常；
若在预设时间间隔内该人员的行为疑似异常的次数小于第五预设阈值，判定该人员行为不存在异常。
具体的，所述方法还包括：
若判定该人员行为存在异常，输出有关于厂区内存在人员行为异常的报警信号。
根据本发明的第二方面，提供一种基于视频流的厂区异常行为监测系统，包括：
获取模块，用于获取与厂区内人员行为相关的红外热成像视频数据；
控制模块，用于将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；或用于对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；或用于根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。
根据本发明的第三方面，提供一种电子设备，包括：存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述的基于视频流的厂区异常行为监测方法。
有益效果：
本发明通过获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。解决了需要监控人员通过肉眼实时监控、但由于人眼容易疲劳、会丢失很多信息、容易发生漏检的情况、采集到的数据多于事后的调查取证、无法实现实时报警功能的问题，实现了仅通过红外热成像视频数据即可对厂区异常行为进行监测，很大程度上简化了硬件系统，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性、大大拓展了本发明的应用场景。
附图说明
图1是本发明具体实施例中提供的基于视频流的厂区异常行为监测方法的流程图；
图2是本发明具体实施例中提供的基于视频流的厂区异常行为监测系统的系统结构图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。此外，以下实施例中提到的方向用词，例如“上”“下”“左”“右”等仅是参考附图的方向，因此，使用的方向用词是用来说明而非限制本发明创造。
下面结合附图和较佳的实施例对本发明作进一步说明。
请参阅图1，本发明提供一种基于视频流的厂区异常行为监测方法，包括：
S100、获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像。
这里需要说明的是，所述步骤S100之前包括：
预设第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值、第五预设阈值、预设频率和预设时间间隔。
可以理解的是，所述第一预设阈值、第三预设阈值可以根据厂区的具体安保需求具体设置，本发明不对第一预设阈值的数值做具体要求，优选地，本发明将所述第一预设阈值优选为8米/秒，本发明将第三预设阈值优选为5米/秒，优选地，将所述第一预设阈值优选为8米/秒、将第三预设阈值优选为5米/秒为本申请技术人员通过大量实验得出，能够较好的区分该人员行为是否存在异常。
可以理解的是，本发明第四预设阈值小于人体灰度值范围的下限，本发明第四预设阈值可根据实际需要具体设备，本发明不对第四预设阈值的具体数值做要求，只要能实现区分该像素点是不是指示人体的目标点即可。
可以理解的是，本发明第二预设阈值可根据视频图像的尺寸具体设置，本发明不对第二预设阈值的具体数值做要求。
可以理解的是，本发明将预设频率优选为每秒1张图像，本发明将所述第五预设阈值优选为3次，本发明将预设时间间隔优选为10秒，可以理解的是，本发明将所述第五预设阈值优选为3次、将预设时间间隔优选为10秒、将预设频率优选为每秒1张图像，为本发明技术人员通过大量实验得出，能够较好的区分该人员行为是否存在异常。
S200、对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据。
具体的，所述对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，具体为：
对相邻两帧视频图像进行灰度处理，判断相邻两帧视频图像中是否均存在灰度值大于或等于第四预设阈值的像素点，若存在，则将相邻两帧视频图像中灰度值大于或等于第四预设阈值的像素点确定为目标点，根据目标点分别在相邻两帧视频图像中确定第一目标范围和第二目标范围，所述第一目标范围和第二目标范围需要分别包括相邻两帧视频图像内的所有目标点，根据第一目标范围和第二目标范围分别建立第一目标搜索框和第二目标搜索框，并分别计算第一目标搜索框和第二目标搜索框的面积差值，判断第一目标搜索框和第二目标搜索框的面积差值的绝对值是否大于或等于第二预设阈值，并根据判断结果判定相邻两帧视频图像中是否存在指示同一人员的目标图像。
具体的，所述判断第一目标搜索框和第二目标搜索框的面积差值的绝对值是否大于或等于第二预设阈值，并根据判断结果判定相邻两帧视频图像中是否存在指示同一人员的目标图像，包括：
若第一目标搜索框和第二目标搜索框的面积差值大于或等于第二预设阈值，判定相邻两帧视频图像中不存在指示同一人员的目标图像；
若第一目标搜索框和第二目标搜索框的面积差值小于第二预设阈值，判定相邻两帧视频图像中存在指示同一人员的目标图像。
可以理解的是，若第一目标搜索框和第二目标搜索框指代的目标为同一人，则第一目标搜索框和第二目标搜索框的面积差值应较小，这里需要说明的是，若第一目标搜索框和第二目标搜索框的面积差值大于或等于第二预设阈值，则证明在短时间内，第一目标搜索框和第二目标搜索框的面积变化较大，则可以判断第一目标搜索框和第二目标搜索框指代的目标不为同一人，若第一目标搜索框和第二目标搜索框的面积差值小于第二预设阈值，则证明在短时间内，第一目标搜索框和第二目标搜索框的面积变化较小，则可以判断第一目标搜索框和第二目标搜索框指代的目标为同一人。
S300、根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。
具体的，所述根据坐标数据计算该人员的移动速度，具体为：
预先测量并计算从红外热成像视频数据中截取的视频图像所指示的厂区实际区域的面积，记为第一面积，计算视频图像的尺寸，根据视频图像的尺寸计算视频图像的面积，记为第二面积，计算第一面积和第二面积的比值，记为第一比值，计算第一目标搜索框中该人员的第一质心坐标以及第二目标搜索框中该人员的第二质心坐标，根据第一质心坐标、第二质心坐标计算第一质心坐标和第二质心坐标的欧式距离，根据第一质心坐标和第二质心坐标的欧式距离和第一比值，计算该人员实际移动的直线距离，根据预设频率计算相邻两帧视频图像的获取时间间隔，根据该人员实际移动的直线距离、获取时间间隔计算该人员的移动速度。
具体地，所述计算该人员的质心坐标包括：
根据原始图像灰度值的均值和标准差对所述原始图像的灰度值做分段线性变化，得到当前帧图像的8比特单通道图像的各点的灰度值，根据当前帧图像的8比特单通道图像的各点的灰度值计算得到目标质心坐标。
所述分段线性变化的公式为：
其中，μ和σ分别为原始图像灰度值的均值和标准差，x为原始图像的各点的灰度值，y为线性变换后得到的8比特单通道图像各点的灰度值，为向下取整运算。
所述质心定位计算公式为：
其中，M和N分别表示目标搜索框的宽度和高度，(Mmin,Nmin)，和(Xmax,Ymax)分别表示目标搜索框的左上角坐标和右下角坐标,Iij为所述矩形区域内像素点的灰度值，i为像素点的行位置，j为像素点的列位置，(Xc,Yc)表示质心坐标。所述目标搜索框的面积为目标搜索框的高度和宽度的乘积。
具体的，所述判断该人员的移动速度是否大于或等于第一预设阈值，根据判断结果判定该人员行为是否存在异常，包括：
若该人员的移动速度是否大于或等于第一预设阈值，判定该人员行为存在异常；
若该人员的移动速度是否小于第一预设阈值，判定该人员行为不存在异常。
这里需要说明的是，若若该人员的移动速度是否大于或等于第一预设阈值，证明该人员在1秒内的速度极大，可能为盗窃人员，判定该人员行为存在异常。
具体的，所述方法还包括：
若该人员的移动速度小于第一预设阈值，判断该人员的移动速度是否大于或等于第三预设阈值，若是，则控制计数器记录一次有关于该人员的行为疑似异常，记录在预设时间间隔内该人员的行为疑似异常的次数，判断在预设时间间隔内该人员的行为疑似异常的次数是否大于或等于第五预设阈值，根据判断结果判定该人员行为是否存在异常。
具体的，所述方法还包括：
若在预设时间间隔内该人员的行为疑似异常的次数大于或等于第五预设阈值，判定该人员行为存在异常；
若在预设时间间隔内该人员的行为疑似异常的次数小于第五预设阈值，判定该人员行为不存在异常。
这里需要说明的是，若在预设时间间隔内该人员的行为疑似异常的次数大于或等于第五预设阈值，即在预设时间间隔内，该人员的移动速度相较于第一预设阈值虽然较小，当相比于正常行为仍然较大，且相比于正常行为，该人员在预设时间间隔内的移动速度较大的次数较多，可能为盗窃人员，判定该人员行为存在异常。
具体的，所述方法还包括：
若判定该人员行为存在异常，输出有关于厂区内存在人员行为异常的报警信号。进一步提高了本发明的智能化程度、可靠性和可用性。
这里需要说明的是，本发明通过获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。解决了需要监控人员通过肉眼实时监控、但由于人眼容易疲劳、会丢失很多信息、容易发生漏检的情况、采集到的数据多于事后的调查取证、无法实现实时报警功能的问题，实现了仅通过红外热成像视频数据即可对厂区异常行为进行监测，很大程度上简化了硬件系统，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性、大大拓展了本发明的应用场景。
请参阅图2，本发明提供了另一实施例，本实施例提供了一种基于视频流的厂区异常行为监测系统，所述基于视频流的厂区异常行为监测系统包括：
获取模块100，用于获取与厂区内人员行为相关的红外热成像视频数据。
可以理解的是，本发明所述获取模块100包括红外热成像摄像装置，所述红外热成像摄像装置设置于厂区内部的上方，用于监控厂区内部。
控制模块200，用于将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；或用于对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；或用于根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。
可以理解的是，本发明通过获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。解决了需要监控人员通过肉眼实时监控、但由于人眼容易疲劳、会丢失很多信息、容易发生漏检的情况、采集到的数据多于事后的调查取证、无法实现实时报警功能的问题，实现了仅通过红外热成像视频数据即可对厂区异常行为进行监测，很大程度上简化了硬件系统，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性、大大拓展了本发明的应用场景。
在优选实施例中，本申请还提供了一种电子设备，所述电子设备包括：
存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现所述的基于视频流的厂区异常行为监测方法。该计算机设备可以广义地为服务器、终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。
本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明实施例的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。
本领域普通技术人员可以理解，本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。
可以理解的是，本发明通过获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。解决了需要监控人员通过肉眼实时监控、但由于人眼容易疲劳、会丢失很多信息、容易发生漏检的情况、采集到的数据多于事后的调查取证、无法实现实时报警功能的问题，实现了仅通过红外热成像视频数据即可对厂区异常行为进行监测，很大程度上简化了硬件系统，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性、大大拓展了本发明的应用场景。
以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种基于视频流的厂区异常行为监测方法，其特征在于，所述方法包括：
S100、获取与厂区内人员行为相关的红外热成像视频数据，将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；
S200、对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；
S300、根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。
2.根据权利要求1所述的基于视频流的厂区异常行为监测方法，其特征在于，所述对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，具体为：
对相邻两帧视频图像进行灰度处理，判断相邻两帧视频图像中是否均存在灰度值大于或等于第四预设阈值的像素点，若存在，则将相邻两帧视频图像中灰度值大于或等于第四预设阈值的像素点确定为目标点，根据目标点分别在相邻两帧视频图像中确定第一目标范围和第二目标范围，所述第一目标范围和第二目标范围需要分别包括相邻两帧视频图像内的所有目标点，根据第一目标范围和第二目标范围分别建立第一目标搜索框和第二目标搜索框，并分别计算第一目标搜索框和第二目标搜索框的面积差值，判断第一目标搜索框和第二目标搜索框的面积差值的绝对值是否大于或等于第二预设阈值，并根据判断结果判定相邻两帧视频图像中是否存在指示同一人员的目标图像。
3.根据权利要求2所述的基于视频流的厂区异常行为监测方法，其特征在于，所述判断第一目标搜索框和第二目标搜索框的面积差值的绝对值是否大于或等于第二预设阈值，并根据判断结果判定相邻两帧视频图像中是否存在指示同一人员的目标图像，包括：
若第一目标搜索框和第二目标搜索框的面积差值大于或等于第二预设阈值，判定相邻两帧视频图像中不存在指示同一人员的目标图像；
若第一目标搜索框和第二目标搜索框的面积差值小于第二预设阈值，判定相邻两帧视频图像中存在指示同一人员的目标图像。
4.根据权利要求2所述的基于视频流的厂区异常行为监测方法，其特征在于，所述根据坐标数据计算该人员的移动速度，具体为：
预先测量并计算从红外热成像视频数据中截取的视频图像所指示的厂区实际区域的面积，记为第一面积，计算视频图像的尺寸，根据视频图像的尺寸计算视频图像的面积，记为第二面积，计算第一面积和第二面积的比值，记为第一比值，计算第一目标搜索框中该人员的第一质心坐标以及第二目标搜索框中该人员的第二质心坐标，根据第一质心坐标、第二质心坐标计算第一质心坐标和第二质心坐标的欧式距离，根据第一质心坐标和第二质心坐标的欧式距离和第一比值，计算该人员实际移动的直线距离，根据预设频率计算相邻两帧视频图像的获取时间间隔，根据该人员实际移动的直线距离、获取时间间隔计算该人员的移动速度。
5.根据权利要求1所述的基于视频流的厂区异常行为监测方法，其特征在于，所述判断该人员的移动速度是否大于或等于第一预设阈值，根据判断结果判定该人员行为是否存在异常，包括：
若该人员的移动速度是否大于或等于第一预设阈值，判定该人员行为存在异常；
若该人员的移动速度是否小于第一预设阈值，判定该人员行为不存在异常。
6.根据权利要求5所述的基于视频流的厂区异常行为监测方法，其特征在于，所述方法还包括：
若该人员的移动速度小于第一预设阈值，判断该人员的移动速度是否大于或等于第三预设阈值，若是，则控制计数器记录一次有关于该人员的行为疑似异常，记录在预设时间间隔内该人员的行为疑似异常的次数，判断在预设时间间隔内该人员的行为疑似异常的次数是否大于或等于第五预设阈值，根据判断结果判定该人员行为是否存在异常。
7.根据权利要求6所述的基于视频流的厂区异常行为监测方法，其特征在于，所述方法还包括：
若在预设时间间隔内该人员的行为疑似异常的次数大于或等于第五预设阈值，判定该人员行为存在异常；
若在预设时间间隔内该人员的行为疑似异常的次数小于第五预设阈值，判定该人员行为不存在异常。
8.根据权利要求1所述的基于视频流的厂区异常行为监测方法，其特征在于，所述方法还包括：
若判定该人员行为存在异常，输出有关于厂区内存在人员行为异常的报警信号。
9.一种基于视频流的厂区异常行为监测系统，其特征在于，包括：
获取模块，用于获取与厂区内人员行为相关的红外热成像视频数据；
控制模块，用于将所述红外热成像视频数据根据预设频率进行截取，得到相邻两帧视频图像；或用于对相邻两帧视频图像进行处理并识别，判断相邻两帧视频图像中是否存在指示同一人员的目标图像，若存在，获取目标图像的坐标数据；或用于根据坐标数据计算该人员的移动速度，判断该人员的移动速度是否大于或等于第一预设阈值，并根据判断结果判定该人员行为是否存在异常。
10.一种电子设备，其特征在于，包括：
存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至8中任意一项所述的基于视频流的厂区异常行为监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311412663.XA CN117576778A (zh) | 2023-10-27 | 2023-10-27 | 基于视频流的厂区异常行为监测方法及系统、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311412663.XA CN117576778A (zh) | 2023-10-27 | 2023-10-27 | 基于视频流的厂区异常行为监测方法及系统、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117576778A true CN117576778A (zh) | 2024-02-20 |
Family
ID=89861444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311412663.XA Pending CN117576778A (zh) | 2023-10-27 | 2023-10-27 | 基于视频流的厂区异常行为监测方法及系统、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576778A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117827013A (zh) * | 2024-03-05 | 2024-04-05 | 青岛三诚众合智能设备科技有限公司 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
| CN117823232A (zh) * | 2024-03-04 | 2024-04-05 | 邹城市宇光煤矿机械有限公司 | 一种煤矿生产安全监控方法及系统、电子设备 |
| CN117876970A (zh) * | 2024-03-11 | 2024-04-12 | 青岛三诚众合智能设备科技有限公司 | 一种基于图像处理的车间智能管理方法及系统、电子设备 |
-
2023
- 2023-10-27 CN CN202311412663.XA patent/CN117576778A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117823232A (zh) * | 2024-03-04 | 2024-04-05 | 邹城市宇光煤矿机械有限公司 | 一种煤矿生产安全监控方法及系统、电子设备 |
| CN117827013A (zh) * | 2024-03-05 | 2024-04-05 | 青岛三诚众合智能设备科技有限公司 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
| CN117827013B (zh) * | 2024-03-05 | 2024-05-14 | 青岛三诚众合智能设备科技有限公司 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
| CN117876970A (zh) * | 2024-03-11 | 2024-04-12 | 青岛三诚众合智能设备科技有限公司 | 一种基于图像处理的车间智能管理方法及系统、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117576778A (zh) | 基于视频流的厂区异常行为监测方法及系统、电子设备 | |
| US6989745B1 (en) | Sensor device for use in surveillance system | |
| US7242295B1 (en) | Security data management system | |
| US7342489B1 (en) | Surveillance system control unit | |
| CN110494861B (zh) | 基于图像的异常检测方法和系统 | |
| US8743204B2 (en) | Detecting and monitoring event occurrences using fiber optic sensors | |
| US7751647B2 (en) | System and method for detecting an invalid camera in video surveillance | |
| CN110491060B (zh) | 一种机器人及其安全监控方法、装置及存储介质 | |
| CN111738240A (zh) | 区域监测方法、装置、设备及存储介质 | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN112215037B (zh) | 对象追踪方法及装置、电子设备及计算机可读存储介质 | |
| CN114666473B (zh) | 耕地保护用视频监控方法、系统、终端及存储介质 | |
| CN110047092B (zh) | 一种复杂环境下多目标实时跟踪方法 | |
| RU2268497C2 (ru) | Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций | |
| CN113343779B (zh) | 环境异常检测方法、装置、计算机设备和存储介质 | |
| KR20180086048A (ko) | 카메라 및 카메라의 영상 처리 방법 | |
| EP3432575A1 (en) | Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus | |
| CN114218992A (zh) | 异常对象的检测方法及相关装置 | |
| US11832025B2 (en) | System and methods for computerized health and safety assessments | |
| CN117177069B (zh) | 一种基于onvif协议的摄像头自动追踪方法及系统 | |
| CN113392714A (zh) | 一种聚众事件检测方法及系统 | |
| KR100879622B1 (ko) | 비디오 기반 가상 경로 통과 물체 감지 방법 | |
| CN112073652A (zh) | 位置定位设备 | |
| CN116152471A (zh) | 基于视频流的厂区安全生产监管方法及其系统、电子设备 | |
| CN113992860B (zh) | 基于云边协同的行为识别方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |