CN112802302B - 一种基于多源算法的电子围栏方法及系统 - Google Patents

一种基于多源算法的电子围栏方法及系统 Download PDF

Info

Publication number
CN112802302B
CN112802302B CN202011632215.7A CN202011632215A CN112802302B CN 112802302 B CN112802302 B CN 112802302B CN 202011632215 A CN202011632215 A CN 202011632215A CN 112802302 B CN112802302 B CN 112802302B
Authority
CN
China
Prior art keywords
fence
fence area
image
result
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011632215.7A
Other languages
English (en)
Other versions
CN112802302A (zh
Inventor
岳衡
黄晓明
林明晖
丁靖
李杨
高明
尚海一
余乘龙
骆国荣
薛娟萍
周璐
王亚华
邵梦丽
蒋晓琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation And Entrepreneurship Center Of State Grid Zhejiang Electric Power Co ltd
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Innovation And Entrepreneurship Center Of State Grid Zhejiang Electric Power Co ltd
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation And Entrepreneurship Center Of State Grid Zhejiang Electric Power Co ltd, Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Innovation And Entrepreneurship Center Of State Grid Zhejiang Electric Power Co ltd
Priority to CN202011632215.7A priority Critical patent/CN112802302B/zh
Publication of CN112802302A publication Critical patent/CN112802302A/zh
Application granted granted Critical
Publication of CN112802302B publication Critical patent/CN112802302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明公开了一种基于多源算法的电子围栏方法及系统，本申请首先在带有地理信息的图像上标记闭合多边形作为电子围栏区域，并绑定人员与电子围栏的权限信息，将UWB标签获取的位置转换为地理位置，通过射线法判断带有标签的人员是否在地理图像中多边形的内部，并根据权限信息筛选；同时采集覆盖电子围栏区域的摄像头的视频信息，通过改进的yolov4算法检测目标位置，并将目标框下边框中心点作为判别点，通过射线法判断判别点是否在视频图像中多边形的内部，统计进入电子围栏的人员数量，同时结合基于UWB的电子围栏，判别是否发出警告以及警告的类型，记录相关信息，提升了电子围栏的可靠性和高效性。

Description

一种基于多源算法的电子围栏方法及系统
技术领域
本申请属于电子围栏技术领域，具体涉及一种基于多源算法的电子围栏方法及系统。
背景技术
物资仓库是公司或部门物料和各种重要物资的集散地。在电力等行业物资仓库是不可缺少的一环，具有不可替代的作用。物资仓库通常会存在一些危险或者贵重的区域，误入这些区域可能会造成伤亡事故或者对仓库产生经济隐患，因此需要对这些区域建立可靠有效的电子围栏。
现在的物资仓库具有体积大、死角多的特点，一般的监控方法无法全局查看到每一个重要位置；并且普通安防不具备报警功能；而雇佣大量的安防人员成本高，并且对于内部安防人员监控也带来更高的成本；常规使用的实物围栏具有易被损坏和拆卸的危险。
因此电子围栏在物资仓库中的应用越来越多，而现有的电子围栏多采用前端探测围栏，前端探测围栏产生触网、短路、断路状态反馈是否有误入围栏内部，该方式不仅需要组件实物围栏，并且检测的准确率也不高，同时也无法及时留下相应人员的入侵信息，不利于后续的追责。
发明内容
本申请的目的在于提供一种基于多源算法的电子围栏方法及系统，有效提高了电子围栏的有效性，为室内仓库等场景提供了可靠的监控方式。
为实现上述目的，本申请所采取的技术方案为：
一种基于多源算法的电子围栏方法，用于监控电子围栏的围栏区域内是否有人员闯入，所述基于多源算法的电子围栏方法，包括：
步骤1、获取待监控区域的俯视图，对俯视图进行QGIS栅格配准得到具有地理坐标的地理图像，在所述地理图像中标记多边形作为围栏区域；该围栏区域与实际场景中的围栏区域相匹配，且实际场景中的围栏区域的周侧设置有UWB基站；
步骤2、接收UWB标签的位置信息作为地理信息，通过GDAL库反解出地理信息在地理图像中的像素坐标，通过射线法判断像素坐标是否在围栏区域内，并根据UWB标签预配置的进入围栏区域的权限确定围栏区域内是否有人员闯入；
步骤3、采集覆盖围栏区域的图像采集设备的监控图像，基于单应性变换矩阵将地理图像中的围栏区域映射至监控图像中；
步骤4、采用yolov4算法检测监控图像中的人物矩形框，将人物矩形框底边中点作为待检测的像素坐标，通过射线法判断像素坐标是否在围栏区域内；所述yolov4算法的损失函数为S-wish损失函数，所述S-wish损失函数公式为：
Figure GDA0003726214250000021
式中，x为激活层的输入特征；
步骤5、若步骤2中检测出的携带UWB标签的人员进入围栏区域的数量与步骤4中检测出的监控视频下人员进入围栏区域的数量相等，则以步骤2中判断得到的是否有人员闯入的结果为最终结果；否则在步骤2中判断得到的是否有人员闯入的结果的基础上增加判断得到未知人员闯入结果作为最终结果；
步骤6、根据所述最终结果执行相应的警报动作。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所述yolov4算法的边框预测函数为方盒回归函数，所述方盒回归函数为：
Figure GDA0003726214250000022
式中，(tx，ty)、(tw，th)是yolov4算法直接输出的中心坐标和宽高，(bx，by)、(bw，bh)是最终预测框的中心坐标和宽高，(cx，cy)是当前栅格相对于左上角栅格的偏移量，(pw，ph)是锚框的宽高。
作为优选，所述通过射线法判断像素坐标是否在围栏区域内，包括：
Figure GDA0003726214250000031
Figure GDA0003726214250000032
Figure GDA0003726214250000033
Figure GDA0003726214250000034
式中，
Figure GDA0003726214250000035
是通过像素坐标的水平射线与(xi-1,yi-1)和(xi,yi)组成的线段的交点，xi,yi∈P是多边形的顶点坐标，P是顶点集合，s是像素坐标的水平射线与多边形相交的边的个数，b是像素坐标是否在围栏区域内的判断结果；
若s为偶数则b＝0表示像素坐标在多边形外，即像素坐标是在围栏区域外部，若s为奇数则b＝1表示像素坐标在多边形内，即像素坐标是在围栏区域内部。
作为优选，所述根据所述最终结果执行相应的警报动作，包括：
若所述最终结果仅包含步骤2中判断得到的是否有人员闯入的结果，则获取步骤2中判断得到的是否有人员闯入的结果，所述步骤2中判断得到的是否有人员闯入的结果包括有已知人员闯入和无已知人员闯入，若本次判断得到的步骤2中判断得到的是否有人员闯入的结果为无已知人员闯入，则不产生警报；否则开启警报，同时根据闯入人员的UWB标签的位置信息生成闯入人员的轨迹，并获取与轨迹对应时间内图像采集设备采集的监控图像作为视频佐证；
若所述最终结果包含步骤2中判断得到的是否有人员闯入的结果、以及未知人员闯入结果，若本次判断得到的步骤2中判断得到的是否有人员闯入的结果为无已知人员闯入，则开启警报，获取未知人员闯入起止时间内的监控图像作为视频佐证；否则开启警报，同时根据闯入人员的UWB标签的位置信息生成闯入人员的轨迹，并获取与轨迹对应时间内图像采集设备采集的监控图像作为视频佐证，获取未知人员闯入起止时间内的监控图像作为视频佐证。
本申请还提供一种基于多源算法的电子围栏系统，用于监控电子围栏的围栏区域内是否有人员闯入，所述基于多源算法的电子围栏系统包括UWB基站、UWB标签、图像采集设备以及主控制器，其中：
所述UWB基站设置在实际场景中的围栏区域的周侧，所述UWB标签分配给相关人员，且每个UWB标签预配置有进入围栏区域的权限；
所述图像采集设备用于采集覆盖围栏区域的监控图像；
所述主控制器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器读取所述存储器中的计算机程序并运行以实现所述的基于多源算法的电子围栏方法的步骤。
本申请提供的基于多源算法的电子围栏方法及系统，基于UWB标签的授权信息，解决传统电子围栏缺乏权限可靠的权限管理的问题；并且通过UWB定位与图像定位相结合的方式，有效提高了电子围栏的有效性，为室内仓库等场景提供了可靠的监控方式。
附图说明
图1为本申请的基于多源算法的电子围栏方法的流程图；
图2为本申请通过射线法判断像素坐标是否在围栏区域内的示意图；
图3为本申请具体实例中电子围栏系统的组成示意图；
图4为本申请是基于UWB标签显示未报警示意图；
图5为本申请监控图像中实际获取的围栏区域被遮挡的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
其中一个实施例中，提供一种基于多源算法的电子围栏方法，用于监控电子围栏的围栏区域内是否有人员闯入，构建可靠、高效的电子围栏，为区域监控预警提供有利支撑。
如图1所示，本实施例的基于多源算法的电子围栏方法，包括：
步骤1、获取待监控区域的俯视图，对俯视图进行QGIS栅格配准得到具有地理坐标的地理图像，在地理图像中标记多边形作为围栏区域。
俯视图能够最大程度上还原实景，因此本申请基于俯视图建立围栏区域。由于拍摄视野的限制因此拍摄得到的俯视图可能无法直接包含整个待监控区域，因此通过航拍并且拼接需要监控的区域的俯视图。
而通常拼接的图像中的距离和实际会存在一定的误差，因此本实施例通过QGIS进行栅格配准，对图像进行校正，并且使图像具有地理坐标位置。本申请中在地理图像中标记的围栏区域与实际场景中的围栏区域相匹配，且实际场景中的围栏区域的周侧设置有UWB基站，用于对UWB标签进行定位。
步骤2、接收UWB标签的位置信息作为地理信息，通过GDAL库反解出地理信息在地理图像中的像素坐标，通过射线法判断像素坐标是否在围栏区域内，并根据UWB标签预配置的进入围栏区域的权限确定围栏区域内是否有人员闯入。
本申请将UWB标签的位置信息转化为像素坐标，即方便后续进行人员是否在围栏区域内的判断，也更加方便直观的在地理图像上显示，当然在其他实施例中也可以直接使用UWB标签的位置信息。
在实际应用中并非限制任何人均不得进入围栏区域，而是会对人员设置权限，具有权限的人员被允许进入围栏区域，即具有权限的人员进行围栏区域不视为围栏区域内存在人员闯入现象。
本实施例将人员权限记录在UWB标签中，根据个人ID号绑定人员是否可以进出电子围栏区域：
Figure GDA0003726214250000051
式中，r表示当前UWB标签对应人员的权限，r＝0表示无权限，r＝1表示有权限，R是具有权限的ID号的集合。
在判断人员是否位于围栏区域内时，可以将人员的像素坐标与围栏区域所对应的像素坐标进行比较得到。但由于该比较方式需要遍历围栏区域的各顶点坐标，所需时间较长。
如图2所示，为了提高人员是否位于围栏区域内判断的准确性、高效性，在一个实施例中，提供一种判断方式如下：
Figure GDA0003726214250000052
Figure GDA0003726214250000053
Figure GDA0003726214250000054
Figure GDA0003726214250000061
式中，
Figure GDA0003726214250000062
是二维场景下通过像素坐标的水平射线与(xi-1,yi-1)和(xi,yi)组成的线段的交点，xi,yi∈P是多边形的顶点坐标，P是顶点集合，s是像素坐标的水平射线与多边形相交的边的个数，b是像素坐标是否在围栏区域内的判断结果。
若s为偶数则b＝0表示像素坐标在多边形外，即像素坐标是在围栏区域外部，若s为奇数则b＝1表示像素坐标在多边形内，即像素坐标是在围栏区域内部。
本实施例基于点线相交的规律，过像素坐标做与多边形任意一条边相交的射线，通过判断该射线与整个多边形的交点确定像素坐标是否位于多边形内部，该判断方式不仅简易且可靠性高。
由于多边形的边具有不同角度，因此水平射线与边的交点存在部分特殊情况，对于特殊情况下，本实施例采用特定的判别方式，以提高是否位于围栏区域内部的准确度。若水平射线与(xi-1,yi-1)和(xi,yi)组成的线段的端点相交，若该端点为线段中纵坐标较大的端点，则将与该端点相交的交点计入交点总数；否则不计入交点总数；若水平射线与水平边相交，则该情况不做交点考虑，直接判定为像素坐标对应的人员在围栏区域外部。
步骤3、采集覆盖围栏区域的图像采集设备的监控图像，基于单应性变换矩阵将地理图像中的围栏区域映射至监控图像中。
采集覆盖电子围栏区域的摄像头的视频信息，可采用仓库内已有的摄像头，不再增加额外成本。通过相机标定得到的相机的单应性变换矩阵H，通过单应性变换矩阵H将俯视图中电子围栏区域的顶点映射到监控图像的图像坐标系中。
其中像素匹配标定为图像处理领域较为成熟的技术，本实施例中不做限定。
步骤4、采用yolov4算法检测监控图像中的人物矩形框，将人物矩形框底边中点作为待检测的像素坐标，通过射线法判断像素坐标是否在围栏区域内；
yolov4算法在卷积过程中通常采用mish函数作为激活函数，具有一定的准确性和泛化能力，然而mish函数导致算法训练和测试时时间成本增加，为此本实施例使用一种和mish函数波形相似的损失函数S-wish，在提升推理速度的同时，保持了推理的精度。S-wish损失函数公式为：
Figure GDA0003726214250000063
式中，x为激活层的输入特征。
并且本实施例中yolov4算法的边框预测函数为方盒回归函数，所述方盒回归函数为：
Figure GDA0003726214250000071
式中，(tx，ty)、(tw，th)是yolov4算法直接输出的中心坐标和宽高，(bx，by)、(bw，bh)是最终预测框的中心坐标和宽高，(cx，cy)是当前栅格相对于左上角栅格的偏移量，(pw，ph)是锚框的宽高。
步骤5、若步骤2中检测出的携带UWB标签的人员进入围栏区域的数量与步骤4中检测出的监控视频下人员进入围栏区域的数量相等，则以步骤2中判断得到的是否有人员闯入的结果为最终结果；否则在步骤2中判断得到的是否有人员闯入的结果的基础上增加判断得到未知人员闯入结果作为最终结果。
步骤6、根据所述最终结果执行相应的警报动作。
本申请中的步骤2主要判断携带UWB标签的人员进入围栏区域的情况，而步骤4主要判断人员进入围栏区域的情况，因为UWB标签预设有权限，因此可以将进入围栏区域的人员分为有权限的已知人员、无权限的已知人员、未知人员，有权限的已知人员进入围栏区域为正常进入，不做处理；无权限的已知人员进入围栏区域为已知人员闯入，需要产生警报；未知人员进入围栏区域为未知人员闯入，需要产生警报。并且已知人员闯入和未知人员闯入的警报等级可以设置不同，以及时区分闯入情况、采取对应措施。
根据最终结果执行警报动作可以是有已知人员闯入和未知人员闯入即产生警报；否则不产生警报。在一个实施例中，为了及时保留人员闯入的证据，提供一种根据最终结果执行相应的警报动作，包括：
若最终结果仅包含步骤2中判断得到的是否有人员闯入的结果，则获取步骤2中判断得到的是否有人员闯入的结果，步骤2中判断得到的是否有人员闯入的结果包括有已知人员闯入和无已知人员闯入，若本次判断得到的步骤2中判断得到的是否有人员闯入的结果为无已知人员闯入，则不产生警报；否则开启警报，同时根据闯入人员的UWB标签的位置信息生成闯入人员的轨迹，并获取与轨迹对应时间内图像采集设备采集的监控图像作为视频佐证。
若最终结果包含步骤2中判断得到的是否有人员闯入的结果、以及未知人员闯入结果，若本次判断得到的步骤2中判断得到的是否有人员闯入的结果为无已知人员闯入，则开启警报，获取未知人员闯入起止时间内的监控图像作为视频佐证；否则开启警报，同时根据闯入人员的UWB标签的位置信息生成闯入人员的轨迹，并获取与轨迹对应时间内图像采集设备采集的监控图像作为视频佐证，获取未知人员闯入起止时间内的监控图像作为视频佐证。
本实施例中提供的警报动作不仅包含的开启警报，还及时记录的人员的轨迹和视频证据，以便于后续对闯入动作的追溯。
本实施例首先在带有地理信息的图像上标记闭合多边形作为电子围栏区域，并绑定人员与电子围栏的权限信息，将UWB标签获取的位置转换为地理位置，通过射线法判断带有标签的人员是否在地理图像中多边形的内部，并根据权限信息筛选；同时采集覆盖电子围栏区域的摄像头的视频信息，通过改进的yolov4算法检测目标位置，并将目标框下边框中心点作为判别点，通过射线法判断判别点是否在视频图像中多边形的内部，统计进入电子围栏的人员数量，同时结合基于UWB的电子围栏，判别是否发出警告以及警告的类型，记录相关信息，提升了电子围栏的可靠性和高效性。
在另一个实施例中，提供一种基于多源算法的电子围栏系统，基于多源算法的电子围栏系统包括UWB基站、UWB标签、图像采集设备以及主控制器，其中：UWB基站设置在实际场景中的围栏区域的周侧，所述UWB标签分配给相关人员，且每个UWB标签预配置有进入围栏区域的权限；图像采集设备用于采集覆盖围栏区域的监控图像。
主控制器即一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。
该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多源算法的电子围栏方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
为了提升对本申请的理解，在一个实施例中，提供一基于多源算法的电子围栏方法的一个具体实例。
如图3所示，划分出一个上边长为2m，下边长为1.5m，高位长为2m的电子围栏区域。图像接收装置采用单个海康威视DS-2CD213XAWD-AC枪机，采用localsense牌的UWB装置。采用的计算机，内存为32G，CPU为Intel i7-8700，WIN 10操作系统，显卡为2080。
通过航拍并且拼接需要监控的区域的俯视图，通常拼接出的图像中的距离和实际会有一定的误差，通过全站仪测量实际图像中的距离，并通过QGIS进行栅格配准，对图像进行校正，使图像具有地理坐标位置。在地理图像上使用边框标记出多边形作为围栏区域，并绑定人员进程电子围栏的权限信息。
转换UWB的位置信息为地理信息，在图像上通过GDAL库反解出像素坐标，通过射线法判断人员是否在地理图像中多边形的内部，并通过权限管理系统筛选，射线法如下所示：
Figure GDA0003726214250000091
Figure GDA0003726214250000092
Figure GDA0003726214250000093
Figure GDA0003726214250000094
其中，式中
Figure GDA0003726214250000095
是通过标签坐标的水平射线与(xi-1,yi-1)和(xi,yi)组成的线段的交点，xi,yi∈P是多边形的顶点坐标，P是顶点集合，式中s是与多边形相交的边的个数，若为偶数在多边形外，奇数在多边形内。式中
Figure GDA0003726214250000096
表示交点是否在线段上。对于多边形顶点和射线相交的情况，若其属于所属边纵坐标较大的顶点，则计数，否则忽略，对于与水平边相交的情况不做考虑。
采用仓库内已有的摄像头作为图像采集设备，不再增加额外成本。如图4所示，记录相机在俯视图中位置，并通过相机标定得到的相机的H矩阵，通过H矩阵将俯视图中电子围栏的顶点映射到图像坐标系中。如图5所示，由于本实施例通过映射得到监控图像中的围栏区域，因此即使监控图像实际获取的围栏区域存在遮挡，也能在映射后得到完整的围栏区域，提高电子围栏的可靠性。
改进YOLOv4采取的边框预测函数，改进前的预测函数如下所示：
Figure GDA0003726214250000101
其中，(tx，ty)、(tw，th)是网络的直接输出的中心坐标和宽高，(bx，by)、(bw，bh)是最终预测框的坐标的宽和高，(cx，cy)是当前栅格相对于左上角栅格的偏移量。(pw，ph)是锚框的宽高。上述式子使用导致取得的宽度和高度(bw，bh)完全不受限制，从而易导致梯度失控，不稳定，训练过程出现大量的NAN无效值，所以发明在保证采取的函数仍然满足输入为0，输出为1的中心点不变的同时，限制了取值范围为(0，9)。改进后的YOLOv4算法采用的方盒回归函数如下：
Figure GDA0003726214250000102
改进yolov4的损失函数，yolov4在卷积过程中通常采用mish函数作为激活函数，具有一定的准确性和泛化能力，然而mish函数导致算法训练和测试时时间成本增加，为此本发明使用一种和mish函数波形相似的损失函数S-wish如下所示，在提升推理速度的同时，保持了推理的精度。
Figure GDA0003726214250000103
其中，x是激活层的输入特征。
对yolov4算法进行训练。COCO数据集中含有人的样本和Daimler行人数据库，针对人这一单类别进行训练。batch取为8，输入图像大小为取为512x512，迭代次数取为500000次，动量取0.9，权重衰减参数取0.0005，采用随机旋转、随机剪切、随机翻转、马赛克数据增强、颜色变换数据增强方法。
通过改进后的yolov4算法500ms进行一次目标检测，计算出检测框的下框的中点作为检测点。需要说明的是，yolov4算法的其余结构及函数为现有结构及函数，本实施例中不再进行赘述。
通过射线法判断检测点是否在视频图像中多边形的内部。
综合监控视频电子围栏和基于UWB的电子围栏信息进行警告和信息记录，首先会给出所有的携带UWB人员的进入围栏区域的信息，当相机检测出进入围栏区域的人数大于UWB检测出的人数时会额外的附加一条未知人员闯入警报。
当有人员闯入围栏区域时，对携带UWB标签的闯入人员记录闯入围栏者在图像上的轨迹，记录图像采集设备对应轨迹的开始时间和结束时间；若有未知人员闯入则记录图像采集设备识别到未知人员闯入的起止时间内的视频。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于多源算法的电子围栏方法，用于监控电子围栏的围栏区域内是否有人员闯入，其特征在于，所述基于多源算法的电子围栏方法，包括：
步骤1、获取待监控区域的俯视图，对俯视图进行QGIS栅格配准得到具有地理坐标的地理图像，在所述地理图像中标记多边形作为围栏区域；该围栏区域与实际场景中的围栏区域相匹配，且实际场景中的围栏区域的周侧设置有UWB基站；
步骤2、接收UWB标签的位置信息作为地理信息，通过GDAL库反解出地理信息在地理图像中的像素坐标，通过射线法判断像素坐标是否在围栏区域内，并根据UWB标签预配置的进入围栏区域的权限确定围栏区域内是否有人员闯入；
步骤3、采集覆盖围栏区域的图像采集设备的监控图像，基于单应性变换矩阵将地理图像中的围栏区域映射至监控图像中；
步骤4、采用yolov4算法检测监控图像中的人物矩形框，将人物矩形框底边中点作为待检测的像素坐标，通过射线法判断像素坐标是否在围栏区域内；所述yolov4算法的损失函数为S-wish损失函数，所述S-wish损失函数公式为：
Figure FDA0003726214240000011
式中，x为激活层的输入特征；
步骤5、若步骤2中检测出的携带UWB标签的人员进入围栏区域的数量与步骤4中检测出的监控视频下人员进入围栏区域的数量相等，则以步骤2中判断得到的是否有人员闯入的结果为最终结果；否则在步骤2中判断得到的是否有人员闯入的结果的基础上增加判断得到未知人员闯入结果作为最终结果；
步骤6、根据所述最终结果执行相应的警报动作。
2.如权利要求1所述的基于多源算法的电子围栏方法，其特征在于，所述yolov4算法的边框预测函数为方盒回归函数，所述方盒回归函数为：
Figure FDA0003726214240000012
式中，(tx，ty)、(tw，th)是yolov4算法直接输出的中心坐标和宽高，(bx，by)、(bw，bh)是最终预测框的中心坐标和宽高，(cx，cy)是当前栅格相对于左上角栅格的偏移量，(pw，ph)是锚框的宽高。
3.如权利要求1所述的基于多源算法的电子围栏方法，其特征在于，所述通过射线法判断像素坐标是否在围栏区域内，包括：
Figure FDA0003726214240000021
Figure FDA0003726214240000022
Figure FDA0003726214240000023
Figure FDA0003726214240000024
式中，
Figure FDA0003726214240000025
是通过像素坐标的水平射线与(xi-1,yi-1)和(xi,yi)组成的线段的交点，xi,yi∈P是多边形的顶点坐标，P是顶点集合，s是像素坐标的水平射线与多边形相交的边的个数，b是像素坐标是否在围栏区域内的判断结果；
若s为偶数则b＝0表示像素坐标在多边形外，即像素坐标是在围栏区域外部，若s为奇数则b＝1表示像素坐标在多边形内，即像素坐标是在围栏区域内部。
4.如权利要求1所述的基于多源算法的电子围栏方法，其特征在于，所述根据所述最终结果执行相应的警报动作，包括：
若所述最终结果仅包含步骤2中判断得到的是否有人员闯入的结果，则获取步骤2中判断得到的是否有人员闯入的结果，所述步骤2中判断得到的是否有人员闯入的结果包括有已知人员闯入和无已知人员闯入，若本次判断得到的步骤2中判断得到的是否有人员闯入的结果为无已知人员闯入，则不产生警报；否则开启警报，同时根据闯入人员的UWB标签的位置信息生成闯入人员的轨迹，并获取与轨迹对应时间内图像采集设备采集的监控图像作为视频佐证；
若所述最终结果包含步骤2中判断得到的是否有人员闯入的结果、以及未知人员闯入结果，若本次判断得到的步骤2中判断得到的是否有人员闯入的结果为无已知人员闯入，则开启警报，获取未知人员闯入起止时间内的监控图像作为视频佐证；否则开启警报，同时根据闯入人员的UWB标签的位置信息生成闯入人员的轨迹，并获取与轨迹对应时间内图像采集设备采集的监控图像作为视频佐证，获取未知人员闯入起止时间内的监控图像作为视频佐证。
5.一种基于多源算法的电子围栏系统，用于监控电子围栏的围栏区域内是否有人员闯入，其特征在于，所述基于多源算法的电子围栏系统包括UWB基站、UWB标签、图像采集设备以及主控制器，其中：
所述UWB基站设置在实际场景中的围栏区域的周侧，所述UWB标签分配给相关人员，且每个UWB标签预配置有进入围栏区域的权限；
所述图像采集设备用于采集覆盖围栏区域的监控图像；
所述主控制器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器读取所述存储器中的计算机程序并运行以实现权利要求1～4任一项所述的基于多源算法的电子围栏方法的步骤。
CN202011632215.7A 2020-12-31 2020-12-31 一种基于多源算法的电子围栏方法及系统 Active CN112802302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011632215.7A CN112802302B (zh) 2020-12-31 2020-12-31 一种基于多源算法的电子围栏方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011632215.7A CN112802302B (zh) 2020-12-31 2020-12-31 一种基于多源算法的电子围栏方法及系统

Publications (2)

Publication Number Publication Date
CN112802302A CN112802302A (zh) 2021-05-14
CN112802302B true CN112802302B (zh) 2022-11-18

Family

ID=75808431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011632215.7A Active CN112802302B (zh) 2020-12-31 2020-12-31 一种基于多源算法的电子围栏方法及系统

Country Status (1)

Country Link
CN (1) CN112802302B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593177B (zh) * 2021-07-27 2022-08-23 南京南瑞信息通信科技有限公司 一种基于高精度定位和图像识别的视频告警联动实现方法
CN113920535B (zh) * 2021-10-12 2023-11-17 广东电网有限责任公司广州供电局 一种基于YOLOv5的电子区域检测方法
CN115050151B (zh) * 2022-03-31 2023-01-17 北京科技大学 一种针对于火灾现场保护的便携式智慧电子围栏
CN115798129B (zh) * 2023-02-02 2023-05-23 深圳市深圳通有限公司 对进入半开放环境中的人员进行监测的方法、装置及设备
CN116564027B (zh) * 2023-04-04 2024-03-12 中国能源建设集团广东省电力设计研究院有限公司 一种定位事件识别方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389351A (zh) * 2018-04-24 2018-08-10 成都恒高科技有限公司 标签匹配、电子围栏边界管理方法、装置及存储介质
CN108829095A (zh) * 2018-05-11 2018-11-16 云鲸智能科技（东莞）有限公司 地理围栏设置方法及限制机器人运动的方法
CN109068099A (zh) * 2018-09-05 2018-12-21 济南大学 基于视频监控的虚拟电子围栏监控方法及系统
CN109996182A (zh) * 2019-04-19 2019-07-09 无锡艾森汇智科技有限公司 一种基于uwb定位与监控结合的定位方法、装置及系统
CN110060442A (zh) * 2019-03-20 2019-07-26 云南电网有限责任公司文山供电局 基于uwb的站内人员防误入区域建模方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
CN109064745B (zh) * 2018-08-17 2020-10-27 中通服咨询设计研究院有限公司 一种基于栅格的高速公路车辆筛选方法
CN112052826A (zh) * 2020-09-18 2020-12-08 广州瀚信通信科技股份有限公司 基于YOLOv4算法的智慧执法多尺度目标检测方法、装置、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389351A (zh) * 2018-04-24 2018-08-10 成都恒高科技有限公司 标签匹配、电子围栏边界管理方法、装置及存储介质
CN108829095A (zh) * 2018-05-11 2018-11-16 云鲸智能科技（东莞）有限公司 地理围栏设置方法及限制机器人运动的方法
CN109068099A (zh) * 2018-09-05 2018-12-21 济南大学 基于视频监控的虚拟电子围栏监控方法及系统
CN110060442A (zh) * 2019-03-20 2019-07-26 云南电网有限责任公司文山供电局 基于uwb的站内人员防误入区域建模方法
CN109996182A (zh) * 2019-04-19 2019-07-09 无锡艾森汇智科技有限公司 一种基于uwb定位与监控结合的定位方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"改进YOLOV3算法在行人识别中的应用";葛雯;《改进YOLOV3算法在行人识别中的应用》;20191231;正文全文 *

Also Published As

Publication number Publication date
CN112802302A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112802302B (zh) 一种基于多源算法的电子围栏方法及系统
AU2021201574A1 (en) Security system and method
CN105554440B (zh) 监控方法和设备
CN102859565B (zh) 用于安全系统恶意干扰检测的方法与系统
CN103726879B (zh) 利用摄像头自动捕捉矿井矿震坍塌并及时记录报警的方法
CN112216049A (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN112950773A (zh) 基于建筑信息模型的数据处理方法与装置、处理服务器
CN107592506B (zh) 一种监控方法以及监控装置、监控系统
CN104618688A (zh) 一种可视化监控防护方法
CN113011833A (zh) 施工现场的安全管理方法、装置、计算机设备和存储介质
CN110929584A (zh) 网络训练方法、监控方法、系统、存储介质和计算机设备
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
CN112907867B (zh) 一种基于图像识别的预警方法、装置及服务器
CN113470307A (zh) 电子围栏的管理和配置方法、装置、电子设备及存储介质
US10614688B1 (en) Detecting and identifying activities and events within a property's security perimeter using a configurable network of vibration and motion sensors
CN105448017A (zh) 小区围栏报警系统
CN210222962U (zh) 一种智能电子围栏系统
JP4610005B2 (ja) 画像処理による侵入物体検出装置および方法およびプログラム
CN111325937B (zh) 翻越行为检测方法、装置和电子系统
CN113505643A (zh) 违章目标物检测方法及相关装置
CN112417946A (zh) 电力施工现场指定区域的越界检测方法及系统
CN115497242B (zh) 一种面向铁路营业线施工的异物侵入智能监测系统及监测方法
CN207530963U (zh) 一种基于视频监控的非法越界报警系统
CN114387391A (zh) 变电站设备的安全监测方法、装置、计算机设备和介质
CN114743157A (zh) 一种基于视频的行人监控方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210514

Assignee: State Grid Zhejiang Xinxing Technology Co.,Ltd.

Assignor: STATE GRID ZHEJIANG ELECTRIC POWER CO., LTD. NINGBO POWER SUPPLY Co.

Contract record no.: X2023980053734

Denomination of invention: A method and system for electronic fences based on multi-source algorithms

Granted publication date: 20221118

License type: Common License

Record date: 20231222

EE01 Entry into force of recordation of patent licensing contract