CN115294610A - 围墙攀爬识别方法、装置及电子设备 - Google Patents

围墙攀爬识别方法、装置及电子设备 Download PDF

Info

Publication number
CN115294610A
CN115294610A CN202210984114.9A CN202210984114A CN115294610A CN 115294610 A CN115294610 A CN 115294610A CN 202210984114 A CN202210984114 A CN 202210984114A CN 115294610 A CN115294610 A CN 115294610A
Authority
CN
China
Prior art keywords
climbing
point
detection frame
head detection
warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210984114.9A
Other languages
English (en)
Inventor
李成超
闾凡兵
吴婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Hisense Intelligent System Research Institute Co ltd
Original Assignee
Changsha Hisense Intelligent System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Hisense Intelligent System Research Institute Co ltd filed Critical Changsha Hisense Intelligent System Research Institute Co ltd
Priority to CN202210984114.9A priority Critical patent/CN115294610A/zh
Publication of CN115294610A publication Critical patent/CN115294610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种围墙攀爬识别方法、装置及电子设备。所述方法包括如下步骤：识别并跟踪位于预设的围墙区域内的目标的人头检测框；设定围墙警戒线；计算攀爬判断点坐标；根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告，利用人头检测取代全身检测，人头检测框的中心点、攀爬判断点以及围墙警戒线之间的位置综合判断目标是否存在攀爬行为，能够减少目标相互遮挡和人头位置过高导致的误检和漏检，提升攀爬行为识别的精度和速度。

Description

围墙攀爬识别方法、装置及电子设备
技术领域
本发明涉及图像识别技术领域，尤其涉及一种围墙攀爬识别方法、装置及电子设备。
背景技术
随着技术发展和科学技术的进步，我国在人工智能感知、机器学习、5G通信、物联网、云计算与边缘计算、视频光电技术等监控关键技术方面都有了质的突破，安防行业已成为人工智能与实体经济深度融合最主要的应用领域，头部企业纷纷布局高端人工智能算法，具备人工智能算法分析的AI摄像头已逐步占领市场。
围墙周界作为各种场所安全防范的第一条防线，广泛应用于学校、监狱、工厂园区、小区/别墅、文物保护单位及科研单位等，对人员攀爬围墙进出区域行为进行识别并及时预警，减少安防人力资源的投入，在安防监控领域扮演着不可或缺的角色，随着深度学习的发展，目前攀爬识别方法主要分为基于关键点检测、基于目标检测和基于二分类的识别方法。
其中，基于关键点检测的识别方法是目前攀爬识别采用较多的方法，首先通过关键点检测模型得到人体骨架的多个关键点，然后通过各关键点之间的位置、距离和角度等信息来判定攀爬行为。这种方法可以对攀爬动作进行详细定义，从而可以精确识别出具体的攀爬行为。但是基于关键点检测的识别方法在安防实际应用中有很多局限性：第一，该方法只适用于摄像头垂直墙面左右角度部署，围墙监控范围较短，不适合长距离周界部署，且要求围墙垂直左右方向具有安装位置；第二，当采用摄像头平行围墙上方部署时，虽然围墙监控距离较长，但是当人攀爬围墙时，只能拍摄人体侧面，人体关键点检测精度较低，尤其是远处的小目标。且当两人以上身体相互遮挡时，基于关键点检测的方法几乎失效。
而基于目标检测的的识别方法，目前主要是采用人体拌线逻辑判定攀爬行为。与基于关键点检测的识别方法相比，该方法判断逻辑简单、算法速度快，虽然不能精确识别出具体的攀爬动作，但是不影响人员攀爬围墙进出区域行为的识别。然而，基于目标检测的方法在长距离周界部署时也有局限性：第一、当两人以上平行站立时，身体互相遮挡面积严重，容易漏检误报；第二、人攀爬围墙时姿态各种各样，如屈蹲、飞跃、跳跃等，基于目标检测的的识别方法的容易出现漏检。
至于基于二分类的识别方法，其主要通过二分类区分攀爬和非攀爬，但由于围墙场景及攀爬动作的多样性，只用二分类模型很难识别所有场景攀爬该方法在实际应用中，会有较多误报和漏报，如很容易将围墙两端正常行人误报。
发明内容
本发明的目的在于提供一种围墙攀爬识别方法，适用于长距离围墙周界攀爬识别，能够有效提升识别的准确性，减少误报和漏报。
为实现上述目的，本发明首先提供一种围墙攀爬识别方法，包括如下步骤：
步骤S1、获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框；
步骤S2、通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪；
步骤S3、设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点；
步骤S4、根据所述第一警戒点和第二警戒点的坐标计算第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；
步骤S5、根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标；
步骤S6、根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；
步骤S7、根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；
步骤S8、根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；
步骤S9、当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告。
可选地，所述步骤S4中第一夹角的计算方法为：
Figure DEST_PATH_IMAGE001
其中（x1，y1）和（x2，y2）分别为第一警戒点和第二警戒点的坐标，y1≤y2，且当y1=y2时，x1＜x2，θ为第一夹角，。
可选地，所述步骤S5中腰部近似点坐标的计算方法为：
当人头检测框的y轴高度为yh，中心点坐标为（xc，yc）时，则有：
h=2.5×yh；
其中，h为人头检测框的中心点与腰部近似点之间的y轴距离；
而腰部近似度点坐标为（xc，yc+h）。
可选地，所述步骤S67中攀爬判断点坐标的计算方法为：
Figure 389547DEST_PATH_IMAGE002
；
其中，（xj，yj）为攀爬判断点的坐标。
可选地，所述步骤S7具体包括：
判断跟踪前后人头检测框的中心点位于围墙警戒线哪一侧，判断方法为：当满足
Figure DEST_PATH_IMAGE003
时，认定人头检测框的中心点位于围墙警戒线的一侧，当满足
Figure 847073DEST_PATH_IMAGE004
时，认定人头检测框的中心点位于围墙警戒线的另一侧，其中，（x1，y1）和（x2，y2）分别为第一警戒点和第二警戒点的坐标，y1≤y2，且当y1=y2时，x1＜x2，θ为第一夹角，，（xc，yc）为人头检测框的中心点坐标；
当跟踪前后人头检测框的中心点从围墙警戒线的一侧变到另一侧时，认定所述第一攀爬判断结果为目标存在攀爬行为，否则认定所述第一攀爬判断结果为目标不存在攀爬行为。
可选地，所述步骤S8具体包括：
确定跟踪前后的攀爬判断点分别为第一攀爬判断点和第二攀爬判断点；
连接所述第一攀爬判断点和第二攀爬判断点，得到攀爬判断点的连线；
当所述攀爬判断点的连接与围墙警戒线存在交点时，认定所述第二攀爬判断结果为目标存在攀爬行为，否则认定所述第二攀爬判断结果为目标不存在攀爬行为。
可选地，所述步骤S9中，当第一攀爬判断结果和第二攀爬判断结果均认定目标存在攀爬行为时，才发出攀爬警告。
可选地，所述步骤S2中，还包括在对通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪之前对目标的人头检测框进行过滤的步骤，所述对目标的人头检测框进行过滤的步骤包括剔除所述目标的人头检测框中任意角点超出围墙区域的目标。
本发明还提供一种围墙攀爬识别装置，包括如下步骤：
识别单元，用于获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框；
跟踪单元，用于通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪；
设定单元，用于设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点；
第一计算单元，用于根据所述第一警戒点和第二警戒点的坐标计算所述第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；
第二计算单元，用于根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标；
第三计算单元，用于根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；
第一判断单元，用于根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；
第二判断单元，用于根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；
报警单元，用于当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告。
本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
本发明的有益效果：本发明提供一种围墙攀爬识别方法、装置及电子设备，所述方法包括如下步骤：步骤S1、获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框；步骤S2、通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪；步骤S3、设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点；步骤S4、根据所述第一警戒点和第二警戒点的坐标计算第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；步骤S5、根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标；步骤S6、根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；步骤S7、根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；步骤S8、根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；步骤S9、当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告，利用人头检测取代全身检测，人头检测框的中心点、攀爬判断点以及围墙警戒线之间的位置综合判断目标是否存在攀爬行为，能够减少目标相互遮挡和人头位置过高导致的误检和漏检，提升攀爬行为识别的精度和速度。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的围墙攀爬识别方法的流程图；
图2为本发明的围墙攀爬识别方法的步骤S7的示意图；
图3为本发明的围墙攀爬识别方法的步骤S8的示意图；
图4为本发明的围墙攀爬识别方法的步骤S3至步骤S6的示意图；
图5和图6为本发明的围墙攀爬识别方法的识别效果示意图；
图7为本发明的围墙攀爬识别方法的步骤S7中的位置关系示意图；
图8为本发明的围墙攀爬识别方法的步骤S8的一实施例的判断过程示意图；
图9为本发明的围墙攀爬识别装置的示意图；
图10为本发明的电子设备的示意图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
请参阅图1、图5和图6，本发明首先提供一种围墙攀爬识别方法，包括如下步骤：
步骤S1、如图获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框。
具体地，所述步骤S1中获取待检测图像具体包括对视频流按固定帧率进行取帧，取得的图片帧即为所述待检测图像；
将所述待检测图像输入到训练好的人头检测模型中，得到位于预设的围墙区域内的目标的人头检测框，并剔除所述目标的人头检测框中任意角点超出围墙区域的目标。
进一步地，用户可根据需要对围墙区域进行配置，一般来说，所述围墙区域为包括所述围墙在内的闭合的多边形区域，当然用户也可以配置所述围墙区域为全局检测。
可选地，所述人头检测模型为基于yolov5的目标检测模型。
步骤S2、通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪。
具体地，所述人头跟踪模型采样的跟踪方法可根据需要进行选择，优选地，所述人头跟踪模型为目标跟踪器ByteTrack。
进一步地，所述步骤S2中，还包括在对通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪之前对目标的人头检测框进行过滤的步骤，所述对目标的人头检测框进行过滤的步骤包括剔除所述目标的人头检测框中任意角点超出围墙区域的目标。
具体地，所述人头跟踪模型输出当前帧的轨迹和跟踪器保留的丢失轨迹，并不断更新人头轨迹。
步骤S3、设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点。
具体地，结合图4所示，所述围墙警戒线P1P2的两端点为第一警戒点P1（x1，y1）和第二警戒点P2（x2，y2）。
步骤S4、根据所述第一警戒点和第二警戒点的坐标计算所述第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；
如图4所示，所述步骤S4中第一夹角的计算方法为：
Figure 254920DEST_PATH_IMAGE001
其中（x1，y1）和（x2，y2）分别为第一警戒点和第二警戒点的坐标，y1≤y2，且当y1=y2时，x1＜x2，θ为第一夹角，。
步骤S5、根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标。
步骤S6、根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；
需要说明的是，由于摄像头二维图像视野差问题，在围墙警戒线远端时，虽然人站在围墙警戒线内，但是目标的人头检测框可能已经超出围墙警戒线上端。
因此当采用人头的坐标信息来判断人是否攀爬围墙进入区域时，很容易漏检。针对该种情况，本发明根据人攀爬越过围墙动作及人体结构特点，对人头中心点坐标进行了特别的偏移处理，得到合理的攀爬判断点，进而综合攀爬判断点和人头检测框进行攀爬识别，以减少漏检。
具体来说就是，如图4所示，首先确定人头检测框的中心点到人的胯部的近似距离，选择此出的原因为：人一般在攀爬越过围墙瞬间前后，人的重心点一般在胯部位置，在攀爬越过围墙瞬间前后的图片帧中，胯部位置与围墙警戒线存在的二维图像视野差较小，因此可用人体胯部位置计算确定攀爬判断点。设人头检测框的y轴高度为yh，中心点坐标为（xc，yc），根据人体头身平均比例，人体胯部位置一般约3头高，则有：
h=2.5×yh；
其中，h为人头检测框的中心点与腰部近似点之间的y轴距离；
而腰部近似度点坐标为（xc，yc+h）。
然后，如图4所示，估计攀爬判断点坐标，由于人在攀爬围墙动作时，人靠近围墙的方向与围墙垂直，因此首先由腰部近似点C向围墙警戒线P1P2作垂直辅助线CD，然后由人头检测框的中心点A向CD延长线作垂直辅助线AB，其中AB与P1P2平行，据此可得攀爬判断点坐标的计算方法为：
Figure 546224DEST_PATH_IMAGE002
；
其中，（xj，yj）为攀爬判断点的坐标。
步骤S7、参阅图2，根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果。
具体地，所述步骤S7具体包括：
步骤S71、判断跟踪前后人头检测框的中心点位于围墙警戒线哪一侧，判断方法为：当满足
Figure DEST_PATH_IMAGE005
时，认定人头检测框的中心点位于围墙警戒线的一侧，当满足
Figure 374110DEST_PATH_IMAGE004
时，认定人头检测框的中心点位于围墙警戒线的另一侧，其中，（x1，y1）和（x2，y2）分别为第一警戒点和第二警戒点的坐标，y1≤y2，且当y1=y2时，x1＜x2，θ为第一夹角，，（xc，yc）为人头检测框的中心点坐标；
步骤S72、当跟踪前后人头检测框的中心点从围墙警戒线的一侧变到另一侧时，认定所述第一攀爬判断结果为目标存在攀爬行为，否则认定所述第一攀爬判断结果为目标不存在攀爬行为。
如图7所示，所述围墙警戒线的一侧和另一侧分别为左侧和右侧，所述步骤S7中的攀爬行为判断逻辑为：当人从围墙警戒线P1P2的一侧移动另一侧，则判定为攀爬行为。以图7为例，所述步骤S7中的攀爬行为具体判断步骤如下：对目标进行跟踪，当中心点坐标为A（xc，yc）的目标首次出现在围墙警戒线段内时，判断A（xc，yc）位于围墙警戒线P1P2左侧还是右侧，并记录该值。以点P1为起点建立两个向量、
Figure 166485DEST_PATH_IMAGE006
，则可根据
Figure DEST_PATH_IMAGE007
的符号判断两向量之间的顺逆时针关系，从而确定A（xc，yc）点在围墙警戒线P1P2左侧还是右侧，最终具体计算如下式：
Figure 163260DEST_PATH_IMAGE008
。
步骤S8、参阅图3，根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；
具体地，所述步骤S8具体包括：
步骤S81、确定跟踪前后的攀爬判断点分别为第一攀爬判断点和第二攀爬判断点；
步骤S82、连接所述第一攀爬判断点和第二攀爬判断点，得到攀爬判断点的连线；
步骤S83、当所述攀爬判断点的连接与围墙警戒线存在交点时，认定所述第二攀爬判断结果为目标存在攀爬行为，否则认定所述第二攀爬判断结果为目标不存在攀爬行为。
具体地，参阅图8，所述步骤S8的攀爬行为判断具体实现逻辑是：当某人头ID的攀爬判断点从围墙警戒线P1P2的一侧移动另一侧，则判定为攀爬行为，以一当前帧ID为id1的人为例，攀爬行为具体判断步骤如下：
步骤S100、判断上一帧轨迹中是否存在当前帧id1,如存在，则直接执行步骤S300，不存在，则执行步骤S200；
步骤S200、判断跟踪器保留的丢失轨迹中是否存在当前帧id1,如存在，则执行步骤S300，不存在，则不存在攀爬行为，结束本帧逻辑判断；
步骤S300、设当前帧id1攀爬判断点为第一攀爬点B1，上一帧或丢失轨迹id1第二攀爬点B2，则判断线段B1B2与围墙警戒线P1P2是否存在交点，如存在，则判定该id1存在攀爬行为。
步骤S9、当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告。
可选地，在本发明的一些实施例中，为避免误判，所述步骤S9中，当第一攀爬判断结果和第二攀爬判断结果均认定目标存在攀爬行为时，才发出攀爬警告。
可选地，在本发明的另一些实施例中，为避免漏判，所述步骤S9中，当第一攀爬判断结果和第二攀爬判断结果任意一个认定目标存在攀爬行为时，即发出攀爬警告。
请参阅图9，本发明还提供一种围墙攀爬识别装置，包括如下步骤：
识别单元10，用于获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框；
跟踪单元20，用于通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪；
设定单元30，用于设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点；
第一计算单元40，用于根据所述第一警戒点和第二警戒点的坐标计算所述第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；
第二计算单元50，用于根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标；
第三计算单元60，用于根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；
第一判断单元70，用于根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；
第二判断单元80，用于根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；
报警单元90，用于当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告。
请参阅图10，本发明提供一种电子设备，包括：存储器200和处理器100，所述存储器200存储有计算机程序，所述计算机程序被所述处理器100执行时，使得所述处理器100执行如上述方法的步骤。
综上所述，本发明提供一种围墙攀爬识别方法、装置及电子设备，所述方法包括如下步骤：步骤S1、获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框；步骤S2、通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪；步骤S3、设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点；步骤S4、根据所述第一警戒点和第二警戒点的坐标计算所述第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；步骤S5、根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标；步骤S6、根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；步骤S7、根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；步骤S8、根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；步骤S9、当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告，利用人头检测取代全身检测，人头检测框的中心点、攀爬判断点以及围墙警戒线之间的位置综合判断目标是否存在攀爬行为，能够减少目标相互遮挡和人头位置过高导致的误检和漏检，提升攀爬行为识别的精度和速度。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种围墙攀爬识别方法，其特征在于，包括如下步骤：
步骤S1、获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框；
步骤S2、通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪；
步骤S3、设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点；
步骤S4、根据所述第一警戒点和第二警戒点的坐标计算第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；
步骤S5、根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标；
步骤S6、根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；
步骤S7、根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；
步骤S8、根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；
步骤S9、当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告。
2.如权利要求1所述的围墙攀爬识别方法，其特征在于，所述步骤S4中第一夹角的计算方法为：
Figure DEST_PATH_IMAGE002
其中（x1，y1）和（x2，y2）分别为第一警戒点和第二警戒点的坐标，y1≤y2，且当y1=y2时，x1＜x2，θ为第一夹角，。
3.如权利要求2所述的围墙攀爬识别方法，其特征在于，所述步骤S5中腰部近似点坐标的计算方法为：
当人头检测框的y轴高度为yh，中心点坐标为（xc，yc）时，则有：
h=2.5×yh；
其中，h为人头检测框的中心点与腰部近似点之间的y轴距离；
而腰部近似度点坐标为（xc，yc+h）。
4.如权利要求3所述的围墙攀爬识别方法，其特征在于，所述步骤S67中攀爬判断点坐标的计算方法为：
Figure DEST_PATH_IMAGE004
；
其中，（xj，yj）为攀爬判断点的坐标。
5.如权利要求1所述的围墙攀爬识别方法，其特征在于，所述步骤S7具体包括：
判断跟踪前后人头检测框的中心点位于围墙警戒线哪一侧，判断方法为：当满足
Figure DEST_PATH_IMAGE006
时，认定人头检测框的中心点位于围墙警戒线的一侧，当满足
Figure DEST_PATH_IMAGE008
时，认定人头检测框的中心点位于围墙警戒线的另一侧，其中，（x1，y1）和（x2，y2）分别为第一警戒点和第二警戒点的坐标，y1≤y2，且当y1=y2时，x1＜x2，θ为第一夹角，，（xc，yc）为人头检测框的中心点坐标；
当跟踪前后人头检测框的中心点从围墙警戒线的一侧变到另一侧时，认定所述第一攀爬判断结果为目标存在攀爬行为，否则认定所述第一攀爬判断结果为目标不存在攀爬行为。
6.如权利要求1所述的围墙攀爬识别方法，其特征在于，所述步骤S8具体包括：
确定跟踪前后的攀爬判断点分别为第一攀爬判断点和第二攀爬判断点；
连接所述第一攀爬判断点和第二攀爬判断点，得到攀爬判断点的连线；
当所述攀爬判断点的连接与围墙警戒线存在交点时，认定所述第二攀爬判断结果为目标存在攀爬行为，否则认定所述第二攀爬判断结果为目标不存在攀爬行为。
7.如权利要求1所述的围墙攀爬识别方法，其特征在于，所述步骤S9中，当第一攀爬判断结果和第二攀爬判断结果均认定目标存在攀爬行为时，才发出攀爬警告。
8.如权利要求1所述的围墙攀爬识别方法，其特征在于，所述步骤S2中，还包括在对通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪之前对目标的人头检测框进行过滤的步骤，所述对目标的人头检测框进行过滤的步骤包括剔除所述目标的人头检测框中任意角点超出围墙区域的目标。
9.一种围墙攀爬识别装置，其特征在于，包括如下步骤：
识别单元，用于获取待检测图像，将待检测图像输入预设的人头检测模型中，识别得到位于预设的围墙区域内的目标的人头检测框；
跟踪单元，用于通过预设的人头跟踪模型对所述目标的人头检测框进行跟踪；
设定单元，用于设定围墙警戒线，所述围墙警戒线贴合所述围墙的上边缘并沿围墙的延伸方向延伸，所述围墙警戒线的两端点为第一警戒点和第二警戒点；
第一计算单元，用于根据所述第一警戒点和第二警戒点的坐标计算所述第一夹角，所述第一夹角为围墙警戒线与X轴的正向夹角；
第二计算单元，用于根据所述人头检测框的中心点坐标，计算得到腰部近似点坐标；
第三计算单元，用于根据所述腰部近似点坐标和人头检测框的中心点坐标，计算得到攀爬判断点坐标；
第一判断单元，用于根据跟踪前后的人头检测框的中心点坐标与围墙警戒线的位置关系变化，得到第一攀爬判断结果；
第二判断单元，用于根据跟踪前后的攀爬判断点的连线与围墙警戒线的位置关系，得到第二攀爬判断结果；
报警单元，用于当第一攀爬判断结果和第二攀爬判断结果中至少有一个认定目标存在攀爬行为时，发出攀爬警告。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-8中任一项所述方法的步骤。
CN202210984114.9A 2022-08-17 2022-08-17 围墙攀爬识别方法、装置及电子设备 Pending CN115294610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210984114.9A CN115294610A (zh) 2022-08-17 2022-08-17 围墙攀爬识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210984114.9A CN115294610A (zh) 2022-08-17 2022-08-17 围墙攀爬识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115294610A true CN115294610A (zh) 2022-11-04

Family

ID=83829641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210984114.9A Pending CN115294610A (zh) 2022-08-17 2022-08-17 围墙攀爬识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115294610A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115924A (zh) * 2023-10-23 2023-11-24 中建三局集团华南有限公司 基于ai的爬架监控方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115924A (zh) * 2023-10-23 2023-11-24 中建三局集团华南有限公司 基于ai的爬架监控方法和系统
CN117115924B (zh) * 2023-10-23 2024-01-23 中建三局集团华南有限公司 基于ai的爬架监控方法和系统

Similar Documents

Publication Publication Date Title
CN106104203B (zh) 一种移动物体的距离检测方法、装置及飞行器
Thome et al. A real-time, multiview fall detection system: A LHMM-based approach
JP6310093B2 (ja) 目標物体の検出方法、検出装置及びロボット
CN103576660B (zh) 智能家居监控方法
CN113156421A (zh) 基于毫米波雷达和摄像头信息融合的障碍物检测方法
Kuk et al. Fast lane detection & tracking based on Hough transform with reduced memory requirement
CN111814752B (zh) 室内定位实现方法、服务器、智能移动设备、存储介质
CN111724558B (zh) 一种监控方法、装置及入侵报警系统
CN107194967A (zh) 基于Kinect深度图像的人体摔倒检测方法及装置
CN108802758A (zh) 一种基于激光雷达的智能安防监控装置、方法和系统
JP2010239992A (ja) 人物同定装置、人物同定方法、及び人物同定プログラム
WO2017183769A1 (ko) 이상 상황을 감지하는 장치 및 방법
Shoaib et al. View-invariant fall detection for elderly in real home environment
CN107473109A (zh) 塔机防碰撞方法和系统
CN109830078B (zh) 适用于狭小空间的智能行为分析方法及智能行为分析设备
JP2001184488A (ja) 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
CN115294610A (zh) 围墙攀爬识别方法、装置及电子设备
CN111243230B (zh) 基于两台深度相机的人体跌倒检测装置和方法
CN106937532A (zh) 用于检测真正用户的系统和方法
JP5718632B2 (ja) 部位認識装置、部位認識方法、及び部位認識プログラム
JP6786837B2 (ja) 動体計数装置及びプログラム
CN114119729A (zh) 障碍物识别方法及装置
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
WO2021022643A1 (zh) 一种视频目标检测与跟踪方法及装置
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination