CN112132041A - 一种基于计算机视觉的社区巡更分析方法及其系统 - Google Patents

一种基于计算机视觉的社区巡更分析方法及其系统 Download PDF

Info

Publication number
CN112132041A
CN112132041A CN202011013011.5A CN202011013011A CN112132041A CN 112132041 A CN112132041 A CN 112132041A CN 202011013011 A CN202011013011 A CN 202011013011A CN 112132041 A CN112132041 A CN 112132041A
Authority
CN
China
Prior art keywords
face
target
pedestrian
frame
patrol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011013011.5A
Other languages
English (en)
Inventor
张旭
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Fengwu Technology Co ltd
Original Assignee
Tianjin Fengwu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Fengwu Technology Co ltd filed Critical Tianjin Fengwu Technology Co ltd
Priority to CN202011013011.5A priority Critical patent/CN112132041A/zh
Publication of CN112132041A publication Critical patent/CN112132041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明提供了一种基于计算机视觉的社区巡更分析方法，包括：建立人脸库，采集所有小区业主和工作人员的人脸数据存储到服务器里；人脸检测识别，对比小区内摄像头拍摄到的人脸和服务器中的人脸数据，识别出人脸身份；行人跟踪，确定目标行人在小区内的行动轨迹；纠正关联，确保持续跟踪当前识别出身份的目标行人；巡更分析，比对目标行人在小区内的行动轨迹和巡检的预定轨迹。还提供了一种基于计算机视觉的社区巡更分析系统，用于实现如前所述的方法，包括:存储模块，检测模块，跟踪模块，纠正关联模块，巡更分析模块。能够跟踪安保人员的轨迹，并实时与巡更计划路线进行比对，避免巡更线路偏离或者超时未巡更的问题发生，提高物业管理效率。

Description

一种基于计算机视觉的社区巡更分析方法及其系统
技术领域
本发明涉及社区智能管理技术领域，尤其是涉及一种基于计算机视觉的社区巡更分析方法及其系统。
背景技术
社区是社会的细胞，社区安全是社会稳定、和谐的基础。而社区安全离不开社区安保人员的工作，安保人员的巡更巡检事保障社区安全的重要手段。所以对安保人员巡更的分析显得尤为重要。这不仅能监督安保人员定时完成巡更，同时还保障安保人员在巡更过程中的安全。
现有技术中，缺少对社区巡更进行智能分析和纠正的系统，多通过人为管理和监督，往往存在由于人为惰性造成的安防漏洞，巡更线路偏离或者超时未巡更的问题时有发生，造成物业管理效率低下，增加了物业管理的成本，而且易被不法分子趁机侵入，存在一定的安全漏洞。
发明内容
有鉴于此，本申请实施例的目的在于提供一种基于计算机视觉的社区巡更分析方法及系统，能够跟踪安保人员的轨迹，并实时与巡更计划路线进行比对，避免巡更线路偏离或者超时未巡更的问题发生，提高物业管理效率，有效减少物业需要的管理人员，让小区更加安全，业主更加满意。
第一方面，本申请实施例提供了一种基于计算机视觉的社区巡更分析方法，包括：
建立人脸库，采集所有小区业主和工作人员的人脸数据存储到服务器里。
人脸检测识别，对比小区内摄像头拍摄到的人脸和服务器中的人脸数据，识别出人脸身份。
行人跟踪，确定目标行人在小区内的行动轨迹。
纠正关联，确保持续跟踪当前识别出身份的目标行人。
巡更分析，比对目标行人在小区内的行动轨迹和巡检的预定轨迹。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述对比小区内摄像头拍摄到的人脸和服务器中的人脸数据，识别出人脸身份，包括：
对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸特征的数据。
对每个识别出人脸特征的数据进行质量评价。
对符合质量评价的人脸数据进行关键点检测，并矫正人脸。
对矫正后的人脸进行人脸识别，比对人脸库，识别和区分小区业主和工作人员的具体身份。
结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述确定目标行人在小区内的行动轨迹，包括：
对检测到行人的视频帧进行分析检测，确定每个目标行人在当前帧中的位置。
比对当前帧与前一帧的目标行人，判断目标跟踪情况，其中，当前帧的目标行人在前一帧中出现相对的匹配则认为目标跟踪成功，前一帧的目标行人在当前帧没有出现相对的匹配则认为目标丢失，当前帧的目标行人在前一帧中没有出现相对的匹配则认为有新的目标出现。
对小区内所有摄像头拍摄到的视频帧进行分析检测，确定目标跟踪成功的行人在小区内的行动轨迹。
结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述确保持续跟踪当前识别出身份的目标行人，包括：
对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸框和行人框。
比较当前帧的行人框和识别到确定身份的人脸框，计算图像交并比 (IOU)，进行关联，确定当前目标行人的身份，其中，若(由于没有人脸框、人脸不清晰的原因导致)识别失败，将继续跟踪目标行人，在下一帧重复比较识别到确定身份的人脸框和行人框，直至关联成功，若当前帧识别不到跟踪的目标行人，则跟踪中断，重新识别、跟踪和关联。
结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述比对目标行人在小区内的行动轨迹和巡检的预定轨迹，包括：
利用卡尔曼滤波对每一个目标行人进行建模，得到前一帧的目标行人在当前帧的预测位置。
比对目标在当前帧的预测位置和目标在当前帧的实际位置，计算得到图像交并比(IOU)，以图像交并比(IOU)作为匈牙利算法的权重，利用带权重的匈牙利算法进行二部图的匹配，将小区内摄像头拍摄到的视频帧映射到平面图，确定目标行人在平面图上的行动轨迹和预测轨迹的对比，若符合预定，则将当前情况记录存储，若不符合预定，则触发提醒，并将当前情况记录存储。
第二方面，本申请实施例还提供了一种基于计算机视觉的社区巡更分析系统，包括:
存储模块，用于采集人脸数据，将人脸数据存储到服务器里。
检测模块，用于将小区内摄像头拍摄到的人脸和服务器中的人脸数据对比，识别出人脸身份。
跟踪模块，用于确定目标行人在小区内的行动轨迹。
纠正关联模块，用于确保持续跟踪当前识别出身份的目标行人。
巡更分析模块，用于比对目标行人在小区内的行动轨迹和巡检的预定轨迹。
结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述检测模块包括：
摄像模块，分布在小区内需要监控区域的重要入口、各个路径、岔路口的巡更路径范围内，用于拍摄社区内的情况。
分析模块，用于对拍摄到的视频帧进行分析检测，识别出人脸特征的数据。
评价模块，用于对每个识别出人脸特征的数据进行质量评价。
矫正模块，用于对符合质量评价的人脸数据进行关键点检测，矫正人脸。
识别模块，用于对矫正后的人脸进行人脸识别，比对人脸库，识别和区分小区业主和工作人员的具体身份。
结合第二方面，本申请实施例提供了第二方面的第二种可能的实施方式，其中，所述跟踪模块包括：
位置确认模块，用于对检测到行人的视频帧进行分析检测，确定每个目标行人在当前帧中的位置。
目标比对模块，用于比对当前帧与前一帧的目标行人，判断目标跟踪情况。
轨迹确认模块，用于对小区内所有摄像头拍摄到的视频帧进行分析检测，确定目标跟踪成功的行人在小区内的行动轨迹。
结合第二方面，本申请实施例提供了第二方面的第三种可能的实施方式，其中，所述纠正关联模块包括：
关联模块，用于对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸框和行人框。
目标检测模块，比较当前帧的行人框和识别到确定身份的人脸框，计算图像交并比(IOU)，进行关联，用于确定当前目标行人的身份。
纠正模块，用于判断是否关联成功，若识别失败，将继续跟踪目标行人，在下一帧重复比较识别到确定身份的人脸框和行人框，直至关联成功，若当前帧识别不到跟踪的目标行人，则跟踪中断，重新识别、跟踪和关联。
结合第二方面，本申请实施例提供了第二方面的第四种可能的实施方式，其中，所述巡更分析模块包括：
位置预测模块，利用卡尔曼滤波对每一个目标行人进行建模，用于得到前一帧的目标行人在当前帧的预测位置。
轨迹比对模块，用于比对目标在当前帧的预测位置和目标在当前帧的实际位置，计算得到图像交并比(IOU)，以图像交并比(IOU)作为匈牙利算法的权重，利用带权重的匈牙利算法进行二部图的匹配，将小区内摄像头拍摄到的视频帧映射到平面图，确定目标行人在平面图上的行动轨迹和预测轨迹的对比。
预警模块，用于提醒巡更线路偏离或超时未巡更，若目标行人在平面图上的行动轨迹和预测轨迹的对比符合预定，则将当前情况记录存储，若不符合预定，则触发提醒，并将当前情况记录存储。
本申请实施例提供的一种基于计算机视觉的社区巡更分析方法及系统，通过计算机视觉的方法，对安保人员的巡更巡检工作完成情况进行分析，保障巡更任务的有效性，进而提高了社区的安全性。本方案实时自动化分析每个安保人员的巡更情况，无需管理人员监督，同时，本申请基于计算机视觉，不需要安保人员携带如GPS等其他外置设备，降低了物业运营成本，提高业务处理效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
下面结合附图和具体实施方式对本发明的基于计算机视觉的社区巡更分析方法及其系统作进一步的详细描述。
图1示出了本申请实施例一所提供的一种基于计算机视觉的社区巡更分析方法的流程图；
图2示出了本申请实施例一所提供的另一种基于计算机视觉的社区巡更分析方法的流程图；
图3示出了本申请实施例一所提供的第三种基于计算机视觉的社区巡更分析方法的流程图；
图4示出了本申请实施例一所提供的第四种基于计算机视觉的社区巡更分析方法的流程图；
图5示出了本申请实施例一所提供的第五种基于计算机视觉的社区巡更分析方法的流程图；
图6示出了本申请实施例二所提供的一种基于计算机视觉的社区巡更分析系统的结构示意图。
图中：101-存储模块；102-检测模块；103-跟踪模块；104-纠正关联模块；105-巡更分析模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
现有技术中，缺少对社区巡更进行智能分析和纠正的系统，多通过人为管理和监督，往往存在由于人为惰性造成的安防漏洞，巡更线路偏离或者超时未巡更的问题时有发生，造成物业管理效率低下，增加了物业管理的成本，而且易被不法分子趁机侵入，存在一定的安全漏洞。针对上述问题，本申请实施例提供的一种基于计算机视觉的社区巡更分析方法及系统，能够跟踪安保人员的轨迹，并实时与巡更计划路线进行比对，避免巡更线路偏离或者超时未巡更的问题发生，提高物业管理效率，有效减少物业需要的管理人员，让小区更加安全，业主更加满意。
为便于对本申请实施例进行理解，首先对本申请实施例所公开的一种基于计算机视觉的社区巡更分析方法进行详细介绍。
如图1所示，为本申请实施例基于计算机视觉的社区巡更分析方法的流程图，具体步骤如下：
S1，建立人脸库，采集所有小区业主和工作人员的人脸数据存储到服务器里。
S2，人脸检测识别，对比小区内摄像头拍摄到的人脸和服务器中的人脸数据，识别出人脸身份。
S3，行人跟踪，确定目标行人在小区内的行动轨迹。
S4，纠正关联，确保持续跟踪当前识别出身份的目标行人。
S5，巡更分析，比对目标行人在小区内的行动轨迹和巡检的预定轨迹。
基于上述方法，进一步的，如图2所示，步骤S2中，所述对比小区内摄像头拍摄到的人脸和服务器中的人脸数据，识别出人脸身份，包括：
S21，对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸特征的数据。
S22，对每个识别出人脸特征的数据进行质量评价。
S23，对符合质量评价的人脸数据进行关键点检测，并矫正人脸。
S24，对矫正后的人脸进行人脸识别，比对人脸库，识别和区分小区业主和工作人员的具体身份。
其中，为了能够通过计算机视觉识别出人物，需要对监控区域的重要入口、各个路径、岔路口、巡更路径范围内的等地方都部署高清摄像头，用来拍摄社区内的情况。将所有的摄像头链接到后台的服务器上，将摄像头数据存储到服务器里。
基于上述方法，进一步的，如图3所示，步骤S3中，所述确定目标行人在小区内的行动轨迹，包括：
S31，对检测到行人的视频帧进行分析检测，确定每个目标行人在当前帧中的位置。
S32，比对当前帧与前一帧的目标行人，判断目标跟踪情况，其中，当前帧的目标行人在前一帧中出现相对的匹配则认为目标跟踪成功，前一帧的目标行人在当前帧没有出现相对的匹配则认为目标丢失，当前帧的目标行人在前一帧中没有出现相对的匹配则认为有新的目标出现。
S33，对小区内所有摄像头拍摄到的视频帧进行分析检测，确定目标跟踪成功的行人在小区内的行动轨迹。
基于上述方法，进一步的，步骤S4中，所述确保持续跟踪当前识别出身份的目标行人，包括：
S41,对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸框和行人框。
S42，比较当前帧的行人框和识别到确定身份的人脸框，计算图像交并比(IOU)，进行关联，确定当前目标行人的身份，其中，若(由于没有人脸框、人脸不清晰的原因导致)识别失败，将继续跟踪目标行人，在下一帧重复比较识别到确定身份的人脸框和行人框，直至关联成功，若当前帧识别不到跟踪的目标行人，则跟踪中断，重新识别、跟踪和关联。
其中，本方案选择tracking by detection的行人跟踪策略。用人脸信息进行身份识别，所以为了确定被跟踪目标的具体身份，需要对检测到的人脸和行人进行关联。
基于上述方法，进一步的，步骤S5中，所述比对目标行人在小区内的行动轨迹和巡检的预定轨迹，包括：
S51,利用卡尔曼滤波对每一个目标行人进行建模，得到前一帧的目标行人在当前帧的预测位置。
S52，比对目标在当前帧的预测位置和目标在当前帧的实际位置，计算得到图像交并比(IOU)，以图像交并比(IOU)作为匈牙利算法的权重，利用带权重的匈牙利算法进行二部图的匹配，将小区内摄像头拍摄到的视频帧映射到平面图，确定目标行人在平面图上的行动轨迹和预测轨迹的对比，若符合预定，则将当前情况记录存储，若不符合预定，则触发提醒，并将当前情况记录存储。
其中，在前一帧中利用卡尔曼滤波对每一个目标进行建模，这个模型是独立于其他目标和拍摄的镜头，建模的目的是预测这个目标在当前帧的位置。通过卡尔曼滤波得到了前一帧中所有目标在当前帧的预测位置，同时检测算法检测到了当前帧的实际位置，这两部分构成了二部图。上述过程完成单个摄像有内的跟踪任务，对所有的摄像头视频进行联动，从而确定巡检人员在小区内的行动轨迹。
基于同一发明构思，本申请实施例二还提供了与基于计算机视觉的社区巡更分析方法对应的基于计算机视觉的社区巡更分析系统，由于本申请实施例中的系统解决问题的原理与本申请实施例上述基于计算机视觉的社区巡更分析方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参见图6所示，本申请又一实施例所提供的基于计算机视觉的社区巡更分析系统包括：
存储模块101，用于采集人脸数据，将人脸数据存储到服务器里。
检测模块102，用于将小区内摄像头拍摄到的人脸和服务器中的人脸数据对比，识别出人脸身份。
跟踪模块103，用于确定目标行人在小区内的行动轨迹。
纠正关联模块104，用于确保持续跟踪当前识别出身份的目标行人。
巡更分析模块105，用于比对目标行人在小区内的行动轨迹和巡检的预定轨迹。
所述检测模块102包括：
摄像模块，分布在小区内需要监控区域的重要入口、各个路径、岔路口的巡更路径范围内，用于拍摄社区内的情况。
分析模块，用于对拍摄到的视频帧进行分析检测，识别出人脸特征的数据。
评价模块，用于对每个识别出人脸特征的数据进行质量评价。
矫正模块，用于对符合质量评价的人脸数据进行关键点检测，矫正人脸。
识别模块，用于对矫正后的人脸进行人脸识别，比对人脸库，识别和区分小区业主和工作人员的具体身份。
所述跟踪模块103包括：
位置确认模块，用于对检测到行人的视频帧进行分析检测，确定每个目标行人在当前帧中的位置。
目标比对模块，用于比对当前帧与前一帧的目标行人，判断目标跟踪情况。
轨迹确认模块，用于对小区内所有摄像头拍摄到的视频帧进行分析检测，确定目标跟踪成功的行人在小区内的行动轨迹。
所述纠正关联模块104包括：
关联模块，用于对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸框和行人框。
目标检测模块，比较当前帧的行人框和识别到确定身份的人脸框，计算图像交并比(IOU)，进行关联，用于确定当前目标行人的身份。
纠正模块，用于判断是否关联成功，若识别失败，将继续跟踪目标行人，在下一帧重复比较识别到确定身份的人脸框和行人框，直至关联成功，若当前帧识别不到跟踪的目标行人，则跟踪中断，重新识别、跟踪和关联。
所述巡更分析模块105包括：
位置预测模块，利用卡尔曼滤波对每一个目标行人进行建模，用于得到前一帧的目标行人在当前帧的预测位置。
轨迹比对模块，用于比对目标在当前帧的预测位置和目标在当前帧的实际位置，计算得到图像交并比(IOU)，以图像交并比(IOU)作为匈牙利算法的权重，利用带权重的匈牙利算法进行二部图的匹配，将小区内摄像头拍摄到的视频帧映射到平面图，确定目标行人在平面图上的行动轨迹和预测轨迹的对比。
预警模块，用于提醒巡更线路偏离或超时未巡更，若目标行人在平面图上的行动轨迹和预测轨迹的对比符合预定，则将当前情况记录存储，若不符合预定，则触发提醒，并将当前情况记录存储。
本申请实施例提供的一种基于计算机视觉的社区巡更分析方法及系统，通过计算机视觉的方法，对安保人员的巡更巡检工作完成情况进行分析，保障巡更任务的有效性，进而提高了社区的安全性。本方案实时自动化分析每个安保人员的巡更情况，无需管理人员监督，同时，本申请基于计算机视觉，不需要安保人员携带如GPS等其他外置设备，降低了物业运营成本，提高业务处理效率。
本申请实施例所提供的基于计算机视觉的社区巡更分析方法及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于计算机视觉的社区巡更分析方法，从而能够跟踪安保人员的轨迹，并实时与巡更计划路线进行比对，避免巡更线路偏离或者超时未巡更的问题发生，提高物业管理效率，有效减少物业需要的管理人员，让小区更加安全，业主更加满意。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种基于计算机视觉的社区巡更分析方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于计算机视觉的社区巡更分析方法，其特征在于，包括：
建立人脸库，采集所有小区业主和工作人员的人脸数据存储到服务器里；
人脸检测识别，对比小区内摄像头拍摄到的人脸和服务器中的人脸数据，识别出人脸身份；
行人跟踪，确定目标行人在小区内的行动轨迹；
纠正关联，确保持续跟踪当前识别出身份的目标行人；
巡更分析，比对目标行人在小区内的行动轨迹和巡检的预定轨迹。
2.根据权利要求1所述的基于计算机视觉的社区巡更分析方法，其特征在于，所述对比小区内摄像头拍摄到的人脸和服务器中的人脸数据，识别出人脸身份，包括：
对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸特征的数据；
对每个识别出人脸特征的数据进行质量评价；
对符合质量评价的人脸数据进行关键点检测，并矫正人脸；
对矫正后的人脸进行人脸识别，比对人脸库，识别和区分小区业主和工作人员的具体身份。
3.根据权利要求1所述的基于计算机视觉的社区巡更分析方法，其特征在于，所述确定目标行人在小区内的行动轨迹，包括：
对检测到行人的视频帧进行分析检测，确定每个目标行人在当前帧中的位置；
比对当前帧与前一帧的目标行人，判断目标跟踪情况，其中，当前帧的目标行人在前一帧中出现相对的匹配则认为目标跟踪成功，前一帧的目标行人在当前帧没有出现相对的匹配则认为目标丢失，当前帧的目标行人在前一帧中没有出现相对的匹配则认为有新的目标出现；
对小区内所有摄像头拍摄到的视频帧进行分析检测，确定目标跟踪成功的行人在小区内的行动轨迹。
4.根据权利要求1所述的基于计算机视觉的社区巡更分析方法，其特征在于，所述确保持续跟踪当前识别出身份的目标行人，包括：
对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸框和行人框；
比较当前帧的行人框和识别到确定身份的人脸框，计算图像交并比(IOU)，进行关联，确定当前目标行人的身份，其中，若(由于没有人脸框、人脸不清晰的原因导致)识别失败，将继续跟踪目标行人，在下一帧重复比较识别到确定身份的人脸框和行人框，直至关联成功，若当前帧识别不到跟踪的目标行人，则跟踪中断，重新识别、跟踪和关联。
5.根据权利要求1所述的基于计算机视觉的社区巡更分析方法，其特征在于，所述比对目标行人在小区内的行动轨迹和巡检的预定轨迹，包括：
利用卡尔曼滤波对每一个目标行人进行建模，得到前一帧的目标行人在当前帧的预测位置；
比对目标在当前帧的预测位置和目标在当前帧的实际位置，计算得到图像交并比(IOU)，以图像交并比(IOU)作为匈牙利算法的权重，利用带权重的匈牙利算法进行二部图的匹配，将小区内摄像头拍摄到的视频帧映射到平面图，确定目标行人在平面图上的行动轨迹和预测轨迹的对比，若符合预定，则将当前情况记录存储，若不符合预定，则触发提醒，并将当前情况记录存储。
6.一种基于计算机视觉的社区巡更分析系统，其特征在于，用于实现如权利要求1至5中任意一项所述的方法，包括:
存储模块，用于采集人脸数据，将人脸数据存储到服务器里；
检测模块，用于将小区内摄像头拍摄到的人脸和服务器中的人脸数据对比，识别出人脸身份；
跟踪模块，用于确定目标行人在小区内的行动轨迹；
纠正关联模块，用于确保持续跟踪当前识别出身份的目标行人；
巡更分析模块，用于比对目标行人在小区内的行动轨迹和巡检的预定轨迹。
7.根据权利要求6所述的基于计算机视觉的社区巡更分析系统，其特征在于，所述检测模块包括：
摄像模块，分布在小区内需要监控区域的重要入口、各个路径、岔路口的巡更路径范围内，用于拍摄社区内的情况；
分析模块，用于对拍摄到的视频帧进行分析检测，识别出人脸特征的数据；
评价模块，用于对每个识别出人脸特征的数据进行质量评价；
矫正模块，用于对符合质量评价的人脸数据进行关键点检测，矫正人脸；
识别模块，用于对矫正后的人脸进行人脸识别，比对人脸库，识别和区分小区业主和工作人员的具体身份。
8.根据权利要求6所述的基于计算机视觉的社区巡更分析系统，其特征在于，所述跟踪模块包括：
位置确认模块，用于对检测到行人的视频帧进行分析检测，确定每个目标行人在当前帧中的位置；
目标比对模块，用于比对当前帧与前一帧的目标行人，判断目标跟踪情况；
轨迹确认模块，用于对小区内所有摄像头拍摄到的视频帧进行分析检测，确定目标跟踪成功的行人在小区内的行动轨迹。
9.根据权利要求6所述的基于计算机视觉的社区巡更分析系统，其特征在于，所述纠正关联模块包括：
关联模块，用于对小区内摄像头拍摄到的视频帧进行分析检测，识别出人脸框和行人框；
目标检测模块，比较当前帧的行人框和识别到确定身份的人脸框，计算图像交并比(IOU)，进行关联，用于确定当前目标行人的身份；
纠正模块，用于判断是否关联成功，若识别失败，将继续跟踪目标行人，在下一帧重复比较识别到确定身份的人脸框和行人框，直至关联成功，若当前帧识别不到跟踪的目标行人，则跟踪中断，重新识别、跟踪和关联。
10.根据权利要求6所述的基于计算机视觉的社区巡更分析系统，其特征在于，所述巡更分析模块包括：
位置预测模块，利用卡尔曼滤波对每一个目标行人进行建模，用于得到前一帧的目标行人在当前帧的预测位置；
轨迹比对模块，用于比对目标在当前帧的预测位置和目标在当前帧的实际位置，计算得到图像交并比(IOU)，以图像交并比(IOU)作为匈牙利算法的权重，利用带权重的匈牙利算法进行二部图的匹配，将小区内摄像头拍摄到的视频帧映射到平面图，确定目标行人在平面图上的行动轨迹和预测轨迹的对比；
预警模块，用于提醒巡更线路偏离或超时未巡更，若目标行人在平面图上的行动轨迹和预测轨迹的对比符合预定，则将当前情况记录存储，若不符合预定，则触发提醒，并将当前情况记录存储。
CN202011013011.5A 2020-09-24 2020-09-24 一种基于计算机视觉的社区巡更分析方法及其系统 Pending CN112132041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011013011.5A CN112132041A (zh) 2020-09-24 2020-09-24 一种基于计算机视觉的社区巡更分析方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011013011.5A CN112132041A (zh) 2020-09-24 2020-09-24 一种基于计算机视觉的社区巡更分析方法及其系统

Publications (1)

Publication Number Publication Date
CN112132041A true CN112132041A (zh) 2020-12-25

Family

ID=73839302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011013011.5A Pending CN112132041A (zh) 2020-09-24 2020-09-24 一种基于计算机视觉的社区巡更分析方法及其系统

Country Status (1)

Country Link
CN (1) CN112132041A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733819A (zh) * 2021-03-30 2021-04-30 成都大学 一种基于深度学习图像处理的多模式安保监测方法
CN112906552A (zh) * 2021-02-07 2021-06-04 上海卓繁信息技术股份有限公司 一种基于计算机视觉的巡检方法、装置和电子设备
CN112911219A (zh) * 2021-01-15 2021-06-04 南京中兴力维软件有限公司 电力设备巡检路线的识别方法、系统及设备
CN113191191A (zh) * 2021-03-23 2021-07-30 武汉特斯联智能工程有限公司 一种基于用户习惯分析的社区疫情管理方法和系统
CN115375736A (zh) * 2022-10-25 2022-11-22 威海市博华医疗设备有限公司 一种基于图像的行人轨迹跟踪方法和装置
CN116258751A (zh) * 2023-05-08 2023-06-13 中国人民解放军国防科技大学 基于无监督学习的保安巡逻管理方法、系统及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981041A (zh) * 2017-05-10 2017-07-25 深圳火眼智能有限公司 一种基于深度学习的智慧平安社区管理系统
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN110781844A (zh) * 2019-10-29 2020-02-11 贵州省烟草公司六盘水市公司 保安巡察监测方法及装置
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN110956714A (zh) * 2019-11-26 2020-04-03 湖北佳狮盾智能技术有限公司 一种基于人脸识别的巡查系统
CN111242984A (zh) * 2020-02-13 2020-06-05 珠海安联锐视科技股份有限公司 一种基于摇头摄像机的目标跟踪方法
CN111294561A (zh) * 2020-02-18 2020-06-16 广州正为明昱信息科技有限公司 基于视频的在线巡更方法、电子设备、存储介质及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN106981041A (zh) * 2017-05-10 2017-07-25 深圳火眼智能有限公司 一种基于深度学习的智慧平安社区管理系统
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN110781844A (zh) * 2019-10-29 2020-02-11 贵州省烟草公司六盘水市公司 保安巡察监测方法及装置
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN110956714A (zh) * 2019-11-26 2020-04-03 湖北佳狮盾智能技术有限公司 一种基于人脸识别的巡查系统
CN111242984A (zh) * 2020-02-13 2020-06-05 珠海安联锐视科技股份有限公司 一种基于摇头摄像机的目标跟踪方法
CN111294561A (zh) * 2020-02-18 2020-06-16 广州正为明昱信息科技有限公司 基于视频的在线巡更方法、电子设备、存储介质及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴凯亮: "人脸识别在智慧园区中的应用", 《电视技术》 *
胡长玉: "高校智能化安防系统建设研究", 《烟台职业学院学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911219A (zh) * 2021-01-15 2021-06-04 南京中兴力维软件有限公司 电力设备巡检路线的识别方法、系统及设备
CN112906552A (zh) * 2021-02-07 2021-06-04 上海卓繁信息技术股份有限公司 一种基于计算机视觉的巡检方法、装置和电子设备
CN113191191A (zh) * 2021-03-23 2021-07-30 武汉特斯联智能工程有限公司 一种基于用户习惯分析的社区疫情管理方法和系统
CN113191191B (zh) * 2021-03-23 2023-08-18 武汉特斯联智能工程有限公司 一种基于用户习惯分析的社区疫情管理方法和系统
CN112733819A (zh) * 2021-03-30 2021-04-30 成都大学 一种基于深度学习图像处理的多模式安保监测方法
CN112733819B (zh) * 2021-03-30 2021-06-18 成都大学 一种基于深度学习图像处理的多模式安保监测方法
CN115375736A (zh) * 2022-10-25 2022-11-22 威海市博华医疗设备有限公司 一种基于图像的行人轨迹跟踪方法和装置
CN116258751A (zh) * 2023-05-08 2023-06-13 中国人民解放军国防科技大学 基于无监督学习的保安巡逻管理方法、系统及设备

Similar Documents

Publication Publication Date Title
CN112132041A (zh) 一种基于计算机视觉的社区巡更分析方法及其系统
US11288495B2 (en) Object tracking and best shot detection system
CN109325429B (zh) 一种关联特征数据的方法、装置、存储介质及终端
JP4753193B2 (ja) 動線管理システムおよびプログラム
CN105100700A (zh) 利用摄像机之间的交接的目标物跟踪装置及方法
CN111008568B (zh) 逃票检测方法及其相关装置
CN112037245B (zh) 一种确定追踪目标相似度的方法和系统
CN113129339B (zh) 一种目标跟踪方法、装置、电子设备及存储介质
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及系统
US7295106B1 (en) Systems and methods for classifying objects within a monitored zone using multiple surveillance devices
CN110852148A (zh) 一种基于目标追踪的访客目的地核验方法及系统
CN112132047A (zh) 一种基于计算机视觉的小区巡更系统
CN112465866A (zh) 多目标轨迹获取方法、装置、系统及存储介质
CN115604424A (zh) 一种物资仓储安防管理系统
CN106571040B (zh) 一种可疑车辆确认方法及设备
CN114743165A (zh) 车辆轨迹线的确定方法、装置、存储介质及电子装置
CN115546260A (zh) 目标识别跟踪方法、装置、电子设备及存储介质
CN111985452A (zh) 一种人员活动轨迹及落脚点的自动生成方法及系统
CN113343880A (zh) 一种车辆遮挡号牌的识别方法、装置、设备及介质
CN112330742A (zh) 公共区域重点人员活动路线记录方法及装置
CN115083004B (zh) 一种身份识别方法、装置和计算机可读存储介质
CN115862138A (zh) 一种人员摔倒行为检测方法、装置、设备及存储介质
US10636262B2 (en) Method and device for monitoring individuals in a place equipped with distributed detection means
CN115169588A (zh) 电像计算时空轨迹车码关联方法、装置、设备及存储介质
CN112183204A (zh) 一种停车事件的检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201225

RJ01 Rejection of invention patent application after publication