CN111160223A - 一种基于深度学习的人员徘徊行为检测方法 - Google Patents

一种基于深度学习的人员徘徊行为检测方法 Download PDF

Info

Publication number
CN111160223A
CN111160223A CN201911369321.8A CN201911369321A CN111160223A CN 111160223 A CN111160223 A CN 111160223A CN 201911369321 A CN201911369321 A CN 201911369321A CN 111160223 A CN111160223 A CN 111160223A
Authority
CN
China
Prior art keywords
face
information
behavior
algorithm
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911369321.8A
Other languages
English (en)
Inventor
李庆新
王汝杰
王志保
陈澎祥
陆翔云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiandi Weiye Investment Management Co ltd
Original Assignee
Tianjin Tiandi Weiye Investment Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiandi Weiye Investment Management Co ltd filed Critical Tianjin Tiandi Weiye Investment Management Co ltd
Priority to CN201911369321.8A priority Critical patent/CN111160223A/zh
Publication of CN111160223A publication Critical patent/CN111160223A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明创造提供了一种基于深度学习的人员徘徊行为检测方法，人脸检测技术可以从普通的视频流中检测出人脸，并可跟踪人脸的运行轨迹。人脸识别技术可以从检测出的人脸图像信息中提取特征值以供后续的对比分析。人脸NVR使用检测算法从视频流中提取人脸，使用识别算法获取到人脸的特征信息。通过对特征信息的分析处理判断出是否产生了徘徊行为。本发明创造所述的一种基于深度学习的人员徘徊行为检测方法，除具备传统NVR的视频接入、存储及转发功能外，同时兼具视频流人脸智能分析，根据业务需求对人脸分析结果进行再处理的功能。

Description

一种基于深度学习的人员徘徊行为检测方法
技术领域
本发明创造属于人员徘徊行为监控检测技术领域，尤其是涉及一种基于深度学习的人员徘徊行为检测方法。
背景技术
人脸NVR是嵌入式方案设计的一款将传统NVR与AI人脸识别技术相结合的视频监控产品。人脸NVR除具备传统NVR的视频接入、存储及转发功能外，同时兼具视频流人脸智能分析，根据业务需求对人脸分析结果进行再处理的功能。
人脸NVR使用双芯片架构，一片运行传统NVR业务，一片运行人脸识别算法。芯片间通过内部网络进行通信。业务芯片通过外部网络接收ipc发送的视频流，将视频流通过内部网络送算法芯片进行分析处理。接收算法芯片返回的处理结果并根据业务需求对算法结果再次分析处理，判断并检测出徘徊行为。这种从视频流中检测人脸、识别人脸特征并分析出徘徊行为的方法即本申请注明的”种基于深度学习的人员徘徊行为检测方法”。
发明内容
有鉴于此，本发明创造旨在克服上述现有技术中存在的缺陷，提出一种基于深度学习的人员徘徊行为检测方法。
为达到上述目的，本发明创造的技术方案是这样实现的：
一种基于深度学习的人员徘徊行为检测方法，包括如下步骤：
S1.业务单元将从外部网络接收的视频流发送给算法单元；
S2.算法单元提取视频流中的人脸的图像信息及人脸的运动轨迹信息；
S3.算法单元从检测出的人脸图像信息中提取人脸的特征信息；
S4.算法单元将人脸图像信息、轨迹信息、特征信息发送给业务单元；
S5.业务单元对图像信息、轨迹信息、特征信息进行分析处理，判断是否产生了人员的徘徊行为。
进一步的，所述步骤S5中判断是否产生徘徊行为的方法，需要预先设定一个徘徊行为限定阈值，当同一个人在指定的时间段内在视频中出现的次数超出限定阈值时，即可判断为产生徘徊行为；具体方法如下：
S501.人脸业务模块根据特征信息判断人脸是否在白名单内，如果在则不进行后续的处理；
S502.如果人脸不在白名单库中，业务模块需要将结果中的轨迹编号并与内存中保存的信息进行对比；如果内存中已经有该人脸的轨迹信息，则说明该人脸出现在视频中且并未从视频中消失，可以将该记录与之前的记录合并为一次；
S503.如果人脸不在白名单中并且轨迹编号与内存中的数据不重复，则将该算法分析结果中的特征信息、轨迹信息及当前的时间信息保存在内存中；
S504.遍历内存中的数据，统计该特征信息出现的次数，如果统计值大于徘徊行为设定的阈值，则判断该特征值对应的人脸发生徘徊行为。
进一步的，所述步骤S5还设置了内存数据的老化方法，用于计算人脸在指定时间范围内出现的次数，防止超时数据对结果的影响；需要预先设定徘徊行为检测的时间阈值，包括如下步骤：
a.从内存中获取一条算法记录，记录包括人脸的特征信息，人脸的轨迹信息及该条记录的保存时间即人脸出现的时间；
b.计算系统当前时间与记录中时间的时间差，判断该时间差是否大于徘徊行为设定的时间阈值，如果大于时间阈值则将该记录从内存中删除；
c.重复步骤a、步骤b，直到将内存中的数据全部处理完；
d.每5秒，重复一次步骤a-步骤c，确保内存中保存的所有算法记录都是实时有效的。
进一步的，所述业务单元判断产生徘徊行为后，会将该人脸的图像信息，及该人脸在视频中出现的次数都保存在硬盘中，同时记录日志，并触发报警联动处理。
进一步的，所述算法单元为算法芯片，业务单元为业务芯片；所述业务芯片与算法芯片间使用内部网络进行通讯。
相对于现有技术，本发明创造具有以下优势：
人脸NVR使用双芯片架构，一片运行传统NVR业务，一片运行人脸识别算法。芯片间通过内部网络进行通信。业务芯片通过外部网络接收ipc发送的视频流，将视频流通过内部网络送算法芯片进行分析处理。接收算法芯片返回的处理结果并根据业务需求对算法结果再次分析处理，判断并检测出徘徊行为。除具备传统NVR的视频接入、存储及转发功能外，同时兼具视频流人脸智能分析，根据业务需求对人脸分析结果进行再处理的功能。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：
图1为本发明创造实施例所述的判断是否产生徘徊行为的处理流程示意图；
图2为本发明创造实施例所述的内存数据的老化流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。
下面将参考附图并结合实施例来详细说明本发明创造。
一种基于深度学习的人员徘徊行为检测方法，包括如下步骤：
S1.业务单元将从外部网络接收的视频流发送给算法单元；
S2.算法单元提取视频流中的人脸的图像信息及人脸的运动轨迹信息；
S3.算法单元从检测出的人脸图像信息中提取人脸的特征信息；
S4.算法单元将人脸图像信息、轨迹信息、特征信息发送给业务单元；
S5.业务单元对图像信息、轨迹信息、特征信息进行分析处理，判断是否产生了人员的徘徊行为。
如附图1所示，所述步骤S5中判断是否产生徘徊行为的方法需要预先设定一个徘徊行为限定阈值，当同一个人在指定的时间段内在视频中出现的次数超出限定阈值时，即可判断为产生徘徊行为；具体方法如下：
S501.人脸业务模块根据特征信息判断人脸是否在白名单内，如果在则不进行后续的处理；
S502.如果人脸不在白名单库中，业务模块需要将结果中的轨迹编号并与内存中保存的信息进行对比；如果内存中已经有该人脸的轨迹信息，则说明该人脸出现在视频中且并未从视频中消失，可以将该记录与之前的记录合并为一次；
S503.如果人脸不在白名单中并且轨迹编号与内存中的数据不重复，则将该算法分析结果中的特征信息、轨迹信息及当前的时间信息保存在内存中；
S504.遍历内存中的数据，统计该特征信息出现的次数，如果统计值大于徘徊行为设定的阈值，则判断该特征值对应的人脸发生徘徊行为。
NVR业务首先根据特征信息判人脸是否在白名单内，如果在则不进行后续的处理。如果不在，判断内存中该人脸的轨迹信息是否更改，如果更改则将频次计数加1，如果频次计数大于指定的阈值时，则确定该人脸出现了徘徊行为。
如附图2所示，所述步骤S3还设置了内存数据的老化方法，用于计算人脸在指定时间范围内出现的次数，防止超时数据对结果的影响；需要预先设定徘徊行为检测的时间阈值，包括如下步骤：
a.从内存中获取一条算法记录，记录包括人脸的特征信息，人脸的轨迹信息及该条记录的保存时间即人脸出现的时间；
b.计算系统当前时间与记录中时间的时间差，判断该时间差是否大于徘徊行为设定的时间阈值，如果大于时间阈值则将该记录从内存中删除；
c.重复步骤a、步骤b，直到将内存中的数据全部处理完；
d.每5秒，重复一次步骤a-步骤c，确保内存中保存的所有算法记录都是实时有效的。
徘徊行为统计的是一定的时间段内人脸的出现次数，因此需要将超时记录定期从内存中清除掉；
所述业务单元判断产生徘徊行为后，会将该人脸的图像信息，及该人脸在视频中出现的次数都保存在硬盘中，同时记录日志，并触发报警联动处理。
所述算法单元为算法芯片，业务单元为业务芯片；所述业务芯片与算法芯片间使用内部网络进行通讯。
人脸NVR的架构：人脸NVR使用业务+算法的双芯片架构，芯片间使用内部网络进行通讯。
算法结果的获取流程：业务芯片将从外部网络接收的视频流通过内部网络发送给算法芯片。算法芯片从视频流中提取人脸图像信息、人脸特征信息、人脸运动轨迹信息，并将分析结果发送给业务芯片处理。
徘徊行为的定义：当同一个人在指定的时间段内在视频中出现的次数超出限定阈值时，即可判断为产生徘徊行为。
黑白名单的定义：在NVR的实际应用中可以为徘徊行为指定白名单，白名单中的人员不进行徘徊行为的判断处理。
利用算法返回结果判断徘徊行为的方法：算法返回人脸的特征、信息及图片信息。NVR业务首先根据特征信息判人脸是否在白名单内，如果在则不进行后续的处理。如果不在，判断内存中该人脸的轨迹信息是否更改，如果更改则将频次计数加1，如果频次计数大于指定的阈值时，则确定该人脸出现了徘徊行为。
算法结果的老化方法：为了计算人脸在指定时间范围内出现的次数，算法结果需要缓存在内存中。徘徊行为统计的是一定的时间段内人脸的出现次数，因此需要将超时记录定期从内存中清除掉。
徘徊行为的后续处理：当业务判断产生徘徊行为后，会将该人脸的图片信息，及该人脸在视频中出现的次数都保存在硬盘中，同时记录日志，触发报警联动等处理。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (5)

1.一种基于深度学习的人员徘徊行为检测方法，其特征在于：包括如下步骤：
S1.业务单元将从外部网络接收的视频流发送给算法单元；
S2.算法单元提取视频流中的人脸的图像信息及人脸的运动轨迹信息；
S3.算法单元从检测出的人脸图像信息中提取人脸的特征信息；
S4.算法单元将人脸图像信息、轨迹信息、特征信息发送给业务单元；
S5.业务单元对图像信息、轨迹信息、特征信息进行分析处理，判断是否产生了人员的徘徊行为。
2.根据权利要求1所述的一种基于深度学习的人员徘徊行为检测方法，其特征在于：所述步骤S5中判断是否产生徘徊行为的方法，需要预先设定一个徘徊行为限定阈值，当同一个人在指定的时间段内在视频中出现的次数超出限定阈值时，即可判断为产生徘徊行为；具体方法如下：
S501.人脸业务模块根据特征信息判断人脸是否在白名单内，如果在则不进行后续的处理；
S502.如果人脸不在白名单库中，业务模块需要将结果中的轨迹编号并与内存中保存的信息进行对比；如果内存中已经有该人脸的轨迹信息，则说明该人脸出现在视频中且并未从视频中消失，可以将该记录与之前的记录合并为一次；
S503.如果人脸不在白名单中并且轨迹编号与内存中的数据不重复，则将该算法分析结果中的特征信息、轨迹信息及当前的时间信息保存在内存中；
S504.遍历内存中的数据，统计该特征信息出现的次数，如果统计值大于徘徊行为设定的阈值，则判断该特征值对应的人脸发生徘徊行为。
3.根据权利要求1所述的一种基于深度学习的人员徘徊行为检测方法，其特征在于：所述步骤S5还设置了内存数据的老化方法，用于计算人脸在指定时间范围内出现的次数，防止超时数据对结果的影响；需要预先设定徘徊行为检测的时间阈值，包括如下步骤：
a.从内存中获取一条算法记录，记录包括人脸的特征信息，人脸的轨迹信息及该条记录的保存时间即人脸出现的时间；
b.计算系统当前时间与记录中时间的时间差，判断该时间差是否大于徘徊行为设定的时间阈值，如果大于时间阈值则将该记录从内存中删除；
c.重复步骤a、步骤b，直到将内存中的数据全部处理完；
d.每5秒，重复一次步骤a-步骤c，确保内存中保存的所有算法记录都是实时有效的。
4.根据权利要求1所述的一种基于深度学习的人员徘徊行为检测方法，其特征在于：所述业务单元判断产生徘徊行为后，会将该人脸的图像信息，及该人脸在视频中出现的次数都保存在硬盘中，同时记录日志，并触发报警联动处理。
5.根据权利要求1所述的一种基于深度学习的人员徘徊行为检测方法，其特征在于：所述算法单元为算法芯片，业务单元为业务芯片；所述业务芯片与算法芯片间使用内部网络进行通讯。
CN201911369321.8A 2019-12-26 2019-12-26 一种基于深度学习的人员徘徊行为检测方法 Withdrawn CN111160223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911369321.8A CN111160223A (zh) 2019-12-26 2019-12-26 一种基于深度学习的人员徘徊行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911369321.8A CN111160223A (zh) 2019-12-26 2019-12-26 一种基于深度学习的人员徘徊行为检测方法

Publications (1)

Publication Number Publication Date
CN111160223A true CN111160223A (zh) 2020-05-15

Family

ID=70558525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911369321.8A Withdrawn CN111160223A (zh) 2019-12-26 2019-12-26 一种基于深度学习的人员徘徊行为检测方法

Country Status (1)

Country Link
CN (1) CN111160223A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112268554A (zh) * 2020-09-16 2021-01-26 四川天翼网络服务有限公司 一种基于路径轨迹分析的区域范围徘徊检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112268554A (zh) * 2020-09-16 2021-01-26 四川天翼网络服务有限公司 一种基于路径轨迹分析的区域范围徘徊检测方法及系统

Similar Documents

Publication Publication Date Title
CN110222640B (zh) 监控场所中嫌疑人的识别方法、装置、方法和存储介质
US10769645B2 (en) Method and device for calculating customer traffic volume
JP6854881B2 (ja) 顔画像照合システムおよび顔画像検索システム
US6606409B2 (en) Fade-in and fade-out temporal segments
US20180115749A1 (en) Surveillance system and surveillance method
US10657783B2 (en) Video surveillance method based on object detection and system thereof
CN108269333A (zh) 人脸识别方法、应用服务器及计算机可读存储介质
US8266174B2 (en) Behavior history retrieval apparatus and behavior history retrieval method
EP3385880B1 (en) Passenger flow information collection method and apparatus, and passenger flow information processing method and apparatus
CN109344765A (zh) 一种针对连锁门店入店人员分析的智能分析方法
CN108280953A (zh) 视频侦测报警方法及装置、存储介质、摄像头
CN110569770A (zh) 人体入侵行为识别方法、装置、存储介质及电子设备
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及系统
CN112184751A (zh) 物体识别方法及系统、电子设备
CN110211316B (zh) 一种监控预警方法和系统
CN111160223A (zh) 一种基于深度学习的人员徘徊行为检测方法
Munagekar Smart Surveillance system for theft detection using image processing
CN110363180A (zh) 一种统计陌生人人脸重复出现的方法和装置以及设备
CN117830053A (zh) 一种周界安防告警系统及方法
CN109147338B (zh) 一种违规停车的识别方法、装置及服务器
CN109120896B (zh) 安防视频监控卫士系统
JP6290614B2 (ja) 顔認識ゲートシステム及び顔認識ゲートシステムプログラム
Van Den Hengel et al. Finding camera overlap in large surveillance networks
KR102656084B1 (ko) 이동경로 기반 객체 매핑 방법 및 장치
WO2012148258A1 (en) Abrupt object movement detection system and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200515

WW01 Invention patent application withdrawn after publication