CN112258778A - 一种微表情实时告警录像录制方法 - Google Patents

一种微表情实时告警录像录制方法 Download PDF

Info

Publication number
CN112258778A
CN112258778A CN202011086724.4A CN202011086724A CN112258778A CN 112258778 A CN112258778 A CN 112258778A CN 202011086724 A CN202011086724 A CN 202011086724A CN 112258778 A CN112258778 A CN 112258778A
Authority
CN
China
Prior art keywords
alarm
video
recording
micro
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011086724.4A
Other languages
English (en)
Other versions
CN112258778B (zh
Inventor
凌志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinktech Information Technology Co ltd
Original Assignee
Nanjing Xinktech Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinktech Information Technology Co ltd filed Critical Nanjing Xinktech Information Technology Co ltd
Priority to CN202011086724.4A priority Critical patent/CN112258778B/zh
Publication of CN112258778A publication Critical patent/CN112258778A/zh
Application granted granted Critical
Publication of CN112258778B publication Critical patent/CN112258778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种微表情实时告警录像录制方法，首先通过微表情算法对视频源中每个视频帧进行微表情分析，当达到指定告警值就会进入告警触发判断；然后定义告警开始的时间节点为B,告警开始之前2s为时间节点A,告警结束的时间节点为C，告警结束之后2s为时间节点D,然后进行告警视频的录制，定义第一告警视频为时间节点为A‑D之间的视频数据,定义C‑D之间发生的有效告警为第二告警，定义第二告警视频为在第一告警视频的基础上后延2s后录制的视频数据，第二告警视频录制前停止第一告警视频录制。本方案基于微表情算法，对视频源中每个视频帧进行微表情分析，再根据可疑帧判断片段可疑类型，以进行告警，再利用ffmpeg进行告警视频的录制，并对录制时间进行优化，避免漏录。

Description

一种微表情实时告警录像录制方法
技术领域
本发明涉及微表情分析技术领域，具体涉及一种微表情实时告警录像录制方法。
背景技术
微表情实时分析系统在对每一个视频帧分析时，当各种负面表情按照相关算法进行计算，当其达到指定预警值就会进入告警触发判断，如果连续N(3-10)帧超过预警值，则认为是一次有效告警，并对告警视频进行扩展录制。
所以，有必要设计一种微表情实时告警录像录制方法，以满足对告警视频进行扩展录制的需求。
发明内容
为克服上述现有技术中的不足，本发明目的在于提供一种微表情实时告警录像录制方法。
为实现上述目的及其他相关目的，本发明提供的技术方案是：一种微表情实时告警录像录制方法，步骤如下：
S1.通过微表情算法对视频源中每个视频帧进行微表情分析，当达到指定告警值就会进入告警触发判断；
S2.定义告警开始的时间节点为B,告警开始之前2s为时间节点A,告警结束的时间节点为C，告警结束之后2s为时间节点D,然后进行告警视频的录制，定义第一告警视频为时间节点为A-D之间的视频数据,定义C-D之间发生的有效告警为第二告警，定义第二告警视频为在第一告警视频的基础上后延2s后录制的视频数据，第二告警视频录制前停止第一告警视频录制。
优选的：所述步骤S1中的计算公式为
Figure BDA0002720606900000011
V表示可疑值[0-100]。
优选的：所述可疑值划分四个空间[0,25],[25,50],[50,75],[75,100]，依次表明可疑程度逐渐加重。
优选的：所述可疑值的最终输出是具体可疑分类的连续可疑帧。
优选的：所述可疑分类的连续可疑帧的计算原理：连续出现某种可疑类型的帧超过三帧时该片段预判为该可疑类型，并进行告警。
优选的：所述步骤S2中，利用ffmpeg进行告警视频的录制。
优选的：告警视频截取前需要先对当前录制的视频进行停止，停止后需立马启动新的录像
本方案基于微表情算法，对视频源中每个视频帧进行微表情分析，再根据可疑帧判断片段可疑类型，以进行告警，再利用ffmpeg进行告警视频的录制，并对录制时间进行优化，避免漏录。
附图说明
图1为本发明示意图。
具体实施方式
下面结合附图对本发明进行详细说明：
实施例：
本发明提供的一种微表情实时告警录像录制方法，包括步骤如下：
S1.通过微表情算法对视频源中每个视频帧进行微表情分析，当达到指定告警值就会进入告警触发判断；
S2.定义告警开始的时间节点为B,告警开始之前2s为时间节点A,告警结束的时间节点为C，告警结束之后2s为时间节点D,然后进行告警视频的录制，定义第一告警视频为时间节点为A-D之间的视频数据,定义C-D之间发生的有效告警为第二告警，定义第二告警视频为在第一告警视频的基础上后延2s后录制的视频数据，第二告警视频录制前停止第一告警视频录制。
具体的，微表情算法计算公式为
Figure BDA0002720606900000021
其中V表示可疑值[0-100]。
可疑值划分四个空间[0,25],[25,50],[50,75],[75,100]。
根据可疑值的上述计算公式，可以看出可疑值计算的就是正面表情不足，且出现两种负面表情处于激活状态时，而且是通过负面表情值超出激活值部分来计算的可疑值，所以一旦可疑值大于0即说明有可疑存在，即使是[0,25]区间，也是证明视频中出现负面微表情导致可疑，只是可疑的程度比较轻微，即之前划分的四个区间，依次表明可疑值的程度逐渐加重。至于这四种程度的可疑怎么定义，是否与现在的配合、侥幸、抵触、恐慌相对应，需要产品根据实际业务需求进行评审定义。
此外，可疑值新计算规则的最终输出是具体可疑分类的连续可疑帧。
可疑分类的连续可疑帧的计算原理：连续出现某种可疑类型的帧超过三帧时该片段预判为该可疑类型，并进行告警，(这里的连续可疑帧序列中最多可出现一个不属于该可疑类型的帧出现)，至于这里选择的连续三帧的依据是调研得到的微表情一般持续1/25-1/5s之间，针对可疑程度比较高的类型，可疑特殊定义只要出现连续两帧即可进行告警。
为了实现视频录制的未卜先知，即录制片段在告警触发前2s，触发结束后2s。具体实施方案有：
(1)缓存方案
在算法服务接口模块对视频帧做缓存，然后做图像合成，再做音视频合成。这样理论上能实现，但存在如下缺陷。
a、资源消耗，需要额外缓存100帧的数据(4s*25fps)；
b、时间对齐问题，因牵涉到图像合成、音视频合成只是，很难做到音视频同步，并且有丢帧风险，导致录像失真；
c、业务耦合度高，污染算法服务；
d、告警视频交叉时候的拼接问题。
(2)采用视频截取技术
原理即通过ffmpeg对录好的视频按时间进行视频截取，其中起始时间为告警开始的前2s，结束时间是告警结束的后2s。
具体如图1所示，当B处触发告警时，记录告警触发的时间节点，在C处告警结束时，记录告警结束的时间节点，并于2s后向流媒体发送消息，告知开始进行视频截取。视频截取前需要先对当前录制的视频进行停止，否则无法操作，停止需要立马启动新的录像，否则后续告警就没有截取的源文件。
然而，上述设计方案存在一个缺陷，即如果在C-D之间产生告警该如何处理？对于该问题，从业务及统计上分析看，告警帧范围在3-10之间，即时间大概在120ms-400ms范围内，非常短暂。那么对于C-D之间的告警就可以做下合并，认为是一次告警，优化方案如下：
a、双告警录像
即在每次触发告警的时候就启动新一轮录像，如果是假告警(未满足触发阈值的疑似告警)就结束并删除；
b、告警合并
在告警结束的2s内，如果又触发了真告警，则告警时长继续后延2s后再进行录像视频的截取，截取时间为A-D’,视频截取前停止前一个告警。
所以，本发明具有以下优点：
本方案基于微表情算法，对视频源中每个视频帧进行微表情分析，再根据可疑帧判断片段可疑类型，以进行告警，再利用ffmpeg进行告警视频的录制，并对录制时间进行优化，避免漏录。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神和技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种微表情实时告警录像录制方法，其特征在于，步骤如下：
S1.通过微表情算法对视频源中每个视频帧进行微表情分析，当达到指定告警值就会进入告警触发判断；
S2.定义告警开始的时间节点为B,告警开始之前2s为时间节点A,告警结束的时间节点为C，告警结束之后2s为时间节点D,然后进行告警视频的录制，定义第一告警视频为时间节点为A-D之间的视频数据,定义C-D之间发生的有效告警为第二告警，定义第二告警视频为在第一告警视频的基础上后延2s后录制的视频数据，第二告警视频录制前停止第一告警视频录制。
2.根据权利要求1所述的一种微表情实时告警录像录制方法，其特征在于：所述步骤S1中的计算公式为
Figure FDA0002720606890000011
V表示可疑值[0-100]。
3.根据权利要求2所述的一种微表情实时告警录像录制方法，其特征在于：所述可疑值划分四个空间[0,25],[25,50],[50,75],[75,100]，依次表明可疑程度逐渐加重。
4.根据权利要求1所述的一种微表情实时告警录像录制方法，其特征在于：所述可疑值的最终输出是具体可疑分类的连续可疑帧。
5.根据权利要求4所述的一种微表情实时告警录像录制方法，其特征在于：所述可疑分类的连续可疑帧的计算原理：连续出现某种可疑类型的帧超过三帧时该片段预判为该可疑类型，并进行告警。
6.根据权利要求1所述的一种微表情实时告警录像录制方法，其特征在于：所述步骤S2中，利用ffmpeg进行告警视频的录制。
7.根据权利要求1所述的一种微表情实时告警录像录制方法，其特征在于：告警视频截取前需要先对当前录制的视频进行停止，停止后需立马启动新的录像。
CN202011086724.4A 2020-10-12 2020-10-12 一种微表情实时告警录像录制方法 Active CN112258778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011086724.4A CN112258778B (zh) 2020-10-12 2020-10-12 一种微表情实时告警录像录制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086724.4A CN112258778B (zh) 2020-10-12 2020-10-12 一种微表情实时告警录像录制方法

Publications (2)

Publication Number Publication Date
CN112258778A true CN112258778A (zh) 2021-01-22
CN112258778B CN112258778B (zh) 2022-09-06

Family

ID=74241846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086724.4A Active CN112258778B (zh) 2020-10-12 2020-10-12 一种微表情实时告警录像录制方法

Country Status (1)

Country Link
CN (1) CN112258778B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693739A (zh) * 2011-03-24 2012-09-26 腾讯科技（深圳）有限公司 视频片段生成方法及系统
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
CN104683738A (zh) * 2013-11-28 2015-06-03 杭州海康威视数字技术股份有限公司 一种存储车载dvr报警录像片段的方法
CN109508660A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于视频的au检测方法
CN109523290A (zh) * 2018-09-14 2019-03-26 平安科技（深圳）有限公司 基于听众微表情的听讲评价方法、装置、设备及介质
CN109549624A (zh) * 2018-11-04 2019-04-02 南京云思创智信息科技有限公司 一种基于深度学习的实时视频情感分析方法及系统
CN109766859A (zh) * 2019-01-17 2019-05-17 平安科技（深圳）有限公司 基于微表情的校园监控方法、装置、设备及存储介质
CN109766762A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 智能应急处理方法、装置、计算机设备及存储介质
CN110175505A (zh) * 2019-04-08 2019-08-27 北京网众共创科技有限公司 微表情类型的确定方法、装置、存储介质及电子装置
CN110298990A (zh) * 2018-03-22 2019-10-01 云丁网络技术(北京)有限公司 监控设备的报警方法、系统、监控设备和云服务器
CN111611860A (zh) * 2020-04-22 2020-09-01 西南大学 一种微表情发生检测方法及检测系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693739A (zh) * 2011-03-24 2012-09-26 腾讯科技（深圳）有限公司 视频片段生成方法及系统
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
CN104683738A (zh) * 2013-11-28 2015-06-03 杭州海康威视数字技术股份有限公司 一种存储车载dvr报警录像片段的方法
CN110298990A (zh) * 2018-03-22 2019-10-01 云丁网络技术(北京)有限公司 监控设备的报警方法、系统、监控设备和云服务器
CN109523290A (zh) * 2018-09-14 2019-03-26 平安科技（深圳）有限公司 基于听众微表情的听讲评价方法、装置、设备及介质
CN109508660A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于视频的au检测方法
CN109549624A (zh) * 2018-11-04 2019-04-02 南京云思创智信息科技有限公司 一种基于深度学习的实时视频情感分析方法及系统
CN109766762A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 智能应急处理方法、装置、计算机设备及存储介质
CN109766859A (zh) * 2019-01-17 2019-05-17 平安科技（深圳）有限公司 基于微表情的校园监控方法、装置、设备及存储介质
CN110175505A (zh) * 2019-04-08 2019-08-27 北京网众共创科技有限公司 微表情类型的确定方法、装置、存储介质及电子装置
CN111611860A (zh) * 2020-04-22 2020-09-01 西南大学 一种微表情发生检测方法及检测系统

Also Published As

Publication number Publication date
CN112258778B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
KR102066939B1 (ko) 영상 감시 시스템
JP5919365B2 (ja) 映像要約方法および装置
US20160112287A1 (en) Storing and analyzing network traffic data
WO2020252924A1 (zh) 视频行人检测方法、装置、服务器及存储介质
CN111541661A (zh) 基于因果知识的电力信息网络攻击场景重构方法及系统
US20130243254A1 (en) Foreground Analysis Based on Tracking Information
US20100063949A1 (en) Long-term memory in a video analysis system
US10657783B2 (en) Video surveillance method based on object detection and system thereof
EP3786951B1 (en) Audio transmission with compensation for speech detection period duration
CA2716705A1 (en) Broker mediated video analytics method and system
WO2021184333A1 (zh) 多媒体数据存储方法、装置、设备、存储介质及程序产品
US8712100B2 (en) Profiling activity through video surveillance
EP3694202A1 (en) Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
CN104320625A (zh) 一种平安乡村智能视频监控方法与系统
CN112258778B (zh) 一种微表情实时告警录像录制方法
CN104243192B (zh) 故障处理方法及系统
CN102376146A (zh) 基于图像分析报警信号的报警事件信息保存方法
CN102014274B (zh) 一种考试监控系统及其监控信息处理方法
WO2018038989A1 (en) Audio compensation techniques for network outages
JP2010272947A (ja) 持ち去り／置き去り判定装置及び持ち去り／置き去り判定方法
CN112468509A (zh) 一种基于深度学习技术的流量数据自动检测方法及装置
CN112104628A (zh) 一种自适应特征规则匹配的实时恶意流量检测方法
CN110807444A (zh) 一种基于dsp边缘计算的行人异常行为检测系统和方法
TW201639357A (zh) 一種分散式的遠端巨量監視器異常自動通報方法
CN114666282B (zh) 一种基于机器学习的5g流量识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant