CN111931633A - 一种基于视频识别的行为分析与微表情分析方法 - Google Patents

一种基于视频识别的行为分析与微表情分析方法 Download PDF

Info

Publication number
CN111931633A
CN111931633A CN202010777592.3A CN202010777592A CN111931633A CN 111931633 A CN111931633 A CN 111931633A CN 202010777592 A CN202010777592 A CN 202010777592A CN 111931633 A CN111931633 A CN 111931633A
Authority
CN
China
Prior art keywords
expression
behavior
micro
event information
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010777592.3A
Other languages
English (en)
Inventor
林智毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Complete Network Technology Co ltd
Original Assignee
Zhuhai Complete Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Complete Network Technology Co ltd filed Critical Zhuhai Complete Network Technology Co ltd
Priority to CN202010777592.3A priority Critical patent/CN111931633A/zh
Publication of CN111931633A publication Critical patent/CN111931633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频识别的行为分析与微表情分析方法,其技术方案是:包括以下获取行为事件信息样本和表情信息样本步骤:S1,准备:布置安装取样摄像头;S2,取样:提取摄像头拍摄的视频流量;S3,获取行为事件信息样本:根据拍摄的视频流量中人物的肢体动作,一种基于视频识别的行为分析与微表情分析方法有益效果是:通过设置获取行为事件信息样本和表情信息样本方法,以及识别行为事件信息和表情信息方法,从而基于视频识别行为分析与微表情分析,本发明方法识别通过建模工具建模得出相关行为时间信息和表情信息,准确度较高,操作流程较为优化简洁,识别成本较低,并且系统设定较为灵活,增大了本发明适用场景范围,使用度较广。

Description

一种基于视频识别的行为分析与微表情分析方法
技术领域
本发明涉及公共安全技术领域,具体涉及一种基于视频识别的行为分析与微表情分析方法。
背景技术
行为分析由美国心理学家亨特提出,他的观点认为,心理学已由争论心理学是什么和是怎样的思辨时代进入了实验时代,心理学已走上了客观地研究人类行为的道路。心理学应当努力地描述和解释、预测和控制有机体对外在的,主要是社会环境的外显行为。他同其他的行为主义者一样,力求避免应用带有心灵色彩的术语。他认为“心理学”一词源自古希腊的“灵魂”一词,也就是所谓的“心灵”。所以他杜撰“人类行为学”一词来取代心理学;
而微表情相比于人类的行为来说,更加难以察觉,通常甚至清醒的作表情的人和观察者都察觉不到。在实验里,只有10%的人察觉到。比起人们有意识做出的表情,“微表情”更能体现人们真实的感受和动机。虽然人们会忽略“微表情”,但是人的大脑依然受其影响,改变对别人表情的理解。所以如果某人很自然地表现“高兴”的表情,且其中不含有“微表情”,就能断定这人是高兴的。但是如果其间有“嗤笑”的“微表情”闪现,就算你没有刻意去察觉,你会更倾向于认为这张“高兴”的面孔是“狡猾的”或“不可信的”。
另外,除了指短暂的表情外,微表情在应用上更倾向于指代那些被抑制的表情。譬如说在明显悲伤的情况下,某人表现出大部分悲痛的表情,嘴角却抑制不住地上翘。这时,这个人明显希望表现出悲伤的情绪,但是却不由自主的出现了微笑的微表情。由于自身理性的抑制,表现的不明显抑或较为短暂。类似这样的差异在微表情分析中更为常用。
在看守所、宾馆、会议室和车间等公共场所,人流较多,往往容易发生一些治安问题,而通过现场布置公安工作人员将消耗大量公安民警资源,目前大都采用视频监控,通过视频摄像头对监控区域的人物进行行为识别,判断人物行为,进行公共治安管理或者,但现有技术中通过视频流量画面获取人物行为和表情识别不够精确,成本往往较高,同时适配场景较少,无法适用多种场景。
因此,发明一种基于视频识别的行为分析与微表情分析方法很有必要。
发明内容
为此,本发明提供一种基于视频识别的行为分析与微表情分析方法,通过设置获取行为事件信息样本和表情信息样本方法,以及识别行为事件信息和表情信息方法,从而基于视频识别行为分析与微表情分析,本发明方法识别通过建模工具建模得出相关行为时间信息和表情信息,相较于传统的通过视频流量画面获取,准确度较高,操作流程较为优化简洁,识别成本较低,并且系统设定较为灵活,增大了本发明适用场景范围,使用度较广,以解决现有技术中通过视频流量画面获取人物行为和表情,识别不够精确,成本往往较高,同时适配场景较少,无法适用多种场景的问题。
为了实现上述目的,本发明提供如下技术方案:一种基于视频识别的行为分析与微表情分析方法,包括以下获取行为事件信息样本和表情信息样本步骤:
S1,准备:布置安装取样摄像头;
S2,取样:提取摄像头拍摄的视频流量;
S3,获取行为事件信息样本:根据拍摄的视频流量中人物的肢体动作,通过建模工具进行行为规则建模,获得相应的行为事件信息样本;
S4,获取表情信息样本:根据拍摄的视频流量中人物的人脸,通过建模工具进行表情规则建模,获得相应的表情信息样本;
S5,储存:将获得的行为事件信息样本和表情信息样本储存至识别库中备用。
优选的,还包括以下识别行为事件信息和表情信息步骤:
A,准备:将摄像头安装到需要进行识别的区域场所;
B,取样:提取摄像头拍摄的视频流量;
C,行为事件信息比对:根据拍摄的视频流量中人物的肢体动作,通过建模工具进行行为规则建模,获得相应的行为事件信息,并与识别库中储存的行为事件信息样本进行比对;
D,表情信息比对:根据拍摄的视频流量中人物的人脸,通过建模工具进行表情规则建模,获得相应的表情信息,并与识别库中储存的表情信息样本进行比对;
E,判断:经过比对后得出对比结果,判断视频流量中人物是否进行特定行为事件或具有特定表情;
F,识别:结合对比出的行为事件信息和表情信息,判断识别人物心理状态;
G,报警:若识别的人物心理状态被判断为特定状态,立即通过服务器进行报警。
优选的,所述S3中行为事件信息样本中的行为事件包括:打架行为、倒地行为、求救行为、聚众行为、徘徊行为、滞留行为、攀爬行为、闯入行为、警戒行为、离岗行为、睡岗行为、缺岗行为、传递行为、逆行行为、离开行为、攀高行为、离床行为、独处行为、尾随行为和入厕超时。
优选的,所述建模工具为TensorFlow或OpenCV。
优选的,所述S4中表情信息样本中的表情信息包括:哭泣、微笑、大笑、沮丧、悲伤、思考、冷酷、气愤、严肃、惊愕、痛苦和害怕。
优选的,所述需要进行识别的区域场包括:看守所、宾馆、会议室和车间。
优选的,所述心理状态包括:疲劳、紧张、轻松、忧伤、喜悦、抑郁、自杀和暴力等。
优选的,所述特定行为事件可根据实际使用场景下,从行为事件中挑选后再单独特定设置。
优选的,所述特定表情可根据实际使用场景下,从而表情信息中挑选后再单独设定。
优选的,所述特定心理状态可根据实际使用场景下,从心理状态中挑选后再单独设定。
本发明的有益效果是:
本发明通过设置由准备、取样、获取行为事件信息样本、获取表情信息样本和储存等步骤构成的获取行为事件信息样本和表情信息样本方法,以及由准备、取样、行为事件信息比对、表情信息比对、判断、识别和报警等步骤构成的识别行为事件信息和表情信息方法,从而基于视频识别行为分析与微表情分析,本发明方法识别通过建模工具建模得出相关行为时间信息和表情信息,相较于传统的通过视频流量画面获取,准确度较高,操作流程较为优化简洁,识别成本较低,并且系统设定较为灵活,增大了本发明适用场景范围,使用度较广。
附图说明
图1为本发明提供的获取行为事件信息样本和表情信息样本步骤基本框图;
图2为本发明提供的识别行为事件信息和表情信息步骤基本框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
参照附图1-2,本发明提供的一种基于视频识别的行为分析与微表情分析方法,包括以下获取行为事件信息样本和表情信息样本步骤:
S1,准备:布置安装取样摄像头;
S2,取样:提取摄像头拍摄的视频流量;
S3,获取行为事件信息样本:根据拍摄的视频流量中人物的肢体动作,通过建模工具进行行为规则建模,获得相应的行为事件信息样本,行为事件包括:打架行为、倒地行为、求救行为、聚众行为、徘徊行为、滞留行为、攀爬行为、闯入行为、警戒行为、离岗行为、睡岗行为、缺岗行为、传递行为、逆行行为、离开行为、攀高行为、离床行为、独处行为、尾随行为和入厕超时;
S4,获取表情信息样本:根据拍摄的视频流量中人物的人脸,通过建模工具进行表情规则建模,获得相应的表情信息样本,表情信息包括:哭泣、微笑、大笑、沮丧、悲伤、思考、冷酷、气愤、严肃、惊愕、痛苦和害怕;
S5,储存:将获得的行为事件信息样本和表情信息样本储存至识别库中备用;
进一步地,还包括以下识别行为事件信息和表情信息步骤:
A,准备:将摄像头安装到需要进行识别的区域场所,需要进行识别的区域场包括:看守所、宾馆、会议室和车间;
B,取样:提取摄像头拍摄的视频流量;
C,行为事件信息比对:根据拍摄的视频流量中人物的肢体动作,通过建模工具进行行为规则建模,获得相应的行为事件信息,并与识别库中储存的行为事件信息样本进行比对;
D,表情信息比对:根据拍摄的视频流量中人物的人脸,通过建模工具进行表情规则建模,获得相应的表情信息,并与识别库中储存的表情信息样本进行比对;
E,判断:经过比对后得出对比结果,判断视频流量中人物是否进行特定行为事件或具有特定表情,所述特定行为事件可根据实际使用场景下,从行为事件中挑选后再单独特定设置,所述特定表情可根据实际使用场景下,从而表情信息中挑选后再单独设定;
F,识别:结合对比出的行为事件信息和表情信息,判断识别人物心理状态,所述心理状态包括:疲劳、紧张、轻松、忧伤、喜悦、抑郁、自杀和暴力等;
G,报警:若识别的人物心理状态被判断为特定状态,立即通过服务器进行报警,所述特定心理状态可根据实际使用场景下,从心理状态中挑选后再单独设定;
进一步地,所述建模工具为TensorFlow或OpenCV,TensorFlowTM是一个基于数据流编程的符号数学系统,被广泛应用于各类机器学习算法的编程实现,其前身是谷歌的神经网络算法库DistBelief,OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库,可以运行在Linux、Windows、Android和Mac OS操作系统上,它轻量级而且高效,由一系列C函数和少量C++类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法;
以上所述,仅是本发明的较佳实施例,任何熟悉本领域的技术人员均可能利用上述阐述的技术方案对本发明加以修改或将其修改为等同的技术方案。因此,依据本发明的技术方案所进行的任何简单修改或等同置换,尽属于本发明要求保护的范围。

Claims (10)

1.一种基于视频识别的行为分析与微表情分析方法,其特征在于:包括以下获取行为事件信息样本和表情信息样本步骤:
S1,准备:布置安装取样摄像头;
S2,取样:提取摄像头拍摄的视频流量;
S3,获取行为事件信息样本:根据拍摄的视频流量中人物的肢体动作,通过建模工具进行行为规则建模,获得相应的行为事件信息样本;
S4,获取表情信息样本:根据拍摄的视频流量中人物的人脸,通过建模工具进行表情规则建模,获得相应的表情信息样本;
S5,储存:将获得的行为事件信息样本和表情信息样本储存至识别库中备用。
2.根据权利要求1所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:还包括以下识别行为事件信息和表情信息步骤:
A,准备:将摄像头安装到需要进行识别的区域场所;
B,取样:提取摄像头拍摄的视频流量;
C,行为事件信息比对:根据拍摄的视频流量中人物的肢体动作,通过建模工具进行行为规则建模,获得相应的行为事件信息,并与识别库中储存的行为事件信息样本进行比对;
D,表情信息比对:根据拍摄的视频流量中人物的人脸,通过建模工具进行表情规则建模,获得相应的表情信息,并与识别库中储存的表情信息样本进行比对;
E,判断:经过比对后得出对比结果,判断视频流量中人物是否进行特定行为事件或具有特定表情;
F,识别:结合对比出的行为事件信息和表情信息,判断识别人物心理状态;
G,报警:若识别的人物心理状态被判断为特定状态,立即通过服务器进行报警。
3.根据权利要求1所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述S3中行为事件信息样本中的行为事件包括:打架行为、倒地行为、求救行为、聚众行为、徘徊行为、滞留行为、攀爬行为、闯入行为、警戒行为、离岗行为、睡岗行为、缺岗行为、传递行为、逆行行为、离开行为、攀高行为、离床行为、独处行为、尾随行为和入厕超时。
4.根据权利要求2所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述建模工具为TensorFlow或OpenCV。
5.根据权利要求1所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述S4中表情信息样本中的表情信息包括:哭泣、微笑、大笑、沮丧、悲伤、思考、冷酷、气愤、严肃、惊愕、痛苦和害怕。
6.根据权利要求2所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述需要进行识别的区域场包括:看守所、宾馆、会议室和车间。
7.根据权利要求2所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述心理状态包括:疲劳、紧张、轻松、忧伤、喜悦、抑郁、自杀和暴力等。
8.根据权利要求2所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述特定行为事件可根据实际使用场景下,从行为事件中挑选后再单独特定设置。
9.根据权利要求2所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述特定表情可根据实际使用场景下,从而表情信息中挑选后再单独设定。
10.根据权利要求2所述的一种基于视频识别的行为分析与微表情分析方法,其特征在于:所述特定心理状态可根据实际使用场景下,从心理状态中挑选后再单独设定。
CN202010777592.3A 2020-08-05 2020-08-05 一种基于视频识别的行为分析与微表情分析方法 Pending CN111931633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010777592.3A CN111931633A (zh) 2020-08-05 2020-08-05 一种基于视频识别的行为分析与微表情分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010777592.3A CN111931633A (zh) 2020-08-05 2020-08-05 一种基于视频识别的行为分析与微表情分析方法

Publications (1)

Publication Number Publication Date
CN111931633A true CN111931633A (zh) 2020-11-13

Family

ID=73307918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010777592.3A Pending CN111931633A (zh) 2020-08-05 2020-08-05 一种基于视频识别的行为分析与微表情分析方法

Country Status (1)

Country Link
CN (1) CN111931633A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766295A (zh) * 2021-04-16 2021-12-07 腾讯科技(深圳)有限公司 一种播放处理方法、装置、设备及存储介质
WO2023000253A1 (zh) * 2021-07-22 2023-01-26 京东方科技集团股份有限公司 攀爬行为预警方法和装置、电子设备、存储介质
CN117876973A (zh) * 2024-03-13 2024-04-12 中科盛阳信息技术有限公司 一种基于深度学习的园区安防监测方法及系统
CN117876973B (zh) * 2024-03-13 2024-06-07 中科盛阳信息技术有限公司 一种基于深度学习的园区安防监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169320A (ja) * 2001-11-30 2003-06-13 Tominori Itane 監視方法及び監視システム
CN109918989A (zh) * 2019-01-08 2019-06-21 平安科技(深圳)有限公司 监控画面中人物行为类型识别方法、装置、介质和设备
CN110147729A (zh) * 2019-04-16 2019-08-20 深圳壹账通智能科技有限公司 用户情绪识别方法、装置、计算机设备及存储介质
CN110414493A (zh) * 2019-06-02 2019-11-05 四川仕虹腾飞信息技术有限公司 一种心理状态分析方法与系统
CN111401239A (zh) * 2020-03-16 2020-07-10 科大讯飞(苏州)科技有限公司 一种视频分析方法、装置、系统、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169320A (ja) * 2001-11-30 2003-06-13 Tominori Itane 監視方法及び監視システム
CN109918989A (zh) * 2019-01-08 2019-06-21 平安科技(深圳)有限公司 监控画面中人物行为类型识别方法、装置、介质和设备
CN110147729A (zh) * 2019-04-16 2019-08-20 深圳壹账通智能科技有限公司 用户情绪识别方法、装置、计算机设备及存储介质
CN110414493A (zh) * 2019-06-02 2019-11-05 四川仕虹腾飞信息技术有限公司 一种心理状态分析方法与系统
CN111401239A (zh) * 2020-03-16 2020-07-10 科大讯飞(苏州)科技有限公司 一种视频分析方法、装置、系统、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766295A (zh) * 2021-04-16 2021-12-07 腾讯科技(深圳)有限公司 一种播放处理方法、装置、设备及存储介质
WO2023000253A1 (zh) * 2021-07-22 2023-01-26 京东方科技集团股份有限公司 攀爬行为预警方法和装置、电子设备、存储介质
US11990010B2 (en) 2021-07-22 2024-05-21 Boe Technology Group Co., Ltd. Methods and apparatuses for early warning of climbing behaviors, electronic devices and storage media
CN117876973A (zh) * 2024-03-13 2024-04-12 中科盛阳信息技术有限公司 一种基于深度学习的园区安防监测方法及系统
CN117876973B (zh) * 2024-03-13 2024-06-07 中科盛阳信息技术有限公司 一种基于深度学习的园区安防监测方法及系统

Similar Documents

Publication Publication Date Title
Bosse et al. Modelling collective decision making in groups and crowds: Integrating social contagion and interacting emotions, beliefs and intentions
EP3333764A1 (en) Techniques for assessing group level cognitive states
US20200074156A1 (en) Emotion detection enabled video redaction
CN107452104A (zh) 一种基于智能监控的车辆卡口的车辆控制方法及系统
CN111931633A (zh) 一种基于视频识别的行为分析与微表情分析方法
CN112085010A (zh) 一种基于图像识别的口罩检测和部署系统及方法
CN111339813B (zh) 人脸属性识别方法、装置、电子设备和存储介质
CN111885360A (zh) 区块链生产车间智能监控系统
CN110288801A (zh) 电力现场视频监控方法、装置、计算机设备和存储介质
CN113223046A (zh) 一种监狱人员行为识别的方法和系统
Shadaydeh et al. Analyzing the direction of emotional influence in nonverbal dyadic communication: A facial-expression study
CN114173094A (zh) 视频监控方法、装置、计算机设备和存储介质
Katsimerou et al. A computational model for mood recognition
WO2021247976A1 (en) Smartphone-based mental health and addiction assessment using text
Klimenko et al. A technique of deviant behaviour detection in video surveillance systems based on complex behaviour analysis
CN109460714A (zh) 识别对象的方法、系统和装置
CN110459296A (zh) 信息推送方法及相关产品
US20210142047A1 (en) Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide
CN112507972B (zh) 基于区块链的绩效考核系统
CN112487980A (zh) 基于微表情治疗方法、装置、系统与计算机可读存储介质
CN114429677A (zh) 一种煤矿场景作业行为安全识别考核方法及系统
Wang et al. Affective computing and biometrics based HCI surveillance system
Baig et al. Bio-inspired probabilistic model for crowd emotion detection
US11316881B2 (en) Just short of identity analysis
Pronina et al. Recognition of violations of individual labor protection rules using a convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination