CN109643376A - 视频采集情感生成方法 - Google Patents

视频采集情感生成方法 Download PDF

Info

Publication number
CN109643376A
CN109643376A CN201880001938.1A CN201880001938A CN109643376A CN 109643376 A CN109643376 A CN 109643376A CN 201880001938 A CN201880001938 A CN 201880001938A CN 109643376 A CN109643376 A CN 109643376A
Authority
CN
China
Prior art keywords
generation method
video acquisition
emotion generation
video
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880001938.1A
Other languages
English (en)
Inventor
金湘范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN109643376A publication Critical patent/CN109643376A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

一种视频采集情感生成方法,包括如下步骤:步骤1,采集人脸视频;步骤2,根据采集到的人脸视频建立攻击性,压力,焦虑,可疑度,身心平衡,魅力,活力,自控能力,敏感/抑郁和情绪稳定性的模型;步骤3,根据所建立的模型选择对应的表现形式。

Description

视频采集情感生成方法
技术领域
本发明涉及情绪的表达方法,特别是一种视频采集情感生成方法。
背景技术
随着社交软件的普及,比如微信、QQ、脸书、WhatsApp的普及,使用者越来越希望能够将自己的真实情况以直观的形象传达给接收方。特别是以卡通形象传达给接收方。另外因为如滴滴打车这样的公共私空间的存在,给陌生的乘客和司机之间都带来了不可预知的风险。因而需要对这样的使用者进行危险识别。以保护自己和对可能的微信进行预判。
发明内容
阿尔法鹰眼的情感计算是基于VER(Vestibular-Emotional Reflex)前庭情感反射理论,结合神经科学、认知科学、心理学、数学、社会学等相关基础学科研发的成果。VER技术是通过视频流,结合人眼视觉特性,基于帧间运动振幅统计算法,相邻帧间的仿射变换矩阵作为肌肉微振动模型,计算肌肉振动轨迹波峰/波谷位置的振幅值。根据波峰/波谷出现的频率,振幅均值以及振幅标准偏差,建立攻击性,压力,焦虑,可疑度,身心平衡,魅力,活力,自控能力,敏感/抑郁和情绪稳定性等十个维度情感度量模型。
一种视频采集情感生成方法,包括如下步骤:
步骤1,采集人脸视频;
步骤2,根据采集到的人脸视频建立攻击性,压力,焦虑,可疑度,身心平衡,魅力,活力,自控能力,敏感/抑郁和情绪稳定性的模型;
步骤3,根据所建立的模型选择对应的表现形式。
优选地,在步骤1中所述采集是通过单独的摄像机、手机上的摄像头实现的。
最好,所述方法在社交软件上实现。
优选地,所述社交软件是微信、WhatsApp或者QQ。
最好,所述表现形式可以选自微信中的卡通形象。
最好,还包括步骤4,给出文字分析和建议。
优选地,用于滴滴打车软件中对司机危险情况的识别。
最好,还包括步骤5,将危险情况发给客户和/或者安全部门。
附图说明
图1为本发明的情感分析模型;
图2为本发明的一个实施例;
图3为情感计算原理图;
图4振动图像(振幅,频率,颜色编码);
图5振动图像的频率分布图;
图6振动图像的频谱;
图7为情感计算赋能的流程。
具体实施例
图1示出了阿尔法鹰眼的情感计算是基于VER(Vestibular Emotional Reflex)前庭情感反射理论,结合神经科学、认知科学、心理学、数学、社会学等相关基础学科研发的成果。VER技术是通过视频流,结合人眼视觉特性,基于帧间运动振幅统计算法,相邻帧间的仿射变换矩阵
作为肌肉微振动模型,计算肌肉振动轨迹波峰/波谷位置的振幅值。根据波峰/波谷出现的频率,振幅均值以及振幅标准偏差,建立攻击性,压力,焦虑,可疑度,身心平衡,魅力,活力,自控能力,敏感/抑郁和情绪稳定性等十个维度情感度量模型。
图2示出了Alpha Eye技术主要用于海关,边检,机场,缉私处,地铁等场景,如安防情感分析预警系统,情感安检门预警系统,高铁人工智能售取票机等,高密度人流无漏检3秒完成采集、计算、识别。其特点如下:快速方便‐检查每一个人的时间不超过5秒;精准客观‐以时序算法分析判断;根据场景设定不同阈值客观甄别;友好隐蔽‐视频流电脑分析,无接触、无干扰;智能预警‐实时动态预警。
其中待检测者1通过摄像头2采集其面部与颈部肌肉微振动参数,并将相应数据传给处理器3,进行计算后输出相应的情感数据。其中情感的计算过程如下:
1.肌肉微振动情感计算原理
许多生理学家研究情感与生理学的相关性,并认为每种情感有它自己独特的躯体反应模式。达尔文的“人与动物的情感表达”以及微表情研究最权威的Ekman都指出人类具有喜怒哀乐的基本情感,并且它们都有一种一套独特的面部肌肉运动模式。Clyness(1977)的“情感记录仪”通过测量手指的瞬间压力描绘情感的运动输出,其压力曲线在不同群体和不同文化的人们中都能保持可重复性。为了强调潜在外露情感的形式的存在和表达通道的独立性,Clyness还测量了脚底压力和下肢瘫痪病人的下颌压力。这些不同通道的肌肉运动表达揭示了外露情感形式可比较特性。
阿尔法鹰眼系统的检测对象是前庭-情感反射(Vestibular-Emotional Reflex:VER)导致的头颈部肌肉微振动。VER是1914生理学领域诺贝尔奖得主,奥地利医学家罗伯特·巴拉尼(Rubert Barany)提出的理论,指出在人的运动状态以及生理和心理变化下,前庭中枢通过头部和颈间肌肉维持头部垂直均衡的一种反射。当掌管内脏活动和内分泌的边缘系统和掌管运动中枢的大脑皮质之间发生冲突时就会产生多余的内热,为了维持体内恒常性以其他作功的方式消耗内热,即肌肉的微振动。从熵理论出发可视为,人体的植物神经为了抑制内热引起的体内熵增,通过肌肉的微振动加快新陈代谢。具体的情感计算原理如图3所示。
2.情感计算算法
肌肉微振动幅度在100~1000微米,频率在10赫兹以下。用图像处理精确计算肌肉振动的物理量需要高分辨率的双眼摄像头计算肌肉运动的像素位移。这种传统的测量方法很难满足准确性和实时性的双重要求。阿尔法鹰眼系统模拟大脑视觉处理皮层处理视网膜信息的方法-即对视频的每帧进行差分,将3~5秒中的视频流转换为两张像素振动的振幅及频率图像,如图4所示通过振幅对应颜色而形成的图像500和通过频率与颜色对应而形成的图像600。振幅图像是将3秒视频流中每个帧间像素值变化量(即差分值)的平均值用颜色编码表示的图像500和600,频率图像600是每秒帧间像素值的变化次数用颜色编码表示的图像(见右侧频率与色块图的对应关系)。这两张图500和600虽然不是精确的计算实际肌肉的正确运动量,但是极其简易和有效的反映肌肉微振动的程度。将振动图像的频率分布图和频谱进行统计分析就可以得到情感的量化模型。图5(上)中的曲线101是处于疲倦状态下的振动频率统计图,图5(下)中的曲线102是发怒状态下的频率统计图。图中可以观察,疲倦状态下频率分布在低频区域(1Hz),相比之下发怒状态下频率分布在高频(8Hz)区域。这结果与我们的主观感受一致,也比较容易感知。将振动频率图像结合对应振幅数据进行快速傅里叶变换(FFT)可以得到肌肉振动的能量特性。
图6是两个人200和300在正常状态201,301和紧张状态202,302下的频谱。横坐标为频率,下面的色条对应相应的频率;纵坐标为傅立叶变换后的能量值。尽管两个波形形状各异,但是上图(正常状态)波形201和301都是指数形式衰减,高频区域几乎为零。下图波形202和302在低频能量小于正常状态,但是衰减速度明显慢于正常状态,一直延续到高频区域。紧张状态下,振幅明显低于正常状态,但是振动频率明显高于正常状态。这也科学地说明紧张导致的身体僵硬现象。阿尔法鹰眼系统将振动图像的频率分布和频谱特性与传统脑电和心电图进行交叉比较,并通过大量的临床实验导出解析十种(攻击性,压力,焦虑,可疑度,身心平衡,魅力,活力,自控能力,敏感/抑郁和情绪稳定性)不同情感的计算方法。如安防中最敏感的攻击性参数是通过频谱分布中最大非零频率和分布图的最小方差平均进行规范化。每张振动图像通过这十种情感参数的计算结果,判断和评估每个人的心理情感状态。
在安检领域中,实时判断的可疑度是十维情感模型中,攻击性、压力和焦虑三个值的平均值。其中攻击性Ag的统计共性反映频率直方图中,最大频率和频率分散程度的计算公式如下:
Fm:频率振动图像中最大频率
Fi:频率振动图像中i频率的统计数
频率振动图像的平均频率
Fin:视频采样频率
n:频率直方图中非零值频率个数
压力值St的统计共性是振动图像中频率和振幅的左右不对称,与心理学中左右大脑不对称理论同出一脉,计算公式如下:
脸部矩阵左侧部分的i列振动图像振幅
脸部矩阵右侧部分的i列振动图像振幅
开始之间最大振幅
脸部矩阵左侧部分的i列振动图像最大频率
脸部矩阵右侧部分的i列振动图像最大频率
开始之间最大频率
n:脸部矩阵列数
焦虑值Tn的统计共性反映在振动图像的频谱。结合振幅和频率值对振动图像进行FFT变换得到频谱。焦虑值可以认为是整个能量中高频部分所占的比率,计算公式如下:
Pi(f):振动图像的频谱
fmax:频谱中最大频率
以上三个参数进行平均可求出可疑度Dn,算式如下:
Dn:可疑度;Ag:攻击性;St:压力;Tn:焦虑感;N:参数平均值
上述的算式中所有参数值的范围正规化为0-1的值,平均值为0.5。当大于0.5可视为超过平均值,但是考虑正常范围内的愤怒、忧虑的情况实际应用中以0.65为可疑度的阈值。可根据现场的实际情况适当调节阈值,已符合现场需求。在正常检测以外,从心理学角度出发,三种情感状态的特殊组合有可能引起危险。因此也做一些特殊处理。如可疑度直接赋值为0.8和1的情况如下:
图7给出了本发明将情感计算结果生成需要的便于使用者理解的形象。可以看到,首先进行视频录制,然后通过阿尔法鹰眼情感识别,进而进行大数据分析统计,然后进行人工智能识别合成,然后进行个性化输出,图7中示出了特别梳妆的形象。在图7中从上到下还示出了短视频到情感识别层,再到情感描述层,在该情感描述层中可以形成图片、音乐、诗词、喜好和影视等之一或者组合,进而进入到情感表达层,该情感表达层包括VR/AR,人脸识别和或者多媒体合成,接着进入到微信全景平台。
图3为情感计算的原理图,其中左侧为人体大脑的生理结构,内在结构和情绪决定了肌肉微振动情况。通过对肌肉微振动的检测,即视频中累计帧间差分图像,基于此进行构建振动图像,然后形成肌肉振动与情感模型的对应关系,从而得出情感数据,在该实施例中,情感数据为焦虑70。
上述各实施例仅是本发明的优选实施方式,在本技术领域内,凡是基于本发明技术方案上的变化和改进,不应排除在本发明的保护范围之外。

Claims (8)

1.一种视频采集情感生成方法,包括如下步骤:
步骤1,采集人脸视频;
步骤2,根据采集到的人脸视频建立攻击性,压力,焦虑,可疑度,身心平衡,魅力,活力,自控能力,敏感/抑郁和情绪稳定性的模型;
步骤3,根据所建立的模型选择对应的表现形式。
2.根据权利要求1所述的视频采集情感生成方法,其特征在于,在步骤1中所述采集是通过单独的摄像机、手机上的摄像头实现的。
3.根据权利要求2所述的视频采集情感生成方法,其特征在于,所述方法在社交软件上实现。
4.根据权利要求3所述的视频采集情感生成方法,其特征在于,所述社交软件是微信、WhatsApp或者QQ。
5.根据权利要求4所述的视频采集情感生成方法,其特征在于,所述表现形式可以选自微信中的卡通形象。
6.根据权利要求5所述的视频采集情感生成方法,其特征在于,还包括步骤4,给出文字分析和建议。
7.根据权利要求6所述的视频采集情感生成方法,其特征在于,用于滴滴打车软件中对司机危险情况的识别。
8.根据权利要求7所述的视频采集情感生成方法,其特征在于,还包括步骤5,将危险情况发给客户和/或者安全部门。
CN201880001938.1A 2018-11-02 2018-11-02 视频采集情感生成方法 Pending CN109643376A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/113629 WO2020087494A1 (zh) 2018-11-02 2018-11-02 视频采集情感生成方法

Publications (1)

Publication Number Publication Date
CN109643376A true CN109643376A (zh) 2019-04-16

Family

ID=66060117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001938.1A Pending CN109643376A (zh) 2018-11-02 2018-11-02 视频采集情感生成方法

Country Status (2)

Country Link
CN (1) CN109643376A (zh)
WO (1) WO2020087494A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460219A (zh) * 2020-04-01 2020-07-28 百度在线网络技术(北京)有限公司 视频处理方法及装置、短视频平台
CN111552007A (zh) * 2020-05-26 2020-08-18 上海量卿科技有限公司 检查系统及方法
CN113837125A (zh) * 2021-09-28 2021-12-24 杭州聚视鼎特科技有限公司 一种干部心理情绪趋向数字化管理系统
CN114973485A (zh) * 2021-02-25 2022-08-30 深圳埃尔姆科技有限公司 可疑人员门禁识别方法、装置及系统
CN115984905A (zh) * 2023-03-20 2023-04-18 深圳中易健康科技有限公司 一种情绪分析方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694234B (zh) * 2022-06-02 2023-02-03 杭州智诺科技股份有限公司 情绪识别方法、系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710910A (zh) * 2009-12-09 2010-05-19 深圳华为通信技术有限公司 终端用户情感信息的发送方法及移动终端
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股(北京)有限公司 视频播放方法及装置
CN106503630A (zh) * 2016-10-08 2017-03-15 广东小天才科技有限公司 一种表情发送方法、设备及系统
CN106618608A (zh) * 2016-09-29 2017-05-10 金湘范 基于视频精神生理参数监测危险人物装置及方法
CN107809951A (zh) * 2014-04-24 2018-03-16 心灵之眼株式会社 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500888B1 (ko) * 2010-10-28 2015-04-01 옵쉐스트바 스 아그라니첸노이 아트베트스트벤노스찌유 "므노고프로필노예 프레드프리야찌예 "엘씨스" 생물체의 정신생리학적 상태에 관한 정보 획득방법
CN102455898A (zh) * 2010-10-29 2012-05-16 张明 视频聊天卡通表情辅助娱乐系统
CN102571633B (zh) * 2012-01-09 2016-03-30 华为技术有限公司 展示用户状态的方法、展示终端以及服务器
CN106264568B (zh) * 2016-07-28 2019-10-18 深圳科思创动实业有限公司 非接触式情绪检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710910A (zh) * 2009-12-09 2010-05-19 深圳华为通信技术有限公司 终端用户情感信息的发送方法及移动终端
CN107809951A (zh) * 2014-04-24 2018-03-16 心灵之眼株式会社 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股(北京)有限公司 视频播放方法及装置
CN106618608A (zh) * 2016-09-29 2017-05-10 金湘范 基于视频精神生理参数监测危险人物装置及方法
CN106503630A (zh) * 2016-10-08 2017-03-15 广东小天才科技有限公司 一种表情发送方法、设备及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460219A (zh) * 2020-04-01 2020-07-28 百度在线网络技术(北京)有限公司 视频处理方法及装置、短视频平台
CN111552007A (zh) * 2020-05-26 2020-08-18 上海量卿科技有限公司 检查系统及方法
CN114973485A (zh) * 2021-02-25 2022-08-30 深圳埃尔姆科技有限公司 可疑人员门禁识别方法、装置及系统
CN113837125A (zh) * 2021-09-28 2021-12-24 杭州聚视鼎特科技有限公司 一种干部心理情绪趋向数字化管理系统
CN115984905A (zh) * 2023-03-20 2023-04-18 深圳中易健康科技有限公司 一种情绪分析方法、装置、设备及存储介质
CN115984905B (zh) * 2023-03-20 2023-08-15 深圳埃尔姆科技有限公司 一种情绪分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2020087494A1 (zh) 2020-05-07

Similar Documents

Publication Publication Date Title
CN109643376A (zh) 视频采集情感生成方法
Yu et al. Facial-video-based physiological signal measurement: Recent advances and affective applications
CN106264568B (zh) 非接触式情绪检测方法和装置
CN107809951B (zh) 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置
US10842431B2 (en) Mental illness determination device
RU2656559C2 (ru) Способ и устройство для определения жизненно важных показателей
Pollick et al. Estimating the efficiency of recognizing gender and affect from biological motion
Bousefsaf et al. Remote assessment of the heart rate variability to detect mental stress
KR101722708B1 (ko) 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
Hassan et al. Towards health monitoring using remote heart rate measurement using digital camera: A feasibility study
Blöcher et al. An online PPGI approach for camera based heart rate monitoring using beat-to-beat detection
KR101500888B1 (ko) 생물체의 정신생리학적 상태에 관한 정보 획득방법
Mitsuhashi et al. Video-based stress level measurement using imaging photoplethysmography
JP6910632B2 (ja) 生体リスク取得装置、生体リスク取得方法、生体リスク取得プログラム及び記録媒体
CN107533365A (zh) 利用取决于心跳的瞳孔尺寸变化来表达虚拟化身的社会临场感的方法及应用该方法的系统
US20220335625A1 (en) Video generation device
Albertovich et al. The fractal analysis of the images and signals in medical diagnostics
TW201635233A (zh) 生物回饋系統及其運作方法
Khanal et al. Classification of physical exercise intensity based on facial expression using deep neural network
Arppana et al. Real time heart beat monitoring using computer vision
Kider Jr et al. A data-driven appearance model for human fatigue
Hassan et al. Towards health monitoring in visual surveillance
KR101706740B1 (ko) 인체 미동에 의한 hrc 기반 사회 관계성 온라인 측정 방법 및 시스템
JP7480710B2 (ja) 情報処理装置、情報処理方法及びプログラム
Okada et al. Emotion Monitoring Using Remote Measurement for Physiological Signals by Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication