CN112183333B - 基于微表情的人屏互动方法、系统和装置 - Google Patents

基于微表情的人屏互动方法、系统和装置 Download PDF

Info

Publication number
CN112183333B
CN112183333B CN202011037132.3A CN202011037132A CN112183333B CN 112183333 B CN112183333 B CN 112183333B CN 202011037132 A CN202011037132 A CN 202011037132A CN 112183333 B CN112183333 B CN 112183333B
Authority
CN
China
Prior art keywords
face
sequence
interest
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011037132.3A
Other languages
English (en)
Other versions
CN112183333A (zh
Inventor
艾旭升
陈涛
娄方浩
陈园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Vocational Institute of Industrial Technology
Original Assignee
Suzhou Vocational Institute of Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Vocational Institute of Industrial Technology filed Critical Suzhou Vocational Institute of Industrial Technology
Priority to CN202011037132.3A priority Critical patent/CN112183333B/zh
Publication of CN112183333A publication Critical patent/CN112183333A/zh
Application granted granted Critical
Publication of CN112183333B publication Critical patent/CN112183333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于微表情的人屏互动方法、系统和装置，该方法包括：S1:实时采集图像信息；S2:识别出人脸图像序列；S3：将人脸图像序列输入至预训练的微表情识别模型中，提取表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；S4：获取当前微表情适配的兴趣指标值，在兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内屏上播放的内容信息，建立其人脸所在用户与屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。本发明通过识别微表情获取用户兴趣，从而得到用户的真是需求，具有较高的商业价值。

Description

基于微表情的人屏互动方法、系统和装置
技术领域
本发明涉及人工智能方法，尤其涉及一种基于微表情的人屏互动方法、系统和装置。
背景技术
微表情是一种特殊的面部表情，它反应了一个人内心真实的情感。人们用肉眼很难发现微表情，其持续时间很短、强度很弱，大约为1/25s-1/5s。也有研究人员认为其持续时间小于450ms。由于微表情所具有的这些特性，使其在多个领域有着广泛的应用前景。
在早期，研究人员都是通过心理学的方式在研究微表情，并且都是注重于个体微表情的识别。微表情的第一个训练工具METT(Micro Expression Training Tool)就是由心理学家Ekman在2002年创建的，但是其识别峰值只在40％左右，这远远达不到商用的要求。
随着计算机技术的飞速发展，微表情不再使用早期心理学方法进行研究，更多的是采用计算机视觉、模式识别的方法。2011年国内成功创建了自发的微表情数据库CASME和CASMEII，为微表情识别研究做出了巨大贡献。2007年将LBP扩展到了三维空间，提出动态纹理特征的算法LBP_TOP,LBP_TOP是在三个正交的平面上计算LBP值，并且统计出直方图，其具有高效的计算，可以很好的描述动态的纹理特征，此后，LBP_TOP算子被广泛的应用在微表情特征提取上，得到了较好的分类结果。
20世纪60年代，研究人员提出了卷积神经网络(Convolutional NeuralNetworks，CNN)，但是由于其一系列的缺陷，很难得到较大发展。直到2006，提出了深度学习理论，通过多隐层的人工神经网络对样本进行自主学习，得到的特征数据对样本本身有着本质的刻画，有利于最终的分类。至此，深度学习得到了广泛的关注，几乎所有拥有大数据的高科技公司都成立了自己的深度学习项目，都想占领深度学习技术的制高点。2012年在图像分类大赛ImageNet(图像识别目前最大的数据库)上，CNN最终取得了非常惊人的结果，其结果相对原来方法好了很多(前5个错误率由25％降低为17％)。由于CNN可以直接从原始图像数据中自主学习模式特征，避免了复杂的特征提取和数据重建过程，而后深度学习领域针对传统微表情识别存在复杂特征提取以及特征降维等问题，从空间和时间的维度提取特征，提出三维卷积神经网络，以捕捉从多个连续帧得到的运动信息，有效提高微表情识别性能。
目前，智能电视已成为商家宣传商品的重要工具，不管是在奶茶店、面包店等餐饮店铺，还是在服装店、社区超市、日用品店铺，都随处可见智能电视滚动播放商品。然而，智能电视还未与潜在的微表情联系起来，只是按照预设顺序依次播放商品，当观看智能电视时，花费大量时间观看不感兴趣的商品，感兴趣的商品由于预设的播放频率一闪而过。因此，对于各类商品来说，流失了大量潜在客户。
发明内容
本申请实施例通过提供一种基于微表情的人屏互动方法、系统和装置，通过识别的微表情变化，预测的消费需求，以动态调整广告播放周期，引导通过推送的支付方式预定购买中意的商品，从而提升广告的喜欢程度和购买意向，具有较高的商业价值。
本申请实施例的第一方面，提供了一种基于微表情的人屏互动方法，所述方法包括：
S1：实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域；
S2：并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并进入步骤S3，否则循环执行步骤S2；
S3：将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出所述人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；
S4：获取当前微表情适配的兴趣指标值，在所述兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内所述屏上播放的内容信息，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
进一步地，所述步骤S2中，利用OpenCV算法读取所述视频片段中的数字图像序列，进一步包括：利用OpenCV算法中的VideoCapture类重载操作符获取数字图像序列，进一步包括：
通过VideoCapture::open()函数打开视频片段，VideoCapture::open()函数自动调用VideoCapture::release()函数，释放已经打开的视频片段，然后利用VideoCapture::read()函数读取释放的视频片段，进而将视频片段解析为数字图像序列。
进一步地，所述步骤S2中，通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，进一步包括：
S210：初始化人脸图像序列；
按时间序列读取数字图像序列中的第一帧数字图像，并利用Yolo算法，识别出第一帧数字图像中的第一人脸图像，将第一人脸图像分割为d个人脸p1，p2，…，pd，初始化人脸序列S1＝{p1}，S2＝{p2}，…，Sd＝{pd}；
S220：按顺序分析视频片段后续图像；
按照时间序列读取数字图像序列中的第二帧数字图像，并利用Yolo算法，识别出第二帧数字图像中的第二人脸图像，将第二人脸图像分割为q1，q2，…，qd；利用FaceNet算法，将q1，q2，…，qd和p1，p2，…，pd进行比对，若其中有一个pm与ql相似，那么将ql插入pm的尾部；否则丢弃ql；输出人脸图像序列，且所述人脸图像序列为包含同一人脸的一系列脸部图像。
进一步地，所述步骤S3中，所述微表情识别模型的预训练方法包括：构建三维卷积神经网络结构，其包括：输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层以及激活层；
收集若干标识有兴趣类别的脸部图像序列，将各所述脸部图像序列依次通过输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层、激活层后，输出兴趣指标值。
进一步地，所述步骤S3中，利用所述微表情识别模型获取人脸图像序列的兴趣指标值的方法进一步包括：
所述输入层，用于接收所述人脸图像序列中的多维信息数据，包括图像帧数据和图像帧数量；
所述3D卷积层，用于对各所述图像帧进行分割，提取特征信息，得到多个特征信息序列；
所述3D最大池化层，用于对所述特征信息序列进行最大池化处理后，得到多个微表情特征信息序列；
所述flatten层，用于将多维的所述微表情特征信息序列压平为一维关键特征信息；
所述第一全连接层，用于建立兴趣分类表，类别包括感兴趣和不感兴趣，将所述一维关键特征信息与所述兴趣分类表建立关联；
所述第二全连接层，用于映射出一维关键特征信息所表示的用户兴趣度；
所述激活层，用于利用sigmoid函数计算并输出一维关键特征信息的兴趣值。
进一步地，所述步骤S4中，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容，进一步包括：根据兴趣指标值调用与播放内容有关的播放内容和播放频率，并将新获取的播放内容移入到播放队列的头部，按照更新后的播放队列以及播放频率进行播放。
进一步地，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容，进一步包括：根据兴趣指标值调用与播放内容有关的播放内容和播放频率，并将新获取的播放内容移入到播放队列的头部，按照更新后的播放队列以及播放频率进行播放。
进一步地，所述步骤S2中，还包括利用视频片段中的人体运动速度来判断是否人脸识别，预设速度阈值，当人体运动速度小于速度阈值时，人脸识别，否则无法识别人脸。
本申请实施例的第二方面，提供了一种基于微表情的人屏互动系统，采用如上述的基于微表情的人屏互动方法，所述系统包括服务器、摄像头和显示屏；所述摄像头中内置有图像处理装置，所述服务器中内置有人脸识别装置、兴趣度分析装置、推送更新装置，服务器分别与摄像头、显示屏信号连接；
所述图像处理装置，用于实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域；
所述人脸识别装置，用于获取所述缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并将人脸图像序列输入兴趣度分析装置，否则循环操作所述人脸识别装置；
所兴趣度分析装置，用于将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出所述人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；
所述推送更新装置，用于获取所述当前微表情适配的兴趣指标值，在所述兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内所述屏上播放的内容信息，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
本申请实施例的第三方面，提供了一种基于微表情的人屏互动装置，采用如上述的基于微表情的人屏互动方法，所述装置包括集成于一体的显示屏、摄像头、图像处理模块、人脸识别模块、兴趣度分析模块、推送更新模块，
所述图像处理模块，用于实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域；
所述人脸识别模块，用于获取所述缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并输入兴趣度分析模块，否则循环执行人脸识别模块；
所述兴趣度分析模块，用于将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出所述人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；
所述推送更新模块，用于获取当前微表情适配的兴趣指标值，在所述兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内所述屏上播放的内容信息，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
本申请实施例中提供的基于微表情的人屏互动的多个技术方案，至少具有如下技术效果：
(1)由于将光学图像压缩编码后保存至缓存区域，读取时间段内的视频片段，由于采用OpenCV算法从视频片段中读取数字图像序列，方便读取视频片段，利用Yolo算法进行人脸识别技术，快速识别出数字图像序列中的人脸图像序列，提高人脸识别速率。
(2)由于将微表情特征信息序列与兴趣指标值适配，当识别出微表情特征信息序列后，即可得到兴趣指标值，从而根据兴趣指标值获取用于所感兴趣的关注对象，从而便于自适应推送播放内容。
(3)由于通过微表情识别出用于内心的真实需求，从而根据真实推求推送相应的播放内容，进而应用到市场中时，可以预测用户内心真实的消费需求，动态调整显示屏更新频率，引导通过支付信息图像购买中意的商品，从而提升广告的喜欢程度和购买意向，具有较高的商业价值。
附图说明
图1为本发明实施例的一种基于微表情的人屏互动方法流程图；
图2为本发明实施例的微表情识别模型示意图；
图3为本发明实施例的商品推送策略流程图；
图4为本发明实施例的商品推送策略中商品播放队列更新策略流程图；
图5为本发明实施例的基于微表情的人屏互动系统示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件针对这一问题。
实施例一
参考图1所示，本实施例提供了一种基于微表情的人屏互动方法，该方法包括如下步骤。
步骤S1:实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域。
在一种实施例中，当进入镜头的视野范围内时，通过镜头生成光学图像投射到感光器表面，然后转换为电信号，经模/数转换为数字图像信号后，进行图象压缩和编码后后，存储到视频缓存。例如，采用H.264标准协议进行压缩编码。
步骤S2:获取缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取视频片段中的数字图像序列，并通过人脸识别技术识别出数字图像序列中的人脸图像序列，并判断人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录人脸图像序列当前所在的时间段信息，并进入步骤S3，否则循环执行步骤S2。
针对步骤S2，以下进一步说明。
步骤S2中，还包括利用视频片段中的人体运动速度来判断是否人脸识别，预设速度阈值，当人体运动速度小于速度阈值时，人脸识别，否则无法识别人脸。进一步地，通过判断s秒内人体移动速度，当移动速度小于阈值u时，才能识别出的兴趣度，否则不做识别。本步骤可以采用背景差分算法对视频片段进行判断。其中，fb(S)表示背景帧，f(St)表示构成监控视频的图像帧，则使用背景差分算法提取监控视频中包含有人体目标关键帧的过程可以简单描述如下：
Figure GDA0003312506950000091
其中，bin[L]表示对差分图像进行二值化处理的过程；fk(Si)，i＝1，2，Lnk表示从监控视频中检测到的包含于人体目标的监控视频关键帧序列。由此可以看出，背景帧fb(S)和关键阈值Tdk的选取直接决定了背景差分法提取人体目标的精度和效率。本实施例中，根据监控区域与人体目标的具体特点灵活选择适合的背景帧和关键阈值。从视频片段中提取运动的主要算法过程可以描述如下：
步骤一：将视频片段转换为数字图像帧序列，将每一帧与背景帧做差分运算，得到包含有的监控视频关键帧。
步骤二：对关键帧做开/闭运算去除面积较小的连通区域，得到处理后的二值图像。
步骤三：计算最小外接矩形的底边中点坐标。
经过上述计算步骤之后，可得人体目标的水平最小外接矩形左上角和右下角的点坐标分别为(xmin,ymin)，(xmax,ymax)，位于水平最小外接矩形底边中点参考点的坐标为：(xmin+xmax,y)。在选定参考点以后，可以把用参考点来代替。
步骤S2中，利用OpenCV算法读取视频片段中的数字图像序列，进一步包括：利用OpenCV算法中的VideoCapture类重载操作符获取数字图像序列：
通过VideoCapture::open()函数打开视频片段，VideoCapture::open()函数自动调用VideoCapture::release()函数，释放已经打开的视频片段，然后利用VideoCapture::read()函数读取释放的视频片段，进而将视频片段解析为数字图像序列。
本实施例中的OpenCV算法应用于写视频和读视频。写视频包括创建视频时设置一系列参数，包括：文件名，编解码器，帧率，宽度和高度等，编解码器使用四个字符表示，可以是CV_FOURCC(M、J、P、G)、CV_FOURCC(X、V、I、D)及CV_FOURCC(D、I、V、X)。如果使用某种编解码器无法创建视频文件，请尝试其他的编解码器。将图像写入视频可以使用VideoWriter::write()函数，VideoWriter类中重载了操作符，使用起来非常方便。另外，待写入的图像尺寸必须与创建视频时指定的尺寸一致。读视频包括从视频文件读取图像，或者从摄像头读取图像，使用该类的构造函数打开视频文件或者摄像头。
如果VideoCapture对象已经创建，如本实施例中，已有视频片段的情况，也可以使用VideoCapture::open()打开，VideoCapture::open()函数会自动调用VideoCapture::release()函数，先释放已经打开的视频，然后再打开新视频。读一帧图像，可以使用VideoCapture::read()函数。VideoCapture类重载了>>操作符，实现了读视频帧的功能。
步骤S2中，通过人脸识别技术识别出数字图像序列中的人脸图像序列，进一步包括：
S210：初始化人脸图像序列；
按时间序列读取数字图像序列中的第一帧数字图像，并利用Yolo算法，识别出第一帧数字图像中的第一人脸图像，将第一人脸图像分割为d个人脸p1，p2，…，pd，初始化人脸序列S1＝{p1}，S2＝{p2}，…，Sd＝{pd}。
例如，进一步判断人脸个数d，若d>0,则继续后续步骤；否则返回兴趣度＝0。
本实施例中的人脸识别技术采用Yolo算法，Yolo算法为利用CNN网络直接预测不同目标的类别与位置，以提高识别速度。Yolo算法的全称为：You Only Look Once:Unified,Real-Time Object Detection，Yolo算法通过直接将原始图片分割成互不重合的小方块，然后通过卷积最后生产这样大小的特征图，特征图的每个元素也是对应原始图片的一个小方块，用每个元素来可以预测那些中心点在该小方格内的目标。进一步地，Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测。Yolo算法中的CNN网络将输入的图片分割成网格，然后每个单元格负责去检测那些中心点落在该格子内的目标。
S220：按顺序分析视频片段后续图像。
按照时间序列读取数字图像序列中的第二帧数字图像，并利用Yolo算法，识别出第二帧数字图像中的第二人脸图像，将第二人脸图像分割为q1，q2，…，qd；利用FaceNet算法，将q1，q2，…，qd和p1，p2，…，pd进行比对，若其中有一个pm与ql相似，那么将ql插入pm的尾部；否则丢弃ql；输出人脸图像序列，且人脸图像序列为包含同一人脸的一系列脸部图像。
本实施例中的人脸对比技术采用FaceNet算法，计算两张人脸的相似度，并且给出相应的相似比值，从而判断两张人脸是否为同一个人。进一步地，FaceNet算法中，直接进行端对端学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类等。其中，去掉了最后的softmax，而是用元组计算距离的方式来进行模型的训练，使用这种方式学到的图像表示非常紧致，使用128位足矣。且元组的选择非常重要，选的好可以很快的收敛。采用FaceNet算法包括建立FaceNet模型，输入两张需要对比的图片，经过FaceNet模型后，得到128维特征向量，然后计算欧式距离。如果距离大于阈值(比如0.1),认为不是同一个人；否则两张照片是同一个人。
本实施例中，获取人脸图像序列后，得到人脸图像序列中的图像帧数量，当图像帧的数量>k时,输入到微表情识别模型中，进行兴趣度识别，并输出代表用户的兴趣指标值，否则表示用户不感兴趣，即兴趣指标值为0。
步骤S3：将人脸图像序列输入至预训练的微表情识别模型中，提取人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出。
参考图2所示，在步骤S3之前还包括预训练微表情识别模型，微表情识别模型的预训练方法包括：构建三维卷积神经网络(3DConvolutional Neural Network，CNN
)结构，其包括：输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层以及激活层。
收集若干标识有兴趣类别的脸部图像序列，将各脸部图像序列依次通过输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层、激活层后，输出各脸部图像序列的兴趣指标值。以此微表情识别模型训练包含脸部特征的各种生物微表情与兴趣度的关联关系。
步骤S3中，利用微表情识别模型获取人脸图像序列的兴趣指标值的方法进一步包括：
输入层，用于接收人脸图像序列中的多维信息数据，包括图像帧数据和图像帧数量。例如，接收人脸图像序列中，图像帧数据为64*64，图像帧数量为96，那么多维信息数据为64*64*96。
3D卷积层，用于对各图像帧进行分割，提取特征信息，得到多个特征信息序列。本实施例中，可以理解为，获取的人脸图像序列由连续的图像帧堆叠成的一个立方体结构，在立方体结构上进行3D卷积运算，3D卷积层中的每个图像帧中的各特征信息都与相邻图像帧种的特征信息相连，即得到连续的特征信息序列，从而根据特征信息序列中的各特征信息，捕捉到面部肌肉的运动信息。
3D最大池化层，用于对特征信息序列进行最大池化处理后，得到多个微表情特征信息序列。本实施例中可理解为，特征信息序列中的数据量很大，为提高运算效率，减少运算量，所有对特征信息序列进行降维处理，比如，将特征信息序列中，有重复或冗余的特征信息组成的特征信息序列去除，把关键的特征信息组成的微表情特征信息序列提取出来实现3D最大池化处理。
flatten层，用于将多维的微表情特征信息序列压平为一维关键特征信息，以便作为全连接层的输入。本实施例中，可以理解为flatten层是3D最大池化层与第一全连接层的过渡，将微表情特征信息序列的维度进行转换，以便简化运算，从而提高运算效率。
第一全连接层，用于建立兴趣分类表，类别包括感兴趣和不感兴趣，将一维关键特征信息与兴趣分类表建立关联。本实施例中，由于预训练时，对成千上万的面部特征图像进行了兴趣分类，一维关键特征信息可以理解为由若干特征信息组成，将各特征信息直接分类。
第二全连接层，用于映射出一维关键特征信息所表示的用户兴趣度。本实施例中通过第一全连接层的分类结果得到用户的兴趣度。
激活层，用于利用sigmoid函数计算并输出一维关键特征信息的兴趣值。进一步地，本实施例中的sigmoid函数公式为：
Figure GDA0003312506950000131
函数的输出在0到1之间。
本实施例中的第一dropout层、第二dropout层用于防止接收的上层输出的数据在训练时数据拟合，即删除或筛出无法识别运算的数据。
进一步地，本实施例中的微表情识别模型采用三维卷积神经网络结构，其包括：输入层、与输入层相连的3D卷积层、与3D卷积层相连的3D最大池化层、与3D最大池化层相连的第一dropout层、与第一dropout层相连的压平层、与flatten层相连的第一全连接层、与第一全连接层相连的第二dropout层、与第二dropout层相连的第二全连接层、与第二全连接层相连的激活层，且在激活层后设置退出。其中，dropout层(失活层)用于防止过拟合。在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。压平层(Flatten)把多维的输入一维化，常用在从卷积层到全连接层的过渡。比如在维表情识别模型中，第一个失活层的输出是32x20x20x27，把数据维度降为一维后作为后面全连接层的输入。
参考表1所示，为微表情识别模型的实施例。
表1微表情识别模型
层类型 滤波器个数 滤波器大小 输出维度
输入 - 64x64x96
3D卷积层 32 3x3x15 32x62x62x82
3D最大池化层 - 3x3x3 32x20x20x27
第一dropout层 - - 32x20x20x27
flatten层 - - 345600
第一全连接层 - - 128
第二dropout层 - - 128
第二全连接层 - - 1
激活层 - - 1
步骤S4：获取当前微表情适配的兴趣指标值，在兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内屏上播放的内容信息，建立其人脸所在用户与屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
步骤S4中，获取当前微表情适配的兴趣指标值，进一步地，人脸图像序列中获取多个兴趣指标值，并将兴趣指标值的最大值作为最终兴趣指标值。
本实施例中，获取屏上所播放的内容之前，还包括接收若干所需的播放内容，保存至预设的数据库中，数据库中设有内容分类表，并预设播放策略。进一步包括，建立播放列表以及播放频率，将播放列表与数据库中的播放内容建立关联。
步骤S4中，建立其人脸所在用户与屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容，进一步包括：根据兴趣指标值调用与播放内容有关的播放内容和播放频率，并将新获取的播放内容移入到播放队列的头部，按照更新后的播放队列以及播放频率进行播放。
进一步地，参考图3、4所示，将基于微表情的人屏互动方法应用到商品广告预购装置中，该装置预先接收若干商品信息，保存至预设的商品数据库中，商品数据库中设有商品分类表；根据商品数据库中的商品信息预设商品推送策略。
商品信息至少包括商品名称、商品广告图像、支付信息图像、商品分类、商品支付二维码、商品地址，当然不局限于此，本实施例中，将商品信息保存至预设的商品数据库中，以便后续调用、更新。商品推送策略包括根据商品播放队列、播放周期推送商品信息中的商品广告图像、支付信息图像。
其中，商品推送策略包括预设第一播放周期、第二播放周期、初始的商品播放队列、兴趣度阈值。当得出的兴趣度小于兴趣度阈值时，根据初始的商品播放队列以及第一播放周期推送商品信息中的商品广告图像；当得出的兴趣度大于兴趣度阈值时，更新商品播放队列，根据更新后的商品播放队列以及第二播放周期推送商品信息中的商品广告图像、支付信息图像。商品播放队列为展示商品广告图像以及支付信息图像的先后顺序，在未识别微表情时，本实施例中，根据初始的商品播放队列和第一播放周期推送商品广告图像。
本应用例中，通过定时器C1预设第一播放周期、通过定时器C2预设第二播放周期、通过播放队列G预设商品信息中的商品广告图像、支付信息图像。定时器C1每隔t1秒执行推送策略M1，推送策略M1为按照预设的商品播放队列轮播商品广告图像；定时器C2每隔t2秒执行推送策略M2，推送策略M2为按照更新后的商品播放队列轮播商品广告图像，播放队列G＝[g1,g2,…,gn]，控制商品广告图像的轮播顺序，gi代表所要调用的商品i的图片地址。假设，利用定时器C1设置周期t1＝0.5(秒)以设定第一播放周期，利用C2设置周期t2＝T(秒)以设定第二播放周期。
商品推送策略进一步可以包括：
(1)实时接收微表情识别模型输出的兴趣度y。
(2)判断兴趣度y是否满足预设的兴趣度阈值要求，当不满足时，结束更新播放队列，根据预设的第一播放周期以及初始的商品播放队列推送商品广告图像；当满足时，继续步骤(3)。
(3)根据当前推送的商品广告图像，获取商品广告图像所属类型，判断是否为支付信息图像，若为支付信息图像，则结束；否则继续步骤(4)。
(4)根据当前推送的商品广告图像，利用商品分类表，获取同类商品信息，并更新至商品播放队列的头部；本实施例中，商品播放队列为一组地址队列，按照地址队列顺序，根据地址调用同类商品广告图像。
(5)根据当前推送的商品广告图像，获取对应的支付信息图像，并将支付信息图像更新至商品播放队列的头部；其中，支付信息图像位于同类商品广告图像的前面。
(6)更新播放周期，比如，原使用定时器C1执行推送策略M1，更新后，使用定时器C2执行推送策略M2.
(7)商品播放队列中，每推送出去一个对应的商品广告图像或支付信息图像，商品播放队列中删除对应的商品广告图像或支付信息图像。
进而可以得出，在获取到视频缓存区域中预设时间段内的数字图像，并组成视频片段；基于预训练的微表情识别模型，识别视频片段中的人脸图像，计算得出人脸图像的兴趣度，并判断得出的兴趣度是否满足预设的兴趣度阈值，若满足，则将每个人脸图像的兴趣度匹配至推送的商品广告图像，输出对所推送商品广告图像的兴趣度。
进一步地，接收并根据对商品广告图像的兴趣度，更新播放周期，并获取当前展示商品信息的支付信息图像，同时从商品数据库中获取同类商品信息的商品广告图像，并更新至商品播放队列；其中，支付信息图像位于更新后的商品播放队列头部，以便根据当前的商品播放队列和播放周期，推送商品信息中的商品广告图像、支付信息图像。基于商品推送策略，获取到对商品广告图像的兴趣度后，同时执行三个更新策略，首先更新播放周期，例如，将播放周期送第一播放周期更新至第二播放周期；获取感兴趣的商品广告图像的支付信息图像，并更新至商品播放队列中，使得当前商品广告图像展示结束时，推送其支付信息图像；获取同类商品信息的商品广告图像，并将其更新至商品播放队列中，并且位于支付信息图像之后。
实施例二
本实施例提供了一种基于微表情的人屏互动系统，采用如实施例一的基于微表情的人屏互动方法，该系统包括服务器、摄像头和显示屏；其中，摄像头与显示屏集成于一体；摄像头中内置有图像处理装置、人脸识别装置、兴趣度分析装置，服务器中内置有推送更新装置，服务器分别与摄像头、显示屏信号连接；
图像处理装置，用于实时接收包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域。本实施例中的通过摄像头采集图像信息，通过显示屏播放推送内容。
人脸识别装置，用于获取缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取视频片段中的数字图像序列，并通过人脸识别技术识别出数字图像序列中的人脸图像序列，并判断人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录人脸图像序列当前所在的时间段信息，并输入兴趣度分析装置，否则循环操作人脸识别装置。
兴趣度分析装置，用于将人脸图像序列输入至预训练的微表情识别模型中，提取人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出。
推送更新装置，用于获取当前微表情适配的兴趣指标值，在兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内屏上播放的内容信息，建立其人脸所在用户与屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
实施例三
本实施例提供了一种基于微表情的人屏互动装置，采用如实施例一的基于微表情的人屏互动方法，装置包括集成于一体的显示屏、摄像头、图像处理模块、人脸识别模块、兴趣度分析模块、推送更新模块，
图像处理模块，用于实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域。
人脸识别模块，用于获取缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取视频片段中的数字图像序列，并通过人脸识别技术识别出数字图像序列中的人脸图像序列，并判断人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录人脸图像序列当前所在的时间段信息，并输入兴趣度分析模块，否则循环执行人脸识别模块。
兴趣度分析模块，用于将人脸图像序列输入至预训练的微表情识别模型中，提取人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出。
推送更新模块，用于获取当前微表情适配的兴趣指标值，在兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内屏上播放的内容信息，建立其人脸所在用户与屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
此外，本实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被第一处理器执行时实现如实施例一的基于微表情的人屏互动方法的步骤。
本实施例提供了一种电子设备，包括存储器、第二处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，计算机程序被第二处理器执行时实现如如实施例一的基于微表情的人屏互动方法的步骤。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.基于微表情的人屏互动方法，其特征在于，所述方法包括：
S1:实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域；
S2:获取所述缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并进入步骤S3，否则循环执行步骤S2；
其中，所述步骤S2中，通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，进一步包括：
S210：初始化人脸图像序列；
按时间序列读取数字图像序列中的第一帧数字图像，并利用Yolo算法，识别出第一帧数字图像中的第一人脸图像，将第一人脸图像分割为d个人脸p1，p2，…，pd，初始化人脸序列S1＝{p1}，S2＝{p2}，…，Sd＝{pd}；
S220：按顺序分析视频片段后续图像；
按照时间序列读取数字图像序列中的第二帧数字图像，并利用Yolo算法，识别出第二帧数字图像中的第二人脸图像，将第二人脸图像分割为q1，q2，…，qd；利用FaceNet算法，将q1，q2，…，qd和p1，p2，…，pd进行比对，若其中有一个pm与ql相似，那么将ql插入pm的尾部；否则丢弃ql；输出人脸图像序列，且所述人脸图像序列为包含同一人脸的一系列脸部图像；
S3：将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出所述人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；
S4：获取当前微表情适配的兴趣指标值，在所述兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内所述屏上播放的内容信息，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
2.如权利要求1所述的基于微表情的人屏互动方法，其特征在于，所述步骤S2中，利用OpenCV算法读取所述视频片段中的数字图像序列，进一步包括：利用OpenCV算法中的VideoCapture类重载操作符获取数字图像序列：
通过VideoCapture::open()函数打开视频片段，VideoCapture::open()函数自动调用VideoCapture::release()函数，释放已经打开的视频片段，然后利用VideoCapture::read()函数读取释放的视频片段，进而将视频片段解析为数字图像序列。
3.如权利要求2所述的基于微表情的人屏互动方法，其特征在于，所述步骤S3中，所述微表情识别模型的预训练方法包括：构建三维卷积神经网络结构，其包括：输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层以及激活层；
收集若干标识有兴趣类别的脸部图像序列，将各所述脸部图像序列依次通过输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层、激活层后，输出兴趣指标值。
4.如权利要求3所述的基于微表情的人屏互动方法，其特征在于，所述步骤S3中，利用所述微表情识别模型获取人脸图像序列的兴趣指标值的方法进一步包括：
所述输入层，用于接收所述人脸图像序列中的多维信息数据，包括图像帧数据和图像帧数量；
所述3D卷积层，用于对各所述图像帧进行分割，提取特征信息，得到多个特征信息序列；
所述3D最大池化层，用于对所述特征信息序列进行最大池化处理后，得到多个微表情特征信息序列；
所述flatten层，用于将多维的所述微表情特征信息序列压平为一维关键特征信息；
所述第一全连接层，用于建立兴趣分类表，类别包括感兴趣和不感兴趣，将所述一维关键特征信息与所述兴趣分类表建立关联；
所述第二全连接层，用于映射出一维关键特征信息所表示的用户兴趣度；
所述激活层，用于利用sigmoid函数计算并输出一维关键特征信息的兴趣值。
5.如权利要求1所述的方法，其特征在于，所述步骤S4中，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容，进一步包括：根据兴趣指标值调用与播放内容有关的播放内容和播放频率，并将新获取的播放内容移入到播放队列的头部，按照更新后的播放队列以及播放频率进行播放。
6.如权利要求1所述的方法，其特征在于，所述步骤S2中，还包括利用视频片段中的人体运动速度来判断是否人脸识别，预设速度阈值，当人体运动速度小于速度阈值时，人脸识别，否则无法识别人脸。
7.基于微表情的人屏互动系统，其特征在于，采用如权利要求1-6任意一项所述的基于微表情的人屏互动方法，所述系统包括服务器、摄像头和显示屏；所述摄像头中内置有图像处理装置，所述服务器中内置有人脸识别装置、兴趣度分析装置、推送更新装置，服务器分别与摄像头、显示屏信号连接；
所述图像处理装置，用于实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域；
所述人脸识别装置，用于获取所述缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并将人脸图像序列输入兴趣度分析装置，否则循环操作所述人脸识别装置；
其中，通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，进一步包括：初始化人脸图像序列；按时间序列读取数字图像序列中的第一帧数字图像，并利用Yolo算法，识别出第一帧数字图像中的第一人脸图像，将第一人脸图像分割为d个人脸p1，p2，…，pd，初始化人脸序列S1＝{p1}，S2＝{p2}，…，Sd＝{pd}；按顺序分析视频片段后续图像；按照时间序列读取数字图像序列中的第二帧数字图像，并利用Yolo算法，识别出第二帧数字图像中的第二人脸图像，将第二人脸图像分割为q1，q2，…，qd；利用FaceNet算法，将q1，q2，…，qd和p1，p2，…，pd进行比对，若其中有一个pm与ql相似，那么将ql插入pm的尾部；否则丢弃ql；输出人脸图像序列，且所述人脸图像序列为包含同一人脸的一系列脸部图像；
所兴趣度分析装置，用于将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出所述人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；
所述推送更新装置，用于获取所述当前微表情适配的兴趣指标值，在所述兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内所述屏上播放的内容信息，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
8.基于微表情的人屏互动装置，其特征在于，采用如权利要求1-6任意一项所述的基于微表情的人屏互动方法，所述装置包括集成于一体的显示屏、摄像头、图像处理模块、人脸识别模块、兴趣度分析模块、推送更新模块，
所述图像处理模块，用于实时采集包括人脸在内的图像信息，并将图像信息处理后压缩，保存至缓存区域；
所述人脸识别模块，用于获取所述缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并输入兴趣度分析模块，否则循环执行人脸识别模块；其中，通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，进一步包括：初始化人脸图像序列；
按时间序列读取数字图像序列中的第一帧数字图像，并利用Yolo算法，识别出第一帧数字图像中的第一人脸图像，将第一人脸图像分割为d个人脸p1，p2，…，pd，初始化人脸序列S1＝{p1}，S2＝{p2}，…，Sd＝{pd}；按顺序分析视频片段后续图像；按照时间序列读取数字图像序列中的第二帧数字图像，并利用Yolo算法，识别出第二帧数字图像中的第二人脸图像，将第二人脸图像分割为q1，q2，…，qd；利用FaceNet算法，将q1，q2，…，qd和p1，p2，…，pd进行比对，若其中有一个pm与ql相似，那么将ql插入pm的尾部；否则丢弃ql；输出人脸图像序列，且所述人脸图像序列为包含同一人脸的一系列脸部图像；
所述兴趣度分析模块，用于将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出所述人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；
所述推送更新模块，用于获取当前微表情适配的兴趣指标值，在所述兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内所述屏上播放的内容信息，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。
CN202011037132.3A 2020-09-27 2020-09-27 基于微表情的人屏互动方法、系统和装置 Active CN112183333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011037132.3A CN112183333B (zh) 2020-09-27 2020-09-27 基于微表情的人屏互动方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011037132.3A CN112183333B (zh) 2020-09-27 2020-09-27 基于微表情的人屏互动方法、系统和装置

Publications (2)

Publication Number Publication Date
CN112183333A CN112183333A (zh) 2021-01-05
CN112183333B true CN112183333B (zh) 2021-12-10

Family

ID=73944343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011037132.3A Active CN112183333B (zh) 2020-09-27 2020-09-27 基于微表情的人屏互动方法、系统和装置

Country Status (1)

Country Link
CN (1) CN112183333B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438530B (zh) * 2021-08-27 2021-11-12 深圳佳力拓科技有限公司 一种被动式数字电视终端的人机交互方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298683A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 基于微表情的信息推广方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人工智能-OpenCV+Python实现人脸识别（视频人脸检测）;huangwuming002;《https://blog.csdn.net/huang714/article/details/90437626》;20190522;全文 *
人脸识别流程——基于YOLO v3、FaceNet和SVM的人脸检测识别系统;CV小学生。;《https://blog.csdn.net/qq_33495762/article/details/106108630》;20200513;全文 *

Also Published As

Publication number Publication date
CN112183333A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
Wei et al. Deep learning for retail product recognition: Challenges and techniques
Das et al. Toyota smarthome: Real-world activities of daily living
Roth et al. On-line conservative learning for person detection
CN107729809B (zh) 一种自适应生成视频摘要的方法、装置及其可读存储介质
Satta et al. Fast person re-identification based on dissimilarity representations
Carmona et al. Human action recognition by means of subtensor projections and dense trajectories
Liu et al. Learning human pose models from synthesized data for robust RGB-D action recognition
CN109214403B (zh) 图像识别方法、装置及设备、可读介质
CN110569905B (zh) 基于生成对抗网络和注意力网络的细粒度图像分类方法
Funk et al. Beyond planar symmetry: Modeling human perception of reflection and rotation symmetries in the wild
Breitenstein et al. Hunting nessie-real-time abnormality detection from webcams
Guo et al. Improved hand tracking system
Chen et al. TriViews: A general framework to use 3D depth data effectively for action recognition
Bouma et al. Re-identification of persons in multi-camera surveillance under varying viewpoints and illumination
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
Linda et al. Color-mapped contour gait image for cross-view gait recognition using deep convolutional neural network
An Pedestrian re-recognition algorithm based on optimization deep learning-sequence memory model
CN112183333B (zh) 基于微表情的人屏互动方法、系统和装置
El‐Henawy et al. Action recognition using fast HOG3D of integral videos and Smith–Waterman partial matching
CN111310531B (zh) 图像分类方法、装置、计算机设备及存储介质
Oikonomopoulos et al. Sparse B-spline polynomial descriptors for human activity recognition
Wang et al. STV-based video feature processing for action recognition
Manzanera Local jet feature space framework for image processing and representation
CN112001280A (zh) 一种实时、可在线优化的人脸识别系统和方法
CN115393788B (zh) 一种基于增强全局信息注意力的多尺度监控行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant