CN106341724A - 一种表情图像标注的方法和系统 - Google Patents
一种表情图像标注的方法和系统 Download PDFInfo
- Publication number
- CN106341724A CN106341724A CN201610771172.8A CN201610771172A CN106341724A CN 106341724 A CN106341724 A CN 106341724A CN 201610771172 A CN201610771172 A CN 201610771172A CN 106341724 A CN106341724 A CN 106341724A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- expression
- induced
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008859 change Effects 0.000 claims abstract description 31
- 230000008451 emotion Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000006698 induction Effects 0.000 claims abstract description 11
- 230000008921 facial expression Effects 0.000 claims description 46
- 238000013507 mapping Methods 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 abstract description 6
- 230000011218 segmentation Effects 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4333—Processing operations in response to a pause request
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的表情图像标注的方法和系统，可实现诱导视频和实验过程中采集的拍摄视频同步操作，两视频同步操作，诱导视频可帮助被试回忆在实验过程中观看该诱导视频时的情感变化。在诱导视频引起被试情感变化的时刻对拍摄视频实施暂停播放操作，接着从拍摄视频中截取被试头肩部位图像，并对截取图像进行表情类别和表情强度的标注。该方法和系统通过对拍摄视频和诱导视频的同步操作来帮助被试对观看视频时出现的表情进行表情标注，从而保证了标注数据的客观性与准确性。标注的过程中产生标注数据自动存储到数据库中，免去实验结束后工作人员繁琐复杂的工作，实现了以简单便捷的方法获取客观精确的表情图像及其标注信息。
Description
技术领域
本发明属于计算机技术领域，具体涉及一种表情图像标注的方法和系统。
背景技术
表情识别技术目前广泛受到关注并逐渐成为研究热点，但是由于现有表情图像无法支持复杂算法的深入研究，因此需要重新建立表情库。现有的表情库的建设主要有基于图像的和基于视频的两种形式，基于图像的表情库是用照相机采集的表情图像，不涉及表情分割问题，可直接对图像进行标注，这种方法比较简单。基于视频的表情库则是用摄像机采集的表情视频，从视频中分割出表情图像后对表情图像进行标注。由于视频包括了时间维度的表情变化数据，为表情识别提供了重要的信息，因此基于视频的表情库更具有研究价值和意义。基于视频的表情库建设过程中，数据分割与标注是非常重要的环节，这部分工作往往需要花费大量的精力和时间来完成。
基于视频建立表情库的方法中，表情标注主要通过实时记录法和回忆记录法实现。实时记录法一般采用传统纸质问卷的方法让被试在观看视频过程中记录自己的情感状态，这种方法从理论层面上讲可以保证数据的真实客观性，但不可避免的问题是被试在记录某一时刻情感数据时必定会对下一时刻的情感体验造成干扰。回忆记录法是被试在观看完视频后对自己观看视频时的情感进行回忆，这种方法可避免上一时刻的实时标注对被试下一时刻观看视频的影响，但不能保证被试对每一时刻回忆的精确性。
总之，无论是实时记录法还是回忆记录法，都只是被试对关键帧进行的标注，无法保证数据标注的客观性与准确性；且在实验结束后仍需要工作人员进行繁琐复杂的工作来对视频再次进行处理，以完成情感/表情分割，然后在按照被试标注信息对分割好的情感/表情图像进行标注。
发明内容
本发明所要解决的技术问题是如何以简单便捷的方法获取客观精确的表情图像及其标注数据。
针对该技术问题，本发明提供了一种表情图像标注的方法，包括：
同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；
截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；
建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；
其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。
优选地，在同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作之前，还包括：
安装视频解码器，以使预设的视频播放器在播放拍摄视频和诱导视频之前，对拍摄视频和诱导视频进行解码；
获取被试的个人信息、被试在实验过程中观看诱导视频的环境信息，建立个人信息、环境信息及截取图像的映射关系并存储。
优选地，还包括：获取用于截取拍摄视频中包含被试面部表情图像在视频中的位置，即坐标信息，以及预设时刻对应的诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。
优选地，建立图像及与其对应的表情类别和表情强度的映射关系并存储包括：
建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；
检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。
优选地，若所述缓存区存储的图像超过预设数量，则发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。
另一方面，本发明还提供了一种表情图像标注的系统，包括：
播放模块，用于同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；
截取模块，用于截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；
存储模块，用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；
其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。
优选地，还包括：
初始化模块，用于在同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作之前，安装视频解码器，以使预设的视频播放器在播放拍摄视频和诱导视频之前，对拍摄视频和诱导视频进行解码；获取被试的个人信息、被试在实验过程中观看诱导视频的环境信息，建立个人信息、环境信息及截取图像的映射关系并存储。
优选地，所述截取模块还用于获取用于截取所述拍摄视频中包含被试面部表情的图像的坐标信息，以及所述预设时刻对应的所述诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。
优选地，所述存储模块还用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。
优选地，所述存储模块还用于在所述缓存区存储的图像超过预设数量时，发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。
本发明提供的表情图像标注的方法和系统，将实验过程中采集的拍摄视频以及用于诱发被试表情变化的诱导视频同步播放，诱导视频帮助被试回忆在实验过程中观看该诱导视频时的情感变化，在诱导视频引起该被试情感变化的预设时刻对拍摄视频实施暂停播放的操作，以从该拍摄视频中截取被试的图像，对该图像进行表情类别和表情强度的标注，并将标注后的图像以及与该图像相关的信息进行存储。该方法和系统通过对实验过程中的拍摄视频和诱导视频的同步播放使得被试对拍摄视频中的被试的表情进行标注，保证了标注的客观性与准确性。同时，由于在表情图像获取的过程中就对其进行标注和存储，免去了实验结束后工作人员的繁琐复杂的工作，从而实现以简单便捷的方法获取客观精确的表情图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的表情图像标注的方法流程示意图；
图2是本发明实施例提供的表情图像标注的系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的表情图像标注的方法流程示意图，参见图1，该表情图像标注的方法，包括：
S1：同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；
S2：截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；
S3：建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；
其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。
诱导视频是由专业人员提前制作的，用来诱发被试情感变化的视频文件。拍摄视频是用来记录被试在观看诱导视频文件过程中，面部表情变化的视频文件。拍摄视频可以是对多个被试的面部表情变化采集的视频，也可以是对单个的被试的面部表情变化的采集。被试指的是在实验过程中通过观看诱导视频诱发面部表情变化的被实验对象，通过对被实验对象观看诱导视频过程中面部表情变化的采集得到拍摄视频。
在表情图像标注的过程中，将诱导视频和实验过程中采集的拍摄视频同步操作(例如，同步播放)，诱导视频时诱发被试面部表情变化的视频，拍摄视频是网络高清摄像头拍摄的被试观看诱导视频时出现的面部表情变化视频。，两视频同步操作，诱导视频用来帮助被试回忆实验过程中的情感变化。当诱导视频播放至诱发被试情感变化的时刻时，暂停相应时刻下拍摄视频的画面，该画面中的被试的表情即为需要进行标注的图像。被试或者工作人员对该图像进行标注。表情类别包括：高兴、悲伤、生气等。表情强度用于表示表情的程度，例如，图像的表情类别是高兴，表情强度越高，表示高兴的情绪越强烈。
本发明提供的表情图像标注方法和系统，可实现表情图像分割、表情图像标注并自动存储。通过对诱导视频和实验过程中采集的拍摄视频同步操作来完成被试头肩部位图像分割、表情类别标注、表情强度标注，标注过程中产生的图像及其标注数据自动存储到数据库中。该方法免去实验结束后工作人员繁琐复杂的工作，实现了以简单便捷的方法获取客观准确的表情图像及其标注信息。
本实施例提供的表情图像标注的方法，可实现诱导视频和实验过程中采集的拍摄视频同步操作，两视频同步操作，诱导视频可帮助被试回忆在实验过程中观看该诱导视频时的情感变化。在诱导视频引起被试情感变化的时刻对拍摄视频实施暂停播放操作，接着从拍摄视频中截取被试头肩部位图像图像，并对截取图像进行表情类别和表情强度的标注。该方法和系统通过对拍摄视频和诱导视频的同步操作来帮助被试对观看视频时出现的表情进行表情标注，从而保证了标注数据的客观性与准确性。此外，在标注的过程中产生的表情图像、表情类别及表情强度等标注数据可自动存储到数据库中，免去实验结束后工作人员繁琐复杂的工作，从而实现以简单便捷的方法获取客观精确的表情图像及其标注信息。
进一步地，在所述同步播放拍摄视频和诱导视频，并在所述诱导视频播放至预设时刻时，对所述拍摄视频实施暂停播放的操作之前，还包括：
安装视频解码器，以使预设的视频播放器在播放所述拍摄视频和诱导视频之前，对所述拍摄视频和诱导视频进行解码；
获取所述被试的个人信息、所述被试在实验过程中观看所述诱导视频的环境信息，建立所述个人信息和所述环境信息与所述图像的映射关系并存储。
本实施例提供了播放视频文件之前的初始化阶段，该过程中需要安装视频解码器，以保证预设的播放器能够播放视频文件。另一方面，采集被试的个人信息和实验环境信息，建立这些信息与进行表情标注的图像的映射关系，并将这些信息进行存储，以便对标注的表情进行多方位的研究。
更进一步地，获取用于截取所述拍摄视频中包含被试面部表情的图像的坐标信息，以及所述预设时刻对应的所述诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。
由于诱导视频与拍摄视频是同步播放的，通过该时间点可以找到诱发标注的表情图像所对应的诱导视频中的画面。
更进一步地，所述建立所述图像及与其对应的表情类别和表情强度的映射关系并存储包括：
建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；
检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。
标注好的图像放入缓存区进行存储，待工作人员确认后在将其存储至数据库中。检验预设数据库中是否存在所述图像的过程可以通过哈希的方式进行检验。将检验结果发送至工作人员，以使工作人员决定是否将图像添加至数据库。以避免数据库中数据的重复存储。
更进一步地，若所述缓存区存储的图像超过预设数量，则发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。
当然，为了保证计算机软件的流畅运行，可以对缓存区可以存储的图像进行限制，达到限制值之后，发出提示信息，以使工作人员将不需要进行保存的图像删除，将需要进行保存的图像存储到数据库中，然后删除。
图2是本发明实施例提供的表情图像标注的系统的结构框图，参见图2，该表情图像标注的系统20，包括播放模块21、截取模块22和存储模块23；
播放模块21，用于同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；
截取模块22，用于截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；
存储模块23，用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；
其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。
进一步地，还包括：
初始化模块，用于安装视频解码器，以使预设的视频播放器在播放所述拍摄视频和诱导视频之前，对所述拍摄视频和诱导视频进行解码；获取所述被试的个人信息、所述被试在实验过程中观看所述诱导视频的环境信息，建立所述个人信息和所述环境信息与所述图像的映射关系并存储。
进一步地，所述截取模块还用于获取用于截取所述拍摄视频中包含被试面部表情的图像的坐标信息，以及所述预设时刻对应的所述诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。
进一步地，所述存储模块还用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示操作者所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述操作者将所述图像存储至所述预设数据库。
进一步地，所述存储模块还用于在所述缓存区存储的图像超过预设数量时，发出第三提示信息，以供所述操作者将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。
作为一种更为具体的实施例，该方法具体为：
(1)初始化软件运行环境、实验数据、用户数据。安装解码器，使Windows MediaPlayer可以支持采集视频格式，检测数据库连接正常；初始化软件基础数据，包括软件主题、触发材料模板、表情类别映射表、表情强度映射表、问卷及计算公式；初始化本次实验数据与用户数据，包括实验场地、时长、天气、ID、院系表等。
(2)用户信息及问卷填写。填写用户ID、性格、描述信息，为用户分配识别码及图像存储名称前缀码；问卷信息收集与结果计算，存储至程序公共上下文中。
(3)表情分割及标注。从程序相对指定路径加载视频信息，若加载成功，开始回放拍摄视频与诱导视频，提供同步微调按钮，使两类视频能同步播放。用户单击拍摄视频播放控件、点击键盘“C”键进入截图模式，此时播放暂停，关闭临时预览区，从屏幕截取播放控件所在区域图像放入缓存，可以通过在播放控件中单击鼠标右键、键盘Esc键退出截图模式。在视频播放控件中按下鼠标左键并拖动绘制矩形框，框出用户面部，释放鼠标进入截图预览模式。此时可以通过单击鼠标右键、键盘Esc键回退至截图模式，以便于拷贝缓存区图像并在其上重新绘制矩形框。选中表情类别栏一种表情，并在新滑动出的表情强度栏中选中表情强度，在视频播放控件中双击鼠标左键、键盘Enter键完成截图。根据矩形坐标信息对缓存区图像进行裁剪，将截图时间、矩形坐标、表情类别与强度信息，生成的图像唯一标识、多分辨率矩形坐标换算成的原始视频中相对坐标信息、表情类别与强度映射信息存储至数据库缓存区。将图像缓存区的屏幕截图图像与裁剪图像存入临时预览区控件，开启临时预览区，留待用户确认，恢复正常播放。在用户完成下一次截图时，若用户未删除临时预览区的截图数据，并且临时预览区为首次填充信息或者数据库缓存区已有超过10份缓存或者视频播放完成，启动新的进程根据截图时间信息与换算的坐标信息对原始拍摄视频进行截取，获得对应时间点全尺寸图像与对应坐标的人脸图像；启动新线程连接数据库存储此次截图信息，更新统计信息；否则刷新临时预览区、更新数据库缓存区。
(4)数据库维护与导出。数据库中有可能有重复信息，需定期对数据进行检查与整理。为使数据库信息与磁盘上图像信息建立一一对应关系，对分类存储的图像数据进行读入，建立图像数据Hash表，从数据库中选取对应类别的存储信息建立Hash表，两表互相做差集即可得出冗余及无效信息，根据无效信息清理图像以及数据库。对于数据库指定信息的反序列化以及导出成Excel表格
该方法利用同步回放的方式帮助用户回忆，通过简单易用的方法对表情图像进行分割并标注，以更加精确地记录表情类别、强度、坐标及时域信息，为表情识别算法的深入研究提供丰富、信息充足的训练及测试样本。另一方面，为了降低分割及标注工作的复杂性及繁琐性、提高数据标注的客观性与准确性，设计开发了情感/表情分割与标注软件(Affective/Expression Segment and Label Software,AESL)，实现了直接对视频分割、标注一体化的操作。与现有方法相比，使用AESL操作简单，真正实现了“所见即所得”的数据分割和标注。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种表情图像标注的方法，其特征在于，包括：
同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；
截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；
建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；
其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。
2.根据权利要求1所述的方法，其特征在于，在同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作之前，还包括：
安装视频解码器，以使预设的视频播放器在播放拍摄视频和诱导视频之前，对拍摄视频和诱导视频进行解码；
获取被试的个人信息、被试在实验过程中观看诱导视频的环境信息，建立个人信息、环境信息及截取图像的映射关系并存储。
3.根据权利要求1所述的方法，其特征在于，还包括：获取用于截取拍摄视频中包含被试面部表情图像在视频中的位置，即坐标信息，以及预设时刻对应的诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。
4.根据权利要求1或2所述的方法，其特征在于，建立图像及与其对应的表情类别和表情强度的映射关系并存储包括：
建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；
检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。
5.根据权利要求4所述的方法，其特征在于，若所述缓存区存储的图像超过预设数量，则发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。
6.一种表情图像标注的系统，其特征在于，包括：
播放模块，用于同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；
截取模块，用于截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；
存储模块，用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；
其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。
7.根据权利要求6所述的系统，其特征在于，还包括：
初始化模块，用于在同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作之前，安装视频解码器，以使预设的视频播放器在播放拍摄视频和诱导视频之前，对拍摄视频和诱导视频进行解码；获取被试的个人信息、被试在实验过程中观看诱导视频的环境信息，建立个人信息、环境信息及截取图像的映射关系并存储。
8.根据权利要求6所述的系统，其特征在于，所述截取模块还用于获取用于截取所述拍摄视频中包含被试面部面部表情的图像的坐标信息，以及所述预设时刻对应的所述诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。
9.根据权利要求6或7所述的系统，其特征在于，所述存储模块还用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。
10.根据权利要求9所述的系统，其特征在于，所述存储模块还用于在所述缓存区存储的图像超过预设数量时，发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610771172.8A CN106341724A (zh) | 2016-08-29 | 2016-08-29 | 一种表情图像标注的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610771172.8A CN106341724A (zh) | 2016-08-29 | 2016-08-29 | 一种表情图像标注的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106341724A true CN106341724A (zh) | 2017-01-18 |
Family
ID=57822856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610771172.8A Pending CN106341724A (zh) | 2016-08-29 | 2016-08-29 | 一种表情图像标注的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106341724A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288034A (zh) * | 2018-01-11 | 2018-07-17 | 中国地质大学（武汉） | 一种游戏设计的质量评估方法及系统 |
| CN108537129A (zh) * | 2018-03-14 | 2018-09-14 | 北京影谱科技股份有限公司 | 训练样本的标注方法、装置和系统 |
| CN108549681A (zh) * | 2018-04-03 | 2018-09-18 | Oppo广东移动通信有限公司 | 数据处理方法和装置、电子设备、计算机可读存储介质 |
| CN108646914A (zh) * | 2018-04-27 | 2018-10-12 | 安徽斛兵信息科技有限公司 | 一种多模态的情感数据收集方法及装置 |
| CN109460796A (zh) * | 2018-12-26 | 2019-03-12 | 河南通域医疗科技有限公司 | 一种批量截取并分析内窥镜视频中病变特征的方法 |
| CN112261464A (zh) * | 2020-10-13 | 2021-01-22 | 南京云思创智信息科技有限公司 | 一种融合情感信息的视频回看方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771862A (zh) * | 2008-12-26 | 2010-07-07 | 富士通株式会社 | 监视系统和方法 |
| CN104298682A (zh) * | 2013-07-18 | 2015-01-21 | 广州华久信息科技有限公司 | 一种基于人脸表情图像的信息推荐效果的评价方法及手机 |
| CN104917922A (zh) * | 2014-03-14 | 2015-09-16 | 佳能株式会社 | 图像形成设备、系统和数据管理方法 |
| CN105139004A (zh) * | 2015-09-23 | 2015-12-09 | 河北工业大学 | 基于视频序列的人脸表情识别方法 |
| CN105512624A (zh) * | 2015-12-01 | 2016-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种人脸图像的笑脸识别方法及其装置 |
-
2016
- 2016-08-29 CN CN201610771172.8A patent/CN106341724A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771862A (zh) * | 2008-12-26 | 2010-07-07 | 富士通株式会社 | 监视系统和方法 |
| CN104298682A (zh) * | 2013-07-18 | 2015-01-21 | 广州华久信息科技有限公司 | 一种基于人脸表情图像的信息推荐效果的评价方法及手机 |
| CN104917922A (zh) * | 2014-03-14 | 2015-09-16 | 佳能株式会社 | 图像形成设备、系统和数据管理方法 |
| CN105139004A (zh) * | 2015-09-23 | 2015-12-09 | 河北工业大学 | 基于视频序列的人脸表情识别方法 |
| CN105512624A (zh) * | 2015-12-01 | 2016-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种人脸图像的笑脸识别方法及其装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘永娜 孙波 陈玖冰 张迪 罗继鸿: "《BNU学习情感数据库的设计与实现》", 《现代教育技术》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288034A (zh) * | 2018-01-11 | 2018-07-17 | 中国地质大学（武汉） | 一种游戏设计的质量评估方法及系统 |
| CN108537129A (zh) * | 2018-03-14 | 2018-09-14 | 北京影谱科技股份有限公司 | 训练样本的标注方法、装置和系统 |
| CN108537129B (zh) * | 2018-03-14 | 2021-01-08 | 北京影谱科技股份有限公司 | 训练样本的标注方法、装置和系统 |
| CN108549681A (zh) * | 2018-04-03 | 2018-09-18 | Oppo广东移动通信有限公司 | 数据处理方法和装置、电子设备、计算机可读存储介质 |
| CN108549681B (zh) * | 2018-04-03 | 2023-09-01 | Oppo广东移动通信有限公司 | 数据处理方法和装置、电子设备、计算机可读存储介质 |
| CN108646914A (zh) * | 2018-04-27 | 2018-10-12 | 安徽斛兵信息科技有限公司 | 一种多模态的情感数据收集方法及装置 |
| CN109460796A (zh) * | 2018-12-26 | 2019-03-12 | 河南通域医疗科技有限公司 | 一种批量截取并分析内窥镜视频中病变特征的方法 |
| CN112261464A (zh) * | 2020-10-13 | 2021-01-22 | 南京云思创智信息科技有限公司 | 一种融合情感信息的视频回看方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106341724A (zh) | 一种表情图像标注的方法和系统 | |
| WO2022001593A1 (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
| WO2016152633A1 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
| CN107147939A (zh) | 用于调整视频直播封面的方法和装置 | |
| CN108985241A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN108259788A (zh) | 视频编辑方法、终端和计算机可读存储介质 | |
| TWI552591B (zh) | 標記視頻中物件的方法、裝置及電腦可讀取記錄媒體 | |
| CN103780973A (zh) | 视频标签添加方法及装置 | |
| TW201004339A (en) | Method and system for processing synthetic graphic images on digital video file | |
| CN103679204A (zh) | 基于智能移动设备平台的图像识别与创作应用系统及方法 | |
| CN103702040A (zh) | 实时视频图饰叠加处理方法及系统 | |
| CN113507621A (zh) | 直播方法、装置、系统、计算机设备以及存储介质 | |
| CN105704559A (zh) | 一种海报生成方法及装置 | |
| CN113240466B (zh) | 基于大数据深度分析的移动传媒视频数据处理方法、设备及存储介质 | |
| CN106303669A (zh) | 一种视频剪辑方法和装置 | |
| CN109379623A (zh) | 视频内容生成方法、装置、计算机设备和存储介质 | |
| CN114598919B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| CN113641836A (zh) | 一种展示方法及其相关设备 | |
| WO2018133321A1 (zh) | 一种生成镜头信息的方法和装置 | |
| CN106373196A (zh) | 一种基于虚拟现实的移动视频播放方法 | |
| CN111629267B (zh) | 音频标注方法、装置、设备及计算机可读存储介质 | |
| JPWO2015178234A1 (ja) | 画像検索システム、検索画面表示方法 | |
| CN110879946A (zh) | 手势结合ar特效的方法、存储介质、设备及系统 | |
| KR101583745B1 (ko) | 실시간 동영상 편집 장치 및 이를 이용한 턴제 게임 지원 장치 | |
| CN105933626A (zh) | 一种同时显示输入视频和附加信息的装置与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Yongna Inventor after: Zhang Jian Inventor after: Chen Yanxia Inventor after: Wang Lirong Inventor after: Li Shute Inventor after: Dong Nian Inventor before: Liu Yongna Inventor before: Wang Lirong |
|
| CB03 | Change of inventor or designer information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170929 Address after: 570228 Haikou people's road, Hainan, No. 58 Applicant after: Hainan University Address before: 571737 Haikou, Hainan, Danzhou, the two houses Applicant before: Liu Yongna Applicant before: Wang Lirong |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170118 |
|
| RJ01 | Rejection of invention patent application after publication |