CN103366782A - 在虚拟形象上自动播放表情的方法和装置 - Google Patents

在虚拟形象上自动播放表情的方法和装置 Download PDF

Info

Publication number
CN103366782A
CN103366782A CN2012100988178A CN201210098817A CN103366782A CN 103366782 A CN103366782 A CN 103366782A CN 2012100988178 A CN2012100988178 A CN 2012100988178A CN 201210098817 A CN201210098817 A CN 201210098817A CN 103366782 A CN103366782 A CN 103366782A
Authority
CN
China
Prior art keywords
face
movement locus
extracts
face position
corresponding relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100988178A
Other languages
English (en)
Other versions
CN103366782B (zh
Inventor
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201210098817.8A priority Critical patent/CN103366782B/zh
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to US14/129,636 priority patent/US9457265B2/en
Priority to PCT/CN2013/073131 priority patent/WO2013149556A1/zh
Priority to BR112014000988-0A priority patent/BR112014000988B1/pt
Priority to KR1020147001224A priority patent/KR101612199B1/ko
Priority to MX2014000589A priority patent/MX2014000589A/es
Priority to JP2014513910A priority patent/JP5736601B2/ja
Priority to EP13772936.4A priority patent/EP2835736A4/en
Publication of CN103366782A publication Critical patent/CN103366782A/zh
Application granted granted Critical
Publication of CN103366782B publication Critical patent/CN103366782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了在虚拟形象上自动播放表情的方法和装置。其中，该方法包括：A，采集游戏过程中与游戏玩家相关的视频图像，判断该采集的视频图像是否为游戏玩家的脸部图像，如果是，执行步骤B，否则，返回步骤A；B，提取出该脸部图像中的脸部特征，通过连续N次采集该提取出的脸部特征的运动方向得到该脸部特征的运动轨迹；所述N大于等于2；C，根据步骤B得到的脸部特征运动轨迹确定对应的脸部表情，在所述游戏玩家的虚拟形象上自动播放该确定的脸部表情。

Description

在虚拟形象上自动播放表情的方法和装置
技术领域
本发明涉及计算机技术，特别涉及在虚拟形象上自动播放表情的方法和装置。
背景技术
在现有游戏中，游戏玩家都会有一个虚拟的个人形象进行个人装扮。该游戏玩家的虚拟个人形象简称为Avatar。在游戏过程中，游戏玩家通过从预定义的表情功能中点击选择一个最能体现当前心情状态的表情，并在自身的Avatar上播放，以便让其他游戏玩家获知自身的心情状态。比如，在游戏胜利时，游戏玩家从预定义的表情功能中点击选择一个表现高兴的表情，并在自身的Avatar上播放。
可以看出，在现有游戏中，需要游戏玩家主动点击选择表情，而通常在实际游戏过程中，游戏玩家是无暇主动点击选择表情的，这就限制游戏玩家的Avatar无法进行表情播放。因此，一种较好的方式是在游戏玩家的Avatar上自动播放表情，然而，现有技术尚没有一种方法能够实现在游戏玩家的Avatar上自动播放表情。
发明内容
本发明提供了在虚拟形象上自动播放表情的方法和装置，以实现在游戏玩家的虚拟形象上自动播放表情。
本发明提供的技术方案包括：
一种在虚拟形象上自动播放表情的方法，该方法包括：
A，采集游戏过程中与游戏玩家相关的视频图像，判断该采集的视频图像是否为游戏玩家的脸部图像，如果是，执行步骤B，否则，返回步骤A；
B，提取出该脸部图像中的脸部特征，通过连续N次采集该脸部特征的运动方向得到该脸部特征的运动轨迹；所述N大于等于2；
C，根据步骤B得到的脸部特征运动轨迹确定对应的脸部表情，在所述游戏玩家的虚拟形象上自动播放该确定的脸部表情。
一种用于在虚拟形象上自动播放表情的装置，该装置包括：采集单元、轨迹确定单元和表情播放单元；其中，
采集单元，用于采集游戏过程中与游戏玩家相关的视频图像，并判断该采集的视频图像是否为游戏玩家的脸部图像，如果是，发送通知至轨迹确定单元，否则，继续采集游戏过程中与游戏玩家相关的视频图像；
轨迹确定单元，用于接收到所述采集单元发送的通知后，提取出该脸部图像中的脸部特征，通过连续N次采集该提取出的脸部特征的运动方向得到该脸部特征的运动轨迹；所述N大于等于2；
表情播放单元，用于根据所述轨迹确定单元得到的脸部特征运动轨迹确定对应的脸部表情，在所述游戏玩家的虚拟形象上自动播放该确定的脸部表情。
由以上技术方案可以看出，本发明中，通过采集游戏玩家在游戏过程中的脸部图像，并从脸部图像中提取出脸部特征，之后通过连续N次采集得到该脸部特征的运动轨迹，利用该脸部运动轨迹确定脸部表情，以达到脸部表情的自动播放，这相比于现有技术中由游戏玩家主动点击选择脸部表情，一方面能够实现在游戏玩家的虚拟形象比如Avatar上自动播放表情，另一方面解放了游戏玩家，无需游戏玩家主动点击播放脸部表情，节省游戏玩家的时间。
附图说明
图1为本发明实施例提供的方法流程图；
图2为本发明实施例提供的脸部特征示意图；
图3为本发明实施例提供的步骤103实现流程图；
图4为本发明实施例提供的装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
本发明提供的方法包括图1所示的流程：
参见图1，图1为本发明实施例提供的方法流程图。如图1所示，该流程可包括以下步骤：
步骤101，采集游戏过程中与游戏玩家相关的视频图像，判断该采集的视频图像是否为游戏玩家的脸部图像，如果是，执行步骤102，否则，返回步骤101。
视频图像是以帧为单位传输的，基于此，本步骤101中，在每采集到一帧图像时，都要判断该采集的帧图像是否为游戏玩家的脸部图像，如果是，执行步骤102，否则，继续采集下一帧图像。
步骤102，提取出该脸部图像中的脸部特征，通过连续N次采集该提取出的脸部特征的运动方向得到该脸部特征的运动轨迹。
其中，N大于等于2。
需要说明的是，本步骤102中的采集、以及步骤101中的采集可通过视频采集技术实现。
另外，本步骤102中的提取可通过人脸识别技术实现。
步骤103，根据步骤102得到的脸部特征运动轨迹确定对应的脸部表情，在所述游戏玩家的虚拟形象上自动播放该确定的脸部表情。
通过步骤101至步骤103可以看出，本发明中，通过视频采集技术采集游戏玩家在游戏过程中的脸部图像，并通过人脸识别技术从脸部图像中提取出脸部特征，之后通过连续N次采集得到该脸部特征的运动轨迹，利用该脸部运动轨迹确定脸部表情，以达到脸部表情的自动播放，这相比于现有技术中由游戏玩家主动点击选择脸部表情，一方面能够实现在游戏玩家的虚拟形象比如Avatar上自动播放表情，另一方面解放了游戏玩家，无需游戏玩家主动点击播放脸部表情，节省游戏玩家的时间。
另外，优选地，本发明中，步骤102提取出的脸部特征至少包括游戏玩家脸部的五官部位，其中，该五官部位可为双眉、双目、鼻、双颊(即脸蛋儿)和唇。并且，每一脸部部位由多个特征向量组成，具体如图2所示。比如，在图2中，眉毛就由5个特征点相连接形成的5个特征向量组成。
另外，步骤102中，通过连续N次采集该提取出的脸部特征的运动方向得到该脸部特征的运动轨迹可包括：
针对提取出的每一脸部部位，连续N次采集组成该脸部部位的各个特征向量，利用N次采集出的组成该脸部部位的各个特征向量确定该脸部部位的运动轨迹。以脸部部位为鼻子为例，则连续N次采集组成该鼻子的各个特征向量，即向量47至向量57，利用N次采集出的该向量47至向量57确定该脸部部位的运动轨迹。其中，利用N次采集出的向量47至向量57确定该脸部部位的运动轨迹可按照现有的向量确定轨迹方式执行，本发明并不重点描述。
基于针对步骤102的描述，则步骤103具体可包括图3所示的流程。
参见图3，图3为本发明实施例提供的步骤103实现流程图。如图3所示，该流程可包括以下步骤：
步骤301，在预先训练得到的共性脸部运动轨迹和脸部表情之间的对应关系集合中匹配该提取出的各个脸部部位的运动轨迹，如果所述对应关系集合中存在如下对应关系：该对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹，则执行步骤302，否则，执行步骤303。
优选地，步骤301中，该对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹可包括：
针对提取出的每一脸部部位的运动轨迹，该对应关系的共性脸部运动轨迹中存在如下脸部部位运动轨迹：与该提取出的脸部部位的运动轨迹匹配率大于或等于该提取出的脸部部位对应的匹配数值。其中，不同脸部部位对应的匹配数值可相同也可不同，本发明并不具体限定。
另外，步骤301中，预先训练得到的共性脸部运动轨迹和脸部表情之间的对应关系集合是通过以下步骤实现的：
针对某一特定脸部表情，比如微笑、哭泣、撅嘴、皱眉等行为，
通过多次采集并确定脸部各个部位在该特定脸部表情下的运动轨迹；
针对每一脸部部位，从确定出的该部位在该特定脸部表情下的运动轨迹中抽取出共性运动轨迹；
将各个脸部部位的共性运动轨迹和该特定脸部表情绑定，形成共性脸部运动轨迹和脸部表情之间的对应关系。
步骤302，在所述游戏玩家的虚拟形象上自动播放该存在的对应关系中的脸部表情。
步骤303，返回步骤101中的采集。
如此，通过上述步骤301至步骤303即可实现上述步骤103。
至此，完成本发明提供的方法描述。下面对本发明提供的装置进行描述：
参见图4，图4为本发明实施例提供的装置结构图。该装置用于在虚拟形象上自动播放表情，该装置包括：采集单元、轨迹确定单元和表情播放单元。
其中，采集单元，用于采集游戏过程中与游戏玩家相关的视频图像，并判断该采集的视频图像是否为游戏玩家的脸部图像，如果是，发送通知至轨迹确定单元，否则，继续采集游戏过程中与游戏玩家相关的视频图像；
轨迹确定单元，用于接收到所述采集单元发送的通知后，提取出该脸部图像中的脸部特征，通过连续N次采集该提取出的脸部特征的运动方向得到该脸部特征的运动轨迹；所述N大于等于2；
表情播放单元，用于根据所述轨迹确定单元得到的脸部特征运动轨迹确定对应的脸部表情，在所述游戏玩家的虚拟形象上自动播放该确定的脸部表情。
优选地，如图4所示，所述轨迹确定单元可包括：特征提取模块和轨迹确定模块。
其中，特征提取模块，用于提取出所述采集单元采集到的脸部图像中的脸部特征，所述提取出的脸部特征至少包括游戏玩家脸部的五官部位，每一脸部部位由多个特征向量组成；
轨迹确定模块，用于针对所述特征提取模块提取出的每一脸部部位，
连续N次采集组成该脸部部位的各个特征向量；
利用N次采集出的组成该脸部部位的各个特征向量确定该脸部部位的运动轨迹。
优选地，如图4所示，所述表情播放单元可包括：匹配模块和表情播放模块。
其中，匹配模块，用于在预先训练得到的共性脸部运动轨迹和脸部表情之间的对应关系集合中匹配该提取出的各个脸部部位的运动轨迹，如果所述对应关系集合中存在如下对应关系：该对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹，则发送播放通知至表情播放模块；
其中，所述对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹可包括：
针对提取出的每一脸部部位的运动轨迹，该对应关系的共性脸部运动轨迹中存在如下脸部部位运动轨迹：与该提取出的脸部部位的运动轨迹匹配率大于或等于该提取出的脸部部位对应的匹配数值。
另外，优选地，所述匹配模块可在不存在所述对应关系时，触发所述采集单元继续采集游戏过程中与游戏玩家相关的视频图像。
表情播放模块，用于接收到播放通知后，在所述游戏玩家的虚拟形象上自动播放该存在的对应关系中的脸部表情。
至此，完成本发明提供的装置描述。
由以上技术方案可以看出，本发明中，通过采集游戏玩家在游戏过程中的脸部图像，并从脸部图像中提取出脸部特征，之后通过连续N次采集得到该脸部特征的运动轨迹，利用该脸部运动轨迹确定脸部表情，以达到脸部表情的自动播放，这相比于现有技术中由游戏玩家主动点击选择脸部表情，一方面能够实现在游戏玩家的虚拟形象比如Avatar上自动播放表情，另一方面解放了游戏玩家，无需游戏玩家主动点击播放脸部表情，节省游戏玩家的时间。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种在虚拟形象上自动播放表情的方法，其特征在于，该方法包括：
A，采集游戏过程中与游戏玩家相关的视频图像，判断该采集的视频图像是否为游戏玩家的脸部图像，如果是，执行步骤B，否则，返回步骤A；
B，提取出该脸部图像中的脸部特征，通过连续N次采集该脸部特征的运动方向得到该脸部特征的运动轨迹；所述N大于等于2；
C，根据步骤B得到的脸部特征运动轨迹确定对应的脸部表情，在所述游戏玩家的虚拟形象上自动播放该确定的脸部表情。
2.根据权利要求1所述的方法，其特征在于，步骤B中提取出的脸部特征至少包括游戏玩家脸部的五官部位，每一脸部部位由多个特征向量组成；
步骤B中，通过连续N次采集脸部特征的运动方向得到脸部特征的运动轨迹包括：
针对提取出的每一脸部部位，
连续N次采集组成该脸部部位的各个特征向量；
利用N次采集出的组成该脸部部位的各个特征向量确定该脸部部位的运动轨迹。
3.根据权利要求2所述的方法，其特征在于，步骤C包括：
C1，在预先训练得到的共性脸部运动轨迹和脸部表情的对应关系集合中匹配该提取出的各个脸部部位的运动轨迹，如果所述对应关系集合中存在如下对应关系：该对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹，则执行步骤C2；
C2，在所述游戏玩家的虚拟形象上自动播放该存在的对应关系中的脸部表情。
4.根据权利要求3所述的方法，其特征在于，步骤C1中，该对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹包括：
针对提取出的每一脸部部位的运动轨迹，该对应关系的共性脸部运动轨迹中存在如下脸部部位运动轨迹：与该提取出的脸部部位的运动轨迹匹配率大于或等于该提取出的脸部部位对应的匹配数值。
5.根据权利要求3所述的方法，其特征在于，步骤C1中，如果所述对应关系集合中不存在所述对应关系，则该方法进一步包括：
返回步骤A中的采集。
6.一种用于在虚拟形象上自动播放表情的装置，其特征在于，该装置包括：采集单元、轨迹确定单元和表情播放单元；其中，
采集单元，用于采集游戏过程中与游戏玩家相关的视频图像，并判断该采集的视频图像是否为游戏玩家的脸部图像，如果是，发送通知至轨迹确定单元，否则，继续采集游戏过程中与游戏玩家相关的视频图像；
轨迹确定单元，用于接收到所述采集单元发送的通知后，提取出该脸部图像中的脸部特征，通过连续N次采集该提取出的脸部特征的运动方向得到该脸部特征的运动轨迹；所述N大于等于2；
表情播放单元，用于根据所述轨迹确定单元得到的脸部特征运动轨迹确定对应的脸部表情，在所述游戏玩家的虚拟形象上自动播放该确定的脸部表情。
7.根据权利要求6所述的装置，其特征在于，所述轨迹确定单元包括：
特征提取模块，用于提取出所述采集单元采集到的脸部图像中的脸部特征，所述提取出的脸部特征至少包括游戏玩家脸部的五官部位，每一脸部部位由多个特征向量组成；
轨迹确定模块，用于针对所述特征提取模块提取出的每一脸部部位，
连续N次采集组成该脸部部位的各个特征向量；
利用N次采集出的组成该脸部部位的各个特征向量确定该脸部部位的运动轨迹。
8.根据权利要求7所述的装置，其特征在于，所述表情播放单元包括：
匹配模块，用于在预先训练得到的共性脸部运动轨迹和脸部表情的对应关系集合中匹配该提取出的各个脸部部位的运动轨迹，如果所述对应关系集合中存在如下对应关系：该对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹，则发送播放通知至表情播放模块；
表情播放模块，用于接收到播放通知后，在所述游戏玩家的虚拟形象上自动播放该存在的对应关系中的脸部表情。
9.根据权利要求8所述的装置，其特征在于，所述对应关系的共性脸部运动轨迹中存在与该提取出的各个脸部部位的运动轨迹相关的运动轨迹包括：
针对提取出的每一脸部部位的运动轨迹，该对应关系的共性脸部运动轨迹中存在如下脸部部位运动轨迹：与该提取出的脸部部位的运动轨迹匹配率大于或等于该提取出的脸部部位对应的匹配数值。
CN201210098817.8A 2012-04-06 2012-04-06 在虚拟形象上自动播放表情的方法和装置 Active CN103366782B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201210098817.8A CN103366782B (zh) 2012-04-06 2012-04-06 在虚拟形象上自动播放表情的方法和装置
PCT/CN2013/073131 WO2013149556A1 (zh) 2012-04-06 2013-03-25 在虚拟形象上自动播放表情的方法和装置
BR112014000988-0A BR112014000988B1 (pt) 2012-04-06 2013-03-25 método e dispositivo para reproduzir automaticamente uma expressão em imagem virtual, e meio legível em máquina
KR1020147001224A KR101612199B1 (ko) 2012-04-06 2013-03-25 가상 이미지 상에 자동적으로 표정을 재생하는 방법 및 장치
US14/129,636 US9457265B2 (en) 2012-04-06 2013-03-25 Method and device for automatically playing expression on virtual image
MX2014000589A MX2014000589A (es) 2012-04-06 2013-03-25 Metodo y dispositivo para reproducir automaticamente expresion sobre una imagen virtual.
JP2014513910A JP5736601B2 (ja) 2012-04-06 2013-03-25 仮想イメージで自動的に表情を再生する方法及び装置
EP13772936.4A EP2835736A4 (en) 2012-04-06 2013-03-25 METHOD AND APPARATUS FOR AUTOMATICALLY REPRODUCING EXPRESSION ON A VIRTUAL IMAGE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210098817.8A CN103366782B (zh) 2012-04-06 2012-04-06 在虚拟形象上自动播放表情的方法和装置

Publications (2)

Publication Number Publication Date
CN103366782A true CN103366782A (zh) 2013-10-23
CN103366782B CN103366782B (zh) 2014-09-10

Family

ID=49299985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210098817.8A Active CN103366782B (zh) 2012-04-06 2012-04-06 在虚拟形象上自动播放表情的方法和装置

Country Status (8)

Country Link
US (1) US9457265B2 (zh)
EP (1) EP2835736A4 (zh)
JP (1) JP5736601B2 (zh)
KR (1) KR101612199B1 (zh)
CN (1) CN103366782B (zh)
BR (1) BR112014000988B1 (zh)
MX (1) MX2014000589A (zh)
WO (1) WO2013149556A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224910A (zh) * 2015-08-28 2016-01-06 华中师范大学 一种训练共同注意力的系统及方法
WO2016045010A1 (en) * 2014-09-24 2016-03-31 Intel Corporation Facial gesture driven animation communication system
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN107206281A (zh) * 2014-11-21 2017-09-26 索尼互动娱乐股份有限公司 程序及信息处理设备
CN107551551A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 游戏效果构建方法及装置
CN109260710A (zh) * 2018-09-14 2019-01-25 北京智明星通科技股份有限公司 一种基于心情的游戏app优化方法、装置及终端设备
CN109636898A (zh) * 2018-11-29 2019-04-16 维沃移动通信有限公司 3d模型生成方法及终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746990B2 (en) * 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US9898849B2 (en) * 2014-11-05 2018-02-20 Intel Corporation Facial expression based avatar rendering in video animation and method
US10870056B2 (en) * 2017-11-01 2020-12-22 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
CN101732055A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 驾驶员疲劳检测方法及系统
CN101944163A (zh) * 2010-09-25 2011-01-12 德信互动科技（北京）有限公司 通过捕捉人脸表情实现游戏角色表情同步的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6121953A (en) 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP4743823B2 (ja) 2003-07-18 2011-08-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
CN1839410B (zh) 2003-07-18 2015-05-20 佳能株式会社 图像处理设备、摄像设备、图像处理方法
EP2360629A3 (en) * 2005-05-07 2012-04-11 Stephen L. Thaler Device for the autonomous bootstrapping of useful information
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US8963926B2 (en) * 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
JP2007026088A (ja) * 2005-07-15 2007-02-01 Oki Electric Ind Co Ltd モデル生成装置
AU2006352758A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Talking Head Creation System and Method
JP2008003673A (ja) * 2006-06-20 2008-01-10 Oki Electric Ind Co Ltd アニメーション作成システムおよび方法
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20110292181A1 (en) * 2008-04-16 2011-12-01 Canesta, Inc. Methods and systems using three-dimensional sensing for user interaction with applications
US20120081282A1 (en) * 2008-05-17 2012-04-05 Chin David H Access of an application of an electronic device based on a facial gesture
JP5017382B2 (ja) * 2010-01-21 2012-09-05 株式会社コナミデジタルエンタテインメント 画像表示装置、画像加工方法、および、プログラム
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US8489529B2 (en) * 2011-03-31 2013-07-16 Microsoft Corporation Deep convex network with joint use of nonlinear random projection, Restricted Boltzmann Machine and batch-based parallelizable optimization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
CN101732055A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 驾驶员疲劳检测方法及系统
CN101944163A (zh) * 2010-09-25 2011-01-12 德信互动科技（北京）有限公司 通过捕捉人脸表情实现游戏角色表情同步的方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016045010A1 (en) * 2014-09-24 2016-03-31 Intel Corporation Facial gesture driven animation communication system
US9984487B2 (en) 2014-09-24 2018-05-29 Intel Corporation Facial gesture driven animation communication system
CN107206281A (zh) * 2014-11-21 2017-09-26 索尼互动娱乐股份有限公司 程序及信息处理设备
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN105224910A (zh) * 2015-08-28 2016-01-06 华中师范大学 一种训练共同注意力的系统及方法
CN107551551A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 游戏效果构建方法及装置
CN107551551B (zh) * 2017-08-09 2021-03-26 Oppo广东移动通信有限公司 游戏效果构建方法及装置
CN109260710A (zh) * 2018-09-14 2019-01-25 北京智明星通科技股份有限公司 一种基于心情的游戏app优化方法、装置及终端设备
CN109260710B (zh) * 2018-09-14 2021-10-01 北京智明星通科技股份有限公司 一种基于心情的游戏app优化方法、装置及终端设备
CN109636898A (zh) * 2018-11-29 2019-04-16 维沃移动通信有限公司 3d模型生成方法及终端
CN109636898B (zh) * 2018-11-29 2023-08-22 维沃移动通信有限公司 3d模型生成方法及终端

Also Published As

Publication number Publication date
MX2014000589A (es) 2014-05-01
JP5736601B2 (ja) 2015-06-17
WO2013149556A1 (zh) 2013-10-10
US20150038222A1 (en) 2015-02-05
KR101612199B1 (ko) 2016-04-12
BR112014000988A2 (pt) 2017-02-21
CN103366782B (zh) 2014-09-10
JP2014522528A (ja) 2014-09-04
US9457265B2 (en) 2016-10-04
EP2835736A1 (en) 2015-02-11
BR112014000988B1 (pt) 2021-06-08
KR20140023437A (ko) 2014-02-26
EP2835736A4 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
CN103366782B (zh) 在虚拟形象上自动播放表情的方法和装置
US9247201B2 (en) Methods and systems for realizing interaction between video input and virtual network scene
CN107483834B (zh) 一种图像处理方法、连拍方法及装置和相关介质产品
CN106803987A (zh) 视频数据的获取方法、装置和系统
CN110868554B (zh) 直播中实时换脸的方法、装置、设备及存储介质
Karpouzis et al. The platformer experience dataset
CN110766081B (zh) 一种界面图像检测的方法、模型训练的方法以及相关装置
CN112232258A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN206378900U (zh) 一种基于移动终端的广告投放效果评价系统
CN109260710A (zh) 一种基于心情的游戏app优化方法、装置及终端设备
CN112287848A (zh) 基于直播的图像处理方法、装置、电子设备和存储介质
CN106325524A (zh) 一种指令获取的方法及指令获取装置
CN113392690A (zh) 视频语义标注方法、装置、设备及存储介质
CN105872537A (zh) 视频播放方法、装置及系统
CN110866940A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN105797375A (zh) 一种跟随用户脸部表情改变角色模型表情的方法和终端
CN110234019A (zh) 弹幕互动方法、系统、终端和计算机可读存储介质
CN106961567A (zh) 动画图像生成方法及装置
CN112312142B (zh) 视频播放控制方法、装置和计算机可读存储介质
KR101838792B1 (ko) 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
CN105797376A (zh) 一种根据用户表情控制角色模型行为的方法和终端
CN105868606A (zh) 一种智能终端控制设备及方法
CN114866788A (zh) 视频的处理方法及装置
CN108966007B (zh) 一种在hdmi下区分视频场景的方法及装置
EP3780643A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1187444

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1187444

Country of ref document: HK