CN110321009A - Ar表情处理方法、装置、设备和存储介质 - Google Patents
Ar表情处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110321009A CN110321009A CN201910597475.6A CN201910597475A CN110321009A CN 110321009 A CN110321009 A CN 110321009A CN 201910597475 A CN201910597475 A CN 201910597475A CN 110321009 A CN110321009 A CN 110321009A
- Authority
- CN
- China
- Prior art keywords
- character image
- official documents
- image
- facial expression
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Abstract
本申请提供一种AR表情处理方法、装置、设备和存储介质，通过获取用户的触发指令，触发指令用于指示开启AR表情的拍摄功能；采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果；根据识别结果，确定与识别结果对应的文案内容；将文案内容添加至人物图像中，得到AR表情图像。添加的文案内容与人物图像的识别结果相适应，内容匹配度高；在用户录制影像的过程中，实时呈现与特定动作或特定表情匹配的文案内容，可以大大提高AR表情图像制作的互动性和趣味性，有利于有效提升用户体验。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种AR表情处理方法、装置、设备和存储介质。
背景技术
AR表情图像是表情输入中全新的展现方式，它可以将虚拟和现实进行结合，并结合文案，达到更加准确、生动表达情绪的效果。
现有技术中，制作AR表情图像的方法主要包括：用户录制完影像后，获取用户指定的文案内容，将用户指定的文案内容添加在人物图像中，得到AR表情图像；或者在用户录制影像过程中，在人物图像中添加预设的文案内容，得到AR表情图像。
然而现有技术中，用户选择需要添加的文案内容，得到AR表情图像，或者在人物图像中添加预设的文案内容，得到AR表情图像，都容易出现文案内容与人物图像内容不符，AR表情图像效果不佳的问题，而且上述方法还存在与用户互动性差、趣味性低的缺陷，用户体验较差。
发明内容
本申请提供一种AR表情处理方法、装置、设备和存储介质，用以解决现有技术中制作AR表情图像互动性差、内容匹配度难以保证的问题。
第一方面，本申请提供一种AR表情处理方法，该方法包括：
获取用户的触发指令，所述触发指令用于指示开启AR表情的拍摄功能；
采集人物图像，并对所述人物图像实时进行特征识别处理，得到识别结果；
根据所述识别结果，确定与所述识别结果对应的文案内容；
将所述文案内容添加至所述人物图像中，得到AR表情图像。
进一步地，预设有标准特定动作，对所述人物图像实时进行特征识别处理，得到识别结果，包括：
对所述人物图像实时进行特征识别处理，得到所述人物图像的肢体特征点，并根据所述肢体特征点确定人物动作；
确定由所述肢体特征点确定出的所述人物动作与所述标准特定动作的相似度；
在所述人物动作与所述标准特定动作的相似度高于设定阈值时，确定所述人物动作为有效动作，并将所述标准特定动作确定为所述识别结果。
进一步地，将所述文案内容添加至所述人物图像中，得到AR表情图像，包括：
将所述文案内容添加至所述人物图像中预设的固定区域，得到所述AR表情图像；或者，
将所述文案内容添加至所述人物图像中的可移动区域，得到所述AR表情图像，其中，所述可移动区域具有第一坐标，所述有效动作的所述肢体特征点具有第二坐标，所述第一坐标与所述第二坐标相匹配。
进一步地，所述第一坐标与所述第二坐标相匹配，包括：
所述第一坐标中的所有纵坐标，与所述第二坐标中的最大纵坐标的差值小于设定阈值；或者，
所述第一坐标中的所有纵坐标，与所述第二坐标中的最小纵坐标的差值小于设定阈值。
进一步地，预设有标准特定表情，对所述人物图像进行特征识别处理，得到识别结果，包括：
对所述人物图像实时进行特征识别处理，得到所述人物图像的五官特征点，并根据所述五官特征点确定人物表情；
确定由所述五官特征点确定出的所述人物表情与所述标准特定表情的相似度；
在所述人物表情与所述标准特定表情的相似度高于设定阈值时，确定所述人物表情为有效表情，并将所述标准特定表情确定为所述识别结果。
进一步地，将所述文案内容添加至所述人物图像中，得到AR表情图像，还包括：
当所述人物图像中具有其他文案内容时，将所述其他文案内容替换为与所述识别结果对应的所述文案内容，得到所述AR表情图像。
进一步地，响应于接收到的用户的修改指令，对添加在所述人物图像中的所述文案内容进行修改处理，得到与所述修改指令对应的指定文案内容。
第二方面，本申请提供一种AR表情处理装置，该装置包括：
获取单元，用于获取用户的触发指令，所述触发指令用于指示开启AR表情的拍摄功能；
第一处理单元，用于采集人物图像，并对所述人物图像实时进行特征识别处理，得到识别结果；
第二处理单元，用于根据所述识别结果，确定与所述识别结果对应的文案内容；
第三处理单元，用于将所述文案内容添加至所述人物图像中，得到AR表情图像。
进一步地，所述第一处理单元预设有标准特定动作，所述第一处理单元，包括：
第一处理子单元，用于对所述人物图像实时进行特征识别处理，得到所述人物图像的肢体特征点，并根据所述肢体特征点确定人物动作；
第二处理子单元，用于确定由所述肢体特征点确定出的所述人物动作与所述标准特定动作的相似度；
第三处理子单元，用于在所述人物动作与所述标准特定动作的相似度高于设定阈值时，确定所述人物动作为有效动作，并将所述标准特定动作确定为所述识别结果。
进一步地，所述第三处理单元，包括：
第一处理子单元，用于将所述文案内容添加至所述人物图像中预设的固定区域，得到所述AR表情图像；或者，
将所述文案内容添加至所述人物图像中的可移动区域，得到所述AR表情图像，其中，所述可移动区域具有第一坐标，所述有效动作的所述肢体特征点具有第二坐标，所述第一坐标与所述第二坐标相匹配。
进一步地，所述第一坐标与所述第二坐标相匹配，包括：
所述第一坐标中的所有纵坐标，与所述第二坐标中的最大纵坐标的差值小于设定阈值；或者，
所述第一坐标中的所有纵坐标，与所述第二坐标中的最小纵坐标的差值小于设定阈值。
进一步地，所述第一处理单元预设有标准特定表情，所述第一处理单元，还包括：
第四处理子单元，用于对所述人物图像实时进行特征识别处理，得到所述人物图像的五官特征点，并根据所述五官特征点确定人物表情；
第五处理子单元，用于确定由所述五官特征点确定出的所述人物表情与所述标准特定表情的相似度；
第六处理子单元，用于在所述人物表情与所述标准特定表情的相似度高于设定阈值时，确定所述人物表情为有效表情，并将所述标准特定表情确定为所述识别结果。
进一步地，所述第三处理单元，还包括：
第二处理子单元，用于当所述人物图像中具有其他文案内容时，将所述其他文案内容替换为与所述识别结果对应的所述文案内容，得到所述AR表情图像。
进一步地，所述第三处理单元，还包括：
第三处理子单元，用于响应于接收到的用户的修改指令，对添加在所述人物图像中的所述文案内容进行修改处理，得到与所述修改指令对应的指定文案内容。
第三方面，本申请提供一种AR表情处理设备，包括：处理器、存储器以及计算机程序；
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如上任一项的方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现如上任一项的方法。
本申请提供的AR表情处理方法、装置、设备和存储介质，通过获取用户的触发指令，触发指令用于指示开启AR表情的拍摄功能；采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果；根据识别结果，确定与识别结果对应的文案内容；将文案内容添加至人物图像中，得到AR表情图像。添加的文案内容与人物图像的识别结果相适应，内容匹配度高；在用户录制影像的过程中，实时呈现与特定动作或特定表情匹配的文案内容，可以大大提高AR表情图像制作的互动性和趣味性，有利于有效提升用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的一种AR表情处理方法的流程示意图；
图2为本申请实施例提供的又一种AR表情处理方法的流程示意图；
图3为本申请实施例提供的一种AR表情处理装置的结构示意图；
图4为本申请实施例提供的又一种AR表情处理装置的结构示意图；
图5为本申请实施例提供的一种AR表情处理设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请涉及的名词解释：
AR：Augmented Reality的简称，又名增强现实技术，是一种实时计算影像的位置及角度信息，并在影像中添加相应的图像、视频、3D模型的技术，实现了通过屏幕上进行现实世界与虚拟世界的互动。
动作识别：判断视频或图像中人的行为类别的技术。
本申请具体的应用场景为：AR表情图像是表情输入中全新的展现方式，它可以将虚拟和现实进行结合，并结合文案，达到更加准确、生动表达情绪的效果。现有技术中，制作AR表情图像的方法主要包括：用户录制完影像后，获取用户指定的文案内容，将用户指定的文案内容添加在人物图像中，得到AR表情图像；或者在用户录制影像过程中，在人物图像中添加预设的文案内容，得到AR表情图像。
然而现有技术中，用户选择需要添加的文案内容，得到AR表情图像，或者在人物图像中添加预设的文案内容，得到AR表情图像，都容易出现文案内容与人物图像内容不符，AR表情图像效果不佳的问题，而且上述方法还存在与用户互动性差、趣味性低的缺陷，用户体验较差。
本申请提供的AR表情处理方法、装置、设备和存储介质，旨在解决现有技术中的如上技术问题。
图1为本申请实施例提供的一种AR表情处理方法的流程示意图，如图1所示，包括：
步骤101、获取用户的触发指令，触发指令用于指示开启AR表情的拍摄功能。
在本实施例中，具体的，本实施例的执行主体为终端、或者控制器、或者其他可以执行本实施例的装置或设备。本实施例以执行主体为终端进行说明，可以在终端中设置应用软件，然后，终端控制应用软件执行本实施例提供的方法。
获取用户触发预设按键或者预设区域生成的触发指令，触发指令用于指示开启AR表情的拍摄功能。示例性地，获取用户点击表情缩略图生成的触发指令，调用AR表情拍摄界面并向用户显示，AR表情的拍摄功能开启。
步骤102、采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果。
在本实施例中，具体的，采集到的人物图像可以是静态图像，也可以是动态图像，即在进行AR表情拍摄时，用户可以保持静止不动，也可以做出任何动作或者任何表情。终端采集人物图像，利用图像识别技术，实时对采集到的人物图像进行特征识别处理，得到识别结果。
对人物图像实时进行的特征识别处理，包括实时采集人物图像、分析人物图像以得到识别结果，特征识别处理需要在预设的时间内完成，预设的时间通常由图像采集速率决定。特征识别处理方法包括RGB技术+光流技术、3D卷积技术、深度学习技术等，其中，RGB为通过对红(R)、绿(G)、蓝(B)三个基础颜色的通道进行变化，或者通过对三个基础颜色进行叠加处理以得到其他颜色，其他颜色几乎包括了人类视力所能感知的所有颜色；光流技术为通过描述图像亮度模式的表观运动，以确定目标运动情况的方法；3D卷积技术为在卷积核中加入时间维度，以对视频进行特征提取的技术。特征识别处理可采用现有技术实现，在此不做赘述。
步骤103、根据识别结果，确定与识别结果对应的文案内容。
在本实施例中，具体的，根据对人物图像进行的特征识别处理，实时判断用户是否做出预设的特定动作，或者实时判断用户是否做出预设的特定表情。在确定用户成功做出预设的特定动作或特定表情时，将特定动作或特定表情确定为识别结果。根据文案内容与特定动作的预设对应关系，确定与特定动作对应的文案内容；或者，根据文案内容与特定表情的预设对应关系，确定与特定表情对应的文案内容。
举例来说，在确定用户成功做出“比心”的特定动作后，将这一特定动作作为识别结果，确定与“比心”的特定动作对应的文案内容“给你比心”；在确定用户成功做出“翻白眼”的特定表情后，将这一特定表情作为识别结果，确定与“翻白眼”的特定表情对应的文案内容“给你个白眼”。
步骤104、将文案内容添加至人物图像中，得到AR表情图像。
在本实施例中，具体的，在确定出与识别结果对应的文案内容后，将文案内容实时添加至人物图像中，得到AR表情图像。在人物图像中不具有其他文案内容时，将与识别结果对应的文案内容，添加到人物图像中，得到AR表情图像；在人物图像中具有其他文案内容时，将人物图像中的其他文案内容，替换为与识别结果对应的文案内容，得到AR表情图像。
举例来说，人物图像中已经添加有“给你个白眼”的文案内容，在识别到用户成功做出“比心”的特定动作后，利用“给你比心”的文案内容替换“给你个白眼”的文案内容，得到AR表情图像。
本实施例通过获取用户的触发指令，触发指令用于指示开启AR表情的拍摄功能；采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果；根据识别结果，确定与识别结果对应的文案内容；将文案内容添加至人物图像中，得到AR表情图像。在采集人物图像的同时，对人物图像进行实时的特征识别处理，得到识别结果，并将与识别结果对应的文案内容实时添加在人物图像中，实时得到AR表情图像，添加的文案内容与人物图像的识别结果相适应，内容匹配度高；与在录制影像结束后，通过编辑影像手动添加需要的文案内容相比，利用本方法制作AR表情图像，操作简单，制作效率高，趣味性强；在用户录制影像的过程中，实时呈现与特定动作或特定表情匹配的文案内容，可以大大提高AR表情图像制作的互动性和趣味性，有利于有效提升用户体验。
图2为本申请实施例提供的又一种AR表情处理方法的流程示意图，如图2所示，该方法包括：
步骤201、获取用户的触发指令，触发指令用于指示开启增强现实AR表情的拍摄功能。
在本实施例中，具体的，本步骤可以参见图1的步骤101，不再赘述。
步骤202、采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果，识别结果包括标准特定动作和/或标准特定表情。
预设有标准特定动作，可选的，步骤202包括：对人物图像实时进行特征识别处理，得到人物图像的肢体特征点，并根据肢体特征点确定人物动作；确定由肢体特征点确定出的人物动作与标准特定动作的相似度；在人物动作与标准特定动作的相似度高于设定阈值时，确定人物动作为有效动作，并将标准特定动作确定为识别结果。
动作识别的难点之一在于类内与类间的差异，对于同一个动作，不同人做可能会有不同的表现。设置有预设的标准特定动作，在采集人物图像时，对人物图像实时进行特征识别处理，得到人物图像的肢体特征点。可以利用预设的肢体特征点识别规则，或者利用预先训练的学习模型进行人物图像的肢体特征点识别，本申请不做过多限定。具体的，肢体特征点包括头部、脖子、手臂、手掌、手指、躯干、腿、脚等肢体结构的特征点信息。根据识别出的肢体特征点，确定由肢体特征点构成的人物动作，并确定由肢体特征点构成的人物动作与标准特定动作的相似度。其中，具体的，可利用尺度不变特征变换匹配算法、像素求方差比对等算法，进行人物动作与标准特定动作的相似度判断。在人物动作与标准特定动作的相似度高于设定阈值时，确定人物动作为有效动作，并将标准特定动作确定为识别结果。
预设有标准特定表情，可选的，步骤202还包括：对人物图像实时进行特征识别处理，得到人物图像的五官特征点，并根据五官特征点确定人物表情；确定由五官特征点确定出的人物表情与标准特定表情的相似度；在人物表情与标准特定表情的相似度高于设定阈值时，确定人物表情为有效表情，并将标准特定表情确定为识别结果。
在采集人物图像时，对人物图像实时进行特征识别处理，得到人物图像的五官特征点。可以利用预设的五官特征点识别规则，或者利用预先训练的学习模型进行人物图像的五官特征点识别，本申请不做过多限定。具体的，五官特征点包括眉毛、眼眶、眼珠、鼻子、嘴巴的五官结构的特征点信息。根据识别出的五官特征点，确定由五官特征点构成的人物表情，并确定由五官特征点构成的人物表情与标准特定表情的相似度。在人物表情与标准特定表情的相似度高于设定阈值时，确定人物表情为有效表情，并将标准特定表情确定为识别结果。
步骤203、根据识别结果与文案内容的预设对应关系，确定与标准特定动作和/或标准特定表情对应的文案内容。
在本实施例中，具体的，确定出的识别结果为标准特定动作和/或标准特定表情，根据标准特定动作与文案内容的预设对应关系，确定与标准特定动作对应的文案内容；或者，根据标准特定表情与文案内容的预设对应关系，确定与标准特定表情对应的文案内容。
在对采集到的人物图像实时进行特征识别处理时，如果在相同时刻识别到用户做出多个有效动作和/或多个有效表情，即确定出的识别结果包括多个标准特定动作和/或多个标准特定表情时，根据预设的优先级关系，确定优先级最高的标准特定动作或标准特定表情为最终识别结果，并确定与最终识别结果对应的文案内容。
在对采集到的人物图像实时进行特征识别处理时，如果识别到用户的有效动作或者有效表情发生变化，即确定出的识别结果中的标准特定动作或标准特定表情发生变化时，确定变化后的标准特定动作或标准特定表情为最终识别结果，并确定与最终识别结果对应的文案内容。
步骤204、将文案内容添加至人物图像中，得到AR表情图像。
可选的，步骤204包括：将文案内容添加至人物图像中预设的固定区域，得到AR表情图像；或者，将文案内容添加至人物图像中的可移动区域，得到AR表情图像，其中，可移动区域具有第一坐标，有效动作的肢体特征点具有第二坐标，第一坐标与第二坐标相匹配。第一坐标与第二坐标相匹配，包括：第一坐标中的所有纵坐标，与第二坐标中的最大纵坐标的差值小于设定阈值；或者，第一坐标中的所有纵坐标，与第二坐标中的最小纵坐标的差值小于设定阈值。
将文案内容添加至人物图像时，可以将文案内容添加至人物图像中的固定区域，得到的AR表情图像中的文案内容静止不动；也可以将文案内容添加至人物图像中的可移动区域，得到的AR表情图像中的文案内容随着人物位置变化而移动。因为人物表情变化时，五官的位置不会发生大幅变化，因此，一般是在识别到用户做出有效动作时，将文案内容添加在可以随着有效动作移动而变换位置的可移动区域。
用于添加文案内容的可移动区域具有第一坐标，识别到的有效动作的肢体特征点具有第二坐标。当第一坐标中的所有纵坐标，与第二坐标中的最大纵坐标的差值小于设定阈值时，可以实现可移动区域始终位于有效动作的上方位置，且可移动区域与有效动作的最近距离小于设定阈值，可以实现添加的文案内容随着有效动作的移动而移动；当第一坐标中的所有纵坐标，与第二坐标中的最小纵坐标的差值小于设定阈值时，可以实现可移动区域始终位于有效动作的下方位置，且可移动区域与有效动作的最近距离小于设定阈值，可以实现添加的文案内容随着有效动作的移动而移动。
可选的，也可以将可移动区域设置于人物头部上方位置，可移动区域随着人物头部的移动而移动，即添加的文案内容随着人物头部的移动而移动。
本实施例通过获取用户的触发指令，触发指令用于指示开启增强现实AR表情的拍摄功能；采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果，识别结果包括标准特定动作和/或标准特定表情；根据识别结果与文案内容的预设对应关系，确定与标准特定动作和/或标准特定表情对应的文案内容；将文案内容添加至人物图像中，得到AR表情图像，添加的文案内容与人物图像的识别结果相适应，内容匹配度高；在采集人物图像的同时，对人物图像进行实时的特征识别处理，得到识别结果，并将与识别结果对应的文案内容实时添加在人物图像中，得到AR表情图像，实现了在用户录制影像的过程中，实时呈现与特定动作或特定表情匹配的文案内容，可以大大提高AR表情图像制作的互动性和趣味性，有利于有效提升用户体验；相比于在录制影像结束后，通过编辑影像手动添加需要的文案内容相比，利用本方法制作AR表情图像，操作简单，制作效率高，趣味性强；在对人物图像实时进行特征识别的过程中，识别到用户的有效动作或者有效表情发生变换时，在人物图像中添加的文案内容也适应性地做出变换，同时，添加的文案内容可以随着用户的有效动作的移动而变换位置，有利于提高AR表情图像制作的互动性和趣味性。
图3为本申请实施例提供的一种AR表情处理装置的结构示意图，如图3所示，该装置包括：
获取单元1，用于获取用户的触发指令，触发指令用于指示开启AR表情的拍摄功能；
第一处理单元2，用于采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果；
第二处理单元3，用于根据识别结果，确定与识别结果对应的文案内容；
第三处理单元4，用于将文案内容添加至人物图像中，得到AR表情图像。
本实施例通过获取用户的触发指令，触发指令用于指示开启AR表情的拍摄功能；采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果；根据识别结果，确定与识别结果对应的文案内容；将文案内容添加至人物图像中，得到AR表情图像。在采集人物图像的同时，对人物图像进行实时的特征识别处理，得到识别结果，并将与识别结果对应的文案内容实时添加在人物图像中，实时得到AR表情图像，添加的文案内容与人物图像的识别结果相适应，内容匹配度高；与在录制影像结束后，通过编辑影像手动添加需要的文案内容相比，利用本方法制作AR表情图像，操作简单，制作效率高，趣味性强；在用户录制影像的过程中，实时呈现与特定动作或特定表情匹配的文案内容，可以大大提高AR表情图像制作的互动性和趣味性，有利于有效提升用户体验。
图4为本申请实施例提供的又一种AR表情处理装置的结构示意图，在图3所示实施例的基础上，如图4所示，
第一处理单元2预设有标准特定动作，第一处理单元2，包括：
第一处理子单元21，用于对人物图像实时进行特征识别处理，得到人物图像的肢体特征点，并根据肢体特征点确定人物动作；
第二处理子单元22，用于根据肢体特征点，确定人物动作与标准特定动作的相似度；
第三处理子单元23，用于在人物动作与标准特定动作的相似度高于设定阈值时，确定人物动作为有效动作，并将标准特定动作确定为识别结果。
第三处理单元4，包括：
第一处理子单元41，用于将文案内容添加至人物图像中预设的固定区域，得到AR表情图像；或者，
将文案内容添加至人物图像中的可移动区域，得到AR表情图像，其中，可移动区域具有第一坐标，有效动作的肢体特征点具有第二坐标，第一坐标与第二坐标相匹配。
第一坐标与第二坐标相匹配，包括：
第一坐标中的所有纵坐标，与第二坐标中的最大纵坐标的差值小于设定阈值；或者，第一坐标中的所有纵坐标，与第二坐标中的最小纵坐标的差值小于设定阈值。
第一处理单元2预设有标准特定表情，第一处理单元2，还包括：
第四处理子单元24，用于对人物图像实时进行特征识别处理，得到人物图像的五官特征点，并根据五官特征点确定人物表情；
第五处理子单元25，用于根据五官特征点，确定人物表情与标准特定表情的相似度；
第六处理子单元26，用于在人物表情与标准特定表情的相似度高于设定阈值时，确定人物表情为有效表情，并将标准特定表情确定为识别结果。
第三处理单元4，还包括：
第二处理子单元42，用于当人物图像中具有其他文案内容时，将其他文案内容替换为与识别结果对应的文案内容，得到AR表情图像。
第三处理单元4，还包括：
第三处理子单元43，用于响应于接收到的用户的修改指令，对添加在人物图像中的文案内容进行修改处理，得到与修改指令对应的指定文案内容。
本实施例通过获取用户的触发指令，触发指令用于指示开启增强现实AR表情的拍摄功能；采集人物图像，并对人物图像实时进行特征识别处理，得到识别结果，识别结果包括标准特定动作和/或标准特定表情；根据识别结果与文案内容的预设对应关系，确定与标准特定动作和/或标准特定表情对应的文案内容；将文案内容添加至人物图像中，得到AR表情图像。在采集人物图像的同时，对人物图像进行实时的特征识别处理，得到识别结果，并将与识别结果对应的文案内容实时添加在人物图像中，得到AR表情图像，添加的文案内容与人物图像的识别结果相适应，内容匹配度高；实现了在用户录制影像的过程中，实时呈现与特定动作或特定表情匹配的文案内容，可以大大提高AR表情图像制作的互动性和趣味性，有利于有效提升用户体验；相比于在录制影像结束后，通过编辑影像手动添加需要的文案内容相比，利用本方法制作AR表情图像，操作简单，制作效率高，趣味性强；在对人物图像实时进行特征识别的过程中，识别到用户的有效动作或者有效表情发生变换时，在人物图像中添加的文案内容也适应性地做出变换，同时，添加的文案内容可以随着用户的有效动作的移动而变换位置，有利于提高AR表情图像制作的互动性和趣味性。
图5为本申请实施例提供的一种AR表情处理设备的结构示意图，如图5所示，本申请实施例提供了一种AR表情处理设备，可以用于执行图1-图3所示实施例中AR表情处理设备动作或步骤，具体包括：处理器501，存储器502和通信接口503。
存储器502，用于存储计算机程序。
处理器501，用于执行存储器502中存储的计算机程序，以实现图1-图4所示实施例中AR表情处理设备的动作，不再赘述。
可选的，AR表情处理设备还可以包括总线504。其中，处理器501、存储器502以及通信接口503可以通过总线504相互连接；总线504可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。上述总线504可以分为地址总线、数据总线和控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中，上述各实施例之间可以相互参考和借鉴，相同或相似的步骤以及名词均不再一一赘述。
或者，以上各个模块的部分或全部也可以通过集成电路的形式内嵌于该AR表情处理设备的某一个芯片上来实现。且它们可以单独实现，也可以集成在一起。即以上这些模块可以被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、AR表情处理设备或数据中心通过有线(例如，同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如，红外、无线、微波等)方式向另一个网站站点、计算机、AR表情处理设备或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的AR表情处理设备、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (16)
1.一种AR表情处理方法，其特征在于，包括：
获取用户的触发指令，所述触发指令用于指示开启增强现实AR表情的拍摄功能；
采集人物图像，并对所述人物图像实时进行特征识别处理，得到识别结果；
根据所述识别结果，确定与所述识别结果对应的文案内容；
将所述文案内容添加至所述人物图像中，得到AR表情图像。
2.根据权利要求1所述方法，其特征在于，预设有标准特定动作，对所述人物图像实时进行特征识别处理，得到识别结果，包括：
对所述人物图像实时进行特征识别处理，得到所述人物图像的肢体特征点，并根据所述肢体特征点确定人物动作；
确定由所述肢体特征点确定出的所述人物动作与所述标准特定动作的相似度；
在所述人物动作与所述标准特定动作的相似度高于设定阈值时，确定所述人物动作为有效动作，并将所述标准特定动作确定为所述识别结果。
3.根据权利要求2所述方法，其特征在于，将所述文案内容添加至所述人物图像中，得到AR表情图像，包括：
将所述文案内容添加至所述人物图像中预设的固定区域，得到所述AR表情图像；或者，
将所述文案内容添加至所述人物图像中的可移动区域，得到所述AR表情图像，其中，所述可移动区域具有第一坐标，所述有效动作的所述肢体特征点具有第二坐标，所述第一坐标与所述第二坐标相匹配。
4.根据权利要求3所述方法，其特征在于，所述第一坐标与所述第二坐标相匹配，包括：
所述第一坐标中的所有纵坐标，与所述第二坐标中的最大纵坐标的差值小于设定阈值；或者，
所述第一坐标中的所有纵坐标，与所述第二坐标中的最小纵坐标的差值小于设定阈值。
5.根据权利要求1所述方法，其特征在于，预设有标准特定表情，对所述人物图像进行特征识别处理，得到识别结果，包括：
对所述人物图像实时进行特征识别处理，得到所述人物图像的五官特征点，并根据所述五官特征点确定人物表情；
确定由所述五官特征点确定出的所述人物表情与所述标准特定表情的相似度；
在所述人物表情与所述标准特定表情的相似度高于设定阈值时，确定所述人物表情为有效表情，并将所述标准特定表情确定为所述识别结果。
6.根据权利要求1-5任一项所述方法，其特征在于，将所述文案内容添加至所述人物图像中，得到AR表情图像，还包括：
当所述人物图像中具有其他文案内容时，将所述其他文案内容替换为与所述识别结果对应的所述文案内容，得到所述AR表情图像。
7.根据权利要求1-5任一项所述方法，其特征在于，所述方法还包括：响应于接收到的用户的修改指令，对添加在所述人物图像中的所述文案内容进行修改处理，得到与所述修改指令对应的指定文案内容。
8.一种AR表情处理装置，其特征在于，包括：
获取单元，用于获取用户的触发指令，所述触发指令用于指示开启AR表情的拍摄功能；
第一处理单元，用于采集人物图像，并对所述人物图像实时进行特征识别处理，得到识别结果；
第二处理单元，用于根据所述识别结果，确定与所述识别结果对应的文案内容；
第三处理单元，用于将所述文案内容添加至所述人物图像中，得到AR表情图像。
9.根据权利要求8所述方法装置，其特征在于，所述第一处理单元预设有标准特定动作，所述第一处理单元，包括：
第一处理子单元，用于对所述人物图像实时进行特征识别处理，得到所述人物图像的肢体特征点，并根据所述肢体特征点确定人物动作；
第二处理子单元，用于确定由所述肢体特征点确定出的所述人物动作与所述标准特定动作的相似度；
第三处理子单元，用于在所述人物动作与所述标准特定动作的相似度高于设定阈值时，确定所述人物动作为有效动作，并将所述标准特定动作确定为所述识别结果。
10.根据权利要求9所述装置，其特征在于，所述第三处理单元，包括：
第一处理子单元，用于将所述文案内容添加至所述人物图像中预设的固定区域，得到所述AR表情图像；或者，
将所述文案内容添加至所述人物图像中的可移动区域，得到所述AR表情图像，其中，所述可移动区域具有第一坐标，所述有效动作的所述肢体特征点具有第二坐标，所述第一坐标与所述第二坐标相匹配。
11.根据权利要求10所述装置，其特征在于，所述第一坐标与所述第二坐标相匹配，包括：
所述第一坐标中的所有纵坐标，与所述第二坐标中的最大纵坐标的差值小于设定阈值；或者，
所述第一坐标中的所有纵坐标，与所述第二坐标中的最小纵坐标的差值小于设定阈值。
12.根据权利要求8所述装置，其特征在于，所述第一处理单元预设有标准特定表情，所述第一处理单元，还包括：
第四处理子单元，用于对所述人物图像实时进行特征识别处理，得到所述人物图像的五官特征点，并根据所述五官特征点确定人物表情；
第五处理子单元，用于确定由所述五官特征点确定出的所述人物表情与所述标准特定表情的相似度；
第六处理子单元，用于在所述人物表情与所述标准特定表情的相似度高于设定阈值时，确定所述人物表情为有效表情，并将所述标准特定表情确定为所述识别结果。
13.根据权利要求8-12任一项所述装置，其特征在于，所述第三处理单元，还包括：
第二处理子单元，用于当所述人物图像中具有其他文案内容时，将所述其他文案内容替换为与所述识别结果对应的所述文案内容，得到所述AR表情图像。
14.根据权利要求8-12任一项所述装置，其特征在于，所述第三处理单元，还包括：
第三处理子单元，用于响应于接收到的用户的修改指令，对添加在所述人物图像中的所述文案内容进行修改处理，得到与所述修改指令对应的指定文案内容。
15.一种AR表情处理设备，其特征在于，包括：处理器、存储器以及计算机程序；
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如权利要求1-7任一项的方法。
16.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，计算机程序被处理器执行以实现如权利要求1-7任一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910597475.6A CN110321009B (zh) | 2019-07-04 | 2019-07-04 | Ar表情处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910597475.6A CN110321009B (zh) | 2019-07-04 | 2019-07-04 | Ar表情处理方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110321009A true CN110321009A (zh) | 2019-10-11 |
| CN110321009B CN110321009B (zh) | 2023-04-07 |
Family
ID=68122596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910597475.6A Active CN110321009B (zh) | 2019-07-04 | 2019-07-04 | Ar表情处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110321009B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111142666A (zh) * | 2019-12-27 | 2020-05-12 | 惠州Tcl移动通信有限公司 | 终端控制方法、装置、存储介质及移动终端 |
| CN114780190A (zh) * | 2022-04-13 | 2022-07-22 | 脸萌有限公司 | 消息处理方法、装置、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014140906A2 (en) * | 2013-03-15 | 2014-09-18 | Orcam Technologies Ltd. | Systems and methods for providing feedback based on the state of an object |
| CN104616329A (zh) * | 2015-02-10 | 2015-05-13 | 广州视源电子科技股份有限公司 | 一种图片的生成方法和装置 |
| CN106157363A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种基于增强现实的拍照方法、装置和移动终端 |
| CN106227481A (zh) * | 2016-07-22 | 2016-12-14 | 北京奇虎科技有限公司 | 阅读文章时显示ar影像的方法和终端 |
| CN107369196A (zh) * | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 表情包制作方法、装置、存储介质及电子设备 |
| US20180032031A1 (en) * | 2016-08-01 | 2018-02-01 | Integem Inc. | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time |
| US20180091486A1 (en) * | 2016-09-29 | 2018-03-29 | International Business Machines Corporation | Secured file transfer management on augmented reality (ar) and virtual reality (vr) devices |
| CN108038892A (zh) * | 2017-11-28 | 2018-05-15 | 北京川上科技有限公司 | 表情包制作方法、装置、电子设备和计算机可读存储介质 |
| CN108280166A (zh) * | 2018-01-17 | 2018-07-13 | 广东欧珀移动通信有限公司 | 表情的制作方法、装置、终端及计算机可读存储介质 |
| CN108648251A (zh) * | 2018-05-15 | 2018-10-12 | 深圳奥比中光科技有限公司 | 3d表情制作方法及系统 |
| CN108845741A (zh) * | 2018-06-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种ar表情的生成方法、客户端、终端和存储介质 |
| CN109120866A (zh) * | 2018-09-27 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 动态表情生成方法、装置、计算机可读存储介质和计算机设备 |
-
2019
- 2019-07-04 CN CN201910597475.6A patent/CN110321009B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014140906A2 (en) * | 2013-03-15 | 2014-09-18 | Orcam Technologies Ltd. | Systems and methods for providing feedback based on the state of an object |
| CN104616329A (zh) * | 2015-02-10 | 2015-05-13 | 广州视源电子科技股份有限公司 | 一种图片的生成方法和装置 |
| CN106157363A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种基于增强现实的拍照方法、装置和移动终端 |
| CN106227481A (zh) * | 2016-07-22 | 2016-12-14 | 北京奇虎科技有限公司 | 阅读文章时显示ar影像的方法和终端 |
| US20180032031A1 (en) * | 2016-08-01 | 2018-02-01 | Integem Inc. | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time |
| US20180091486A1 (en) * | 2016-09-29 | 2018-03-29 | International Business Machines Corporation | Secured file transfer management on augmented reality (ar) and virtual reality (vr) devices |
| CN107369196A (zh) * | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 表情包制作方法、装置、存储介质及电子设备 |
| CN108038892A (zh) * | 2017-11-28 | 2018-05-15 | 北京川上科技有限公司 | 表情包制作方法、装置、电子设备和计算机可读存储介质 |
| CN108280166A (zh) * | 2018-01-17 | 2018-07-13 | 广东欧珀移动通信有限公司 | 表情的制作方法、装置、终端及计算机可读存储介质 |
| CN108648251A (zh) * | 2018-05-15 | 2018-10-12 | 深圳奥比中光科技有限公司 | 3d表情制作方法及系统 |
| CN108845741A (zh) * | 2018-06-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种ar表情的生成方法、客户端、终端和存储介质 |
| CN109120866A (zh) * | 2018-09-27 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 动态表情生成方法、装置、计算机可读存储介质和计算机设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111142666A (zh) * | 2019-12-27 | 2020-05-12 | 惠州Tcl移动通信有限公司 | 终端控制方法、装置、存储介质及移动终端 |
| CN114780190A (zh) * | 2022-04-13 | 2022-07-22 | 脸萌有限公司 | 消息处理方法、装置、电子设备及存储介质 |
| CN114780190B (zh) * | 2022-04-13 | 2023-12-22 | 脸萌有限公司 | 消息处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110321009B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI751161B (zh) | 終端設備、智慧型手機、基於臉部識別的認證方法和系統 | |
| US10922865B2 (en) | Information processing apparatus, information processing method, and program | |
| US20180088663A1 (en) | Method and system for gesture-based interactions | |
| Hasan et al. | Hand gesture modeling and recognition using geometric features: a review | |
| CN102799868B (zh) | 人脸面部关键表情识别方法 | |
| JP7168694B2 (ja) | ヒューマンフェースによる３ｄ特殊効果生成方法、装置および電子装置 | |
| CN109087379A (zh) | 人脸表情的迁移方法和人脸表情的迁移装置 | |
| CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| US11282257B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| CN104914989B (zh) | 姿势辨识装置以及姿势辨识装置的控制方法 | |
| WO2022127494A1 (zh) | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 | |
| US11567572B1 (en) | Augmented reality object manipulation | |
| CN110321009A (zh) | Ar表情处理方法、装置、设备和存储介质 | |
| CN106791032A (zh) | 静态图像转换为动态影像的方法和装置 | |
| CN108762508A (zh) | 一种基于vr体验舱的人体与虚拟人合成系统及方法 | |
| CN110210449A (zh) | 一种用于虚拟现实交友的人脸识别系统及方法 | |
| KR20210075886A (ko) | 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법 | |
| Borges et al. | A virtual makeup augmented reality system | |
| CN112287909B (zh) | 一种随机生成检测点和交互要素的双随机活体检测方法 | |
| CN114187166A (zh) | 图像处理方法、智能终端及存储介质 | |
| CN108815845A (zh) | 人机交互的信息处理方法及装置、计算机设备及可读介质 | |
| US11361467B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| US20080122867A1 (en) | Method for displaying expressional image | |
| CN111597926A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN109409322A (zh) | 活体检测方法、装置及人脸识别方法和人脸检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |