CN112270733A - Ar表情包的生成方法、装置、电子设备及存储介质 - Google Patents
Ar表情包的生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112270733A CN112270733A CN202011053568.1A CN202011053568A CN112270733A CN 112270733 A CN112270733 A CN 112270733A CN 202011053568 A CN202011053568 A CN 202011053568A CN 112270733 A CN112270733 A CN 112270733A
- Authority
- CN
- China
- Prior art keywords
- expression
- user
- special effect
- face
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 267
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000000694 effects Effects 0.000 claims abstract description 112
- 230000003190 augmentative effect Effects 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 12
- 230000008451 emotion Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 2
- 101150054987 ChAT gene Proteins 0.000 description 54
- 101100203187 Mus musculus Sh2d3c gene Proteins 0.000 description 54
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 11
- 230000008921 facial expression Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/18—Commands or executable codes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种增强现实AR表情的生成方法、装置、电子设备及存储介质，所述方法包括：在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；选取特效表情，所述特效表情包括AR特效和普通表情的一种；将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；所述特效表情随着人脸图像的移动而移动；将所述AR表情展示给所述第一用户；在检测到第一用户的录制指令时，开始录制包括AR表情的AR场景图像，录制完成后生成AR表情包；将生成的所述AR表情包发送给所述微聊场景下的第二用户。本发明简化了制作AR表情的步骤，丰富AR表情，满足用户多样化需要。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及一种增强现实AR表情包的生成方法、装置、电子设备及存储介质。
背景技术
随着移动互联网的发展，智能手机的普及，越来越多的用户使用聊天工具(比如微信，QQ等)进行收发信息，这些聊天工具已经成为了用户日常沟通不可或缺的方式。在聊天中，除了发送一些普通的文本消息外，为了增加聊天的趣味性，还会发送一些表情来丰富用户之间的聊天场景。目前最常用的表情就是一些emoji表情和自定义的图片表情，有时还会自己录制一些视频或者GIF图当作表情去发送；或者是将这些录制的表情通过工具进行后期制作，以丰富微聊中的表情。但是，通过工具后期制作微聊场景下的表情过程繁琐，且无法自定义更换，无法满足用户对微聊表情多样化的需求。
因此，如何简化且自定义微聊场景下的表情处理，是目前有待解决的技术问题。
发明内容
本发明实施例所要解决的技术问题是提供一种增强现实AR表情包的生成方法，以解决现有技术中由于微聊场景下表情处理过程复杂，表情比较单一，且无法自定义更换，导致用户对微聊表情使用不灵活、表情比较单一的技术问题。
相应的，本发明实施例还提供了一种增强现实AR表情的生成装置、电子设备及存储介质装置，用以保证上述方法的实现及应用。
为了解决上述问题，本发明是通过如下技术方案实现的：
第一方面提供一种增强现实AR表情包的生成方法，包括：
在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；
选取特效表情，所述特效表情包括AR特效和普通表情的一种；
将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动；
将所述AR表情展示给所述第一用户；
在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；
将生成的所述AR表情包发送给所述微聊场景下的第二用户。
可选的，所述获取所述第一用户的人脸图像的人脸节点位置信息，包括：
开启人脸识别的AR场景，识别到包括3D位置在内的所述第一用户的人脸图像；
在所述人脸图像上标记人脸节点位置信息。
可选的，所述将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情，包括
构建所述特效表情的材质几何体；
根据所述材质几何体和所述人脸节点位置坐标信息确定特效表情的内容节点；
将所述特效表情的内容节点附加到所述人脸图像的人脸节点位置信息上，得到AR表情。
可选的，在将所述AR表情包发送给所述微聊场景下的第二用户前，所述方法还包括：
向所述第一用户展示是否存储所述AR表情包的提示信息；
在检测到所述第一用户发送的存储指令时，存储所述AR表情包。
可选的，所述在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包，包括：
在检测到所述第一用户的录制指令时，录制包括所述AR表情的每一帧的AR场景图像；
在录制完成后，将录制的包括所述AR表情的每一帧AR图像依次拼接成一个完整的AR特效视频或动态GIF图；
所述AR特效视频或动态GIF图作为人脸的AR表情包。
第二方面提供一种增强现实AR表情包的生成装置，包括：
获取模块，用于在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；
选取模块，用于选取特效表情，所述特效表情包括AR特效和普通表情的一种；
附加模块，用于将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动；
展示模块，用于将所述AR表情展示给所述第一用户；
录制模块，用于在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；
发送模块，用于将生成的所述AR表情包发送给所述微聊场景下的第二用户。
可选的，所述获取模块包括：
识别模块，用于在在检测到微聊场景下的第一用户进入AR场景录制界面时，开启人脸识别的AR场景，识别到包括3D位置在内的所述第一用户的人脸图像；
标记模块，用于在所述人脸图像上标记人脸节点位置信息。
可选的，所述附加模块包括：
构建模块，用于构建所述特效表情的材质几何体；
确定模块，用于根据所述材质几何体和所述人脸节点位置坐标信息确定特效表情的内容节点；
附加子模块，用于将所述特效表情的内容节点附加到所述人脸图像的人脸节点位置信息上，得到AR表情。
可选的，所述装置还包括：
提示模块，用于在所述发送模块将所述AR表情包发送给所述微聊场景下的第二用户前，向所述第一用户展示是否存储所述AR表情包的提示信息；
存储模块，用于在检测到所述第一用户发送的存储指令时，存储所述AR表情包。
可选的，所述录制模块包括：
录制子模块，用于在检测到所述第一用户的录制指令时，录制包括所述AR表情的每一帧的AR场景图像；
拼接模块，用于在所述录子制模块录制完成后，将录制的包括所述AR表情的每一帧AR图像依次拼接成一个完整的AR特效视频或动态GIF图；所述AR特效视频或动态GIF图作为人脸的AR表情包。
第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的增强现实AR表情包的生成方法的步骤。
第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的增强现实AR表情包的生成方法中的步骤。
第五方面提供根据一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行上述任一种增强现实AR表情包的生成方法。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例中，在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；选取特效表情，所述特效表情包括AR特效和普通表情的一种；将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动；将所述AR表情展示给所述第一用户；在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；将生成的所述AR表情包发送给所述微聊场景下的第二用户。也就是说，本发明实施例中，在微聊场景下通过AR识别人脸图像，并在该人脸图像上附加特效表情，且在人脸移动时进行跟踪，并对整个AR场景进行录制形成自定义AR人脸表情，在录制完成后直接发送微聊场景的对方，极大的方便了用户发送丰富多彩的聊天表情。即本发明实施例解决了现有技术中AR表情数量比较少，面部表情和动画特效绑定在一起，无法自定义更换，使用不灵活的问题，使得用户可以自由选择AR动效，简化了制作AR表情的步骤，丰富AR表情，满足用户多样化需要。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
图1是本发明实施例提供的一种增强现实AR表情包的生成方法的流程图；
图2是本发明实施例提供的一种增强现实AR表情包的生成方法的应用实例图；
图3为本发明实施例提供的一种录制AR表情的应用示例图；
图4是本发明实施例提供的一种将录制好的AR表情成功发送给对方用户的应用实例图；
图5是本发明实施例提供的一种增强现实AR表情包的生成装置的结构示意图；
图6是本发明实施例提供的一种获取模块的结构示意图；
图7是本发明实施例提供的一种附加模块的结构示意图；
图8是本发明实施例提供的一种增强现实AR表情包的生成装置的另一结构示意图；
图9是本发明实施例提供的一种录制模块的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
请参阅图1，为本发明实施例提供的一种增强现实AR表情包的生成方法的流程图，具体可以包括如下步骤：
步骤101：在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；
步骤102：选取特效表情，所述特效表情包括AR特效和普通表情的一种；
步骤103：将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像一起移动；
步骤104：将所述AR表情展示给所述第一用户；
步骤105：在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；
步骤106：将生成的所述AR表情包发送给所述微聊场景下的第二用户。
本发明实施例提供的增强现实AR表情的生成方法，可以应用于移动终端、服务器、客户端、后端或系统等，在此不作限制，其实施设备可以是智能手机，笔记本电脑、平板电脑等电子设备，在此也不作限制。
下面结合图1，对本发明实施例提供的一种增强现实AR表情包的生成方法的具体实施步骤进行详细说明。
首先，执行步骤101，在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息。
其中，该步骤中，增强现实(AR，Augmented Reality)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
其中，AR场景录制界面，可以是移动终端上输入法面板中的用户生成AR表情的工具栏中的录制界面，也可以是专门制作AR表情的应用程序中的录制界面，用于录制不同种类的AR表情，比如，用户通过移动终端上的录制摄像头录制AR表情等。AR表情可以是2D，3D表情，以及通过人脸控制虚拟形象制作的表情，也可以在聊天中使用，比如58微聊等，表达用户的情绪或特点的文字，也可以自制的流向元素图像，同时配上一系列相匹配的吻戏或动效沟成表情图像，用于表达特点的情感。其中，本发明中的微聊就是聊天，可以是利用聊天工具进行聊天的场景，也可以是其他聊天的场景，本实施例不做限制。
其中，该步骤中，在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息，具体包括：
在微聊场景的一个用户(即第一用户)点击AR表情按钮，进入AR表情录制界面，即客户端或后端服务器检测到微聊场景下的第一用户进入AR场景录制界面，之后，开启人脸识别的AR场景，识别到包括3D位置在内的所述第一用户的人脸图像；并在所述人脸图像上标记人脸节点位置信息。
也就是说，在检测到微聊场景下的第一用户进入AR场景录制界面开启并配置AR场景时，在微聊场景下通过配置好的入口进入AR场景录制页面，在AR场景录制页面初始化方法中开启AR场景并将展示区域设置为整个页面，开启移动终端的前置摄像头取景，并配置AR会话并设置灯光等效果。
之后，开启人脸的AR跟踪，AR跟踪配置使用人脸识别功能，在页面出现时使用该配置启动AR会话，当然，还需要设置一些屏幕常亮等功能方便AR场景正常运行，并设置AR会话代理方便在识别到人脸时拿到回调。
也即是说，在上述步骤开启人脸识别的AR场景后，当摄像机取景中识别到有人脸时AR会话会收到回调，在回调方法中会得到包括3D位置在内的人脸信息，此时，客户端或后端自动添加一个人脸节点，以方便后续在此人脸节点上添加人脸的特效表情。
其次，执行步骤102，选取特效表情，所述特效表情包括AR特效和普通表情的一种。
该步骤中，客户端或后台服务器可以从AR基础表情中选择AR特效，其中，可以是AR特效，也可以是自定义的普通表情，比如，诸如面具之类的普通表情等，但是在实际应用中，并不限于此。
其中，AR基础表情可以包括静态图像，动态图像，动态图像又可以包括不同格式的"图像互换格式(GIF，Graphics Interchange Format)和视频等。
AR基础表情可以作为模板或素材，供用户选择，也可以将用户需要制作AR表情的图像制作成AR表情中的图像，动画或动效等图像表情，也可以存储用户新制作的AR表情等。具体应用中，可以是一个基础表情库，该基础表情库可以分类存储不同基础表情及其相关的配置文件等。
再次，执行步骤103，选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动。
该步骤中，先构建所述特效表情的材质几何体；根据所述材质几何体和所述人脸节点位置坐标信息确定特效表情的内容节点；以及将所述特效表情的内容节点附加到所述人脸图像的人脸节点位置信息上，得到AR表情。
该实施例中，假如选择的特效表情为面具(即普通表情的一种)，其添加方式为：
先构建普通表情(即面具)的材质几何体，再把材质几何体结合人脸节点位置坐标信息形成特效表情的内容节点，最后，把该内容节点附加到所述人脸图像的人脸节点位置信息上，完成内容节点的附加，得到AR表情。其具体的构建材质几何体的过程，对于本领域技术人员来说，已是熟知技术，在此不再赘述。
其中，本实施例中的材质几何体，实体(Entity)为场景中的几何体，一般通过网格(Mesh)创建。材质(Material)为场景中几何体的表面属性，支持从多种格式的图片文件加载纹理(Texture)，并可拥有足够多的纹理层，每层纹理支持各种渲染特效，支持动画纹理。所以，本文统称为材质几何体。
需要说明的是，特效表情会所在人脸图像的移动而移动，也就是说，在人脸移动时，摄像头中的人脸图像也会移动，而附加在人脸图像上的特效表情也会随着人脸图像移动而移动。即在移动过程中，AR会话会收到人脸图像节点更新的回调，在这个回调中，需要将普通表情的位置信息根据人脸图像节点的位置信息进行变动，这样，特效表情就会跟着人脸一起移动。
再后，执行步骤104，将所述AR表情展示给所述第一用户；
该步骤中，客户端或者后台服务器将附加特效表情后形成的AR表情展示给第一用户，以便于用户在看到该AR表情后，决定是否开启录制指令。
再后，执行步骤105，在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；
该步骤中，在检测到所述第一用户的录制指令时，录制包括所述AR表情的每一帧的AR场景图像；以及在录制完成后，将录制的包括所述AR表情的每一帧AR图像依次拼接成一个完整的AR特效视频或动态GIF图；所述AR特效视频或动态GIF图作为人脸的AR表情包。
也就是说，客户端或后台服务器在识别到人脸图像并设置完自己想要的附加的特效表情的内容节点后，可以开启自定义AR表情的录制，其录制时，通过记时器获取到每一帧的AR场景图像，并将这些AR场景图像拼接成一个完整的GIF图；当然，如果需要同时录制声音时，还可以将获取到的设备录音合和图像画面合成到一起生成完整的AR特效视频或动态GIF图。
最后，执行步骤105，将生成的所述AR表情包发送给所述微聊场景下的第二用户。
该步骤中，在录制完成后，就可以将生成对应的GIF图或者视频以文件的形式发送给聊天的另一方(即第二用户)，发送成功后，双方用户都通过对应的UI控件进行查看该AR表情包。
本发明实施例中，在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；选取特效表情，所述特效表情包括AR特效和普通表情的一种；将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动；将所述AR表情展示给所述第一用户；在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；将生成的所述AR表情包发送给所述微聊场景下的第二用户。也就是说，本发明实施例中，在微聊场景下通过AR识别人脸图像，并在该人脸图像上附加特效表情，且在人脸移动时进行跟踪，并对整个AR场景进行录制形成自定义AR人脸表情，在录制完成后直接发送微聊场景的对方，极大的方便了用户发送丰富多彩的聊天表情。即本发明实施例解决了现有技术中AR表情数量比较少，面部表情和动画特效绑定在一起，无法自定义更换，使用不灵活的问题，使得用户可以自由选择AR动效，简化了制作AR表的步骤，丰富AR表情，满足用户多样化需要。
可选的，在另一实施例中，该实施例在上述实施例的基础上，在将所述AR表情包发送给所述微聊场景下的第二用户前，所述方法还可以包括：
向所述第一用户展示是否存储所述AR表情包的提示信息；
在检测到所述第一用户发送的存储指令时，存储所述AR表情包。
本发明实施例中，在录制完成后生成AR表情包时，且将该AR表情包发送给所述微聊场景下的第二用户前，客户端或者后台服务器向所述第一用户展示是否存储所述AR表情包的提示信息，此时，如果第一用户选择保存该AR表情，即客户端或后台服务器在检测到所述第一用户发送的存储指令时，存储所述AR表情包；当然，第一用户也可以选择不保存该AR表情，即客户端或后台服务器在录制完成后生成AR表情包时，将生成的所述AR表情包发送给所述微聊场景下的第二用户；节省了本地存储空间。
还请参阅图2，为本发明实施例提供的一种增强现实AR表情包的生成方法的应用实例图，该实施例以用户A和用户B的聊天为例，本实施例以移动终端上的客户端为执行主体为例，但在实际应用中，其执行主体也可以是后台服务器等，所述方法包括：
步骤201：检测到用户A和用户B进行聊天；
步骤202：判断所述聊天模式是否支持AR表情，如果支持，执行步骤203；否则，执行步骤212：结束本次操作；
步骤203：检测到用户A点击AR表情按钮，进入AR表情录制界面；
步骤204：在AR表情录制界面，选择特效表情(本实施例以选择面具表情为例)；即选中此次需要录制的特效；
步骤205：开启并配置AR场景，识别人脸图像；
步骤206：判断是否识别到人脸图像；如果识别到人脸图像，执行步骤207；否则，执行步骤212，即结束本次操作；
步骤207：在识别到的人脸图像上附加已选择的面具表情，得到AR表情，其中，该附加在人脸图像上的面具表情以人脸图像的移动而移动；
步骤208：判断是否录制该AR表情；如果是，执行步骤209；否则，执行步骤212，即结束本次操作；
步骤209：在检测到用户A点击开始录制按钮的指令时，开始录制包括AR表情的AR场景图像，并在录制完成时，生成AR表情包；
其中，正在录制的AR表情如图3所示，图3为本发明实施例提供的一种录制AR表情的应用示例图。
步骤210：判断是否发送AR表情包，如果是，执行步骤211，否则，执行步骤212，即结束本次操作；
步骤211：将录制好的AR表情成功发送给微聊场景下的用户B，用户A和用户B都可以看到展示的AR表情。
该步骤中，用户A将录制好的AR表情成功发送给微聊场景下的用户B的示意图如图4所示，图4是本发明实施例提供的一种将录制好的AR表情成功发送给对方用户的应用实例图。
当然，该步骤中，用户A和用户B也可以通过对应的UI控件查看AR表情。
进一步，该实施例中，所述方法还可以包括：
在录制完成后生成AR表情包时，向所述用户A展示是否存储所述AR表情包的提示信息；
在检测到所述用户A发送的存储指令时，存储所述AR表情包；之后，将AR表情发送给用户B进行展示。
本发明实施例中，在微聊场景下通过AR识别人脸图像，并在该人脸图像上附加特效表情，且在人脸移动时进行跟踪，并对整个AR场景进行录制形成自定义AR人脸表情，在录制完成后直接发送微聊场景的对方，极大的方便了用户发送丰富多彩的聊天表情。即本发明实施例解决了现有技术中AR表情数量比较少，面部表情和动画特效绑定在一起，无法自定义更换，使用不灵活的问题，使得用户可以自由选择AR动效，简化了制作AR表的步骤，丰富AR表情，满足用户多样化需要。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
请参阅图5，为本发明实施例提供的一种增强现实AR表情包的生成装置的结构示意图，具体可以包括如下模块：获取模块501，选取模块502，附加模块503，展示模块504，录制模块504和发送模块505，其中，
该获取模块501，用于在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；
该选取模块502，用于选取特效表情，所述特效表情包括AR特效和普通表情的一种；
该附加模块503，用于将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动；
该展示模块504，用于将所述AR表情展示给所述第一用户；
该录制模块505，用于在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；
该发送模块506，用于将生成的所述AR表情包发送给所述微聊场景下的第二用户。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述获取模块501包括：识别模块601和标记模块602，其结构示意图如图6所示，其中，
该识别模块601，用于在在检测到微聊场景下的第一用户进入AR场景录制界面时，开启人脸识别的AR场景，识别到包括3D位置在内的所述第一用户的人脸图像；
该标记模块602，用于在所述人脸图像上标记人脸节点位置信息。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述附加模块503包括：构建模块701、确定模块702和附加子模块703，其结构示意图如图7所示，其中，
该构建模块701，用于构建所述特效表情的材质几何体；
该确定模块702，用于根据所述材质几何体和所述人脸节点位置坐标信息确定特效表情的内容节点；
附加子模块703，用于将所述特效表情的内容节点附加到所述人脸图像的人脸节点位置信息上，得到AR表情。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：提示模块801和存储模块802，其结构示意图如图8所示，其中，
该提示模块801，用于在所述发送模块将所述AR表情包发送给所述微聊场景下的第二用户前，向所述第一用户展示是否存储所述AR表情包的提示信息；
该存储模块802，用于在检测到所述第一用户发送的存储指令时，存储所述AR表情包。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述录制模块504包括：录制子模块901和拼接模块902，其结构示意图如图9所示，其中，
该录制子模块901，用于在检测到所述第一用户的录制指令时，录制包括所述AR表情的每一帧的AR场景图像；
该拼接模块902，用于在所述录制子901模块录制完成后，将录制的包括所述AR表情的每一帧AR图像依次拼接成一个完整的AR特效视频或动态GIF图；所述AR特效视频或动态GIF图作为人脸的AR表情包。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可选的，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的增强现实AR表情包的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
可选的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的增强现实AR表情包的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行上述所示的增强现实AR表情包的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种增强现实AR表情包的生成方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种增强现实AR表情包的生成方法，其特征在于，包括：
在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；
选取特效表情，所述特效表情包括AR特效和普通表情的一种；
将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动；
将所述AR表情展示给所述第一用户；
在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；
将生成的所述AR表情包发送给所述微聊场景下的第二用户。
2.根据权利要求1所述的方法，其特征在于，所述获取所述第一用户的人脸图像的人脸节点位置信息，包括：
开启人脸识别的AR场景，识别到包括3D位置在内的所述第一用户的人脸图像；
在所述人脸图像上标记人脸节点位置信息。
3.根据权利要求2所述的方法，其特征在于，所述将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情，包括
构建所述特效表情的材质几何体；
根据所述材质几何体和所述人脸节点位置坐标信息确定特效表情的内容节点；
将所述特效表情的内容节点附加到所述人脸图像的人脸节点位置信息上，得到AR表情。
4.根据权利要求1或2所述的方法，其特征在于，在将所述AR表情包发送给所述微聊场景下的第二用户前，所述方法还包括：
向所述第一用户展示是否存储所述AR表情包的提示信息；
在检测到所述第一用户发送的存储指令时，存储所述AR表情包。
5.根据权利要求1所述的方法，其特征在于，所述在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包，包括：
在检测到所述第一用户的录制指令时，录制包括所述AR表情的每一帧的AR场景图像；
在录制完成后，将录制的包括所述AR表情的每一帧AR图像依次拼接成一个完整的AR特效视频或动态GIF图；
所述AR特效视频或动态GIF图作为人脸的AR表情包。
6.一种增强现实AR表情包的生成装置，其特征在于，包括：
获取模块，用于在检测到微聊场景下的第一用户进入AR场景录制界面时，获取所述第一用户的人脸图像的人脸节点位置信息；
选取模块，用于选取特效表情，所述特效表情包括AR特效和普通表情的一种；
附加模块，用于将选取的所述特效表情附加在所述人脸图像的人脸节点位置信息上，得到AR表情；其中，所述特效表情随着人脸图像的移动而移动；
展示模块，用于将所述AR表情展示给所述第一用户；
录制模块，用于在检测到所述第一用户的录制指令时，开始录制包括所述AR表情的AR场景图像，录制完成后生成AR表情包；
发送模块，用于将生成的所述AR表情包发送给所述微聊场景下的第二用户。
7.根据权利要求6所述的装置，其特征在于，所述获取模块包括：
识别模块，用于在在检测到微聊场景下的第一用户进入AR场景录制界面时，开启人脸识别的AR场景，识别到包括3D位置在内的所述第一用户的人脸图像；
标记模块，用于在所述人脸图像上标记人脸节点位置信息。
8.根据权利要求7所述的装置，其特征在于，所述附加模块包括：
构建模块，用于构建所述特效表情的材质几何体；
确定模块，用于根据所述材质几何体和所述人脸节点位置坐标信息确定特效表情的内容节点；
附加子模块，用于将所述特效表情的内容节点附加到所述人脸图像的人脸节点位置信息上，得到AR表情。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：
提示模块，用于在所述发送模块将所述AR表情包发送给所述微聊场景下的第二用户前，向所述第一用户展示是否存储所述AR表情包的提示信息；
存储模块，用于在检测到所述第一用户发送的存储指令时，存储所述AR表情包。
10.根据权利要求6所述的装置，其特征在于，所述录制模块包括：
录制子模块，用于在检测到所述第一用户的录制指令时，录制包括所述AR表情的每一帧的AR场景图像；
拼接模块，用于在所述录子制模块录制完成后，将录制的包括所述AR表情的每一帧AR图像依次拼接成一个完整的AR特效视频或动态GIF图；所述AR特效视频或动态GIF图作为人脸的AR表情包。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的增强现实AR表情包的生成方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的增强现实AR表情包的生成方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011053568.1A CN112270733A (zh) | 2020-09-29 | 2020-09-29 | Ar表情包的生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011053568.1A CN112270733A (zh) | 2020-09-29 | 2020-09-29 | Ar表情包的生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112270733A true CN112270733A (zh) | 2021-01-26 |
Family
ID=74337081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011053568.1A Pending CN112270733A (zh) | 2020-09-29 | 2020-09-29 | Ar表情包的生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270733A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114880062A (zh) * | 2022-05-30 | 2022-08-09 | 网易（杭州）网络有限公司 | 聊天表情展示方法、设备、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103916621A (zh) * | 2013-01-06 | 2014-07-09 | 腾讯科技（深圳）有限公司 | 视频通信方法及装置 |
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| CN108846886A (zh) * | 2018-06-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种ar表情的生成方法、客户端、终端和存储介质 |
| CN110458916A (zh) * | 2019-07-05 | 2019-11-15 | 深圳壹账通智能科技有限公司 | 表情包自动生成方法、装置、计算机设备及存储介质 |
| CN110503724A (zh) * | 2019-08-19 | 2019-11-26 | 北京猫眼视觉科技有限公司 | 一种基于人脸特征点的ar表情资源构建管理系统及方法 |
| CN110650306A (zh) * | 2019-09-03 | 2020-01-03 | 平安科技（深圳）有限公司 | 视频聊天中添加表情的方法、装置、计算机设备及存储介质 |
| CN111598977A (zh) * | 2020-05-21 | 2020-08-28 | 北京中科深智科技有限公司 | 一种表情迁移并动画化的方法及系统 |
| CN111639613A (zh) * | 2020-06-04 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及电子设备 |
| CN111667588A (zh) * | 2020-06-12 | 2020-09-15 | 上海商汤智能科技有限公司 | 人物图像处理方法、装置、ar设备以及存储介质 |
-
2020
- 2020-09-29 CN CN202011053568.1A patent/CN112270733A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103916621A (zh) * | 2013-01-06 | 2014-07-09 | 腾讯科技（深圳）有限公司 | 视频通信方法及装置 |
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| CN108846886A (zh) * | 2018-06-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 一种ar表情的生成方法、客户端、终端和存储介质 |
| CN110458916A (zh) * | 2019-07-05 | 2019-11-15 | 深圳壹账通智能科技有限公司 | 表情包自动生成方法、装置、计算机设备及存储介质 |
| CN110503724A (zh) * | 2019-08-19 | 2019-11-26 | 北京猫眼视觉科技有限公司 | 一种基于人脸特征点的ar表情资源构建管理系统及方法 |
| CN110650306A (zh) * | 2019-09-03 | 2020-01-03 | 平安科技（深圳）有限公司 | 视频聊天中添加表情的方法、装置、计算机设备及存储介质 |
| CN111598977A (zh) * | 2020-05-21 | 2020-08-28 | 北京中科深智科技有限公司 | 一种表情迁移并动画化的方法及系统 |
| CN111639613A (zh) * | 2020-06-04 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及电子设备 |
| CN111667588A (zh) * | 2020-06-12 | 2020-09-15 | 上海商汤智能科技有限公司 | 人物图像处理方法、装置、ar设备以及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114880062A (zh) * | 2022-05-30 | 2022-08-09 | 网易（杭州）网络有限公司 | 聊天表情展示方法、设备、电子设备及存储介质 |
| CN114880062B (zh) * | 2022-05-30 | 2023-11-14 | 网易（杭州）网络有限公司 | 聊天表情展示方法、设备、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12094047B2 (en) | Animated emoticon generation method, computer-readable storage medium, and computer device | |
| KR101851356B1 (ko) | 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법 | |
| CN113298585B (zh) | 提供商品对象信息的方法、装置及电子设备 | |
| CN112684894A (zh) | 增强现实场景的交互方法、装置、电子设备及存储介质 | |
| EP4002107B1 (en) | Data binding method, apparatus, and device of mini program, and storage medium | |
| CN107992246A (zh) | 一种视频编辑方法与其装置及智能终端 | |
| CN112752162B (zh) | 虚拟物品赠送方法、装置、终端及计算机可读存储介质 | |
| CN111935505B (zh) | 视频封面生成方法、装置、设备及存储介质 | |
| CN113542624A (zh) | 生成商品对象讲解视频的方法及装置 | |
| JP7337428B1 (ja) | 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 | |
| CN113806306B (zh) | 媒体文件处理方法、装置、设备、可读存储介质及产品 | |
| JP2022500795A (ja) | アバターアニメーション | |
| CN111651049B (zh) | 交互方法、装置、计算机设备及存储介质 | |
| CN108471554A (zh) | 多媒体资源合成方法及装置 | |
| CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
| CN113298602A (zh) | 商品对象信息互动方法、装置及电子设备 | |
| CN106789551A (zh) | 会话消息展示方法及装置 | |
| CN114047864A (zh) | 特效数据包生成、显示方法、装置、设备、介质及产品 | |
| CN114880062B (zh) | 聊天表情展示方法、设备、电子设备及存储介质 | |
| KR101967998B1 (ko) | 키 입력에 기초한 움직임 이미지 생성 방법 및 상기 방법을 수행하는 사용자 단말 | |
| CN111796818B (zh) | 多媒体文件的制作方法、装置、电子设备及可读存储介质 | |
| CN109034242A (zh) | 图像处理算法的评分方法、装置及系统 | |
| KR102063268B1 (ko) | 증강 현실 컨텐츠를 제작하는 방법, 이를 이용하는 방법 및 이를 이용한 장치 | |
| CN112270733A (zh) | Ar表情包的生成方法、装置、电子设备及存储介质 | |
| CN107204026B (zh) | 一种用于显示动画的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |