CN116977500A - 一种基于视频通信系统的虚拟形象展示方法和装置 - Google Patents

一种基于视频通信系统的虚拟形象展示方法和装置 Download PDF

Info

Publication number
CN116977500A
CN116977500A CN202210428061.2A CN202210428061A CN116977500A CN 116977500 A CN116977500 A CN 116977500A CN 202210428061 A CN202210428061 A CN 202210428061A CN 116977500 A CN116977500 A CN 116977500A
Authority
CN
China
Prior art keywords
information
avatar
dynamic
space
creating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210428061.2A
Other languages
English (en)
Inventor
杜桂瑜
白刚
赵兴国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sailian Information Technology Co ltd
Original Assignee
Shanghai Sailian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sailian Information Technology Co ltd filed Critical Shanghai Sailian Information Technology Co ltd
Priority to CN202210428061.2A priority Critical patent/CN116977500A/zh
Publication of CN116977500A publication Critical patent/CN116977500A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Abstract

本发明的实施方式提供了一种基于视频通信系统的虚拟形象展示方法，所述方法应用于接收端，包括：获取特征信息和空间信息；对所述特征信息进行分析；基于所述特征信息分析结果创建至少一个动态虚拟形象；基于所述空间信息创建所述动态虚拟形象所处的至少一个空间；将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。使得在视频通信的过程中在有效的节省了传输宽带的情况下也保证了隐私的保护，为视频通信的过程增加了交互性。此外，本发明的实施方式提供了一种基于视频通信系统的虚拟形象展示装置。

Description

一种基于视频通信系统的虚拟形象展示方法和装置
技术领域
本发明的实施方式涉及视频通信技术领域，更具体地，本发明的实施方式涉及一种基于视频通信系统的虚拟形象展示方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
基于互联网的视频通信技术得到了广泛的应用，尤其是远程视频交互场景中，出于保护隐私、流量节省等目的，采用关闭摄像头，关闭视频/暂停视频发送的方式来处理，这种情况下视频通信则完全转化成为语音通信，失去了视频通信的意义。现有技术存在如下缺点：
a、参会人互动的视频信息完全缺失，包括表情、手势等。
b、会议画面美感较差，科技感不足，直接对交互体验有负面影现。
c、缺乏进一步扩展其他附加功能的空间。
为了克服上述缺点，本发明设计了一种基于视频通信系统的虚拟形象展示方法，在达到隐私保护和节省流量等目的情况下，同时具备视频交互中对于动作、表情等信息的传递，并为通信过程增加了艺术美感和科技感。极大的提升交互体验。
发明内容
本发明的目的在于设计一种基于视频通信系统的虚拟形象展示方法和装置，使得在达到隐私保护和节省流量等目的情况下，同时具备视频交互中对于动作、表情等信息的传递，并为通信过程增加了艺术美感和科技感。极大的提升交互体验。
在本上下文中，本发明的实施方式期望提供一种基于视频通信系统的虚拟形象展示方法和装置。
在本发明实施方式的第一方面中，提供了一种基于视频通信系统的虚拟形象展示方法，所述方法应用于接收端，包括：获取特征信息和空间信息；对所述特征信息进行分析；基于所述特征信息分析结果创建至少一个动态虚拟形象；基于所述空间信息创建所述动态虚拟形象所处的至少一个空间；将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。
在本发明的一个实施例中，所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合；所述空间信息包括真实空间信息或虚拟空间信息。
在本发明的另一个实施例中，所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合；所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合；所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合。
在本发明的又一个实施例中，所述真实空间信息包括2D动态真实空间信息、2D静态真实空间信息、3D动态真实空间信息和3D静态真实空间信息中的至少一种或其组合；所述虚拟空间信息包括2D动态虚拟空间信息、2D静态虚拟空间信息、3D动态虚拟空间信息和3D静态虚拟空间信息中的至少一种或其组合。
在本发明的再一个实施例中，所述获取特征信息和空间信息包括：从发送端获取所述特征信息；从本地数据库或发送端获取所述空间信息。
在本发明的再一个实施例中，所述基于所述特征信息分析结果创建动态虚拟形象包括：基于所述表情信息和肢体动作信息创建与之对应的动态虚拟形象。
在本发明的再一个实施例中，所述基于所述空间信息创建所述动态虚拟形象所处的空间包括：基于所述真实空间信息或虚拟空间信息创建与之对应的动态虚拟形象所处的空间。
在本发明的再一个实施例中，所述将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示包括：在同一个空间内同时显示至少一个动态虚拟形象；和/或在显示同一动态虚拟形象时切换不同的空间。
在本发明的再一个实施例中，所述在同一个空间内同时显示至少一个动态虚拟形象包括：在同一空间内同时显示一方的至少一个动态虚拟形象；和/或选择多方的至少一个动态虚拟形象以及一个空间，在所选择的空间内同时显示多方的至少一个动态虚拟形象。
在本发明的再一个实施例中，所述方法还包括：保存所述动态虚拟形象和动态虚拟形象所处的空间用于视频回放；和/或保存所述特征信息分析结果，用于在视频回放过程中基于所述保存的特征信息分析结果创建并展示动态虚拟形象及选取动态虚拟形象所处的空间。
在本发明的再一个实施例中，所述基础虚拟形象从发送端或本地数据库获取；以及所述表情信息以及肢体动作信息中的一种或其组合从发送端获取。
在本发明实施方式的第二方面中，提供了一种基于视频通信系统的虚拟形象展示方法，其特征在于，所述方法应用于发送端，包括：获取特征信息；以及发送所述获取的特征信息。
在本发明的一个实施例中，所述方法包括对所述特征信息进行分析；和基于所述特征信息分析结果创建至少一个动态虚拟形象并显示。
在本发明的另一个实施例中，所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合。
在本发明的又一个实施例中，所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合；所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合；所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合。
在本发明的再一个实施例中，所述方法还包括：针对不同接收端选择并发送至少一个不同的基础虚拟形象；和/或在显示接收端的视频窗口中同时显示发送到给所述接收端的对应的动态虚拟形象或基础虚拟形象。
在本发明的再一个实施例中，所述方法还包括：当其中一个发送端具有多个用户时，针对不同的用户选择不同的基础虚拟形象；将每个用户的表情信息以及肢体动作信息对应到所选择的基础虚拟形象；将所述选择的基础虚拟形象和对应的表情信息以及肢体动作信息发送到接收端。
在本发明的第三个方面，提供了一种基于视频通信系统的虚拟形象展示装置，其特征在于，所述装置应用于接收端，包括：获取模块，用于获取特征信息和空间信息；分析模块，用于对所述特征信息进行分析；创建动态虚拟形象模块，用于基于所述特征信息分析结果创建至少一个动态虚拟形象；创建空间模块，用于基于所述空间信息创建所述动态虚拟形象所处的至少一个空间；显示模块，用于将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。
在本发明的一个实施例中，所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合；所述空间信息包括真实空间信息或虚拟空间信息。
在本发明的另一个实施例中，所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合；所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合；所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合。
在本发明的又一个实施例中，所述真实空间信息包括2D动态真实空间信息、2D静态真实空间信息、3D动态真实空间信息和3D静态真实空间信息中的至少一种或其组合；所述虚拟空间信息包括2D动态虚拟空间信息、2D静态虚拟空间信息、3D动态虚拟空间信息和3D静态虚拟空间信息中的至少一种或其组合。
在本发明的再一个实施例中，所述获取模块包括：用于从发送端获取所述特征信息的单元；用于从本地数据库或发送端获取所述空间信息的单元。
在本发明的再一个实施例中，所述创建动态虚拟形象模块包括：用于基于所述表情信息和肢体动作信息创建与之对应的动态虚拟形象的单元。
在本发明的再一个实施例中，所述创建空间模块包括：用于基于所述真实空间信息或虚拟空间信息创建与之对应的动态虚拟形象所处的空间的单元。
在本发明的再一个实施例中，所述显示模块包括：用于在同一个空间内同时显示至少一个动态虚拟形象的单元；和/或用于在显示同一动态虚拟形象时切换不同的空间的单元。
在本发明的再一个实施例中，所述用于在同一个空间内同时显示至少一个动态虚拟形象的单元包括：用于在同一空间内同时显示一方的至少一个动态虚拟形象的单元；和/或用于选择多方的至少一个动态虚拟形象以及一个空间，在所选择的空间内同时显示多方的至少一个动态虚拟形象的单元。
在本发明的再一个实施例中，所述装置还包括：保存模块，用于保存所述动态虚拟形象和动态虚拟形象所处的空间用于视频回放；和/或保存分析结果模块，用于保存所述特征信息分析结果，用于在视频回放过程中基于所述保存的特征信息分析结果创建并展示动态虚拟形象及选取动态虚拟形象所处的空间。
在本发明的再一个实施例中，所述装置还包括用于所述基础虚拟形象从发送端或本地数据库获取的单元；以及用于所述表情信息以及肢体动作信息中的一种或其组合从发送端获取的单元。
在本发明的第四个方面，提供了一种基于视频通信系统的虚拟形象展示装置，其特征在于，所述装置应用于发送端，包括：获取模块，用于获取特征信息；以及发送模块，用于发送所述获取的特征信息。
在本发明的一个实施例中，所述装置包括用于对所述特征信息进行分析的单元；和用于基于所述特征信息分析结果创建至少一个动态虚拟形象并显示的单元。
在本发明的另一个实施例中，所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合。
在本发明的又一个实施例中，所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合；所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合；所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合。
在本发明的再一个实施例中，所述装置还包括：用于针对不同接收端选择并发送至少一个不同的基础虚拟形象的模块；和/或用于在显示接收端的视频窗口中同时显示发送到给所述接收端的对应的动态虚拟形象或基础虚拟形象的模块。
在本发明的再一个实施例中，所述装置还包括：用于当其中一个发送端具有多个用户时，针对不同的用户选择不同的基础虚拟形象的模块；用于将每个用户的表情信息以及肢体动作信息对应到所选择的基础虚拟形象的模块；用于将所述选择的基础虚拟形象和对应的表情信息以及肢体动作信息发送到接收端的模块。
根据本发明实施方式的一种基于视频通信系统的虚拟形象展示方法和装置，通过在接收端基于特征信息和空间信息创建至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。相比于现有技术具有以下优点：
a.为视频信息交互及隐私保护提供了中间方案。
b.可以有效节省传输带宽及存储成本。
c.为画面观感的美化及艺术性处理提供了扩展性和灵活性。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明一个实施例的在接收端用于基于视频通信系统的虚拟形象展示方法流程图；
图2示意性地示出了根据本发明一个实施例的在发送端用于基于视频通信系统的虚拟形象展示方法流程图；
图3示意性地示出了根据本发明另一实施例的显示界面示意图；
图4示意性地示出了根据本发明又一实施例的显示界面示意图；
图5示意性地示出了根据本发明再一实施例的显示界面示意图；
图6示意性地示出了根据本发明实施方式的在接收端用于基于视频通信系统的虚拟形象展示装置示意图；
图7示意性地示出了根据本发明实施方式的在发送端用于基于视频通信系统的虚拟形象展示装置示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种基于视频通信系统的虚拟形象展示方法和装置。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有的现有技术存在如下缺点：a、参会人互动的视频信息完全缺失，包括表情、手势等。b、会议画面美感较差，科技感不足，直接对交互体验有负面影现。c、缺乏进一步扩展其他附加功能的空间。
为了克服现有技术存在的问题，本发明提供了一种基于视频通信系统的虚拟形象展示方法，所述方法应用于接收端，包括：获取特征信息和空间信息；对所述特征信息进行分析；基于所述特征信息分析结果创建至少一个动态虚拟形象；基于所述空间信息创建所述动态虚拟形象所处的至少一个空间；将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
本发明实施例可以应用于远程会议、远程教学或培训等场景，然而，本领域技术人员完全可以理解，本发明实施方式的适用场景不受到该框架任何方面的限制。
示例性方法
下面结合应用场景，参考图1-5来描述根据本发明示例性实施方式的用于实现基于视频通信系统的虚拟形象展示方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
参考图1，示意性的示出了根据本发明一个实施例的在接收端用于基于视频通信系统的虚拟形象展示方法流程图。该方法包括以下步骤：
S100、获取特征信息和空间信息。
作为示例，所述特征信息是从发送端获取，所述空间信息从发送端获取或者从本地数据库中获取。其中，所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合，所述空间信息包括真实空间信息或虚拟空间信息。所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合，更具体地，基础虚拟形象可以为一张包含卡通形象、影视人物形象、动物形象或物品形象的图片，该基础虚拟形象是确定动态虚拟形象的基础模板，简而言之，动态虚拟形象是在基础虚拟形象的基础上进行的3D建模。
所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合，该表情信息可以在发送端通过对发送端的人脸进行人脸识别进而实时获取到该人脸的表情信息。所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合，该肢体语言信息可以在发送端通过深度学习人体动作识别算法进而实时获取发送端侧的肢体动作信息。
所述真实空间信息包括2D动态真实空间信息、2D静态真实空间信息、 3D动态真实空间信息和3D静态真实空间信息中的至少一种或其组合；所述虚拟空间信息包括2D动态虚拟空间信息、2D静态虚拟空间信息、3D动态虚拟空间信息和3D静态虚拟空间信息中的至少一种或其组合。更具体地，真实空间信息和虚拟空间信息表征接收端侧的背景信息，其中真实空间信息即为基于现实的背景信息，如发送端发送的当前的背景信息，或者在本地数据库中挑选的一张背景图片或动态背景视频，当然，也可以是三维立体的空间图，针对当空间信息为三维立体的背景图时，用户可以通过使用鼠标拖拽从不同的角度观看该空间。极大地丰富了用户的在视频通信过程中的趣味性。
S110、对所述特征信息进行分析。
S120、基于所述特征信息分析结果创建至少一个动态虚拟形象。
作为示例，所述基于所述特征信息分析结果创建动态虚拟形象包括：基于所述表情信息和肢体动作信息创建与之对应的动态虚拟形象。其中，动态虚拟形象的创建技术在现有技术中已经非常成熟，在此处不做赘述。
S130、基于所述空间信息创建所述动态虚拟形象所处的至少一个空间。
作为示例，所述基于所述空间信息创建所述动态虚拟形象所处的空间包括：基于所述真实空间信息或虚拟空间信息创建与之对应的动态虚拟形象所处的空间。
S140、将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。
作为示例，所述将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示包括：在同一个空间内同时显示至少一个动态虚拟形象；和/或在显示同一动态虚拟形象时切换不同的空间。其中包括，在同一空间内同时显示一方的至少一个动态虚拟形象；和/或选择多方的至少一个动态虚拟形象以及一个空间，在所选择的空间内同时显示多方的至少一个动态虚拟形象。具体地，创建的动态虚拟形象是置于创建的空间中的，也即，动态虚拟形象和空间是在一个窗口显示的。
一种情况，如图3所示，该视频会议模式为两方视频会议，其中窗口1 为视频会议中本地显示画面，其中显示的真实的形象(也可以显示虚拟后的形象)，窗口2为在对方窗口显示的与本地显示的真实形象相对应的动态虚拟形象画面，窗口3显示的是对方(发送端)在本地(接收端)显示的动态虚拟形象，窗口4为空间画面。更具体地，在进行多方视频会议时，其中一方可能参会人员有多个，则此时需要对该方的多个参会人员均创建与之对应的动态虚拟形象，也即，此时在接收端的显示画面中，对方的显示窗口(发送端的显示窗口，对应于窗口3)会显示与之对应的多个不同的动态虚拟形象以及空间(对应于窗口4)，并且，在显示窗口中会置一个小窗口用以显示本地用户在对方显示画面中所显示的动态虚拟形象(对应于窗口2)，当然，该小窗口也可以显示本地用户在对方显示画面中所显示的静态的虚拟形象，并且在本地用户(接收端)的显示窗口(对应于窗口1)中也会显示接收侧用户摄像头拍摄到的用户的真实形象以及真实背景图(即空间)，当然，也可以在本地用户的显示窗口中显示本地用户的动态虚拟形象。本方法通过使得接收端用户也可以在视频通信画面中观看到本人在对方显示窗口中的动态虚拟形象，一方面可以增加用户视频通信过程中的趣味性，另一方面通过使得本地用户实时观看到在对方显示窗口中显示的形象，这样可以极大地保证用户的隐私性，也即，当用户的动态虚拟形象突然消失时，本地用户可以及时观看到，可以及时作出处理。
另一种情况，如图4所示，该视频会议模式为四方视频会议，其中窗口 1为视频会议中本地显示画面，其中显示的真实的形象(也可以显示虚拟后的形象)，窗口2为在对方窗口显示的与本地显示的真实形象相对应的动态虚拟形象画面，窗口3显示的是对方(发送端)在本地(接收端)显示的动态虚拟形象，窗口4为空间画面(也即背景图)，需要说明的是各个窗口显示的背景图可以相同也可以不同。更具体地，在进行视频会议时，每方参会人员有一个，但是参会方有四个，则此时接收端的显示画面如图4所示，进步一地，本地用户(接收端用户)可以通过手动设置，选择想要合并窗口显示的用户，并手动选择一个空间(即背景图)，以使得原本在各自显示窗口显示的不同视频方的动态虚拟形象合并到同一个显示窗口显示。例如，原本用户A，用户B和用户C均在对应的显示窗口以动态虚拟形象显示，但是本地用户D可以通过手动选择将用户A、B和C合并到同一个窗口显示，并且可以选择一个空间为桌子的静态图片，这样通过将多个不同显示窗口的动态虚拟形象处于同一个真实空间或虚拟空间中，可以极大地增加视频通信过程中的趣味性，并且也可以极大地提高用户之间的交互性。
作为示例，所述方法还包括保存所述动态虚拟形象和动态虚拟形象所处的空间用于视频回放；和/或保存所述特征信息分析结果，用于在视频回放过程中基于所述保存的特征信息分析结果创建并展示动态虚拟形象及选取动态虚拟形象所处的空间。具体地，为了方便用户进行视频回放，在视频通信过程中可以直接采用录屏的方式保存视频通信过程中的视频信息，则在进行视频回放的过程中就可以直接回放与视频通信过程中相同的视频信息。还可以通过在视频通信过程中保存特征信息，这样在对视频进行回放时，可以基于该保存的特征信息再次灵活的创建与之对应的动态虚拟形象和空间，也即可以根据该特征信息创建出与之前视频通信过程中不同的动态虚拟形象和空间。
参考图2，示意性的示出了根据本发明一个实施例的在发送端用于基于视频通信系统的虚拟形象展示方法流程图。该方法包括以下步骤：
S200、获取特征信息。
S210、发送所述获取的特征信息。
作为示例，通过人脸识别技术以及深度学习人体动作识别算法获取特征信息。所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合。所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合；所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合；所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合。基于所述特征信息在发送端建立动态虚拟形象并显示，并将该特征信息发送至接收端供接收端建立相同的动态虚拟形象。
作为示例，在发送端可以针对不同接收端选择并发送至少一个不同的基础虚拟形象；并且在显示接收端的视频窗口中同时显示发送到给所述接收端的对应的动态虚拟形象或基础虚拟形象。具体地，当接收端有多个时，发送端的用户可以根据自己的喜好针对多个接收端发送不同的基础虚拟形象，则多个接收端基于接收到的不同的基础虚拟形象就会创建出不同的动态虚拟形象。简而言之，如图5所示，同一个发送端的用户可以在不同的接收端侧显示不同的动态虚拟形象。例如，发送端用户A可以向接收端用户B发送“小兔子”的基础虚拟形象，向接收端C发送“眼镜帅哥”的基础虚拟形象，向接收端D发送“帅哥”的基础虚拟形象，则在接收端用户B、C和D的显示画面中显示的相同的用户A的动态虚拟形象是完全不同的。因此，根据本方法可以使得发送端用户基于不同的接收端个性化的建立不同的动态虚拟形象。
作为示例，当其中一个发送端具有多个用户时，针对不同的用户选择不同的基础虚拟形象；将每个用户的表情信息以及肢体动作信息对应到所选择的基础虚拟形象；将所述选择的基础虚拟形象和对应的表情信息以及肢体动作信息发送到接收端。具体地，当发送端的同一个窗口有多个用户时，发送端会对该多个用户向接收端发送与之对应的多个基础虚拟形象以及该多个用户分别对应的多个其他特征信息，并且每个用户对应不同的特征信息，这样在接收端侧可以通过该不同的特征信息建立不同的动态虚拟形象用以形象的表示不同的用户。
本申请通过在接收端建立动态虚拟形象，这样发送端只需要发送特征信息而不需要发送已经建立的虚拟形象信息，可以极大的节省传输宽带及存储成本，并且可以在视频通信过程中呈现出来根据参会人员表情和肢体动作做出的对应变化的虚拟的形象；在接收端通过自主设置合并显示窗口可以极大地增加视频通信过程中的互动性以及趣味性；在发送端通过自主设置同一时刻在不同的接收端显示不同的动态虚拟形象可以在保护了隐私的前提下极大地增加用户的自主选择性，提高用户的使用感受。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的在接收端用于基于视频通信系统的虚拟形象展示装置示意图。该装置包括以下模块：
获取模块600、用于获取特征信息和空间信息。
作为示例，所述特征信息是从发送端获取，所述空间信息从发送端获取或者从本地数据库中获取。其中，所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合，所述空间信息包括真实空间信息或虚拟空间信息。所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合，更具体地，基础虚拟形象可以为一张包含卡通形象、影视人物形象、动物形象或物品形象的图片，该基础虚拟形象是确定动态虚拟形象的基础模板，简而言之，动态虚拟形象是在基础虚拟形象的基础上进行的3D建模。
所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合，该表情信息可以在发送端通过对发送端的人脸进行人脸识别进而实时获取到该人脸的表情信息。所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合，该肢体语言信息可以在发送端通过深度学习人体动作识别算法进而实时获取发送端侧的肢体动作信息。
所述真实空间信息包括2D动态真实空间信息、2D静态真实空间信息、 3D动态真实空间信息和3D静态真实空间信息中的至少一种或其组合；所述虚拟空间信息包括2D动态虚拟空间信息、2D静态虚拟空间信息、3D动态虚拟空间信息和3D静态虚拟空间信息中的至少一种或其组合。更具体地，真实空间信息和虚拟空间信息表征接收端侧的背景信息，其中真实空间信息即为基于现实的背景信息，如发送端发送的当前的背景信息，或者在本地数据库中挑选的一张背景图片或动态背景视频，当然，也可以是三维立体的空间图，针对当空间信息为三维立体的背景图时，用户可以通过使用鼠标拖拽从不同的角度观看该空间。极大地丰富了用户的在视频通信过程中的趣味性。
分析模块610、用于对所述特征信息进行分析。
创建动态虚拟形象模块620、用于基于所述特征信息分析结果创建至少一个动态虚拟形象。
作为示例，所述基于所述特征信息分析结果创建动态虚拟形象包括：基于所述表情信息和肢体动作信息创建与之对应的动态虚拟形象。其中，动态虚拟形象的创建技术在现有技术中已经非常成熟，在此处不做赘述。
创建空间模块630、用于基于所述空间信息创建所述动态虚拟形象所处的至少一个空间。
作为示例，所述基于所述空间信息创建所述动态虚拟形象所处的空间包括：基于所述真实空间信息或虚拟空间信息创建与之对应的动态虚拟形象所处的空间。
显示模块640、用于将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。
作为示例，所述将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示包括：在同一个空间内同时显示至少一个动态虚拟形象；和/或在显示同一动态虚拟形象时切换不同的空间。其中包括，在同一空间内同时显示一方的至少一个动态虚拟形象；和/或选择多方的至少一个动态虚拟形象以及一个空间，在所选择的空间内同时显示多方的至少一个动态虚拟形象。具体地，创建的动态虚拟形象是置于创建的空间中的，也即，动态虚拟形象和空间是在一个窗口显示的。
一种情况，如图3所示，该视频会议模式为两方视频会议，其中窗口1 为视频会议中本地显示画面，其中显示的真实的形象(也可以显示虚拟后的形象)，窗口2为在对方窗口显示的与本地显示的真实形象相对应的动态虚拟形象画面，窗口3显示的是对方(发送端)在本地(接收端)显示的动态虚拟形象，窗口4为空间画面。更具体地，在进行多方视频会议时，其中一方可能参会人员有多个，则此时需要对该方的多个参会人员均创建与之对应的动态虚拟形象，也即，此时在接收端的显示画面中，对方的显示窗口(发送端的显示窗口，对应于窗口3)会显示与之对应的多个不同的动态虚拟形象以及空间(对应于窗口4)，并且，在显示窗口中会置一个小窗口用以显示本地用户在对方显示画面中所显示的动态虚拟形象(对应于窗口2)，当然，该小窗口也可以显示本地用户在对方显示画面中所显示的静态的虚拟形象，并且在本地用户(接收端)的显示窗口(对应于窗口1)中也会显示接收侧用户摄像头拍摄到的用户的真实形象以及真实背景图(即空间)，当然，也可以在本地用户的显示窗口中显示本地用户的动态虚拟形象。本方法通过使得接收端用户也可以在视频通信画面中观看到本人在对方显示窗口中的动态虚拟形象，一方面可以增加用户视频通信过程中的趣味性，另一方面通过使得本地用户实时观看到在对方显示窗口中显示的形象，这样可以极大地保证用户的隐私性，也即，当用户的动态虚拟形象突然消失时，本地用户可以及时观看到，可以及时作出处理。
另一种情况，如图4所示，该视频会议模式为四方视频会议，其中窗口 1为视频会议中本地显示画面，其中显示的真实的形象(也可以显示虚拟后的形象)，窗口2为在对方窗口显示的与本地显示的真实形象相对应的动态虚拟形象画面，窗口3显示的是对方(发送端)在本地(接收端)显示的动态虚拟形象，窗口4为空间画面(也即背景图)，需要说明的是各个窗口显示的背景图可以相同也可以不同。更具体地，在进行视频会议时，每方参会人员有一个，但是参会方有四个，则此时接收端的显示画面如图4所示，进步一地，本地用户(接收端用户)可以通过手动设置，选择想要合并窗口显示的用户，并手动选择一个空间(即背景图)，以使得原本在各自显示窗口显示的不同视频方的动态虚拟形象合并到同一个显示窗口显示。例如，原本用户A，用户B和用户C均在对应的显示窗口以动态虚拟形象显示，但是本地用户D可以通过手动选择将用户A、B和C合并到同一个窗口显示，并且可以选择一个空间为桌子的静态图片，这样通过将多个不同显示窗口的动态虚拟形象处于同一个真实空间或虚拟空间中，可以极大地增加视频通信过程中的趣味性，并且也可以极大地提高用户之间的交互性。
作为示例，所述方法还包括保存所述动态虚拟形象和动态虚拟形象所处的空间用于视频回放；和/或保存所述特征信息分析结果，用于在视频回放过程中基于所述保存的特征信息分析结果创建并展示动态虚拟形象及选取动态虚拟形象所处的空间。具体地，为了方便用户进行视频回放，在视频通信过程中可以直接采用录屏的方式保存视频通信过程中的视频信息，则在进行视频回放的过程中就可以直接回放与视频通信过程中相同的视频信息。还可以通过在视频通信过程中保存特征信息，这样在对视频进行回放时，可以基于该保存的特征信息再次灵活的创建与之对应的动态虚拟形象和空间，也即可以根据该特征信息创建出与之前视频通信过程中不同的动态虚拟形象和空间。
参考图7，示意性的示出了根据本发明一个实施例的在发送端用于基于视频通信系统的虚拟形象展示装置示意图。该装置包括：
获取模块700、用于获取特征信息。
发送模块710、用于发送所述获取的特征信息。
作为示例，通过人脸识别技术以及深度学习人体动作识别算法获取特征信息。所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合。所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合；所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合；所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合。基于所述特征信息在发送端建立动态虚拟形象并显示，并将该特征信息发送至接收端供接收端建立相同的动态虚拟形象。
作为示例，在发送端可以针对不同接收端选择并发送至少一个不同的基础虚拟形象；并且在显示接收端的视频窗口中同时显示发送到给所述接收端的对应的动态虚拟形象或基础虚拟形象。具体地，当接收端有多个时，发送端的用户可以根据自己的喜好针对多个接收端发送不同的基础虚拟形象，则多个接收端基于接收到的不同的基础虚拟形象就会创建出不同的动态虚拟形象。简而言之，如图5所示，同一个发送端的用户可以在不同的接收端侧显示不同的动态虚拟形象。例如，发送端用户A可以向接收端用户B发送“小兔子”的基础虚拟形象，向接收端C发送“眼镜帅哥”的基础虚拟形象，向接收端D发送“帅哥”的基础虚拟形象，则在接收端用户B、C和D的显示画面中显示的相同的用户A的动态虚拟形象是完全不同的。因此，根据本方法可以使得发送端用户基于不同的接收端个性化的建立不同的动态虚拟形象。
作为示例，当其中一个发送端具有多个用户时，针对不同的用户选择不同的基础虚拟形象；将每个用户的表情信息以及肢体动作信息对应到所选择的基础虚拟形象；将所述选择的基础虚拟形象和对应的表情信息以及肢体动作信息发送到接收端。具体地，当发送端的同一个窗口有多个用户时，发送端会对该多个用户向接收端发送与之对应的多个基础虚拟形象以及该多个用户分别对应的多个其他特征信息，并且每个用户对应不同的特征信息，这样在接收端侧可以通过该不同的特征信息建立不同的动态虚拟形象用以形象的表示不同的用户。
应当注意，尽管在上文详细描述中提及了一种基于视频通信系统的虚拟形象展示装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种基于视频通信系统的虚拟形象展示方法，其特征在于，所述方法应用于接收端，包括：
获取特征信息和空间信息；
对所述特征信息进行分析；
基于所述特征信息分析结果创建至少一个动态虚拟形象；
基于所述空间信息创建所述动态虚拟形象所处的至少一个空间；
将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。
2.根据权利要求1所述的方法，其特征在于，所述特征信息包括至少一个基础虚拟形象、表情信息以及肢体动作信息中的一种或其组合；
所述空间信息包括真实空间信息或虚拟空间信息。
3.根据权利要求2所述的方法，其特征在于，所述基础虚拟形象包括卡通形象、影视人物形象、动物形象以及物品形象中的一种或其组合；
所述表情信息包括口型动作信息、眉毛动作信息、眨眼动作信息以及眼球转动信息中的一种或其组合；
所述肢体动作信息包括头部转动信息和手臂摆动信息中的一种或其组合。
4.根据权利要求2所述的方法，其特征在于，所述真实空间信息包括2D动态真实空间信息、2D静态真实空间信息、3D动态真实空间信息和3D静态真实空间信息中的至少一种或其组合；
所述虚拟空间信息包括2D动态虚拟空间信息、2D静态虚拟空间信息、3D动态虚拟空间信息和3D静态虚拟空间信息中的至少一种或其组合。
5.根据权利要求1所述的方法，其特征在于，所述获取特征信息和空间信息包括：
从发送端获取所述特征信息；
从本地数据库或发送端获取所述空间信息。
6.根据权利要求2所述的方法，其特征在于，所述基于所述特征信息分析结果创建动态虚拟形象包括：
基于所述表情信息和肢体动作信息创建与之对应的动态虚拟形象。
7.根据权利要求2所述的方法，其特征在于，所述基于所述空间信息创建所述动态虚拟形象所处的空间包括：
基于所述真实空间信息或虚拟空间信息创建与之对应的动态虚拟形象所处的空间。
8.一种基于视频通信系统的虚拟形象展示方法，其特征在于，所述方法应用于发送端，包括：
获取特征信息；以及
发送所述获取的特征信息。
9.一种基于视频通信系统的虚拟形象展示装置，其特征在于，所述装置应用于接收端，包括：
获取模块，用于获取特征信息和空间信息；
分析模块，用于对所述特征信息进行分析；
创建动态虚拟形象模块，用于基于所述特征信息分析结果创建至少一个动态虚拟形象；
创建空间模块，用于基于所述空间信息创建所述动态虚拟形象所处的至少一个空间；
显示模块，用于将所述创建的至少一个动态虚拟形象置于所述创建的至少一个空间中，并进行显示。
10.一种基于视频通信系统的虚拟形象展示装置，其特征在于，所述装置应用于发送端，包括：
获取模块，用于获取特征信息；以及
发送模块，用于发送所述获取的特征信息。
CN202210428061.2A 2022-04-22 2022-04-22 一种基于视频通信系统的虚拟形象展示方法和装置 Pending CN116977500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210428061.2A CN116977500A (zh) 2022-04-22 2022-04-22 一种基于视频通信系统的虚拟形象展示方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210428061.2A CN116977500A (zh) 2022-04-22 2022-04-22 一种基于视频通信系统的虚拟形象展示方法和装置

Publications (1)

Publication Number Publication Date
CN116977500A true CN116977500A (zh) 2023-10-31

Family

ID=88478291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210428061.2A Pending CN116977500A (zh) 2022-04-22 2022-04-22 一种基于视频通信系统的虚拟形象展示方法和装置

Country Status (1)

Country Link
CN (1) CN116977500A (zh)

Similar Documents

Publication Publication Date Title
US7227567B1 (en) Customizable background for video communications
US11488363B2 (en) Augmented reality conferencing system and method
US8072479B2 (en) Method system and apparatus for telepresence communications utilizing video avatars
US7285047B2 (en) Method and system for real-time rendering within a gaming environment
US8279254B2 (en) Method and system for video conferencing in a virtual environment
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US6753900B2 (en) Method and apparatus for overcoming the limitations of camera angle in video conferencing applications
CN111402399B (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
US20210281802A1 (en) IMPROVED METHOD AND SYSTEM FOR VIDEO CONFERENCES WITH HMDs
US11741616B2 (en) Expression transfer across telecommunications networks
US20110292054A1 (en) System and Method for Low Bandwidth Image Transmission
CN108076307B (zh) 基于ar的视频会议系统和基于ar的视频会议方法
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
Müller et al. PanoVC: Pervasive telepresence using mobile phones
US20220407902A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
Jaklič et al. User interface for a better eye contact in videoconferencing
KR101784266B1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
Roberts et al. withyou—an experimental end-to-end telepresence system using video-based reconstruction
Breiteneder et al. TELEPORT—an augmented reality teleconferencing environment
JPH0730877A (ja) 多地点間マルチメディア通信会議システム
KR20170014818A (ko) 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치
CN116977500A (zh) 一种基于视频通信系统的虚拟形象展示方法和装置
CN115086594A (zh) 虚拟会议处理方法、装置、设备和存储介质
JP6410346B2 (ja) 遠隔意思疎通装置及びプログラム
CN112804245A (zh) 适用于视频传输的数据传输优化方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination