CN106648071B - 虚拟现实社交实现系统 - Google Patents
虚拟现实社交实现系统 Download PDFInfo
- Publication number
- CN106648071B CN106648071B CN201611025697.3A CN201611025697A CN106648071B CN 106648071 B CN106648071 B CN 106648071B CN 201611025697 A CN201611025697 A CN 201611025697A CN 106648071 B CN106648071 B CN 106648071B
- Authority
- CN
- China
- Prior art keywords
- user
- virtual reality
- social
- unit
- creation module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 230000009471 action Effects 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000010276 construction Methods 0.000 claims abstract description 10
- 210000003128 head Anatomy 0.000 claims abstract description 10
- 230000001815 facial effect Effects 0.000 claims description 9
- 210000004209 hair Anatomy 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 2
- 230000037396 body weight Effects 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 238000007654 immersion Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- XEGGRYVFLWGFHI-UHFFFAOYSA-N bendiocarb Chemical compound CNC(=O)OC1=CC=CC2=C1OC(C)(C)O2 XEGGRYVFLWGFHI-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明揭示了一种虚拟现实社交实现系统，包括社交环境搭建装置与社交细节实现装置，社交环境搭建装置用以实现脸部表情及嘴型实时追踪与重现以及人脸3D模型构建，并通过实时追踪用户的头、手和身体躯干的动作和位置并呈现在虚拟现实的社交场景中，同时构建使用者的身体模型，并对场景进行真实环境的还原和重建；社交细节实现装置通过感测眼睛的注视焦点的位置，并根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，同时通过展现头部的动作和手部的动作及对方的动作姿势以增强用户虚拟现实社交时的真实感。
Description
【技术领域】
本发明涉及信息处理技术，特别是虚拟现实社交实现系统。
【背景技术】
近年来，虚拟现实(VR)产品，如VR眼镜、VR一体机等，成为业界日益关注的重点。然而在现有的虚拟现实(VR)世界中，目前用户只能体验一些VR游戏和多媒体内容，而且这些内容交互较为简单，并且无法联机运行。而未来的趋势，会要求用户能在虚拟现实世界中能实现类似真实世界中的社交和即时通讯等场景。目前的虚拟现实社交中，只完成了人物的位置方向基本姿态、头部位置的跟踪，用户只能看见自己虚拟的手以及社交对象虚拟的头像和手，无法令用户沉浸地进行虚拟现实社交。
【发明内容】
本发明的目的在于提供一种虚拟现实社交实现系统，能够对虚拟现实的场景进行全方面的识别与跟踪，从而解决现有的虚拟现实社交中无法令用户沉浸地进行虚拟现实社交的问题。
为实现上述目的，实施本发明的虚拟现实社交实现系统包括社交环境搭建装置与社交细节实现装置，其中社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，其中脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建，动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，身体模型重建单元用以构建使用者的身体模型，真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中；眼神交流再现单元用以感测眼睛的注视焦点的位置，嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，肢体动作展现单元用以通过展现头部的动作和手部的动作来增强用户虚拟现实社交时的真实感，动作姿势判断单元用以判断对方的动作姿势。
依据上述主要特征，脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情，嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型，人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。
依据上述主要特征，动作捕捉与互动单元通过VR头盔内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。
依据上述主要特征，身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据，这个身体模型是由多台相机包围一个人物做三维扫描来实现的，其中身体模型数据主要由三个部分构成：身体参数、基本属性以及附属，身体参数主要包括身高、体重、提醒、肤色以及毛发等元素，基本属性主要包括人种、性别和年龄等元素，附属主要包括服饰、发型和纹身等元素。
依据上述主要特征，其中真实环境还原单元包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块。
依据上述主要特征，其中360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原等场景的创建；公共和私人空间的创建模块用以创建公共和私人的穿间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入，社交活动类型创建模块用以创建虚拟现实世界中的社交流动类型，如约会聚餐、当面交流、看电影、玩游戏等；好友列表创建模块用以创建使用者的在线好友、离线好友以及新增好友等列表；交流模式创建模块用以创建虚拟现实世界中的交流模式，如和周围人会去解释说明、陈述和人际交往互动；好友信息创建模块为使用者创建好的的信息，以便使用者可以看到好友的个人简介、状态更新以及分享和互动内容，使用者也可以看到他正在体验什么、玩过什么游戏、看过什么电影。使用者也可以邀请他来加入使用者将要参加的一项新活动。
与现有技术相比较，本发明具有如下优点：(1)本发明方法可以大大提供虚拟现实社交的真实感和沉浸感；(2)本发明方法适合一对一，一对多以及多对多等多种社交互动场景；(3)本发明方法可大大提高虚拟现实产品的留存率和活跃率；(4)本发明方法具有通用性和普适性，可应用与增强现实和混合现实等产品应用领域，具有良好的市场推广前景。
【附图说明】
图1为实施本发明的虚拟现实社交实现系统的功能方框组成示意图。
【具体实施方式】
请参阅图1所示，为实施本发明的虚拟现实社交实现系统的功能方框组成示意图。实施本发明的虚拟现实社交实现系统包括社交环境搭建装置与社交细节实现装置。
社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，以下对上述各单元的功能进行详细说明。
脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建。
其中由于人脸非常复杂，特别是表情就集中在鼻头到眼睛的那一块三角区，且VR头盔须佩戴在用户头上，会遮住用户上脸部，脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情。上脸部感知传感器组安装在VR头盔内部，用来追踪眼睛和眉毛等脸部上半部分的表情；下脸部感知传感器组安装在VR头盔外部，用来追踪用户的脸蛋、下巴和嘴的表情，然后在虚拟现实环境中真实呈现脸部的实时表情。对于上述的上脸部感知传感器及下脸部感知传感器可以为现为的图像传感器，对于其功能及工作原理现有技术中多有描述，此处不再详细说明。
嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型。
人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。
动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，是通过内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。
身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据。这个身体模型是由多台相机包围一个人物做三维扫描来实现的。其中身体模型数据主要由三个部分构成：身体参数、基本属性以及附属。其中身体参数主要包括身高、体重、提醒、肤色以及毛发等元素。基本属性主要包括人种、性别和年龄等元素。附属主要包括服饰、发型和纹身等元素，这部分数据可以用户高度个性定制化。
真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中，包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块，其中：
360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原等场景的创建。
公共和私人空间的创建模块用以创建公共和私人的穿间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入。
社交活动类型创建模块用以创建虚拟现实世界中的社交流动类型，如约会聚餐、当面交流、看电影、玩游戏等。
好友列表创建模块用以创建使用者的在线好友、离线好友以及新增好友等列表。
交流模式创建模块用以创建虚拟现实世界中的交流模式，如和周围人会去解释说明、陈述和人际交往互动。
好友信息创建模块为使用者创建好的的信息，以便使用者可以看到好友的个人简介、状态更新以及分享和互动内容，使用者也可以看到他正在体验什么、玩过什么游戏、看过什么电影。使用者也可以邀请他来加入使用者将要参加的一项新活动。
社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，以下对上述各单元的功能进行详细说明。
眼神交流再现单元用以通过感测眼睛的注视焦点的位置，来识别对象是否在注视使用者、使用者知道对方在看什么、对方也知道使用者在看什么，此对于虚拟社交中的沟通真实感提升起到极大的帮助。
嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，从而更方便使用者知道对方什么时候在说话，什么时候停止说话，还有使用者说话的时候使用者可以看见对方在听。同时，声音能够极大地提高临场感，因为使用者能根据一个人的声音定位对方在空间中的位置，能通过声音判断对方说话的地方离使用者的远近。
肢体动作展现单元用以通过展现头部的动作(如点头认可、摇头不同意等)和手部的动作(如挥手打招呼或再见、握手问候、手势等)来增强用户虚拟现实社交时的真实感，因为语音是社交中最基础的部分，而头和手的肢体语言负责配合，此与现实生活中和别人交流一样。
动作姿势判断单元用以判断对方的动作姿势，比如使用者和好友一起在虚拟现实世界看电影时，使用者侧身和好友交流，使用者会看到使用者的朋友的侧脸，如果使用者的朋友转过来和使用者说话时，使用者可以看到他大半部分正脸。同时这个距离也是用户习惯的安全距离，增加用户的临场感。比如使用者和使用者的好友一起在虚拟现实世界玩搭积木的游戏时，使用者可以看到他的一个真实的3D身体模型在使用者面前，使用者可以看到他的所有手部动作以及完成的积木搭建，使用者们可以协作完成积木的搭建。当然在此过程中，使用者们可以完成眼神、语音和手势的沟通和交流。从而产生一种真实临场感：对方就在这里，他是实实在在的一个人。与此同时，两人一起玩虚拟现实中游戏(比如一起堆积木或打乒乓球)的时候，更少的会去想他是不是真实的在那里，而是会把注意力更多地放在两一起做游戏所带来的快乐上，这种注意力转移更会提升虚拟现实的沉浸感。
与现有技术相比较，本发明具有如下优点：(1)本发明方法可以大大提供虚拟现实社交的真实感和沉浸感；(2)本发明方法适合一对一，一对多以及多对多等多种社交互动场景；(3)本发明方法可大大提高虚拟现实产品的留存率和活跃率；(4)本发明方法具有通用性和普适性，可应用与增强现实和混合现实等产品应用领域，具有良好的市场推广前景。
本领域的普通技术人员可以意识到，结合本文中所公开的实施例所描述的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件与软件的可互换性，在上述的说明中已经按照功能一般性地描述了各示例的组成和步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实现。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、CD-ROM或本技术领域内所公知的任意其他形式的存储介质中。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (5)
1.一种虚拟现实社交实现系统，包括社交环境搭建装置与社交细节实现装置，其中社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，其中脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建，动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，身体模型重建单元用以构建使用者的身体模型，真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中；眼神交流再现单元用以感测眼睛的注视焦点的位置，嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量来真实地呈现使用者说话时的嘴型动画，肢体动作展现单元用以通过展现头部的动作和手部的动作来增强用户虚拟现实社交时的真实感，动作姿势判断单元用以判断对方的动作姿势，身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据，这个身体模型是由多台相机包围一个人物做三维扫描来实现，其中身体模型数据由三个部分构成：身体参数、基本属性以及附属，身体参数包括身高、体重、提醒、肤色以及毛发元素，基本属性包括人种、性别和年龄元素，附属包括服饰、发型和纹身元素。
2.如权利要求1所述的虚拟现实社交实现系统，其特征在于：脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情，嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型，人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。
3.如权利要求1所述的虚拟现实社交实现系统，其特征在于：动作捕捉与互动单元通过VR头盔内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。
4.如权利要求1所述的虚拟现实社交实现系统，其特征在于：其中真实环境还原单元包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块。
5.如权利要求1所述的虚拟现实社交实现系统，其特征在于：其中360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原的场景的创建；公共和私人空间的创建模块用以创建公共和私人的空间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入，社交活动类型创建模块用以创建虚拟现实世界中的社交流动类型，为约会聚餐、当面交流、看电影、玩游戏；好友列表创建模块用以创建使用者的在线好友、离线好友以及新增好友列表；交流模式创建模块用以创建虚拟现实世界中的交流模式，如和周围人会去解释说明、陈述和人际交往互动；好友信息创建模块为使用者创建好的的信息，以便使用者可以看到好友的个人简介、状态更新以及分享和互动内容，使用者也可以看到他正在体验什么、玩过什么游戏、看过什么电影，使用者也可以邀请他来加入使用者将要参加的一项新活动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611025697.3A CN106648071B (zh) | 2016-11-21 | 2016-11-21 | 虚拟现实社交实现系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611025697.3A CN106648071B (zh) | 2016-11-21 | 2016-11-21 | 虚拟现实社交实现系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106648071A CN106648071A (zh) | 2017-05-10 |
| CN106648071B true CN106648071B (zh) | 2019-08-20 |
Family
ID=58808488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611025697.3A Active CN106648071B (zh) | 2016-11-21 | 2016-11-21 | 虚拟现实社交实现系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106648071B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10701318B2 (en) | 2015-08-14 | 2020-06-30 | Pcms Holdings, Inc. | System and method for augmented reality multi-view telepresence |
| US10762712B2 (en) | 2016-04-01 | 2020-09-01 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
| CN206387961U (zh) | 2016-12-30 | 2017-08-08 | 孙淑芬 | 头戴显示设备 |
| CN107277599A (zh) * | 2017-05-31 | 2017-10-20 | 珠海金山网络游戏科技有限公司 | 一种虚拟现实的直播方法、装置和系统 |
| US10841537B2 (en) * | 2017-06-09 | 2020-11-17 | Pcms Holdings, Inc. | Spatially faithful telepresence supporting varying geometries and moving users |
| CN107392783B (zh) * | 2017-07-05 | 2020-07-07 | 龚少卓 | 基于虚拟现实的社交方法及装置 |
| CN109783112A (zh) * | 2017-11-13 | 2019-05-21 | 深圳市创客工场科技有限公司 | 虚拟环境与物理硬件的交互方法、装置和存储介质 |
| EP3743901A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES |
| EP3524926B1 (en) | 2018-02-08 | 2020-05-20 | Leica Geosystems AG | Augmented reality-based system with perimeter definition functionality and corresponding inspection method |
| CN108416420A (zh) * | 2018-02-11 | 2018-08-17 | 北京光年无限科技有限公司 | 基于虚拟人的肢体交互方法及系统 |
| CN109447020A (zh) * | 2018-11-08 | 2019-03-08 | 郭娜 | 基于全景肢体动作的交互方法及系统 |
| CN109800645A (zh) * | 2018-12-18 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种动作捕捉系统及其方法 |
| CN110047119B (zh) * | 2019-03-20 | 2021-04-13 | 北京字节跳动网络技术有限公司 | 包含动态背景的动画生成方法、装置及电子设备 |
| CN110210449B (zh) * | 2019-06-13 | 2022-04-26 | 青岛虚拟现实研究院有限公司 | 一种用于虚拟现实交友的人脸识别系统及方法 |
| CN111881807A (zh) * | 2020-07-23 | 2020-11-03 | 深圳市凯达尔科技实业有限公司 | 基于人脸建模及表情追踪的vr会议控制系统及方法 |
| CN112121436B (zh) * | 2020-09-18 | 2024-02-09 | 网易（杭州）网络有限公司 | 游戏数据处理方法及装置 |
| CN113012501B (zh) * | 2021-03-18 | 2023-05-16 | 深圳市天天学农网络科技有限公司 | 一种远程教学方法 |
| CN113593351B (zh) * | 2021-09-27 | 2021-12-17 | 华中师范大学 | 一种立体综合教学场系统的工作方法 |
| US11410570B1 (en) | 2021-09-27 | 2022-08-09 | Central China Normal University | Comprehensive three-dimensional teaching field system and method for operating same |
| CN115719552A (zh) * | 2022-11-18 | 2023-02-28 | 上海域圆信息科技有限公司 | 一种基于xr技术的远程手术教学系统及其教学方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101256673A (zh) * | 2008-03-18 | 2008-09-03 | 中国计量学院 | 用于在实时视频跟踪系统中跟踪手臂运动的方法 |
| CN101539804A (zh) * | 2009-03-11 | 2009-09-23 | 上海大学 | 基于增强虚拟现实与异型屏的实时人机互动方法及系统 |
| CN101566828A (zh) * | 2009-04-20 | 2009-10-28 | 西北工业大学 | 一种虚拟人嘴部运动控制方法 |
| KR20120108329A (ko) * | 2011-03-23 | 2012-10-05 | 계명대학교 산학협력단 | 태아와의 교감 서비스 제공 방법 및 시스템 |
| CN102789313A (zh) * | 2012-03-19 | 2012-11-21 | 乾行讯科（北京）科技有限公司 | 一种用户交互系统和方法 |
| CN105323129A (zh) * | 2015-12-04 | 2016-02-10 | 上海弥山多媒体科技有限公司 | 一种家庭虚拟现实娱乐系统 |
| CN105931283A (zh) * | 2016-04-22 | 2016-09-07 | 南京梦宇三维技术有限公司 | 一种基于动作捕捉大数据的三维数字内容智能制作云平台 |
-
2016
- 2016-11-21 CN CN201611025697.3A patent/CN106648071B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101256673A (zh) * | 2008-03-18 | 2008-09-03 | 中国计量学院 | 用于在实时视频跟踪系统中跟踪手臂运动的方法 |
| CN101539804A (zh) * | 2009-03-11 | 2009-09-23 | 上海大学 | 基于增强虚拟现实与异型屏的实时人机互动方法及系统 |
| CN101566828A (zh) * | 2009-04-20 | 2009-10-28 | 西北工业大学 | 一种虚拟人嘴部运动控制方法 |
| KR20120108329A (ko) * | 2011-03-23 | 2012-10-05 | 계명대학교 산학협력단 | 태아와의 교감 서비스 제공 방법 및 시스템 |
| CN102789313A (zh) * | 2012-03-19 | 2012-11-21 | 乾行讯科（北京）科技有限公司 | 一种用户交互系统和方法 |
| CN105323129A (zh) * | 2015-12-04 | 2016-02-10 | 上海弥山多媒体科技有限公司 | 一种家庭虚拟现实娱乐系统 |
| CN105931283A (zh) * | 2016-04-22 | 2016-09-07 | 南京梦宇三维技术有限公司 | 一种基于动作捕捉大数据的三维数字内容智能制作云平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106648071A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106648071B (zh) | 虚拟现实社交实现系统 | |
| KR102601622B1 (ko) | 가상 아바타들의 콘텍스추얼 기반 렌더링 | |
| US10636217B2 (en) | Integration of tracked facial features for VR users in virtual reality environments | |
| US11348300B2 (en) | Avatar customization for optimal gaze discrimination | |
| Gonzalez-Franco et al. | Using facial animation to increase the enfacement illusion and avatar self-identification | |
| JP2022050513A (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
| US20160134840A1 (en) | Avatar-Mediated Telepresence Systems with Enhanced Filtering | |
| JP6462059B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
| US12014455B2 (en) | Audiovisual presence transitions in a collaborative reality environment | |
| US11423627B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| Hart et al. | Emotion sharing and augmentation in cooperative virtual reality games | |
| US12020389B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| CN114787759A (zh) | 交流支持程序、交流支持方法、交流支持系统、终端装置以及非语言表达程序 | |
| Tang et al. | Alterecho: Loose avatar-streamer coupling for expressive vtubing | |
| CN106774897A (zh) | 虚拟机器人的方法和装置以及使用其的眼镜或头盔 | |
| CN113766168A (zh) | 一种互动处理方法、装置、终端及介质 | |
| EP4097685A1 (en) | Neutral avatars | |
| Nijholt | Capturing obstructed nonverbal cues in augmented reality interactions: a short survey | |
| US20230386147A1 (en) | Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements | |
| Ballin et al. | A framework for interpersonal attitude and non-verbal communication in improvisational visual media production | |
| Kennedy | Acting and its double: A practice-led investigation of the nature of acting within performance capture | |
| Ladwig et al. | Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence | |
| Cleland | Image avatars: Self-other encounters in a mediated world | |
| JP6999538B2 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
| Delaunay | A retro-projected robotic head for social human-robot interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230306 Address after: Room 901-3029, Building 4, No. 2377, Shenkun Road, Minhang District, Shanghai, 201100 Patentee after: Oumaten exhibition technology (Shanghai) Co.,Ltd. Address before: Room 818, block B, building 1, 977 Shangfeng Road, Pudong New Area, Shanghai 201201 Patentee before: JRD COMMUNICATION TECHNOLOGY (SHANGHAI) Ltd. |
|
| TR01 | Transfer of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Virtual Reality Social Implementation System Effective date of registration: 20230703 Granted publication date: 20190820 Pledgee: Jiangsu Bank Co.,Ltd. Shanghai Minhang Branch Pledgor: Oumaten exhibition technology (Shanghai) Co.,Ltd. Registration number: Y2023310000333 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |