CN112115823A - 一种基于情感化身的混合现实协同系统 - Google Patents

一种基于情感化身的混合现实协同系统 Download PDF

Info

Publication number
CN112115823A
CN112115823A CN202010926545.0A CN202010926545A CN112115823A CN 112115823 A CN112115823 A CN 112115823A CN 202010926545 A CN202010926545 A CN 202010926545A CN 112115823 A CN112115823 A CN 112115823A
Authority
CN
China
Prior art keywords
information
emotion
avatar
client
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010926545.0A
Other languages
English (en)
Inventor
闵海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ruike Technology Co ltd
Original Assignee
Jiangsu Ruike Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ruike Technology Co ltd filed Critical Jiangsu Ruike Technology Co ltd
Priority to CN202010926545.0A priority Critical patent/CN112115823A/zh
Priority to PCT/CN2020/115088 priority patent/WO2022047827A1/zh
Publication of CN112115823A publication Critical patent/CN112115823A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Abstract

一种基于情感化身的混合现实协同系统，其包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的AHMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的BHMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。本系统使得协同者可以通过情感化身可以进行非语言沟通，提高了信息传递效率；同时提供了一种真实的交际手段，降低了协同者的认知负荷，有利于促进交流、降低任务难度、提高工作效率。

Description

一种基于情感化身的混合现实协同系统
【技术领域】
本发明涉及混合现实技术领域，具体为一种基于情感化身的混合现实协同系统。
【背景技术】
远程协同技术可以有效帮助协同者跨越时空限制进行交流互动，使得协同者能够在无法亲临现场时进行协同作业。传统的远程协同系统多以文本、语音、视频传递信息。其表达方式不直观，指代不明容易造成误解，且信息传递效率低。
混合现实，简称MR，它制造的虚拟景象可以进入现实的生活同时能够认识你，比如通过我们的设备，你在眼睛当中看到一个景象可以测量出现实生活中物体的尺度和方位，其最大的特点在于虚拟世界和现实世界可以互动。
由此可见，提供一种基于情感化身的混合现实协同系统是本领域亟需解决问题。
【发明内容】
针对上述问题，本发明提供一种基于情感化身的混合现实协同系统，其包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的A HMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的B HMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。
进一步的，所述采集模块包括手势识别模块、眼动追踪模块、相机、面部表情识别模块、头部定位模块。
进一步的，所述基于情感化身的混合现实协同系统工作过程包括以下步骤：
步骤1：构建协同空间；
步骤2：获取手部信息；
步骤3：获取头部信息；
步骤4：获取眼动和面部表情信息；
步骤5：服务器构建情感化身；
步骤6：在客户端和HMD设备进行渲染显示。
进一步的，所述步骤2中，获取手部信息采用的是Leap motion设备，识别包括手掌、手指、关节、关节点、手腕、手臂位置，记录各关键点位置Position(x,y,z)和旋转Rotation(x,y,z,w)。
进一步的，所述步骤3中，获取头部信息记录头部位姿Ph，包括位置Position(x,y,z)和旋转Rotation(x,y,z,w)。
进一步的，所述步骤4中通过HTC Pro eye眼动追踪模块，获取包括瞳距、眼球位置信息；通过相机拍摄人体正面，采集图像，获取其余面部信息。
本发明基于情感化身的混合现实协同系统具有以下有益效果：
1.通过构建真人大小的情感化身，共享协同者的状态信息，如动作、行为、表情、眼神等，实现更自然、直观的非语言交流，反映的精神状态和情绪波动，增强用户体验，提高信息传递效率。
2.本系统使得协同者可以通过情感化身可以进行非语言沟通，提高了信息传递效率；同时提供了一种真实的交际手段，降低了协同者的认知负荷，有利于促进交流、降低任务难度、提高工作效率。
【附图说明】
图1是本发明基于情感化身的混合现实协同系统的架构图。
【具体实施方式】
本发明所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。
参见图1所示，给出了本发明一种基于情感化身的混合现实协同系统的架构图，处于异地的A协同者和B协同者通过本系统实现远程协同，本系统分为三部分，分别为A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的A HMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的B HMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。
通过A采集模块采集采集A协同者的动态信息，A采集模块将动态信息传递至A客户端，A客户端将动态信息通过服务器处理与计算后发送给B客户端，B客户端接收自服务器处理和计算后的动态信息，并加载预制体，之后通过B HMD设备渲染显示；同理，通过B采集模块采集采集B协同者的动态信息，B采集模块将动态信息传递至B客户端，B客户端将动态信息通过服务器处理与计算后发送给A客户端，A客户端接收自服务器处理和计算后的动态信息，并加载预制体，之后通过A HMD设备渲染显示。
所述采集模块包括手势识别模块、眼动追踪模块、相机、面部表情识别模块、头部定位模块；所述手势识别模块用于识别A协同者和B协同者的手势及手部信息，所述眼动追踪模块用于获取眼动信息，所述相机用于获取面部信息，所述面部表情识别模块根据面部图像进行面部识别，所述头部定位模块用于定位追踪头部位置，所述客户端用于加载预制体，所述服务器用于处理XML文件，构建情感化身，所述预制体为虚拟化数字人体模型。
本系统的具体工作过程和原理如下：
步骤1：构建协同空间
1.1：连接服务器和客户端，统一坐标系，基于socket构建“客户端-服务器-客户端”系统进行通讯。
1.2：连接HTC VIVE和leapmotion，将leapmotion设备安装在HMD设备上方，完成标定获得leapmotion与HTC vive头显的转换矩阵Thh＝[R|t]；确认leapmotion固定位置，测量其相对于HMD设备的空间状态，计算可得旋转矩阵R；将定位器至于相同位置，记录定位器坐标p,结合定位器和leapmotion的几何尺寸，计算其中心相对位移t1，可得平移矩阵t＝p+t1。
步骤2：获取手部信息
使用手势识别模块，进行手势识别，可获取手部关键点相对位姿Phand，所述手势识别模块为Leap motion设备，识别包括手掌、手指、关节、关节点、手腕、手臂等，记录各关键点位置Position(x,y,z)和旋转Rotation(x,y,z,w)，将采集到的手部信息发送到客户端，客户端生成包含头部信息的XML格式文件，并发送到服务器。
步骤3：获取头部信息
使用头部定位模块获取头部信息，记录头部位姿Ph，包括位置Position(x,y,z)和旋转Rotation(x,y,z,w)，并将采集的头部信息传递给客户端，客户端生成包含头部信息的XML格式文件，并发送到服务器。
步骤4：获取眼动和面部表情信息
通过眼动追踪模块获取眼动信息，所述眼动追踪模块为HTC Proeye眼动追踪模块，获取包括瞳距、眼球位置等信息；通过相机拍摄人体正面，采集图像，获取其余面部信息；在记录眼动信息和面部信息时按照获取时间进行配对，保证时间戳一致，即面部信息和眼动信息为同一时刻；将眼动信息和面部信息作为输入，使用MTCNN算法进行识别，生成重构的面部表情图像；使用DeRF算法对重构的面部表情进行识别并做记录，将采集到的眼动和面部表情信息发送到客户端，客户端生成包含头部信息的XML格式文件，并发送到服务器。
步骤5：服务器构建情感化身
服务器接收来自其中一个客户端的XML文件，根据XML数据计算情感化身的位姿，读取XML文件记录的头部位置Ph、leapmotion设备与头部中心的坐标转换矩阵Thh，根据头部位置可知大致身体状态，如高度z，空间位置坐标(x,y)，根据leapmotion设备获取的手部位姿相对坐标Phand，经坐标转换可知其相对头部位置Phh＝Thh·Phand；服务器将构建完成的情感化身记录为XML文件，包括身体位姿、手部位姿、表情等信息，发送给另外一个客户端。
步骤6：在客户端和HMD设备进行渲染显示
客户端接收来自服务器的XML文件，并加载提前建立在客户端中的预制体，在预制体面部还原表情信息，根据记录的眼动信息，调整预制体的瞳距和眼球位姿，读取XML文件记录的手部动作和头部位置，将位姿赋值给预制体对应的各关键点，读取XML文件记录的头部位置Ph、手部各关键点位置Phh，将位置坐标点赋予预制体的位置Position(x,y,z)和旋转Rotation(x,y,z,w)，根据手部位置Phh确定手部空间坐标，将变换后的位姿赋值给预制体对应关键点的位置Position(x,y,z)和旋转Rotation(x,y,z,w)，包括手掌、手指、关节、关节点、手腕、手臂等；之后使用unity3D软件在HMD设备上进行渲染显示。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于情感化身的混合现实协同系统，其特征在于，所述系统包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的A HMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的B HMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。
2.根据权利要求1所述的基于情感化身的混合现实协同系统，其特征在于，所述采集模块包括手势识别模块、眼动追踪模块、相机、面部表情识别模块、头部定位模块。
3.根据权利要求1所述的基于情感化身的混合现实协同系统，其特征在于，所述基于情感化身的混合现实协同系统工作过程包括以下步骤：
步骤1：构建协同空间；
步骤2：获取手部信息；
步骤3：获取头部信息；
步骤4：获取眼动和面部表情信息；
步骤5：服务器构建情感化身；
步骤6：在客户端和HMD设备进行渲染显示。
4.根据权利要求3所述的基于情感化身的混合现实协同系统，其特征在于，所述步骤2中，获取手部信息采用的是Leap motion设备，识别包括手掌、手指、关节、关节点、手腕、手臂位置，记录各关键点位置Position(x,y,z)和旋转Rotation(x,y,z,w)。
5.根据权利要求3所述的基于情感化身的混合现实协同系统，其特征在于，所述步骤3中，获取头部信息记录头部位姿Ph，包括位置Position(x,y,z)和旋转Rotation(x,y,z,w)。
6.根据权利要求3所述的基于情感化身的混合现实协同系统，其特征在于，所述步骤4中通过HTC Pro eye眼动追踪模块，获取包括瞳距、眼球位置信息；通过相机拍摄人体正面，采集图像，获取其余面部信息。
CN202010926545.0A 2020-09-07 2020-09-07 一种基于情感化身的混合现实协同系统 Pending CN112115823A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010926545.0A CN112115823A (zh) 2020-09-07 2020-09-07 一种基于情感化身的混合现实协同系统
PCT/CN2020/115088 WO2022047827A1 (zh) 2020-09-07 2020-09-14 一种基于情感化身的混合现实协同系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010926545.0A CN112115823A (zh) 2020-09-07 2020-09-07 一种基于情感化身的混合现实协同系统

Publications (1)

Publication Number Publication Date
CN112115823A true CN112115823A (zh) 2020-12-22

Family

ID=73802089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010926545.0A Pending CN112115823A (zh) 2020-09-07 2020-09-07 一种基于情感化身的混合现实协同系统

Country Status (2)

Country Link
CN (1) CN112115823A (zh)
WO (1) WO2022047827A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703583A (zh) * 2021-09-08 2021-11-26 厦门元馨智能科技有限公司 一种多模态交叉融合的虚拟影像融合系统、方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198121A1 (en) * 2012-04-09 2014-07-17 Xiaofeng Tong System and method for avatar generation, rendering and animation
CN106662925A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 使用头戴式显示器设备的多用户注视投影
CN109643145A (zh) * 2016-09-22 2019-04-16 苹果公司 具有世界传感器和用户传感器的显示系统
CN109643161A (zh) * 2016-06-30 2019-04-16 索尼互动娱乐股份有限公司 动态进入和离开由不同hmd用户浏览的虚拟现实环境

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102574874B1 (ko) * 2017-02-03 2023-09-05 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198121A1 (en) * 2012-04-09 2014-07-17 Xiaofeng Tong System and method for avatar generation, rendering and animation
CN106662925A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 使用头戴式显示器设备的多用户注视投影
CN109643161A (zh) * 2016-06-30 2019-04-16 索尼互动娱乐股份有限公司 动态进入和离开由不同hmd用户浏览的虚拟现实环境
CN109643145A (zh) * 2016-09-22 2019-04-16 苹果公司 具有世界传感器和用户传感器的显示系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703583A (zh) * 2021-09-08 2021-11-26 厦门元馨智能科技有限公司 一种多模态交叉融合的虚拟影像融合系统、方法、装置

Also Published As

Publication number Publication date
WO2022047827A1 (zh) 2022-03-10

Similar Documents

Publication Publication Date Title
US20210177124A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
EP3825962A2 (en) Virtual object driving method, apparatus, electronic device, and readable storage medium
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
JP7200439B1 (ja) アバター表示装置、アバター生成装置及びプログラム
CN111526118A (zh) 一种基于混合现实的远程操作引导系统及方法
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
Capin et al. Realistic avatars and autonomous virtual humans in: VLNET networked virtual environments
JP2020065229A (ja) 映像通信方法、映像通信装置及び映像通信プログラム
CN113689577A (zh) 虚拟三维模型与实体模型匹配的方法、系统、设备及介质
CN112115823A (zh) 一种基于情感化身的混合现实协同系统
CN114615455A (zh) 远程会议的处理方法、装置、会议系统和存储介质
CN111399662B (zh) 基于高真实感虚拟化身的人与机器人交互仿真装置及方法
CN111383313B (zh) 一种虚拟模型渲染方法、装置、设备及可读存储介质
CN112330753A (zh) 一种增强现实系统的目标检测方法
CN117111724A (zh) 一种用于xr的数据处理方法及系统
CA3226429A1 (en) System and apparatus for remote interaction with an object
CN114267070A (zh) 一种可捕捉人体动作和表情的vr眼镜及其捕捉方法
CN114169546A (zh) 一种基于深度学习的mr远程协同装配系统及方法
CN112927330A (zh) 用于生成虚拟人体图像的方法和系统
CN210025305U (zh) 一种服务机器人系统
CN109785364B (zh) 机动车辆使用者运动轨迹捕捉方法
CN113342167B (zh) 一种基于多人视角定位空间交互ar实现方法和系统
JP2019040357A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Luo et al. A Robotic Arm-based Telepresence for Mixed-Reality Telecollaboration System
CN117788699A (zh) 基于单目视频的高质量眼部动态重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination