CN106951095A - 基于三维扫描技术的虚拟现实互动方法以及系统 - Google Patents

基于三维扫描技术的虚拟现实互动方法以及系统 Download PDF

Info

Publication number
CN106951095A
CN106951095A CN201710223054.8A CN201710223054A CN106951095A CN 106951095 A CN106951095 A CN 106951095A CN 201710223054 A CN201710223054 A CN 201710223054A CN 106951095 A CN106951095 A CN 106951095A
Authority
CN
China
Prior art keywords
user
virtual reality
model
face
magnetic field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710223054.8A
Other languages
English (en)
Inventor
胡轩阁
柏浩鑫
魏开昊
赵毅鹏
师卓颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710223054.8A priority Critical patent/CN106951095A/zh
Publication of CN106951095A publication Critical patent/CN106951095A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于三维扫描技术的虚拟现实互动方法以及系统，涉及虚拟现实技术领域，通过应用三维扫描技术，能够快速、准确的获取用户面部以及身体信息，并根据所获取的信息，建立人物模型以及动态模型，最终实现三维人物的动态显示，解决当前的虚拟现实技术不能对用户进行实时精确扫描，因此不能制作高精度用户模型，从而导致虚拟现实社交沉浸度低的问题。使虚拟现实服务器可以制作更精密的用户三维模型，并实时表达用户表情与动作。以此实现更高沉浸度虚拟现实体验，优化虚拟现实社交、教育、办公，最终实现虚拟现实社区。

Description

基于三维扫描技术的虚拟现实互动方法以及系统
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种基于三维扫描技术的虚拟现实互动方法以及系统。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合、交互式的三维动态视景和实体行为的仿真系统，仿真系统能够使用户沉浸到该环境中。
当前的虚拟现实技术不能对用户进行实时精确扫描，因此不能制作高精度用户模型，从而导致虚拟现实社交沉浸度低的问题。若想实现大量动作输入，则需要佩戴多个传感设备，对用户的沉浸度体验有所阻碍。
发明内容
针对上述缺陷或不足，本发明的目的在于提供一种基于三维扫描技术的虚拟现实互动方法以及系统。
本发明的技术方案为：
一种基于三维扫描技术的虚拟现实互动方法，包括以下步骤：
1)、通过面部三维磁场扫描器进行用户面部扫描，获取用户面部动态信息；通过场景三维磁场扫描器进行用户身体扫描，获取用户身体与动作信息；
2)、将所获取的用户面部动态信息以及用户身体与动作信息进行信息处理，建立用户面部与身体的以及可视化的人物模型；
3)、选取动态模型中用户面部与身体的移动关键点，并根据所选取的移动关键点，将所述动态模型简化为框架动作模型；
4)、根据所述框架动作模型，对步骤2)建立的人物模型进行对应动作的处理，把步骤3)建立的动作框架模型实时匹配到人物模型上，使得人物模型的面部以及身体做出相对应的动作；
5)、将人物模型发送到虚拟现实显示装置端，以使得所有用户看到其他用户的面部表情与身体动作及变化情况。
一种基于三维扫描技术的虚拟现实系统，包括：虚拟现实显示器以及三维磁场扫描装置，所述三维磁场扫描装置的输出端连接有，信息处理装置，所述信息处理装置的输出端与虚拟现实显示器相连接；
所述三维磁场扫描装置用于对用户的面部以及身体动作进行扫描，获取用户面部动态信息和用户身体与动作信息；
所述信息处理装置用于将用户面部动态信息和用户身体与动作信息进行可视化处理，建立可视化的人物模型；
虚拟现实显示器用于将可视化的人物模型在用户眼前进行显示。
所述信息处理装置为服务器，具体用于：
将所获取的用户面部动态信息以及用户身体与动作信息进行信息处理，建立用户面部与身体的动态模型以及人物模型；选取用户面部与身体的移动关键点，并根据所选取的移动关键点，将所述动态模型简化为框架动作模型；动作框架模型实时匹配到人物模型上，使得人物模型的面部以及身体做出相对应的动作。
所述虚拟现实显示器为虚拟显示眼镜。
所述三维磁场扫描装置包括面部三维磁场扫描装置和身体三维磁场扫描装置。
所述面部三维磁场扫描装置设置于虚拟显示装置上。
与现有技术比较，本发明的有益效果为：
本发明提供了一种基于三维扫描技术的虚拟现实互动方法以及系统，通过应用三维扫描技术，能够快速、准确的获取用户面部以及身体信息，并根据所获取的信息，建立人物模型以及动态模型，最终实现三维人物的动态显示，解决当前的虚拟现实技术不能对用户进行实时精确扫描，因此不能制作高精度用户模型，从而导致虚拟现实社交沉浸度低的问题。使虚拟现实服务器可以制作更精密的用户三维模型，并实时表达用户表情与动作。以此实现更高沉浸度虚拟现实体验，优化虚拟现实社交、教育、办公，最终实现虚拟现实社区。
附图说明
图1是本发明方法流程框图；
图2是本发明系统结构示意图。
具体实施方式
下面结合附图对本发明做详细描述。
如图1所示，本发明提供了一种基于三维扫描技术的虚拟现实互动方法，
包括以下步骤：
1)、通过面部三维磁场扫描器进行用户面部扫描，获取用户面部动态信息；通过场景三维磁场扫描器进行用户身体扫描，获取用户身体与动作信息；
三维(3D)磁场扫描技术：三维磁场扫描是一种利用磁场获得物体空间位置和空间姿态的方法，较于其他扫描方式，此方式具有无损伤、无辐射、无遮挡问题、操作简便、定位准确、定位信息完备，可实现定位三维六自由度即三自由度位置和三自由度方向的优点。它以磁场源为中心作为坐标原点，通过改变三轴线圈的电流强度实现空间磁感应强度最大值指向的旋转。假设传感器相对于磁场源中心的位置通过经纬度(α，β)和距离R来定义，三轴线圈激励电流强度分别为I1、I2、I3。在电扫描的过程中，需保证三轴电流合成后的模一致，为简化起见，假设模为1，则三轴线圈激励电流强度需满足三个方向电流强度I1、I2、I3的平方和为1。
人的面部形状及变化包含许多数据。通过分析这些数据，可以得出有关人心理的信息。获取人面部数据的方法为：在传统的虚拟现实设备的基础上附带面部扫描装置。采用三维磁场扫描技术，即在人面部产生磁场，磁场扫描人面部形状及变化并将其记录。面部三维磁场扫描器可以获取用户的面部动态信息。场景三维磁场扫描器可以在用户所在的场景获取用户动作信息。虚拟现实眼镜将扫描器获取的信息构建动态模型并将动态模型发送到虚拟现实眼镜显示器和信息处理端。用户可以选择是否开启面部三维磁场扫描器以及是否开启场景三维磁场扫描器，可选择只输入其中一项信息或多项信息。
2)、将所获取的用户面部动态信息以及用户身体与动作信息进行信息处理，建立用户面部与身体的动态模型以及可视化的人物模型；
3)、选取动态模型中用户面部与身体的移动关键点，并根据所选取的移动关键点，将所述动态模型简化为框架动作模型；简化为框架动作模型的作用为：简化数据，从而优化处理；具体步骤：选取表情与动作变化时面部与身体上变化明显的部位(即关键点)，根据所选取的关键点信息构建反映用户表情与动作的框架模型。
4)、根据所述框架动作模型，对步骤2)建立的人物模型进行对应动作的处理，把步骤3)建立的动作框架模型实时匹配到人物模型上，使得人物模型的面部以及身体做出相对应的动作；
5)、将人物模型发送到虚拟现实显示装置端，以使得所有用户看到其他用户的面部表情与身体动作及变化情况。
如图2所示，本发明提供了一种基于三维扫描技术的虚拟现实系统，包括：虚拟现实显示器1以及三维磁场扫描装置2，所述三维磁场扫描装置2的输出端连接有，信息处理装置3，所述信息处理装置3的输出端与虚拟现实显示器1相连接；
所述三维磁场扫描装置2用于对用户的面部以及身体动作进行扫描，获取用户面部动态信息和用户身体与动作信息；所述三维磁场扫描装置2包括面部三维磁场扫描装置和身体三维磁场扫描装置。
所述信息处理装置3用于将用户面部动态信息和用户身体与动作信息进行可视化处理，建立可视化的人物模型；所述信息处理装置3为服务器，具体用于：
将所获取的用户面部动态信息以及用户身体与动作信息进行信息处理，建立用户面部与身体的动态模型以及人物模型；选取用户面部与身体的移动关键点，并根据所选取的移动关键点，将所述动态模型简化为框架动作模型；动作框架模型实时匹配到人物模型上，使得人物模型的面部以及身体做出相对应的动作。
虚拟现实显示器1用于将可视化的人物模型在用户眼前进行显示，示例性的，所述虚拟现实显示器1为虚拟显示眼镜，在虚拟显示眼镜上设置面部三维磁场扫描器，用于扫描用户面部，实时反馈面部高精度模型；同时配备场景三维磁场扫描器，可用于扫描用户动作，实时反馈用户身体动态模型。
本发明中面部三维磁场扫描器连接到虚拟现实眼镜主板接口上,场景三维磁场扫描器和主机连接到同一个WLAN上，通过WLAN进行通信,虚拟现实眼镜虚拟现实主机连接到同一个WLAN上，通过WLAN进行通信,面部三维磁场扫描器扫描的数据通过WLAN发送到主机内存中,场景三维磁场扫描器扫描到数据通过WLAN发送到主机内存中,主机利用数据建立面部动态模型,主机将模型通过网络将文件发送到服务器。
本发明解决当前的虚拟现实技术不能对用户进行实时精确扫描，因此不能制作高精度用户模型，从而导致虚拟现实社交沉浸度低的问题。使虚拟现实服务器可以制作更精密的用户三维模型，并实时表达用户表情与动作。以此实现更高沉浸度虚拟现实体验，优化虚拟现实社交、教育、办公，最终实现虚拟现实社区。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于三维扫描技术的虚拟现实互动方法，其特征在于，包括以下步骤：
1)、通过面部三维磁场扫描器进行用户面部扫描，获取用户面部动态信息；通过场景三维磁场扫描器进行用户身体扫描，获取用户身体与动作信息；
2)、将所获取的用户面部动态信息以及用户身体与动作信息进行信息处理，建立用户面部与身体的以及可视化的人物模型；
3)、选取动态模型中用户面部与身体的移动关键点，并根据所选取的移动关键点，将所述动态模型简化为框架动作模型；
4)、根据所述框架动作模型，对步骤2)建立的人物模型进行对应动作的处理，把步骤3)建立的动作框架模型实时匹配到人物模型上，使得人物模型的面部以及身体做出相对应的动作；
5)、将人物模型发送到虚拟现实显示装置端，以使得所有用户看到其他用户的面部表情与身体动作及变化情况。
2.一种基于三维扫描技术的虚拟现实系统，其特征在于，包括：虚拟现实显示器(1)以及三维磁场扫描装置(2)，所述三维磁场扫描装置(2)的输出端连接有，信息处理装置(3)，所述信息处理装置(3)的输出端与虚拟现实显示器(1)相连接；
所述三维磁场扫描装置(2)用于对用户的面部以及身体动作进行扫描，获取用户面部动态信息和用户身体与动作信息；
所述信息处理装置(3)用于将用户面部动态信息和用户身体与动作信息进行可视化处理，建立可视化的人物模型；
虚拟现实显示器(1)用于将可视化的人物模型在用户眼前进行显示。
3.根据权利要求2所述的基于三维扫描技术的虚拟现实系统，其特征在于，所述信息处理装置(3)为服务器，具体用于：
将所获取的用户面部动态信息以及用户身体与动作信息进行信息处理，建立用户面部与身体的动态模型以及人物模型；选取用户面部与身体的移动关键点，并根据所选取的移动关键点，将所述动态模型简化为框架动作模型；动作框架模型实时匹配到人物模型上，使得人物模型的面部以及身体做出相对应的动作。
4.根据权利要求2所述的基于三维扫描技术的虚拟现实系统，其特征在于，所述虚拟现实显示器(1)为虚拟显示眼镜。
5.根据权利要求2所述的基于三维扫描技术的虚拟现实系统，其特征在于，所述三维磁场扫描装置(2)包括面部三维磁场扫描装置和身体三维磁场扫描装置。
6.根据权利要求5所述的基于三维扫描技术的虚拟现实系统，其特征在于，所述面部三维磁场扫描装置设置于虚拟显示装置上。
CN201710223054.8A 2017-04-07 2017-04-07 基于三维扫描技术的虚拟现实互动方法以及系统 Pending CN106951095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710223054.8A CN106951095A (zh) 2017-04-07 2017-04-07 基于三维扫描技术的虚拟现实互动方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710223054.8A CN106951095A (zh) 2017-04-07 2017-04-07 基于三维扫描技术的虚拟现实互动方法以及系统

Publications (1)

Publication Number Publication Date
CN106951095A true CN106951095A (zh) 2017-07-14

Family

ID=59475096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710223054.8A Pending CN106951095A (zh) 2017-04-07 2017-04-07 基于三维扫描技术的虚拟现实互动方法以及系统

Country Status (1)

Country Link
CN (1) CN106951095A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646923A (zh) * 2017-12-29 2018-10-12 南京轩世琪源软件科技有限公司 一种带3d扫描装置的虚拟现实显示系统
CN108846885A (zh) * 2018-06-06 2018-11-20 广东您好科技有限公司 一种基于三维扫描的模型活化技术
CN108986191A (zh) * 2018-07-03 2018-12-11 百度在线网络技术（北京）有限公司 人物动作的生成方法、装置及终端设备
CN109410341A (zh) * 2018-11-13 2019-03-01 深圳市虚拟现实科技有限公司 个性化虚拟现实娱乐系统及其方法
CN115880441A (zh) * 2023-02-06 2023-03-31 合肥孪生宇宙科技有限公司 一种3d可视化模拟人物生成方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210234A (ja) * 1994-01-20 1995-08-11 Fujitsu Ltd 操作制御装置および操作制御方法
CN102458595A (zh) * 2009-05-08 2012-05-16 三星电子株式会社 在虚拟世界中控制对象的系统、方法和记录介质
CN102930447A (zh) * 2012-10-22 2013-02-13 广州新节奏数码科技有限公司 一种虚拟穿戴的实现方法及设备
CN103575271A (zh) * 2013-10-29 2014-02-12 复旦大学 基于电控旋转磁场的电磁跟踪系统及方法
CN103631370A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种控制虚拟形象的方法及装置
CN104658022A (zh) * 2013-11-20 2015-05-27 中国电信股份有限公司 三维动画制作方法和装置
CN104700076A (zh) * 2015-02-13 2015-06-10 电子科技大学 人脸图像虚拟样本生成方法
CN106095094A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 增强现实投影与现实交互的方法和装置
CN106462257A (zh) * 2016-07-07 2017-02-22 深圳狗尾草智能科技有限公司 实时互动动画的全息投影系统、方法及人工智能机器人

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210234A (ja) * 1994-01-20 1995-08-11 Fujitsu Ltd 操作制御装置および操作制御方法
CN102458595A (zh) * 2009-05-08 2012-05-16 三星电子株式会社 在虚拟世界中控制对象的系统、方法和记录介质
CN103631370A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种控制虚拟形象的方法及装置
CN102930447A (zh) * 2012-10-22 2013-02-13 广州新节奏数码科技有限公司 一种虚拟穿戴的实现方法及设备
CN103575271A (zh) * 2013-10-29 2014-02-12 复旦大学 基于电控旋转磁场的电磁跟踪系统及方法
CN104658022A (zh) * 2013-11-20 2015-05-27 中国电信股份有限公司 三维动画制作方法和装置
CN104700076A (zh) * 2015-02-13 2015-06-10 电子科技大学 人脸图像虚拟样本生成方法
CN106095094A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 增强现实投影与现实交互的方法和装置
CN106462257A (zh) * 2016-07-07 2017-02-22 深圳狗尾草智能科技有限公司 实时互动动画的全息投影系统、方法及人工智能机器人

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646923A (zh) * 2017-12-29 2018-10-12 南京轩世琪源软件科技有限公司 一种带3d扫描装置的虚拟现实显示系统
CN108646923B (zh) * 2017-12-29 2019-06-14 南京轩世琪源软件科技有限公司 一种带3d扫描装置的虚拟现实显示系统
CN108846885A (zh) * 2018-06-06 2018-11-20 广东您好科技有限公司 一种基于三维扫描的模型活化技术
CN108986191A (zh) * 2018-07-03 2018-12-11 百度在线网络技术（北京）有限公司 人物动作的生成方法、装置及终端设备
CN109410341A (zh) * 2018-11-13 2019-03-01 深圳市虚拟现实科技有限公司 个性化虚拟现实娱乐系统及其方法
CN115880441A (zh) * 2023-02-06 2023-03-31 合肥孪生宇宙科技有限公司 一种3d可视化模拟人物生成方法及系统

Similar Documents

Publication Publication Date Title
CN106951095A (zh) 基于三维扫描技术的虚拟现实互动方法以及系统
US20220036636A1 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
JP2022515620A (ja) 人工知能による画像領域の認識方法、モデルのトレーニング方法、画像処理機器、端末機器、サーバー、コンピュータ機器及びコンピュータプログラム
CN110163048A (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN108416840A (zh) 一种基于单目相机的三维场景稠密重建方法
CN113012282B (zh) 三维人体重建方法、装置、设备及存储介质
CN109255830A (zh) 三维人脸重建方法和装置
CN109978984A (zh) 人脸三维重建方法及终端设备
WO2022205762A1 (zh) 三维人体重建方法、装置、设备及存储介质
CN111292427B (zh) 骨骼位移信息获取方法、装置、设备及存储介质
CN107689082A (zh) 一种数据投影方法以及装置
CN107247920A (zh) 交互控制方法、装置和计算机可读存储介质
CN110286751A (zh) 一种虚拟场景数字化应用交互方法
Dellepiane et al. Reconstructing head models from photographs for individualized 3D‐audio processing
CN107638690A (zh) 增强现实的实现方法、装置、服务器及介质
CN106843497A (zh) 一种混合现实信息交互方法及装置
CN110458924A (zh) 一种三维脸部模型建立方法、装置和电子设备
CN109683706A (zh) 一种虚拟现实多人交互的方法及系统
CN105184622A (zh) 利用虚拟技术帮助消费者网络购物
Traumann et al. Accurate 3D measurement using optical depth information
Lai et al. The application of artificial intelligence and VR technology in clothing store display design
CN108805978A (zh) 一种基于深度学习三维模型的自动生成装置和方法
Brownridge et al. Body scanning for avatar production and animation
Liu et al. RAS: A Data‐Driven Rigidity‐Aware Skinning Model For 3D Facial Animation
CN116959058A (zh) 一种三维人脸驱动方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170714