CN110928414A - 三维虚实融合实验系统 - Google Patents

三维虚实融合实验系统 Download PDF

Info

Publication number
CN110928414A
CN110928414A CN201911157500.5A CN201911157500A CN110928414A CN 110928414 A CN110928414 A CN 110928414A CN 201911157500 A CN201911157500 A CN 201911157500A CN 110928414 A CN110928414 A CN 110928414A
Authority
CN
China
Prior art keywords
real
virtual
information
time
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911157500.5A
Other languages
English (en)
Inventor
杨旭波
钱镜丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911157500.5A priority Critical patent/CN110928414A/zh
Publication of CN110928414A publication Critical patent/CN110928414A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维虚实融合实验系统，包括物体追踪装置，用于识别真实实验物体的类型，并实时定位真实实验物体的三维空间坐标，得到真实实验物体的类型及其对应的实时三维空间坐标；手部追踪装置，用于识别操作手部的关节点，并实时定位操作手部关节点的三维空间坐标，得到操作手部关节点的实时三维空间坐标；虚实融合处理装置，用于根据真实实验物体的类型及其对应的实时三维空间坐标、以及操作手部关节点的实时三维空间坐标生成对应的虚实融合影像。本发明充分利用虚实融合技术的优势，将虚拟物体与真实实验物体相融合，实现用户在自然地移动真实实验物体的同时可实时追踪，培养用户实验操作能力及学习兴趣，降低实验的危险性。

Description

三维虚实融合实验系统
技术领域
本发明涉及虚实融合技术领域及教育领域，尤其涉及一种可将三维虚实融合进行自然交互的实验操作平台。
背景技术
随着计算机技术的进步，虚实融合技术开始不断发展，其应用场景也越来越广泛。虚实融合通常分为两个部分：首先是虚拟仿真，具体根据设定参数与方法对应模拟并生成三维虚拟场景与现象；其次是三维注册，具体根据显示器位置以及场景中实际物体的位置计算虚拟场景与真实场景的位置关系，并将两者进行叠加与融合。虚实融合技术可以将虚拟场景的视觉通道与真实场景的视觉或触觉通道相结合，在保留虚拟场景的沉浸感的同时，为用户带来较为真实的操作与交互体验。
近些年，该种技术开始部分应用于教育领域，并应用于中学实验场景的模拟种。现有开发的PhET互动仿真系统，主要是使用虚拟仿真技术对初高中实验进行模拟，并对其进行可视化；而现有开发的NOBOOK系列虚拟实验产品，则主要是将课程标准中的实验转化为了虚拟实验，供学生使用；上述产品和系统仍需要使用电脑与鼠标进行二维实验操作。再一种现有的Labster则是将虚拟现实引入科学实验中，具体用户可以使用头戴式或手持式显示设备观看虚拟实验，并使用手柄、点击按钮等外设设备进行交互操作。与传统课堂教育相比，上述产品系统可以将抽象知识直观化，增强学生的学习兴趣的同时加深学生的理解；进一步还降低了实验门槛，减少了试剂和材料的消耗，并大大减轻实验危险性。
然而上述产品或系统并未充分发挥虚实融合的特点，上述实例大多关注虚拟仿真部分，而忽视了三维注册部分的重要性，缺少三维注册部分，用户与实验的交互操作仍需借助传统的鼠标或手柄外设，无法达到自然地交互的目的；因此上述产品或系统并不适用于交互较多的中学实验场景中，不适合培养学生的实验操作能力与实验操作规范意识。
发明内容
本发明所要解决的技术问题是现有应用到教育领域的虚实融合实验产品或系统，用户与实验的交互操作仍需借助传统的鼠标或手柄外设，无法达到自然地交互的目的，不适合培养学生的实验操作能力与实验操作规范意识。
为了解决上述技术问题，本发明提供了一种三维虚实融合实验系统，包括虚实融合处理模块以及分别与所述虚实融合处理模块连接的物体追踪装置和手部追踪装置；
所述物体追踪装置，用于识别真实实验物体的类型，并实时定位所述真实实验物体的三维空间坐标，得到所述真实实验物体的类型及其对应的实时三维空间坐标；
所述手部追踪装置，用于识别操作手部的关节点，并实时定位所述操作手部关节点的三维空间坐标，得到所述操作手部关节点的实时三维空间坐标；
所述虚实融合处理装置，用于根据所述真实实验物体的类型及其对应的实时三维空间坐标、以及所述操作手部关节点的实时三维空间坐标生成对应的虚实融合影像。
优选地，还包括分别与所述物体追踪装置和虚实融合处理模块连接虚拟数据存储装置，
所述虚拟数据存储装置，用于为所述物体追踪装置提供标准三维物体的模型信息和图片信息，并为所述虚实融合处理模块提供虚拟内容信息。
优选地，所述物体追踪装置包括相连的第一图像-深度相机组和物体追踪服务器；
所述第一图像-深度相机组包括第一图像相机和第一深度相机，所述第一图像相机用于实时获取所述真实实验物体的图像信息和轮廓信息，所述深度相机用于实时获取所述真实实验物体的深度信息；
所述物体追踪服务器，用于根据实时获取的所述真实实验物体的图像信息和轮廓信息、真实实验物体的深度信息以及标准三维物体的模型信息和图片信息获取所述真实实验物体的类型及其对应的实时三维空间坐标。
优选地，所述物体追踪服务器根据实时获取的所述真实实验物体的图像信息和轮廓信息、真实实验物体的深度信息以及标准三维物体的模型信息和图片信息获取所述真实实验物体的类型及其对应的实时三维空间坐标包括：
根据迭代最近点算法将实时获取的所述真实实验物体的深度信息与所述标准三维物体的模型信息进行深度匹配，得到初级匹配对象；
根据尺度不变特征变换算法或加速鲁棒特征算法将实时获取的所述真实实验物体的图像信息和轮廓信息与所述标准三维物体的图片信息进行图像和轮廓匹配，得到二级匹配对象；
将所述初级匹配对象和所述二级匹配对象进行可信度综合计算得到所述真实实验物体的类型及其对应的实时三维空间坐标。
优选地，所述手部追踪装置包括相连的第二图像-深度相机组和手部追踪服务器；
所述第二图像-深度相机组包括第二图像相机和第二深度相机，所述第二图像相机用于实时获取操作手部的图像信息，所述第二深度相机用于实时获取操作手部的深度信息；
所述手部追踪服务器，用于根据实时获取的所述操作手部的图像信息和操作手部的深度信息实时定位所述操作手部关节点的实时三维空间坐标。
优选地，所述手部追踪服务器根据实时获取的所述操作手部的图像信息和操作手部的深度信息定位所述操作手部关节点的实时三维空间坐标包括：
利用卷积神经网络方法识别出所述操作手部的图像信息中的操作手部关节点的二维坐标信息，基于所述操作手部关节点的二维坐标信息和所述操作手部的深度信息还原所述操作手部的关节点初步三维空间坐标；
利用正向/反向动力学方法对所述操作手部的关节点初步三维空间坐标进行修复，得到所述操作手部关节点的实时三维空间坐标。
优选地，所述虚实融合处理模块包括相连的虚实融合服务器和显示设备，
所述虚实融合服务器，用于根据所述真实实验物体的类型及其对应的实时三维空间坐标、操作手部关节点的实时三维空间坐标和所述虚拟内容信息生成对应的虚实融合场景信息；
所述显示设备，用于根据所述虚实融合场景信息显示虚实融合场景信息画面。
优选地，所述虚拟内容信息包括虚拟仪器模型、虚拟试剂模型和虚拟特效。
优选地，所述虚实融合服务器根据所述真实实验物体的类型及其对应的实时三维空间坐标、操作手部关节点的实时三维空间坐标和所述虚拟内容信息生成对应的虚实融合场景信息包括：
根据预设场景信息和所述虚拟内容信息中的虚拟仪器模型、虚拟试剂模型构建虚拟场景；
根据预设虚拟坐标系转换矩阵将所述真实实验物体的类型及其对应的实时三维空间坐标转换为虚拟场景中的虚拟三维物体；
根据所述操作手部关节点的实时三维空间坐标在所述虚拟场景中构建虚拟手部；
根据预设事件判断所述虚拟场景中的所述虚拟三维物体和所述虚拟手部是否满足预设前提条件，若满足则从所述虚拟内容信息中获取对应的虚拟特效进行构建；
将所述虚拟场景及其中的虚拟三维物体、虚拟手部和虚拟特效生成对应的虚实融合场景信息。
优选地，所述第一图像相机还用于获取所述真实实验物体的标识信息；
所述物体追踪服务器则用于根据实时获取的所述真实实验物体的图像信息、轮廓信息和标识信息，所述真实实验物体的深度信息以及标准三维物体的模型信息和图片信息获取所述真实实验物体的类型及其对应的实时三维空间坐标。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
应用本发明实施例提供的三维虚实融合实验系统，旨在充分利用虚实融合技术的优势，将虚拟物体与真实实验物体相融合，实现用户在自然地移动真实实验物体的同时可实时追踪，并对应的移动虚拟物体和虚拟试剂，进而在培养用户实验操作能力及学习兴趣时，减少实验试剂与材料的损耗，同时也降低实验的危险性。
本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1示出了本发明实施例一三维虚实融合实验系统的简易结构示意图；
图2示出了本发明实施例一三维虚实融合实验系统的功能结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
实施例一
为解决现有技术中存在的技术问题，本发明实施例提供了一种三维虚实融合实验系统，图1示出了本发明实施例一三维虚实融合实验系统的简易结构示意图；图2示出了本发明实施例一三维虚实融合实验系统的功能结构示意图，参考图1和图2所示，本发明三维虚实融合实验系统包括物体追踪装置、手部追踪装置和虚实融合处理模块，物体追踪装置和手部追踪装置分别与虚实融合处理模块连接。同时还包括分别与物体追踪装置和虚实融合处理模块的虚拟数据存储装置，虚拟数据存储装置用于为物体追踪装置和虚实融合处理模块提供正常运作所需的数据。
进一步地，虚拟数据存储装置用于为物体追踪装置提供标准三维物体的模型信息和图片信息，以使得物体追踪装置将标准三维物体的模型信息和图片信息与真实实验物体的图像信息、轮廓信息及深度信息进行匹配以确定真实实验物体的类型及其对应的实时三维空间坐标。需要说明的是虚拟数据存储装置为物体追踪装置提供的标准三维物体的信息包括但不限于模型信息和图片信息，还可以包括标识信息等。同时虚拟数据存储装置还用于为虚实融合处理模块提供虚拟内容信息，以使得虚拟数据存储装置可根据提供的虚拟内容信息构建虚拟场景以及需要的虚拟特效。具体虚拟内容信息包括虚拟仪器模型、虚拟试剂模型和虚拟特效。
需要说明的是，为了减少数据传输造成的延迟，还可将标准三维物体的模型信息和图片信息直接存储在物体追踪装置本地，将虚拟内容信息直接存储在虚实融合处理装置本地，此时物体追踪装置中存储有标准三维物体的模型信息和图片信息的存储元件和虚实融合处理装置中存储有虚拟内容信息的存储元件构成虚拟数据存储装置。同时虚拟数据存储装置还可以设置为云端服务器，同理随着虚拟数据存储装置设置的位置不同虚拟数据存储装置与物体追踪装置和虚实融合处理模块的连接方式可使用物理数据线本地传输，也可以适用网络远程传输。其中标准三维物体的图片信息包括标准三维物体的多角度二维图像信息。需注意的是，标准三维物体的对应二维图像为可选提供数据，并非强制需要。且标准物体模型信息和虚拟物体模型之间存在对应关系，即现实场景中的标准三维物体移动时，将驱动虚拟场景中对应模型的移动。
物体追踪装置主要用于识别真实实验物体的类型，并实时定位真实实验物体的三维空间坐标，得到真实实验物体的类型及其对应的实时三维空间坐标。
具体物体追踪装置包括相连接的第一图像-深度相机组和物体追踪服务器。第一图像-深度相机组又包括第一图像相机和第一深度相机，第一图像相机用于采集真实实验物体的图像信息与轮廓信息，用于特征点匹配与轮廓匹配；第一深度相机则用于采集真实实验物体的深度信息，用于深度匹配；优选地，第一图像相机还用于采集真实实验物体的标识信息。需要说明的是，第一图像-深度相机组可以是多台图像-深度相机组成的规则相机阵列，也可以是不规则环绕相机组，以提高局部区域的追踪精准度或追踪范围。
物体追踪服务器用于根据实时获取的真实实验物体的图像信息和轮廓信息、真实实验物体的深度信息以及标准三维物体的模型信息和图片信息获取真实实验物体的类型及其对应的实时三维空间坐标。优选的，第一图像-深度相机组与物体追踪服务器之间使用USB传输线或网线进行有线连接，以保证数据传输的实时性。
物体追踪服务器主要搭载物体追踪算法软件，具体根据迭代最近点算法将实时获取的真实实验物体的深度信息与标准三维物体的模型信息进行深度匹配，得到初级匹配对象。再根据尺度不变特征变换算法或加速鲁棒特征算法将实时获取的真实实验物体的图像信息和轮廓信息与标准三维物体的图片信息进行图像和轮廓匹配，得到二级匹配对象；优选地，当第一图像相机还用于采集真实实验物体的标识信息时，物体追踪服务器根据尺度不变特征变换算法或加速鲁棒特征算法将实时获取的真实实验物体的图像信息、轮廓信息和标识信息与标准三维物体的图片信息进行图像、轮廓及标识匹配，得到二级匹配对象。最后将初级匹配对象和二级匹配对象进行可信度综合计算，进一步即将初级匹配对象和二级匹配对象进行重合度分析，从初级匹配对象和二级匹配对象中选取出重合的标准三维物体。需要说明的是由于初级匹配对象所是基于真实实验物体的深度信息进行选取的，因此初级匹配对象中包括与其对应的空间坐标，上述基于可信度综合计算可得出真实实验物体的类型及其对应的实时三维空间坐标。
手部追踪装置用于识别操作手部的关节点，并实时定位操作手部关节点的三维空间坐标，得到操作手部关节点的实时三维空间坐标。
具体手部追踪装置包括相连的第二图像-深度相机组和手部追踪服务器；第二图像-深度相机组包括第二图像相机和第二深度相机，具体第二图像相机用于实时获取操作手部的图像信息和轮廓信息，用于操作手部关节点的二维坐标提取；第二深度相机用于实时获取操作手部的深度信息，用于关节点二维信息到三维信息的还原。手部追踪服务器则用于根据操作手部的图像信息深度信息获取操作手部关节点的三维空间坐标。具体手部追踪服务器搭载手部追踪算法软件，其实时接收第二图像相机的提供的操作手部的图像信息和轮廓信息以及操作手部的深度信息，识别并计算操作手部关节点的三维空间坐标。进一步地，手部追踪服务器先利用卷积神经网络方法识别出操作手部的图像信息中的操作手部关节点的二维坐标信息，并基于操作手部关节点的二维坐标信息和操作手部的深度信息还原操作手部的关节点初步三维空间坐标；再利用正向/反向动力学方法(FK/IK)对操作手部的关节点初步三维空间坐标进行修复，具体使用可信度高的关节数据点，对相邻可信度低的子/父关节数据点进行修复，得到操作手部的关节点三维空间坐标。优选的，第二图像-深度相机组与手部追踪服务器之间使用USB传输线或网线进行有线连接，以保证数据传输的实时性。
需要说明的是，第二图像-深度相机组可固定在虚实融合处理模块的显示设备上，跟随其移动而移动，也可以像用于物体追踪的第一图像-深度相机组独立存在，并固定于某个定点进行手部追踪。
虚实融合处理模块用于根据真实实验物体的类型及其对应的实时三维空间坐标、以及操作手部关节点的实时三维空间坐标生成对应的虚实融合影像，从而达到虚实融合效果。
具体地，虚实融合处理模块包括相连的虚实融合服务器和显示设备。虚实融合服务器用于根据真实实验物体的类型及对应的三维空间坐标、操作手部关节点的三维空间坐标和虚拟内容信息生成对应的虚实融合场景信息；显示设备则用于根据虚实融合场景信息显示虚实融合场景信息画面。
更进一步地，虚实融合服务器搭载虚实融合处理软件，接收物体追踪服务器提供的真实实验物体的类型及其对应的实时三维空间坐标、虚拟数据存储装置提供的虚拟内容信息以及手部追踪服务器提供的操作操作手部关节点的实时三维空间坐标。由于虚拟内容信息包括虚拟仪器模型、虚拟试剂模型和虚拟特效，虚实融合服务器具体可先根据预设场景信息和虚拟内容信息中的虚拟仪器模型和虚拟试剂模型构建虚拟场景；再基于预设虚拟坐标系转换矩阵实时将从物体追踪装置的物体追踪服务器中获取真实实验物体的类型及其对应的实时三维空间坐标转换为虚拟场景中的虚拟三维物体；之后根据从手部追踪装置的手部追踪服务器中获取的操作操作手部关节点的实时三维空间坐标在虚拟场景中实时构建虚拟手部；而后根据预设事件判断虚拟场景中的所有虚拟三维物体和虚拟手部是否满足预设前提条件，若满足则触发虚拟事件，即从虚拟内容信息中获取对应的虚拟特效进行构建。最后将虚拟场景及其中的所有虚拟三维物体、虚拟手部和虚拟事件生成对应的虚实融合场景信息。需要说明的是，虚实融合场景信息中可根据具体试验情况包括或不包括虚拟事件。虚实融合服务器将生成的虚实融合场景信息传输给显示设备，显示设备根据虚实融合场景信息显示虚实融合场景信息画面。
需要说明的是，根据预设事件判断虚拟场景中的虚拟三维物体和虚拟手部是否满足预设前提条件，具体是通过计算虚拟三维物体和虚拟手部在虚拟场景中的三维空间坐标和碰撞信息与预设事件对比判断预设虚拟事件是否被触发，若是则从虚拟数据存储模块中获取对应的特效数据在虚拟场景中进行构建，且预设事件是从虚实融合服务器中的预设事件模块中获取的。
为了更进一步地对本发明实施例提供的三维虚实融合实验系统进行说明，以下以一个典型实施例进行描述。
为便于描述本实施例将以中学常见的高锰酸钾制氧气化学实验为例，将三维虚实融合实验系统应用于该实验上。应当注意的是，该系统可以简单地迁移应用于其他化学实验，或中学其他学科的实验(例如物理、生物、数学等)。
具体该实验的真实实验物体包括试管、导管、集气瓶、酒精灯等种类仪器，虚拟试剂包括水、高锰酸钾和氧气，虚拟特效包括火焰、气泡等。由上可知真实实验物体不一定为真实实验仪器，可以是各种可能的简易替代物。例如该实验中使用的集气瓶可以为真实集气瓶仪器，也可以是同等大小的3D打印模型或简易圆柱体模型等，其它实验仪器类比集气瓶。真实实验物体具有自身的图像、轮廓以及深度信息等。
本实施例中虚拟数据存储装置中的标准三维物体的模型信息和图片信息设置于物体追踪装置本地，虚拟数据存储装置中的虚拟内容信息设置于虚实融合处理装置本地中。
物体追踪装置中的第一图像-深度相机组收集在其可视范围内的所有真实实验物体的真实实验物体的图像信息和轮廓信息、以及真实实验物体的深度信息。在本实施例中第一图像-深度相机组包括三个小组，每小组分别包括两对第一图像相机和第一深度相机，每小组分别布置于三个三脚架上，每小组中的两对相机分别置于高空区(2m至2.5m)与低空区(1.3m至1.5m)，同区域的相机实际高度相近但略有不同。三组小组以扇形布置以场地中且朝向待追踪区域。需要说明的是，在不同实验场景需求下，第一图像-深度相机组的实际相机数量与布置方式可能会有不同。
物体追踪服务器依据虚拟数据存储装置中的所有标准三维物体的模型信息和图片信息，根据迭代最近点算法将真实实验物体的深度信息与标准三维物体的模型信息进行深度匹配，从标准三维物体中选取出初级匹配对象，再根据尺度不变特征变换算法(SIFT)或加速鲁棒特征算法(SUFT)将真实实验物体的图像信息和轮廓信息与标准三维物体的图片信息进行图像和轮廓匹配，从标准三维物体中选取出二级匹配对象；最后将初级匹配对象和二级匹配对象进行可信度综合计算，得出真实实验物体的类型及对应的空间坐标。
在本实施例中物体追踪服务器和第一图像-深度相机组可通过本地网线连接来传输数据，以增强实时性。应注意的是在不同实验场景需求下，物体追踪服务器和第一图像-深度相机组的连接方式可能会有不同。
需要说明的是，本实施例中的显示设备为头盔式显示设备，且第二图像-深度相机组即安装在头盔式显示设备上并跟随其移动而移动，实时获取操作手部的图像信息和深度信息。第二图像-深度相机组将获取的操作手部的图像信息和深度信息传输到手部追踪服务器中，手部追踪服务器搭载手部追踪算法软件，具体利用卷积神经网络方法(CNN)的训练结果，识别图像信息中出现的所有操作手部关节点的二维坐标信息，基于操作手部关节点的二维坐标信息和操作手部的深度信息还原操作手部的关节点初步三维空间坐标；同时利用正向/反向动力学方法对操作手部的关节点初步三维空间坐标中可信度较低的数据进行修复，最后综合初步三维空间坐标中可信度高的数据得到操作手部的关节点三维空间坐标。
本实施例中的手部追踪服务器与虚实融合处理装置中的虚实融合服务器设置在一台服务器上，且手部追踪服务器与虚实融合服务器和第二图像-深度相机组之间均通过USB数据线连接以传输数据。应注意的是，在不同实验场景需求下，上述各组件的连接方式可能会有不同。
虚实融合处理装置接收虚拟数据存储装置的提供的虚拟物体模型与虚拟试剂，根据预先设计好的场景信息构建完整的虚拟场景。
虚实融合处理装置根据预设虚拟坐标系转换矩阵实时将物体追踪服务器提供的真实实验物体的类型及对应的三维空间坐标对应转化为虚拟场景中的标准三维物体坐标。在本实施例中，预设虚实坐标系转换矩阵可以通过系统标定获得。具体来说，可将头戴式显示设备作为一个真实实验物体设置，从而可以同时获取其虚拟空间坐标与真实空间坐标，连续将头戴式显示设备置于三个不同的位置，获取三对不同的虚实坐标对，从而可以联立方程组，解出虚实坐标系转换矩阵。
虚实融合处理装置实时接收手部追踪装置传输的操作手部的关节点三维空间坐标，并在虚拟场景中构建虚拟手部，以更新虚拟场景中虚拟手部的对应位置与姿势。
从虚实融合处理装置的预设事件模块中获取对应的预设事件，根据预设事件逻辑判断虚拟场景中的虚拟三维物体和虚拟手部是否满足预设前置条件，若满足则触发虚拟事件，即从虚拟内容信息中获取对应的虚拟特效进行构建。具体预设事件分为前置条件与虚拟事件两个部分，当事件逻辑的所有前置条件被满足时，设置对应的虚拟事件被触发。
以本实施例所述的高锰酸钾制氧气实验为例，一个可能的事件逻辑为：前置条件一：高锰酸钾被加热；前置条件二：高锰酸钾药品置于试管中；前置条件三：试管与导管连接；触发事件：氧气冒出(产生气泡特效)。前置条件可以再细分为物体与状态两个部分，例如在本实施例中，前置条件“高锰酸钾被加热”可以拆分为物体“高锰酸钾”和“火焰”，以及状态“碰撞”；前置条件“试管与导管连接”可以拆分为物体“试管”和“导管”，以及状态“连接”，该拆分方式使得前置条件可以被判断虚拟事件快速检验。
而后虚实融合处理装置将虚拟场景及其中的虚拟三维物体、虚拟手部和虚拟事件生成对应的虚实融合场景信息，并将虚实融合场景信息传输给头戴式显示设备，头戴式显示设备对最终渲染的左右眼分屏画面进行处理，形成有立体感的沉浸的虚实融合场景画面。
在本实施例中，手部追踪服务器、虚实融合服务器以及头戴式显示设备之间通过USB传输线与视频传输线连接并传输数据。应注意的是，在不同实验场景需求下，组件的连接方式可能会有不同。
应用本发明实施例提供的三维虚实融合实验系统，旨在充分利用虚实融合技术的优势，将虚拟物体与真实实验物体相融合，实现用户在自然地移动真实实验物体的同时可实时追踪，并对应的移动虚拟物体和虚拟试剂，进而在培养用户实验操作能力及学习兴趣时，减少实验试剂与材料的损耗，同时也降低实验的危险性。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种三维虚实融合实验系统，其特征在于，包括虚实融合处理模块以及分别与所述虚实融合处理模块连接的物体追踪装置和手部追踪装置；
所述物体追踪装置，用于识别真实实验物体的类型，并实时定位所述真实实验物体的三维空间坐标，得到所述真实实验物体的类型及其对应的实时三维空间坐标；
所述手部追踪装置，用于识别操作手部的关节点，并实时定位所述操作手部关节点的三维空间坐标，得到所述操作手部关节点的实时三维空间坐标；
所述虚实融合处理装置，用于根据所述真实实验物体的类型及其对应的实时三维空间坐标、以及所述操作手部关节点的实时三维空间坐标生成对应的虚实融合影像。
2.根据权利要求1所述的系统，其特征在于，还包括分别与所述物体追踪装置和虚实融合处理模块连接虚拟数据存储装置，
所述虚拟数据存储装置，用于为所述物体追踪装置提供标准三维物体的模型信息和图片信息，并为所述虚实融合处理模块提供虚拟内容信息。
3.根据权利要求2所述的系统，其特征在于，所述物体追踪装置包括相连的第一图像-深度相机组和物体追踪服务器；
所述第一图像-深度相机组包括第一图像相机和第一深度相机，所述第一图像相机用于实时获取所述真实实验物体的图像信息和轮廓信息，所述深度相机用于实时获取所述真实实验物体的深度信息；
所述物体追踪服务器，用于根据实时获取的所述真实实验物体的图像信息和轮廓信息、真实实验物体的深度信息以及标准三维物体的模型信息和图片信息获取所述真实实验物体的类型及其对应的实时三维空间坐标。
4.据权利要求3所述的系统，其特征在于，所述物体追踪服务器根据实时获取的所述真实实验物体的图像信息和轮廓信息、真实实验物体的深度信息以及标准三维物体的模型信息和图片信息获取所述真实实验物体的类型及其对应的实时三维空间坐标包括：
根据迭代最近点算法将实时获取的所述真实实验物体的深度信息与所述标准三维物体的模型信息进行深度匹配，得到初级匹配对象；
根据尺度不变特征变换算法或加速鲁棒特征算法将实时获取的所述真实实验物体的图像信息和轮廓信息与所述标准三维物体的图片信息进行图像和轮廓匹配，得到二级匹配对象；
将所述初级匹配对象和所述二级匹配对象进行可信度综合计算得到所述真实实验物体的类型及其对应的实时三维空间坐标。
5.据权利要求1所述的系统，其特征在于，所述手部追踪装置包括相连的第二图像-深度相机组和手部追踪服务器；
所述第二图像-深度相机组包括第二图像相机和第二深度相机，所述第二图像相机用于实时获取操作手部的图像信息，所述第二深度相机用于实时获取操作手部的深度信息；
所述手部追踪服务器，用于根据实时获取的所述操作手部的图像信息和操作手部的深度信息实时定位所述操作手部关节点的实时三维空间坐标。
6.据权利要求5所述的系统，其特征在于，所述手部追踪服务器根据实时获取的所述操作手部的图像信息和操作手部的深度信息定位所述操作手部关节点的实时三维空间坐标包括：
利用卷积神经网络方法识别出所述操作手部的图像信息中的操作手部关节点的二维坐标信息，基于所述操作手部关节点的二维坐标信息和所述操作手部的深度信息还原所述操作手部的关节点初步三维空间坐标；
利用正向/反向动力学方法对所述操作手部的关节点初步三维空间坐标进行修复，得到所述操作手部关节点的实时三维空间坐标。
7.据权利要求2所述的系统，其特征在于，所述虚实融合处理模块包括相连的虚实融合服务器和显示设备，
所述虚实融合服务器，用于根据所述真实实验物体的类型及其对应的实时三维空间坐标、操作手部关节点的实时三维空间坐标和所述虚拟内容信息生成对应的虚实融合场景信息；
所述显示设备，用于根据所述虚实融合场景信息显示虚实融合场景信息画面。
8.据权利要求7所述的系统，其特征在于，所述虚拟内容信息包括虚拟仪器模型、虚拟试剂模型和虚拟特效。
9.据权利要求8所述的系统，其特征在于，所述虚实融合服务器根据所述真实实验物体的类型及其对应的实时三维空间坐标、操作手部关节点的实时三维空间坐标和所述虚拟内容信息生成对应的虚实融合场景信息包括：
根据预设场景信息和所述虚拟内容信息中的虚拟仪器模型、虚拟试剂模型构建虚拟场景；
根据预设虚拟坐标系转换矩阵将所述真实实验物体的类型及其对应的实时三维空间坐标转换为虚拟场景中的虚拟三维物体；
根据所述操作手部关节点的实时三维空间坐标在所述虚拟场景中构建虚拟手部；
根据预设事件判断所述虚拟场景中的所述虚拟三维物体和所述虚拟手部是否满足预设前提条件，若满足则从所述虚拟内容信息中获取对应的虚拟特效进行构建；
将所述虚拟场景及其中的虚拟三维物体、虚拟手部和虚拟特效生成对应的虚实融合场景信息。
10.据权利要求3所述的系统，其特征在于，所述第一图像相机还用于获取所述真实实验物体的标识信息；
所述物体追踪服务器则用于根据实时获取的所述真实实验物体的图像信息、轮廓信息和标识信息，所述真实实验物体的深度信息以及标准三维物体的模型信息和图片信息获取所述真实实验物体的类型及其对应的实时三维空间坐标。
CN201911157500.5A 2019-11-22 2019-11-22 三维虚实融合实验系统 Pending CN110928414A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911157500.5A CN110928414A (zh) 2019-11-22 2019-11-22 三维虚实融合实验系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911157500.5A CN110928414A (zh) 2019-11-22 2019-11-22 三维虚实融合实验系统

Publications (1)

Publication Number Publication Date
CN110928414A true CN110928414A (zh) 2020-03-27

Family

ID=69850794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911157500.5A Pending CN110928414A (zh) 2019-11-22 2019-11-22 三维虚实融合实验系统

Country Status (1)

Country Link
CN (1) CN110928414A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667733A (zh) * 2020-06-17 2020-09-15 济南大学 仿真实验操作中感知容器位置的方法及装置
CN111729323A (zh) * 2020-07-03 2020-10-02 华强方特(深圳)软件有限公司 一种六自由度轨道游乐设备实时数据驱动vr镜头的方法
CN111862346A (zh) * 2020-07-29 2020-10-30 重庆邮电大学 基于虚拟现实及互联网的高锰酸钾制取氧气实验教学方法
WO2022033596A1 (zh) * 2020-08-14 2022-02-17 青岛小鸟看看科技有限公司 一种基于虚拟现实一体机的交互方法和系统
CN114706513A (zh) * 2022-04-20 2022-07-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504671A (zh) * 2014-12-12 2015-04-08 浙江大学 一种用于立体显示的虚实融合图像生成方法
CN106843493A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种图像追踪方法及应用该方法的扩增实境实现方法
CN107066082A (zh) * 2016-12-30 2017-08-18 百度在线网络技术（北京）有限公司 显示方法和装置
CN109002800A (zh) * 2018-07-20 2018-12-14 苏州索亚机器人技术有限公司 基于多传感器融合的三维目标实时识别机构及识别方法
CN109934847A (zh) * 2019-03-06 2019-06-25 视辰信息科技(上海)有限公司 弱纹理三维物体姿态估计的方法和装置
CN109992107A (zh) * 2019-02-28 2019-07-09 济南大学 虚拟操控装置及其操控方法
CN110134234A (zh) * 2019-04-24 2019-08-16 彼乐智慧科技（北京）有限公司 一种三维物体定位的方法及装置
WO2019200381A1 (en) * 2018-04-14 2019-10-17 The California State University - San Marcos Hands on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use
CN110415358A (zh) * 2019-07-03 2019-11-05 武汉子序科技股份有限公司 一种实时三维跟踪方法
CN110476168A (zh) * 2017-04-04 2019-11-19 优森公司 用于手部跟踪的方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504671A (zh) * 2014-12-12 2015-04-08 浙江大学 一种用于立体显示的虚实融合图像生成方法
CN107066082A (zh) * 2016-12-30 2017-08-18 百度在线网络技术（北京）有限公司 显示方法和装置
CN106843493A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种图像追踪方法及应用该方法的扩增实境实现方法
CN110476168A (zh) * 2017-04-04 2019-11-19 优森公司 用于手部跟踪的方法和系统
WO2019200381A1 (en) * 2018-04-14 2019-10-17 The California State University - San Marcos Hands on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use
CN109002800A (zh) * 2018-07-20 2018-12-14 苏州索亚机器人技术有限公司 基于多传感器融合的三维目标实时识别机构及识别方法
CN109992107A (zh) * 2019-02-28 2019-07-09 济南大学 虚拟操控装置及其操控方法
CN109934847A (zh) * 2019-03-06 2019-06-25 视辰信息科技(上海)有限公司 弱纹理三维物体姿态估计的方法和装置
CN110134234A (zh) * 2019-04-24 2019-08-16 彼乐智慧科技（北京）有限公司 一种三维物体定位的方法及装置
CN110415358A (zh) * 2019-07-03 2019-11-05 武汉子序科技股份有限公司 一种实时三维跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667733A (zh) * 2020-06-17 2020-09-15 济南大学 仿真实验操作中感知容器位置的方法及装置
CN111729323A (zh) * 2020-07-03 2020-10-02 华强方特(深圳)软件有限公司 一种六自由度轨道游乐设备实时数据驱动vr镜头的方法
CN111862346A (zh) * 2020-07-29 2020-10-30 重庆邮电大学 基于虚拟现实及互联网的高锰酸钾制取氧气实验教学方法
CN111862346B (zh) * 2020-07-29 2023-11-07 重庆邮电大学 基于虚拟现实及互联网的高锰酸钾制取氧气实验教学方法
WO2022033596A1 (zh) * 2020-08-14 2022-02-17 青岛小鸟看看科技有限公司 一种基于虚拟现实一体机的交互方法和系统
US11720169B2 (en) 2020-08-14 2023-08-08 Qingdao Pico Technology Co., Ltd. Interaction method and system based on virtual reality equipment
CN114706513A (zh) * 2022-04-20 2022-07-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统
CN114706513B (zh) * 2022-04-20 2022-11-11 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统

Similar Documents

Publication Publication Date Title
CN110928414A (zh) 三维虚实融合实验系统
Santos et al. Augmented reality learning experiences: Survey of prototype design and evaluation
Péruch et al. Transfer of spatial knowledge from virtual to real environments
CN106293082A (zh) 一种基于虚拟现实的人体解剖交互系统
Zhang et al. The application of virtual reality technology in physical education teaching and training
CN108389249A (zh) 一种多兼容性的vr/ar空间教室及其构建方法
Lee et al. Annotation vs. virtual tutor: Comparative analysis on the effectiveness of visual instructions in immersive virtual reality
CN208351776U (zh) 一种基于vr虚拟现实技术的芯片电路教学系统
Bertrand et al. The effects of presentation method and simulation fidelity on psychomotor education in a bimanual metrology training simulation
Wagner et al. The effect of exploration mode and frame of reference in immersive analytics
CN108831232A (zh) 一种ct虚拟仿真训练系统及方法
CN113867532A (zh) 一种基于虚拟现实技能训练的评估系统及评估方法
Poonja et al. Engagement detection and enhancement for STEM education through computer vision, augmented reality, and haptics
Su et al. Development of an effective 3D VR-based manipulation system for industrial robot manipulators
CN104933278B (zh) 一种用于言语障碍康复训练的多通道交互方法和系统
Sun et al. OptoBridge: assisting skill acquisition in the remote experimental collaboration
CN111290583A (zh) 三维立体板书的生成方法、电子设备及教学系统
Onime et al. Mare: Mobile augmented reality based experiments in science, technology and engineering
Streicher et al. VIEW: A Concept for an Immersive Virtual Reality Image Interpretation Workbench
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법
Huang Virtual reality/augmented reality technology: the next chapter of human-computer interaction
Zhang et al. Virtual Museum Scene Design Based on VRAR Realistic Interaction under PMC Artificial Intelligence Model
Cao et al. A novel augmented reality guidance system for future informatization experimental teaching
Zhang et al. A naked-eye 3D anatomy teaching system based on Unity
Yang et al. Perceptual issues of a passive haptics feedback based MR system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327