CN113689577A

CN113689577A - 虚拟三维模型与实体模型匹配的方法、系统、设备及介质

Info

Publication number: CN113689577A
Application number: CN202111033421.0A
Authority: CN
Inventors: 盘细平; 黄秋; 王元昊; 郭铭浩; 翟金宝; 汪一; 苑之仪; 宁宇; 蔡勇亮; 钱鹤翔
Original assignee: Shanghai Laiqiu Medical Technology Co ltd
Current assignee: Shanghai Laiqiu Medical Technology Co ltd
Priority date: 2021-09-03
Filing date: 2021-09-03
Publication date: 2021-11-23
Anticipated expiration: 2041-09-03
Also published as: CN113689577B

Abstract

本申请提供一种虚拟三维模型与实体模型匹配的方法、系统、设备及介质，该方法包括：采集设有标记点的目标对象的三维信息；根据目标对象的三维信息按照刚体变换构建目标对象在真实坐标系下的虚拟三维模型；采集虚拟现实坐标系下目标对象对应的实体模型的各个标记点所对应的位置信息；当监测到虚拟三维模型与实体模型匹配指令时，根据实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，利用三维变换关系反向变换虚拟三维模型各标记点，向实体模型的各个标记点的位置进行重合，实现虚拟三维模型与实体模型的融合。通过上述方式不会随着目标对象逐渐减小，出现虚拟三维模型与实体模型间的匹配精度下降的现象。

Description

虚拟三维模型与实体模型匹配的方法、系统、设备及介质

技术领域

本申请涉及虚拟现实技术领域，属于人工智能领域，特别是涉及一种虚拟三维模型与实体模型匹配的方法、系统、设备及介质。

背景技术

虚拟现实(Virtual Reality)，是利用计算机技术为用户模拟产生一个视觉、听觉、触觉等感官构成的三维空间虚拟世界，用户借助特殊的输入/输出设备，与虚拟世界进行交互。

增强现实(Augmented Reality)，是一种实时计算摄影机影像位置及角度，并辅以相应图像的技术，通过虚拟三维模型，在镜片的显示屏幕中将虚拟世界与现实世界叠加，操作者可以通过设备互动。

混合现实(Mix reality)，是结合真实世界和虚拟世界创造了新的环境和可视化三维世界，物理实体和数字对象共存、并实时相互作用，用来模拟真实物体，是虚拟现实技术的进一步发展。

目前，混合现实这种人工智能技术被广泛应用于等医疗领域，在辅助病变定位、手术治疗、手术前后沟通、案例分享学习以及术后记录总结等与人类密切相关的方面带来革命性的变化。然而，在实际应用中，如何精准匹配虚拟三维模型与实体模型一直是一个难以攻克的难题，例如，现实中MR通常利用Vuforia插件扫描特定识别图将两者放大进行匹配，匹配精度与识别图大小及特征相关，被识别的图越小精度就越差，难以满足高精度匹配的需求。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种虚拟三维模型与实体模型匹配的方法、系统、设备及介质，用于解决现有技术在虚拟现实场景中，实现虚拟三维模型与实体模型匹配时，无法确保匹配精度的问题。

为实现上述目的及其他相关目的，本申请提供一种虚拟三维模型与实体模型匹配的方法，包括：

采集设有标记点的目标对象的三维信息，所述标记点至少为三个，且所述标记点的位置信息不在同一直线；

根据所述目标对象的三维信息按照刚体变换构建所述所述目标对象在真实坐标系下的虚拟三维模型；

采集虚拟现实坐标系下所述目标对象对应的实体模型的各个标记点所对应的位置信息；

当监测到虚拟三维模型与实体模型匹配指令时，加载虚拟三维模型，根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，利用所述三维变换关系反向变换所述虚拟三维模型各标记点，向所述实体模型的各个标记点的位置进行重合，实现虚拟三维模型与实体模型的融合。

于本申请的一实施例中，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应的位置信息的步骤，还包括：配置与MR设备无线信号连接的信号笔；采集所述信号笔垂直于所述实体模型各个标记点中心区域的信号强度值，通过多次变换MR设备的位置信息分别采集所述实体模型每个标记点对应的信号强度值；利用三点定位原理结合不同位置所对应的信号强度值计算每个所述标记点的位置信息。

于本申请的一实施例中，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应的位置信息的步骤，还包括：

利用与MR设备无线信号连接的蓝牙笔，获取MR设备在虚拟现实坐标系下的位置信息；利用MR设备在不同位置信息采集同一标记点的所述MR设备所对应的惯性数据，根据所述惯性数据计算MR设备位置变换后的位姿变化数据；同时，利用蓝牙笔与标记点中心位置重合收发信号，通过多次变换MR设备的位置信息分别采集所述实体模型每个标记点对应的信号强度值；根据所述MR设备位置变换后的位姿变化数据以及在位置变换前后所接收的信号强度值进行计算，得到目标对象中标记点的位置信息。

于本申请的一实施例中，所述根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，还包括：

获取目标对象的同一标记点分别在真实坐标系下、虚拟现实坐标系下各自对应的第一位置坐标与第二位置坐标；

以所述真实坐标系与虚拟现实坐标系平移变换矩阵和旋转变换矩阵作为自变量，基于所述第一位置坐标和所述第二位置坐标构建经平移变换矩阵和旋转变换矩阵之后所对应的目标函数；

对所述目标函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩阵之间的三维变换关系。

于本申请的一实施例中，还包括：

获取穿戴MR设备的用户的手势动作；

当检测到用户的手势动作时，识别所述手势动作所代表的的操作指令，并根据所述操作指令在虚拟现实场景中所对应的目标对象，指定所述目标对象按照所述操作指令完成动作；其中，所述手势动作根据手指触摸或映射到目标匹配相应的目标对象，所述操作指令包括旋转、放大、缩小和差异显示。

于本申请的一实施例中，若所述目标对象发生了位置移动，所述方法还包括：

获取所述目标对象的当前目标图像和历史目标图像，所述历史目标图像为在所述当前目标图像之前若干时间拍摄的图像；

分别提取所述当前目标图像和历史目标图像的特征信息，将两幅图像中的特征信息匹配的每一对特征点确定为匹配点对，所述特征信息包括形状、颜色、纹理中至少一种；

根据每一对匹配点对中的两个特征点各自的位置信息来确定当前目标图像和历史目标图像的位置变化信息；利用所述位置变化信息来判断所述目标对象是否发生位置移动；若所述目标对象发生了位置移动，确定位置变化信息；

根据所述位置变化信息调整所述虚拟三维模型，以实现将所述虚拟三维模型显示在发生位置移动后的所述目标对象的对应位置。

于本申请的一实施例中，还包括：当目标对象为待测用户躯体的某个部位或组织时，通过在所述实体模型设有标记点，利用医学影像检查设备或核磁共振成像设备扫描所述实体模型得到带有标记点的检查数据，利用刚体变换基于所述检查数据与标记点构建属于目标对象的虚拟三维模型；其中，所述标记点在实体模型表面时，所述标记点为用户特殊的纹理特征、胎记、痣、贴有的标签或涂抹的标记中的至少一种。

在本申请的另一目的在于提供一种虚拟三维模型与实体模型匹配的系统，包括：

第一采集模块，用于采集设有标记点的目标对象的三维信息，所述标记点至少为三个，且所述标记点的位置信息不在同一直线；

虚拟模型构建模块，用于根据所述目标对象的三维信息按照刚体变换构建所述所述目标对象在真实坐标下的虚拟三维模型；

第二采集模块，用于采集虚拟现实坐标系下所述目标对象对应的实体模型的各个标记点所对应的位置信息；

模型匹配模块，用于当监测到虚拟三维模型与实体模型匹配指令时，加载虚拟三维模型，根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，利用所述三维变换关系反向变换所述虚拟三维模型各标记点，向所述实体模型的各个标记点的位置进行重合，实现虚拟三维模型与实体模型的融合。

在本申请的另一目的在于提供一种电子设备，包括：

一个或多个处理装置；

存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置执行所述虚拟三维模型与实体模型匹配的方法。

在本申请的还一目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行所述虚拟三维模型与实体模型匹配的方法。

如上所述，本申请的虚拟三维模型与实体模型匹配的方法、系统、设备及介质，具有以下有益效果：

在混合虚拟现实中，通过将虚拟三维模型显示在虚拟现实场景内，利用标记定位方式，将同一目标对象的虚拟三维模型精准的匹配到虚拟现实场景内目标对象所对应的实体模型，不会随着目标对象逐渐减小，出现虚拟三维模型与实体模型之间的匹配精度下降的现象，保证了各种不同物体在不同应用场景的正常使用。

附图说明

图1显示为本申请提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程图；

图2显示为本申请提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程图；

图3显示为本申请提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程图；

图4显示为本申请提供的一种虚拟三维模型与实体模型匹配的系统在一实施例中的完整结构框图；

图5显示为本申请提供的一种虚拟三维模型与实体模型匹配的设备在一实施例中的结构框图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

通常而言，全息投影技术也称虚拟成像技术，是利用干涉和衍射原理记录并在线物体真实的三维图像的技术。全息投影技术可应用于舞台，不仅可产生立体三维图像，还可以使三维图像与表演者产生互动，一起完成表演，产生令人震撼的演出效果。全息投影可划分为光全息技术、数字全息技术、计算全息技术、微波全息技术、反射全息技术、声全息技术等等，利用全息投影技术生产目标对象的虚拟三维模型。另外，在本申请实施例中，还包括利用AR 设备、MR设备所产生的目标对象的虚拟3D模型。

将虚拟的3D模型应用到真实场景，实现虚拟现实的混合使用，其被广泛应用于文化、教育、艺术、军事、娱乐等多个领域，在产品展示、人工智能、图像仿真、模拟训练等与人类密切相关的方面带来革命性的变化。例如，针对现实中MR设备通常利用Vuforia插件扫描特定识别图生成虚拟模型，将虚拟模型与实体模型放大进行匹配，匹配精度与识别图大小及特征相关，被识别的图越小精度就越差，难以满足高精度匹配的需求，因此，亟需一种可在任何领域任何场景针对不同尺寸大小的虚拟模型与实体模型实现匹配，且匹配精度不会随着尺寸大小改变的匹配方式。

为说明本申请的虚拟三维模型与实体模型匹配的方法的不同实现方式，本申请还提供了以下实施例。

请参阅图1，为本申请提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程图，包括：

步骤S101，采集设有标记点的目标对象的三维信息，所述标记点至少为三个，且所述标记点的位置信息不在同一直线；

其中，目标对象包括但不限于人、人身体某一部位或组织、物品、以及某些虚拟场景的模型，例如，树木、个人、汽车等。三维信息指目标对象通过医学影像检查设备或核磁共振成像设备扫描所述实体模型得到带有标记点的检查数据，例如，反映目标对象的构造体的三维模型和构造体的三维测量值，从连接关系、形状特征、形状信息以及姿势等多个角度有助于生成虚拟三维模型的参数。

目标对象的标记点至少为三个，其中，三个标记点可以在实体模型的表面或内部，且三个标记点不在一条直线上，通过三个标记点构成一个视觉坐标系，在该视觉坐标系上每个标记点对应有一个坐标，通过上述标记不仅能够准确反映物体的形状、结构与朝向，还有利于计算真实的视觉坐标系与虚拟世界的虚拟现实坐标系之间的关系。

步骤S102，根据所述目标对象的三维信息按照刚体变换构建所述所述目标对象在真实坐标系下的虚拟三维模型；

具体地，通过刚体变换，将设有标记点的目标对象的三维信息构建目标对象在真实坐标系下所对应的虚拟三维模型，例如，利用刚体变换得到所述实体模型所对应的虚拟三维模型，其中，变换前后两点间的距离依旧保持不变则被称为刚体变换，刚体变换可分解为平移变换、旋转变换和镜像变换，例如，通过刚体变换的形状和大小不发生变化的物体；刚体不仅有位置、还有自身的姿态，姿态是指物体的朝向。

例如，三个标记点分别为标记点A、标记点B与标记点C，其中，标记点A的坐标为(x₁、 y₁、z₁)、标记点B的坐标为(x₂、y₂、z₂)与标记点C的坐标为(x₃、y₃、z₃)，通过标记点A与标记点B构成一个XOY的平面，在此基础上，结合标记点C构建一个三维坐标系 XYZ，通过确定三个标记点的位置信息，能够迅速确定实体模型的三维结构。

又例如，当目标对象为患者的牙齿时，可以使用口腔医学里传统的制取印模、翻制石膏模型的方法制作患者的牙齿模型，再使用仓式扫描仪扫描得到所述患者的牙齿三维模型，从而得到牙齿的三维模型；也可采用手持式数字口内扫描仪直接扫描患者口腔，即可直接获取所述患者的牙齿的三维模型，从而得到牙齿的三维模型。

步骤S103，采集虚拟现实坐标系下所述目标对象对应的实体模型的各个标记点所对应的位置信息；

具体地，一方面，目标对象在真实坐标系有对应的实体模型，有对应的三维关系，能够反映实体模型的长、宽、高以及具体的结构关系；另一方面，在虚拟现实坐标系下，由于虚拟现实坐标系相对于真实坐标系本身发生了改变，两个坐标系之间存在矩阵变换关系，通过计算两者之间的矩阵变换关系，计算实体模型标记点的坐标转换。

步骤S104，当监测到虚拟三维模型与实体模型匹配指令时，加载虚拟三维模型，根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，利用所述三维变换关系反向变换所述虚拟三维模型各标记点，向所述实体模型的各个标记点的位置进行重合，实现虚拟三维模型与实体模型的融合。

具体地，实体模型的标记点的位置信息在虚拟现实场景内初始是固定的，在输入虚拟三维模型之后，从虚拟三维模型当前所处的原点出发，将虚拟三维模型的各个标记点与实体模型的标记点进行匹配，通过矩阵变换关系反向计算出虚拟三维模型的各个标记点的平移、翻转的位置姿态矩阵，从而得到虚拟三维模型的各个标记点的匹配轨迹。

通过上述方式，避免虚拟三维模型与实体模型间的匹配精度随着目标对象的尺寸结构减小而引发的匹配精度下降的现象，保证了各种不同物体在不同应用场景的正常使用。

在某一些实施例中，所述步骤S102中所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应的位置信息的步骤，还包括：

配置与MR设备近距离无线信号连接的信号笔；采集所述信号笔垂直于所述实体模型各个标记点中心区域的信号强度值，通过多次变换MR设备的位置信息分别采集所述实体模型每个标记点对应的信号强度值；利用三点定位原理结合不同位置所对应的信号强度值计算每个所述标记点的位置信息。

其中，信号笔可以通过红外线笔、ZigBee笔、蓝牙笔等发出无线信号，将信号笔垂直于所述实体模型各个标记点中心区域，其中，信号笔以纽扣形式粘贴重合在实体模型的标记点上，用户通过穿戴MR设备，通过切换用户穿戴MR设备的后的位置信息，从多个维度对同一个标记点进行信号收发，通过不同距离得到一个标记点对应不同信号强度值，通过三点定位原理反向计算标记点的位置坐标，再结合收发特殊数据封包的信号强度值的信号相位差优化计算标记点的位置信息，从而准确定位到实体物体所对应的实体模型的标记点的位置信息。

可选的，信号笔还可为使用超宽带定位技术的定位设备，其数据传输是通过收发纳秒级别的窄脉冲来实现，可以在室内定位中保证GHz级的数据带宽，超宽带定位技术的优点在于具有厘米级别的精度，且功耗低，并具有较强的抗干扰能力。

在另一些实施例中，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应的位置信息的步骤，还包括：

可选的，在不同位置信息采集同一标记点的所述MR设备所对应的惯性数据，同时，利用MR设备内惯性测量单元采集MR设备内的摄像装置所对应的惯性数据(线性加速度与旋转矢量)，由惯性数据确定MR设备的运动轨迹，根据所述运动轨迹确定MR设备位置变换后的位姿变化数据；例如，惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。包括三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于虚拟现实坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

具体地，根据所述惯性数据计算MR设备位置变换后的位姿变化数据。

具体地，蓝牙笔发出蓝牙信号，将蓝牙笔垂直于所述实体模型各个标记点中心区域，其中，蓝牙笔以纽扣形式粘贴重合在实体模型的标记点上，用户通过穿戴MR设备，通过切换用户穿戴MR设备的位置信息，变换位置前后对同一个标记点进行蓝牙信号收发，通过不同距离得到一个标记点对应不同信号强度值；获取MR设备在位置变换前的初始位置信息(虚拟现实坐标系)，利用位置变换后所对应惯性数据计算所述MR设备的位置信息，即，位姿变化数据；通过位置变换前后MR设备自身的位姿变化数据根据位置变换前后同一个标记点的信号强度值的变化，利用三角定位原理与信号强度的变换差异借助定位算法得到该标记点在虚拟现实坐标系下的位置信息。

在上述实施例的基础上，还包括：

利用与MR设备无线信号连接的蓝牙笔，在蓝牙笔末端设置二维码图像，通过识别二维码图像得到二维码坐标位置信息，对二维码坐标信息进行变换得到虚拟现实坐标系下的第一位置信息，通过蓝牙笔、二维码图像与标记点的关联关系得到该标记点的第一位置信息；

获取MR设备在虚拟现实坐标系下的位置信息，利用MR设备在不同位置信息采集同一标记点的所述MR设备所对应的惯性数据，根据所述惯性数据计算MR设备位置变换后的位姿变化数据；同时，利用蓝牙笔与标记点中心位置重合收发信号，通过多次变换MR设备的位置信息分别采集所述实体模型每个标记点对应的信号强度值；根据所述MR设备位置变换后的位姿变化数据以及在位置变换前后所接收的信号强度值进行计算，得到目标对象中同一标记点的第二位置信息；

通过加权融合目标对象中同一标记点的第一位置信息与第二位置信息，例如，平均加权融合，或者，第一位置信息与第二位置信息按照3:2、7:3的融合方式得到目标对象同一标记点的最终位置信息，能够达到毫米级的定位。

采用上述方式，通过人为参与的半自动方式采集各个标记的位置信息，相对于借助于视觉定位获取标记的位置信息的方式来讲，得到标记点的位置信息更精准，还需要说明的是，本实施例中的定位方式不会因物体尺寸大小而降低虚拟三维模型与实体模型间的匹配精度，确保了两者匹配精度不变。

通过在蓝牙笔末端设置二维码图像，所述二维码图像存储有网络地址，通过识别并访问获取所述蓝牙笔实时变动的位置信息；

将蓝牙笔与实体模型的进行中心位置重合，且所述蓝牙笔具有光滑的反射面；

预先在虚拟现实场景内设置用于测距定位的激光测距仪，通过调节至少三个所述激光测距仪的角度对准同一标记点上的蓝牙笔的反射面，利用蓝牙笔反射激光信号的时间差与激光测距仪的发射角度来计算激光笔当前的位置信息，将当前的所述位置信息关联到网络地址；

利用MR设备访问所述二维码图像内网络地址确定当前变化的位置信息，从而得到目标对象中标记点的位置信息。

在本实施例中，利用激光测距仪来定位，通过发射一个激光信号，根据接收到从蓝牙笔光滑的反射面反射回来的激光信号的时间差来计算距离；然后，根据发射激光的角度来确定蓝牙笔和发射器的角度，从而得出蓝牙笔与发射器的相对位置；最后，根据激光测距仪的自的位置，便可以确定蓝牙笔在虚拟现实坐标系下的位置信息，该测量位置信息精确到1毫米，极大提高测量精度。

将位置信息存储后台服务器，通过二维码图像访问服务器，得到目标对象中标记点的位置信息。

在某一些实施例中，所述将所述虚拟三维模型输入所述虚拟现实场景内之前，还包括：对所述虚拟三维模型进行预处理，得到与所述实体模型参数相同的虚拟三维模型。

由于三维模型的格式包括但不限于STL、3DS、3DP、3MF、OBJ、PLY等格式，利用三维模型格式转换器预处理虚拟三维模型，预处理主要是对形成的虚拟三维模型进行格式转换，确保生成的虚拟三维模型至少要满足虚拟现实设备(如MR设备、AR设备)的硬件支持要求，使得虚拟三维模型能够正常显示在虚拟现实设备构成的现实虚拟环境内；另外，通过格式转换的方式，确保虚拟三维模型与实体模型所形成的三维模型至少格式相同，在虚拟三维模型与实体模型融合时，大大提升虚拟三维模型与实体模型融合的准确率。

在某一些实施例中，请参阅图2，本申请提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程图，还包括：

所述根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，还包括：

步骤S201，获取目标对象的同一标记点分别在真实坐标系下、虚拟现实坐标系下各自对应的第一位置坐标与第二位置坐标；

步骤S202，以所述真实坐标系与虚拟现实坐标系平移变换矩阵和旋转变换矩阵作为自变量，基于所述第一位置坐标和所述第二位置坐标构建经平移变换矩阵和旋转变换矩阵之后所对应的目标函数；

步骤S203，对所述目标函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩阵之间的三维变换关系。

可选的，由于上述目标函数中包含有两个自变量，为便于计算，可以先获取平移变换矩阵和旋转变换矩阵之间的最优的变换关系，将上述目标函数转换为仅包含一个自变量的函数，例如，仅包含旋转变换矩阵的函数，进而计算出使得上述函数值最小的最优旋转变换矩阵，参照上述方式，再计算得到函数值最小的最优平移变换矩阵。

由此可知，根据目标函数取到最小值时，平移变换矩阵和旋转变换矩阵之间的变换关系，作为最优的三维变换关系。例如，可以在得到最优旋转变换矩阵之后，采用最优旋转变换矩阵对第一位置坐标(即：标记点在真实标系下的坐标向量)进行变换，得到变换后坐标向量，然后将变换后坐标向量与第二位置坐标(即：标记点在虚拟现实坐标系下的坐标向量)之差，确定为最优平移变换矩阵。又例如，在得到最优旋转变换矩阵之后，采用最优旋转变换矩阵对第二位置坐标(即：标记点在虚拟现实坐标系下的坐标向量)进行变换，得到变换后坐标向量，然后将变换后坐标向量与第一位置坐标(即：标记点在真实标系下的坐标向量)之差，确定为最优平移变换矩阵。

采用上述方式，可以得到精度较高的三维变换关系，进而提高真实坐标系与虚拟现实坐标系的坐标转换关系。

在另一些实施例中，还包括：

获取所述实体模型各个标记点分别在虚拟现实坐标系、真实坐标系各自对应的的位置信息；

计算所述实体模型各个标记点在虚拟现实坐标系与真实坐标系之间的矩阵变换关系；

根据刚体变换利用所述虚拟三维模型的各个标记点与实体模型各个标记点之间的矩阵变换关系，将所述虚拟三维模型的各个标记点通过反向变换与所述实体模型的各个标记点对应重合，实现虚拟三维模型与实体模型之间的精准匹配。

具体地，实体模型的各个标记点相对于实体模型是保持不变的，在虚拟现实坐标系下，各个标记点所处的位置坐标能够反映该标记点的位移与姿态，但是，当实体模型身处于虚拟现实场景中的，由于实体模型的坐标系发生了变化，原有在真实坐标下的各个标记点在虚拟现实中也随之发生改变，故而导致实体模型的标记点在虚拟现实坐标系下也发生改变。

例如，实体模型各个标记点在虚拟现实坐标系与真实坐标系之间的矩阵变换关系，计算矩阵变换关系的步骤，具体包括：

其中，T＝(t,t,t,1)^T为MR设备在真实坐标系的原点在真实坐标系中的坐标，R为虚拟现实坐标系相对真实坐标系旋转的4×4正交矩阵，X_c、Y_c、Z_c为真实坐标系下的坐标，X_r、 Y_r、Z_r为虚拟现实坐标系下的坐标。

在具体方案中，可将真实坐标系与虚拟现实坐标系下之间的映射矩阵转换展开，对n个在真实坐标系中的坐标已知的标识点，每个标识点都符合上式的方程，于是可得到3n个方程构成的方程组：

将其改写为AR＝B，由于只有参数矩阵的秩和未知参数个数相等时才可以求解，即，最少需要四个线性无关的标记点才能求解R、T，将n个标识点坐标带入AR＝B，其求解实际上转换为最小二乘问题，此时R的解可用最小二乘线性回归求得：R＝(A^T·A^-1)·A^T·B。

根据n组初始拟合点绘制残差图；去除残差图中置信区间均不包含零点的m组离群点，得到n-m个目标拟合点；将n-m组目标拟合点代入真实坐标系与虚拟现实坐标系之间的映射矩阵，即可将得到真实坐标系与虚拟现实坐标系之间的矩阵变换关系，其中，n、m为大于零的正整数，且n大于m。

在某一些实施例中，请参阅图3，本申请提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程图，若所述目标对象发生了位置移动，所述方法还包括：

步骤S301，获取所述目标对象的当前目标图像和历史目标图像，所述历史目标图像为在所述当前目标图像之前若干时间拍摄的图像；

步骤S302，分别提取所述当前目标图像和历史目标图像的特征信息，将两幅图像中的特征信息匹配的每一对特征点确定为匹配点对，所述特征信息包括形状、颜色、纹理、灰度中至少一种；

步骤S303，根据每一对匹配点对中的两个特征点各自的位置信息来确定当前目标图像和历史目标图像的位置变化信息；利用所述位置变化信息来判断所述目标对象是否发生位置移动；若所述目标对象发生了位置移动，确定位置变化信息；

步骤S304，根据所述位置变化信息调整所述虚拟三维模型，以实现将所述虚拟三维模型显示在发生位置移动后的所述目标对象的对应位置。

可选的，当前目标图像和历史目标图像可以对目标对象拍摄视频的两个时刻的图像帧，也可以是前后两个时刻所拍摄的图像。当前目标图像和历史目标图像可以是由同一拍摄设备在同一位置拍摄的不同时刻的两张图像，也可以是由同一拍摄设备在不同位置拍摄的不同时刻的两张图像。例如当前目标图像和历史目标图像可以是通过观察对象所佩戴的辅助观察设备所采集的，由于观察对象可能存在走动、转头等动作，使得其所采集到的当前目标图像和历史目标图像的图像采集位置并不相同，此时可以通过借助某一固定参照物的坐标进行坐标系的转换，以确定当前位置信息和历史位置信息。

可选的，利用SIFT算法、小波算法或者采用特征信息获取模块根据每一幅图像(当前目标图像和历史目标图像)所包含的像素点的诸如颜色、灰度等信息来确定特征点，获取特征点的特征信息。例如，当所述当前目标图像和历史目标图像中任一幅图像中预定尺寸的子图像块的特征信息与该子图像块相邻的子图像块的特征信息之差超过预设阈值范围时，则所述确定该个子图像块为特征点，并获取该个特征点的特征信息等。预定尺寸的子图像块包括但不限于包括2*2个像素点、3*3个像素点等的子图像块。

可选的，当前目标图像中的特征点的特征信息与历史目标图像中的特征点的特征信息是否相同；或者，通过位置变化信息来判断，例如，当前目标图像中的特征点的特征信息与历史目标图像中的特征点的特征信息之间的欧式距离是否小于预定阈值；又例如，先确定每一对匹配点对中的两个特征点各自的位置信息的差值，再基于每一对匹配点对所对应的差值来求取平均值，将该平均值作为当前目标图像中的特征点的特征信息与历史目标图像中的特征点的特征信息之间的位置变化信息，从而精准的判断目标对象是否发生了位置移动。

通过上述方式可以实现在目标对象发生移动时，使得三维模型及时进行跟随移动，且在目标对象发生移动过程中不进行模型的移动，防止模型显示图像晃动，客户体验度下降。相比于重新确定新的空间转化关系，该方式更加简单方便，计算量相对较少，匹配效率更高。

在另一些实施例中，还包括：

获取所述实体模型各个标记点在虚拟现实坐标下的位置信息；获根据刚体变换计算所述实体模型各个标记点与虚拟三维模型各个标记点之间一一对应的矩阵变换关系；按照所述矩阵变换关系将所述虚拟三维模型的各个标记点通过反向变化与所述实体模型的各个标记点对应重合，实现虚拟三维模型与实体模型之间的精准匹配。

具体地，在虚拟模型的虚拟三维模型和实际物体对应的相同位置各获取n个标记点(n 为大于等于3的自然数，由标记点求解R、t时的自由度决定)，由于刚体变换可以分解为旋转变换和平移变换，因此，将虚拟模型和实际物体的刚体变换转变成求解由源点对到目标点对的R(旋转矩阵)、t(平移矩阵)变换关系，即满足P^Target＝R*P^Calibration+t。

其中，求解标记点对A到B(A和B为3 x n数组，每一列表示一个坐标点)之间R、 t变换矩阵的方法是，通过求解标记点A、标记点B对的平均中心将A、B分别平移到旋转中心，再求得R，带入刚体变换公式求得t。

获得虚拟模型和实体标记物实际坐标的方法是，在HoloLens里通过放置虚拟点获得标记点坐标，通过CT图像重建获得带有标记点的三维模型(虚拟三维模型)，将两种特征点进行匹配，以达到模型匹配效果。

在某一些实施例中，还包括：当目标对象为用户身体某个部位时，通过在所述部位相应位置设有标记点得到实体模型，利用CT或核磁共振扫描所述实体模型得到检查数据，基于所述检查数据与标记点构建虚拟三维模型。

其中，所述标记点在实体模型的表面时，所述标记点为用户特殊的纹理特征、胎记、痣、贴有的标签或涂抹的标记中至少一种。例如，由于针对的目标对象为患者，当为患者的身体某个部分或某个器官组织时(头部、手部、腿部等)，在人体的表面有些特殊纹理，例如：纹身或疤痕，胎记、以及痔等特别凸显的特征信息，一方面，上述特征信息位于人体表面，特征信息不会轻易发生位置改变以及轻易掉落；另一方面，上述特征信息相对于人体表面，即使拍照或采集成像后能够轻易识别，特别显目。

当用户使用微软的HoloLens眼镜的空间映射功能，采集当前场景的内部结构信息，例如，用户操作HoloLens眼镜，设定单次扫描范围阈值；用户穿戴HoloLens眼镜在当前手术室内行走，采用HoloLens眼镜扫描手术室的内部环境，得到一组手术室内部结构信息网格和坐标进行存储；使用HoloLens眼镜按照以上方法采集离散的小空间，采集多组用手术室内部结构信息用于后续拼接处理构成完整的手术室内部3D模型，实现三维场景的重建。例如，使用建模软件制作上述信息面板并导入Unity3D中；在所述Unity3D中使用HoloLens插件为上述信息面板绑定脚本，添加空间锚点定位功能；使用预制体调用环境感知摄像头和深度感知摄像头定期进行对周围环境进行扫描，更新环境信息数据；三维场景重建，将具有空间锚点定位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。

例如，当用户扫描的目标对象(即，目标对象)为患者的腿部时，由于腿部为虚拟现实场景内的实体模型，该实体模型上设有标记点，用户通过HoloLens眼镜能够在虚拟现实场景中，清晰完整的观察患者的腿部，以及腿部表面的标记点。而在此之前，用户通过CT或核磁共振扫描患者腿部得到检查数据，获悉该腿部三维结构，基于所述检查数据与标记点构建含有标记点的虚拟三维模型，该虚拟三维模型从骨架、肌肉、血管、病灶以及标记等多个维度多颜色进行区别显示，通过匹配全息影像与腿部之间对应的标记点，实现3D重建后的全息影像与人体精准重合，使医生能够更直观、真实地观察人体组织结构，从而提高手术精准度、方便与患者沟通，同时，也能增加年轻医生的手术参与率。

通过上述三维可视化技术，在腿部的实体模型上叠加虚拟的虚拟三维模型，以彩色三维可透明的立体结构展现，不仅可辅助临床医生解决目前所遇到的各种复杂疑难病症，还能为治疗提供手术模拟、风险评估、精准测量及术中导航，从而提高手术成功率。

在另一些实施例中，还包括：

获取穿戴MR设备的用户的手势动作；

可选的，通过穿戴的MR设备中的摄像装置来扑捉用户的手势动作，该手势动作可采用同一穿戴设备中多个摄像装置采集手势动作，通过采用至少两帧的图像来获取手势动作，对从不同摄像装置或者不同时间或者不同角度获得的多幅手势动作图像进行最佳匹配，得到待融合图像，对待融合图像进图像融合与边界平滑处理，得到当前拼接图像(融合方法有HIS 融合法、高通滤波融合法、小波变换融合法等)，通过拼接融合手势这一特征信息获取到用户手势变化的运动轨迹与位姿变化信息，从而确保手势动作采集的准确性。

可选的，通过将手势动作与预设的手速动作进行比较，若两者的比较结果大于预设阈值时，则认为实现了某个特定操作指令；另外，在手势动作发生之前，通过点击或长按等方式关联映射到某个目标对象时，则后续该目标对象按照识别的操作指令完成指定动作即可。

通过上述方式，不仅能够满足穿戴MR设备的用户的各种不同的需求，还能在虚拟三维模型与实体模型匹配融合后，在虚拟现实场景内准确实现人机交互，提高了用户在使用虚拟现实设备时的体验度。

在其他实施例中，所述实体模型还可以对应其他的物品的模型，通过在实体物体设置标记点，使得虚拟的虚拟三维模型与实体模型在相同位置都存在标记点，利用标记点匹配方式，在虚拟现实技术中，特别是MR设备下能够快速而准确的完成虚拟三维模型与实体模型的匹配，相对于现有的视觉定位与手势识别定位进行匹配，本实施例中的标记点匹配，不仅匹配效率高、无需过多人为参与，同时，匹配精度不会随着实体模型与虚拟模型的尺寸缩小而逐渐降低，确保其可以准确应用到各个场景。

请参阅图4，为本申请提供的一种虚拟三维模型与实体模型匹配的系统结构框图，包括：

第一采集模块1，用于采集设有标记点的目标对象的三维信息，所述标记点至少为三个，且所述标记点的位置信息不在同一直线；

虚拟模型构建模块2，用于根据所述目标对象的三维信息按照刚体变换构建所述所述目标对象在真实坐标下的虚拟三维模型；

第二采集模块3，用于采集虚拟现实坐标系下所述目标对象对应的实体模型的各个标记点所对应的位置信息；

模型匹配模块4，用于当监测到虚拟三维模型与实体模型匹配指令时，加载虚拟三维模型，根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，利用所述三维变换关系反向变换所述虚拟三维模型各标记点，向所述实体模型的各个标记点的位置进行重合，实现虚拟三维模型与实体模型的融合。

还需要说明的是，虚拟三维模型与实体模型匹配的系统与虚拟三维模型与实体模型匹配的方法为一一对应的关系，在此，各个模块/单元与上述流程步骤所涉及的技术细节与技术效果均相同，在此不用一一赘述，请参照上述虚拟三维模型与实体模型匹配的方法。

下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如电子设备设备或服务器500的结构示意图。本公开实施例中的电子设备设备可以包括但不限于诸如手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放器、MP5播放器、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(VirtualReality，VR)播放器或增强现实(Augmented Reality，AR)播放器等的固定器。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器 (RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有电子设备500 操作所需的各种程序和数据。处理装置501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备参照上述虚拟三维模型与实体模型匹配的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

综上所述，在混合虚拟现实中，通过将虚拟三维模型显示在虚拟现实场景内，利用标记定位方式，将同一目标对象的虚拟三维模型精准的匹配到虚拟现实场景内目标对象所对应的实体模型，不会随着目标对象逐渐减小，出现虚拟三维模型与实体模型之间的匹配精度下降的现象，保证了各种不同物体在不同应用场景的正常使用。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims

1.一种虚拟三维模型与实体模型匹配的方法，其特征在于，包括：

2.根据权利要求1所述的虚拟三维模型与实体模型匹配的方法，其特征在于，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应的位置信息的步骤，还包括：

配置与MR设备无线信号连接的信号笔；采集所述信号笔垂直于所述实体模型各个标记点中心区域的信号强度值，通过多次变换MR设备的位置信息分别采集所述实体模型每个标记点对应的信号强度值；利用三点定位原理结合不同位置所对应的信号强度值计算每个所述标记点的位置信息。

3.根据权利要求1所述的虚拟三维模型与实体模型匹配的方法，其特征在于，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应的位置信息的步骤，还包括：

4.根据权利要求1所述的虚拟三维模型与实体模型匹配的方法，其特征在于，所述根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，还包括：

5.根据权利要求1所述的虚拟三维模型与实体模型匹配的方法，其特征在于，还包括：

在蓝牙笔末端设置二维码图像，所述二维码图像存储有网络地址，通过识别并访问获取所述蓝牙笔实时变动的位置信息；

6.根据权利要求1所述的虚拟三维模型与实体模型匹配的方法，其特征在于，若所述目标对象发生了位置移动，所述方法还包括：

7.根据权利要求1至6中任一所述的虚拟三维模型与实体模型匹配的方法，其特征在于，还包括：当目标对象为待测用户躯体的某个部位或组织时，通过在所述实体模型设有标记点，利用医学影像检查设备或核磁共振成像设备扫描所述实体模型得到带有标记点的检查数据，利用刚体变换基于所述检查数据与标记点构建属于目标对象的虚拟三维模型；其中，所述标记点在实体模型表面时，所述标记点为用户特殊的纹理特征、胎记、痣、贴有的标签或涂抹的标记中的至少一种。

8.一种虚拟三维模型与实体模型匹配的系统，其特征在于，包括：

9.一种电子设备，其特征在于：包括：

一个或多个处理装置；

存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如1至7中任一所述的虚拟三维模型与实体模型匹配的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行权利要求1至7中任一所述的虚拟三维模型与实体模型匹配的方法。