CN105631161A - 一种虚实模型重合的确定方法与装置 - Google Patents

Abstract

本发明公开了一种虚实模型重合的确定方法与装置，所述方法包括：选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点对应相同位置的点，同时获取实体模型的影像；对虚拟模型进行若干次平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合。本发明通过普通摄像机获取实体模型的影像，无需高精度摄像机来识别高精度图，并通过选择虚拟模型和实体模型影像中的对应点，只需通过平移和旋转操作，无需借助网络进行处理，即可使虚拟模型上的对应点与实体模型影像很好地融合，处理速度快，实时效果好，从而带来良好的用户体验。

Description

一种虚实模型重合的确定方法与装置

技术领域

本发明涉及计算机仿真领域，具体涉及一种虚实模型重合的确定方法与装置。

背景技术

通过增强现实技术，我们可以将三维模型自动、实时显示在影像上，从而实现实体模型与虚拟模型影像的信息融合。但是，这种方法存在以下明显的缺点：

增强现实技术需要识别图，实时性较差。识别图是指在预先生成识别点的图片，根据这些预存的图片或视频，实现模型的实时生成。然而这种方式处理速度较慢，无法实现较高的实时性，大大影响了用户体验。

增强现实技术需要识别图的精度较高。在实际应用中，增强现实技术要根据摄像机看到的图片进行识别，以生成所需的三维模型。对于这一过程，其要求摄像机看到的图片要与预存储的识别图误差不能太大，否则不能生成三维模型。在实际过程中，摄像机看到的画面可能受光照、角度等因素的限制，与识别图相差较大，从而导致增强现实技术不能正确识别图片，导致无法生成模型。

增强现实技术需要全程联网。以流行的增强现实SDK高通vuforia为例，其识别图需要预先存储到其数据库中，生成识别点后方可用于增强现实技术，这就意味着在使用过程中需要全程联网。当网络条件不佳时，则增强现实技术无法发挥作用。

发明内容

由于增强现实技术在处理虚实模型重合的过程中，需要识别图，实时性较差，要求摄像机能够识别高精度图，且需要较好的网络条件，本发明提出一种虚实模型重合的确定方法与装置。

第一方面，本发明提出一种虚实模型重合的确定方法，包括：

选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点对应相同位置的点，同时获取实体模型的影像；

对虚拟模型进行若干次平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合。

选优地，所述选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点中每个点对应的点包括：

选择实体模型表面的三个点，并在虚拟模型中选择与所述三个点对应相同位置的点。

选优地，所述对虚拟模型进行平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，包括：

获取实体模型影像和虚拟模型中每个点对应的坐标，计算三组对应坐标之间的距离，并选择最大距离对应的两个坐标，记为第一坐标和第二坐标；选择次大距离对应的两个坐标，记为第三坐标和第四坐标；

对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合；

以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上；

计算三组对应坐标之间的距离；如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转；

其中，第一坐标和第三坐标为实体模型中的点对应的坐标，第二坐标和第四坐标为虚拟模型中的点对应的坐标。

选优地，所述获取实体模型影像和虚拟模型中每个点对应的坐标，包括：

以摄像机中心为原点，获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标；

根据坐标变换公式，计算得到实体模型影像和虚拟模型中每个点对应的世界坐标，所述坐标变换公式为：

$\left[\begin{array}{c}{x_p}^{\′}\\ {y_p}^{\′}\\ {z_p}^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]-M_1\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]---\left(1\right)$

其中，P为实体模型影像或虚拟模型中的一点，P点在摄像机坐标系中的坐标为(x_p’，y_p’，z_p’)，P点的世界坐标为(x_p，y_p，z_p)，R为3×3的正交单位矩阵，t为三维平移向量，0为零向量，M₁为变换矩阵。

选优地，所述对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合，包括：

平移矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ x_2-x_1& y_2-y_1& z_2-z_1& 1\end{array}\right]---\left(2\right)$

其中，所述第一坐标为P₁(x₁，y₁，z₁)，所述第二坐标为P₂(x₂，y₂，z₂)；

所述以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上，包括：

旋转矩阵M为：

$M=\left[\begin{array}{cccc}cos\mathrm{\α}& 0& -\sin \mathrm{\α}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\α}& 0& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

其中，α为直线P₁P₃和直线P₁P₄旋转之前的夹角，P₃为旋转之前第三坐标对应的点，P₄为旋转之前第四坐标对应的点。

第二方面，本发明还提出一种虚实模型重合的确定装置，包括：

对应点选择模块，用于选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点对应相同位置的点，同时获取实体模型的影像；

模型移动模块，用于对虚拟模型进行若干次平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合。

选优地，所述选对应点选择模块用于选择实体模型表面的三个点，并在虚拟模型中选择与所述三个点对应相同位置的点。

选优地，所述模型移动模块包括：

距离计算单元，用于获取实体模型影像和虚拟模型中每个点对应的坐标，计算三组对应坐标之间的距离，并选择最大距离对应的两个坐标，记为第一坐标和第二坐标；选择次大距离对应的两个坐标，记为第三坐标和第四坐标；

平移单元，用于对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合；

旋转单元，用于以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上；

阈值判断单元，用于计算三组对应坐标之间的距离；如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转；

其中，第一坐标和第三坐标为实体模型中的点对应的坐标，第二坐标和第四坐标为虚拟模型中的点对应的坐标。

选优地，所述距离计算单元用于以摄像机中心为原点，获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标；并根据坐标变换公式，计算得到实体模型影像和虚拟模型中每个点对应的世界坐标，所述坐标变换公式为：

$\left[\begin{array}{c}{x_p}^{\′}\\ {y_p}^{\′}\\ {z_p}^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]-M_1\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]---\left(1\right)$

其中，P为实体模型影像或虚拟模型中的一点，P点在摄像机坐标系中的坐标为(x_p’，y_p’，z_p’)，P点的世界坐标为(x_p，y_p，z_p)，R为3×3的正交单位矩阵，t为三维平移向量，0为零向量，M₁为变换矩阵。

选优地，所述平移单元包括：

平移矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ x_2-x_1& y_2-y_1& z_2-z_1& 1\end{array}\right]---\left(2\right)$

其中，所述第一坐标为P₁(x₁，y₁，z₁)，所述第二坐标为P₂(x₂，y₂，z₂)；

所述旋转单元包括：

旋转矩阵M为：

$M=\left[\begin{array}{cccc}cos\mathrm{\α}& 0& -\sin \mathrm{\α}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\α}& 0& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

其中，α为直线P₁P₃和直线P₁P₄旋转之前的夹角，P₃为旋转之前第三坐标对应的点，P₄为旋转之前第四坐标对应的点。

由上述技术方案可知，本发明通过普通摄像机获取实体模型的影像，无需高精度摄像机来识别高精度图，并通过选择虚拟模型和实体模型影像中的对应点，只需通过平移和旋转操作，无需借助网络进行处理，即可使虚拟模型上的对应点与实体模型影像很好地融合，处理速度快，实时效果好，从而带来良好的用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种虚实模型重合的确定方法的流程示意图；

图2为本发明一实施例提供的一种虚拟模型移动算法的流程示意图；

图3为本发明一实施例提供的一种辅助心脏搭桥手术的校准点选择的示意图；

图4为本发明一实施例提供的一种辅助心脏搭桥手术的虚实模型重合后的示意图；

图5为本发明一实施例提供的一种虚实模型重合的确定装置的结构示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种虚实模型重合的确定方法的流程示意图，包括：

S1、选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点对应相同位置的点，同时获取实体模型的影像；

S2、对虚拟模型进行若干次平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合。

本实施例通过普通摄像机获取实体模型的影像，无需高精度摄像机来识别高精度图，并通过选择虚拟模型和实体模型影像中的对应点，只需通过平移和旋转操作，无需借助网络进行处理，即可使虚拟模型上的对应点与实体模型影像很好地融合，处理速度快，实时效果好，从而带来良好的用户体验。

通过选择虚拟模型和实体模型中的对应点，并通过平移和旋转操作，使得虚拟模型上的对应点可以与实体模型的影像很好地融合，并通过微调能够实时快速地控制虚拟模型，从而带来良好的用户体验。

作为本实施例的选优方案，S1包括：

选择实体模型表面的三个点，并在虚拟模型中选择与所述三个点对应相同位置的点。

三个点是确定一个三维物体位置的最少数目，且选择准确的三个点并使虚实模型的三个对应点重合，则虚实模型也完全重合。采用越少的点，计算速度越快，虚实模型重合的确定方法的实时性越好，用户体验也更好。

具体地，S2包括：

获取实体模型影像和虚拟模型中每个点对应的坐标，计算三组对应坐标之间的距离，并选择最大距离对应的两个坐标，记为第一坐标和第二坐标；选择次大距离对应的两个坐标，记为第三坐标和第四坐标；

对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合；

以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上；

计算三组对应坐标之间的距离；如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转；

其中，第一坐标和第三坐标为实体模型中的点对应的坐标，第二坐标和第四坐标为虚拟模型中的点对应的坐标。

选择对应点距离最大的点进行平移操作，使得每一次平移和旋转后，虚实模型的重合程度更高，达到模型重合要求的速度更快。

进一步地，所述获取实体模型影像和虚拟模型中每个点对应的坐标，包括：

以摄像机中心为原点，获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标；

根据坐标变换公式，计算得到实体模型影像和虚拟模型中每个点对应的世界坐标，所述坐标变换公式为：

$\left[\begin{array}{c}{x_p}^{\′}\\ {y_p}^{\′}\\ {z_p}^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]-M_1\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]---\left(1\right)$

其中，P为实体模型影像或虚拟模型中的一点，P点在摄像机坐标系中的坐标为(x_p’，y_p’，z_p’)，P点的世界坐标为(x_p，y_p，z_p)，R为3×3的正交单位矩阵，t为三维平移向量，0为零向量，M₁为变换矩阵。

采用射线检测法，从摄像机中心到鼠标指针处发出一条射线R，从而获得碰撞点P的摄像机坐标系下的坐标，这种坐标获取方法操作简单有效；将其转换为世界坐标是为了计算准确，以避免出现摄像机位置变动后导致的实体模型坐标的问题。

更进一步地，所述对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合，包括：

平移矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ x_2-x_1& y_2-y_1& z_2-z_1& 1\end{array}\right]---\left(2\right)$

其中，所述第一坐标为P₁(x₁，y₁，z₁)，所述第二坐标为P₂(x₂，y₂，z₂)；

所述以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上，包括：

旋转矩阵M为：

$M=\left[\begin{array}{cccc}cos\mathrm{\α}& 0& -\sin \mathrm{\α}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\α}& 0& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

其中，α为直线P₁P₃和直线P₁P₄旋转之前的夹角，P₃为旋转之前第三坐标对应的点，P₄为旋转之前第四坐标对应的点。

通过平移矩阵和旋转矩阵，能够快速准确地对虚拟模型进行变换，以使虚实模型更加快速重合。

如图2所示为本实施例提供的一种虚拟模型移动算法的流程示意图，具体包括以下步骤：

A1、设定距离阈值和迭代阈值；

距离阈值表示实体模型影像与虚拟模型对应点之间的距离，当所有对应点之间的距离均小于距离阈值时，则可确定虚实模型重合。

为了避免产生死循环，即无论虚拟模型如何平移和旋转，都无法达到距离阈值的要求，因而设定一个迭代阈值。迭代阈值表示虚拟模型平移和旋转的次数，即图2中循环的次数。

A2、虚拟模型沿向量P₂P₁平移，使点P₁和点P₂重合；

根据公式(2)的平移矩阵T进行平移，使点P₁和点P₂重合。

A3、计算直线P₁P₃和直线P₁P₄的夹角；

在点P₁和点P₂重合后，点P₃坐标为(x₃，y₃，z₃)，点P₄坐标为(x₄，y₄，z₄)，则直线P₁P₃和直线P₁P₄的夹角α满足以下公式：

$\begin{array}{c}{x}_4=(x_3-x_1)cos\mathrm{\α}-(y_3-y_1)\sin \mathrm{\α}+x_1\\ y_4=(x_3-x_1)\sin \mathrm{\α}+(y_3-y_1)\cos \mathrm{\α}+y_1\end{array}---\left(4\right)$

由公式(4)可解得夹角sinα和cosα。

A4、虚拟模型以点P₁为定点旋转，使点P₁、P₃和P₄在同一直线上；

根据公式(4)计算得到的sinα和cosα，可得到公式(3)的旋转矩阵M。根据旋转矩阵M对虚拟模型进行旋转操作。此时，三组对应点基本重合。

A5、计算线段P₃P₄和P₅P₆的距离，选择两者距离大的线段对应的点为P₁和P₂，距离小的线段对应的点为P₃和P₄；

A6、判断线段P₁P₂和线段P₃P₄的长度是否小于距离阈值，或者循环次数大于迭代阈值，如果是，则确定虚实模型重合，否则进行平移和旋转。

本实施例具有如下优点：确定速度快：通过三个对应的确定点即可将虚拟模型与实体模型影像相对应，省去了图像识别这一计算量庞大的过程；操作简便：用户仅需选取三对对应点即可实现虚拟模型与实体模型影像的对应，无需对高精度图进行一系列处理，简化了操作；无需联网：与增强现实技术相比，本系统采用对应点的方式对虚拟模型和实体模型影像进行融合，无需联网查找图片上的识别点。

以复杂工件的质量检测为例，描述一种虚实模型重合的确定方法的具体实施例。当前对复杂工件的质量检测，虽然能够借助计算机进行精密的计算，但是仍然无法完全脱离人为干预，尤其在进行实际工件和三维虚拟工件模型重合时，需要人为干预，否则运用增强现实技术进行重合时，往往需要耗费大量的计算时间。

本实施例具体包括以下步骤：

B1、三维数据导入：以按比例构建的三维虚拟工件模型作为输入数据，导入到系统中；

B2、校准点选取：选取三维虚拟工件模型上的三个校准点，再选取影像上的三个校准点，两组校准点分别对应工件的相同位置。

B3、虚拟模型移动：采用射线检测法获取六个校准点的摄像机坐标系中的坐标，采用公式坐标变换公式(1)得到六个校准点的世界坐标，运用图2所示的虚拟模型移动算法，得到复杂工件质量检测时的虚实模型重合图。

在虚拟模型移动算法运行过程中，可对模型和摄像机进行调整。模型微调：在两个对应平面近似重合后，为了得到更好的重合效果，用户可自行手动对模型的姿态进行微调；调整观察角度：在模型与影像重合后，用户可自行调整摄像机的观察角度，以便更好地观察模型与影像。

本实施例利用三维技术进行复杂工件的质量检测，可根据质量检测人员选取的校准点，将工件影像和三维虚拟工件模型融合显示，使模型上的校准点与实际的校准点融合，从而更加清晰地分析和检测复杂工件的质量，大大提升了检测效率。

另外，本方法也可应用到冠脉搭桥手术中，如图3中，左图为进行心脏搭桥手术时由摄影机实时拍摄的心脏图，右图为三维的心脏虚拟模型图，图4示出了虚拟的心脏模型与摄像机拍摄的实际心脏完全重合的图像，通过将术中心脏影像和虚拟心脏模型融合显示，使模型上的病灶点与实际的病灶点融合，从而使医生更加清晰地分析、判断搭桥路径，大大提升了手术效率。

图5示出了本实施例提供的一种虚实模型重合的确定装置的结构示意图，包括：

对应点选择模块11，用于选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点对应相同位置的点，同时获取实体模型的影像；

模型移动模块12，用于对虚拟模型进行若干次平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合。

本实施例通过普通摄像机获取实体模型的影像，无需高精度摄像机来识别高精度图，并通过选择虚拟模型和实体模型影像中的对应点，只需通过平移和旋转操作，无需借助网络进行处理，即可使虚拟模型上的对应点与实体模型影像很好地融合，处理速度快，实时效果好，从而带来良好的用户体验。作为本实施例的选优方案，所述选对应点选择模块11用于选择实体模型表面的三个点，并在虚拟模型中选择与所述三个点对应相同位置的点。

具体地，所述模型移动模块12包括：

距离计算单元，用于获取实体模型影像和虚拟模型中每个点对应的坐标，计算三组对应坐标之间的距离，并选择最大距离对应的两个坐标，记为第一坐标和第二坐标；选择次大距离对应的两个坐标，记为第三坐标和第四坐标；

平移单元，用于对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合；

旋转单元，用于以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上；

阈值判断单元，用于计算三组对应坐标之间的距离；如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转；

其中，第一坐标和第三坐标为实体模型中的点对应的坐标，第二坐标和第四坐标为虚拟模型中的点对应的坐标。

选择对应点距离最大的点进行平移操作，使得每一次平移和旋转后，虚实模型的重合程度更高，达到模型重合要求的速度更快。

进一步地，所述距离计算单元用于以摄像机中心为原点，获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标；并根据坐标变换公式，计算得到实体模型影像和虚拟模型中每个点对应的世界坐标，所述坐标变换公式为：

$\left[\begin{array}{c}{x_p}^{\′}\\ {y_p}^{\′}\\ {z_p}^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]-M_1\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]---\left(1\right)$

其中，P为实体模型影像或虚拟模型中的一点，P点在摄像机坐标系中的坐标为(x_p’，y_p’，z_p’)，P点的世界坐标为(x_p，y_p，z_p)，R为3×3的正交单位矩阵，t为三维平移向量，0为零向量，M₁为变换矩阵。

采用射线检测法，从摄像机中心到鼠标指针处发出一条射线R，从而获得碰撞点P的摄像机坐标系下的坐标，这种坐标获取方法操作简单有效；将其转换为世界坐标是为了计算准确，以避免出现摄像机位置变动后导致的实体模型坐标的问题。

更进一步地，所述平移单元包括：

平移矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ x_2-x_1& y_2-y_1& z_2-z_1& 1\end{array}\right]---\left(2\right)$

其中，所述第一坐标为P₁(x₁，y₁，z₁)，所述第二坐标为P₂(x₂，y₂，z₂)；

所述旋转单元包括：

旋转矩阵M为：

$M=\left[\begin{array}{cccc}cos\mathrm{\α}& 0& -\sin \mathrm{\α}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\α}& 0& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

其中，α为直线P₁P₃和直线P₁P₄旋转之前的夹角，P₃为旋转之前第三坐标对应的点，P₄为旋转之前第四坐标对应的点。

通过平移矩阵和旋转矩阵，能够快速准确地对虚拟模型进行变换，以使虚实模型更加快速重合。

本实施例具有如下优点：确定速度快：通过三个对应的确定点即可将虚拟模型与实体模型影像相对应，省去了图像识别这一计算量庞大的过程；操作简便：用户仅需选取三对对应点即可实现虚拟模型与实体模型影像的对应，无需对高精度图进行一系列处理，简化了操作；无需联网：与增强现实技术相比，本系统采用对应点的方式对虚拟模型和实体模型影像进行融合，无需联网查找图片上的识别点。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (10)

1.一种虚实模型重合的确定方法，其特征在于，包括：

选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点对应相同位置的点，同时获取实体模型的影像；

对虚拟模型进行若干次平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合。

2.根据权利要求1所述的方法，其特征在于，所述选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点中每个点对应的点包括：

选择实体模型表面的三个点，并在虚拟模型中选择与所述三个点对应相同位置的点。

3.根据权利要求2所述的方法，其特征在于，所述对虚拟模型进行平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，包括：

获取实体模型影像和虚拟模型中每个点对应的坐标，计算三组对应坐标之间的距离，并选择最大距离对应的两个坐标，记为第一坐标和第二坐标；选择次大距离对应的两个坐标，记为第三坐标和第四坐标；

对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合；

以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上；

计算三组对应坐标之间的距离；如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转；

其中，第一坐标和第三坐标为实体模型影像中的点对应的坐标，第二坐标和第四坐标为虚拟模型中的点对应的坐标。

4.根据权利要求3所述的方法，其特征在于，所述获取实体模型影像和虚拟模型中每个点对应的坐标，包括：

以摄像机中心为原点，获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标；

根据坐标变换公式，计算得到实体模型影像和虚拟模型中每个点对应的世界坐标，所述坐标变换公式为：

$\left[\begin{array}{c}{x_p}^{\′}\\ {y_p}^{\′}\\ {z_p}^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]-M_1\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]---\left(1\right)$

其中，P为实体模型影像或虚拟模型中的一点，P点在摄像机坐标系中的坐标为(x_p’，y_p’，z_p’)，P点的世界坐标为(x_p，y_p，z_p)，R为3×3的正交单位矩阵，t为三维平移向量，0为零向量，M₁为变换矩阵。

5.根据权利要求4所述的方法，其特征在于，所述对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合，包括：

平移矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ x_2-x_1& y_2-y_1& z_2-z_1& 1\end{array}\right]---\left(2\right)$

其中，所述第一坐标为P₁(x₁，y₁，z₁)，所述第二坐标为P₂(x₂，y₂，z₂)；

所述以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上，包括：

旋转矩阵M为：

$M=\left[\begin{array}{cccc}cos\mathrm{\α}& 0& -sin\mathrm{\α}& 0\\ 0& 1& 0& 0\\ sin\mathrm{\α}& 0& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

其中，α为直线P₁P₃和直线P₁P₄旋转之前的夹角，P₃为旋转之前第三坐标对应的点，P₄为旋转之前第四坐标对应的点。

6.一种虚实模型重合的确定装置，其特征在于，包括：

对应点选择模块，用于选择实体模型表面的至少三个点，并在虚拟模型中选择与所述至少三个点对应相同位置的点，同时获取实体模型的影像；

模型移动模块，用于对虚拟模型进行若干次平移和旋转操作，如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合。

7.根据权利要求6所述的装置，其特征在于，所述选对应点选择模块用于选择实体模型表面的三个点，并在虚拟模型中选择与所述三个点对应相同位置的点。

8.根据权利要求7所述的装置，其特征在于，所述模型移动模块包括：

距离计算单元，用于获取实体模型影像和虚拟模型中每个点对应的坐标，计算三组对应坐标之间的距离，并选择最大距离对应的两个坐标，记为第一坐标和第二坐标；选择次大距离对应的两个坐标，记为第三坐标和第四坐标；

平移单元，用于对虚拟模型进行平移，以使所述第二坐标和所述第一坐标重合；

旋转单元，用于以所述第一坐标为定点旋转虚拟模型，以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上；

阈值判断单元，用于计算三组对应坐标之间的距离；如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值，则确定虚实模型重合，否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转；

其中，第一坐标和第三坐标为实体模型中的点对应的坐标，第二坐标和第四坐标为虚拟模型中的点对应的坐标。

9.根据权利要求8所述的装置，其特征在于，所述距离计算单元用于以摄像机中心为原点，获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标；并根据坐标变换公式，计算得到实体模型影像和虚拟模型中每个点对应的世界坐标，所述坐标变换公式为：

$\left[\begin{array}{c}{x_p}^{\′}\\ {y_p}^{\′}\\ {z_p}^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]-M_1\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]---\left(1\right)$

其中，P为实体模型影像或虚拟模型中的一点，P点在摄像机坐标系中的坐标为(x_p’，y_p’，z_p’)，P点的世界坐标为(x_p，y_p，z_p)，R为3×3的正交单位矩阵，t为三维平移向量，0为零向量，M₁为变换矩阵。

10.根据权利要求9所述的装置，其特征在于，所述平移单元包括：

平移矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ x_2-x_1& y_2-y_1& z_2-z_1& 1\end{array}\right]---\left(2\right)$

其中，所述第一坐标为P₁(x₁，y₁，z₁)，所述第二坐标为P₂(x₂，y₂，z₂)；

所述旋转单元包括：

旋转矩阵M为：

$M=\left[\begin{array}{cccc}cos\mathrm{\α}& 0& -sin\mathrm{\α}& 0\\ 0& 1& 0& 0\\ sin\mathrm{\α}& 0& \cos \mathrm{\α}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

其中，α为直线P₁P₃和直线P₁P₄旋转之前的夹角，P₃为旋转之前第三坐标对应的点，P₄为旋转之前第四坐标对应的点。