CN113593049B - 场景中真实物体与虚拟物体的几何一致性虚实融合方法 - Google Patents

Abstract

场景中真实物体与虚拟物体的几何一致性虚实融合方法，属于计算机增强现实领域，解决了场景中真实物体与虚拟物体的遮挡问题，同时还解决了场景中真实物体与虚拟物体的大小方向匹配问题。本发明先使用Kinect相机环拍真实场景，利用KinectFusion算法对场景进行三维重建；在重建场景中选取人体手臂部分模型进行处理，通过三维坐标到二维坐标变换的方法将人体手臂上手腕位置和宽度计算出来，并且通过坐标系旋转变换将真实物体与虚拟物体的坐标统一，最后通过模型参数的差分渲染，得到虚实融合效果图。本发明能够更加准确的确定手腕位置和宽度，实现优于现有技术的虚实融合效果，提高了场景中真实物体与虚拟物体的虚实融合效果。

Description

场景中真实物体与虚拟物体的几何一致性虚实融合方法

技术领域

本发明属于计算机增强现实技术领域，具体涉及一种场景中真实物体与虚拟物体的几何一致性虚实融合方法。

背景技术

增强现实(AR)是将PC生成的虚拟物体与真实场景相结合，为了更加逼真的虚实融合效果，就需要使虚拟物体与真实场景呈现出一致的几何效果。几何一致性主要考虑的问题是场景中真实物体与虚拟物体的遮挡问题，同时还需要几何匹配。

目前，现有解决几何一致性虚实融合的方法主要分为以下两类：一是借助辅助标志物的方法，二是借助辅助设备的方法。其中，借助辅助标志物的方法具体为使用ARToolkit利用辅助标志物跟踪定位注册方法对虚拟物体进行三维注册。借助辅助设备(如深度相机等)来搭建交互场景，能够提供三维深度图像和人体骨骼点等信息，通过三维深度图像的分割生成网格来解决遮挡等问题，为几何估计提供了新的解决方案。

上述两种解决几何一致性虚实融合的方法考虑的仅仅是从三维层面来计算真实物体与虚拟物体的遮挡问题，却没有考虑到真实物体与虚拟物体的大小方向需要匹配的问题。

发明内容

本发明的目的是提供一种场景中真实物体与虚拟物体的几何一致性虚实融合方法，解决了场景中真实物体与虚拟物体的遮挡问题，同时还解决了场景中真实物体与虚拟物体的大小方向匹配问题。

本发明为解决技术问题所采用的技术方案如下：

本发明的场景中真实物体与虚拟物体的几何一致性虚实融合方法，包括以下步骤：

步骤一、拍摄含有人体手臂的真实场景图像，建立人体手臂的三维模型；

步骤二、计算手腕的位置与宽度；

步骤三、建立坐标系，利用欧拉角旋转矩阵使坐标系统一，进行差分渲染，实现虚实融合。

进一步的，步骤一的具体操作步骤如下：

(1)使用Kinect相机拍摄包括人体手臂在内的真实场景图像，得到不同视角的深度图像和彩色图像；采用KinectFusion算法对不同视角的深度图像进行三维重建，得到整体三维场景模型；

(2)将整体三维场景模型用obj格式导入到Meshlab软件中，利用Meshlab软件对其进行分割，得到人体手臂的三维模型图，并建立坐标系。

进一步的，步骤二的具体操作步骤如下：

(1)将人体手臂的三维模型图转换为三维点云形式，导出人体手臂模型的三维点云坐标并将其用TXT文本格式导入到MATLAB软件中，根据人体手臂模型的三维点云坐标将垂直于视觉平面的x坐标去掉，保留y和z两个二维坐标；

(2)人体手臂与yoz平面平行，y和z坐标均为非整数，对y和z坐标进行尺度调整，构建人体手臂在yoz平面上的投影图像，通过投影图像分析人体手臂的形态；

(3)计算人体手臂上宽度最小的位置，即为手腕。

更进一步的，步骤二(3)的具体操作步骤如下：

①计算出人体手臂在yoz平面上的投影图像协方差的特征值，最大特征值对应的特征向量即为人体手臂的主方向；

②将人体手臂在yoz平面上的投影图像每一竖列中点不全的竖列去掉，并将其余的竖列提取出来重新形成新的人体手臂二维图像；

③在新的人体手臂二维图像中找出所有上下边缘点的坐标，通过计算上边缘点与对应的下边缘点的差值来计算出每一竖列的长度，所有竖列中长度最短的竖列即为手腕位置。

更进一步的，步骤二(3)③中，每一竖列长度的计算方法如下：

基于人体手臂二维图像中上下边缘点的离散性，需要将每一个下边缘点与对应的上边缘点以及与该对应的上边缘点左右相邻的两个上边缘点分别计算出差值，取其中的最大差值即为该竖列的长度，比较计算出的所有竖列长度，取其中最短的竖列长度即为手腕宽度。

进一步的，步骤三的具体操作步骤如下：

(1)以手腕所在竖列的中心点为坐标系原点，将手腕所在竖列的中心点与离手腕中心点最近的两个点构成一个三角面片，分别求出手腕中心点与这两个离手腕中心点最近的点的三维矢量m和n，求出与三维矢量m和n垂直的叉积矢量o，求出三维矢量m和叉积矢量o的叉积矢量p，再求出三维矢量o和叉积矢量p的叉积矢量q，将这三个叉积矢量o、p、q单位化后作为z轴、x轴、y轴来建立第一个坐标系；

(2)以腕表表盘的中心点为坐标系原点，将腕表表盘中心点与离腕表表盘中心点最近的两个点构成一个三角面片，分别求出腕表表盘中心点与这两个离腕表表盘中心点最近的点的三维矢量u和v，求出与三维矢量u和v垂直的叉积矢量t，求出三维矢量u和叉积矢量t的叉积矢量w，再求出三维矢量t和叉积矢量w的叉积矢量s，将这三个叉积矢量t、w、s单位化后作为z轴、x轴、y轴来建立第二个坐标系；

(3)将上述建立的两个坐标系中的x轴、y轴、z轴的单位矢量分别放到两个矩阵中，利用欧拉角旋转矩阵对第二个坐标系进行旋转使其与第一个坐标系统一，先使x轴旋转γ角，再绕y轴旋转β角，最后绕z轴旋转α角，旋转矩阵公式为：

式中，R为旋转矩阵，γ、β、α分别为x轴、y轴、z轴的旋转角度；

(4)比较手腕宽度与腕表直径，得到腕表整体尺寸的缩放值，根据手腕位置和旋转角度进行差分渲染，完成场景中真实物体与虚拟物体的几何一致性虚实融合。

本发明的有益效果是：

本发明的一种场景中真实物体与虚拟物体的几何一致性虚实融合方法，其目的在于实现真实场景中的人体手臂与虚拟腕表的虚实融合。

本发明首先使用Kinect相机环拍真实场景，其中包括了人体手臂和其他物体，利用KinectFusion算法对场景进行三维重建；在重建的场景中选取了人体手臂部分模型进行处理，通过三维坐标到二维坐标变换的方法将人体手臂上手腕位置和宽度计算出来，并且通过坐标系旋转变换将真实物体与虚拟物体的坐标统一，最后通过模型参数的差分渲染，得到较佳的虚实融合效果图。

本发明从人体手臂实际形态出发，考虑到人体手臂中最细的地方即为手腕位置，从而可以更加准确的确定手腕位置和宽度，实现优于现有技术的虚实融合效果，提高了场景中真实物体与虚拟物体的虚实融合效果。

附图说明

图1为本发明的一种场景中真实物体与虚拟物体的几何一致性虚实融合方法的流程图。

图2为具体实施方式一中人体手臂的二维图像。

图3为具体实施方式一中真实场景中手腕融合虚拟腕表的虚实融合实验效果图。图3中，a为本发明的虚实融合效果图，b为采用现有四元数的虚实融合效果图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明利用三维转换二维的思想，通过处理人体手臂二维图像可以很准确地计算出手腕的位置与宽度，解决了在三维空间上处理人体手臂比较繁琐的问题，并且通过欧拉角旋转矩阵计算每个坐标轴的旋转角度使得坐标系统一，比传统的四元数计算更加简单快捷，并且具有优于现有技术的融合效果。

如图1所示，本发明的一种场景中真实物体与虚拟物体的几何一致性虚实融合方法，具体包括以下步骤：

1、拍摄含有人体手臂的真实场景图像，建立人体手臂的三维模型

使用Kinect相机拍摄包括人体手臂在内的真实场景图像，得到不同视角的深度图像和彩色图像；对真实场景图像进行三维重建，得到人体手臂三维模型位置，具体包括以下步骤：

1.1首先使用Kinect相机拍摄包括人体手臂在内的真实场景图像，该真实场景图像中既包括了人体手臂又包括了其他物体，得到不同视角的深度图像和彩色图像；采用KinectFusion算法对不同视角的深度图像进行三维重建，得到整体三维场景模型；

1.2将整体三维场景模型用obj格式导入到Meshlab软件中，利用Meshlab软件对其进行分割，将手臂部分截取出来单独处理，得到人体手臂的三维模型图，并建立了坐标系。

2、计算手腕的位置与宽度

将人体手臂的三维模型图转换为三维点云形式，导出人体手臂模型的三维点云坐标，通过MATLAB软件对这些坐标数据进行处理得到手腕的位置与宽度，具体包括以下步骤：

2.1首先将人体手臂的三维模型图转换为三维点云形式，导出人体手臂模型的三维点云坐标，将人体手臂模型的三维点云坐标用TXT文本格式导入到MATLAB软件中，然后根据人体手臂模型的三维点云坐标将垂直于视觉平面的x坐标去掉，保留y和z两个二维坐标以备使用；

2.2人体手臂与yoz平面平行，由于y和z坐标均为非整数，因此需要对y和z坐标进行尺度调整，构建人体手臂在yoz平面上的投影图像，通过投影图像可以分析出人体手臂的形态并计算出手腕的位置与宽度；

2.3人体手臂上宽度最小的位置即为手腕，以此为目的来计算出人体手臂上宽度最小的位置，具体包括以下步骤：

2.3.1计算出人体手臂二维图像(上述构建的人体手臂在yoz平面上的投影图像)协方差的特征值，最大特征值对应的特征向量即为人体手臂的主方向，人体手臂的主方向指的是沿着手臂上胳膊至手腕的方向；

2.3.2在构建人体手臂在yoz平面上的投影图像时，会有一些竖列中的点缺失而导致人体手臂二维图像显示点不全，所以需要将人体手臂二维图像每一竖列中点不全的竖列去掉，并将其余的竖列提取出来重新形成新的人体手臂二维图像；

2.3.3将新的人体手臂二维图像中所有的上下边缘点的坐标都依次找出来，通过计算上边缘点与对应的下边缘点的差值来计算出每一竖列的长度，最后通过比较可知，所有竖列中，长度最短的竖列即为手腕位置。

关于每一竖列长度的计算：

在计算过程中，基于人体手臂二维图像中上下边缘点的离散性，需要将每一个下边缘点与对应的上边缘点以及与该对应的上边缘点左右相邻的两个上边缘点分别计算出差值，取其中的最大差值即为该竖列的长度，比较计算出的所有竖列长度，取其中最短的竖列长度即为手腕宽度。

3、建立坐标系，利用欧拉角旋转矩阵使坐标系统一，进行差分渲染，实现虚实融合

找出手腕所在的竖列的中心点的坐标，以此中心点为坐标系原点来建立第一个坐标系；同时，以腕表表盘的中心点为坐标系原点建立第二个坐标系，将这两个坐标系通过旋转平移就可以将腕表与手腕相融合，具体包括以下步骤：

3.1首先找出手腕所在的竖列的中心点的坐标，以此中心点为坐标系原点来建立第一个坐标系；将手腕所在竖列的中心点与离手腕中心点最近的两个点构成一个三角面片，分别求出手腕中心点与这两个离手腕中心点最近的点的三维矢量m和n，求出与三维矢量m和n垂直的叉积矢量o，求出三维矢量m和叉积矢量o的叉积矢量p，再求出三维矢量o和叉积矢量p的叉积矢量q，将这三个叉积矢量o、p、q单位化后作为z轴、x轴、y轴来建立第一个坐标系。

3.2然后以腕表表盘的中心点为坐标系原点建立第二个坐标系；将腕表表盘中心点与离腕表表盘中心点最近的两个点构成一个三角面片，分别求出腕表表盘中心点与这两个离腕表表盘中心点最近的点的三维矢量u和v，求出与三维矢量u和v垂直的叉积矢量t，求出三维矢量u和叉积矢量t的叉积矢量w，再求出三维矢量t和叉积矢量w的叉积矢量s，将这三个叉积矢量t、w、s单位化后作为z轴、x轴、y轴来建立第二个坐标系。

3.3将3.1和3.2中建立的两个坐标系中的x、y、z轴的单位矢量分别放到两个矩阵中，为了使两个坐标系统一，需要对建立的第二个坐标系进行旋转，使它与第一个坐标系统一，本发明通过欧拉角来旋转矩阵，使x轴先旋转γ角，再绕y轴旋转β角，最后绕z轴旋转α角，也统称为横滚-俯仰-偏航，旋转矩阵公式为：

其中，R为旋转矩阵，γ、β、α是三个轴的旋转角度，即使x轴先旋转γ角，再绕y轴旋转β角，最后绕z轴旋转α角。

3.4得到旋转角度之后，通过得到的手腕宽度与腕表直径做了一次大小比对，得到腕表整体大小尺寸的缩放值，在确定手腕位置和旋转角度后就可以进行虚实融合，进行差分渲染后就可以得到虚实融合效果图。

具体实施方式一

下面以具体的测试来验证本发明提供的一种场景中真实物体与虚拟物体的几何一致性虚实融合方法的可行性。将本发明的方法与现有的通过四元数确定腕表位置、尺寸大小和旋转方向的虚实融合方法作比较分析。

1、工作条件

本实验采用iIntel(R)Core(TM)CPU i5-9400f@2.90GHz处理器，运行Windows7的PC机，显卡是1块NVIDIA GeForce GTX1660，编程语言为matlab语言和C语言。

2、实验内容与结果分析

如图2所示，为人体手臂的二维图像，可以很清晰地看到人体手臂的形态，对其按照本发明提供的一种场景中真实物体与虚拟物体的几何一致性虚实融合方法进行形态分析就可以得到手腕的位置与宽度。

如图3(a)所示，为本发明的虚实融合效果图，如图3(b)所示，为采用现有四元数的虚实融合效果图。经过上述比较可知，本发明提供的一种场景中真实物体与虚拟物体的几何一致性虚实融合方法，融合效果更好，优于现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.场景中真实物体与虚拟物体的几何一致性虚实融合方法，其特征在于，包括以下步骤：

步骤一、拍摄含有人体手臂的真实场景图像，建立人体手臂的三维模型；

步骤二、计算手腕的位置与宽度；

(1)将人体手臂的三维模型图转换为三维点云形式，导出人体手臂模型的三维点云坐标并将其用TXT文本格式导入到MATLAB软件中，根据人体手臂模型的三维点云坐标将垂直于视觉平面的x坐标去掉，保留y和z两个二维坐标；

(2)人体手臂与yoz平面平行，y和z坐标均为非整数，对y和z坐标进行尺度调整，构建人体手臂在yoz平面上的投影图像，通过投影图像分析人体手臂的形态；

(3)计算人体手臂上宽度最小的位置，即为手腕；

①计算出人体手臂在yoz平面上的投影图像协方差的特征值，最大特征值对应的特征向量即为人体手臂的主方向；

②将人体手臂在yoz平面上的投影图像每一竖列中点不全的竖列去掉，并将其余的竖列提取出来重新形成新的人体手臂二维图像；

③在新的人体手臂二维图像中找出所有上下边缘点的坐标，通过计算上边缘点与对应的下边缘点的差值来计算出每一竖列的长度，所有竖列中长度最短的竖列即为手腕位置；

每一竖列长度的计算方法如下：

基于人体手臂二维图像中上下边缘点的离散性，需要将每一个下边缘点与对应的上边缘点以及与该对应的上边缘点左右相邻的两个上边缘点分别计算出差值，取其中的最大差值即为该竖列的长度，比较计算出的所有竖列长度，取其中最短的竖列长度即为手腕宽度；

步骤三、建立坐标系，利用欧拉角旋转矩阵使坐标系统一，进行差分渲染，实现虚实融合；

(1)以手腕所在竖列的中心点为坐标系原点，将手腕所在竖列的中心点与离手腕中心点最近的两个点构成一个三角面片，分别求出手腕中心点与这两个离手腕中心点最近的点的三维矢量m和n，求出与三维矢量m和n垂直的叉积矢量o，求出三维矢量m和叉积矢量o的叉积矢量p，再求出三维矢量o和叉积矢量p的叉积矢量q，将这三个叉积矢量o、p、q单位化后作为z轴、x轴、y轴来建立第一个坐标系；

(2)以腕表表盘的中心点为坐标系原点，将腕表表盘中心点与离腕表表盘中心点最近的两个点构成一个三角面片，分别求出腕表表盘中心点与这两个离腕表表盘中心点最近的点的三维矢量u和v，求出与三维矢量u和v垂直的叉积矢量t，求出三维矢量u和叉积矢量t的叉积矢量w，再求出三维矢量t和叉积矢量w的叉积矢量s，将这三个叉积矢量t、w、s单位化后作为z轴、x轴、y轴来建立第二个坐标系；

(3)将上述建立的两个坐标系中的x轴、y轴、z轴的单位矢量分别放到两个矩阵中，利用欧拉角旋转矩阵对第二个坐标系进行旋转使其与第一个坐标系统一，先使x轴旋转γ角，再绕y轴旋转β角，最后绕z轴旋转α角，旋转矩阵公式为：

式中，R为旋转矩阵，γ、β、α分别为x轴、y轴、z轴的旋转角度；

(4)比较手腕宽度与腕表直径，得到腕表整体尺寸的缩放值，根据手腕位置和旋转角度进行差分渲染，完成场景中真实物体与虚拟物体的几何一致性虚实融合。

2.根据权利要求1所述的场景中真实物体与虚拟物体的几何一致性虚实融合方法，其特征在于，步骤一的具体操作步骤如下：

(1)使用Kinect相机拍摄包括人体手臂在内的真实场景图像，得到不同视角的深度图像和彩色图像；采用KinectFusion算法对不同视角的深度图像进行三维重建，得到整体三维场景模型；

(2)将整体三维场景模型用obj格式导入到Meshlab软件中，利用Meshlab软件对其进行分割，得到人体手臂的三维模型图，并建立坐标系。