CN111640189B - 一种基于人工标志点的遥操作增强显示方法 - Google Patents

Abstract

本发明涉及一种基于人工标志点的遥操作增强显示方法，基于传统的复杂编码的人工方形标志点和圆形标志点，使用了简化的对称编码标志点，虽然增加了使用标志点的数量，但仅仅使用对称的编码，减少了内存的占用同时提高了计算速度。在此基础上，新增了两个标志点，可以通过改变标志点的位置控制模型的旋转和缩放，将unity项目发布于移动设备端，使用手持拍摄设备可以环绕标志点观看模型，也可人持设备不动，通过标志点进行操作，增加了遥操作项目的交互性。

Description

一种基于人工标志点的遥操作增强显示方法

技术领域

本发明属于遥操作显示技术领域，涉及一种基于人工标志点的遥操作增强显示方法，具体包括一种基于人工标志点的快速增强显示及三维坐标系的确定方法。

背景技术

遥操作系统是利用机器人，通过传输媒介由操作人员在相对安全的环境中向远端机器人发送指令，远端机器人利用自身搭载的传感器获取数据进行反馈，操作人员利用这些反馈进行下一步决策的系统。遥操作系统广泛应用在空间安装，核工业，深海探测，军事等高危或远距离环境中。

遥操作技术是包含了机器人技术，计算机网络通讯，计算机图形学技术，人机交互技术，测控技术等，包括信息处理，操作交互，预测仿真等模块，其中预测仿真模块中使用的虚拟仿真技术可以对从端系统进行数字化模拟，形成友好的三围可视化交互界面，同时提供辅助信息。使用增强现实对虚拟模型进行显示，可以在观察虚拟模型的同时兼顾本地真实环境，保证操作人员及设备的安全。

在遥操作任务中，操作员所环境一般为室内，光线变化不明显，也不存在影响观测的遮挡关系，因而多采用平面人工标志点的三维注册方法将虚拟物体叠加到真实场景中。一般的三维注册均使用编码标志点，标志点中携带编码信息，如Schneider环形标志点和二维码衍生形ARTag标志点。然而在遥操作领域，这些标志点在首先在解码方面不便，以二维码衍生码为例，通常采用海明码进行编码，求解过程中需要4个Mat格式的变量存储图片经过透视变换后得到的结果，然后通过解码方式与库中的编码矩阵一一对应进行求解得到源码，同一套源码与解码方式唯一对应。其次，尽管可以通过特定的编码方法确定坐标系的朝向，使用3D引擎进行渲染，但不同于一般的手机AR应用程序，扫描到标志点即可显示尺寸较小的物体，且尺寸一般由显示引擎固定，不方便实时进行调整。遥操作增强显示为了能和环境较好的融合通常需要1:1显示，准确确定坐标系的朝向，且能方便的进行缩放显示。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于人工标志点的遥操作增强显示方法，聚焦于遥操作中的增强显示问题，针对编码标志点的解算问题以及模型的显示问题，基于对称的非数字编码人工标志点进行三维注册和显示，提高了解算的速度和显示效果，同时提供了增强现实的交互性。

技术方案

一种基于人工标志点的遥操作增强显示方法，其特征在于步骤如下：

步骤1：采用张正友方法对相机进行标定；

步骤2：

1、根据海明编码的方式对标志点进行编码并打印：编码为7*7的填充网格，网格的最外周采用黑色填充作为识别边界，内部的5*5网格作为编码区，使用黑色或白色作为填充，不同的填充方式代表不同的标识点；

2、选择四个不同的编码作为正方形的顶点组成一个正方形，另外制作的代表旋转的标志点“R”，代表缩放的标志点“S”则在不与其他标志点遮挡的位置任意放置；对正方形摄取一段视频；

3、通过Opencv的函数将视频帧图像转换为灰度图像；

4、将得到的灰度图像使用Otsu阈值化方法进行二值化处理；

5、使用轮廓检测算法获取符合条件连通域的轮廓区域；

步骤3：

1、对轮廓区域使用透视变换获得正方形图像；

2、对得到的正方形图像进行3次90度的旋转，得到四个正方形图像；对4个图像进行海明码解码，得到与原始拍摄图像旋转一致的图像；

所述图像中包含图像信息为：每个标志点四个顶点位置信息，记为P_{name_i}(x，y)，其中name为标志点的名称，i(1～4)为求解得到的第i个顶点，(x，y)为像素坐标；

步骤4：

1、对每张图像通过顶点计算，记v1，v2分别为：

v1＝P_{name_2}(x，y)-P_{name_1}(x，y)，

v2＝P_{name_3}(x，y)-P_{name_1}(x，y)

res＝(v1.x*v2.y)-(v1.y*v2.x)

根据res的结果对每张图像的四个顶点逆时针排序，记排序之后每张图片的顶点坐标为acP_{name_i}(x，y)；

2、利用位于对角线的顶点数据求解中心点center_name的屏幕坐标：

3、标志点O中心对应的世界坐标为O(0，0，0)，OP1为x轴，OP2为y轴，对应的世界坐标为P1(k，0，0，)，P2(0，0，k)，P3(k，0，k)，y轴表示竖直方向；并且四点构成P4P问题进行求解，可得到此图像对应的摄像机位姿矩阵；

步骤5：

1、在3D引擎中配置好OpenCVforUnity插件，使用WebTexture获取真实摄像机拍摄的场景，将模型的位置放置在虚拟场景世界坐标系(0，0，0)的位置，使用虚拟摄像机渲染虚拟模型并与真实场景进行叠加；

2、利用步骤4的1和2中的方法确定“R”，“S”标志点的中心；

3、根据摄像机小孔成像模型，利用标志点的中心可求得标志点在真实坐标系中的理论位置为(rx，0，rz)和(sx，0，sz)；

4、定义R点与x轴(OP1)的夹角为模型的旋转角度，S点的模长为模型的缩放比例，通过脚本控制，即

localRotation＝Quaternion.Eular(new Vector3(rx，0，rz))

localScale＝Vector3.One*Math.sqrt(new Vector3(sx，0，sz))。

所述步骤1的标定为：打印一张边长为10cm的10*10棋盘格作为标定板；使用待标定的摄像机从不同角度对棋盘格拍摄10～15张照片；借助Matlab的Camera Calibrator工具箱求解摄像机的内参矩阵。

有益效果

本发明提出的一种基于人工标志点的遥操作增强显示方法，基于传统的复杂编码的人工方形标志点和圆形标志点，使用了简化的对称编码标志点，虽然增加了使用标志点的数量，但仅仅使用对称的编码，减少了内存的占用同时提高了计算速度。在此基础上，新增了两个标志点，可以通过改变标志点的位置控制模型的旋转和缩放，将unity项目发布于移动设备端，使用手持拍摄设备可以环绕标志点观看模型，也可人持设备不动，通过标志点进行操作，增加了遥操作项目的交互性。

附图说明

图1给出了这个增强现实三维注册显示的设计流程

具体实施方式

现结合实施例、附图对本发明作进一步描述：

图1给出了这个增强现实三维注册显示的设计流程，

步骤一：相机标定

步骤二：标记识别

步骤三：标记编码识别

步骤四：标记姿态估计

步骤五：渲染3D物体

通过上面的流程可以实现三维注册的正确显示以及显示交互。

步骤一：

该步骤主要采用张正友方法实现相机的标定，主要流程为：

(1)打印一张边长为10cm的10*10棋盘格作为标定板；

(2)使用待标定的摄像机从不同角度对棋盘格拍摄10～15张照片；

(3)借助Matlab的Camera Calibrator工具箱求解摄像机的内参矩阵；

步骤二：

(1)根据海明编码的方式对标志点进行编码，编码为7*7的填充网格，网格的最外周采用黑色填充作为识别边界，内部的5*5网格作为编码区，使用黑色或白色作为填充，不同的填充方式代表不同的标识点。

(2)将打印的标志点放置在特定位置，简单起见，将(1)中制作的分别代表“O”,“P1”,“P2”,“P3”的标志点放置在桌面上，使4个标志点的中心构成边长为n的正方形，另外制作的代表旋转的标志点“R”，代表缩放的标志点“S”则在不与其他标志点遮挡的位置任意放置；

(3)通过Opencv的函数将摄像机获取的视频帧图像转换为灰度图像；

(4)将得到的灰度图像使用Otsu阈值化方法进行二值化处理；

(5)使用轮廓检测算法获取符合条件，即有较大连通域的轮廓区域；

步骤三：

(1)对符合条件的轮廓区域使用透视变换获得正方形图像；

(2)对得到的正方形图像进行3次90度的旋转，得到4个正方形图像，对4个图像进行海明码解码，根据编码规则，只有与原始拍摄图像旋转接近一致的图像会被选择。

(3)正方形图像通过上述算法获得图像信息，即“0”，“P1”，“P2”，“P3”，“R”，“S”，每个标志点均有四个顶点位置信息，记为P_{name_i}(x，y)，其中name为标志点的名称，i(1～4)为求解得到的第i个顶点，(x，y)为像素坐标，如P_{o_1}(x，y)，P_{p1_3}(x，y)。

步骤四：

(1)根据获取到“0”，“P1”，“P2”，“P3”还原为透视之前的图像，对每张图像通过顶点计算，记v1，v2分别为：

v1＝P_{name_2}(x，y)-P_{name_1}(x，y)，

v2＝P_{name_3}(x，y)-P_{name_1}(x，y)

res＝(v1.x*v2.y)-(v1.y*v2.x)

根据res的结果对每张图像的四个顶点逆时针排序，记排序之后每张图片的顶点坐标为acP_{name_i}(x，y)；

(2)利用位于对角线的顶点数据求解中心点center_name的屏幕坐标：

(3)假定标志点0中心对应的世界坐标为O(0，0，0)，OP1为x轴，OP2为y轴，对应的世界坐标为P1(k，0，0，)，P2(0，0，k)，P3(k，0，k)，(y轴表示竖直方向)，并且四点构成P4P问题进行求解，可得到此图像对应的摄像机位姿(外参)矩阵。

步骤五：

(1)在3D引擎中(本文使用unity3d)配置好相应的环境，如OpenCVforUnity插件，使用WebTexture获取真实摄像机拍摄的场景，将模型的位置放置在虚拟场景世界坐标系(0，0，0)的位置，使用虚拟摄像机渲染虚拟模型并与真实场景进行叠加；

(2)利用步骤四(1)(2)中的方法确定“R”，“S”标志点的中心；

(3)根据摄像机小孔成像模型，在不考虑畸变的情况下，利用标志点的中心可求得标志点在真实坐标系中的理论位置为(rx，0，z)和(sx，0，sz)；

(4)定义R点与x轴(0P1)的夹角为模型的旋转角度，S点的模长为模型的缩放比例，通过脚本控制，即：

localRotation＝Quaternion.Eular(new Vector3(rx，0，rz))

localScale＝Vector3.One*Math.sqrt(new Vector3(sx，0，sz))。

Claims (2)

1.一种基于人工标志点的遥操作增强显示方法，其特征在于步骤如下：

步骤1：采用张正友方法对相机进行标定；

步骤2：

a.根据海明编码的方式对标志点进行编码并打印：编码为7*7的填充网格，网格的最外周采用黑色填充作为识别边界，内部的5*5网格作为编码区，使用黑色或白色作为填充，不同的填充方式代表不同的标识点；

b.选择四个不同的编码作为正方形的顶点组成一个正方形，另外制作的代表旋转的标志点“R”，代表缩放的标志点“S”则在不与其他标志点遮挡的位置任意放置；对正方形摄取一段视频；

c.通过Opencv的函数将视频帧图像转换为灰度图像；

d.将得到的灰度图像使用Otsu阈值化方法进行二值化处理；

e.使用轮廓检测算法获取符合条件连通域的轮廓区域；

步骤3：

a.对轮廓区域使用透视变换获得正方形图像；

b.对得到的正方形图像进行3次90度的旋转，得到四个正方形图像；对4个图像进行海明码解码，得到与原始拍摄图像旋转一致的图像；

所述图像中包含图像信息为：每个标志点四个顶点位置信息，记为P_{name_i}(x，y),其中name为标志点的名称，i为求解得到的第i个顶点，i的取值为1～4，(x，y)为像素坐标；

步骤4：

a.对每张图像通过顶点计算,记v1，v2分别为：

v1＝P_{name_2}(x，y)-P_{name_1}(x，y)，

v2＝P_{name_3}(x，y)-P_{name_1}(x，y)

res＝(v1.x*v2.y)-(v1.y*v2.x)

根据res的结果对每张图像的四个顶点逆时针排序，记排序之后每张图片的顶点坐标为acP_{name_i}(x，y)；

b.利用位于对角线的顶点数据求解中心点center_name的屏幕坐标：

c.标志点O中心对应的世界坐标为O(0，0，0)，OP1为x轴，OP2为y轴，对应的世界坐标为P1(k，0，0)，P2(0，0，k)，P3(k，0，k)，y轴表示竖直方向；并且四点构成P4P问题进行求解，能够得到此图像对应的摄像机位姿矩阵；

步骤5：

a.在3D引擎中配置好OpenCVforUnity插件，使用WebTexture获取真实摄像机拍摄的场景，将模型的位置放置在虚拟场景世界坐标系(0，0，0)的位置，使用虚拟摄像机渲染虚拟模型并与真实场景进行叠加；

b.利用步骤4的a和b中的方法确定“R”，“S”标志点的中心；

c.根据摄像机小孔成像模型，利用标志点的中心能够求得标志点在真实坐标系中的理论位置为(rx，0，rz)和(sx，0，sz)；

d.定义R点与x轴OP1的夹角为模型的旋转角度，S点的模长为模型的缩放比例，通过脚本控制，即

localRotation＝Quaternion.Eular(new Vector3(rx，0，rz))

localScale＝Vector3.One*Math.sqrt(new Vector3(sx，0，sz))。

2.根据权利要求1所述基于人工标志点的遥操作增强显示方法，其特征在于：所述步骤1的标定为：打印一张边长为10cm的10*10棋盘格作为标定板；使用待标定的摄像机从不同角度对棋盘格拍摄10～15张照片；借助Matlab的Camera Calibrator工具箱求解摄像机的内参矩阵。

Images