CN112017302A - 基于cad模型的投影标记和机器视觉的实时注册方法 - Google Patents

Abstract

本发明涉及AR领域，公开了一种基于CAD模型的投影标记和机器视觉的实时注册方法，步骤为：根据虚拟模型图像和真实物体图像的相似度计算得出对应关系；对真实相机进行标定，确定虚拟模型和真实物体的坐标转换关系；在虚拟模型四周选定投影标记点，通过系列计算获得投影仪坐标系下的投影坐标，再将标记投影于真实四周；计算出自由相机和投影标记点位置的相对位置关系，计算虚拟模型与投影标记点之间的相对位姿，利用虚拟相机拍照获得虚拟模型图像；将虚拟模型图像叠加于自由相机拍摄的图像上，完成虚实注册，能够在不对真实物体张贴标记的情况下，就能够实现投影标记和视觉的虚实注册，并且精度高，实施起来更加方便实用。

Description

基于CAD模型的投影标记和机器视觉的实时注册方法

技术领域

本发明涉及AR领域，更具体地说，它涉及一种基于CAD模型的投影标记和机器视觉的实时注册方法。

背景技术

随着AR技术的发展，虚实注册技术成为了AR领域内的重要支撑技术与研究焦点，通过虚实注册，使虚拟模型与真实物体实时的虚实融合具有重要的应用意义，这就需要实时的识别物体并计算物体的位姿，使虚拟模型可以根据真实物体位姿，实时调整位姿。现有的基于标记的AR注册方法，必须限定物体与标记的相对位置，且在工业背景下，物体不允许张贴标记；基于三维模型各姿态的模板识别的方法，注册精度与模板数量正相关，想达到较好的精度，计算量大，无法保证实时性。基于深度相机采集点云匹配的方法，需要额外的深度相机设备，且计算量极大，同样无法保证实时性。

发明内容

本发明的上述技术目的是通过以下技术方案得以实现的：基于CAD模型的投影标记和机器视觉的实时注册方法，包括以下步骤：

采用虚拟相机对真实尺寸的CAD虚拟模型进行拍摄，得到虚拟模型图像；采用真实相机对真实物体进行拍摄，得到真实物体图像，并根据虚拟模型图像和真实物体图像的相似度计算得出两者之间的对应关系；

在得出虚拟模型图像和真实物体图像之间的对应关系后，对真实相机进行标定，通过虚拟模型图像所在像素坐标系和真实物体图像所在世界坐标系的转换关系，确定虚拟模型和真实物体坐标的转换关系；

在虚拟模型四周选定投影标记点，通过虚拟模型与真实模型之间的坐标转换关系，计算得到投影标记点在真实模型四周的坐标，通过像素坐标系与世界坐标系的转换关系，将投影标记点的世界坐标转化为真实相机的像素坐标；通过相机投影仪标定方法，得到相机像素坐标到投影仪坐标的转换关系，并由此获得投影仪坐标系下的投影坐标，再按投影坐标将标记投影于真实物体四周；

计算出自由相机和投影标记点位置的相对位置关系，从投影标记点位姿得到自由相机位姿；根据自由相机位姿，在虚拟模型所在的虚拟空间坐标系中设置相同位姿的虚拟相机；设置想要叠加于真实物体的虚拟模型相对于真实模型的坐标，计算虚拟模型与投影标记点之间的相对位姿，将虚拟模型按照此相对位姿放置在虚拟空间中；利用虚拟相机拍照虚拟模型，获得此位姿下虚拟模型图像；将虚拟模型图像叠加于自由相机拍摄的图像上，完成虚拟模型与真实物体的虚实注册。

作为本发明的一种优选技术方案，虚拟模型图像和真实物体图像的获得方法是：将真实尺寸的CAD模型放置在虚拟空间中，并建立虚拟空间坐标系，通过虚拟相机对CAD模型进行拍摄得到虚拟模型图像；将真实相机按照虚拟相机和虚拟模型之间的相对位置对真实物体进行拍摄得到真实物体图像。

作为本发明的一种优选技术方案，虚拟空间坐标系的建立方法为：将虚拟模型底部中心作为虚拟空间坐标原点，以虚拟模型底面为X-Y平面，垂直于模型底面为Z轴。

作为本发明的一种优选技术方案，虚拟模型和真实物体之间对应关系的计算方法为：

A1、将视角向下的虚拟相机设置在虚拟模型的中心上方，使得虚拟相机中心与虚拟模型中心一致；

A2、在X-Y平面上，在[0，2π)范围内，均匀划分为m个角度，每个角度为α，在每一角度上，通过虚拟相机拍摄虚拟模型，获得每一角度姿态下的模型顶层图像模板；设图像模板集合为UA，U_m为各角度的图像模板，有：

UA＝{U_m}；

所有图像模板对应旋转角为0的基准模板U₀的旋转矩阵为：

A3、将每张图像模板通过拉普拉斯算子进行处理，取拉普拉斯过零点作为边缘，使得图像模板转换为边缘二值图像；

A4、将真实相机设于真实物体顶部，平行与底面向下实时视频采集真实物体图像，设置真实相机与虚拟相机高度、分辨率、视野大小完全一致，使得真实相机拍摄真实物体的尺寸与虚拟相机拍摄虚拟模型的尺寸完全一致，并且使世界坐标原点为真实相机光轴与桌面交点，此时真实世界坐标与虚拟世界坐标完全对应；

通过A3中的相同方法，对采集的每一帧真实物体图像进行边缘二值处理；

A5、将A4中实时采集的每一帧真实物体图像的边缘二值图像与虚拟模型的图像模板的边缘二值图像进行倒角距离匹配；设U_m＝{u_i}与V＝{v_j}设定为模板与真实尺寸的边缘图上的各自边缘点的集合；在U_m与V之间的倒角距离由每个u_i∈U_m的点与V中边缘的最近距离的平均值来决定，其中n为U集合中边缘点的数量：

A6、在A5的基础上，对模板U进行一定范围内的旋转平移，迭代缩小倒角距离范围；将U₀模板放置在采集图像的中心位置与采集的真实物体图像进行匹配；设W函数为与参数s相关的2D的欧几里得变换函数，其中s∈SE(2)，s＝(θ，t_x，t_y)，这里t_x，t_y分别表示为沿着x，y轴方向的平移变换t，θ为平面内的旋转变换；图像上的点x通过W函数执行变换操作：

m模板的最佳匹配变换系数s_m，通过下式计算获得，得到当前模板与待识别图像之间的最佳旋转平移关系：

这里W(U_m；s)＝{W(u_i，s)}；

A7、根据A6倒角匹配计算公式，遍历各角度的模型图像模板U_m∈UA，获取最佳匹配模板

与对应的变换系数

满足公式如下：

A8、确定模板坐标与最佳匹配之间的变换矩阵，根据相对于基准模板U₀旋转变换矩阵

并与

与输入图像V最佳匹配的旋转平移变换矩阵

中的旋转变换

与

求解最佳匹配状态与基准模板U₀的旋转变换矩阵

通过变换矩阵

实现将虚拟模型模板与真实模型实时图像变换一致，采集图像上的真实模型坐标相对于放置在图像中心的U₀模板的像素坐标V为：

A9、对真实相机进行标定，选定张正友标定法，计算得到世界坐标系到真实相机像素坐标系之间的转换矩阵M_WC，设U₀模板像素坐标对应的世界坐标为U_W，V真实物体像素坐标对应的世界坐标V_W，有公式：

U₀＝M_WCU_W；

V＝M_WCV_W；

且根据步骤A8中像素坐标U₀与V之间的转换关系，所以V_W与U_W之间的转换关系为：

此时虚拟模型通过

转换矩阵，与真实物体的位姿完全一致。

作为本发明的一种优选技术方案，确定投影仪投影标记点的方法为：

B1、在相对于虚拟模型的+x，-x，+y，-y方向上各投影一个不同的人工标记，设偏移量为O，则各标记中心与物体中心的偏移矩阵为：

设i为投影标记序号，则标记偏移矩阵集合

可以表示为：

标记坐标P_m相对于虚拟模型U_W的坐标为：

则标记坐标P_m的像素坐标P_mc，根据步骤A9计算的世界坐标系到真实相机像素坐标系之间的转换矩阵M_WC，所以标记对于虚拟模型的像素坐标P_m为：

P_mc＝M_WCP_m；并且，根据步骤A8中，模板像素坐标与采集图像坐标的转换关系为

所以标记在真实物体周围的像素坐标P_c可以根据下式计算得到：

所以真实物体四周的标记像素坐标P_c相对于虚拟模型的坐标U_W为：

B2、通过相机投影仪标定算法，计算得到相机坐标系与投影仪坐标系转换矩阵M_cp，以及投影仪坐标与世界坐标的转换矩阵M_pw，通过以下式子，即可得出投影仪坐标下的标记位置P_p与标记真实位置坐标P_w：

P_p＝M_cpP_c；

P_w＝M_cpM_pwP_c；

投影仪根据P_p坐标将标记投影到真实物体四周；

B3，确定投影标记真实投影位置P_w与真实物体位置V_W间的转换关系，根据步骤B1中说明的真实标记像素坐标与虚拟标记像素坐标之间的转换关系，以及B2中，有如下关系：

并且根据A9中真实物体四周的标记像素坐标P_c相对于虚拟模型的坐标U_W的转换关系，带入上式子可知真实模型坐标V_W与真实物体四周投影标记P_w之间的转换关系为：

作为本发明的一种优选技术方案，得到自由相机拍摄下的真实物体投影图像的方法是：

C1、使用ORB特征构建每个标记的特征以及各个特征相对于自身标记的位置，建立标记特征模板特征点集合世界坐标集合

通过自由相机拍摄标记，将采集到的图片使用ORB进行处理，得到相机拍摄的标记特征点像素坐标集合

将每个标记模板特征与采集图像中的采集到的特征，通过RANSAC随机采样一致性算法，将对应位置的特征点匹配起来；

C2、根据投影标记确定相机位姿，首先通过张正友标定法，计算出自由相机内参M_C，设投影的真实标记P_w与自由相机坐标系C之间的变换矩阵为矩阵M_cw，求解公式如下：

P_fc＝M_CM_cwP_w；

根据P_fc与P_w的特征点之间对应关系，可列n个等式方程，n＝特征点数量且满足≥4，即可求解M_cw；

C3、计算自由相机C相对于投影标记P_w的位姿，根据C2，可知：

C＝M_cwP_w；

将虚拟相机按照C位姿放置在虚拟空间中；

C4、设定要叠加在真实模型上的虚拟模型位姿与真实模型位姿V_W之间的转换关系，设转换矩阵为M_vr，转换关系如下：

F＝M_vrV_W；

C5、以投影标记位姿P_w，作为虚拟坐标系基准，根据B3中得到的投影标记真实投影位置P_w与真实物体位置V间的转换关系，与C4虚拟模型坐标F与真实模型V之间的位置关系，确定虚拟模型位姿F与标记真实投影位置P_w的相对位置，转换关系如下：

将虚拟物体按照F位姿放置虚拟空间中；

C5、以投影标记位姿P_w，作为虚拟坐标系基准，根据B3中得到的投影标记真实投影位置P_w与真实物体位置V_W之间的转换关系：

和C4中虚拟模型坐标F与真实模型V_W之间的位置关系：

F＝M_vrV_W；

确定虚拟模型位姿F与标记真实投影位置P_w的相对位置，转换关系如下：

将虚拟物体按照F位姿放置虚拟空间中；利用虚拟相机拍照虚拟模型，获得此位姿下虚拟模型图像；将虚拟模型图像叠加于自由相机拍摄的图像上，完成虚拟模型与真实物体的虚实注册。

本发明的有益效果为：解决了当前虚实注册方法中，注册精度与实时性的矛盾，解决基于标记的注册方法的相对位置约束与工业实际约束、以及基于多姿态模板匹配注册方法的计算量大，实时性差的约束，能够在不对真实物体张贴标记的情况下，就能够实现投影标记和视觉的虚实注册，并且精度高，实施起来更加方便实用。

附图说明

图1是本发明的方法流程图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明提供一种基于CAD模型的投影标记和机器视觉的实时注册方法，包括以下步骤：

采用虚拟相机对真实尺寸的CAD虚拟模型进行拍摄，得到虚拟模型图像；采用真实相机对真实物体进行拍摄，得到真实物体图像，并根据虚拟模型图像和真实物体图像的相似度计算得出两者之间的对应关系；

在得出虚拟模型图像和真实物体图像之间的对应关系后，对真实相机进行标定，通过虚拟模型图像所在像素坐标系和真实物体图像所在世界坐标系的转换关系，确定虚拟模型和真实物体坐标的转换关系；

在虚拟模型四周选定投影标记点，通过虚拟模型与真实模型之间的坐标转换关系，计算得到投影标记点在真实模型四周的坐标，通过像素坐标系与世界坐标系的转换关系，将投影标记点的世界坐标转化为真实相机的像素坐标；通过相机投影仪标定方法，得到相机像素坐标到投影仪坐标的转换关系，并由此获得投影仪坐标系下的投影坐标，再按投影坐标将标记投影于真实物体四周；

计算出自由相机和投影标记点位置的相对位置关系，从投影标记点位姿得到自由相机位姿；根据自由相机位姿，在虚拟模型所在的虚拟空间坐标系中设置相同位姿的虚拟相机；设置想要叠加于真实物体的虚拟模型相对于真实模型的坐标，计算虚拟模型与投影标记点之间的相对位姿，将虚拟模型按照此相对位姿放置在虚拟空间中；利用虚拟相机拍照虚拟模型，获得此位姿下虚拟模型图像；将虚拟模型图像叠加于自由相机拍摄的图像上，完成虚拟模型与真实物体的虚实注册。

具体的，虚拟模型图像和真实物体图像的获得方法是：将真实尺寸的CAD模型放置在虚拟空间中，并建立虚拟空间坐标系，通过虚拟相机对CAD模型进行拍摄得到虚拟模型图像；将真实相机按照虚拟相机和虚拟模型之间的相对位置对真实物体进行拍摄得到真实物体图像。

具体的，虚拟空间坐标系的建立方法为：将虚拟模型底部中心作为虚拟空间坐标原点，以虚拟模型底面为X-Y平面，垂直于模型底面为Z轴。

具体的，虚拟模型和真实物体之间对应关系的计算方法为：

A1、将视角向下的虚拟相机设置在虚拟模型的中心上方，使得虚拟相机中心与虚拟模型中心一致；

A2、在X-Y平面上，在[0，2π)范围内，均匀划分为m个角度，每个角度为α，在每一角度上，通过虚拟相机拍摄虚拟模型，获得每一角度姿态下的模型顶层图像模板；设图像模板集合为UA，U_m为各角度的图像模板，有：

UA＝{U_m}；

所有图像模板对应旋转角为0的基准模板U₀的旋转矩阵为：

A3、将每张图像模板通过拉普拉斯算子进行处理，取拉普拉斯过零点作为边缘，使得图像模板转换为边缘二值图像；

A4、将真实相机设于真实物体顶部，平行与底面向下实时视频采集真实物体图像，设置真实相机与虚拟相机高度、分辨率、视野大小完全一致，使得真实相机拍摄真实物体的尺寸与虚拟相机拍摄虚拟模型的尺寸完全一致，并且使世界坐标原点为真实相机光轴与桌面交点，此时真实世界坐标与虚拟世界坐标完全对应；

通过A3中的相同方法，对采集的每一帧真实物体图像进行边缘二值处理；

A5、将A4中实时采集的每一帧真实物体图像的边缘二值图像与虚拟模型的图像模板的边缘二值图像进行倒角距离匹配；设U_m＝{u_i}与V＝{v_j}设定为模板与真实尺寸的边缘图上的各自边缘点的集合；在U_m与V之间的倒角距离由每个u_i∈U_m的点与V中边缘的最近距离的平均值来决定，其中n为U集合中边缘点的数量：

A6、在A5的基础上，对模板U进行一定范围内的旋转平移，迭代缩小倒角距离范围；将U₀模板放置在采集图像的中心位置与采集的真实物体图像进行匹配；设W函数为与参数s相关的2D的欧几里得变换函数，其中s∈SE(2)，s＝(θ，t_x，t_y)，这里t_x，t_y分别表示为沿着x，y轴方向的平移变换t，θ为平面内的旋转变换；图像上的点x通过W函数执行变换操作：

m模板的最佳匹配变换系数s_m，通过下式计算获得，得到当前模板与待识别图像之间的最佳旋转平移关系：

这里W(U_m；s)＝{W(u_i，s)}；

A7、根据A6倒角匹配计算公式，遍历各角度的模型图像模板U_m∈UA，获取最佳匹配模板

与对应的变换系数

满足公式如下：

A8、确定模板坐标与最佳匹配之间的变换矩阵，根据相对于基准模板U₀旋转变换矩阵

并与

与输入图像V最佳匹配的旋转平移变换矩阵

中的旋转变换

与

求解最佳匹配状态与基准模板U₀的旋转变换矩阵

通过变换矩阵

实现将虚拟模型模板与真实模型实时图像变换一致，采集图像上的真实模型坐标相对于放置在图像中心的U₀模板的像素坐标V为：

A9、对真实相机进行标定，选定张正友标定法，计算得到世界坐标系到真实相机像素坐标系之间的转换矩阵M_WC，设U₀模板像素坐标对应的世界坐标为U_W，V真实物体像素坐标对应的世界坐标V_W，有公式：

U₀＝M_WCU_W；

V＝M_WCV_W；

且根据步骤A8中像素坐标U₀与V之间的转换关系，所以V_W与U_W之间的转换关系为：

此时虚拟模型通过

转换矩阵，与真实物体的位姿完全一致。

具体的，确定投影仪投影标记点的方法为：

B1、在相对于虚拟模型的+x，-x，+y，-y方向上各投影一个不同的人工标记，设偏移量为O，则各标记中心与物体中心的偏移矩阵为：

设i为投影标记序号，则标记偏移矩阵集合

可以表示为：

标记坐标P_m相对于虚拟模型U_W的坐标为：

则标记坐标P_m的像素坐标P_mc，根据步骤A9计算的世界坐标系到真实相机像素坐标系之间的转换矩阵M_WC，所以标记对于虚拟模型的像素坐标P_m为：

P_mc＝M_WCP_m；并且，根据步骤A8中，模板像素坐标与采集图像坐标的转换关系为

所以标记在真实物体周围的像素坐标P_c可以根据下式计算得到：

所以真实物体四周的标记像素坐标P_c相对于虚拟模型的坐标U_W为：

B2、通过相机投影仪标定算法，计算得到相机坐标系与投影仪坐标系转换矩阵M_cp，以及投影仪坐标与世界坐标的转换矩阵M_pw，通过以下式子，即可得出投影仪坐标下的标记位置P_p与标记真实位置坐标P_w：

P_p＝M_cpP_c；

P_w＝M_cpM_pwP_c；

投影仪根据P_p坐标将标记投影到真实物体四周；

B3，确定投影标记真实投影位置P_w与真实物体位置V_W间的转换关系，根据步骤B1中说明的真实标记像素坐标与虚拟标记像素坐标之间的转换关系，以及B2中，有如下关系：

并且根据A9中真实物体四周的标记像素坐标P_c相对于虚拟模型的坐标U_W的转换关系，带入上式子可知真实模型坐标V_W与真实物体四周投影标记P_w之间的转换关系为：

具体的，得到自由相机拍摄下的真实物体投影图像的方法是：

C1、使用ORB特征构建每个标记的特征以及各个特征相对于自身标记的位置，建立标记特征模板特征点集合世界坐标集合

通过自由相机拍摄标记，将采集到的图片使用ORB进行处理，得到相机拍摄的标记特征点像素坐标集合

将每个标记模板特征与采集图像中的采集到的特征，通过RANSAC随机采样一致性算法，将对应位置的特征点匹配起来；

C2、根据投影标记确定相机位姿，首先通过张正友标定法，计算出自由相机内参M_C，设投影的真实标记P_w与自由相机坐标系C之间的变换矩阵为矩阵M_cw，求解公式如下：

P_fc＝M_CM_cwP_w；

根据P_fc与P_w的特征点之间对应关系，可列n个等式方程，n＝特征点数量且满足≥4，即可求解M_cw；

C3、计算自由相机C相对于投影标记P_w的位姿，根据C2，可知：

C＝M_cwP_w；

将虚拟相机按照C位姿放置在虚拟空间中；

C4、设定要叠加在真实模型上的虚拟模型位姿与真实模型位姿V_W之间的转换关系，设转换矩阵为M_vr，转换关系如下：

F＝M_vrV_W；

C5、以投影标记位姿P_w，作为虚拟坐标系基准，根据B3中得到的投影标记真实投影位置P_w与真实物体位置V间的转换关系，与C4虚拟模型坐标F与真实模型V之间的位置关系，确定虚拟模型位姿F与标记真实投影位置P_w的相对位置，转换关系如下：

将虚拟物体按照F位姿放置虚拟空间中；

C5、以投影标记位姿P_w，作为虚拟坐标系基准，根据B3中得到的投影标记真实投影位置P_w与真实物体位置V_W之间的转换关系：

和C4中虚拟模型坐标F与真实模型V_W之间的位置关系：

F＝M_vrV_W；

确定虚拟模型位姿F与标记真实投影位置P_w的相对位置，转换关系如下：

将虚拟物体按照F位姿放置虚拟空间中；利用虚拟相机拍照虚拟模型，获得此位姿下虚拟模型图像；将虚拟模型图像叠加于自由相机拍摄的图像上，完成虚拟模型与真实物体的虚实注册。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于CAD模型的投影标记和机器视觉的实时注册方法，其特征是：包括以下步骤：

采用虚拟相机对真实尺寸的CAD虚拟模型进行拍摄，得到虚拟模型图像；采用真实相机对真实物体进行拍摄，得到真实物体图像，并根据虚拟模型图像和真实物体图像的相似度计算得出两者之间的对应关系；

在得出虚拟模型图像和真实物体图像之间的对应关系后，对真实相机进行标定，通过虚拟模型图像所在像素坐标系和真实物体图像所在世界坐标系的转换关系，确定虚拟模型和真实物体坐标的转换关系；

在虚拟模型四周选定投影标记点，通过虚拟模型与真实模型之间的坐标转换关系，计算得到投影标记点在真实模型四周的坐标，通过像素坐标系与世界坐标系的转换关系，将投影标记点的世界坐标转化为真实相机的像素坐标；通过相机投影仪标定方法，得到相机像素坐标到投影仪坐标的转换关系，并由此获得投影仪坐标系下的投影坐标，再按投影坐标将标记投影于真实物体四周；

计算出自由相机和投影标记点位置的相对位置关系，从投影标记点位姿得到自由相机位姿；根据自由相机位姿，在虚拟模型所在的虚拟空间坐标系中设置相同位姿的虚拟相机；设置想要叠加于真实物体的虚拟模型相对于真实模型的坐标，计算虚拟模型与投影标记点之间的相对位姿，将虚拟模型按照此相对位姿放置在虚拟空间中；利用虚拟相机拍照虚拟模型，获得此位姿下虚拟模型图像；将虚拟模型图像叠加于自由相机拍摄的图像上，完成虚拟模型与真实物体的虚实注册。

2.根据权利要求1所述的基于CAD模型的投影标记和机器视觉的实时注册方法，其特征是：虚拟模型图像和真实物体图像的获得方法是：将真实尺寸的CAD模型放置在虚拟空间中，并建立虚拟空间坐标系，通过虚拟相机对CAD模型进行拍摄得到虚拟模型图像；将真实相机按照虚拟相机和虚拟模型之间的相对位置对真实物体进行拍摄得到真实物体图像。

3.根据权利要求2所述的基于CAD模型的投影标记和机器视觉的实时注册方法，其特征是：虚拟空间坐标系的建立方法为：将虚拟模型底部中心作为虚拟空间坐标原点，以虚拟模型底面为X-Y平面，垂直于模型底面为Z轴。

4.根据权利要求3所述的基于CAD模型的投影标记和机器视觉的实时注册方法，其特征是：虚拟模型和真实物体之间对应关系的计算方法为：

A1、将视角向下的虚拟相机设置在虚拟模型的中心上方，使得虚拟相机中心与虚拟模型中心一致；

A2、在X-Y平面上，在[0，2π)范围内，均匀划分为m个角度，每个角度为α，在每一角度上，通过虚拟相机拍摄虚拟模型，获得每一角度姿态下的模型顶层图像模板；设图像模板集合为UA，U_m为各角度的图像模板，有：

UA＝{U_m}；

所有图像模板对应旋转角为0的基准模板U₀的旋转矩阵为：

A3、将每张图像模板通过拉普拉斯算子进行处理，取拉普拉斯过零点作为边缘，使得图像模板转换为边缘二值图像；

A4、将真实相机设于真实物体顶部，平行与底面向下实时视频采集真实物体图像，设置真实相机与虚拟相机高度、分辨率、视野大小完全一致，使得真实相机拍摄真实物体的尺寸与虚拟相机拍摄虚拟模型的尺寸完全一致，并且使世界坐标原点为真实相机光轴与桌面交点，此时真实世界坐标与虚拟世界坐标完全对应；

通过A3中的相同方法，对采集的每一帧真实物体图像进行边缘二值处理；

A5、将A4中实时采集的每一帧真实物体图像的边缘二值图像与虚拟模型的图像模板的边缘二值图像进行倒角距离匹配；设U_m＝{u_i}与V＝{v_j}设定为模板与真实尺寸的边缘图上的各自边缘点的集合；在U_m与V之间的倒角距离由每个u_i∈U_m的点与V中边缘的最近距离的平均值来决定，其中n为U集合中边缘点的数量：

A6、在A5的基础上，对模板U进行一定范围内的旋转平移，迭代缩小倒角距离范围；将U₀模板放置在采集图像的中心位置与采集的真实物体图像进行匹配；设W函数为与参数s相关的2D的欧几里得变换函数，其中s∈SE(2)，s＝(θ，t_x，t_y)，这里t_x，t_y分别表示为沿着x，y轴方向的平移变换t，θ为平面内的旋转变换；图像上的点x通过W函数执行变换操作：

m模板的最佳匹配变换系数s_m，通过下式计算获得，得到当前模板与待识别图像之间的最佳旋转平移关系：

这里W(U_m；s)＝{W(u_i，s)}；

A7、根据A6倒角匹配计算公式，遍历各角度的模型图像模板U_m∈UA，获取最佳匹配模板

与对应的变换系数

满足公式如下：

A8、确定模板坐标与最佳匹配之间的变换矩阵，根据相对于基准模板U₀旋转变换矩阵

并与

与输入图像V最佳匹配的旋转平移变换矩阵

中的旋转变换

与

求解最佳匹配状态与基准模板U₀的旋转变换矩阵

通过变换矩阵

实现将虚拟模型模板与真实模型实时图像变换一致，采集图像上的真实模型坐标相对于放置在图像中心的U₀模板的像素坐标V为：

A9、对真实相机进行标定，选定张正友标定法，计算得到世界坐标系到真实相机像素坐标系之间的转换矩阵M_WC，设U₀模板像素坐标对应的世界坐标为U_W，V真实物体像素坐标对应的世界坐标V_W，有公式：

U₀＝M_WCU_W；

V＝M_WCV_W；

且根据步骤A8中像素坐标U₀与V之间的转换关系，所以V_W与U_W之间的转换关系为：

此时虚拟模型通过

转换矩阵，与真实物体的位姿完全一致。

5.根据权利要求4所述的基于CAD模型的投影标记和机器视觉的实时注册方法，其特征是：确定投影仪投影标记点的方法为：

B1、在相对于虚拟模型的+x，-x，+y，-y方向上各投影一个不同的人工标记，设偏移量为O，则各标记中心与物体中心的偏移矩阵为：

设i为投影标记序号，则标记偏移矩阵集合

可以表示为：

标记坐标P_m相对于虚拟模型U_W的坐标为：

则标记坐标P_m的像素坐标P_mc，根据步骤A9计算的世界坐标系到真实相机像素坐标系之间的转换矩阵M_WC，所以标记对于虚拟模型的像素坐标P_m为：P_mc＝M_WCP_m；并且，根据步骤A8中，模板像素坐标与采集图像坐标的转换关系为

所以标记在真实物体周围的像素坐标P_c可以根据下式计算得到：

所以真实物体四周的标记像素坐标P_c相对于虚拟模型的坐标U_W为：

B2、通过相机投影仪标定算法，计算得到相机坐标系与投影仪坐标系转换矩阵M_cp，以及投影仪坐标与世界坐标的转换矩阵M_pw，通过以下式子，即可得出投影仪坐标下的标记位置P_p与标记真实位置坐标P_w：

P_p＝M_cpP_c；

P_w＝M_cpM_pwP_c；

投影仪根据P_p坐标将标记投影到真实物体四周；

B3，确定投影标记真实投影位置P_w与真实物体位置V_W间的转换关系，根据步骤B1中说明的真实标记像素坐标与虚拟标记像素坐标之间的转换关系，以及B2中，有如下关系：

并且根据A9中真实物体四周的标记像素坐标P_c相对于虚拟模型的坐标U_W的转换关系，带入上式子可知真实模型坐标V_W与真实物体四周投影标记P_w之间的转换关系为：

6.根据权利要求5所述的基于CAD模型的投影标记和机器视觉的实时注册方法，其特征是：得到自由相机拍摄下的真实物体投影图像的方法是：

C1、使用ORB特征构建每个标记的特征以及各个特征相对于自身标记的位置，建立标记特征模板特征点集合世界坐标集合

通过自由相机拍摄标记，将采集到的图片使用ORB进行处理，得到相机拍摄的标记特征点像素坐标集合

将每个标记模板特征与采集图像中的采集到的特征，通过RANSAC随机采样一致性算法，将对应位置的特征点匹配起来；

C2、根据投影标记确定相机位姿，首先通过张正友标定法，计算出自由相机内参M_C，设投影的真实标记P_w与自由相机坐标系C之间的变换矩阵为矩阵M_cw，求解公式如下：

P_fc＝M_CM_cwP_w；

根据P_fc与P_w的特征点之间对应关系，可列n个等式方程，n＝特征点数量且满足≥4，即可求解M_cw；

C3、计算自由相机C相对于投影标记P_w的位姿，根据C2，可知：

C＝M_cwP_w；

将虚拟相机按照C位姿放置在虚拟空间中；

C4、设定要叠加在真实模型上的虚拟模型位姿与真实模型位姿V_W之间的转换关系，设转换矩阵为M_vr，转换关系如下：

F＝M_vrV_W；

C5、以投影标记位姿P_w，作为虚拟坐标系基准，根据B3中得到的投影标记真实投影位置P_w与真实物体位置V间的转换关系，与C4虚拟模型坐标F与真实模型V之间的位置关系，确定虚拟模型位姿F与标记真实投影位置P_w的相对位置，转换关系如下：

将虚拟物体按照F位姿放置虚拟空间中；

C5、以投影标记位姿P_w，作为虚拟坐标系基准，根据B3中得到的投影标记真实投影位置P_w与真实物体位置V_W之间的转换关系：

和C4中虚拟模型坐标F与真实模型V_W之间的位置关系：

F＝M_vrV_W；

确定虚拟模型位姿F与标记真实投影位置P_w的相对位置，转换关系如下：

将虚拟物体按照F位姿放置虚拟空间中；利用虚拟相机拍照虚拟模型，获得此位姿下虚拟模型图像；将虚拟模型图像叠加于自由相机拍摄的图像上，完成虚拟模型与真实物体的虚实注册。

Images