CN102521859B - 基于人工标志的增强现实方法及装置 - Google Patents

Abstract

本发明公开一种基于人工标志的增强现实方法及装置。该人工标志包括用于识别的红色识别区域、用于定位的蓝色定位区域及存储虚拟物体中需改变的信息的二维码。该方法包括以下步骤：采集帧图像；根据所述识别区域，检测所述图像中的所有人工标志，并放至链表中；根据所述定位区域，计算获得人工标志所在平面信息；根据所述人工标志所在平面信息，将虚拟物体叠加至人工标志所在平面上。本发明使用单一的黑白色块以外颜色的色块表示的人工标志，从而提高了人工标识的识别、定位效果，而且其内部的二维码存储需要灵活变化的信息，从而可以更加灵活的使用虚拟物体，而无需因为虚拟物体的部分改变而设计新的人工标志。

Description

基于人工标志的增强现实方法及装置

技术领域

本发明涉及模式识别领域，尤其涉及一种基于人工标志的增强现实方法及装置。

背景技术

增强现实(Augmented Reality，AR)，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加，给观察者提供在现实中难以体验到的实体信息。

增强现实应用领域非常多，而新兴领域——基于移动终端的MobileAR技术目前也随着智能手机的快速发展而出现了越来越多的应用。目前MobileAR最广泛的应用是在娱乐和游戏方面，通常采用的方案是基于标志的方法，具体实现是通过图像处理技术识别已知形状的人工标志，提取出标志上的特征信息，运用特定的计算方法，求得人工标志和摄像机的相对位置关系，最终将虚拟物体叠加在画面中的人工标志上。比如在演示应用中，将需要演示的3D物体叠加到手机摄像头拍摄的场景中，使用者可以通过移动和旋转手机而从各个方位观察被演示物体的构造；在游戏应用中可以将虚拟敌人叠加到手机摄像头拍摄的场景之中，玩家在手机屏幕上与叠加好的图像进行互动。这样实现了使用者与虚拟物体在真实世界背景下的交互，给使用者提供更为直观的感受和全面的信息。

增强现实的关键技术是人工标志的设计和相对应的识别定位方法。目前使用的人工标志均采用单一的黑白色块，且内部没有存储信息。设计单一使得在图像识别时易受到光线和复杂物体的干扰，而内部没有存储信息使得虚拟物体的资料必须储存在识别设备上且无法灵活改变。

发明内容

本发明的主要目的是提供一种基于人工标志的增强现实方法，旨在提高人工标志的识别能力。

本发明提供了一种基于人工标志的增强现实方法，所述人工标志包括用于识别的红色识别区域、用于定位的蓝色定位区域及位于蓝色定位区域内且用于存储虚拟物体中需改变的信息的二维码，所述方法包括以下步骤：

打印所述人工标志，通过图像采集设备对打印的人工标志图进行图像采集，获得帧图像；

根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中；

根据所述定位区域，计算获得人工标志所在平面信息；

将虚拟物体的基本信息及二维码上存储的虚拟物体中需改变的信息一起与人工标志所在平面信息进行叠加处理。

优选地，所述根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中的步骤具体包括：

检测帧图像中的识别区域，并将其图像二值化；

提取所有识别区域的内外轮廓，判断识别区域是否为人工标志；

若是，则将其放至链表中；

若否，则返回采集下一帧图像。

优选地，所述根据所述定位区域，计算获得人工标志所在平面信息的步骤包括：

检测人工标志中的定位区域，并将其图像二值化；

提取所有定位区域的外轮廓，计算获得定位区域的四个角点；

根据所述定位区域的四个角点，计算获得人工标志所在平面信息。

优选地，所述根据所述定位区域的四个角点，计算获得人工标志所在平面信息的步骤之后还包括：

对所述人工标志所在平面信息进行滤波。

优选地，所述提取所有识别区域的内外轮廓，判断识别区域是否为人工标志中的判断方法包括：

若识别区域不存在内轮廓，则判断该识别区域不是人工标志；

若识别区域存在内轮廓，则将外轮廓和最大的内轮廓拟合成椭圆，计算两椭圆圆心距；

若所述圆心距小于外轮廓椭圆直径的1/10，则判断该识别区域是人工标志。

本发明还提供了一种基于人工标志的增强现实装置，所述人工标志包括用于识别的红色识别区域、用于定位的蓝色定位区域及位于蓝色定位区域内且用于存储虚拟物体中需改变的信息的二维码，包括：

图像采集模块，用于对打印的人工标志图进行图像采集，获得帧图像；

人工标志识别模块，用于根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中；

人工标志定位模块，用于根据所述定位区域，计算获得人工标志所在平面信息，并将虚拟物体的基本信息及二维码上存储的虚拟物体中需改变的信息一起与人工标志所在平面信息进行叠加处理。

优选地，所述人工标志识别模块具体包括：

识别区域检测单元，用于检测帧图像中的识别区域，并将其图像二值化；

人工标志判断单元，用于提取所有识别区域的内外轮廓，判断识别区域是否为人工标志；若是，则将其放至链表中；若否，则通知图像采集模块采集下一帧图像。

优选地，所述人工标志定位模块具体用于：

定位区域检测单元，用于检测人工标志中的定位区域，并将其图像二值化；

定位区域角点计算单元，用于提取所有定位区域的外轮廓，计算获得定位区域的四个角点；

人工标志平面计算单元，用于根据所述定位区域的四个角点，计算获得人工标志所在平面信息。

优选地，所述人工标志定位模块还包括：

平面信息滤波单元，用于在计算获得人工标志所在平面信息后，对所述人工标志所在平面信息进行滤波。

优选地，所述人工标志判断单元具体用于：

若识别区域不存在内轮廓，则判断该识别区域不是人工标志；

若识别区域存在内轮廓，则将外轮廓和最大的内轮廓拟合成椭圆，计算两椭圆圆心距；

若所述圆心距小于外轮廓椭圆直径的1/10，则判断该识别区域是人工标志。

本发明使用单一的黑白色块以外颜色的色块表示的人工标志，从而提高了人工标识的识别、定位效果，而且其内部的二维码存储需要灵活变化的信息，从而可以更加灵活的使用虚拟物体，而无需因为虚拟物体的部分改变而设计新的人工标志。

附图说明

图1是本发明基于人工标志的增强现实方法中人工标志的结构示意图；

图2是本发明基于人工标志的增强现实方法一实施例的流程示意图；

图3是本发明基于人工标志的增强现实方法中检测帧图像的人工标志的流程示意图；

图4是本发明基于人工标志的增强现实方法中判断识别区域是否为人工标识的流程示意图；

图5是本发明基于人工标志的增强现实方法中根据定位区域，计算获得人工标志所在平面信息的流程示意图；

图6是本发明基于人工标志的增强现实方法中消影线的原理结构示意图；

图7是本发明基于人工标志的增强现实装置一实施例的结构示意图；

图8是本发明基于人工标志的增强现实装置中人工标志识别模块的结构示意图；

图9是本发明基于人工标志的增强现实装置中人工标志定位模块的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明一种基于人工标志的增强现实方法中，如图1所示，该人工标志包括用于识别的识别区域a、用于定位的定位区域b及存储虚拟物体中需改变的信息的二维码c。其中，该识别区域a可以为红色同心圆，定位区域b可以为蓝色矩形框。该识别区域a及定位区域b可以为别的形状表示，也可以为除黑白色块的其他颜色的色块。

图2是本发明一种基于人工标志的增强现实方法一实施例的流程示意图。

参照图2，该方法包括以下步骤：

步骤S01、采集帧图像；

首先根据图2所示的设计图打印人工标志图，并记录人工标志图的边长r作为参数。然后打开图像采集设备，对打印的人工标志图进行图像采集。该图像采集为每一帧图像采集。该图像采集设备优选为摄像机，当然也可以为其他图像采集设备。

步骤S02、根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中；

根据识别区域，检测帧图像中所有的人工标志，再将其放置链表中。

步骤S03、根据所述定位区域，计算获得人工标志所在平面信息；

根据定位区域，利用消影线原理，计算获得人工标志所在平面信息。

步骤S04、根据人工标志所在平面信息，将虚拟物体叠加至人工标志所在平面上。

将虚拟物体信息与人工标志所在平面信息进行叠加处理，并删除当前人工标志。该虚拟物体的基本信息存储在识别设备上，但是虚拟物体的一些需要灵活变化的信息则存储在人工标志的二维码上，则通过该二维码上的存储信息可以更加灵活的使用虚拟物体，而不需要因虚拟物体的部分改变而设计新的人工标志。

在这里需要说明的是，若链表中存在多个人工标志时，则步骤S04之后还包括步骤：

步骤S05、判断链表中是否还有未处理的人工标志，若是，则返回步骤S03；否则执行步骤S06；

步骤S06、显示经过处理的图像。

本发明实施例使用单一的黑白色块以外颜色的色块表示的人工标志，从而提高了人工标识的识别、定位效果，而且其内部的二维码存储需要灵活变化的信息，从而可以更加灵活的使用虚拟物体，而无需因为虚拟物体的部分改变而设计新的人工标志。

参照图3，上述步骤S02具体包括：

步骤S021、检测帧图像中的识别区域，并将其图像二值化；

该人工标志的检测可以采用阈值法、边缘检测、区域检测或特征检测。阈值法通过选取阈值来区分目标和背景，从而对图像进行识别。例如，若图像只有目标和背景两大类，那么只需选取一个阈值，将图像中每个像素的灰度值与阈值相比较，灰度值大于阈值的像素为一类，灰度值小于阈值的像素为一类；若图像中有多个目标，则需要选取多个阈值将各个目标及背景分开。边缘检测主要是先利用边缘增强算子，突出图像中的局部边缘，然后定义像素的“边缘强度”，通过设置阈值的方法提取边缘点集。区域检测是利用图像特征，将图像中的单个像素映射成一个称之为区域的像素集。特征检测是利用图像的纹理、颜色等特征信息将目标与背景区分开。在本实施例中，采用最常用的阈值法对帧图像中的人工标志进行检测。

步骤S022、提取所有识别区域的内外轮廓，判断识别区域是否为人工标志；若是，则执行步骤S023；否则执行步骤S01；

参照图4，步骤S022中判断过程具体包括：

步骤S221、判断识别区域是否存在内轮廓；若是，则执行步骤S222；否则执行步骤S223；

步骤S222、判断该识别区域不是人工标志；

步骤S223、分别将外轮廓和最大的内轮廓拟合成椭圆，并计算两椭圆圆心距；

由于识别区域为红色的同心圆，为了防止内轮廓可能存在其他干扰的轮廓，故在此选择最大的内轮廓进行拟合。然后计算外轮廓拟合的椭圆与最大的内轮廓拟合的椭圆之间的圆心距。

步骤S224、判断所述圆心距是否小于外轮廓椭圆直径的1/10，若是，则执行步骤S225；否则执行步骤S222；

步骤S225、判断该识别区域是人工标志。

步骤S023、将人工标志放至链表中。

判断计算的圆心距是否小于外轮廓椭圆直径的1/10，是则判断该识别区域为人工标识，并将其放至链表中；否则判断该识别区域不是人工标识。

参照图5，上述步骤S03进一步包括：

步骤S031、检测人工标志中的定位区域，并将其图像二值化；

定位区域的检测方法与识别区域的检测方法一致，请参照前面所述。

步骤S032、提取所有定位区域的外轮廓，计算获得定位区域的四个角点；

提取蓝色定位区域的外轮廓，计算获得蓝色定位区域的四个角点。本实施例采用直线拟合+二分法，具体方法为：首先用逼近的方法得到粗略的角点坐标；将相邻两个角点之间的轮廓点拟合成直线，计算用于拟合每条直线的所有点到拟合所得直线的平均距离，若此距离小于1.0pixel，则判断此直线为真；若距离大于1.0pixel，则将用于拟合直线的轮廓点进行二分法递归运算，直到得到合适的直线或者超过最大的分裂次数；最后通过四条直线计算出四个角点。采用直线拟合+二分法不但可以准确的提取矩形的四个角点，几乎能排除所有情况的干扰，而且其计算量非常小，适合在移动设备上使用。当然，本发明还可以使用别的方法对定位区域的四个角点进行计算。

步骤S033、根据所述定位区域的四个角点，计算获得人工标志所在平面信息；

根据步骤S032获得的定位区域的四个角点，利用消影线原理计算获得人工标志所在平面信息。如图6所示，现实中的平行线段在图像平面上的透视投影(或延长线)的交点是消影点。同一平面上所有平行线段的消影点共线，组成消影线。消影线代表着无穷远在图像屏幕上的投影。

根据消影线原理，在已知蓝色矩形的四个角点A,B,C,D在图像平面上的投影点及两对边的交点E,F的坐标(x_i,y_i),i＝A,B,C,D,E,F，矩形框边长r和摄像机内参数(c_x,c_y,f_x,f_y)时，设人工标志所在平面在摄像机坐标系中的方程为Z＝PX+QY+D，则其中的参数P，Q，D可以通过下式求得：

$P=\frac{\left|\begin{array}{cc}1& y_E-c_y\\ 1& y_F-c_y\end{array}\right|}{\left|\begin{array}{cc}{x}_E-c_x& y_E-c_y\\ x_F-c_x& y_F-c_y\end{array}\right|}\·f_x$

$Q=\frac{\left|\begin{array}{cc}{x}_E-c_x& 1\\ x_F-c_x& 1\end{array}\right|}{\left|\begin{array}{cc}{x}_E-c_x& y_E-c_y\\ x_F-c_x& y_F-c_y\end{array}\right|}\·f_y$

$D=2\·\sqrt{\frac{r}{k_{\mathrm{AB}}+k_{\mathrm{BC}}+k_{\mathrm{CD}}+k_{\mathrm{DA}}}}$

其中，

k_AB＝[(k_Bi_B-k_Ai_A)²+(k_Bj_B-k_Aj_A)²+(k_B-k_A)²]

k_BC＝[(k_Ci_C-k_Bi_B)²+(k_Cj_C-k_Bj_B)²+(k_C-k_B)²]

k_CD＝[(k_Di_D-k_Ci_C)²+(k_Dj_D-k_Cj_C)²+(k_D-k_C)²]

k_DA＝[(k_Ai_A-k_Di_D)²+(k_Aj_A-k_Dj_D)²+(k_A-k_D)²]

其中，(i_t,j_t),t＝A,B,C,D为A,B,C,D四个点对应的摄像机光心发出的射线在摄像机坐标系中的斜率，分别为：

$\left[\begin{array}{c}{i}_t\\ j_t\\ 1\end{array}\right]={\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]}^{-1}\·\left[\begin{array}{c}{x}_t\\ y_t\\ 1\end{array}\right],$ 其中t＝A,B,C,D

$k_t=\frac{1}{1-i_{t}P-j_{t}Q},$ 其中t＝A,B,C,D

上述步骤S033之后还包括：

步骤S034、对所述人工标志所在平面进行滤波。

由于图像采集设备在采集图像的过程中有因为存在误差，而使得采集数据不准确，所以在将虚拟物体叠加到人工标志所在平面之前，先对人工标志所在平面信息进行滤波处理，以过滤图像采集产生的误差信号。

图7是本发明一种基于人工标志的增强现实装置一实施例的结构示意图。

本发明设计的人工标志包括用于识别的识别区域、用于定位的定位区域及存储虚拟物体中需改变的信息的二维码，如图2所示。其中，该识别区域可以为红色同心圆表示，定位区域可以为蓝色矩形框。

参照图7，本发明一种基于人工标志的增强现实装置包括：

图像采集模块10，用于采集帧图像；

人工标志识别模块20，用于根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中；

人工标志定位模块30，用于根据所述定位区域，计算获得人工标志所在平面信息，并根据所述人工标志所在平面信息，将虚拟物体叠加至人工标志所在平面上。

该图像采集模块10优选为摄像机，当然也可以为其他图像采集设备。人工标志识别模块20根据识别区域，检测帧图像中所有的人工标志，人工标志定位模块30则根据定位区域，计算获得人工标志所在平面信息，以便虚拟物体与人工标志所在平面的叠加。

本发明实施例使用单一的黑白色块以外颜色的色块表示的人工标志，从而提高了人工标识的识别、定位效果，而且其内部的二维码存储需要灵活变化的信息，从而可以更加灵活的使用虚拟物体，而无需因为虚拟物体的部分改变而设计新的人工标志。

参照图8，所述人工标志识别模块20具体包括：

识别区域检测单元21，用于检测图像中的识别区域，并将图像二值化；

人工标志判断单元22，用于提取所有识别区域的内外轮廓，判断识别区域是否为人工标志；若是，则将其放至链表中；若否，则通知图像采集模块采集下一帧图像。

识别区域检测单元21可以采用阈值法、边缘检测、区域检测或特征检测对图像中的识别区域进行检测。本实施例优选采用最常用的阈值法。

所述人工标志判断单元22具体用于：

提取所有识别区域的内外轮廓，若识别区域不存在内轮廓，则判断该识别区域不是人工标志；

若识别区域存在内轮廓，则将外轮廓和最大的内轮廓拟合成椭圆，计算两椭圆圆心距；

若所述圆心距小于外轮廓椭圆直径的1/10，则判断该识别区域是人工标志。

参照图9，所述人工标志定位模块30具体包括：

定位区域检测单元31，用于检测人工标志中的定位区域，并将其图像二值化；

定位区域角点计算单元32，用于提取所有定位区域的外轮廓，计算获得定位区域的四个角点；

人工标志平面计算单元33，用于根据所述定位区域的四个角点，计算获得人工标志所在平面信息；

上述定点区域检测单元31的检测方法与上述识别区域检测单元21的检测方法一致，在此就不再赘述。定点区域角点计算单元32优选采用直线拟合+二分法对提取的定位区域的外轮廓进行计算，获得定位区域的四个角点。人工标志平面计算单元33根据定位区域的四个角点，利用消影线原理计算获得人工标志所在平面信息。其具体计算过程，可参照前面所述。

由于图像采集设备在采集图像的过程中因为存在误差，而使得采集数据不准确，所以人工标志定位模块30还包括：

平面信息滤波单元34，用于在计算获得人工标志所在平面信息后，对所述人工标志所在平面信息进行滤波。

通过平面信息滤波单元34在讲虚拟物体叠加到人工标志所在平面之前，对人工标志所在平面信息进行滤波处理，从而可以过滤图像采集产生的误差信号。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人工标志的增强现实方法，其特征在于，所述人工标志包括用于识别的红色识别区域、用于定位的蓝色定位区域及位于蓝色定位区域内且用于存储虚拟物体中需改变的信息的二维码，所述方法包括以下步骤：

打印所述人工标志，通过图像采集设备对打印的人工标志图进行图像采集，获得帧图像；

根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中；

根据所述定位区域，计算获得人工标志所在平面信息；

将虚拟物体的基本信息及二维码上存储的虚拟物体中需改变的信息一起与人工标志所在平面信息进行叠加处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中的步骤具体包括：

检测帧图像中的识别区域，并将其图像二值化；

提取所有识别区域的内外轮廓，判断识别区域是否为人工标志；

若是，则将其放至链表中；

若否，则返回采集下一帧图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述定位区域，计算获得人工标志所在平面信息的步骤包括：

检测人工标志中的定位区域，并将其图像二值化；

提取所有定位区域的外轮廓，计算获得定位区域的四个角点；

根据所述定位区域的四个角点，计算获得人工标志所在平面信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述定位区域的四个角点，计算获得人工标志所在平面信息的步骤之后还包括：

对所述人工标志所在平面信息进行滤波。

5.根据权利要求2至4中任一项所述的方法，其特征在于，所述提取所有识别区域的内外轮廓，判断识别区域是否为人工标志中的判断方法包括：

若识别区域不存在内轮廓，则判断该识别区域不是人工标志；

若识别区域存在内轮廓，则将外轮廓和最大的内轮廓拟合成椭圆，计算两椭圆圆心距；

若所述圆心距小于外轮廓椭圆直径的1/10，则判断该识别区域是人工标志。

6.一种基于人工标志的增强现实装置，其特征在于，所述人工标志包括用于识别的红色识别区域、用于定位的蓝色定位区域及位于蓝色定位区域内且用于存储虚拟物体中需改变的信息的二维码，包括：

图像采集模块，用于对打印的人工标志图进行图像采集，获得帧图像；

人工标志识别模块，用于根据所述识别区域，检测所述帧图像中的所有人工标志，并放至链表中；

人工标志定位模块，用于根据所述定位区域，计算获得人工标志所在平面信息，并将虚拟物体的基本信息及二维码上存储的虚拟物体中需改变的信息一起与人工标志所在平面信息进行叠加处理。

7.根据权利要求6所述的装置，其特征在于，所述人工标志识别模块具体包括：

识别区域检测单元，用于检测帧图像中的识别区域，并将其图像二值化；

人工标志判断单元，用于提取所有识别区域的内外轮廓，判断识别区域是否为人工标志；若是，则将其放至链表中；若否，则通知图像采集模块采集下一帧图像。

8.根据权利要求7所述的装置，其特征在于，所述人工标志定位模块具体用于：

定位区域检测单元，用于检测人工标志中的定位区域，并将其图像二值化；

定位区域角点计算单元，用于提取所有定位区域的外轮廓，计算获得定位区域的四个角点；

人工标志平面计算单元，用于根据所述定位区域的四个角点，计算获得人工标志所在平面信息。

9.根据权利要求8所述的装置，其特征在于，所述人工标志定位模块还包括：

平面信息滤波单元，用于在计算获得人工标志所在平面信息后，对所述人工标志所在平面信息进行滤波。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述人工标志判断单元具体用于：

若识别区域不存在内轮廓，则判断该识别区域不是人工标志；

若识别区域存在内轮廓，则将外轮廓和最大的内轮廓拟合成椭圆，计算两椭圆圆心距；

若所述圆心距小于外轮廓椭圆直径的1/10，则判断该识别区域是人工标志。