CN102737534A - 一种实现无标记增强现实钢琴教学系统的方法 - Google Patents

Abstract

本发明提出了一个基于无标记增强现实钢琴教学的方法，钢琴初学者们可以根据钢琴键盘上虚拟手指的指示弹奏真实的钢琴。通过追踪键盘和检测键盘的几何特征参数，代替传统增强现实中标记的作用，这些参数被用来计算从键盘坐标系到摄像头坐标系的转换矩阵。我们首先提取图像所有的轮廓，然后找出所有可能为键盘的轮廓，再通过钢琴的结构特征找出键盘的轮廓。本发明的主要用途是，用户可以跟着虚拟手指的指型弹奏真实的钢琴，让用户不必经过枯燥的学习过程，就能够弹奏出一首曲子。

Description

一种实现无标记增强现实钢琴教学系统的方法

一、技术领域：

本发明涉及增强现实技术，尤其涉及一种实现无标记增强现实钢琴教学的方法及系统。

二、背景技术：

增强现实可以让用户看到真实的世界，同时把虚拟的物体跟现实环境合成。一个增强现实系统的流程一般是，系统首先定位一个物体的三维信息并且基于其建立空间三维立体坐标系，然后把虚拟三维物体增加到坐标系中，虚拟的物体和真实世界一起被显示出来。在增强现实的应用中，有标记的汁算机视觉定位方式因为简单和较好的鲁棒性备受欢迎，通常预定义大小和形状物体被用来作为增强现实的标记。基于有标记的增强现实技术已经非常成熟，他们实现起来速度快，准确性高，但是因为使用的时候必须要有预定义形状和大小的标记，因而缺少自然性，在真实应用中并不普遍。

文献《H.Kato and M.Bilinghurst Marker tracking and hmd cahbratlon for a video-based augmented reahtyconferencmg system.In iwar，page 85.Pubhshed by the IEEE Computer Society，1999》中提出了一种基于标记的增强现实方法，并由此设计了开源软件包(ARTbolkit)。在ARToolkit中，一个正方形黑色框被作为标记识别，首先在三维图像中找出正方形框的边和顶点，利用这些几何特性实现三维定位，然后把虚拟三维物体增加到正方形框中。

文献《M.Fiala.Artag，an improved marker system based on artoolklt.2010》中提供了一种更加快速准确的基于标记定位的方法(ARTag)，用数字编码后的图形作为标记代替正方形黑色条框，使得识别标记更加快速准确，并且这种标记尺寸小不需要预存。

文献《I.Barakonyl and D.Schmalstleg Augmented reahly agents in the dcwelopment pipehne of computerentertainment.In Entertainment computing-ICEC 2005：4th mternational confer-ence，Sanda，Japan，September 19-21，2005：proceedings，page 345.Springer-Verlag New York Inc，2005》提供了一种基于ARTag的钢琴教学方法，在钢琴上贴上ARTag中的标记，然后在钢琴上建立坐标系并且计算每个键的位置，这样键盘上就可以画出虚拟的提示来指导钢琴初学者应该弹奏哪个键。钢琴通过MIDI按口跟计算机相连，这样钢琴初学者弹奏发出的声音能被传入计算机，计算机可以判断用户的弹奏是否正确。

上面的文献都是使用基于标记识别的增强现实技术，相比而言，自然特征追踪(NFT)技术要更受欢迎，这种技术不需要额外的标记，能够使的增强现实场景更加真实，让用户觉得更加自然。文献《T Lee and THollerer.Handy AR：Markerless inspection of augmented reahty obects using fingertip trackmg In WearableComputers，2007 11th IEEE International Symposium on，pages 83-90.IEEE，2007》给出了一种实现自然特征识别的方法，首先用方格纸对手做一次校正，这样手就可以取代传统增强现实中标记的作用。识别手的方法是利用肤色对图形区域做划分，选择区域最大的部分作为手的区域，然后用椭圆逼近的方法识别出各个手指。计算出基于手指的三维坐标系后就可以把虚拟物体画在手上了。这篇文献中利用一次校正实现了自然特征追踪，缺点是手是形变的，如果手指的形状变化的话，则需要重新校正。

三、发明内容：

首先通过摄像头实时采集图像，从图像中识别和定位钢琴键盘的四边形信息(顶点坐标和边方程)，计算其几何特征参数，利用这些参数计算并建立基于钢琴键盘的三维坐标系，把虚拟3D物体模型显示在基于钢琴键盘的三维坐标系中，如图2所示。

本发明的实现基于这样一个思想：在有标记的增强现实系统中，标记往往被预定义固定的大小和形状，利用这些标记计算空间的位置，但是自然物体都有自己的大小和形状特征，这些特征可以被识别来替代传统增强现实中的标记。钢琴键盘有固定的形状和大小，通过识别键盘的四边形信息(顶点坐标和边方程)，计算从键盘坐标系到摄像头坐标系的转换矩阵，利用转换矩阵建立三维坐标系。本发明的特点是：实时性好，观念新颖。系统能够实时的运行，帧率达到20-25fps。相比传统的增强现实系统，本发明使用物体本身的几何特征代替预定的标记，从而实现自然的增强现实。这种方法同样适用于其它很多增强现实系统，在针对其它目标的增强现实系统时，目标物体的几何特性可以以同样的方式被识别追踪后用来计算转换矩阵。

四、附图说明：

图1是本发明的系统流程图

图2是本发明的中间结果，在键盘上建立出三维坐标系，并且识别出每个键的位置

图3是本发明识别钢琴键盘的过程图

五、具体实施方法：

下面说明本发明的具体实施过程，如图1所示：

101：摄像机参数测量。在运行系统之前，首先测量一些系统过程中需要的参数，101测量摄像头的透视投影矩阵P，即摄像头参数，透视投影矩阵根据公式Eq101把基于摄像头焦点三维坐标系的坐标转换成屏幕上对应的三维坐标系，其中是屏幕坐标系上的坐标向量，

是摄像机坐标系中的坐标向量。

102：真实键盘的几何参数测量。测量钢琴键盘的长、宽等实际尺寸。

111：系统获取一帧图像，对图像做预处理。首先对图像二值化，由于键盘上的每键之间有空隙，使得二值化后的键盘区域有一些黑色线，如图3(a)所示。这些黑色线会对键盘的识别造成一些影的，用图形学闭运算可以去除这些噪点，结果如图3(b)所示，键盘的白色区域成为了一个整体。

112.轮廓提取和分析。提取图像的轮廓并对轮廓做分析，首先提取整幅图像的所有轮廓，求出所有轮廓的凸包，然后使用Douglas-Peucker多边形逼近算法拟合轮廓的凸包，如果轮廓的凸包能被四边形逼近，则保留轮廓做进一步的处理，否则，删除轮廓。在我们使用的图像中只有两个轮廓的凸包能够被多边形拟合，如图3(c)中粗线标出来的301和302是经过本步骤后被保留下来的两个轮廓凸包。

113：键盘识别。进一步识别凸包包含的区域是否为键盘区域，求出每个凸包的凸缺陷，取最深凸缺陷所依赖的那条边作为顶边，在顶边附近做一条直线EF平行于顶边，如图3(d)所示，沿着线段EF扫描步骤111处理后的二值化图像，得到一个数组，统计数组中的黑色条带数目，如果黑色条带数等于键盘黑色键的数目，则所处理的区域为键盘区域，否则不是。

114：获取对应的键盘何特征参数。根据键盘的顶边找出左右两条边的对应信息，如图3(e)所示，取线段MN的中点，P是凸包的凸缺陷中距离MN最远的点。假设

则不管键盘在图像中怎样旋转，公式Eq114总是成立的：

$\stackrel{\→}{\mathrm{OP}}\×\stackrel{\→}{\mathrm{OM}}=(\mathrm{0,0},x_3{y}_1-x_1{y}_3),x_3{y}_1-x_1{y}_3>0$ (Eq114)

$\stackrel{\&RightArrow;}{\mathrm{OP}}\&times;\stackrel{\&RightArrow;}{\mathrm{ON}}=(\mathrm{0,0},x_3{y}_2-x_2{y}_3),x_3{y}_2-x_2{y}_3<0$

根据这个特性，可以区分出钢琴的M和N两个顶点，这样可以得到跟钢琴键盘四条边和四个顶点的对应信息；

121：计算旋转矩阵。根据114得到的键盘几何尺寸，计算转换矩阵，转换矩阵T_ck把键盘坐标系坐标转换为摄像机坐标系坐标，可以表示成Eq1211：

$T_{\mathrm{ck}}=\left[\begin{array}{cccc}{V}_{11}& V_{12}& V_{13}& W_x\\ V_{21}& V_{22}& V_{23}& W_y\\ V_{31}& V_{32}& V_{33}& W_z\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cc}{V}_{\mathrm{3,3}}& W_{\mathrm{3,1}}\\ 0_{\mathrm{1,3}}& 1\end{array}\right]---\left(\mathrm{Eq}1211\right)$

矩阵可以分成两个部分，旋转矩阵V_3×3和的平移矩阵W_3×1，这两个部分分开计算。假设114中得到键盘的顶边和底边的直线方程为公式Eq1212：

$\left\{\begin{array}{c}{a}_{1}x+b_{1}y+c_1=0\\ a_{2}x+b_{2}y+c_2=0\end{array}\right.---\left(\mathrm{Eq}1212\right)$

代入Eq1211中可以得到摄像机三维坐标系中的直线方程Eq1213：

$\left\{\begin{array}{c}{a}_1{P}_{11}x+(a_1{P}_{12}+b_1{P}_{22})y+(a_1{P}_{13}+b_1{P}_{23}+c_1)z=0\\ a_2{P}_{11}x+(a_2{P}_{12}+b_2{P}_{22})y+(a_2{P}_{13}+b_2{P}_{23}+c_2)z=0\end{array}\right.---\left(\mathrm{Eq}1213\right)$

平面的交线就是键盘坐标系x轴方向向量，即旋转矩阵V中的第一列向量，同理可以计算出y轴方向向量，即旋转矩阵V的第二列向量，x轴向量和y轴向量义乘可以得到V中的第三列向量：

122：计算平移矩阵。计算旋转矩阵中的平移部分，即W_3×1，根据公式Eq122：

$\left[\begin{array}{c}{\mathrm{hx}}_x\\ {\mathrm{hy}}_y\\ h\\ 1\end{array}\right]=P\left[\begin{array}{cccc}{V}_{11}& V_{12}& V_{13}& W_x\\ V_{21}& V_{22}& V_{23}& W_y\\ V_{31}& V_{32}& V_{33}& W_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(\mathrm{Eq}122\right)$

其中(x，y，z)是键盘坐标系下坐标，(x、，y、)是屏幕坐标系下的坐标，把键盘的四个顶定在键盘坐标系下的坐标和在屏幕坐标系下的坐标(114中得到的)代入Eq122，得到3个未知数8个等式的超定方程组.用最小二乘法求解出平移矩阵W_3×1中的三个未知数；

123：建立3D坐标系。得到完整的转换矩阵，可以在键盘上画出基于钢琴键盘的三维坐标系三维坐标系，如图2中201所示。此外，还可以计算出键盘每个按键的位置，在图2中在每个键上面出了一个3D的茶壶模型；

131：虚拟模型增加到真实场景中。导入虚拟的手指，根据琴谱在键盘对应的位置弹奏。

Claims (2)

1.一种实现无标记增强现实钢琴教学系统的方法，其特征包含以下几个步骤：

A：系统直接追踪识别真实的钢琴键盘，并且计算钢琴的几何特征信息，包括顶点坐标和边的直线方程；

B：利用这些几何特征信息计算从钢琴坐标系坐标到摄像机坐标系坐标的转换矩阵，建立基于钢琴键盘的三维坐标系；

C：从3D模型软件中导入三维手指模型，虚拟手指根据谱子弹奏真实的键盘，并且用计算机模拟弹奏出的音乐；

2.根据权利要求1所述的系统直接追踪识别真实的钢琴键盘并且计算钢琴的几何特征信息的方法，其特征在于，所述步骤A进一步包括步骤：

A1：图像预处理，用阈值对原始图像二值化，然后对图像做闭运算，去除图像中因为钢琴键盘的键空隙造成的比较细的黑色线条；

A2：提取图像中所有轮廓并分析，首先提义图像的轮廓，然后求出所有轮廓的凸包，用Douglas-Peuker(DP)多边形逼近算法逼近所有凸包，只有包逼近四边形的轮廓被保留做进一步的处理；

A3：键盘识别，对A2保留下来的轮廓做进一步处理，找出凸包的凸缺陷所依赖的边作为轮廓的顶边，靠近顶边找一条平行于顶边的直线，沿着直线在A1预处理后的二值化图像中取像素值构成一个数组，统计数组中连续黑色条带数，黑色条带数目应该跟键盘的黑色键数目相同，否则轮廓不是键盘轮廓；根据权利要求1所述的实现利用这些几何特征信息计算从钢琴坐标系坐标到摄像机坐标系坐标的转换矩阵，建立基于钢琴键盘的三维坐标系的方法，其特征在于，所述步骤B进一步包括步骤：

B1：根据A3中识别出的钢琴键盘的四条边和四个顶点，需要求出从键盘坐标系到摄像头坐标系的转换矩阵，转换矩阵包括旋转部分和平移部分，首先根据钢琴的两对平行边在图像中的方程计算转换矩阵中的旋转矩阵；

B2：利用钢琴键盘的四个顶点在键盘坐标系下的坐标和在图像中的坐标，使用最小二乘法计算转换矩阵的平移部分；

B3：根据转换矩阵建立基于钢琴键盘的三维坐标系。