CN103955889A - 一种基于增强现实技术的制图类作业评阅方法 - Google Patents

Abstract

本发明公开了一种基于增强现实技术的制图类作业评阅方法，该方法包括的步骤为将移动终端作为客户端，获取图像帧并将数据发送给服务器端，从服务器端接收数据并显示；接收从客户端传送的视频帧数据，然后通过图像处理相关算法处理图像；将标准答案视图模型以及计算得出的参考分数发送给客户端；客户端接收从服务器端发送的数据之后，通过OpenGL将模型渲染到视频帧中，并通过图层的叠加显示参考分数，达到虚实融合的效果。本发明将评阅制图作业的任务交给计算机视觉来处理，与增强现实技术相结合，并将功能移植到移动终端上实现，给评阅老师带来了极大的便利和乐趣。

Description

一种基于增强现实技术的制图类作业评阅方法

技术领域

本发明涉及增强现实技术领域，具体涉及一种基于增强现实技术的制图类作业评阅方法。 

背景技术

据国外媒体报道，市场研究公司Forrester日前预测了2013年移动业的十大发展趋势，概括起来就是六个字：移动改变一切。手机的功能日益强大，正逐步替代照相机、现金支付、地图、远程控制设备、掌上游戏机、登机牌、门票、现金出纳机、计算器和记事本等。手机无处不在，已成为全球人们不可或缺的产品：去年全球手机出货量达16亿部，今年年底全球智能手机用户将达14亿。从这些数据不难看出，移动终端不仅在现在，而且在未来必将成为人们生活中比不缺少的一部分。因此基于移动终端开发的应用也将必不可少。未来的人们很多事情都将会依靠移动终端来帮助我们完成，对于教师群体而言，智能评阅试卷也将成为一种趋势。 

机器视觉就是用机器代替人眼来做测量和判断。如今，中国正成为世界机器视觉发展最活跃的地区之一，应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等国民经济的各个行业。其重要原因是中国已经成为全球制造业的加工中心，高要求的零部件加工及其相应的先进生产线，使许多具有国际先进水平的机器视觉系统和应用经验也进入了中国。经历过长期的蛰伏，2010年我国机器视觉市场迎来了爆发式增长。据《2013-2017年中国机器视觉产业发展前景与投资预测分析报告》^[1]数据显示当年，我国机器视觉市场规模达到8.3亿元，同比增长48.2%，其中智能相机、软件、光源和板卡的增长幅度都达到了50%，工业相机和镜头也保持了40%以上的增幅，皆为2007年以来的最高水平。因此机器视觉的应用也相当成熟了。 

增强现实技术（Augmented Reality Technique，简称AR），是在虚拟现实基础上发展起来的新技术，是通过计算机系统提供的信息增加用户对现实世界感知的技术，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。传统的增强现实技术越来越越不能够满足人们的需求。随着移动终端的大力发展，移动增强现实的应用也在不断的发展，也产出大量的产品，如商业应用,游戏等等，尤其是基于Android和IOS操作系统的增强现实技术的应用。 

就目前的情况来说，制图类作业的评阅工作基本都是靠人工来做，但是制图类作业具有题目类型多，评阅较复杂的特点，是一件耗时耗力的工作。 

发明内容

本发明针对现有技术的不足，提供了一种基于增强现实技术的制图类作业评阅方法，本发明方法将计算机视觉技术和增强现实技术以及移动终端的发展结合起来，为制图类作业的评阅的智能性方面做出贡献，方便老师快捷准确地完成评阅工作。 

本发明的技术方案为：一种基于增强现实技术的制图类作业评阅方法，包括以下几个步骤： 

S1，建立服务器端，包括图像处理核心算法的实现，标准答案模板数据库的建立，以及将处理之后的结果发送给客户端程序；

S2，开发客户端程序，使用移动终端获取视频帧，并基于TCP/IP协议将视频帧发送到服务器端；

S3，服务器端接收视频帧并对其进行相关的图像处理；

S4，将S3中获取的摄像头位姿矩阵和标志物对应的模型数据以及计算出的参考分数发送到客户端程序；

S5，客户端接收从服务器发回来的数据，并进行渲染，将标准答案和最终计算的分数显示在视频帧中，达到虚实融合的效果； 

S6：根据增强现实的结果结合参考进行分数情况统计。

进一步地，所述的图像处理分为两个部分，增强现实技术实现；使用标准的模板匹配计算学生作答的参考分数；具体包含以下几个步骤： 

S11，对模板数据库中标志图片进行离线训练，获取标志物的描述子集合数据以及图元的数据信息等；

S12，图像帧的初始化；

S13，使用ORB算法进行特征点的检测和描述；

S14，采用基于汉明距的强制匹配算法进行描述子的匹配；

S15，计算单应性矩阵并对匹配结果进行优化；

S16，检测并识别视频帧中是否具有标志物，有则继续进行以下步骤，否则重复检测获取的视频帧；

S17，摄像头位姿估算，并对计算结果进行阿尔法贝塔滤波；

S18，对图像进行二值化处理；

S19，对图像进行去噪处理；

S110，对图像进行几何校正；

S111，提取图像中的各种图元，例如直线段中的实线、虚线、点划线，圆及圆弧等，并计算保存图元具有的属性信息；

S112，使用模板匹配对图像帧中检测的图元与标准答案模板中的图元进行比较，计算出参考成绩。

进一步地，S1中制作服务器端，建立标准答案数据库系统，所述服务器端包含两个内容：相关图像处理算法的实时运算；标准答案数据库的建立和使用。 

进一步地，S2中移动客户端获取视频帧并传送到服务器端采用基于TCP/IP协议的方式，以字节流的形式将视频帧传输。 

进一步地，S3中所述服务器端相关图像处理算法的实现，该图像处理算法分三个部分：增强现实技术实现，标志识别与摄像头位姿估计；采用标准模板匹配对学生绘制结果与模板库中标准答案进行匹配并计算参考分数；对标准模板库中的标准答案模板进行离线处理。 

进一步地，S4中将S3中计算的结果发送到移动客户端采用TCP/IP协议进行数据传输操作。 

进一步地，S5中移动客户端获取从服务器端传输的数据之后，使用OpenGL图形程序接口对答案视图模型进行渲染，并且采用多层视图叠加的方法将参考分数显示出来，达到虚实融合效果。 

本发明的有益效果在于： 

本发明首次将评阅制图作业的任务交给计算机视觉来处理，与增强现实技术相结合，并将功能移植到移动终端上实现；

本发明给老师个人评阅制图作业时带来便利和乐趣，老师只需要在手机上安装一个APP，就能高效快捷准确地评阅制图作业；

本发明采用C/S架构，大大降低移动终端的运算压力，可以较好地达到实时性的效果，具有很高的研究价值和实用价值。

附图说明

图1是本发明专利具体框架结构图。 

图2是相关图像处理算法的具体流程图。 

图3是标准答案对应模型视图实例图片。 

图4是获取的图像帧示例图片。 

图5是图像帧经过二值化提取图元特征之后的效果图。 

图6是图像帧经过几何校正之后的效果图。 

图7是极坐标系示例。 

图8是最终显示在移动客户端的效果图示例。 

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。 

制作服务器端，建立标准答案数据库系统，服务器端主要包含两个内容，一个是图像处理算法的实时运算，一个是标准答案数据库，如图1所示。 

首先在服务器端实现图像处理相关算法，将图像处理算法设置在服务器端的一个最主要考虑因素是为了减轻移动终端的运算压力，提高系统的实时性效果。 

其次在服务器端建立标准答案数据库，这个数据库主要包含大量的机械制图作业习题集以及对应的答案，其中数据库设置了很多不同的表，每个表对应着一套习题，表的主键为已知的视图，其他字段包含了标准答案的视图，以及各种图元的数据和属性值等，例如直线段的个数，直线段两个端点的坐标值等。同时，主键保存的图像为对应的标志图片，如图3所示。当后续步骤需要检测并识别标志时，都是通过搜索主键的图片进行匹配的，当识别出对应的标志图片时，将会调取对应的答案视图以及包含的各种图元的数量和属性值，答案视图是经过事先处理的，例如需要补画的线条使用红色线条标记等，这样就使用户更容易区分，如图3所示。 

客户端程序的开发，客户端程序主要承担的任务有三点： 

第一，获取视频帧，视频帧图像见图4所示，并将视频帧传输给服务器端。获取的视频帧通过TCP/IP协议，以字节流的形式实时地发送给服务器端；

第二，实时接收从服务器端发来的数据，包括摄像头位姿矩阵、对应的答案视图模型以及计算的最后的参考成绩等，这个同样采用TCP/IP协议进行数据传输。

第三，利用增强现实技术显示获取的视图模型及参考分数。将标准答案视图模型注册到真实场景中，参考分数显示在屏幕中合适位置上。 

服务器端接收了客户端传来的字节数组之后将其转换为图片保存或者对应OpenCV的Mat数据结构保存，并采取相关图像处理算法对其进行处理，具体流程图如图2所示，该图像处理算法主要分成三个部分，一个是增强现实技术实现，标志识别与摄像头位姿估计；一个是采用标准模板匹配对学生绘制结果与模板库中标准答案进行匹配并计算参考分数；一个是对标准模板库中的标准答案模板进行离线处理。本实施例使用OpenCV函数库中相关函数。 

 对数据库中的标志进行离线训练。离线训练也有两个任务，一个主要是对对标志进行特征点检测和描述，采用ORB特征点检测和描述算法，并将处理之后的描述子保存。另一个任务是对模板库中标准答案视图进行图元的检测和提取，这里的图元主要包含直线段（实线、虚线、点划线等），圆及圆弧等，提取算法见步骤图2中离线处理部分，提取的内容是各种图元的数量，图元属性值，例如直线段两个端点坐标值，圆形的圆心坐标值和半径等，将计算的结果保存在数据库中对应的字段中。 

对获取的图像帧进行初始化，主要是对图像进行灰度化处理。在OpenCV函数库中，采用相关函数进行图像灰度化处理。 

 同样采用ORB特征点检测和描述算法对视频帧进行特征点的检测和描述。 

采用基于汉明距的强制匹配对标志图片和视频帧描述子进行匹配。 

在OpenCV函数库中提供了两种类型的匹配算法，一种是强制匹配，一种是FLANN匹配。通过比较，本实施例采用基于汉明距离的强制匹配算法。 

 计算单应性矩阵，并对匹配结果进行优化处理。 

单应性矩阵表示的是模板图片与图像帧平面之间的对应关系，它与后面标志的识别、摄像头位姿计算以及图像的几何校正有着直接关系，所以十分重要，对其求解本实施例也采用了优化的算法。 

为了保证匹配结果的精确性，系统还对野点进行过滤处理。利用前面介绍的ORB描述子获取的数据，对其进行匹配对的优化处理，其步骤可总结如下： 

使用交叉匹配，交叉匹配，主要是对训练集合和搜索集合中的描述子进行交叉匹配，选取两次匹配共有的结果作为最终匹配结果。这种方式在匹配对足够多，而野点较少的情况下可以产生最好的结果，包括： 使用随机采样一致性（RANSAC）算法计算单应性矩阵； 根据上一步计算的单应性矩阵对视频帧进行仿射变换，再次进行特征点检测、描述和匹配，获取优化之后的匹配对，再计算最优单应性矩阵 。

 检测视频帧中是否包含标志物，并且进行识别。从数据库中对应表中选择主键中保存的标志进行检测，设定正确匹配个数阈值为A，假设优化之后的正确匹配对的数目为R，如果满足R>A，则识别出标志，继续执行下一步，否则标志无效，检测下一个候选项，如果没有任何标志与其对应，则选择下一帧重复进行检测。 

 根据识别出的标志图像在标准答案模板数据库中获取对应的答案视图。 

 (8)对于估算摄像头位姿，首先需要了解摄像头的投影方程，如公式, 

               。

式中为比例因子，为世界坐标系，为经过投影变换之后的二维图像坐标系，，，，为摄像头的内部参数，其中，为摄像头的等效焦距，，摄像头像素坐标中心。这些参数是由摄像头标定获取的，每个摄像头的内部参数都是不同的而且是固定的（这里我们不考虑有些移动终端摄像头具有自动对焦的情况）。、分别表示摄像头相对于真实世界的旋转矩阵和平移矩阵，为摄像头的投影矩阵，实现了二维坐标和三维空间坐标的转换，估算摄像头位姿就是求出这个参数。这里我们使用前面经过优化处理的匹配对，计算出单应性矩阵，再由目标图片上四个角点位置结合单应性矩阵投射出视频帧中对应的角点的坐标位置，最后根据这些坐标位置和摄像头的内部参数，应用PnP算法，估算摄像头的外部参数，即完成了摄像头位姿的估算。但是一般情况下，这样计算的数据会发生抖动的现象。为了解决这种技术问题，本系统中对计算结果采用阿尔法贝塔滤波进行平滑处理。 

 对当前图像帧进行二值化处理。由于学生是使用黑色铅笔绘制的图形，而标准制图习题集的图形是浅蓝色的。所以通过设定一定的阈值可以将图像有效地进行二值化，分割出所需要的图形，二值化原理见公式， 

                         。

其中为像素的灰度值，为设置的阈值。二值化之后的结果如图5所示。 

对二值化之后的图像进行去噪声处理，由于二值化之后的图像会存在一些椒盐噪声，这些噪声会干扰本实施例中算法对图元的分割和提取，因此需要剔除该类型噪声，本实施例中使用高斯滤波算法去噪。 

对图像进行几何校正，由前面计算的单应性矩阵H，可以使用仿射变换对图像帧进行几何校正，其中公式⑶表示图像帧坐标与模板帧坐标之间的单应性关系式，使用下面的公式⑷计算对应图像帧中的像素坐标位置， 

$\left[\begin{array}{c}{\mathrm{hx}}_c\\ {\mathrm{hy}}_c\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_m\\ y_m\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_m\\ y_m\\ 1\end{array}\right]---\left(3\right)$

$H^{-1}\left[\begin{array}{c}{\mathrm{hx}}_c\\ {\mathrm{hy}}_c\\ 1\end{array}\right]=\left[\begin{array}{c}{x}_c^{\′}\\ y_c^{\′}\\ 1\end{array}\right]---\left(4\right)$

经过几何校正之后的结果如图6所示。 

提取图像中的各种图元，例如直线段(实线、虚线、点划线等)，圆及圆弧等，使用霍夫直线变换在二值化图像中检测出图像中所有直线段，霍夫变换直线检测使用的是极坐标系，检测出两个参数(r,θ)，如图7所示。根据极坐标系和直角坐标系的转换关系，如公式⑸所示，求出直线段两个端点的坐标值， 

x＝rcosθ 

y＝rsinθ   ⑸ 

例如两个端点分别是A(x₀,y₀)，B(x₁,y₁)，则 

x₀＝Round(r*cosθ-1000*sinθ)， 

y₀＝Round(r*sinθ+1000*cosθ)， 

x₁＝Round(r*cosθ+1000*sinθ)， 

y₁＝Round(r*sinθ-1000*cosθ)， 

其中表示对进行四舍五入取整数。通过上面的公式可以找出直线段的位置坐标。检测出的直线段中包含实线段和虚线段，再通过检测两个端点之间所有像素点的平均灰度值大小来判断是虚线还是实线，如式所示， 

                                 。

其中表示平均灰度值，每个像素点灰度值总和，表示像素点总和。 

使用霍夫圆变换提取图像中所有的圆数据，在OpenCV函数库中采用HoughCircles方法进行检测，通过这个方法可以检测到图像中所有圆形图元的圆心坐标和半径值。使用模板匹配对图像帧中图元与标准答案模板中的图元进行比较，计算参考成绩。 

在对数据库进行离线训练之后，已经检测出所有标准答案模板中包含的图元的具体信息，包括图元位置和数量，所以这一步主要对上一步中检测的图像帧中图元信息与模板库中的信息进行匹配，主要流程分成以下几步：首先检测直线图元数目，根据直线段端点坐标检测直线段图元位置，与模板库中数据进行匹配,计算正确匹配数量为M； 然后检测圆形图元数目，根据圆形的圆心坐标判断圆形位置，半径大小确定圆形大小，根据这两个值与模板库中的进行匹配。计算正确匹配数量为N。 

 假设标准答案模板中直线段和圆形图元的数量为分别为M1，N1，则最终参考分数可以用下式表示： 

                                      。

将上面步骤计算的位姿矩阵和标志物对应的答案视图模型数据以及计算得出的参考分数发送到客户端。 

客户端实时接收从服务器端发回的数据，在获取摄像头位姿矩阵和答案视图模型以及参考分数之后，使用OpenGL对答案视图模型进行渲染，并且采用多层视图叠加的方法将参考分数显示出来，达到虚实融合效果，效果图如图5所示,其中实是指真实的机械制图作业内容，虚是指从服务器端调用的答案视图模型文件以及参考分数。虚实融合，虚实对比之后会很容易找出学生作答答案的正确性,最终效果图如图8所示。 

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。 

Claims (7)

1.一种基于增强现实技术的制图类作业评阅方法，其特征在于包括以下几个步骤：

S1，建立服务器端，包括图像处理核心算法的实现，标准答案模板数据库的建立，以及将处理之后的结果发送给客户端程序；

S2，开发客户端程序，使用移动终端获取视频帧，并基于TCP/IP协议将视频帧发送到服务器端；

S3，服务器端接收视频帧并对其进行相关的图像处理；

S4，将S3中获取的摄像头位姿矩阵和标志物对应的模型数据以及计算出的参考分数发送到客户端程序；

S5，客户端接收从服务器发回来的数据，并进行渲染，将标准答案和最终计算的分数显示在视频帧中，达到虚实融合的效果； 

S6：根据增强现实的结果结合参考进行分数情况统计。

2.如权利要求1所述的方法，其特征在于：所述的图像处理分为两个部分，增强现实技术实现；使用标准的模板匹配计算学生作答的参考分数；具体包含以下几个步骤：

S11，对模板数据库中标志图片进行离线训练，获取标志物的描述子集合数据以及图元的数据信息等；

S12，图像帧的初始化；

S13，使用ORB算法进行特征点的检测和描述；

S14，采用基于汉明距的强制匹配算法进行描述子的匹配；

S15，计算单应性矩阵并对匹配结果进行优化；

S16，检测并识别视频帧中是否具有标志物，有则继续进行以下步骤，否则重复检测获取的视频帧；

S17，摄像头位姿估算，并对计算结果进行阿尔法贝塔滤波；

S18，对图像进行二值化处理；

S19，对图像进行去噪处理；

S110，对图像进行几何校正；

S111，提取图像中的各种图元，例如直线段中的实线、虚线、点划线，圆及圆弧等，并计算保存图元具有的属性信息；

S112，使用模板匹配对图像帧中检测的图元与标准答案模板中的图元进行比较，计算出参考成绩。

3. 如权利要求1中所述的方法，其特征在于：S1中制作服务器端，建立标准答案数据库系统，所述服务器端包含两个内容：相关图像处理算法的实时运算；标准答案数据库的建立和使用。

4.如权利要求1中所述的方法，其特征在于：S2中移动客户端获取视频帧并传送到服务器端采用基于TCP/IP协议的方式，以字节流的形式将视频帧传输。

5.如权利要求1中所述的方法，其特征在于：S3中所述服务器端相关图像处理算法的实现，该图像处理算法分三个部分：增强现实技术实现，标志识别与摄像头位姿估计；采用标准模板匹配对学生绘制结果与模板库中标准答案进行匹配并计算参考分数；对标准模板库中的标准答案模板进行离线处理。

6.如权利要求1中所述的方法，其特征在于：S4中将S3中计算的结果发送到移动客户端采用TCP/IP协议进行数据传输操作。

7. 如权利要求1中所述的方法，其特征在于：S5中移动客户端获取从服务器端传输的数据之后，使用OpenGL图形程序接口对答案视图模型进行渲染，并且采用多层视图叠加的方法将参考分数显示出来，达到虚实融合效果。