CN109902541B - 一种图像识别的方法及系统 - Google Patents

Abstract

本发明公开了一种图像识别的方法，包括：图像识别装置获取待识别图像，所述待识别图像中包含检测区域及位于所述检测区域内的一个或多个教学道具；对所述检测区域进行识别；在识别出所述检测区域后，对所述检测区域内的教学道具进行识别。解决了现有技术中识别速度慢及识别精度低的问题，提高了用户体验。

Description

一种图像识别的方法及系统

技术领域

本发明属于信息技术领域，具体地，涉及一种图像识别的方法及系统。

背景技术

增强现实(Augmented Reality,AR)也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR技术具备以下特点：一.虚实结合。它可以使计算机窗口与图表叠印于现实对象。二.实时交互。它可以使从简单的人面对屏幕交流发展到将自己融合于周围的空间与对象中。

现有技术中，AR应用涉及到方方面面，例如教学道具(二维印刷品、三维实物)的AR识别应用，普遍采用了机器学习的方法来进行AR图像识别，而目前的AR图像识别中，识别速度和识别精度始终是限制目前应用的瓶颈，AR图像需要先识别定位出待识别的内容精确位置，再通过机器学习的方法进行识别，先识别定位出内容的精确位置需要大量的处理时间，并且，机器学习本身也需要分析成百上千甚至上万个样本数据，识别速度会大打折扣，而如果识别位置不准确，其识别准度也会受到很大影响。

发明内容

本发明提供了一种图像识别的方法及系统，通过深度优化目前的AR识别算法，在多边形识别区域内可快速精确识别出所述区域内的教学道具，解决了现有技术中识别速度慢及识别精度低的问题。

为了实现上述目的，本发明提供了一种图像识别的方法，包括：

图像识别装置获取待识别图像，所述待识别图像中包含检测区域及位于所述检测区域内的一个或多个教学道具；

对所述检测区域进行识别；

在识别出所述检测区域后，对所述检测区域内的教学道具进行识别。

可选地，所述检测区域为四边形区域，所述对所述检测区域进行识别，包括：

将所述图像进行二值化处理；

对所述二值化处理后的图像利用轮廓追随算法进行轮廓筛选，从而识别出所述四边形区域。

可选地，所述检测区域的边框由虚线组成，所述对所述二值化处理后的图像利用轮廓追随算法进行轮廓筛选，包括：

提取黑色区域轮廓，并取出其中一条虚线轮廓；

对虚线轮廓进行粗筛，并进行椭圆拟合，对所述椭圆的长轴做切向分析；

对所述虚线点进行孤立点筛除，并对筛除后的虚线点进行霍夫聚类分析，并对分析后的结果进行直线拟合，确定所述轮廓边界。

可选地，所述确定所述轮廓边界之前，所述方法还包括：

对所直线拟合后的区域进行矫正。

可选地，所述教学道具包括多边形边框及位于所述边框内的内容区，则在识别出所述检测区域后，对所述检测区域内的教学道具进行识别，包括：

通过几何形态分析识别出所述教学道具中的边框区域；

确定所述边框及所述内容区的位置信息，并通过机器学习法对所述边框区域内的内容区进行识别；

输出所述内容区中识别出的内容信息。

可选地，所述教学道具还包括方向标识，则所述通过几何形态分析识别出所述教学道具中的边框区域之后，所述方法还包括：

所述图像识别装置检测到所述方向标识，根据所述方向标识旋转所述图像中的边框及所述边框内的内容区，以使所述旋转后的边框及边框内的内容区处于水平位置。

可选地，所述通过几何形态分析识别出所述图像中的边框区域，包括：

对所述教学道具图像进行二值化处理，并对所述二值化处理后的教学道具图像的连通区域进行扫描；

对所述扫描后的图像进行轮廓筛选，保留所述多边形边框的轮廓，并获取所述多边形边框的几何参数。

可选地，所述对所述扫描后的图像进行轮廓筛选，保留所述多边形边框的轮廓，并获取所述多边形边框的几何参数，包括：

利用局部平均算法对轮廓线进行一次平滑，并使用近邻差分法计算轮廓线上每一点的切向量；

利用分级聚类法对所述轮廓线中所有切向量坐标进行分析，获取分析后的显性聚类数据；

将所述显性聚类对应的轮廓点提取到对应的数据集合中，该数据集合为所述多边形边框的拟合数据；

对所述数据集合中的数据进行直线拟合，并获取所述多边形边框的几何参数。

可选地，若所述一个或多个教学道具在所述多边形边框内的位置发生改变，则所述对所述检测区域内的教学道具进行识别，包括：

对所述图像进行多次采集；

对采集的多帧图像进行图像差分分析，将变化量大于预设阈值的区块标记为变动区域；

在变动区域内进行目标检测；

对前后帧图像进行数据关联；

使用目标跟踪算法定位所述教学道具的位置；

进行数据融合，识别出所述位置改变后的教学道具。

所述待识别图像还包括一个或多个功能区，则所述方法还包括：

对所述一个或多个功能区进行监测，当接收到所述一个或多个功能区触发信号时，实现与所述一个或多个功能区对应的功能。

本发明实施例还提供一种图像识别的系统，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述图像识别的方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述图像识别的方法。

本发明实施例的方法及系统具有下列优点：

本发明实施例中，针对特定的检测区域内的教学道具，先通过深度优化的识别算法识别出该检测区域，再精确定位到该区域内的教学道具，从而快速并精确识别出教学道具，解决了现有技术中无法快速精确定位识别物体的问题，提高了识别率及识别速度。同时，针对带边框的卡片类教学道具而言，通过本发明独有的AR识别算法，进一步提高了识别速度及识别准度。此外，针对教学道具在检测区域内移动的情形，采用本发明提供的识别算法，可快速获取到不同教学道具移动的位置，从而在教学屏幕上相应地移动虚拟角色或虚拟物体，提高了用户体验。

附图说明

图1是本发明实施例中实现场景交互的方法流程图；

图2a是本发明实施例中教学工具边框及教学内容区示意图；

图2b是本发明实施例中教学工具带方向标识的边框及教学内容区示意图；

图2c是本发明实施例中教学工具边框及教学内容区另一示意图；

图3是本发明实施例中检测区域一示意图；

图4是本发明实施例中检测区域识别方法流程图；

图5a是本发明实施例中待处理原图；

图5b是本发明实施例中二值化处理后效果图；

图5c是本发明实施例中轮廓粗筛后效果图；

图5d是本发明实施例中孤立点筛除后效果图；

图5e是本发明实施例中直线拟合后效果图；

图5f是本发明实施例中矫正后效果图；

图6a是本发明实施例中检测区域内检测教学卡示意图；

图6b是本发明实施例中虚拟场景示意图；

图6c是本发明实施例中检测区域内检测教学卡另一示意图；

图6d是本发明实施例中虚拟场景另一示意图；

图7a是本发明实施例中检测区域内检测七巧板示意图；

图7b是本发明实施例中虚拟物体呈现示意图；

图7c是本发明实施例中同时检测教学卡及七巧板示意图；

图8是本发明实施例中S103实现方法流程图；

图9是本发明实施例中功能区示意图；

图10是本发明实施例中功能区一实例图；

图11是本发明实施例中实现场景交互的装置组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为达到以上目的，如图1所示，本发明提供了一种图像识别的方法，该方法包括：

S101、图像识别装置获取待识别图像，该待识别图像中包含检测区域及位于该检测区域内的一个或多个教学道具；

需要说明的是，图像识别装置可以是一个终端，例如具备典型冯诺依曼结构的ARM/FPGA，或者是主流的移动终端，如手机、PDA，平板电脑或与其他配件的组合等，或者是具备典型结构的服务器，或由多个分布式服务器组成的云端。

教学道具可以是具备射频识别码的实物，如内置有射频芯片或传感装置的智能玩具，也可以是具备二维识别码的实物，如印有二维码的桌子、印有二维码的卡片等，还可以是单独的拼音、声调、汉字或数字的教学卡(教学卡材质可以是纸片、塑料片、木质、橡胶或金属片等材质)，也可以是小玩具和小型的实物，例如苹果，小桌子，积木、七巧板等，本发明实施例可以对该小玩具/小型实物的不同颜色，不同形状(例如多边形、圆形、椭圆形、扇形等)进行识别，不仅能精确定位该实物道具在空间哪一个具体位置，还能够给出旋转角度，是否需要摆正等提示性信息，方便与学生的教学互动。教学卡还可以是某些印有拼音、声调、汉字或数字的教具，例如书本、小棍、直尺、三角尺、教尺/教鞭、圆规等常规教具。以教学卡为例，本发明实施例中，教学卡具备一边框，该边框可以呈封闭式(或半封闭式)且具备一定宽度，边框颜色与教学内容区的底色区别明显，例如边框颜色可以是黑色，教学内容区底色可以是白色，或者，边框颜色为白色，教学内容区颜色为黑色(如图2a所示)。边框为多边形，如三角形、矩形、菱形和梯形等，边框也可以为椭圆、正圆形。为了方便说明，本发明实施例以四边形教学卡为例，如图2a所示，该四边形可以为方形或近似方形，如正方形、长方形、圆角矩形等，且边框与教学内容区间隔一定的宽度。四边形教学卡具备边框这一特征具备如下技术效果：可通过图像识别算法快速定位并识别出边框，从而快读识别出边框内的教学区的教学内容。与现有的图像识别技术相比，本发明实施例中先识别边框后识别教学内容的方案，保证了识别教学卡的时间更短，识别准度更高。此外，为方便能从任意角度采集到教学道具中的教学内容，对于一些不同方向看起来有歧义的内容(如6和9，u和n)，教学卡还包括方向标识，所述方向标识位于所述内容区域内，或置于所述边框上。如图2b所示，方向标识可以是较厚的其中一边的边框(即一边厚，其余三边窄)，也可以是一个点，两个矩形边角，一条横线等。如果边框是圆形，则可以在圆形边框的其中一段加入方向标识，例如圆形边框正上方的某一段加粗，或加入一个或多个点，或加入某些不规则图形。方向标识具备如下技术效果：可快速定位到教学内容的方向，从而快速定位并识别教学内容的信息，提高了识别的准确率及速度。图2c是本发明实施例中教学卡的一个组成示例，图2c是一张教学卡，卡内具备一圆角矩形的封闭式边框，边框具备一定的宽度(可分为内边框及外边框)，且边框与教学内容区有一定的间隔。此外，该边框满足底边厚其余三边薄的特征，底边即为该教学卡的方向标识。本发明实施例可快速定位并识别边框，并根据方向标识识别出该教学卡的旋转角度，从而快速识别出边框内教学内容区中的教学内容信息。

检测区域在本发明实施例中，可以是具备一定规则形状的平面区域，如矩形、圆形、三角形、扇形等区域，也可以是不规则形状的平面区域，还可以是三维空间区域(例如整个教室)，本发明实施例对此并无限制。为了方便说明，本发明实施例采用四边形边框作为检测区域为例进行详解。

其中，在检测区域内对一个或多个教学道具进行识别，具体可以为：

如图3所示，检测区域由虚线组成的四边形区域，摄像头可完成的采集该四边形区域。其中，虚线呈长条形，保证在摄像头采集的图像中长度不小于5个像素，宽度不小于3个像素，且长宽比大于1.5：1，小于10：1；点之间的间距足够大，保证摄像头采集中图像中间距不小于3个像素。在具体的识别过程中，教学道具放在该虚线框内进行识别。

S102、对该检测区域进行识别；

S102具体可以为：将该图像进行二值化处理；对该二值化处理后的图像利用轮廓追随算法进行轮廓筛选，从而识别出该四边形区域。其中，利用轮廓追随算法进行轮廓筛选，具体可以为：提取黑色区域轮廓，并取出其中一条虚线轮廓；对虚线轮廓进行粗筛，并进行椭圆拟合，对该椭圆的长轴做切向分析；对该虚线点进行孤立点筛除，并对筛除后的虚线点进行霍夫聚类分析，并对分析后的结果进行直线拟合，并对所直线拟合后的区域进行矫正，从而确定该轮廓边界。

更具体地，如图4所示，S102的具体实现方法可以为：

S10201、图像二值化处理：使用自适应阈值算法将图像转化为黑白二值图像，这样虚线点在二值图像上呈现为独立的黑色区域；原图如图5a所示，二值化后的图像如图5b所示。

S10202、提取黑色区域的轮廓：使用轮廓追随算法对二值图像中的黑色区域进行处理以得到所有黑色区域的轮廓线，并加入到轮廓集合中；

S10203、取出一条轮廓：从轮廓集合中取出并删除一条轮廓线进行分析；

S10204、轮廓粗筛：计算轮廓的长度、所包围区域的面积、重心、周长面积比等参数，并使用特定阈值进行初步筛选，去掉形状明显与虚线点不符的候选；轮廓粗筛后的图像如图5c所示；

S10205、虚线点切向分析：对轮廓进行椭圆拟合，取椭圆的长轴作为切向；

S10206、加入虚线点集合：将通过筛选的轮廓放入虚线点集合中供后续算法分析；

S10207、点集合分析：对通过筛选的虚线点进行后续分析，以确定游戏区域范围；

S10208、虚线点近邻分析：在虚线点集合中查找位置相邻、切方向相似的虚线点。的对轮廓进行椭圆拟合，取椭圆的长轴作为切向；

S10209、孤立点筛除：删除近邻数量小于5的虚线点(因为真实的虚线点周边会有其他同方向的虚线点)；孤立点筛除后的图片如图5d所示；

S10210、霍夫聚类分析：对剩下的点进行霍夫投票分析，得到一系列的聚类；

S10211、聚类筛选：首先去除虚线点数量较少的聚类，然后尝试在剩下的聚类中选取两个水平方向(与水平线夹角小于45度)且虚线点数量最多的聚类，再选取两个竖直方向(与竖起线夹角小于45度)且虚线点数量最多的聚类。如果选取失败(有效聚类数不足)，则不再对本帧图像进行处理；

S10212、直线拟合：分别对选出的水平、竖直方向的聚类进行直线拟合，以确定游戏区域的边界方程；效果如图5e所示。

S10213、计算矫正参数：根据拟合得到的直线方程计算出游戏区域四个角的交点，再使用回归分析算法计算得到游戏区域的矫正参数，这一组参数可对后续图像帧进行矫正。最终效果如图5f所示。

可选地，当教学道具为装载有射频识别的智能玩具时，检测区域还可以是无线感应区域，即当该智能玩具出现在该检测区域时，自动感应并显示出该智能玩具对应的虚拟场景/角色/物体。

S103、在识别出该检测区域后，对该检测区域内的教学道具进行识别。

当该教学道具包括多边形边框及位于该边框内的内容区，则S103具体可以为：

通过几何形态分析识别出该教学道具中的边框区域；确定该边框及该内容区的位置信息，并通过机器学习法对该边框区域内的内容区进行识别；输出该内容区中识别出的内容信息。

其中，该教学道具还包括方向标识，则通过几何形态分析识别出该教学道具中的边框区域之后，该方法还包括：

该图像识别装置检测到该方向标识，根据该方向标识旋转该图像中的边框及该边框内的内容区，以使该旋转后的边框及边框内的内容区处于水平位置。

其中，该通过几何形态分析识别出该图像中的边框区域，具体可以为：对该教学道具图像进行二值化处理，并对该二值化处理后的教学道具图像的连通区域进行扫描；对该扫描后的图像进行轮廓筛选，保留该多边形边框的轮廓，并获取该多边形边框的几何参数。

其中，对该扫描后的图像进行轮廓筛选，保留该多边形边框的轮廓，并获取该多边形边框的几何参数，具体可以为：

利用局部平均算法对轮廓线进行一次平滑，并使用近邻差分法计算轮廓线上每一点的切向量；利用分级聚类法对该轮廓线中所有切向量坐标进行分析，获取分析后的显性聚类数据；将该显性聚类对应的轮廓点提取到对应的数据集合中，该数据集合为该多边形边框的拟合数据；对该数据集合中的数据进行直线拟合，并获取该多边形边框的几何参数。

本发明实施例还提供一种教学道具识别的方法，当教学道具为具备边框及方向标识的教学卡时，识别该教学道具的方法具体为：

S10301、图像二值化。使用自适应阈值算法将摄像头采集的图像转换为黑白二值图像，以突显出教学道具的边框。自适应阈值算法的判断依据为：

其中

其中，v为像素的灰度值，N(v)为v附近的像素集合，C是预先设置的的阈值，v’代表领域N(v)里面的像素点。

S10302、对该结果进行二值轮廓提取，对二值图像中的连通区域进行扫描，得到区域的轮廓线条、区域的面积、周长等数据。

S10303、进行轮廓筛选，即对上一步提取的轮廓进行快速几何形态分析，仅保留形似四边形(本发明实施例使用场景包括但不限于四边形，仅以四边形为例进行说明)的轮廓，以减少后续步骤的处理时间。具体而言，首先使用局部平均的方法对轮廓线进行一次平滑，然后使用近邻差分法计算轮廓线上每个点的切向量，最后使用分级聚类方法对所有的切向量坐标进行分析，若形成的显著聚类恰好为4个，则认为该轮廓形似四边形。

S10304、对S10303的处理结果进行四边拆分。基于上一步的聚类分析结果，将4个显著聚类对应的轮廓点坐标提取到4个集合中，对应为四边形4条边的拟合数据。

S10305、对S10304的拟合数据进行最小二乘拟合。上一步生成的四条边的数据可分别进行直线拟合从而得到四条边的方程，本发明中使用最小二乘算法来进行直线拟合，优化目标为：

完成四条边的拟合之后即可确定教学卡的边框在图像中的具体位置。

S10306、对邻近区域图像矫正。由于拍摄角度多种多样，卡片在图像中会产生形变。使用上一步得到的边框可对卡片的形变进行矫正，此时卡片内容还可能有0度、90度、180度、270度这四种不同的朝向。

S10307、对方向标识进行检测。本发明实施例使用机器学习方法对卡片中的方向标识进行检测与识别，通过采集上千张不同朝向的卡片图像，并进行标注(例如，可以进行5个类别，分别是0度、90度、180度、270度、无方向标识)，之后使用深度神经网络进行训练，可得到一个方向标识分类器，可对上一步得到的结果进行方向标识检测与判别。该方案训练得到的分类器对方向标识的识别准确率可达到99.6％以上。

S10308a、按标识旋转图像。对于检测到方向标识的卡片，可按方向标记将卡片转正。转正即将该卡片转至水平位置。

S10308b、获取所有方向图像。对于没有检测到方向标记的卡片，本发明实施例直接生成4个不同方向的图像供后续内容识别算法分析。

S10309、对卡片内容进行识别。本发明使用机器学习方法对卡片内容进行识别，首先在样本数据库中有数百至上千张已定义的卡片，对这些样本提取方向梯度直方图特征(HOG)之后，训练SVM多类别分类器；若数据库中的样本非常多(超过一千)，也可直接使用深度神经网络进行训练。使用分类器对上一步得到的图像进行判别(若前面没有检测到方向标识，则对4个方向的图像都进行判别，只要其中一个有效即可)，判别之后根据结果再与数据库中的标准样本进行一次比对(验算)，验算通过之后认为成功检测到结果。

S10310、输出识别结果。若上一步成功识别到卡片，则将卡片的类别、位置、方向信息输出。

此外，若该一个或多个教学道具在该多边形边框内的位置发生改变，则该对该检测区域内的教学道具进行识别，具体可以为：对该图像进行多次采集；对采集的多帧图像进行图像差分分析，将变化量大于预设阈值的区块标记为变动区域；在变动区域内进行目标检测；对前后帧图像进行数据关联；使用目标跟踪算法定位该教学道具的位置；进行数据融合，识别出该位置改变后的教学道具。该方法如图8所示，具体可以为：

S10311、图像差分分析：将图像均匀切分成多个小方块，在每个小方块内统计图像的梯度方向直方图，并将前后两帧图像对应区域的直方图进行差分比较，将变化量大于设定阈值的区块标记为变动区域。后续只需要分析该变动区域即可。这一步骤可以排除掉一些不需要处理的区域，以降低后续算法的时间开销，提高整个算法的响应速度。

S10312、在变动区域内进行目标检测：应用机器学习算法对变动区域进行扫描并输出有效的检测结果。具体而言，当教学道具为带边框的教学卡时，可使用S10301-S10310所述的算法进行快速检测与识别；对于积木类的物体可使用轮廓形状分析及轮廓匹配算法进行检测识别；对于其他通用物体(例如桌子，苹果等)可使用深度神经网络进行检测识别。深度神经网络识别的算法属于现有技术，本发明实施例在此不再累述。

S10313、前后帧数据关联：因为当前帧检测到的部分物体可能与前一帧的部分物体相同，因此需要进行关联分析。本发明实施例中综合考察前后帧物体的相似度、距离等因素，使用贪心策略进行集合间的匹配。(贪心策略：比如，前一帧中有两个三角形物体，当前帧检测到三个三角形物体，那有可能是用户放上了一个新的三角形，而另外两个没有动。通过计算这些三角形的相对位置关系、颜色相似度等，发现后一帧中有两个三角形与前一帧中的两个三角形位置相近，角度与颜色也基本相同，则认为这两个三角形与前一帧的相同，而另一个是新放置的。)完成匹配之后，当前帧没有建立匹配的物体视为新出现的，而前一帧物体当中没有找到匹配的还需要使用后续跟踪算法尝试建立关系。比如，前一帧中没有检测到“猫”的卡片，当前帧有检测到一张“猫”的卡片，则这张“猫”被视为新出现的。又比如，前一帧中检测到“狗”的卡片，而当前帧没有检测到，则有可能是用户将这张卡拿走了，也可能是用户正在移动这张卡导致画面模糊没有检测出来。为了区分这两种情况，需要使用目标跟踪算法对这张卡片的去向进行分析，如果能够在附近找到相似的模糊物体，则认为是用户正在移动这张卡片，反之则有可能是被用户拿走了。

S10314、目标跟踪算法：采用现有的目标跟踪算法对检测区域内移动的教学卡进行分析，并跟踪定位结果。

S10315、数据融合：将检测结果进行整合，输出上述示例中的显示结果。

本发明实施例提供的AR算法的一个应用实例如下：

单一教学道具移动：

图6a是检测区域内的教学道具，图6b是识别后在屏幕上显示的虚拟场景，如图6a及图6b所示，识别出的教学道具是小猫及游乐场，则在屏幕上显示一游乐场，小猫显示在游乐场内，而当在检测区域内小猫的教学卡在移动时，相应地，在屏幕上的虚拟小猫角色也在移动，而当小猫移动到游乐场的长椅处，小猫会跳上该长椅，或者，当小猫移动到滑滑梯附近时，会自动触发播放小猫在滑滑梯上进行玩耍的动画。即，在特定的场景区域下，会自动触发虚拟角色的特效反馈。

多个教学道具移动：

将所述虚拟角色或所述虚拟物体按照所述识别出的移动轨迹进行移动；

当所述相邻的虚拟角色或所述虚拟物体之间的距离小于预设阈值时，触发所述相邻的虚拟角色或虚拟物体进行情景交互。图6c是检测区域内同时检测到场景类的“河里”、“河水”教学卡，以及角色类的“小马”“松鼠”和“老牛”教学卡。图6d则是相应在屏幕上的虚拟场景呈现效果图，如图6c和图6d所示，“小马”跟“松鼠”教学卡相邻，“松鼠”跟“老牛”教学卡相邻，此时若移动“松鼠”的教学卡，使之与“老牛”教学卡的实际距离小于预设阈值，则相应地，屏幕上则呈现出松鼠骑在牛背上。可选地，小马、松鼠和老牛三方之间还可以展开对话，对话内容可以为经典的“小马过河”的故事对话情节。

当教学道具为七巧板时，本发明实施例提供的另一图像识别实例如下：

如图7a及图7b所示，本发明实施例可七巧板拼接出具体图形，例如七巧板拼接出一个风车式样，则识别后，可在屏幕上显示该风车。另，除了可识别出教学卡，还可以识别出教学卡与该七巧板的组合。具体如图7c所示。

需要说明的是，本发明实施例中，待检测图像中还包括功能区，功能区数量可以为1个或多个，可分布在检测区域的四周(如图9所示)，也可以分布在检测区域内，独立于检测区域而存在。功能区的目的是将某一个或多个功能固定化，当检测到用户对该功能区有触摸/点击/滑动等操作时，触发相应的功能。即，对该一个或多个功能区进行监测，当接收到一个或多个功能区触发信号时，实现与所述一个或多个功能区对应的功能。图10是一个典型的功能区示意图。如图10所示，在检测区域的右侧有几个按钮图样的标记(字母A、B，麦克风标记、手掌型标记)，该标记即为功能区，A和B为按钮，可被定义为不同的功能，例如音量加减，明亮加减，点击/撤销等。触摸麦克风标记可实现语音识别等功能，而触摸手掌标记则可实现切换、点击或其他操作。当用户在该功能区触摸/点击/滑动等操作时，或当用户用某些实物对该功能区进行遮挡/触摸等操作时，可触发与不同标记对应的不同操作。其中，四个图像标记可定义在一个功能区里面，也可定义为数量不等的功能区，如一个标记为一个功能区，即四个标记为四个功能区；或者两个标记的组合为一个功能区，其余的每个标记分别为一个功能区等。识别功能区的方法可以为：采用触摸板或使用图像识别。触摸板即在相应功能区内采用具备触摸功能的电子结构，当用户触摸后即可产生响应信号；而图形识别方法为：利用图像识别装置实时监测该功能区，若当前帧图像中的功能区被遮挡，或者当前帧图像与前一帧图像相比，功能区图像变化较大，超出一定阈值，即可认为该功能区被触发，从而产生相应的响应信号，实现相应的功能。此外，为了防止误触发，可在检测到当前帧功能区发生变化时，持续检测后续几帧图像的变化情况，若后续连续多帧功能区没有恢复原状，即可认为用户是有意识地触发功能区，则响应相关的功能操作。

本发明实施例中，针对特定的检测区域内的教学道具，先通过深度优化的识别算法识别出该检测区域，再精确定位到该区域内的教学道具，从而快速并精确识别出教学道具，解决了现有技术中无法快速精确定位识别物体的问题，提高了识别率及识别速度。同时，针对带边框的卡片类教学道具而言，通过本发明独有的AR识别算法，进一步提高了识别速度及识别准度。此外，针对教学道具在检测区域内移动的情形，采用本发明提供的识别算法，可快速获取到不同教学道具移动的位置，从而在教学屏幕上相应地移动虚拟角色或虚拟物体，提高了用户体验。

本发明实施例还提供了一种图像识别装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时执行上述图像识别的方法。

本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述图像识别的方法。

图11是本发明实施例提供的一种图像识别装置结构示意图。该装置1100可以包括一个或一个以上中央处理器(central processing units，CPU)1110(例如，一个或一个以上处理器)和存储器1120，一个或一个以上存储应用程序1132或数据1134的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1120和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，中央处理器1110可以设置为与存储介质1130通信，在装置1100上执行存储介质1130中的一系列指令操作。装置1100还可以包括一个或一个以上电源1140，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1160，上述方法实施例所执行的步骤可以基于该图11所示的装置结构。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种图像识别的方法，其特征在于，包括：

图像识别装置获取待识别图像，所述待识别图像中包含检测区域及位于所述检测区域内的一个或多个教学道具；

对所述检测区域进行识别；

在识别出所述检测区域后，对所述检测区域内的教学道具进行识别；其中，所述教学道具包括多边形边框及位于所述边框内的内容区，则在识别出所述检测区域后，对所述检测区域内的教学道具进行识别，包括：

通过几何形态分析识别出所述教学道具中的边框区域；

确定所述边框及所述内容区的位置信息，并通过机器学习法对所述边框区域内的内容区进行识别；

输出所述内容区中识别出的内容信息；

其中，所述通过几何形态分析识别出所述教学道具中的边框区域，包括：

对所述教学道具图像进行二值化处理，并对所述二值化处理后的教学道具图像的连通区域进行扫描；

对所述扫描后的图像进行轮廓筛选，保留所述多边形边框的轮廓，并获取所述多边形边框的几何参数；

其中，所述对所述扫描后的图像进行轮廓筛选，保留所述多边形边框的轮廓，并获取所述多边形边框的几何参数，包括：

利用局部平均算法对轮廓线进行一次平滑，并使用近邻差分法计算轮廓线上每一点的切向量；

利用分级聚类法对所述轮廓线中所有切向量坐标进行分析，获取分析后的显性聚类数据；

将所述显性聚类对应的轮廓点提取到对应的数据集合中，该数据集合为所述多边形边框的拟合数据；

对所述数据集合中的数据进行直线拟合，并获取所述多边形边框的几何参数。

2.根据权利要求1所述的方法，其特征在于，所述检测区域为四边形区域，所述对所述检测区域进行识别，包括：

将所述图像进行二值化处理；

对所述二值化处理后的图像利用轮廓追随算法进行轮廓筛选，从而识别出所述四边形区域。

3.根据权利要求2所述的方法，其特征在于，所述检测区域的边框由虚线组成，所述对所述二值化处理后的图像利用轮廓追随算法进行轮廓筛选，包括：

提取黑色区域轮廓，并取出其中一条虚线轮廓；

对虚线轮廓进行粗筛，并进行椭圆拟合，对所述椭圆的长轴做切向分析；

对虚线点进行孤立点筛除，并对筛除后的虚线点进行霍夫聚类分析，并对分析后的结果进行直线拟合，确定轮廓边界。

4.根据权利要求3所述的方法，其特征在于，所述确定轮廓边界之前，所述方法还包括：

对所述直线拟合后的区域进行矫正。

5.根据权利要求1所述的方法，其特征在于，所述教学道具还包括方向标识，则所述通过几何形态分析识别出所述教学道具中的边框区域之后，所述方法还包括：

所述图像识别装置检测到所述方向标识，根据所述方向标识旋转所述图像中的边框及所述边框内的内容区，以使所述旋转后的边框及边框内的内容区处于水平位置。

6.根据权利要求1所述的方法，其特征在于，若所述一个或多个教学道具在所述多边形边框内的位置发生改变，则所述对所述检测区域内的教学道具进行识别，包括：

对所述图像进行多次采集；

对采集的多帧图像进行图像差分分析，将变化量大于预设阈值的区块标记为变动区域；

在变动区域内进行目标检测；

对前后帧图像进行数据关联；

使用目标跟踪算法定位所述教学道具的位置；

进行数据融合，识别出所述位置改变后的教学道具。

7.根据权利要求1所述的方法，其特征在于，所述待识别图像还包括一个或多个功能区，则所述方法还包括：

对所述一个或多个功能区进行监测，当接收到所述一个或多个功能区触发信号时，实现与所述一个或多个功能区对应的功能。

8.一种图像识别的系统，其特征在于，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述的图像识别的方法。

Images