CN106934376B - 一种图像识别方法、装置及移动终端 - Google Patents

Abstract

本发明公开了一种图像识别方法、装置及移动终端，移动终端包括数据存储设备，数据存储设备中存储有对应于目标识别对象的图像匹配集，图像匹配集包括一个目标特征集和一个相应的验证特征集，该方法包括：开启摄像头扫描待识别图片；获取待识别图片位于扫描区域内的图像；提取图像的特征点以生成待识别特征集；从数据存储设备获取图像匹配集，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配；若匹配成功，则将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度；若验证匹配度超过第一阈值，则确定待识别图片中包含对应于图像匹配集的目标识别对象。

Description

一种图像识别方法、装置及移动终端

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像识别方法、装置及移动终端。

背景技术

随着图像处理及相关技术的发展，越来越多的人投入到AR(Augmented Reality，增强现实)技术的研究中。AR技术，是在现实的基础上作场景合成，增添一部分信息来扩展人们手中掌握的数据，将虚拟的信息应用到真实世界当中，糅合真实的环境与虚拟的物体实时叠加到同一空间、同一场景、同一画面，涉及图像识别、图像匹配、三维建模、视频显示及控制等多种技术，并可应用于教学、广告、零售业、医疗健康和娱乐游戏等多个领域中。

比如在教学领域中，以AR图书为首的AR产品发展更为迅猛。AR图书，顾名思义，就是将AR技术应用在书籍上，它最大的特点就是让静态的图文“活”起来。通常情况下，通过手机、平板的摄像头去扫描AR图书指定页码上的图片以进行图像识别，透过屏幕可以看到书中平面的人物形象变身为3D立体模型，点击屏幕还可以进行互动，将视觉的画面扩展到视听多方位的体验。很明显，能否得到与扫描的图片对应的3D模型，依赖于对该图片进行图像识别能够得到准确的结果。

现有的AR技术所涉及的图像识别技术，是对待识别的图片进行扫描后直接进行图像识别处理，判断该图片中是否存在对应的目标图像。然而，若扫描的图片中存在多个相似度较高的目标图像，若图像识别算法的精确度不够高，则可能识别出错误的目标图像，若为了提高精确度而使用较为复杂的算法，则运行代价较大，会导致识别过程耗时较久，均会给用户带来不好的体验。特别是对AR图书来说，除上述所提到的问题之外，还可能出现通过扫描临摹的目标图像来进行识别，让目标图像及与其对应的AR图书本身价值下降的问题。因此，需要一种新的图像识别方法来优化上述处理过程。

发明内容

为此，本发明提供一种图像识别的技术方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种图像识别方法，适于在移动终端中执行，该移动终端包括数据存储设备，数据存储设备中存储有对应于目标识别对象的图像匹配集，图像匹配集包括一个目标特征集和一个相应的验证特征集，该方法包括如下步骤：首先，开启摄像头扫描待识别图片；获取待识别图片位于扫描区域内的图像；提取图像的特征点以生成待识别特征集；从数据存储设备获取图像匹配集，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配；若匹配成功，则将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度；若验证匹配度超过第一阈值，则确定待识别图片中包含对应于图像匹配集的目标识别对象。

可选地，在根据本发明的图像识别方法中，目标特征集对应一个目标特征对象，并包括多个目标特征点，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配的步骤包括：获取该图像匹配集的目标特征集，将待识别特征集与该目标特征集进行特征匹配；统计匹配成功的特征点的数量作为第一匹配对数量；获取该目标特征集的目标特征点的数量作为第一数量，并计算第一匹配对数量与第一数量的比值作为目标匹配度；若目标匹配度大于第二阈值，则判断目标特征集匹配成功。

可选地，在根据本发明的图像识别方法中，验证特征集对应至少一个与目标特征对象关联的验证特征对象，并包括多个验证特征点，将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度的步骤包括：将待识别特征集与该验证特征集进行特征匹配；统计匹配成功的特征点的数量作为第二匹配对数量；获取待识别特征集中特征点的数量作为第二数量，获取该验证特征集中验证特征点的数量作为第三数量；计算第二匹配对数量与第二数量和第三数量中较小值的比值作为验证匹配度。

可选地，在根据本发明的图像识别方法中，若验证匹配度超过第一阈值，则确定待识别图片中包含对应于图像匹配集的目标识别对象的步骤包括：若验证匹配度超过第一阈值，则统计验证匹配度超过第一阈值的验证特征集的数量；若验证匹配度超过第一阈值的验证特征集的数量大于1，则获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。

可选地，在根据本发明的图像识别方法中，还包括：若匹配成功的目标特征集的数量小于1，则判定图像中不存在对应于图像匹配集的目标识别对象。

可选地，在根据本发明的图像识别方法中，还包括预先生成图像匹配集，预先生成图像匹配集的步骤包括：获取待处理图片，待处理图片中包括一个目标识别对象，目标识别对象包括一个目标特征对象和至少一个验证特征对象；对待处理图片进行灰度处理；提取待处理图片中目标特征对象的特征点作为目标特征点，将目标特征点形成目标特征集；提取待处理图片中验证特征对象的特征点作为验证特征点，将验证特征点形成验证特征集；将目标特征集与验证特征集关联形成图像匹配集。

根据本发明的又一个方面，提供一种图像识别装置，该装置适于驻留在移动终端中，该移动终端包括数据存储设备，数据存储设备中存储有对应于目标识别对象的图像匹配集，图像匹配集包括一个目标特征集和一个相应的验证特征集，该装置包括扫描模块、获取模块、提取模块、第一匹配模块、第二匹配模块和识别模块。其中，扫描模块适于开启摄像头扫描待识别图片；获取模块适于获取待识别图片位于扫描区域内的图像；提取模块适于提取图像的特征点以生成待识别特征集；第一匹配模块适于从数据存储设备获取图像匹配集，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配；第二匹配模块适于当匹配成功时，将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度；识别模块适于当验证匹配度超过第一阈值时，确定待识别图片中包含对应于图像匹配集的目标识别对象。

可选地，在根据本发明的图像识别装置中，目标特征集对应一个目标特征对象，并包括多个目标特征点，第一匹配模块进一步适于：获取该图像匹配集的目标特征集，将待识别特征集与该目标特征集进行特征匹配；统计匹配成功的特征点的数量作为第一匹配对数量；获取该目标特征集的目标特征点的数量作为第一数量，并计算第一匹配对数量与第一数量的比值作为目标匹配度；当目标匹配度大于第二阈值时，判断目标特征集匹配成功。

可选地，在根据本发明的图像识别装置中，验证特征集对应至少一个与目标特征对象关联的验证特征对象，并包括多个验证特征点，第二匹配模块进一步适于：将待识别特征集与该验证特征集进行特征匹配；统计匹配成功的特征点的数量作为第二匹配对数量；获取待识别特征集中特征点的数量作为第二数量，获取该验证特征集中验证特征点的数量作为第三数量；计算第二匹配对数量与第二数量和第三数量中较小值的比值作为验证匹配度。

可选地，在根据本发明的图像识别装置中，识别模块进一步适于：当验证匹配度超过第一阈值时，统计验证匹配度超过第一阈值的验证特征集的数量；当验证匹配度超过第一阈值的验证特征集的数量大于1时，获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。

可选地，在根据本发明的图像识别装置中，还包括判定模块，适于：当匹配成功的目标特征集的数量小于1时，判定图像中不存在对应于图像匹配集的目标识别对象。

可选地，在根据本发明的图像识别装置中，还包括预处理模块，适于预先生成图像匹配集，预处理模块进一步适于：获取待处理图片，待处理图片中包括一个目标识别对象，目标识别对象包括一个目标特征对象和至少一个验证特征对象；对待处理图片进行灰度处理；提取待处理图片中目标特征对象的特征点作为目标特征点，将目标特征点形成目标特征集；提取待处理图片中验证特征对象的特征点作为验证特征点，将验证特征点形成验证特征集；将目标特征集与验证特征集关联形成图像匹配集。

根据本发明的又一个方面，还提供一种移动终端，包括根据本发明的图像识别装置。

根据本发明的图像识别的技术方案，首先开启摄像头扫描待识别图片，对于扫描获取的图像进行特征点提取以生成待识别特征集，将其与从数据存储设备获取的图像匹配集中的目标特征集进行特征匹配，若匹配成功，则将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度，若验证匹配度超过第一阈值，则确定待识别图片中包含对应于图像匹配集的目标识别对象。考虑到数据存储设备中可能存储有多个图像匹配集，在将待识别特征集与每个图像匹配集中的目标特征集进行特征匹配后，若匹配成功的目标特征集的数量大于1，则先计算出各匹配成功的目标特征集相应的验证特征集的验证匹配度，统计验证匹配度超过第一阈值的验证特征集的数量，当验证匹配度超过第一阈值的验证特征集的数量大于1时，获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。在上述技术方案中，通过将验证特征集与目标特征集相结合，在满足与目标特征集匹配成功的前提下，对待识别特征集与验证特征集进行二次匹配，进一步提高了识别结果的精确性，避免了由于扫描获取的图片中存在多个相似度较高的目标图像而识别出错的问题，也无需为了提高精确度而使用运行代价较大、复杂度较高而影响整体性能的识别算法，大幅度提高了用户体验，有利于AR技术的大力发展。此外，还降低了如AR图书产品中，因扫描临摹的目标图像来进行识别，导致目标图像及与其对应的AR图书本身价值下降的可能性，有助于保持AR图书与其相关应用之间的关联性。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的移动终端100的结构框图；

图2示出了根据本发明的一个实施例的图像识别方法200的流程图；

图3示出了本发明一个实施例的图像识别装置300的示意图；

图4示出了本发明又一个实施例的图像识别装置400的示意图；以及

图5示出了本发明一个实施例的图像识别装置500的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是移动终端100的结构框图。移动终端100可以包括存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及外围接口106。

存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。

例如，运动传感器110、光线传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及Bluebooth^TM网络的通信子系统124。

音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。I/O子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。

存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作系统172，例如Android、iOS或是Windows Phone之类的操作系统。该操作系统172可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用174。在移动设备运行时，会从存储器150中加载操作系统172，并且由处理器104执行。应用174在运行时，也会从存储器150中加载，并由处理器104执行。应用174运行在操作系统之上，利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。应用174可以是独立于操作系统提供的，也可以是操作系统自带的。另外，应用174被安装到移动终端100中时，也可以向操作系统添加驱动模块。

在上述各种应用174中，其中的一种应用为根据本发明的图像识别装置300。应用174还包括根据本发明的数据存储设备190，数据存储设备190中存储有对应于目标识别对象的图像匹配集，图像匹配集包括一个目标特征集和一个相应的验证特征集，目标特征集对应一个目标特征对象，并包括多个目标特征点，验证特征集对应至少一个与该目标特征对象关联的验证特征对象，并包括多个验证特征点。而图像识别装置300则先开启摄像头扫描待识别图片，对扫描获取的图像进行特征点提取以生成待识别特征集，获取存储于数据存储设备190中的图像匹配集，将待识别特征集与图像匹配集进行特征匹配，若匹配成功，则确定待识别图片中包含对应与图像匹配集的目标识别对象。值得注意的是，数据存储设备190所存储的图像匹配集是预先生成的，具体的生成方法此处先暂且不表，后面再予以解释说明。而且一般情况下，数据存储设备190中存储的图像匹配集的数量不止1个，考虑到在进行图像识别时，每次将待识别特征集与1个图像匹配集进行特征匹配的处理步骤上是相同的，为便于描述，下面将以数据存储设备190中存储有多个图像匹配集为前提进行图像识别过程的说明。

图2示出了根据本发明一个实施例的图像识别方法200的流程图。图像识别方法200适于在移动终端100(例如图1所示的移动终端100)中执行。

如图2所示，方法200始于步骤S210。在步骤S210中，开启摄像头扫描待识别图片。根据本发明的一个实施例，开启摄像头对待识别图片进行扫描时，可通过录制视频的方式来实现持续性扫描。

随后，进入步骤S220，获取待识别图片位于扫描区域内的图像。根据本发明的一个实施例，由于步骤S210中通过录制来进行待识别图片的扫描，则将摄像头所获取的当前一帧图像作为待识别图片位于扫描区域内的图像。

获取到待识别图片位于扫描区域内的图像之后，执行步骤S230，提取该图像的特征点以生成待识别特征集。根据本发明的一个实施例，首先根据该图像生成对应的图像尺度空间，然后检测图像尺度空间中的局部极值点，再通过剔除低对比度点和边缘响应点对局部极值点进行精确定位，最终得到能够反映图像特征的特征点。在该实施方式中，能够反映图像特征的特征点共计215个。在对特征点进行描述时，先计算每个极值点的主方向，对极值点为中心的区域进行直方图梯度方向统计，生成特征描述子。至此，将上述能够反映图像特征的特征点生成待识别特征集。上述对图像进行特征点提取的算法可选用现有技术中的关于特征点提取的成熟算法，此处不予以赘述，所有这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内。

在步骤S240中，从数据存储设备190获取图像匹配集，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配。根据本发明的一个实施例，数据存储设备190中存储有100个图像匹配集，各图像匹配集的名称依次为A1～A100，各图像匹配集的目标特征集的名称依次为B1～B100，验证特征集的名称依次为C1～C100。其中，图像匹配集A1包括目标特征集B1和验证特征集C1，图像匹配集A2包括目标特征集B2和验证特征集C2，以此类推，可知图像匹配集A100包括目标特征集B100和验证特征集C100。表1示出了根据本发明一个实施例的图像匹配集相关数据的存储示例，为便于描述，表1中未包含各目标特征点和验证特征点所对应的特征描述子，具体如下所示：

图像匹配集	目标匹配集	目标特征点数量	验证匹配集	验证特征点数量
					A1	B1	253	C1	56
A2	B2	179	C2	43
					A3	B3	276	C3	35
……	……	……	……	……
					A55	B55	78	C55	126
A56	B56	357	C56	67
					……	……	……	……	……
A99	B99	196	C99	35
					A100	B100	208	C100	51

表1

如表1所示，图像匹配集A1的目标匹配集B1包括253个目标特征点，验证特征集C1包括56个验证特征点，验证特征点数量少于目标特征点数量，这是由于目标匹配集为主匹配对象的实质特征所决定的，当然也有例外。比如图像匹配集A55，其对应的目标匹配集B55包括78个目标特征点，验证特征集C55包括126个验证特征点，验证特征点数量大于目标特征点数量，出现这种情况一般是由于目标特征对象较为简单，导致目标特征点数量较少，而验证特征对象可能较为复杂，或是与该目标特征对象关联的验证特征对象有多个，最终使得验证特征点数量大于目标特征点数量。

根据该实施方式，可以通过以下方法将待识别特征集与该图像匹配集中的目标特征集进行特征匹配。首先，获取该图像匹配集的目标特征集，将待识别特征集与该目标特征集进行特征匹配。以图像匹配集A1为例，获取图像匹配集A1的目标特征集B1，将待识别特征集与目标特征集B1进行特征匹配。上述进行特征匹配的算法可选用现有技术中的关于特征匹配的成熟算法，此处不予以赘述，所有这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内。随后，统计待匹配特征集与目标特征集B1匹配成功的特征点的数量，可得匹配成功的特征点的数量为20，则第一匹配对数量为20。接下来，获取该目标特征集的目标特征点的数量作为第一数量，从表1中可知目标特征集B1的目标特征点数量为253，则第一数量为253，并计算第一匹配对数量与第一数量的比值作为目标匹配度，得出目标匹配度为20/253＝0.079。最后，比较目标匹配度与第二阈值的大小，若目标匹配度大于第二阈值，则判断目标特征集匹配成功。在该实施方式中，优选地，第二阈值为0.6，由于目标匹配度远小于第二阈值，则判断目标特征集B1匹配失败，此时继续将待识别特征集与剩下的各图像匹配集中的目标特征集进行特征匹配，直至出现匹配成功的目标特征集。

随后，进入步骤S250，若匹配成功，则将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度。根据本发明的一个实施例，经过步骤S240后，匹配成功的目标特征集共计3个，分别是目标特征集B3、B19和B28，与这3个目标特征集相应的验证特征集分别是验证特征集C3、C19和C28，此时，再将待识别特征集与上述验证特征集C3、C19和C28分别进行特征匹配以计算验证匹配度。以下，以验证特征集C3为例进行计算验证匹配度的说明。首先，将待识别特征集与验证特征集C3进行特征匹配，以上进行特征匹配的算法可选用现有技术中的关于特征匹配的成熟算法，此处不予以赘述，所有这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内。然后，统计匹配成功的特征点的数量作为第二匹配对数量，由于待识别特征集与验证特征集C3匹配成功的特征点的数量为26，则第二匹配对数量为26。再获取待识别特征集中特征点的数量作为第二数量，获取该验证特征集中验证特征点的数量作为第三数量，得到第二数量和第三数量分别为219和35。最后，计算第二匹配对数量与第二数量和第三数量中较小值的比值作为验证匹配度，第二数量和第三数量中较小值为第三数量35，则待识别特征集与验证特征集C3的验证匹配度为26/35＝0.743。通过上述计算验证匹配度的方法，得到待识别特征集与验证特征集C19和C28的目标验证度分别是0.862和0.535。

最后，在步骤S260中，对于在步骤S250中获得的验证匹配度，若验证匹配度超过第一阈值，则确定待识别图片中包含对应于图像匹配集的目标识别对象。根据本发明的一个实施例，可以通过以下方法来确定待识别图片中包含对应于图像匹配集的目标识别对象。首先，判断验证匹配度是否超过第一阈值，若验证匹配度超过第一阈值，则统计验证匹配度超过第一阈值的验证特征集的数量。在该实施方式中，优选地，第一阈值设置为0.7，而验证特征集C3、C19和C28的验证匹配度分别为0.743、0.862和0.535，则验证特征集C3和C19的验证匹配度超过第一阈值，统计验证匹配度超过第一阈值的验证特征集的数量为2。接下来，判断验证特征集超过第一阈值的验证特征集的数量是否大于1，若大于1，则获取验证匹配度最高的验证特征集相关的图像匹配集，由上可知，上述验证匹配度超过第一阈值的验证特征集的数量满足大于1的条件，其中验证匹配度最高的验证特征集为C19，则获取验证特征集C19相关的图像匹配集A19，确定待识别图片中包含对应于图像匹配集A19的目标识别对象。当然，若验证匹配度超过第一阈值的验证特征集的数量等于1，换言之，只有1个验证特征集的验证匹配度超过第一阈值，则直接确定待识别图片中包含对应于该图像匹配集的目标识别对象即可。进一步地，若不存在验证匹配度超过第一阈值的验证特征集，则判定图像中不存在对应于图像匹配集的目标识别对象，即图像识别失败，可再次扫描来进行图像识别处理。

实际上，对于一张待识别图片，可能其对应的扫描区域内的图像中并未包括目标识别对象，此时会出现待识别特征集与所有目标特征集都不匹配的情况，则匹配成功的目标特征集的数量为0，即小于1。根据本发明的又一个实施例，若匹配成功的目标特征集的数量小于1，则判定图像中不存在对应于该图像匹配集的目标识别对象。在该实施方式中，不存在匹配成功的目标特征集，因此判定待识别图片位于扫描区域内的图像中不存在目标识别对象，可以重新扫描以便再次进行识别处理。

在以上图像识别的处理过程中，用于特征匹配的图像匹配集是需要预先生的，根据本发明的一个实施例，可以利用下列方法来预先生成图像匹配集。在该实施方式中，首先获取待处理图片，该待处理图片中包括一个目标识别对象，该目标识别对象包括一个目标特征对象和至少一个验证特征对象，比如对于待处理图片S1，包括1个目标识别对象L1，目标识别对象L1包括1个目标特征对象和1个验证特征对象，分别是目标特征对象M1和验证特征对象N1。再对待处理图片进行灰度处理，提取待处理图片S1中目标特征对象M1的特征点作为目标特征点，将目标特征点形成目标特征集，得到目标特征对象M1的目标特征集B1，其包含253个目标特征点，并提取待处理图片中验证特征对象N1的特征点作为验证特征点，将验证特征点形成验证特征集，得到验证特征对象N1的目标特征集C1，其包含56个验证特征点。最后，将目标特征集B1与验证特征集C1关联形成图像匹配集A1，则图像匹配集A1对应与目标识别对象L1。对所有待处理图片进行预处理生成对应的图像匹配集后，将图像匹配集全部存储至数据存储设备190中，关于图像匹配集相关数据的示例，具体可参见上文中的表1。

图3示出了本发明一个实施例的图像识别装置300的示意图。如图3所示，图像识别装置300包括扫描模块310、获取模块320、提取模块330、第一匹配模块340、第二匹配模块350和识别模块360。

扫描模块310适于开启摄像头扫描待识别图片。

获取模块320与扫描模块310相连，适于获取待识别图片位于扫描区域内的图像。

提取模块330，与获取模块320相连，适于提取图像的特征点以生成待识别特征集。

第一匹配模块340与提取模块330相连，适于从数据存储设备190获取图像匹配集，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配。其中，图像匹配集包括一个目标特征集和一个相应的验证特征集，目标特征集对应一个目标特征对象，并包括多个目标特征点，第一匹配模块340进一步适于获取该图像匹配集的目标特征集，将待识别特征集与该目标特征集进行特征匹配；统计匹配成功的特征点的数量作为第一匹配对数量；获取该目标特征集的目标特征点的数量作为第一数量，并计算第一匹配对数量与第一数量的比值作为目标匹配度；当目标匹配度大于第二阈值时，判断目标特征集匹配成功。

第二匹配模块350与第一匹配模块340相连，适于当匹配成功时，将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度。其中，验证特征集对应至少一个与目标特征对象关联的验证特征对象，并包括多个验证特征点，第二匹配模块350进一步适于将待识别特征集与该验证特征集进行特征匹配；统计匹配成功的特征点的数量作为第二匹配对数量；获取待识别特征集中特征点的数量作为第二数量，获取该验证特征集中验证特征点的数量作为第三数量；计算第二匹配对数量与第二数量和第三数量中较小值的比值作为验证匹配度。

识别模块360与第二匹配模块350相连，适于当验证匹配度超过第一阈值时，确定待识别图片中包含对应于图像匹配集的目标识别对象。识别模块360进一步适于当验证匹配度超过第一阈值时，统计验证匹配度超过第一阈值的验证特征集的数量；当验证匹配度超过第一阈值的验证特征集的数量大于1时，获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。

图4示出了本发明又一个实施例的图像识别装置400的示意图。如图4所示，图像识别装置400的扫描模块410、获取模块420、提取模块430、第一匹配模块440、第二匹配模块450和识别模块460，分别与图3中图像识别装置300的扫描模块310、获取模块320、提取模块330、第一匹配模块340、第二匹配模块350和识别模块360一一对应，是一致的，并新增了与第一匹配模块440相连的判定模块470。判定模块470适于当匹配成功的目标特征集的数量小于1时，判定图像中不存在对应于图像匹配集的目标识别对象。判定模块470还适于当不存在验证匹配度超过第一阈值的验证特征集时，判定图像中不存在对应于图像匹配集的目标识别对象。

图5示出了本发明又一个实施例的图像识别装置500的示意图。如图5所示，图像识别装置510的扫描模块510、获取模块520、提取模块530、第一匹配模块540、第二匹配模块550和识别模块560，分别与图3中图像识别装置300的扫描模块310、获取模块320、提取模块330、第一匹配模块340、第二匹配模块350和识别模块360一一对应，是一致的，并新增了预处理模块580。

预处理模块580适于预先生成图像匹配集，进一步适于获取待处理图片，待处理图片中包括一个目标识别对象，目标识别对象包括一个目标特征对象和至少一个验证特征对象；对待处理图片进行灰度处理；提取待处理图片中目标特征对象的特征点作为目标特征点，将目标特征点形成目标特征集；提取待处理图片中验证特征对象的特征点作为验证特征点，将验证特征点形成验证特征集；将目标特征集与验证特征集关联形成图像匹配集，最终将图像匹配集存储至数据存储装置190。

关于图像识别的具体步骤以及实施例，在基于图2的描述中已经详细公开，此处不再赘述。

现有的AR技术所涉及的图像识别技术，是对待识别的图片进行扫描后直接进行图像识别处理，判断该图片中是否存在对应的目标图像。当扫描的图片中存在多个相似度较高的目标图像时，若图像识别算法的精确度不够高，则可能识别出错误的目标图像，若为了提高精确度而使用较为复杂的算法，则运行代价较大，会导致识别过程耗时较久，均会给用户带来不好的体验。根据本发明实施例的图像识别的技术方案，首先开启摄像头扫描待识别图片，对于扫描获取的图像进行特征点提取以生成待识别特征集，将其与从数据存储设备获取的图像匹配集中的目标特征集进行特征匹配，若匹配成功，则将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度，若验证匹配度超过第一阈值，则确定待识别图片中包含对应于图像匹配集的目标识别对象。考虑到数据存储设备中可能存储有多个图像匹配集，在将待识别特征集与每个图像匹配集中的目标特征集进行特征匹配后，若匹配成功的目标特征集的数量大于1，则先计算出各匹配成功的目标特征集相应的验证特征集的验证匹配度，统计验证匹配度超过第一阈值的验证特征集的数量，当验证匹配度超过第一阈值的验证特征集的数量大于1时，获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。在上述技术方案中，通过将验证特征集与目标特征集相结合，在满足与目标特征集匹配成功的前提下，对待识别特征集与验证特征集进行二次匹配，进一步提高了识别结果的精确性，避免了由于扫描获取的图片中存在多个相似度较高的目标图像而识别出错的问题，也无需为了提高精确度而使用运行代价较大、复杂度较高而影响整体性能的识别算法，大幅度提高了用户体验，有利于AR技术的大力发展。此外，还降低了如AR图书产品中，因扫描临摹的目标图像来进行识别，导致目标图像及与其对应的AR图书本身价值下降的可能性，有助于保持AR图书与其相关应用之间的关联性。

B10.如B7-9中任一项所述的装置，所述识别模块进一步适于：

当验证匹配度超过第一阈值时，统计验证匹配度超过第一阈值的验证特征集的数量；

当验证匹配度超过第一阈值的验证特征集的数量大于1时，获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。

B11.如B7-10中任一项所述的装置，还包括判定模块，适于：

当匹配成功的目标特征集的数量小于1时，判定所述图像中不存在对应于所述图像匹配集的目标识别对象。

B12.如B7-11中任一项所述的装置，还包括预处理模块，适于预先生成图像匹配集，所述预处理模块进一步适于：

获取待处理图片，所述待处理图片中包括一个目标识别对象，所述目标识别对象包括一个目标特征对象和至少一个验证特征对象；

对所述待处理图片进行灰度处理；

提取待处理图片中目标特征对象的特征点作为目标特征点，将所述目标特征点形成目标特征集；

提取待处理图片中验证特征对象的特征点作为验证特征点，将所述验证特征点形成验证特征集；

将所述目标特征集与所述验证特征集关联形成图像匹配集。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的图像识别方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (13)

1.一种图像识别方法，适于在移动终端中执行，所述移动终端包括数据存储设备，所述数据存储设备中存储有对应于目标识别对象的图像匹配集，所述目标识别对象包括一个目标特征对象和至少一个验证特征对象，所述图像匹配集包括一个目标特征集和一个相应的验证特征集，且目标特征集对应一个目标特征对象，验证特征集对应至少一个与该目标特征对象关联的验证特征对象，所述方法包括：

开启摄像头扫描待识别图片；

获取待识别图片位于扫描区域内的图像；

提取所述图像的特征点以生成待识别特征集；

从所述数据存储设备获取所述图像匹配集，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配；

若匹配成功，则将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度；

若验证匹配度超过第一阈值，则确定待识别图片中包含对应于所述图像匹配集的目标识别对象。

2.如权利要求1所述的方法，所述目标特征集对应一个目标特征对象，并包括多个目标特征点，所述将待识别特征集与该图像匹配集中的目标特征集进行特征匹配的步骤包括：

获取该图像匹配集的目标特征集，将待识别特征集与该目标特征集进行特征匹配；

统计匹配成功的特征点的数量作为第一匹配对数量；

获取该目标特征集的目标特征点的数量作为第一数量，并计算第一匹配对数量与第一数量的比值作为目标匹配度；

若所述目标匹配度大于第二阈值，则判断所述目标特征集匹配成功。

3.如权利要求1或2所述的方法，所述验证特征集对应至少一个与目标特征对象关联的验证特征对象，并包括多个验证特征点，所述将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度的步骤包括：

将待识别特征集与该验证特征集进行特征匹配；

统计匹配成功的特征点的数量作为第二匹配对数量；

获取待识别特征集中特征点的数量作为第二数量，获取该验证特征集中验证特征点的数量作为第三数量；

计算第二匹配对数量与第二数量和第三数量中较小值的比值作为验证匹配度。

4.如权利要求1所述的方法，所述若验证匹配度超过第一阈值，则确定待识别图片中包含对应于所述图像匹配集的目标识别对象的步骤包括：

若验证匹配度超过第一阈值，则统计验证匹配度超过第一阈值的验证特征集的数量；

若验证匹配度超过第一阈值的验证特征集的数量大于1，则获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。

5.如权利要求1所述的方法，还包括：

若匹配成功的目标特征集的数量小于1，则判定所述图像中不存在对应于所述图像匹配集的目标识别对象。

6.如权利要求1所述的方法，还包括预先生成图像匹配集，所述预先生成图像匹配集的步骤包括：

获取待处理图片，所述待处理图片中包括一个目标识别对象，所述目标识别对象包括一个目标特征对象和至少一个验证特征对象；

对所述待处理图片进行灰度处理；

提取待处理图片中目标特征对象的特征点作为目标特征点，将所述目标特征点形成目标特征集；

提取待处理图片中验证特征对象的特征点作为验证特征点，将所述验证特征点形成验证特征集；

将所述目标特征集与所述验证特征集关联形成图像匹配集。

7.一种图像识别装置，适于驻留在移动终端中，所述移动终端包括数据存储设备，所述数据存储设备中存储有对应于目标识别对象的图像匹配集，所述目标识别对象包括一个目标特征对象和至少一个验证特征对象，所述图像匹配集包括一个目标特征集和一个相应的验证特征集，且目标特征集对应一个目标特征对象，验证特征集对应至少一个与该目标特征对象关联的验证特征对象，所述装置包括：

扫描模块，适于开启摄像头扫描待识别图片；

获取模块，适于获取待识别图片位于扫描区域内的图像；

提取模块，适于提取所述图像的特征点以生成待识别特征集；

第一匹配模块，适于从所述数据存储设备获取所述图像匹配集，将待识别特征集与该图像匹配集中的目标特征集进行特征匹配；

第二匹配模块，适于当匹配成功时，将待识别特征集与匹配成功的目标特征集相应的验证特征集进行特征匹配以计算验证匹配度；

识别模块，适于当验证匹配度超过第一阈值时，确定待识别图片中包含对应于所述图像匹配集的目标识别对象。

8.如权利要求7所述的装置，所述目标特征集对应一个目标特征对象，并包括多个目标特征点，所述第一匹配模块进一步适于：

获取该图像匹配集的目标特征集，将待识别特征集与该目标特征集进行特征匹配；

统计匹配成功的特征点的数量作为第一匹配对数量；

获取该目标特征集的目标特征点的数量作为第一数量，并计算第一匹配对数量与第一数量的比值作为目标匹配度；

当所述目标匹配度大于第二阈值时，判断所述目标特征集匹配成功。

9.如权利要求7或8所述的装置，所述验证特征集对应至少一个与目标特征对象关联的验证特征对象，并包括多个验证特征点，所述第二匹配模块进一步适于：

将待识别特征集与该验证特征集进行特征匹配；

统计匹配成功的特征点的数量作为第二匹配对数量；

获取待识别特征集中特征点的数量作为第二数量，获取该验证特征集中验证特征点的数量作为第三数量；

计算第二匹配对数量与第二数量和第三数量中较小值的比值作为验证匹配度。

10.如权利要求7所述的装置，所述识别模块进一步适于：

当验证匹配度超过第一阈值时，统计验证匹配度超过第一阈值的验证特征集的数量；

当验证匹配度超过第一阈值的验证特征集的数量大于1时，获取验证匹配度最高的验证特征集相关的图像匹配集，确定待识别图片中包含对应于该图像匹配集的目标识别对象。

11.如权利要求7所述的装置，还包括判定模块，适于：

当匹配成功的目标特征集的数量小于1时，判定所述图像中不存在对应于所述图像匹配集的目标识别对象。

12.如权利要求7所述的装置，还包括预处理模块，适于预先生成图像匹配集，所述预处理模块进一步适于：

获取待处理图片，所述待处理图片中包括一个目标识别对象，所述目标识别对象包括一个目标特征对象和至少一个验证特征对象；

对所述待处理图片进行灰度处理；

提取待处理图片中目标特征对象的特征点作为目标特征点，将所述目标特征点形成目标特征集；

提取待处理图片中验证特征对象的特征点作为验证特征点，将所述验证特征点形成验证特征集；

将所述目标特征集与所述验证特征集关联形成图像匹配集。

13.一种移动终端，包括如权利要求7-12中任一项所述的图像识别装置。