CN104751093A - 用于获取宿主设备显示的图像识别码的方法和装置 - Google Patents

Abstract

本申请公开了一种用于获取宿主设备显示的图像识别码的方法，包括：获取宿主设备显示的图像；检测并定位所述图像中的图像识别码区域；解析所述图像识别码区域中的图像，获取所述图像识别码的内容。本申请同时提供一种用于获取宿主设备显示的图像识别码的装置。使用本申请提供的方法，能够简化现有扫描方法的操作步骤，快速、直接地获取宿主设备显示的图像识别码，从而方便用户的使用。

Description

用于获取宿主设备显示的图像识别码的方法和装置

技术领域

本申请涉及图像识别技术领域，具体涉及一种用于获取宿主设备显示的图像识别码的方法和装置。

背景技术

条形码和二维码技术，是随着计算机与信息技术的发展和应用而诞生的，是集编码、印刷、识别、数据采集和处理于一身的新型技术，是迄今为止最经济、实用的自动识别技术。

其中条形码（也叫一维条形码），是将宽度不等的多个黑条和空白，按照一定的编码规则排列，用以表达一组信息的图形标识符，一维条形码只是在一个方向（一般是水平方向）表达信息；而目前应用广泛的二维码技术是用特定的几何图形按一定规律在平面（二维方向上）分布的黑白相间的矩形方阵中记录数据符号信息的新一代条码技术，具有信息量大，纠错能力强，识读速度快等特点，广泛应用于物流、仓储、移动支付、电子凭证等领域。

随着移动终端设备的普及，很多移动终端应用程序也都提供了条形码扫描功能，即：将移动终端需要访问、使用的信息采用条形码技术进行编码，然后利用移动终端的摄像头和特定软件进行识读，其中，手机二维码是二维码技术在手机上的应用。一方面，用户通过手机摄像头扫描二维码或输入二维码下面的号码、关键字即可实现快速手机上网，从而省去了在手机上输入URL的繁琐过程；另一方面，使用手机二维码技术还可以方便地用手机识别和存储名片、实现电子地图查询定位、手机阅读等多种功能。

目前，安装在手机上的来往客户端、微博客户端、微信客户端、QQ客户端等移动终端应用程序基本都提供了二维码扫描功能，该功能的实现通常采用如下所示的两种方式：

1）采用摄像头拍摄、获取二维码图像，然后解析其内容；

2）直接选择已经存储在当前设备中的二维码图像文件，然后解析其内容。

根据上面两种方式可以看出，对于在移动终端设备显示屏上显示的二维码图像（例如：用户浏览的某个网页上显示的二维码图像），由于无法用移动终端设备自带的摄像头拍摄，因此只能采用上述第二种方法，通常需要执行以下几个步骤：

1）将显示屏上显示的二维码图像存储在本地的文件夹或者相册里；

2）根据移动终端应用程序提供的二维码扫描软件（例如：QQ或微信中的“扫一扫”）的要求，选择上述已存储的二维码图像文件；

3）然后执行扫描操作并输出所述二维码图像的内容。

在有些具有二维码扫描功能的移动终端应用程序中，为了提高扫描的识别率，在执行上述扫描操作之前，还需要对所述二维码图像进行移动和缩放，调节所述二维码图像的位置使其对准并充满应用程序提供的、待扫描的整个区域。由此可见，为了识别设备自身显示器上的二维码图像的内容，通常需要经过存储、选择、定位、缩放、扫描等多个步骤，整个过程复杂，不便于用户使用。

发明内容

本申请提供一种用于获取宿主设备显示的图像识别码的方法，以解决现有扫描方法步骤繁多、不便于用户使用的问题。

本申请同时提供一种用于获取宿主设备显示的图像识别码的装置。

本申请提供一种用于获取宿主设备显示的图像识别码的方法，包括如下步骤：

获取宿主设备显示的图像；

检测并定位所述图像中的图像识别码区域；

解析所述图像识别码区域中的图像，获取所述图像识别码的内容。

可选的，所述检测并定位所述图像中的图像识别码区域包括：

检测所述图像中的矩形区域；

针对所述每一个矩形区域，检测所述矩形区域中是否存在图像识别码；

若存在，则定位所述图像识别码所在的区域。

可选的，所述检测所述图像中的矩形区域具体是指，采用Hough变换算法检测所述图像中的矩形区域。

可选的，所述检测所述矩形区域中是否存在图像识别码包括：

提取所述矩形区域中的图像特征；

根据所述矩形区域中的图像特征，采用预先训练的Adaboost分类器判断所述矩形区域中是否存在图像识别码。

可选的，所述提取所述矩形区域中的图像特征包括：

采用SIFT算法提取所述矩形区域中的图像的特征向量；或者，

采用PCA算法提取所述矩形区域中的图像的特征向量。

可选的，所述检测并定位所述图像中的图像识别码区域具体是指，采用机器学习算法检测所述图像中是否存在图像识别码，并定位所述图像识别码所在的区域。

可选的，所述机器学习算法包括：Adaboost算法或支持向量机算法。

可选的，所述获取宿主设备显示的图像包括：

通过调用操作系统或者SDK软件开发工具包提供的接口获取所述宿主设备显示的图像；或者，

通过读取显卡内存中的数据获取所述宿主设备显示的图像。

可选的，所述解析所述图像识别码区域中的图像，获取所述图像识别码的内容包括：

获取所述图像识别码区域中的图像；

识别所述图像识别码采用的编码技术和码制；

解析所述图像识别码，获取所述图像识别码的内容。

可选的，所述方法还包括：

接收获取所述宿主设备显示的图像识别码的请求；

相应的，所述方法还包括：

在所述宿主设备上显示输出所述图像识别码的内容。

可选的，所述接收获取所述宿主设备显示的图像识别码的请求，包括：

检测对所述图像识别码所在触摸屏区域的特定触摸动作，作为触发获取所述图像识别码的请求；或者，

检测对宿主设备的特定实体键或触摸屏上的特定虚拟键的触控动作，作为触发获取所述图像识别码的请求。

可选的，所述方法还包括：在检测并定位所述图像中的图像识别码区域之前，先对所述获取的宿主设备显示的图像进行预处理；

所述预处理包括：消除图像噪声和/或增强图像特征。

可选的，其特征在于，所述图像识别码包括：条形码或二维码。

本申请同时提供一种用于获取宿主设备显示的图像识别码的装置，包括：

显示图像获取单元，用于获取宿主设备显示的图像；

图像识别码定位单元，用于检测并定位所述图像中的图像识别码区域；

图像识别码解析单元，用于解析所述图像识别码区域中的图像，获取所述图像识别码的内容。

可选的，所述图像识别码定位单元包括：

矩形检测单元，用于检测所述图像中的矩形区域；

识别码检测子单元，用于针对所述每一个矩形区域，检测所述矩形区域中是否存在图像识别码；

识别码定位子单元，用于当所述矩形区域中存在图像识别时，定位所述图像识别码所在的区域。

可选的，所述矩形检测单元，具体用于采用Hough变换算法检测所述图像中的矩形区域。

可选的，所述识别码检测子单元包括：

特征提取子单元，用于提取所述矩形区域中的图像特征；

检测执行子单元，用于根据所述矩形区域中的图像特征，采用预先训练的Adaboost分类器判断所述矩形区域中是否存在图像识别码。

可选的，所述特征提取子单元，具体用于采用SIFT算法提取所述矩形区域中的图像的特征向量；或者，采用PCA算法提取所述矩形区域中的图像的特征向量。

可选的，所述图像识别码定位单元，具体用于采用Adaboost算法或支持向量机算法检测所述图像中是否存在图像识别码，并定位所述图像识别码所在的区域。

可选的，所述图像识别码解析单元包括：

图像获取子单元，用于获取所述图像识别码区域中的图像；

编码技术识别子单元，用于识别所述图像识别码采用的编码技术和码制

解析子单元，用于解析所述图像识别码，获取所述图像识别码的内容。

可选的，所述装置还包括：

请求接收单元，用于接收获取所述宿主设备显示的图像识别码的请求；

相应的，所述装置还包括：

显示输出单元，用于在所述宿主设备上显示输出所述图像识别码的内容。

可选的，所述请求接收单元具体用于，

检测对所述图像识别码所在触摸屏区域的特定触摸动作，作为触发获取所述图像识别码的请求；或者，

检测对宿主设备的特定实体键或触摸屏上的特定虚拟键的触控动作，作为触发获取所述图像识别码的请求。

可选的，所述装置还包括：

图像预处理单元，用于在检测并定位所述图像中的图像识别码区域之前，对所述获取的宿主设备显示的图像进行预处理；所述预处理包括：消除图像噪声和/或增强图像特征。

与现有技术相比，本申请具有以下优点:

本申请提供的用于获取宿主设备显示的图像识别码的方法，通过自动检测并定位宿主设备显示图像中的图像识别码，然后解析所述图像识别码并获取其内容，能够简化现有扫描方法的操作步骤，快速、直接地获取宿主设备显示的图像识别码，从而方便用户的使用。

本申请的一种优选实施方式中，采用机器学习算法检测宿主设备显示的图像中是否存在图像识别码，能够提高检测和定位图像识别码的效率。

本申请的另一种优选实施方式中，采用先检测所述图像中的矩形区域、再针对每个矩形区域检测所述矩形区域中是否存在图像识别码的方式，而不是扫描整个图像来检测并定位图像识别码，从而能够减少计算量，有效提高检测和定位图像识别码的效率。

附图说明

图1为本申请的用于获取宿主设备显示的图像识别码的方法实施例的流程图；

图2为本申请的用于获取宿主设备显示的图像识别码的装置实施例的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，分别提供了一种用于获取宿主设备显示的图像识别码的方法、以及一种用于获取宿主设备显示的图像识别码的装置。在下面的实施例中逐一进行详细说明。

请参考图1，其为本申请的一种用于获取宿主设备显示的图像识别码的方法实施例的流程示意图。所述方法包括如下步骤：

步骤101：获取宿主设备显示的图像。

本申请所述的宿主设备，是指实施本申请所提供的方法的设备，也可以这样理解，如果本申请所提供的方法部署在设备A上实施，那么所述设备A就是本申请所述的宿主设备。本申请所述的宿主设备，不限于手机或智能手机等移动终端设备，还包括个人电脑、数字电视等能够显示图像识别码，并能够运行本申请提供的方法的设备。

本申请提供的用于获取宿主设备显示的图像识别码的方法，通过自动检测、定位宿主设备显示的图像中的图像识别码，并对已定位的图像识别码进行解析，从而获取所述图像识别码的内容。本申请所述的图像识别码是指，用以表达信息的图形或图像标识符，包括但不限于通常所说的条形码或者二维码。

将本申请提供的方法部署于宿主设备上之后，使用所述宿主设备的用户可以通过以下几个方式触发本申请提供的方法：

1）当图像识别码显示在宿主设备的触摸屏上时，用户可以对所述图像识别码所在触摸屏区域执行特定的触摸动作，例如：长按图像识别码所在的触摸屏区域，特定的触摸动作将会触发本申请提供的方法；

2）当图像识别码显示在宿主设备的显示屏或触摸屏上时，用户可以通过特定的按键操作触发本申请提供的方法；这里所说的特定的按键，既包括实体键盘上的按键，也包括触摸屏上的虚拟按键，以及移动终端设备侧面的按键。

上述两种方式是使用宿主设备的用户希望获取宿主设备显示的图像识别码时，主动执行特定的操作来触发本申请提供的方法的执行过程。在其他的实施方式中，也可以不由用户触发，而是由实现了本申请方法的应用程序自行触发。即：实现了本申请方法的应用程序以后台运行的方式，监控宿主设备显示的图像中是否出现图像识别码，如果出现则解析、获取图像识别码的内容。当然采用应用程序自行触发方式，也可以与用户触发方式相结合，当后台运行的应用程序监测到宿主设备显示的图像中出现图像识别码后，可以通过加亮显示或者增加边框等方式提示用户是否需要扫描当前显示的图像识别码，然后通过接收用户按键等方式，决定是否解析所述图像识别码的内容。上述这些不同的触发方式，都属于实施方式的变更，不影响本申请的核心，都在本申请的保护范围之内。

实施本申请提供的方法，首先要获取宿主设备显示的图像，即：将宿主显示设备上的图像保存到内存中。对于不同的宿主设备，获取宿主设备显示的图像有不同的方法，通常直接调用宿主设备提供的相关接口函数即可。

如果宿主设备为个人电脑，通常电脑显示器上的图像数据都存储在显存中。显存是显卡内存的简称，图像的像素点数据通常保存在显存中，再交由显示芯片和CPU调配，最后把运算结果转化为图形输出到显示器上。由此可见，可以通过读取显存中的数据来获取当前显示器上的图像。作为更简单的实现方法，可以调用操作系统提供的图像接口，例如，如果采用Linux操作系统，可以利用帧缓冲（framebuffer）接口，帧缓冲（framebuffer）是Linux为显示设备提供的一个接口，是把显存抽象后的一种设备，它允许上层应用程序在图形模式下直接对显示缓冲区进行读写操作，从而实现获取屏幕图像或者在屏幕上输出图像的功能。对于Windows操作系统，可以使用一些图形图像类库中提供的接口，例如：Graphics类提供的CopyFromScreen（）函数，实现图像数据（对应于由像素组成的矩形）从屏幕到Graphics的绘图图面的位块传输。例如：下面的C#代码片断即实现了从显存获取屏幕图像的功能：

Graphics g1=Graphics.FromImage(myImage);

g1.CopyFromScreen(new Point(0,0),new Point(0,0),new Size(iWidth,iHeight));

对于移动终端设备来说，考虑到延迟以及功耗等因素，不是所有的移动终端段设备都采用了显存，要想获取移动终端显示设备上的图像，通常需要调用操作系统或者SDK软件开发工具包提供的接口。例如，对于ios操作系统，可以采用UIGraphicsGetImageFromCurrentImageContext（）函数或者UIGetScreenImage（）函数，来获取ios移动终端设备显示的图像。对于android操作系统，可以采用与screencap.cpp文件中提供的capturescreen（）函数类似的方法、或者采用View类提供的getDrawingCache（）等方法获取移动终端设备显示的图像。

上面列举了一些获取宿主设备显示图像的方法，对于不同的宿主设备，可以采取不同的方法获取，具体的获取方法不是本申请的关键，本申请不作限定。

获取了宿主设备显示的图像后，就可以执行步骤102来检测并定位所述图像中的图像识别码区域。为了提高后续操作的准确性和效率，作为一种优选实施方式，在执行步骤102之前，可以先对获取的图像进行必要的预处理。

图像预处理技术，简单地说，就是在对图像进行正式处理之前所做的一系列操作。我们通常希望获取的图像是真实准确的，但是在实际应用中，由于在图像传输和存储的过程中总不可避免受到各种噪声的干扰，导致图像变得模糊，甚至会淹没图像的原本特征，可能会影响到图像的应用效果，因此要采用图像预处理技术消除图像受到的影响、改善图像的质量，为后续的图像处理或应用做好准备。本申请所述的图像预处理技术，主要是对获取的图像进行降噪和增强两种处理。

图像降噪指的是利用滤波等各种手段，通过多点平滑等方法从已获取的含有噪声的图像中取出噪声成分，以便提高图像的信噪比。图像噪声来自于多个方面，有系统外部的干扰，如电磁波，也有来自于系统内部的干扰，如摄像机的热噪声等内部噪声。减少噪声的方法可以在图像空间域或者在图像变换域完成。小波函数及小波变换即为近几年比较常用的图像变换域去噪方法中的一种，不同的研究者分别提出各种不同的方法，例如：小波阈值降噪方法，具体在实施过程中，可以调用MATLAB（Matrix Laboratory，矩阵实验室）函数库中的小波函数来实现此功能。

图像增强是数字图像处理的一个重要分支，是以突出人们需要的图像特征并且弱化不需要的图像特征为基本原理，其目的是为了提高图像的质量，使图像不仅在视觉上更加清晰，而且由于有用信息得到加强，也使得图像更利于计算机的处理与识别。图像增强可分成两大类：频率域法和空间域法。前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强，例如，采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。基于空间域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。常用算法有均值滤波、中值滤波、梯度法、算子、高通滤波等。实际应用时往往要用不同的方法，反复进行试验才能达到满意的效果。在具体实施过程中，可以调用MATLAB函数库中的图像增强函数，例如：adapthisteq（）函数。

步骤102：检测并定位所述图像中的图像识别码区域。

获取了宿主设备显示的图像后，通过扫描整个图像就可以检测并定位其中包含的图像识别码，为了提高这个过程的处理速度，针对图像识别码为矩形的情况，本申请提供了一种优选实施方式，即：先检测当前图像中的矩形区域，然后再针对每个矩形区域，检测是否存在图像识别码，从而避免了在整个图像中扫描，能够有效改善本申请提供的方法的性能，比较快速地检测出图像识别码。

通过分析已获取的图像，根据矩形的四条直边以及四个直角等特征，可以从已获取的图像中检测矩形区域。在本实施例中，采用Hough变换来检测矩形区域。

Hough变换是一种使用表决原理的参数估计技术。其原理是利用图像空间和Hough参数空间的点－线对偶性，把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计，然后在Hough参数空间寻找累加器峰值的方法检测直线。Hough变换的实质是将图像空间内具有一定关系的像元进行聚类，寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点。在参数空间不超过二维的情况下，这种变换有着理想的效果。具体在实施过程中，可以利用Hough变换的方法先检测出四条直线，然后再根据四条直线的位置关系求解矩形方程，即：检测四条直线的位置关系是否满足矩形的要求。

本实施例的一个具体例子中，采用Hough变换检测矩形区域，在其他实施方式中，也可以采用其他方法检测，例如，通过在已获取的图像中查找4个顶角特征来检测矩形区域，这些都属于具体实施方式的变更，都不影响本申请的核心，本申请不作具体的限定。

针对已经找到的每一个矩形区域，检测所述矩形区域中是否存在图像识别码并定位图像识别码所在区域的位置。检测并定位矩形区域图像中是否存在图像识别码，这属于典型的模式分类问题，模式分类过程需要提取特征，然后对这些特征用已训练出来的分类器进行分类，从而做出是或否的判断，在本实施例中采用的是Adaboost分类器实现上述功能。

首先，提取矩形区域中的图像特征。

常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征，可以选择其中任意一种特征来表征矩形区域中的图像，并采用Adaboost算法检测该特征表征的是否为图像识别码。考虑到图像识别码具有一定的特殊性，例如：条形码和二维码的图像都是由黑白相间的矩形区域组成的，同时这两种图像识别码又分别具有自己的特点，为了更为有效地检测图像识别码，本申请提供的方法采用SIFT算法提取二维码矩形区域图像的特征，采用PCA算法提取条形码矩形区域图像的特征。

SIFT（Scale-Invariant feature Transform）算法是一种图像特征提取与匹配算法，是目前应用比较广泛的局部特征提取算法，SIFT特征在图像发生平移、旋转、尺度变化、光照变化情况下保持不变，并能在一定程度上对视角变化、仿射变化也具备较为稳定的特征匹配能力，即：采用SIFT算法提取图像的特征向量，可以去除尺度变化、旋转等变形因素的影响。

SIFT算法的主要特点：a)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性；b)独特性好，信息量丰富；c)多量性，即使少数的几个物体也可以产生大量SIFT特征向量；d)高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；e)可扩展性，可以很方便的与其他形式的特征向量进行联合。

SIFT算法的本质就是从图像中提取关键点的过程，该过程通常包括4步：

1）尺度空间的极值检测，以初步确定关键点位置和所在尺度。

多尺度技术也称为多分辨率技术，多尺度图像技术指对图像采用多尺度的表达，并在不同尺度下分别进行处理。图像中某种尺度下不容易看出或获取的特性在另外的尺度下很容易看出来或检测到，所以利用多尺度可以更有效地提取图像特征，获取图像内容。对同一幅图像用不同的尺度表达后，相当于给图像数据的表达增加了一个新的坐标。

如果某个像素是可能的SIFT关键点，则该像素必须在它周围的26个近邻像素（上一个尺度的9个点、同尺度的8个点、以及下一个尺度的9个点）中是极值点，所有这样的局部极值点就构成了一个SIFT候选关键点集合。

2）关键点的确定。从SIFT候选关键点集合中去除低对比度（即：与周围像素无明显差异）的关键点和不稳定的边缘点。

3）利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

4）生成SIFT特征向量。根据已经获取的关键点的坐标、尺度和方向，生成SIFT特征向量。以一个关键点为中心，取8x8的窗口，将该窗口切成2x2的子窗口，统计每个子窗口中的方向直方图，每一个子窗口的方向由其上4x4的小块的方向用之前的方法来决定，一个种子有8个方向的信息，则每个关键点就有4x8=32维。如果每个关键点采用16个种子来描述，那么一个关键点就有16x8=128维的数据。

采取上述步骤就可以提取已检测矩形区域图像的特征向量，在具体实施过程中，也可以采用OpenCV库提供的FeatureDetector类的detect（）方法来提取图像中的SIFT特征向量。OpenCV库是计算机视觉库，它提供了图像处理、计算机视觉、人工智能方面的很多算法，在本实施例的一个具体例子中，采用该库提供的函数实现特征向量的提取，以及后续的检测图像识别码等功能。

在本实施例的一个具体例子中，采用OpenCV库提供的方法，从所述矩形区域图像中提取了32维的特征向量，所述特征向量刻画了矩形区域内部图像的特征，为后续的检测做好了输入数据的准备。

在本实施例的上述具体例子中，针对二维码图像所在的区域采取SIFT算法提取了矩形区域的图像特征，在其他实施方式中，如果待检测的图像是条形码，则可以采用PCA算法提取所述矩形区域中的图像特征。

PCA（Principle Component Analysis，主成分分析的英文缩写）是多元统计分析中用来分析数据的一种方法，具有易于实现、计算速度快、图像识别效果好的特点。PCA算法是用一种较少数量的特征对图像进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换，用一个低维子空间描述图像的特征，同时还保存了用于识别检测图像所需要的信息。具体说，就是通过算法，将图像数据（M x N的矩阵）转换为1x N的向量X=[x1,x2,...,xn]，这个向量可以代表这个图像中包含的信息，用这个向量作为后续步骤中训练好的分类器的输入，即可判断这个向量所对应的矩形区域图像是否为条形码。

然后，检测所述矩形区域中是否存在图像识别码。

通过上述步骤提取了所述矩形区域的图像特征后，就可以采用机器学习算法，根据上述已提取的矩形区域特征向量，检测所述矩形区域中是否存在图像识别码。本实施例的一个具体例子中，采用Adaboost算法（也即：Adaboost分类器）进行检测，为了实现该功能，需要预先训练具备辨识图像识别码能力的Adaboost分类器，然后在需要使用的时候，直接加载该分类器即可。

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。Adaboost算法主要用于处理分类问题，包括：二分类问题以及多分类问题。该算法本身是通过改变数据分布来实现的，开始时，每个样本对应的权重是相同的，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，在新的样本分布下，再次对分类器进行训练，得到新的弱分类器。依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加起来，得到最终想要的强分类器。

AdaBoost算法的具体步骤如下：

1）给定训练样本集S，其中X和Y分别对应于正例样本和负例样本；T为训练的最大循环次数；

2）初始化样本权重为1/n（n为样本个数），即为训练样本的初始概率分布；

3）第一次迭代：

a）训练样本的概率分布相当下，训练弱分类器；

b）计算弱分类器的错误率；

c）选取合适阈值，使得误差最小；

d）更新样本权重，突出被分错的样本，使其成为训练的焦点；

4）继续迭代训练，每次都根据训练结果更新样本权重，经T次循环后，得到T个弱分类器；

5）调整T个弱分类器的权重，让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重，并按照调整后的权重叠加T个弱分类器，最终得到一个强分类器。

基于上述介绍的Adaboost分类器的基本原理，在本实施例中，首先收集训练样本，并对Adaboost分类器进行训练，采用Adaboost算法检测图像识别码，这属于二分类问题，需要收集两类样本。在本实施例中，收集了两类训练样本，即：正样本和负样本，其中正样本中包含了任意内容的图像识别码数据，例如：选取任意内容的条形码图片或者二维码图片作为正样本；负样本则不包含任何图像识别码数据，例如：可以随机选取一些矩形，只要不包含正样本中的内容即可。正负样本的比例为1：3。在其他实施方式中，该比例可以根据实际情况调整，1：3仅仅是本实施例的一个推荐值。完成样本的收集工作后，还需要对样本图像做归一化处理，考虑到计算机内存采用4字节对齐方式，因此归一化样本的大小最好采用4的倍数，便于计算机进行计算处理，例如，归一化到32x32、64x64或128x128的大小。

随后，提取所有训练样本的图像特征，其中正样本标签值为1，负样本标签值为0，然后将提取的训练样本的特征向量以及标签值作为输入，调用OpenCV提供的实值Adaboost（real Adaboost）接口进行训练，训练结束后，便得到所需的Adaboost分类器，该分类器具备了比较强的检测图像识别码的能力。上述训练过程是预先完成的，在实施本申请提供的方法时，首先加载已经训练好的Adaboost分类器，在需要使用该分类器进行检测时，直接调用即可。

在之前的步骤中，已经提取了矩形区域图像的特征向量，将所述矩形区域的特征向量作为输入，采用已经训练好的Adaboost分类器，即可判断出所述矩形区域中是否存在图像识别码。在本实施例的一个具体例子中，将所述矩形区域的SIFT特征，输入到预先训练好的Adaboost二维码图像分类器中，由于预先检测出的矩形区域就是二维码图像所在区域，因此在本步骤中采用Adaboost分类器成功检测出了所述矩形区域中存在二维码图像，并且输出所述矩形区域的位置即为二维码图像所在区域的位置。

如果预先检测的矩形区域中不仅包含图像识别码，还包含了其他内容，即：图像识别码仅仅是矩形区域中的一部分，或者在其他实施方式中，没有执行预先检测矩形区域的步骤、而是直接扫描整个宿主设备显示的图像，从中检测是否存在图像识别码，那么在上述情况下，就需要采用Adaboost算法通过多尺度扫描的方式来检测并定位图像识别码。

所谓多尺度扫描，是指在Adaboost算法中采用扩大检测窗口的方法对图像（例如，上述包含图像识别码的矩形区域图像、或者宿主设备显示的图像）进行扫描。即：在图像中移动检测窗口，检测每一个位置来确定是否存在待检测的目标（例如，本申请所述的图像识别码）。为了搜索不同大小的目标，分类器被设计为可以进行尺寸调整，这样比改变图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标，通常需要用不同比例尺寸的检测窗口对图像进行多次扫描。

在检测的最初，检测窗口和样本大小一致，例如：32x32，然后按照一定的尺度参数（即每次移动的像素个数，向左然后向下）进行移动，遍历整个图像，标出可能的目标；遍历完以后按照特定的放大倍数放大检测窗口，然后再进行一次图像遍历；通过反复执行上述过程实现对图像的多尺度扫描。整个扫描过程完成后，处理已标出的重叠的目标，进行合并等操作，从而完成对图像识别码的检测，并获取了图像识别码所在区域的位置信息。

在本实施例的一个具体例子中，采用的是单一的强分类器，在其他实施方式中，也可以采用级联分类器。级联分类器就是将多个强分类器连接在一起进行操作，每一个强分类器都由若干个弱分类器加权组成，例如，一个级联用的强分类器包含20个左右的弱分类器，然后再将10个强分类器级联起来，就构成了一个级联强分类器。因为每一个强分类器对负样本的判别准确度非常高，所以一旦发现被检区域图像为负样本，直接丢弃被检区域图像，不用继续调用下面的强分类器，减少了很多的检测时间。因为一幅图像中待检测的区域很多都是负样本，这样由级联分类器在分类器的初期就抛弃了很多负样本的复杂检测，所以采用级联分类器能够提高检测的速度。采用单一的强分类器或者是级联分类器，这是只是具体实施方式的变更，都不偏离本申请的核心，都在本申请的保护范围之内。

在本实施例的一个具体例子中，宿主设备显示的图像识别码只有一种，即：二维码。在其他实施方式中，如果宿主设备显示的图像识别码可能不只一种，例如：条形码或者二维码，那么实施本申请提供的方法时，可以根据图像识别码的种类，分别训练两个Adaboost分类器，其中一个采用条形码图像作为正样本、非条形码图像作为负样本，另一个采用二维码图像作为正样本、非二维码图像作为负样本，在本步骤的检测过程中，可以依次使用这两个分类器。同理，如果图像识别码有多种，相应地训练多个Adaboost分类器，从而达到能够检测多种图像识别码的目的。

在本实施例的一个具体例子中，采取了先检测矩形、然后再在矩形区域中检测图像识别码的方式，因为不需要扫描整幅图像，从而能够提高检测的效率。在其他实施方式中，可以略去检测矩形区域的步骤，而是直接在宿主设备显示的整个图像上检测图像识别码，同样可以实现本申请的技术方案，也在本申请的保护范围之内。

在本实施例中，采用Adaboost机器学习算法实现对图像识别码的检测，在其他实施方式中，也可以选用其他的机器学习算法，例如：支持向量机（SupportVector Machine，简称SVM）算法。机器学习本质上就是一种对问题真实模型的逼近。支持向量机方法根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以求获得最好的推广能力。支持向量机是一种新的非常有潜力的分类技术，是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。当然，在其他实施方式中，也可以采用不同于Adaboost算法或SVM算法的其他算法，只要能够实现检测图像识别码的功能即可。

作为一种可选的实施方式，如果本申请所述方法的执行是由一个后台运行的线程自动触发的，那么在本步骤中可以将检测出的图像识别码区域采用高亮或者添加边框的方式突出显示，并提示用户是否需要读取所述图像识别码的内容，并根据用户反馈决定是否执行后续的解析操作。

步骤103：解析所述图像识别码区域中的图像，获取所述图像识别码的内容。

通过上面的步骤101和102，已经检测出了宿主设备显示图像中存在的图像识别码，在本步骤中通过保存图像识别码、识别编码技术和码制、以及解析图像识别码等步骤获取图像识别码的内容。

首先，获取所述图像识别码区域中的图像。

通过步骤102，Adaboost分类器检测出图像识别码的同时，也定位了所述图像识别码所在的区域位置信息，在本步骤中根据所述位置信息，从步骤101获取的图像数据中截取图像识别码数据，即：从存放已获取的屏幕图像的内存中，提取出图像识别码的图像数据。

然后，识别所述图像识别码采用的编码技术和码制。

在对所述图像识别码进行解析之前，首先要识别所述图像识别码采用的编码技术和码制。根据图像识别码可能采用的各种编码技术和码制规则，逐一扫描图像识别码中的寻像图形或者其他具备类似功能的图形，根据寻像图形或者其他具备类似功能的图形的搜索结果，确定采用的编码技术和码制。

例如，在本实施例的一个具体例子中已定位的图像识别码是采用QRCode码制的二维码图像，该图像的寻像图形包括三个位置相同的位置探测图形，分别位于二维码图像的左上、右上、左下，并且其模块宽度比为1：1：3：1：1，通过在所述图像识别码中搜索到符合要求的QRCode码制的寻像图形，从而确定所述图像识别码采用的是二维码技术和QRCode码制。

最后，解析所述图像识别码，获取所述图像识别码的内容。

识别出采用的编码技术和码制后，就可以对所述图像识别码进行解析，获取其内容。在本实施例的一个具体例子中，图像识别码为采用QRCode码制的二维码，解析过程就是读取二维码图像中的编码区域中的数据。具体在实施过程中，可以调用开放的用于二维码解析的API函数，例如ZXing类库提供的MultiFormatReader类的decode()函数，或者使用其他实现相同功能的API函数。

通过上面的步骤，获取了宿主设备显示的图像识别码的内容，作为一种可选的实施方式，如果本申请所述方法的执行是由使用宿主设备的用户通过按键等方式触发的，那么在本步骤中可以将解析获取的图像识别码的内容显示在宿主设备显示屏的适当位置上，供用户阅读。

本申请提供的用于获取宿主设备显示的图像识别码的方法，通过自动检测并定位宿主设备显示图像中的图像识别码，然后解析所述图像识别码并获取其内容，能够简化现有扫描方法的操作步骤，快速、直接地获取宿主设备显示的图像识别码，从而方便用户的使用。

在上述的实施例中，提供了一种用于获取宿主设备显示的图像识别码的方法，与之相对应的，本申请还提供一种用于获取宿主设备显示的图像识别码的装置。

请参看图2，其为本申请提供的一种用于获取宿主设备显示的图像识别码的装置实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种用于获取宿主设备显示的图像识别码的装置，包括：显示图像获取单元201，用于获取宿主设备显示的图像；图像识别码定位单元202，用于检测并定位所述图像中的图像识别码区域；图像识别码解析单元203，用于解析所述图像识别码区域中的图像，获取所述图像识别码的内容。

可选的，所述图像识别码定位单元包括：

矩形检测子单元，用于检测所述图像中的矩形区域；

识别码检测子单元，用于针对所述每一个矩形区域，检测所述矩形区域中是否存在图像识别码；

识别码定位子单元，用于当所述矩形区域中存在图像识别时，定位所述图像识别码所在的区域。

可选的，所述矩形检测单元，具体用于采用Hough变换算法检测所述图像中的矩形区域。

可选的，所述识别码检测子单元包括：

特征提取子单元，用于提取所述矩形区域中的图像特征；

检测执行子单元，用于根据所述矩形区域中的图像特征，采用预先训练的Adaboost分类器判断所述矩形区域中是否存在图像识别码。

可选的，所述特征提取子单元，具体用于采用SIFT算法提取所述矩形区域中的图像的特征向量；或者，采用PCA算法提取所述矩形区域中的图像的特征向量。

可选的，所述图像识别码定位单元，具体用于采用机器学习算法检测所述图像中是否存在图像识别码，并定位所述图像识别码所在的区域。

可选的，所述图像识别码定位单元采用的机器学习算法包括：Adaboost算法或支持向量机算法。

可选的，所述显示图像获取单元，具体用于通过调用操作系统或者SDK软件开发工具包提供的接口获取所述宿主设备显示的图像；或者，

通过读取显卡内存中的数据获取所述宿主设备显示的图像。

可选的，所述图像识别码解析单元包括：

图像获取子单元，用于获取所述图像识别码区域中的图像；

编码技术识别子单元，用于识别所述图像识别码采用的编码技术和码制

解析子单元，用于解析所述图像识别码，获取所述图像识别码的内容。

可选的，所述装置还包括：

请求接收单元，用于接收获取所述宿主设备显示的图像识别码的请求；

相应的，所述装置还包括：

显示输出单元，用于在所述宿主设备上显示输出所述图像识别码的内容。

可选的，所述请求接收单元具体用于，

检测对所述图像识别码所在触摸屏区域的特定触摸动作，作为触发获取所述图像识别码的请求；或者，

检测对宿主设备的特定实体键或触摸屏上的特定虚拟键的触控动作，作为触发获取所述图像识别码的请求。

可选的，所述装置还包括：

图像预处理单元，用于在检测并定位所述图像中的图像识别码区域之前，对所述获取的宿主设备显示的图像进行预处理；

所述预处理包括：消除图像噪声和/或增强图像特征。

可选的，所述图像识别码包括条形码或二维码。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

Claims (23)

1.一种用于获取宿主设备显示的图像识别码的方法，其特征在于，包括：

获取宿主设备显示的图像；

检测并定位所述图像中的图像识别码区域；

解析所述图像识别码区域中的图像，获取所述图像识别码的内容。

2.根据权利要求1所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述检测并定位所述图像中的图像识别码区域包括：

检测所述图像中的矩形区域；

针对所述每一个矩形区域，检测所述矩形区域中是否存在图像识别码；

若存在，则定位所述图像识别码所在的区域。

3.根据权利要求2所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述检测所述图像中的矩形区域具体是指，采用Hough变换算法检测所述图像中的矩形区域。

4.根据权利要求2所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述检测所述矩形区域中是否存在图像识别码包括：

提取所述矩形区域中的图像特征；

根据所述矩形区域中的图像特征，采用预先训练的Adaboost分类器判断所述矩形区域中是否存在图像识别码。

5.根据权利要求4所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述提取所述矩形区域中的图像特征包括：

采用SIFT算法提取所述矩形区域中的图像的特征向量；或者，

采用PCA算法提取所述矩形区域中的图像的特征向量。

6.根据权利要求1所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述检测并定位所述图像中的图像识别码区域具体是指，采用机器学习算法检测所述图像中是否存在图像识别码，并定位所述图像识别码所在的区域。

7.根据权利要求6所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述机器学习算法包括：Adaboost算法或支持向量机算法。

8.根据权利要求1所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述获取宿主设备显示的图像包括：

通过调用操作系统或者SDK软件开发工具包提供的接口获取所述宿主设备显示的图像；或者，

通过读取显卡内存中的数据获取所述宿主设备显示的图像。

9.根据权利要求1所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述解析所述图像识别码区域中的图像，获取所述图像识别码的内容包括：

获取所述图像识别码区域中的图像；

识别所述图像识别码采用的编码技术和码制；

解析所述图像识别码，获取所述图像识别码的内容。

10.根据权利要求1所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述方法还包括：

接收获取所述宿主设备显示的图像识别码的请求；

相应的，所述方法还包括：

在所述宿主设备上显示输出所述图像识别码的内容。

11.根据权利要求10所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述接收获取所述宿主设备显示的图像识别码的请求，包括：

检测对所述图像识别码所在触摸屏区域的特定触摸动作，作为触发获取所述图像识别码的请求；或者，

检测对宿主设备的特定实体键或触摸屏上的特定虚拟键的触控动作，作为触发获取所述图像识别码的请求。

12.根据权利要求1所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述方法还包括：在检测并定位所述图像中的图像识别码区域之前，先对所述获取的宿主设备显示的图像进行预处理；

所述预处理包括：消除图像噪声和/或增强图像特征。

13.根据权利要求1-12任一所述的用于获取宿主设备显示的图像识别码的方法，其特征在于，所述图像识别码包括：条形码或二维码。

14.一种用于获取宿主设备显示的图像识别码的装置，其特征在于，包括：

显示图像获取单元，用于获取宿主设备显示的图像；

图像识别码定位单元，用于检测并定位所述图像中的图像识别码区域；

图像识别码解析单元，用于解析所述图像识别码区域中的图像，获取所述图像识别码的内容。

15.根据权利要求14所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述图像识别码定位单元包括：

矩形检测单元，用于检测所述图像中的矩形区域；

识别码检测子单元，用于针对所述每一个矩形区域，检测所述矩形区域中是否存在图像识别码；

识别码定位子单元，用于当所述矩形区域中存在图像识别时，定位所述图像识别码所在的区域。

16.根据权利要求15所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述矩形检测单元，具体用于采用Hough变换算法检测所述图像中的矩形区域。

17.根据权利要求15所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述识别码检测子单元包括：

特征提取子单元，用于提取所述矩形区域中的图像特征；

检测执行子单元，用于根据所述矩形区域中的图像特征，采用预先训练的Adaboost分类器判断所述矩形区域中是否存在图像识别码。

18.根据权利要求17所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述特征提取子单元，具体用于采用SIFT算法提取所述矩形区域中的图像的特征向量；或者，采用PCA算法提取所述矩形区域中的图像的特征向量。

19.根据权利要求14所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述图像识别码定位单元，具体用于采用Adaboost算法或支持向量机算法检测所述图像中是否存在图像识别码，并定位所述图像识别码所在的区域。

20.根据权利要求14所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述图像识别码解析单元包括：

图像获取子单元，用于获取所述图像识别码区域中的图像；

编码技术识别子单元，用于识别所述图像识别码采用的编码技术和码制

解析子单元，用于解析所述图像识别码，获取所述图像识别码的内容。

21.根据权利要求14所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述装置还包括：

请求接收单元，用于接收获取所述宿主设备显示的图像识别码的请求；

相应的，所述装置还包括：

显示输出单元，用于在所述宿主设备上显示输出所述图像识别码的内容。

22.根据权利要求21所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述请求接收单元具体用于，

检测对所述图像识别码所在触摸屏区域的特定触摸动作，作为触发获取所述图像识别码的请求；或者，

检测对宿主设备的特定实体键或触摸屏上的特定虚拟键的触控动作，作为触发获取所述图像识别码的请求。

23.根据权利要求14所述的用于获取宿主设备显示的图像识别码的装置，其特征在于，所述装置还包括：

图像预处理单元，用于在检测并定位所述图像中的图像识别码区域之前，对所述获取的宿主设备显示的图像进行预处理；所述预处理包括：消除图像噪声和/或增强图像特征。