CN110245668A - 基于图像识别的终端信息获取方法、获取装置及存储介质 - Google Patents

Abstract

本发明提供一种基于图像识别的终端信息获取方法，该方法包括：获取终端信息图像，并提取终端信息图像的图像特征；基于特征识别模型，对终端信息图像的图像特征进行识别，以获取终端信息图像对应的终端信息；根据终端信息图像对应终端的终端信息置信区间，对终端信息图像对应的终端信息的置信度进行确认；如置信度处于所述终端信息置信区间内，则输出终端信息。本发明还提供一种基于图像识别的终端信息获取装置，本发明通过方向梯度直方图统计获取终端信息图像的图像特征，并根据预设的特征识别模型以及获取的终端信息图像的图像特征获取对应的终端信息，该终端信息的获取方式简单且获取速度快。

Description

基于图像识别的终端信息获取方法、获取装置及存储介质

技术领域

本发明涉及计算机程序应用领域，特别是涉及一种基于图像识别的终端信息获取方法、获取装置及存储介质。

背景技术

原生的安卓系统是不支持双卡双待或多卡多待的，国内的手机单双卡的方案都是各芯片厂商提供的技术方案，然后各芯片厂商进行支持兼容。因此不同的芯片厂商、不同的终端或不同的终端系统版本所提供的调用方法均会不同，虽然安卓系统可通过java的反射技术来获取上述调用方法，但需要反编译并分析芯片厂商的源代码，且需要投入大量的人力对新终端进行适配检查，调用方法的获取速度较慢。

因此现有的手机终端的中多卡多待类型等终端信息的获取难度较大且获取速度较慢。

发明内容

本发明实施例提供一种终端信息获取方式简单且获取速度快的基于图像识别的终端信息获取方法、获取装置及存储介质；以解决现有的终端信息获取方法以及获取装置的终端信息的获取难度较大且获取速度较慢的技术问题。

本发明实施例提供一种基于图形识别的终端信息获取方法，其包括：

获取终端信息图像，并提取所述终端信息图像的图像特征；

基于特征识别模型，对所述终端信息图像的图像特征进行识别，以获取所述终端信息图像对应的终端信息；

根据终端信息图像对应的终端信息置信区间，对所述终端信息图像对应的终端信息的置信度进行确认；

如所述终端信息的置信度处于所述终端信息置信区间内，输出所述终端信息。

本发明实施例提供一种基于图像识别的终端信息获取装置，其包括：

图像特征提取模块，用于获取终端信息图像，并提取所述终端信息图像的图像特征；

图像特征识别模块，用于基于特征识别模型，对所述终端信息图像的图像特征进行识别，以获取所述终端信息图像对应的终端信息；

置信度确认模块，用于根据终端信息图像对应的终端信息置信区间，对所述终端信息图像对应的终端信息的置信度进行确认；

终端信息输出模块，用于如所述终端信息的置信度处于所述终端信息置信区间内，输出所述终端信息。

本发明实施例还提供一种计算机可读存储介质，存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述的终端信息获取方法。

相较于现有技术，本发明的基于图像识别的终端信息获取方法、获取装置及存储介质通过方向梯度直方图统计获取终端信息图像的图像特征，并根据预设的特征识别模型以及获取的终端信息图像的图像特征获取对应的终端信息，该终端信息的获取方式简单且获取速度快；有效的解决了现有的终端信息获取方法以及获取装置的终端信息的获取难度较大且获取速度较慢的技术问题。

附图说明

图1为本发明的基于图像识别的终端信息获取方法的实施例的流程图；

图2为本发明的基于图像识别的终端信息获取方法中特征识别模型的获取流程图；

图3为本发明的基于图像识别的终端信息获取方法中特征识别模型的获取流程的步骤S201的流程图；

图4为本发明的基于图像识别的终端信息获取装置的实施例的结构示意图；

图5为本发明的基于图像识别的终端信息获取装置的实施例的修正模块的结构示意图；

图6为本发明的基于图像识别的终端信息获取装置的实施例的图像特征提取模块的结构示意图；

图7为本发明的基于图像识别的终端信息获取装置中用于获取特征识别模型的部分结构示意图；

图8为本发明的基于图像识别的终端信息获取装置的归一化处理模块的结构示意图；

图9为本发明的基于图像识别的终端信息获取装置的归一化处理模块的背景灰阶确定单元的结构示意图；

图10为本发明的基于图像识别的终端信息获取方法以及终端信息获取装置的具体实施例的结构示意图；

图11为本发明的基于图像识别的终端信息获取方法以及终端信息获取装置的具体实施例的特征识别模型的获取流程图；

图12为本发明的基于图像识别的终端信息获取方法以及终端信息获取装置的具体实施例的终端信息的获取流程图；

图13为本发明的基于图像识别的终端信息获取装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的基于图像识别的终端信息获取方法及终端信息获取装置可设置在任何的电子设备中，用于根据终端信息图像以及对应的特征识别模型获取对应的终端信息。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为移动终端，以便用户对该移动终端中多卡多待类型等终端信息进行快速准确的获取操作。

请参照图1，图1为本发明的基于图像识别的终端信息获取方法的实施例的流程图；本实施例的终端信息获取方法可使用上述的电子设备进行实施，本实施例的终端信息获取方法包括：

步骤S101，获取终端信息图像，并提取终端信息图像的图像特征；

步骤S102，基于特征识别模型，对终端信息图像的图像特征进行识别，以获取终端信息图像对应的终端信息；

步骤S103，根据终端信息图像对应的终端信息置信区间，对终端信息图像对应的终端信息的置信度进行确认；

步骤S104，判断置信度是否处于终端信息置信区间内，如置信度处于终端信息置信区间内，则转到步骤S105；如置信度未处于终端信息置信区间内，则转到步骤S106；

步骤S105，输出终端信息；

步骤S106，根据置信度与终端信息置信区间的位置关系，对特征识别模型的识别粒度进行修正，并返回步骤S101，直至特征识别模型的识别粒度最大或最小。

下面详细说明本实施例的基于图像识别的终端信息获取方法的终端信息获取流程。

在步骤S101中，终端信息获取装置(移动终端)获取终端信息图像，该终端信息图像为终端屏幕显示的包含终端信息的图像。随后终端信息获取装置对终端信息图像进行图像特征提取，以获取终端信息图像的图像特征。

如对终端屏幕截图后，计算当前终端屏幕截图的视图高度，从而计算出屏幕截图中状态栏的实际高度，并对屏幕截图进行裁剪操作，即获取屏幕截图中状态栏部分的图案作为终端信息图像。

具体的，这里采用特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征以及单元尺寸特征，对终端信息图像进行方向梯度直方图统计(HOG，Histogram of Oriented Gradient)，以获取终端信息图像的图像特征。

这里可将终端信息图像划分为多个单元(使用单元中像素的梯度方向作为单元特征)，然后多个相邻的单元组成一个检测块，如2*2个单元组成的检测块或4*4个单元组成的检测块。随后使用设定尺寸(如16*32)的检测窗口对由检测块构成的终端信息图像进行步进扫描(每次横向移动一个单元的距离)。

当检测窗口对终端信息图像的某个区域进行特征统计时，会得到该区域中每个检测块的每个单元的多维特征向量；然后同一检测块中的所有单元的多维特征向量组成检测块的多维特征向量；随后对检测窗口中的所有检测块的多维特征向量串联起来，得到该检测窗口对应的多维特征向量；最后将通过步进扫描得到的多个检测窗口对应的多维特征向量，并将该检测窗口对应的多维特征向量作为终端信息图像的图像特征。

因此上述检测窗口尺寸特征为进行方向梯度直方图统计的检测窗口的尺寸参数，上述检测块尺寸特征为终端信息图像中的检测块的尺寸参数，上述检测移动步长特征为检测窗口步进扫描的步进参数，上述单元尺寸特征为终端信息图像中的单元的尺寸参数。

此外，如采用特征识别模型还具有图像缩放特征，则终端信息获取装置可先使用图像缩放特征对终端信息图像进行缩小操作；随后再采用特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征以及单元尺寸特征，对缩小操作后的终端信息图像进行方向梯度直方图统计，以获取终端信息图像的图像特征。

在步骤S102中，终端信息获取装置获取步骤S101中图像特征对应的特征识别模型，该特征识别模型可为由检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征、单元尺寸特征以及特征识别模型框架构成的计算模型，每个特征识别模型都会对应至少一种终端信息，如终端的多卡多待类型信息等。如步骤S101获取的图像特征与特征识别模型输出的图像特征一致，则认为该特征识别模型对应的终端信息为该终端信息图像对应的终端信息。

如特征识别模型A对应移动SIM卡信息，特征识别模型B对应联通SIM 卡信息，特征识别模型C对应电信SIM卡信息；如步骤S101获取的终端信息图像的图像特征同时满足上述特征识别模型A、特征识别模型B以及特征识别模型C输出的图像特征，则认为该终端信息图像同时具备移动SIM卡、联通 SIM卡以及电信SIM卡，并可根据步骤S101获取的终端信息图像的图像特征的数量，来判断各种类型的SIM卡的数量。

在步骤S103中，由于步骤S102获取的终端信息可能会发生错误，因此在本实施例中会使用终端信息置信区间对步骤S102获取的终端信息进行检测。

这样终端信息获取装置会根据终端的应用进程信息、终端型号信息、系统版本信息以及网络信息，确定终端的终端信息置信区间。

这里的应用进程信息为可反馈终端信息的终端应用进程的信息，如终端中的某个应用通过移动网络进行过网络交互、或在应用程序进程存活期间检测到用户存在电话记录等，则说明该终端至少具有一个有效的SIM卡。这里的网络信息为反馈终端的移动网络信号的信息，如终端具有过移动网络信号，则说明该终端至少具有一个有效的SIM卡。这里的系统版本信息为反馈终端系统版本的移动网络支持情况的信息，如该终端的系统版本仅支持双卡双待，则说明该终端至多具有两个有效的SIM卡。这里的终端型号信息为反馈终端硬件版本的移动网络支持情况的信息，如该终端的硬件版本仅支持双卡双待，则说明该终端至多具有两个有效的SIM卡。这样可根据终端的上述应用进程信息、终端型号信息、系统版本信息以及网络信息，确定终端的SIM数量信息区间为SIM卡数量最小值至SIM卡数量最大值(如1至3等)。

随后终端信息获取装置会根据终端信息图像对应终端的终端信息置信区间，对步骤S102获取的终端信息图像对应的终端信息的置信度进行确认。

在步骤S104中，终端信息获取装置判断终端图像对应的终端信息的置信度是否处于对应终端的终端信息置信区间内，如置信度处于终端信息置信区间内，则转到步骤S105，如置信度未处于终端信息置信区间内，则转到步骤S106。

在步骤S105中，由于终端信息的置信度处于对应终端的终端信息置信区间内，则说明步骤S102获取的终端信息图像对应的终端信息准确，因此终端信息获取装置将该终端信息直接输出。

在步骤S106中，由于终端信息的置信度未处于对应终端的终端信息置信区间内，说明步骤S102获取的终端信息图像对应的终端信息错误，因此终端信息获取装置根据置信度和终端信息置信区间的位置关系，对步骤S101和步骤S102 中的特征识别模型的识别粒度进行修正，并返回步骤S101，直至特征识别模型的识别粒度最大或最小。

具体的，可通过对特征识别模型中的检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征以及单元尺寸特征进行修正，以完成对特征识别模型的识别粒度的修正。

当检测窗口尺寸特征、检测块尺寸特征以及检测移动步长特征不变时，单元尺寸特征越小，特征识别模型的识别粒度越小，单元尺寸特征越大，特征识别模型的识别粒度越大。

当检测块尺寸特征、检测移动步长特征以及单元尺寸特征不变时，检测窗口尺寸特征越小，特征识别模型的识别粒度越小，检测窗口尺寸特征越大，特征识别模型的识别粒度越大。

当检测窗口尺寸特征、检测移动步长特征以及单元尺寸特征不变时，检测块尺寸特征越小，特征识别模型的识别粒度越小，检测块尺寸特征越大，特征识别模型的识别粒度越大。

当检测窗口尺寸特征、检测块尺寸特征以及单元尺寸特征不变时，检测移动步长特征越小，特征识别模型的识别粒度越小，检测移动步长特征越大，特征识别模型的识别粒度越大。

终端信息获取装置根据置信度和终端信息置信区间的位置关系，对特征识别模型的识别粒度进行修正的过程包括：

终端信息获取装置判断置信度是否小于终端信息置信区间的最小值，如置信度小于终端信息置信区间的最小值，继续判断最近一次修正操作是否为增大特征识别模型的识别粒度；如最近一次修正操作为增大特征识别模型的识别粒度，则说明终端信息图像对应的终端信息的置信度已无法处于终端信息图像对应终端的终端信息置信区间内，确定输出终端信息异常；如最近一次修正操作为缩小特征识别模型的识别粒度，则继续缩小特征识别模型的识别粒度，以使得终端信息图像对应的终端信息的置信度处于终端信息图像对应终端的终端信息置信区间内。

如置信度不是小于终端信息置信区间的最小值，则置信度大于终端信息置信区间的最大值，继续判断最近一次修正操作是否为缩小特征识别模型的识别粒度；如最近一次修正操作为缩小特征识别模型的识别粒度，则说明终端信息图像对应的终端信息的置信度已无法处于终端信息图像对应终端的终端信息置信区间内，确定输出终端信息异常；如最近一次修正操作为增大特征识别模型的识别粒度，则继续增大特征识别模型的识别粒度，以使得终端信息图像对应的终端信息的置信度处于终端信息图像对应终端的终端信息置信区间内。

如特征识别模型的识别粒度已经最大或最小了，且置信度未处于终端信息置信区间内，则说明终端信息图像对应的终端信息的置信度已无法处于终端信息图像对应终端的终端信息置信区间内，因此确定输出终端信息异常。

这样即完成了本实施例的终端信息获取方法的终端信息的终端信息获取过程。

本实施例的基于图像识别的终端信息获取方法通过方向梯度直方图统计获取终端信息图像的图像特征，并根据预设的特征识别模型以及获取的终端信息图像的图像特征获取对应的终端信息，该终端信息的获取方式简单且获取速度快。

请参照图2，图2为本发明的基于图像识别的终端信息获取方法中特征识别模型的获取流程图。本实施例的终端信息获取方法可使用上述的电子设备进行实施，本实施例的特征识别模型的获取流程包括：

步骤S201，获取终端信息样本图像，并对终端信息样本图像进行归一化处理，其中终端信息样本图像包括正负样本信息；

步骤S202，对归一化处理的终端信息样本图像进行方向梯度直方图统计，以获取归一化处理的终端信息样本图像的图像特征；

步骤S203，基于特征识别模型框架，使用归一化处理的终端信息样本图像的图像特征以及终端信息样本图像的正负样本信息进行模型训练，以得到特征识别模型。

下面详细说明本实施例的终端信息获取方法的特征识别模型的获取流程。

在步骤S201中，终端信息获取装置获取终端信息样本图像，这里的终端信息样本图像为包含终端信息的正负样本信息，如需要获取终端的多卡多待类型信息，可将具有移动网络图样的终端信息样本图像作为正样本信息，将不具有移动网络图样的终端信息样本图像作为负样本信息。

随后终端信息获取装置对获取终端信息样本图像进行归一化处理。具体请参照图3，图3为本发明的基于图像识别的终端信息获取方法中特征识别模型的获取流程的步骤S201的流程图。该步骤S201包括：

步骤S301，终端信息获取装置对获取的终端信息样本图像进行二值化操作，以确定终端信息样本图像的图像轮廓灰阶。

由于特征识别模型中并不需要包括对应图像的颜色光照等信息，只需要判定对应图像的形状、轮廓，而不同手机厂商的手机图像的设计风格不同、每个用户设置的界面风格以及背景风格不同，为了消除上述因素对特征识别模型的创建带来的影响，这里需要对所有的终端信息样本图像进行灰度二值化操作，以确定终端信息样本图像的图像轮廓灰阶。

这里可以使用“类间差异最大”的方式来确定终端信息样本图像的图像轮廓灰阶，具体可通过以下公式确定终端信息样本图像的图像轮廓灰阶：

n＝n1+n2；

w1＝n1/n；

w2＝n2/n；

diff＝max[w1*w2*(μ1-μ2)²]；

其中diff为终端信息样本图像的图形轮廓灰阶；n为所述终端信息样本图像的像素总数量；n1为灰阶值小于diff的像素数量；n2为灰阶值大于等于diff 的像素数量，μ1为灰阶值小于diff的像素的灰阶平均值，μ2为灰阶值大于等于 diff的像素的灰阶平均值。

这里可采用穷举法将终端信息样本图像的所有灰阶从最低值到最高值依次取一遍，分别代入到上面的公式，从而求得diff的最大值的最优解。

这样可按图像轮廓灰阶将终端信息样本图像转换为黑白图像，即大于等于图形轮廓灰阶的图像区域为白色，小于图像轮廓灰阶的图像区域为黑色。

步骤S302，由于上述二值化操作后可能会出现白底黑图或黑底白图，因此这里需要确定终端信息样本图像的背景灰阶，以对终端信息样本图像进行归一化处理。

终端信息获取装置通过对终端信息样本图像进行边缘区域的像素点灰阶采样，确定终端信息样本图像的背景灰阶。

首先终端信息获取装置获取终端信息样本图像的四个顶点边缘区域中随机像素的灰阶值。这里的顶点边缘区域可为终端信息样本图像四个顶点位置划定的固定区域，如长度为终端信息样本图像的长度10％，宽度也为终端信息样本图像宽度的10％的矩形区域等。这里的随机像素为在顶点边缘区域中随机选取的像素，随机像素的数量可人为进行设定。由于终端信息样本图像的边缘可能会出现非背景灰阶像素构成的图像边框，因此这里通过在顶点边缘区域随机挑选像素来确定顶点边缘区域的背景灰阶，以降低上述非背景灰阶像素构成的图像边框对顶点边缘区域的背景灰阶的影响。

随后终端信息获取装置根据顶点边缘区域的随机像素的灰阶值，确定顶点边缘区域的背景灰阶，即确定四个顶点边缘区域的背景灰阶。

最后终端信息获取装置根据四个顶点边缘区域的背景灰阶，确定终端信息样本图像的背景灰阶。即判断某一具有相同背景灰阶的顶点边缘区域的最大区域数量是否大于其他具有相同背景灰阶的顶点边缘区域的最大区域数量；如白色背景灰阶的顶点边缘区域的最大区域数量大于黑色背景灰阶的顶点边缘区域的最大区域数量，则将白色背景灰阶设置为终端信息样本图像的背景灰阶；如黑色背景灰阶的顶点边缘区域的最大区域数量大于白色背景灰阶的顶点边缘区域的最大区域数量，则将黑色背景灰阶设置为终端信息样本图像的背景灰阶；如白色背景灰阶的顶点边缘区域的最大区域数量等于黑色背景灰阶的顶点边缘区域的最大区域数量，即黑色背景和白色背景的顶点边缘区域的数量相同，则增加所有的顶点边缘区域中随机像素的数量，如从每个顶点边缘区域随机选取4个随机像素增加到每个顶点边缘区域随机选取9个随机像素，随后返回获取终端信息样本图像的四个顶点边缘区域中随机像素的灰阶值的步骤。

这样可以避免某一个顶点或区域的特殊点、线的噪音，导致终端信息样本图像的背景灰阶判断出错，提高了容错能力。

具体可通过以下公式确定终端信息样本图像的背景灰阶：

其中公式(1)中的P_ij表示第i个顶点边缘区域的第j个像素点的灰阶值， PH表示灰阶常量127.5，即白色像素值255与黑色像素值0之差的一半。n表示顶点边缘区域中随机像素的数量，f(i)为顶点边缘区域的归一化灰阶值。

其中公式(2)的作用是对f(i)的值进行转换，g(i)是对顶点边缘区域的灰阶值进行设定，1表示白色，-1表示黑色，0表示一样多。

其中公式(3)的作用是将各个顶点边缘区域的灰阶值g(i)进行累加，若结果大于1，则表示是白底；若结果是-1，则表示是黑底；如结果是0，则黑色背景和白色背景的顶点边缘区域的数量相同。

步骤S303，终端信息获取装置根据步骤S302获取的终端信息样本图像的背景灰阶以及步骤S301获取的终端信息样本图像的图像轮廓灰阶，对终端信息样本图像进行归一化处理。即将终端信息样本图像转换为统一的白底黑图或黑底白图。

在步骤S202中，终端信息获取装置对步骤S201归一化处理后的终端信息样本图像进行方向梯度直方图统计，以获取对归一化处理的终端信息样本图像的图像特征。

具体的，终端信息获取装置使用设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸，对归一化的终端信息样本图像进行方向梯度直方图统计，以获取归一化处理的终端信息样本图像的图像特征；该图像特征包括检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征的四元图像特征组。

在步骤S203中，终端信息获取装置基于特征识别模型框架，使用归一化处理的终端信息样本图像的图像特征以及终端信息样本图像的正负样本信息进行模型训练，以得到特征识别模型。

具体的，终端信息获取装置可根据设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸对应的特征识别模型框架，使用步骤 S202获取的归一化处理的终端信息样本图像的图像特征以及终端信息样本图像的正负样本信息进行模型训练，以得到对应的特征识别模型。

这里可按设定单元尺寸将终端信息样本图像划分为多个单元，然后按设定检测块尺寸将多个相邻的单元组成一个检测块，随后使用设定检测窗口尺寸的检测窗口对由检测块构成的终端信息样本图像进行步进扫描(按设定检测窗口移动步长)，随后记录每次扫描的检测窗口获得的图像特征，最后由上述图像特征结果和特征识别模型框架构成对应的特征识别模型，该具体的特征识别模型为：

M＝(Gra，V)；

其中M为图像特征，Gra为四元图像特征组，V为特征识别模型框架。

此外，这里还可根据设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸对应的特征识别模型框架，使用步骤S202获取的归一化处理的终端信息样本图像的图像特征、图像缩放特征以及终端信息样本图像的正负样本信息进行模型训练，以得到对应的特征识别模型。

具体的特征识别模型为：

M＝(Gra，V，Sca)；

其中M为图像特征，Gra为四元图像特征组，V为特征识别模型框架，Sca 为图像缩放特征。

这里可通过图像缩放特征Sca对终端信息样本图像进行缩放操作，以对特征识别模型的识别粒度进行改变。图像缩放特征Sca即为终端信息样本图像的缩小倍数，该图像缩放特征Sca应大于1，图像缩放特征Sca越接近1，特征识别模型的识别粒度越小。

这样即完成了本实施例的终端信息获取方法中特征识别模型的获取流程。

本实施例的终端信息获取方法通过方向梯度直方图统计获取终端信息样本图像的图像特征，并根据上述终端信息样本图像的图像特征建立对应的特征识别模型，该特征识别模型创建流程简单，且特征识别模型的准确度也较高。

本发明还提供一种基于图像识别的终端信息获取装置，请参照图4，图4 为本发明的基于图像识别的终端信息获取装置的实施例的结构示意图。本实施例的基于图像识别的终端信息获取装置可使用上述的终端信息获取方法的实施例进行实施，本实施例的终端信息获取装置40包括图像特征提取模块41、图像特征识别模块42、置信度确认模块43、终端信息输出模块44、修正模块45 以及终端信息置信区间确定模块46。

图像特征提取模块41用于获取终端信息图像，并提取终端信息图像的图像特征；图像特征识别模块42用于基于特征识别模型，对终端信息图像的图像特征进行识别，以获取终端信息图像对应的终端信息；置信度确认模块43用于根据终端信息图像对应的终端信息置信区间，对终端信息图像对应的终端信息的置信度进行确认；终端信息输出模块44用于如置信度处于终端信息置信区间内，则输出终端信息；修正模块45用于如置信度未处于终端信息置信区间内，则根据置信度与终端信息置信区间的位置关系，对特征识别模型的识别粒度进行修正，并返回到图像特征提取的步骤，直至特征识别模型的识别粒度最大或最小；终端信息置信区间确定模块46用于根据终端的应用进程信息、终端型号信息、系统版本信息以及网络信息，确定终端的终端信息置信区间。

请参照图5，图5为本发明的基于图像识别的终端信息获取装置的实施例的修正模块的结构示意图。该修正模块45包括识别粒度缩小单元51、识别粒度增大单元52以及异常输出单元53。

识别粒度缩小单元51用于如置信度小于终端信息置信区间的最小值，则缩小特征识别模型的识别粒度；识别粒度增大单元52用于如置信度大于终端信息置信区间的最大值，则增大特征识别模型的识别粒度；异常输出单元53用于如置信度小于终端信息置信区间的最小值，且最近一次修正操作为增大特征识别模型的识别粒度，则输出终端信息异常；如置信度大于终端信息置信区间的最大值，且最近一次修正操作为缩小所述特征识别模型的识别粒度，则输出终端信息异常；如特征识别模型的识别粒度最大或最小，且置信度未处于终端信息置信区间内，则输出终端信息异常。

请参照图6，图6为本发明的基于图像识别的终端信息获取装置的实施例的图像特征提取模块的结构示意图。该图像特征提取模块41包括终端信息图像缩小单元61以及图像特征提取单元62。

终端信息图像缩小单元61用于使用图像缩放特征对终端信息图像进行缩小操作；图像特征提取单元62用于根据特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征，对缩小操作后的终端信息图像进行图像特征提取，以获取终端信息的图像特征。

本实施例的基于图像识别的终端信息获取装置40使用时，首先图像特征提取模块41获取终端信息图像，该终端信息图像为终端屏幕显示的包含终端信息的图像。随后图像特征提取模块41对终端信息图像进行图像特征提取，以获取终端信息图像的图像特征。

如图像特征提取模块对终端屏幕截图后，计算当前终端屏幕截图的视图高度，从而计算出屏幕截图中状态栏的实际高度，并对屏幕截图进行裁剪操作，即获取屏幕截图中状态栏部分的图案作为终端信息图像。

具体的，这里图像特征提取模块41采用特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征以及单元尺寸特征，对终端信息图像进行方向梯度直方图统计(HOG，Histogram of Oriented Gradient)，以获取终端信息图像的图像特征。

这里可将终端信息图像划分为多个单元(使用单元中像素的梯度方向作为单元特征)，然后多个相邻的单元组成一个检测块，如2*2个单元组成的检测块或4*4个单元组成的检测块。随后使用设定尺寸(如16*32)的检测窗口对由检测块构成的终端信息图像进行步进扫描(每次横向移动一个单元的距离)。

当检测窗口对终端信息图像的某个区域进行特征统计时，会得到该区域中每个检测块的每个单元的多维特征向量；然后同一检测块中的所有单元的多维特征向量组成检测块的多维特征向量；随后对检测窗口中的所有检测块的多维特征向量串联起来，得到该检测窗口对应的多维特征向量；最后将通过步进扫描得到的多个检测窗口对应的多维特征向量，并将该检测窗口对应的多维特征向量作为终端信息图像的图像特征。

因此上述检测窗口尺寸特征为进行方向梯度直方图统计的检测窗口的尺寸参数，上述检测块尺寸特征为终端信息图像中的检测块的尺寸参数，上述检测移动步长特征为检测窗口步进扫描的步进参数，上述单元尺寸特征为终端信息图像中的单元的尺寸参数。

此外，如采用特征识别模型还具有图像缩放特征，则图像特征提取模块41 的终端信息图像缩小单元61可先使用图像缩放特征对终端信息图像进行缩小操作；随后图像特征提取模块41的图像特征提取单元62再采用特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征以及单元尺寸特征，对缩小操作后的终端信息图像进行方向梯度直方图统计，以获取终端信息图像的图像特征。

随后图像特征识别模块42获取图像特征对应的特征识别模型，并基于该特征识别模型，对终端信息图像的图像特征进行识别。该特征识别模型可为由检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征、单元尺寸特征以及特征识别模型框架构成的计算模型，每个特征识别模型都会对应至少一种终端信息，如终端的多卡多待类型信息等。如获取的图像特征与特征识别模型输出的图像特征一致，则认为该特征识别模型对应的终端信息为该终端信息图像对应的终端信息，从而获取该终端信息图像对应的终端信息。

如特征识别模型A对应移动SIM卡信息，特征识别模型B对应联通SIM 卡信息，特征识别模型C对应电信SIM卡信息；如获取的终端信息图像的图像特征同时满足上述特征识别模型A、特征识别模型B以及特征识别模型C输出的图像特征，则认为该终端信息图像同时具备移动SIM卡、联通SIM卡以及电信SIM卡，并可根据获取的终端信息图像的图像特征的数量，来判断各种类型的SIM卡的数量。

然后由于图像特征识别模块42获取的终端信息可能会发生错误，因此在本实施例中会使用终端信息置信区间对图像特征识别模块获取的终端信息进行检测。

这样终端信息置信区间确定模块46会根据终端的应用进程信息、终端型号信息、系统版本信息以及网络信息，确定终端的终端信息置信区间。

这里的应用进程信息为可反馈终端信息的终端应用进程的信息，如终端中的某个应用通过移动网络进行过网络交互、或在应用程序进程存活期间检测到用户存在电话记录等，则说明该终端至少具有一个有效的SIM卡。这里的网络信息为反馈终端的移动网络信号的信息，如终端具有过移动网络信号，则说明该终端至少具有一个有效的SIM卡。这里的系统版本信息为反馈终端系统版本的移动网络支持情况的信息，如该终端的系统版本仅支持双卡双待，则说明该终端至多具有两个有效的SIM卡。这里的终端型号信息为反馈终端硬件版本的移动网络支持情况的信息，如该终端的硬件版本仅支持双卡双待，则说明该终端至多具有两个有效的SIM卡。这样可根据终端的上述应用进程信息、终端型号信息、系统版本信息以及网络信息，确定终端的SIM数量信息区间为SIM卡数量最小值至SIM卡数量最大值(如1至3等)。

随后置信度确认模块43会根据终端信息图像对应终端的终端信息置信区间，对图像特征识别模块获取的终端信息图像对应的终端信息的置信度进行确认。

然后置信度确认模块43判断终端图像对应的终端信息的置信度是否处于对应终端的终端信息置信区间内。

如终端信息的置信度处于对应终端的终端信息置信区间内，则说明图像特征识别模块42获取的终端信息图像对应的终端信息准确，因此终端信息输出模块44将该终端信息直接输出。

如终端信息的置信度未处于对应终端的终端信息置信区间内，说明图像特征识别模块42获取的终端信息图像对应的终端信息错误，因此修正模块45根据置信度和终端信息置信区间的位置关系，对图像特征提取模块41和图像特征识别模块42中的特征识别模型的识别粒度进行修正，并返回图像特征提取模块 41进行图像特征提取的操作，直至特征识别模型的识别粒度最大或最小。

具体的，修正模块45可通过对特征识别模型中的检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征以及单元尺寸特征进行修正，以完成对特征识别模型的识别粒度的修正。

当检测窗口尺寸特征、检测块尺寸特征以及检测移动步长特征不变时，单元尺寸特征越小，特征识别模型的识别粒度越小，单元尺寸特征越大，特征识别模型的识别粒度越大。

当检测块尺寸特征、检测移动步长特征以及单元尺寸特征不变时，检测窗口尺寸特征越小，特征识别模型的识别粒度越小，检测窗口尺寸特征越大，特征识别模型的识别粒度越大。

当检测窗口尺寸特征、检测移动步长特征以及单元尺寸特征不变时，检测块尺寸特征越小，特征识别模型的识别粒度越小，检测块尺寸特征越大，特征识别模型的识别粒度越大。

当检测窗口尺寸特征、检测块尺寸特征以及单元尺寸特征不变时，检测移动步长特征越小，特征识别模型的识别粒度越小，检测移动步长特征越大，特征识别模型的识别粒度越大。

修正模块45根据置信度和终端信息置信区间的位置关系，对特征识别模型的识别粒度进行修正的过程包括：

修正模块判断置信度是否小于终端信息置信区间的最小值，如置信度小于终端信息置信区间的最小值，继续判断最近一次修正操作是否为增大特征识别模型的识别粒度；如最近一次修正操作为增大特征识别模型的识别粒度，则说明终端信息图像对应的终端信息的置信度已无法处于终端信息图像对应终端的终端信息置信区间内，修正模块45的异常输出单元53确定输出终端信息异常；如最近一次修正操作为缩小特征识别模型的识别粒度，则修正模块45的识别粒度缩小单元51继续缩小特征识别模型的识别粒度，以使得终端信息图像对应的终端信息的置信度处于终端信息图像对应终端的终端信息置信区间内。

如置信度不是小于终端信息置信区间的最小值，则置信度大于终端信息置信区间的最大值，继续判断最近一次修正操作是否为缩小特征识别模型的识别粒度；如最近一次修正操作为缩小特征识别模型的识别粒度，则说明终端信息图像对应的终端信息的置信度已无法处于终端信息图像对应终端的终端信息置信区间内，确定修正模块45的异常输出单元53输出终端信息异常；如最近一次修正操作为增大特征识别模型的识别粒度，则修正模块45的识别粒度增大单元52继续增大特征识别模型的识别粒度，以使得终端信息图像对应的终端信息的置信度处于终端信息图像对应终端的终端信息置信区间内。

如特征识别模型的识别粒度已经最大或最小了，且置信度未处于终端信息置信区间内，则说明终端信息图像对应的终端信息的置信度已无法处于终端信息图像对应终端的终端信息置信区间内，因此确定修正模块45的异常输出单元 53输出终端信息异常。

这样即完成了本实施例的终端信息获取装置40的终端信息的终端信息获取过程。

本实施例的基于图像识别的终端信息获取装置通过方向梯度直方图统计获取终端信息图像的图像特征，并根据预设的特征识别模型以及获取的终端信息图像的图像特征获取对应的终端信息，该终端信息的获取方式简单且获取速度快。

请参照图7，图7为本发明的基于图像识别的终端信息获取装置中用于获取特征识别模型的部分结构示意图。该终端信息获取装置70还包括归一化处理模块71、图像特征获取模块72以及模型训练模块73。

归一化处理模块71用于获取终端信息样本图像，并对终端信息样本图像进行归一化处理，其中终端信息样本图像包括正负样本信息；图像特征获取模块 72用于对归一化处理的终端信息样本图像进行方向梯度直方图统计，以获取归一化处理的终端信息样本图像的图像特征；模型训练模块73用于基于特征识别模型框架，使用归一化处理的终端信息样本图像的图像特征以及终端信息样本图像的正负样本信息进行模型训练，以得到特征识别模型。

请参照图8，图8为本发明的基于图像识别的终端信息获取装置的归一化处理模块的结构示意图。该归一化处理模块71包括二值化操作单元81、背景灰阶确定单元82以及归一化处理单元83。

二值化操作单元81用于对终端信息样本图像进行二值化操作，以确定终端信息样本图像的图像轮廓灰阶；背景灰阶确定单元82用于通过对终端信息样本图像进行边缘区域的像素点灰阶采样，确定终端信息样本图像的背景灰阶；归一化处理单元83用于根据终端信息样本图像的背景灰阶以及终端信息样本图像的图像轮廓灰阶，对终端信息样本图像进行归一化处理。

请参照图9，图9为本发明的基于图像识别的终端信息获取装置的归一化处理模块的背景灰阶确定单元的结构示意图。该背景灰阶确定单元82包括采样区域像素灰阶值获取子单元91、采样区域背景灰阶确定子单元92以及背景灰阶确定子单元93。

采样区域像素灰阶值获取子单元91用于获取终端信息样本图像的四个顶点边缘区域中随机像素的灰阶值；采样区域背景灰阶确定子单元92用于根据顶点边缘区域的随机像素的灰阶值，确定顶点边缘区域的背景灰阶；背景灰阶确定子单元93用于根据四个顶点边缘区域的背景灰阶，确定终端信息样本图像的背景灰阶。

本实施例的终端信息获取装置70获取特征识别模型的流程包括：

归一化处理模块71获取终端信息样本图像，这里的终端信息样本图像为包含终端信息的正负样本信息，如需要获取终端的多卡多待类型信息，可将具有移动网络图样的终端信息样本图像作为正样本信息，将不具有移动网络图样的终端信息样本图像作为负样本信息。

随后归一化处理模块71对获取终端信息样本图像进行归一化处理。具体包括：

归一化处理模块71的二值化操作单元81对获取的终端信息样本图像进行二值化操作，以确定终端信息样本图像的图像轮廓灰阶。

由于特征识别模型中并不需要包括对应图像的颜色光照等信息，只需要判定对应图像的形状、轮廓，而不同手机厂商的手机图像的设计风格不同、每个用户设置的界面风格以及背景风格不同，为了消除上述因素对特征识别模型的创建带来的影响，这里需要对所有的终端信息样本图像进行灰度二值化操作，以确定终端信息样本图像的图像轮廓灰阶。

这里可以使用“类间差异最大”的方式来确定终端信息样本图像的图像轮廓灰阶，具体可通过以下公式确定终端信息样本图像的图像轮廓灰阶：

n＝n1+n2；

w1＝n1/n；

w2＝n2/n；

diff＝max[w1*w2*(μ1-μ2)²]；

其中diff为终端信息样本图像的图形轮廓灰阶；n为所述终端信息样本图像的像素总数量；n1为灰阶值小于diff的像素数量；n2为灰阶值大于等于diff 的像素数量，μ1为灰阶值小于diff的像素的灰阶平均值，μ2为灰阶值大于等于 diff的像素的灰阶平均值。

这里可采用穷举法将终端信息样本图像的所有灰阶从最低值到最高值依次取一遍，分别代入到上面的公式，从而求得diff的最大值的最优解。

这样可按图像轮廓灰阶将终端信息样本图像转换为黑白图像，即大于等于图形轮廓灰阶的图像区域为白色，小于图像轮廓灰阶的图像区域为黑色。

由于上述二值化操作后可能会出现白底黑图或黑底白图，因此这里需要确定终端信息样本图像的背景灰阶，以对终端信息样本图像进行归一化处理。

归一化处理模块71的背景灰阶确定单元82通过对终端信息样本图像进行边缘区域的像素点灰阶采样，确定终端信息样本图像的背景灰阶。

首先背景灰阶确定单元82的采样区域像素灰阶值获取子单元91获取终端信息样本图像的四个顶点边缘区域中随机像素的灰阶值。这里的顶点边缘区域可为终端信息样本图像四个顶点位置划定的固定区域，如长度为终端信息样本图像的长度10％，宽度也为终端信息样本图像宽度的10％的矩形区域等。这里的随机像素为在顶点边缘区域中随机选取的像素，随机像素的数量可人为进行设定。由于终端信息样本图像的边缘可能会出现非背景灰阶像素构成的图像边框，因此这里通过在顶点边缘区域随机挑选像素来确定顶点边缘区域的背景灰阶，以降低上述非背景灰阶像素构成的图像边框对顶点边缘区域的背景灰阶的影响。

随后背景灰阶确定单元82的采样区域背景灰阶确定子单元92根据顶点边缘区域的随机像素的灰阶值，确定顶点边缘区域的背景灰阶，即确定四个顶点边缘区域的背景灰阶。

最后背景灰阶确定单元82的背景灰阶确定子单元93根据四个顶点边缘区域的背景灰阶，确定终端信息样本图像的背景灰阶。即判断某一具有相同背景灰阶的顶点边缘区域的最大区域数量是否大于其他具有相同背景灰阶的顶点边缘区域的最大区域数量；如白色背景灰阶的顶点边缘区域的最大区域数量大于黑色背景灰阶的顶点边缘区域的最大区域数量，则将白色背景灰阶设置为终端信息样本图像的背景灰阶；如黑色背景灰阶的顶点边缘区域的最大区域数量大于白色背景灰阶的顶点边缘区域的最大区域数量，则将黑色背景灰阶设置为终端信息样本图像的背景灰阶；如白色背景灰阶的顶点边缘区域的最大区域数量等于黑色背景灰阶的顶点边缘区域的最大区域数量，即黑色背景和白色背景的顶点边缘区域的数量相同，则增加所有的顶点边缘区域中随机像素的数量，如从每个顶点边缘区域随机选取4个随机像素增加到每个顶点边缘区域随机选取 9个随机像素，随后返回获取终端信息样本图像的四个顶点边缘区域中随机像素的灰阶值的步骤。

这样可以避免某一个顶点或区域的特殊点、线的噪音，导致终端信息样本图像的背景灰阶判断出错，提高了容错能力。

具体可通过以下公式确定终端信息样本图像的背景灰阶：

其中公式(1)中的P_ij表示第i个顶点边缘区域的第j个像素点的灰阶值， PH表示灰阶常量127.5，即白色像素值255与黑色像素值0之差的一半。n表示顶点边缘区域中随机像素的数量，f(i)为顶点边缘区域的归一化灰阶值。

其中公式(2)的作用是对f(i)的值进行转换，g(i)是对顶点边缘区域的灰阶值进行设定，1表示白色，-1表示黑色，0表示一样多。

其中公式(3)的作用是将各个顶点边缘区域的灰阶值g(i)进行累加，若结果大于1，则表示是白底；若结果是-1，则表示是黑底；如结果是0，则黑色背景和白色背景的顶点边缘区域的数量相同。

归一化处理模块71的归一化处理单元83根据背景灰阶确定单元82获取的终端信息样本图像的背景灰阶以及二值化操作单元81获取的终端信息样本图像的图像轮廓灰阶，对终端信息样本图像进行归一化处理。即将终端信息样本图像转换为统一的白底黑图或黑底白图。

图像特征获取模块72对归一化处理模块71归一化处理后的终端信息样本图像进行方向梯度直方图统计，以获取对归一化处理的终端信息样本图像的图像特征。

具体的，图像特征获取模块72使用设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸，对归一化的终端信息样本图像进行方向梯度直方图统计，以获取归一化处理的终端信息样本图像的图像特征；该图像特征包括检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征的四元图像特征组。

最后模型训练模块73基于特征识别模型框架，使用归一化处理的终端信息样本图像的图像特征以及终端信息样本图像的正负样本信息进行模型训练，以得到特征识别模型。

具体的，模型训练模块73可根据设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸对应的特征识别模型框架，使用图像特征获取模块获取的归一化处理的终端信息样本图像的图像特征以及终端信息样本图像的正负样本信息进行模型训练，以得到对应的特征识别模型。

这里可按设定单元尺寸将终端信息样本图像划分为多个单元，然后按设定检测块尺寸将多个相邻的单元组成一个检测块，随后使用设定检测窗口尺寸的检测窗口对由检测块构成的终端信息样本图像进行步进扫描(按设定检测窗口移动步长)，随后记录每次扫描的检测窗口获得的图像特征，最后由上述图像特征结果和特征识别模型框架构成对应的特征识别模型，该具体的特征识别模型为：

M＝(Gra，V)；

其中M为图像特征，Gra为四元图像特征组，V为特征识别模型框架。

此外，这里模型训练模块73还可根据设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸对应的特征识别模型框架，使用图像特征获取模块获取的归一化处理的终端信息样本图像的图像特征、图像缩放特征以及终端信息样本图像的正负样本信息进行模型训练，以得到对应的特征识别模型。

具体的特征识别模型为：

M＝(Gra，V，Sca)；

其中M为图像特征，Gra为四元图像特征组，V为特征识别模型框架，Sca 为图像缩放特征。

这里可通过图像缩放特征Sca对终端信息样本图像进行缩放操作，以对特征识别模型的识别粒度进行改变。图像缩放特征Sca即为终端信息样本图像的缩小倍数，该图像缩放特征Sca应大于1，图像缩放特征Sca越接近1，特征识别模型的识别粒度越小。

这样即完成了本实施例的终端信息获取装置70中特征识别模型的获取流程。

本实施例的终端信息获取装置通过方向梯度直方图统计获取终端信息样本图像的图像特征，并根据上述终端信息样本图像的图像特征建立对应的特征识别模型，该特征识别模型创建流程简单，且特征识别模型的准确度也较高。

下面通过一具体实施例说明本发明的基于图像识别的终端信息获取方法以及终端信息获取装置的工作原理。请参照图10、图11以及图12，图10为本发明的基于图像识别的终端信息获取方法以及终端信息获取装置的具体实施例的结构示意图，图11为本发明的基于图像识别的终端信息获取方法以及终端信息获取装置的具体实施例的特征识别模型的获取流程图，图12为本发明的基于图像识别的终端信息获取方法以及终端信息获取装置的具体实施例的终端信息的获取流程图。该终端信息获取装置可设置在移动客户端10B中，对应的特征识别模型获取设备可设置在后台服务器10A上。

请参照图10，该后台服务器10A包括终端信息样本图像获取模块101、图像特征获取模块102、模型训练模块103、模型下发模块104以及通信模块105。该移动客户端10B包括模型数据解析模块106、终端数据解析模块107、终端信息图像获取模块108、图像特征识别模块109、置信度确认模块110以及输出反馈模块111。

本具体实施例的后台服务器和移动客户端使用时，移动客户端获取对应的终端信息的过程包括：

首先后台服务器会获取对应的特征识别模型，包括：

步骤S1101，后台服务器10A的终端信息样本图像获取模块101获取多个终端信息样本图像，并对所有的终端信息样本图像进行归一化处理。

步骤S1102，后台服务器10A的图像特征获取模块102对归一化处理后的终端信息样本图像进行方向梯度直方图统计，以获取归一化处理的终端信息样本图像的图像特征，这里可使用不同的检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征、单元尺寸特征以及图像缩放特征对同一归一化处理的终端信息样本图像进行方向梯度直方图统计，从而获取同一终端信息样本图像的不同识别粒度的图像特征。

步骤S1103，后台服务器10A的模型训练模块103根据上述归一化处理的终端信息样本图像的图像特征以及终端信息样本图像的正负样本信息进行模型训练，以得到特征识别模型。如这里每个具有正样本信息的特征识别模型可对应至少一种类型的SIM卡在终端信息样本图像中的终端信息。

步骤S1104，后台服务器10A的模型下发模块104通过通信模块105将得到的多个不同识别粒度的特征识别模型下发至各个移动客户端。

这样即完成了本具体实施例的后台服务器10A的特征识别模型的获取流程。

随后移动客户端10B根据获取的不同识别粒度的特征识别模型，通过终端信息图像对移动客户端的终端信息进行获取，包括：

步骤S1201，移动客户端10B的终端信息图像获取模块108获取需要采集终端信息的终端信息图像。

步骤S1202，移动客户端10B的模型数据解析模块106对从后台服务器10A 接收的特征识别模型进行解析，并获取该特征识别模型输出的图像特征。

步骤S1203，移动客户端10B的图像特征识别模块109使用特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测移动步长特征、单元尺寸特征以及图像缩放特征，对终端信息图像进行方向梯度直方图统计，从而获取终端信息图像的图像特征。并将获取的终端信息图像的图像特征，与对应的特征识别模型输出的图像特征进行对比，如终端信息图像的图像特征与某个特征识别模型输出的图像特征一致，则认为特征识别模型对应的终端信息为该终端信息图像对应的终端信息。这里的每个终端信息图像的图像特征可同时对应多个特征识别模型输出的图像特征。如确定该移动客户端的终端信息图像具有三种类型的SIM卡的终端信息。

步骤S1204，移动客户端10B的终端数据解析模块107根据移动客户端的应用进程信息、终端型号信息、系统版本信息以及网络信息，确定该移动客户端的终端信息置信区间。如确定该移动客户端的终端信息的置信区间为1-4种类型的SIM卡的终端信息。

步骤S1205，移动客户端10B的置信度确认模块110判断图像特征识别模块109的终端信息图像的终端信息的置信度处于该移动客户端的终端信息置信区间内，因此移动客户端10B的输出反馈模块111将上述终端信息输出给用户，并同时将上述终端信息输出至后台服务器10A，以便对后台服务器10A中的特征识别模型进行修正。

如在步骤S1204中，确定该移动客户端10B的终端信息的置信区间为1-2 种类型的SIM卡的终端信息。则在步骤S1205中，由于移动客户端10B的置信度确认模块110判断图像特征识别模块109的终端信息图像的终端信息的置信度大于该移动客户端的终端信息置信区间，则判断特征识别模型的识别粒度过小，因此将特征识别模型的识别粒度增大后返回步骤S1202，直至特征识别模型的识别粒度最大。如特征识别模型的识别粒度最大后，该移动客户端10B的终端信息图像仍具有三种类型的SIM卡的终端信息，则判断移动客户端10B的终端信息输出异常。

这样即完成了本具体实施例的移动客户端10B的终端信息的获取流程。

本发明的基于图像识别的终端信息获取方法、获取装置及存储介质通过方向梯度直方图统计获取终端信息图像的图像特征，并根据预设的特征识别模型以及获取的终端信息图像的图像特征获取对应的终端信息，该终端信息的获取方式简单且获取速度快；有效的解决了现有的终端信息获取方法以及获取装置的终端信息的获取难度较大且获取速度较慢的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图13和随后的讨论提供了对实现本发明所述的基于图像识别的终端信息获取装置所在的电子设备的工作环境的简短、概括的描述。图13的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1312包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图13图示了包括本发明的基于图像识别的终端信息获取装置中的一个或多个实施例的电子设备1312的实例。在一种配置中，电子设备1312包括至少一个处理单元1316和存储器1318。根据电子设备的确切配置和类型，存储器 1318可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图13中由虚线1314图示。

在其他实施例中，电子设备1312可以包括附加特征和/或功能。例如，设备1312还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图13中由存储装置1320图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1320中。存储装置1320还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器 1318中由例如处理单元1316执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1318和存储装置 1320是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、 EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1312访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1312的一部分。

电子设备1312还可以包括允许电子设备1312与其他设备通信的通信连接 1326。通信连接1326可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1312 连接到其他电子设备的其他接口。通信连接1326可以包括有线连接或无线连接。通信连接1326可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备1312可以包括输入设备1324，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1312中也可以包括输出设备1322，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1324和输出设备1322可以经由有线连接、无线连接或其任意组合连接到电子设备1312。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1312的输入设备1324 或输出设备1322。

电子设备1312的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE 1394)、光学总线结构等等。在另一个实施例中，电子设备1312的组件可以通过网络互连。例如，存储器1318可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1328访问的电子设备1330可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1312可以访问电子设备1330并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1312可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1312处执行并且一些指令可以在电子设备1330处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (29)

1.一种基于图像识别的终端信息获取方法，其特征在于，包括：

获取终端信息图像，并提取所述终端信息图像的图像特征；

基于特征识别模型，对所述终端信息图像的图像特征进行识别，以获取所述终端信息图像对应的终端信息；

根据终端信息图像对应的终端信息置信区间，对所述终端信息图像对应的终端信息的置信度进行确认；

如所述终端信息的置信度处于所述终端信息置信区间内，输出所述终端信息。

2.根据权利要求1所述的基于图像识别的终端信息获取方法，其特征在于，所述终端信息获取方法还包括：

如所述置信度未处于所述终端信息置信区间内，则根据所述置信度与所述终端信息置信区间的位置关系，对所述特征识别模型的识别粒度进行修正，并返回到图像特征提取的步骤，直至所述特征识别模型的识别粒度最大或最小。

3.根据权利要求2所述的基于图像识别的终端信息获取方法，其特征在于，所述根据所述置信度与所述终端信息置信区间的位置关系，对所述特征识别模型的识别粒度进行修正的步骤包括：

如所述置信度小于所述终端信息置信区间的最小值，则缩小所述特征识别模型的识别粒度；

如所述置信度大于所述终端信息置信区间的最大值，则增大所述特征识别模型的识别粒度。

4.根据权利要求3所述的基于图像识别的终端信息获取方法，其特征在于，所述根据所述置信度与所述终端信息置信区间的位置关系，对所述特征识别模型的识别粒度进行修正的步骤包括：

如所述置信度小于所述终端信息置信区间的最小值，且最近一次修正操作为增大所述特征识别模型的识别粒度，则输出终端信息异常；

如所述置信度大于所述终端信息置信区间的最大值，且最近一次修正操作为缩小所述特征识别模型的识别粒度，则输出终端信息异常；

如所述特征识别模型的识别粒度最大或最小，且所述置信度未处于所述终端信息置信区间内，则输出终端信息异常。

5.根据权利要求1所述的基于图像识别的终端信息获取方法，其特征在于，所述终端信息获取方法还包括步骤：

获取终端信息样本图像，并对所述终端信息样本图像进行归一化处理，其中所述终端信息样本图像包括正负样本信息；

对归一化处理的终端信息样本图像进行方向梯度直方图统计，以获取所述归一化处理的终端信息样本图像的图像特征；以及

基于特征识别模型框架，使用所述归一化处理的终端信息样本图像的图像特征以及所述终端信息样本图像的正负样本信息进行模型训练，以得到所述特征识别模型。

6.根据权利要求5所述的基于图像识别的终端信息获取方法，其特征在于，所述对所述终端信息样本图像进行归一化处理的步骤包括：

对所述终端信息样本图像进行二值化操作，以确定所述终端信息样本图像的图像轮廓灰阶；

通过对所述终端信息样本图像进行边缘区域的像素点灰阶采样，确定所述终端信息样本图像的背景灰阶；以及

根据所述终端信息样本图像的背景灰阶以及所述终端信息样本图像的图像轮廓灰阶，对所述终端信息样本图像进行归一化处理。

7.根据权利要求6所述的基于图像识别的终端信息获取方法，其特征在于，所述对所述终端信息样本图像进行二值化操作，以确定所述终端信息样本图像的图像轮廓灰阶的步骤包括：

通过以下公式确定所述终端信息样本图像的图像轮廓灰阶；

n＝n1+n2；

w1＝n1/n；

w2＝n2/n；

diff＝max[w1*w2*(μ1-μ2)²]；

其中diff为终端信息样本图像的图形轮廓灰阶；n为所述终端信息样本图像的像素总数量；n1为灰阶值小于diff的像素数量；n2为灰阶值大于等于diff的像素数量，μ1为灰阶值小于diff的像素的灰阶平均值，μ2为灰阶值大于等于diff的像素的灰阶平均值。

8.根据权利要求6所述的基于图像识别的终端信息获取方法，其特征在于，所述通过对所述终端信息样本图像进行边缘区域的像素点灰阶采样，确定所述终端信息样本图像的背景灰阶的步骤包括：

获取所述终端信息样本图像的四个顶点边缘区域中随机像素的灰阶值；

根据顶点边缘区域的随机像素的灰阶值，确定所述顶点边缘区域的背景灰阶；以及

根据所述四个顶点边缘区域的背景灰阶，确定所述终端信息样本图像的背景灰阶。

9.根据权利要求8所述的基于图像识别的终端信息获取方法，其特征在于，所述根据所述四个顶点边缘区域的背景灰阶，确定所述终端信息样本图像的背景灰阶的步骤为：

判断某一具有相同背景灰阶的顶点边缘区域的最大区域数量是否大于其他具有相同背景灰阶的顶点边缘区域的最大区域数量；

如是，则将最大区域数量对应的具有相同背景灰阶的顶点边缘区域的背景灰阶，设置为所述终端信息样本图像的背景灰阶；如否，则增加所述顶点边缘区域中随机像素的数量，并返回获取顶点边缘区域中随机像素的灰阶值的步骤。

10.根据权利要求5所述的基于图像识别的终端信息获取方法，其特征在于，

所述对归一化处理的终端信息样本图像进行方向梯度直方图统计，以获取所述归一化处理的终端信息样本图像的图像特征的步骤包括：

使用设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸，对归一化的终端信息样本图像进行方向梯度直方图统计，以获取所述归一化处理的终端信息样本图像的图像特征；其中所述图像特征包括检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征的四元图像特征组；

所述基于特征识别模型框架，使用所述归一化处理的终端信息样本图像的图像特征以及所述终端信息样本图像的正负样本信息进行模型训练，以得到所述特征识别模型的步骤包括：

所述特征识别模型为：

M＝(Gra，V)；

其中M为图像特征，Gra为四元图像特征组，V为特征识别模型框架。

11.根据权利要求10所述的基于图像识别的终端信息获取方法，其特征在于，所述基于特征识别模型框架，使用所述归一化处理的终端信息样本图像的图像特征以及所述终端信息样本图像的正负样本信息进行模型训练，以得到所述特征识别模型的步骤为：

基于特征识别模型框架，使用所述归一化处理的终端信息样本图像的图像特征、图像缩放特征以及所述终端信息样本图像的正负样本信息进行模型训练，以得到所述特征识别模型；

所述特征识别模型为：

M＝(Gra，V，Sca)；

其中Sca为图像缩放特征。

12.根据权利要求1所述的基于图像识别的终端信息获取方法，其特征在于，所述获取终端信息图像，并对所述终端信息图像进行图像特征提取，以获取所述终端信息图像的图像特征的步骤包括：

根据所述特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征，对所述终端信息图像进行图像特征提取，以获取所述终端信息的图像特征。

13.根据权利要求1所述的基于图像识别的终端信息获取方法，其特征在于，所述获取终端信息图像，并对所述终端信息图像进行图像特征提取，以获取所述终端信息图像的图像特征的步骤包括：

使用所述图像缩放特征对所述终端信息图像进行缩小操作；

根据所述特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征，对缩小操作后的终端信息图像进行图像特征提取，以获取所述终端信息的图像特征。

14.根据权利要求1所述的基于图像识别的终端信息获取方法，其特征在于，所述终端信息获取方法还包括：

根据所述终端的应用进程信息、终端型号信息、系统版本信息以及网络信息，确定所述终端的终端信息置信区间。

15.一种基于图像识别的终端信息获取装置，其特征在于，包括：

图像特征提取模块，用于获取终端信息图像，并提取所述终端信息图像的图像特征；

图像特征识别模块，用于基于特征识别模型，对所述终端信息图像的图像特征进行识别，以获取所述终端信息图像对应的终端信息；

置信度确认模块，用于根据终端信息图像对应的终端信息置信区间，对所述终端信息图像对应的终端信息的置信度进行确认；

终端信息输出模块，用于如所述终端信息的置信度处于所述终端信息置信区间内，输出所述终端信息。

16.根据权利要求15所述的基于图像识别的终端信息获取装置，其特征在于，所述终端信息获取装置还包括：

修正模块，用于如所述置信度未处于所述终端信息置信区间内，则根据所述置信度与所述终端信息置信区间的位置关系，对所述特征识别模型的识别粒度进行修正，并返回到图像特征提取的步骤，直至所述特征识别模型的识别粒度最大或最小。

17.根据权利要求16所述的基于图像识别的终端信息获取装置，其特征在于，所述修正模块包括：

识别粒度缩小单元，用于如所述置信度小于所述终端信息置信区间的最小值，则缩小所述特征识别模型的识别粒度；以及

识别粒度增大单元，用于如所述置信度大于所述终端信息置信区间的最大值，则增大所述特征识别模型的识别粒度。

18.根据权利要求17所述的基于图像识别的终端信息获取装置，其特征在于，所述修正模块还包括：

异常输出单元，用于如所述置信度小于所述终端信息置信区间的最小值，且最近一次修正操作为增大所述特征识别模型的识别粒度，则输出终端信息异常；如所述置信度大于所述终端信息置信区间的最大值，且最近一次修正操作为缩小所述特征识别模型的识别粒度，则输出终端信息异常；如所述特征识别模型的识别粒度最大或最小，且所述置信度未处于所述终端信息置信区间内，则输出终端信息异常。

19.根据权利要求15所述的基于图像识别的终端信息获取装置，其特征在于，所述终端信息获取装置还包括：

归一化处理模块，用于获取终端信息样本图像，并对所述终端信息样本图像进行归一化处理，其中所述终端信息样本图像包括正负样本信息；

图像特征获取模块，用于对归一化处理的终端信息样本图像进行方向梯度直方图统计，以获取所述归一化处理的终端信息样本图像的图像特征；以及

模型训练模块，用于基于特征识别模型框架，使用所述归一化处理的终端信息样本图像的图像特征以及所述终端信息样本图像的正负样本信息进行模型训练，以得到所述特征识别模型。

20.根据权利要求19所述的基于图像识别的终端信息获取装置，其特征在于，所述归一化处理模块包括：

二值化操作单元，用于对所述终端信息样本图像进行二值化操作，以确定所述终端信息样本图像的图像轮廓灰阶；

背景灰阶确定单元，用于通过对所述终端信息样本图像进行边缘区域的像素点灰阶采样，确定所述终端信息样本图像的背景灰阶；以及

归一化处理单元，用于根据所述终端信息样本图像的背景灰阶以及所述终端信息样本图像的图像轮廓灰阶，对所述终端信息样本图像进行归一化处理。

21.根据权利要求20所述的基于图像识别的终端信息获取装置，其特征在于，所述二值化操作单元用于：

通过以下公式确定所述终端信息样本图像的图像轮廓灰阶；

n＝n1+n2；

w1＝n1/n；

w2＝n2/n；

diff＝max[w1*w2*(μ1-μ2)²]；

其中diff为终端信息样本图像的图形轮廓灰阶；n为所述终端信息样本图像的像素总数量；n1为灰阶值小于diff的像素数量；n2为灰阶值大于等于diff的像素数量，μ1为灰阶值小于diff的像素的灰阶平均值，μ2为灰阶值大于等于diff的像素的灰阶平均值。

22.根据权利要求20所述的基于图像识别的终端信息获取装置，其特征在于，所述背景灰阶确定单元包括：

采样区域像素灰阶值获取子单元，用于获取所述终端信息样本图像的四个顶点边缘区域中随机像素的灰阶值；

采样区域背景灰阶确定子单元，用于根据顶点边缘区域的随机像素的灰阶值，确定所述顶点边缘区域的背景灰阶；以及

背景灰阶确定子单元，用于根据所述四个顶点边缘区域的背景灰阶，确定所述终端信息样本图像的背景灰阶。

23.根据权利要求22所述的基于图像识别的终端信息获取装置，其特征在于，

所述背景灰阶确定子单元用于：判断某一具有相同背景灰阶的顶点边缘区域的最大区域数量是否大于其他具有相同背景灰阶的顶点边缘区域的最大区域数量；

如是，则将最大区域数量对应的具有相同背景灰阶的顶点边缘区域的背景灰阶，设置为所述终端信息样本图像的背景灰阶；如否，则增加所述顶点边缘区域中随机像素的数量，并返回获取顶点边缘区域中随机像素的灰阶值的步骤。

24.根据权利要求19所述的基于图像识别的终端信息获取装置，其特征在于，所述图像特征获取模块用于：

使用设定检测窗口尺寸、设定检测块尺寸、设定检测窗口移动步长以及设定单元尺寸，对归一化的终端信息样本图像进行方向梯度直方图统计，以获取所述归一化处理的终端信息样本图像的图像特征；其中所述图像特征包括检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征的四元图像特征组；

所述模型训练模块得到的特征识别模型为：

M＝(Gra，V)；

其中M为图像特征，Gra为四元图像特征组，V为特征识别模型框架。

25.根据权利要求24所述的基于图像识别的终端信息获取装置，其特征在于，所述模型训练模块得到的特征识别模型为：

M＝(Gra，V，Sca)；

其中Sca为图像缩放特征。

26.根据权利要求15所述的基于图像识别的终端信息获取装置，其特征在于，所述图像特征提取模块用于：

根据所述特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征，对所述终端信息图像进行图像特征提取，以获取所述终端信息的图像特征。

27.根据权利要求15所述的基于图像识别的终端信息获取装置，其特征在于，所述图像特征提取模块包括：

终端信息图像缩小单元，用于使用所述图像缩放特征对所述终端信息图像进行缩小操作；以及

图像特征提取单元，用于根据所述特征识别模型对应的检测窗口尺寸特征、检测块尺寸特征、检测窗口移动步长特征以及单元尺寸特征，对缩小操作后的终端信息图像进行图像特征提取，以获取所述终端信息的图像特征。

28.根据权利要求15所述的基于图像识别的终端信息获取装置，其特征在于，所述终端信息获取装置还包括：

终端信息置信区间确定模块，用于根据所述终端的应用进程信息、终端型号信息、系统版本信息以及网络信息，确定所述终端的终端信息置信区间。

29.一种存储介质，存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1-14中任一的基于图像识别的终端信息获取方法。