CN112101448B - 一种屏幕图像识别方法、设备、系统和可读存储介质 - Google Patents

Abstract

本申请涉及一种屏幕图像识别方法、设备、系统和可读存储介质，其包括提取目标图像的多个特征点；对所述目标图像的多个特征点和参考模板的多个特征点进行几何配准计算，得到相似度；若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的特征点进行识别，输出第二识别结果。本申请提高屏幕图像识别的稳定性和响应速度，进而提高屏幕图像识别的适用性。

Description

一种屏幕图像识别方法、设备、系统和可读存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其是涉及一种屏幕图像识别方法、设备、系统和可读存储介质。

背景技术

在计算机技术飞速发展的时代，造成人力成本也随各种因素不断攀升，计算机视觉逐渐广泛的渗透到工业生产的各个领域。在自动化工业上，计算机视觉是一个很有前景的发展方向，它能够使机器像人类一样拥有类似眼睛与大脑的视觉系统，可以完成各种复杂的工作。

比如在某些自动化较低水平的场景下，机器被赋予固定的程序，重复着相同的动作或功能，没有对目标具有自感知能力，在某些情况下无法实现对人工的完全取代，比如汽车喷涂，或是在工业检测领域，对于某些具有外形缺陷的零件，往往是需要多名工人在流水线上对不合格的产品进行手工挑选，不仅需要工人具有先验知识，还费时费力，仍然没有脱离传统的工业模式，限制企业的发展。通过数字图像处理技术，可以提高机器的处理能力并适应长时间的目标任务，改善传统的工业模式。

但对于一些场景复杂或外界干扰较大的情况下，上述数字图像处理技术的稳定性不足，响应速度低，从而导致适用性差。

发明内容

为了提高屏幕图像识别的稳定性和响应速度，进而提高屏幕图像识别的适用性，本申请提供一种屏幕图像识别的方法、设备及系统，包括：

第一方面，本申请提供一种屏幕图像识别方法，包括：

提取多个参考模板的多个特征点；

提取目标图像的多个特征点；

对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果。

通过采用上述技术方案，将图像处理算法和具有深度学习能力的神经网络相结合，简化系统的复杂度，使其具有较快的响应能力，且同时又能具有学习能力，最大限度的提高适应性和智能水平。

优选的，在所述提取目标图像的多个特征点之前，所述方法还包括：

获取多个包含目标场景的参考图像；

对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

优选的，在所述提取目标图像的多个特征点之前，所述方法还包括：

根据所述多个参考模板的多个特征点，对所述神经网络进行训练。

优选的，所述对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度包括：

根据所述目标图像的多个特征点，获取所述目标图像的特征图；

根据所述多个参考模板的多个特征点，获取所述多个参考模板的特征图；

对所述目标图像的特征图和所述多个参考模板的特征图进行几何配准计算，得到所述相似度。

第二方面，本申请提供一种屏幕图像识别设备，包括，

参考提取模块，用于对多个参考模板提取多个特征点；

目标提取模块，用于对目标图像提取多个特征点；

配准计算模块，用于对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

第一识别模块，若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

第二识别模块，若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果。

优选的，还包括：

获取参考模块，用于获取多个包含目标场景的参考图像；

提取参考模块，用于对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

优选的，还包括：

训练模块，用于根据所述参考模板的多个特征点，输入神经网络进行训练。

第三方面，本申请提供一种屏幕图像识别系统，包括，

参考提取装置，用于对多个参考模板提取多个特征点；

目标提取装置，用于对目标图像提取多个特征点；

配准计算装置，用于对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

第一识别装置，若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

第二识别装置，若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果。

优选的，还包括，

获取参考装置，用于获取多个包含目标场景的参考图像；

提取参考装置，用于对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

第四方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任意一种屏幕图像识别方法的计算机程序。

本发明实施例提供了一种屏幕图像识别方法、设备、系统和可读存储介质，包括：提取多个参考模板的多个特征点；提取目标图像的多个特征点；对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果。

综上所述，本申请所提供技术所达到的有益技术效果是：

1、图像处理算法对于场景和目标识别度较强，并且变化不大，能够快速准确的对目标图像进行识别与定位，实现实时的目标检测；

2、基于人工智能的深度学习方法，通过搭建神经网络，训练一个具有深度学习能力的模型，在最大限度上还原人类的学习水平，有能力在各种复杂场景下准确识别目标，泛化能力更强，可以实现更为复杂的目标和任务；

3、将图像处理算法和具有深度学习能力的神经网络相结合，简化系统的复杂度，使其具有较快的响应能力，且同时又能具有学习能力，最大限度的提高适应性和智能水平。

附图说明

图1是本申请实施例1的一种屏幕图像识别方法的流程示意图；

图2是本申请实施例2的一种屏幕图像识别方法的流程示意图；

图3是本申请实施例3的一种用于屏幕图像识别设备的结构示意图；

图4是本申请实施例4的一种用于屏幕图像识别系统的示意图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1：

本申请实施例公开一种屏幕图像识别方法，参照图1，该方法包括，

101、获取多个包含目标场景的参考图像。

102、对多个包含目标场景的参考图像中的目标区域进行提取，得到多个参考模板。

103、提取多个参考模板的多个特征点。

104、根据多个参考模板的多个特征点，对神经网络进行训练。

105、提取目标图像的多个特征点。

106、对目标图像的多个特征点和多个参考模板的多个特征点进行几何配准计算，得到相似度。

具体的，根据目标图像的多个特征点，获取目标图像的特征图。

根据多个参考模板的多个特征点，获取多个参考模板的特征图。

对目标图像的特征图和多个参考模板的特征图进行几何配准计算，得到所述相似度。

107、若相似度大于等于相似度阈值，则根据参考模板，输出第一识别结果。

108、若相似度小于所述相似度阈值，则通过神经网络对目标图像的多个特征点进行识别，输出第二识别结果。

实施例2：

本申请实施例公开一种屏幕图像识别方法，参照图2，该方法包括：

201、获取多个包含目标场景的参考图像。

具体的，对包含目标场景的液晶显示屏幕界面进行初次样本采集，作为参考图像保存在临时样本库中。

对于不同类型的屏幕，该目标场景可以是某一类型屏幕的场景；

在实际应用中，可以分别对多个不同类MLD

型的屏幕所分别对应的多个目标场景执行步骤201所述的操作。

可选的，在实际应用中，步骤201所述的过程可以是通过相机拍摄目标场景实现的，该过程可以具体为：

设置曝光时间，其中，曝光时间小于第一预设值，大于第二预设值，该过程可以具体为：

设置曝光时间所在的区间，该区间内包含n个可选曝光时间，对该n个可选曝光时间中的第i个曝光时间，执行以下操作：

根据该第i个曝光时间，设置相机；

通过该相机，获取屏幕图像；

对该屏幕图像进行评估，并输出第i个评估结果，该评估过程可以是通过噪声识别实现的；

其中，该评估结果与屏幕图像的噪声强度对应，该评估结果所指示的数值越大，则屏幕图像的噪声强度越强；

对第i+1个曝光时间继续执行上述操作，并输出第i+1个评估结果，直至对该n个可选曝光时间都执行完上述操作，获得n个评估结果；

选取该n个评估结果中数值最小的评估结果所对应的曝光时间。

根据该曝光时间，通过相机拍摄目标场景。

若设置较长的曝光时间，屏幕光源显色强的像素区域会在图像中形成较大范围的超强亮斑，无法进行下一步的提取与识别；若设置较短的曝光时间，屏幕光源显色弱的像素区域会在图像中形成黑斑，进而无法进行下一步的提取与识别；若采取自动曝光方式，长时间频繁的调整光圈对相机的可靠性有较大影响。

故以较短的曝光时间为基准，虽然全局信息会有所损失，但仍能有效保留局部关键的明显特征，且同时保证最高亮度目标的成像仍能获得高质量图像，进而还能根据实时图像与样本图像中的关键点进行描述分析，以它们各自的位置关系还原出暗光下屏幕的具体位置。

202、对多个包含目标场景的参考图像中的目标区域进行提取，得到多个参考模板。

具体的，对于多个包含目标场景的参考图像中的任意一个，执行以下操作：

2021、识别并提取该参考图像中的目标区域。

通过识别算法，识别出该参考图像中用于描述目标区域的所有像素点；

提取该所有像素点，并生成参考模板。

通过从参考图像中提取目标区域，实现了对仅包含屏幕的目标区域进行精确采样，相较于全局场景采样的方式，可以降低参考模板的图像尺寸，图像尺寸越小，后续的识别算法效率越高。

上述过程可以具体为：

2022、将得到的参考模板按顺序命名并保存。

通过对参考模板按顺序进行命名和保存，使系统更换待识别的目标时，只需按照参考模板的命名，重新对临时样本库内采集的参考图像替换即可，最大限度地保证识别算法的灵活性和易扩展性。

203、提取多个参考模板的多个特征点。

具体的，设置检测参数；

在该检测参数的基础上，根据特征提取算法，检测并提取多个参考模板的多个特征点；其中，该特征提取算法可以是SIFT(ScaleInvariantFeatureTransform，尺度不变特征变换特征)算法和SURF(SpeedUpRobustFeatures，加速稳健特征)算法。

设置与特征点对应的多维特征向量，该多维特征向量用于描述特征点本身和周围邻近范围内多个特征点的信息；

由于图像局部的随机干扰或是可控范围内的变化的，所以通过图像提取关键点，实现了局部特征信息提取并分析，从而提高屏幕图像识别的稳定性和响应速度。

示例性的，为了使本领域技术人员进一步了解本发明实施例所述的方法，假设每个参考模板至少能提取到n个特征点，在实际应用中，n一般取150-300。假设共N个屏幕类别的参考模板，在第i个中提取到

，则共有

个特征点。每个特征点对应多维特征向量，并由n个特征点以及该n个特征点分别对应的多维特征向量，组成所有参考模板的特征点集。

204、根据所述多个参考模板的多个特征点，对所述神经网络进行训练。

具体的，对于该多个参考模板中的任意一个，执行以下操作：

将该参考模板的多个特征点作为输入值，输入神经网络，并获得输出值；

若输出值符合预期，则停止训练，否则，则继续训练，直至输出值符合预期；

对下一个参考模板继续执行上述操作，直至该多个参考模板都执行完上述操作。

205、提取目标图像的多个特征点。

具体的，该步骤所述的提取目标图像的多个特征点的方式与步骤203所述的提取多个参考模板的多个特征点的方式相同，此处不再加以赘述。

206、对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度。

2061、根据所述目标图像的多个特征点，获取所述目标图像的特征图。

具体的，完成目标图像与每一幅模板图像的描述子匹配，并根据相似性距离完成最相近匹配，从而筛选匹配出距离最小的30-50组关键点对进行保留，形成目标图像的特征图。

2062、根据所述多个参考模板的多个特征点，获取所述多个参考模板的特征图；

具体的，完成目标图像与每一幅模板图像描述子匹配，根据相似性距离完成最相近匹配，筛选匹配距离最小的30-50组关键点对保留，形成多个参考模板的特征图。

2063、对所述目标图像的特征图和所述多个参考模板的特征图进行几何配准计算，得到所述相似度。

具体的，目标图像的特征图包括目标图像的特征点图、目标图像的特征矢量图和目标图像的特征角度图。

同理，参考模板的特征图包括，参考模板的特征点图、参考模板的特征矢量图和参考模板的特征角度图。

对目标图像的特征点图上和多个参考模板的特征点图上的所有特征点都对应标记数字和颜色，其中，数字表示特征点的序号，颜色代表特征点的匹配情况，相同的数字表示配对的两个特征点；根据特征点的分布特征确定目标图像相近的参考模板。

将目标图像的特征点图中的特征点从1号开始，依次首尾相接形成若干的向量，形成向量集合，称这些向量集合为特征矢量，这些特征矢量形成目标图像的特征矢量图。

对多个参考模板的特征点图上的序号以目标图像的特征点图上的顺序为基准重排，获得多个参考模板的特征矢量图。

在此过程中可知，若目标图像的特征矢量图中的特征点数为n，则向量数量为n-1,则夹角数量为n-2，每个特征矢量是由两个相邻特征点组成，设该特征矢量为u=[u1,u2,u3,...,u(n)], 称每相邻两条向量所构成夹角为特征角度θ=[θ1,θ2,θ3,...,θ(n-1)]，且形成目标图像的特征角度图；

参考模板的特征矢量图中含n+1个特征点，构成n+1条特征矢量，设为v=[v1,v2,v3,...,v(n+1)],其中序号为n+1的特征点在筛选后的重排中会被忽略,相邻特征矢量构成的特征角度α=[α1,α2,α3,...,α(n-1)]，且形成参考模板的特征角度图；

另一参考模板的特征矢量图中含n个特征点，构成n条特征矢量，w=[w1，w2,w3,...,w(n)]及其相邻特征矢量构成的特征角度β=[β1,β2,β3,...,β(n-2)]，且形成参考模板的特征角度图。

为目标图像的特征角度图和多个参考模板的特征角度图都定义一个布尔型向量，用来描述目标图像的特征角度图和多个参考模板的特征角度图中所有特征点的位置分布特征，称此向量为特征方向。

该布尔型向量的维数与特征角度，从每个图中的第一个特征矢量开始旋转一个角度至第二个特征矢量，当两个向量的向量积方向垂直平面向外时，这个分量为1，否则为-1。

故可为目标图像的特征角度图和多个参考模板的特征角度图都生成一个长度为n-2分量为-101的特征方向，则每两幅图像的特征一致置信度为1-d/len，其中d为特征方向维度分量不同的个数，len为总维度。

可选的，设置对比阈值；

当连续两条特征矢量的向量积的模与两特征矢量模的乘积之比的绝对值小于对比阈值时，认定两条特征矢量的特征角度为180度。较小的特征角度偏移会造成特征方向的变化，故直接认定特征角度为180度，降低对特征一致置信度结果引入的误差，降低对检索结果的影响。

207、若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果。

具体的，当两幅特征角度图的一致置信度高于0.9时，可以认为两幅图像包含相同目标或为同一场景。

208、若所述相似度小于所述相似度阈值，则通过神经网络对所述目标

图像的多个特征点进行识别，输出第二识别结果。

具体的，目标图像与任一参考模板置信度小于0.9时，系统瞬态切换到深度学习的目标识别方法，

找到最佳匹配特征点对，由随机抽样一致算法 计算单应性矩阵，它描述了在图像二维空间中目标两次位置的变换关系，训练好后的网络参数和结构将能够有效增强系统的稳定性与可靠性。

除此之前，在执行步骤201之前，还可以执行识别流程前的准备步骤，该识别流程前的准备步骤具体包括：

209、针对待检测的所有液晶显示屏幕界面，预先准备样本库，样本库方便后续的数据更换。

210、接下来对保存的所有目标的局部样本，即标准屏幕界面进行SURF特征点检测，此过程要求检测参数一致。

211、输入实时目标图像，进行预处理。

将预处理后的目标图像传输至特征提取器，按照同210中的参数提取关键点，获得若干局部不变特征点信息。

通过输入实时目标图像进行预处理，并提取关键点，获得若干局部不变特征点信息，消除随机干扰，稳定图像质量，提高屏幕图像识别的稳定性和响应速度。

实施例3：

本申请实施例公开一种屏幕图像识别设备，参照图3，该设备包括：

参考提取模块31，用于对多个参考模板提取多个特征点；

目标提取模块32，用于对目标图像提取多个特征点；

配准计算模块33：用于对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

第一识别模块34：若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

第二识别模块35：若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果。

优选的，还包括：

获取参考模块36，用于获取多个包含目标场景的参考图像；

提取参考模块37，用于对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

优选的，还包括：

训练模块38，用于根据所述参考模板的多个特征点，输入神经网络进行训练。

实施例4：

本申请实施例公开一种屏幕图像识别系统，参照图4，该系统包括：

参考提取装置41，用于对多个参考模板提取多个特征点；

目标提取装置42，用于对目标图像提取多个特征点；

配准计算装置43：用于对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

第一识别装置44：若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

第二识别装置45：若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果。

优选的，还包括，

获取参考装置46，用于获取多个包含目标场景的参考图像；

提取参考装置47，用于对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

本申请实施例提供了一种屏幕图像识别方法、设备、系统和可读存储介质，通过:

同时设置两个核心，用以更加逼近完全无差错屏幕识别的可靠结果。

第一检测核心的特征点匹配与配准算法，可实现百分之九十以上的识别任务，当两幅图像的一致置信度高于0.9时，可以认为两幅图像包含相同目标或为同一场景；

但在某些极端情况下，目标图像与任一参考模板置信度小于0.9时，可切换到第二核心检测方法，通过对训练好的神经网络输入特征，两种算法相互配合可大幅提高检测结果的可靠性。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。另外，上述实施例提供的屏幕图像识别方法、设备及系统实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种屏幕图像识别的方法，其特征在于，包括：

针对待检测的所有液晶显示屏幕界面，预先准备样本库，样本库方便后续的数据更换；

对保存的所有目标的局部样本，即标准屏幕界面进行SURF特征点检测，此过程要求检测参数一致；

输入实时目标图像，进行预处理；

将预处理后的目标图像传输至特征提取器，获得若干局部不变特征点信息；

提取多个参考模板的多个特征点；

获取多个包含目标场景的参考图像，具体为：

设置曝光时间，其中，曝光时间小于第一预设值，大于第二预设值：

设置曝光时间所在的区间，该区间内包含n个可选曝光时间，对该n个可选曝光时间中的第i个曝光时间，执行以下操作：

根据该第i个曝光时间，设置相机；

通过该相机，获取屏幕图像；

对该屏幕图像进行评估，并输出第i个评估结果，该评估过程是通过噪声识别实现的；

其中，该评估结果与屏幕图像的噪声强度对应，该评估结果所指示的数值越大，则屏幕图像的噪声强度越强；

对第i+1个曝光时间继续执行上述操作，并输出第i+1个评估结果，直至对该n个可选曝光时间都执行完上述操作，获得n个评估结果；

选取该n个评估结果中数值最小的评估结果所对应的曝光时间；

根据该曝光时间，通过相机拍摄目标场景；

对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板；

识别并提取该参考图像中的目标区域；

将得到的参考模板按顺序命名并保存；

提取目标图像的多个特征点；

对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

参考模板的特征图包括，参考模板的特征点图、参考模板的特征矢量图和参考模板的特征角度图；

对目标图像的特征点图上和多个参考模板的特征点图上的所有特征点都对应标记数字和颜色，其中，数字表示特征点的序号，颜色代表特征点的匹配情况，相同的数字表示配对的两个特征点；根据特征点的分布特征确定目标图像相近的参考模板；

将目标图像的特征点图中的特征点从1号开始，依次首尾相接形成若干的向量，形成向量集合，称这些向量集合为特征矢量，这些特征矢量形成目标图像的特征矢量图；

对多个参考模板的特征点图上的序号以目标图像的特征点图上的顺序为基准重排，获得多个参考模板的特征矢量图；

在此过程中可知，若目标图像的特征矢量图中的特征点数为n，则向量数量为n-1，则夹角数量为n-2，每个特征矢量是由两个相邻特征点组成，设该特征矢量为u=[u1,u2,u3,...,u(n-1)], 称每相邻两条向量所构成夹角为特征角度θ=[θ1,θ2,θ3,...,θ(n-2)]，且形成目标图像的特征角度图；

参考模板的特征矢量图中含n+1个特征点，构成n条特征矢量，设为v=[v1,v2,v3,...,v(n)]，其中序号为n+1的特征点在筛选后的重排中会被忽略，邻特征矢量构成的特征角度α=[α1,α2,α3,...,α(n-1)]，且形成参考模板的特征角度图；

另一参考模板的特征矢量图中含n个特征点，构成n-1条特征矢量，w=[w1，w2,w3,...,w(n-1)]及其相邻特征矢量构成的特征角度β=[β1,β2,β3,...,β(n-2)]，且形成参考模板的特征角度图；

为目标图像的特征角度图和多个参考模板的特征角度图都定义一个布尔型向量，用来描述目标图像的特征角度图和多个参考模板的特征角度图中所有特征点的位置分布特征，称此向量为特征方向；

从每个图中的第一个特征矢量开始旋转一个角度至第二个特征矢量，当两个向量的向量积方向垂直平面向外时，该布尔型向量的分量为1，否则为-1；

故目标图像的特征角度图和多个参考模板的特征角度图都生成一个长度为n-2，分量为-1、1的特征方向，则每两幅图像的特征一致置信度为1-d/len，其中d为特征方向维度分量不同的个数，len为总维度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

当两幅特征角度图的一致置信度高于0.9时，认为两幅图像包含相同目标或为同一场景；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

目标图像与任一参考模板置信度小于0.9时，系统瞬态切换到深度学习的目标识别方法。

2.根据权利要求1所述的一种屏幕图像识别的方法，其特征在于，在所述提取目标图像的多个特征点之前，所述方法还包括：

根据所述多个参考模板的多个特征点，对所述神经网络进行训练。

3.根据权利要求2所述的一种屏幕图像识别的方法，其特征在于，所述对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度包括：

根据所述目标图像的多个特征点，获取所述目标图像的特征图；

根据所述多个参考模板的多个特征点，获取所述多个参考模板的特征图；

对所述目标图像的特征图和所述多个参考模板的特征图进行几何配准计算，得到所述相似度。

4.一种屏幕图像识别的设备，其特征在于，包括，

样本库，针对待检测的所有液晶显示屏幕界面，方便后续的数据更换；

对保存的所有目标的局部样本，即标准屏幕界面进行SURF特征点检测，此过程要求检测参数一致；输入实时目标图像，进行预处理；将预处理后的目标图像传输至特征提取器，获得若干局部不变特征点信息；

参考提取模块，用于对多个参考模板提取多个特征点；

获取多个包含目标场景的参考图像，具体为：

设置曝光时间，其中，曝光时间小于第一预设值，大于第二预设值：

设置曝光时间所在的区间，该区间内包含n个可选曝光时间，对该n个可选曝光时间中的第i个曝光时间，执行以下操作：

根据该第i个曝光时间，设置相机；

通过该相机，获取屏幕图像；

对该屏幕图像进行评估，并输出第i个评估结果，该评估过程是通过噪声识别实现的；

其中，该评估结果与屏幕图像的噪声强度对应，该评估结果所指示的数值越大，则屏幕图像的噪声强度越强；

对第i+1个曝光时间继续执行上述操作，并输出第i+1个评估结果，直至对该n个可选曝光时间都执行完上述操作，获得n个评估结果；

选取该n个评估结果中数值最小的评估结果所对应的曝光时间；

根据该曝光时间，通过相机拍摄目标场景；

对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板；

识别并提取该参考图像中的目标区域；

将得到的参考模板按顺序命名并保存；

目标提取模块，用于对目标图像提取多个特征点；

配准计算模块，用于对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

第一识别模块，若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

第二识别模块，若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

参考模板的特征图包括，参考模板的特征点图、参考模板的特征矢量图和参考模板的特征角度图；

对目标图像的特征点图上和多个参考模板的特征点图上的所有特征点都对应标记数字和颜色，其中，数字表示特征点的序号，颜色代表特征点的匹配情况，相同的数字表示配对的两个特征点；根据特征点的分布特征确定目标图像相近的参考模板；

将目标图像的特征点图中的特征点从1号开始，依次首尾相接形成若干的向量，形成向量集合，称这些向量集合为特征矢量，这些特征矢量形成目标图像的特征矢量图；

对多个参考模板的特征点图上的序号以目标图像的特征点图上的顺序为基准重排，获得多个参考模板的特征矢量图；

在此过程中可知，若目标图像的特征矢量图中的特征点数为n，则向量数量为n-1，则夹角数量为n-2，每个特征矢量是由两个相邻特征点组成，设该特征矢量为u=[u1,u2,u3,...,u(n-1)], 称每相邻两条向量所构成夹角为特征角度θ=[θ1,θ2,θ3,...,θ(n-2)]，且形成目标图像的特征角度图；

参考模板的特征矢量图中含n+1个特征点，构成n条特征矢量，设为v=[v1,v2,v3,...,v(n)]，其中序号为n+1的特征点在筛选后的重排中会被忽略，邻特征矢量构成的特征角度α=[α1,α2,α3,...,α(n-1)]，且形成参考模板的特征角度图；

另一参考模板的特征矢量图中含n个特征点，构成n-1条特征矢量，w=[w1，w2,w3,...,w(n-1)]及其相邻特征矢量构成的特征角度β=[β1,β2,β3,...,β(n-2)]，且形成参考模板的特征角度图；

为目标图像的特征角度图和多个参考模板的特征角度图都定义一个布尔型向量，用来描述目标图像的特征角度图和多个参考模板的特征角度图中所有特征点的位置分布特征，称此向量为特征方向；

从每个图中的第一个特征矢量开始旋转一个角度至第二个特征矢量，当两个向量的向量积方向垂直平面向外时，该布尔型向量的分量为1，否则为-1；

故目标图像的特征角度图和多个参考模板的特征角度图都生成一个长度为n-2，分量为-1、1的特征方向，则每两幅图像的特征一致置信度为1-d/len，其中d为特征方向维度分量不同的个数，len为总维度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

当两幅特征角度图的一致置信度高于0.9时，认为两幅图像包含相同目标或为同一场景；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

目标图像与任一参考模板置信度小于0.9时，系统瞬态切换到深度学习的目标识别方法。

5.根据权利要求4所述的一种屏幕图像识别的设备，其特征在于，还包括：

获取参考模块，用于获取多个包含目标场景的参考图像；

提取参考模块，用于对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

6.根据权利要求5所述的一种屏幕图像识别的设备，其特征在于，还包括：

训练模块，用于将所述多个参考模板的多个特征点，输入神经网络进行训练。

7.一种屏幕图像识别系统，其特征在于，包括，

样本库，针对待检测的所有液晶显示屏幕界面，方便后续的数据更换；

对保存的所有目标的局部样本，即标准屏幕界面进行SURF特征点检测，此过程要求检测参数一致；输入实时目标图像，进行预处理；将预处理后的目标图像传输至特征提取器，获得若干局部不变特征点信息；

参考提取装置，用于对多个参考模板提取多个特征点；

获取多个包含目标场景的参考图像，具体为：

设置曝光时间，其中，曝光时间小于第一预设值，大于第二预设值：

设置曝光时间所在的区间，该区间内包含n个可选曝光时间，对该n个可选曝光时间中的第i个曝光时间，执行以下操作：

根据该第i个曝光时间，设置相机；

通过该相机，获取屏幕图像；

对该屏幕图像进行评估，并输出第i个评估结果，该评估过程是通过噪声识别实现的；

其中，该评估结果与屏幕图像的噪声强度对应，该评估结果所指示的数值越大，则屏幕图像的噪声强度越强；

对第i+1个曝光时间继续执行上述操作，并输出第i+1个评估结果，直至对该n个可选曝光时间都执行完上述操作，获得n个评估结果；

选取该n个评估结果中数值最小的评估结果所对应的曝光时间；

根据该曝光时间，通过相机拍摄目标场景；

对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板；

识别并提取该参考图像中的目标区域；

将得到的参考模板按顺序命名并保存；

目标提取装置，用于对目标图像提取多个特征点；

配准计算装置，用于对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

第一识别装置，若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

第二识别装置，若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

参考模板的特征图包括，参考模板的特征点图、参考模板的特征矢量图和参考模板的特征角度图；

对目标图像的特征点图上和多个参考模板的特征点图上的所有特征点都对应标记数字和颜色，其中，数字表示特征点的序号，颜色代表特征点的匹配情况，相同的数字表示配对的两个特征点；根据特征点的分布特征确定目标图像相近的参考模板；

将目标图像的特征点图中的特征点从1号开始，依次首尾相接形成若干的向量，形成向量集合，称这些向量集合为特征矢量，这些特征矢量形成目标图像的特征矢量图；

对多个参考模板的特征点图上的序号以目标图像的特征点图上的顺序为基准重排，获得多个参考模板的特征矢量图；

在此过程中可知，若目标图像的特征矢量图中的特征点数为n，则向量数量为n-1，则夹角数量为n-2，每个特征矢量是由两个相邻特征点组成，设该特征矢量为u=[u1,u2,u3,...,u(n-1)],称每相邻两条向量所构成夹角为特征角度θ=[θ1,θ2,θ3,...,θ(n-2)]，且形成目标图像的特征角度图；

参考模板的特征矢量图中含n+1个特征点，构成n条特征矢量，设为v=[v1,v2,v3,...,v(n)]，其中序号为n+1的特征点在筛选后的重排中会被忽略，邻特征矢量构成的特征角度α=[α1,α2,α3,...,α(n-1)]，且形成参考模板的特征角度图；

另一参考模板的特征矢量图中含n个特征点，构成n-1条特征矢量，w=[w1，w2,w3,...,w(n-1)]及其相邻特征矢量构成的特征角度β=[β1,β2,β3,...,β(n-2)]，且形成参考模板的特征角度图；

为目标图像的特征角度图和多个参考模板的特征角度图都定义一个布尔型向量，用来描述目标图像的特征角度图和多个参考模板的特征角度图中所有特征点的位置分布特征，称此向量为特征方向；

从每个图中的第一个特征矢量开始旋转一个角度至第二个特征矢量，当两个向量的向量积方向垂直平面向外时，该布尔型向量的分量为1，否则为-1；

故目标图像的特征角度图和多个参考模板的特征角度图都生成一个长度为n-2，分量为-1、1的特征方向，则每两幅图像的特征一致置信度为1-d/len，其中d为特征方向维度分量不同的个数，len为总维度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

当两幅特征角度图的一致置信度高于0.9时，认为两幅图像包含相同目标或为同一场景；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

目标图像与任一参考模板置信度小于0.9时，系统瞬态切换到深度学习的目标识别方法。

8.根据权利要求7所述的系统，其特征在于，还包括：

获取参考装置，用于获取多个包含目标场景的参考图像；

提取参考装置，用于对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

9.一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行如权利要求1至4中任一种方法的计算机程序。

Images