CN110443229A - 一种基于人工智能的设备显示内容识别方法 - Google Patents

Abstract

一种基于人工智能的设备显示内容识别方法，包括建立样本库:对需要巡视线路上的所有道路设施进行逐个采样，拍摄不同显示状态和不同方向下的标准图样;对标准图样建立索引,顶层为地理位置信息,顶层下的第二层为方向索引,方向索引下为不同设施和不同光照条件下的图像;提取样本:根据检测者所处的地理位置信息调取相应地理位置索引下的样本,随后进一步根据行驶方向调取相应方向索引下的样本;根据调取的样本进行内容识别。本发明通过对样本数量的逐级建立索引进行筛选管理，结合车辆行驶特点，有效缩小了样本数量，提高了识别速度，并对传输带宽降低了要求，提高了设备巡检效率。

Description

一种基于人工智能的设备显示内容识别方法

技术领域

本发明属于图像识别领域，具体涉及一种基于人工智能的设备显示内容识别方法。

背景技术

各类表计/开关的日常巡检是变电站人工运维中非常重要的项目之一，各类开关和表计的状态及时监测和预警也具有相当重要的意义。而在实际的人工巡检中，存在不及时，不安全等隐患和缺陷，如果能使用车辆驶过时的设备自动识别，具有高精确度的智能检测算法辅助可以极大的解放人力，消减安全隐患，使日常巡检变得更加便捷，有效。

对于物体的人工智能图像识别，通常是大量样本训练生成模型，利用模型进行判别，传统的目标检测算法通常使用样本遍历的方式，即对数据库中样本图形的存储图形逐一扫描识别，与输入画面比对判断是否为目标物体，从而确定目标位置，但由于样本数量大，存在耗时、效率低的问题。

对于车载识别系统，由于与人工智能算法服务器采用无线通信，带宽有限，在车辆驶过待识别装置时时间短暂，对于有效实现人工智能识别提出了新的问题。

发明内容

为克服现有技术存在的技术缺陷，本发明公开了一种基于人工智能的设备显示内容识别方法。

本发明所述基于人工智能的设备显示内容识别方法，包括

建立样本库: 对需要巡视线路上的所有道路设施进行逐个采样，拍摄不同显示状态和不同方向下的标准图样;

对标准图样建立索引,顶层为地理位置信息,顶层下的第二层为方向索引,方向索引下为不同设施和不同光照条件下的图像;

提取样本:根据检测者所处的地理位置信息调取相应地理位置索引下的样本,随后进一步根据行驶方向调取相应方向索引下的样本;

根据调取的样本进行内容识别。

优选的，所述建立样本库的步骤中，包括对样本的预处理，具体为：

对每一设备，获取大量包含该设备的样本图样并构建样本图样中的候选区域生成网络，候选区域生成网络对，获得N种语义尺度下的样本特征，

对N种语义尺度下的样本特征两两融合处理，获得融合后的样本特征，对每两种的融合结果进行置信度评价，选择出置信度评价最高的M种语义尺度

进行内容识别时，将待处理图像输入置该候选区域生成网络中，该网络对待处理图像进行多次卷积处理，对多次卷积处理进行融合处理，生成待处理图像对应的候选区域。

优选的，所述内容识别的步骤包括:

S1识别图像中的设备;

S2识别出设备中的显示画面;

S3对显示画面中的显示内容进行识别。

进一步的，所述步骤S1和S2中,首先定义一个滑动窗口,对采集的图像利用滑动窗口进行无缝分割并识别每一窗口下的图样, 利用颜色直方图信息进行粗筛选。

进一步的，粗筛选后,提取筛选后的图样的伽柏图像特征进行支持向量机模型训练，建立判断模型,使用支持向量机分类器进行精确判别。

进一步的，所述步骤S2中, 对识别出的设备图像分块并计算各块的亮度均值;取各块的均值，找出其中与其它块亮度之差最大的多个区域,

判断多个区域是否空间相连,是则认定为显示区域,否则进一步找出空间相连后总面积最大的多个区域,将其判定为显示区域。

进一步的，所述步骤S3中,将显示画面划分为多个通道，分别计算其第一色彩和第二色彩的颜色分量；

计算两种色彩下，各个通道中相同颜色的最大颜色分量和最小颜色分量的差值，并判断其是否大于预先设定的颜色阈值，如果仅一种色彩大于颜色阈值，判定出现对应颜色；

如果差值均不大于或均大于颜色阈值，则等比例放大两种颜色最大差值的数值，在放大基础上计算全部差值的和并比较，判定和较大的颜色出现；

颜色判断完成后，调取对应颜色的显示样本进行识别。

进一步的, 如果差值均不大于颜色阈值，则将两种色彩中更接近原始颜色阈值的差值作为新的颜色阈值替换原有的颜色阈值存储，并继续后续识别。

优选的,提取样本过程中,首先提取采样距离最远的样本进行对比，对比成功则后续优先调取更近距离的同一索引下的样本进行识别，对比不成功则继续等待行驶至更近距离，在较近距离对比成功后，则在后续识别中舍弃之前较远距离的样本调取。

本发明通过对样本数量的逐级建立索引进行筛选管理，结合车辆行驶特点，有效缩小了样本数量，提高了识别速度，并对传输带宽降低了要求，提高了设备巡检效率。

附图说明

图1为本发明所述道路巡检的一种具体实施方式示意图；

图2为本发明所述采用固定窗口对图像进行扫描的一种具体实施方式示意图；

图3为本发明所述地理坐标的覆盖范围的一种具体实施方式示意图；

图4为本发明所述积分图的一种具体实施方式示意图，图4中横坐标，纵坐标分别表示图像上的横纵方向。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

本发明主要适用于对道闸等道路沿线设置状态进行识别,识别采用车载设备拍摄图像输入到系统进行识别，需要在较短时间内对显示状态进行识别并记录。

本发明基于人工智能的学习实现,首先需要建立样本库。

对需要巡视线路上的所有道路设施进行逐个采样，拍摄不同显示状态下的标准图样。

例如对于道闸，需要拍摄显示分别为“分”或“合”的标准图样作为样本。可以采集不同角度，不同距离和不同光照条件下的图样作为样本。

对于样本的分类，首先基于地理位置信息存储，其次再基于道路设施的分类，例如对于某个地理坐标附近有多个设施，将位于相同或相近地理坐标的设置归于一组进行储存。

在同一样本下，根据相同角度进行分类，存储同一角度下不同距离和不同光照条件下的图像，如图1所示，由于巡视路线通常只有两条，即去时路线和回时路线，同一样本下，所谓的不同角度即也只存在两个，对相同角度下可以再次设置距离的二次子分类，即相同距离下不同光照条件的样本存储。

检测车行驶过程中，采用上述分类的情况下，随着检测车地理位置的变化，系统自动调用检测车所述地理位置下的各种设施的图像与输入图像进行对比，从而减少了比对样本的数量。

对于以地理坐标为索引的样本分类，可以在相邻坐标下重复存储相同样本，例如索引下的不同坐标横向和纵向距离分别为50米，如图3所示，设置某设备位于A1坐标，设置每一地理坐标的覆盖半径为五十米，则该设备可能同时位于坐标Z1，Z2，Z3，Z4索引下，以避免坐标索引不能覆盖全部设备的情况发生。

检测车根据最近一段时间段内地理位置的变化，判断出检测车的行驶方向，从而从样本库中筛选出对应方向的图像进行识别。即一般为去向和来向不同方向下的索引。

随着镜头与设施之间的距离逐渐由远及近，识别调取的样本首先是距离最远的样本进行对比，对比成功则后续优先调取更近距离的同一设置的样本进行识别，对比不成功则继续等待行驶至更近距离，在较近距离对比成功后，则在后续识别中舍弃之前较远距离的样本。

将车载高清摄像头输入的采集图像帧与数据库中的样本比对识别找出设备上的显示区域并读取显示内容，以道闸为例：本发明中识别方案可以大致可分为三个阶段，

第一阶段：

在采集的图像中确定道闸表盘的位置，使用滑动窗口获取区域，利用颜色直方图信息进行粗筛选，而后提取区域伽柏图像特征，使用支持向量机分类器进行精确判别

第二阶段：

在道闸的区域，找到状态字符“分”“合”所在区域即显示区域；充分利用状态字符区域位于表盘亮色区域的特点并结合积分图使用，快速确定字符位置

第三阶段：

对第二阶段确定的字符区域中的字符进行识别，利用字符颜色特征并结合字符模型判别其为“合”还是“分”，从而确定道闸状态。

在第一阶段之前，可以采用样本预处理步骤对样本进行处理，利用图像融合算法总结出样本中设备的特征，加快后续识别。

对样本的预处理具体为：

对每一设备，获取大量包含该设备的样本图样并构建样本图样中的候选区域生成网络，候选区域生成网络对，获得N种语义尺度下的样本特征，

对N种语义尺度下的样本特征利用图像融合算法进行两两融合处理，获得融合后的样本特征，对每两种的融合结果进行置信度评价，选择出置信度评价最高的M种语义尺度。这样的处理方式保证融合结果的准确性的同时，还能尽量大大减少融合过程中的计算量。

进行内容识别时，将待处理图像输入置该候选区域生成网络中，利用该网络对待处理图像进行多次卷积处理，对多次卷积处理进行融合处理，生成待处理图像对应的候选区域；这种方式，可以在待处理图像中的候选区域中出现设备的概率可以提高到95%以上，从而加快设备的识别速度。

如果不进行上述图像预处理，则采用如下方式：在第一阶段，对输入图像，如图2所示，使用固定尺寸大小的窗口对拍摄图像帧进行扫描获取图像子区域作为候选窗口，候选窗口的尺寸可通过控制人员手动输入实现，候选窗口图像首先会与样本图像仅进行颜色直方图的比对。

此处样本图像为设备图样，对样本图样可以设置颜色阈值，选择样本图样中与周围环境差别最明显的色彩峰值，例如样本图样中红色峰值最高，且与周围环境比对红色差别最为明显，则可以设定峰值的50%为颜色阈值，输入的候选窗口图样达到颜色阈值的进入候选，剔除低于颜色阈值的候选窗口图样。

大于根据样本设定的第一阈值的将被提前剔除而不进入下一阶段更精准的判断；由于图像中道闸相较其它背景区域差异较为明显，采用颜色直方图进行粗筛选的过程通常都可以剔除掉大于60%-80%的不相关区域。

剔除完成后，可以提取各个样本的伽柏图像特征进行支持向量机模型训练，生成道闸判别的模型。

伽柏图像特征是一种描述图像细节的特征描述符，可以稳定有效的描述图像的纹理等细微的特征。本发明对输入的图像提取其伽柏特征来表征该图像。支持向量机是一个判断待检测物体是否为目标对象的判别器，本发明以道闸作为目标对象，利用预先存储的样本，使用向量机模型中的判别器对输入的待检测图像进行精确判定。

第一阶段识别完成后，进入第二阶段，尽管各种设施外形不尽相同，但通过对它们的显示装置的分析可发现都有一个相同的特点，显示区域在设备的整体图像中处在白色区域，即亮色区，而显示区域的周围均为黑色区域，即暗色区，而且显示区域的面积在亮色区中通常最大。

可利用此特点构建模型，寻求字符区域灰度值减去领域灰度值为最大，结合图像积分图的使用，可快速找到表盘区域中颜色分布符合目标特点的区域作为候选。

如图2所示，利用表盘亮暗特点构建九宫格模型，采用积分图计算各块的亮度均值；

积分图的数学表示如下

直观的，如图4所示，图像中位置坐标为A(x,y)的像素点积分值是其左上角的所有像素之和，像素点积分值除以图像大小，即得到亮度均值。

对识别出的设备图像分块并计算各块的亮度均值;取各块的均值，找出其中与其它块亮度之差最大的多个区域,

判断多个区域是否空间相连,是则认定为显示区域,否则进一步找出空间相连后总面积最大的多个区域,将其判定为显示区域。

取各块的亮度均值，找出其中排名靠前的多个块，在图像中找该最大值最大的1个区域或多个区域；根据分割显示的窗口与实际显示区域大小决定寻找区域的数量，为尽可能找出完整的显示区域，窗口面积通常小于实际显示区域大小，多个找出的均值靠前的块如果相互临近，则其组合为显示区域。

第二阶段完成后，进入第三阶段，对于显示区域中的文字识别，可以利用目前现有的各种算法实现，但对于目前设备，存在大量只显示两种不同色彩的显示区域。

例如，对于道路道闸，只显示“分”、“合”两种状态，且二者显示字体颜色不同，例如分别为红色和绿色。

针对这些设备，可以采用以下的简化识别方式。

由于两种状态下的字符颜色不同，对显示内容可以识别时，可以提取字符区域图像的颜色信息经过一定的计算处理，再将待识别的显示图样与样本中期待的值进行比对判断。

如果判断结果不可信，再通过模型得分辅助判断，此时可以采用前述的提取各个样本的伽柏图像特征进行支持向量机模型训练，生成道闸判别的模型进行辅助判断。

首先根据设备显示区域的正常显示状态下的颜色情况计算出红色阈值和绿色阈值，例如将显示区域划分为10个通道，扫描各个通道的红色分量和绿色分量并将对应颜色下的十个分量值两两相减，计算差的最大值，并与对应的颜色阈值比较，大于则判断显示的是对应颜色。

例如,十个通道下的红色分量分别为H(R,1)，H(R,2)...H(R,10);绿色通道下的绿色分量分别为H(G,1)，H(G,2)...H(G,10);

取T1=MAX[H(R,N)- H(R,M)]

T2=MAX[H(G,N)- H(G,M)],

其中M和N遍历十个通道，将T1与红色颜色阈值RV比较，T2与绿色阈值GV比较，任何一个大于则可以判断显示的是对应颜色。

如果由于光照条件，例如太阳直射导致红色分量部分上升，可能出现两种色彩分量最大差值均大于阈值，则放大红色和绿色两种颜色分量最大差值的数值，例如将其均扩大3倍，放大后再计算全部差值的和并比较，判定和较大的颜色出现，可以有效过滤光照带来的影响。

如果T1和T2均不大于或均大于对应的颜色阈值，特别是均不大于颜色阈值，这种情况也可能是设施在外界由于环境影响，色彩已经与样本发生较大差别，此时也可以将二者中更接近原始颜色阈值的值作为新的颜色阈值替换原有的颜色阈值存储，并继续后续识别，从而可以将更接近的值在本次识别中作为识别结果。

颜色识别完成后，可以直接调取对应颜色的样本进行识别，例如识别发现是红色，则调取显示为红色“分”状态下的存储样本，识别合格则上报，如果识别不合格，则说明颜色识别在当前环境图样下不适用，则再调取其他存储样本进行常规识别。

本发明通过对样本数量的逐级建立索引进行筛选管理，结合车辆行驶特点，有效缩小了样本数量，提高了识别速度，并对传输带宽降低了要求，提高了设备巡检效率。

前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (9)

1.一种基于人工智能的设备显示内容识别方法，其特征在于，包括

建立样本库: 对需要巡视线路上的所有道路设施进行逐个采样，拍摄不同显示状态和不同方向下的标准图样;

对标准图样建立索引,顶层为地理位置信息,顶层下的第二层为方向索引,方向索引下为不同设施和不同光照条件下的图像;

提取样本:根据检测者所处的地理位置信息调取相应地理位置索引下的样本,随后进一步根据行驶方向调取相应方向索引下的样本;

根据调取的样本进行内容识别。

2.如权利要求1所述的基于人工智能的设备显示内容识别方法，其特征在于, 所述建立样本库的步骤中，包括对样本的预处理，具体为：

对每一设备，获取大量包含该设备的样本图样并构建样本图样中的候选区域生成网络，候选区域生成网络对，获得N种语义尺度下的样本特征，

对N种语义尺度下的样本特征两两融合处理，获得融合后的样本特征，对每两种的融合结果进行置信度评价，选择出置信度评价最高的M种语义尺度

进行内容识别时，将待处理图像输入置该候选区域生成网络中，该网络对待处理图像进行多次卷积处理，对多次卷积处理进行融合处理，生成待处理图像对应的候选区域。

3.如权利要求1所述的基于人工智能的设备显示内容识别方法，其特征在于，所述内容识别的步骤包括:

S1识别图像中的设备;

S2识别出设备中的显示画面;

S3对显示画面中的显示内容进行识别。

4.如权利要求3所述的基于人工智能的设备显示内容识别方法，其特征在于，所述步骤S1和S2中,首先定义一个滑动窗口,对采集的图像利用滑动窗口进行无缝分割并识别每一窗口下的图样, 利用颜色直方图信息进行粗筛选。

5.如权利要求4所述的基于人工智能的设备显示内容识别方法，其特征在于，粗筛选后,提取筛选后的图样的伽柏图像特征进行支持向量机模型训练，建立判断模型,使用支持向量机分类器进行精确判别。

6.如权利要求4所述的基于人工智能的设备显示内容识别方法，其特征在于，所述步骤S2中, 对识别出的设备图像分块并计算各块的亮度均值;取各块的均值，找出其中与其它块亮度之差最大的多个区域,

判断多个区域是否空间相连,是则认定为显示区域,否则进一步找出空间相连后总面积最大的多个区域,将其判定为显示区域。

7.如权利要求4所述的基于人工智能的设备显示内容识别方法，其特征在于，所述步骤S3中,将显示画面划分为多个通道，分别计算其第一色彩和第二色彩的颜色分量；

计算两种色彩下，各个通道中相同颜色的最大颜色分量和最小颜色分量的差值，并判断其是否大于预先设定的颜色阈值，如果仅一种色彩大于颜色阈值，判定出现对应颜色；

如果差值均不大于或均大于颜色阈值，则等比例放大两种颜色最大差值的数值，在放大基础上计算全部差值的和并比较，判定和较大的颜色出现；

颜色判断完成后，调取对应颜色的显示样本进行识别。

8.如权利要求7所述的基于人工智能的设备显示内容识别方法，其特征在于, 如果差值均不大于颜色阈值，则将两种色彩中更接近原始颜色阈值的差值作为新的颜色阈值替换原有的颜色阈值存储，并继续后续识别。

9.如权利要求1所述的基于人工智能的设备显示内容识别方法，其特征在于,提取样本过程中,首先提取采样距离最远的样本进行对比，对比成功则后续优先调取更近距离的同一索引下的样本进行识别，对比不成功则继续等待行驶至更近距离，在较近距离对比成功后，则在后续识别中舍弃之前较远距离的样本调取。