CN108133211B - 一种基于移动终端视觉图像的检测配电柜的方法 - Google Patents

一种基于移动终端视觉图像的检测配电柜的方法 Download PDF

Info

Publication number
CN108133211B
CN108133211B CN201711345844.XA CN201711345844A CN108133211B CN 108133211 B CN108133211 B CN 108133211B CN 201711345844 A CN201711345844 A CN 201711345844A CN 108133211 B CN108133211 B CN 108133211B
Authority
CN
China
Prior art keywords
image
shape
power distribution
distribution cabinet
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711345844.XA
Other languages
English (en)
Other versions
CN108133211A (zh
Inventor
姜金岭
孙洁
白伟光
臧腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Measurement and Control Technology Co Ltd
Original Assignee
Beijing Aerospace Measurement and Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Measurement and Control Technology Co Ltd filed Critical Beijing Aerospace Measurement and Control Technology Co Ltd
Priority to CN201711345844.XA priority Critical patent/CN108133211B/zh
Publication of CN108133211A publication Critical patent/CN108133211A/zh
Application granted granted Critical
Publication of CN108133211B publication Critical patent/CN108133211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于移动终端视觉图像的检测配电柜的方法,所述方法包括:建立配电柜的典型形状的形状特征分类器;对通过移动终端采集的配电柜图像进行预处理后进行图像的三级小波分解子图,然后,在形状特征分类器的三级低频子空间中对三级小波分解子图、二级低频子空间中对二级小波分解子图分别进行形状匹配;如果匹配成功,获取位置信息,然后在高频子空间中进行形状精确匹配定位;否则,调整移动终端的距离和角度,重新采集配电柜图像;根据采集的图像和位置信息,对配电柜进行检测。本发明的方法能够克服移动终端在配电柜检测过程中的角度和位置差异问题,同时能够克服工艺检测中复杂背景和照明恶劣的情况,实现对配电柜的精确检测。

Description

一种基于移动终端视觉图像的检测配电柜的方法
技术领域
本发明属于工业视觉检测的工艺检测技术,特别涉及需要较灵活的视觉检测方式的应用,基于移动终端进行识别;具体涉及一种基于移动终端视觉图像的检测配电柜的方法。
背景技术
近年来随着我国工业智能化程度的不断深入,越来越多的工艺过程趋于智能化和自动化,大大的提高了效率和准确度,在各种大型工业设备中,配电柜是保证设备运行的重要组成部分,检测配电柜中的接线状态是工艺过程中的重要一环,现有的配电柜接线状态检测方法主要依赖于传统的人工操作,效率低、主观性强。在该类型的工艺过程中引入机器视觉代替工人进行检测将极大的提升工作效率,减少人工成本,提高识别准确性。
集成于设备上的配电柜受限于自身结构和设备整体布局,一般具有空间狭小、光照条件恶劣、配电柜集成度高、接线状态多样的特点,另外,对不同的设备、不同的配电柜的检测需要设备具有较高的适应性和便携性。传统的机器视觉工业检测系统位置和视场均固定,要求检测环境统一、可控,这种检测方式并不能很好的适应于大量的应用模式。
基于移动终端的工艺检测方式不但能够达到自动化检测的效率和准确性,同时克服了传统视觉检测系统的局限,移动终端可以采集到高像素图像,同时自带闪光灯具有补光照明效果,拍摄角度和距离范围较大,能够满足各种恶劣环境下的检测。但是由于拍摄角度和视场的不确定,导致采集的图像具有较大的差异,较难进行自动化检测。一方面开放的检测环境使得前景和背景均很复杂,需要考虑大量的实际情况,另一方面,灵活的检测方式也提高了对操作人员的要求。
目前,国内外在机器视觉的检测方面进行大量的研究并且成果颇丰,很多特定场景的工业识别系统已经实现了完全替代人工,但是在基于移动终端的工艺检测方面研究较少。现有的检测算法存在如下缺陷:采集图像均来自相同的环境、对于采集角度和尺度不确定的情况鲁棒性较差,图像分割基于背景简单的情况,对于复杂背景的识别能力差,识别算法多是基于高配置的PC机,识别算法复杂度高不适合移动终端的嵌入式使用。
发明内容
本发明的目的在于克服目前基于移动终端的检测配电柜的方法存在的上述缺陷,提出了一种新的基于移动终端的检测配电柜的方法,该方法能够通过移动终端采集工艺过程图像,并进行实时匹配和显示匹配度,能够对操作人员拍照提供指导作用,并且对目标区域进行分割,提取目标字符区域并进行识别判定。
为了实现上述目的,本发明提出了一种基于移动终端视觉图像的检测配电柜的方法,所述方法包括:
建立配电柜的典型形状的形状特征分类器;
对通过移动终端采集的配电柜图像进行预处理后进行图像的三级小波分解子图,然后,在形状特征分类器的三级低频子空间中对三级小波分解子图、二级低频子空间中对二级小波分解子图分别进行形状匹配;
如果匹配成功,获取位置信息,然后在高频子空间中进行形状精确匹配定位;否则,调整移动终端的距离和角度,重新采集配电柜图像;
根据采集的图像和位置信息,对配电柜进行检测。
作为上述方法的一种改进,所述方法具体包括:
步骤1)选取典型形状配电柜的多组标准样本和配电柜中的实际样本在支持向量机中进行训练,得到形状特征分类器;
步骤2)对通过移动终端采集的配电柜图像进行预处理;
步骤3)对预处理后的图像进行小波塔式变换:选取Haar小波基,得到图像的三级小波分解子图;
步骤4)在三级低频子空间中,基于图像的三级小波分解子图利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,则转入步骤5);否则,在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,则转入步骤5);否则,转入步骤2);
步骤5)在正确匹配的形状位置范围内,在高频子空间中进行形状精确匹配定位;根据实时检测的采集图像和先验知识图像之间的形状的位置关系,利用仿射变换得到采集图像相对于先验知识图像的相对位置;
步骤6)将匹配的位置关系实时在移动终端中进行显示,如果匹配位置关系处于后续分割识别的可控范围;转入步骤7);否则,提示操作人员调整距离和角度,转入步骤2);
步骤7)对于采集的图像和位置信息,对待检测目标区域内的图像进行局部自适应二值化,检测的字符区域和杂质区域经过级联式的筛选器,然后对前景和背景进行区分,再对前景进行字符识别和工艺过程状态信息进行判定。
作为上述方法的一种改进,所述步骤1)具体包括:
步骤101)选取配电柜的典型形状;
所述典型形状包括块形和条形,所述多边形和弧边形,所述多边形包括:正方形,矩形,三角形,十字形,菱形和T字形;所述弧边形包括:圆形,环形和椭圆形;所述条形包括:直线,平行线和弧形;
步骤102)提取典型形状的配电柜的多组标准样本和实际样本的图像,对图像进行尺寸归一化,并将图像中每个像素的灰度值作为特征向量;
对于二分类的样本x:x={x1,x2,x3,…,xn},其中xi为m维向量,假设该分类问题为线性可分的,则分类面(线,面,超平面)s(x):
s(x)=ωTx+d=0;
其中,
Figure BDA0001509318730000031
为样本x的权重向量,
Figure BDA0001509318730000032
ωTx=θ1x12x2+…+θnxn,θi为分量xi对应的权重参数,d为常量参数;
使所有样本对分类面的距离|s(x)|≥1,即距离分类面最近的样本与分类面的距离为1;由点面距离公式:
Figure BDA0001509318730000033
可得,对于任何分类面,距离分类面最近的两类样本的距离为
Figure BDA0001509318730000034
为求得最优分类面,即
Figure BDA0001509318730000035
取最大值等价于||ω||取最小值,即求:
Figure BDA0001509318730000036
定义Lagrange方程:
Figure BDA0001509318730000037
其中,λ={λ123,…,λn}为拉格朗日乘子。
对ω,d求偏导数,得到:
Figure BDA0001509318730000041
ω*为ω的伴随矩阵;
最优分类函数t(x)为:
Figure BDA0001509318730000042
其中,sgn为符号函数,d*为d的伴随矩阵;
通过核函数定义的非线性变换将原特征空间转换到高位特征空间,在新的特征空间中实现先行分类;
步骤103)将样本的特征向量输入支持向量机进行训练,训练好的支持向量机为形状特征分类器;
选用径向基核函数作为核函数:
Figure BDA0001509318730000043
上式中,xi和xj分别为支持向量和待分类模式,σ为高斯函数的标准差,代表了该支持向量在特征空间的影响范围,由此可得到基于支持向量的形状特征分类器模型。
作为上述方法的一种改进,所述步骤2)的预处理包括:对图像进行灰度化和直方图均衡化。
作为上述方法的一种改进,所述步骤3)具体为:
选取Haar小波基对图像进行小波塔式变换,将图像分解为一系列小波图像的叠加,母小波经过位移τ后,再在不同尺度a伸缩的小波系列ψa,τ(t)为:
Figure BDA0001509318730000044
ψ(t)表示母小波,小波变换如下:
Figure BDA0001509318730000045
ψ*(t)表示母小波ψ(t)的共轭,x(t)为变换函数,WTx(a,τ)为变换后的函数;
对于图像函数f(x,y),二维小波基ψ(x,y)表示二维母小波,则二维连续小波为:
Figure BDA0001509318730000051
其中,a为尺度伸缩量,bx、by为二维位移;
二维小波变换如下:
Figure BDA0001509318730000052
将一维离散小波变换分别用于图像灰度矩阵的行和列上,小波尺度函数φ生成的镜像滤波器为H和G,原始图像C0,则小波变换可把图像表示成一系列各尺度上的细节图像和一幅尺度近似图像,若进行N级小波分解,则可有N个分辨率;每个分辨率的D1、D2和D3子带保留,C1子带继续分解,共得到3N+1个子带。
Figure BDA0001509318730000053
k表示分解尺度,r表示每次分解对应的高频信息编号;
根据基于信息熵的判断标准
Figure BDA0001509318730000054
进行三级小波分解,得到图像的三级小波分解子图。
作为上述方法的一种改进,所述步骤4)具体包括:
步骤4-1)在三级低频子空间中对三级小波分解子图进行局部二值化和全局二值化,对图像中提取的形状输入形状特征分类器,对图像进行识别;
步骤4-2)将识别出的多个形状的种类和位置信息同模板库图像中已知的多个形状种类和位置信息进行互相关的图像匹配,匹配依据是计算特征点相关区域的相关系数CC:
Figure BDA0001509318730000055
其中,W为特征点的邻域,I1(x,y)为待检测图像的像素灰度值,I2(x,y)为模板图像的像素灰度值。
对其进行归一化后为:
Figure BDA0001509318730000056
其中,
Figure BDA0001509318730000061
Figure BDA0001509318730000062
分别表示待检测图像和模板图像特征点相关邻域内像素灰度值的均值。形状匹配时选取相关系数中最大的相关系数对应的形状作为该参考点的匹配点;
步骤4-3)如果步骤4-2)中所识别出的形状与先验知识中的形状的特征不匹配,转入步骤4-4);如果匹配成功,转入步骤5);
步骤4-4)在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,转入步骤4-5);否则,则认为该图像拍摄失败;转入步骤2)。
作为上述方法的一种改进,所述步骤4)还包括:
对于不能正确匹配的情况,在移动终端的屏幕上进行提示重新选取拍摄角度;对于步骤4)中正确匹配的情况,在移动终端的屏幕上通过四边形显示图像的拍摄角度,四边形对边中短边相对于长边表示该边应该将拍摄距离移近,当屏幕中显示的四边形近似为矩形的时候表示拍摄角度正确;通过箭头表示视场的偏移,选取8个方向的箭头提示操作人员进行视场移动;选用阈值pthres=0.88,当采集图像的角度和视场偏移相对于先验知识图像的误差小于阈值pthres,则认为该采集图像满足检测条件,进行后续识别。
作为上述方法的一种改进,所述步骤7)具体包括:
步骤7-1)由步骤4)、步骤5)和步骤6)确定的采集图像的定位信息,将先验知识图像中需要检测的目标区域映射到采集图像中,对于待检测目标区域内的图像进行局部自适应二值化,得到目标区域的二值图像,每个目标区域中获得包括字符和杂质的多个区域;
步骤7-2)将这些区域经过级联式筛选器,对前景和杂质根据形态学中的多种几何条件进行判定,每种几何条件作为一个特征进行分类,将区域分为字符区域和杂质区域,同时得到该特征的权重,初始权重为0.5;
步骤7-3)对判定为字符的区域选取下一组几何条件作为特征进一步判定,并得到该特征的权重,并且根据比例更新之前所有特征的权重,最终对于所有的特征和最终的权重,得到满足条件的字符区域和判定为杂质的区域,对字符区域进行排序,进行后续的字符识别和工艺过程状态信息判定。
本发明的优势在于:
本发明的方法能够克服移动终端在配电柜检测过程中的角度和位置差异问题,能够指导操作人员进行检测拍照,同时能够克服工艺检测中复杂背景和照明恶劣的情况,解决了基于移动终端的工艺视觉检测中的实际问题。
附图说明
图1为本发明的基于移动终端视觉图像的配电柜检测方法的流程图;
图2为本发明的选取的配电柜中的典型的形状及分类;
图3为本发明的级联式筛选器的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细的说明。
如图1所示,一种基于移动终端视觉图像的检测配电柜方法,所述方法包括:
步骤1)选取典型形状配电柜的多组标准样本和配电柜中的实际样本在支持向量机中进行训练,得到形状特征分类器,用于后续形状筛选;具体包括:
步骤101)选取配电柜的典型形状;
如图2所示,所述典型形状包括块形和条形,所述多边形和弧边形,所述多边形包括:正方形,矩形,三角形,十字形,菱形和T字形;所述弧边形包括:圆形,环形和椭圆形;所述条形包括:直线,平行线和弧形;
步骤102)提取典型形状的配电柜的多组标准样本和实际样本的图像,对图像进行尺寸归一化,并将图像中每个像素的灰度值作为特征向量;
由于配电柜形状的识别筛选是典型的小样本分类,因此选取基于支持向量机的分类器,对于二分类的样本x:x={x1,x2,x3,…,xn},其中xi为m维向量,假设该分类问题为线性可分的,则分类面(线,面,超平面)s(x):
s(x)=ωTx+d=0;
其中,
Figure BDA0001509318730000071
为样本x的权重向量,
Figure BDA0001509318730000072
ωTx=θ1x12x2+…+θnxn,θi为分量xi对应的权重参数,d为常量参数。
为了提高准确率,需对模型进行规范化,使所有样本对分类面的距离|s(x)|≥1,即距离分类面最近的样本与分类面的距离为1。由点面距离公式:
Figure BDA0001509318730000073
可得,对于任何分类面,距离分类面最近的两类样本的距离为
Figure BDA0001509318730000081
为求得最优分类面,即
Figure BDA0001509318730000082
取最大值等价于||ω||取最小值,即求:
Figure BDA0001509318730000083
定义Lagrange方程:
Figure BDA0001509318730000084
其中,λ={λ123,…,λn}为拉格朗日乘子。
对ω,d求偏导数,得到:
Figure BDA0001509318730000085
ω*为ω的伴随矩阵。
最优分类函数t(x)为:
Figure BDA0001509318730000086
其中,sgn为符号函数,d*为d的伴随矩阵。
通过核函数定义的非线性变换将原特征空间转换到高位特征空间,在新的特征空间中实现先行分类。
步骤103)将样本的特征向量输入支持向量机进行训练,训练好的支持向量机为形状特征分类器;
本发明选用径向基核函数作为核函数,其表现稳定能够达到较好的分类效果,核函数为:
Figure BDA0001509318730000087
上式中,xi和xj分别为支持向量和待分类模式,σ为高斯函数的标准差,代表了该支持向量在特征空间的影响范围,由此可得到基于支持向量的形状特征分类器模型。
步骤2)对通过移动终端采集的配电柜图像进行预处理,所述预处理包括:对图像进行灰度化和直方图均衡化;
步骤3)对预处理后的图像进行小波塔式变换:选取Haar小波基,得到图像的三级小波分解子图;(这个三级包括1级,2级和3级)
选取Haar小波基对图像进行小波塔式变换,将图像分解为一系列小波图像的叠加,母小波经过位移τ后,再在不同尺度a伸缩的小波系列ψa,τ(t)为:
Figure BDA0001509318730000091
ψ(t)表示母小波。
小波变换如下:
Figure BDA0001509318730000092
ψ*(t)表示母小波ψ(t)的共轭,x(t)为变换函数,WTx(a,τ)为变换后的函数。
对于图像函数f(x,y),二维小波基ψ(x,y)表示二维母小波,则二维连续小波为:
Figure BDA0001509318730000093
其中,a为尺度伸缩量,bx、by为二维位移。
二维小波变换如下:
Figure BDA0001509318730000094
本实施例将一维离散小波变换分别用于图像灰度矩阵的行和列上,小波尺度函数φ生成的镜像滤波器为H和G,原始图像C0,则小波变换可把图像表示成一系列各尺度上的细节图像和一幅尺度近似图像,若进行N级小波分解,则可有N个分辨率;每个分辨率的D1、D2和D3子带保留,C1子带继续分解,共得到3N+1个子带。
Figure BDA0001509318730000095
k表示分解尺度,r表示每次分解对应的高频信息编号。
根据紧致性、正交性、正则性、幅值响应单调、相位响应线性的特点,本发明选取dbN系列小波基函数,dbN小波基由Daubechies推导得来,N代表小波函数的消失矩,消失矩越大,它的支撑长度就越大,对应的滤波器就越平滑。当N=4时,小波函数和尺度函数均可微,故选用db4小波基。根据Mallat多分辨率理论,小波分解过程可以无限进行下去,但是,随着分解级数的增加,除了计算量变大,重构后的图像会出现失真,失去识别能力。本发明的方法根据基于信息熵的判断标准
Figure BDA0001509318730000101
进行三级小波分解,得到图像的三级小波分解子图。
步骤4)在三级低频子空间中,基于图像的三级小波分解子图利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,则转入步骤5);否则,在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,则转入步骤5);否则,转入步骤2);具体包括:
步骤4-1)对三级低频子空间中对三级小波分解子图进行局部二值化和全局二值化,对图像中提取的形状输入形状特征分类器,对图像进行识别;
步骤4-2)对识别出的多个形状的种类和位置信息,同模板库图像中已知的多个形状种类和位置信息进行互相关的图像匹配,匹配依据是计算特征点相关区域的相关系数CC:
Figure BDA0001509318730000102
其中,W为特征点的邻域,I1(x,y)为待检测图像的像素灰度值,I2(x,y)为模板图像的像素灰度值。
对其进行归一化后为:
Figure BDA0001509318730000103
其中,
Figure BDA0001509318730000104
Figure BDA0001509318730000105
分别表示待检测图像和模板图像特征点相关邻域内像素灰度值的均值。形状匹配时选取相关系数中最大的相关系数对应的形状作为该参考点的匹配点。
步骤4-3)如果步骤4-2)中所识别出的形状与先验知识中的形状的特征不匹配,转入步骤4-4);如果匹配成功,转入步骤5);
步骤4-4)在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,转入步骤4-5);否则,则认为该图像拍摄失败;转入步骤2);
步骤5)在正确匹配的形状位置范围内,在高频子空间中进行形状精确匹配定位;
在高频子空间中进行形状精确匹配定位;对于实时检测的采集图像和先验知识图像之间的形状的位置关系,利用仿射变换得到采集图像相对于先验知识图像的相对位置;
步骤6)将匹配的位置关系实时在移动终端中进行显示,如果匹配位置关系处于后续分割识别的可控范围;转入步骤7);否则,提示操作人员调整距离和角度,转入步骤2);
对于步骤4)中不能正确匹配的情况,在移动终端的屏幕上进行提示重新选取拍摄角度;对于步骤4)中能正确匹配的情况,在移动终端的屏幕上通过四边形显示图像的拍摄角度,四边形对边中短边相对于长边表示该边应该将拍摄距离移近,当屏幕中显示的四边形近似为矩形的时候表示拍摄角度正确;本发明通过箭头表示视场的偏移,选取8个方向的箭头提示操作人员进行视场移动;本发明选用阈值pthres=0.88,当采集图像的角度和视场偏移相对于先验知识图像的误差小于阈值pthres,则认为该采集图像满足检测条件,可以进行后续识别。
步骤7)对于采集的图像和位置信息,对待检测目标区域内的图像进行局部自适应二值化,检测的字符区域和杂质区域经过级联式的筛选器,然后对前景和背景进行区分,再对前景进行字符识别和工艺过程状态信息判定;具体包括:
步骤7-1)由步骤4)、步骤5)和步骤6)确定的采集图像的定位信息,将先验知识图像中需要检测的目标区域映射到采集图像中,对于待检测目标区域内的图像进行局部自适应二值化,得到目标区域的二值图像,每个目标区域中获得包括字符和杂质的多个区域;
步骤7-2)将这些区域经过级联式筛选器,如图3所示,对前景和杂质根据形态学中的多种几何条件进行判定,每种几何条件作为一个特征进行分类,将区域分为字符区域和杂质区域,同时得到该特征的权重,初始权重为0.5;
步骤7-3)对判定为字符的区域选取下一组几何条件作为特征进一步判定,并得到该特征的权重,并且根据比例更新之前所有特征的权重,最终,对于所有的特征和最终的权重,得到满足条件的字符区域和判定为杂质的区域,对字符区域进行排序,进行后续的字符识别和工艺过程状态信息判定。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于移动终端视觉图像的检测配电柜的方法,其特征在于,所述方法包括:
建立配电柜的典型形状的形状特征分类器;
对通过移动终端采集的配电柜图像进行预处理后进行图像的三级小波分解子图,然后,在形状特征分类器的三级低频子空间中对三级小波分解子图、二级低频子空间中对二级小波分解子图分别进行形状匹配;
如果匹配成功,获取位置信息,然后在高频子空间中进行形状精确匹配定位;否则,调整移动终端的距离和角度,重新采集配电柜图像;
根据采集的图像和位置信息,对配电柜进行检测;
所述方法具体包括:
步骤1)选取典型形状配电柜的多组标准样本和配电柜中的实际样本在支持向量机中进行训练,得到形状特征分类器;
步骤2)对通过移动终端采集的配电柜图像进行预处理;
步骤3)对预处理后的图像进行小波塔式变换:选取Haar小波基,得到图像的三级小波分解子图;
步骤4)在三级低频子空间中,基于图像的三级小波分解子图利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,则转入步骤5);否则,在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,则转入步骤5);否则,转入步骤2);
步骤5)在正确匹配的形状位置范围内,在高频子空间中进行形状精确匹配定位;根据实时检测的采集图像和先验知识图像之间的形状的位置关系,利用仿射变换得到采集图像相对于先验知识图像的相对位置;
步骤6)将匹配的位置关系实时在移动终端中进行显示,如果匹配位置关系处于后续分割识别的可控范围;转入步骤7);否则,提示操作人员调整距离和角度,转入步骤2);
步骤7)对于采集的图像和位置信息,对待检测目标区域内的图像进行局部自适应二值化,检测的字符区域和杂质区域经过级联式的筛选器,然后对前景和背景进行区分,再对前景进行字符识别和工艺过程状态信息进行判定。
2.根据权利要求1所述的基于移动终端视觉图像的检测配电柜的方法,其特征在于,所述步骤1)具体包括:
步骤101)选取配电柜的典型形状;
所述典型形状包括块形、条形、多边形和弧边形,所述多边形包括:正方形,矩形,三角形,十字形,菱形和T字形;所述弧边形包括:圆形,环形和椭圆形;所述条形包括:直线,平行线和弧形;
步骤102)提取典型形状的配电柜的多组标准样本和实际样本的图像,对图像进行尺寸归一化,并将图像中每个像素的灰度值作为特征向量;
对于二分类的样本x:x={x1,x2,x3,…,xn},其中xi为m维向量,假设分类问题为线性可分的,则分类面(线,面,超平面)s(x):
s(x)=ωTx+d=0;
其中,
Figure FDA0002534664100000021
为样本x的权重向量,
Figure FDA0002534664100000022
ωTx=θ1x12x2+…+θnxn,θi为分量xi对应的权重参数,d为常量参数;
使所有样本对分类面的距离|s(x)|≥1,即距离分类面最近的样本与分类面的距离为1;由点面距离公式:
Figure FDA0002534664100000023
可得,对于任何分类面,距离分类面最近的两类样本的距离为
Figure FDA0002534664100000024
为求得最优分类面,即
Figure FDA0002534664100000025
取最大值等价于||ω||取最小值,即求:
Figure FDA0002534664100000026
定义Lagrange方程:
Figure FDA0002534664100000027
其中,λ={λ123,…,λn}为拉格朗日乘子;
对ω,d求偏导数,得到:
Figure FDA0002534664100000031
ω*为ω的伴随矩阵;
最优分类函数t(x)为:
Figure FDA0002534664100000032
其中,sgn为符号函数,d*为d的伴随矩阵;
通过核函数定义的非线性变换将原特征空间转换到高位特征空间,在新的特征空间中实现先行分类;
步骤103)将样本的特征向量输入支持向量机进行训练,训练好的支持向量机为形状特征分类器;
选用径向基核函数作为核函数:
Figure FDA0002534664100000033
上式中,xi和xj分别为支持向量和待分类模式,σ为高斯函数的标准差,代表了该支持向量在特征空间的影响范围,由此可得到基于支持向量的形状特征分类器模型。
3.根据权利要求1所述的基于移动终端视觉图像的检测配电柜的方法,其特征在于,所述步骤2)的预处理包括:对图像进行灰度化和直方图均衡化。
4.根据权利要求2所述的基于移动终端视觉图像的检测配电柜的方法,其特征在于,所述步骤3)具体为:
选取Haar小波基对图像进行小波塔式变换,将图像分解为一系列小波图像的叠加,母小波经过位移τ后,再在不同尺度a伸缩的小波系列ψa,τ(t)为:
Figure FDA0002534664100000034
ψ(t)表示母小波,小波变换如下:
Figure FDA0002534664100000041
ψ*(t)表示母小波ψ(t)的共轭,x(t)为变换函数,WTx(a,τ)为变换后的函数;
对于图像函数f(x,y),二维小波基ψ(x,y)表示二维母小波,则二维连续小波为:
Figure FDA0002534664100000042
其中,a为尺度伸缩量,bx、by为二维位移;
二维小波变换如下:
Figure FDA0002534664100000043
将一维离散小波变换分别用于图像灰度矩阵的行和列上,小波尺度函数φ生成的镜像滤波器为H和G,原始图像C0,则小波变换可把图像表示成一系列各尺度上的细节图像和一幅尺度近似图像,若进行N级小波分解,则可有N个分辨率;每个分辨率的D1、D2和D3子带保留,C1子带继续分解,共得到3N+1个子带;
Figure FDA0002534664100000044
k表示分解尺度,r表示每次分解对应的高频信息编号;
根据基于信息熵的判断标准
Figure FDA0002534664100000045
进行三级小波分解,得到图像的三级小波分解子图。
5.根据权利要求4所述的基于移动终端视觉图像的检测配电柜的方法,其特征在于,所述步骤4)具体包括:
步骤4-1)在三级低频子空间中对三级小波分解子图进行局部二值化和全局二值化,对图像中提取的形状输入形状特征分类器,对图像进行识别;
步骤4-2)将识别出的多个形状的种类和位置信息同模板库图像中已知的多个形状种类和位置信息进行互相关的图像匹配,匹配依据是计算特征点相关区域的相关系数CC:
Figure FDA0002534664100000046
其中,W为特征点的邻域,I1(x,y)为待检测图像的像素灰度值,I2(x,y)为模板图像的像素灰度值;
对其进行归一化后为:
Figure FDA0002534664100000051
其中,
Figure FDA0002534664100000052
Figure FDA0002534664100000053
分别表示待检测图像和模板图像特征点相关邻域内像素灰度值的均值;形状匹配时选取相关系数中最大的相关系数对应的形状作为参考点的匹配点;
步骤4-3)如果步骤4-2)中所识别出的形状与先验知识中的形状的特征不匹配,转入步骤4-4);如果匹配成功,转入步骤5);
步骤4-4)在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别,将识别出的形状与模板库中的形状进行特征匹配,如果匹配成功,转入步骤4-5);否则,则认为该图像拍摄失败;转入步骤2)。
6.根据权利要求5所述的基于移动终端视觉图像的检测配电柜的方法,其特征在于,所述步骤4)还包括:
对于不能正确匹配的情况,在移动终端的屏幕上进行提示重新选取拍摄角度;对于步骤4)中正确匹配的情况,在移动终端的屏幕上通过四边形显示图像的拍摄角度,四边形对边中短边相对于长边表示该短边应该将拍摄距离移近,当屏幕中显示的四边形近似为矩形的时候表示拍摄角度正确;通过箭头表示视场的偏移,选取8个方向的箭头提示操作人员进行视场移动;选用阈值pthres=0.88,当采集图像的角度和视场偏移相对于先验知识图像的误差小于阈值pthres,则认为该采集图像满足检测条件,进行后续识别。
7.根据权利要求5所述的基于移动终端视觉图像的检测配电柜的方法,其特征在于,所述步骤7)具体包括:
步骤7-1)由步骤4)、步骤5)和步骤6)确定的采集图像的定位信息,将先验知识图像中需要检测的目标区域映射到采集图像中,对于待检测目标区域内的图像进行局部自适应二值化,得到目标区域的二值图像,每个目标区域中获得包括字符和杂质的多个区域;
步骤7-2)将这些区域经过级联式筛选器,对前景和杂质根据形态学中的多种几何条件进行判定,每种几何条件作为一个特征进行分类,将区域分为字符区域和杂质区域,同时得到该特征的权重,初始权重为0.5;
步骤7-3)对判定为字符的区域选取下一组几何条件作为特征进一步判定,并得到该特征的权重,并且根据比例更新之前所有特征的权重,最终对于所有的特征和最终的权重,得到满足条件的字符区域和判定为杂质的区域,对字符区域进行排序,进行后续的字符识别和工艺过程状态信息判定。
CN201711345844.XA 2017-12-15 2017-12-15 一种基于移动终端视觉图像的检测配电柜的方法 Active CN108133211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711345844.XA CN108133211B (zh) 2017-12-15 2017-12-15 一种基于移动终端视觉图像的检测配电柜的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711345844.XA CN108133211B (zh) 2017-12-15 2017-12-15 一种基于移动终端视觉图像的检测配电柜的方法

Publications (2)

Publication Number Publication Date
CN108133211A CN108133211A (zh) 2018-06-08
CN108133211B true CN108133211B (zh) 2020-07-28

Family

ID=62389507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711345844.XA Active CN108133211B (zh) 2017-12-15 2017-12-15 一种基于移动终端视觉图像的检测配电柜的方法

Country Status (1)

Country Link
CN (1) CN108133211B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830594B (zh) * 2018-06-22 2019-05-07 山东高速信联支付有限公司 多模式电子支付系统
CN109902720B (zh) * 2019-01-25 2020-11-27 同济大学 基于子空间分解进行深度特征估计的图像分类识别方法
CN113688828B (zh) * 2021-07-23 2023-09-29 山东云海国创云计算装备产业创新中心有限公司 一种坏元识别方法及相关装置
CN115187969B (zh) * 2022-09-14 2022-12-09 河南工学院 一种基于视觉识别的铅酸电池回收系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3606430B2 (ja) * 1998-04-14 2005-01-05 松下電器産業株式会社 画像整合性判定装置

Also Published As

Publication number Publication date
CN108133211A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108133211B (zh) 一种基于移动终端视觉图像的检测配电柜的方法
CN111709909B (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN102541954B (zh) 一种商标检索方法及系统
Li et al. An Efficient Scheme for Detecting Copy-move Forged Images by Local Binary Patterns.
US20100021067A1 (en) Abnormal area detection apparatus and abnormal area detection method
CN106203461B (zh) 一种图像处理方法及装置
CN109687382B (zh) 一种基于颜色模版匹配的继电保护压板投退状态识别方法
CN103544488B (zh) 一种人脸识别方法及装置
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN106650696B (zh) 一种基于奇异值分解的手写电气元件符号识别方法
CN102842133B (zh) 一种局部特征描述方法
CN109711420B (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法
CN110516666B (zh) 基于mser和isodata相结合的车牌定位方法
CN109241932B (zh) 一种基于运动方差图相位特征的热红外人体动作识别方法
Tribak et al. QR code patterns localization based on Hu Invariant Moments
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
CN103455798A (zh) 基于最大几何流向直方图的人体检测方法
CN111127407A (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN110197184A (zh) 一种基于傅里叶变换的快速图像sift提取方法
CN116109849A (zh) 基于surf特征匹配的高压隔离开关定位与状态识别方法
CN103530647A (zh) 基于分数傅里叶变换的纹理分类方法
CN106530300A (zh) 一种低秩分析的火焰识别算法
Rajab et al. An efficient method for stamps verification using haar wavelet sub-bands with histogram and moment
Li et al. A fast rotated template matching based on point feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant