CN103279765B - 基于图像匹配的钢丝绳表面损伤检测方法 - Google Patents

Abstract

本发明提出了一种基于图像匹配的钢丝绳表面损伤检测方法，属于图像处理和无损探伤领域。本发明采用摄像机固定的方式，利用钢丝绳工作过程中本身的移动，实现了整段钢丝绳的实时检测；考虑到终端性能不同的应用场景，提出视频摄录和照片拍摄两种获取钢丝绳图像的模式，灵活选择与终端能力相匹配的工作方式；在视频摄录模式下，仅提取视频关键帧图片用于匹配，在确保提取到钢丝绳损伤部位镜头内容的前提下大大降低工作量，而使用不固定数目的关键帧提取方式，针对不同的镜头内容灵活调整关键帧数目，使得系统开销进一步降低；将基于特征的图像匹配用于钢丝绳表面损伤检测，匹配度反映了损伤程度，使得损伤的判定简单准确。

Description

基于图像匹配的钢丝绳表面损伤检测方法

技术领域

本发明涉及一种钢丝绳损伤检测方法，尤其涉及一种基于图像匹配的钢丝绳表面损伤检测方法。

背景技术

随着现代工业化的进展，钢丝绳广泛应用于矿业、交通、建筑等国民经济主要行业中。由于钢丝绳的应用环境比较恶劣，使用过程中容易出现断丝、锈蚀甚至断裂等故障，直接关系到人身安全和生产效率。因此，钢丝绳的故障检测方法就显得尤为重要。

传统的钢丝绳损伤检测包括人工目测和无损探伤设备两大类。人工目视检测是指配备专门的工作人员定期以肉眼观测钢丝绳是否有损伤。此种方法简便易行，不需依靠复杂设备。但该方法的缺点一是检测时间长，劳动强度大，检测人员易疲劳，效率低下；二是较大地依赖工作人员的专业素质和工作态度，主观性强导致漏检率高。

无损探伤是利用钢丝绳的声、光、磁等特性，在不影响钢丝绳使用性能的前提下，采用相应原理技术仪器检测被检对象中是否存在缺损或不均匀性，并给出缺损大小，位置，性质和数量等信息。常用的无损探伤检测方法包括射线、超声波、光学和磁检测法等，其中得到了广泛实践的是磁检测法。利用无损探伤设备，检测精度和正检率高，缺损部位定位准确。但此种方法设备复杂，成本高昂，检测时钢丝绳的晃动、不规则扭转和拉伸程度，损伤的深度、宽度和形态，环境温度变化和外界电磁干扰都会对探测信号造成较大的干扰。

图像匹配技术是图像处理的一项基础技术，用于匹配相互之间有偏移的两幅或多幅图像，在目标识别、变化检测、图像分析等领域均有广泛应用。图像匹配分为基于灰度、基于特征和基于变换域等大类，其中基于特征的匹配方法把对整张图像的分析转换成仅对图像特征信息的分析，大大提高了运算速度，对图像的偏移、旋转等都有较好的适应能力，因此是目前图像匹配的主流方法之一。

由此可见，目前的钢丝绳损伤检测仍需要一种介于人工目测和无损探伤之间，综合考虑检测效果和设备要求的检测技术，而将已经很成熟的图像匹配技术应用到钢丝绳损伤检测中就能获得良好的检测效果。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于图像匹配的钢丝绳表面损伤检测方法。

为了实现本发明的上述目的，本发明提供了一种基于图像匹配的钢丝绳表面损伤检测方法，包括：

步骤1，对钢丝绳进行拍摄工作，提取拍摄的钢丝绳视频或图像；

步骤2，提取待匹配图像，用于进行后续匹配处理；

步骤3，将待匹配的图像进行背景分割和降噪处理；

步骤4，将背景分割和降噪处理后的待匹配图像以角点提取方法，将预存模板图像和所述待匹配图像进行匹配处理，根据匹配度阈值，判断钢丝绳所存在的表面缺损，从而检测出钢丝绳是否存在缺损和缺损的位置，及时示警。

上述技术方案的有益效果为：采用摄像机固定的方式，利用钢丝绳工作过程中本身的移动，实现了整段钢丝绳的实时检测；考虑到终端性能不同的应用场景，提出视频摄录和照片拍摄两种获取钢丝绳图像的模式，灵活选择与终端能力相匹配的工作方式；在视频摄录模式下，仅提取视频关键帧图片用于匹配，在确保提取到钢丝绳损伤部位镜头内容的前提下大大降低工作量，而使用不固定数目的关键帧提取方式，针对不同的镜头内容灵活调整关键帧数目，使得系统开销进一步降低；将基于特征的图像匹配用于钢丝绳表面损伤检测，匹配度反映了损伤程度，使得损伤的判定简单准确。

所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤1包括，对钢丝绳拍摄采用照相机进行拍摄，执行如下步骤：

步骤1-1，在照相机拍摄过程中，每隔固定的时间频率进行拍照，用于提取钢丝绳图像，在钢丝绳上下循环过程中提取钢丝绳全段图像，然后执行步骤3。

上述技术方案的有益效果为：考虑嵌入式终端性能有限的应用场景，提出以拍照模式获取钢丝绳图像的方式，设定合适的拍照频率即可确保无缝连接。此种方式省去了视频模式中提取关键帧的计算量，极大地节约了系统开销，适用于处理能力和存储容量有限的终端，同样能实现实时监测。

所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤1包括，对钢丝绳拍摄采用摄像机进行拍摄，执行如下步骤：

步骤1-2，在摄像机拍摄过程中，每隔固定的时间间隔截取视频，用于提取待匹配关键帧，在钢丝绳上下循环过程中得以提取钢丝绳全段视频。

上述技术方案的有益效果为：采用摄像机固定的方式，利用钢丝绳工作过程中本身的移动，实现了整段钢丝绳的检测，避免移动监控设备带来的设备复杂化和噪声干扰。

所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤2包括：

步骤2-1，将提取的钢丝绳各段视频，采用不固定关键帧提取法获取待匹配的关键帧；

步骤2-2，所述不固定关键帧提取法为，将一段视频全部帧的每一帧与前一帧作灰度差分并取绝对值，二值化后取逻辑值，累加所得的数值即为前后两帧的帧差，如此计算出所有帧的相邻帧差和该段视频的平均帧差AN；

步骤2-3，选择候选关键帧，为确保在有钢丝绳损伤段经过的视频中，至少选中损伤钢丝绳的一帧，挑出所有相邻帧差中最大帧差对应的两帧，再挑出与前一帧帧差最接近于平均帧差AN的一帧，以此三帧图片作为三个候选关键帧，分别命名为N1、N2、N3；

步骤2-4，N1与N2之间的帧差为M1，N2与N3之间的帧差为M2，N3与N1之间的帧差为M3；

步骤2-5，待匹配的关键帧选取规则如下：

当M1、M2、M3均小于AN时，说明三帧之间内容差别不大，任意一帧都可作为该段视频的关键帧，默认选取N1；

当M1、M2、M3均大于AN时，说明三帧之间内容差别都很大，此时N1、N2、N3都应作为待匹配关键帧关键帧；

其余情况下，比较M1、M2、M3之间的大小，选取最大的一个，其对应的两帧作为待匹配的关键帧。

上述技术方案的有益效果为：仅提取视频中的关键帧用于匹配，在准确提取到钢丝绳损伤段内容的前提下大大降低工作量。使用不固定数目的关键帧提取方式，针对不同的镜头内容灵活调整关键帧数目，使得系统开销进一步降低。

所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤3包括：

步骤3-1，得到待匹配图像后，为了提高匹配准确率，需经过背景分割和噪声处理，所有拍摄图像背景都已知且无变化，因此对图像求灰度直方图，分析出钢丝绳的物体峰，从而确定合适的分割阈值，将钢丝绳和背景很好地分割开；

步骤3-2，而为了消除图像拍摄和分割时可能出现的噪声，提高图像质量，对得到的待匹配图像进行中值滤波。

上述技术方案的有益效果为：摄像机固定，所有拍摄图片的背景都已知且无变化，因此对图像求灰度直方图，分析出钢丝绳的物体峰，从而确定合适的分割阈值，将钢丝绳和背景很好地分割开。而为了消除图像拍摄和分割时可能出现的噪声，提高图像质量，对分割出的钢丝绳图像再进行一次中值滤波操作，得到效果更好的钢丝绳图像。

所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤4包括：

步骤4-1，选择对光照变化稳定的Harris角点提取方法，将图像灰度函数分别向x、y方向一阶展开，从而找出曲率较大的角点作为特征点，用来表示待匹配图像钢丝绳缺损处的特征信息；

步骤4-2，分别对模板图像和待匹配图像提取角点，得到模板图像角点集Hmod和待匹配图像角点集Hobs，分别存储各角点的横纵坐标；

步骤4-3，对于模板图像角点集Hmod中每一个角点，提取出它指定数量的邻点及每个邻点和指定角点之间的角度，得到模板图像邻点集NeighborMod；同理对待匹配图像角点集Hobs进行相同处理，得到待匹配图像邻点集NeighborObs以便后续几何约束策略使用；

步骤4-4，以序号为1的角点为例，指定提取5个邻点，提取方式如下：计算所有角点与1号角点之间的横纵坐标差，进而得出其与1号角点间的距离，通过排序选出距离最短的5个角点，存储它们的序号和与1号角点间的角度；

步骤4-5，由于待匹配图像不同阶微分的泰勒展开可用来描述某像素点邻域的局部结构；这些不同阶的微分不变量可作为特征描述符，且都具有旋转不变性；因此将提取出的1号角点Hmod1在指定的尺度下进行高斯微分得到一组微分不变量，将其放入一个向量中，得到对应于该角点的特征向量Vmod1；当模板图像中存在N个角点时，Vmod1到VmodN组成模板图像特征向量集Vmod，同理对待匹配图像处理的待匹配图像特征向量集Vobs，由此将对两个角点的匹配转化为对两个向量的匹配，两幅钢丝绳图像的匹配转化为对两个向量集Vmod、Vobs的匹配；

步骤4-6，为了衡量两个向量集Vmod、Vobs中各向量之间的相似度，考虑各个特性间的联系，排除多个变量之间的相关性的干扰，依次计算Vmod、Vobs中各向量间的马氏距离，若小于阈值，则视为两特征向量匹配，即对应的两个角点匹配成功，存储这两点的序号和坐标，得到一个匹配点对集MatchPoint；

步骤4-7，由于模板图像中一个指定的角点可能与待匹配图像中多个角点可匹配，尤其是当图像角点数目众多或是角点信息较一致的情况下，错误匹配的概率就大大升高；因此利用半局部约束消除错误匹配，在得到第一轮筛选出的匹配点对集MatchPoint后，采用相邻点之间角度基础上的近邻匹配，对匹配点对集MatchPoint中每一对匹配点的邻点集也进行相应匹配，同时一一对照各邻点与各自指定角点间的角度，若邻点的匹配程度超过阈值，则为此匹配点对投上一票，经此投票策略在匹配点对中找出邻点一致性较高的配对，实现了第二次筛选，得到匹配更准确的一个新的匹配点对集；

为了描述两张图像的匹配程度，计算匹配点对集其中属于待匹配图像的不重复角点数目NobsMat，除以模板图像中的总角点数目Nmod，得到匹配度NobsMat/Nmod。若匹配度小于阈值，视为该幅图像对应的某段钢丝绳存在较大的表面缺损，从而检测出电梯中正在使用的钢丝绳是否存在缺损和缺损的位置，及时向系统示警。

上述技术方案的有益效果为：将基于特征的图像匹配应用于钢丝绳表面损伤检测，匹配度反映了损伤程度，使得损伤的判定简单准确。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、采用摄像机固定的方式，利用钢丝绳工作过程中本身的移动，实现了整段钢丝绳的检测，避免移动监控设备带来的设备复杂化和噪声干扰。

2、使用视频摄录模式时，仅提取视频关键帧图片用于匹配，在确保提取到钢丝绳损伤部位镜头内容的同时大大降低工作量；而使用不固定数目的关键帧提取方式，针对不同的镜头内容灵活调整关键帧数目，使得关键帧图片更有代表性，系统开销进一步降低。

3、考虑嵌入式终端性能有限的应用场景，提出以拍照模式获取钢丝绳图像的方式，设定合适的拍照频率即可确保无缝连接。此种方式省去了提取关键帧的计算量，极大地节约了系统开销，适用于处理能力和存储容量有限的终端，同样能实现实时监测。

4、将基于特征的图像匹配应用于钢丝绳表面损伤检测，匹配度反映了损伤程度，使得损伤的判定简单准确。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于图像匹配的钢丝绳表面损伤检测方法流程图；

图2是本发明基于图像匹配的钢丝绳表面损伤检测方法采用视频拍摄具体流程图；

图3是本发明基于图像匹配的钢丝绳表面损伤检测方法采用拍照拍摄具体流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明以应用在电梯井环境中的嵌入式终端为例，主要实现了钢丝绳表面损伤的自动检测。其中，本发明考虑到不同的实际应用场景，设计了视频摄录和照片拍摄两种图像采集模式。当嵌入式终端处理性能和存储容量较高时，可使用视频摄录模式。

如图1所示，本发明公开一种基于图像匹配的钢丝绳表面损伤检测方法，包括：

步骤1，对钢丝绳进行拍摄工作，提取拍摄的钢丝绳视频或图像；

步骤2，提取待匹配图像，用于进行后续匹配处理；

步骤3，将待匹配的图像进行背景分割和降噪处理；

步骤4，将背景分割和降噪处理后的待匹配图像以角点提取方法，将预存模板图像和所述待匹配图像进行匹配处理，根据匹配度阈值，判断钢丝绳所存在的表面缺损，从而检测出钢丝绳是否存在缺损和缺损的位置，及时示警。

如图2所示，当采用视频摄录模式时，该基于图像匹配的钢丝绳表面损伤检测方法由以下步骤组成：

S1、于电梯井壁或者管井架设固定的摄像机，对准钢丝绳的一段持续拍摄视频。在拍摄过程中，每隔固定的时间间隔截取一段视频，用于接下来的关键帧提取。

钢丝绳在电梯管井上下过程中循环移动，因此可利用钢丝绳其自身的工作过程拍摄整段钢丝绳，无需使用复杂的可移动摄像设备。由于摄像机只拍摄钢丝绳的一小段，本发明综合考虑楼层层高、电梯移动速度、摄像机视角广度、摄像机帧率、终端存储容量等因素，选取适当的时间间隔，在确保提取到视频关键帧即钢丝绳损伤段图片的前提下，尽量减少后续提取关键帧和匹配图像的次数，来降低系统开销。以层高3m、电梯平均运行速度2.5m/s、摄像机尺寸352x288、帧率24fps、可拍摄的钢丝绳段长度为1m的嵌入式终端系统为例，建议时间间隔为1～3秒。

S2、提出基于帧差的不固定数目关键帧提取法，提取该段视频的关键帧，得到能够代表该段内容的关键帧用于接下来的图像匹配。

为了降低一段视频内关键帧表示的信息的冗余度，使得最后提取出来的关键帧更有代表性，本发明提出了基于帧差的不固定数目关键帧提取法，对于内容变化程度不同的视频提取出不同数量的关键帧，具体实施方式如下：将该段视频的每一帧图像与前一帧作灰度差分并取绝对值，二值化后取逻辑值，累加所得的数值即为前后两帧图像的帧差。如此计算出所有帧的相邻帧差和该段视频的平均帧差AN。

初选候选关键帧时，为确保在有钢丝绳损伤段经过的视频中，至少选中一帧损伤钢丝绳图像，首先挑出所有相邻帧差中最大帧差对应的两帧，再挑出与前一帧帧差最接近于平均帧差AN的一帧，以此三帧图片作为三个候选关键帧，分别命名为N1、N2、N3。N1与N2之间的帧差为M1，N2与N3之间的帧差为M2，N3与N1之间的帧差为M3。最终关键帧选取规则如下：

当M1、M2、M3均小于AN时，说明三帧之间内容差别不大，任意一帧都可作为该段视频的关键帧，默认选取N1；

当M1、M2、M3均大于AN时，说明三帧之间内容差别都很大，此时N1、N2、N3都应作为该段视频的关键帧；

其余情况下，比较M1、M2、M3之间的大小，选取最大的一个，其对应的两帧作为视频的关键帧。

S3、得到钢丝绳关键帧图像后，为了提高匹配准确率，需经过背景分割和噪声处理。由于本发明中摄像机固定，所有拍摄图片的背景都已知且无变化，因此对图像求灰度直方图，分析出钢丝绳的物体峰，从而确定合适的分割阈值，将钢丝绳和背景很好地分割开。而为了消除图像拍摄和分割时可能出现的噪声，提高图像质量，对分割出的钢丝绳图像再进行一次中值滤波。

S4、考虑到电梯井昏暗的环境，选择对光照变化稳定的Harris角点提取方法。将图像灰度函数分别向x、y方向一阶展开，从而找出曲率较大的角点作为特征点，用来表示钢丝绳缺损处的特征信息。分别对模板图像和待匹配图像提取角点，得到模板图像角点集Hmod和待匹配图像角点集Hobs，分别存储各角点的横纵坐标。对于模板图像角点集Hmod中每一个角点，提取出它指定数量的邻点及每个邻点和指定角点之间的角度，得到模板图像邻点集NeighborMod。同理对待匹配图像角点集Hobs进行相同处理，得到待匹配图像邻点集NeighborObs以便接下来的几何约束策略使用。

以序号为1的角点为例，指定提取5个邻点，提取方式如下：计算所有角点与1号角点之间的横纵坐标差，进而得出其与1号角点间的距离，通过排序选出距离最短的5个角点，存储它们的序号和与1号角点间的角度。

由于图像不同阶微分的泰勒展开可用来描述某像素点邻域的局部结构。这些不同阶的微分不变量可作为特征描述符，且都具有旋转不变性。因此将提取出的1号角点Hmod1在指定的尺度下进行高斯微分得到一组微分不变量，将其放入一个向量中，得到对应于该角点的特征向量Vmod1。当模板图片中存在N个角点时，Vmod1到VmodN组成模板图片特征向量集Vmod。同理对待匹配图像处理的待匹配图像特征向量集Vobs。由此将对两个角点的匹配转化为对两个向量的匹配，两幅钢丝绳图像的匹配转化为对两个向量集Vmod、Vobs的匹配。

为了衡量向量集中各向量之间的相似度，考虑各个特性间的联系，排除多个变量之间的相关性的干扰，依次计算Vmod、Vobs中各向量间的马氏距离，若小于阈值，则视为两特征向量匹配，即对应的两个角点匹配成功。存储这两点的序号和坐标，得到一个匹配点对集MatchPoint。

由于模板图像中一个指定的角点可能与待匹配图像中多个角点可匹配，尤其是当图像角点数目众多或是角点信息较一致的情况下，错误匹配的概率就大大升高。因此利用半局部约束消除错误匹配。在得到第一轮筛选出的匹配点对集MatchPoint后，采用相邻点之间角度基础上的近邻匹配，对匹配点对集MatchPoint中每一对匹配点的邻点集也进行相应匹配，同时一一对照各邻点与各自指定角点间的角度。若邻点的匹配程度超过阈值，则为此匹配点对投上一票，经此投票策略在匹配点对中找出邻点一致性较高的配对，实现了第二次筛选，得到匹配更准确的一个新的匹配点对集。

为了描述两张图像的匹配程度，计算匹配点对集其中属于待匹配图像的不重复角点数目NobsMat，除以模板图像中的总角点数目Nmod，得到匹配度NobsMat/Nmod。若匹配度小于阈值，视为该幅图像对应的某段钢丝绳存在较大的表面缺损，从而检测出电梯中正在使用的钢丝绳是否存在缺损和缺损的位置，及时向系统示警。

如图3所示，当使用照片拍摄模式时，该基于图像匹配的钢丝绳表面损伤检测方法由以下步骤组成：

P_S1、于电梯井壁架设固定的照相机，对准钢丝绳的一段以固定时间间隔拍摄照片，用于接下来的图像匹配。

钢丝绳在电梯上下过程中循环移动，因此可利用其自身的工作过程拍摄整段钢丝绳，无需使用复杂的可移动拍摄设备。由于照相机只拍摄钢丝绳的一小段，本发明综合考虑楼层层高、电梯移动速度、摄像机视角广度等因素，在尽量减少拍照次数和确保拍摄过程中的无缝连接这两者之间权衡，从而选取适当的拍照频率。以层高3m、电梯平均运行速度2.5m/s、可拍摄的钢丝绳段长度为1m的嵌入式终端系统为例，当拍照速度高于3次/秒时，即可实现拍摄中的无缝连接，避免钢丝绳损伤段在两次拍照间隙中刚好经过的状况。

P_S2、得到钢丝绳拍照的图像后，为了提高匹配准确率，需经过背景分割和噪声处理。由于本发明中照相机固定，所有拍摄图片的背景都已知且无变化，因此对图像求灰度直方图，分析出钢丝绳的物体峰，从而确定合适的分割阈值，将钢丝绳和背景很好地分割开。而为了消除图像拍摄和分割时可能出现的噪声，提高图像质量，对分割出的钢丝绳图像再进行一次中值滤波。

P_S3、考虑到电梯井昏暗的环境，选择对光照变化稳定的Harris角点提取方法。将图像灰度函数分别向x、y方向一阶展开，从而找出曲率较大的角点作为特征点，用来表示钢丝绳缺损处的特征信息。分别对模板图像和待匹配图像提取角点，得到模板图像角点集Hmod和待匹配图像角点集Hobs，分别存储各角点的横纵坐标。对于模板图像角点集Hmod中每一个角点，提取出它指定数量的邻点及每个邻点和指定角点之间的角度，得到模板图像邻点集NeighborMod。同理对待匹配图像角点集Hobs进行相同处理，得到待匹配图像邻点集NeighborObs以便接下来的几何约束策略使用。

以序号为1的角点为例，指定提取5个邻点，提取方式如下：计算所有角点与1号角点之间的横纵坐标差，进而得出其与1号角点间的距离，通过排序选出距离最短的5个角点，存储它们的序号和与1号角点间的角度。

由于图像不同阶微分的泰勒展开可用来描述某像素点邻域的局部结构。这些不同阶的微分不变量可作为特征描述符，且都具有旋转不变性。因此将提取出的1号角点Hmod1在指定的尺度下进行高斯微分得到一组微分不变量，将其放入一个向量中，得到对应于该角点的特征向量Vmod1。当模板图片中存在N个角点时，Vmod1到VmodN组成模板图片特征向量集Vmod。同理对待匹配图像处理的待匹配图像特征向量集Vobs。由此将对两个角点的匹配转化为对两个向量的匹配，两幅钢丝绳图像的匹配转化为对两个向量集Vmod、Vobs的匹配。

为了衡量向量集中各向量之间的相似度，考虑各个特性间的联系，排除多个变量之间的相关性的干扰，依次计算Vmod、Vobs中各向量间的马氏距离，若小于阈值，则视为两特征向量匹配，即对应的两个角点匹配成功。存储这两点的序号和坐标，得到一个匹配点对集MatchPoint。

由于模板图像中一个指定的角点可能与待匹配图像中多个角点可匹配，尤其是当图像角点数目众多或是角点信息较一致的情况下，错误匹配的概率就大大升高。因此利用半局部约束消除错误匹配。在得到第一轮筛选出的匹配点对集MatchPoint后，采用相邻点之间角度基础上的近邻匹配，对匹配点对集MatchPoint中每一对匹配点的邻点集也进行相应匹配，同时一一对照各邻点与各自指定角点间的角度。若邻点的匹配程度超过阈值，则为此匹配点对投上一票，经此投票策略在匹配点对中找出邻点一致性较高的配对，实现了第二次筛选，得到匹配更准确的一个新的匹配点对集。

为了描述两张图像的匹配程度，计算匹配点对集其中属于待匹配图像的不重复角点数目NobsMat，除以模板图像中的总角点数目Nmod，得到匹配度NobsMat/Nmod。若匹配度小于阈值，视为该幅图像对应的某段钢丝绳存在较大的表面缺损，从而检测出电梯中正在使用的钢丝绳是否存在缺损和缺损的位置，及时向系统示警。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，包括：

步骤1，对钢丝绳进行拍摄工作，提取拍摄的钢丝绳视频；

步骤2，提取待匹配图像，用于后续匹配处理；

步骤2-1，将提取的钢丝绳各段视频，采用不固定关键帧提取法获取待匹配的关键帧；

步骤2-2，所述不固定关键帧提取法为，将一段视频全部帧的每一帧与前一帧作灰度差分并取绝对值，二值化后取逻辑值，累加所得的数值即为前后两帧的帧差，如此计算出所有帧的相邻帧差和该段视频的平均帧差AN；

步骤2-3，选择候选关键帧，为确保在有钢丝绳损伤段经过的视频中，至少选中损伤钢丝绳的一帧，挑出所有相邻帧差中最大帧差对应的两帧，再挑出与前一帧帧差最接近于平均帧差AN的一帧，以此三帧图片作为三个候选关键帧，分别命名为N1、N2、N3；

步骤2-4，N1与N2之间的帧差为M1，N2与N3之间的帧差为M2，N3与N1之间的帧差为M3；

步骤3，将待匹配的图像进行背景分割和降噪处理；

步骤4，将背景分割和降噪处理后的待匹配图像以角点提取方法，将预存模板图像和所述待匹配图像进行匹配处理，根据匹配度阈值，判断钢丝绳所存在的表面缺损，从而检测出钢丝绳是否存在缺损和缺损的位置，及时示警。

2.根据权利要求1所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤1包括：对钢丝绳拍摄采用摄像机进行拍摄，执行如下步骤：

步骤1-2，在摄像机拍摄过程中，每隔固定的时间间隔截取视频，用于提取待匹配关键帧，在钢丝绳上下循环过程中得以提取钢丝绳全段视频。

3.根据权利要求1所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤2还包括：

步骤2-5，待匹配的关键帧选取规则如下：

当M1、M2、M3均小于AN时，说明三帧之间内容差别不大，任意一帧都可作为该段视频的关键帧，默认选取N1；

当M1、M2、M3均大于AN时，说明三帧之间内容差别都很大，此时N1、N2、N3都应作为待匹配关键帧；

其余情况下，比较M1、M2、M3之间的大小，选取最大的一个，其对应的两帧作为待匹配的关键帧。

4.根据权利要求1所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤3包括：

步骤3-1，得到待匹配图像后，为了提高匹配准确率，需经过背景分割和噪声处理，所有拍摄图像背景都已知且无变化，因此对图像求灰度直方图，分析出钢丝绳的物体峰，从而确定合适的分割阈值，将钢丝绳和背景很好地分割开；

步骤3-2，而为了消除图像拍摄和分割时可能出现的噪声，提高图像质量，对得到的待匹配图像进行中值滤波。

5.根据权利要求1所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤4包括：

步骤4-1，选择对光照变化稳定的Harris角点提取方法，将图像灰度函数分别向x、y方向一阶展开，从而找出曲率较大的角点作为特征点，用来表示待匹配图像钢丝绳缺损处的特征信息；

步骤4-2，分别对模板图像和待匹配图像提取角点，得到模板图像角点集Hmod和待匹配图像角点集Hobs，分别存储各角点的横纵坐标；

步骤4-3，对于模板图像角点集Hmod中每一个角点，提取出它指定数量的邻点及每个邻点和指定角点之间的角度，得到模板图像邻点集NeighborMod；同理对待匹配图像角点集Hobs进行相同处理，得到待匹配图像邻点集NeighborObs以便后续几何约束策略使用。

6.根据权利要求5所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤4包括：

步骤4-4，以序号为1的角点为例，指定提取5个邻点，提取方式如下：计算所有角点与1号角点之间的横纵坐标差，进而得出其与1号角点间的距离，通过排序选出距离最短的5个角点，存储它们的序号和与1号角点间的角度；

步骤4-5，由于待匹配图像不同阶微分的泰勒展开可用来描述某像素点邻域的局部结构；这些不同阶的微分不变量可作为特征描述符，且都具有旋转不变性；因此将提取出的1号角点Hmod1在指定的尺度下进行高斯微分得到一组微分不变量，将其放入一个向量中，得到对应于该角点的特征向量Vmod1；当模板图像中存在N个角点时，Vmod1到VmodN组成模板图像特征向量集Vmod，同理对待匹配图像处理得到待匹配图像特征向量集Vobs，由此将对两个角点的匹配转化为对两个向量的匹配，两幅钢丝绳图像的匹配转化为对两个向量集Vmod、Vobs的匹配。

7.根据权利要求6所述的基于图像匹配的钢丝绳表面损伤检测方法，其特征在于，所述步骤4包括：

步骤4-6，为了衡量两个向量集Vmod、Vobs中各向量之间的相似度，考虑各个特性间的联系，排除多个变量之间的相关性的干扰，依次计算Vmod、Vobs中各向量间的马氏距离，若小于阈值，则视为两特征向量匹配，即对应的两个角点匹配成功，存储这两点的序号和坐标，得到一个匹配点对集MatchPoint；

步骤4-7，由于模板图像中一个指定的角点可能与待匹配图像中多个角点匹配，当图像角点数目众多或是角点信息一致的情况下，错误匹配的概率就大大升高；因此利用半局部约束消除错误匹配，在得到第一轮筛选出的匹配点对集MatchPoint后，采用相邻点之间角度基础上的近邻匹配，对匹配点对集MatchPoint中每一对匹配点的邻点集也进行相应匹配，同时一一对照各邻点与各自指定角点间的角度，若邻点的匹配程度超过阈值，则为此匹配点对投上一票，经此投票策略在匹配点对中找出邻点一致性较高的配对，实现了第二次筛选，得到匹配更准确的一个新的匹配点对集；

为了描述两张图像的匹配程度，计算匹配点对集其中属于待匹配图像的不重复角点数目NobsMat，除以模板图像中的总角点数目Nmod，得到匹配度NobsMat/Nmod，若匹配度小于阈值，视为该幅图像对应的某段钢丝绳存在较大的表面缺损，从而检测出电梯中正在使用的钢丝绳是否存在缺损和缺损的位置，及时向系统示警。