CN110310311A - 一种基于盲文的图像配准方法 - Google Patents

Abstract

本发明公开了一种基于盲文的图像配准方法，所述方法包括：在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为在线低分辨率图像，一张为离线高分辨率图像；识别盲文基础块；使用kNN寻找包含盲文基础块最多的3个盲文簇；利用卷积神经网络对盲文进行分类，将盲文的位置作为参考点，通过透射变换实现低分辨率图像与高分辨率图像的初步配准，最后利用局部平移距离的回归实现精细化配准；本发明实现了在图像信息极少情况下的图像配准，并结合图像中光学元器件损伤点细节信息，进一步实现精细化配准。

Description

一种基于盲文的图像配准方法

技术领域

本发明涉及图像识别领域，具体地，涉及一种基于盲文的图像配准方法。

背景技术

图像配准是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合同一对象在不同条件下获取的图像，例如来自不同采集设备，取自不同时间，不同拍摄视角的图像。具体地说，将描述同一对象的两张图像，通过空间变换把一张图像映射到另一张图像，使得两张图像同一空间位置的点一一对应起来，实现信息融合。

图像配准的方法大致分为三类：一类是基于灰度和模板的匹配方法，这类方法直接通过相关运算等方式计算相关值寻求最佳匹配位置，比如模板匹配是在目标图像中寻找与模板图像相似的子图像，而基于灰度的匹配算法是通过空间二维滑动模板进行匹配，不同匹配算法主要体现在相关准则选择不同。第二类是基于特征的匹配方法，先提取图像的特征，生成特征描述子，再根据描述子的相似程度匹配两张图像的特征。图像的特征主要分为点、线(边缘)、区域(面)等特征，也可以分为局部特征和全局特征。区域(面)特征提取比较麻烦、耗时，因此主要用点特征和边缘特征。第三类是基于域变换的匹配方法，如傅里叶变换，沃尔什变换，小波变换等。

这些传统的图像配准方法仅适用于图像信息较多的情况，一旦图像信息较少，如光学元器件图、星图，则相应的特征较少，这些方法将难以根据少量的、难表达的特征完成图像配准。

发明内容

本发明提出一种传统方法与深度学习结合的图像配准方法，可以在图像信息极少的情况下实现图像配准，结合图像中光学元器件损伤点细节信息，进一步实现精细化配准。

为实现上述发明目的，本发明提供了一种基于盲文的图像配准方法，所述方法包括：

在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为低分辨率的在线图像A；一张为高分辨率的离线图像B；

识别图像A和图像B中的盲文基础块；

根据盲文基础块的识别结果，分别获得图像A和图像B的盲文块；

构建并训练盲文块分类模型；

从图像A所有盲文中选择若干个盲文特征点作为候选点，与图像B进行匹配，获得图像A的盲文特征点与图像B的盲文特征点的对应关系；

首先根据图像A与图像B的盲文特征点的对应关系，透射变换图像A与图像B，完成初步配准；然后根据图像A与图像B的局部特征实现精细化配准，获得图像A与图像B的对应关系，完成图像精细化配准。

进一步的，所述识别图像A和图像B的盲文基础块，具体包括：将盲文基础块图像模板在目标图像上滑动并逐一对比识别盲文基础块。

进一步的，根据盲文基础块的识别结果，获得图像的盲文块，具体包括：基于识别到的若干盲文基础块，将相邻两个盲文基础块之间的间距小于阈值的多个盲文基础块划为同一簇，获得若干个盲文基础块簇，将若干个盲文基础块簇中盲文基础块数量排名前3的盲文基础块簇记为A-C，因为透射变换只需要3组最准确的对应特征点，取A-C这3组盲文基础块簇中所有盲文基础块坐标的均值作为簇中心，将以簇中心为中心的正方形提取出的盲文块作为检测到的盲文块A-C。

进一步的，构建和训练盲文块分类模型，具体包括：

基于光学元器件表面印制的盲文，获取盲文基础块之间的相对位置分布信息，即从图像B的盲文块中提取若干盲文基础块，随机选择提取的若干盲文基础块放入盲文基础块之间的相对位置分布中，形成一个完整的盲文；

对形成的每个盲文均进行旋转处理，每个盲文旋转生成多个对应旋转后的盲文，旋转后的盲文形成盲文数据集；

构建卷积神经网络，利用盲文数据集训练卷积神经网络；

输入卷积神经网络对盲文中心位置信息进行回归并对盲文分类。

进一步的，对形成的盲文数据集进行阈值分割和孔洞填充,阈值分割用于去除明显的杂散光噪声，孔洞填充用于增大特征点分布面积，方便后续寻找特征对应点。

进一步的，所述方法还包括对盲文数据集进行尺寸缩小，用于消除高分辨率盲文和低分辨率盲文的差异。

进一步的，所述方法在透射变换图像A与图像B后还包括：

局部校准图像的特征点区域：对图像进行预设操作，生成二值化图像，将二值化的的图像B切分为小块，进行分块校准；将切分后的图像B的图像块在二值化的图像A中做一定范围的移动，每次移动中做“与”操作后求和，并计算“与”操作后图像特征点区域的面积大小；

value＝sum(logical_and(图像B的特征点区域，尺寸符合预设要求的图像A的特征点区域))*“与”操作后特征点区域个数；其中value为特征点区域重合权重；

将value值最大的位置作为最佳偏移位置，因为特征点区域重合权重越大，越说明两个图像之前对应得越好；

对于图像中较小特征点区域，可能出现特征点区域重合权重为0的情况，则将较小特征点区域附近20个最大特征点区域的平均偏移位置作为该区域的偏移位置。

进一步的，对图像做阈值分割、膨胀操作，生成二值化图像。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本方法使用神经网络识别盲文，使用k-means算法找到盲文基础块最大簇从而识别盲文，本方法对图像小块用回归方式进行拟合。

本方法通过将传统方法和深度学习相结合，可以在图像信息极少的情况下，配准两张具有盲文的图像，并结合光学元器件损伤点的信息，进一步实现精细化配准。

本方法能够实现在线图像尺寸远小于离线图像的配准；

本方法能够实现在线图像中存在诸多噪音点、且噪音点和损伤点没有明显区别的图像配准，如杂散光、重影；

本方法能够实现虽然在线图像和离线图像拍摄自同一元器件，但每个像素点之间的对应关系未知的图像配准；

本方法的离线图像是经过诸多小的高分辨率图像拼接而成，拼接造成离线与在线图像不再是简单的缩放平移翻转关系，利用本方法依然能够实现两者的配准；

本方法能够实现可供分析与建模的数据量少情况下的图像配准。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中一种基于盲文的图像配准方法的流程示意图；

图2是本发明中24类盲文示意图；

图3是本发明中缩小后的盲文示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

请参考图1，本发明重点针对信息较少的图像提出了一种有效的图像配准方法，在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为在线低分辨率图像，一张为离线高分辨率图像。利用卷积神经网络检测盲文，将盲文的位置作为参考点，完成低分辨率与高分辨率图像的初步配准，最后利用局部平移距离的回归实现精细化配准。

本发明结合传统方法和深度学习的优点，可以在图像信息量非常少的情况下，通过对图像的盲文检测、透射变换和玻璃损伤点的回归拟合，实现高分辨率图像与低分辨率图像的较好配准。

本发明中镜头上的损伤点十分稀疏，特征贫乏，高分辨率和低分辨率图像的破损点稠密程度不同，因此尺度不变特征变换(SIFT)、加速稳健特征(SURF)检测效果不佳。对于待匹配图像的旋转角度较大时，SURF算法提取图像匹配特征点能力严重下降。

本发明中高、低分辨率光学元器件的四个角落已打上盲文标记，因为将特征点尽可能分散有助于提高透射变换的准确性，将盲文标记作为配准的特征点。在检测到盲文标记后，使用透射变换将高、低分辨率图像的盲文标记一一对应，完成初步配准。主要是通过图像识别方法将高低分辨率的盲文标记对应，以达到整张照片一一对应。图像可进行插值，旋转，拉伸，镜像等操作。主要步骤如下：

盲文基础块识别：

盲文基础块识别主要使用OpenCV中的matchTemplate方法，基本思想是将盲文基础块图像模板在目标图像上滑动并逐一对比，通过统计的基本方法进行匹配，比如方差检验、相关性检验等方法来寻找最佳匹配。这里对高分辨率和低分辨率图像分别截取了一个盲文基础块作为各自待检测图像模板。

盲文位置估计：

将检测到的盲文基础块中间距小于阈值的划为同一簇，使用KNN算法寻找盲文基础块数量最多的三个簇，并取每个簇中盲文基础块坐标的均值作为簇中心，扣出以簇中心为中心的500*500的正方形作为检测到的盲文块，正方形的尺寸尽可能包住整个簇。通过聚类算法只能获取盲文的粗略位置，获取不到精细位置以及盲文的类型，找不到高分辨率图像和低分辨率图像的盲文对应关系，因此需要使用卷积神经网络进一步确定盲文的位置信息以及类型。

其中，kNN(k-NearestNeighbor，k最近邻)分类算法是数据挖掘分类方法中最简单的方法之一。所谓k最近邻，即每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最近邻样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别样本的特性。该方法在分类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近样本，而不是靠判别类域的方法来确定待分类样本所属类别的，因此对于类域交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

盲文检测：

首先获取三大类型盲文的基础块相对位置分布，再从高分辨率图像的盲文块中扣出若干基础块，随机选择放入相对位置，组成一个完整盲文。生成数据期间会在基础块的相对位置和所有基础块的整体位置加一些偏移，使得每种类型的盲文数据有所不同，增加盲文的鲁棒性和平移不变性。再将三大类型盲文进行旋转(4种)和翻转后旋转(4种)共生成3*8类盲文。最后对生成的数据集进行阈值分割和孔洞填充。一共有24类盲文，每类生成100张大小为500*500图像，如图2所示。

高分辨率图像盲文十分清晰，低分辨率图像盲文比较模糊，为了使用统一的卷积分类器、减少网络参数个数，将数据集尺寸缩小为40*40，数据集尺寸以包住整个盲文区域为宜，采用小尺寸图像用于消除高低分辨率盲文的差异，且留下的信息足够表征盲文类型。如图3所示为缩小为40*40大小后的盲文，其他23类示例图略。

构建一个5层的卷积神经网络，对高分辨率和低分辨率图像中检测到的盲文块进行阈值分割并缩小尺寸至40*40生成训练数据，放入卷积神经网络中对盲文中心位置信息进行回归并对对盲文分类。

特征点匹配与透射变换：

从低分辨率图像的盲文中选择4个分类置信度较高的盲文特征点作为候选点，从高分辨率图像的盲文中选择4个分类置信度较高的盲文特征点作为候选点，使这4组盲文特征点一一对应。根据特征对应点透射变换高分辨率图像与低分辨率图像，使两张拍摄角度不同的图像能够统一到统一的坐标系。

精细配准：

由于图像成像原因，两张图像中的损伤点存在不同方向、不同程度的偏移。因此需要对斑块进行局部校准。

(1)对图像进行阈值分割和膨胀操作，生成二值化图像，将二值化的离线图像切分为6*6的小块，进行分块校准。将切分后的离线图像块在二值化的在线图像做进行一定范围的移动，每次移动中做“与”操作后求和，并计算“与”操作后图像中特征点区域的重合面积。

value＝sum(logical_and(离线特征点区域，在线特征点区域))*“与”操作后特征点区域面积

将value值最大的位置作为最佳偏移位置。

(2)对于面积较小的特征点区域，则取附近20个最大特征点区域的平均偏移位置作为该区域的偏移位置。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于盲文的图像配准方法，其特征在于，所述方法包括：

在光学元器件表面印制盲文，采集两张待配准的光学元器件的拍摄图像，一张为低分辨率的在线图像A；一张为高分辨率的离线图像B；

识别图像A和图像B中的盲文基础块；

根据盲文基础块的识别结果，分别获得图像A和图像B中的盲文块；

构建并训练盲文块分类模型，基于盲文块分类模型对获取的盲文块进行分类；

从图像A的所有盲文中选择若干个盲文特征点作为候选点，与图像B进行匹配，获得图像A的盲文特征点与图像B的盲文特征点的对应关系；

根据图像A与图像B的盲文特征点的对应关系，透射变换图像A与图像B，完成初步配准；根据图像A与图像B的局部特征进行配准，获得图像A与图像B的对应关系，完成图像A与图像B的配准。

2.根据权利要求1所述的一种基于盲文的图像配准方法，其特征在于，所述识别图像A和图像B中的盲文基础块，具体包括：将盲文基础块图像模板在目标图像上滑动并逐一对比识别盲文基础块。

3.根据权利要求1所述的一种基于盲文的图像配准方法，其特征在于，根据盲文基础块的识别结果，获得图像的盲文块，具体包括：基于识别到的若干盲文基础块，将相邻两个盲文基础块之间的间距小于阈值的多个盲文基础块划为同一簇，获得若干个盲文基础块簇，将若干个盲文基础块簇中盲文基础块数量排名前3的盲文基础块簇记为A-C，取A-C这3组盲文基础块簇中所有盲文基础块坐标的均值作为簇中心，将以簇中心为中心的正方形提取出的盲文块作为检测到的盲文块A-C。

4.根据权利要求1所述的一种基于盲文的图像配准方法，其特征在于，构建和训练盲文块分类模型，具体包括：

基于光学元器件表面印制的盲文，获取盲文基础块之间的相对位置分布信息，即从图像B的盲文块中提取若干盲文基础块，随机选择提取的若干盲文基础块放入盲文基础块之间的相对位置分布中，形成一个完整的盲文；

对形成的每个盲文均进行旋转处理，每个盲文旋转生成多个对应旋转后的盲文，旋转后的盲文形成盲文数据集；

构建卷积神经网络，利用盲文数据集训练卷积神经网络；

输入卷积神经网络对盲文中心位置信息进行回归并对盲文块分类。

5.根据权利要求4所述的一种基于盲文的图像配准方法，其特征在于，随机选择提取的若干盲文基础块放入盲文基础块之间的相对位置分布中时，在盲文基础块之间的相对位置分布信息中增加预设偏移量，且对形成的完整盲文增加相应的预设偏移量。

6.根据权利要求4所述的一种基于盲文的图像配准方法，其特征在于，所述方法还包括对形成的盲文数据集进行阈值分割和孔洞填充，阈值分割用于去除杂散光噪声，孔洞填充用于增大特征点分布面积。

7.根据权利要求4所述的一种基于盲文的图像配准方法，其特征在于，所述方法还包括对盲文数据集进行尺寸缩小，用于消除高分辨率盲文和低分辨率盲文的差异。

8.根据权利要求1所述的一种基于盲文的图像配准方法，其特征在于，所述方法在透射变换图像A与图像B后还包括：

局部校准图像中的特征点区域：对图像进行预设操作，生成二值化图像，将二值化的图像B切分为小块，进行分块校准；将切分后的图像B的图像块在二值化的图像A中做一定范围的移动，每次移动中做“与”操作后求和，并计算“与”操作后图像中特征点区域的面积大小；

value＝sum(logical_and(图像B的特征点区域，尺寸符合预设要求的图像A的特征点区域))*“与”操作后特征点区域个数；其中，value为特征点区域重合权重；

将value值最大的位置作为最佳偏移位置；

对于图像中特征点区域小于预设范围时，若出现特征点区域重合权重为0的情况，则将该特征点区域附近20个最大特征点区域的平均偏移位置作为该区域的偏移位置。

9.根据权利要求8所述的一种基于盲文的图像配准方法，其特征在于，对图像做阈值分割、膨胀操作，生成二值化图像。