CN113888425A

CN113888425A - 基于多帧融合的工业质检图像文字匹配方法及系统

Info

Publication number: CN113888425A
Application number: CN202111138162.8A
Authority: CN
Inventors: 邹子杰; 杨玄同
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-09-27
Filing date: 2021-09-27
Publication date: 2022-01-04

Abstract

本发明属于图像处理技术领域，具体涉及基于多帧融合的工业质检图像文字匹配方法及系统。所述方法执行以下步骤：步骤1：在目标图像中选取基准帧和融合帧；所述基准帧为清晰度最高的帧所述融合帧为所述基准帧之前和/或之后的n帧图像；其中，n为大于0的整数，为设定值；步骤2：对基准帧和融合帧进行去模糊处理；步骤3：对基准帧和融合帧进行基于去模糊处理的融合处理，得到融合帧图像；步骤4：基于得到的增强图像进行图像文字匹配。本发明通过多帧融合和去模糊处理的结合，提升输入图像的细节和画质，去除运动模糊带来的干扰，提升了匹配和检索的准确度。

Description

基于多帧融合的工业质检图像文字匹配方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及基于多帧融合的工业质检图像文字匹配方法及系统。

背景技术

图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。

图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。例如，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像；在图像描述生成任务中，给定一幅图像，需要依据图像内容检索相似的文本，并以此作为(或者进一步生成)图像的文本描述；在图像问答任务中，需要基于给定的文本问题查找图像中包含相应答案的内容，同时查找的视觉内容反过来也需要检索相似文本预料作为预测答案。

现有技术在进行图像文本匹配时，往往因为获取图像过程中造成的运动模糊，使得图像文本匹配的准确率降低。

造成图像模糊的原因有很多，其中包括光学因素、大气因素、人工因素、技术因素等等，日常生产生活中对图像进行去模糊操作有其重要意义。要取得比较好的处理效果，不同原因导致的模糊往往需要不同的处理方法。从技术方面来向，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。

专利号为CN107369169B的专利公开了一种GPU加速的基于方向对齐与匹配传递的近似最相似图像块匹配方法。该发明通过提高图像块匹配方法的处理性能，提升了GPU高效并行处理能力，提升了系统效率。但该发明在提升图像文字匹配的准确率上，去没有剔除具体的解决方案，匹配准确率依然较低。

专利号为CN108805214A的专利公开了一种基于模糊加权直方图的相似图像匹配方法和系统。该发明通过模糊加权直方图匹配的方法提高了相似图像匹配的准确性，且可以广泛应用于图像检索领域。但由于模糊加权直方图匹配的方法在执行时消耗系统资源大，降低了匹配的效率。

发明内容

有鉴于此，本发明的主要目的在于提供基于多帧融合的工业质检图像文字匹配方法及装置，本发明通过多帧融合和去模糊处理的结合，提升输入图像的细节和画质，去除运动模糊带来的干扰，提升了匹配和检索的准确度。

为达到上述目的，本发明的技术方案是这样实现的：

基于多帧融合的工业质检图像文字匹配方法，所述方法执行以下步骤：

步骤1：在目标图像中选取基准帧和融合帧；所述基准帧为清晰度最高的帧所述融合帧为所述基准帧之前和/或之后的n帧图像；其中，n为大于0的整数，为设定值；

步骤2：对基准帧和融合帧进行去模糊处理；

步骤3：对基准帧和融合帧进行基于去模糊处理的融合处理，得到融合帧图像；

步骤4：基于得到的增强图像进行图像文字匹配。

进一步的，所述方法还包括：在目标图像中选取基准帧和融合帧之前，对目标图像进行去模糊处理的步骤。

进一步的，步32中，对基准帧和融合帧进行基于去模糊处理的融合处理，得到融合帧图像的方法执行以下步骤：

步骤2.1：对目标图像进行图像金字塔处理；

步骤2.2：对目标图像进行脚点检测，得到融合帧和基准帧中每一帧的特征点；

步骤2.3：对目标图像中相邻的两帧进行配准，得到每一对配准的两帧的匹配变化矩阵；

步骤2.4：基于匹配变化矩阵，对配准的每一对帧逐对依次进行融合，去模糊处理，再融合的步骤，得到融合帧图像。

进一步的，所述步骤2.3：对目标图像中相邻的两帧进行配准的方法为：使用光流算法对目标图像中相邻的两帧进行配准。

进一步的，所述步骤1中选取基准帧的方法执行以下步骤：获取目标图像的拍照时刻，以拍照时刻为基准，捕捉该时刻之前和/或之后的目标图像的若干帧图像；对拍照时刻对应的目标图像的帧，以及拍照时刻前后的目标图像的若干帧图像进行清晰度计算，选取清晰度最高的帧作为基准帧。

基于多帧融合的工业质检图像文字匹配装置。

本发明的基于多帧融合的工业质检图像文字匹配方法及装置，具有如下有益效果：

1.匹配准确率高：本发明将多帧融合和去模糊处理进行结合，使得在进行去模糊的同时能够保证足够的细节，避免因为细节丢失来带的匹配不准确问题。现有技术中进行去模糊处理，往往也会造成图像中本身的细节丢失，而本发明在进行多帧融合的过程中进行迭代地去模糊处理，降低了细节丢失率；另外本发明使用的多帧融合，通过前后帧的叠加，利用相邻时间微小的时间差是的变化，补齐因环境等带来的光线，等的突变引起的缺失信息。从而得到清晰的图像，进一步提升了图像文字匹配的准确率。

2.处理效率高：本发明在进行多帧融合过程中只选取目标图像中的设定数量的帧进行融合，在保证最后融合的图像进行图像文字匹配的准确率时，也不需要对目标图像的所有的帧都进行融合，提升了处理的效率。

附图说明

图1为本发明实施例提供的基于多帧融合的工业质检图像文字匹配方法的方法流程示意图；

图2为本发明实施例提供的基于多帧融合的工业质检图像文字匹配方法的步骤2的流程示意图。

图3为本发明实施例提供的工业质检图像文字匹配方法及装置的多帧融合的原理图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

实施例1

如图1 所示，基于多帧融合的工业质检图像文字匹配方法，所述方法执行以下步骤：

步骤2：对基准帧和融合帧进行去模糊处理；

步骤4：基于得到的增强图像进行图像文字匹配。

具体的，在选取基准帧时，会对拍照触发时刻的那一帧图像，做一个选取基准帧的操作。通常相机预览帧率较快，以通常30fps为例。即一秒拍摄30帧图像（实际拍照会更高）。每帧之间的图像差距实际上是有一定差别的，但是差别较小。因此选取基准帧这一步，实际上是选取较为清晰的帧作为基准帧，增加去模糊的效果收益。

当在时间

按下拍照键出发拍照时，选帧算法会捕捉多前后

，

时刻的两帧图像。并对

，

，

时刻的帧分别进行清晰度计算，选取清晰度最高的一帧作为基准帧，如果清晰度都一样则选取原来

时刻的帧。在发明中，清晰度算法采用现有方案，如梯度计算等。

接下来，将会首先对于融合帧进行选取，通常是往前和后去n帧图像。若拍照触发时刻为

并且计算

符合基准帧要求，则向前后各取n帧，如n=1，则基准帧为

，{

,

,

}四帧为融合帧。

接下来会对图像基准帧和融合帧逐一进行单帧去模糊处理。单帧去模糊处理采用GAN或者Unet结构。

实施例2

在上一实施例的基础上，所述方法还包括：在目标图像中选取基准帧和融合帧之前，对目标图像进行去模糊处理的步骤。

实施例3

参考图2，在上一实施例的基础上，步32中，对基准帧和融合帧进行基于去模糊处理的融合处理，得到融合帧图像的方法执行以下步骤：

步骤2.1：对目标图像进行图像金字塔处理；

实施例4

在上一实施例的基础上，所述步骤2.3：对目标图像中相邻的两帧进行配准的方法为：使用光流算法对目标图像中相邻的两帧进行配准。

实施例5

参考图3，在上一实施例的基础上，所述步骤1中选取基准帧的方法执行以下步骤：获取目标图像的拍照时刻，以拍照时刻为基准，捕捉该时刻之前和/或之后的目标图像的若干帧图像；对拍照时刻对应的目标图像的帧，以及拍照时刻前后的目标图像的若干帧图像进行清晰度计算，选取清晰度最高的帧作为基准帧。

具体的，在进行多帧融合时，需要对配准后的基准帧和融合帧，进行图像金字塔操作，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。这一步操作的意义是，不同尺度的图片得到的语义结果是不一样的，因此在进行特征点检测及匹配之前，需要在金字塔计算，才能够得到稳定的值。接下来，对图像进行Harris角点检测，此处可以采用别的特征点检测方法，如SIFT等。效果相似不唯一。完成特征点检测后，需要用光流算法，对前后帧进行两两配准。得到每一对图像的匹配变化矩阵。再将每一对帧逐对进行融合，再进行去模糊处理，再融合。

具体的，通过矩阵变换，然后和下一帧进行fusion融合，此处采用加权平均。还有pca等方案可代替，但是计算复杂。最后会对再对图像进行deblur处理，处理后再跟下一帧融合，直到最后一帧。最终得到去模糊后的细节增强图像。

实施例6

基于多帧融合的工业质检图像文字匹配装置。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。

Claims

1.基于多帧融合的工业质检图像文字匹配方法，其特征在于，所述方法执行以下步骤：

步骤2：对基准帧和融合帧进行去模糊处理；

步骤4：基于得到的增强图像进行图像文字匹配。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：在目标图像中选取基准帧和融合帧之前，对目标图像进行去模糊处理的步骤。

3.如权利要求1所述的方法，其特征在于，步32中，对基准帧和融合帧进行基于去模糊处理的融合处理，得到融合帧图像的方法执行以下步骤：

步骤2.1：对目标图像进行图像金字塔处理；

4.如权利要求3所述的方法，其特征在于，所述步骤2.3：对目标图像中相邻的两帧进行配准的方法为：使用光流算法对目标图像中相邻的两帧进行配准。

5.如权利要求1所述的方法，其特征在于，所述步骤1中选取基准帧的方法执行以下步骤：获取目标图像的拍照时刻，以拍照时刻为基准，捕捉该时刻之前和/或之后的目标图像的若干帧图像；对拍照时刻对应的目标图像的帧，以及拍照时刻前后的目标图像的若干帧图像进行清晰度计算，选取清晰度最高的帧作为基准帧。

6.用于实现权利要求1至5至之一所述方法的基于多帧融合的工业质检图像文字匹配装置。