CN114119364A - 一种用于芯片质检时运动模糊视频的超分辨率重建方法 - Google Patents

一种用于芯片质检时运动模糊视频的超分辨率重建方法 Download PDF

Info

Publication number
CN114119364A
CN114119364A CN202111304459.7A CN202111304459A CN114119364A CN 114119364 A CN114119364 A CN 114119364A CN 202111304459 A CN202111304459 A CN 202111304459A CN 114119364 A CN114119364 A CN 114119364A
Authority
CN
China
Prior art keywords
frame
video
super
reference frame
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304459.7A
Other languages
English (en)
Inventor
严华荣
简祯祈
胡凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taliang Technology Lianshui Co ltd
Original Assignee
Taliang Technology Lianshui Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taliang Technology Lianshui Co ltd filed Critical Taliang Technology Lianshui Co ltd
Priority to CN202111304459.7A priority Critical patent/CN114119364A/zh
Publication of CN114119364A publication Critical patent/CN114119364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像数据处理领域，具体涉及一种用于芯片质检时运动模糊视频的超分辨率重建方法，采用视频超分辨重建算法重建具有运动模糊问题的芯片图像，用来去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。提出一进一的对齐方法，从最长距离的相邻帧到参考帧进行一进一的对齐，从而避免由于芯片大运动问题造成的视频帧对齐误差，提高重建性能；利用时间分组网络，对远距离参考帧进行有效特征提取，将远近距离视频帧进行合理融合，以提高重建效果。本专利提出的视频超分辨率重建算法能够同时对一组视频帧进行处理，通过提取相邻帧的时空信息，完成对参考帧的重建，解决参考帧的运动模糊问题。

Description

一种用于芯片质检时运动模糊视频的超分辨率重建方法
技术领域
本发明涉及图像数据处理领域，尤其涉及一种用于芯片质检时运动模糊视频的超分辨率重建方法。
背景技术
随着计算机技术的发展，工业生产中常使用机器视觉代替人工来进行芯片质量检测。机器视觉主要是通过拍摄芯片图像，用图像处理的方法识别出质量不达标的芯片，对不达标的芯片进行剔除。在工业生产中，考虑到芯片数量多、任务急等问题，芯片经过传送设备传送，传送设备暂停时，并将高速摄像头固定在传送设备顶端进行拍摄，然后对拍摄到的视频图像进行处理。该方法要么需要在传送设备暂停时拍摄；要么直接传送速度降低，缓慢运行，所以增加了整体时间。如果在正常速度运动时拍摄，并且能够检测，那么就会去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。图1为一种简单示意图，表示的是在传送带上形式；生产中，还有其他的形式，例如连槽方式等。目前，在电脑方面，随着现有带有GPU的电脑的计算资源不断提高，已经通过运行复杂度高的算法(超分辨率重建算法)，提升检测图像的质量，从而提高整体芯片检测线的工作效率。
由于摄像机与芯片之间发生了相对运动，在曝光时间内目标图像会在传感器上沿着抖动轨迹不断地叠加，导致正常图像的信息上会覆盖叠加效果，图像会发生模糊，这种摄像机与芯片之间的相对运动造成的图像模糊被定义为图像运动模糊。
在进行芯片检测时，需要解决图像的运动模糊问题。在一组芯片质检的视频中，运动模糊图像存在的比例很高，如果不能有效的对运动模糊图像进行去运动模糊处理，那么芯片质检的准确率会大幅度减低，后续还需要消耗大量人力资源进行人工质检。芯片表面存在划痕、擦痕、孔洞、污物或芯片引脚、尺寸、数量、位置发生错误，这几类芯片被定义为有缺陷的芯片，在对运动视频进行超分辨率重建时需要对视频中的以上特征进行准确重建。如图2所示，芯片中引脚数量大，且分布密集，颜色单一，当芯片图像中发生运动模糊时，芯片中的引脚部分会出现覆盖叠加效果。
现有的超分辨算法主要是面向清晰图片或者视频，使用帧内、帧间关系，进行拟合，不具备面向运动模糊视频进行构建的能力。超分辨率算法提取时空信息时，由于视频帧局部信息中的引脚特征以及相邻视频帧中的引脚特征会误导算法图像中叠加部分的残影是需要重建的部分。使用现有超分辨率重建算法去解决芯片检测任务时，主要存在以下问题：
(1)由于芯片中存在颜色单一、分布密集、运动速度快的引脚，参考帧与相邻帧对齐效果差，导致算法重建效果差。
(2)距离参考帧较长时间的相邻帧的特征信息不能进行有效利用，导致重建效果差。
如果存在一种运动模糊视频的超分辨率重建方法，一是对视频帧进行超分辨率重建，那么就可以去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。二是能够解决由于芯片引脚分布密集、运动速度快的大运动现象，导致算法重建效果差问题。三是能够对距离参考帧较长时间的相邻帧的特征信息进行有效利用，那么就可以有效的对运动模糊视频进行超分辨率重建，提高芯片质检的准确率。
查阅现有技术资料，我们认为视频超分辨率重建算法同时对一组视频帧进行处理完成对参考帧的重建效果，本专利应用视频超分辨重建算法对运动模糊图像进行清晰度重建，可以去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。进一步地，跨越式的帧间对齐方法并不适用于大运动芯片视频帧的帧间对齐问题中。本专利提出了基于一进一的相邻帧间对齐结构并使用一进一对齐结构的损失函数，从而避免视频帧出现大运动时无法快速准确进行帧间对齐的问题。进一步地，对于距离参考帧较远的相邻帧的信息难以提取的问题，本专利提出了时间分组网络，从而避免参考帧无法对远距离相邻帧中有用信息进行利用的问题。提高了现有超分辨率重建算法面向运动模糊视频时的重建能力，可以应用在芯片检测线上，提升速度。
发明内容
本发明的目的在于提供一种用于芯片质检时运动模糊视频的超分辨率重建方法，旨在解决在芯片质检时芯片快速运动时无法正确的对齐相邻视频帧，导致算法重建效果差的问题。
为实现上述目的，本发明提供了一种用于芯片质检时运动模糊视频的超分辨率重建方法，包括帧间对齐模块，用于获取视频帧并进行一进一帧间对齐，动态估计特征空间上的偏移量，得到对齐后的相邻帧；
时空特征提取模块，用于基于所述相邻帧分组进行时空特征提取，得到时空特征图；
清晰帧重建模块，基于所述时空特征图进行清晰帧重建获取参考帧的高分辨率图像。
其中，所述超分辨率重建方法还包括训练模块，所述训练模块用于利用帧间对齐模块和清晰帧重建模块的损失函数来训练帧间对齐模块和清晰度重建模块。
其中，所述获取视频帧并进行一进一帧间对齐，动态估计特征空间上的偏移量，得到对齐后的相邻帧的具体步骤是：
将一组视频帧输入到帧间对齐模块中，设置参考帧；
获取视频帧特征图；
将视频帧特征图的相邻帧进行对齐；
将对齐的相邻帧和参考帧对齐得到最终特征图。
其中，所述将将视频帧特征图的相邻帧进行对齐的具体步骤是：
将两张特征图输入到可变形卷积模块中，并进行拼接操作；
对拼接后的特征图进行两层卷积得到偏移量；
将偏移量作为可变形卷积的输入对特征图进行可变形卷积，得到对齐后的相邻帧。
其中，所述基于相邻帧分组进行时空特征提取，得到时空特征图的具体步骤是：
将相邻的2N帧特征图与参考帧特征图进行对齐；
将对齐后的特征图按照时间距离分成2N组；
基于2D密集块对2N组特征图进行处理得到时空特征图。
其中，所述基于时空特征图进行清晰帧重建获取参考帧的高分辨率图像的具体步骤是：
对低分辨率参考帧进行双三次插值上采样，得到第一结果；
对时空特征图进行亚像素上采样，得到第二结果；
将第一结果和第二结果进行拼接。
其中，所述基于所述时空特征图进行清晰帧重建获取参考帧的高分辨率图像之后，所述方法还包括：利用损失函数训练帧间对齐模块和清晰度重建模块。
本发明的一种用于芯片质检时运动模糊视频的超分辨率重建方法，采用视频超分辨重建算法重建具有运动模糊问题的芯片图像，用来去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。然后，提出一进一的对齐方法，从最长距离的相邻帧到参考帧进行一进一的对齐，从而避免由于芯片大运动问题造成的视频帧对齐误差，提高重建性能；最后，利用时间分组网络，对远距离参考帧进行有效特征提取，将远近距离视频帧进行合理融合，以提高重建效果。本专利提出的视频超分辨率重建算法能够同时对一组视频帧进行处理，通过提取相邻帧的时空信息，完成对参考帧的重建，解决参考帧的运动模糊问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为芯片质检示意图；
图2为芯片外观图；
图3为超分辨率算法结构图；
图4为一进一模块示意图；
图5为一进一帧间对齐模块网络结构；
图6为可变形卷积模块；
图7为时间分组网络；
图8为清晰度重建模块；
图9为双三次插值示意图；
图10为亚像素上采样图；
图11是本发明的一种用于芯片质检时运动模糊视频的超分辨率重建方法的流程图；
图12是本发明的帧间对齐模块，用于获取视频帧并进行一进一帧间对齐，动态估计特征空间上的偏移量，得到对齐后的相邻帧的流程图；
图13是本发明的将对齐的相邻帧和参考帧对齐的流程图；
图14是基于相邻帧分组进行时空特征提取，得到时空特征图的流程图；
图15是本发明的基于时空特征图进行清晰帧重建获取参考帧的高分辨率图像的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图11至图15，本发明提供一种用于芯片质检时运动模糊视频的超分辨率重建方法，包括：
S101帧间对齐模块，用于获取视频帧并进行一进一帧间对齐，动态估计特征空间上的偏移量，得到对齐后的相邻帧；
图1和图2为芯片质检的示意图，考虑到芯片质检时不同任务量的需求，可能需要短时间内对大批量芯片进行质检，摄像头拍摄得到的芯片运动视频中会出现芯片帧间大运动现象，为确保在芯片出现帧间大运动现象时，能够快速、准确的对视频帧进行对齐，本专利提出了基于可变形卷积的一进一相邻帧间对齐结构。帧间对齐模块的作用将相邻帧与参考帧进行匹配。传统的对齐模块不考虑相邻帧距离参考帧距离远近直接进行对齐，该方法不适用于帧间大运动问题。请参阅图3和图4，本专利提出的一进一相邻帧间对齐模块，避免跨越式对齐所造成的对齐误差。
具体步骤是：
S201将一组视频帧输入到帧间对齐模块中，设置参考帧；
将一组视频帧{Pt-N:Pt-1，Pt，Pt+1:Pt+N}输入到一进一帧间对齐模块中，其中Pt为参考帧，{Pt-N：Pt-1，Pt+1：Pt+N}为相邻帧。
S202获取视频帧特征图；
通过特征提取操作得到上述视频帧的特征图{Ft-N：Ft-1，Ft，Ft+1：Ft+N}
S203将视频帧特征图的相邻帧进行对齐；
将特征图Ft-N+1设为参考帧，将Ft-N和Ft-N+1进行对齐，得到F′t-N；将特征图Ft-N+2设为参考帧，将Ft-N+1、F′t-N和Ft-N+2进行对齐，得到F′t-N+1和F″t-N。由于F′t-N和Ft-N+1为对齐帧，所以共享偏移参数θ，所以在Ft-N+2与F′t-N对齐时，直接使用对齐参数δ即可。
相邻帧特征图Ft-N经过N次对齐得到At-N，At-N与参考帧特征图Ft相对齐，Ft-N第一次对齐后得到F′t-N，第N次对齐得到
Figure BDA0003339642210000061
其中上标“′”的个数为N，第N次对齐得到的
Figure BDA0003339642210000062
同理，将特征图Ft+N-1设为参考帧，将Ft+N和Ft+N-1进行对齐，得到F′t+N。将特征图Ft+N-2设为参考帧，将Ft+N-1、F′t+N和Ft+N-2进行对齐，得到F′t+N-1和F″t+N。最后，将Ft设为参考帧进行对齐。本专利通过一进一相邻帧对齐模块来解决芯片大运动问题造成的帧间对齐误差问题。
具体步骤包括：
S301将两张特征图输入到可变形卷积模块中，并进行拼接操作；
将第i张特征图Fi和第j张特征图Fj输入到一进一帧间对齐模块中的可变形卷积模块(i≠j)，并将Fi和Fj进行拼接操作。
S302对拼接后的特征图进行两层卷积得到偏移量；
可变形卷积模块分成由两部分构成，如图6所示。首先，对一组特征图中，第i张特征图Fi和第j张特征图Fj进行两层卷积(i≠j)，得到相邻帧的偏移量。特征图Fi、Fj的计算方法如下：
Fi＝fext(Pi)，Fj＝fext(Pj)
其中，fext为对输入图像Pi、Pj进行特征提取操作，其中Pi为第i张输入图像、Pj为第j张输入图像。特征提取操作包括1个卷积层和5个残差层。偏移量δ的计算公式为：
δ＝fθ(Fi+Fj)
其中，fθ为卷积操作。其中δ＝{Δpn|n＝1，2，3...|R|}，R＝{(-1，-1)，(-1，0)，…，(0，1)，(1，1)}，|R|的维度为3×3。
S303将偏移量作为可变形卷积的输入对特征图进行可变形卷积，得到对齐后的相邻帧。
然后将偏移量δ作为可变形卷积的输入参数对Fi进行可变形卷积，得到对齐后的相邻帧F′i。与参考帧特征图Fj对齐后的相邻帧特征图F′i的计算公式为：
F′i＝fdc(Fi，δ)
其中fdc为可变形卷积操作。
在对齐后相邻帧特征图F′i中每个点p0的计算公式为：
Figure BDA0003339642210000071
其中，ω为权重参数，pn是R中位置的枚举。
S204将对齐的相邻帧和参考帧对齐得到最终特征图。
具体来说，设t＝3，N＝2。如图5所示，首先，将一组视频帧{P1，P2，P3，P4，P5}输入到帧间对齐模块中；然后，通过特征提取操作得到一组视频帧的特征图{F1，F2，F3，F4，F5}；其次，将特征图F2设为参考帧，将F1和F2进行对齐，得到F′1；同理，将特征图F4设为参考帧，将F5和F4进行对齐，得到F′5。最后，将F3设为参考帧，将F′1、F2、F3、F4、F′5进行对齐，得到F″1，F′2，F′4，F″5
S102时空特征提取模块，用于基于所述相邻帧分组进行时空特征提取，得到时空特征图；
本专利通过提取参考帧Ft相邻帧信息(时间信息)以及参考帧的局部信息(空间信息)对参考帧Ft进行超分辨率重建。提取时空信息对芯片运动视频进行超分辨率重建中存在的问题是：参考帧很难从时间较长的相邻帧中提取有用信息，导致最终重建的效果不好。基于此，本专利提出了基于时间分组的重建网络。本实施例中t＝3。
具体步骤是：
S401将相邻的2N帧特征图与参考帧特征图进行对齐；将相邻的2N帧特征图与参考帧特征图进行对齐，对齐后得到视频帧{At-N：At-1，At，At+1：At+N}
S402将对齐后的特征图按照时间距离分成2N组；
将视频帧按照时间距离分成2N组，设相邻帧为{At-N：At-1，At+1：At+N}，参考帧为At，将2N+1帧分为{G1...Gs}组，其中s∈[1，N]，Gs＝{At-s，At，At+s}。G1组表示距离参考帧时间最短的一组，Gs组表示距离参考帧时间最长的一组。时间分组网络如图7所示。本实施例中N＝2，t＝3。
S403基于2D密集块对2N组特征图进行处理得到时空特征图。
本专利使用密集连接卷积神经网络中的密集模块，在密集模块中每一层的输入来自前面所有层的输出，该方法可以使网络参数更少，图像特征传递更高效。
S103清晰帧重建模块，基于所述时空特征图进行清晰帧重建获取参考帧的高分辨率图像。
清晰帧重建的目的是获取参考帧的高分辨率图像。其网络框架图如图8所示。具体步骤是：
S501对低分辨率参考帧Pt进行双三次插值上采样，得到第一结果；
对低分辨率参考帧Pt进行双三次插值上采样，主要作用是对低分辨率参考帧进行放大。低分辨率参考帧中H点处的插值，是由其周围的16个点{K1，K2，…K15，K16}通过不同的权重加权得到的。在x、y轴方向上各有四个权重系数。x方向的权重系数计算公式如下：
Figure BDA0003339642210000081
其中，a＝-0.5。如图9所示，x表示x轴方向上H点到附近Ki的距离，i∈[1，16]。同理可得y轴方向的权重系数的计算公式W(y)。则最后H点的插值结果为：
Figure BDA0003339642210000082
其中，Q为点{K1，K2，...K15，K16}处的像素值，T为转置。本实施例中，低分辨率参考帧P3的大小为256*256，低分辨率参考帧P3经过双三次插值上采样后得到的图像大小为1024*1024。
S502对时空特征图进行亚像素上采样，得到第二结果；
亚像素上采样模块的主要作用是将低分辨率的时空特征图L转换成高分辨的时空特征图L'。时空特征图L的大小为M*Z*c，其中M、Z、c分别表示时空特征图L的长、宽、通道数。本专利通过亚像素采样将特征图L扩大
Figure BDA0003339642210000083
倍，则扩大后的高分辨率时空特征图L'的大小为(M*r)*(Z*r)*1。特征图L的第c个通道的位置(i，j)处的像素为
Figure BDA0003339642210000084
则经过亚像素上采样后的特征图L'会发生扩大，将一个像素点扩大成
Figure BDA0003339642210000085
大小的邻域，邻域中每个位置的像素大小为
Figure BDA0003339642210000086
本实施例中M＝512，Z＝512，c＝4。如图10所示，特征图位置(1，1)处的像素点经过亚像素上采样后得到特征图L'的一块邻域，特征图L'位置(1，1)处的像素点为
Figure BDA0003339642210000091
位置(1，2)像素点为
Figure BDA0003339642210000092
位置(2，1)处像素点为
Figure BDA0003339642210000093
位置(2，2)处像素点为
Figure BDA0003339642210000094
S503将第一结果和第二结果进行拼接。
S104所述训练模块用于利用帧间对齐模块和清晰帧重建模块的损失函数来训练帧间对齐模块和清晰度重建模块。
本专利提出的一进一帧间对齐模块的损失函数lalign，目的是鼓励每次对齐后的图像能够与参考帧具有相似的高级特征，以减少对齐误差。在一进一帧间对齐模块中，将相邻帧通过递进式的方式向参考帧进行对齐，从而减少由于大运动问题导致帧间对齐时出现误差较大的问题，本专利在损失函数中体现了一进一帧间对齐模块的递进式的特点。理论上来说，将Ft-B与参考帧Ft进行对齐时，需要进行2*B层卷积和B次可变形卷积操作。由于对齐后的视频帧共享偏移量δ，所以只需要进行2层卷积和B次可变形卷积操作便可将Ft-B与参考帧Ft进行对齐，即在Ft-B与参考帧特征图Ft对齐时网络模型只需要训练得到Ft-B与Ft-B+1的偏移量δ。在一组2N+1张视频帧中，需要进行
Figure BDA0003339642210000095
次对齐，但只需要对2N个偏移量δ进行训练。在一进一帧间对齐模块的损失函数中，参考帧特征图Ft与对齐后的视频帧特征图At-B的损失的计算方法，通过不断缩小F't-B和Ft-B+1的1范数距离，从而训练网络的权重参数，得到Ft-B与Ft-B+1最优偏移量δ。本专利提出的一进一帧间对齐模块的损失函数lalign如下所示。本实施例中t＝3，N＝2，B∈{1，..N}。
Figure BDA0003339642210000096
其中，Fi为第i张视频帧的特征图，F'i-1、F'i+1为第i-1、i+1张特征图与Fi一次对齐后的特征图，||||1表示1范数。
本专利清晰度重建模块的损失函数lsr，目的使得网络生成的高分辨率参考帧在全局外观上更加接近参考帧的高分辨率样本。lsr通过1范数计算网络生成的高分辨率参考帧与参考帧的高分辨率样本之间的距离lsr，在网络训练过程中不断训练权重参数使距离lsr达到最小。lsr的计算公式为：
Figure BDA0003339642210000097
其中P't为网络生成的高分辨率参考帧，
Figure BDA0003339642210000098
为参考帧的高分辨率样本。
则该网络的总损失函数的计算公式为：
l＝l2lign+lsr
本专利提出一种用于芯片质检时运动模糊视频的超分辨率重建方法。首先，通过对视频图像进行处理，用来去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间，能够在不同要求的芯片质检任务进行应用。然后，本专利提出了基于可变形卷积的一进一相邻帧间对齐结构和一进一的帧间损失，从而避免视频帧出现大运动时无法快速准确进行帧间对齐的问题。最后，本专利提出了时间分组网络，从而避免参考帧无法利用长时间距离的相邻帧中有用信息的问题。通过对帧间对齐模块和时空提取模块的改进，从而重建出无运动模糊、清晰度高的芯片图像。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种用于芯片质检时运动模糊视频的超分辨率重建方法，其特征在于，包括：
帧间对齐模块，用于获取视频帧并进行一进一帧间对齐，动态估计特征空间上的偏移量，得到对齐后的相邻帧；
时空特征提取模块，用于基于所述相邻帧分组进行时空特征提取，得到时空特征图；
清晰帧重建模块，基于所述时空特征图进行清晰帧重建获取参考帧的高分辨率图像。
2.如权利要求1所述的一种用于芯片质检时运动模糊视频的超分辨率重建方法，其特征在于，
所述超分辨率重建方法还包括训练模块，所述训练模块用于利用帧间对齐模块和清晰帧重建模块的损失函数来训练帧间对齐模块和清晰度重建模块。
3.如权利要求1所述的一种用于芯片质检时运动模糊视频的超分辨率重建方法，其特征在于，
所述获取视频帧并进行一进一帧间对齐，动态估计特征空间上的偏移量，得到对齐后的相邻帧的具体步骤是：
将一组视频帧输入到帧间对齐模块中，设置参考帧；
获取视频帧特征图；
将视频帧特征图的相邻帧进行对齐；
将对齐的相邻帧和参考帧对齐得到最终特征图。
4.如权利要求3所述的一种用于芯片质检时运动模糊视频的超分辨率重建方法，其特征在于，
所述将视频帧特征图的相邻帧进行对齐的具体步骤是：
将两张特征图输入到可变形卷积模块中，并进行拼接操作；
对拼接后的特征图进行两层卷积得到偏移量；
将偏移量作为可变形卷积的输入对特征图进行可变形卷积，得到对齐后的相邻帧。
5.如权利要求1所述的一种用于芯片质检时运动模糊视频的超分辨率重建方法，其特征在于，
所述基于相邻帧分组进行时空特征提取，得到时空特征图的具体步骤是：
将相邻的2N帧特征图与参考帧特征图进行对齐；
将对齐后的特征图按照时间距离分成2N组；
基于2D密集块对2N组特征图进行处理得到时空特征图。
6.如权利要求1所述的一种用于芯片质检时运动模糊视频的超分辨率重建方法，其特征在于，
所述基于时空特征图进行清晰帧重建获取参考帧的高分辨率图像的具体步骤是：
对低分辨率参考帧进行双三次插值上采样，得到第一结果；
对时空特征图进行亚像素上采样，得到第二结果；
将第一结果和第二结果进行拼接。
7.如权利要求6所述的一种用于芯片质检时运动模糊视频的超分辨率重建方法，其特征在于，
所述基于所述时空特征图进行清晰帧重建获取参考帧的高分辨率图像之后，所述方法还包括：利用损失函数训练帧间对齐模块和清晰度重建模块。
CN202111304459.7A 2021-11-05 2021-11-05 一种用于芯片质检时运动模糊视频的超分辨率重建方法 Pending CN114119364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111304459.7A CN114119364A (zh) 2021-11-05 2021-11-05 一种用于芯片质检时运动模糊视频的超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304459.7A CN114119364A (zh) 2021-11-05 2021-11-05 一种用于芯片质检时运动模糊视频的超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN114119364A true CN114119364A (zh) 2022-03-01

Family

ID=80380744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304459.7A Pending CN114119364A (zh) 2021-11-05 2021-11-05 一种用于芯片质检时运动模糊视频的超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN114119364A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197317A1 (en) * 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113205456A (zh) * 2021-04-30 2021-08-03 东北大学 一种面向实时视频会话业务的超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197317A1 (en) * 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113205456A (zh) * 2021-04-30 2021-08-03 东北大学 一种面向实时视频会话业务的超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘煜等: "《阵列相机成像技术与应用》", 30 April 2018 *
刘董经典等: "一种基于2D时空信息提取的行为识别算法", 《智能系统学报》 *

Similar Documents

Publication Publication Date Title
Chen et al. Camera lens super-resolution
CN110570371B (zh) 一种基于多尺度残差学习的图像去雾方法
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
Li et al. Arvo: Learning all-range volumetric correspondence for video deblurring
CN110782490A (zh) 一种具有时空一致性的视频深度图估计方法及装置
US10506249B2 (en) Segmentation-based parameterized motion models
US11727541B2 (en) Video super resolution method
TW202117611A (zh) 電腦視覺訓練系統及訓練電腦視覺系統的方法
Lecouat et al. Lucas-kanade reloaded: End-to-end super-resolution from raw image bursts
CN110211057B (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
CN110428382B (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
CN112767467B (zh) 一种基于自监督深度学习的双图深度估计方法
CN102427505A (zh) 一种基于Harris Corner的视频稳像方法及系统
CN110610467A (zh) 一种基于深度学习的多帧视频去压缩噪声方法
Sun et al. Deep maximum a posterior estimator for video denoising
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN116542889A (zh) 一种拥有稳定视点的全景视频增强方法
Guo et al. A differentiable two-stage alignment scheme for burst image reconstruction with large shift
Li et al. Progressive deep video dehazing without explicit alignment estimation
Zhou et al. Mesoscopic photogrammetry with an unstabilized phone camera
CN113298707B (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质
Cho et al. Weighted multi-kernel prediction network for burst image super-resolution
CN114119364A (zh) 一种用于芯片质检时运动模糊视频的超分辨率重建方法
Xu et al. An implicit alignment for video super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220301

RJ01 Rejection of invention patent application after publication