CN113793276B - 根据模糊严重程度对图片分区域自适应去模糊的方法 - Google Patents
根据模糊严重程度对图片分区域自适应去模糊的方法 Download PDFInfo
- Publication number
- CN113793276B CN113793276B CN202111028335.0A CN202111028335A CN113793276B CN 113793276 B CN113793276 B CN 113793276B CN 202111028335 A CN202111028335 A CN 202111028335A CN 113793276 B CN113793276 B CN 113793276B
- Authority
- CN
- China
- Prior art keywords
- picture
- small blocks
- fuzzy
- blocks
- sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 17
- 230000008447 perception Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提出了一种根据模糊严重程度对图片分区域自适应去模糊的方法，涉及图片去模糊技术领域，其中，该方法包括：获取待测试图片，使用长宽固定的滑窗将待测试图片分割为互不重叠的小区块；对小区块进行模糊感知，完成分类，得到分类结果；根据分类结果对相应的小区块进行去模糊，得到清晰的小区块；对清晰的小区块进行融合，生成清晰图片。采用上述方案的本申请可以显著改善图片的模糊，提升图片质量，更好的解决清晰图片和轻微模糊图片的处理问题，同时采用分块处理图片的方法更好的推进本申请在移动端的部署。
Description
技术领域
本申请涉及图片去模糊技术领域，尤其涉及一种根据模糊严重程度对图片分区域自适应去模糊的方法和装置。
背景技术
目前的去模糊卷积神经网络的一个局限在于，将所有的图片，无论清晰与模糊，全部输入同一个网络进行处理。而实际上清晰图片并不需要被处理，轻微模糊的图片也只需要比较小的网络进行去模糊。同时，目前的摄影设备大多可以拍摄高分辨率图像(分辨率超过1280*720)，直接将图片输入神经网络中会造成过高的开销。
早期传统方法受建模复杂度的限制，往往无法解决实际图片中随位置变化的模糊。随着深度学习技术的发展，卷积神经网络可以对复杂的模糊核进行建模，因此近期工作主要围绕使用卷积神经网络去除图片模糊展开。
目前使用深度学习方法进行图像去模糊的主要思路是：使用连续帧平均生成模糊图片，并使用中间帧作为对应清晰图片。使用按此方法构建的数据集训练卷积神经网络。实验证明这种数据合成方法可以有效的应用在实际的模糊图片中。此外，也有众多卷积神经网络子结构被设计以提高精度，这些结构主要用于进一步建模随空间变化的复杂模糊，比如学习图片光流，以及对象位置信息等的辅助模块。
现有深度学习方法面临的主要问题有：1.无法根据输入图片的模糊程度选择不同复杂度的分支进行处理，导致清晰图片和模糊图片都需要最大的计算开销，但实际上清晰图片不需要过于复杂的处理流程。2.现有方法通常使用整幅图片作为输入，而目前摄影设备输出的图片均为高分辨率图像，因此会带来实际使用设备(如手机等)上无法容纳的内存和计算量开销。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种根据模糊严重程度对图片分区域自适应去模糊的方法，解决了现有方法无法根据输入图片的模糊程度选择不同复杂度的分支进行处理，导致清晰图片和模糊图片都需要最大的计算开销的技术问题，同时也解决了现有方法通常使用整幅图片作为输入，而目前摄影设备输出的图片均为高分辨率图像，会带来实际使用设备无法容纳的内存和计算量开销的问题，显著改善图片的模糊，提升图片质量，更好的解决了清晰图片和轻微模糊图片的处理问题，同时采用分块处理图片的方法更好的推进本申请在移动端的部署。
本申请的第二个目的在于提出一种根据模糊严重程度对图片分区域自适应去模糊的装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种根据模糊严重程度对图片分区域自适应去模糊的方法，包括：获取待测试图片，使用长宽固定的滑窗将待测试图片分割为互不重叠的小区块；对小区块进行模糊感知，完成分类，得到分类结果；根据分类结果对相应的小区块进行去模糊，得到清晰的小区块；对清晰的小区块进行融合，生成清晰图片。
可选地，在本申请的一个实施例中，对小区块进行模糊感知，包括以下步骤：
对小区块进行第一次模糊感知，根据第一次感知结果将小区块分为第一类小区块和其余小区块；
对其余小区块进行第二次模糊感知，根据第二次感知结果将其余小区块分为第二类小区块和第三类小区块。
可选地，在本申请的一个实施例中，模糊感知采用Gumbel-Softmax采样获得模糊严重的估计，表示为：
其中，该公式用于将模糊感知输出的概率预测转化为独热编码yi(i＝0，1)，公式中πi(i＝0，1)表示模糊感知对于当前图片块是否应该由更深的网络处理的预测概率，π0为不需要更深的网络处理的概率，π1为需要更深的网络处理的概率，根据以下公式计算概率πi(i＝0，1)：
其中，fi 1*1为第i个1*1卷积操作，AvgPool为平均池化操作，ReLU为激活函数，F为输入到模糊程度感知模块的特征向量。
可选地，在本申请的一个实施例中，根据小区块类别的不同对小区块进行去模糊，将一张模糊图片视为各区域模糊图片块的集合：
对于模糊图片中的每个图片块Ip，q(p＝0，1，...，n，q＝0，1，...，n)，表示为：
Sp，q＝y1，0⊙D1，1(D1，2(E2(E1(Ip，q))))+(y1，1·y2，0)⊙D2，1(...D2，3(E3(...E1(Ip，q))))+(y1，1·y2，1)⊙D3，1(...D3，4(E4(...E1(Ip，q))))
其中，Sp，q表示输入模糊图片块Ip，q后获得的对应的清晰图像块，Di，j表示第i个分支的第j层解码器，Ei表示第i个编码器，⊙表示通道维度的张量相乘，yi，j表示第i个模糊感知输出的独热编码[yi，0，yi，1]中的第j位(j＝0，1)。
可选地，在本申请的一个实施例中，对清晰的小区块进行融合，表示为：
其中，I(i，j)表示第i行j列图片块，Sigmoid为归一化损失函数。
为达上述目的，本申请第二方面实施例提出了一种根据模糊严重程度对图片分区域自适应去模糊的装置，包括获取模块、条件动态网络模块，其中，
获取模块，用于获取待测试图片，使用长宽固定的滑窗将待测试图片分割为互不重叠的小区块；
条件动态网络模块，用于对小区块根据模糊程度进行分别处理，生成清晰图片。
可选地，在本申请的一个实施例中，条件动态网络模块具体用于：
对小区块进行模糊感知，完成分类，得到分类结果；
根据分类结果对相应的小区块进行去模糊，得到清晰的小区块；
对清晰的小区块进行融合，生成清晰图片。
可选地，在本申请的一个实施例中，训练条件动态网络模块，训练所用的函数为：
其中，MSE为均方差误差，为去模糊部分逐图片块的均方误差，/>为融合模块关于全图的均方误差。
为了实现上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行一种根据模糊严重程度对图片分区域自适应去模糊的方法。
本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的方法、根据模糊严重程度对图片分区域自适应去模糊的装置和非临时性计算机可读存储介质，解决了现有方法无法根据输入图片的模糊程度选择不同复杂度的分支进行处理，导致清晰图片和模糊图片都需要最大的计算开销的技术问题，同时也解决了现有方法通常使用整幅图片作为输入，而目前摄影设备输出的图片均为高分辨率图像，会带来实际使用设备无法容纳的内存和计算量开销的问题，显著改善了图片的模糊，提升了图片质量，更好的解决了清晰图片和轻微模糊图片的处理问题，同时采用分块处理图片的方法更好的推进本申请在移动端的部署。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种根据模糊严重程度对图片分区域自适应去模糊的方法的流程图；
图2为本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的方法的神经网络结构图；
图3为本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的方法的不同图片区块模糊程度标注示例图；
图4为本申请实施例二所提供的根据模糊严重程度对图片分区域自适应去模糊的装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的方法和装置。
图1为本申请实施例一所提供的一种根据模糊严重程度对图片分区域自适应去模糊的方法的流程图。
如图1所示，该根据模糊严重程度对图片分区域自适应去模糊的方法包括以下步骤：
步骤101，获取待测试图片，使用长宽固定的滑窗将待测试图片分割为互不重叠的小区块；
步骤102，对小区块进行模糊感知，完成分类，得到分类结果；
步骤103，根据分类结果对相应的小区块进行去模糊，得到清晰的小区块；
步骤104，对清晰的小区块进行融合，生成清晰图片。
本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的方法，通过获取待测试图片，使用长宽固定的滑窗将待测试图片分割为互不重叠的小区块；对小区块进行模糊感知，完成分类，得到分类结果；根据分类结果对相应的小区块进行去模糊，得到清晰的小区块；对清晰的小区块进行融合，生成清晰图片。由此，解决了现有方法无法根据输入图片的模糊程度选择不同复杂度的分支进行处理，导致清晰图片和模糊图片都需要最大的计算开销的技术问题，同时也解决了现有方法通常使用整幅图片作为输入，而目前摄影设备输出的图片均为高分辨率图像，会带来实际使用设备无法容纳的内存和计算量开销的问题，显著改善了图片的模糊，提升了图片质量，更好的解决了清晰图片和轻微模糊图片的处理问题，同时采用分块处理图片的方法更好的推进本申请在移动端的部署。
进一步地，在本申请实施例中，对小区块进行模糊感知，包括以下步骤：
对小区块进行第一次模糊感知，根据第一次感知结果将小区块分为第一类小区块和其余小区块；
对其余小区块进行第二次模糊感知，根据第二次感知结果将其余小区块分为第二类小区块和第三类小区块。
针对现有网络无法自适应地判别图片模糊程度的问题，设计模糊程度感知门，该门可以嵌入常规的去模糊神经网络中，并且不需要额外的监督信息即可工作。该门会将判断为轻微模糊或不模糊的图片提前从网络中输出，以避免使用计算开销过大的网络部分处理这些图片。同时，应被继续处理的复杂模糊图片仍会继续输入网络的深层结构中，以提高处理效果。
针对同一图片不同区域模糊程度不同，不能轻易被划分为某一模糊程度，同时直接输入大图片又会使得计算开销过大，无法部署在移动设备上的问题，设计一种分区块处理图片的新型去模糊方式。对于特定的图片，不直接将其输入去模糊网络中，而是将其拆分成90*180大小的图片区块。相比整张图片，每个区块具有更加统一的模糊严重程度。
为了进一步提高去模糊效果，并提供更多随模糊严重程度变化的分支选项，结合模糊程度感知门和分块处理图片机制，设计了一种可以堆叠的去模糊卷积神经网络，该网络的堆叠效果显著高于其他现用的神经网络，同时针对清晰图片，堆叠导致的计算量增加更小。
对于训练图片和推理图片，使用长宽为90*180的滑窗将图片分割为互不重叠的小区块。训练过程中，每轮迭代对每对训练图片随机选取其中的一个对应的90*180的区块进行训练，同时通过数据增广的方式，随机水平或竖直反转该图像。
训练方法为先分图片块端到端训练去模糊部分，再固定去模糊部分的模糊程度感知门，调优训练编码器和解码器，最后固定去模糊网络训练图片块融合网络。
训练损失函数如下，其中MSE为均方差误差，为去模糊部分逐图片块的均方误差，/>为融合模块关于全图的均方误差，不需要额外的监督信息进行训练，
进一步地，在本申请实施例中，模糊感知采用Gumbel-Softmax采样获得模糊严重的估计，表示为：
其中，该公式用于将模糊感知输出的概率预测转化为独热编码yi(i＝0，1)，公式中πi(i＝0，1)表示模糊感知对于当前图片块是否应该由更深的网络处理的预测概率，π0为不需要更深的网络处理的概率，π1为需要更深的网络处理的概率，根据以下公式计算概率πi(i＝0，1)：
其中，fi 1*1为第i个1*1卷积操作，AvgPool为平均池化操作，ReLU为激活函数，F为输入到模糊程度感知模块的特征向量。
独热编码只由0，1组成，可以方便地指导网络是否在当前模块输出到解码器部分。模糊感知门被嵌入在去模糊网络的编码结构中，每层模糊感知门用于判断当前图片需要直接输出或进一步输入，在单个去模糊结构中，共有两个模糊感知门，将图片分为3类从不同路径中输出。不同路径共享途径的编码器结构，但拥有独立的解码器结构。
进一步地，在本申请实施例中，根据小区块类别的不同对小区块进行去模糊，将一张模糊图片视为各区域模糊图片块的集合：
对于模糊图片中的每个图片块Ip，q(p＝0，1，...，n，q＝0，1，...，n)，表示为：
Sp，q＝y1，0⊙D1，1(D1，2(E2(E1(Ip，q))))+(y１，１·y2，0)⊙D2，１(...D2，3(E3(...E１(Ip，q))))+(y1，1·y2，1)⊙D3，1(...D3，4(E4(...E1(Ip，q))))
其中，Sp，q表示输入模糊图片块Ip，q后获得的对应的清晰图像块，Di，j表示第i个分支的第j层解码器，Ei表示第i个编码器，⊙表示通道维度的张量相乘，yi，j表示第i个模糊感知输出的独热编码[yi，0，yi，1]中的第j位(j＝0，1)。
特别地，当模糊图片块模糊程度较轻时，y1，0＝1，y1，1＝0，y2，0＝0，y2，1＝0；当模糊图片块模糊程度较严重时，y1,0＝0，y1,1＝1，y2,0＝1，y2,1＝0；当模糊图片块模糊程度非常严重时，y1,0＝0，y1,1＝1，y2,0＝0，y2,1＝1。该公式按此规则将不同模糊程度的图片块分开处理。
进一步地，在本申请实施例中，对清晰的小区块进行融合，表示为：
其中，I(i,j)表示第i行j列图片块，Sigmoid为归一化损失函数。
相比整张图片，每个区块具有更加统一的模糊严重程度。针对分块处理后图片块间的畸变现象，设计了一种用于融合不同图片块的子结构。
图2为本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的方法的神经网络结构图。
如图2所示，该根据模糊严重程度对图片分区域自适应去模糊的方法，设计了模糊程度感知门，模糊程度感知门可以嵌入常规的去模糊神经网络中，并且不需要额外的监督信息即可工作。模糊程度感知门会将判断为轻微模糊或不模糊的图片提前从网络中输出，以避免使用计算开销过大的网络部分处理这些图片。同时，应被继续处理的复杂模糊图片仍会继续输入网络的深层结构中，以提高处理效果。针对同一图片不同区域模糊程度不同，不能轻易被划分为某一模糊程度，同时直接输入大图片又会使得计算开销过大，无法部署在移动设备上的问题，设计了一种分区块处理图片的新型去模糊方式。对于特定的图片，不直接将其输入去模糊网络中，而是将其拆分成90*180大小的图片区块。相比整张图片，每个区块具有更加统一的模糊严重程度。结合模糊程度感知门和分块处理图片机制，设计了一种可以堆叠的去模糊卷积神经网络，去模糊卷积神经网络的堆叠效果显著高于其他现用的神经网络，同时针对清晰图片，堆叠导致的计算量增加更小。模糊感知门被嵌入在去模糊网络的编码结构中，每层模糊感知门用于判断当前图片需要直接输出或进一步输入，在单个去模糊结构中，共有两个模糊感知门，将图片分为3类从不同路径中输出。不同路径共享途径的编码器结构，但拥有独立的解码器结构。其中G是模糊程度感知门，E为编码器，D为解码器。
图3为本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的方法的不同图片区块模糊程度标注示例图。
如图3所示，该根据模糊严重程度对图片分区域自适应去模糊的方法，针对同一图片不同区域模糊程度不同，不能轻易被划分为某一模糊程度，同时直接输入大图片又会使得计算开销过大，无法部署在移动设备上的问题，设计了一种分区块处理图片的新型去模糊方式。对于特定的图片，不直接将其输入去模糊网络中，而是使用长宽为90*180的滑窗将图片分割为互不重叠的小区块。相比整张图片，每个区块具有更加统一的模糊严重程度。
图4为本申请实施例二所提供的根据模糊严重程度对图片分区域自适应去模糊的装置的结构示意图。
如图4所示，该根据模糊严重程度对图片分区域自适应去模糊的装置，包括：获取模块、条件动态网络模块，其中，
获取模块10，用于获取待测试图片，使用长宽固定的滑窗将待测试图片分割为互不重叠的小区块；
条件动态网络模块20，用于对小区块根据模糊程度进行分别处理，生成清晰图片。
进一步地，在本申请实施例中，条件动态网络模块具体用于：
对小区块进行模糊感知，完成分类，得到分类结果；
根据分类结果对相应的小区块进行去模糊，得到清晰的小区块；
对清晰的小区块进行融合，生成清晰图片。
进一步地，在本申请实施例中，训练条件动态网络模块，训练所用的函数为：
其中，MSE为均方差误差，为去模糊部分逐图片块的均方误差，/>为融合模块关于全图的均方误差。
训练方法为先分图片块端到端训练去模糊部分，再固定去模糊部分的模糊程度感知门，调优训练编码器和解码器，最后固定去模糊网络训练图片块融合网络。
本申请实施例的根据模糊严重程度对图片分区域自适应去模糊的装置，包括：获取模块、条件动态网络模块，其中，获取模块，用于获取待测试图片，使用长宽固定的滑窗将待测试图片分割为互不重叠的小区块；条件动态网络模块，用于对小区块根据模糊程度进行分别处理，生成清晰图片。由此，解决了现有方法无法根据输入图片的模糊程度选择不同复杂度的分支进行处理，导致清晰图片和模糊图片都需要最大的计算开销的技术问题，同时也解决了现有方法通常使用整幅图片作为输入，而目前摄影设备输出的图片均为高分辨率图像，会带来实际使用设备无法容纳的内存和计算量开销的问题，显著改善了图片的模糊，提升了图片质量，更好的解决了清晰图片和轻微模糊图片的处理问题，同时采用分块处理图片的方法更好的推进本申请在移动端的部署。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的根据模糊严重程度对图片分区域自适应去模糊的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种根据模糊严重程度对图片分区域自适应去模糊的方法，其特征在于，包括以下步骤：
获取待测试图片，使用长宽固定的滑窗将所述待测试图片分割为互不重叠的小区块；
对所述小区块进行模糊感知，完成分类，得到分类结果，其中，对所述小区块进行模糊感知，包括以下步骤：对所述小区块进行第一次模糊感知，根据第一次感知结果将所述小区块分为第一类小区块和其余小区块；对所述其余小区块进行第二次模糊感知，根据第二次感知结果将所述其余小区块分为第二类小区块和第三类小区块；所述模糊感知采用Gumbel-Softmax采样获得模糊严重程度的估计，表示为：
其中，该公式用于将模糊感知输出的概率预测转化为独热编码，公式中表示模糊感知对于当前图片块是否应该由更深的网络处理的预测概率，/>为不需要更深的网络处理的概率，/>为需要更深的网络处理的概率，根据以下公式计算概率：
其中，为第i个1*1卷积操作，AvgPool为平均池化操作，ReLU为激活函数，/>为输入到模糊程度感知模块的特征向量；
根据所述分类结果对相应的小区块进行去模糊，得到清晰的小区块，其中，根据小区块类别的不同对所述小区块进行去模糊，将一张模糊图片视为各区域模糊图片块的集合：
对于模糊图片中的每个图片块，表示为：
其中，表示输入模糊图片块/>后获得的对应的清晰图像块，/>表示第i个分支的第j层解码器，/>表示第i个编码器，/>表示通道维度的张量相乘，/>表示第i个模糊感知输出的独热编码/>中的第j位/>；
对所述清晰的小区块进行融合，生成清晰图片，其中，对所述清晰的小区块进行融合表示为：
其中，表示第i行j列图片块，Sigmoid为归一化损失函数。
2.一种根据模糊严重程度对图片分区域自适应去模糊的装置，其特征在于，包括获取模块、条件动态网络模块，其中，
所述获取模块，用于获取待测试图片，使用长宽固定的滑窗将所述待测试图片分割为互不重叠的小区块；
所述条件动态网络模块，用于对所述小区块进行模糊感知，完成分类，得到分类结果，其中，对所述小区块进行模糊感知，包括以下步骤：对所述小区块进行第一次模糊感知，根据第一次感知结果将所述小区块分为第一类小区块和其余小区块；对所述其余小区块进行第二次模糊感知，根据第二次感知结果将所述其余小区块分为第二类小区块和第三类小区块；所述模糊感知采用Gumbel-Softmax采样获得模糊严重程度的估计，表示为：
其中，该公式用于将模糊感知输出的概率预测转化为独热编码，公式中表示模糊感知对于当前图片块是否应该由更深的网络处理的预测概率，/>为不需要更深的网络处理的概率，/>为需要更深的网络处理的概率，根据以下公式计算概率：
其中，为第i个1*1卷积操作，AvgPool为平均池化操作，ReLU为激活函数，/>为输入到模糊程度感知模块的特征向量；
根据所述分类结果对相应的小区块进行去模糊，得到清晰的小区块，其中，根据小区块类别的不同对所述小区块进行去模糊，将一张模糊图片视为各区域模糊图片块的集合：
对于模糊图片中的每个图片块，表示为：
其中，表示输入模糊图片块/>后获得的对应的清晰图像块，/>表示第i个分支的第j层解码器，/>表示第i个编码器，/>表示通道维度的张量相乘，/>表示第i个模糊感知输出的独热编码/>中的第j位/>；
对所述清晰的小区块进行融合，生成清晰图片，其中，对所述清晰的小区块进行融合表示为：
其中，表示第i行j列图片块，Sigmoid为归一化损失函数。
3.如权利要求2所述的装置，其特征在于，训练所述条件动态网络模块，训练所用的函数为：
其中，MSE为均方差误差，为去模糊部分逐图片块的均方误差，/>为融合模块关于全图的均方误差。
4.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111028335.0A CN113793276B (zh) | 2021-09-02 | 2021-09-02 | 根据模糊严重程度对图片分区域自适应去模糊的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111028335.0A CN113793276B (zh) | 2021-09-02 | 2021-09-02 | 根据模糊严重程度对图片分区域自适应去模糊的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113793276A CN113793276A (zh) | 2021-12-14 |
| CN113793276B true CN113793276B (zh) | 2024-04-26 |
Family
ID=78879524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111028335.0A Active CN113793276B (zh) | 2021-09-02 | 2021-09-02 | 根据模糊严重程度对图片分区域自适应去模糊的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793276B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115687677B (zh) * | 2022-10-18 | 2024-03-22 | 浙江丰能医药科技有限公司 | 基于人工智能的数据存储管理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369134A (zh) * | 2017-06-12 | 2017-11-21 | 上海斐讯数据通信技术有限公司 | 一种模糊图像的图像复原方法 |
| KR20180100976A (ko) * | 2017-03-03 | 2018-09-12 | 한국전자통신연구원 | 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치 |
| CN112102158A (zh) * | 2020-09-15 | 2020-12-18 | 华人运通(上海)云计算科技有限公司 | 图片模糊处理方法、装置、设备、计算机可读存储介质 |
| CN112184391A (zh) * | 2020-10-16 | 2021-01-05 | 中国科学院计算技术研究所 | 一种推荐模型的训练方法、介质、电子设备和推荐模型 |
| CN112801901A (zh) * | 2021-01-21 | 2021-05-14 | 北京交通大学 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6541454B2 (ja) * | 2015-06-17 | 2019-07-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
-
2021
- 2021-09-02 CN CN202111028335.0A patent/CN113793276B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180100976A (ko) * | 2017-03-03 | 2018-09-12 | 한국전자통신연구원 | 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치 |
| CN107369134A (zh) * | 2017-06-12 | 2017-11-21 | 上海斐讯数据通信技术有限公司 | 一种模糊图像的图像复原方法 |
| CN112102158A (zh) * | 2020-09-15 | 2020-12-18 | 华人运通(上海)云计算科技有限公司 | 图片模糊处理方法、装置、设备、计算机可读存储介质 |
| CN112184391A (zh) * | 2020-10-16 | 2021-01-05 | 中国科学院计算技术研究所 | 一种推荐模型的训练方法、介质、电子设备和推荐模型 |
| CN112801901A (zh) * | 2021-01-21 | 2021-05-14 | 北京交通大学 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113793276A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311629B (zh) | 图像处理方法、图像处理装置及设备 | |
| CN110324664B (zh) | 一种基于神经网络的视频补帧方法及其模型的训练方法 | |
| TWI770432B (zh) | 圖像復原方法、電子設備、儲存介質 | |
| CN109862208B (zh) | 视频处理方法、装置、计算机存储介质以及终端设备 | |
| CN110969589A (zh) | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 | |
| JP2019071056A (ja) | 映像イメージをセグメンテーションする方法及びこれを利用した装置 | |
| CN111695421B (zh) | 图像识别方法、装置及电子设备 | |
| US11436440B2 (en) | Method and system for DNN based imaging | |
| US20150254814A1 (en) | Globally dominant point spread function estimation | |
| CN109903315B (zh) | 用于光流预测的方法、装置、设备以及可读存储介质 | |
| CN111316316A (zh) | 用于图像复原的神经网络及其训练与使用方法 | |
| CN103310430A (zh) | 对非均匀运动模糊进行去模糊的方法和设备 | |
| CN113793276B (zh) | 根据模糊严重程度对图片分区域自适应去模糊的方法 | |
| KR101834512B1 (ko) | 연속영상 기반의 초해상도 영상복원 장치 및 방법 | |
| CN114842430B (zh) | 一种用于道路监测的车辆信息识别方法及系统 | |
| CN108270945B (zh) | 一种运动补偿去噪方法及装置 | |
| CN111507906A (zh) | 用用于容错及波动鲁棒性的神经网络除抖动的方法及装置 | |
| CN111179201A (zh) | 一种视频去噪方法和电子设备 | |
| CN111325671A (zh) | 网络训练方法、装置、图像处理方法及电子设备 | |
| CN111652821A (zh) | 基于梯度信息的微光视频图像降噪处理方法、装置和设备 | |
| CN112805989A (zh) | 基于全局运动估计的时域滤波方法、装置及存储介质 | |
| CN114885112B (zh) | 基于数据融合的高帧率视频生成方法及装置 | |
| CN106657758A (zh) | 拍照方法、装置以及终端设备 | |
| CN114926803A (zh) | 车道线检测模型建立方法、车道线检测方法、装置和设备 | |
| CN113935910A (zh) | 一种基于深度学习的图像模糊长度测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |