CN113269680A - 一种基于排序学习和孪生神经网络的图像修复质量评价方法 - Google Patents
一种基于排序学习和孪生神经网络的图像修复质量评价方法 Download PDFInfo
- Publication number
- CN113269680A CN113269680A CN202110174118.6A CN202110174118A CN113269680A CN 113269680 A CN113269680 A CN 113269680A CN 202110174118 A CN202110174118 A CN 202110174118A CN 113269680 A CN113269680 A CN 113269680A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- layer
- data set
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 17
- 238000012163 sequencing technique Methods 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000000694 effects Effects 0.000 claims abstract description 6
- 238000011156 evaluation Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000015556 catabolic process Effects 0.000 claims description 9
- 238000006731 degradation reaction Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 2
- 238000012360 testing method Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 5
- 238000010276 construction Methods 0.000 abstract description 2
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于排序学习和孪生神经网络的图像修复质量评价方法，具体包括训练数据集的生成、孪生网络的搭建、局部结构连贯性和颜色纹理一致性评估模块的设计、模型的训练与测试等内容。本发明基于深度学习并具备端到端的学习能力，可以实现对两张待评价图像对的质量排序任务。本发明所创建的训练数据集，弥补了本领域的数据集缺失问题；本发明提出的网络结构能够很好的评估被修复区域与周围已知区域，以及被修复区域内部在结构上的连贯性和颜色纹理等内容上的一致性。经实验测试，本发明提出的网络模型，在对修复图像质量排序结果的准确率上比现有方法高，从而证明了本发明的效果和实用性。
Description
技术领域
本发明属于图像处理与计算机视觉技术领域，涉及一种基于排序学习和孪生神经网络的图像修复质量评价方法。
背景技术
图像质量评价主要是通过对待评价图像进行特性的分析和研究，并利用某种算法评估出图像的质量优劣。根据待评价图像的不同，可以将图像质量评价分为保真度质量评价、美观度质量评价以及本发明所涉及的图像修复质量评价等领域。图像修复质量评价所针对的是通过不同图像修复算法进行修复出来的结果图，目前主流的评价方式主要有三种：基于相似度计算的方法、基于显著图的方法以及基于学习的方法。
基于相似度计算的方法是将修复结果图与实验环境下的原始图像进行相似度的计算，相似度越高则待评价图像的质量也就越高，常用的计算相似度的指标有SSIM和PSNR。但是这种基于相似度计算的方式有一定的局限性。一方面，在真实的图像修复任务下，我们往往获取不到原始图像，只有待修复的破损图像。另一方面，相似度计算的方式只能适用于图像修复中的区域填充任务而不适用于物体移除，因为区域填充产生的结果图与原始图像趋于一致，但物体移除则不然。
基于显著图的方法首先会使用某种算法把待评价图像的显著性图计算出来，该图代表了待评价图像中不同物体相较于其他物体的显著性程度，如果显著图中被修复区域的显著性比较强，那么我们可以理解为被修复区域相较于其他区域比较不自然，该图的质量也比较低。这种方式同样存在着局限性，显著图的产生严重依赖某种显著性图计算算法，如果该算法计算出来的显著性图比较粗糙，那么我们就无法通过这种方式准确的评估出修复结果图的质量优劣。
基于学习的方法是目前进行图像修复质量评价的一个研究趋势，也是本发明所使用的方法。该方法旨在训练一个模型，使其能自动地对待评价图像进行质量的评估，进而可以对两张或多张图像进行图像质量关系的排序。Isogawa等在2018年发表的论文《Imagequality assessment for inpainted images via learning to rank》中提出了一种基于排序学习和SVM的排序模型，并自己创建了数据集和特征提取的方式用于模型训练。但是他们创建的数据集种类和数量比较有限，不足以全面地模拟真实的图像修复结果图。另外，他们设计的特征提取方式仅关注到了被修复区域的边缘，而忽略了内部的特征。
综上所述，目前的图像修复质量评价技术存在数据集稀缺、难以准确评估被修复区域与已知区域的连贯性和一致性等问题，如何同时改善以上问题是目前的一个研究难点。
发明内容
针对上述现有技术中存在的不足，本发明提出了一种基于排序学习和孪生神经网络的图像质量排序方法，并且创建了可用于模型训练的数据集，该方法包含以下步骤：
S1：数据集创建。首先收集原始数据，并手动在原始图像中圈出待修复区域，然后应用局部退化策略对待修复区域进行修复效果模拟，并通过量化比较退化区域和原始图像获得修复效果得分和排序。最终合成的数据集是以图像对为一个基本单位的，每一对图像的标签是它们的质量排序关系。
S2：孪生网络搭建。由于本发明采用排序学习策略，需要同时输入两张图像，因此本发明采用孪生网络作为主干网络。该网络总共有两个分支，每个分支的网络结构相同且参数共享，以保证两张图像输入到网络中时能够使用相同的方式进行特征提取。
S3：被修复区域局部连贯性评估。在孪生网络的主体框架中加入了基于局部面片连贯性评估模块(PCAM，Patch-wise Coherence Assessment Module)，从特征层面去衡量被修复区域的局部结构连贯性和纹理颜色方面的一致性。
S4：网络模型训练。我们使用上述的数据集和网络结构进行模型的训练，至损失函数完全收敛时停止训练，得到训练后的模型参数，并以此参数来去对两张图像特征进行提取，进而得出这两张待评价图像的质量排序关系。
与现有技术相比，本发明具有以下优点：(1)本发明所创建的训练数据集数量多且类型丰富，能够更全面的模拟真实的图像修复结果图。(2)本发明使用卷积神经网络进行图像的特征提取，并有针对性地去衡量被修复区域的局部结构连贯性和纹理颜色方面的一致性，相比现有方法，本发明所训练的图像质量排序模型的预测精度更高。
附图说明
图1为本发明所涉及方法的流程图；
图2为本发明设计的网络结构的参数；
图3为本发明设计的基于局部面片的连贯性评估模块；
图4为本发明的预测结果与其他算法结果的量化比较图；
图5为本发明预测结果与其他算法结果的可视化比较图；
具体实施方式
为使本发明目的、技术方案和优点更加清晰可见，下文结合附图对本发明实施例的技术方案更进行详细、完整的阐述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于孪生神经网络的图像修复质量评价技术，流程图如图1所示，具体包括以下步骤：
S1：基于学习的方式进行图像修复质量评价必须依赖相关的训练数据集，但目前并没有公开可用的数据集，因此本发明首先需要进行数据集的创建。
S1-1：基于局部区域退化的数据集创建。首先从一些公开数据集中筛选300张原始图像，并手动标注每张图像的待修复区域，然后对每张图像的待修复区域进行不同类型不同程度的退化操作(本发明中采用了高斯模糊、JPEG压缩、椒盐噪声、扭曲变型四种类型退化)，退化级别越高，所产生的图像质量越差。由此可以创建出自带排序关系标签的图像对，来模拟真实的图像修复结果图。
S1-2：基于搜索匹配的图像修复算法的数据集创建。此步骤使用的原始图像均来自于 S1-1。基于搜索匹配的图像修复算法的大体流程如下：首先沿着被修复区域的边缘圈定一个被修复区域φp，然后从已知区域中找到一个与φp最相似的φq,再然后将φq的内容覆盖到φp，这样就完成了一次修复，不断更换φp就可以把所有待修复区域修复完成。本发明在利用这种技术进行数据集创建时，没有使用最相似的区域对待修复区域进行填充，而是使用了5个不是很相似的区域，相似程度越低，所修复出来的结果图的质量也越差。以此就能获得不同质量的修复结果图。
S1-3：测试数据集创建。为了检测模型在真实的图像修复结果图上的排序效果，本发明还创建了一个真实测试数据集，步骤如下：首先选取了与上述步骤不同的200张原始图像，并手动圈定了待修复区域，然后使用3种图像修复能力不同的算法对这些图像进行修复，每张原始图像都可得到3张质量不同的修复结果图，并由此组成带有排序标签的测试图像对。
S2：通过分析真实的图像修复结果图可以发现，比较低层次的特征(如纹理、线条、颜色)是影响被评价图像质量的主要因素，高层次的语义信息也会对质量有所影响。因此，本发明设计了一个5层的卷积神经网络作为主干网络的分支结构，孪生网络两个分支的结构一样且参数共享。分支网络的全连接层之前有1个全局平均池化层，目的是减少参数量，提升训练的效率，之后是3个全连接层，最后输出的是一个代表图像整体结构连贯性的单一标量。每一个卷积层的输出特征除了传到下一层，还会被送到PCAM中，用来进行局部连贯性的度量。图2是本发明设计的网络参数，第一列是网络层，包括5个卷积层、5 个激活层、3个池化层和3个全连接层。第二列展示了每一层中的卷积核大小、步长等信息，比如第一层中卷积核大小是11x11、步长是2、填充大小是5。第三列和第四列代表每一层的输入特征尺寸和输出特征尺寸，原始输入的图片尺寸是224x224，每次池化之后特征的大小会缩小为原来的一半，网络最后的输出是一个单一标量，用以代表图像的质量分数。
S3：如图3所示，本发明设计了一个能够衡量待评价图像局部结构连贯性和纹理颜色一致性的模块，该模块的工作原理如下：首先根据掩膜图像，将被修复区域的边界框计算出来，根据边界框再把每一个卷积层输出的多通道特征进行裁切，裁切后得到的特征就是我们需要度量的特征。然后将这个特征进行切块(本发明中设定的块的大小是3x3)，随后去计算每一个块与它周围8个块之间的余弦相似度，最终可以得到一个代表这个被修复区域结构连贯性和纹理颜色一致性的相似性图。将这个相似形图进行尺寸大小的调整之后，直接与两个网络分支的最后一层进行拼接。
S4：以上是训练前的准备工作，包括数据集的创建以及网络结构的设计，接下来需要进行网络的训练，直至损失函数完全收敛时停止训练，获得适用于图像质量排序任务的模型参数，用此参数进行计算最终可以得到两张图像的质量排序关系。
S4-1：在训练阶段，本实例选取的是上述步骤中创建的混合数据集，其组成既包含了基于区域退化合成的图像对，又包含了基于传统图像修复算法生成的图像对。
S4-2：训练使用的是排序损失函数：Lossrank＝max(0，δ(x1，x2)(y2-y1)+m)，其中x1和x2代表的是输入图像，δ(x1，x2)代表的是输入图像对的排序标签，在本实例的设定中，如果的x1质量好于x2，那么它的值是1，反之值是-1。y1和y2指孪生网络两个分支输出的两个单一标量，代表了两张输入图像的质量分数，m是表示间隔，用于扩大两张图像质量分数之间的差异，在本任务中我们将m设定为0.05。
S4-3：训练过程中数据增强的手段包括将每一张图像缩放至统一大小(本实例中图像的尺寸是224x224)、归一化操作。
S4-4：本实施例网络训练过程选取Adam优化器，其中优化器参数β1＝0.9和β2＝0.999。Batch size等于1，初始学习率为3e-5，权重衰减系数为1e-4。
使用阶段
按照前述方法准备数据训练集，构建网络结构。当训练完成后，将待排序的图片对输入已训练好的整体网络中，得到这两张图像的质量排序关系。
方法测试
本发明公开的方法在步骤S1-3中创建的验证集中进行测试，并与目前已公开方法进行对比，以此验证本发明提出的网络框架能够更好的评估待评价图像的结构连贯性和纹理颜色的一致性，同时得到的图像质量排序准确率相对更高。
定量评估的指标是排序结果预测准确率，计算的方式就是用模型预测正确的图像对的数量除以总的待评价图像对的数量。如图4所示，本发明与Isogawa等提出来的基于SVM的评价算法做了对比，结果显示本发明的预测精度最高可以比他们的方法高21.64％。同时，本发明也针对PCAM的性能做了消融实验，结果显示，在网络中加入PCAM可以使预测精准度提高5.79％。
图5是本发明实验结果与Isogawa等的结果的可视化对比。(a)表示原始待修复图像，掩膜部分是需要去除的物体，(b)和(c)代表不同图像修复算法修复出的质量不同的结果图。Isogawa等的方法对(b)和(c)这两张图的排序结果是(b)差于(c)，而本方法的结果与真实的排序结果一致，是(b)优于(c)。这是由于Isogawa等在设计特征提取方式的时候只考虑了被修复区域边缘的连贯性，如果一张被修复图像的边缘修复的比较好，而内部修复的却不好，那么使用Isogawa等人提出的方法进行图像质量关系预测时就会出现错误。本发明所提出的技术既可以对被修复区域边缘的连贯性进行评估，还可以对被修复区域内部的纹理颜色的一致性进行评估，所以预测结果相对更好。
综上所述，本发明公开了一种基于排序学习和孪生神经网络的图像修复质量评价方法，主要阐述了本技术中训练数据集的构建方法、网络模型的构成以及训练过程。数据集总共包括三个部分：基于区域退化生成的数据集、基于传统图像修复算法生成的数据集以及基于真实图像修复结果生成的数据集。整个技术框架分为两个部分：基础的孪生网络框架、局部结构连贯性和颜色纹理一致性度量模块。通过测试对现有方法，验证了本发明在对修复结果图的特征提取上比现有方法更具有针对性，在对两张待评价图像质量的排序结果上精度更高。
Claims (2)
1.一种基于排序学习和孪生神经网络的图像修复质量评价方法，其特征在于，包含以下步骤：
S1：数据集创建；首先收集原始数据，并手动在原始图像中圈出待修复区域，然后应用局部退化策略对待修复区域进行修复效果模拟，并通过量化比较退化区域和原始图像获得修复效果得分和排序；最终合成的数据集是以图像对为一个基本单位的，每一对图像的标签是它们的质量排序关系；
S2：孪生网络搭建；
采用孪生网络作为主干网络；该网络总共有两个分支，每个分支的网络结构相同且参数共享，以保证两张图像输入到网络中时能够使用相同的方式进行特征提取；
S3：被修复区域局部连贯性评估；在孪生网络的主体框架中加入了基于局部面片连贯性评估模块，从特征层面去衡量被修复区域的局部结构连贯性和纹理颜色方面的一致性；
S4：网络模型训练；
使用上述的数据集和网络结构进行模型的训练，至损失函数完全收敛时停止训练，得到训练后的模型参数，并以此参数来去对两张图像特征进行提取，进而得出这两张待评价图像的质量排序关系。
2.根据权利要求1所述的一种基于排序学习和孪生神经网络的图像修复质量评价方法，其特征在于，具体包括以下步骤：
S1：数据集创建；
S2：设计了一个5层的卷积神经网络作为主干网络的分支结构，孪生网络两个分支的结构一样且参数共享；
第一列是网络层，包括5个卷积层、5个激活层、3个池化层和3个全连接层；依次为卷积层1，激活层1，卷积层2，激活层2，最大池化层；卷积层3，激活层3；卷积层4，激活层4，最大池化层；卷积层5，激活层5，全局平均池化层和3个全连接层；每次池化之后特征的大小会缩小为原来的一半，网络最后的输出是一个单一标量，用以代表图像的质量分数；
S3：设计了一个能够衡量待评价图像局部结构连贯性和纹理颜色一致性的模块，该模块的工作原理如下：首先根据掩膜图像，将被修复区域的边界框计算出来，根据边界框再把每一个卷积层输出的多通道特征进行裁切，裁切后得到的特征就是需要度量的特征；然后将这个特征进行切块，随后去计算每一个块与它周围8个块之间的余弦相似度，最终可以得到一个代表这个被修复区域结构连贯性和纹理颜色一致性的相似性图；将这个相似形图进行尺寸大小的调整之后，直接与两个网络分支的最后一层进行拼接；
S4具体如下：
S4-1：在训练阶段，选取的是上述步骤中创建的混合数据集，其组成既包含了基于区域退化合成的图像对，又包含了基于传统图像修复算法生成的图像对；
S4-2：训练使用的是排序损失函数：Lossrank＝max(0，δ(x1，x2)(y2-y1)+m)，其中x1和x2代表的是输入图像，δ(x1，x2)代表的是输入图像对的排序标签，如果的x1质量好于x2，那么它的值是1，反之值是-1；y1和y2指孪生网络两个分支输出的两个单一标量，代表了两张输入图像的质量分数，m是表示间隔，用于扩大两张图像质量分数之间的差异，在本任务中将m设定为0.05；
S4-3：训练过程中数据增强的手段包括将每一张图像缩放至统一大小、归一化操作；
S4-4：网络训练过程选取Adam优化器，其中优化器参数β1＝0.9和β2＝0.999；Batchsize等于1，初始学习率为3e-5，权重衰减系数为1e-4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174118.6A CN113269680A (zh) | 2021-02-09 | 2021-02-09 | 一种基于排序学习和孪生神经网络的图像修复质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174118.6A CN113269680A (zh) | 2021-02-09 | 2021-02-09 | 一种基于排序学习和孪生神经网络的图像修复质量评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113269680A true CN113269680A (zh) | 2021-08-17 |
Family
ID=77228113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110174118.6A Pending CN113269680A (zh) | 2021-02-09 | 2021-02-09 | 一种基于排序学习和孪生神经网络的图像修复质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269680A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793285A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应目标孪生图像的超快复原方法及系统 |
| CN114612425A (zh) * | 2022-03-09 | 2022-06-10 | 广东省科学院广州地理研究所 | 基于神经网络的自然环境修复评估方法、装置及设备 |
| WO2023217117A1 (zh) * | 2022-05-13 | 2023-11-16 | 北京字跳网络技术有限公司 | 图像评估方法、装置、设备、存储介质和程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180144214A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
| CN109727246A (zh) * | 2019-01-26 | 2019-05-07 | 福州大学 | 一种基于孪生网络的对比学习图像质量评估方法 |
| CN110033446A (zh) * | 2019-04-10 | 2019-07-19 | 西安电子科技大学 | 基于孪生网络的增强图像质量评价方法 |
| CN111445459A (zh) * | 2020-03-27 | 2020-07-24 | 广东工业大学 | 一种基于深度孪生网络的图像缺陷检测方法及系统 |
-
2021
- 2021-02-09 CN CN202110174118.6A patent/CN113269680A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180144214A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
| CN109727246A (zh) * | 2019-01-26 | 2019-05-07 | 福州大学 | 一种基于孪生网络的对比学习图像质量评估方法 |
| CN110033446A (zh) * | 2019-04-10 | 2019-07-19 | 西安电子科技大学 | 基于孪生网络的增强图像质量评价方法 |
| CN111445459A (zh) * | 2020-03-27 | 2020-07-24 | 广东工业大学 | 一种基于深度孪生网络的图像缺陷检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 叶锋等: "基于Siamese网络的行人重识别方法", 计算机系统应用, no. 04, 15 April 2020 (2020-04-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793285A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应目标孪生图像的超快复原方法及系统 |
| CN113793285B (zh) * | 2021-11-17 | 2022-05-10 | 武汉工程大学 | 气动光学效应目标孪生图像的超快复原方法及系统 |
| CN114612425A (zh) * | 2022-03-09 | 2022-06-10 | 广东省科学院广州地理研究所 | 基于神经网络的自然环境修复评估方法、装置及设备 |
| CN114612425B (zh) * | 2022-03-09 | 2023-08-29 | 广东省科学院广州地理研究所 | 基于神经网络的自然环境修复评估方法、装置及设备 |
| WO2023217117A1 (zh) * | 2022-05-13 | 2023-11-16 | 北京字跳网络技术有限公司 | 图像评估方法、装置、设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113269680A (zh) | 一种基于排序学习和孪生神经网络的图像修复质量评价方法 | |
| Demir et al. | Patch-based image inpainting with generative adversarial networks | |
| CN108090902B (zh) | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 | |
| CN107562805B (zh) | 一种以图搜图的方法及装置 | |
| Cao et al. | Ancient mural restoration based on a modified generative adversarial network | |
| CN110706152A (zh) | 基于生成对抗网络的人脸光照迁移方法 | |
| CN110458301A (zh) | 一种车辆部件的定损方法、装置、计算机设备及存储介质 | |
| CN112365556B (zh) | 一种基于感知损失和风格损失的图像扩展方法 | |
| Jam et al. | R-mnet: A perceptual adversarial network for image inpainting | |
| CN113658117B (zh) | 一种基于深度学习的沥青混合料中集料边界识别与划分方法 | |
| CN111709914B (zh) | 一种基于hvs特性的无参考图像质量评价方法 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| CN104574317A (zh) | 一种基于等照度线的图像修复方法 | |
| CN106651792A (zh) | 一种卫星影像条带噪声去除方法及装置 | |
| CN114943656B (zh) | 一种人脸图像修复方法及系统 | |
| CN113256538B (zh) | 一种基于深度学习的无监督去雨方法 | |
| CN116168011A (zh) | 基于多粒度网络的无参考图像质量评价方法 | |
| CN102800078A (zh) | 非局部均值图像细节修复方法 | |
| CN102800077B (zh) | 贝叶斯非局部均值图像修复方法 | |
| CN112686822B (zh) | 一种基于堆叠生成对抗网络的图像补全方法 | |
| Singh et al. | Ancient indian murals digital restoration through image inpainting | |
| CN111915489A (zh) | 一种基于监督深度网络学习的图像重定向方法 | |
| CN116416161A (zh) | 一种改进生成对抗网络的图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |