CN114119422A - 无参考低照度内窥镜图像质量增强方法、系统及相关组件 - Google Patents
无参考低照度内窥镜图像质量增强方法、系统及相关组件 Download PDFInfo
- Publication number
- CN114119422A CN114119422A CN202111475033.8A CN202111475033A CN114119422A CN 114119422 A CN114119422 A CN 114119422A CN 202111475033 A CN202111475033 A CN 202111475033A CN 114119422 A CN114119422 A CN 114119422A
- Authority
- CN
- China
- Prior art keywords
- image
- inputting
- consistency
- convolution
- judging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 136
- 238000005286 illumination Methods 0.000 title claims abstract description 96
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims description 99
- 238000010586 diagram Methods 0.000 claims description 75
- 230000003044 adaptive effect Effects 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 38
- 238000011176 pooling Methods 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 20
- 239000003242 anti bacterial agent Substances 0.000 claims description 14
- 229940088710 antibiotic agent Drugs 0.000 claims description 14
- 230000003115 biocidal effect Effects 0.000 claims description 14
- 230000003213 activating effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 5
- 210000001035 gastrointestinal tract Anatomy 0.000 abstract description 7
- 201000010099 disease Diseases 0.000 abstract description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 4
- 238000012216 screening Methods 0.000 abstract description 4
- 208000037062 Polyps Diseases 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 230000003373 anti-fouling effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了无参考低照度内窥镜图像质量增强方法、系统及相关组件，该方法包括：获取低照度内窥镜图像和正常照度内窥镜图像，并将低照度内窥镜图像执行前向一致性循环训练步骤，将正常照度内窥镜图像执行后向一致性循环训练步骤；利用颜色一致性损失函数计算损失值，并进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。本发明利用训练好的对抗生成网络将低照度内窥镜图像进行图像质量增强处理，从而得到高质量的正常照度内窥镜图像，从而助力消化道疾病的筛查工作，特别地，减少了息肉漏诊地情况发生。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种无参考低照度内窥镜图像质量增强方法、系统及相关组件。
背景技术
世界卫生组织发布的《2020年世界癌症报告》指出，癌症是导致30～69岁人群过早死亡的第一大原因，而中国新发癌症人数和癌症死亡人数均居全球第一。在新发病例数前十的癌症类型中，与消化道相关的癌症占据三种，分别为结直肠癌、胃癌和食管癌。临床经验显示，早诊断和早治疗可使消化道癌症患者的五年生存率超过90％。目前，针对消化道疾病的智能筛查研究逐渐升温，其多以消化道内窥镜图像为载体，以分析消化道疾病的成像特点和筛查任务的难点展开。然而，相关研究多以高质量图像为前提，适用于操作规范、仪器高端的医疗环境，当面对低质量图像时，这类研究的可靠性和准确性无法达到临床标准和要求。临床数据表明，低质量的内窥镜图像可导致约10％～25％的息肉被漏诊。在低质量的内窥镜图像中，以低照度问题较为普遍。
目前，低照度图像增强方案可分为基于传统算法的图像增强和基于深度学习的图像增强。在传统算法中，以直方图均衡最为经典；后期根据人眼视觉特性，有学者又相继提出基于Retinex模型的图像增强算法。传统算法多数情况下需要先验知识和模型作指导，不准确的模型极易导致增强后图像失真。基于深度学习的低照度图像增强以更强的鲁棒性、更高的准确性和更快的计算速度成为解决该问题的主要方法。值得注意的是，目前多数基于深度学习的方法以自然图像为目标图像，且多数方法高度依赖成对图像进行监督实现，而临床上获取成对内窥镜图像(低照度的内窥镜图像和高质量内窥镜图像)极为困难。
发明内容
本发明实施例提供了无参考低照度内窥镜图像质量增强方法、系统及相关组件，旨在解决现有技术中低照度内窥镜图像的图像质量低的问题。
第一方面，本发明实施例提供了一种无参考低照度内窥镜图像质量增强方法，包括：
获取低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像作为第一输入图像执行前向一致性循环训练步骤，将正常照度内窥镜图像作为第二输入图像执行后向一致性循环训练步骤；
前向一致性循环训练步骤：将所述第一输入图像作为待处理图像输入至第一对抗生成网络中进行训练，得到第一生成图像，并执行第一判断过程；第一判断过程：判断所述第一生成图像与第二输入图像亮度风格的一致性；将所述第一生成图像输入至所述第二对抗生成网络进行训练，得到第一还原图像，并执行第二判断过程；第二判断过程：判断所述第一还原图像与所述第一输入图像的一致性；
后向一致性循环训练步骤：将所述第二输入图像作为待处理图像输入至第二对抗生成网络中进行训练，得到第二生成图像，并执行第三判断过程；第三判断过程：判断所述第二生成图像与第一输入图像亮度风格的一致性；将所述第二生成图像输入至所述第一对抗生成网络进行训练，得到第二还原图像，并执行第四判断过程；第四判断过程：判断所述第二还原图像与所述第二输入图像的一致性；
若所述第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤；若所述第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；
利用颜色一致性损失函数计算所述第一对抗生成网络和第二对抗生成网络的损失值，并对所述第一对抗生成网络和第二对抗生成网络进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。
第二方面，本发明实施例提供了一种无参考低照度内窥镜图像质量增强系统，其包括：
内窥镜图像区别训练单元，用于获取低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像作为第一输入图像执行前向一致性循环训练步骤，将正常照度内窥镜图像作为第二输入图像执行后向一致性循环训练步骤；
前向一致性循环训练步骤单元，用于执行前向一致性循环训练步骤：将所述第一输入图像作为待处理图像输入至第一对抗生成网络中进行训练，得到第一生成图像，并执行第一判断过程；第一判断过程：判断所述第一生成图像与第二输入图像亮度风格的一致性；将所述第一生成图像输入至所述第二对抗生成网络进行训练，得到第一还原图像，并执行第二判断过程；第二判断过程：判断所述第一还原图像与所述第一输入图像的一致性；
后向一致性循环训练步骤单元，用于执行后向一致性循环训练步骤：将所述第二输入图像作为待处理图像输入至第二对抗生成网络中进行训练，得到第二生成图像，并执行第三判断过程；第三判断过程：判断所述第二生成图像与第一输入图像亮度风格的一致性；将所述第二生成图像输入至所述第一对抗生成网络进行训练，得到第二还原图像，并执行第四判断过程；第四判断过程：判断所述第二还原图像与所述第二输入图像的一致性；
一致性判断单元，用于若所述第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤；若所述第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；
图像质量增强单元，用于利用颜色一致性损失函数计算所述第一对抗生成网络和第二对抗生成网络的损失值，并对所述第一对抗生成网络和第二对抗生成网络进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的无参考低照度内窥镜图像质量增强方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的无参考低照度内窥镜图像质量增强方法。
本发明实施例提供了无参考低照度内窥镜图像质量增强方法、系统及相关组件，该方法包括：获取低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像作为第一输入图像执行前向一致性循环训练步骤，将正常照度内窥镜图像作为第二输入图像执行后向一致性循环训练步骤；前向一致性循环训练步骤：将所述第一输入图像作为待处理图像输入至第一对抗生成网络中进行训练，得到第一生成图像，并执行第一判断过程；第一判断过程：判断所述第一生成图像与第二输入图像亮度风格的一致性；将所述第一生成图像输入至所述第二对抗生成网络进行训练，得到第一还原图像，并执行第二判断过程；第二判断过程：判断所述第一还原图像与所述第一输入图像的一致性；后向一致性循环训练步骤：将所述第二输入图像作为待处理图像输入至第二对抗生成网络中进行训练，得到第二生成图像，并执行第三判断过程；第三判断过程：判断所述第二生成图像与第一输入图像亮度风格的一致性；将所述第二生成图像输入至所述第一对抗生成网络进行训练，得到第二还原图像，并执行第四判断过程；第四判断过程：判断所述第二还原图像与所述第二输入图像的一致性；若所述第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤；若所述第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；利用颜色一致性损失函数计算所述第一对抗生成网络和第二对抗生成网络的损失值，并对所述第一对抗生成网络和第二对抗生成网络进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。本发明实施例利用训练好的对抗生成网络将低照度内窥镜图像进行图像质量增强处理，从而得到高质量的正常照度内窥镜图像，从而助力消化道疾病的筛查工作，特别地，减少了息肉漏诊地情况发生。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无参考低照度内窥镜图像质量增强方法的流程示意图；
图2为本发明实施例提供的无参考低照度内窥镜图像质量增强方法的图像增强网络模型整体结构示意图；
图3为本发明实施例提供的无参考低照度内窥镜图像质量增强方法的判别器结构示意图；
图4为本发明实施例提供的无参考低照度内窥镜图像质量增强方法的自适应反向注意力模块结构示意图；
图5为本发明实施例提供的无参考低照度内窥镜图像质量增强系统的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种无参考低照度内窥镜图像质量增强方法的流程示意图，该方法包括步骤S101～S105。
S101、获取低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像作为第一输入图像执行前向一致性循环训练步骤，将正常照度内窥镜图像作为第二输入图像执行后向一致性循环训练步骤；
S102、前向一致性循环训练步骤：将所述第一输入图像作为待处理图像输入至第一对抗生成网络中进行训练，得到第一生成图像，并执行第一判断过程；第一判断过程：判断所述第一生成图像与第二输入图像亮度风格的一致性；将所述第一生成图像输入至所述第二对抗生成网络进行训练，得到第一还原图像，并执行第二判断过程；第二判断过程：判断所述第一还原图像与所述第一输入图像的一致性；
S103、后向一致性循环训练步骤：将所述第二输入图像作为待处理图像输入至第二对抗生成网络中进行训练，得到第二生成图像，并执行第三判断过程；第三判断过程：判断所述第二生成图像与第一输入图像亮度风格的一致性；将所述第二生成图像输入至所述第一对抗生成网络进行训练，得到第二还原图像，并执行第四判断过程；第四判断过程：判断所述第二还原图像与所述第二输入图像的一致性；
S104、若所述第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤；若所述第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；
S105、利用颜色一致性损失函数计算所述第一对抗生成网络和第二对抗生成网络的损失值，并对所述第一对抗生成网络和第二对抗生成网络进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。
在本实施例中，先获取训练需要的低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像执行前向一致性循环训练步骤，与此同时，将所述正常照度内窥镜图像执行后向一致性循环训练步骤；在执行前向一致性循环训练步骤和后向一致性循环训练步骤时，当前向一致性循环训练步骤中的第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤，当后向一致性循环训练步骤中的第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；然后利用颜色一致性损失函数计算第一对抗生成网络和第二对抗生成网络的损失值，并根据损失值对第一对抗生成网络和第二对抗生成网络进行参数优化；最后将目标内窥镜图像输入至参数优化后的第一对抗生成网络
具体的，本实施例不仅采用颜色一致性损失函数计算第一对抗生成网络和第二对抗生成网络的损失值，还应用了CycleGAN网络的三个基础损失函数(对抗损失函数LGAN、循环一致性损失Lcyc和身份一致性损失Lidt)，由于这三个基础损失函数较为常用，本实施例对此不进行过多介绍。为了保证图像质量增强前后颜色的一致性，本实施例提出了利用颜色一致性损失函数计算损失值，所述颜色一致性损失函数在颜色空间HSV中实施，便于将亮度与色度做分离处理。由于本实施例中执行前向一致性循环训练步骤和后向一致性循环训练步骤，因此，所述颜色一致性损失函数包括两部分，分别为前向一致性循环训练步骤的损失函数Lc(A,B)和后向一致性循环训练步骤的损失函数Lc(B,A)，具体公式如下：
其中，HoriA2B和HgenA2B分别为前向一致性循环中的原始图像的色调值和生成图像的色调值；HoriB2A和HgenB2A分别为后向一致性循环中的原始图像的色调值和生成图像的色调值；SoriA2B和SgenA2B分别为前向一致性循环中的原始图像的饱和度和生成图像的饱和度；SoriB2A和SgenB2A分别为后向一致性循环中的原始图像的饱和度和生成图像的饱和度；VoriA2B和VgenA2B分别为前向一致性循环中的原始图像的亮度值和生成图像的亮度值；VoriB2A和VgenB2A分别为后向一致性循环中的原始图像的亮度值和生成图像的亮度值。综上所述，颜色一致性损失函数的总损失Lc可表示为：Lc＝Lc(A,B)+Lc(B,A)。因此，本实施例中的总损失值为L＝γ1LGAN+γ2Lidt+γ3Lcyc+Lc。其中，γ1、γ2和γ3为权重系数，其值分别为0.5、10.0和5.0。
本实施例包括有两个训练集(TrainA和TrainB)和两个测试集(TestA和TestB)。TrainA用于提供前向一致性循环训练步骤所需的低照度内窥镜图像，TrainB用于提供后向一致性循环训练步骤所需的正常照度内窥镜图像，TrainA中共包含有1000张低照度内窥镜图像，TrainB中共包含有1000张正常亮度的内窥镜图像；TestA包含200张低照度内窥镜图像，TestB包含200张正常照度的内窥镜图像，当完成前向一致性循环训练步骤和后向一致性循环训练步骤后，随机从TestA或TestB中抽取图像作为目标内窥镜图像；若目标内窥镜图像为低照度内窥镜图像，则输入至第一对抗生成网络内进行训练；若目标内窥镜图像为正常照度内窥镜图像，则输入至第二对抗生成网络内进行训练。值得注意的是，TrainA和Train B以及TestA和Test B均不包含相同内容的图像，且所有图像的尺寸为375×375。
本实施例中第一对抗生成网络和第二对抗生成网络共同组成了一个图像增强网络模型，该模型在Pytorch深度学习框架下实现，优化器选择Adam优化器，服务器携带NVIDIA GPU(GeForce RTX 3090，24GB RAM)。训练时，将batch size设置为8，epoch设置为200，学习率为0.0001，随机选取训练的图像送入模型，以减少网络的随机误差。
在一实施例中，所述第一对抗生成网络的训练过程包括：利用生成器对低照度的待处理图像进行卷积处理，得到第三生成图像；利用判别器判断所述第三生成图像与正常照度的待处理图像亮度风格的一致性；
所述第二对抗生成网络的训练过程包括：利用生成器对正常照度的待处理图像进行卷积处理，得到第四生成图像；利用判别器判断所述第三生成图像与低照度的待处理图像亮度风格的一致性。
在本实施例中，所述第一对抗生成网络和第二对抗生成网络均由一生成器和判别器构成，所述第一对抗生成网络通过生成器对低照度的待处理图像进行卷积处理得到第三生成图像，再利用判别器判断第三生成图像与正常照度的待处理图像亮度风格的一致性；所述第二对抗生成网络通过生成器对正常照度的待处理图像进行卷积处理得到第四生成图像，再利用判别器判断第四生成图像与低照度的待处理图像亮度风格的一致性。具体的，本实施例预先获取两个训练集：TrainA和Train B，其中TrainA中的图像均为低照度内窥镜图像，和Train B中的图像均为正常照度内窥镜图像，并且将TrainA和Train B中的所有图像的尺寸统一裁剪为357×357。然后将TrainA中的图像进行前向一致性循环训练步骤，将Train B中的图像进行后向一致性循环训练步骤。其中，TrainA和Train B均为待处理图像，当第一对抗生成网络进行训练时，提取TrainA中的低照度内窥镜图像作为所述待处理图像，并经过生成器进行卷积得到第三生成图像，在判别器进行判别时，将TrainB中的正常照度内窥镜图像作为待处理图像，将第三生成图像与待处理图像进行一致性判别；当第二对抗生成网络进行训练时，提取Train B中的正常照度内窥镜图像作为所述待处理图像，并经过生成器进行卷积得到第四生成图像，在判别器进行判别时，将TrainA中的低照度内窥镜图像作为待处理图像，将第四生成图像与待处理图像进行一致性判别。需要进行特别说明的是，本实施例中生成器中进行卷积的待处理图像与判别器中进行判别的待处理图像，两者的照度并不相同，若生成器中的待处理图像为低照度内窥镜图像，则判别器中的待处理图像为正常照度内窥镜图像；相应的，若生成器中的待处理图像为正常照度内窥镜图像，则判别器中的待处理图像为低照度内窥镜图像。
在一实施例中，所述利用生成器对待处理图像进行卷积处理，得到对应的生成图像，包括：
将待处理图像输入至卷积核为7×7的卷积层内进行卷积，并将卷积结果输入至第一归一化层和第一激活层进行处理，得到第一特征图；将所述第一特征图输入至两个连续的卷积核为3×3的卷积层内进行卷积，并将每一次的卷积结果均输入至第一归一化层和第一激活层进行处理，分别得到第二特征图和第三特征图；
将所述第三特征图作为待处理的特征图输入至自适应反向注意力模块中进行处理，得到第一反向注意力特征图，并将所述第一反向注意力特征图输入至第一反卷积层进行反卷积处理，得到第四特征图；将所述第四特征图与第二特征图进行特征相乘并输入至第一反卷积层进行反卷积处理，得到第五特征图；将所述第五特征图与第一特征图进行特征相乘并输入至第二反卷积层进行反卷积处理，得到第三生成图像。
在本实施例中，结合图2所示，先将待处理图像输入至卷积核为7×7的卷积层内进行卷积，再将卷积结果输入至IN层(即第一归一化层，IN即instance normalization)内进行归一化处理，然后再将归一化结果输入至ReLU函数层(即第一激活层)内进行激活，得到第一特征图I1(8×64×256×256)，其中，括号中的数字依次代表batch size(批尺寸)，通道数，图像宽度和图像高度；然后将所述第一特征图I1输入至卷积核为3×3的卷积层内进行卷积，再将卷积结果输入至IN层内进行归一化处理，然后再将归一化结果输入至ReLU函数层内进行激活，得到第二特征图I2(8×128×128×128)，然后将特征图I2输入至卷积核为3×3的卷积层内进行卷积，再将卷积结果输入至IN层内进行归一化处理，然后再将归一化结果输入至ReLU函数层内进行激活，得到第三特征图I3(8×256×64×64)，接着将所述第三特征图输入至自适应反向注意力模块中进行处理，得到第一反向注意力特征图MG(IF)(8×256×64×64)；紧接着将第一反向注意力特征图MG(IF)输入至卷积核为3×3的反卷积层进行卷积，并将卷积结果输入至IN层内进行归一化处理，然后再将归一化结果输入至ReLU函数层内进行激活，得到第四特征图I4(8×128×128×128)，然后将第四特征图I4与第二特征图I2的乘积输入至卷积核为3×3的反卷积层进行卷积，并将卷积结果输入至IN层内进行归一化处理，然后再将归一化结果输入至ReLU函数层内进行激活，得到第五特征图I5(8×64×256×256)，最后将所述第五特征图I5与第一特征图I1进行特征相乘并输入至卷积核为7×7的反卷积层进行卷积，并将卷积结果输入至IN层内进行归一化处理，然后再将归一化结果输入至ReLU函数层内进行激活，得到第三生成图像。其中，第一对抗生成网络生成的图像记为GA2B(a)，第二对抗生成网络生成的图像记为FB2A(b)。
在一实施例中，所述利用判别器判断所述第三生成图像与待处理图像亮度风格的一致性，包括：
将所述第三生成图像输入至卷积核为4×4的卷积层内进行卷积处理，并将卷积结果输入至第二激活层进行处理，得到第六特征图；
将所述第六特征图输入至三个连续的卷积核为4×4的卷积层内进行卷积，并将每一次的卷积结果均输入第二归一化层和第二激活层进行处理，得到第七特征图；
将所述第七特征图输入至卷积核为1×1的卷积层中进行卷积处理，并利用sigmoid激活函数对卷积结果进行激活，得到第八特征图；
判断所述第八特征图与所述待处理图像的图像亮度风格是否一致。
在本实施例中，结合图3所示，所述判别器对所述第三生成图像进行卷积处理后，再与所述待处理图像进行一致性判定。具体的，将所述第三生成图像输入至卷积核为4×4的卷积层内进行卷积处理，并将卷积结果输入至LeakReLU函数层(即第二激活层)内进行激活，得到第六特征图
再将所述第六特征图
输入至卷积核为4×4的卷积层内进行卷积处理，并将卷积结果先输入至BN层(即Batch Norm)中进行归一化处理，并将归一化处理结果继续输入至LeakReLU函数层内进行激活，得到特征图
之后将特征图
继续经过卷积核为4×4的卷积层、BN层以及LeakReLU函数层进行处理，得到特征图
特征图
继续经过卷积核为4×4的卷积层、BN层以及LeakReLU函数层进行处理，得到第七特征图
最后将第七特征图
输入至卷积核为1×1的卷积层中进行卷积处理，并利用sigmoid激活函数对卷积结果进行激活，得到第八特征图
然后将所述第八特征图
与待处理图像的局部信息进行比较，从而判断所述第八特征图与待处理图像的一致性。
在一实施例中，所述自适应反向注意力模块的处理过程包括：
将待处理的特征图输入至自适应反向通道注意力子模块内进行反向操作，得到自适应反向通道注意力图；
将待处理的特征图输入至反向空间注意力子模块内进行反向操作，得到反向空间注意力图；
将所述自适应反向通道注意力图和反向空间注意力图进行特征相乘操作，得到反向注意力特征图。
在本实施例中，结合图4所示，将待处理的特征图分别输入至自适应反向通道注意力子模块以及反向空间注意力子模块内进行反向操作
得到对应的自适应反向通道注意力图和反向空间注意力图
然后将所述自适应反向通道注意力图和反向空间注意力图进行特征相乘操作，得到反向注意力特征图M(IF)，可表示为
在一实施例中，所述将待处理的特征图输入至自适应反向通道注意力子模块内进行反向操作，得到自适应反向通道注意力图，包括：
将待处理的特征图分别输入至平均池化层和最大池化层内进行池化处理，得到平均值特征和最大池化特征，并利用多层感知机分别对所述平均值特征和最大池化特征进行精细化处理，得到精细化的平均值特征和最大值特征；
利用预设的自适应参数对精细化的平均值特征和最大值特征进行权重调整后，再对权重调整后的平均值特征和最大值特征进行特征相加处理并进行激活，得到自适应权重图；
将所述自适应权重图与待处理的特征图进行特征相乘，得到自适应通道注意力图，并对所述自适应通道注意力图进行反向操作，得到自适应反向通道注意力图。
在本实施例中，结合图4所示，将待处理的特征图IF∈RC×H×W输入至自适应反向通道注意力子模块后，先进行平均池化和最大池化操作，得到平均值特征
和最大值特征
其中C，H和W分别表示特征的通道数、高度和宽度；再将平均值特征和最大值特征经过一个共享多层感知机(MLP)完成对特征的进一步精细化，得到精细化的平均值特征和最大值特征；然后使用一个自适应参数γ对两个特征的权重进行调整，即将自适应参数γ与精细化的最大值特征相乘，将参数(1-γ)与精细化的平均值特征相乘，并将权重调整后的平均值特征和最大值特征进行特征相加，得到自适应权重图
将
与待处理的特征图相乘得到自适应通道注意力图
最后，对
进行反向操作，得到自适应反向通道注意力图
以上过程可用公式表示：
其中，σ(·)为Sigmoid函数，M0和M1为多层感知机MLP的权重，ReLU为激活函数，γ为可学习的自适应参数。
在一实施例中，所述将待处理的特征图输入至反向空间注意力子模块内进行反向操作，得到反向空间注意力图，包括：
将待处理的特征图分别输入至平均池化层和最大池化层内进行池化处理，得到平均值特征和最大池化特征；
将所述平均值特征和最大池化特征进行拼接，并输入至卷积核为7×7的卷积层中进行卷积处理，并利用Sigmoid函数进行激活，得到空间注意力图权重；
将所述空间注意力图权重与所述待处理的特征图进行特征相乘操作，得到空间注意力图，并对所述空间注意力图进行反向操作，得到反向空间注意力图。
在本实施例中，结合图4所示，将待处理的特征图IF∈RC×H×W输入至反向空间注意力子模块后，先进行平均池化和最大池化操作，得到平均值特征
和最大值特征
并对平均值特征和最大值特征进行拼接，将拼接后的特征输入卷积核为7×7的卷积层进行卷积处理并利用Sigmoid函数进行激活，得到空间注意力图权重
该权重与待处理的特征图IF进行特征相乘得到空间注意力图
最后，对空间注意力图实施反向操作，得到反向空间注意力图
以上过程可用以下公式表示：
其中，Conv7×7表示卷积核为7×7的卷积操作，IF为输入特征图，
空间平均值特征，
为空间最大值特征，σ(·)为Sigmoid激活函数。
请参阅图5，图5为本发明实施例提供的一种无参考低照度内窥镜图像质量增强系统的示意性框图，该无参考低照度内窥镜图像质量增强系统200包括：
内窥镜图像区别训练单元201，用于获取低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像作为第一输入图像执行前向一致性循环训练步骤，将正常照度内窥镜图像作为第二输入图像执行后向一致性循环训练步骤；
前向一致性循环训练步骤单元202，用于执行前向一致性循环训练步骤：将所述第一输入图像作为待处理图像输入至第一对抗生成网络中进行训练，得到第一生成图像，并执行第一判断过程；第一判断过程：判断所述第一生成图像与第二输入图像亮度风格的一致性；将所述第一生成图像输入至所述第二对抗生成网络进行训练，得到第一还原图像，并执行第二判断过程；第二判断过程：判断所述第一还原图像与所述第一输入图像的一致性；
后向一致性循环训练步骤单元203，用于执行后向一致性循环训练步骤：将所述第二输入图像作为待处理图像输入至第二对抗生成网络中进行训练，得到第二生成图像，并执行第三判断过程；第三判断过程：判断所述第二生成图像与第一输入图像亮度风格的一致性；将所述第二生成图像输入至所述第一对抗生成网络进行训练，得到第二还原图像，并执行第四判断过程；第四判断过程：判断所述第二还原图像与所述第二输入图像的一致性；
一致性判断单元204，用于若所述第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤；若所述第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；
图像质量增强单元205，用于利用颜色一致性损失函数计算所述第一对抗生成网络和第二对抗生成网络的损失值，并对所述第一对抗生成网络和第二对抗生成网络进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。
在一实施例中，包括第一对抗生成网络训练单元和第二对抗生成网络训练单元，
所述第一对抗生成网络训练单元用于利用生成器对低照度的待处理图像进行卷积处理，得到第三生成图像；利用判别器判断所述第三生成图像与正常照度的待处理图像亮度风格的一致性；
所述第二对抗生成网络训练单元用于利用生成器对正常照度的待处理图像进行卷积处理，得到第四生成图像；利用判别器判断所述第三生成图像与低照度的待处理图像亮度风格的一致性。
在一实施例中，生成器处理单元包括：
第三特征图获取单元，用于将待处理图像输入至卷积核为7×7的卷积层内进行卷积，并将卷积结果输入至第一归一化层和第一激活层进行处理，得到第一特征图；将所述第一特征图输入至两个连续的卷积核为3×3的卷积层内进行卷积，并将每一次的卷积结果均输入至第一归一化层和第一激活层进行处理，分别得到第二特征图和第三特征图；
第三生成图像生成单元，用于将所述第三特征图作为待处理的特征图输入至自适应反向注意力模块中进行处理，得到第一反向注意力特征图，并将所述第一反向注意力特征图输入至第一反卷积层进行反卷积处理，得到第四特征图；将所述第四特征图与第二特征图进行特征相乘并输入至第一反卷积层进行反卷积处理，得到第五特征图；将所述第五特征图与第一特征图进行特征相乘并输入至第二反卷积层进行反卷积处理，得到第三生成图像。
在一实施例中，判别器判别单元包括：
第六特征图获取单元，用于将所述第三生成图像输入至卷积核为4×4的卷积层内进行卷积处理，并将卷积结果输入至第二激活层进行处理，得到第六特征图；
第七特征图获取单元，用于将所述第六特征图输入至三个连续的卷积核为4×4的卷积层内进行卷积，并将每一次的卷积结果均输入第二归一化层和第二激活层进行处理，得到第七特征图；
第八特征图获取单元，用于将所述第七特征图输入至卷积核为1×1的卷积层中进行卷积处理，并利用sigmoid激活函数对卷积结果进行激活，得到第八特征图；
图像亮度风格判别单元，用于判断所述第八特征图与所述待处理图像的图像亮度风格是否一致。
在一实施例中，所述第三生成图像生成单元，包括：
自适应反向通道注意力子模块处理单元，用于将待处理的特征图输入至自适应反向通道注意力子模块内进行反向操作，得到自适应反向通道注意力图；
反向空间注意力子模块处理单元，用于将待处理的特征图输入至反向空间注意力子模块内进行反向操作，得到反向空间注意力图；
反向注意力特征图获取单元，用于将所述自适应反向通道注意力图和反向空间注意力图进行特征相乘操作，得到反向注意力特征图。
在一实施例中，所述自适应反向通道注意力子模块处理单元，包括：
特征精细化处理单元，用于将待处理的特征图分别输入至平均池化层和最大池化层内进行池化处理，得到平均值特征和最大池化特征，并利用多层感知机分别对所述平均值特征和最大池化特征进行精细化处理，得到精细化的平均值特征和最大值特征；
自适应权重图获取单元，用于利用预设的自适应参数对精细化的平均值特征和最大值特征进行权重调整后，再对权重调整后的平均值特征和最大值特征进行特征相加处理并进行激活，得到自适应权重图；
自适应反向通道注意力图获取单元，用于将所述自适应权重图与待处理的特征图进行特征相乘，得到自适应通道注意力图，并对所述自适应通道注意力图进行反向操作，得到自适应反向通道注意力图。
在一实施例中，所述反向空间注意力子模块处理单元，包括：
池化处理单元，用于将待处理的特征图分别输入至平均池化层和最大池化层内进行池化处理，得到平均值特征和最大池化特征；
空间注意力图权重获取单元，用于将所述平均值特征和最大池化特征进行拼接，并输入至卷积核为7×7的卷积层中进行卷积处理，并利用Sigmoid函数进行激活，得到空间注意力图权重；
反向空间注意力图获取单元，用于将所述空间注意力图权重与所述待处理的特征图进行特征相乘操作，得到空间注意力图，并对所述空间注意力图进行反向操作，得到反向空间注意力图。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的无参考低照度内窥镜图像质量增强方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的无参考低照度内窥镜图像质量增强方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种无参考低照度内窥镜图像质量增强方法，其特征在于，包括：
获取低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像作为第一输入图像执行前向一致性循环训练步骤，将正常照度内窥镜图像作为第二输入图像执行后向一致性循环训练步骤；
前向一致性循环训练步骤：将所述第一输入图像作为待处理图像输入至第一对抗生成网络中进行训练，得到第一生成图像，并执行第一判断过程；第一判断过程：判断所述第一生成图像与第二输入图像亮度风格的一致性；将所述第一生成图像输入至所述第二对抗生成网络进行训练，得到第一还原图像，并执行第二判断过程；第二判断过程：判断所述第一还原图像与所述第一输入图像的一致性；
后向一致性循环训练步骤：将所述第二输入图像作为待处理图像输入至第二对抗生成网络中进行训练，得到第二生成图像，并执行第三判断过程；第三判断过程：判断所述第二生成图像与第一输入图像亮度风格的一致性；将所述第二生成图像输入至所述第一对抗生成网络进行训练，得到第二还原图像，并执行第四判断过程；第四判断过程：判断所述第二还原图像与所述第二输入图像的一致性；
若所述第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤；若所述第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；
利用颜色一致性损失函数计算所述第一对抗生成网络和第二对抗生成网络的损失值，并对所述第一对抗生成网络和第二对抗生成网络进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。
2.根据权利要求1所述的无参考低照度内窥镜图像质量增强方法，其特征在于，所述第一对抗生成网络的训练过程包括：利用生成器对低照度的待处理图像进行卷积处理，得到第三生成图像；利用判别器判断所述第三生成图像与正常照度的待处理图像亮度风格的一致性；
所述第二对抗生成网络的训练过程包括：利用生成器对正常照度的待处理图像进行卷积处理，得到第四生成图像；利用判别器判断所述第三生成图像与低照度的待处理图像亮度风格的一致性。
3.根据权利要求2所述的无参考低照度内窥镜图像质量增强方法，其特征在于，所述生成器的训练过程包括：
将待处理图像输入至卷积核为7×7的卷积层内进行卷积，并将卷积结果输入至第一归一化层和第一激活层进行处理，得到第一特征图；将所述第一特征图输入至两个连续的卷积核为3×3的卷积层内进行卷积，并将每一次的卷积结果均输入至第一归一化层和第一激活层进行处理，分别得到第二特征图和第三特征图；
将所述第三特征图作为待处理的特征图输入至自适应反向注意力模块中进行处理，得到第一反向注意力特征图，并将所述第一反向注意力特征图输入至第一反卷积层进行反卷积处理，得到第四特征图；将所述第四特征图与第二特征图进行特征相乘并输入至第一反卷积层进行反卷积处理，得到第五特征图；将所述第五特征图与第一特征图进行特征相乘并输入至第二反卷积层进行反卷积处理，得到第三生成图像。
4.根据权利要求2所述的无参考低照度内窥镜图像质量增强方法，其特征在于，所述判别器的判别过程包括：
将所述第三生成图像输入至卷积核为4×4的卷积层内进行卷积处理，并将卷积结果输入至第二激活层进行处理，得到第六特征图；
将所述第六特征图输入至三个连续的卷积核为4×4的卷积层内进行卷积，并将每一次的卷积结果均输入第二归一化层和第二激活层进行处理，得到第七特征图；
将所述第七特征图输入至卷积核为1×1的卷积层中进行卷积处理，并利用sigmoid激活函数对卷积结果进行激活，得到第八特征图；
判断所述第八特征图与所述待处理图像的图像亮度风格是否一致。
5.根据权利要求3所述的无参考低照度内窥镜图像质量增强方法，其特征在于，所述自适应反向注意力模块的处理过程包括：
将待处理的特征图输入至自适应反向通道注意力子模块内进行反向操作，得到自适应反向通道注意力图；
将待处理的特征图输入至反向空间注意力子模块内进行反向操作，得到反向空间注意力图；
将所述自适应反向通道注意力图和反向空间注意力图进行特征相乘操作，得到反向注意力特征图。
6.根据权利要求5所述的无参考低照度内窥镜图像质量增强方法，其特征在于，所述将待处理的特征图输入至自适应反向通道注意力子模块内进行反向操作，得到自适应反向通道注意力图，包括：
将待处理的特征图分别输入至平均池化层和最大池化层内进行池化处理，得到平均值特征和最大池化特征，并利用多层感知机分别对所述平均值特征和最大池化特征进行精细化处理，得到精细化的平均值特征和最大值特征；
利用预设的自适应参数对精细化的平均值特征和最大值特征进行权重调整后，再对权重调整后的平均值特征和最大值特征进行特征相加处理并进行激活，得到自适应权重图；
将所述自适应权重图与待处理的特征图进行特征相乘，得到自适应通道注意力图，并对所述自适应通道注意力图进行反向操作，得到自适应反向通道注意力图。
7.根据权利要求5所述的无参考低照度内窥镜图像质量增强方法，其特征在于，所述将待处理的特征图输入至反向空间注意力子模块内进行反向操作，得到反向空间注意力图，包括：
将待处理的特征图分别输入至平均池化层和最大池化层内进行池化处理，得到平均值特征和最大池化特征；
将所述平均值特征和最大池化特征进行拼接，并输入至卷积核为7×7的卷积层中进行卷积处理，并利用Sigmoid函数进行激活，得到空间注意力图权重；
将所述空间注意力图权重与所述待处理的特征图进行特征相乘操作，得到空间注意力图，并对所述空间注意力图进行反向操作，得到反向空间注意力图。
8.一种无参考低照度内窥镜图像质量增强系统，其特征在于，包括：
内窥镜图像区别训练单元，用于获取低照度内窥镜图像和正常照度内窥镜图像，并将所述低照度内窥镜图像作为第一输入图像执行前向一致性循环训练步骤，将正常照度内窥镜图像作为第二输入图像执行后向一致性循环训练步骤；
前向一致性循环训练步骤单元，用于执行前向一致性循环训练步骤：将所述第一输入图像作为待处理图像输入至第一对抗生成网络中进行训练，得到第一生成图像，并执行第一判断过程；第一判断过程：判断所述第一生成图像与第二输入图像亮度风格的一致性；将所述第一生成图像输入至所述第二对抗生成网络进行训练，得到第一还原图像，并执行第二判断过程；第二判断过程：判断所述第一还原图像与所述第一输入图像的一致性；
后向一致性循环训练步骤单元，用于执行后向一致性循环训练步骤：将所述第二输入图像作为待处理图像输入至第二对抗生成网络中进行训练，得到第二生成图像，并执行第三判断过程；第三判断过程：判断所述第二生成图像与第一输入图像亮度风格的一致性；将所述第二生成图像输入至所述第一对抗生成网络进行训练，得到第二还原图像，并执行第四判断过程；第四判断过程：判断所述第二还原图像与所述第二输入图像的一致性；
一致性判断单元，用于若所述第一判断过程无法判断第一生成图像的真假，且第二判断过程无法判断第一还原图像的真假，则判定完成前向一致性循环训练步骤；若所述第三判断过程无法判断第二生成图像的真假，且第四判断过程无法判断第二还原图像的真假时，则判定完成后向一致性循环训练过步骤；
图像质量增强单元，用于利用颜色一致性损失函数计算所述第一对抗生成网络和第二对抗生成网络的损失值，并对所述第一对抗生成网络和第二对抗生成网络进行参数优化；将目标内窥镜图像输入至参数优化后的第一对抗生成网络或第二对抗生成网络中进行训练，得到图像质量增强后的目标内窥镜图像。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的无参考低照度内窥镜图像质量增强方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的无参考低照度内窥镜图像质量增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111475033.8A CN114119422B (zh) | 2021-12-03 | 2021-12-03 | 无参考低照度内窥镜图像质量增强方法、系统及相关组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111475033.8A CN114119422B (zh) | 2021-12-03 | 2021-12-03 | 无参考低照度内窥镜图像质量增强方法、系统及相关组件 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114119422A true CN114119422A (zh) | 2022-03-01 |
| CN114119422B CN114119422B (zh) | 2022-07-15 |
Family
ID=80366784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111475033.8A Active CN114119422B (zh) | 2021-12-03 | 2021-12-03 | 无参考低照度内窥镜图像质量增强方法、系统及相关组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119422B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045713A (zh) * | 2017-04-12 | 2017-08-15 | 湖南源信光电科技股份有限公司 | 基于census立体匹配的低照度图像增强方法 |
| CN109636754A (zh) * | 2018-12-11 | 2019-04-16 | 山西大学 | 基于生成对抗网络的极低照度图像增强方法 |
| CN109785240A (zh) * | 2017-11-13 | 2019-05-21 | 中国移动通信有限公司研究院 | 一种低照度图像增强方法、装置及图像处理设备 |
| CN112508815A (zh) * | 2020-12-09 | 2021-03-16 | 中国科学院深圳先进技术研究院 | 模型的训练方法和装置、电子设备、机器可读存储介质 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN113469904A (zh) * | 2021-06-16 | 2021-10-01 | 北京理工大学 | 基于循环一致性损失的图像质量增强通用方法及装置 |
-
2021
- 2021-12-03 CN CN202111475033.8A patent/CN114119422B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045713A (zh) * | 2017-04-12 | 2017-08-15 | 湖南源信光电科技股份有限公司 | 基于census立体匹配的低照度图像增强方法 |
| CN109785240A (zh) * | 2017-11-13 | 2019-05-21 | 中国移动通信有限公司研究院 | 一种低照度图像增强方法、装置及图像处理设备 |
| CN109636754A (zh) * | 2018-12-11 | 2019-04-16 | 山西大学 | 基于生成对抗网络的极低照度图像增强方法 |
| CN112508815A (zh) * | 2020-12-09 | 2021-03-16 | 中国科学院深圳先进技术研究院 | 模型的训练方法和装置、电子设备、机器可读存储介质 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN113469904A (zh) * | 2021-06-16 | 2021-10-01 | 北京理工大学 | 基于循环一致性损失的图像质量增强通用方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘鑫: "基于深度学习的低照度图像增强方法研究", 《硕士电子期刊信息科技辑》 * |
| 燕雨洁等: "基于深度学习的低照度图像增强技术研究综述", 《无线互联科技》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114119422B (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410127B (zh) | 一种基于深度学习与多尺度图像增强的图像去噪方法 | |
| CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
| WO2021031458A1 (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
| US11055824B2 (en) | Hybrid machine learning systems | |
| Lai et al. | Improved local histogram equalization with gradient-based weighting process for edge preservation | |
| CN110236483B (zh) | 一种基于深度残差网络的糖尿病性视网膜病变检测的方法 | |
| CN112508806B (zh) | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 | |
| Adem et al. | Detection of hemorrhage in retinal images using linear classifiers and iterative thresholding approaches based on firefly and particle swarm optimization algorithms | |
| CN109816666B (zh) | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 | |
| CN110751637A (zh) | 糖尿病视网膜病变检测系统、方法、设备和训练系统 | |
| CN113052814B (zh) | 基于Retinex和注意力机制的暗光图像增强方法 | |
| CN107016676A (zh) | 一种基于pcnn的视网膜血管图像分割方法和系统 | |
| CN111127476A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN109859139B (zh) | 彩色眼底图像的血管增强方法 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| Li et al. | Vessel recognition of retinal fundus images based on fully convolutional network | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| JP2020197915A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Acharya et al. | Swarm intelligence based adaptive gamma corrected (SIAGC) retinal image enhancement technique for early detection of diabetic retinopathy | |
| Huang et al. | Deep unsupervised endoscopic image enhancement based on multi-image fusion | |
| CN117788407A (zh) | 基于人工神经网络的青光眼图像特征提取的训练方法 | |
| CN112149500A (zh) | 一种部分遮挡的人脸识别小样本学习方法 | |
| JP2018185265A (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN114119422B (zh) | 无参考低照度内窥镜图像质量增强方法、系统及相关组件 | |
| CN106846301B (zh) | 视网膜图像分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |