CN114638767B - 基于生成对抗网络的腹腔镜影像除烟方法 - Google Patents
基于生成对抗网络的腹腔镜影像除烟方法 Download PDFInfo
- Publication number
- CN114638767B CN114638767B CN202210536151.3A CN202210536151A CN114638767B CN 114638767 B CN114638767 B CN 114638767B CN 202210536151 A CN202210536151 A CN 202210536151A CN 114638767 B CN114638767 B CN 114638767B
- Authority
- CN
- China
- Prior art keywords
- smoke
- image
- network
- laparoscope
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 433
- 238000000034 method Methods 0.000 title claims abstract description 78
- 239000013598 vector Substances 0.000 claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 32
- 238000002357 laparoscopic surgery Methods 0.000 claims description 18
- 230000008447 perception Effects 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 230000000391 smoking effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 125000004122 cyclic group Chemical group 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 230000003042 antagnostic effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000023597 hemostasis Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000000443 aerosol Substances 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000002192 cholecystectomy Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- -1 but not limited to Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002439 hemostatic effect Effects 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于生成对抗网络的腹腔镜影像除烟方法，属于计算机视觉技术领域，通过利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像；本发明具备鲁棒性，可以嵌入到腹腔镜设备中使用的技术效果。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于生成对抗网络的腹腔镜影像除烟方法。
背景技术
由于腹腔镜手术具有感染发生率低、恢复较快和后遗症较少的特点，被广泛应用于各个外科领域。在常规的腹腔镜手术中，利用具有电灼烧功能的高频电刀和超声手术刀进行止血操作，原理为通过加热源直接应用于人体组织，使组织烧焦或碳化以达到止血的目的，具有大大提高腹腔镜手术成功率的效果。但是，使用高频电刀和超声手术刀进行腹腔镜手术仍然存在以下弊端：加热源直接应用于人体组织止血时，会产生大量烟雾，导致腹腔镜手术图像可见度损失；在这种情况下，需要医生停止手术并将手术器械自工作通道中移除，直至腹腔镜手术图像重新恢复可见性。进而导致手术时长加长，医生的工作强度以及决策性失误出现的概率加大。现有的使用医疗器械进行机械排烟的方法，存在不适用于图像引导手术等实时操作场景，且会导致治疗成本的增加的问题。
在现有技术中，有基于大气散射模型、暗通道先验模型和贝叶斯推理模型的智能除烟方法。其中，大气散射模型是描述朦胧或烟雾图像的最经典模型之一；但是，大气散射模型的条件假设的前提是全局大气光是均匀的，光源距离很远，光线与光线之间是平行的。然而，在腹腔镜手术场景中，烟浓度变化较大且光源靠近人体器官组织，很难预测透射图，导致除烟效果不理想。暗通道先验模型的条件假设是基于图像像素应具有至少一个非常低强度值的颜色通道；但是，在腹腔镜手术场景中，图像中颜色差别较大和光源与组织表面的距离较近进而导致产生镜面反射的问题。贝叶斯推理模型是通过概率图和稀疏字典提出多个先验条件对烟雾图像的颜色和纹理进行建模；但是，在腹腔镜手术场景中，由于烟雾模式复杂且分布不均匀，存在由于图像过度增强而导致图像真实度损失的问题。
随着图像处理技术和深度学习技术的发展，一些基于深度学习的图像去除烟雾模型被广泛提出，在去除烟雾问题上显示出优异的结果。其中，MoralesP等人提出一种高效的用于自然图像去雾霾处理的全卷积神经网络(CNN)，利用一对编码器-解码器进行大气光和传输图的估计。该方法将有雾图像及其金字塔分解作为输入，然后直接输出无雾图像。Sidorov O等人提出了一种用于腹腔镜图像除烟的基于无监督图像到图像转换的对抗网络(GAN)架构，并利用图像渲染软件Blender模拟真实烟雾进行配对训练。Chen L等人提出了一种用于腹腔镜烟雾检测和去除的生成协作网络(De-smokeGCN)；在基于生成对抗框架中添加了一个烟雾检测模块，用于检测烟雾的位置和密度并生成烟雾掩膜，这些额外的信息可以改进生成对抗网络的训练过程并获得更好的去烟效果。但是，仍然存在的弊端如下：
上述方法虽然在除雾场景中表现良好。但是，与雾相比，烟的分布具有更高的变化（例如，局部性和非均匀性），在腹腔镜图像中利用除雾的方式进行除烟是不合适的。传统除雾方法在除烟时缺乏一定的鲁棒性，现有的网络模型对于恢复图像的细节较差，无法嵌入到腹腔镜设备中使用。
因此，亟需一种恢复图像细节效果较好的腹腔镜影像除烟方法。
发明内容
本发明提供一种基于生成对抗网络的腹腔镜影像除烟方法、系统、电子设备及存储介质，用以克服现有技术中存在的至少一个技术问题。
为实现上述目的，本发明提供一种基于生成对抗网络的腹腔镜影像除烟方法，方法包括：
利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；
将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；
根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
进一步，优选的，烟雾去除网络包括双域生成器网络和双域鉴别器网络，将双域生成器网络在对抗网络中与双域鉴别器网络一起被训练；双域生成器网络包括用于生成预测有烟图像的源域生成器和用于生成预测无烟图像的目标域生成器；双域鉴别器网络包括用于区分真实有烟图像和预测有烟图像的源域鉴别器和用于区分真实无烟图像和预测无烟图像的目标域鉴别器。
进一步，优选的，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量的方法，包括：
多级烟雾特征提取器网络包括F1主干网络、F2分支网络和F3分支网络；将待处理的腹腔镜图像样本输入F1主干网络进行特征提取；
对待处理的腹腔镜图像样本分别进行2倍下采样和4倍下采样，并分别作为F2分支网络和F3分支网络的输入；
利用F2分支网络进行低级烟雾纹理信息特征提取；利用F3分支网络进行高级烟雾语义信息特征提取；
根据低级烟雾纹理信息特征和高级烟雾语义信息特征，F1主干网络获取轻烟特征向量和浓烟特征向量。
进一步，优选的，烟雾掩膜分割网络和烟雾去除网络通过训练集进行训练，训练集的获取方法包括：
对腹腔镜手术视频数据集进行标记，获取真实有烟腹腔镜图像和真实无烟腹腔镜图像；
利用图像渲染软件Blender对真实无烟腹腔镜图像进行处理，获取真实无烟腹腔镜图像对应的合成有烟腹腔镜图像；
将真实有烟腹腔镜图像、真实无烟腹腔镜图像和合成有烟腹腔镜图像形成训练集。
进一步，优选的，烟雾掩膜分割网络和烟雾去除网络利用损失函数进行训练约束，损失函数通过以下公式实现：
其中，
为用于训练对抗网络的对抗损失；
为用于训
练生成器网络的循环一致性损失，
用于训练鉴别器网络的暗通道先验损失，
为
用于训练烟雾掩膜分割网络的烟雾区域感知损失，
为对比度损失，
为损失函数超参数。
进一步，优选的，烟雾区域感知损失通过以下公式实现：
其中，
其中，N表示图像像素总数，R表示烟雾掩膜分割网络在输入图像中识别的烟雾区
域，x表示图像中的索引，
和
分别表示真实图像和网络输出图像；
表示无烟区
域中的惩罚权重；
表示烟雾区域惩罚权重；且，
；
，在无烟区域
中的惩罚权重
为固定值，在有烟区域中，烟雾区域惩罚权重
真实烟雾中的强度进行
设置。
进一步，优选的，循环一致性损失通过以下公式实现：
其中，
为目标域，
为源域，
，
分别为目标域生成器和源域生成器。
为了解决上述问题，本发明还提供一种基于生成对抗网络的腹腔镜影像除烟系统，包括：
掩膜生成单元，用于利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；
特征生成单元，将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行处理，获取轻烟特征和浓烟特征；
无烟图像获取单元，用于根据轻烟特征、浓烟特征和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
为了解决上述问题，本发明还提供一种电子设备，电子设备包括：
存储器，存储至少一个指令；及处理器，执行存储器中存储的指令以实现上述的基于生成对抗网络的腹腔镜影像除烟方法中的步骤。
本发明还保护一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上述的基于生成对抗网络的腹腔镜影像除烟方法。
本发明的一种基于生成对抗网络的腹腔镜影像除烟方法、系统、电子设备以及存储介质，具有有益效果如下：
1）通过设置烟雾掩膜分割网络，获取烟雾掩膜图；然后根据烟雾掩膜图，利用烟雾去除网络，获取无烟的腹腔镜图像；能够在去除烟雾的同时，保留无烟区域的真实细节；
2）样本经过双域鉴别器网络与双域生成器网络形成对抗训练，具有改善无烟腹腔镜图像的纹理细节的效果；
3）本发明的基于生成对抗网络的腹腔镜影像除烟方法具备鲁棒性，可以嵌入到腹腔镜设备中使用。
附图说明
图1为根据本发明实施例的基于生成对抗网络的腹腔镜影像除烟方法的流程示意图；
图2为根据本发明实施例的基于生成对抗网络的腹腔镜影像除烟方法的烟雾去除网络的原理示意图；
图3为根据本发明实施例的基于生成对抗网络的腹腔镜影像除烟方法的烟雾分割网络的原理示意图；
图4为根据本发明实施例的烟雾去除网络的又一原理示意图；
图5为根据本发明实施例的输入图像和输出图像的效果对比图；
图6为根据本发明实施例的基于生成对抗网络的腹腔镜影像除烟系统的逻辑结构框图；
图7根据本发明实施例的实现基于生成对抗网络的腹腔镜影像除烟方法的电子设备的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例可以基于人工智能技术和计算机视觉技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
具体的，作为示例，图1为本发明一实施例提供的基于生成对抗网络的腹腔镜影像除烟方法的流程示意图。参照图1所示，本发明提供一种基于生成对抗网络的腹腔镜影像除烟方法，该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。基于生成对抗网络的腹腔镜影像除烟方法，包括步骤S110~ S130。
具体地说，S110、利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；S120、将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；S130、根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
图2和图3对基于生成对抗网络的腹腔镜影像除烟方法的原理进行了整体说明；其中，图2为根据本发明实施例的基于生成对抗网络的腹腔镜影像除烟方法的烟雾去除网络的原理示意图；图3为根据本发明实施例的基于生成对抗网络的腹腔镜影像除烟方法的烟雾分割网络的原理示意图；如图2和图3所示，针对腹腔镜应用场景中烟的分布特点，本发明提供了一种基于生成对抗网络的腹腔镜影像除烟模型，包括烟雾掩膜分割网络和烟雾去除网络。其中，烟雾掩膜分割网络能够产生腹腔镜图像的烟雾掩膜图，烟雾掩膜图中包含烟雾的位置信息及烟雾的密度信息；然后，将烟雾掩膜图输入到烟雾去除网络，能够在去除烟雾的同时，保留无烟区域的真实细节。
烟雾掩膜分割网络是将单个RGB腹腔镜图像作为输入，并生成具有相同输入大小的烟雾掩膜；是一个典型的编码器-解码器结构。烟雾掩膜分割网络（SSN）可以但不限制于采用VGG16网络模型。在一个具体的实施例中，烟雾掩膜分割网络的具体结构如图2所示，VGG16网络模型结构中有13个卷积层和3个全连接层，在图像分类中取得了显著的效果。具体地说，通过采用VGG16网络的前五个卷积块作为烟雾掩膜分割网络的编码阶段的基础，并通过减少可训练参数的数量，以加快训练速度。进一步的，为了获取多尺度特征并保留详细的空间信息，将编码阶段的最后三个块合并到解码阶段，增加网络深度以捕获更多的全局信息，并在编码器和解码器之间增加了跳跃连接。在编码器提取卷积层的输出特征图，然后将这些特征图上采样到对应解码器的特征图的大小以进行特征级联操作，进而获得烟雾掩膜图。
烟雾去除网络是基于循环一致性生成对抗网络的图像到图像转换的框架。烟雾去除网络包括双域生成器网络和双域鉴别器网络。其中，生成器的目的是合成足够逼真的图像来欺骗鉴别器，而鉴别器的目的是正确区分真实图像和合成图像。将双域生成器网络在对抗网络中与双域鉴别器网络一起被训练，目的是学习两个映射函数。一个映射函数将图像从有烟图像域Domain S转换为无烟图像域Domain SF（即源域至目标域），另一个映射函数将图像从无烟图像域Domain SF转换为有烟图像域Domain S（即目标域至源域）。
双域生成器网络包括用于生成预测有烟图像的源域生成器GY和用于生成预测无烟图像的目标域生成器GX；即目标域生成器GX生成合成的无烟图像，而源域生成器GY生成合成的有烟图像。
双域鉴别器网络包括用于区分真实有烟图像和预测有烟图像的源域鉴别器DY和用于区分真实无烟图像和预测无烟图像的目标域鉴别器DX。即目标域鉴别器DX作用是区分合成的无烟图像和真实无烟图像，而源域鉴别器DY作用是区分合成的有烟图像和真实有烟图像。针对腹腔镜图像除雾，输入为有烟的腹腔镜图像，输出为合成的无烟腹腔镜图像。
最后，本发明考虑使用两个域鉴别器分别进行域鉴别；同时对双域鉴别器网络的鉴别损失可以使用不同的超参数也可以使用相同的超参数。通过双域鉴别器的鉴别损失使用不同的超参数，让两个域鉴别器对源域和目标域的鉴别能力产生不同的偏重；使其在对抗的过程中更全面的优化特征提取网络提取更多的具有域不变形的特征。
图4为根据本发明实施例的烟雾去除网络的又一原理示意图；如图4所示，烟雾去除网络（SRN）是将单个RGB腹腔镜图像以及烟雾掩膜图作为输入，并生成无烟腹腔镜图像；烟雾去除网络可以但不限制于为ResNet模型结构，是一个典型的编码器-解码器结构。
生成器网络中，编码器包括多级烟雾特征提取器即多级烟雾特征提取模块(MSR)，并通过四个步幅为二的卷积层进行下采样。另一方面，解码器包括用于上采样的转置卷积以及跳跃连接的级联。解码器最后一层输出一旦实现了所需的空间分辨率，就执行卷积运算以获得与输入图像尺寸相同的输出图像。
鉴别器网络中，鉴别器采用PatchGAN对生成的假图像和真实图像进行判别，把图像分成切片，分别判断每个切片的真假，再平均最后的结果，在具体的实施过程中，采用的切片大小为70×70。
其中，多级烟雾特征提取器即包括F1主干网络、F2分支网络和F3分支网络；将待处理的腹腔镜图像样本输入F1主干网络进行特征提取；对待处理的腹腔镜图像样本分别进行2倍下采样和4倍下采样，并分别作为F2分支网络和F3分支网络的输入；利用F2分支网络进行低级烟雾纹理信息特征提取；利用F3分支网络进行高级烟雾语义信息特征提取；根据低级烟雾纹理信息特征和高级烟雾语义信息特征，F1主干网络获取轻烟特征向量和浓烟特征向量。具体地说，多级烟雾特征提取模块(MSR)由三个不同大小的分支组成，该模块详细结构如图3所示。原始图像（待处理的腹腔镜图像）输入F1分支作为多级烟雾特征提取模块的主干，原始图像进行下采样分别缩小为原始图像的2倍和4倍形成F2分支、F3分支。而F2分支和F3分支在不同层次上分别进行烟雾特征的提取，以辅助主干F1的特征提取过程。在多级烟雾特征提取模块中，采用金字塔式连接来更好地提取特征。具体地说，将F1分支输入图像进行下采样形成F2和F3分支的输入。F2分支提取的特征包含场景的低层次结构细节，F3分支提取的特征包含高层次语义信息。在腹腔镜除烟过程中，由于腹腔镜图像烟雾的非均匀性，既要处理淡烟，又要处理浓烟。因此，既要提取图像的低级纹理信息也要提取图像的高层语义信息。所以，将F2分支提取的特征连接到较浅的层，将F3分支提取的特征连接到更深的层。在F2分支和F3分支的信息支持下，F1分支可以联合提取轻烟和浓烟特征。
在具体的实施过程，该模块还采用残差学习，以使学习更有效，并允许信息从输入层流向输出层。也就是说，通过采用残差学习可以用于对提取到的图像特征进行调整，以缓解深度神经网络中由于增加深度而造成的梯度消失问题。
在具体的实施过程中，基于生成对抗网络的腹腔镜影像除烟方法包括步骤S110~S130。
S110、利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息。
掩膜（mask）：是指用选定的图像、图形或物体，对待处理的目标图像进行全部或局部遮挡，例如，可以遮挡住目标图像中的背景区域，从而控制图像处理的区域或处理过程。在本申请实施例中，掩膜可以表示为一个二值化矩阵，用于区分图像中待分割的目标对象的所在区域以及背景区域，例如，目标对象所在区域所对应的元素取值为1，其他区域的元素取值为0。应用掩膜可以提取目标图像中的感兴趣区域，屏蔽不参与运算的区域。
在具体的实施过程中，待处理的腹腔镜图像样本来自于腹腔镜手术视频，然后根据腹腔镜手术视频获取腹腔镜图像，然后对图像进行归一化处理，所有图像大小都调整为256×256，再经过图像去噪和数据增强等预处理。具体地说，该预处理过程可以包括将该腹腔镜图像转换为像素值矩阵，再对该像素值矩阵进行归一化处理，得到该腹腔镜图像对应的数字矩阵，本申请实施例对该预处理过程的具体步骤不作限定。当然，该预处理过程也可以由烟雾掩膜分割网络执行，本申请实施例对此不作限定。
在一个具体的实施例中，烟雾掩膜分割网络为VGG16网络模型，通过为VGG16网络获取待处理的腹腔镜图像的高维空间特征图，然后，对高维空间特征图进行烟雾特征提取和腹腔镜的背景特征提取；将烟雾特征对应的像素点阵列形成掩膜。进而烟雾掩膜图包括关于烟雾的各种信息，包括但不限制于为烟雾位置信息和烟雾密度信息。
S120、将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量。
为了达到能够在去除烟雾的同时，保留无烟区域的真实细节的目的，在具体的实施例中采用多级烟雾特征提取模块提取不同层次的图像特征。多级烟雾特征提取模块的各个神经网络均可以由卷积层、池化层组成，各个神经网络的结构可以相同，也可以不同，本申请实施例对各个神经网络的具体结构不作限定。
其中，低层次特征包含图像的底层结构细节，高层次特征包含图像的高层语义信息，淡烟通常会导致图像细节或纹理的损失，所以淡烟的去除主要依赖于低层次信息，浓烟的去除主要需要依赖于高层次信息来恢复丢失的语义信息。
烟雾去除网络是基于循环一致性生成对抗网络的图像到图像转换的框架。烟雾去除网络包括双域生成器网络和双域鉴别器网络。将双域生成器网络在对抗网络中与双域鉴别器网络一起被训练。
需要说明的是，鉴别器用于生成对抗网络(GAN)，并且包括用于根据所接收的特征表示z来训练指示特定数据项是否与源域或某个其他域(例如，目标域)相关联的数据的计算模型。鉴别器的目的是通过上述对抗性学习将源特征与目标特征分离。作为计算模型，鉴别器可以包括一组参数或权重，该参数或权重可以根据作为例如梯度下降算法的一部分的对抗性损失函数来被迭代地适配(训练)以减小或最小化对抗性损失函数。随着训练迭代地进行，通过对预测值的了解，鉴别器可以被迭代地更新以改进源特征和目标特征的分离。此外，通过乘以负1来反转梯度，可以获取表示特征损失的反向梯度。
S130、根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
本发明的基于生成对抗网络的腹腔镜影像除烟模型，输入为有烟的腹腔镜图像，输出为合成的无烟腹腔镜图像。利用该模型对待处理的腹腔镜图像进行检测，获取腹腔镜图像照片中“烟雾”和“腹腔镜图像”的位置信息后，将“烟雾”和“腹腔镜图像”的实例根据网络输出的mask(掩膜)擦除，即将这两部分图像RGB三通道像素值置为0。
本发明提出了一种轻量化的腹腔镜除烟模型，能够嵌入到腹腔镜设备中进行实时的烟雾去除，能够提高腹腔镜手术在烟雾情况下的可见性。该模型基于循环一致性生成对抗网络，能够恢复腹腔镜图像的全局和细节。本发明的基于生成对抗网络的腹腔镜影像除烟模型包括烟雾掩膜分割网络和烟雾去除网络，基于生成对抗网络的腹腔镜影像除烟模型通过训练集进行训练后获得。训练集的获取方法包括，对腹腔镜手术视频数据集进行标记，获取真实有烟腹腔镜图像和真实无烟腹腔镜图像；利用图像渲染软件Blender对真实无烟腹腔镜图像进行处理，获取真实无烟腹腔镜图像对应的合成有烟腹腔镜图像；将真实有烟腹 腔镜图像、真实无烟腹腔镜图像和合成有烟腹腔镜图像形成训练集。在一个具体的实施例中，可以但不限制于采用的数据集包括胆囊切除手术视频数据集(Cholec80)。
在具体的实施过程，为了提升训练效率，需要对测试集进行评估。若测试集为合成的数据集，根据峰值信噪比(PSNR)和结构相似性(SSIM)指数进行定量评估。若测试集为真实数据集，因为没有配对的无烟图像，因此采用三个无参考指标进行性能评估，无参考指标可以但不限制于为无参考图像空间质量评估器(BRISQUE)、基于感知的图像质量评估器(PIQUE)和雾感知密度评估器(FADE)对真实数据集进行定量评估。在获得训练集的同时，还会获得测试集。利用测试集对本发明的基于生成对抗网络的腹腔镜除烟模型进行测试发现，可以去除腹腔镜手术图像烟雾并恢复真实的组织颜色，而不会影响非烟雾区域，可以有效地提高图像质量。
本发明的基于生成对抗网络的腹腔镜影像除烟模型结合烟雾区域感知损失、暗通道先验损失和对比度损失对训练网络进行约束。这些损失有助于对不同的烟成分进行建模，并产生视觉上质量更高的无烟图像。具体地说，完整的训练损失由五个损失函数组成，分别是对抗性损失、循环一致性损失、烟雾区域感知损失、暗通道先验损失和对比度损失。
烟雾掩膜分割网络和烟雾去除网络利用损失函数进行训练约束，损失函数中，对
于目标为有烟图像域到无烟图像域(S-SF)，网络总损失
通过以下公式实现：
其中，
为用于训练对抗网络的对抗损失，
为用于训
练生成器网络的循环一致性损失，
为用于训练鉴别器网络的暗通道先验损失，
为
用于训练烟雾掩膜分割网络的烟雾区域感知损失，
为对比度损失，
为
损失函数超参数。
也就是说，本发明的基于生成对抗网络的腹腔镜影像除烟模型的总体目标函数由五个损失函数组成：生成对抗损失、循环一致性损失、烟雾区域感知损失、暗通道先验损失和对比度损失。对不同损失函数的权重进行分析选择有助于获得具有最佳除烟效果的图像。
具体地说，烟雾区域感知损失通过以下公式实现：
其中，
其中，N表示图像像素总数，R表示烟雾掩膜分割网络在输入图像中识别的烟雾区
域，x表示图像中的索引，
和
分别表示真实图像和网络输出图像；
表示无烟区
域中的惩罚权重
表示烟雾区域惩罚权重；且，
也就是说，腹腔镜图像除烟的目的是在相应的有烟区域内消除不需要的烟雾，而
无烟区域不应该在除烟过程中受到影响。因此，在无烟区域中，设置固定惩罚权重以防止无
烟区域中的像素产生大幅度改变。对于有烟区域，由于烟雾分布不均匀，根据真实烟雾中的
强度来设置惩罚权重
。与所有像素都设置恒定权重的L2损失相比，该烟雾区域感知机制
可以自适应地优化烟雾区域的像素，并防止无烟区域的颜色产生失真。此外，该机制采用修
正后的烟雾区域掩膜进行损失计算，固定权重对无烟区域像素进行惩罚，从而解决了烟雾
分布不均匀的问题。因此，利用烟雾区域感知损失函数可以得到更好的图像重建结果。
为了提高腹腔镜图像除烟性能，结合暗通道先验原理提出了暗通道先验损失。首先，暗通道先验模型通过以下公式实现：
其中，
表示图像J的颜色通道，
表示以x为中心的局部切片，
表示暗通
道。如果J是无雾的自然图像，则暗通道值较低并且趋于零。因此，可以将暗通道值视为表示
烟雾密度的特征。暗通道先验损失
定义为：
其中，W表示暗通道操作，N表示图像像素总数；
和
分别表示真实图像和
网络输出图像。
无烟腹腔镜图像中的大多数像素具有低密度值，但由于亮度效应和光反射，少数
无烟图像像素仍然输出为高密度值。为了公平合理地计算输入的暗通道值，通过计算其平
均密度，防止其像素值过高或过低的影响。因此，
分别加到两个鉴别器中，能够将大部
分被烟雾覆盖像素考虑在内，促进生成器的参数优化。
在一个具体的实施例中，对于对比度损失而言，图像的质量可以定义为图像强度
的方差 (
) 和均值 (u) 之比。此外，对比度增强因子(CEF)表示重建图像中输入图像的
对比度增强水平。CEF 值大于1表示处理后的图像相对于输入图像的对比度有所提高。对比
度损失能够将图像颜色恢复考虑进去，确保生成的图像颜色能够和真实图像保持一致，不
会产生较大的色差。CEF的公式如下：
其中，
是真实图像的对比度，
是对应输出图像的对比度。
因为烟雾被认为是降低图像对比度的现象，则对比度损失定义为：
总的来说，对比度损失
通过将CEF的倒数作为损失函数来减少烟雾。在最
小化对比度损失的情况下，本发明的基于生成对抗网络的腹腔镜影像除烟模型可以最大化
生成图像的整体对比度。通过将对比度损失应用到腹腔镜图像除烟中，达到更好地恢复图
像的真实颜色的目的。
在一个具体地实施例中，生成对抗损失(
)用于两个映射函数:有烟图像域到
无烟图像域(S-SF)和无烟图像域到有烟图像域(SF-S)。对于其中一种映射(例如有烟图像
域到无烟图像域(S-SF))，对抗损失函数
可以表示为：
其中，s和sf分别是有烟图像域S和无烟图像域SF中的输入图像，而生成器GX是将
图像从有烟图像域S转换到无烟图像域SF，而鉴别器DX区分生成的图像与真实图像。类似
地，以同样的方式推导出无烟图像域到有烟图像域(SF-S)的损失函数
。
具体地说，为了确保目标域中从输入到输出的映射精度，引入循环一致性损失
；循环一致性损失包括前向循环一致性损失和后向循环一致性损失，该损失
仅适用于生成器网络，能够约束生成器的模型参数，以便输出更真实的合成图像。
循环一致性损失通过以下公式实现：
其中，
为目标域，
为源域，
分别为目标域生成器和源域生成器。
总的来说，生成对抗损失、循环一致性损失、烟雾区域感知损失、暗通道先验损失和对比度损失。
根据烟雾区域感知损失对烟雾掩膜分割网络进行参数校正，以及，根据生成对抗损失、循环一致性损失、暗通道先验损失和对比度损失，对烟雾去除网络进行参数校正。
在一个具体的实施例中，首先，实验硬件搭建于NVIDIA TESLA P100设备（16GB 显存），使用GPU加速，在所有的训练和测试过程中都使用了 PyTorch 框架。在实验中，使用ADAM 优化器，初始学习率为 0.0001，考虑到内存容量以及模型最优化和网络训练速度最大化，在训练中，Batchsize设置为 4，训练epoch为200。
使用胆囊切除手术视频数据集(Cholec80)，首先将视频手动标记为有烟数据和无烟数据，然后，将视频帧导出为图片格式。为了模拟腹腔镜手术产生的烟雾，使用图像渲染软件Blender合成对应的不同浓度有烟图片。数据集中包括5000张真实有烟图像、15000张真实无烟图像和配对的15000张合成的有烟图像。然后，对图像进行归一化处理，所有图像大小都调整为256×256，再经过图像去噪和数据增强等预处理技术后，配对的有烟和无烟图像输入到基于深度学习的腹腔镜手术图像除烟模型中，不断训练直到实现腹腔镜图像烟雾的去除。
图5示出了本发明实施例的输入图像和输出图像的效果对比图；如图5所示，利用基于生成对抗网络的腹腔镜影像除烟模型进行除烟处理后，输出图像与输入图像相比，除烟效果较好。
本发明的基于生成对抗网络的腹腔镜影像除烟模型结合损失函数对训练网络进行约束。在网络训练过程中，根据损失函数计算输出图像与输入图像的误差，利用反向传播算法调整优化网络的参数。具体地说，完整的训练损失由五个损失函数组成，分别是对抗性损失、循环一致性损失、烟雾区域感知损失、暗通道先验损失和对比度损失。通过上述损失函数有助于对不同的烟成分进行建模，进而产生视觉上质量更高的无烟腹腔镜图像；经过上述训练过程，然后利用测试集进行测试，最终获得训练好的基于生成对抗网络的腹腔镜影像除烟模型。
综上，本发明通过建立一种基于生成对抗网络的腹腔镜影像除烟模型，基于生成对抗网络的腹腔镜影像除烟模型是基于循环一致性生成对抗网络，能够恢复腹腔镜图像的全局和细节，并使用暗通道损失约束，能够解决腹腔镜手术在没有任何机械设备干预的情况下进行烟雾的去除；通过采用多级烟雾特征提取模块提取不同层次的图像特征。具有改善无烟腹腔镜图像的纹理细节的效果；具备鲁棒性，可以嵌入到腹腔镜设备中使用。并且可以通过对每个视频中包含不同烟雾浓度的连续视频帧进行验证，以评估腹腔镜手术实际操作场景。
与上述基于生成对抗网络的腹腔镜影像除烟方法相对应，本发明还提供一种基于生成对抗网络的腹腔镜影像除烟系统。图6示出了根据本发明实施例的基于生成对抗网络的腹腔镜影像除烟系统的功能模块。
如图6所示，本发明提供的基于生成对抗网络的腹腔镜影像除烟系统600可以安装于电子设备中。根据实现的功能，所述基于生成对抗网络的腹腔镜影像除烟系统600可以包括掩膜生成单元610、特征生成单元620和无烟图像获取单元630。本发明所述单元也可以称之为模块，指的是一种能够被电子设备的处理器所执行，并且能够完成某一固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
掩膜生成单元610，用于利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；
特征生成单元620，将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行处理，获取轻烟特征和浓烟特征；
无烟图像获取单元630，用于根据轻烟特征、浓烟特征和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
本发明所提供的上述基于生成对抗网络的腹腔镜影像除烟系统的更为具体的实现方式，均可以参照上述对基于生成对抗网络的腹腔镜影像除烟方法的实施例表述，在此不再一一列举。
本发明所提供的上述基于生成对抗网络的腹腔镜影像除烟系统，通过设置烟雾掩膜分割网络，获取烟雾掩膜图；然后根据烟雾掩膜图，利用烟雾去除网络，获取无烟的腹腔镜图像；能够在去除烟雾的同时，保留无烟区域的真实细节；具有改善无烟腹腔镜图像的纹理细节的技术效果。
如图7所示，本发明提供一种基于生成对抗网络的腹腔镜影像除烟方法的电子设备7。
该电子设备7可以包括处理器70、存储器71和总线，还可以包括存储在存储器71中并可在所述处理器70上运行的计算机程序，如基于生成对抗网络的腹腔镜影像除烟程序72。
其中，所述存储器71至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器71在一些实施例中可以是电子设备7的内部存储单元，例如该电子设备7的移动硬盘。所述存储器71在另一些实施例中也可以是电子设备7的外部存储设备，例如电子设备7上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器71还可以既包括电子设备7的内部存储单元也包括外部存储设备。所述存储器71不仅可以用于存储安装于电子设备7的应用软件及各类数据，例如基于生成对抗网络的腹腔镜影像除烟程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器70在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器70是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器71内的程序或者模块（例如基于生成对抗网络的腹腔镜影像除烟程序等），以及调用存储在所述存储器71内的数据，以执行电子设备7的各种功能和处理数据。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器71以及至少一个处理器70等之间的连接通信。
图7仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图7示出的结构并不构成对所述电子设备7的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备7还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器70逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备7还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备7还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备7与其他电子设备之间建立通信连接。
可选地，该电子设备7还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备7中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备7中的所述存储器71存储的基于生成对抗网络的腹腔镜影像除烟程序72是多个指令的组合，在所述处理器70中运行时，可以实现：S110、利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；S120、将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；S130、根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
具体地，所述处理器70对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述基于生成对抗网络的腹腔镜影像除烟程序的私密和安全性，上述基于生成对抗网络的腹腔镜影像除烟程序存储于本服务器集群所处区块链的节点中。
进一步地，所述电子设备7集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明实施例还提供一种计算机可读存储介质，所述存储介质可以是非易失性的，也可以是易失性的，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：S110、利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；S120、将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；S130、根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
具体地，所述计算机程序被处理器执行时具体实现方法可参考实施例基于生成对抗网络的腹腔镜影像除烟方法中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等，区块链可以存储医疗数据，如个人健康档案、厨房、检查报告等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，包括：
利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，所述烟雾掩膜图包括烟雾位置信息和烟雾密度信息；
将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；
其中，利用所述多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量的方法，包括，所述多级烟雾特征提取器网络包括F1主干网络、F2分支网络和F3分支网络；将待处理的腹腔镜图像样本输入F1主干网络进行特征提取；对所述待处理的腹腔镜图像样本分别进行2倍下采样和4倍下采样，并分别作为F2分支网络和F3分支网络的输入；利用所述F2分支网络进行低级烟雾纹理信息特征提取；利用所述F3分支网络进行高级烟雾语义信息特征提取；根据所述低级烟雾纹理信息特征和所述高级烟雾语义信息特征，F1主干网络获取轻烟特征向量和浓烟特征向量；
根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像；
所述烟雾掩膜分割网络和所述烟雾去除网络利用损失函数进行训练约束，所述损失函数通过以下公式实现：
其中，
为用于训练生成器网络的循环一致性损失，
用于训练鉴别器网络的暗通道先验损失，
为用于训练烟雾掩膜分割网络的烟雾区域感知损失，
对比度损失，
为目标域，
为源域，
分别为目标域生成器和源域生成器，D X 为目标域鉴别器，
为损失函数超参数。
2.如权利要求1所述的基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，所述烟雾去除网络包括双域生成器网络和双域鉴别器网络，将所述双域生成器网络在对抗网络中与所述双域鉴别器网络一起被训练；所述双域生成器网络包括用于生成预测有烟图像的源域生成器和用于生成预测无烟图像的目标域生成器；所述双域鉴别器网络包括用于区分真实有烟图像和预测有烟图像的源域鉴别器和用于区分真实无烟图像和预测无烟图像的目标域鉴别器。
3.如权利要求1所述的基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，所述烟雾掩膜分割网络和所述烟雾去除网络通过训练集进行训练，所述训练集的获取方法包括，
对腹腔镜手术视频数据集进行标记，获取真实有烟腹腔镜图像和真实无烟腹腔镜图像；
利用图像渲染软件Blender对所述真实无烟腹腔镜图像进行处理，获取所述真实无烟腹腔镜图像对应的合成有烟腹腔镜图像；
将所述真实有烟腹腔镜图像、真实无烟腹腔镜图像和合成有烟腹腔镜图像形成训练集。
4.如权利要求1中所述的基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，所述烟雾区域感知损失通过以下公式实现：
其中，
其中，N表示图像像素总数，R表示烟雾掩膜分割网络在输入图像中识别的烟雾区域，x表示图像中的索引，
和
分别表示真实图像和网络输出图像；
表示无烟区域中的惩罚权重
表示烟雾区域惩罚权重；且，
5.如权利要求1中所述的基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，所述循环一致性损失通过以下公式实现：
其中，
为目标域，
为源域，
分别为目标域生成器和源域生成器。
6.一种基于生成对抗网络的腹腔镜影像除烟系统，其特征在于，包括：
掩膜生成单元，用于利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，所述烟雾掩膜图包括烟雾位置信息和烟雾密度信息；
特征生成单元，将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行处理，获取轻烟特征和浓烟特征；其中，利用所述多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量的方法，包括，所述多级烟雾特征提取器网络包括F1主干网络、F2分支网络和F3分支网络；将待处理的腹腔镜图像样本输入F1主干网络进行特征提取；对所述待处理的腹腔镜图像样本分别进行2倍下采样和4倍下采样，并分别作为F2分支网络和F3分支网络的输入；利用所述F2分支网络进行低级烟雾纹理信息特征提取；利用所述F3分支网络进行高级烟雾语义信息特征提取；根据所述低级烟雾纹理信息特征和所述高级烟雾语义信息特征，F1主干网络获取轻烟特征向量和浓烟特征向量；
所述烟雾掩膜分割网络和所述烟雾去除网络利用损失函数进行训练约束，所述损失函数通过以下公式实现：
其中，
为用于训练生成器网络的循环一致性损失，
用于训练鉴别器网络的暗通道先验损失，
为用于训练烟雾掩膜分割网络的烟雾区域感知损失，
对比度损失，
为目标域，
为源域，
分别为目标域生成器和源域生成器，D X 为目标域鉴别器，
为损失函数超参数；
无烟图像获取单元，用于根据轻烟特征、浓烟特征和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的基于生成对抗网络的腹腔镜影像除烟方法中的步骤。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的基于生成对抗网络的腹腔镜影像除烟方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210536151.3A CN114638767B (zh) | 2022-05-18 | 2022-05-18 | 基于生成对抗网络的腹腔镜影像除烟方法 |
| US18/183,173 US11935213B2 (en) | 2022-05-18 | 2023-03-14 | Laparoscopic image smoke removal method based on generative adversarial network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210536151.3A CN114638767B (zh) | 2022-05-18 | 2022-05-18 | 基于生成对抗网络的腹腔镜影像除烟方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114638767A CN114638767A (zh) | 2022-06-17 |
| CN114638767B true CN114638767B (zh) | 2022-08-16 |
Family
ID=81953076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210536151.3A Active CN114638767B (zh) | 2022-05-18 | 2022-05-18 | 基于生成对抗网络的腹腔镜影像除烟方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11935213B2 (zh) |
| CN (1) | CN114638767B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114638767B (zh) * | 2022-05-18 | 2022-08-16 | 山东师范大学 | 基于生成对抗网络的腹腔镜影像除烟方法 |
| CN115222752B (zh) * | 2022-09-19 | 2023-01-24 | 之江实验室 | 基于特征解耦的病理图像特征提取器训练方法及装置 |
| CN116468974B (zh) * | 2023-06-14 | 2023-10-13 | 华南理工大学 | 一种基于图像生成的烟雾检测方法、装置及存储介质 |
| CN117649362B (zh) * | 2024-01-29 | 2024-04-26 | 山东师范大学 | 基于条件扩散模型的腹腔镜影像除烟方法、系统及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801293A (zh) * | 2019-01-08 | 2019-05-24 | 平安科技（深圳）有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| US11954175B2 (en) * | 2020-08-07 | 2024-04-09 | Carnegie Mellon University | Feature pyramids for object detection |
| CN113066026B (zh) * | 2021-03-26 | 2022-05-20 | 重庆邮电大学 | 基于深度神经网络的内窥镜图像烟雾净化方法 |
| EP4071708B1 (en) * | 2021-04-09 | 2023-07-26 | Tata Consultancy Services Limited | Methods and systems for localised smoke removal and color restoration of real-time video |
| US20220346855A1 (en) * | 2021-04-30 | 2022-11-03 | Sony Group Corporation | Electronic device and method for smoke level estimation |
| CN113658051B (zh) * | 2021-06-25 | 2023-10-13 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
| CN113673562A (zh) * | 2021-07-15 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种特征增强的方法、目标分割方法、装置和存储介质 |
| EP4125030B1 (en) * | 2021-07-29 | 2023-11-29 | Tata Consultancy Services Limited | Methods and systems for generating end-to-end de-smoking model |
| CN113592011A (zh) * | 2021-08-06 | 2021-11-02 | 太原科技大学 | 一种端到端雨滴和雾联合去除方法及系统 |
| US20230186602A1 (en) * | 2021-12-09 | 2023-06-15 | Stryker Corporation | Systems and methods for automatically detecting substances in medical imaging |
| CN114638767B (zh) * | 2022-05-18 | 2022-08-16 | 山东师范大学 | 基于生成对抗网络的腹腔镜影像除烟方法 |
-
2022
- 2022-05-18 CN CN202210536151.3A patent/CN114638767B/zh active Active
-
2023
- 2023-03-14 US US18/183,173 patent/US11935213B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801293A (zh) * | 2019-01-08 | 2019-05-24 | 平安科技（深圳）有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11935213B2 (en) | 2024-03-19 |
| CN114638767A (zh) | 2022-06-17 |
| US20230377097A1 (en) | 2023-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114638767B (zh) | 基于生成对抗网络的腹腔镜影像除烟方法 | |
| Zhu et al. | A fast single image haze removal algorithm using color attenuation prior | |
| Ma et al. | Understanding adversarial attacks on deep learning based medical image analysis systems | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| Yang et al. | Detecting fake images by identifying potential texture difference | |
| Shen et al. | Mass image synthesis in mammogram with contextual information based on GANs | |
| CN114266786A (zh) | 基于生成对抗网络的胃病变分割方法及系统 | |
| CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
| Nanni et al. | Deep learning for actinic keratosis classification | |
| CN113592769A (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
| CN113222903A (zh) | 一种全切片组织病理图像分析方法及系统 | |
| Hong et al. | MARS-GAN: Multilevel-Feature-Learning Attention-Aware Based Generative Adversarial Network for Removing Surgical Smoke | |
| CN114842559A (zh) | 基于多模态时间感知和注意力的视频交互动作检测方法 | |
| Sengar et al. | Multi-task learning based approach for surgical video desmoking | |
| Su et al. | Multi-stages de-smoking model based on CycleGAN for surgical de-smoking | |
| Kascenas et al. | Anomaly detection via context and local feature matching | |
| CN116563524B (zh) | 一种基于多视觉记忆单元的扫视路径预测方法 | |
| Sanderson et al. | A Study on Self-Supervised Pretraining for Vision Problems in Gastrointestinal Endoscopy | |
| CN115938546B (zh) | 一种早期胃癌图像合成方法、系统、设备及存储介质 | |
| Wang et al. | Highlight mask‐guided adaptive residual network for single image highlight detection and removal | |
| Hargreaves et al. | A generative deep learning approach for forensic facial reconstruction | |
| Shafique et al. | Creating a Forensic Database of Shoeprints from Online Shoe-Tread Photos | |
| Fitzgerald et al. | Polyp Segmentation with the FCB-SwinV2 Transformer | |
| Zhang et al. | MHA-Net: A multibranch hybrid attention network for medical image segmentation | |
| Rana | SkinCAN AI: A deep learning-based skin cancer classification and segmentation pipeline designed along with a generative model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |