CN109146820B - 实时腔镜视像增强处理方法和系统、存储介质 - Google Patents
实时腔镜视像增强处理方法和系统、存储介质 Download PDFInfo
- Publication number
- CN109146820B CN109146820B CN201810998272.3A CN201810998272A CN109146820B CN 109146820 B CN109146820 B CN 109146820B CN 201810998272 A CN201810998272 A CN 201810998272A CN 109146820 B CN109146820 B CN 109146820B
- Authority
- CN
- China
- Prior art keywords
- image
- deblurred
- training sample
- images
- clear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 161
- 238000013527 convolutional neural network Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 30
- 238000007499 fusion processing Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000013145 classification model Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种实时腔镜视像增强处理方法和系统、存储介质，该方法包括：获取腔镜系统在腔体内拍摄到的视频；确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。本发明可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种实时腔镜视像增强处理方法和系统、存储介质。
背景技术
在腔镜手术过程中，特别是在恶劣环境下，由于医生操作的问题，有可能导致腔镜镜头的大幅度晃动，进而出现了一些模糊帧，对临床医生的诊断或者手术产生一定的影响。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种实时腔镜视像增强处理方法和系统、存储介质，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，本发明提供一种实时腔镜视像增强处理方法，包括：
获取腔镜系统在腔体内拍摄到的视频；
确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；
采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。
第二方面，本发明提供一种实时腔镜视像增强处理系统，包括：
至少一个存储器；
至少一个处理器；
其中，所述至少一个存储器存储有至少一个指令模块，经配置由所述至少一个处理器执行；其中，所述至少一个指令模块包括：
获取模块，用于获取腔镜系统在腔体内拍摄到的视频；
分类模块，用于确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；
去模糊模块，用于采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
合成模块，用于将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。、
第三方面，本发明提供一种实时腔镜视像增强处理系统，包括：
至少一个存储器；
至少一个处理器；
其中，所述至少一个存储器用于存储计算机程序，所述计算机程序被所述至少一个处理器执行时可实现如下方法：
获取腔镜系统在腔体内拍摄到的视频；
确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；
采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。
第四方面，本发明提供一种计算机存储介质，其上存储有计算机程序，在所述计算机程序被处理器执行时可实现上述的方法。
(三)有益效果
本发明实施例提供了一种实时腔镜视像增强处理方法和系统、存储介质，通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高病灶定位的准确性，减轻医生的诊断或手术负担。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一实施例中实时腔镜视像增强处理方法的流程示意图；
图2示出了本发明一实施例中模糊处理的流程示意图；
图3示出了本发明一实施例中生成对抗网络的训练过程示意图；
图4示出了本发明一实施例中实时腔镜视像增强处理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一方面，本发明提供一种实时腔镜视像增强处理方法，该方法由电子设备执行，该电子设备可以是连接在腔镜系统中的腔镜镜头和显示设备之间的装置，该装置可以为腔镜系统中的一部分，也可以为独立于腔镜系统的装置。
如图1所示，该实时腔镜视像增强处理方法包括：
S101、获取腔镜系统在腔体内拍摄到的视频；
可理解的是，腔镜系统可以为腹腔镜系统、胸腔镜系统、关节腔镜系统，当然还可以是其他腔镜系统。腔镜系统中包括腔镜摄像头，通过腔镜摄像头对腔体内部进行视频拍摄，然后将视频数据传输至外部显示器上，这样医护人员可以观察到相关部位的病变情况等。
S102、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；
可理解的是，步骤S102中包括两种分类，一种是对图像所属的腔体部位进行分类，一种是将图像分为清晰图像和模糊图像。这两种分类没有先后顺序，例如，可以先对图像所属的腔体部位进行分类，再将各部位的图像分为清晰图像和模糊图像，具体过程如下：
S1021a、采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；
其中，部位分类模型可以采用图形分类网络AlexNet、GoogleNet或者其他模型。标签库中存储有腔体内各个部位的标准图像。
S1022a、采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。
其中，清晰度二分类器采用卷积神经网络，该卷积神经网络的结构中的最后一层为一个全连接层，将图像输入该卷积神经网络之后，该全连接层可以输出一个范围在[0,1]之间的概率值，当该概率值大于预设值，则该图像可以归为清晰图像，当该概率值低于或等于预设值，则该图像可以归为模糊图像。
可理解的是，卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理具有出色的表现，它具体可以包括卷积层(convolutional layer)和池化层(pooling layer)。
可理解的是，所谓的清晰图像和模糊图像是相对的概念，是通过图像作为清晰图像的概率与预设值的比较而确定的，其中预设值的大小与清晰图像和模糊图像的分界线有关，如果预设值较大，说明只有清晰度较高才能被认为是清晰图像，否则会被认为是模糊图像。
举例来说，首先通过步骤S1021a将视频中的各帧图像分为m(m为腔体内部位的数量)个文件夹，每一个文件夹中存储有一个腔体部位对应的图像，然后通过步骤1022a将每一个文件夹中的图像进行细分，确认其属于清晰图像还是模糊图像。
当然，还可以先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类，具体过程如下：
S1021b、采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；
S1021b、采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。
可理解的是，S1021b和S1022b中有关内容的解释可以参考步骤S1021a和S1022a。
举例来说，首先通过步骤S1021b将视频中的各帧图像划分为两个文件夹-清晰图像文件夹和模糊图像文件夹，然后通过步骤S1021b确定每一个文件夹中的图像所对应的腔体部位。
以上两种方式都可以确定各个部位对应的清晰图像和模糊图像，但是后一种方式的处理速度更快一点，使得整个方法的处理流程的实时性更好一些。
S103、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
也就是说，通过预先训练的生成对抗网络对每一张模糊图像进行去模糊处理，得到该张模糊图像对应的去模糊图像。
其中，生成对抗网络的训练过程包括如下步骤：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
其中，至少两个不同的卷积神经网络可以从众多的卷积神经网络中选择，例如，超分辨率卷积神经网络(简称为SRCNN)、高效亚像素卷积神经网络(ESPCN)和基于统一网络(unet)的卷积神经网络中的至少两个。当然，还可以选择其他类型的卷积神经网络。
例如，如图2所示，将第一训练样本分别输入SRCNN、ESPCN和基于unet的卷积神经网络中，SRCNN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，ESPCN在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，基于unet的卷积神经网络在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像。
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
由于通过步骤A1可以得到多张去模糊图像，因此需要采用一定的方式对这多张去模糊图像进行融合处理，得到一张去模糊图像作为第一训练样本最终对应的去模糊图像。
其中，融合处理的方式有多种，例如，采用加权的方式对多张去模糊图像进行融合。再例如，对多张去模糊图像进行逐个对准的方式，得到包括多层图像的拼接图像，然后将多层图像投影到某一坐标系中，得到多张图像，然后对这多张图像采用加权的方式进行融合。
在卷积神经网络的数量为3个的情况下，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像，上述后一种举例的融合方式可以包括如下步骤：
A21、将所述第二去模糊图像C2对准所述第一去模糊图像C1生成两层的第一拼接图像M1；
A22、将所述第三去模糊图像C3对准所述第一拼接图像M1生成三层的第二拼接图像M2；
A23、将所述三层的第二拼接图像M2投影到全局坐标系中，得到三张投影图像；
A24、采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
当然，还可以存在其他的方式对图像进行融合处理，得到第一训练样本最终对应的去模糊图像。
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1。
其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。
其中，总损失值的计算过程可以包括如下过程：
A31、采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；
A32、将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。
举例来说，损失函数分别记为d_loss1、d_loss2、d_loss3，利用这三个损失函数分别计算第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值，然后将得到的三个损失值求和，得到总损失值。
举例来说，判别器对去模糊处理后的图像进行判别的概率在[0,1]之间，如果概率小于所定阈值，则代表去模糊图像相对于同部位的清晰图像差距较大，不能将第一训练样本对应的去模糊图像认定为清晰图像，所以需要对去模糊处理过程中的去模糊参数和/或融合过程中的融合参数进行调整，以降低总损失值，然后采用调整后的去模糊参数进行去模糊处理和/或采用调整后的融合参数进行融合处理再次得到第一训练样本对应的去模糊图像，进而再次判断该去模糊图像是否为清晰图像，不断循环，直至得到的去模糊图像可以认为是清晰图像为止
其中，如图3所示，生成对抗网络可包括两个子网络-去模糊子网络和判别子网络，其中的去模糊子网络可以执行上述步骤A1和步骤A2，判别子网络可以执行上述步骤A3和步骤A4，参数调整的过程也是调整去模糊子网络中的网络参数的过程。生成对抗网络作为一种深度学习模型，是近年来针对复杂分布上无监督学习最具前景的方法之一。通过去模糊子网络(也可以称为生成模型，Generative Model)和判别子网络(也可以称为判别模型，Discriminative Model)的互相博弈学习，能产生相当好的输出结果。去模糊子网络和判别子网络并不一定都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实际应用中一般均使用深度神经网络作为去模糊子网络和判别子网络，一个好的生成对抗网络需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
S104、将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。
由于去模糊图像为清晰图像，因此将去模糊图像和原始的清晰图像按照时间顺序合成之后，便可以得到原始视频对应的清晰视频，该清晰视频是将原始视频中的模糊帧进行一定处理后成为清晰帧，从而使得整个视频都比较清晰。
本发明提供的实时腔镜视像增强处理方法，通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高病灶定位的准确性，减轻医生的诊断或手术负担。
第二方面，本发明还提供一种实时腔镜视像增强处理系统，该系统包括：至少一个存储器；至少一个处理器；其中，所述至少一个存储器存储有至少一个指令模块，经配置由所述至少一个处理器执行；
其中，如图4所示，所述至少一个指令模块包括：
获取模块，用于获取腔镜系统在腔体内拍摄到的视频；
分类模块，用于确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；
去模糊模块，用于采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
合成模块，用于将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。
在一些实施例中，分类模块具体用于：
采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；
采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。
在一些实施例中，分类模块具体用于：
采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；
采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。
在一些实施例中，所述系统还包括：
训练模块，用于预先训练得到所述生成对抗网络；
其中，训练模块包括：
去模糊单元，用于执行A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
判别单元，用于执行A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：若是，则所述生成对抗网络的训练过程结束；否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。
在一些实施例中，所述至少两个不同的卷积神经网络包括超分辨率卷积神经网络、高效亚像素卷积神经网络和基于统一网络的卷积神经网络中的至少两个。
在一些实施例中，所述卷积神经网络的数量为3个，去模糊单元采用三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；
对应的，所述去模糊单元对所述至少两帧去模糊图像进行融合处理的过程包括：将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
在一些实施例中，判别单元计算第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值的过程包括：采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。
可理解的是，这里提供的实时腔镜视像增强处理系统与第一方面提供的实时腔镜视像增强处理方法相对应，其有关内容的解释、举例、实施方式、有益效果等部分可以参考实时腔镜视像增强处理系统中的相应部分，这里不再赘述。
第三方面，本发明提供一种实时腔镜视像增强处理系统，该系统包括：
至少一个存储器；
至少一个处理器；
其中，所述至少一个存储器用于存储计算机程序，所述计算机程序被所述至少一个处理器执行时可实现如下方法：
获取腔镜系统在腔体内拍摄到的视频；
确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；
采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。
在一些实施例中，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：
采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；
采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。
在一些实施例中，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：
采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；
采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。
在一些实施例中，所述计算机程序被所述至少一个处理器执行时还可以实现如下方法：
预先训练得到所述生成对抗网络；
其中，所述生成对抗网络的训练过程具体包括：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：若是，则所述生成对抗网络的训练过程结束；否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。
在一些实施例中，所述至少两个不同的卷积神经网络包括超分辨率卷积神经网络、高效亚像素卷积神经网络和基于统一网络的卷积神经网络中的至少两个。
在一些实施例中，所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；
对应的，所述对所述至少两帧去模糊图像进行融合处理，包括：
将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；
将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；
将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；
采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
在一些实施例中，所述将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，包括：
采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；
将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。
在一些实施例中，实时腔镜视像增强处理系统的硬件除了上述处理器设存储器外，还可以包括显示器，显示器用来显示清晰视频。
可理解的是，这里提供的实时腔镜视像增强处理系统与第一方面提供的实时腔镜视像增强处理方法相对应，其有关内容的解释、举例、实施方式、有益效果等部分可以参考实时腔镜视像增强处理系统中的相应部分，这里不再赘述。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现第一方面提供的方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种实时腔镜视像增强处理方法，其特征在于，该方法由电子设备执行，该方法包括：
获取腔镜系统在腔体内拍摄到的视频；
确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类；
采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频；
还包括：预先训练得到所述生成对抗网络；
其中，所述生成对抗网络的训练过程具体包括：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位；
所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；
对应的，所述对所述至少两帧去模糊图像进行融合处理，包括：
将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；
将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；
将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；
采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：
采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；
采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。
3.根据权利要求1所述的方法，其特征在于，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：
采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；
采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。
4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括超分辨率卷积神经网络、高效亚像素卷积神经网络和基于统一网络的卷积神经网络中。
5.根据权利要求1所述的方法，其特征在于，所述将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，包括：
采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；
将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。
6.一种实时腔镜视像增强处理系统，其特征在于，包括：
至少一个存储器；
至少一个处理器；
其中，所述至少一个存储器存储有至少一个指令模块，经配置由所述至少一个处理器执行；其中，所述至少一个指令模块包括：
获取模块，用于获取腔镜系统在腔体内拍摄到的视频；
分类模块，用于确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类；
去模糊模块，用于采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
还包括：预先训练得到所述生成对抗网络；
其中，所述生成对抗网络的训练过程具体包括：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位；
合成模块，用于将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频；
所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；
对应的，所述对所述至少两帧去模糊图像进行融合处理，包括：
将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；
将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；
将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；
采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
7.一种实时腔镜视像增强处理系统，其特征在于，包括：
至少一个存储器；
至少一个处理器；
其中，所述至少一个存储器用于存储计算机程序，所述计算机程序被所述至少一个处理器执行时可实现如下方法：
获取腔镜系统在腔体内拍摄到的视频；
确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类；
采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；
还包括：预先训练得到所述生成对抗网络；
其中，所述生成对抗网络的训练过程具体包括：
A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；
A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；
A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：
若是，则所述生成对抗网络的训练过程结束；
否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位；
将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频；
所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；
对应的，所述对所述至少两帧去模糊图像进行融合处理，包括：
将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；
将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；
将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；
采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时可实现如权利要求1～5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810998272.3A CN109146820B (zh) | 2018-08-29 | 2018-08-29 | 实时腔镜视像增强处理方法和系统、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810998272.3A CN109146820B (zh) | 2018-08-29 | 2018-08-29 | 实时腔镜视像增强处理方法和系统、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109146820A CN109146820A (zh) | 2019-01-04 |
| CN109146820B true CN109146820B (zh) | 2020-10-16 |
Family
ID=64829248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810998272.3A Active CN109146820B (zh) | 2018-08-29 | 2018-08-29 | 实时腔镜视像增强处理方法和系统、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146820B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415191A (zh) * | 2019-07-31 | 2019-11-05 | 西安第六镜网络科技有限公司 | 一种基于连续视频帧的图像去模糊算法 |
| CN110648291B (zh) * | 2019-09-10 | 2023-03-03 | 武汉科技大学 | 一种基于深度学习的无人机运动模糊图像的复原方法 |
| CN111882521A (zh) * | 2020-06-21 | 2020-11-03 | 浙江大学山东工业技术研究院 | 一种细胞涂片的图像处理方法 |
| CN111882522A (zh) * | 2020-06-21 | 2020-11-03 | 浙江大学山东工业技术研究院 | 一种细胞涂片的图像处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150049585A (ko) * | 2013-10-30 | 2015-05-08 | 삼성전자주식회사 | 용종 검출 장치 및 그 동작방법 |
| CN106709516B (zh) * | 2016-12-19 | 2020-05-12 | 电子科技大学 | 一种基于朴素贝叶斯方法的模糊图像检测方法 |
| CN107895349B (zh) * | 2017-10-23 | 2021-06-29 | 电子科技大学 | 一种基于合成的内窥镜视频去模糊方法 |
| CN108416752B (zh) * | 2018-03-12 | 2021-09-07 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
-
2018
- 2018-08-29 CN CN201810998272.3A patent/CN109146820B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109146820A (zh) | 2019-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146820B (zh) | 实时腔镜视像增强处理方法和系统、存储介质 | |
| CN115442515B (zh) | 图像处理方法和设备 | |
| CN109284738B (zh) | 不规则人脸矫正方法和系统 | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| US6757571B1 (en) | System and process for bootstrap initialization of vision-based tracking systems | |
| WO2020199831A1 (zh) | 图像处理模型的训练方法、图像处理方法、网络设备及存储介质 | |
| CN109993707B (zh) | 图像去噪方法和装置 | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN112446380A (zh) | 图像处理方法和装置 | |
| CN108876813B (zh) | 用于视频中物体检测的图像处理方法、装置及设备 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN109171605B (zh) | 带目标定位和腔镜视像增强处理功能的智能边缘计算系统 | |
| CN112102185B (zh) | 基于深度学习的图像去模糊方法及装置、电子设备 | |
| CN113076685A (zh) | 图像重建模型的训练方法、图像重建方法及其装置 | |
| CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
| CN112819875B (zh) | 单目深度估计的方法、装置及电子设备 | |
| JPWO2020194662A1 (ja) | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体、情報処理方法及び学習済みモデルの製造方法 | |
| KR102262671B1 (ko) | 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체 | |
| CN111898571A (zh) | 动作识别系统及方法 | |
| Greco et al. | Benchmarking deep networks for facial emotion recognition in the wild | |
| CN115578286A (zh) | 高动态范围的混合曝光成像方法和装置 | |
| KR102354681B1 (ko) | 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램 | |
| JP2010250419A (ja) | 目の様態を検出する画像処理装置 | |
| CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
| Zou et al. | Image haze removal algorithm using a logarithmic guide filtering and multi-channel prior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |