CN117575946A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN117575946A CN117575946A CN202311362638.5A CN202311362638A CN117575946A CN 117575946 A CN117575946 A CN 117575946A CN 202311362638 A CN202311362638 A CN 202311362638A CN 117575946 A CN117575946 A CN 117575946A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- defogging
- image processing
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000010606 normalization Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 72
- 238000012360 testing method Methods 0.000 claims description 27
- 238000012795 verification Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 239000000779 smoke Substances 0.000 abstract description 15
- 238000000746 purification Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供的一种图像处理方法、装置、电子设备和计算机可读存储介质。其中，该方法应用于医用内窥镜图像处理系统，包括：获取目标图像；将目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层；信息层用于提取去雾模型中卷积块输出的特征；通过简单的去雾模型实现内窥镜图像的烟雾净化，加快了图像处理速度，提升了用户体验。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
医用内窥镜目前广泛应用于人体微创手术，是一种重要的医疗器械。使用时，内窥镜通过人体的天然孔洞或微创切口进入人体内，医生通过观察CMOS相机传输的图像，判断病灶区域。然而由于手术过程中，电刀灼烧组织会产生非均匀烟雾模糊画面，影响手术进程，如何实现医用内窥镜图像快速去雾成为亟待解决的问题。
现有技术中公开了一些基于深度神经网络的内窥镜图像烟雾净化方法，但是，现有技术中的去雾处理过程较为繁琐，网络的结构也较为复杂，图像处理的速度较慢，用户体验不佳。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理方法、装置、电子设备和计算机可读存储介质，通过简单的去雾模型实现内窥镜图像的烟雾净化，加快了图像处理速度，提升了用户体验。
第一方面，本发明提供的一种图像处理方法，应用于医用内窥镜图像处理系统，图像处理方法包括：获取目标图像；将目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层；信息层用于提取去雾模型中卷积块输出的特征。
在本发明一些较佳的实施例中，去雾模型通过下述步骤训练完成：获取无雾图像和第一有雾图像；将无雾图像输入预先设置的大气散射模型中，输出第二有雾图像，将多组第二有雾图像和对应的无雾图像作为训练样本；将训练样本按照预先设置的比例分为训练集和验证集；基于训练集迭代训练基础模型；其中，基础模型为基于编码、解码结构的卷积神经网络模型；基础模型包括多个实例归一化层和至少一个信息层；信息层用于提取基础模型中卷积块输出的特征；将训练了预设次数的基础模型作为中间模型；基于无雾图像和第一有雾图像测试中间模型；如果测试通过，将中间模型作为去雾模型。
在本发明一些较佳的实施例中，将无雾图像输入预先设置的大气散射模型中，输出第二有雾图像，将多组第二有雾图像和对应的无雾图像作为训练样本的步骤，包括：将无雾图像归一化处理；将归一化处理后的无雾图像输入大气散射模型后，通过大气散射模型选取图像中心点，设置参数范围，输出第二有雾图像；将多组第二有雾图像和对应的无雾图像作为训练样本。
在本发明一些较佳的实施例中，在基于训练集迭代训练基础模型的步骤之后，方法还包括：在每一次迭代后，基于验证集确定经过迭代训练的基础模型的损失值；如果连续多个损失值的差值小于预设的差值阈值，将经过迭代训练的基础模型作为中间模型。
在本发明一些较佳的实施例中，在基于无雾图像和第一有雾图像测试中间模型的步骤之后，方法还包括：如果测试不通过，调整基础模型的超参数；基于训练集继续迭代训练调整了超参数的基础模型，直至测试通过。
在本发明一些较佳的实施例中，基础模型包括编码路径和解码路径；编码路径包括依次连接的五个特征提取单元；解码路径包括依次连接的四个特征还原单元和一个激活层；其中，每个特征还原单元均连接一个信息层。
第二方面，本发明提供的一种图像处理装置，应用于医用内窥镜图像处理系统，图像处理装置包括：目标图像采集模块，用于获取目标图像；图像去雾模块，用于将目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层；信息层用于提取去雾模型中卷积块输出的特征。
在本发明一些较佳的实施例中，图像处理装置还包括：模型训练模块，用于获取无雾图像和第一有雾图像；将无雾图像输入预先设置的大气散射模型中，输出第二有雾图像，将多组第二有雾图像和对应的无雾图像作为训练样本；将训练样本按照预先设置的比例分为训练集和验证集；基于训练集迭代训练基础模型；其中，基础模型为基于编码、解码结构的卷积神经网络模型；基础模型包括多个实例归一化层和至少一个信息层；信息层用于提取基础模型中卷积块输出的特征；将训练了预设次数的基础模型作为中间模型；基于无雾图像和第一有雾图像测试中间模型；如果测试通过，将中间模型作为去雾模型。
第三方面，本发明提供的一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述任一项的图像处理方法。
第四方面，本发明提供的一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述任一项的图像处理方法。
本发明实施例带来了以下有益效果：
本发明提供的一种图像处理方法、装置、电子设备和计算机可读存储介质，该方法应用于医用内窥镜图像处理系统，包括：获取目标图像；将目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层；信息层用于提取去雾模型中卷积块输出的特征；通过简单的去雾模型实现内窥镜图像的烟雾净化，加快了图像处理速度，提升了用户体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种基于深度神经网络的内窥镜图像烟雾净化方法的流程图；
图2为现有技术中一种基于图像结构相似约束的CycleGAN内窥镜图像去雾方法的流程图；
图3为本发明实施例提供的一种图像处理方法的流程图；
图4为本发明实施例提供的目标图像示意图；
图5为本发明实施例提供的清晰图像的示意图；
图6为本发明实施例提供了一种去雾模型的训练流程图；
图7为本发明实施例提供的一种基础模型的结构示意图；
图8为本发明实施例提供的一种图像处理装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
图标：700-特征提取单元；711-第一卷积层；710-第二卷积层；720-特征块；800-特征还原单元；810-上采样层；820-卷积块；910-激活层；950-信息层；81-目标图像采集模块；82-图像去雾模块；900-存储器；901-处理器；902-总线；903-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
医用内窥镜目前广泛应用于人体微创手术，是一种重要的医疗器械。使用时，内窥镜通过人体的天然孔洞或微创切口进入人体内，医生通过观察CMOS(一种使用金属氧化物半导体图像传感器的相机)相机传输的图像，判断病灶区域。然而由于手术过程中，电刀灼烧组织会产生非均匀烟雾模糊画面，影响手术进程，如何实现医用内窥镜图像快速去雾成为亟待解决的问题。为了解决这一问题，现有技术公开了一些基于深度学习技术的算法。
例如专利文献CN113066026 B，其公开了基于深度神经网络的内窥镜图像烟雾净化方法，参见图1所示的现有技术中一种基于深度神经网络的内窥镜图像烟雾净化方法的流程图，主要步骤为：采用Render(将三维图像转换为二维图像的过程)模拟手术过程中烟雾出现的各种情况随机对腹腔镜图像加入烟雾得到模型的训练、测试和验证数据集；在编码器每一层加入拉普拉斯图像金字塔融合图像，将训练图像输入编码器提取高维特征；在解码器后五层加入CBAM(Convolutional Block Attention Module，一种结合了空间(spatial)和通道(channel)的注意力机制模块)注意力机制，将编码器部分提取到的图像特征通过解码器还原到输入图像尺寸；将包含烟雾的合成图像作为训练集、将原始图像作为训练集标签送入改进的U Net网络中进行训练，通过反向传播使得网络各层获得相应参数。
例如专利文献CN116309114 A，其公开了一种基于图像结构相似约束的CycleGAN(一种用于图像到图像转换的深度学习算法)内窥镜图像去雾方法，参见图2所示的现有技术中一种基于图像结构相似约束的CycleGAN内窥镜图像去雾方法的流程图，主要步骤为：步骤一：数据标注，采集内窥镜图片数据，并人工标注有烟雾图片和无烟雾图片；步骤二：CycleGAN图像风格转换，CycleGAN算法模块可以将有雾的图片转换为清晰无烟雾的图片；但去雾后的图片存在手术器械变形、缺失等问题。步骤三：添加暗通道先验去雾的结构化约束，使用暗通道先验去雾算法可以得到去雾后清晰图片的结构信息，在CycleGAN算法的损失函数中添加图片结构相似约束，解决去雾后图像中手术器械变形、缺失问题。
然而现有技术中的去雾处理过程较为繁琐，网络的结构也较为复杂，一定程度上影响了图像处理的速度。针对上述问题，本发明提出一种轻量级编码、解码结构的去雾网络，网络中设置了信息层以补充解码过程中损失的特征，以及选取InstanceNormalization(实例归一化)加快模型收敛速度、避免归一化过程中引入噪声，实现图像快速去雾的同时保证了去雾后图像的细节特征。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
实施例一
本发明实施例提供了一种图像处理方法，应用于医用内窥镜图像处理系统，参见图3所示的本发明实施例提供的一种图像处理方法的流程图，该图像处理方法包括：
步骤S102，获取目标图像；
具体的，采集医用内窥镜书中获得的有雾图像作为目标图像，通常术中采用摄像设备对手术过程进行视频拍摄，将手术视频中的有雾片段处理为图片，可以通过设置每间隔10帧输出一张图片的方法获取目标图像。
步骤S104，将目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层950；信息层950用于提取去雾模型中卷积块820输出的特；
具体的，将有雾图像输入预先训练完成的去雾模型中，就输出了清晰图像，完成图像去雾的工作。去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层950；信息层950用于提取去雾模型中卷积块820输出的特。
具体的，实例归一化层是对单张图片的单个通道进行归一化操作，在图像去雾任务中，单张图片的每个像素点都很重要，因此相较于常规的Batch Normalization，Instance Normalization可以更好地保证单张图片之间的独立性，避免在归一化过程中引入噪声，同时能够实现减少训练过程中的参数，加快模型收敛速度；将信息层950的输出与最后一次上采样操作后的结果按位相加，可以达到补充解码过程中损失的特征的效果，实现图像快速去雾的同时保证了去雾后图像的细节特征；参见图4所示的本发明实施例提供的目标图像示意图和图5所示的本发明实施例提供的清晰图像的示意图，可见，训练完成的去雾模型的去雾效果较佳，叫号的保留了去雾后的图像细节。
本发明提供的一种图像处理方法，该方法应用于医用内窥镜图像处理系统，包括：获取目标图像；将目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层；信息层用于提取去雾模型中卷积块输出的特征；通过简单的去雾模型实现内窥镜图像的烟雾净化，加快了图像处理速度，提升了用户体验。
实施例二
在上述实施例的基础上，本发明实施例提供了一种去雾模型的训练流程图，参见图6所示的本发明实施例提供了一种去雾模型的训练流程图，该训练流程包括：
步骤S202，获取无雾图像和第一有雾图像；
具体的，采集医用内窥镜书中获得的无雾图像和第一有雾图像，通常术中采用摄像设备对手术过程进行视频拍摄，将手术视频中的视频片段处理为图片，可以通过设置每间隔10帧输出一张图片的方法获取目标图像。
步骤S204，将无雾图像归一化处理；
具体的，图像归一化是指将图像的像素值缩放到一个特定的范围内，通常是[0,1]或[-1,1]。这样做可以使图像的像素值具有相同的尺度，从而使模型更容易训练。常见的归一化方法有：最大最小归一化、Z-score(一种数据预处理方法)标准化、均值归一化等。
步骤S206，将归一化处理后的无雾图像输入大气散射模型后，通过大气散射模型选取图像中心点，设置参数范围，输出第二有雾图像；
具体的，利用大气散射模型对采集得到的无雾图像进行合成操作，然后选取中心点合成雾的方式，设置参数范围，如大气光值A的范围设置为(0.8,1.0)，雾的浓度范围设置为(0.03,0.075)，雾化中心点为所述归一化图像的中点，根据所述参数范围随机选取数值，将归一化图像和参数代入大气散射模型，得到合成图像，作为第二有无图像。
步骤S208，将多组第二有雾图像和对应的无雾图像作为训练样本；
具体的，将对应的清晰的无雾图像和第二有雾图像作为训练样本。
步骤S210，将训练样本按照预先设置的比例分为训练集和验证集；
具体的，一般按照8:2的比例将训练样本分为训练集和验证集，当然也可以按照其他比例，在实践中灵活调整。
步骤S212，基于训练集迭代训练基础模型；其中，基础模型为基于编码、解码结构的卷积神经网络模型；基础模型包括多个实例归一化层和至少一个信息层950；信息层950用于提取基础模型中卷积块820输出的特征；
具体的，将训练集中的全部数据在基础模型中训练一次记为迭代一次。
步骤S214，在每一次迭代后，基于验证集确定经过迭代训练的基础模型的损失值；
步骤S216，如果连续多个损失值的差值小于预设的差值阈值，将经过迭代训练的基础模型作为中间模型；
具体的，本发明实施例采用早停训练法，防止模型过拟合；通常当连续50次验证集计算的损失值不再下降时，停止训练，将停止训练的模型作为中间模型。
步骤S218，将训练了预设次数的基础模型作为中间模型；
具体的，通常情况下，将设置迭代次数，可以是500次也可以是1000次，将达到训练次数的模型作为中间模型。
步骤S220，基于无雾图像和第一有雾图像测试中间模型；
具体的，将无雾图像和第一有雾图像作为测试集，对中间模型进行测试，计算损失值和准确度。需要注意的是在书中的多个时间段都会进行图像的采集，但是将无雾图像和第一有雾图像匹配的时候选取采集时间较为接近的图像进行匹配，可以是一分钟以内的时间，避免将术前的无雾图像和术后的第一有雾图像进行匹配，因为术前、术后可能会有组织的切除和组织的修复，造成测试效果不佳的问题。
步骤S222，如果测试通过，将中间模型作为去雾模型；
具体的，设置测试通过的条件，可以是第一有雾图像经过模型处理后的图像与匹配的无雾图像的相似度达到80％，也可以是多组测试样本的相似度有80％超过预设的准确率阈值，还可以是由有经验的技术人员人工确定处理后的图像具有较好的效果。
步骤S224，如果测试不通过，调整基础模型的超参数；
具体的，模型的超参数包括卷积层中卷积核打大小，卷积层的步长，丢弃层的丢弃率等。
步骤S226，基于训练集继续迭代训练调整了超参数的基础模型，直至测试通过。
进一步的，本发明实施例提供了一种基础模型，参见图7所示的本发明实施例提供的一种基础模型的结构示意图，基础模型包括编码路径和解码路径；编码路径包括依次连接的五个特征提取单元700；解码路径包括依次连接的四个特征还原单元800和一个激活层910；其中，每个特征还原单元800均连接一个信息层950。
具体的，网络结构具体包括：去雾模型是基于编码、解码结构的卷积神经网络，编码路径中，首先是3×3大小，步长为1的第一卷积层711和特征块720，随即是四组3×3大小，步长为2的第二卷积层710和特征块720组成的特征提取单元700，其中，特征块720是由两层3×3大小，步长为2的卷积层以及丢弃概率为0.1的丢弃层组成；“⊕”表示按相位加，解码路径中，主要是上采样层810和卷积块820完成的特征还原操作，其中，卷积块820包括3×3大小，步长为1的卷积层和1×1大小的卷积层，同时在每次卷积块820后设置信息层950，以达到补充上采样过程中特征损失的目的，最后一次上采样操作，再经过3×3大小，步长为1的第一卷积与信息层950的输出按位相加后的特征，经过激活层910得到模型输出。特别地，除原始输入和最终输出外，在编码路径终中的特征提取单元700的输出特征通道数分别为16、32、64、128、256；在解码路径，特征还原单元800的输出特征通道数分别为128、64、32、16。本实施例中，去雾网络的归一化层均使用Instance Normalization，对单张图片的单个通道进行归一化操作，避免在归一化过程中引入噪声，而仅利用图片本身的信息对全局信息进行整合，稳定训练过程。
实施例三
在上述实施例的基础上，本发明实施例提供了一种图像处理装置，应用于医用内窥镜图像处理系统，参见图8所示的本发明实施例提供的一种图像处理装置的结构示意图，图像处理装置包括：
目标图像采集模块81，用于获取目标图像；
图像去雾模块82，用于将目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，去雾模型为基于编码、解码结构的卷积神经网络模型；去雾模型包括多个实例归一化层和至少一个信息层950；信息层950用于提取去雾模型中卷积块820输出的特征。
在本发明一些较佳的实施例中，图像处理装置还包括：模型训练模块，用于获取无雾图像和第一有雾图像；将无雾图像输入预先设置的大气散射模型中，输出第二有雾图像，将多组第二有雾图像和对应的无雾图像作为训练样本；将训练样本按照预先设置的比例分为训练集和验证集；基于训练集迭代训练基础模型；其中，基础模型为基于编码、解码结构的卷积神经网络模型；基础模型包括多个实例归一化层和至少一个信息层950；信息层950用于提取基础模型中卷积块820输出的特征；将训练了预设次数的基础模型作为中间模型；基于无雾图像和第一有雾图像测试中间模型；如果测试通过，将中间模型作为去雾模型。
在本发明一些较佳的实施例中，模型训练模块，用于将无雾图像归一化处理；将归一化处理后的无雾图像输入大气散射模型后，通过大气散射模型选取图像中心点，设置参数范围，输出第二有雾图像；将多组第二有雾图像和对应的无雾图像作为训练样本。
在本发明一些较佳的实施例中，模型训练模块，还用于在每一次迭代后，基于验证集确定经过迭代训练的基础模型的损失值；如果连续多个损失值的差值小于预设的差值阈值，将经过迭代训练的基础模型作为中间模型。
在本发明一些较佳的实施例中，模型训练模块，还用于如果测试不通过，调整基础模型的超参数；基于训练集继续迭代训练调整了超参数的基础模型，直至测试通过。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像处理装置的具体工作过程，可以参考前述的图像处理方法的实施例中的对应过程，在此不再赘述。
实施例四
本发明实施例还提供了一种电子设备，用于运行图像处理方法；参见图9所示的本发明实施例提供的一种电子设备的结构示意图，该电子设备包括存储器900和处理器901，其中，存储器900用于存储一条或多条计算机指令，一条或多条计算机指令被处理器901执行，以实现上述图像处理方法。
进一步地，图9所示的电子设备还包括总线902和通信接口903，处理器901、通信接口903和存储器900通过总线902连接。
其中，存储器900可能包含高速随机存取存储器900(RAM，Random AccessMemory)，也可能还包括非不稳定的存储器900(non-volatile memory)，例如至少一个磁盘存储器900。通过至少一个通信接口903(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线902可以是ISA总线902、PCI总线902或EISA总线902等。总线902可以分为地址总线902、数据总线902、控制总线902等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线902或一种类型的总线902。
处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器901，包括中央处理器901(Central Processing Unit，简称CPU)、网络处理器901(Network Processor，简称NP)等；还可以是数字信号处理器901(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器901可以是微处理器901或者该处理器901也可以是任何常规的处理器901等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器901执行完成，或者用译码处理器901中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器900，闪存、只读存储器900，可编程只读存储器900或者电可擦写可编程存储器900、寄存器等本领域成熟的存储介质中。该存储介质位于存储器900，处理器901读取存储器900中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器901调用和执行时，计算机可执行指令促使处理器901实现上述业务推荐方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的图像处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器900(ROM，Read-Only Memory)、随机存取存储器900(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像处理方法，其特征在于，应用于医用内窥镜图像处理系统，所述图像处理方法包括：
获取目标图像；
将所述目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，所述去雾模型为基于编码、解码结构的卷积神经网络模型；所述去雾模型包括多个实例归一化层和至少一个信息层；所述信息层用于提取所述去雾模型中卷积块输出的特征。
2.根据权利要求1所述的图像处理方法，其特征在于，所述去雾模型通过下述步骤训练完成：
获取无雾图像和第一有雾图像；
将所述无雾图像输入预先设置的大气散射模型中，输出第二有雾图像，将多组所述第二有雾图像和对应的所述无雾图像作为训练样本；
将所述训练样本按照预先设置的比例分为训练集和验证集；
基于所述训练集迭代训练基础模型；其中，所述基础模型为基于编码、解码结构的卷积神经网络模型；所述基础模型包括多个实例归一化层和至少一个信息层；所述信息层用于提取所述基础模型中卷积块输出的特征；
将训练了预设次数的所述基础模型作为中间模型；
基于所述无雾图像和所述第一有雾图像测试所述中间模型；
如果测试通过，将所述中间模型作为所述去雾模型。
3.根据权利要求2所述的图像处理方法，其特征在于，将所述无雾图像输入预先设置的大气散射模型中，输出第二有雾图像，将多组所述第二有雾图像和对应的所述无雾图像作为训练样本的步骤，包括：
将所述无雾图像归一化处理；
将归一化处理后的所述无雾图像输入所述大气散射模型后，通过所述大气散射模型选取图像中心点，设置参数范围，输出所述第二有雾图像；
将多组所述第二有雾图像和对应的所述无雾图像作为训练样本。
4.根据权利要求2所述的图像处理方法，其特征在于，在基于所述训练集迭代训练基础模型的步骤之后，所述方法还包括：
在每一次迭代后，基于所述验证集确定经过迭代训练的所述基础模型的损失值；
如果连续多个所述损失值的差值小于预设的差值阈值，将经过迭代训练的所述基础模型作为所述中间模型。
5.根据权利要求2所述的图像处理方法，其特征在于，在基于所述无雾图像和所述第一有雾图像测试所述中间模型的步骤之后，所述方法还包括：
如果测试不通过，调整所述基础模型的超参数；
基于所述训练集继续迭代训练调整了所述超参数的所述基础模型，直至测试通过。
6.根据权利要求2所述的图像处理方法，其特征在于，所述基础模型包括编码路径和解码路径；
所述编码路径包括依次连接的五个特征提取单元；
所述解码路径包括依次连接的四个特征还原单元和一个激活层；其中，每个特征还原单元均连接一个信息层。
7.一种图像处理装置，其特征在于，应用于医用内窥镜图像处理系统，所述图像处理装置包括：
目标图像采集模块，用于获取目标图像；
图像去雾模块，用于将所述目标图像输入预先训练完成的去雾模型中，输出清晰图像；其中，所述去雾模型为基于编码、解码结构的卷积神经网络模型；所述去雾模型包括多个实例归一化层和至少一个信息层；所述信息层用于提取所述去雾模型中卷积块输出的特征。
8.根据权利要求7所述的图像处理装置，其特征在于，所述装置还包括：
模型训练模块，用于获取无雾图像和第一有雾图像；将所述无雾图像输入预先设置的大气散射模型中，输出第二有雾图像，将多组所述第二有雾图像和对应的所述无雾图像作为训练样本；将所述训练样本按照预先设置的比例分为训练集和验证集；基于所述训练集迭代训练基础模型；其中，所述基础模型为基于编码、解码结构的卷积神经网络模型；所述基础模型包括多个实例归一化层和至少一个信息层；所述信息层用于提取所述基础模型中卷积块输出的特征；将训练了预设次数的所述基础模型作为中间模型；基于所述无雾图像和所述第一有雾图像测试所述中间模型；如果测试通过，将所述中间模型作为所述去雾模型。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述权利要求1至6任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至6任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362638.5A CN117575946A (zh) | 2023-10-19 | 2023-10-19 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362638.5A CN117575946A (zh) | 2023-10-19 | 2023-10-19 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117575946A true CN117575946A (zh) | 2024-02-20 |
Family
ID=89894378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311362638.5A Pending CN117575946A (zh) | 2023-10-19 | 2023-10-19 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117575946A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
| CN109903232A (zh) * | 2018-12-20 | 2019-06-18 | 江南大学 | 一种基于卷积神经网络的图像去雾方法 |
| CN113066026A (zh) * | 2021-03-26 | 2021-07-02 | 重庆邮电大学 | 基于深度神经网络的内窥镜图像烟雾净化方法 |
| CN113744178A (zh) * | 2020-08-06 | 2021-12-03 | 西北师范大学 | 一种基于卷积注意力模型的皮肤病变分割方法 |
| CN114998147A (zh) * | 2022-06-15 | 2022-09-02 | 智联云大数据科技南京有限公司 | 一种数字孪生下的交通图像加雾方法 |
| CN115984550A (zh) * | 2022-12-28 | 2023-04-18 | 沈阳化工大学 | 一种眼睛虹膜色素斑纹理自动分割方法 |
| CN116228550A (zh) * | 2022-11-25 | 2023-06-06 | 辽宁工程技术大学 | 一种基于生成对抗网络的图像自增强去雾算法 |
-
2023
- 2023-10-19 CN CN202311362638.5A patent/CN117575946A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
| CN109903232A (zh) * | 2018-12-20 | 2019-06-18 | 江南大学 | 一种基于卷积神经网络的图像去雾方法 |
| CN113744178A (zh) * | 2020-08-06 | 2021-12-03 | 西北师范大学 | 一种基于卷积注意力模型的皮肤病变分割方法 |
| CN113066026A (zh) * | 2021-03-26 | 2021-07-02 | 重庆邮电大学 | 基于深度神经网络的内窥镜图像烟雾净化方法 |
| CN114998147A (zh) * | 2022-06-15 | 2022-09-02 | 智联云大数据科技南京有限公司 | 一种数字孪生下的交通图像加雾方法 |
| CN116228550A (zh) * | 2022-11-25 | 2023-06-06 | 辽宁工程技术大学 | 一种基于生成对抗网络的图像自增强去雾算法 |
| CN115984550A (zh) * | 2022-12-28 | 2023-04-18 | 沈阳化工大学 | 一种眼睛虹膜色素斑纹理自动分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张冲冲: "基于单目内窥镜图像的三维显示算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, 15 October 2023 (2023-10-15) * |
| 林金朝 等: "基于改进U-Net网络的内窥镜图像烟雾净化算法", 《中国生物医学工程学报》, 30 June 2021 (2021-06-30) * |
| 钟跃崎 编著: "《人工智能技术原理与应用》", 30 September 2020, 上海：东华大学出版社, pages: 237 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859233B (zh) | 图像处理、图像处理模型的训练方法及系统 | |
| CN111986181B (zh) | 基于双注意力机制的血管内支架图像分割方法和系统 | |
| CN111932533B (zh) | Ct图像椎骨定位方法、装置、设备及介质 | |
| CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| CN107644225A (zh) | 肺部病灶识别方法、装置和实现装置 | |
| CN114638767B (zh) | 基于生成对抗网络的腹腔镜影像除烟方法 | |
| CN109390053B (zh) | 眼底图像处理方法、装置、计算机设备和存储介质 | |
| CN114092450B (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| Gajera et al. | CT-scan denoising using a charbonnier loss generative adversarial network | |
| CN110689551B (zh) | 四肢骨分割方法、装置、电子设备及可读存储介质 | |
| US20220327692A1 (en) | Method and apparatus for processing image | |
| CN112950552B (zh) | 一种基于卷积神经网络的肋骨分割标记方法及系统 | |
| CN111738992B (zh) | 肺部病灶区域提取方法、装置、电子设备和存储介质 | |
| CN114372962B (zh) | 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统 | |
| CN116152500A (zh) | 一种基于深度学习的全自动牙齿cbct图像分割方法 | |
| JP2022521136A (ja) | 歯の骨年齢を決定するための装置、方法及び命令を記録した記録媒体 | |
| CN117575946A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN112861588B (zh) | 一种活体检测的方法、装置 | |
| CN113140291A (zh) | 图像分割方法、装置、模型训练方法及电子设备 | |
| CN116051470A (zh) | 一种基于数据增强的肝脏ct术后肿瘤分割方法及装置 | |
| CN116596861A (zh) | 一种牙面病灶的识别方法、系统、设备及存储介质 | |
| JP2024031118A (ja) | 画像処理装置及びその作動方法並びに内視鏡システム | |
| CN109829921A (zh) | 一种头部的ct图像的处理方法及其系统、设备、存储介质 | |
| CN115546142A (zh) | 基于深度学习的x光图像骨骼检测方法与系统 | |
| CN114581467A (zh) | 一种基于残差膨胀空间金字塔网络算法的图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |