CN115147394A

CN115147394A - 模型训练方法、图像处理方法、内窥镜装置和存储介质

Info

Publication number: CN115147394A
Application number: CN202210863214.6A
Authority: CN
Inventors: 郭毅军; 陈竹; 严崇源; 唐豪; 黄潇峰
Original assignee: Chongqing Xishan Science and Technology Co Ltd
Current assignee: Chongqing Xishan Science and Technology Co Ltd
Priority date: 2022-07-21
Filing date: 2022-07-21
Publication date: 2022-10-04

Abstract

本申请提供一种模型训练方法、图像处理方法、内窥镜装置和存储介质，涉及医疗信息技术领域。模型训练方法包括获取内窥镜中偏振相机采集的多组第一样本图像以及第一样本图像对应的第二样本图像，将第一样本图像中的多个维度的样本偏振图像进行合成，生成样本合成图像；分别将各组中的样本合成图像与对应的第二样本图像匹配为数据对，将匹配后的多组数据对组成偏振数据集；采用偏振数据集进行模型训练，得到图像清晰化模型。本申请可保证内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响。

Description

模型训练方法、图像处理方法、内窥镜装置和存储介质

技术领域

本申请涉及医疗信息技术领域，具体而言，涉及一种模型训练方法、图像处理方法、内窥镜装置和存储介质。

背景技术

内窥镜用于经人体的天然孔道或者是经手术微创创口进入人体体腔和脏器内，提供清晰、稳定的高质量画面为检查或手术等医用操作提供辅助。

在检查或手术过程中，若处于雾气、浑浊血水以及组织小屑末等的环境，将导致医用内窥镜拍摄得到的图像质量受到严重影响，难以分辨图像中实际人体组织的轮廓、形状及色彩细节，这给医用操作带来极大的困扰，从而严重影响医用操作的执行效率。虽然，对于普通环境中的图像清晰化处理的手段比较常见，但是针对内窥镜这一需要工作在特殊环境的医用电子设备，采集的图像如何进行清晰化处理，目前的解决方案较少，且，效果大多不尽人意。

因此，针对内窥镜采集的图像，亟需一种图像清晰化处理方法，以保证内窥镜可提供清晰的，高质量图像，尽可能减少环境干扰因素对图像的影响，从而减少对医用操作的干扰。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种模型训练方法、图像处理方法、内窥镜装置和存储介质，以对内窥镜得到的偏振图像进行清晰化处理，保证内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响，从而减少对医用操作的干扰，保证医用操作的执行效率。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种模型训练方法，包括：

获取内窥镜中偏振相机采集的多组第一样本图像以及所述第一样本图像对应的第二样本图像，其中，所述第一样本图像包括多个维度的样本偏振图像，所述第一样本图像为所述偏振相机在预设工作环境的模拟环境中采集的图像，所述第二样本图像为所述偏振相机在清晰模拟环境中采集的图像；

将所述第一样本图像中的所述多个维度的样本偏振图像进行合成，生成样本合成图像；

分别将各组中的所述样本合成图像与对应的所述第二样本图像匹配为数据对，将匹配后的多组所述数据对组成偏振数据集；

采用所述偏振数据集进行模型训练，得到图像清晰化模型。

在一种可能实现方式中，所述将所述第一样本图像中的所述多个维度的样本偏振图像进行合成，生成样本合成图像，包括：

对所述第一样本图像中的所述多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量，每个像素位置的偏振参量用于表征所述每个像素位置接收到的光束的偏振信息；

根据所述多个像素位置的偏振参量，生成所述样本合成图像。

在另一种可能实现方式中，所述多个维度的样本偏振图像为多个偏振角度的样本偏振图像，所述偏振参量包括偏振度；

所述对所述第一样本图像中的所述多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量，包括：

对所述多个偏振角度的样本偏振图像进行偏振信息解算，得到所述多个像素位置的斯托克斯矢量；

根据所述多个像素位置的斯托克斯矢量，分别计算所述多个像素位置的偏振度。

在又一种可能实现方式中，所述偏振相机为具有所述多个偏振角度的偏振光相机，所述多个偏振角度包括：0°,45°,90°,135°。

在再一种可能实现方式中，所述采用所述偏振数据集进行模型训练，得到图像清晰化模型之前，所述方法还包括：

采用预设的去雾数据集对初始图像清晰化模型进行预训练，得到预训练图像清晰化模型；

所述采用所述偏振数据集进行模型训练，得到图像清晰化模型，包括：

采用所述偏振数据集对所述预训练图像清晰化模型进行微调训练，得到所述图像清晰化模型。

在再一种可能实现方式中，所述图像清晰化模型为具有深度可分离卷积网络的端到端卷积神经网络模型。

在再一种可能实现方式中，所述偏振数据集包括：训练数据集和测试数据集；所述采用所述偏振数据集进行模型训练，得到图像清晰化模型，包括：

采用所述训练数据集进行模型训练，得到所述图像清晰化模型；

所述方法还包括：

采用所述图像清晰化模型，对所述测试数据集中的样本合成图像进行处理，得到恢复清晰图像；

根据所述恢复清晰图像和对应的原始清晰图像，计算所述图像清晰化模型的评价指标，其中，所述原始清晰图像为所述测试数据集中样本合成图像对应的第二样本图像。

第二方面，本申请实施例提供了图像处理方法，包括：

获取内窥镜中偏振相机在预设工作环境中采集的多个维度的偏振图像；

将所述多个维度的偏振图像进行合成，生成合成图像；

采用预先训练的图像清晰化模型，对所述合成图像进行清晰化处理，得到目标偏振图像，其中，所述图像清晰化模型为采用第一方面中任一所述的模型训练方法得到的模型。

第三方面，本申请实施例提供了一种内窥镜装置，包括：偏振相机和所述偏振相机通信连接到的图像处理器，所述图像处理器用于执行第二方面所述的图像处理方法。

第四方面，本申请实施例还提供一种非易失性存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面所提供的任一模型训练方法或者第二方面所述的图像处理方法。

本申请的有益效果是：

本申请所提供的模型训练方法、图像处理方法、内窥镜装置和存储介质中，可通过将内窥镜中偏振相机采用的第一样本图像中多个维度的样本偏振图像进行合成，生成对应的样本合成图像，并将样本合成对象和对应的第二样本图像进行配对，形成偏振数据集中的数据对，使得模型训练所采用的偏振数据集的各数据对可体现样本图像的光线偏振特性，那么基于偏振数据集进行模型训练便可实现深度学习和光线偏振特性的结合，从而使得训练得到的图像清晰化模型能够有效加强对预设生物体的内部组织如轮廓、形状以及色彩等细节的体现，继而使得采用图像清晰化模型处理得到的目标偏振图像中可以更清晰准确的展示预设生物体的内部组织的细节信息，提高了目标偏振图像的目标辨识度，从而保证内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响，减少了干扰因素对医用操作的干扰，保证医用操作的执行效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所应用的内窥镜装置的结构示意图；

图2为本申请实施例所应用的内窥镜装置的另一结构示意图；

图3为本申请实施例提供的一种模型训练方法的流程图；

图4为本申请实施例提供的一种FAOD-Net模型的结构框图；

图5为本申请实施例提供的模型训练方法中合成样本偏振图像的方法流程图；

图6为本申请实施例提供的一种模型训练方法的另一方法流程图；

图7为本申请实施例提供的一种模型训练方法的又一方法流程图；

图8为本申请实施例提供的一种图像处理方法的流程图；

图9为本申请实施例提供的一种模型训练装置的示意图；

图10为本申请实施例提供的一种图像处理装置的示意图；

图11为本申请实施例提供的计算机设备的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请实施例各部分以及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包括了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

本申请下述实施例所涉及的方法流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按照所描述的顺序执行。例如，有些步骤还可以分解，而这些步骤可以合并或者部分合并，因此，实际执行的顺序可根据实际情况改变。

本申请下述实施例所设计的方框图中的功能模块仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式实现这些功能实体，或在一个或多个物理模块或集成电路中实现这些功能实体，或者不同网络和/或处理器和/或微控制器中实现这些功能实体。

内窥镜作为工作在特殊环境的医用电子设备，其为保证内窥镜可提供清晰的高质量图像，需要对内窥镜采集到的图像进行清晰化处理，以便为医用操作提供辅助。本申请实施例提供的方案，旨在对偏振内窥镜采集的偏振图像进行清晰化处理，偏振内窥镜采集的偏振图像指的是，内窥镜中偏振相机采集的偏振图像。

为便于对本申请提供技术方案的理解，在此先对本申请实施例应用的内窥镜装置的结构进行示例的解释说明。图1为本申请实施例所应用的内窥镜装置的结构示意图。如图1所示，内窥镜装置可包括：偏振相机11和与偏振相机11通信连接的图像处理器12。具有偏振相机11的内窥镜装置还可称为偏振内窥镜，或者内窥镜。其中，偏振相机11还可称为偏振摄像头或者具有偏振光传感器的摄像头，其可以用于采集偏振图像。偏振相机11可通过传输线缆与图像处理器12有线通信连接，传输线缆中具有传输信号的信号线；偏振相机11还可采用无线传输芯片与图像处理器12无线通信连接。需要说明的是，在实际应用实例中，内窥镜装置在包括偏振相机11的情况下，还可包括：传统彩色相机即红绿蓝(RGB)相机或者RGB摄像头，其中，RGB相机可用于采集RGB图像。

在使用过程中，可将内窥镜装置中的摄像头，即包括偏振相机的摄像头伸入目标腔体内部，偏振相机可能够采集目标腔体内部的目标对象的偏振光信号，并将偏振光信号转换为电信号，生成偏振光图像。对于包括RGB相机的内窥镜装置，其RGB相机还可在目标腔体内部环境下采集RGB光信号，并将RGB光信号转换为相应的电信号，生成对应的RGB图像。在一些示例中，若内窥镜装置为医用内窥镜装置，则在使用过程中的目标腔体内部可以是预设生物体的内部腔体，如人体或者动物体的内部腔体，目标对象例如可以为目标脏体内部的病变部位等。

而本申请提供的方案，旨在对内窥镜装置中偏振相机采集的偏振图像进行清晰化处理。偏振相机采集到的偏振图像后，可将其通信传输至图像处理器12中，以通过图像处理器12对偏振图像进行清晰化处理。需要说明的是，本申请实施例中，图像处理器12仅为指代处理图像的处理器，而并非特指图形处理器(Graphics Processing Unit，GPU),其具体的产品形态可以为中央处理器、也可以为其他形态的具有图像处理功能的电子设备等，本申请实施例并不对此进行限制。

如下继续偏振相机11的具体实现示例，对内窥镜装置进行解释说明。图2为本申请实施例所应用的内窥镜装置的另一结构示意图。如图2所示，偏振相机11中可包括：光学镜头111、光学棱镜112和偏振光传感器113，其中，光学镜头111为多种光学镜组成的光路系统，其为光源产生的白光提供了射向目标腔体内部的光路，白光射向目标腔体内部后会形成返回光，上述光路系统同时提供了返回光的光路，其能够将返回光引导至光学棱镜112。光学棱镜112的出光面朝向偏振光传感器113，以将光源发出的白光经过目标腔体内部后返回的光线引导至偏振光传感器113的感光面，即引导至偏振光传感器113的光场范围内，从而使得偏振光传感器113基于采集偏振光信号生成偏振图像。

偏振相机11中的偏振光传感器113可与图像处理器12通信连接，以将偏振图像传输至图像处理器12进行处理。

在实际应用示例中，图像处理器12中可预先集成有预设的图像处理算法，以采用图像处理算法对偏振图像进行清晰化处理。在本实施例中，预设的图像处理算法例如可以为预先训练的图像清晰化模型，可将图像清晰化模型集成设置在图像处理器12中，当图像处理器12接收到来自偏振相机采集的偏振图像，便可结合图像清晰化模型，对偏振图像进行清晰化处理，得到目标偏振图像。

为清楚描述图像处理器对偏振图像的清晰化处理，本实施例先结合附图通过一些示例对图像清晰化模型的训练过程进行解释说明。图3为本申请实施例提供的一种模型训练方法的流程图。本申请实施例提供的模型训练方法例如可以是有任一具有计算处理功能的电子设备执行，电子设备例如可以为计算机设备如台式计算机、便携式计算机、平板电脑等，也可以为服务器、移动终端等其它的形态。如图3所示，本申请实施例提供的模型训练方法可包括：

S301、获取内窥镜中偏振相机采集的多组第一样本图像以及第一样本图像对应的第二样本图像。

其中，第一样本图像包括多个维度的样本偏振图像，第一样本图像为偏振相机在预设工作环境的模拟环境中采集的图像，第二样本图像为偏振相机在清晰模拟环境中采集的图像。

在模型训练过程中的数据准备阶段，可通过进行环境模拟，得到预设工作环境的模拟环境，以及清晰模拟环境。其中，以内窥镜的预设工作环境为预设生物体的内部腔体为例，该预设工作环境的模拟环境可以是通过模拟雾气和/或浑浊血水得到的模拟环境。相应的，清晰模拟环境可以是无雾气和浑浊血水的清晰模拟环境。

在准备好模拟环境的情况下，可将内窥镜置于模拟环境中，以在模拟环境中采集样本图像。例如，可将一个预设目标对象置于预设工作环境的模拟环境中，还将内窥镜置于预设工作环境的模拟环境，如有雾和/或浑浊血水的模拟环境中，使得内窥镜中的偏振相机在预设工作环境的模拟环境中采集该预设目标对象的图像，如此，可得到一组第一样本图像。相应的，也可将该预设目标对象和内窥镜置于清晰模拟环境中，以采集一组第一样本图像所对应的第二样本图像。由于在内窥镜的偏振相机中通常可包括多个维度的偏振光传感器，每个维度的偏振光传感器均可采集对应维度的样本偏振图像，如此，每组第一样本图像便可包括：多个维度的样本偏振图像，每个维度的样本偏振图像可以为偏振相机中一个维度的偏振光传感器采集的图像。

S302、将第一样本图像中的多个维度的样本偏振图像进行合成，生成样本合成图像。

示例的，可对第一样本图像中多个维度的样本偏振图像进行偏振信息的解算，继而解算得到的信息进行图像合成，生成样本合成图像。

S303、分别将各组中的样本合成图像与对应的第二样本图像匹配为数据对，将匹配后的多组数据对组成偏振数据集。

针对每组第一样本图像采用上述S302生成了一个该组第一样本图像对应的样本合成图像，那么针对各组第一样本图像便生成了对应的样本合成图像。由于每组第一样本图像还具有对应的第二样本图像，因此，可将各组中的样本合成图像与对应的第二样本图像匹配为数据对，并将匹配后的多组数据对组成偏振数据集。

也就是说，偏振数据集包括：多组数据对，每组数据对由一个样本合成图像以及对应的第二样本图像，其中，样本合成图像为采用上述S302对一组第一样本图像中的多个维度的样本偏振图像进行合成得到的。

S304、采用偏振数据集进行模型训练，得到图像清晰化模型。

在得到偏振数据集的情况下，可将该偏振数据集作为样本数据集，对预设的网络模型进行训练，得到图像清晰化模型。其中，预设的网络模型例如可以为端到端卷积神经网络(AOD-Net)模型，也可以为快速端到端卷积神经网络(Fast AOD-Net)模型。其中，AOD-Net模型中特征提取模块的卷积层为是传统卷积神经网络，FAOD-Net模型中特征提取模块的卷积层为深度可分离卷积(Depthwise Separable Convolution)神经网络。那么，若预设的网络模型为FAOD-Net模型，相应的，图像清晰化模型可以为具有深度可分离卷积(DepthwiseSeparable Convolution)神经网络的端到端卷积神经网络模型。

如下结合附图通过示例对本申请实施例提供的模型训练方法所采用的神经网络模型的结构进行示例解释。下述具体通过示例以FAOD-Net模型为例进行解释说明。图4为本申请实施例提供的一种FAOD-Net模型的结构框图。如图4所示，FAOD-Net模型可包括：输入(Input)模块401、第一深度可分离卷积(DS-Conv1)模块402、第二深度可分离卷积(DS-Conv2)模块403、第一连接(Concat1)模块404、第三深度可分离卷积(DS-Conv3)模块405、第二连接(Concat2)模块406、第四深度可分离卷积(DS-Conv4)模块407、第三连接(Concat3)模块408、第五深度可分离卷积(DS-Conv5)模块409、池化模块(Pooling module)410、第六卷积(Conv6)模块411、等式(Equation)模块412和输出模块413。其中，DS-Conv1模块402的卷积参数例如可以为3*3*3，DS-Conv2模块403的卷积参数例如可以为3*3*6，DS-Conv3模块405的卷积参数例如可以为5*5*9，DS-Conv4模块407例如可以为7*7*6，DS-Conv5模块409的卷积参数例如可以为3*3*3，Conv6模块411的卷积参数例如可以为3*3*3。池化模块(Pooling module)410可以为金字塔池化模块(Pyramid pooling module)。

其中，输入模块401用以接收输入的图像，输入模块401的输出端连接DS-Conv1模块402的输入端，DS-Conv1模块402的输出端连接DS-Conv2模块403的输入端，DS-Conv1模块402的输出端和DS-Conv2模块403的输出端还连接第一连接模块404的输入端。第一连接模块404的输出端连接DS-Conv3模块405的输入端，DS-Conv1模块402的输出端和DS-Conv3模块405的输出端还连接第二连接模块406的输入端，第二连接模块406的输出端连接DS-Conv4模块407的输入端，第一连接模块404的输出端和DS-Conv4模块407的输出端还连接第三连接模块408的输入端，第三连接模块408的输出端依次连接DS-Conv5模块409、池化模块410、Conv6模块411、等式模块412以及输出模块413，输出模块413用于输出处理后的目标图像。

本实施例提供的FAOD-Net模型中仅Conv6模块411为标准卷积神经网络模块，其余各卷积模块均为深度可分离卷积神经网络模块。

若模型训练方法中所采用的预设网络模型为FAOD-Net模型,则图像清晰化模型为具有深度可分离卷积(Depthwise Separable Convolution)神经网络的端到端卷积神经网络模型，则采用偏振数据集进行模型训练的训练学习过程可更快速，更准确，从而保证了后续基于图像清晰化模型进行图像处理后图像的清晰度。

本申请实施例提供的模型训练方法中，通过将内窥镜中偏振相机采用的第一样本图像中多个维度的样本偏振图像进行合成，生成对应的样本合成图像，并将样本合成对象和对应的第二样本图像进行配对，形成偏振数据集中的数据对，使得模型训练所采用的偏振数据集的各数据对可体现样本图像的光线偏振特性，那么基于偏振数据集进行模型训练便可实现深度学习和光线偏振特性的结合，从而使得训练得到的图像清晰化模型能够有效加强对预设生物体的内部组织如轮廓、形状以及色彩等细节的体现，继而使得采用图像清晰化模型处理得到的目标偏振图像中可以更清晰准确的展示预设生物体的内部组织的细节信息，提高了目标偏振图像的目标辨识度，从而保证内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响，从而减少对医用操作的干扰，保证医用操作的执行效率。

在上述实施例提供的模型训练方法的基础上，本申请实施例还提供模型训练方法中合成偏振图像的可能实现示例。图5为本申请实施例提供的模型训练方法中合成样本偏振图像的方法流程图，如图5所示，如上所示的S302中将第一样本图像中的多个维度的样本偏振图像进行合成，生成样本合成图像可以包括：

S501、对第一样本图像中的多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量。

其中，每个像素位置的偏振参量用于表征每个像素位置接收到的光束的偏振信息。每个维度的样本偏振图像中每个像素位置处仅可体现对应像素位置处接收到的光束的部分偏振信息，在一个维度的偏振信息，因此，对多个维度的样本偏振图像进行偏振信息解算，实际是，对各像素位置在多个维度的样本偏振图像中的偏振信息进行合成，从而得到了各像素位置的偏振参量。如此，可使得解算得到的每个像素位置的偏振参量实际为表征每个像素位置接收到光束的全部偏振信息，即包含了多个维度的偏振信息。

如上所示的维度可以是偏振维度，例如偏振角度。偏振相机为具有所述多个偏振角度的偏振光相机，则上述多个维度的样本偏振图像为多个偏振角度的样本偏振图像，偏振参量可包括偏振度。其中，多个偏振角度包括：0°、45°、90°以及135°。

如下继续结合示例以维度为偏振角度为例，对偏振信息的解算进行示例的解释说明。上述对第一样本图像中的多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量，例如可包括：

对多个偏振角度的样本偏振图像进行偏振信息解算，得到多个像素位置的斯托克斯矢量；根据多个像素位置的斯托克斯矢量，分别计算多个像素位置的偏振度。

例如，可采用下述公式(1)对多个偏振角度的样本偏振图像进行偏振信息解算，得到多个像素位置的斯托克斯矢量。

其中，I₀,I₄₅,I₉₀,I₁₃₅分别表示0°,45°,90°,135°的样本偏振图像。S₀正比于光束的光场强度，S₁正比于光束在水平传播方向和竖直传播方向的光强差值，S₂正比于±45方向的光强之差，S₃是与圆偏振分量相关，其正比于左旋偏振光强度与右旋圆偏振光强度之差。

如此，针对每个像素位置，可得到多个斯托克斯矢量，即S₀、S₁、S₂以及S₃。

由于现实中，偏振光的圆偏振信息极少，因此，S₃可以取0。在采用上述公式(1)得到多个像素位置的斯托克斯矢量的情况下，便可根据多个像素位置的斯托克斯矢量，采用下述公式(2)分别计算多个像素位置的偏振度。

其中，DOP为偏振度。

S502、根据多个像素位置的偏振参量，生成样本合成图像。

由于采用偏振成像得到的多个维度的样本偏振图像中分别具有多个维度的偏振信息，而多个维度的偏振信息之间具有很强的相关性，同时，多个维度的偏振信息还具有各自的特有的偏振信息，因此，通过偏振信息解算，得到的每个像素位置的偏振参量即体现了多个维度的各自偏振信息，还体现了多个维度之间的偏振相关性，从而可使得每个像素位置的偏振参量可准确的体现出每个位置像素接收到的光束的实际偏振信息，如此，采用多个像素位置，生成的样本合成图像，可准确体现光线偏振特性。

接着，继续结合实例，对本申请实施例提供的模型训练方法进行示例说明。在一种可能实现示例中，在得到偏振数据集的情况下，可仅采用偏振数据集进行模型训练得到图像清晰化模型；在另一种可能实现示例中，由于图像清晰化模型是用以对图像清晰化处理，因此在得到偏振数据集的情况下，可结合传统的去雾数据集和偏振数据集依次进行模型训练。如下结合示例，对结合去雾数据集和偏振数据集进行模型训练进行模型训练的实现过程进行详细说明。图6为本申请实施例提供的一种模型训练方法的另一方法流程图。如图6所示，在上述方法中S304中采用偏振数据集进行模型训练，得到图像清晰化模型之前，方法还可包括：

S601、采用预设的去雾数据集对初始图像清晰化模型进行预训练，得到预训练图像清晰化模型。

在本实施例提供的模型训练方法中，在数据准备阶段，除了通过上述方法中S301-S303得到偏振数据集的情况下，还准备了另一数据集，即去雾数据集，其中，去雾数据集例如可以是真实单图像去雾(RESIDE)数据集。在数据准备好之后，可先采用去雾数据集先对初始图像清晰化模型进行预训练，得到预训练图像清晰化模型。

采用去雾数据集进行模型预训练，可使得预训练图像清晰化模型学习到去雾数据集中样本模糊图像和对应样本清晰图像之间的映射关系，使得采用预训练图像清晰化模型对样本模糊图像进行处理得到的训练清晰图像，和对应的样本清晰图像之间的损失函数值最小化。其中，采用预训练图像清晰化模型对第i个样本模糊图像进行处理得到的训练清晰图像例如可表示为J_i(x)，第i个样本模糊图像对应的样本清晰图像，即标注(groundtruth)图像，可表示为

在预训练过程中，例如可采用下述公式(3)所示的均方误差(MSE)作为损失函数，计算训练清晰图像J_i(x)，和对应的样本清晰图像

之间的损失函数值。

其中，

为损失函数值，n为去雾数据集中的样本模糊图像的数量。

在基于第i个样本模糊图像，计算到损失函数值的情况下，可根据计算的损失函数值，采用反向传播的随机梯度下降法调节预训练图像清晰化模型的参数，继而采用去雾数据集中的其它样本模糊图像以及对应的样本清晰图像，继续对参数调节后的预训练图像清晰化模型进行训练，直至损失函数值达到预设条件如损失函数值最小化。

相应的，上述S304中采用偏振数据集进行模型训练，得到图像清晰化模型，可包括：

S602、采用偏振数据集对预训练图像清晰化模型进行微调训练，得到图像清晰化模型。

例如，可采用偏振数据集，使用迁移学习方法对预训练图像清晰化模型进行微调训练，得到图像清晰化模型。其中，微调训练可以是，调整预训练图像清晰化模型的模型参数，当模型训练精度没有明显提升时，智能降低学习率，直到损失函数达到最小化，使模型参数调整至最佳，完成训练。

采用偏振数据集对预训练图像清晰化模型进行微调训练，可使得采用图像清晰化模型对样本合成图像进行处理得到的清晰偏振图像，和对应的样本清晰图像即第二样本图像之间的损失函数值最小化。在采用偏振数据集进行微调训练的过程中，计算损失函数值以及调节模型参数的具体实现，可与采用去雾数据集进行预训练过程中的对应的过程类似，具体描述参见上述，区别在于在不同训练阶段所采用的数据集不同。

本实施例提供的模型训练方法，可在采用去雾数据集进行模型预训练，得到预训练图像清晰化模型的基础上，采用偏振数据集对预训练图像清晰化模型进行微调训练，可使得图像清晰化模型在学习到去雾数据集中样本模糊图像和对应样本清晰图像之间的映射关系，还学习到了基于由于多维度的样本偏振图像生成的样本合成图像以及对应的清晰图像之间的映射关系，使得图像清晰化模型学习到光线偏振特效和清晰图像之间的关系，从而有效保证了图像清晰化模型的清晰化处理效果。其次，在采用偏振数据集进行模型训练之前，先采用去雾数据集进行模型预训练，可使得偏振数据集的数据对数量有限的情况下，借助去雾数据集的预训练，保证了图像清晰化模型的训练境地，从而提高图像清晰化模型的清晰化处理效果。

在上述任一实施例提供的模型训练方法的基础上，本申请实施例还提供了一种模型训练方法的可能实现示例，在本实现示例中，在训练得到图像清晰化模型的基础上，还可对图像清晰化模型进行测试和图像质量评价。吐下结合附图进行具体解释说明。在本实施例中，偏振数据集可包括：两部分数据集，即训练数据集和测试数据集。图7为本申请实施例提供的一种模型训练方法的又一方法流程图。如图7所示，如上所述S304中采用偏振数据集进行模型训练，得到图像清晰化模型可包括：

S701、采用训练数据集进行模型训练，得到图像清晰化模型。

相应的，模型训练方法还可包括：

S702、采用图像清晰化模型，对测试数据集中的样本合成图像进行处理，得到恢复清晰图像。

测试数据集和训练数据集作为偏振数据集的两部分数据集，无论是测试数据集，还是训练数据集，其均存在多个数据对，每个数据对包括一个样本合成图像，以及对应的第二样本图像，其中，样本合成图像为采用上述实施例中任一所示的偏振图像的合成对多个维度的样本偏振图像进行合成得到的图像。

在可能的实现方式中，可将测试数据集中的样本合成图像输入至图像清晰化模型中，得到图像清晰化模型处理后的恢复清晰图像。

S703、根据恢复清晰图像和对应的原始清晰图像，计算图像清晰化模型的评价指标。

其中，原始清晰图像为测试数据集中样本合成图像对应的第二样本图像。

在一些可能实现示例中，可根据恢复清晰图像和对应的原始清晰图像，采用预设的评级指标计算方式，计算图像清晰化模型的评价指标。示例的，评价指标例如可包括：峰值信噪比(Peak Signal to Noise Ratio，PSNR)和/或结构相似性(StructuralSimilarity，SSIM)。峰值信噪比是基于相应像素之间的误差，即基于误差敏感性的图像质量评价指标。结构相似性是度量两幅图像相似性的指标，它从亮度、对比度和结构三个方面度量图像的相似性。

在一种示例中，可根据恢复清晰图像和对应的原始清晰图像，采用公式(4)所示的评级指标计算方式，计算图像清晰化模型的第一评价指标，第一评价指标为PSNR。

其中，MSE表示恢复清晰图像和原始清晰图像(Ground Truth)之间的均方误差。N为测试数据集中的数据对的数量，峰值信噪比的值越大，则表示图像失真越小，即图像清晰化模型的清晰化处理效果越好，反之，峰值信噪比的值越小，则表示图像失真越大，即图像清晰化模型的清晰化处理效果越差。

在另一种示例中，可根据恢复清晰图像和对应的原始清晰图像，采用公式(5)所示的评级指标计算方式，计算图像清晰化模型的第二评价指标，第二评价指标为SSIM。

其中，

和y表示恢复清晰图像和原始清晰图像，

和μ_y是

和y的平均值，

和

是

和y的方差，

是

和y的协方差。c₁，c₂是用来保持稳定的预设常量系数。结构相似性的取值范围为[0,1]，当两张图像完全相同时，结构相似性的值为1。也就是说，若结构相似性越接近1，则表示图像失真越小，即图像清晰化模型的清晰化处理效果越好，反之，结构相似性越接近0，则表示图像失真越大，即图像清晰化模型的清晰化处理效果越差。

在本实施例的方法中，可采用偏振数据集中的训练数据集进行模型训练，在训练完成得到图像清晰化模型的基础上，可采用偏振数据集中的测试数据集对训练好的图像清晰化模型进行测试，得到图像清晰化模型的评价指标。

需要说明的是，另外的一些可能实现示例中，在模型训练过程中，若在采用偏振数据集进行模型训练之前，还采用去雾数据集进行模型预训练，去雾数据集中也可包括：训练数据集和测试数据集。因此，在该另外的可能实现示例中，可采用去雾数据集中的训练数据集进行模型预训练，得到预训练图像清晰化模型，相应的，可采用去雾数据集中的测试数据集对预训练图像清晰化模型进行评价，得到预训练图像清晰化模型的评价指标。

其中，在采用去雾数据集中的测试数据集对预训练图像清晰化模型进行评价，例如可采用预训练图像清晰化模型，对去雾数据集中的测试数据集的样本模糊图像进行处理，得到恢复清晰图像，继而根据恢复清晰图像以及样本模糊图像对应的样本清晰图像，计算预训练图像清晰化模型的评价指标。

在具体的实现中，在采用去雾数据集中的测试数据集对预训练图像清晰化模型进行评价的过程中，计算预训练图像清晰化模型的评价指标的实现过程，可与上述实施例中S702所示出的实现方式类似，具体参见描述本申请实施例在此不再赘述。

本申请实施例在采用上述任一实施例提供的模型训练方法，得到图像清晰化模型的基础上，还提供一种基于图像清晰化模型的图像处理方法。本申请实施例提供的图像处理方法例如可以是有任一具有计算处理功能的电子设备执行，电子设备例如可以为计算机设备如台式计算机、便携式计算机、平板电脑等，也可以为服务器、移动终端等其它的形态，其可以为独立于内窥镜的处理设备，也可以为内窥镜中与偏振相机通信连接的图像处理器等产品形态。图8为本申请实施例提供的一种图像处理方法的流程图，如图8所示，图像处理方法可包括：

S801、获取内窥镜中偏振相机在预设工作环境中采集的多个维度的偏振图像。

S802、将多个维度的偏振图像进行合成，生成合成图像。

本实施例中，S802中偏振图像的合成，与上述S302中的样本偏振图像的合成类似，具体参见上述，在此不再赘述。其中，多个维度的偏振图像例如可以为多个偏振角度的偏振图像，如0°偏振图像，45°偏振图像，90°偏振图像，135°偏振图像。

S803、采用预先训练的图像清晰化模型，对合成图像进行清晰化处理，得到目标偏振图像。

在具体实现中，可将采用上述S802得到的合成图像输入至图像清晰化模型，得到目标偏振图像，该目标偏振图像即为采用图像清晰化模型对合成图像进行清晰化处理得到的清晰偏振头像。其中，图像清晰化模型为采用图3-图7中任一实施例提供的模型训练方法得到的模型。

本申请实施例提供的图像处理方法，可在对内窥镜中偏振相机采集的多个维度的偏振图像进行合成，得到合成图像，并采用预先训练的图像清晰化模型对合成图像进行清晰化处理，得到对应的目标偏振图像，即清晰偏振图像，保证了内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响，从而减少对医用操作的干扰，保证医用操作的执行效率。

下述对用以执行的本申请所提供的模型训练方法以及图像处理方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。

图9为本申请实施例提供的一种模型训练装置的示意图，如图9所示，模型训练装置900可包括：

第一获取模块901，用于获取内窥镜中偏振相机采集的多组第一样本图像以及第一样本图像对应的第二样本图像，其中，第一样本图像包括多个维度的样本偏振图像，第一样本图像为所述偏振相机在预设工作环境的模拟环境中采集的图像，第二样本图像为所述偏振相机在清晰模拟环境中采集的图像。

第一合成模块902，用于将第一样本图像中的多个维度的样本偏振图像进行合成，生成样本合成图像。

匹配模块903，用于分别将各组中的样本合成图像与对应的第二样本图像匹配为数据对，将匹配后的多组数据对组成偏振数据集。

训练模块904，用于采用偏振数据集进行模型训练，得到图像清晰化模型。

在一种可能实现方式中，第一合成模块902，具体用于对第一样本图像中的多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量，每个像素位置的偏振参量用于表征每个像素位置接收到的光束的偏振信息；根据多个像素位置的偏振参量，生成样本合成图像。

在另一种可能实现方式中，多个维度的样本偏振图像为多个偏振角度的样本偏振图像，偏振参量包括偏振度。

第一合成模块902，具体用于对多个偏振角度的样本偏振图像进行偏振信息解算，得到多个像素位置的斯托克斯矢量；根据多个像素位置的斯托克斯矢量，分别计算多个像素位置的偏振度。

在又一种可能实现方式中，偏振相机为具有多个偏振角度的偏振光相机，多个偏振角度包括：0°,45°,90°,135°。

在再一种可能实现方式中，训练模块904，还用于采用预设的去雾数据集对初始图像清晰化模型进行预训练，得到预训练图像清晰化模型；采用偏振数据集对预训练图像清晰化模型进行微调训练，得到图像清晰化模型。

在再一种可能实现方式中，图像清晰化模型为具有深度可分离卷积网络的端到端卷积神经网络模型。

在再一种可能实现方式中，偏振数据集包括：训练数据集和测试数据集。

训练模块904，具体用于采用训练数据集进行模型训练，得到图像清晰化模型。

模型训练装置900还包括：

评价模块，用于采用图像清晰化模型，对测试数据集中的样本合成图像进行处理，得到恢复清晰图像；根据恢复清晰图像和对应的原始清晰图像，计算图像清晰化模型的评价指标，其中，原始清晰图像为测试数据集中样本合成图像对应的第二样本图像。

上述模型训练装置用于执行前述实施例提供的模型训练方法，其实现原理和技术效果类似，在此不再赘述。

本申请实施例在提供了上述图像处理方法的基础上，还提供一种执行上述图像处理方法的图像处理装置的数据示例。图10为本申请实施例提供的一种图像处理装置的示意图，如图10所示，图像处理装置1000可包括：

第二获取模块1001，用于获取内窥镜中偏振相机在预设工作环境中采集的多个维度的偏振图像。

第二合成模块1002，用于将多个维度的偏振图像进行合成，生成合成图像。

处理模块1003，用于采用预先训练的图像清晰化模型，对合成图像进行清晰化处理，得到目标偏振图像，其中，图像清晰化模型为采用任一所述的模型训练方法得到的模型。

上述图像处理装置用于执行前述实施例提供的图像处理方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图11为本申请实施例提供的计算机设备的示意图，该计算机设备可以集成于设备或者设备的芯片，计算机设备可以是具备计算处理功能的设备。

计算机设备1100包括：存储器1101、处理器1102。存储器1101和处理器1102通过总线1103连接。

存储器1101用于存储程序，处理器1102调用存储器1101存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

若计算机设备为模型训练设备，则处理器1102可调用存储器1101存储的程序，以执行上述模型训练方法的实施例；若计算机设备为图像处理设备例如内窥镜装置的图像处理器，则处理器1102可调用存储器1101存储的程序，以执行上述图像处理方法的实施例。

可选地，本申请还提供一种程序产品，例如计算机可读存储介质，其可以为非易失性存储介质，其可包括程序，该程序在被处理器执行时用于执行上述模型训练方法的实施例，或者上述图像处理方法的实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种模型训练方法，其特征在于，包括：

采用所述偏振数据集进行模型训练，得到图像清晰化模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一样本图像中的所述多个维度的样本偏振图像进行合成，生成样本合成图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述多个维度的样本偏振图像为多个偏振角度的样本偏振图像，所述偏振参量包括偏振度；

4.根据权利要求3所述的方法，其特征在于，所述偏振相机为具有所述多个偏振角度的偏振光相机，所述多个偏振角度包括：0°，45°，90°，135°。

5.根据权利要求1所述的方法，其特征在于，所述采用所述偏振数据集进行模型训练，得到图像清晰化模型之前，所述方法还包括：

6.根据权利要求1-5中任一所述的方法，其特征在于，所述图像清晰化模型为具有深度可分离卷积网络的端到端卷积神经网络模型。

7.根据权利要求1-5中任一所述的方法，其特征在于，所述偏振数据集包括：训练数据集和测试数据集；所述采用所述偏振数据集进行模型训练，得到图像清晰化模型，包括：

所述方法还包括：

8.一种图像处理方法，其特征在于，包括：

将所述多个维度的偏振图像进行合成，生成合成图像；

采用预先训练的图像清晰化模型，对所述合成图像进行清晰化处理，得到目标偏振图像，其中，所述图像清晰化模型为采用权利要求1-7中任一所述的模型训练方法得到的模型。

9.一种内窥镜装置，其特征在于，包括：偏振相机和所述偏振相机通信连接到的图像处理器，所述图像处理器用于执行上述权利要求8所述的图像处理方法。

10.一种非易失性存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-7中任一项所述的模型训练方法，或者权利要求8所述的图像处理方法。