CN111369562A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法，包括：输入目标对象的医疗信息中的医疗图像，通过医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与医疗图像相匹配的第一特征向量；通过医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与医疗图像相匹配的权重参数和第二特征向量；基于医疗图像相匹配的权重参数和第二特征向量，通过医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割。本发明还提供了图像处理装置、电子设备及存储介质。本发明能够实现输出所述医疗图像的分割结果，提升医疗图像进行分割的准确性，也能够实现通过医疗图像处理模型对体积较大的医疗图像的处理。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及医疗图像处理技术，尤其涉及图像处理方法、装置、电子设备及存储介质。

背景技术

基于深度学习所进行的各种类型识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。

在对图像所进行的分类预测中，根据所部署的应用场景不同，例如，AI+医疗场景，具体用于实现分类预测的图像以及分类预测的实现也各不相同。以AI+医疗场景为例，不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于图像分割的执行实现对医疗图像的分割。

但是，相关技术中，深度卷积神经网络算法虽然广泛应用于图像的分割，然而，无法兼顾整体特征与局部特征，也很难兼顾网络精度和内存消耗，而医学图像却有较多细节需要进行呈现，因此相关技术进行图像处理无法兼顾精确度，也不能提供经过准确分割的图像供用户使用。

发明内容

有鉴于此，本发明实施例提供一种图像处理方法、装置、电子设备及存储介质，能够实现通过医疗图像处理模型对医疗图像进行准确分割，以供用户使用。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像处理方法，包括：

输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；

通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；

通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量；

基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，以实现输出所述医疗图像的分割结果。

上述方案中，所述方法还包括：

对所述医疗图像依次进行归一化处理和图像扩展处理；

其中，所述图像扩展处理包括至少以下之一：

翻转、旋转、放缩以及对比度增强。

上述方案中，所述方法还包括：

根据所述医疗图像处理模型的使用环境，对所述医疗图像处理模型中的多通道可逆残差网络中的层级数量进行调整，以实现所述医疗图像处理模型与使用环境相适配。

本发明实施例还提供了一种图像处理方法，包括：

显示用户界面，所述用户界面中包括以第一人称视角对目标对象的医疗图像中的目标区域进行观察的视角画面；

当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；

通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；

通过所述用户界面，呈现所述医疗图像的分割结果。

本发明实施例还提供了一种图像处理装置，包括：

第一信息传输模块，用于输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；

第一信息处理模块，用于通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；

所述第一信息处理模块，用于通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量；

所述第一信息处理模块，用于基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，以实现输出所述医疗图像的分割结果。

上述方案中，

所述第一信息处理模块，用于通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多通道图像向量；

所述第一信息处理模块，用于通过所述医疗图像处理模型中的多通道可逆残差网络中的每一个通道所携带的可逆残差网络，对相应通道中的图像向量进行处理；

所述第一信息处理模块，用于根据所述每一个通道所携带的可逆残差网络对相应通道中的图像向量的处理结果，通过所述多通道可逆残差网络中的卷积层对所述图像向量的处理结果进行加和处理，确定与所述医疗图像相匹配的第一特征向量。

上述方案中，

所述第一信息处理模块，用于通过所述第一卷积神经网络对所述医疗图像进行降噪处理；

所述第一信息处理模块，用于通过所述第一卷积神经网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；

所述第一信息处理模块，用于通过所述第一卷积神经网络的全连接层，对所述医疗图像的降采样结果进行归一化处理；

所述第一信息处理模块，用于通过所述第一卷积神经网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量。

上述方案中，

所述第一信息处理模块，用于根据所述医疗图像所对应的目标区域的位置，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；

所述第一信息处理模块，用于根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。

上述方案中，

所述第一信息处理模块，用于根据所述医疗图像的图像类型，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；

所述第一信息处理模块，用于根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。

上述方案中，

所述第一信息处理模块，用于通过所述医疗图像处理模型的挤压激励网络中的全连接层对所述第一特征向量进行全连接处理；

所述第一信息处理模块，用于基于所述第一特征向量的全连接处理结果，通过所述挤压激励网络中的激活层对所述第一特征向量的全连接处理结果进行非线性激活，获得相应的激活结果；

所述第一信息处理模块，用于通过所述挤压激励网络中的分类层对所述激活结果进行分类，以获取转换后的与所述医疗图像相匹配的权重参数和第二特征向量。

上述方案中，

所述第一信息处理模块，用于当所述医疗图像处理模型中的多通道可逆残差网络中的层级数量多于一层时，通过所述挤压激励网络中的分类层对所述激活结果进行处理，确定与所述医疗图像相匹配的第三特征向量；

所述第一信息处理模块，用于通过所述多通道可逆残差网络中的每一层级对应的可逆残差网络层和卷积层，对所述第三特征向量进行迭代处理，直至通过所述挤压激励网络中的分类层对所述激活结果进行分类，以获取转换后的与所述医疗图像相匹配的权重参数和第二特征向量。

上述方案中，

所述第一信息处理模块，用于将与医疗图像相匹配的权重参数施加至所述医疗图像所对应的第二特征向量，以获取所述医疗图像对应的中间特征信息；

所述第一信息处理模块，用于将所述中间特征信息映射为分割结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述医疗图像的分割结果。

上述方案中，

所述第一传输处理模块，用于对所述医疗图像依次进行归一化处理和图像扩展处理；

其中，所述图像扩展处理包括至少以下之一：

翻转、旋转、放缩以及对比度增强。

上述方案中，所述装置还包括：

训练模块，用于获取第一训练样本集合，其中所述第一训练样本集合包括所述目标对象的同一目标区域的待分割医疗图像的集合；

所述训练模块，用于对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；

所述训练模块，用于通过医疗图像处理模型对所述第二训练样本集合进行处理，以确定所述医疗图像处理多通道可逆残差网络的初始参数和挤压激励网络的初始参数；

所述训练模块，用于响应于所述多通道可逆残差网络的初始参数和所述挤压激励网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数；

所述训练模块，用于根据所述医疗图像处理模型的不同神经网络对应的更新参数所述医疗图像处理模型的更新参数，通过所述第二训练样本集合对所述医疗图像处理模型的多通道可逆残差网络的参数和挤压激励网络的参数分别进行迭代更新，以实现通过所述医疗图像处理模型对所述医疗图像进行分割。

上述方案中，

所述训练模块，用于将所述第二训练样本集合中不同医疗图像训练样本，代入由所述医疗图像处理模型所对应的损失函数；

所述训练模块，用于确定所述损失函数满足第一收敛条件时对应所述多通道可逆残差网络的网络参数作为所述多通道可逆残差网络的更新参数；

所述训练模块，用于将所述第二训练样本集合中不同医疗图像样本，代入由所述医疗图像处理模型所对应的损失函数；

所述训练模块，用于确定所述损失函数满足第二收敛条件时对应所述挤压激励网络的参数和相应的作为所述挤压激励网络的更新参数。

上述方案中，

所述训练模块，用于根据所述医疗图像处理模型的使用环境，对所述医疗图像处理模型中的多通道可逆残差网络中的层级数量进行调整，以实现所述医疗图像处理模型与使用环境相适配。

本发明实施例还提供了一种图像处理装置，所述装置包括：

第二信息传输模块，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的医疗图像中的目标区域进行观察的视角画面；

第二信息处理模块，用于当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；

所述第二信息处理模块，用于通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；

所述第二信息传输模块，用于通过所述用户界面，呈现所述医疗图像的分割结果。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现前序的图像处理方法，或者，实现前序的图像处理方法。

本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前序的图像处理方法，或者，实现前序的图像处理方法。

本发明实施例具有以下有益效果：

本发明通过输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量；基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，由此，可以实现输出所述医疗图像的分割结果，提升医疗图像进行分割的准确性，也能够实现通过医疗图像处理模型对体积较大的医疗图像的处理，实现基于医疗图像的准确分割，对医疗图像进行分类达到辅助识别医疗图像。

附图说明

图1为本发明实施例提供的图像处理方法的使用环境示意图；

图2为本发明实施例提供的电子设备的组成结构示意图；

图3为本发明实施例提供的图像处理方法一个可选的流程示意图；

图4为本发明实施例提供的图像处理方法一个可选的流程示意图；

图5为本发明实施例提供的图像处理方法中SE-Block结构工作示意图；

图6为本发明实施例提供的图像处理方法中RevNet结构工作示意图；

图7为本发明实施例提供的图像处理方法一个可选的流程示意图；

图8为本发明实施例提供的图像处理方法一个可选的流程示意图；

图9为本发明实施例提供的电子设备的组成结构示意图；

图10为本发明实施例提供的图像处理方法的使用场景示意图；

图11为本发明实施例提供的图像处理方法一个可选的流程示意图；

图12为本发明实施例提供的图像处理方法中训练数据处理示意图；

图13为本发明实施例提供的图像处理方法中医疗图像处理模型的模型结构示意图；

图14为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图；

图15为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图；

图16为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图；

图17为本发明实施例提供的图像处理方法一个可选的示意图；

图18为本发明实施例中通过医疗图像处理模型对医疗图像进行分割的前端示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1）响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

2）下采样处理，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样，例如：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，其中 s应该是M和N的公约数。

3）卷积神经网络（CNN Convolutional Neural Networks）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deeplearning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification）。

4）模型训练，对图像数据集进行多分类学习。该模型可采用TensorFlow、torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多分类模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。

5）Contrastive loss：对比损失函数，其可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。这样的结果就是，在低维空间，同一种类的点会产生聚类的效果，不同种类的mean会隔开。类似fisher降维，但fisher降维不具有out-of-sample extension的效果，不能对new sample进行作用。

6）客户端，终端中实现特定功能的载体，例如移动客户端（APP）是移动终端中特定功能的载体，例如执行用户手势识别的功能的程序。

7）Soft max：归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在[0，1]之间，并且所有元素的和为1。

8）中文名称计算机辅助诊断（AD Computer Aided Diagnosis）其中，CAD用于通过影像学、医疗图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。

9）内窥镜视频流：用于通过图像采集设备（例如内窥镜）对机体部位(人体的不同目标器官或者体内病灶)进行图像采集所形成视频状态的病理信息。

10）病灶：病灶通常指代机体上发生病变的部分。换一种表达方式，一个局限的、具有病原微生物的病变组织，即可称为病灶。

11）挤压激励网络（SE Block Sequeze and Excitation），其中，可以给定一个输入，其特征通道数为，通过一系列卷积等一般变换后得到一个特征通道数为的特征；Squeeze：顺着空间维度进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配；Excitation：基于特征通道间的相关性，每个特征通道生成一个权重，用来代表特征通道的重要程度；Reweight：将Excitation输出的权重看做每个特征通道的重要性，然后通过乘法逐通道加权到之前的特征上，完成在通道维度上的对原始特征的重标定。

12）多通道可逆残差网络（MLRB Multi-Layer Rev Block），由不同通道之间的卷积组成，输入输出均可由相同的卷积计算，实现可逆。其中，每层的激活可以从下一层的激活中计算出来，以便能够在不将激活存储在内存中的情况下执行反向传播，其结果是一个网络架构，其中激活存储需求与深度无关，并且相较于相同大小的残差网络模型ResNets，通常至少要小一个数量级。

图1为本发明实施例提供的图像处理方法的使用场景示意图，其中，可以通过本申请所提供的图像处理方法对医疗环境中的医疗图像进行处理，参见图1，终端（包括终端10-1和终端10-2）上设置有能够执行不同功能相应客户端其中，所属客户端为终端（包括终端10-1和终端10-2）通过网络300从相应的服务器200中获取不同的相应目标对象的医疗图像进行浏览，或者获取相应的医疗图像，并对医疗图像所示的目标区域（例如病灶组织的区域）进行分析，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端（包括终端10-1和终端10-2）通过网络300从相应的服务器200中所获取的相应目标对象的医疗图像类型既可以相同也可以不相同，例如：终端（包括终端10-1和终端10-2）既可以通过网络300从相应的服务器200中获取与目标对象相匹配的病理图像或者医疗图像集合，也可以通过网络300从相应的服务器200中获取仅与当前目标相匹配的医疗图像集合（例如CT图像）进行浏览。服务器200中可以保存有不同目标对象各自对应的相应目标对象的医疗图像，也可以保存与所述目标对象的相应目标对象的医疗图像相匹配的辅助分析信息。在本发明的一些实施例中，服务器200中所保存的不同类型的相应目标对象的医疗图像可以由内窥镜所采集的内窥镜图像，或者CT机器所采集的患者的CT图像。

其中，医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程，包括但不限于：CT，MRI，超声，X光，心电图，脑电图，光学摄影等等由医学仪器生成的图像，是用于辅助临床诊断的一种重要手段和参考因素，不同病征的内在异质性也在其成像表型（外观和形状）中体现。因此，通过医学影像进行病因诊断或病灶组织区域的图像分割，可以有效辅助医生进行准确地病理诊断。相关技术中，深度卷积神经网络算法已经广泛应用于图像的分割，不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。

但是，相关技术中，深度卷积神经网络算法虽然广泛应用于图像的分割，然而，经典的分割方法大多无法兼顾整体特征与局部特征，也很难兼顾网络精度和内存消耗，而医学图像却有较多细节需要网络抓取，因此需要实现通过较深的网络以及较多的局部特征抽取，获得对于大型2D诊断图像和3D诊断图像中的辅助诊断信息。

其中，常规神经网络技术对于分割往往采取一种编解码器结构（encoder-decoder技术），即先下采样图像抽取特征，再上采样返回原图像大小，它维持了一个高分辨率图像通道以保持有效信息，但由于高分辨率运算导致图像本身占用内存较大，而多尺度会带来更多的通道数导致参数占用内存增大，因而，它可能只能构造一个浅层网络，无法应用在较大的2D图像或3D图像中进行运用。

进一步地，还可以采用可逆残差网络RevNet技术，RevNet的优点在于它几乎可以无限串联而不增加图像计算带来的内存消耗，仅仅多了一些中间计算参数的增加，但可逆残差网络的问题在于结构过于简单，必须维持在一个分辨率尺度下进行计算，因此，有限的复杂度无法提高网络任务的精度。

其中，在医疗图像的使用环境中，以医疗图像为内窥镜图像为例，内窥镜视频流中不少于两张原始内窥镜图像，是医生在利用内窥镜过程中，通过移动摄像头、切换放大倍率等操作反复观察疑似的目标对象区域得到的多视野的病理图片的集合，融合了内窥镜下特定视野的信息。由于内窥镜视频流中记录了医生在观察患者目标对象（例如病灶组织的区域）的过程中，内窥镜视野中所有的信息，如此，将医生观察单个患者目标对象（例如病灶组织的区域）在内窥镜的视野中的信息，作为连续的视频流加以利用，避免医生在快速移动内窥镜的过程中，忽略微小的病变区域，从而提供比单帧图片更多的信息来辅助医生诊断并发现微小病变区域。这一过程中，需要清晰的内窥镜图像来对医生的诊断进行辅助，但是由于机械的内窥镜成像环境的限制或者操作人员的操作限制，所呈现的内窥镜图像往往是针对病灶的大环境的内窥镜图像，无法集中于病灶的具体位置进行成像，不利于医生通过集中于病灶处的内窥镜图像辅助进行分类，因此需要通过本申请所提供的图像处理方法，利用医疗图像处理模型对内窥镜图像进行分割，形成针对病灶处的清晰的内窥镜图像，以供医生使用。

其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。

需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。

结合实施例图1所示，本发明实施例所提供的目标对象确定方法可以通过相应的云端设备实现，例如：终端（包括终端10-1和终端10-2）通过网络300连接位于云端的服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。值得说明的是，服务器200可为实体设备，也可为虚拟化设备。

具体来说，结合前序实施例中的图1所示，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

需要说明的是，在内窥镜（与所述目标对象相连接的医疗设备）下查看的患者目标对象（例如病灶组织的区域）可以包括多种不同的应用场景，如糖网病变筛查，宫颈癌早期筛查等不同视频流筛查等。基于本实施例的图像处理方法可以部署到多种应用场景，从而便于医生的远程查阅与使用。

服务器200通过网络300向终端（终端10-1和/或终端10-2）发送同一目标对象的相应目标对象的病历信息以实现终端（终端10-1和/或终端10-2）的用户对目标对象的相应目标对象的病历信息进行分析，因此。作为一个事例，服务器200部署相应的医疗图像处理模型，用于获取医疗图像拍摄设备（例如内窥镜设备400）的视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。

下面对本发明实施例的电子设备的结构做详细说明，电子设备可以各种形式来实施，如带有医疗图像处理功能的专用终端，也可以为带有医疗图像处理功能的电子设备或者云服务器，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。

本发明实施例提供的电子设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备20中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。

作为本发明实施例提供的图像处理装置采用软硬件结合实施的示例，本发明实施例所提供的图像处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器201以及连接到总线205的其他组件）完成本发明实施例提供的图像处理方法。

作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的图像处理方法。

本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备20的操作。这些数据的示例包括：用于在电子设备20上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像处理方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的图像处理装置可以采用软件方式实现，图2示出了存储在存储器202中的图像处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括图像处理装置2020，图像处理装置2020中包括以下的软件模块：

第一信息传输模块2081，用于输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合。

第一信息处理模块2082，用于通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量。

所述第一信息处理模块2082，用于通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量。

所述第一信息处理模块2082，用于基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，以实现输出所述医疗图像的分割结果，通过分割结果对医疗图像所表征的病灶进行辅助分析。

结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图3，图3为本发明实施例提供的图像处理方法一个可选的流程示意图，可以理解地，图3所示的图像处理方法可以应用于医疗图像处理领域，实现对医疗图像的分割，其中，图3所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图3示出的步骤进行说明。

步骤301：图像处理装置输入目标对象的医疗信息中的医疗图像。

其中，所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合，以医疗图像为例，目标对象的同一目标区域的待分割医疗图像的集合可以为同一患者的病灶处的至少一张CT图像或者内窥镜图像。进一步地，可以对所述医疗图像依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括至少以下之一：翻转、旋转、放缩以及对比度增强。通过对医疗图像进行翻转、旋转、放缩、对比度增强等数据增广的操作，可以增加样本数量，增大方向性和不同大小规模下的信息价值。其中，所输入的医疗图像的类型可以是二维平面图像或三维图像；例如：电子计算机断层扫描（CT Computed Tomography）磁共振成像（MRIMagnetic Resonance Imaging）超声，X光，心电图，脑电图，光学摄影等等由医学仪器生成的图像。所要分割并输出展示的是医疗图像中的感兴趣区域ROI(Regionof Interest)例如病灶组织或病变区域的图像。

步骤302：图像处理装置通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量。

继续结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图4，图4为本发明实施例提供的图像处理方法一个可选的流程示意图，可以理解地，图4所示的图像处理方法可以应用于医疗图像处理领域，实现对医疗图像的分割，例如对于肾流血的超声图像和胆囊肿瘤的超声图像，其中，图4所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图4示出的步骤进行说明。

步骤401：图像处理装置通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多通道图像向量。

步骤402：图像处理装置通过所述医疗图像处理模型中的多通道可逆残差网络中的每一个通道所携带的可逆残差网络，对相应通道中的图像向量进行处理。

步骤403：图像处理装置根据所述每一个通道所携带的可逆残差网络对相应通道中的图像向量的处理结果，通过所述多通道可逆残差网络中的卷积层对所述图像向量的处理结果进行加和处理，确定与所述医疗图像相匹配的第一特征向量。

其中，在介绍医疗图像处理模型的网络结构之前，需要首先对SE-Block和RevNet的处理过程进行简单介绍，其中，参考图5和图6，图5为本发明实施例提供的图像处理方法中SE-Block结构工作示意图；其中，SE-Block通过一系列池化和激活函数，计算出对每一个通道进行的加权，通过损失函数和反向传播来寻找最优的权重，对部分更有意义的特征通道赋予更高的权重，对噪声通道降低权重，这样能更好的整合信息以达到最好的分类结果，由此，通过对不同通道自适应加权实现放大重要通道特征及降低噪声通道特征以实现提高分类准确率的效果。

图6为本发明实施例提供的图像处理方法中RevNet结构工作示意图；其中，（a）和（b）分别示出了残差网络的数据处理过程，RevNet是改变了以往通过层下采样以及不可逆的卷积层来处理图像的方式，引入可逆的RevNet Block进行图像处理，使得每一步运算均可逆，从而保持了所有信息，降低了信息缺失导致的网络的变异性，同时不需要存储大量的中间结果，大大降低了显存要求，其中，利用训练好的F和G函数，可以通过输入x1，x2计算输出的y1，y2，也可以通过输出的y1，y2计算输入的x1，x2，且反向传播时也不需要额外求逆等操作，因此，不需要储存中间过程中产生的x1+F(x2)等结果，从而节省很多空间。

其中，多通道可逆残差网络（MLRB Multi-Layer Rev Block），由不同通道之间的卷积组成，输入输出均可由相同的卷积计算，实现可逆。其中，每层的激活可以从下一层的激活中计算出来，以便能够在不将激活存储在内存中的情况下执行反向传播，其结果是一个网络架构，其中激活存储需求与深度无关，并且相较于相同大小的残差网络模型ResNets，通常至少要小一个数量级。

在本发明的一些实施例中，通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多通道图像向量，可以通过以下方式实现：

通过所述第一卷积神经网络对所述医疗图像进行降噪处理；通过所述第一卷积神经网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；通过所述第一卷积神经网络的全连接层，对所述医疗图像的降采样结果进行归一化处理；通过所述第一卷积神经网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量。其中，本发明所涉及的医疗图像可以是不同数据域的图像，也即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。不同医疗应用场景所得的医疗图像属于不同的数据域，数据域可以表示医疗图像属于某种医疗设备或某种成像模态。举例来说：医疗图像具体可以是通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是X光图像、心电图和脑电图等等。在医学领域，不同病征的内在异质性可在医疗图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医疗图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。其中，运行医疗图像处理模型的终端可以根据输入的图像选择指令，从图像数据库中选取对应的医疗图像；或者，终端与医学仪器建立通信连接，如有线通信连接或无线通信连接，当医学仪器通过扫描形成医疗图像时，获取由该医学仪器所形成的医疗图像。

在本发明的一些实施例中，通过所述第一卷积神经网络对所述医疗图像进行降噪处理，可以通过以下方式实现：

根据所述医疗图像所对应的目标区域的位置，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。其中，病灶位置的不同，在不同的医疗图像中的动态噪声值也不相同，医疗图像的噪声会产生不同的伪影，例如CT图像的伪影或者核磁共振造影的伪影，由于噪声所产生的伪影会影响对于医疗图像的准确分类，不利于辅助诊断的准确性。在获取到待分类的医疗图像之后，需要对所获取的医疗图像进行伪影识别，以确定医疗图像中是否存在伪影，以及伪影的严重程度值，进一步地，还可以根据所确定的动态噪声阈值通过图像信息处理网络对所述医疗图像进行降噪处理，以消除由于动态噪声在病灶位置的医疗图像中所产生的伪影。其中，伪影可以指在终端在磁共振扫描或信息处理过程中，出现了一些人体本身不存在的、却能致使图像质量下降的影像。例如，运动伪影出现的原因主要是终端在磁共振扫描过程中，运动器官在每一次激发、编码及信号采集时所处的位置或形态发生了变化，因此出现相位的错误而导致伪影的产生，进一步地，还可能因为磁敏感产生伪影或者化学性配准不良产生伪影，同样的，根据所确定的动态噪声阈值通过图像信息处理网络对所述医疗图像进行降噪处理，以消除由于动态噪声在病灶位置的医疗图像中所产生的磁敏感伪影。

进一步地，当所获取的医疗图像包含有伪影、且动态噪声值大于预设噪声阈值时，终端还可以增加采样时间，进而减低带宽以减小波纹。此外，终端还可以通过增加相位编码数来降低像素大小，减少像素间的不连续性以减少尾波震荡。

在本发明的一些实施例中，通过所述第一卷积神经网络对所述医疗图像进行降噪处理，可以通过以下方式实现：

根据所述医疗图像的图像类型，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。其中，病灶位置的不同，在不同的医疗图像中的动态噪声值也不相同，医疗图像的噪声会产生不同的伪影，例如CT图像的伪影或者核磁共振造影的伪影由于成像机理并不相同，因此通过医疗图像的图像类型，确定与使用环境相匹配的动态噪声阈值。可以更有针对性的消除噪声所产生的伪影。

步骤303：图像处理装置通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量。

继续结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图7，图7为本发明实施例提供的图像处理方法一个可选的流程示意图，可以理解地，图7所示的图像处理方法可以应用于医疗图像处理领域，实现对医疗图像的分割，例如不同病灶的CT图像，其中，图7所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图7示出的步骤进行说明。

步骤701：图像处理装置通过所述医疗图像处理模型的挤压激励网络中的全连接层对所述第一特征向量进行全连接处理。

步骤702：图像处理装置基于所述第一特征向量的全连接处理结果，通过所述挤压激励网络中的激活层对所述第一特征向量的全连接处理结果进行非线性激活，获得相应的激活结果。

步骤703：图像处理装置通过所述挤压激励网络中的分类层对所述激活结果进行分类，以获取转换后的与所述医疗图像相匹配的权重参数和第二特征向量。

在本发明的一些实施例中，当所述医疗图像处理模型中的多通道可逆残差网络中的层级数量多于一层时，通过所述挤压激励网络中的分类层对所述激活结果进行处理，确定与所述医疗图像相匹配的第三特征向量；通过所述多通道可逆残差网络中的每一层级对应的可逆残差网络层和卷积层，对所述第三特征向量进行迭代处理，直至通过所述挤压激励网络中的分类层对所述激活结果进行分类，以获取转换后的与所述医疗图像相匹配的权重参数和第二特征向量。

其中，挤压激励网络中的池化层可以是全局池化层，用于对图像的每个通道池化到1*1的尺寸，即计算每个通道的平均值。对于多通道可逆残差网络中的每一层级对应的可逆残差网络层和卷积层，可以分别连接对应的挤压激励网络全局池化层，即将多通道可逆残差网络中的每一层级可逆残差网络层的处理结果分别输入对应的挤压激励网络进行处理，计算出对每一个通道进行的加权，通过损失函数和反向传播来寻找最优的权重，实现对于不同通道的权重参数的整合信息以达到最好的分割结果，实现提高分割准确率的效果。

步骤304：图像处理装置基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割。

由此，可以实现输出所述医疗图像的分割结果。

在本发明的一些实施例中，基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，可以通过以下方式实现：

将与医疗图像相匹配的权重参数施加至所述医疗图像所对应的第二特征向量，以获取所述医疗图像对应的中间特征信息；将所述中间特征信息映射为分割结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述医疗图像的分割结果。

继续结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图8，图8为本发明实施例提供的图像处理方法一个可选的流程示意图，其中，医疗图像处理模型（不同部位的超声图像和CT图像）使用之前，需要对医疗图像处理模型进行训练，以确定医疗图像处理模型的参数，实现初始化，可以理解地，图8所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图8示出的步骤进行说明。

步骤801：图像处理装置获取第一训练样本集合。

其中，第一训练样本集合包括所述目标对象的同一目标区域的待分割医疗图像的集合。

步骤802：图像处理装置对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合。

其中，例如，单一医疗图像处理（仅针对某一科室的疾病类型诊断）的使用环境中，与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值需要小于急诊科室或者社区全科门诊的环境中的动态噪声阈值。由于训练样本来源于不同的数据源，数据源中包括各类型应用场景的数据作为相应的训练本的数据来源，例如，本发明所提供的医疗图像处理模型可以作为软件模块封装于移动检测电子设备中，也可以封装于不同的固定医疗检查设备中（包括但不限于：手持诊断仪，病房中央监测系统，床边监测系统），当然也可以固化于智能机器人的硬件设备中，针对这些医疗图像处理模型的不同使用场景，可以使用相对应的训练样本对医疗图像处理模型进行针对性的训练。

步骤803：图像处理装置通过医疗图像处理模型对所述第二训练样本集合进行处理，以确定所述医疗图像处理多通道可逆残差网络的初始参数和挤压激励网络的初始参数。

步骤804：图像处理装置响应于所述多通道可逆残差网络的初始参数和所述挤压激励网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数。

其中，将可以所述第二训练样本集合中不同医疗图像训练样本，代入由所述医疗图像处理模型所对应的损失函数；确定所述损失函数满足第一收敛条件时对应所述多通道可逆残差网络的网络参数作为所述多通道可逆残差网络的更新参数；将所述第二训练样本集合中不同医疗图像样本，代入由所述医疗图像处理模型所对应的损失函数；确定所述损失函数满足第二收敛条件时对应所述挤压激励网络的参数和相应的作为所述挤压激励网络的更新参数。

步骤805：图像处理装置根据所述医疗图像处理模型的不同神经网络对应的更新参数所述医疗图像处理模型的更新参数，通过所述第二训练样本集合对所述医疗图像处理模型的多通道可逆残差网络的参数和挤压激励网络的参数分别进行迭代更新，以实现通过所述医疗图像处理模型对所述医疗图像进行分割。

继续结合图1，本发明实施例还提供了图像处理方法，应用于图1所示的终端10-1或者10-2中，其中，图9为本发明实施例提供的电子设备的组成结构示意图，可以理解，图9仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图9示出的部分结构或全部结构。

本发明实施例提供的电子设备包括：至少一个处理器901、存储器902、用户接口903和至少一个网络接口904。电子设备90中的各个组件通过总线系统905耦合在一起。可以理解，总线系统905用于实现这些组件之间的连接通信。总线系统905除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统905。

其中，用户接口903可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器902可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器902能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。

作为本发明实施例提供的图像处理装置采用软硬件结合实施的示例，本发明实施例所提供的图像处理装置可以直接体现为由处理器901执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器902，处理器901读取存储器902中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器901以及连接到总线905的其他组件）完成本发明实施例提供的图像处理方法。

作为示例，处理器901可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器901来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的图像处理方法。

本发明实施例中的存储器902用于存储各种类型的数据以支持电子设备90的操作。这些数据的示例包括：用于在电子设备90上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像处理方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的图像处理装置可以采用软件方式实现，图9示出了存储在存储器902中的图像处理装置9090，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器902中存储的程序的示例，可以包括图像处理装置9090，图像处理装置9090中包括以下的软件模块：

第二信息传输模块9081，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的医疗图像中的目标区域进行观察的视角画面；

第二信息处理模块9082，用于当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；

所述第二信息处理模块9082，用于通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；

所述第二信息传输模块9081，用于通过所述用户界面，呈现所述医疗图像的分割结果。

下面以针对目标对象的脑溢血、眼底出血和肺部出血等机体内部出血为例，对本发明所提供的图像处理方法进行说明，

图10为本发明实施例提供的图像处理方法的使用场景示意图，参见图10，图10是本发明实施例提供的血管图像处理系统10的应用场景示意图，终端200可以位于各种具有医疗属性的机构（例如医院、医学研究院）中，可以被用来采集（例如，例如终端200的图像采集装置，或者通过其他的医疗终端400（例如图像采集设备）采集患者的眼底图像（即待处理血管图像）。

在一些实施例中，终端200本地执行本发明实施例提供的血管图像处理方法来完成眼底图像的血管分割和血管分类，将血管分割和血管分类的结果以图形化方式输出，从而供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究，例如可以根据眼底图像的血管分割结果和血管分类结果，确定不同类型血管在形态学上的表现，进而来辅助或者直接诊断患者是否有心脑血管疾病风险、高血压视网膜病变和肺部肿瘤的病变。

终端200也可以通过网络300向服务器100发送眼底图像，并调用服务器100提供的远程诊断服务的功能，服务器100通过本发明实施例提供的血管图像处理方法进行血管（病灶血管，例如眼底血管、肺部组织血管、脑部组织血管）分割以实现对血管或肺部组织进行分类的多任务，将血管分割和血管分类的结果返回终端200，供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。

终端200可以在图形界面210中显示血管图像处理的各种中间结果和最终结果，例如眼底图像、眼底血管的分割结果和分类结果等。

继续说明本发明实施例提供的血管图像处理设备的结构，血管或者肺部图像处理设备可以是各种终端，例如医疗诊断设备、电脑等，也可以是如图1示出的服务器200。所部署的神经网络模型对于分割往往采取一种编解码器结构，即先下采样图像抽取特征，再上采样返回原图像大小，它维持了一个高分辨率图像通道以保持有效信息，但由于高分辨率运算导致图像本身占用内存较大，而多尺度会带来更多的通道数导致参数占用内存增大，因而，它可能只能构造一个浅层网络，无法应用在较大的血管造影或者肺部组织CT图像中进行运用（或者医生等待图像处理的时间较长），不利于医疗图像处理模型的大规模部署。

为解决上述缺陷，参考图11，图11为本发明实施例提供的图像处理方法一个可选的流程示意图，其中用户可以为医生，处理同一目标对象的不同的超声图像和内窥镜图像，具体包括以下步骤：

步骤1101：建立训练数据集合。

其中，针对不同的病理信息（不同的使用环境），可以选择不同的临床数据和图像作为训练样本，例如：可以选取脑出血数据集进行训练，包括一个病人的不同医疗图像，包括脑部组织的CT平扫图像，MRI图像。

参考图12，图12为本发明实施例提供的图像处理方法中训练数据处理示意图，其中，为了验证本发明图像处理方法的广泛有效性，优选的选取了一个开源数据集进行训练：包括4个模态的BraTS19比赛用4模态MR数据集分割实验。

具体的，首先对原始数据进行0-1归一化。其次，对于没有固定的形状大小和方向性的病灶区域，很有必要对上述原始数据进行翻转、旋转、放缩、对比度增强等数据增广的操作，增加训练样本数量，增大方向性和不同大小规模下的信息价值。由此，图12中可以用四个模态的数据分割出三种不同程度的脑部肿瘤和背景。

步骤1102：确定医疗图像处理模型的网络结构。

其中，参考图13，图13为本发明实施例提供的图像处理方法中医疗图像处理模型的模型结构示意图，其中，针对目标对象的脑溢血、眼底出血和肺部出血等机体内部出血的医疗图像的分割所采用的医疗图像处理模型的多通道可逆残差网络配置有多层多通道可逆模块，并相应地配置了不同的挤压激励网络，其中，图13所示的医疗图像处理模型结构中，依次包括：普通卷积，层数（厚度）为2多通道可逆模块，层数为3多通道可逆模块，层数为4多通道可逆模块。其中，医疗图像处理模型的网络除了SE Block和卷积层外，不需要存储中间结果，而卷积参数占用空间较小，因而整体占用空间很小，便于对体积较大的医疗图像的处理。

进一步地，参考图14-16，图14为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图，其中医疗图像处理模型中的任意多通道的可逆模块（Multi-Layer Rev Block，简称MLRB），对应的正向传播和反向传播参考公式1和公式2，其中，

正向传播：

反向传播：

图14以层数为4为例子展示了四个通道的可逆模块，其中，图14中层数为4的可逆模块，由不同通道之间的卷积组成，输入输出均可由相同的卷积计算，实现可逆，其中，图14中的方框内为所节省的存储空间。

图14中，F和G均为普通卷积，箭头指向的位置采取加和运算。由公式1和2的结合可以确定，从输入到输出，仅需要4个输入和12个卷积，而从输出到输入，也仅需要4个输出和相同的12个卷积，这也就是“可逆”的含义，而中间结果，如方框所示，均可以不需要由网络保存而可以由输入输出和卷积参数进行反推，达到节省空间的效果；而一旦多个可逆模块连接起来，仍只需保存最终输出，能节省更多中间内存（因为中间结果均可由输出Y和卷积参数逆推而得，见反向传播公式）。

参考图15，图15为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图；其中，图15展示了在每个通道上嵌入可逆模块的结构，由于MLRB可逆且RevNet可逆，因此整体MLRB+也可逆，这样就能节省大部分内存。相比于传统技术中，原始多通道可逆模块只有两层，本申请则可以根据输入数据的通道数量进行扩展（例如本实施了中的4层，根据不同医疗图像的使用环境灵活调整）；同时，多通道可逆模块MLRB结合了原始的多通道可逆模块用于每个通道的特征深度提取，能让网络表现更好。最后为了提取全局特征而卷积只能提取局部特征，还可以利用SE Block提取全局特征。

图16为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图，其中，每个可逆模块均可以利用卷积网络都提升到60个通道，然后输入多通道可逆残差网络（主干网络）；主干网络并不改变图像的分辨率（240*240*155）或通道数；输出时一共60*4=240个通道，然后通过卷积和sigmoid函数生成通道为3的概率图，实现分割图像。其中，Input feature就是上一层MLRB输出的特征的级联，所输入的医疗图像的尺寸为H*W*C，则医疗图像具有C个通道(则x∈1 ，2 ，… ，C)，每个通道大小为H*W。挤压激励网络中可以包括第一全连接层、ReLU激活层、第二全连接层和Sigmoid分类层。在获取第一特征向量后，可以将第一特征向量输入第一全连接层，并通过第一全连接层、ReLU激活层、第二全连接层和Sigmoid分类层进行全连接、非线性激活、全连接和分类处理后，得到所述医疗图像相匹配的权重参数和第二特征向量。

步骤1103：对所建立的医疗图像处理模型进行训练，确定模型参数。

其中，可以采用基于自适应矩估计（Adamadaptive moment estimation）的梯度下降法更新网络的参数，初始学习率为0.05，Adam中的betas=（0.95，0.9995）。经过医疗图像处理模型得到概率值，其中该概率值为一个N*1向量，N为类别数)，并通过计算该概率值与样本图像对应的真实类别标签之间的weighted cross entropy(加权交叉熵)作为损失函数，通过最小化损失函数，可以计算误差梯度并通过反向传播更新图像分类网络的梯度。在上述网络训练完成之后，利用最终的预测概率值，得到分类结果。

进一步地，针对目标对象的脑溢血、眼底出血和肺部出血等机体内部出血的医疗图像分割中，可以经过医疗图像处理模型得到概率值表征 可以分割为一个概率图像，本实施例中可以分为4类，因此是3个通道，每个通道的每一个像素值为一个0到1的概率，每个通道一类再加上1减去三个的概率和成为背景概率，分割任务的损失函数为1-dice值，计算每个通道的dice值，通过最小化损失函数L=1-（d1+d2+d3）/3，可以计算误差梯度并通过反向传播更新网络的梯度。在上述网络训练完成之后，测试时输入图像和网络参数，利用最终的预测概率值，得到分割结果（每个像素上最大值为预测的类别）。

步骤1104：通过医疗图像处理模型对医疗图像进行处理。

其中，结合图，参考图17，图17为本发明实施例提供的图像处理方法一个可选的示意图，前台A（例如图10中所示的医疗终端400）接收到图像数据(例如去前序实施例中用户要处理的医学图像)，经过预处理算法，包括但不限于平移，旋转，对称等数据增广，分割等选定器官算法，然后上传给后台（例如图10中所示的服务器100），后台使用本申请所提供的图像处理方法，通过医疗图像处理模型对医疗图像进行分割，然后输出到前台B（例如图10中所示的终端200），医生通过前台B的显示装置可以清楚地观察到经过分割处理的医疗图像。

其中，图18为本发明实施例中通过医疗图像处理模型对医疗图像进行分割的前端示意图；其中，可以显示用户界面，用户界面中包括以第一人称视角对目标对象的医疗图像中的目标区域进行观察的视角画面；当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；通过所述用户界面，将目标对象的脑溢血、眼底出血和肺部出血等机体内部出血所分别对应的CT图像和造影图像的分割结果呈现在显示界面中。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；

通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；

通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量；

基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，以实现输出所述医疗图像的分割结果。

2.根据权利要求1所述的方法，其特征在于，所述通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量，包括：

通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多通道图像向量；

通过所述医疗图像处理模型中的多通道可逆残差网络中的每一个通道所携带的可逆残差网络，对相应通道中的图像向量进行处理；

根据所述每一个通道所携带的可逆残差网络对相应通道中的图像向量的处理结果，通过所述多通道可逆残差网络中的卷积层对所述图像向量的处理结果进行加和处理，确定与所述医疗图像相匹配的第一特征向量。

3.根据权利要求2所述的方法，其特征在于，所述通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多通道图像向量，包括：

通过所述第一卷积神经网络对所述医疗图像进行降噪处理；

通过所述第一卷积神经网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；

通过所述第一卷积神经网络的全连接层，对所述医疗图像的降采样结果进行归一化处理；

通过所述第一卷积神经网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量。

4.根据权利要求3所述的方法，其特征在于，所述通过所述第一卷积神经网络对所述医疗图像进行降噪处理，包括：

根据所述医疗图像所对应的目标区域的位置，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；

根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。

5.根据权利要求3所述的方法，其特征在于，所述通过所述第一卷积神经网络对所述医疗图像进行降噪处理，包括：

根据所述医疗图像的图像类型，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；

根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。

6.根据权利要求1所述的方法，其特征在于，所述通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量，包括：

通过所述医疗图像处理模型的挤压激励网络中的全连接层对所述第一特征向量进行全连接处理；

基于所述第一特征向量的全连接处理结果，通过所述挤压激励网络中的激活层对所述第一特征向量的全连接处理结果进行非线性激活，获得相应的激活结果；

通过所述挤压激励网络中的分类层对所述激活结果进行分类，以获取转换后的与所述医疗图像相匹配的权重参数和第二特征向量。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述医疗图像处理模型中的多通道可逆残差网络中的层级数量多于一层时，通过所述挤压激励网络中的分类层对所述激活结果进行处理，确定与所述医疗图像相匹配的第三特征向量；

通过所述多通道可逆残差网络中的每一层级对应的可逆残差网络层和卷积层，对所述第三特征向量进行迭代处理，直至通过所述挤压激励网络中的分类层对所述激活结果进行分类，以获取转换后的与所述医疗图像相匹配的权重参数和第二特征向量。

8.根据权利要求1所述的方法，其特征在于，所述基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，包括：

将与医疗图像相匹配的权重参数施加至所述医疗图像所对应的第二特征向量，以获取所述医疗图像对应的中间特征信息；

将所述中间特征信息映射为分割结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述医疗图像的分割结果。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取第一训练样本集合，其中所述第一训练样本集合包括所述目标对象的同一目标区域的待分割医疗图像的集合；

对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；

通过医疗图像处理模型对所述第二训练样本集合进行处理，以确定所述医疗图像处理多通道可逆残差网络的初始参数和挤压激励网络的初始参数；

响应于所述多通道可逆残差网络的初始参数和所述挤压激励网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数；

根据所述医疗图像处理模型的不同神经网络对应的更新参数所述医疗图像处理模型的更新参数，通过所述第二训练样本集合对所述医疗图像处理模型的多通道可逆残差网络的参数和挤压激励网络的参数分别进行迭代更新，以实现通过所述医疗图像处理模型对所述医疗图像进行分割。

10.根据权利要求9所述的方法，其特征在于，所述响应于所述多通道可逆残差网络的初始参数和所述挤压激励网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数，包括：

将所述第二训练样本集合中不同医疗图像训练样本，代入由所述医疗图像处理模型所对应的损失函数；

确定所述损失函数满足第一收敛条件时对应所述多通道可逆残差网络的网络参数作为所述多通道可逆残差网络的更新参数；

将所述第二训练样本集合中不同医疗图像样本，代入由所述医疗图像处理模型所对应的损失函数；

确定所述损失函数满足第二收敛条件时对应所述挤压激励网络的参数和相应的作为所述挤压激励网络的更新参数。

11.一种图像处理方法，其特征在于，所述方法包括：

显示用户界面，所述用户界面中包括以第一人称视角对目标对象的医疗图像中的目标区域进行观察的视角画面；

当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；

通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；

通过所述用户界面，呈现所述医疗图像的分割结果。

12.一种图像处理装置，其特征在于，所述装置包括：

第一信息传输模块，用于输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；

第一信息处理模块，用于通过所述医疗图像处理模型中的多通道可逆残差网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；

所述第一信息处理模块，用于通过所述医疗图像处理模型的挤压激励网络对所述第一特征向量进行处理，确定与所述医疗图像相匹配的权重参数和第二特征向量；

所述第一信息处理模块，用于基于医疗图像相匹配的权重参数和第二特征向量，通过所述医疗图像处理模型的激活函数和对应的卷积神经网络，对所述医疗图像进行分割，以实现输出所述医疗图像的分割结果。

13.一种图像处理装置，其特征在于，所述装置包括：

第二信息传输模块，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的医疗图像中的目标区域进行观察的视角画面；

第二信息处理模块，用于当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；

所述第二信息处理模块，用于通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；

所述第二信息传输模块，用于通过所述用户界面，呈现所述医疗图像的分割结果。

14.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的图像处理方法，或者，实现权利要求11所述的图像处理方法。

15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的图像处理方法，或者，实现权利要求11所述的图像处理方法。

Images