CN111368849B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111368849B
CN111368849B CN202010465062.5A CN202010465062A CN111368849B CN 111368849 B CN111368849 B CN 111368849B CN 202010465062 A CN202010465062 A CN 202010465062A CN 111368849 B CN111368849 B CN 111368849B
Authority
CN
China
Prior art keywords
medical image
image processing
network
medical
processing model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010465062.5A
Other languages
English (en)
Other versions
CN111368849A (zh
Inventor
胡一凡
郑冶枫
李悦翔
曹世磊
魏东
陈嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010465062.5A priority Critical patent/CN111368849B/zh
Publication of CN111368849A publication Critical patent/CN111368849A/zh
Application granted granted Critical
Publication of CN111368849B publication Critical patent/CN111368849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明提供了一种图像处理方法，包括：输入目标对象的医疗信息中的医疗图像，通过医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与医疗图像相匹配的第一特征向量；基于所述第一特征向量，通过医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与医疗图像相匹配的第二特征向量，基于医疗图像相匹配的第二特征向量，通过医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割。本发明还提供了图像处理装置、电子设备及存储介质。本发明能够实现输出所述医疗图像的分割预增强处理结果，提升医疗图像进行分割的准确性，也能够实现通过医疗图像处理模型对体积较大的医疗图像的处理。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及医疗图像处理技术，尤其涉及图像处理方法、装置、电子设备及存储介质。
背景技术
基于深度学习所进行的各种类型识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。
在对图像所进行的分类预测中，根据所部署的应用场景不同，例如，AI+医疗场景，具体用于实现分类预测的图像以及分类预测的实现也各不相同。以AI+医疗场景为例，不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于图像分割的执行实现对医疗图像的分类，并通过图像增强提供更加清晰的医疗图像。
但是，相关技术中，深度卷积神经网络算法虽然广泛应用于图像的分割与增强，然而，无法兼顾整体特征与局部特征，也很难兼顾网络精度和内存消耗，更无法对模糊的图像进行图像增强，而图像却有许多清晰细节需要进行呈现，因此相关技术进行医疗图像处理无法兼顾精确度，也不能提供经过准确分割和图像增强的图像供用户使用。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法、装置、电子设备及存储介质，能够实现通过医疗图像处理模型呈现经过图像增强处理的医疗图像的分割结果，以供用户使用。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种图像处理方法，包括：
输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；
通过所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；
基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与所述医疗图像相匹配的第二特征向量；
基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，以实现输出经过图像增强处理的所述医疗图像的分割结果。
上述方案中，所述方法还包括：
对所述医疗图像依次进行归一化处理和图像扩展处理；
其中，所述图像扩展处理包括至少以下之一：
翻转、旋转、放缩以及对比度增强。
上述方案中，所述方法还包括：
根据所述医疗图像处理模型的使用环境，对所述医疗图像处理模型中的多尺度可逆残差网络中的层级数量或者可逆块数量进行调整，以实现所述医疗图像处理模型与使用环境相适配。
本发明实施例还提供了一种图像处理方法，包括：
显示用户界面，所述用户界面中包括以第一人称视角对目标对象的目标区域进行观察的视角画面；
当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显示所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；
通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；
通过所述用户界面，呈现经过图像增强处理的所述医疗图像的分割结果。
本发明实施例还提供了一种图像处理装置，包括：
第一信息传输模块，用于输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；
第一信息处理模块，用于通过所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；
所述第一信息处理模块，用于基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与所述医疗图像相匹配的第二特征向量；
所述第一信息处理模块，用于基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，以实现输出经过图像增强处理的所述医疗图像的分割结果。
上述方案中，
所述第一信息处理模块，用于通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多尺度特征图像；
所述第一信息处理模块，用于通过所述高分辨率神经子网络中的交换层，确定所述多尺度特征图像对应的额外特征图像；
所述第一信息处理模块，用于响应于所述额外特征图像，通过所述高分辨率神经子网络中的多分辨率分组卷积层，对所述多尺度特征图像中的任一特征图像的图像特征向量进行卷积处理，确定第一卷积向量；
所述第一信息处理模块，用于通过所述高分辨率神经子网络中的多分辨率卷积层，对所述第一卷积向量进行全连接处理和卷积处理，确定第二卷积向量；
所述第一信息处理模块，用于通过线性插值处理，将低分辨率通道中第二卷积向量采集至高分辨率通道中，并经过向量拼接处理，形成与所述医疗图像相匹配的第一特征向量。
上述方案中，
所述第一信息处理模块，用于通过所述第一卷积神经网络对所述医疗图像进行降噪处理；
所述第一信息处理模块，用于通过所述第一卷积神经网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；
所述第一信息处理模块，用于通过所述第一卷积神经网络的全连接层，对所述医疗图像的降采样结果进行归一化处理，确定与所述医疗图像对应的多尺度特征图像。
上述方案中，
所述第一信息处理模块，用于根据所述医疗图像所对应的目标区域的位置，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；
所述第一信息处理模块，用于根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
上述方案中，
所述第一信息处理模块，用于根据所述医疗图像的图像类型，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；
所述第一信息处理模块，用于根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
上述方案中，
所述第一信息处理模块，用于通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络对所述第一特征向量进行处理，确定所述医疗图像的浅层特征，其中，所述可逆残差子网络包括至少一个可逆残差块；
所述第一信息处理模块，用于将所述浅层特征作为当前残差块的输入，并通过当前残差块对所输入的浅层特征进行提取，得到所述当前残差块的输出；
所述第一信息处理模块，用于将所述当前残差块的输出和所述当前残差块的输入进行融合，得到融合特征；
所述第一信息处理模块，用于基于所述可逆残差子网络包括的所有残差块对所述融合特征进行处理，确定与所述医疗图像相匹配的第二特征向量。
上述方案中，
所述第一信息处理模块，用于当所述医疗图像处理模型中的多尺度可逆残差网络的层级数量多于一层时，
所述第一信息处理模块，用于通过所述多尺度可逆残差网络中的每一层级对应的多尺度可逆残差网络中的不同残差块对所述融合特征进行迭代处理，以获取与所述医疗图像相匹配的第二特征向量。
上述方案中，
所述第一信息处理模块，用于确定所述医疗图像处理模型的第二卷积神经网络的卷积核尺寸；
所述第一信息处理模块，用于基于医疗图像相匹配的第二特征向量，通过相应卷积核尺寸的所述第二卷积神经网络对所述多尺度特征图像进行处理，获得经过图像增强处理的所述医疗图像的分割结果。
上述方案中，
所述第一传输处理模块，用于对所述医疗图像依次进行归一化处理和图像扩展处理；
其中，所述图像扩展处理包括至少以下之一：
翻转、旋转、放缩以及对比度增强。
上述方案中，所述装置还包括：
训练模块，用于获取第一训练样本集合，其中所述第一训练样本集合包括所述目标对象的同一目标区域的待分割医疗图像的集合；
所述训练模块，用于对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；
所述训练模块，用于通过医疗图像处理模型对所述第二训练样本集合进行处理，以确定所述医疗图像处理模型中的多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数；
所述训练模块，用于响应于所述多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数；
所述训练模块，用于根据所述医疗图像处理模型的不同神经网络对应的更新参数所述医疗图像处理模型的更新参数，通过所述第二训练样本集合对所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数分别进行迭代更新，以实现通过所述医疗图像处理模型对所述医疗图像进行图像增强处理与分割。
上述方案中，
所述训练模块，用于将所述第二训练样本集合中不同医疗图像训练样本，代入由所述医疗图像处理模型所对应的损失函数；
所述训练模块，用于确定所述损失函数满足第一收敛条件时对应所述高分辨率神经子网络参数作为所述高分辨率神经子网络的更新参数；
所述训练模块，用于将所述第二训练样本集合中不同医疗图像样本，代入由所述医疗图像处理模型所对应的损失函数；
所述训练模块，用于确定所述损失函数满足第二收敛条件时对应所述可逆残差子网络的参数和相应的作为所述可逆残差子网络的更新参数。
上述方案中，
所述训练模块，用于根据所述医疗图像处理模型的使用环境，对所述医疗图像处理模型中的多尺度可逆残差网络中的层级数量或者可逆块数量进行调整，以实现所述医疗图像处理模型与使用环境相适配。
本发明实施例还提供了一种图像处理装置，所述装置包括：
第二信息传输模块，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的目标区域进行观察的视角画面；
第二信息处理模块，用于当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显示所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；
所述第二信息处理模块，用于通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；
所述第二信息传输模块，用于通过所述用户界面，呈现所述医疗图像的分割结果。
本发明实施例还提供了一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前序的图像处理方法，或者，实现前序的图像处理方法。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前序的图像处理方法，或者，实现前序的图像处理方法。
本发明实施例具有以下有益效果：
本发明通过输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；通过所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与所述医疗图像相匹配的第二特征向量；基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，由此，可以实现输出经过图像增强处理的所述医疗图像的分割结果，提升医疗图像进行分割的准确性，也能够实现通过医疗图像处理模型对体积较大的医疗图像的处理，同时对所输出的医疗图像进行图像增强处理，实现基于医疗图像的准确分割以及图像增强，对医疗图像进行分类达到辅助识别医疗图像。
附图说明
图1为本发明实施例提供的图像处理方法的使用场景示意图；
图2为本发明实施例提供的电子设备的组成结构示意图；
图3为本发明实施例提供的图像处理方法一个可选的流程示意图；
图4为本发明实施例提供的图像处理方法一个可选的流程示意图；
图5为本发明实施例提供的图像处理方法中High-Resolution Net结构工作示意图；
图6为本发明实施例提供的图像处理方法中RevNet结构工作示意图；
图7为本发明实施例提供的图像处理方法一个可选的流程示意图；
图8为本发明实施例提供的图像处理方法一个可选的流程示意图；
图9为本发明实施例提供的电子设备的组成结构示意图；
图10为本发明实施例提供的图像处理方法的使用场景示意图；
图11为本发明实施例提供的图像处理方法一个可选的流程示意图；
图12为本发明实施例提供的图像处理方法中训练数据处理示意图；
图13为本发明实施例提供的图像处理方法中医疗图像处理模型的模型结构示意图；
图14为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图；
图15为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图；
图16为本发明实施例提供的图像处理方法一个可选的示意图；
图17为本发明实施例中通过医疗图像处理模型对医疗图像进行分割的前端示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解， “一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1）响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
2）下采样处理，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样，例如：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，其中 s应该是M和N的公约数
3）卷积神经网络（CNN Convolutional Neural Networks）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deeplearning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification）。
4）模型训练，对图像数据集进行多分类学习。该模型可采用TensorFlow、torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多分类模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。
5）Contrastive loss：对比损失函数，其可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。这样的结果就是，在低维空间，同一种类的点会产生聚类的效果，不同种类的mean会隔开。类似fisher降维，但fisher降维不具有out-of-sample extension的效果，不能对new sample进行作用。
6）客户端，终端中实现特定功能的载体，例如移动客户端（APP）是移动终端中特定功能的载体，例如执行用户手势识别的功能的程序。
7）Soft max：归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在[0，1]之间，并且所有元素的和为1。
8）中文名称计算机辅助诊断（AD Computer Aided Diagnosis）其中，CAD用于通过影像学、医疗图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。
9）内窥镜视频流：用于通过图像采集设备（例如内窥镜）对机体部位(人体的不同目标器官或者体内病灶)进行图像采集所形成视频状态的病理信息。
10）病灶：病灶通常指代机体上发生病变的部分。换一种表达方式，一个局限的、具有病原微生物的病变组织，即可称为病灶。
11）高分辨率神经网络 （HRNet High-Resolution Net），通过包含多个并行的高分辨率到低分辨率的子网络，实现跨多分辨率子网络的信息交换。其可以并行地连接各高分辨率到低分辨率子网络的输出，而不是被较多采用的串行连接. 因此，HRNet 能够一直保持高分辨率表示，而不是采用低分辨率到高分辨率的处理来重构高分辨率表示，故HRNet 的 heatmap 具有更高的空间精确度。
12）多尺度可逆残差网络，由不同通道之间的卷积组成，输入输出均可由相同的卷积计算，实现可逆。其中，每层的激活可以从下一层的激活中计算出来，以便能够在不将激活存储在内存中的情况下执行反向传播，其结果是一个网络架构，其中激活存储需求与深度无关，并且相较于相同大小的残差网络模型ResNets，通常至少要小一个数量级。
图1为本发明实施例提供的图像处理方法的使用场景示意图，其中，可以通过本申请所提供的图像处理方法对医疗环境中的医疗图像进行处理，参见图1，终端（包括终端10-1和终端10-2）上设置有能够执行不同功能相应客户端其中，所属客户端为终端（包括终端10-1和终端10-2）通过网络300从相应的服务器200中获取不同的相应目标对象的医疗图像进行浏览，或者获取相应的医疗图像，并对医疗图像所示的目标区域的（例如病灶位置的图像）进行分析，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端（包括终端10-1和终端10-2）通过网络300从相应的服务器200中所获取的相应目标对象的医疗图像类型既可以相同也可以不相同，例如：终端（包括终端10-1和终端10-2）既可以通过网络300从相应的服务器200中获取与目标对象相匹配的病理图像或者医疗图像集合，也可以通过网络300从相应的服务器200中获取仅与当前目标相匹配的医疗图像集合（例如CT图像）进行浏览。服务器200中可以保存有不同目标对象各自对应的相应目标对象的医疗图像，也可以保存与所述目标对象的相应目标对象的医疗图像相匹配的辅助分析信息。在本发明的一些实施例中，服务器200中所保存的不同类型的相应目标对象的医疗图像可以由内窥镜所采集的内窥镜图像，或者CT机器所采集的患者的CT图像。
其中，医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程，包括但不限于：CT，MRI，超声，X光，心电图，脑电图，光学摄影等等由医学仪器生成的图像，是用于辅助临床诊断的一种重要手段和参考因素，不同病征的内在异质性也在其成像表型（外观和形状）中体现。因此，通过医学影像进行病因诊断或图像分割，可以有效辅助医生进行准确地病理诊断。相关技术中，深度卷积神经网络算法已经广泛应用于图像的分割，不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。
但是，相关技术中，深度卷积神经网络算法虽然广泛应用于图像的分割，然而，经典的分割方法大多无法兼顾整体特征与局部特征，也很难兼顾网络精度和内存消耗，而医学图像却有较多细节需要网络抓取，因此需要实现通过较深的网络以及较多的局部特征抽取，获得对于大型2D诊断图像和3D诊断图像中的辅助诊断信息。
其中，常规的神经网络技术对于医疗图像的处理可以使用高分辨率网络模型，其中HRNet可以维持一个高分辨率图像通道以保持有效信息，但由于高分辨率运算导致图像本身占用内存较大，而多尺度会带来更多的通道数导致参数占用内存增大，因而，它可能只能构造一个浅层网络，无法应用在较大的2D图像或3D图像中进行运用，同时，还可以采用可逆残差网络RevNet技术，RevNet的优点在于它几乎可以无限串联而不增加图像计算带来的内存消耗，仅仅多了一些中间计算参数的增加，但可逆残差网络的问题在于结构过于简单，必须维持在一个分辨率尺度下进行计算，因此，有限的复杂度无法提高网络任务的精度。
其中，在医疗图像的使用环境中，以医疗图像为内窥镜图像为例，目标区域可以是例如病灶位置的医疗图像，其中，内窥镜视频流中不少于两张原始内窥镜图像，是医生在利用内窥镜过程中，通过移动摄像头、切换放大倍率等操作反复观察疑似的病灶区域得到的多视野的病理图片的集合，融合了内窥镜下特定视野的信息。由于内窥镜视频流中记录了医生在观察患者病灶的过程中，内窥镜视野中所有的信息，如此，将医生观察单个患者病灶在内窥镜的视野中的信息，作为连续的视频流加以利用，避免医生在快速移动内窥镜的过程中，忽略微小的病变区域，从而提供比单帧图片更多的信息来辅助医生诊断并发现微小病变区域。这一过程中，需要清晰同时进过分割（集中于较小病灶面积）的内窥镜图像来对医生的诊断进行辅助，但是由于机械的内窥镜成像环境的限制或者操作人员的操作限制，所呈现的内窥镜图像往往是针对病灶的大环境的内窥镜图像，无法集中于病灶的具体位置进行成像，同时成像结果也会出现模糊的情况，不利于医生通过集中于病灶处的内窥镜图像辅助进行分类，因此需要通过本申请所提供的图像处理方法，利用医疗图像处理模型对内窥镜图像进行分割，形成针对病灶处的清晰的内窥镜图像，以供医生使用。
其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
结合实施例图1所示，本发明实施例所提供的目标对象确定方法可以通过相应的云端设备实现，例如：终端（包括终端10-1和终端10-2）通过网络300连接位于云端的服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。值得说明的是，服务器200可为实体设备，也可为虚拟化设备。
具体来说，结合前序实施例中的图1所示，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
需要说明的是，在内窥镜（与所述目标对象相连接的医疗设备）下查看的患者目标区域的（例如病灶位置的图像）可以包括多种不同的应用场景，如糖网病变筛查，宫颈癌早期筛查等不同视频流筛查等。基于本实施例的图像处理方法可以部署到多种应用场景，从而便于医生的远程查阅与使用。
服务器200通过网络300向终端（终端10-1和/或终端10-2）发送同一目标对象的相应目标对象的病历信息以实现终端（终端10-1和/或终端10-2）的用户对目标对象的相应目标对象的病历信息进行分析，因此。作为一个事例，服务器200部署相应的医疗图像处理模型，用于获取医疗图像拍摄设备（例如内窥镜设备400）的视频流。
下面对本发明实施例的电子设备的结构做详细说明，电子设备可以各种形式来实施，如带有医疗图像处理功能的专用终端，也可以为带有医疗图像处理功能的电子设备或者云服务器，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的电子设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备20中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。
作为本发明实施例提供的图像处理装置采用软硬件结合实施的示例，本发明实施例所提供的图像处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器201以及连接到总线205的其他组件）完成本发明实施例提供的图像处理方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的图像处理方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备20的操作。这些数据的示例包括：用于在电子设备20上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的图像处理装置可以采用软件方式实现，图2示出了存储在存储器202中的图像处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括图像处理装置2020，图像处理装置2020中包括以下的软件模块：
第一信息传输模块2081，用于输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合。
第一信息处理模块2082，用于通过所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量。
所述第一信息处理模块2082，用于基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与所述医疗图像相匹配的第二特征向量。
所述第一信息处理模块2082，用于基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，以实现输出经过图像增强处理的所述医疗图像的分割结果。
结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图3，图3为本发明实施例提供的图像处理方法一个可选的流程示意图，图3所示的图像处理方法可以应用于医疗图像处理领域，实现对医疗图像的分割，其中，可以理解地，图3所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图3示出的步骤进行说明。
步骤301：图像处理装置输入目标对象的医疗信息中的医疗图像。
其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合，以医疗图像为例，目标对象的同一目标区域的待分割医疗图像的集合可以为同一患者的病灶处的至少一张CT图像或者内窥镜图像。进一步地，可以对所述医疗图像依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括至少以下之一：翻转、旋转、放缩以及对比度增强。通过对医疗图像进行翻转、旋转、放缩、对比度增强等数据增广的操作，可以增加样本数量，增大方向性和不同大小规模下的信息价值。其中，所输入的医疗图像的类型可以是二维平面图像或三维图像；例如：电子计算机断层扫描（CT Computed Tomography）磁共振成像（MRIMagnetic Resonance Imaging）超声，X光，心电图，脑电图，光学摄影等等由医学仪器生成的图像。所要分割并输出展示的是医疗图像中的目标区域，例如：病灶组织或病变区域的医疗图像。
步骤302：医疗图像处理装置通过所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量。
继续结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图4，图4为本发明实施例提供的图像处理方法一个可选的流程示意图，图4所示的图像处理方法可以应用于医疗图像处理领域，实现对医疗图像的分割，例如对于肾流血的超声图像和胆囊肿瘤的超声图像，其中，可以理解地，图4所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图4示出的步骤进行说明。
步骤401：图像处理装置通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多尺度特征图像。
步骤402：图像处理装置通过所述高分辨率神经子网络中的交换层，确定所述多尺度特征图像对应的额外特征图像。
步骤403：图像处理装置响应于所述额外特征图像，通过所述高分辨率神经子网络中的多分辨率分组卷积层，对所述多尺度特征图像中的任一特征图像的图像特征向量进行卷积处理，确定第一卷积向量。
步骤404：图像处理装置通过所述高分辨率神经子网络中的多分辨率卷积层，对所述第一卷积向量进行全连接处理和卷积处理，确定第二卷积向量。
步骤405：图像处理装置通过线性插值处理，将低分辨率通道中第二卷积向量采集至高分辨率通道中，并经过向量拼接处理，形成与所述医疗图像相匹配的第一特征向量。
其中，在介绍医疗图像处理模型的网络结构之前，需要首先对High-ResolutionNet和RevNet的处理过程进行简单介绍，其中，参考图5和图6，图5为本发明实施例提供的图像处理方法中High-Resolution Net结构工作示意图；其中，High-Resolution Net高分辨率网络模型（HR-Net Deep HIgh Resolution Net）可以通过主干网络始终保持原始图像的分辨率，过程中不断与分支网络提取的不同尺度信息进行交互作用，如图5所示， HR-Net通过一系列卷积获得的原始尺寸信息以及不同下采样后不同尺度的信息相交互，不断融合不同尺度的信息作用于高分辨率图片上，有效防止了传统网络先下采样再上采样的策略下高分辨率信息无法保持并还原的弊端。
图6为本发明实施例提供的图像处理方法中RevNet结构工作示意图；其中，（a）和（b）分别示出了残差网络的数据处理过程，RevNet则是改变了以往通过层下采样以及不可逆的卷积层来处理图像的方式，引入可逆的RevNet Block进行图像处理，使得每一步运算均可逆，从而保持了所有信息，降低了信息缺失导致的网络的变异性，同时不需要存储大量的中间结果，大大降低了显存要求，其中，利用训练好的F和G函数，可以通过输入x1，x2计算输出的y1，y2，也可以通过输出的y1，y2计算输入的x1，x2，且反向传播时也不需要额外求逆等操作，因此，不需要储存中间过程中产生的x1+F(x2)等结果，从而节省很多空间。
其中，可逆残差网络，由不同通道之间的卷积组成，输入输出均可由相同的卷积计算，实现可逆。其中，每层的激活可以从下一层的激活中计算出来，以便能够在不将激活存储在内存中的情况下执行反向传播，其结果是一个网络架构，其中激活存储需求与深度无关，并且相较于相同大小的残差网络模型ResNets，通常至少要小一个数量级。
在本发明的一些实施例中，通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多通道图像向量，可以通过以下方式实现：
通过所述第一卷积神经网络对所述医疗图像进行降噪处理；通过所述第一卷积神经网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；通过所述第一卷积神经网络的全连接层，对所述医疗图像的降采样结果进行归一化处理；通过所述第一卷积神经网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量。其中，本发明所涉及的医疗图像可以是不同数据域的图像，也即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。不同医疗应用场景所得的医疗图像属于不同的数据域，数据域可以表示医疗图像属于某种医疗设备或某种成像模态。举例来说：医疗图像具体可以是通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是X光图像、心电图和脑电图等等。在医学领域，不同病征的内在异质性可在医疗图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医疗图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。其中，运行医疗图像处理模型的终端可以根据输入的图像选择指令，从图像数据库中选取对应的医疗图像；或者，终端与医学仪器建立通信连接，如有线通信连接或无线通信连接，当医学仪器通过扫描形成医疗图像时，获取由该医学仪器所形成的医疗图像。
在本发明的一些实施例中，通过所述第一卷积神经网络对所述医疗图像进行降噪处理，可以通过以下方式实现：
根据所述医疗图像所对应的目标区域的位置，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。其中，病灶位置的不同，在不同的医疗图像中的动态噪声值也不相同，医疗图像的噪声会产生不同的伪影，例如CT图像的伪影或者核磁共振造影的伪影，由于噪声所产生的伪影会影响对于医疗图像的准确分类，不利于辅助诊断的准确性。在获取到待分类的医疗图像之后，需要对所获取的医疗图像进行伪影识别，以确定医疗图像中是否存在伪影，以及伪影的严重程度值，进一步地，还可以根据所确定的动态噪声阈值通过图像信息处理网络对所述医疗图像进行降噪处理，以消除由于动态噪声在病灶位置的医疗图像中所产生的伪影。其中，伪影可以指在终端在磁共振扫描或信息处理过程中，出现了一些人体本身不存在的、却能致使图像质量下降的影像。例如，运动伪影出现的原因主要是终端在磁共振扫描过程中，运动器官在每一次激发、编码及信号采集时所处的位置或形态发生了变化，因此出现相位的错误而导致伪影的产生，进一步地，还可能因为磁敏感产生伪影或者化学性配准不良产生伪影，同样的，根据所确定的动态噪声阈值通过图像信息处理网络对所述医疗图像进行降噪处理，以消除由于动态噪声在病灶位置的医疗图像中所产生的磁敏感伪影。
进一步地，当所获取的医疗图像包含有伪影、且动态噪声值大于预设噪声阈值时，终端还可以增加采样时间，进而减低带宽以减小波纹。此外，终端还可以通过增加相位编码数来降低像素大小，减少像素间的不连续性以减少尾波震荡。
在本发明的一些实施例中，通过所述第一卷积神经网络对所述医疗图像进行降噪处理，可以通过以下方式实现：
根据所述医疗图像的图像类型，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。其中，病灶位置的不同，在不同的医疗图像中的动态噪声值也不相同，医疗图像的噪声会产生不同的伪影，例如CT图像的伪影或者核磁共振造影的伪影由于成像机理并不相同，因此通过医疗图像的图像类型，确定与使用环境相匹配的动态噪声阈值。可以更有针对性的消除噪声所产生的伪影。
步骤303：图像处理装置基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与所述医疗图像相匹配的第二特征向量。
继续结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图7，图7为本发明实施例提供的图像处理方法一个可选的流程示意图，图7所示的图像处理方法可以应用于医疗图像处理领域，实现对医疗图像的分割，例如不同病灶的CT图像，其中，可以理解地，图7所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图7示出的步骤进行说明。
步骤701：图像处理装置通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络对所述第一特征向量进行处理，确定所述医疗图像的浅层特征。
其中，所述可逆残差子网络包括至少一个可逆残差块。
步骤702：图像处理装置将所述浅层特征作为当前残差块的输入，并通过当前残差块对所输入的浅层特征进行提取，得到所述当前残差块的输出。
步骤703：图像处理装置将所述当前残差块的输出和所述当前残差块的输入进行融合，得到融合特征。
步骤704：图像处理装置基于所述可逆残差子网络包括的所有残差块对所述融合特征进行处理，确定与所述医疗图像相匹配的第二特征向量。
在本发明的一些实施例中，当所述医疗图像处理模型中的多尺度可逆残差网络的层级数量多于一层时，通过所述多尺度可逆残差网络中的每一层级对应的多尺度可逆残差网络中的不同残差块对所述融合特征进行迭代处理，以获取与所述医疗图像相匹配的第二特征向量。
比如，以将HRnet输出的第一特征向量作为第一个残差块的输入，并输入至第一个残差块，第一个残差块可以对其输入进行第一特征向量提取得到残差块的输出；将第一个残差块的输入和输出进行融合，得到融合后特征，将融合后特征作为第二个残差块的输入，在第二个残差块对输入进行特征提取，得到第二个残差块的输出，(参考第一残差块的提取过程)；将第二残差块的输入和输出进行融合并作为第三个残差块的输入，依次类推，直到得到最后一个残差块的输出，将最后一个残差块的输入和输出融合，得到残差网络的最终输出，即为与所述医疗图像相匹配的第二特征向量 。
步骤304：图像处理装置基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割。
由此，可以实现输出经过图像增强处理的所述医疗图像的分割结果。
在本发明的一些实施例中基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，可以通过以下方式实现：
确定所述医疗图像处理模型的第二卷积神经网络的卷积核尺寸；
基于医疗图像相匹配的第二特征向量，通过相应卷积核尺寸的所述第二卷积神经网络对所述多尺度特征图像进行处理，获得经过图像增强处理的所述医疗图像的分割结果。
继续结合图2示出的图像处理装置说明本发明实施例提供的图像处理方法，参见图8，图8为本发明实施例提供的图像处理方法一个可选的流程示意图，其中，医疗图像处理模型（处理不同部位的超声图像和CT图像）使用之前，需要对医疗图像处理模型进行训练，以确定医疗图像处理模型的参数，实现初始化，可以理解地，图8所示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图8示出的步骤进行说明。
步骤801：图像处理装置获取第一训练样本集合。
其中，所述第一训练样本集合包括所述目标对象的同一目标区域的待分割医疗图像的集合。
步骤802：图像处理装置对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合。
其中，例如，单一医疗图像处理（仅针对某一科室的疾病类型诊断）的使用环境中，与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值需要小于急诊科室或者社区全科门诊的环境中的动态噪声阈值。由于训练样本来源于不同的数据源，数据源中包括各类型应用场景的数据作为相应的训练本的数据来源，例如，本发明所提供的医疗图像处理模型可以作为软件模块封装于移动检测电子设备中，也可以封装于不同的固定医疗检查设备中（包括但不限于：手持诊断仪，病房中央监测系统，床边监测系统），当然也可以固化于智能机器人的硬件设备中，针对这些医疗图像处理模型的不同使用场景，可以使用相对应的训练样本对医疗图像处理模型进行针对性的训练。
步骤803：图像处理装置通过医疗图像处理模型对所述第二训练样本集合进行处理，以确定所述医疗图像处理模型中的多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数。
步骤804：图像处理装置响应于所述多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数。
其中，将可以所述第二训练样本集合中不同医疗图像训练样本，代入由所述医疗图像处理模型所对应的损失函数；确定所述损失函数满足第一收敛条件时对应所述高分辨率神经子网络参数作为所述高分辨率神经子网络的更新参数；将所述第二训练样本集合中不同医疗图像样本，代入由所述医疗图像处理模型所对应的损失函数；确定所述损失函数满足第二收敛条件时对应所述可逆残差子网络的参数和相应的作为所述可逆残差子网络的更新参数。
步骤805：图像处理装置根据所述医疗图像处理模型的不同神经网络对应的更新参数所述医疗图像处理模型的更新参数，通过所述第二训练样本集合对所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数分别进行迭代更新。
由此，可以实现通过所述医疗图像处理模型对所述医疗图像进行图像增强处理与分割。
继续结合图1，本发明实施例还提供了图像处理方法，应用于图1所示的终端10-1或者10-2中，其中，图9为本发明实施例提供的电子设备的组成结构示意图，可以理解，图9仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图9示出的部分结构或全部结构。
本发明实施例提供的电子设备包括：至少一个处理器901、存储器902、用户接口903和至少一个网络接口904。电子设备90中的各个组件通过总线系统905耦合在一起。可以理解，总线系统905用于实现这些组件之间的连接通信。总线系统905除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统905。
其中，用户接口903可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器902可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器902能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。
作为本发明实施例提供的图像处理装置采用软硬件结合实施的示例，本发明实施例所提供的图像处理装置可以直接体现为由处理器901执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器902，处理器901读取存储器902中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器901以及连接到总线905的其他组件）完成本发明实施例提供的图像处理方法。
作为示例，处理器901可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器901来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的图像处理方法。
本发明实施例中的存储器902用于存储各种类型的数据以支持电子设备90的操作。这些数据的示例包括：用于在电子设备90上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的图像处理装置可以采用软件方式实现，图9示出了存储在存储器902中的图像处理装置9090，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器902中存储的程序的示例，可以包括图像处理装置9090，图像处理装置9090中包括以下的软件模块：
第二信息传输模块9081，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的目标区域进行观察的视角画面；
第二信息处理模块9082，用于当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显示所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；
所述第二信息处理模块9082，用于通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；
所述第二信息传输模块9081，用于通过所述用户界面，呈现所述医疗图像的分割结果。
下面以针对目标对象的脑溢血、眼底出血和肺部出血等机体内部出血为例，对本发明所提供的图像处理方法进行说明，
图10为本发明实施例提供的图像处理方法的使用场景示意图，参见图10，图10是本发明实施例提供的血管图像处理系统10的应用场景示意图，终端200可以位于各种具有医疗属性的机构（例如医院、医学研究院）中，可以被用来采集（例如，例如终端200的图像采集装置，或者通过其他的图像采集设备400）患者的眼底图像（即待处理血管图像）。
在一些实施例中，终端200本地执行本发明实施例提供的血管图像处理方法来完成眼底图像的血管分割和血管分类，将血管分割和血管分类的结果以图形化方式输出，从而供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究，例如可以根据眼底图像的血管分割结果和血管分类结果，确定不同类型血管在形态学上的表现，进而来辅助或者直接诊断患者是否有心脑血管疾病风险、高血压视网膜病变和肺部肿瘤的病变。
终端200也可以通过网络300向服务器100发送眼底图像，并调用服务器100提供的远程诊断服务的功能，服务器100通过本发明实施例提供的血管图像处理方法进行血管（病灶血管，例如眼底血管、肺部组织血管、脑部组织血管）分割以实现对血管或肺部组织进行分类的多任务，将血管分割和血管分类的结果返回终端200，供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
终端200可以在图形界面210中显示血管图像处理的各种中间结果和最终结果，例如眼底图像、眼底血管的分割结果和分类结果等。
继续说明本发明实施例提供的血管图像处理设备的结构，血管或者肺部图像处理设备可以是各种终端，例如医疗诊断设备、电脑等，也可以是如图1示出的服务器200。所部署的神经网络模型对于分割往往采取一种编解码器结构，即先下采样图像抽取特征，再上采样返回原图像大小，它维持了一个高分辨率图像通道以保持有效信息，但由于高分辨率运算导致图像本身占用内存较大，而多尺度会带来更多的通道数导致参数占用内存增大，因而，它可能只能构造一个浅层网络，无法应用在较大的血管造影或者肺部组织CT图像中进行运用（或者医生等待图像处理的时间较长），不利于医疗图像处理模型的大规模部署。
为解决上述缺陷，参考图11，图11为本发明实施例提供的图像处理方法一个可选的流程示意图，其中用户可以为医生，具体包括以下步骤：
步骤1101：建立训练数据集合。
其中，针对不同的病理信息（不同的使用环境），可以选择不同的临床数据和图像作为训练样本，例如：可以选取脑出血数据集进行训练，包括一个病人的不同医疗图像，包括脑部组织的CT平扫图像，MRI图像。
参考图12，图12为本发明实施例提供的图像处理方法中训练数据处理示意图，其中，为了验证本发明图像处理方法的广泛有效性，优选的选取了一个开源数据集进行训练：包括4个模态的BraTS19比赛用4模态MR数据集分割实验。
具体的，首先对原始数据进行0-1归一化。其次，对于没有固定的形状大小和方向性的病灶区域，很有必要对上述原始数据进行翻转、旋转、放缩、对比度增强等数据增广的操作，增加训练样本数量，增大方向性和不同大小规模下的信息价值。由此，图12中可以用四个模态的数据分割出三种不同程度的脑部肿瘤和背景。
步骤1102：确定医疗图像处理模型的网络结构。
其中，参考图13，图13为本发明实施例提供的图像处理方法中医疗图像处理模型的模型结构示意图，其中，针对目标对象的脑溢血、眼底出血和肺部出血等机体内部出血的医疗图像的分割所采用的医疗图像处理模型的多尺度可逆残差网络配置有高分辨率神经子网络和可逆残差子网络，其中，其中，图13所示的医疗图像处理模型结构中，依次包括：普通卷积阶段，厚度（层数）为2的多尺度可逆残差网络，厚度为3的多尺度可逆残差网络和厚度为4多尺度可逆残差网络，其中，除了输入和输出的通道数分别为为4和3之外，第一层输入输出通道为30，尺度为原始图像输入尺度160*160*160，第二层输入输出通道为60，图像尺度为80*80*80，第三层输入输出通道为120，图像尺度为40*40*40，第四层输入输出通道为240，图像尺度为20*20*2。
进一步地，参考图14-15，图14为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图，其中医疗图像处理模型中的任意多尺度可逆残差网络对应的正向传播和反向传播参考公式1和公式2，其中，
Figure DEST_PATH_IMAGE001
图14以层数为3为为示例对所展示的三个多尺度可逆残差网络进行说明，其中，图14中厚度为3的多尺度可逆残差网络，由不同层之间的下采样和上采用组成，输入输出均可由相同的卷积计算，实现可逆。
图14中，D13代表了4倍降采样卷积，通道数增加4倍，D12和D23代表了两倍降采样卷积，并且通道数增加两倍，U32和U21代表了两倍上采样卷积，并且通道数降低两倍，U31代表4倍上采样卷积，通道数降低四倍，箭头指向的位置采取加和运算。由公式1和2的集合可看出，从输入到输出，仅需要三个输入和六个卷积，而从输出到输入，也仅需要三个输出和相同的六个卷积，这也就是“可逆”的含义，而中间结果，如红框所示，均可以不需要由网络保存而可以由输入输出和卷积参数进行反推，达到节省空间的效果；图15为本发明实施例提供的图像处理方法中多通道的可逆模块的数据处理示意图，参考图15，将多个模块连接起来，仍只需保存最终输出，能节省更多中间内存（因为中间结果均可由输出Y和卷积参数逆推而得，见反向传播公式）。本发明的医疗信息处理方法的克服了传统技术中原始可逆块只有两层的缺陷，多尺度可逆残差网络的层数（厚度）可以灵活扩展直至扩展为无限层；同时，原始可逆块只存在相同的分辨率：即图14中X1、X2、Y1、Y2 分辨率相同，而本发明的医疗信息处理方法中分辨率可以不同，只需不同层级中Xi和Yi的分辨率等于 即可。
步骤1103：对所建立的医疗图像处理模型进行训练，确定模型参数。
其中，可以采用基于自适应矩估计（Adamadaptive moment estimation）的梯度下降法更新网络的参数，初始学习率为0.05，Adam中的betas=（0.95，0.9995）。经过医疗图像处理模型得到概率值，其中该概率值为一个N*1向量，N为类别数)，并通过计算该概率值与样本图像对应的真实类别标签之间的weighted cross entropy(加权交叉熵)作为损失函数，通过最小化损失函数，可以计算误差梯度并通过反向传播更新图像分类网络的梯度。在上述网络训练完成之后，利用最终的预测概率值，得到分类结果。
进一步地，针对目标对象的脑溢血、眼底出血和肺部出血等机体内部出血的医疗图像分割中，可以经过医疗图像处理模型得到概率值表征 可以分割为一个概率图像，本实施例中可以分为4类，因此是3个通道，每个通道的每一个像素值为一个0到1的概率，每个通道一类再加上1减去三个的概率和成为背景概率，分割任务的损失函数为1-dice值，计算每个通道的dice值，通过最小化损失函数L=1-（d1+d2+d3）/3，可以计算误差梯度并通过反向传播更新网络的梯度。在上述网络训练完成之后，测试时输入图像和网络参数，利用最终的预测概率值，得到分割结果（每个像素上最大值为预测的类别）。
步骤1104：通过医疗图像处理模型对医疗图像进行处理。
其中，结合图，参考图16，图16为本发明实施例提供的图像处理方法一个可选的示意图，前台A（例如图10中所示的医疗终端400）接收到图像数据(例如去前序实施例中用户要处理的医学图像)，经过预处理算法，包括但不限于平移，旋转，对称等数据增广，分割等选定器官算法，然后上传给后台（例如图10中所示的服务器100），后台使用本申请所提供的图像处理方法，通过医疗图像处理模型对医疗图像进行分割，然后输出到前台B（例如图10中所示的终端200），医生通过前台B的显示装置可以清楚地观察到经过分割和图像增强处理的医疗图像。
其中，图17为本发明实施例中通过医疗图像处理模型对医疗图像进行分割的前端示意图；其中，可以显示用户界面，用户界面中包括以第一人称视角对目标对象的目标区域进行观察的视角画面；（目标区域的可以是病灶位置的图像）当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显示所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；通过所述用户界面，将目标对象的脑溢血、眼底出血和肺部出血等机体内部出血所分别对应的CT图像和造影图像的分割结果呈现在显示界面中。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；
通过医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；
基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与所述医疗图像相匹配的第二特征向量；
基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，以实现输出经过图像增强处理的所述医疗图像的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述通过所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量，包括：
通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多尺度特征图像；
通过所述高分辨率神经子网络中的交换层，确定所述多尺度特征图像对应的额外特征图像；
响应于所述额外特征图像，通过所述高分辨率神经子网络中的多分辨率分组卷积层，对所述多尺度特征图像中的任一特征图像的图像特征向量进行卷积处理，确定第一卷积向量；
通过所述高分辨率神经子网络中的多分辨率卷积层，对所述第一卷积向量进行全连接处理和卷积处理，确定第二卷积向量；
通过线性插值处理，将低分辨率通道中第二卷积向量采集至高分辨率通道中，并经过向量拼接处理，形成与所述医疗图像相匹配的第一特征向量。
3.根据权利要求2所述的方法，其特征在于，所述通过所述医疗图像处理模型中的第一卷积神经网络，确定与所述医疗图像对应的多尺度特征图像，包括：
通过所述第一卷积神经网络对所述医疗图像进行降噪处理；
通过所述第一卷积神经网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；
通过所述第一卷积神经网络的全连接层，对所述医疗图像的降采样结果进行归一化处理，确定与所述医疗图像对应的多尺度特征图像。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第一卷积神经网络对所述医疗图像进行降噪处理，包括：
根据所述医疗图像所对应的目标区域的位置，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
5.根据权利要求3所述的方法，其特征在于，所述通过所述第一卷积神经网络对所述医疗图像进行降噪处理，包括：
根据所述医疗图像的图像类型，确定与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值通过所述第一卷积神经网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量，包括 ：
通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络对所述第一特征向量进行处理，确定所述医疗图像的浅层特征，其中，所述可逆残差子网络包括至少一个可逆残差块；
将所述浅层特征作为当前残差块的输入，并通过当前残差块对所输入的浅层特征进行提取，得到所述当前残差块的输出；
将所述当前残差块的输出和所述当前残差块的输入进行融合，得到融合特征；
基于所述可逆残差子网络包括的所有残差块对所述融合特征进行处理，确定与所述医疗图像相匹配的第二特征向量。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当所述医疗图像处理模型中的多尺度可逆残差网络的层级数量多于一层时，
通过所述多尺度可逆残差网络中的每一层级对应的多尺度可逆残差网络中的不同残差块对所述融合特征进行迭代处理，以获取与所述医疗图像相匹配的第二特征向量。
8.根据权利要求1所述的方法，其特征在于，所述基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，包括：
确定所述医疗图像处理模型的第二卷积神经网络的卷积核尺寸；
基于医疗图像相匹配的第二特征向量，通过相应卷积核尺寸的所述第二卷积神经网络对多尺度特征图像进行处理，获得经过图像增强处理的所述医疗图像的分割结果。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一训练样本集合，其中所述第一训练样本集合包括所述目标对象的同一目标区域的待分割医疗图像的集合；
对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；
通过医疗图像处理模型对所述第二训练样本集合进行处理，以确定所述医疗图像处理模型中的多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数；
响应于所述多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数；
根据所述医疗图像处理模型的不同神经网络对应的更新参数所述医疗图像处理模型的更新参数，通过所述第二训练样本集合对所述医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数分别进行迭代更新，以实现通过所述医疗图像处理模型对所述医疗图像进行图像增强处理与分割。
10.根据权利要求9所述的方法，其特征在于，所述响应于所述多尺度可逆残差网络中的高分辨率神经子网络初始参数和可逆残差子网络的初始参数，通过所述医疗图像处理模型对所述第二训练样本集合进行处理，确定所述医疗图像处理模型的不同神经网络对应的更新参数，包括：
将所述第二训练样本集合中不同医疗图像训练样本，代入由所述医疗图像处理模型所对应的损失函数；
确定所述损失函数满足第一收敛条件时对应所述高分辨率神经子网络参数作为所述高分辨率神经子网络的更新参数；
将所述第二训练样本集合中不同医疗图像样本，代入由所述医疗图像处理模型所对应的损失函数；
确定所述损失函数满足第二收敛条件时对应所述可逆残差子网络的参数和相应的作为所述可逆残差子网络的更新参数。
11.一种图像处理方法，其特征在于，所述方法包括：
显示用户界面，所述用户界面中包括以第一人称视角对目标对象的目标区域进行观察的视角画面；
当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显示所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；
通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；
通过所述用户界面，呈现经过图像增强处理的所述医疗图像的分割结果，其中，所述医疗图像处理模型通过权利要求1-10任一项训练得到。
12.一种图像处理装置，其特征在于，所述装置包括：
第一信息传输模块，用于输入目标对象的医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一目标区域的待分割医疗图像的集合；
第一信息处理模块，用于通过医疗图像处理模型的多尺度可逆残差网络中的高分辨率神经子网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第一特征向量；
所述第一信息处理模块，用于基于所述第一特征向量，通过所述医疗图像处理模型中的多尺度可逆残差网络中的可逆残差子网络，确定与所述医疗图像相匹配的第二特征向量；
所述第一信息处理模块，用于基于医疗图像相匹配的第二特征向量，通过所述医疗图像处理模型的卷积神经网络，对所述医疗图像进行分割，以实现输出经过图像增强处理的所述医疗图像的分割结果。
13.一种图像处理装置，其特征在于，所述装置包括：
第二信息传输模块，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的目标区域进行观察的视角画面；
第二信息处理模块，用于当接收到对目标对象的医疗信息中的医疗图像进行分割的触发操作时，在所述用户界面上显示所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；
所述第二信息处理模块，用于通过医疗图像处理模型，对所述医疗图像进行分割，以实现对所述医疗图像进行分割；
所述第二信息传输模块，用于通过所述用户界面，呈现所述医疗图像的分割结果，其中，所述医疗图像处理模型通过权利要求1-10任一项训练得到。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的图像处理方法，或者，实现权利要求11所述的图像处理方法。
15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的图像处理方法，或者，实现权利要求11所述的图像处理方法。
CN202010465062.5A 2020-05-28 2020-05-28 图像处理方法、装置、电子设备及存储介质 Active CN111368849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010465062.5A CN111368849B (zh) 2020-05-28 2020-05-28 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010465062.5A CN111368849B (zh) 2020-05-28 2020-05-28 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111368849A CN111368849A (zh) 2020-07-03
CN111368849B true CN111368849B (zh) 2020-08-28

Family

ID=71207533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010465062.5A Active CN111368849B (zh) 2020-05-28 2020-05-28 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111368849B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968112B (zh) * 2020-09-02 2023-12-26 广州海兆印丰信息科技有限公司 Ct三维定位图像的获取方法、装置和计算机设备
TWI756852B (zh) * 2020-09-29 2022-03-01 臺北榮民總醫院 跨院所眼底影像資料深度學習交流彙整裝置及交流彙整方法
CN113177567B (zh) * 2020-11-11 2021-09-17 苏州知云创宇信息科技有限公司 一种基于云计算服务的图像数据处理方法及系统
CN112836076A (zh) * 2021-01-27 2021-05-25 京东方科技集团股份有限公司 一种图像标签生成方法、装置及设备
CN112751981B (zh) * 2021-02-20 2022-09-23 新疆医科大学第一附属医院 一种切片数字化图像的批量传输加密方法
US20220293247A1 (en) * 2021-03-12 2022-09-15 Siemens Healthcare Gmbh Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from ct images
CN112991223A (zh) * 2021-04-06 2021-06-18 深圳棱镜空间智能科技有限公司 基于可逆神经网络的图像增强方法、装置、设备及介质
CN114359662B (zh) * 2021-12-24 2023-06-13 江苏大学 一种基于异构fpga和融合多分辨率的卷积神经网络的实现方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108426910A (zh) * 2018-03-08 2018-08-21 宁波大学 一种鉴定哈维氏弧菌是否具有致病性的方法
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
WO2019070658A1 (en) * 2017-10-03 2019-04-11 The Regents Of The University Of California APPARATUS AND METHOD FOR DETERMINING SPATIAL PROBABILITY OF CANCER IN PROSTATE
CN109903221A (zh) * 2018-04-04 2019-06-18 华为技术有限公司 图像超分方法及装置
US10496884B1 (en) * 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221225B1 (ko) * 2017-11-22 2021-03-02 에스케이텔레콤 주식회사 영상 화질 개선방법 및 그 장치
CN109886871B (zh) * 2019-01-07 2023-04-07 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110619631A (zh) * 2019-09-16 2019-12-27 中山大学 一种基于残差网络的超分辨图像检测方法
CN111080522B (zh) * 2019-12-13 2022-03-25 福州大学 一种基于双向对抗网络的图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496884B1 (en) * 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
WO2019070658A1 (en) * 2017-10-03 2019-04-11 The Regents Of The University Of California APPARATUS AND METHOD FOR DETERMINING SPATIAL PROBABILITY OF CANCER IN PROSTATE
CN108426910A (zh) * 2018-03-08 2018-08-21 宁波大学 一种鉴定哈维氏弧菌是否具有致病性的方法
CN109903221A (zh) * 2018-04-04 2019-06-18 华为技术有限公司 图像超分方法及装置
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep High-Resolution Representation Learning for Visual Recognition;Jingdong Wang et.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20200331;第1-23页 *
The Reversible Residual Network:Backpropagation Without Storing Activations;Aidan N. Gomez et.;《https://arxiv.org/abs/1707.04585v1》;20170714;第1-14页 *
U-Net: Convolutional Networks for Biomedical Image Segmentation;Olaf Ronneberger et.;《https://arxiv.org/abs/1505.04597v1》;20150518;第1-8页 *
多通道融合可分离卷积神经网络下的脑部磁共振图像分割;郭彤宇;《中国图象图形学报》;20191231;第1-12页 *

Also Published As

Publication number Publication date
CN111368849A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN111369562B (zh) 图像处理方法、装置、电子设备及存储介质
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
Azad et al. Advances in medical image analysis with vision transformers: a comprehensive review
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
CN111755118B (zh) 医疗信息处理方法、装置、电子设备及存储介质
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
Wang et al. SK-Unet: An improved U-Net model with selective kernel for the segmentation of multi-sequence cardiac MR
CN114863225B (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Zhan et al. LR-cGAN: Latent representation based conditional generative adversarial network for multi-modality MRI synthesis
JP2022077991A (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
AU2019430369B2 (en) VRDS 4D medical image-based vein Ai endoscopic analysis method and product
Tawfik et al. Multimodal medical image fusion using stacked auto-encoder in NSCT domain
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
CN113096132B (zh) 图像处理的方法、装置、存储介质和电子设备
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
Ma et al. AMSeg: A Novel Adversarial Architecture based Multi-scale Fusion Framework for Thyroid Nodule Segmentation
EP4260295A1 (en) Self-supervised machine learning for medical image analysis
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Deshpande et al. Super-resolution in a world of scarce resources for medical imaging applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026177

Country of ref document: HK