CN117745725B - 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 - Google Patents
图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 Download PDFInfo
- Publication number
- CN117745725B CN117745725B CN202410190128.2A CN202410190128A CN117745725B CN 117745725 B CN117745725 B CN 117745725B CN 202410190128 A CN202410190128 A CN 202410190128A CN 117745725 B CN117745725 B CN 117745725B
- Authority
- CN
- China
- Prior art keywords
- image
- image processing
- processed
- target
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 522
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000012549 training Methods 0.000 title claims abstract description 117
- 238000003672 processing method Methods 0.000 title claims abstract description 81
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 52
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 50
- 238000010586 diagram Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000003759 clinical diagnosis Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 11
- 125000004122 cyclic group Chemical group 0.000 description 9
- 210000004185 liver Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 5
- 239000011229 interlayer Substances 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010019695 Hepatic neoplasm Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008043 neural expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本说明书实施例提供图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质，其中图像处理方法包括：确定待处理图像以及待处理图像关联的图像处理参数；将待处理图像和图像处理参数输入图像处理模型，获得图像处理模型根据图像处理参数对待处理图像进行处理后输出的目标图像；其中，目标图像的分辨率大于待处理图像的分辨率，图像处理模型根据第二样本图像、第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，第一预测图像为图像处理模型对第一样本图像进行处理并输出的图像，第二预测图像为图像处理模型对第一预测图像进行处理并输出的图像。
Description
技术领域
本说明书实施例涉及计算机技术领域，特别涉及图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质。
背景技术
在医学领域，三维医学图像拥有更多维度的信息，在临床诊断中能够为医生提供更丰富的空间结构信息，医生能够通过三维医学图像对病变体和周围组织进行三维分析，从而提高医疗诊断的准确性和科学性。三维图像数据中，每一层切片内部的分辨率为层内分辨率，不同切片间的扫描厚度为层间分辨率。然而，在三维图像数据中，普遍存在着各向异性的分辨率，即切片内部的层内分辨率高，切片间的层间分辨率低，导致图像质量较差，进一步使得图像识别的准确度降低，也压缩了下游图像分析算法发挥作用的空间，进而影响后续的临床诊断和分析。
发明内容
有鉴于此，本说明书实施例提供了两种图像处理方法。本说明书一个或者多个实施例同时涉及两种图像处理装置，一种图像处理模型训练方法，一种图像处理模型训练装置，一种三维医学图像处理方法，一种三维医学图像处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种图像处理方法，包括：
确定待处理图像以及所述待处理图像关联的图像处理参数；
将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像；
其中，所述目标图像的分辨率大于所述待处理图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像。
根据本说明书实施例的第二方面，提供了一种图像处理装置，包括：
确定模块，被配置为确定待处理图像以及所述待处理图像关联的图像处理参数；
输入模块，被配置为将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像；
其中，所述目标图像的分辨率大于所述待处理图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像。
根据本说明书实施例的第三方面，提供了一种图像处理模型训练方法，应用于服务端，包括：
确定第二样本图像以及所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
根据本说明书实施例的第四方面，提供了一种图像处理模型训练装置，应用于服务端，包括：
确定模块，被配置为确定第二样本图像以及所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
第一输入模块，被配置为将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
第二输入模块，被配置为将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
训练模块，被配置为根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
根据本说明书实施例的第五方面，提供了一种三维医学图像处理方法，应用于服务端，包括：
接收客户端发送的图像处理请求，其中，所述图像处理请求中携带有待处理三维医学图像以及所述待处理三维医学图像关联的图像处理参数；
将所述待处理三维医学图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理三维医学图像进行处理后输出的目标三维医学图像；
其中，所述目标三维医学图像的分辨率大于所述待处理三维医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
将所述目标三维医学图像发送至所述客户端，以使所述客户端通过展示界面展示所述目标三维医学图像。
根据本说明书实施例的第六方面，提供了一种三维医学图像处理装置，应用于服务端，包括：
接收模块，被配置为接收客户端发送的图像处理请求，其中，所述图像处理请求中携带有待处理三维医学图像以及所述待处理三维医学图像关联的图像处理参数；
输入模块，被配置为将所述待处理三维医学图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理三维医学图像进行处理后输出的目标三维医学图像；
其中，所述目标三维医学图像的分辨率大于所述待处理三维医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
发送模块，被配置为将所述目标三维医学图像发送至所述客户端，以使所述客户端通过展示界面展示所述目标三维医学图像。
根据本说明书实施例的第七方面，提供了一种图像处理方法，应用于医疗系统的客户端，包括：
响应于用户针对所述客户端的展示界面的点选操作，确定待处理医学图像以及所述待处理医学图像关联的图像处理参数；
将所述待处理医学图像和所述图像处理参数发送至所述医疗系统的服务端，接收所述服务端返回的目标医学图像，其中，所述目标医学图像为图像处理模型根据所述图像处理参数对所述待处理医学图像进行处理后输出的图像，所述目标医学图像的分辨率大于所述待处理医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
将所述目标医学图像通过所述展示界面展示给所述用户。
根据本说明书实施例的第八方面，提供了一种图像处理装置，应用于医疗系统的客户端，包括：
确定模块，被配置为响应于用户针对所述客户端的展示界面的点选操作，确定待处理医学图像以及所述待处理医学图像关联的图像处理参数；
通信模块，被配置为将所述待处理医学图像和所述图像处理参数发送至所述医疗系统的服务端，接收所述服务端返回的目标医学图像，其中，所述目标医学图像为图像处理模型根据所述图像处理参数对所述待处理医学图像进行处理后输出的图像，所述目标医学图像的分辨率大于所述待处理医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
展示模块，被配置为将所述目标医学图像通过所述展示界面展示给所述用户。
根据本说明书实施例的第九方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像处理方法、图像处理模型训练方法或三维医学图像处理方法的步骤。
根据本说明书实施例的第十方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述图像处理方法、图像处理模型训练方法或三维医学图像处理方法的步骤。
根据本说明书实施例的第十一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法、图像处理模型训练方法或三维医学图像处理方法的步骤。
本说明书一个实施例提供了一种图像处理方法，确定待处理图像以及所述待处理图像关联的图像处理参数；将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像；其中，所述目标图像的分辨率大于所述待处理图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像。
上述方法中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
附图说明
图1是本说明书一个实施例提供的一种图像处理方法的应用场景示意图；
图2是本说明书一个实施例提供的一种图像处理方法的流程图；
图3是本说明书一个实施例提供的一种图像处理方法中、图像处理模型的示意图；
图4是本说明书一个实施例提供的一种图像处理方法中、图像处理模型的训练示意图；
图5是本说明书一个实施例提供的图像处理方法中、目标图像的示意图；
图6是本说明书一个实施例提供的一种图像处理方法的处理过程流程图；
图7是本说明书一个实施例提供的一种图像处理装置的结构示意图；
图8是本说明书一个实施例提供的一种图像处理模型训练方法的流程图；
图9是本说明书一个实施例提供的一种图像处理模型训练装置的结构示意图；
图10是本说明书一个实施例提供的一种三维医学图像处理方法的流程图；
图11是本说明书一个实施例提供的一种三维医学图像处理装置的结构示意图；
图12是本说明书一个实施例提供的另一种图像处理方法的流程图；
图13是本说明书一个实施例提供的另一种图像处理装置的结构示意图；
图14是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外，需要说明的是，本说明书一个或多个实施例所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
本说明书一个或多个实施例中，大模型是指具有大规模模型参数的深度学习模型，通常包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的模型参数。大模型又可以称为基石模型/基础模型（Foundation Model），通过大规模无标注的语料进行大模型的预训练，产出亿级以上参数的预训练模型，这种模型能适应广泛的下游任务，模型具有较好的泛化能力，例如大规模语言模型（Large Language Model, LLM）、多模态预训练模型（multi-modal pre-training model）等。
大模型在实际应用时，仅需少量样本对预训练模型进行微调即可应用于不同的任务中，大模型可以广泛应用于自然语言处理（Natural Language Processing，简称NLP）、计算机视觉等领域，具体可以应用于如视觉问答（Visual Question Answering，简称VQA）、图像描述（Image Caption，简称IC）、图像生成等计算机视觉领域任务，以及基于文本的情感分类、文本摘要生成、机器翻译等自然语言处理领域任务，大模型主要的应用场景包括数字助理、智能机器人、搜索、在线教育、办公软件、电子商务、智能设计等。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
CT：Computed Tomography，电子计算机断层扫描，是一种利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点的医学影像检查方法。
MRI：Magnetic Resonance Imaging，磁共振成像，是一种医学影像技术，利用磁场和高频脉冲使人体内部的原子核发生共振，并通过计算机重建生成图像。
INR：ImplicitNeuralRepresentation，隐式神经表示，是一种信号参数化方法。传统上，信号表示通常是离散的，例如图像由像素的离散网格表示，音频信号由振幅的离散样本表示，三维形状通常被参数化为体素、点云或网格的网格。然而，隐式神经表示法将这些信号参数化为连续函数，该函数将信号域（例如图像的像素坐标）映射到该坐标处的任何位置（对于图像，为R、G、B颜色）。这些函数通常是不可处理的，因此，隐式神经表示法通过神经网络去逼近这个“自然表示”函数。
LAM：Local-context Aware Module，局部注意力机制，是一种注意力机制，用于提高模型对输入序列中局部信息的关注度。LAM通常用于处理文本数据和自然语言处理任务，例如机器翻译、文本分类和情感分析等。LAM的基本思想是在模型中引入一个局部注意力的权重，该权重根据输入序列中每个位置的信息计算得出。这个权重可以看作是模型对每个位置的关注度，权重较大的位置表示模型更加关注该位置的信息。在处理文本数据时，LAM可以通过计算词向量或位置嵌入来计算每个位置的权重。
CCL：Cycle Consistency Loss，循环一致性损失。
Vsr：Volumetricsuper-resolution，针对三维体数据的超分辨率，是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。
实际应用中，对三维医学图像进行超分辨率重建的方法通常包括基于插值的方法、基于重建的方法和基于深度学习的方法等。基于插值的方法可以通过在图像中插入新的像素点来提高分辨率，但是这种方法往往会造成图像失真。基于重建的方法可以通过建立数学模型来描述低分辨率图像和高分辨率图像之间的关系，然后利用这个模型来重建高分辨率图像，这种方法的计算复杂度较高。基于深度学习的方法可以通过深度神经网络学习低分辨率图像和高分辨率图像之间的关系，利用这个关系来重建高分辨率图像，但是需要大量的训练数据和计算资源，不够灵活，并且，基于深度学习的方法重建的高分辨率图像会存在过平滑的现象，不仅损失了图像细节，也使得切片间的噪声水平存在不一致性，在沿Z轴上下滚动时，切片间的不一致性在视觉上表现明显。基于此，亟需一种有效的技术方案解决上述问题。
在本说明书中，提供了两种图像处理方法。本说明书一个或者多个实施例同时涉及两种图像处理装置，一种图像处理模型训练方法，一种图像处理模型训练装置，一种三维医学图像处理方法，一种三维医学图像处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一个实施例提供的一种图像处理方法的应用场景示意图。
图1中包括端侧设备102和云侧设备104。
具体实施时，在医学领域，当利用医学扫描设备对人体部位进行医学扫描之后，获得该人体部位对应的三维医学图像。在医生对该三维医学图像分析之前，可以先对该三维医学图像进行超分辨率重建，便于后续进行医学分析。
如图1所示，医学扫描设备对人体部位进行医学扫描之后，可以将该人体部位对应的三维医学图像（即低分辨率图像）发送至端侧设备102，端侧设备102可以将该三维医学图像展示给医生。并且，医生可以通过端侧设备102输入进行超分辨率重建的超分比，端侧设备102可以将该三维医学图像和超分比输入云侧设备104，云侧设备104可以调用图像处理模型，将该三维医学图像和超分比输入图像处理模型，获得图像处理模型输出的、对该三维医学图像进行超分辨率重建后的目标图像（即高分辨率图像），并且，云侧设备104可以将该目标图像发送至端侧设备102，端侧设备102可以将该目标图像展示给医生。
其中，图像处理模型在训练的过程中，进行了循环一致性训练，具体的，可以将第二样本图像（高分辨率图像）对应的第一样本图像（低分辨率图像）输入图像处理模型，获得第一预测图像，并将该第一预测图像继续输入图像处理模型，获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像进行训练得到图像处理模型，使该图像处理模型能够保证新生成的图像与原有图像在噪声水平上保持一致，从而保证图像处理模型的图像处理性能。
端侧设备102可以包括浏览器、APP（Application，应用程序）、或网页应用如H5（Hyper Text Markup Language5，超文本标记语言第5版）应用、或轻应用（也被称为小程序，一种轻量级应用程序）或云应用等，端侧设备可以基于服务端提供的相应服务的软件开发工具包（SDK，Software Development Kit），如基于实时通信（RTC，Real TimeCommunication）SDK开发获得等。端侧设备可以部署在电子设备中，需要依赖设备运行或者设备中的某些APP而运行等。电子设备可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用，例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
云侧设备104可以理解为提供各种服务的服务器，包括物理服务器、云服务器，例如为多个客户端提供通信服务的服务器，又如为客户端上使用的模型提供支持的用于后台训练的服务器，又如对客户端发送的数据进行处理的服务器等。需要说明的是，云侧设备104可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。云侧设备104也可以为分布式系统的服务器，或者是结合了区块链的服务器。云侧设备104也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（CDN，Content Delivery Network）、以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是，本说明书实施例中提供的图像处理方法可以由云侧设备104执行，在本说明书的其它实施例中，可以将图像处理模型部署在端侧设备102中，使得端侧设备102也可以与云侧设备104具有相似的功能，从而执行本说明书实施例所提供的图像处理方法；在其它实施例中，本说明书实施例所提供的图像处理方法还可以是由端侧设备102与云侧设备104共同执行。
参见图2，图2示出了根据本说明书一个实施例提供的一种图像处理方法的流程图，具体包括以下步骤。
步骤202：确定待处理图像以及所述待处理图像关联的图像处理参数。
具体的，本说明书实施例提供的图像处理方法可以应用于医学领域，该图像处理方法可以应用于服务端。
其中，待处理图像可以理解为三维医学图像，具体可以是待处理的原始低分辨率图像。待处理图像关联的图像处理参数，可以理解为需要将待处理图像进行超分辨率重建后图像的分辨率参数。图像处理参数比如可以是超分比。可以理解的，通过超分辨率重建可以将低分辨率的图像转换为高分辨率的图像，进而帮助医生更准确地诊断疾病和定制治疗方案。在超分辨率重建过程中，超分比可以理解为超分辨率重建后获得的图像的分辨率相对于原始低分辨率图像（即待处理图像）的倍数。比如，超分比为2，那么超分辨率重建后的图像的分辨率是原始低分辨率图像的2倍。
实际应用中，待处理图像比如可以是CT图像、MRI图像等。待处理图像可以是医学扫描设备对人体进行扫描之后发送至服务端的，待处理图像关联的图像处理参数可以是医生通过客户端输入的，还可以是预先设置的，本说明书实施例对此不做限定。
步骤204：将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像。
其中，所述目标图像的分辨率大于所述待处理图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像。
可以理解的，图像处理模型可以用于对低分辨率图像（即待处理图像）进行超分辨率重建，从而获得高分辨率图像（即目标图像）。
具体实施时，所述图像处理模型包括编码层、特征处理层和解码层；
相应地，所述将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像，包括：
将所述待处理图像和所述图像处理参数输入所述图像处理模型；
在所述图像处理模型中，利用所述编码层对所述待处理图像进行特征提取，获得所述待处理图像的初始像素特征；
利用所述特征处理层，根据所述图像处理参数和所述初始像素特征，生成目标像素特征；
利用所述解码层，对所述目标像素特征进行解码处理，获得所述目标图像。
其中，编码层可以理解为基于隐式神经表示的编码层，其可以将待处理图像的每个像素的像素值以及其代表的语义信息表达为一个隐编码（即latent code）。特征处理层可以理解为基于注意力机制的网络层。目标像素特征，可以理解为基于待处理图像的初始像素特征，新生成的像素的像素特征。
基于此，在图像处理模型中，可以利用编码层对待处理图像进行特征提取，获得待处理图像的每个像素的隐编码，并利用特征处理层，根据输入的超分比和每个像素的隐编码，生成目标像素特征，并利用解码层，对目标像素特征进行解码处理，得到该目标像素特征对应的目标像素值，将所有像素值合并从而获得目标图像。
实际应用中，编码层比如可以是卷积神经网络层，解码层比如可以是全连接层。参见图3，图3示出了根据本说明书一个实施例提供的一种图像处理方法中、图像处理模型的示意图，如图3所示，图像处理模型采用了循环隐式神经表示的理念，初始使用信号X来拟合一个连续的隐式神经表示（INR）函数（INR fitting）。随后，从该函数中采样新的点，获得采样后的信号Y，以创建一个新的INR函数（INR fitting）。然后，从新函数中在X的位置采样信号Xˆ。通过评估Xˆ和X之间的相似性，构建一个循环一致的损失。
综上，图像处理模型中的编码层可以利用隐式神经表示的表达能力，将待处理图像的每个像素的像素值及其代表的语义信息表达为隐编码，更大的表达空间能够使图像处理模型更好的对图像进行表示和生成。
具体实施时，所述初始像素特征包括所述待处理图像的多个像素的像素特征；
相应地，所述利用所述特征处理层，根据所述图像处理参数和所述初始像素特征，生成目标像素特征，包括：
利用所述特征处理层，根据所述图像处理参数，确定目标像素特征的目标位置信息；
根据所述目标位置信息，从所述多个像素的像素特征中确定中间像素特征；
根据所述中间像素特征，生成所述目标位置信息对应的目标像素特征。
其中，目标像素特征的目标位置信息，可以理解为目标像素特征的坐标信息。
具体的，在利用特征处理层根据图像处理参数和初始像素特征，生成目标像素特征时，可以根据图像处理参数，确定需要新生成的新像素的坐标信息，并根据该新生成的新像素的坐标信息，从待处理图像的多个像素的像素特征中确定中间像素特征，根据该中间像素特征，生成该坐标信息对应的新像素的像素特征（即目标像素特征）。
具体实施时，在根据图像处理参数，确定需要新生成的新像素的坐标信息时，比如超分比为5/3,初始像素特征包括3层像素层（0,0.5,1），1层像素层可以理解为该待处理图像的一个切片，那么，可以根据超分比确定需要新生成2层像素层，最终获得的目标图像包括5层像素层（0,0.25,0.5，0.75,1），基于此，可以确定新生成的像素层中每个新像素的坐标信息。
举例而言，待处理图像包括a个像素，那么，初始像素特征则包括a个像素中、每个像素的像素特征，超分比为m，可以根据超分比m，确定需要新生成的新像素的坐标信息。并根据该坐标信息，从待处理图像的a个像素的像素特征中，选择b个像素的像素特征作为中间像素特征，并根据该b个像素的像素特征，生成该坐标信息对应的目标像素特征。
综上，通过将像素特征结合位置信息，应用隐式神经表示基于坐标进行标识的特征，使得图像处理模型中的特征处理层能够生成任意坐标处的像素值，从而拥有进行任意超分比的能力，也即是说，图像处理模型可以根据任意超分比生成目标像素特征。
具体的，所述中间像素特征为多个；
相应地，所述根据所述中间像素特征，生成所述目标位置信息对应的目标像素特征，包括：
根据每个中间像素特征的中间位置信息和所述目标位置信息，确定所述每个中间像素特征的特征权重；
根据所述每个中间像素特征的特征权重，对多个中间像素特征进行加权求和，获得目标中间像素特征；
对所述多个中间像素特征、和所述目标中间像素特征进行注意力机制处理，获得所述目标位置信息对应的目标像素特征。
其中，中间像素特征的中间位置信息，可以理解为中间像素特征的坐标信息。
基于此，可以根据每个中间像素特征的坐标信息和目标像素特征的目标位置信息，确定每个中间像素特征和目标像素特征之间的距离，并根据该距离确定每个中间像素特征的特征权重，根据每个中间像素特征的特征权重，对多个中间像素特征进行加权求和处理，获得目标中间像素特征，并对多个中间像素特征和目标中间像素特征进行注意力机制处理，从而获得目标位置信息对应的目标像素特征。
本说明书一个实施例中，距离越近，特征权重越高。
沿用上例，可以根据b个像素的像素特征的坐标信息、和目标像素特征的坐标信息，确定b个像素中、每个像素的像素特征和目标像素特征之间的距离，并根据该距离确定b个像素中、每个像素的像素特征的特征权重，并根据b个像素中、每个像素的像素特征的特征权重，对这b个像素的像素特征进行加权求和处理，以获得目标中间像素特征，并对目标中间像素特征和这b个像素的像素特征进行注意力机制处理，以获得目标位置信息对应的目标像素特征。
可以理解的，目标位置信息可以有多个，相应地，目标位置信息对应的目标像素特征也有多个。
综上，通过引入注意力机制，并结合坐标信息，能够更准确的生成目标像素特征，更好的刻画超分辨率重建过程中像素间的关系，使其不仅依赖于空间上的距离，也依赖像素之间的语义信息，便于后续目标图像的生成。
实际应用中，所述确定待处理图像以及所述待处理图像关联的图像处理参数之后，还包括：
对所述待处理图像进行切分，获得多个待处理子图像；
相应地，所述将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像，包括：
将所述多个待处理子图像中每个待处理子图像、和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述每个待处理子图像进行处理后输出的多个目标子图像；
对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像。
相应地，所述对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像，包括：
确定所述多个目标子图像中每个目标子图像的图像权重；
根据所述每个目标子图像的图像权重，对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像。
具体的，在获得多个目标子图像之后，可以确定目标子图像之间的重叠区域，并且，对于重叠区域的像素设置权重，可以根据重叠区域中的像素点与像素块中心的距离利用高斯函数计算得到。
基于此，可以根据每个目标子图像之间的重叠区域，确定每个目标子图像的图像权重，并根据每个目标子图像的图像权重，对多个目标子图像进行拼接处理，以获得待处理图像对应的目标图像。
综上，通过确定图像权重能够消除目标子图像拼接整合过程中有可能导致的棋盘状伪影，进而保证生成的目标图像的准确度。
参见图4，图4示出了本说明书一个实施例提供的一种图像处理方法中、图像处理模型的训练示意图，如图4所示，所述图像处理模型的训练步骤包括如下步骤。
步骤402：确定第二样本图像以及所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率。
其中，第二样本图像可以理解为高分辨率图像，第一样本图像可以理解为低分辨率图像。实际应用中，第一样本图像可以通过对第二样本图像进行下采样处理得到，具体实现方式如下：
所述确定第二样本图像以及所述第二样本图像对应的第一样本图像，包括：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像。
具体的，可以根据超分比，对第二样本图像进行下采样处理，获得第二样本图像对应的第一样本图像。
举例而言，第二样本图像的分辨率为x，超分比为y，那么第一样本图像的分辨率可以是x*y。
综上，通过根据图像处理参数，对第二样本图像进行下采样，使得根据第一样本图像和第二样本图像训练后得到的图像处理模型具有进行任意超分比的超分辨率重建的能力。
步骤404：将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率。
步骤406：将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率。
步骤408：根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
其中，训练停止条件可以理解为模型损失值达到预设损失值阈值和/或训练次数到达预设轮次。
具体实施时，所述根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型，包括：
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
其中，第一模型损失值可以理解为模型拟合损失值，第二模型损失值可以理解为循环一致性损失值。
基于此，可以根据第一预测图像和第二样本图像，计算模型拟合损失值，根据第二预测图像和第一样本图像，计算循环一致性损失值，反向传播模型拟合损失值和循环一致性损失值，训练图像处理模型，直至获得满足训练停止条件的图像处理模型。
综上，通过循环一致性损失值，使得训练得到的图像处理模型新生成的目标图像能够与原有图像在噪声水平上保持一致，并且可以通过衡量层间噪声水平一致性的SNLI指标得到验证。
具体的，参见下述表1，表1示出了在多种超分辨率重建方法下、以及多种超分比下，生成的目标图像的图像质量评估指标。具体的，表1 中示出了目前的方法1-方法5，以及本方案提出的图像处理模型在不同的超分比大小下，生成的目标图像的图像质量评估指标1-6，由表1可知，本方案中的图像处理模型的生成的目标图像的图像质量较好。参见下述表2，表2示出了局部注意力机制（LAM）和循环一致损失（CCL）的消融研究。具体的，如表2所示，结合局部注意力机制、循环一致损失和INR的方案，性能指标更好。参见下述表3，表3示出了在某肝肿瘤数据集上对下游任务进行评价的指标。对比不同超分辨率方法在1mm原始数据上的分割效果。“L”和“T”分别代表肝脏和肿瘤。将结果与1mm原始图像上的分割进行比较，而不是与真实掩模进行比较，以评估放大图像与原始1mm图像特性的相似度。具体的，本方案中的图像处理模型在该肝肿瘤数据集上的性能指标较好。
表1
表2
表3
参见图5，图5示出了根据本说明书一个实施例提供的图像处理方法中、目标图像的示意图。如图5所示，从轴向、矢状和冠状三个视角，对不同的超分辨率（放大5倍）方法进行可视化展示。其中包括利用多种超分辨率重建方法生成的目标图像，第二行和第三行显示了在新位置生成的图像，而第一行和第四行则展示了在原始位置生成的图像。在底部一行，使用方法4、5和6时，通过箭头在冠状视图中标出了水平线，这表明在切片间的连贯性存在问题。
实际应用中，对待处理图像进行去重采样后的体积超分辨率输出如下述公式（1）所示，其中，X为待处理图像的X轴，Y为待处理图像的Y轴，Z为待处理图像的Z轴，r为沿Z轴的放大因子。为待处理图像（即低分辨率图像），/>为进行超分辨率处理后的图像，F表示低分辨图像到层间超分后图像的映射，R表示实数空间。
（1）
利用编码器（即编码层）对待处理图像进行特征提取的过程如下述公式（2）所述：
（2）
其中，为提取的待处理图像的初始像素特征，即隐编码，编码器以上述低分辨率图像体素作为输入，/>为编码器。体素可以理解为像素。
为了更好的描述体素之间的关系，可以使用基于注意力增强机制的特征处理层（即隐编码网格采样）来增强所生成的体素潜在信息坐标处的编码，具体过程如下：
（3）
其中，N为用于集成邻近隐编码的数量，表示Softmax函数。具体的，可以通过三线性插值计算出目标位置信息（即坐标X）处的体素初始隐编码（即目标中间像素特征）/>，在该体素初始隐编码周围选择N个最近的邻近隐编码（即多个中间像素特征）/>进行聚合，体素初始隐编码被映射到查询空间，而N个邻近隐编码通过线性层/>、/>和/>映射到键和值空间，接下来，计算查询向量和每个键向量之间的相似度，通过Softmax函数转换为权重系数，通过加权求和获得目标像素特征/>。可以理解的，上述过程即为利用特征处理层对多个中间像素特征和目标中间像素特征进行注意力机制处理的过程。
利用解码层（即解码器）对目标像素特征进行解码处理的过程如下述公式所示。
（4）
其中，为解码器，/>为目标位置信息的坐标x及其隐编码/>经过解码器生成的像素值。
实际应用中，在对该基于注意力机制的图像处理模型的训练过程如下所示。
（5）
（6）
（7）
（8）
其中，C表示坐标，hr表示高分辨率，lr表示低分辨率，M表示图像像素的总个数，j表示第j个像素，I表示图像，那么，表示低分辨率图像的第j个像素的坐标，/>表示高分辨率图像的第j个像素的坐标，/>为图像处理模型0，/>为第一样本图像（即低分辨率图像），/>为第一预测图像，/>为第二样本图像（即高分辨率图像），/>为模型拟合损失值，/>为循环一致性损失值，/>为目标模型损失值，/>表示权重参数，实际应用中设置为1，具体的，可以根据该模型拟合损失值和循环一致性损失值，计算目标模型损失值，并根据目标模型损失值训练图像处理模型。
此外，还可以根据SNLI指标（即切片间噪声水平不一致性）的度量标准进行测量，这种不一致性通常表现为轴向切片滚动过程中可感知的切片不连续现象。SNLI指标的标准定义如下：
（9）
其中，ζ可以理解为一个基于小波的高斯分布噪声标准差估计器，它对于输入的图像It，给出对于该图像的高斯噪声标准差（即噪声水平）的估计，Ψ为计算标准差的过程，所以SNLI衡量了切片之间噪声水平的不一致性。
综上所述，上述方法中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
下述结合附图6，以本说明书提供的图像处理方法在三维医学图像处理的应用为例，对所述图像处理方法进行进一步说明。其中，图6示出了本说明书一个实施例提供的一种图像处理方法的处理过程流程图，具体包括以下步骤。
步骤602：确定待处理图像以及所述待处理图像关联的图像处理参数。
具体的，可以确定待处理的三维医学图像，并确定对该三维医学图像进行超分辨率重建的超分比。
步骤604：对所述待处理图像进行切分，获得多个待处理子图像。
步骤606：将所述多个待处理子图像中每个待处理子图像、和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述每个待处理子图像进行处理后输出的多个目标子图像。
具体的，在图像处理模型中，根据图像处理参数对每个待处理子图像进行处理步骤如下。
步骤6062：利用所述编码层对待处理子图像进行特征提取，获得所述待处理子图像的初始像素特征。
具体的，可以将待处理子图像送入编码层（即卷积神经网络），提取待处理子图像的每个像素对应的隐编码。
步骤6064：利用所述特征处理层，根据所述图像处理参数和所述初始像素特征，生成目标像素特征。
具体的，待处理子图像包括a个像素，那么，初始像素特征则包括a个像素中、每个像素的像素特征，超分比为m，可以根据超分比m，确定需要新生成的新像素的坐标信息。并根据该坐标信息，从待处理子图像的a个像素的像素特征中，按照就近规则在该坐标信息的附近选择b个像素的像素特征作为中间像素特征，并可以根据b个像素的像素特征的坐标信息、和目标像素特征的坐标信息，确定b个像素中、每个像素的像素特征和目标像素特征之间的距离，并根据该距离确定b个像素中、每个像素的像素特征的特征权重，并根据b个像素中、每个像素的像素特征的特征权重，对这b个像素的像素特征进行加权求和处理，以获得目标中间像素特征，并对目标中间像素特征和这b个像素的像素特征进行注意力机制处理，以获得目标位置信息对应的目标像素特征。
步骤6066：利用所述解码层，对所述目标像素特征进行解码处理，获得目标子图像。
具体的，可以将目标像素特征和目标位置信息合并输入解码层进行解码，得到目标位置信息对应的位置处的像素值，将所有目标位置信息对应的位置处的像素值合并生成目标子图像。
步骤608：对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像。
具体的，可以根据每个目标子图像之间的重叠区域，确定每个目标子图像的图像权重，并根据每个目标子图像的图像权重，对多个目标子图像进行拼接处理，以获得待处理图像对应的目标图像。
综上所述，上述方法中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
与上述方法实施例相对应，本说明书还提供了图像处理装置实施例，图7示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图7所示，该装置包括：
确定模块702，被配置为确定待处理图像以及所述待处理图像关联的图像处理参数；
输入模块704，被配置为将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像；
其中，所述目标图像的分辨率大于所述待处理图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像。
一个可选的实施例中，所述图像处理模型包括编码层、特征处理层和解码层；
相应地，所述输入模块704，进一步被配置为：
将所述待处理图像和所述图像处理参数输入所述图像处理模型；
在所述图像处理模型中，利用所述编码层对所述待处理图像进行特征提取，获得所述待处理图像的初始像素特征；
利用所述特征处理层，根据所述图像处理参数和所述初始像素特征，生成目标像素特征；
利用所述解码层，对所述目标像素特征进行解码处理，获得所述目标图像。
一个可选的实施例中，所述初始像素特征包括所述待处理图像的多个像素的像素特征；
相应地，所述输入模块704，进一步被配置为：
利用所述特征处理层，根据所述图像处理参数，确定目标像素特征的目标位置信息；
根据所述目标位置信息，从所述多个像素的像素特征中确定中间像素特征；
根据所述中间像素特征，生成所述目标位置信息对应的目标像素特征。
一个可选的实施例中，所述中间像素特征为多个；
相应地，所述输入模块704，进一步被配置为：
根据每个中间像素特征的中间位置信息和所述目标位置信息，确定所述每个中间像素特征的特征权重；
根据所述每个中间像素特征的特征权重，对多个中间像素特征进行加权求和，获得目标中间像素特征；
对所述多个中间像素特征、和所述目标中间像素特征进行注意力机制处理，获得所述目标位置信息对应的目标像素特征。
一个可选的实施例中，所述装置还包括切分模块，被配置为：
对所述待处理图像进行切分，获得多个待处理子图像；
相应地，所述输入模块704，进一步被配置为：
将所述多个待处理子图像中每个待处理子图像、和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述每个待处理子图像进行处理后输出的多个目标子图像；
对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像。
一个可选的实施例中，所述输入模块704，进一步被配置为：
确定所述多个目标子图像中每个目标子图像的图像权重；
根据所述每个目标子图像的图像权重，对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像。
一个可选的实施例中，所述待处理图像为三维医学图像。
一个可选的实施例中，所述装置还包括训练模块，被配置为：
确定第二样本图像以及所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
一个可选的实施例中，所述训练模块，进一步被配置为：
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
一个可选的实施例中，所述训练模块，进一步被配置为：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像。
综上所述，上述装置中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是，该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思，图像处理装置的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
参见图8，图8示出了根据本说明书一个实施例提供的一种图像处理模型训练方法的流程图，具体包括以下步骤。
步骤802：确定第二样本图像以及所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
步骤804：将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
步骤806：将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
步骤808：根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
可选地，所述根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型，包括：
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
可选地，所述确定第二样本图像以及所述第二样本图像对应的第一样本图像，包括：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像。
综上所述，上述方法中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
上述为本实施例的一种图像处理模型训练方法的示意性方案。需要说明的是，该图像处理模型训练方法的技术方案与上述的图像处理方法的技术方案属于同一构思，图像处理模型训练方法的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
此外，本说明书实施例还提供了一种肝脏CT图像处理方法，包括：
确定待处理肝脏CT图像以及所述待处理肝脏CT图像关联的图像处理参数；
将所述待处理肝脏CT图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型 根据所述图像处理参数对所述待处理肝脏CT图像进行处理后输出的目标肝脏CT图像；
其中，所述目标肝脏CT图像的分辨率大于所述待处理肝脏CT图像的分辨率，所述图像处理模型通过上述实施例中的图像处理模型训练方法训练得到。
与上述方法实施例相对应，本说明书还提供了图像处理模型训练装置实施例，图9示出了本说明书一个实施例提供的一种图像处理模型训练装置的结构示意图。如图9所示，该装置包括：
确定模块902，被配置为确定第二样本图像以及所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
第一输入模块904，被配置为将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
第二输入模块906，被配置为将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
训练模块908，被配置为根据所述第一样本图像、所述第二样本图像、所述第一预测图像和所述第二预测图像，对图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
可选地，所述训练模块908，进一步被配置为：
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
可选地，所述确定模块902，进一步被配置为：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像。
综上所述，上述装置中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
上述为本实施例的一种图像处理模型训练装置的示意性方案。需要说明的是，该图像处理模型训练装置的技术方案与上述的图像处理模型训练方法的技术方案属于同一构思，图像处理模型训练装置的技术方案未详细描述的细节内容，均可以参见上述图像处理模型训练方法的技术方案的描述。
参见图10，图10示出了根据本说明书一个实施例提供的一种三维医学图像处理方法的流程图，具体包括以下步骤。
步骤1002：接收客户端发送的图像处理请求，其中，所述图像处理请求中携带有待处理三维医学图像以及所述待处理三维医学图像关联的图像处理参数；
步骤1004：将所述待处理三维医学图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理三维医学图像进行处理后输出的目标三维医学图像；
其中，所述目标三维医学图像的分辨率大于所述待处理三维医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
步骤1006：将所述目标三维医学图像发送至所述客户端，以使所述客户端通过展示界面展示所述目标三维医学图像。
综上所述，上述方法中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
上述为本实施例的一种三维医学图像处理方法的示意性方案。需要说明的是，该三维医学图像处理方法的技术方案与上述的图像处理方法的技术方案属于同一构思，三维医学图像处理方法的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了三维医学图像处理装置实施例，图11示出了本说明书一个实施例提供的一种三维医学图像处理装置的结构示意图。如图11所示，该装置包括：
接收模块1102，被配置为接收客户端发送的图像处理请求，其中，所述图像处理请求中携带有待处理三维医学图像以及所述待处理三维医学图像关联的图像处理参数；
输入模块1104，被配置为将所述待处理三维医学图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理三维医学图像进行处理后输出的目标三维医学图像；
其中，所述目标三维医学图像的分辨率大于所述待处理三维医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
发送模块1106，被配置为将所述目标三维医学图像发送至所述客户端，以使所述客户端通过展示界面展示所述目标三维医学图像。
综上所述，上述装置中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
上述为本实施例的一种三维医学图像处理装置的示意性方案。需要说明的是，该三维医学图像处理装置的技术方案与上述的三维医学图像处理方法的技术方案属于同一构思，三维医学图像处理装置的技术方案未详细描述的细节内容，均可以参见上述三维医学图像处理方法的技术方案的描述。
参见图12，图12示出了根据本说明书一个实施例提供的另一种图像处理方法的流程图，应用于医疗系统的客户端，具体步骤如下。
步骤1202：响应于用户针对所述客户端的展示界面的点选操作，确定待处理医学图像以及所述待处理医学图像关联的图像处理参数；
步骤1204：将所述待处理医学图像和所述图像处理参数发送至所述医疗系统的服务端，接收所述服务端返回的目标医学图像，
其中，所述目标医学图像为图像处理模型根据所述图像处理参数对所述待处理医学图像进行处理后输出的图像，所述目标医学图像的分辨率大于所述待处理医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
步骤1206：将所述目标医学图像通过所述展示界面展示给所述用户。
其中，待处理医学图像可以理解为需要进行超分辨率重建的三维医学图像。
具体的，客户端可以部署有医疗系统，客户端的展示界面向用户展示该医疗系统的界面，用户通过展示界面在医疗系统上进行点选、上传等操作，从而确定用户需要进行超分辨率重建的待处理医学图像以及该待处理医学图像关联的图像处理参数，比如，用户可以在展示界面展示的多张的医学图像中选择其中一张或多张作为待处理医学图像，或者，用户还可以通过点选展示界面上的图像上传指令，上传待处理医学图像。
客户端可以将该待处理医学图像和图像处理参数发送至医疗系统的服务端，该医疗系统的服务端部署有图像处理模型，该医疗系统的服务端可以通过调用图像处理模型根据图像处理参数对待处理医学图像进行超分辨率重建处理，从而获得目标医学图像，并将目标医学图像返回给客户端，客户端可以通过展示界面将目标医学图像展示给用户。
综上所述，上述方法中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
上述为本实施例的另一种图像处理方法的示意性方案。需要说明的是，该另一种图像处理方法的技术方案与上述的图像处理方法的技术方案属于同一构思，该另一种图像处理方法的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了图像处理装置实施例，图13示出了本说明书一个实施例提供的另一种图像处理装置的结构示意图，应用于医疗系统的客户端。如图13所示，该装置包括：
确定模块1302，被配置为响应于用户针对所述客户端的展示界面的点选操作，确定待处理医学图像以及所述待处理医学图像关联的图像处理参数；
通信模块1304，被配置为将所述待处理医学图像和所述图像处理参数发送至所述医疗系统的服务端，接收所述服务端返回的目标医学图像，其中，所述目标医学图像为图像处理模型根据所述图像处理参数对所述待处理医学图像进行处理后输出的图像，所述目标医学图像的分辨率大于所述待处理医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
展示模块1306，被配置为将所述目标医学图像通过所述展示界面展示给所述用户。
综上所述，上述装置中，在对图像处理模型的训练过程中，可以将第一样本图像输入图像处理模型获得第一预测图像，再将生成的第一预测图像输入图像处理模型获得第二预测图像，根据第二样本图像、第一样本图像、第一预测图像和第二预测图像对图像处理模型进行训练，以实现通过图像处理的循环对图像处理模型进行训练，保证通过图像处理模型生成的图像与原始图像之间的一致性，从而解决切片之间不一致的问题，在后续通过该图像处理模型对待处理图像进行处理时，使得获得的目标图像和已有的待处理图像之间的噪声水平一致，进而保证图像处理模型的图像处理能力，保证目标图像的图像质量，从而提升后续图像识别的准确度，下游图像分析算法能够进一步对目标图像进行分析，进一步使得医生能够根据目标图像进行后续临床诊断和分析。
上述为本实施例的另一种图像处理装置的示意性方案。需要说明的是，该另一种图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思，该另一种图像处理装置的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
图14示出了根据本说明书一个实施例提供的一种计算设备1400的结构框图。该计算设备1400的部件包括但不限于存储器1410和处理器1420。处理器1420与存储器1410通过总线1430相连接，数据库1450用于保存数据。
计算设备1400还包括接入设备1440，接入设备1440使得计算设备1400能够经由一个或多个网络1460通信。这些网络的示例包括公用交换电话网（PSTN，Public SwitchedTelephone Network）、局域网（LAN，Local Area Network）、广域网（WAN，Wide AreaNetwork）、个域网（PAN，Personal Area Network）或诸如因特网的通信网络的组合。接入设备1440可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC，networkinterface controller））中的一个或多个，诸如IEEE802.11无线局域网（WLAN，WirelessLocal Area Network）无线接口、全球微波互联接入（Wi-MAX，WorldwideInteroperability for Microwave Access）接口、以太网接口、通用串行总线（USB，Universal Serial Bus）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC，Near FieldCommunication）接口，等等。
在本申请的一个实施例中，计算设备1400的上述部件以及图14中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图14所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备1400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或个人计算机（PC，Personal Computer）的静止计算设备。计算设备1400还可以是移动式或静止式的服务器。
其中，处理器1420用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算机程序产品的示意性方案。需要说明的是，该计算机程序产品的技术方案与上述的方法的技术方案属于同一构思，计算机程序产品的技术方案未详细描述的细节内容，均可以参见上述方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减，例如在某些地区，根据专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (11)
1.一种图像处理方法，包括：
确定待处理图像以及所述待处理图像关联的图像处理参数；
将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像；
其中，所述目标图像的分辨率大于所述待处理图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
所述图像处理模型的训练步骤包括：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
2.根据权利要求1所述的图像处理方法，所述图像处理模型包括编码层、特征处理层和解码层；
相应地，所述将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像，包括：
将所述待处理图像和所述图像处理参数输入所述图像处理模型；
在所述图像处理模型中，利用所述编码层对所述待处理图像进行特征提取，获得所述待处理图像的初始像素特征；
利用所述特征处理层，根据所述图像处理参数和所述初始像素特征，生成目标像素特征；
利用所述解码层，对所述目标像素特征进行解码处理，获得所述目标图像。
3.根据权利要求2所述的图像处理方法，所述初始像素特征包括所述待处理图像的多个像素的像素特征；
相应地，所述利用所述特征处理层，根据所述图像处理参数和所述初始像素特征，生成目标像素特征，包括：
利用所述特征处理层，根据所述图像处理参数，确定目标像素特征的目标位置信息；
根据所述目标位置信息，从所述多个像素的像素特征中确定中间像素特征；
根据所述中间像素特征，生成所述目标位置信息对应的目标像素特征。
4.根据权利要求3所述的图像处理方法，所述中间像素特征为多个；
相应地，所述根据所述中间像素特征，生成所述目标位置信息对应的目标像素特征，包括：
根据每个中间像素特征的中间位置信息和所述目标位置信息，确定所述每个中间像素特征的特征权重；
根据所述每个中间像素特征的特征权重，对多个中间像素特征进行加权求和，获得目标中间像素特征；
对所述多个中间像素特征、和所述目标中间像素特征进行注意力机制处理，获得所述目标位置信息对应的目标像素特征。
5.根据权利要求1所述的图像处理方法，所述确定待处理图像以及所述待处理图像关联的图像处理参数之后，还包括：
对所述待处理图像进行切分，获得多个待处理子图像；
相应地，所述将所述待处理图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理图像进行处理后输出的目标图像，包括：
将所述多个待处理子图像中每个待处理子图像、和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述每个待处理子图像进行处理后输出的多个目标子图像；
对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像；
相应地，所述对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像，包括：
确定所述多个目标子图像中每个目标子图像的图像权重；
根据所述每个目标子图像的图像权重，对所述多个目标子图像进行拼接处理，获得所述待处理图像对应的目标图像。
6.一种图像处理模型训练方法，应用于服务端，包括：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
7.一种三维医学图像处理方法，应用于服务端，包括：
接收客户端发送的图像处理请求，其中，所述图像处理请求中携带有待处理三维医学图像以及所述待处理三维医学图像关联的图像处理参数；
将所述待处理三维医学图像和所述图像处理参数输入图像处理模型，获得所述图像处理模型根据所述图像处理参数对所述待处理三维医学图像进行处理后输出的目标三维医学图像；
其中，所述目标三维医学图像的分辨率大于所述待处理三维医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
将所述目标三维医学图像发送至所述客户端，以使所述客户端通过展示界面展示所述目标三维医学图像；
其中，所述图像处理模型的训练步骤包括：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
8.一种图像处理方法，应用于医疗系统的客户端，包括：
响应于用户针对所述客户端的展示界面的点选操作，确定待处理医学图像以及所述待处理医学图像关联的图像处理参数；
将所述待处理医学图像和所述图像处理参数发送至所述医疗系统的服务端，接收所述服务端返回的目标医学图像，其中，所述目标医学图像为图像处理模型根据所述图像处理参数对所述待处理医学图像进行处理后输出的图像，所述目标医学图像的分辨率大于所述待处理医学图像的分辨率，所述图像处理模型根据第二样本图像、所述第二样本图像对应的第一样本图像、第一预测图像和第二预测图像训练得到，所述第一预测图像为所述图像处理模型对所述第一样本图像进行处理并输出的图像，所述第二预测图像为所述图像处理模型对所述第一预测图像进行处理并输出的图像；
将所述目标医学图像通过所述展示界面展示给所述用户；
其中，所述图像处理模型的训练步骤包括：
确定第二样本图像；
根据图像处理参数，对所述第二样本图像进行下采样处理，获得所述第二样本图像对应的第一样本图像，其中，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
将所述第一样本图像输入图像处理模型，获得所述第一样本图像对应的第一预测图像，其中，所述第一预测图像的分辨率大于所述第一样本图像的分辨率；
将所述第一预测图像输入所述图像处理模型，获得所述第一预测图像对应的第二预测图像，其中，所述第二预测图像的分辨率小于所述第一预测图像的分辨率；
根据所述第一预测图像和所述第二样本图像，计算第一模型损失值；
根据所述第二预测图像和所述第一样本图像，计算第二模型损失值；
根据所述第一模型损失值和所述第二模型损失值，对所述图像处理模型进行训练，直至获得满足训练停止条件的图像处理模型。
9.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至5任意一项所述图像处理方法、权利要求6所述图像处理模型训练方法、权利要求7所述三维医学图像处理方法或权利要求8所述图像处理方法的步骤。
10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至5任意一项所述图像处理方法、权利要求6所述图像处理模型训练方法、权利要求7所述三维医学图像处理方法或权利要求8所述图像处理方法的步骤。
11.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至5任意一项所述图像处理方法、权利要求6所述图像处理模型训练方法、权利要求7所述三维医学图像处理方法或权利要求8所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410190128.2A CN117745725B (zh) | 2024-02-20 | 2024-02-20 | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410190128.2A CN117745725B (zh) | 2024-02-20 | 2024-02-20 | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117745725A CN117745725A (zh) | 2024-03-22 |
| CN117745725B true CN117745725B (zh) | 2024-05-14 |
Family
ID=90261341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410190128.2A Active CN117745725B (zh) | 2024-02-20 | 2024-02-20 | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745725B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080528A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
| CN112132959A (zh) * | 2020-09-25 | 2020-12-25 | 东北石油大学 | 数字岩心图像处理方法、装置、计算机设备及存储介质 |
| CN112884648A (zh) * | 2021-01-25 | 2021-06-01 | 汉斯夫(杭州)医学科技有限公司 | 多类模糊图像超分辨率重建的方法和系统 |
| CN115375544A (zh) * | 2022-08-08 | 2022-11-22 | 中加健康工程研究院(合肥)有限公司 | 基于注意力和UNet网络生成对抗网络的超分辨率方法 |
| CN115797176A (zh) * | 2022-11-30 | 2023-03-14 | 南京信息工程大学 | 一种图像超分辨率重建方法 |
| WO2023051344A1 (en) * | 2021-09-30 | 2023-04-06 | Subtle Medical, Inc. | Ultra-high resolution ct reconstruction using gradient guidance |
| CN115936985A (zh) * | 2022-12-01 | 2023-04-07 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 |
| CN116030323A (zh) * | 2023-03-27 | 2023-04-28 | 阿里巴巴（中国）有限公司 | 图像处理方法以及装置 |
| CN116563100A (zh) * | 2023-04-05 | 2023-08-08 | 西北工业大学 | 一种基于内核引导网络的盲超分辨率重建方法 |
| CN116883236A (zh) * | 2023-05-22 | 2023-10-13 | 阿里巴巴（中国）有限公司 | 图像超分方法以及图像数据处理方法 |
| CN117408946A (zh) * | 2023-09-11 | 2024-01-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理模型的训练方法、图像处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022163402A1 (zh) * | 2021-01-26 | 2022-08-04 |
-
2024
- 2024-02-20 CN CN202410190128.2A patent/CN117745725B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080528A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
| CN112132959A (zh) * | 2020-09-25 | 2020-12-25 | 东北石油大学 | 数字岩心图像处理方法、装置、计算机设备及存储介质 |
| CN112884648A (zh) * | 2021-01-25 | 2021-06-01 | 汉斯夫(杭州)医学科技有限公司 | 多类模糊图像超分辨率重建的方法和系统 |
| WO2023051344A1 (en) * | 2021-09-30 | 2023-04-06 | Subtle Medical, Inc. | Ultra-high resolution ct reconstruction using gradient guidance |
| CN115375544A (zh) * | 2022-08-08 | 2022-11-22 | 中加健康工程研究院(合肥)有限公司 | 基于注意力和UNet网络生成对抗网络的超分辨率方法 |
| CN115797176A (zh) * | 2022-11-30 | 2023-03-14 | 南京信息工程大学 | 一种图像超分辨率重建方法 |
| CN115936985A (zh) * | 2022-12-01 | 2023-04-07 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 |
| CN116030323A (zh) * | 2023-03-27 | 2023-04-28 | 阿里巴巴（中国）有限公司 | 图像处理方法以及装置 |
| CN116563100A (zh) * | 2023-04-05 | 2023-08-08 | 西北工业大学 | 一种基于内核引导网络的盲超分辨率重建方法 |
| CN116883236A (zh) * | 2023-05-22 | 2023-10-13 | 阿里巴巴（中国）有限公司 | 图像超分方法以及图像数据处理方法 |
| CN117408946A (zh) * | 2023-09-11 | 2024-01-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理模型的训练方法、图像处理方法 |
Non-Patent Citations (5)
| Title |
|---|
| Chaofeng Chen.Real-World Blind Super-Resolution via Feature Matching with Implicit High-Resolution Priors.MM '22: Proceedings of the 30th ACM International Conference on Multimedia.2022,全文. * |
| 一种深度学习的硬件木马检测算法;刘志强;张铭津;池源;李云松;;西安电子科技大学学报;20191231(第06期);全文 * |
| 基于图像处理与深度学习方法的棉纤维梳理过程纤维检测识别技术;邵金鑫;张宝昌;曹继鹏;;纺织学报;20200715(第07期);全文 * |
| 基于循环一致性对抗网络的室内火焰图像场景迁移;杨植凯;卜乐平;王腾;欧阳继能;;光学精密工程;20200315(第03期);全文 * |
| 深度学习在医学影像中的应用综述;施俊;汪琳琳;王珊珊;陈艳霞;王乾;魏冬铭;梁淑君;彭佳林;易佳锦;刘盛锋;倪东;王明亮;张道强;沈定刚;;中国图象图形学报;20201016(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117745725A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3961484A1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
| Yan et al. | Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| Cheon et al. | Generative adversarial network-based image super-resolution using perceptual content losses | |
| Li et al. | Deep learning methods in real-time image super-resolution: a survey | |
| CN111932529B (zh) | 一种图像分类分割方法、装置及系统 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| Sun et al. | Multiscale generative adversarial network for real‐world super‐resolution | |
| Vu et al. | Perception-enhanced image super-resolution via relativistic generative adversarial networks | |
| Dharejo et al. | Multimodal-boost: Multimodal medical image super-resolution using multi-attention network with wavelet transform | |
| CN109961446A (zh) | Ct/mr三维图像分割处理方法、装置、设备及介质 | |
| Cao et al. | Research for face image super-resolution reconstruction based on wavelet transform and SRGAN | |
| Bastanfard et al. | Toward image super-resolution based on local regression and nonlocal means | |
| US20240054605A1 (en) | Methods and systems for wavelet domain-based normalizing flow super-resolution image reconstruction | |
| Chen et al. | Double paths network with residual information distillation for improving lung CT image super resolution | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| Li et al. | Speckle noise removal based on structural convolutional neural networks with feature fusion for medical image | |
| CN117408946A (zh) | 图像处理模型的训练方法、图像处理方法 | |
| CN117408948A (zh) | 图像处理方法、图像分类分割模型的训练方法 | |
| CN116630514A (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
| CN111402131A (zh) | 基于深度学习的超分辨率土地覆被分类图的获取方法 | |
| Ma et al. | Single image super resolution via wavelet transform fusion and SRFeat network | |
| Hou et al. | Super‐resolution reconstruction of vertebrate microfossil computed tomography images based on deep learning | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| CN117745725B (zh) | 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |