CN112164447A

CN112164447A - 图像处理方法、装置、设备及存储介质

Info

Publication number: CN112164447A
Application number: CN202011124707.5A
Authority: CN
Inventors: 祝梦梦; 魏东; 顾实; 马锴; 郑冶枫
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-10-20
Filing date: 2020-10-20
Publication date: 2021-01-01
Anticipated expiration: 2040-10-20
Also published as: CN112164447B

Abstract

本申请是关于一种图像处理方法、装置、设备及存储介质，涉及图像处理技术领域。所述方法包括：获取方位图组；获取该方位图组对应的方位回归线；基于该方位图组，以及该方位图组对应的方位回归线，对第一模型进行训练；该第一模型用于通过参数迁移获得待训练的第二模型，该第二模型用于在经过训练样本集的训练后，对包含该指定类型对象的目标图像执行图像处理任务。上述方案，可以将扫描的图像传输至云服务器，通过云服务器中，基于方位图组以及方位图组对应的方位回归线训练出的第一模型参数迁移并再训练得到的第二模型，进行基于计算机视觉技术的图像处理，在训练样本集较小的情况下，提高了图像处理的准确性。

Description

图像处理方法、装置、设备及存储介质

技术领域

本申请涉及图像处理领域，特别涉及一种图像处理方法、装置、设备及存储介质。

背景技术

医疗图像处理是计算机视觉的一个重要研究方向，基于机器学习构建图像处理模型，通过图像处理模型进行医疗图像处理，是一种广泛应用的医疗图像处理方法。

在相关技术中，基于机器学习构建图像处理模型，主要是利用图像样本以及图像样本对应的标注信息输入图像处理模型，并根据图像处理模型的输出优化该图像处理模型，最终得到可用于医疗图像处理的较准确的图像处理模型。

在上述技术方案中，具有人工标注信息医疗图像样本数量通常较少，通过较少的医疗图像样本和该较少的医疗图像样本对应的标注信息对图像处理模型进行训练的精度不够高，导致图像处理的准确性较低。

发明内容

本申请实施例提供了一种图像处理方法、装置、设备及存储介质，可以通过方位图组中的方位信息，对模型进行训练，并将训练出的模型参数迁移至待训练的模型，以便待训练的模型根据该模型参数进行训练，可以在训练样本集较小的情况下，提高了图像处理模型的准确性，该技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

获取方位图组，所述方位图组包含在不同方位上对指定类型对象进行扫描得到的至少两个扫描图像；

获取所述方位图组对应的方位回归线；所述方位回归线用于指示所述至少两个扫描图像之间的方位关系；

基于所述方位图组，以及所述方位图组对应的方位回归线，对第一模型进行训练；所述第一模型用于通过参数迁移获得待训练的第二模型，所述第二模型用于在经过训练样本集的训练后，对包含所述指定类型对象的目标图像执行图像处理任务；所述训练样本集中包含基于所述图像处理任务进行标注的样本图像。

另一方面，提供了一种图像处理方法，所述方法包括：

获取目标图像，所述目标图像是对指定类型对象进行扫描获得的扫描图像；

将所述目标图像输入通过训练样本集的训练后的第二模型，获得图像处理任务对应的图像处理结果；所述第二模型是第一模型通过参数迁移得到的；所述训练样本集中包含基于所述图像处理任务进行标注的样本图像；

其中，所述第一模型是基于方位图组，以及方位图组对应的方位回归线训练得到的，所述方位图组包含在不同方位上对所述指定类型对象进行扫描得到的至少两个扫描图像，所述方位回归线用于指示所述至少两个扫描图像之间的方位关系。

又一方面，提供了一种图像处理装置，所述装置包括：

方位图组获取模块，用于获取方位图组，所述方位图组包含在不同方位上对指定类型对象进行扫描得到的至少两个扫描图像；

方位回归线获取模块，用于获取所述方位图组对应的方位回归线；所述方位回归线用于指示所述至少两个扫描图像之间的方位关系；

模型训练模块，用于基于所述方位图组，以及所述方位图组对应的方位回归线，对第一模型进行训练；所述第一模型用于通过参数迁移获得待训练的第二模型，所述第二模型用于在经过训练样本集的训练后，对包含所述指定类型对象的目标图像执行图像处理任务；所述训练样本集中包含基于所述图像处理任务进行标注的样本图像。

在一种可能的实现方式中，所述方位回归线获取模块，包括：

空间方位信息获取单元，用于获取第一方位图的空间方位信息和第二方位图的空间方位信息；所述第一方位图与所述第二方位图是所述方位图组中任意两个对应不同方位的扫描图像；

方位回归线获取单元，用于基于所述第一方位图的空间方位信息和所述第二方位图的空间方位信息，获取所述第一方位图中对应所述第二方位图的方位回归线。

在一种可能的实现方式中，所述方位图组中的扫描图像是医学数字成像和通信DICOM格式的图像；

所述空间方位信息获取单元，用于，

从所述第一方位图和所述第二方位图的DICOM数据头部中，分别获取所述第一方位图的空间方位信息和所述第二方位图的空间方位信息。

在一种可能的实现方式中，所述模型训练模块，还用于，

基于所述第一方位图，以及所述第一方位图中对应所述第二方位图的方位回归线，对所述第一模型进行训练。

在一种可能的实现方式中，所述模型训练模块，包括：

预测回归线获取单元，用于将所述第一方位图输入所述第一模型，获得所述第一方位图对应的预测回归线；

第一模型更新单元，用于基于所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图的方位回归线，对所述第一模型进行更新。

在一种可能的实现方式中，所述第一模型更新单元，包括：

热点图获取子单元，用于基于所述第一方位图中对应所述第二方位图的方位回归线，获取所述第一方位图中对应所述第二方位图的方位热点图；所述方位热点图用于指示所述第一方位图上各点与所述方位回归线的距离；

第一模型训练子单元，用于基于所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图的方位热点图，对所述第一模型进行训练。

在一种可能的实现方式中，所述第一模型训练子单元，还用于将所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图中的方位热点图之间的均方差值，获取为所述第一模型的损失函数值；

基于所述损失函数值，对所述第一模型的参数进行更新。

在一种可能的实现方式中，所述第一模型是编码器-解码器结构的网络模型。

在一种可能的实现方式中，当所述图像处理任务是图像分类任务时，所述第二模型中包含所述第一模型中的编码器部分。

在一种可能的实现方式中，所述方位图组中的各个扫描图像，是基于解剖结构特点，采用倾斜成像平面扫描获得的医学影像。

又一方面，提供了一种图像处理装置，所述装置包括：

目标图像获取模块，用于获取目标图像，所述目标图像是对指定类型对象进行扫描获得的扫描图像；

图像处理模块，用于将所述目标图像输入通过训练样本集的训练后的第二模型，获得图像处理任务对应的图像处理结果；所述第二模型是第一模型通过参数迁移得到的；所述训练样本集中包含基于所述图像处理任务进行标注的样本图像；

又一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的图像处理方法。

再一方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的图像处理方法。

又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法。

本申请提供的技术方案可以包括以下有益效果：

通过方位图组中不同方位的指定类型对象的扫描图像，以及不同方位的扫描图像之间对应的方位回归线，对第一模型进行训练，再将该训练后的第一模型的模型参数迁移至第二模型，通过训练样本集对第二模型进行再训练，得到可以用于对指定类型对象的目标图像进行图像处理的机器学习模型。通过上述方案，可以在训练样本集较小的情况下，先通过指定类型对象的扫描图像以及其方位回归线，先对模型进行预训练，再利用预训练得出的参数以及训练样本集，对模型进行再训练，提高了训练出的图像处理模型的精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1根据一示例性实施例示出的一种模型训练及模型应用框架图。

图2示出了一种心脏核磁共振的成像示意图。

图3示出了一种CMR图像的空间方位关系示意图。

图4示出了一种CMR图像的空间方位关系示意图。

图5示出了一种CMR图像的空间方位关系示意图。

图6是根据一示例性实施例示出的一种图像处理方法的流程示意图。

图7是根据一示例性实施例提供的一种图像处理方法的方法流程图。

图8示出了一种CMR方位回归线热点图生成过程图。

图9示出了本申请实施例涉及的一种第一模型的模型结构图。

图10示出了一种第二模型的训练流程示意图。

图11示出了图7所示实施例涉及的一种CMR预训练任务的训练过程示意图。

图12示出了DSB数据的像素间距分布直方图。

图13示出了DSB数据像素间距的尺寸统计图。

图14示出了ACDC数据的像素间距特征分布图。

图15示出了ACDC数据每个病人切片数量的分布图。

图16示出了加载不同预训练模型的各部分分割精度对比图。

图17示出了采用预训练处理的可视化示例分割结果图。

图18是根据本申请一示例性实施例示出的一种图像处理方法的方法流程图。

图19是根据本申请一示例性实施例示出的一种图像处理模型训练框架示意图。

图20是根据一示例性实施例示出的一种图像处理装置的结构方框图。

图21是根据一示例性实施例示出的一种图像处理装置的结构方框图。

图22是根据一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍：

1)心脏核磁共振(Cardiac Magnetic Resonance，CMR)

心脏核磁共振是心脏内科医疗常用的一种影像学检查，是一种高效的非手术检查工具，对很多心脏疾病的诊断具有重大意义。心脏磁共振成像是指用磁共振成像技术诊断心脏及大血管疾病的方法，即将人体置于强大的磁场中，使体内的原子核处于特殊的状态，此时再给与一定频率的电磁波，当电磁波的频率合适时，可以使体内的原子核能级改变，释放出一定的信号，并被设备接收、处理。心脏磁共振成像具有良好的软组织对比分辨率，扫描视野大，可获各个方位及不同角度的斜断面图像。

2)人工智能(Artificial Intelligence，AI)

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

3)计算机视觉技术(Computer Vision，CV)

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

4)机器学习(Machine Learning,ML)

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

5)云技术(Cloud technology)

云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

6)医疗云(Medical cloud)

医疗云是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合，医疗云提高医疗机构的效率，方便居民就医。像现在医院的预约挂号、电子病历、医保等等，都是云计算与医疗领域结合的产物，医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。

本申请实施例的方案包括模型训练阶段和模型应用阶段。图1是根据一示例性实施例示出的一种模型训练及模型应用框架图。如图1所示，在模型训练阶段，模型训练设备110通过预先设置好的方位图组对第一模型进行训练，获得训练后的第一模型，再通过预先设置好的训练样本集对训练后的第一模型进行再训练，获得图像处理模型；在图像处理阶段，图像处理设备120根据再训练出的图像处理模型以及输入的目标图像，直接对目标图像进行处理，得到处理后的结果。

其中，上述模型训练设备110和图像处理设备可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是终端或服务器。

可选的，上述模型训练设备110和图像处理设备120可以是同一个设备，或者，模型训练设备110和图像处理设备120也可以是不同的设备。并且，当模型训练设备110和图像处理设备120是不同的设备时，模型训练设备110和图像处理设备120可以是同一类型的设备，比如模型训练设备110和图像处理设备120可以都是服务器；或者，模型训练设备110和图像处理设备120也可以是不同类型的设备。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

请参考图2，其示出了一种心脏核磁共振的成像示意图。心脏核磁共振CMR不同于一般的标准轴向、冠状和矢装切面，CMR的成像平面是根据每个患者的心脏方位来指定生成的。临床上一个标准的CMR检查一般包括：一组短轴(short-axis)图像(图2中展示了其中的一片)，一片2-Chamber(两腔，2C)图像，以及一片4-Chamber(四腔，4C)图像。其中2C图像同时显示了左心房(LA，Left Atrium)和左心室(LV，Left Ventricle)两个心腔；2C图像同时显示了左心房、左心室、右心房(RA，Right Atrium)以及右心室(RV，Right Ventricle)四个心腔。

短轴图像、2C图像以及4C图像之间遵循着一定的空间解剖关系。请参考图3，其示出了一种CMR图像的空间方位关系示意图。如图3所示，2C图像与短轴图像中的心肌间隔(ventricular septum)平行，且在4C图像中穿过二尖瓣和心尖平分左心室。请参考图4，其示出了一种CMR图像的空间方位关系示意图。如图4所示，4C图像在2C图中穿过二尖瓣和心尖平分左心室，且同时在短轴图像上平分左右心室。请参考图5，其示出了一种CMR图像的空间方位关系示意图。如图5所示，一组平行的短轴图像(通常约8至10张切片)垂直于左心室的长度，覆盖从二尖瓣到心尖的整个左心室。

请参考图6，其是根据一示例性实施例示出的一种图像处理方法的流程示意图。该方法可以由计算机设备执行，该计算机设备可以是模型训练设备，其中，该模型训练设备可以是上述图1所示的实施例中的模型训练设备110。如图3所示，该图像处理方法的流程可以包括如下步骤：

步骤601，获取方位图组，该方位图组包含在不同方位上对指定类型对象进行扫描得到的至少两个扫描图像。

在一种可能的实现方式中，该方位图组可以是一个方位图组，也可以是多个方位图组。

在一种可能的实现方式中，该方位图组中除了包含指定类型对象在至少两个不同方位上的扫描图像，还可以包含指定类型对象在同方位上的多个扫描图像。

在一种可能的实现方式中，该方位图组中包含该至少两个不同方位上的扫描图像各自对应的空间方位信息，例如，该空间方位信息可以指示该方位图组中的任一扫描图像的图像像素大小，或者，该空间方位信息还可以指示该方位图组中任一扫描图像与坐标系对应的角度信息。

步骤602，获取该方位图组对应的方位回归线；该方位回归线用于指示该至少两个扫描图像之间的方位关系。

步骤603，基于该方位图组，以及该方位图组对应的方位回归线，对第一模型进行训练。

其中，该第一模型用于通过参数迁移获得待训练的第二模型，该第二模型用于在经过训练样本集的训练后，对包含该指定类型对象的目标图像执行图像处理任务；该训练样本集中包含基于该图像处理任务进行标注的样本图像。

在一种可能的实现方式中，该第一模型可以是机器学习模型中的深度学习模型，该方位图组作为该深度学习模型的训练样本，该方位回归线作为该深度学习模型的学习标注信息，对该深度学习模型进行训练。

在一种可能的实现方式中，该第二模型可以是与该第一模型具有同样模型结构的深度学习模型。

综上所述，在本申请实施例所示的方案中，通过方位图组中不同方位的指定类型对象的扫描图像，以及不同方位的扫描图像之间对应的方位回归线，对第一模型进行训练，再将该训练后的第一模型的模型参数迁移至第二模型，通过训练样本集对第二模型进行再训练，得到可以用于对指定类型对象的目标图像进行图像处理的机器学习模型。通过上述方案，可以在训练样本集较小的情况下，先通过指定类型对象的扫描图像以及其方位回归线，先对模型进行预训练，再利用预训练得出的参数以及训练样本集，对模型进行再训练，提高了训练出的模型执行图像处理的精度。

请参考图7，其是根据一示例性实施例提供的一种图像处理方法的方法流程图。该方法可以由计算机设备执行，其中，该计算机设备可以是上述图1所示的实施例中的模型训练设备110。如图4所示，以医疗领域的CMR应用场景为例，该图像处理方法可以包括如下步骤：

步骤701，获取方位图组。

在一种可能的实现方式中，该方位图组对应的数据信息中包含该方位图组中各个扫描图像对应的空间方位信息。

步骤702，获取第一方位图的空间方位信息和第二方位图的空间方位信息。

其中，该第一方位图与该第二方位图是该方位图组中任意两个对应不同方位的扫描图像。

在一种可能的实现方式中，该方位图组中的扫描图像是医学数字成像和通信DICOM格式的图像。例如，当该方位图组对应的数据格式为医学影像数据的通用存储标准格式，即DICOM(Digital Imaging and Communications in Medicine，可用于数据交换的医学图像格式)格式时，该方位图组对应的数据信息的文件头中包含了该方位图组中各个扫描图像的平面和立体坐标信息。

DICOM标准的数据中，通过ImagePosition(图像位置)、ImageOrientation(图像方向)两个字段来确定患者Patient的空间定位，其中ImagePosition用于指示图像的左上角在空间坐标系中的x，y，z坐标，单位是毫米；而ImageOrientation用于指示图像坐标与解剖学坐标体系(即常用的冠状面、矢状面、水平面)对应坐标的夹角余弦值。

步骤703，基于第一方位图的空间方位信息和第二方位图的空间方位信息，获取该第一方位图中对应该第二方位图的方位回归线。

其中，该第一方位图与该第二方位图可以是该方位图组中任意两个不同方位上的扫描图像。

在一种可能的实现方式中，当该方位图组对应的数据信息中包含该方位图组中各个扫描图像对应的空间方位信息时，可以根据第一方位图和第二方位图的空间方位信息，获取该第一方位图中对应该第二方位图中的方位回归线。

在一种可能的实现方式中，从该第一方位图和该第二方位图的DICOM数据头部中，分别获取该第一方位图的空间方位信息和该第二方位图的空间方位信息。例如，当该方位图组对应的数据格式为DICOM格式时，可以从数据头部分别获取该第一方位图与该第二方位图对应的图像坐标，以及该第一方位图以及该第二方位图，与解剖学坐标体系对应的夹角余弦值。即可以根据该第一方位图以及该第二方位图与解剖学坐标体系之间的方位对应关系，获取该第二方位图与该第一方位图之间的空间方位关系，从而获取第二方位图在该第一方位图上的方位回归线，换句话说，该方位回归线用于指示在解剖学坐标下，第二方位图在第一方位图上的对应线段。

步骤704，基于该第一方位图，以及该第一方位图中对应该第二方位图的方位回归线，对该第一模型进行训练。

其中，第一方位图与该第二方位图是方位图组总任意两个不同方位上的扫描图像，因此，第一方位图中可以找到该第二方位图对应的方位回归线，并且，该第一方位图可以是该方位图组中任意一个方向的扫描图像。

在一种可能的实现方式中，该方位图组为多个方位图组时，该多个方位图组各自对应的第一方位图，可以是互相对应的方位图，且该多个方位图组各自对应的第二方位图，也可以是互相对应的方位图。例如，以CMR场景为例，当第一方位图是短轴图像，且第二方位图为4CH图像时时，该多个方位图组各自对应的第一方位图，可以都为短轴图像，且多个方位图组各自对应的第二方位图可以都为4CH图像，此时该多个方位图组对应的方位回归线，均为4CH图像对应短轴图像的方位回归线，此时，通过该方位图组以及该4CH图像对应的短轴图像的方位回归线，对第一模型进行训练，可以获得用于预测该短轴图像中4CH图像对应的方位回归线的深度学习模型。

另一种可能的实现方式中，该方位图组为多个方位图组时，该多个方位图组各自对应的第一方位图可以是不同的方位图，该多个方位图组各自对应的第二方位图，也可以是不同的方位图。

另一种可能的实现方式中，该第一方位图中可以存在多个不同的方位回归线。以CMR场景为例，当第一方位图是短轴图像时，该第二方位图可以是4CH图像也可以是2CH图像，该第一方位图中可以同时存在该4CH对应的方位回归线，以及2CH对应的方位回归线。

在一种可能的实现方式中，将该第一方位图输入该第一模型，获得该第一方位图对应的预测回归线；基于该第一方位图对应的预测回归线，以及该第一方位图中对应该第二方位图的方位回归线，对该第一模型进行更新。

其中，该预测回归线是该第一模型根据该第一方位图，输出的对该方位回归线的预测信息，即该预测回归线是与该方位回归线对应的数据信息。

在一种可能的实现方式中，将该方位回归线与该预测回归线输入该第一模型对应的损失函数，得到该预测回归线对应的损失函数值，根据该损失函数值，对该第一模型进行更新。

在一种可能的实现方式中，当该第一方位图中存在多条方位回归线时，该预测回归线也可以是与该多条方位回归线对应数量的预测回归线。

在一种可能的实现方式中，基于该第一方位图中对应该第二方位图的方位回归线，获取该第一方位图中对应该第二方位图的方位热点图；该方位热点图用于指示该第一方位图上各点与该方位回归线的距离；基于该第一方位图对应的预测回归线，以及该第一方位图中对应该第二方位图的方位热点图，对该第一模型进行训练。

在一种可能的实现方式中，通过高斯核函数对该方位回归线进行处理，得到以该方位回归线为中心的热点分布图(即方位热点图)，该热点分布图中距离该方位回归线的距离越近，函数值越大，因此该热点分布图可以用于检测与该方位回归线的距离特征。

由于将方位回归线作为该第一方位图的标注信息时，通常会形成一个二值函数(0,1)，即像素点位于该方位回归线上的点取1，像素点不位于该方位回归线上的点为0，因此，直接将该方位回归线作为标注信息进行第一模型的训练，当预测出的预测回归线距离该第一方位图的距离较近时，仍然会受到较大的惩罚，使得第一模型的训练变得较为困难。而对方位回归线采用高斯核函数处理后，生成的heatmap方位热点图作为第一模型训练的标注信息，可以使第一模型的预测值在多个空间位置都为正值，且在距离真实值较近的位置得到的是较小的惩罚，使得第一模型的训练效果更加符合预期。

请参考图8，其示出了一种CMR方位回归线热点图生成过程图。如图8所示，获取方位图组801，根据该方位图组801，在短轴图像上根据该方位图组中包含的空间方位信息，进行三维建模，获取在短轴图像上的2CH方位回归线802，4CH方位回归线803，2CH-4CH方位回归线804，并将该三者输入高斯核函数中，获取2CH方位热点图805，4CH方位热点图806，2CH-4CH方位热点图807。

在一种可能的实现方式中，将该第一方位图对应的预测回归线，以及该第一方位图中对应该第二方位图中的方位热点图之间的均方差值，获取为该第一模型的损失函数值；

基于该损失函数值，对该第一模型的参数进行更新。

在一种可能的实现方式中，该计算均方差值(L2距离)的损失函数如下公式所示：

其中，N表示像素的数量，g_i和

分别表示某一像素点的标注信息(方位回归线)和输出(预测回归线)中对应位置上某一像素点的数值，其中GT(groundtruth，正确标注)为方位回归线，X′为输出的预测回归线。

即对于第一方位图对应的预测回归线以及第一方位图中对应该第二方位图的方位热点图，取若干个对应的像素点对，根据该若干个像素点对之间的距离的均方误差，作为损失函数，对该第一模型进行更新。

在一种可能的实现方式中，还可以采用SGD或Adam对该第一模型的损失函数进行优化。

另一种可能的实现方式中，还可以通过如下公式所示的损失函数对该第一模型进行训练：

L₁(X,X′)＝‖GT-X′‖₁

即可以通过上述L1范数损失函数对该第一模型进行训练，即将目标值(方位热点图)与估计值(预测回归线)的绝对差值的总和作为损失函数的输出值，对该第一模型进行训练。

在一种可能的实现方式中，该第一模型是编码器-解码器结构的网络模型。

请参考图9，其示出了本申请实施例涉及的一种第一模型的模型结构图。

如图9所示，输入的第一方位图的格式为1*224*224，即输入的该第一方位图为单通道，像素大小为224*224的扫描图像，通过如图9所示的U-net网络，对该扫描图像进行上采样、下采样、跳跃连接等操作，下采样操作逐级提取越来越抽象的特征，上采样操作逐级还原图像尺寸和细节，得到最后格式为K*224*224的扫描图像，即输出的扫描图像是与输入图像大小一致的图像，其中K为图像类别数，即用于指示通过该第一模型输出的预测回归线的数量。例如，当K为1时，则代表该第一模型最终输出一条预测回归线，当K为2，则该第一模型可以同时输出两条预测回归线。

需要说明的是，图9所示的U-net模型是一种示例性的模型结构，本申请实施例不局限与某种特定的网络结构，除了图9所示的U-net模型结构，本申请实施例还可以应用于满足一般的编码器解码器结构的任意网络模型。

在一种可能的实现方式中，基于样本训练集中包含的基于该图像处理任务进行标注的样本图像，将训练后的该第一模型的模型参数迁移到该第二模型。

在一种可能的实现方式中，当第一模型训练完成后，训练好的第一模型可以迁移转移至一个新的目标任务(SSL)上，并且可以根据样本图像对应的标注信息，以及标注信息对应的任务类型，确定该第二模型的模型结果。

其中，迁移过程可以是计算机根据目标任务自动完成的，也可以是人工根据该新的目标任务的任务类型手动迁移的。

在一种可能的实现方式中，当该图像处理任务是图像分类任务时，该第二模型中包含该第一模型中的编码器部分将该第一模型的编码器对应的模型参数迁移至该第二模型，即该第二模型只需要使用编码器部分对目标任务进行分类。

另一种可能的实现方式中，当该图像处理任务是图像分割任务时，该第二模型中包含该第一模型中的编码器部分和解码器部分。即可以将该第一模型对应的编码器与解码器部分对应的模型参数迁移至该第二模型，即该第二模型需要使用该第一模型中的完整结构进行图像分割。

在一种可能的实现方式中，当目标任务是K-way(K个数量的分割)，可以根据目标任务的数量，对该第二模型的最外层解码器进行修改，得到更新后的第二模型，该第二模型可以对该第一方位图实现K个目标的同时分割。以图9对应的U-net网络为例，可以将该U-net网络对应的编码器与解码器结构对应的模型参数迁移至第二模型，并将该U-net网络最外层的任务头部(最外层解码器)进行修改，即修改网络的最后一个卷积层通道。

在一种可能的实现方式中，当该分割任务是医学影像分割任务时，标注信息可以是不同组织的分割标注(mask)。

在一种可能的实现方式中，基于训练样本集，对待训练的第二模型进行训练，获得训练后的第二模型。

在一种可能的实现方式中，该方位图组中的各个扫描图像，是基于解剖结构特点，采用倾斜成像平面扫描获得的医学影像。

请参考图10，其示出了一种第二模型的训练流程示意图。如图10所示，以CMR图像为例，将短轴图像作为样本图像1001，将该样本图像1001输入待训练的第二模型1002，经过上采样、下采样、跳跃连接等运算，获取预测出的预测图像1003，根据该预测出的图像1003，与真实的标注信息1004输入损失函数，得出损失函数值，并根据该损失函数值对该第二模型进行更新。

在一种可能的实现方式中，损失函数可采用常用的交叉熵损失函数，如下公式所示：

其中N表示样本的数量，M表示类别的数量，y_ic为样本的标签，p_ic表示观测样本属于类别c的预测概率。通过优化算法最小化损失函数，可达到优化网络参数的目的。

另一种可能的实现方式中，损失函数还可以采用常用的Dice损失函数，如下公式所示：

L₂(y_ic，p_ie)＝1-J_c(y_ic，p_ic，)

根据Dice损失函数，可以获取预测图像1003与该标注信息之间的重合度，即得出该预测图像1003与标注信息1004的相似度。

在医学影像的处理中，经常会碰到根据解剖结果确定的同一部位的多个独特扫描平面，即不为规范的冠状位、矢状位、水平位扫描平面。为了更好的学习到医学影像的图像特征，充分利用数据自身的信息来学习一些图像的高级语义，通过医学影像中不同成像平面之间的空间位置关系在某一成像平面上预测其他成像平面的方位回归线，并以此作为一种自监督学习的预训练任务，对需要得到的图像处理模型先进行预训练。直观的看，回归方位线是一个较强的监督信号，预训练出的网络必须学习到图像中器官、组织之间的规律性的相互关系才能完成此任务，而通过该相互关系预训练出的模型，可以为分割、分类等图像处理任务提供帮助。

在本申请实施例中，可以采用DICOM格式的医疗图像，即符合医学图像和相关信息的国际标准ISO 12052的医学数字成像。医学影像数据的通用存储标准为DICOM格式，该格式的医学影像数据将大量的元数据信息包含在文件头中，包括仪器信息、图像采集参数、病人信息资料以及平面和立体坐标信息。

因此三维医学影像的空间方位信息可以直接从DICOM的数据头部中获取，从而快速构建预训练任务的标签(即方位回归线)，也就是说该预训练任务的标签是根据数据自动生成的，不需要人工标记，因此该与训练过程是一个自监督过程，预训练任务的GT由数据本身的特性生成，同时又作为监督信号用来学习数据本身的高级语义信息。

如图11所示，其示出了本申请实施例涉及的一种CMR预训练任务的训练过程示意图。如图11所示，获取DICOM格式的医疗图像数据1101，根据该DICOM格式的医疗图像数据中的文件头1102，直接获取该医疗图像数据中，各个方位图组中心脏扫描图之间的位置关系，并根据该位置关系，在短轴图像中构建至少一条方位回归线，例如，图中构建的是4C方位的方位回归线1103。再将该各个方位图中的短轴图像1104，输入预先设置的第一模型1105，通过该第一模型输出该短轴图像终端的预测回归线1106，并根据该预测回归线以及4C的方位回归线代入损失函数，计算均方误差1107，根据该均方误差值，对该第一模型进行更新。

以图7所示实施例对应的的方案应用于医疗领域的图像处理任务为例，该方案可以应用于根据生理解剖结构制定多个不同成像平面的各类医学影像，可用于构建神经网络模型以执行各种任务，例如医疗图像分割、医疗图像分类、医疗图像检测等任务。即首先通过自监督任务初步学习目标器官或组织的结构特征，然后通过迁移学习的方式提高模型学习的性能，大幅度提高在标注不足的情况下深度卷积神经网络的识别能力。

以医疗领域的CMR为例，在医学上，扩张型心脏病是一组以心室腔扩大，但又不能泵出身体所需血量而导致心力衰竭的心肌疾病。受损和被拉伸的心肌会导致心率不齐，从而导致心悸和死亡。临床上常通过具有多个成像平面的MRI来对心脏内的结构、形状进行评估，而通过图7所示实施例对应的方案，利用训练数据的空间方位信息构建相应的自监督任务，学习数据的结构特征，并迁移到目标任务上，提高模型分割的准确率。当使用图7所示实施例对应的方案，诊断扩张型心肌病时，需要先测量心脏大小，即需要对心脏CMR图进行图像分割处理。根据CMR不同成像平面之间的空间位置关系在短轴图像上回归对应的2C、4C的方位线，同时对方位线应用高斯核函数(距离方位回归线越近值越大)，生成相应的heatmap作为自监督预训练任务的GT，再利用预测方位线的自监督任务对网络进行训练，再通过替换任务头部(目标任务)，加载预训练后的网络模型。使用少量标注样本对网络进行微调以达到最佳性能。

即首先可以通过给定的训练数据的空间方位信息，将训练数据构建成预训练任务的标注信息(groundtruth)(即对第一模型进行训练的标注信息)。根据该训练数据以及该标注信息，对第一模型进行训练，得到训练后的第一模型(自监督预训练模型)；再将该训练后的第一模型迁移到训练分割任务中，即可以根据该训练分割任务的训练目标，对该第一模型进行调整更新，获得调整后的第二模型，并使用少量的标注数据对该第二模型进行训练，得到一个心脏分割网络，通过上述方法训练处的心脏分割网络，由于通过预训练过程获取了更多心脏的特征，因此比直接通过少量标注数据训练出的心脏分割网络具有更高准确性。

本申请实施例通过充分利用未标记数据进行自监督训练，提高人工标记不足情况下CMR的分割精度，从而给出患者心脏功能更准确的量化指标。在实际情况中，通常各家医院都拥有相当数量的数据，然而，对数据进行合适的标准需要耗费专业人士大量的时间，造成标注不足，而通过本申请实施例所示方案，可以通过较少的标注样本，构建出精度较高的图像处理模型，并且本申请实施例对应的方案也可以应用与其他采用倾斜成像平面的医学影像。

图7所示实施例对应的方案，通过一组MRI(Magnetic Resonance Imaging，核磁共振成像)图像作为自监督预训练任务的数据集；并以MICCAI(Medical Image Computingand Computer Assisted Intervention Society，国际医学图像计算和计算机辅助干预协会)在2017年组织的ACDC(Automated Cardiac Diagnosis Challenge，自动心脏诊断挑战)提供的MRI图像及其标注信息作为分割任务的数据集，进行了初步实验验证。

DSB(Date Science Bowl，数据科学碗)数据集包含了1140个病人(100GB)的心脏MRI影像，其中每个病人的主要视图为一系列垂直与心脏长轴的纵向切片(短轴视图)，但是大多数也包括有2C视图、4C视图。DSB数据集中没有提供分割标注，而是提供了一个每位病人的收缩期末容量(ESV，End Systolic Volume)和舒张期末容量(EDB，End-DiastolicVolume)。DSB数据以DICOM格式存储，每个2d-cine(每个心动周期中影像随着时间序列变化采集的同一位置的影像)系列包含大约30个贯穿心脏心动周期(即从一次心跳的起始到下一次心跳的起始，心血管系统所经历的过程)的图像。同时，该数据集提供了多种不同类型的病人的数据，包括青少年、中年、老年以及心功能正常、心功能异常的心脏MRI。此外，这些数据是从多个不同的医院进行的收集，保证了数据的多样性、代表性。

ACDC公开的可用的训练数据集包括100个病人(3.3GB)的扫描切片影像，数据以NIFTI(Neuroimaging Informatics Technology Initiative)格式存储，每个扫描包括1.5T(特斯拉)和3T系统上获得的短轴MRI。每位患者的数据集上都带有两个基本的真实信息：

(1)患者的病理信息：舒张末期(ED)和收缩期(ES)的心脏影像。

(2)舒张末期(ED)和收缩期每个心脏区域(左心房、左心室、心肌层等)的精确位置标注(MASK)。

分割的标签是由两位专家手工标注，此外，数据集包括相同数量的心肌梗死、扩张型心肌病、肥厚型心肌病、异常右心室的患者，以及正常对照组。

在通过上述两个数据集对本申请实施例所示方案进行验证前，还需要对数据进行预处理，请参考图12，其示出了DSB数据的像素间距分布直方图。如图12所示，DSB数据集的平面分辨率在0.60mm×0.60mm到1.80mm×1.80mm之间，且同一病人的不同视图的尺寸(shape)也不同。由于数据的差异，因此必须先统一分辨率(像素间的间距pixcelSapacing)以及图像的大小才能更有效地进行相应的分割任务的学习。请参考图13，其示出了DSB数据中像素间距的尺寸统计图。根据图12与图13数据统计的特点，本次实验将pixcelSpacing统一为1.26mm×1.26mm，然后根据图像的shape统计特点将图像从中心裁剪到224*224。请参考图14，其示出了ACDC数据的像素间距特征分布图。如图14所示，ACDC的平面分辨率在0.70mm×0.70mm到1.92mm×1.92mm之间，由于数据的差异，同样地，需要先统一其物理分辨率以及shape。请参考图15，其示出了ACDC数据每个病人切片数量的分布图。根据pixcelSpacing数据统计的特点，我们将pixcelSpacing统一为1.0mm×1.0mm，然后根据图像的shape统计特点将图像从中心裁剪到224*224。

在本次实验中，采用的是如图10所示的网络结构。在预训练监督任务中，K可设置为1，即通过一条方位回归线(在短轴上的2C方位回归线或在短轴上的4C方位回归线)作为标注信息进行训练；K也可以设置为2，即同时通过两条方位回归线(在短轴上的2C方位回归线以及4C方位回归线)，采用如公式1所示的损失函数，并通过自适应矩估计(Adam)优化器，学习率设置为0.001且每3000次学习后迭代减半，传入网络的批量大小设置为10，数据增强采用的是随机旋转和缩放，经过30000次迭代后可以得到一个训练好的预监督模型(即训练后的第一模型)。

由于本次实验的目标任务是分割任务，因此在本次试验中，需要使用预训练任务中完整的编码器与解码器结构，损失函数采用常用的交叉熵损失函数。首先在目标任务中加载预训练模型，然后微调网络结构将K设置为4(左心房、左心室、心肌层以及背景)，即训练一个4-way分割网络(即可以在一个目标图像上同时分割出4个指定类型对象的分割网络)，再利用少量CMR标注调整目标网络的学习率、批次大小、正则化参数以达到最优效果。经过多次实验，学习率调整为0.001，且每1600次迭代减半，L1正则化参数为0.00002，批量大小为10，优化器选择Adam，数据增强采用的是随机旋转和缩放，经过8000次迭代后得到一个较好的心脏分割模型。

请参考表1，其示出了U-net网络(scratch)与预训练模型的结果对比图。如表1所示，其将从头开始训练的U-net网络以及加载了不同预训练模型进行短轴图像分割的Dice度量值(左心房、左心室、心肌层的均值)进行了对比。其中4ch表示预训练任务为在短轴图像上预测4C的方位回归线，2ch表示预训练任务为在短轴图像上预2C的方位线，2ch-4ch表示预训练任务为在短轴图像上同时预测2C和4C的方位线。最后一列列出了表现最好的模型(加载预训练)与scratch相比提高的分割精度。第一列表示训练集的病人数以及经过标注的短轴图像的数量。第二列和第五列展示了从头开始训练的u-net以及加载预训练模型后的Dice度量值，表示为均值(方差)。

表1

由表1可以看出加载了预训练模型之后的分割准确率总体上优于U-net scratch，特别是在训练对象数量较少的情况下，其中2ch-4ch的性能最好。由此我们证明，这个看似简单的任务为特征学习提供了一个强大的监督信号，通过自监督学习，本方案实现了一个高分割精度，优于U-net从零开始训练得到的结果，特别是在样本量比较少的时候提高明显。当只有5个经过标注的对象时，该方法将短轴图像分割的平均Dice度量从0.635200提高到0.819560。这是本方案在采用与scratch相同的设置时取得的结果，若继续调整网络，预计或将获得更高的性能提升。

请参考图16，其示出了加载不同预训练模型的各部分分割精度对比图，从图中也可以得到一致的结论——当训练数据较多时(n≥50)，得到的提升是十分细微的，甚至可以忽略。但当训练数据较少时(n≤10)，加载了预训练模型的网络在所有的结构上分割的精度都优于scratch，并取得较大的提升。

请参考图17，其示出了采用预训练处理的可视化示例分割结果图。如图17所示，当n＝1时，由于训练集极小，U-net-scratch完全无法分割图像。而SSL能够对部分左心房和心肌进行大致的分割。当n增加到5或10时，SSL在细节方面优于scratch，例如，没有RV分割不足的问题。但是，当n增加到50或80时，这两种方法的执行情况相似，都取得了较好的结果。

请参考图18，其是根据本申请一示例性实施例示出的一种图像处理方法的方法流程图。该方法可以由计算机设备执行，其中，该计算机设备可以是上述图1所示的实施例中的图像处理设备110。如图18所示，该图像处理方法可以包括如下步骤：

步骤1801，获取目标图像，该目标图像是对指定类型对象进行扫描获得的扫描图像。

步骤1802，将该目标图像输入通过训练样本集的训练后的第二模型，获得图像处理任务对应的图像处理结果。

其中，该第二模型是第一模型通过参数迁移得到的；该训练样本集中包含基于该图像处理任务进行标注的样本图像。

其中该第一模型是基于方位图组，以及方位图组对应的方位回归线训练得到的，该方位图组包含在不同方位上对该指定类型对象进行扫描得到的至少两个扫描图像，该方位回归线用于指示该至少两个扫描图像之间的方位关系。

请参考图19，其是根据本申请一示例性实施例示出的一种图像处理模型训练框架示意图。如图19所示，以医疗领域的应用场景为例：

获取方位图组1901，该方位图组是对某一人体器官或组织进行不同方位扫描得到的扫描图片，其中，该扫描图片是DICOM格式的医疗图像数据，根据该方位图组对应的文件头，获取该方位图组对应的方位信息，并根据该方位信息，获取该方位图组对应的方位回归线1902，并通过高斯核函数，根据该方位回归线1902，生成该方位回归线对应的高斯分布图(heatmap)1903。

同时将该方位图组输入预训练模型(第一模型)1904，通过该第一模型预测该第一方位图中第二方位图对应的预测回归线1905。根据该预测回归线1905以及方位回归线1902，计算损失函数值，并根据该损失函数值对该预训练模型进行更新，迭代更新一定次数后，将预训练模型的模型参数迁移至第二模型1906。

再根据样本数据集1907，对该第二模型进行训练，获得训练后的第二模型(即图像处理模型)，该训练后的第二模型用于对目标图像进行处理，该目标图像是指定类型对象所对应的扫描图像。

请参考图20，其是根据一示例性实施例示出的一种图像处理装置的结构方框图。该图像处理装置可以实现由图6或图7所示实施例提供的方法中的全部或部分步骤，该图像处理装置包括：

方位图组获取模块2001，用于获取方位图组，所述方位图组包含在不同方位上对指定类型对象进行扫描得到的至少两个扫描图像；

方位回归线获取模块2002，用于获取所述方位图组对应的方位回归线；所述方位回归线用于指示所述至少两个扫描图像之间的方位关系；

模型训练模块2003，用于基于所述方位图组，以及所述方位图组对应的方位回归线，对第一模型进行训练；所述第一模型用于通过参数迁移获得待训练的第二模型，所述第二模型用于在经过训练样本集的训练后，对包含所述指定类型对象的目标图像执行图像处理任务；所述训练样本集中包含基于所述图像处理任务进行标注的样本图像。

在一种可能的实现方式中，所述方位回归线获取模块2002，包括：

所述空间方位信息获取单元，用于，

在一种可能的实现方式中，所述模型训练模块2003，还用于，

在一种可能的实现方式中，所述模型训练模块，包括：

在一种可能的实现方式中，所述第一模型更新单元，包括：

基于所述损失函数值，对所述第一模型的参数进行更新。

综上所述，本申请实施例所示的方案，通过方位图组中不同方位的指定类型对象的扫描图像，以及不同方位的扫描图像之间对应的方位回归线，对第一模型进行训练，再将该训练后的第一模型的模型参数迁移至第二模型，通过训练样本集对第二模型进行再训练，得到可以用于对指定类型对象的目标图像进行图像处理的机器学习模型。通过上述方案，可以在训练样本集较小的情况下，先通过指定类型对象的扫描图像以及其方位回归线，先对模型进行预训练，再利用预训练得出的参数以及训练样本集，对模型进行再训练，提高了训练出的模型执行图像处理的精度。

请参考图21，其是根据一示例性实施例示出的一种图像处理装置的结构方框图。该图像处理装置可以实现由图18所示实施例提供的方法中的全部或部分步骤，该图像处理装置包括：

目标图像获取模块2101，用于获取目标图像，所述目标图像是对指定类型对象进行扫描获得的扫描图像；

图像处理模块2102，用于将所述目标图像输入通过训练样本集的训练后的第二模型，获得图像处理任务对应的图像处理结果；所述第二模型是第一模型通过参数迁移得到的；所述训练样本集中包含基于所述图像处理任务进行标注的样本图像；

图22是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中的模型训练设备和/或图像处理设备。所述计算机设备2200包括中央处理单元(CPU，Central Processing Unit)2201、包括随机存取存储器(Random Access Memory，RAM)2202和只读存储器(Read-Only Memory，ROM)2203的系统存储器2204，以及连接系统存储器2204和中央处理单元2201的系统总线2205。所述计算机设备2200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统2206，和用于存储操作系统2213、应用程序2214和其他程序模块2215的大容量存储设备2207。

所述大容量存储设备2207通过连接到系统总线2205的大容量存储控制器(未示出)连接到中央处理单元2201。所述大容量存储设备2207及其相关联的计算机可读介质为计算机设备2200提供非易失性存储。也就是说，所述大容量存储设备2207可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器2204和大容量存储设备2207可以统称为存储器。

计算机设备2200可以通过连接在所述系统总线2205上的网络接口单元2211连接到互联网或者其它网络设备。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器2201通过执行该一个或一个以上程序来实现图6、图7或图18所示的方法的全部或者部分步骤。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述方位图组对应的方位回归线，包括：

获取第一方位图的空间方位信息和第二方位图的空间方位信息；所述第一方位图与所述第二方位图是所述方位图组中任意两个对应不同方位的扫描图像；

基于所述第一方位图的空间方位信息和所述第二方位图的空间方位信息，获取所述第一方位图中对应所述第二方位图的方位回归线。

3.根据权利要求2所述的方法，其特征在于，所述方位图组中的扫描图像是医学数字成像和通信DICOM格式的图像；

所述获取第一方位图的空间方位信息和第二方位图的空间方位信息，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述方位图组，以及所述方位图组对应的方位回归线，对第一模型进行训练，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一方位图，以及所述第一方位图中对应所述第二方位图的方位回归线，对所述第一模型进行训练，包括：

将所述第一方位图输入所述第一模型，获得所述第一方位图对应的预测回归线；

基于所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图的方位回归线，对所述第一模型进行更新。

6.根据权利要求5所述的方法，其特征在于，基于所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图的方位回归线，对所述第一模型进行更新，包括：

基于所述第一方位图中对应所述第二方位图的方位回归线，获取所述第一方位图中对应所述第二方位图的方位热点图；所述方位热点图用于指示所述第一方位图上各点与所述方位回归线的距离；

基于所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图的方位热点图，对所述第一模型进行训练。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图的方位热点图，对所述第一模型进行训练，包括：

将所述第一方位图对应的预测回归线，以及所述第一方位图中对应所述第二方位图中的方位热点图之间的均方差值，获取为所述第一模型的损失函数值；

基于所述损失函数值，对所述第一模型的参数进行更新。

8.根据权利要求1至7任一所述的方法，其特征在于，所述第一模型是编码器-解码器结构的网络模型。

9.根据权利要求8所述的方法，其特征在于，当所述图像处理任务是图像分类任务时，所述第二模型中包含所述第一模型中的编码器部分。

10.根据权利要求8所述的方法，其特征在于，当所述图像处理任务是图像分割任务时，所述第二模型中包含所述第一模型中的编码器部分和解码器部分。

11.根据权利要求1至7任一所述的方法，其特征在于，所述方位图组中的各个扫描图像，是基于解剖结构特点，采用倾斜成像平面扫描获得的医学影像。

12.一种图像处理方法，其特征在于，所述方法包括：

13.一种图像处理装置，其特征在于，所述装置包括：

14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的图像处理方法。