CN115359010A - 一种随访病例数据的处理方法、装置、设备及存储介质 - Google Patents

一种随访病例数据的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115359010A
CN115359010A CN202211026079.6A CN202211026079A CN115359010A CN 115359010 A CN115359010 A CN 115359010A CN 202211026079 A CN202211026079 A CN 202211026079A CN 115359010 A CN115359010 A CN 115359010A
Authority
CN
China
Prior art keywords
feature
data
attention
medical image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211026079.6A
Other languages
English (en)
Inventor
唐雯
王大为
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202211026079.6A priority Critical patent/CN115359010A/zh
Publication of CN115359010A publication Critical patent/CN115359010A/zh
Priority to PCT/CN2023/095932 priority patent/WO2024041058A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种随访病例数据的处理方法、装置、设备及存储介质，该处理方法包括：根据目标病灶在第一医学图像中的位置信息以及尺寸信息，确定目标病灶在第一空间下的第一检测结果；根据第一医学图像与第二医学图像之间的配准变换矩阵，对第一检测结果进行变换处理，得到第一检测结果在第二空间下的初始病灶匹配结果；将第一医学图像、第二医学图像、第一检测结果以及初始病灶匹配结果输入特征提取模型中，输出得到第二医学图像的病灶特征提取结果。这样，本申请使得模型能够在医学图像信息的基础上有效地结合病灶的解剖学结构信息，提高了模型对于不同医学图像中同一病灶的特征提取准确度以及对于同一病灶在随访病例数据中匹配定位的精准度。

Description

一种随访病例数据的处理方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种随访病例数据的处理方法、装置、设备及存储介质。
背景技术
病灶是指机体上发生病变的部分，其多见于新冠肺炎等急性肺部感染疾病中，如肺的某一部分被结核菌破坏，则被破坏的部分即为肺结核病灶。在医学领域，对于病灶多采用随访跟踪的手段进行治疗，医生可以根据不同时间内对于同一患者持续采集的医学影像数据(即患者的随访病例数据)，来掌握病灶随时间的变化情况；其中，在对患者的随访病例数据进行数据分析时，由于不同时间的医学图像所在的空间信息不同，因此，往往需要对于同一目标病灶在不同医学图像中的位置进行匹配与定位。
目前，对于随访病例中目标病灶的匹配和定位主要通过比较不同医学图像中病灶之间的相似度大小的方式实现，当第一医学图像中的第一病灶与第二医学图像中的第二病灶之间的相似度高于预设阈值时，即确定第一病灶与第二病灶属于同一病灶，从而实现对于同一目标病灶在随访病例数据中的匹配与定位。但是通过这种方式，当患者采取如手术等方式进行治疗之后，则在后续随访病例数据中病灶的特征会出现剧烈变化，从而导致同一病灶在不同医学图像之间表现出较为明显的差异，使得基于相似度比较得到的病灶匹配结果的准确度大幅降低。
发明内容
有鉴于此，本申请的目的在于提供一种随访病例数据的处理方法、装置、设备及存储介质，使得模型能够在医学图像信息的基础上有效地结合病灶的解剖学结构信息，提高模型对于不同医学图像中同一病灶的特征提取准确度，有利于提高对于同一病灶在随访病例数据中匹配定位的精准度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
第一方面，本申请实施例提供了一种随访病例数据的处理方法，所述随访病例数据中至少包括第一医学图像和第二医学图像；所述第一医学图像和所述第二医学图像分别为不同时间内针对同一对象采集到的医学图像；所述处理方法包括：
根据目标病灶在所述第一医学图像中的位置信息以及尺寸信息，确定所述目标病灶在第一空间下的第一检测结果；其中，所述第一空间表征所述第一医学图像所在的坐标空间；
根据所述第一医学图像与所述第二医学图像之间的配准变换矩阵，对所述第一检测结果进行变换处理，得到所述第一检测结果在第二空间下的初始病灶匹配结果；其中，所述第二空间表征所述第二医学图像所在的坐标空间；
将所述第一医学图像、所述第二医学图像、所述第一检测结果以及所述初始病灶匹配结果输入特征提取模型中，输出得到所述第二医学图像的病灶特征提取结果；其中，所述病灶特征提取结果至少用于针对所述第二医学图像的病灶分割任务。
第二方面，本申请实施例提供了一种随访病例数据的处理装置，所述随访病例数据中至少包括第一医学图像和第二医学图像；所述第一医学图像和所述第二医学图像分别为不同时间内针对同一对象采集到的医学图像；所述处理装置包括：
确定模块，用于根据目标病灶在所述第一医学图像中的位置信息以及尺寸信息，确定所述目标病灶在第一空间下的第一检测结果；其中，所述第一空间表征所述第一医学图像所在的坐标空间；
配准模块，用于根据所述第一医学图像与所述第二医学图像之间的配准变换矩阵，对所述第一检测结果进行变换处理，得到所述第一检测结果在第二空间下的初始病灶匹配结果；其中，所述第二空间表征所述第二医学图像所在的坐标空间；
处理模块，用于将所述第一医学图像、所述第二医学图像、所述第一检测结果以及所述初始病灶匹配结果输入特征提取模型中，输出得到所述第二医学图像的病灶特征提取结果；其中，所述病灶特征提取结果至少用于针对所述第二医学图像的病灶分割任务。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的随访病例数据的处理方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的随访病例数据的处理方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请实施例提供的一种随访病例数据的处理方法、装置、设备及存储介质，根据目标病灶在第一医学图像中的位置信息以及尺寸信息，确定目标病灶在第一空间下的第一检测结果；根据第一医学图像与第二医学图像之间的配准变换矩阵，对第一检测结果进行变换处理，得到第一检测结果在第二空间下的初始病灶匹配结果；将第一医学图像、第二医学图像、第一检测结果以及初始病灶匹配结果输入特征提取模型中，输出得到第二医学图像的病灶特征提取结果。这样，本申请使得模型能够在医学图像信息的基础上有效地结合病灶的解剖学结构信息，提高了模型对于不同医学图像中同一病灶的特征提取准确度以及对于同一病灶在随访病例数据中匹配定位的精准度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种随访病例数据的处理方法的流程示意图；
图2示出了本申请实施例所提供的一种特征提取模型的模型结构示意图；
图3示出了本申请实施例所提供的一种得到第一输入数据在第一特征提取窗口内对应的第一强化特征的方法的流程示意图；
图4示出了本申请实施例所提供的一种得到第二输入数据在第一特征提取窗口内对应的第二强化特征的方法的流程示意图；
图5示出了本申请实施例所提供的一种得到第三输入数据在第一特征提取窗口内对应的第三强化特征的方法的流程示意图；
图6示出了本申请实施例所提供的一种得到第四输入数据在第一特征提取窗口内对应的第四强化特征的方法的流程示意图；
图7示出了本申请实施例所提供的第一种使用第二医学图像的病灶特征提取结果的方法的流程示意图；
图8示出了本申请实施例所提供的第二种使用第二医学图像的病灶特征提取结果的方法的流程示意图；
图9示出了本申请实施例所提供的一种随访病例数据的处理装置的结构示意图；
图10为本申请实施例提供的一种计算机设备1000的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
目前，对于随访病例中目标病灶的匹配和定位主要通过比较不同医学图像中病灶之间的相似度大小的方式实现，当第一医学图像中的第一病灶与第二医学图像中的第二病灶之间的相似度高于预设阈值时，即确定第一病灶与第二病灶属于同一病灶，从而实现对于同一目标病灶在随访病例数据中的匹配与定位。但是通过这种方式，当患者采取如手术等方式进行治疗之后，则在后续随访病例数据中病灶的特征会出现剧烈变化，从而导致同一病灶在不同医学图像之间表现出较为明显的差异，使得基于相似度比较得到的病灶匹配结果的准确度大幅降低。
基于此，本申请实施例提供了一种随访病例数据的处理方法、装置、设备及存储介质，根据目标病灶在第一医学图像中的位置信息以及尺寸信息，确定目标病灶在第一空间下的第一检测结果；根据第一医学图像与第二医学图像之间的配准变换矩阵，对第一检测结果进行变换处理，得到第一检测结果在第二空间下的初始病灶匹配结果；将第一医学图像、第二医学图像、第一检测结果以及初始病灶匹配结果输入特征提取模型中，输出得到第二医学图像的病灶特征提取结果。这样，本申请使得模型能够在医学图像信息的基础上有效地结合病灶的解剖学结构信息，提高了模型对于不同医学图像中同一病灶的特征提取准确度以及对于同一病灶在随访病例数据中匹配定位的精准度。
需要说明的是，本申请实施例提供的随访病例数据的处理方法适用于随访病例数据的处理装置中，该处理装置可以集成在计算机设备中。
具体的，上述计算机设备可以为终端设备，例如：手机、平板电脑、笔记本电脑、台式电脑等；上述计算机设备还可以为服务器，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。
为便于对本申请实施例进行理解，下面对本申请实施例提供的一种随访病例数据的处理方法、装置、设备及存储介质进行详细介绍。
参照图1所示，图1示出了本申请实施例所提供的一种随访病例数据的处理方法的流程示意图，所述处理方法包括步骤S101-S103；具体的：
S101，根据目标病灶在所述第一医学图像中的位置信息以及尺寸信息，确定所述目标病灶在第一空间下的第一检测结果。
这里，随访病例数据中至少包括第一医学图像和第二医学图像；其中，第一医学图像和第二医学图像分别为不同时间内针对同一对象采集到的医学图像。也即，随访病例数据用于表征在不同时间内针对同一患者的目标病灶持续采集到的多张医学图像，对于随访病例数据中包含的医学图像的具体数量，本申请实施例不作任何限定。
需要说明的是，随访病例数据中的不同医学图像可以是属于同一类型的医学图像，如，随访病例数据中的医学图像可以是不同时间内针对同一患者的目标病灶采集到的CT(Computed Tomography，电子计算机断层扫描)图像，对于随访病例数据中医学图像所属的具体图像类型，本申请实施例不作任何限定。
这里，可以从随访病例数据中任意选取两个不同的医学图像作为上述第一医学图像以及第二医学图像，其中，目标病灶在每个医学图像中的位置信息以及尺寸信息(即目标病灶在医学图像中的形状、大小等信息)属于已知信息，但是基于不同医学图像所在的空间信息存在差异，因此，在本申请实施例中，需要将同一病灶(即上述目标病灶)在不同空间(即不同医学图像)下的图像信息配准到同一个参考空间内，从而得到关于目标病灶的解剖学结构信息(即目标病灶本身的形状、大小等结构类信息)。
具体的，上述第一空间表征第一医学图像所在的坐标空间，在执行步骤S101时，可以基于目标病灶在第一医学图像中的位置信息以及尺寸信息，生成能够表征目标病灶在第一空间下的位置以及尺寸信息的第一空间矩阵作为上述第一检测结果。
示例性的说明，基于医学图像通常以三维图像数据的形式存在，作为一可选实施例，上述第一空间矩阵(也即第一检测结果)可以是3D(three-dimensional，三维)高斯矩阵，其中，该3D高斯矩阵的球心为目标病灶在第一医学图像中的病灶中心点，该3D高斯矩阵的半径则根据目标病灶在第一医学图像中的大小确定。
需要说明的是，除上述3D高斯矩阵之外，第一检测结果也可以是其他类型的空间矩阵，只需保证第一检测结果能够表征目标病灶在第一空间下的位置以及尺寸信息即可，对于上述第一检测结果的具体存在形式，本申请实施例不作任何限定。
S102，根据所述第一医学图像与所述第二医学图像之间的配准变换矩阵，对所述第一检测结果进行变换处理，得到所述第一检测结果在第二空间下的初始病灶匹配结果。
这里，第二空间表征第二医学图像所在的坐标空间。
具体的，在执行步骤S102之前，以第二医学图像作为参考图像、第一医学图像作为浮动图像，通过刚性配准的方法，可以确定出一个能够将第一医学图像(即浮动图像)变换到和第二医学图像(即参考图像)相同的坐标空间下的图形变换矩阵；其中，确定出的该图形变换矩阵即为上述配准变换矩阵。
需要说明的是，在本申请实施例中，上述配准变换矩阵的获取方式并不唯一，例如，除上述刚性配准的方法之外，也可以通过非刚性配准的方式得到上述配准变换矩阵，其中，刚性配准与非刚性配准的区别在于：刚性配准通常是以图像整体作为配准操作对象，一般通过全图的平移、旋转、放缩等操作即可对齐图像；而非刚性配准则是对图像中的每个局部区域(甚至每个像素点)都会进行单独的变换处理。基于此，无论是通过刚性配准还是非刚性配准，都能够得到第一医学图像与第二医学图像之间的配准变换矩阵，对于上述配准变换矩阵的具体获取方式，本申请实施例不作任何限定。
具体的，基于配准变换矩阵能够将第一空间下的图像信息配准变换到第二空间下，因此，在执行步骤S102时，基于上述配准变换矩阵，即可将第一检测结果(表征目标病灶在第一空间下的位置和尺寸等解剖结构信息)配准变换到第二空间下，得到第一检测结果在第二空间下的初始病灶匹配结果。
S103，将所述第一医学图像、所述第二医学图像、所述第一检测结果以及所述初始病灶匹配结果输入特征提取模型中，输出得到所述第二医学图像的病灶特征提取结果。
这里，在特征提取模型中，特征提取模型用于对每种输入数据进行相同的特征提取操作，得到每种输入数据对应的特征提取结果，也即，特征提取模型能够输出得到第一医学图像的图像特征向量、第二医学图像的图像特征向量、第一检测结果的特征向量以及初始病灶匹配结果的特征向量。
需要说明的是，在本申请实施例中，得到的初始病灶匹配结果相当于目标病灶在第二空间下的解剖结构信息(如，位置信息、大小信息等)，此时，初始病灶匹配结果与目标病灶在第二医学图像中的真实检测结果(如，目标病灶在第二医学图像中的真实位置以及真实尺寸等信息)无关。
基于此，在特征提取模型对于输入的图像信息(即第一医学图像、第二医学图像)进行特征提取时，第一检测结果以及初始病灶匹配结果用于为特征提取模型提供关于目标病灶本身的解剖结构信息。这样，本申请实施例使得特征提取模型能够在医学图像信息的基础上有效地结合目标病灶的解剖学结构信息，提高了特征提取模型对于不同医学图像中同一病灶的特征提取准确度，有利于提高对于同一病灶在随访病例数据中匹配定位的精准度。
具体的，上述病灶特征提取结果即为特征提取模型输出的第二医学图像的图像特征向量，其中，病灶特征提取结果至少用于针对第二医学图像的病灶分割任务，此时，病灶特征提取结果可以替代第二医学图像作为病灶分割模型的模型输入数据，通过病灶分割模型输出得到针对第二医学图像的病灶分割预测结果，基于目标病灶在第二医学图像中的真实检测结果(即目标病灶在第二医学图像中所在的图像区域)与病灶分割预测结果之间的匹配程度(也即相似程度)，可以对特征提取模型的特征提取能力以及病灶分割模型的病灶分割能力进行评估。
需要说明的是，除病灶分割任务之外，上述病灶特征提取结果还可以用于针对第二医学图像的病灶检测任务(即对第二医学图像中属于病灶区域的像素点进行分类+对于第二医学图像中病灶的位置进行定位)，此时，只需将上述病灶分割模型适应性地替换为病灶检测模型即可。基于此，对于上述输出得到的病灶特征提取结果的具体用途，本申请实施例不作任何限定。
下面针对上述各步骤在本申请实施例中的具体实施过程，分别进行详细说明：
在本申请实施例中，除现有的常用特征提取模型(如，基于Unet网络结构或是基于卷积神经网络构建的深度学习模型)之外，在一种优选的实施方案中，通过对现有的Unet网络结构进行整体的结构改进，针对上述步骤S103中的特征提取模型，本申请实施例还提供了如图2所示的一种全新的模型结构，具体的：
参照图2所示，图2示出了本申请实施例所提供的一种特征提取模型的模型结构示意图，其中，特征提取模型采用以swin-transformer模块为核心的Unet网络结构，如图2所示，在Unet网络结构中包括多组对称的编码器201和解码器202，编码器201用于对输入的图像数据进行下采样处理，解码器202用于对输入的图像数据进行上采样处理，其中，每组对称的编码器201和解码器202对应一种图像数据的处理尺度，不同的编码器201对应的处理尺度不同，不同的解码器202对应的处理尺度不同。
具体的，关于特征提取模型中的编码器部分，如图2所示，每一层的编码器中至少包括一个四输入四输出的swin-transformer模块，其中，每个swin-transformer模块对于每个通道的输入数据执行的操作相同，也即，当每层编码器中存在n个swin-transformer模块时，则在该层编码器中，针对每个通道的输入数据执行n次重复的swin-transformer操作即可，对于每层编码器中包括的swin-transformer模块的具体模块数量，本申请实施例不作任何限定。
这里，针对现有swin-transformer模块，需要说明的是，现有的swin-transformer模块通常只有一个输入数据，swin-transformer模块的主要操作为：先将输入数据切分为多个子数据，其中，每个子数据对应一个数据处理窗口，从而，通过在每个数据处理窗口内针对每个子数据进行相同的数据处理操作，得到每个子数据对应的窗口特征；再将每个子数据对应的窗口特征进行拼接处理，即可得到完整输入数据对应的数据特征。
基于此，在本申请实施例中，swin-transformer模块中同样包含多个特征提取窗口，此时，与现有的swin-transformer模块不同的是，在本申请实施例中，基于swin-transformer模块具有4个数据传输通道，因此，在每个特征提取窗口内，本申请实施例中的swin-transformer模块是针对4个输入数据各自的子数据进行数据处理，从而得到每个通道的输入数据所对应的数据特征。
具体的，在本申请实施例中，每个swin-transformer模块执行的操作步骤相同，以一个swin-transformer模块为例，在编码器部分所述swin-transformer模块具体用于执行以下步骤a1-步骤a3：
步骤a1、接收上层编码器中每个通道的输出数据作为同一通道在本层编码器中的输入数据。
示例性的说明，对于第一层编码器而言，第一层编码器中4个通道的输入数据即为上述步骤S103中输入的第一医学图像、第二医学图像、第一检测结果以及初始病灶匹配结果；对于第二层编码器而言，第二层编码器中4个通道的输入数据即为第一层编码器中对于第一医学图像、第二医学图像、第一检测结果以及初始病灶匹配结果分别进行数据处理后输出的数据处理结果。
步骤a2、将每个通道的输入数据分别切分为多个子数据，并在每一所述特征提取窗口内对于不同输入数据的子数据进行相同的特征提取与特征强化处理，得到每个子数据在每一所述特征提取窗口内对应的强化特征。
需要说明的是，在步骤a2中，与现有的swin-transformer模块相同的是，在每个特征提取窗口内，可以针对输入的每个子数据进行一次特征提取操作，得到每个子数据在特征提取窗口内的一个初始数据特征；在此基础上，本申请实施例中的swin-transformer模块，在每个特征提取窗口内，对于每个子数据的初始数据特征还会进行一次特征强化处理，以便得到每个子数据在该特征提取窗口内对应的强化特征，从而，在每个特征提取窗口内加强了对于数据的特征提取能力。
步骤a3、对属于同一通道的子数据的强化特征进行拼接处理，并将拼接处理的结果输出至下层编码器中的相应通道内。
示例性的说明，以第一医学图像对应的第一通道为例，将第一医学图像通过第一通道输入至第一层编码器中，在第一层编码器中，当swin-transformer模块内包括5个特征提取窗口时，则swin-transformer模块可以将第一医学图像切分为5个子数据，并在每个特征提取窗口内通过相同的特征提取与特征强化处理操作，得到每个子数据在每个特征提取窗口内对应的强化特征，将得到的5个子数据对应的强化特征进行拼接处理，得到第一医学图像的强化特征，并将得到的该强化特征通过第一通道输入第二层编码器中，在第二层编码器中执行与上述步骤a1-步骤a3相同的操作。
具体的，关于特征提取模型中的解码器部分，每组对称的编码器201和解码器202对应一种图像数据的处理尺度，基于此，每个解码器202对应一种图像处理的尺度特征，在每个解码器202的同一通道中，解码器202首先将其对应的尺度特征与上一阶段解码器在同一通道中输出的数据特征在特征维度上进行拼接，得到本层解码器在同一通道对应的输入数据；然后，再对每个通道对应的输入数据重复执行与上述编码器部分swin-transformer模块的逆向操作即可，在最后一层编码器202中，可以从第二医学图像对应的第二通道中输出得到第二医学图像的特征提取结果作为上述步骤S103中的病灶特征提取结果。
除上述针对特征提取模型的整体模型结构进行改进之外，针对每个特征提取窗口内执行的具体特征提取与特征强化操作，以上述第一层编码器中swin-transformer模块中的第一特征提取窗口为例，以第一医学图像中切分出的第一子数据作为第一特征提取窗口的第一输入数据、第二医学图像中切分出的第一子数据作为第一特征提取窗口的第二输入数据、第一检测结果中切分出的第一子数据作为第一特征提取窗口的第三输入数据、初始病灶匹配结果中切分出的第一子数据作为第一特征提取窗口的第四输入数据，下面对于如何在第一特征提取窗口内，输出得到不同通道输入的不同子数据各自对应的强化特征，分别进行详细说明：
针对上述第一输入数据(即第一医学图像中切分出的第一子数据)，在一种可选的实施方式中，参照图3所示，图3示出了本申请实施例所提供的一种得到第一输入数据在第一特征提取窗口内对应的第一强化特征的方法的流程示意图，所述方法包括步骤S301-S306；具体的：
S301，在所述第一特征提取窗口内，分别对所述第一输入数据、所述第二输入数据、所述第三输入数据以及所述第四输入数据进行特征提取，得到所述第一输入数据的第一数据特征、所述第二输入数据的第二数据特征、所述第三输入数据的第三数据特征以及所述第四输入数据的第四数据特征。
示例性的说明，以第一输入数据是I1、第二输入数据是I2、第三输入数据是G1、第四输入数据是G2为例，则在第一特征提取窗口内，分别对第一输入数据I1、第二输入数据I2、第三输入数据G1以及第四输入数据G2进行特征提取，得到第一输入数据I1的第一数据特征i1、第二输入数据I2的第一数据特征i2、第三输入数据G1的第三数据特征g1、第四输入数据G2的第四数据特征g2。
S302，利用所述第一数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第一数据特征在自注意力机制下的第一自注意力特征。
这里，作为一可选实施例，可以将第一数据特征输入第一神经网络，通过第一神经网络输出得到第一数据特征在注意力机制下的Q特征矩阵、K特征矩阵以及V特征矩阵。
具体的，在执行步骤S302时，可以通过以下公式计算得到第一数据特征i1在自注意力机制(即只关注自身的数据特征)下的第一自注意力特征A11：
A11＝Q1T×K1；
其中，Q1表征第一数据特征i1在注意力机制下的Q特征矩阵；
K1表征第一数据特征i1在注意力机制下的K特征矩阵；
Q1T表征Q1的转置矩阵。
S303，利用所述第一数据特征在注意力机制下的Q特征矩阵以及所述第二数据特征在注意力机制下的K特征矩阵，计算得到所述第一数据特征在互注意力机制下的第一互注意力特征。
这里，作为一可选实施例，可以将第二数据特征输入第二神经网络，通过第二神经网络输出得到第二数据特征在注意力机制下的Q特征矩阵、K特征矩阵以及V特征矩阵。
需要说明的是，由于第一数据特征来源于第一医学图像、第二数据特征来源于第二医学图像，因此，基于第一医学图像与第二医学图像均属于图像信息，也即，在注意力机制下，对于第一数据特征以及第二数据特征的关注点相同(均侧重于图像信息一侧)。
基于此，在一种优选实施方案中，第二神经网络可以是与第一神经网络共享参数的神经网络，以便在注意力机制下提高对于第一数据特征/第二数据特征的Q特征矩阵、K特征矩阵以及V特征矩阵的提取准确度。
具体的，在执行步骤S303时，可以通过以下公式计算得到第一数据特征i1在互注意力机制(即在图像信息一侧，关注第一数据特征与第二数据特征之间的数据特征)下的第一互注意力特征A12：
A12＝Q1T×K2；
其中，Q1表征第一数据特征i1在注意力机制下的Q特征矩阵；
K2表征第二数据特征i2在注意力机制下的K特征矩阵；
Q1T表征Q1的转置矩阵。
S304，利用所述第三数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第三数据特征在自注意力机制下的第三自注意力特征。
这里，作为一可选实施例，可以将第三数据特征输入第三神经网络，通过第三神经网络输出得到第三数据特征在注意力机制下的Q特征矩阵、K特征矩阵以及V特征矩阵。
具体的，在执行步骤S304时，可以通过以下公式计算得到第三数据特征g1在自注意力机制(即只关注自身的数据特征)下的第三自注意力特征Ag11：
Ag11＝Qg1T×Kg1；
其中，Qg1表征第三数据特征g1在注意力机制下的Q特征矩阵；
Kg1表征第三数据特征g1在注意力机制下的K特征矩阵；
Qg1T表征Qg1的转置矩阵。
S305，利用所述第三数据特征在注意力机制下的Q特征矩阵以及所述第四数据特征在注意力机制下的K特征矩阵，计算得到所述第三数据特征在互注意力机制下的第三互注意力特征。
这里，作为一可选实施例，可以将第四数据特征输入第四神经网络，通过第四神经网络输出得到第四数据特征在注意力机制下的Q特征矩阵、K特征矩阵以及V特征矩阵。
需要说明的是，由于第三数据特征来源于第一检测结果、第四数据特征来源于初始病灶匹配结果，因此，基于第一检测结果与初始病灶匹配结果均属于目标病灶的解剖结构信息(位置信息、尺寸信息等)，也即，在注意力机制下，对于第三数据特征以及第四数据特征的关注点相同(均侧重于解剖结构信息一侧)。
基于此，在一种优选实施方案中，第四神经网络可以是与第三神经网络共享参数的神经网络，以便在注意力机制下提高对于第三数据特征/第四数据特征的Q特征矩阵、K特征矩阵以及V特征矩阵的提取准确度。
具体的，在执行步骤S305时，可以通过以下公式计算得到第三数据特征g1在互注意力机制(即在解剖结构信息一侧，关注第三数据特征与第四数据特征之间的数据特征)下的第三互注意力特征Ag12：
Ag12＝Qg1T×Kg2；
其中，Qg1表征第三数据特征g1在注意力机制下的Q特征矩阵；
Kg2表征第四数据特征g2在注意力机制下的K特征矩阵；
Qg1T表征Qg1的转置矩阵。
S306，利用所述第一数据特征、所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征、所述第三互注意力特征、所述第一数据特征在注意力机制下的V特征矩阵以及所述第二数据特征在注意力机制下的V特征矩阵，计算得到所述第一强化特征。
具体的，在执行步骤S306时，可以通过以下公式计算得到第一强化特征T1：
T1＝i1+softmax(A11+softmax(Ag11))×V1+softmax(A12+softmax(Ag12))×V2；
其中，i1表征第一数据特征、A11表征第一自注意力特征、A12表征第一互注意力特征、Ag11表征第三自注意力特征、Ag12表征第三互注意力特征、V1表征第一数据特征i1在注意力机制下的V特征矩阵、V2表征第二数据特征i2在注意力机制下的V特征矩阵。
需要说明的是，在计算第一强化特征T1时，除softmax函数之外，也可以使用其他类型的函数进行计算(如，也可以将上述公式中的softmax函数替换为sigmoid函数)，对于计算第一强化特征T1时使用的具体函数类型，本申请实施例不作任何限定。
针对上述第二输入数据(即第二医学图像中切分出的第一子数据)，在一种可选的实施方式中，参照图4所示，图4示出了本申请实施例所提供的一种得到第二输入数据在第一特征提取窗口内对应的第二强化特征的方法的流程示意图，所述方法包括步骤S401-S405；具体的：
S401，利用所述第二数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第二数据特征在自注意力机制下的第二自注意力特征。
这里，第二数据特征在注意力机制下的Q特征矩阵和K特征矩阵的获取方式与上述步骤S303中所述的内容相同，重复之处在此不再赘述。
具体的，在执行步骤S401时，可以通过以下公式计算得到第二数据特征i2在自注意力机制(即只关注自身的数据特征)下的第二自注意力特征A22：
A22＝Q2T×K2；
其中，Q2表征第二数据特征i2在注意力机制下的Q特征矩阵；
K2表征第二数据特征i2在注意力机制下的K特征矩阵；
Q2T表征Q2的转置矩阵。
S402，利用所述第二数据特征在注意力机制下的Q特征矩阵以及所述第一数据特征在注意力机制下的K特征矩阵，计算得到所述第二数据特征在互注意力机制下的第二互注意力特征。
具体的，在执行步骤S402时，可以通过以下公式计算得到第二数据特征i2在互注意力机制(即在图像信息一侧，关注第一数据特征与第二数据特征之间的数据特征)下的第二互注意力特征A21：
A21＝Q2T×K1；
其中，Q2表征第二数据特征i2在注意力机制下的Q特征矩阵；
K1表征第一数据特征i1在注意力机制下的K特征矩阵；
Q2T表征Q2的转置矩阵。
S403，利用所述第四数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第四数据特征在自注意力机制下的第四自注意力特征。
这里，第四数据特征在注意力机制下的Q特征矩阵和K特征矩阵的获取方式与上述步骤S305中所述的内容相同，重复之处在此不再赘述。
具体的，在执行步骤S403时，可以通过以下公式计算得到第四数据特征g2在自注意力机制(即只关注自身的数据特征)下的第四自注意力特征Ag22：
Ag22＝Qg2T×Kg2；
其中，Qg2表征第四数据特征g2在注意力机制下的Q特征矩阵；
Kg2表征第四数据特征g2在注意力机制下的K特征矩阵；
Qg2T表征Qg2的转置矩阵。
S404，利用所述第四数据特征在注意力机制下的Q特征矩阵以及所述第三数据特征在注意力机制下的K特征矩阵，计算得到所述第四数据特征在互注意力机制下的第四互注意力特征。
具体的，在执行步骤S404时，可以通过以下公式计算得到第四数据特征g2在互注意力机制(即在解剖结构信息一侧，关注第三数据特征与第四数据特征之间的数据特征)下的第四互注意力特征Ag21：
Ag21＝Qg2T×Kg1；
其中，Qg2表征第四数据特征g2在注意力机制下的Q特征矩阵；
Kg1表征第三数据特征g1在注意力机制下的K特征矩阵；
Qg2T表征Qg2的转置矩阵。
S405，利用所述第二数据特征、所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征、所述第四互注意力特征、所述第一数据特征在注意力机制下的V特征矩阵以及所述第二数据特征在注意力机制下的V特征矩阵，计算得到所述第二强化特征。
具体的，在执行步骤S405时，可以通过以下公式计算得到第二强化特征T2：
T2＝i2+softmax(A22+softmax(Ag22))×U2+softmax(A21+softmax(Ag21))×V1；
其中，i2表征第二数据特征、A22表征第二自注意力特征、A21表征第二互注意力特征、Ag22表征第四自注意力特征、Ag21表征第四互注意力特征、V1表征第一数据特征i1在注意力机制下的V特征矩阵、V2表征第二数据特征i2在注意力机制下的V特征矩阵。
需要说明的是，在计算第二强化特征T2时，除softmax函数之外，也可以使用其他类型的函数进行计算(如，也可以将上述公式中的softmax函数替换为sigmoid函数)，对于计算第二强化特征T2时使用的具体函数类型，本申请实施例同样不作任何限定。
针对上述第三输入数据(即第一检测结果中切分出的第一子数据)，在一种可选的实施方式中，参照图5所示，图5示出了本申请实施例所提供的一种得到第三输入数据在第一特征提取窗口内对应的第三强化特征的方法的流程示意图，所述方法包括步骤S501-S502；具体的：
S501，获取所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征以及所述第三互注意力特征。
具体的，第一自注意力特征A11、第一互注意力特征A12、第三自注意力特征Ag11以及第三互注意力特征Ag12的具体获取方式可以参见上述步骤S302-S305，重复之处在此不再赘述。
S502，利用所述第三数据特征、所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征、所述第三互注意力特征、所述第三数据特征在注意力机制下的V特征矩阵以及所述第四数据特征在注意力机制下的V特征矩阵，计算得到所述第三强化特征。
具体的，在执行步骤S502时，可以通过以下公式计算得到第三强化特征T3：
T3＝g1+softmax(Ag11+softmax(A11))×Vg1+softmax(Ag12+softmax(A12))×Vg2；
其中，g1表征第三数据特征、A11表征第一自注意力特征、A12表征第一互注意力特征、Ag11表征第三自注意力特征、Ag12表征第三互注意力特征、Vg1表征第三数据特征在注意力机制下的V特征矩阵、Vg2表征第四数据特征在注意力机制下的V特征矩阵。
需要说明的是，在计算第三强化特征T3时，除softmax函数之外，也可以使用其他类型的函数进行计算，对于计算第三强化特征T3时使用的具体函数类型(如，也可以将上述公式中的softmax函数替换为sigmoid函数)，本申请实施例同样不作任何限定。
针对上述第四输入数据(即初始病灶匹配结果中切分出的第一子数据)，在一种可选的实施方式中，参照图6所示，图6示出了本申请实施例所提供的一种得到第四输入数据在第一特征提取窗口内对应的第四强化特征的方法的流程示意图，所述方法包括步骤S601-S602；具体的：
S601，获取所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征以及所述第四互注意力特征。
具体的，第二自注意力特征A22、第二互注意力特征A21、第四自注意力特征Ag22以及第四互注意力特征Ag21的具体获取方式可以参见上述步骤S401-S404，重复之处在此不再赘述。
S602，利用所述第四数据特征、所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征、所述第四互注意力特征、所述第三数据特征在注意力机制下的V特征矩阵以及所述第四数据特征在注意力机制下的V特征矩阵，计算得到所述第四强化特征。
具体的，在执行步骤S602时，可以通过以下公式计算得到第四强化特征T4：
T4＝g2+softmax(Ag22+softmax(A22))×Vg2+softmax(Ag21+softmax(A21))×Vg1；
其中，g2表征第四数据特征、A22表征第二自注意力特征、A21表征第二互注意力特征、Ag22表征第四自注意力特征、Ag21表征第四互注意力特征、Vg1表征第三数据特征在注意力机制下的V特征矩阵、Vg2表征第四数据特征在注意力机制下的V特征矩阵。
需要说明的是，在计算第四强化特征T4时，除softmax函数之外，也可以使用其他类型的函数进行计算(如，也可以将上述公式中的softmax函数替换为sigmoid函数)，对于计算第四强化特征T4时使用的具体函数类型，本申请实施例同样不作任何限定。
针对特征提取模型中输出得到的第二医学图像的病灶特征提取结果(即第二医学图像的图像特征向量)，基于上述步骤S103处的分析内容可知，上述病灶特征提取结果可以替代第二医学图像作为病灶分割模型/病灶检测模型等模型的模型输入数据，从而帮助病灶分割模型完成针对第二医学图像的病灶分割任务/帮助病灶检测模型完成针对第二医学图像的病灶检测任务。
具体的，以上述病灶特征提取结果可以替代第二医学图像作为病灶分割模型的模型输入数据为例，在一种可选的实施方式中，当上述病灶特征提取结果替代第二医学图像作为病灶分割模型在模型训练阶段的模型输入数据时，参照图7所示，图7示出了本申请实施例所提供的第一种使用第二医学图像的病灶特征提取结果的方法的流程示意图，所述方法包括步骤S701-S702；具体的：
S701，将所述第二医学图像的病灶特征提取结果输入至第一病灶分割模型中，输出得到所述第二医学图像的病灶分割预测结果。
这里，第一病灶分割模型表征处于训练阶段的病灶分割模型；其中，对于第一病灶分割模型的具体模型结构，本申请实施例不作任何限定；例如可以是单层的卷积神经网络结构，也可以是其他更加复杂的多层神经网络结构。
这里，病灶分割预测结果表征针对目标病灶在第二医学图像中所在图像区域的预测结果；例如，病灶分割预测结果可以是基于0-1标记的第二医学图像的标记结果，其中，病灶分割预测结果中标记为1的图像区域表征针对目标病灶在第二医学图像中所在图像区域的预测结果。
S702，根据所述病灶分割预测结果与所述目标病灶在所述第二空间下的第二检测结果之间的分割损失，对所述第一病灶分割模型以及所述特征提取模型的模型参数进行调整，得到包含调整好的参数在内的第一病灶分割模型以及特征提取模型。
这里，第二检测结果根据所述目标病灶在所述第二医学图像中的位置信息和尺寸信息确定。
需要说明的是，上述计算分割损失时，可以使用交叉熵损失函数也可以使用focalloss函数等其他损失函数，对于上述分割损失的具体计算方式，本申请实施例不作任何限定。
具体的，在另一种可选的实施方式中，当上述病灶特征提取结果替代第二医学图像作为病灶分割模型在模型应用阶段的模型输入数据时，参照图8所示，图8示出了本申请实施例所提供的第二种使用第二医学图像的病灶特征提取结果的方法的流程示意图，所述方法包括步骤S801；具体的：
S801，将所述第二医学图像的病灶特征提取结果输入至第二病灶分割模型中，输出得到所述目标病灶在所述第二医学图像中的病灶分割结果。
这里，第二病灶分割模型表征处于应用阶段的病灶分割模型，也即，第二病灶分割模型表征预先训练好的病灶分割模型，此时，由于第二病灶分割模型已经完成了模型训练过程，因此，与上述步骤S701-S702不同的是，在步骤S801中不再涉及对于第二病灶分割模型以及特征提取模型的模型参数进行调整。
基于上述步骤S701-S702以及上述步骤S801所示的针对第二医学图像的病灶特征提取结果的不同使用方式，需要说明的是，本申请实施例本质上是通过步骤S101-S103所示的执行方式，提供了一种对于随访病例数据中任意两个不同医学图像的数据处理方法，对于数据处理结果(即第二医学图像的病灶特征提取结果)具体应用于模型的训练阶段还是应用于模型的应用阶段，本申请实施例不作任何限定。
通过本申请实施例提供的上述随访病例数据的处理方法，根据目标病灶在第一医学图像中的位置信息以及尺寸信息，确定目标病灶在第一空间下的第一检测结果；根据第一医学图像与第二医学图像之间的配准变换矩阵，对第一检测结果进行变换处理，得到第一检测结果在第二空间下的初始病灶匹配结果；将第一医学图像、第二医学图像、第一检测结果以及初始病灶匹配结果输入特征提取模型中，输出得到第二医学图像的病灶特征提取结果。这样，本申请使得模型能够在医学图像信息的基础上有效地结合病灶的解剖学结构信息，提高了模型对于不同医学图像中同一病灶的特征提取准确度以及对于同一病灶在随访病例数据中匹配定位的精准度。
基于同一发明构思，本申请还提供了与上述随访病例数据的处理方法对应的处理装置，由于本申请实施例中的处理装置解决问题的原理与本申请实施例中上述随访病例数据的处理方法相似，因此处理装置的实施可以参见上述处理方法的实施，重复之处不再赘述。
参照图9所示，图9示出了本申请实施例所提供的一种随访病例数据的处理装置的结构示意图，所述随访病例数据中至少包括第一医学图像和第二医学图像；所述第一医学图像和所述第二医学图像分别为不同时间内针对同一对象采集到的医学图像；所述处理装置包括：
确定模块901，用于根据目标病灶在所述第一医学图像中的位置信息以及尺寸信息，确定所述目标病灶在第一空间下的第一检测结果；其中，所述第一空间表征所述第一医学图像所在的坐标空间；
配准模块902，用于根据所述第一医学图像与所述第二医学图像之间的配准变换矩阵，对所述第一检测结果进行变换处理，得到所述第一检测结果在第二空间下的初始病灶匹配结果；其中，所述第二空间表征所述第二医学图像所在的坐标空间；
处理模块903，用于将所述第一医学图像、所述第二医学图像、所述第一检测结果以及所述初始病灶匹配结果输入特征提取模型中，输出得到所述第二医学图像的病灶特征提取结果；其中，所述病灶特征提取结果至少用于针对所述第二医学图像的病灶分割任务。
在一种可选的实施方式中，所述特征提取模型采用以swin-transformer模块为核心的Unet网络结构；其中，所述Unet网络结构中包括多组对称的编码器和解码器，每一所述编码器中至少包括一个四输入四输出的swin-transformer模块，所述swin-transformer模块中包含多个特征提取窗口，所述swin-transformer模块用于：
接收上层编码器中每个通道的输出数据作为同一通道在本层编码器中的输入数据；
将每个通道的输入数据分别切分为多个子数据，并在每一所述特征提取窗口内对于不同输入数据的子数据进行相同的特征提取与特征强化处理，得到每个子数据在每一所述特征提取窗口内对应的强化特征；
对属于同一通道的子数据的强化特征进行拼接处理，并将拼接处理的结果输出至下层编码器中的相应通道内。
在一种可选的实施方式中，在所述特征提取模型中，以所述第一医学图像中切分出的第一子数据作为所述swin-transformer模块中第一特征提取窗口的第一输入数据、所述第二医学图像中切分出的第一子数据作为所述第一特征提取窗口的第二输入数据、所述第一检测结果中切分出的第一子数据作为所述第一特征提取窗口的第三输入数据、所述初始病灶匹配结果中切分出的第一子数据作为所述第一特征提取窗口的第四输入数据，所述swin-transformer模块用于通过以下方法得到所述第一输入数据在所述第一特征提取窗口内对应的第一强化特征：
在所述第一特征提取窗口内，分别对所述第一输入数据、所述第二输入数据、所述第三输入数据以及所述第四输入数据进行特征提取，得到所述第一输入数据的第一数据特征、所述第二输入数据的第二数据特征、所述第三输入数据的第三数据特征以及所述第四输入数据的第四数据特征；
利用所述第一数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第一数据特征在自注意力机制下的第一自注意力特征；
利用所述第一数据特征在注意力机制下的Q特征矩阵以及所述第二数据特征在注意力机制下的K特征矩阵，计算得到所述第一数据特征在互注意力机制下的第一互注意力特征；
利用所述第三数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第三数据特征在自注意力机制下的第三自注意力特征；
利用所述第三数据特征在注意力机制下的Q特征矩阵以及所述第四数据特征在注意力机制下的K特征矩阵，计算得到所述第三数据特征在互注意力机制下的第三互注意力特征；
利用所述第一数据特征、所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征、所述第三互注意力特征、所述第一数据特征在注意力机制下的V特征矩阵以及所述第二数据特征在注意力机制下的V特征矩阵，计算得到所述第一强化特征。
在一种可选的实施方式中，所述swin-transformer模块用于通过以下方法得到所述第二输入数据在所述第一特征提取窗口内对应的第二强化特征：
利用所述第二数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第二数据特征在自注意力机制下的第二自注意力特征；
利用所述第二数据特征在注意力机制下的Q特征矩阵以及所述第一数据特征在注意力机制下的K特征矩阵，计算得到所述第二数据特征在互注意力机制下的第二互注意力特征；
利用所述第四数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第四数据特征在自注意力机制下的第四自注意力特征；
利用所述第四数据特征在注意力机制下的Q特征矩阵以及所述第三数据特征在注意力机制下的K特征矩阵，计算得到所述第四数据特征在互注意力机制下的第四互注意力特征；
利用所述第二数据特征、所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征、所述第四互注意力特征、所述第一数据特征在注意力机制下的V特征矩阵以及所述第二数据特征在注意力机制下的V特征矩阵，计算得到所述第二强化特征。
在一种可选的实施方式中，所述swin-transformer模块用于通过以下方法得到所述第三输入数据在所述第一特征提取窗口内对应的第三强化特征：
获取所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征以及所述第三互注意力特征；
利用所述第三数据特征、所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征、所述第三互注意力特征、所述第三数据特征在注意力机制下的V特征矩阵以及所述第四数据特征在注意力机制下的V特征矩阵，计算得到所述第三强化特征。
在一种可选的实施方式中，所述swin-transformer模块用于通过以下方法得到所述第四输入数据在所述第一特征提取窗口内对应的第四强化特征：
获取所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征以及所述第四互注意力特征；
利用所述第四数据特征、所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征、所述第四互注意力特征、所述第三数据特征在注意力机制下的V特征矩阵以及所述第四数据特征在注意力机制下的V特征矩阵，计算得到所述第四强化特征。
在一种可选的实施方式中，所述处理装置，还包括：
第一输出模块，用于将所述第二医学图像的病灶特征提取结果输入至第一病灶分割模型中，输出得到所述第二医学图像的病灶分割预测结果；其中，所述第一病灶分割模型表征处于训练阶段的病灶分割模型；所述病灶分割预测结果表征针对所述目标病灶在所述第二医学图像中所在图像区域的预测结果；
训练模块，用于根据所述病灶分割预测结果与所述目标病灶在所述第二空间下的第二检测结果之间的分割损失，对所述第一病灶分割模型以及所述特征提取模型的模型参数进行调整，得到包含调整好的参数在内的第一病灶分割模型以及特征提取模型；其中，所述第二检测结果根据所述目标病灶在所述第二医学图像中的位置信息和尺寸信息确定。
在一种可选的实施方式中，所述处理装置，还包括：
第二输出模块，用于将所述第二医学图像的病灶特征提取结果输入至第二病灶分割模型中，输出得到所述目标病灶在所述第二医学图像中的病灶分割结果；其中，所述第二病灶分割模型表征处于应用阶段的病灶分割模型。
基于同一发明构思，如图10所示，本申请实施例提供了一种计算机设备1000，用于执行本申请中的随访病例数据的处理方法，该设备包括存储器1001、处理器1002及存储在该存储器1001上并可在该处理器1002上运行的计算机程序，其中，上述处理器1002执行上述计算机程序时实现上述的随访病例数据的处理方法的步骤。
具体地，上述存储器1001和处理器1002可以为通用的存储器和处理器，这里不做具体限定，当处理器1002运行存储器1001存储的计算机程序时，能够执行上述的随访病例数据的处理方法。
对应于本申请中的随访病例数据的处理方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的随访病例数据的处理方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的随访病例数据的处理方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种随访病例数据的处理方法，其特征在于，所述随访病例数据中至少包括第一医学图像和第二医学图像；所述第一医学图像和所述第二医学图像分别为不同时间内针对同一对象采集到的医学图像；所述处理方法包括：
根据目标病灶在所述第一医学图像中的位置信息以及尺寸信息，确定所述目标病灶在第一空间下的第一检测结果；其中，所述第一空间表征所述第一医学图像所在的坐标空间；
根据所述第一医学图像与所述第二医学图像之间的配准变换矩阵，对所述第一检测结果进行变换处理，得到所述第一检测结果在第二空间下的初始病灶匹配结果；其中，所述第二空间表征所述第二医学图像所在的坐标空间；
将所述第一医学图像、所述第二医学图像、所述第一检测结果以及所述初始病灶匹配结果输入特征提取模型中，输出得到所述第二医学图像的病灶特征提取结果；其中，所述病灶特征提取结果至少用于针对所述第二医学图像的病灶分割任务。
2.根据权利要求1所述的处理方法，其特征在于，所述特征提取模型采用以swin-transformer模块为核心的Unet网络结构；其中，所述Unet网络结构中包括多组对称的编码器和解码器，每一所述编码器中至少包括一个四输入四输出的swin-transformer模块，所述swin-transformer模块中包含多个特征提取窗口，所述swin-transformer模块用于：
接收上层编码器中每个通道的输出数据作为同一通道在本层编码器中的输入数据；
将每个通道的输入数据分别切分为多个子数据，并在每一所述特征提取窗口内对于不同输入数据的子数据进行相同的特征提取与特征强化处理，得到每个子数据在每一所述特征提取窗口内对应的强化特征；
对属于同一通道的子数据的强化特征进行拼接处理，并将拼接处理的结果输出至下层编码器中的相应通道内。
3.根据权利要求2所述的处理方法，其特征在于，在所述特征提取模型中，以所述第一医学图像中切分出的第一子数据作为所述swin-transformer模块中第一特征提取窗口的第一输入数据、所述第二医学图像中切分出的第一子数据作为所述第一特征提取窗口的第二输入数据、所述第一检测结果中切分出的第一子数据作为所述第一特征提取窗口的第三输入数据、所述初始病灶匹配结果中切分出的第一子数据作为所述第一特征提取窗口的第四输入数据，通过以下方法得到所述第一输入数据在所述第一特征提取窗口内对应的第一强化特征：
在所述第一特征提取窗口内，分别对所述第一输入数据、所述第二输入数据、所述第三输入数据以及所述第四输入数据进行特征提取，得到所述第一输入数据的第一数据特征、所述第二输入数据的第二数据特征、所述第三输入数据的第三数据特征以及所述第四输入数据的第四数据特征；
利用所述第一数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第一数据特征在自注意力机制下的第一自注意力特征；
利用所述第一数据特征在注意力机制下的Q特征矩阵以及所述第二数据特征在注意力机制下的K特征矩阵，计算得到所述第一数据特征在互注意力机制下的第一互注意力特征；
利用所述第三数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第三数据特征在自注意力机制下的第三自注意力特征；
利用所述第三数据特征在注意力机制下的Q特征矩阵以及所述第四数据特征在注意力机制下的K特征矩阵，计算得到所述第三数据特征在互注意力机制下的第三互注意力特征；
利用所述第一数据特征、所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征、所述第三互注意力特征、所述第一数据特征在注意力机制下的V特征矩阵以及所述第二数据特征在注意力机制下的V特征矩阵，计算得到所述第一强化特征。
4.根据权利要求3所述的处理方法，其特征在于，通过以下方法得到所述第二输入数据在所述第一特征提取窗口内对应的第二强化特征：
利用所述第二数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第二数据特征在自注意力机制下的第二自注意力特征；
利用所述第二数据特征在注意力机制下的Q特征矩阵以及所述第一数据特征在注意力机制下的K特征矩阵，计算得到所述第二数据特征在互注意力机制下的第二互注意力特征；
利用所述第四数据特征在注意力机制下的Q特征矩阵和K特征矩阵，计算得到所述第四数据特征在自注意力机制下的第四自注意力特征；
利用所述第四数据特征在注意力机制下的Q特征矩阵以及所述第三数据特征在注意力机制下的K特征矩阵，计算得到所述第四数据特征在互注意力机制下的第四互注意力特征；
利用所述第二数据特征、所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征、所述第四互注意力特征、所述第一数据特征在注意力机制下的V特征矩阵以及所述第二数据特征在注意力机制下的V特征矩阵，计算得到所述第二强化特征。
5.根据权利要求3所述的处理方法，其特征在于，通过以下方法得到所述第三输入数据在所述第一特征提取窗口内对应的第三强化特征：
获取所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征以及所述第三互注意力特征；
利用所述第三数据特征、所述第一自注意力特征、所述第一互注意力特征、所述第三自注意力特征、所述第三互注意力特征、所述第三数据特征在注意力机制下的V特征矩阵以及所述第四数据特征在注意力机制下的V特征矩阵，计算得到所述第三强化特征。
6.根据权利要求1所述的处理方法，其特征在于，通过以下方法得到所述第四输入数据在所述第一特征提取窗口内对应的第四强化特征：
获取所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征以及所述第四互注意力特征；
利用所述第四数据特征、所述第二自注意力特征、所述第二互注意力特征、所述第四自注意力特征、所述第四互注意力特征、所述第三数据特征在注意力机制下的V特征矩阵以及所述第四数据特征在注意力机制下的V特征矩阵，计算得到所述第四强化特征。
7.根据权利要求1所述的处理方法，其特征在于，所述处理方法，还包括：
将所述第二医学图像的病灶特征提取结果输入至第一病灶分割模型中，输出得到所述第二医学图像的病灶分割预测结果；其中，所述第一病灶分割模型表征处于训练阶段的病灶分割模型；所述病灶分割预测结果表征针对所述目标病灶在所述第二医学图像中所在图像区域的预测结果；
根据所述病灶分割预测结果与所述目标病灶在所述第二空间下的第二检测结果之间的分割损失，对所述第一病灶分割模型以及所述特征提取模型的模型参数进行调整，得到包含调整好的参数在内的第一病灶分割模型以及特征提取模型；其中，所述第二检测结果根据所述目标病灶在所述第二医学图像中的位置信息和尺寸信息确定。
8.根据权利要求1所述的处理方法，其特征在于，所述处理方法，还包括：
将所述第二医学图像的病灶特征提取结果输入至第二病灶分割模型中，输出得到所述目标病灶在所述第二医学图像中的病灶分割结果；其中，所述第二病灶分割模型表征处于应用阶段的病灶分割模型。
9.一种随访病例数据的处理装置，其特征在于，所述随访病例数据中至少包括第一医学图像和第二医学图像；所述第一医学图像和所述第二医学图像分别为不同时间内针对同一对象采集到的医学图像；所述处理装置包括：
确定模块，用于根据目标病灶在所述第一医学图像中的位置信息以及尺寸信息，确定所述目标病灶在第一空间下的第一检测结果；其中，所述第一空间表征所述第一医学图像所在的坐标空间；
配准模块，用于根据所述第一医学图像与所述第二医学图像之间的配准变换矩阵，对所述第一检测结果进行变换处理，得到所述第一检测结果在第二空间下的初始病灶匹配结果；其中，所述第二空间表征所述第二医学图像所在的坐标空间；
处理模块，用于将所述第一医学图像、所述第二医学图像、所述第一检测结果以及所述初始病灶匹配结果输入特征提取模型中，输出得到所述第二医学图像的病灶特征提取结果；其中，所述病灶特征提取结果至少用于针对所述第二医学图像的病灶分割任务。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的处理方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的处理方法的步骤。
CN202211026079.6A 2022-08-25 2022-08-25 一种随访病例数据的处理方法、装置、设备及存储介质 Pending CN115359010A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211026079.6A CN115359010A (zh) 2022-08-25 2022-08-25 一种随访病例数据的处理方法、装置、设备及存储介质
PCT/CN2023/095932 WO2024041058A1 (zh) 2022-08-25 2023-05-24 一种随访病例数据的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211026079.6A CN115359010A (zh) 2022-08-25 2022-08-25 一种随访病例数据的处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115359010A true CN115359010A (zh) 2022-11-18

Family

ID=84003786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211026079.6A Pending CN115359010A (zh) 2022-08-25 2022-08-25 一种随访病例数据的处理方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115359010A (zh)
WO (1) WO2024041058A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041058A1 (zh) * 2022-08-25 2024-02-29 推想医疗科技股份有限公司 一种随访病例数据的处理方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5241423B2 (ja) * 2008-10-16 2013-07-17 株式会社キーエンス 画像処理における画像データ縮小率の決定方法、画像処理におけるパターンモデルの位置決め方法、画像処理におけるパターンモデルの作成方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
CN109754387B (zh) * 2018-11-23 2021-11-23 北京永新医疗设备有限公司 一种全身骨显像放射性浓聚灶的智能检测定位方法
CN114549462A (zh) * 2022-02-22 2022-05-27 深圳市大数据研究院 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
CN114663440A (zh) * 2022-03-23 2022-06-24 重庆邮电大学 一种基于深度学习的眼底图像病灶分割方法
CN114820491A (zh) * 2022-04-18 2022-07-29 汕头大学 一种基于小样本学习的多模态脑卒中病变分割方法和系统
CN115359010A (zh) * 2022-08-25 2022-11-18 推想医疗科技股份有限公司 一种随访病例数据的处理方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041058A1 (zh) * 2022-08-25 2024-02-29 推想医疗科技股份有限公司 一种随访病例数据的处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2024041058A1 (zh) 2024-02-29

Similar Documents

Publication Publication Date Title
Jiang et al. Medical image semantic segmentation based on deep learning
Park et al. SwinE-Net: Hybrid deep learning approach to novel polyp segmentation using convolutional neural network and Swin Transformer
CN112767329B (zh) 图像处理方法及装置、电子设备
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
Benčević et al. Training on polar image transformations improves biomedical image segmentation
Ruan et al. Evaluation of methods for generative modeling of cell and nuclear shape
Liu et al. Simtriplet: Simple triplet representation learning with a single gpu
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
US20180182103A1 (en) 3d segmentation reconstruction from 2d slices
Yuan et al. Computational modeling of cellular structures using conditional deep generative networks
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
Jin et al. FCMNet: Frequency-aware cross-modality attention networks for RGB-D salient object detection
Rajaraman et al. Novel loss functions for ensemble-based medical image classification
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
Zhou et al. Reconstruction enhanced probabilistic model for semisupervised tongue image segmentation
WO2024041058A1 (zh) 一种随访病例数据的处理方法、装置、设备及存储介质
Gao et al. Multi-path xD recurrent neural networks for collaborative image classification
Yue et al. Dual-constraint coarse-to-fine network for camouflaged object detection
Zhang et al. A novel deep learning model for medical image segmentation with convolutional neural network and transformer
Lee et al. Lung Field Segmentation in Chest X-Ray Images Using Superpixel Resizing and Encoder–Decoder Segmentation Networks
Ijishakin et al. Interpretable Alzheimer's Disease Classification Via a Contrastive Diffusion Autoencoder
CN111582449B (zh) 一种目标域检测网络的训练方法、装置、设备及存储介质
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
Xu et al. Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination