CN115132354B - 一种患者类型识别方法、装置、电子设备及存储介质 - Google Patents

一种患者类型识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115132354B
CN115132354B CN202210846955.3A CN202210846955A CN115132354B CN 115132354 B CN115132354 B CN 115132354B CN 202210846955 A CN202210846955 A CN 202210846955A CN 115132354 B CN115132354 B CN 115132354B
Authority
CN
China
Prior art keywords
patient
data
colorectal cancer
transformation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210846955.3A
Other languages
English (en)
Other versions
CN115132354A (zh
Inventor
姜慧杰
蔺雪
辛彦杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Medical University
Original Assignee
Harbin Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Medical University filed Critical Harbin Medical University
Priority to CN202210846955.3A priority Critical patent/CN115132354B/zh
Publication of CN115132354A publication Critical patent/CN115132354A/zh
Application granted granted Critical
Publication of CN115132354B publication Critical patent/CN115132354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了一种患者类型识别方法、装置、电子设备及存储介质，训练患者类型识别模型和转化预测模型；获取目标患者的第一病理数据，并将第一病理数据输入至患者类型识别模型，以识别得到目标患者的类型；若目标患者的类型为不可手术切除的患者，则将目标患者的第一病理数据及其预采用的转化治疗手段，输入至转化预测模型，以预测得到目标患者转化治疗后的第二病理数据，并将第二病理数据输入至患者类型识别模型，以识别得到目标患者在转化治疗后的类型。可见，本申请通过深度学习实现手术切除/不可手术切除的患者的识别，识别准确度较高；而且，本申请通过深度学习预测患者在不同转化治疗手段下的治疗结果，从而为患者选择合适的转化治疗手段。

Description

一种患者类型识别方法、装置、电子设备及存储介质
技术领域
本申请涉及结直肠癌领域，尤其涉及一种患者类型识别方法、装置、电子设备及存储介质。
背景技术
结直肠癌(Colorectal cancer，CRC)，包括结肠癌(Colon carcinoma)和直肠癌(Rectal carcinoma)，是常见的消化道恶性肿瘤。近年来，由于生活和饮食习惯的改变，结直肠癌发病率呈逐年上升趋势。目前，手术切除是结直肠癌患者唯一可能治愈的策略，与可手术切除的结直肠癌患者相比，不可手术切除的结直肠癌患者的生存期显著下降，但临床诊断时，仅有少数结直肠癌患者可以进行手术切除。
对于不可手术切除的结直肠癌患者，通常通过转化治疗将不可手术切除的患者转变为可手术切除的患者，但转化治疗也存在一定失败率，即不可手术切除的患者无法转变为可手术切除的患者。目前，不可手术切除的患者和可手术切除的患者的识别完全依赖于医生的临床经验，具有较强的主观性和不确定性。
如何辅助医生提高对于可手术切除/不可手术切除的患者的识别准确度，是亟待解决的问题。
发明内容
本申请的目的是提供一种患者类型识别方法、装置、电子设备及存储介质，通过深度学习实现手术切除/不可手术切除的患者的识别，识别准确度较高；而且，通过深度学习预测患者在不同转化治疗手段下的治疗结果，从而为患者选择合适的转化治疗手段。
第一方面，本申请提供了一种患者类型识别方法，包括：
获取第一训练集及第二训练集；其中，所述第一训练集包括：不可手术切除的患者和可手术切除的患者各自的病理数据，且所述各自的病理数据以相应的患者的类型作为标签，所述类型包括不可手术切除的患者和可手术切除的患者；所述第二训练集包括：患者的病理变化数据，且所述病理变化数据以疗效等级作为标签；所述病理变化数据包括：转化治疗前的病理数据、采用的转化治疗手段及转化治疗后的病理数据；
利用所述第一训练集训练患者类型识别模型，利用所述第二训练集训练转化预测模型，以对应得到训练完成的患者类型识别模型和训练完成的转化预测模型；所述患者类型识别模型，用于根据输入的病理数据识别患者的类型；所述转化预测模型，用于根据输入的转化治疗前的病理数据及预采用的转化治疗手段预测转化治疗后的病理数据，以基于转化治疗前后的病理数据确定转化治疗的疗效等级；
获取目标患者的第一病理数据，并将所述第一病理数据输入至所述患者类型识别模型，以识别得到所述目标患者的类型；
若所述目标患者的类型为不可手术切除的患者，则将所述目标患者的第一病理数据及其预采用的转化治疗手段，输入至所述转化预测模型，以预测得到所述目标患者转化治疗后的第二病理数据，并将所述第二病理数据输入至所述患者类型识别模型，以识别得到所述目标患者在转化治疗后的类型。
第二方面，本申请提供了一种患者类型识别装置，包括：
样本获取模块，用于获取第一训练集及第二训练集；其中，所述第一训练集包括：不可手术切除的患者和可手术切除的患者各自的病理数据，且所述各自的病理数据以相应的患者的类型作为标签，所述类型包括不可手术切除的患者和可手术切除的患者；所述第二训练集包括：患者的病理变化数据，且所述病理变化数据以疗效等级作为标签；所述病理变化数据包括：转化治疗前的病理数据、采用的转化治疗手段及转化治疗后的病理数据；
模型训练模块，用于利用所述第一训练集训练患者类型识别模型，利用第二训练集训练转化预测模型，以对应得到训练完成的患者类型识别模型和训练完成的转化预测模型；所述患者类型识别模型，用于根据输入的病理数据识别患者的类型；所述转化预测模型，用于根据输入的转化治疗前的病理数据及预采用的转化治疗手段预测转化治疗后的病理数据，以基于转化治疗前后的病理数据确定转化治疗的疗效等级；
第一识别模块，用于获取目标患者的第一病理数据，并将所述第一病理数据输入至所述患者类型识别模型，以识别得到所述目标患者的类型；
第二识别模块，用于若所述目标患者的类型为不可手术切除的患者，则将所述目标患者的第一病理数据及其预采用的转化治疗手段，输入至所述转化预测模型，以预测得到所述目标患者转化治疗后的第二病理数据，并将所述第二病理数据输入至所述患者类型识别模型，以识别得到所述目标患者在转化治疗后的类型。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于在执行所述计算机程序时实现上述任一种患者类型识别方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种患者类型识别方法的步骤。
本申请提供了一种患者类型识别方法，获取第一训练集及第二训练集；利用第一训练集训练患者类型识别模型，利用第二训练集训练转化预测模型，以对应得到训练完成的患者类型识别模型和训练完成的转化预测模型；获取目标患者的第一病理数据，并将第一病理数据输入至患者类型识别模型，以识别得到目标患者的类型；若目标患者的类型为不可手术切除的患者，则将目标患者的第一病理数据及其预采用的转化治疗手段，输入至转化预测模型，以预测得到目标患者转化治疗后的第二病理数据，并将第二病理数据输入至患者类型识别模型，以识别得到目标患者在转化治疗后的类型。可见，本申请通过深度学习实现手术切除/不可手术切除的患者的识别，识别准确度较高；而且，本申请通过深度学习预测患者在不同转化治疗手段下的治疗结果，从而为患者选择合适的转化治疗手段。
本申请还提供了一种患者类型识别装置、电子设备及存储介质，与上述类型识别方法具有相同的有益效果。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种患者类型识别方法的流程图；
图2为本申请实施例提供的一种患者类型识别模型的结构示意图；
图3为本申请实施例提供的一种转化预测模型的结构示意图；
图4为本申请实施例提供的一种患者类型识别装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本申请的核心是提供一种患者类型识别方法、装置、电子设备及存储介质，通过深度学习实现手术切除/不可手术切除的患者的识别，识别准确度较高；而且，通过深度学习预测患者在不同转化治疗手段下的治疗结果，从而为患者选择合适的转化治疗手段。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请实施例提供的一种患者类型识别方法的流程图。
该患者类型识别方法可以包括如下步骤：
步骤S101：获取第一训练集及第二训练集。
本申请实施例中，第一训练集包括：不可手术切除的患者的病理数据、可手术切除的患者的病理数据，且不可手术切除的患者和可手术切除的患者的病理数据以相应的患者的类型作为标签。这里的患者指的是结直肠癌患者，患者的类型包括不可手术切除的患者(可用“0”表示)和可手术切除的患者(可用“1”表示)。第二训练集包括：患者的病理变化数据，且患者的病理变化数据以疗效等级作为标签；患者的病理变化数据包括：患者转化治疗前的病理数据、患者采用的转化治疗手段及患者转化治疗后的病理数据。这里的疗效等级指的是从优、良、中、差中选出的一个等级；疗效等级从高到低排序：优、良、中、差；疗效等级越高，转化治疗的效果越好。
步骤S102：利用第一训练集训练患者类型识别模型，利用第二训练集训练转化预测模型，以对应得到训练完成的患者类型识别模型和训练完成的转化预测模型。
本申请实施例中，患者类型识别模型用于：根据输入的病理数据，识别患者的类型。转化预测模型用于：根据输入的转化治疗前的病理数据及预采用的转化治疗手段，预测转化治疗后的病理数据，并基于转化治疗前后的病理数据确定转化治疗的疗效等级。
步骤S103：获取目标患者的第一病理数据，并将第一病理数据输入至患者类型识别模型，以识别得到目标患者的类型。
本申请实施例中，目标患者为任一结直肠癌患者，还未转化治疗。
具体应用中，本申请将目标患者的病理数据(称为第一病理数据)输入至训练完成的患者类型识别模型，从而识别得到目标患者是不可手术切除的患者还是可手术切除的患者。
步骤S104：若目标患者的类型为不可手术切除的患者，则将目标患者的第一病理数据及其预采用的转化治疗手段，输入至转化预测模型，以预测得到目标患者转化治疗后的第二病理数据，并将第二病理数据输入至患者类型识别模型，以识别得到目标患者在转化治疗后的类型。
具体应用中，若目标患者的类型为可手术切除的患者，说明目标患者无需转化治疗；若目标患者的类型为不可手术切除的患者，说明目标患者需转化治疗。转化治疗是一种尝试将不可切除/无法治愈的疾病转变为可切除/可治愈的疾病的方法，即转化治疗的目的是将不可手术切除的患者转化治疗为可手术切除的患者，但不同转化治疗手段的治疗效果不同，可能有的转化治疗手段能够成功将不可手术切除的患者转化治疗为可手术切除的患者，而有的转化治疗手段无法成功将不可手术切除的患者转化治疗为可手术切除的患者。
现有方案中，转化治疗手段的选择完全依赖于医生的临床经验，具有较强的主观性和不确定性。为了辅助医生选择合适的转化治疗手段，本申请在确定目标患者的类型为不可手术切除的患者后，将目标患者的第一病理数据及其预采用的转化治疗手段，输入至训练完成的转化预测模型，以预测得到目标患者转化治疗后的病理数据(称为第二病理数据)，然后将目标患者转化治疗后的第二病理数据输入至训练完成的患者类型识别模型，以识别得到目标患者在转化治疗后的类型，从而可得知目标患者在预采用的转化治疗手段下的治疗结果(即预采用的转化治疗手段是否能够成功将目标患者从不可手术切除的情况转化治疗为可手术切除的情况)。如果预采用的转化治疗手段能够成功将目标患者从不可手术切除的情况转化治疗为可手术切除的情况，则预采用的转化治疗手段建议采用；如果预采用的转化治疗手段不能够成功将目标患者从不可手术切除的情况转化治疗为可手术切除的情况，则预采用的转化治疗手段不建议采用，从而辅助医生选择合适的转化治疗手段。
本申请提供的患者类型识别方法，通过深度学习实现手术切除/不可手术切除的患者的识别，识别准确度较高；而且，通过深度学习预测患者在不同转化治疗手段下的治疗结果，从而为患者选择合适的转化治疗手段。
在上述实施例的基础上：
作为一种可选的实施例，获取第一训练集，包括：
采集结直肠癌患者在不同成像方式下得到的不同序列的第一MRI图像，并采集结直肠癌患者的第一临床数据；其中，结直肠癌患者包括：不可手术切除的患者和可手术切除的患者；第一临床数据包括：结直肠癌患者的身体检查数据、生存状态；
基于不同序列的第一MRI图像的各个体素点的坐标，相应确定不同序列的第一MRI图像的中心体素点，并将不同序列的第一MRI图像的中心体素点进行对齐处理，得到第一多模态MRI图像；
基于第一多模态MRI图像的空间位置数据，将其内各序列的第一MRI图像进行裁剪处理，以得到统一大小的第一多模态MRI图像，并对统一大小的第一多模态MRI图像中的结直肠肿瘤区域进行标注；其中，统一大小的第一多模态MRI图像和第一临床数据构成结直肠癌患者的病理数据；
将结直肠癌患者的类型作为其病理数据对应的标签，并将采集的多个结直肠癌患者的病理数据及其对应的标签，作为第一训练集。
本申请实施例中，MRI(Magnetic Resonance Imaging，磁共振成像)是断层成像的一种，它利用磁共振现象从人体中获得电磁信号，并基于获得的电磁信号重建出人体信息。
具体应用中，本申请采集多个结直肠癌患者在不同成像方式下得到的不同序列的MRI图像(称为第一MRI图像)。虽然每个结直肠癌患者对应的不同序列的第一MRI图像显示着不同的特点，但是不同序列的第一MRI图像上的扫描目标(扫描的人体部位或者人体器官)是一样的，因此，本申请可以将每个结直肠癌患者对应的不同序列的第一MRI图像均进行如下处理：
1)基于不同序列的第一MRI图像的各个体素点的坐标，相应确定不同序列的第一MRI图像的中心体素点，并将不同序列的第一MRI图像的中心体素点进行对齐处理，得到第一多模态MRI图像。具体地，基于不同序列的第一MRI图像的各个体素点的坐标，相应确定不同序列的第一MRI图像的中心体素点的过程，包括：在不同序列的第一MRI图像中的目标部位(如结直肠)上均选取一个参考位置；计算不同序列的第一MRI图像中各个体素点与自身参考位置的相对坐标；根据得到的相对坐标，相应计算不同序列的第一MRI图像的中心体素点。需要说明的是，不同序列下选取的参考位置是目标部位上的同一个位置。
2)基于第一多模态MRI图像的空间位置数据，将第一多模态MRI图像内各序列的第一MRI图像进行裁剪处理，以得到统一大小的第一多模态MRI图像，并对统一大小的第一多模态MRI图像中的结直肠肿瘤区域进行标注。具体地，对统一大小的第一多模态MRI图像中的结直肠肿瘤区域进行标注的过程，包括：接收统一大小的第一多模态MRI图像上的结直肠肿瘤区域对应的坐标范围(可由有经验的医生判定后上传)，并基于接收的坐标范围，对统一大小的第一多模态MRI图像中的结直肠肿瘤区域进行标注。
本申请还采集多个结直肠癌患者的第一临床数据，每个结直肠癌患者的统一大小的第一多模态MRI图像和第一临床数据共同构成此结直肠癌患者的病理数据，多个结直肠癌患者的病理数据及其对应的标签(结直肠癌患者的类型)共同构成第一训练集。
请参照图2，图2为本申请实施例提供的一种患者类型识别模型的结构示意图。
作为一种可选的实施例，患者类型识别模型包括：第一特征提取网络、区域识别网络及类型划分网络；
则利用第一训练集训练患者类型识别模型，得到训练完成的患者类型识别模型，包括：
将结直肠癌患者的第一临床数据、统一大小的第一多模态MRI图像及其对应的标签输入至患者类型识别模型；
利用第一特征提取网络对统一大小的第一多模态MRI图像进行特征提取，得到统一大小的第一多模态MRI图像的各个体素点的SURF特征和纹理特征，并将各个体素点的SURF特征和纹理特征进行结合，得到各个体素点的结合特征；
利用区域识别网络分别对各个体素点的结合特征进行分析识别，以得到各个体素点属于结直肠肿瘤区域的第一概率值，及各个体素点属于结直肠周边器官的第二概率值，并将第一概率值大于预设概率阈值的体素点组合形成的区域确定为结直肠肿瘤区域；
利用类型划分网络从结直肠肿瘤区域中随机选取两个体素点，根据两个体素点的空间位置坐标计算两个体素点的距离，以将计算得到的最大距离确定为结直肠肿瘤区域的肿瘤直径；并在结直肠肿瘤区域内的体素点对应的第二概率值大于预设概率阈值时，确定结直肠肿瘤区域累及结直肠周边器官；且根据结直肠癌患者的第一临床数据，确定结直肠癌患者是否能够承受手术风险，以将肿瘤直径大于预设直径阈值、和/或结直肠肿瘤区域累及结直肠周边器官、和/或不能够承受手术风险的结直肠癌患者确定为不可手术切除的患者，将其余结直肠癌患者确定为可手术切除的患者；
将区域识别网络确定的结直肠肿瘤区域与对应的统一大小的第一多模态MRI图像上标注的结直肠肿瘤区域进行比较，得到区域损失，并将类型划分网络确定的结直肠癌患者的类型与对应的标签进行比较，得到类型损失；
基于区域损失和类型损失，优化患者类型识别模型的网络参数，直至患者类型识别模型的优化次数大于预设优化阈值，得到训练完成的患者类型识别模型。
本申请实施例中，患者类型识别模型包括：
1)第一特征提取网络，其输入是：结直肠癌患者的统一大小的第一多模态MRI图像；输出是：统一大小的第一多模态MRI图像的各个体素点的结合特征(SURF特征+纹理特征)。其中，SURF特征是类似于SIFT(Scale-invariant feature transform，尺度不变特征变换)特征的一种尺度不变的特征，它的优点在于比SIFT效率要高，在实际运算中可以达到实时性的要求。SURF特征用的是Hessian矩阵(海森矩阵)进行特征点的提取。
2)区域识别网络，其输入是：统一大小的第一多模态MRI图像的各个体素点的结合特征；输出是：统一大小的第一多模态MRI图像的各个体素点属于结直肠周边器官的第二概率值，及结直肠肿瘤区域。区域识别网络可采用深度语义分割网络。
3)类型划分网络，其输入是：统一大小的第一多模态MRI图像的各个体素点属于结直肠周边器官的第二概率值、结直肠肿瘤区域及结直肠癌患者的第一临床数据；输出是：结直肠癌患者的类型。其中，结直肠癌患者满足以下任一种情况，就属于不可手术切除的患者：①结直肠肿瘤区域的肿瘤直径大于预设直径阈值；②结直肠肿瘤区域累及结直肠周边器官(若结直肠肿瘤区域内的体素点属于结直肠周边器官，则确定结直肠肿瘤区域累及结直肠周边器官，具体地，结直肠肿瘤区域的体素点属于结直肠周边器官的第二概率值大于预设概率阈值时，认为结直肠肿瘤区域内的体素点属于结直肠周边器官，则确定结直肠肿瘤区域累及结直肠周边器官)；③结直肠癌患者不能够承受手术风险(比如，提前设置能够承受手术风险的结直肠癌患者的临床数据的数据范围，若结直肠癌患者的第一临床数据在所设置的数据范围内，则确定结直肠癌患者能够承受手术风险；否则，确定结直肠癌患者不能够承受手术风险)。
作为一种可选的实施例，患者类型识别模型还包括：设于区域识别网络和类型划分网络之间的区域调整网络；
则利用第一训练集训练患者类型识别模型，得到训练完成的患者类型识别模型，还包括：
利用区域调整网络将统一大小的第一多模态MRI图像和区域识别网络确定的结直肠肿瘤区域进行匹配分析，以调整区域识别网络确定的结直肠肿瘤区域，并将最终调整后的结直肠肿瘤区域输出至类型划分网络。
本申请实施例中，患者类型识别模型还包括：区域调整网络，其输入是：统一大小的第一多模态MRI图像，及结直肠肿瘤区域；输出是：调整后的结直肠肿瘤区域。
作为一种可选的实施例，获取第二训练集，包括：
采集转化治疗前的结直肠癌患者在不同成像方式下得到的不同序列的第二MRI图像，并采集转化治疗后的结直肠癌患者在不同成像方式下得到的不同序列的第三MRI图像；其中，转化治疗前的结直肠癌患者为不可手术切除的患者；
采集转化治疗前的结直肠癌患者的第二临床数据及其采用的转化治疗手段，并采集转化治疗后的结直肠癌患者的第三临床数据；第二临床数据和第三临床数据均包括：结直肠癌患者的身体检查数据、生存状态；
基于不同序列的第二MRI图像的各个体素点的坐标，相应确定不同序列的第二MRI图像的中心体素点，并将不同序列的第二MRI图像的中心体素点进行对齐处理，得到第二多模态MRI图像；
基于不同序列的第三MRI图像的各个体素点的坐标，相应确定不同序列的第三MRI图像的中心体素点，并将不同序列的第三MRI图像的中心体素点进行对齐处理，得到第三多模态MRI图像；
基于第二多模态MRI图像的空间位置数据，将其内各序列的第二MRI图像进行裁剪处理，以得到统一大小的第二多模态MRI图像，并基于第三多模态MRI图像的空间位置数据，将其内各序列的第三MRI图像进行裁剪处理，以得到统一大小的第三多模态MRI图像；其中，结直肠癌患者采用的转化治疗手段、统一大小的第二多模态MRI图像、第二临床数据、统一大小的第三多模态MRI图像及第三临床数据构成结直肠癌患者的病理变化数据；
将结直肠癌患者在转化治疗下的疗效等级作为其病理变化数据对应的标签，并将采集的多个结直肠癌患者的病理变化数据及其对应的标签，作为第二训练集。
本申请实施例中，对不同序列的MRI图像的处理可参考上述获取第一训练集时对不同序列的MRI图像的处理，本申请在此不再赘述。
需要说明的是，每个结直肠癌患者的统一大小的第二多模态MRI图像和第二临床数据构成此结直肠癌患者转化治疗前的病理数据。每个结直肠癌患者的统一大小的统一大小的第三多模态MRI图像和第三临床数据构成此结直肠癌患者转化治疗后的病理数据。每个结直肠癌患者转化治疗前的病理数据、采用的转化治疗手段，及其转化治疗后的病理数据共同构成此结直肠癌患者的病理变化数据。多个结直肠癌患者的病理变化数据及其对应的标签(结直肠癌患者在转化治疗下的疗效等级)共同构成第二训练集。
请参照图3，图3为本申请实施例提供的一种转化预测模型的结构示意图。
作为一种可选的实施例，转化预测模型包括：第二特征提取网络、第一特征预测网络、第二特征预测网络、图像生成网络、数据预测网络及疗效分析网络；
则利用第二训练集训练转化预测模型，得到训练完成的转化预测模型，包括：
将结直肠癌患者采用的转化治疗手段，及其转化治疗前后对应的临床数据和统一大小的多模态MRI图像输入至转化预测模型；
利用第二特征提取网络对统一大小的第二多模态MRI图像进行特征提取，得到统一大小的第二多模态MRI图像的各个体素点的特征；
利用第一特征预测网络，基于结直肠癌患者采用的转化治疗手段对各个体素点的特征进行转化治疗后的预测，得到各个体素点的第一预测特征；
利用第二特征预测网络，基于结直肠癌患者采用的转化治疗手段对各个体素点的特征进行转化治疗后的预测，得到各个体素点的第二预测特征；
利用图像生成网络，基于各个体素点的第一预测特征生成第一多模态MRI预测图像，基于各个体素点的第二预测特征生成第二多模态MRI预测图像，并将第一多模态MRI预测图像和第二多模态MRI预测图像进行图像融合处理，得到多模态MRI融合图像；
利用数据预测网络，基于结直肠癌患者采用的转化治疗手段对结直肠癌患者的第二临床数据进行转化治疗后的预测，得到结直肠癌患者的临床预测数据；
利用疗效分析网络，基于结直肠癌患者对应的第二临床数据、统一大小的第二多模态MRI图像、多模态MRI融合图像及临床预测数据，确定结直肠癌患者在转化治疗下的疗效等级；
将图像生成网络得到的多模态MRI融合图像与对应的统一大小的第三多模态MRI图像进行比较，得到图像损失，并将数据预测网络得到的结直肠癌患者的临床预测数据与对应的结直肠癌患者的第三临床数据进行比较，得到数据损失，且将疗效分析网络确定的结直肠癌患者在转化治疗下的疗效等级与对应的标签进行比较，得到疗效等级损失；
基于图像损失、数据损失及疗效等级损失，优化转化预测模型的网络参数，直至转化预测模型的优化次数大于预设优化阈值，得到训练完成的转化预测模型。
本申请实施例中，转化预测模型包括：
1)第二特征提取网络，其输入是：结直肠癌患者的统一大小的第二多模态MRI图像；输出是：统一大小的第二多模态MRI图像的各个体素点的特征(如SURF特征、纹理特征等)。
2)第一特征预测网络，其输入是：统一大小的第二多模态MRI图像的各个体素点的特征，及结直肠癌患者采用的转化治疗手段；输出是：统一大小的第二多模态MRI图像的各个体素点的第一预测特征(即预测转化治疗后的各个体素点的特征)。
3)第二特征预测网络，其输入是：统一大小的第二多模态MRI图像的各个体素点的特征，及结直肠癌患者采用的转化治疗手段；输出是：统一大小的第二多模态MRI图像的各个体素点的第二预测特征。其中，第二特征预测网络与第一特征预测网络的目的相同，但采用的预测手段不同。
4)图像生成网络，其输入是：统一大小的第二多模态MRI图像的各个体素点的第一预测特征，及统一大小的第二多模态MRI图像的各个体素点的第二预测特征；输出是：多模态MRI融合图像。其中，图像生成网络将第一多模态MRI预测图像和第二多模态MRI预测图像进行图像融合处理，得到多模态MRI融合图像的过程，包括：根据第一多模态MRI预测图像的像素信息，提取第一多模态MRI预测图像的语义信息；根据第二多模态MRI预测图像的像素信息，提取第二多模态MRI预测图像的语义信息；将第一多模态MRI预测图像和第二多模态MRI预测图像的语义信息映射至图像空间，以在图像空间下对第一多模态MRI预测图像和第二多模态MRI预测图像的语义信息进行融合，得到多模态MRI融合图像。
5)数据预测网络，其输入是：结直肠癌患者采用的转化治疗手段，及结直肠癌患者的第二临床数据；输出是：结直肠癌患者的临床预测数据。
6)疗效分析网络，其输入是：结直肠癌患者对应的第二临床数据、统一大小的第二多模态MRI图像、多模态MRI融合图像及临床预测数据；输出是：结直肠癌患者在转化治疗下的疗效等级。其中，疗效分析网络的主要原理为：基于结直肠癌患者转化治疗前后的病理数据的变化情况，分析结直肠癌患者在转化治疗下的疗效等级，疗效等级越高，转化治疗的效果越好。
作为一种可选的实施例，将目标患者的第一病理数据及其预采用的转化治疗手段，输入至转化预测模型，以预测得到目标患者转化治疗后的第二病理数据，并将第二病理数据输入至患者类型识别模型，以识别得到目标患者在转化治疗后的类型，包括：
将目标患者的第一病理数据及其预采用的不同转化治疗手段，输入至转化预测模型，以分别预测得到目标患者经不同转化治疗手段的转化治疗后的第二病理数据，及目标患者在不同转化治疗手段下的疗效等级；
从不同转化治疗手段中选择出疗效等级最高的第一转化治疗手段；
若第一转化治疗手段为一个，则将第一转化治疗手段确定为目标转化治疗手段；
若第一转化治疗手段为多个，则分别提取多个第一转化治疗手段对应的第二病理数据的多维度数据，并将多个第一转化治疗手段对应的多维度数据进行综合比较，以确定治疗效果最优的目标转化治疗手段；
将目标转化治疗手段对应的第二病理数据输入至患者类型识别模型，以识别得到目标患者经目标转化治疗手段的转化治疗后的类型。
具体应用中，可以理解的是，对患者的治疗效果越好的转化治疗手段，将不可手术切除的患者转化治疗为可手术切除的患者的成功率越高，因此，本申请在为目标患者制定多个转化治疗手段之后，可基于训练完成的转化预测模型确定出目标患者在多个转化治疗手段下的疗效等级，以从多个转化治疗手段中选择出疗效等级最高的一个转化治疗手段(称为目标转化治疗手段)，从而基于训练完成的患者类型识别模型可得知目标患者在目标转化治疗手段下是否能够成功从不可手术切除的情况转化治疗为可手术切除的情况。如果目标转化治疗手段能够成功将目标患者从不可手术切除的情况转化治疗为可手术切除的情况，则建议采用目标转化治疗手段为目标患者进行转化治疗，以保证较好的治疗效果；如果目标转化治疗手段不能够成功将目标患者从不可手术切除的情况转化治疗为可手术切除的情况，说明目前为目标患者制定的多个转化治疗手段均无法采用，需重新制定新的转化治疗手段。
请参照图4，图4为本申请实施例提供的一种患者类型识别装置的结构示意图。
该患者类型识别装置可以包括：
样本获取模块41，用于获取第一训练集及第二训练集；其中，第一训练集包括：不可手术切除的患者和可手术切除的患者各自的病理数据，且各自的病理数据以相应的患者的类型作为标签，类型包括不可手术切除的患者和可手术切除的患者；第二训练集包括：患者的病理变化数据，且病理变化数据以疗效等级作为标签；病理变化数据包括：转化治疗前的病理数据、采用的转化治疗手段及转化治疗后的病理数据；
模型训练模块42，用于利用第一训练集训练患者类型识别模型，利用第二训练集训练转化预测模型，以对应得到训练完成的患者类型识别模型和训练完成的转化预测模型；患者类型识别模型，用于根据输入的病理数据识别患者的类型；转化预测模型，用于根据输入的转化治疗前的病理数据及预采用的转化治疗手段预测转化治疗后的病理数据，以基于转化治疗前后的病理数据确定转化治疗的疗效等级；
第一识别模块43，用于获取目标患者的第一病理数据，并将第一病理数据输入至患者类型识别模型，以识别得到目标患者的类型；
第二识别模块44，用于若目标患者的类型为不可手术切除的患者，则将目标患者的第一病理数据及其预采用的转化治疗手段，输入至转化预测模型，以预测得到目标患者转化治疗后的第二病理数据，并将第二病理数据输入至患者类型识别模型，以识别得到目标患者在转化治疗后的类型。
本申请提供的患者类型识别装置，通过深度学习实现手术切除/不可手术切除的患者的识别，识别准确度较高；而且，通过深度学习预测患者在不同转化治疗手段下的治疗结果，从而为患者选择合适的转化治疗手段。
作为一种可选的实施例，对于获取第一训练集，样本获取模块41具体用于：
采集结直肠癌患者在不同成像方式下得到的不同序列的第一MRI图像，并采集结直肠癌患者的第一临床数据；其中，结直肠癌患者包括：不可手术切除的患者和可手术切除的患者；第一临床数据包括：结直肠癌患者的身体检查数据、生存状态；
基于不同序列的第一MRI图像的各个体素点的坐标，相应确定不同序列的第一MRI图像的中心体素点，并将不同序列的第一MRI图像的中心体素点进行对齐处理，得到第一多模态MRI图像；
基于第一多模态MRI图像的空间位置数据，将其内各序列的第一MRI图像进行裁剪处理，以得到统一大小的第一多模态MRI图像，并对统一大小的第一多模态MRI图像中的结直肠肿瘤区域进行标注；其中，统一大小的第一多模态MRI图像和第一临床数据构成结直肠癌患者的病理数据；
将结直肠癌患者的类型作为其病理数据对应的标签，并将采集的多个结直肠癌患者的病理数据及其对应的标签，作为第一训练集。
作为一种可选的实施例，患者类型识别模型包括：第一特征提取网络、区域识别网络及类型划分网络；
则对于训练患者类型识别模型，模型训练模块42具体用于：
将结直肠癌患者的第一临床数据、统一大小的第一多模态MRI图像及其对应的标签输入至患者类型识别模型；
利用第一特征提取网络对统一大小的第一多模态MRI图像进行特征提取，得到统一大小的第一多模态MRI图像的各个体素点的SURF特征和纹理特征，并将各个体素点的SURF特征和纹理特征进行结合，得到各个体素点的结合特征；
利用区域识别网络分别对各个体素点的结合特征进行分析识别，以得到各个体素点属于结直肠肿瘤区域的第一概率值，及各个体素点属于结直肠周边器官的第二概率值，并将第一概率值大于预设概率阈值的体素点组合形成的区域确定为结直肠肿瘤区域；
利用类型划分网络从结直肠肿瘤区域中随机选取两个体素点，根据两个体素点的空间位置坐标计算两个体素点的距离，以将计算得到的最大距离确定为结直肠肿瘤区域的肿瘤直径；并在结直肠肿瘤区域内的体素点对应的第二概率值大于预设概率阈值时，确定结直肠肿瘤区域累及结直肠周边器官；且根据结直肠癌患者的第一临床数据，确定结直肠癌患者是否能够承受手术风险，以将肿瘤直径大于预设直径阈值、和/或结直肠肿瘤区域累及结直肠周边器官、和/或不能够承受手术风险的结直肠癌患者确定为不可手术切除的患者，将其余结直肠癌患者确定为可手术切除的患者；
将区域识别网络确定的结直肠肿瘤区域与对应的统一大小的第一多模态MRI图像上标注的结直肠肿瘤区域进行比较，得到区域损失，并将类型划分网络确定的结直肠癌患者的类型与对应的标签进行比较，得到类型损失；
基于区域损失和类型损失，优化患者类型识别模型的网络参数，直至患者类型识别模型的优化次数大于预设优化阈值，得到训练完成的患者类型识别模型。
作为一种可选的实施例，患者类型识别模型还包括：设于区域识别网络和类型划分网络之间的区域调整网络；
则对于训练患者类型识别模型，模型训练模块42还用于：
利用区域调整网络将统一大小的第一多模态MRI图像和区域识别网络确定的结直肠肿瘤区域进行匹配分析，以调整区域识别网络确定的结直肠肿瘤区域，并将最终调整后的结直肠肿瘤区域输出至类型划分网络。
作为一种可选的实施例，对于获取第二训练集，样本获取模块41具体用于，包括：
采集转化治疗前的结直肠癌患者在不同成像方式下得到的不同序列的第二MRI图像，并采集转化治疗后的结直肠癌患者在不同成像方式下得到的不同序列的第三MRI图像；其中，转化治疗前的结直肠癌患者为不可手术切除的患者；
采集转化治疗前的结直肠癌患者的第二临床数据及其采用的转化治疗手段，并采集转化治疗后的结直肠癌患者的第三临床数据；第二临床数据和第三临床数据均包括：结直肠癌患者的身体检查数据、生存状态；
基于不同序列的第二MRI图像的各个体素点的坐标，相应确定不同序列的第二MRI图像的中心体素点，并将不同序列的第二MRI图像的中心体素点进行对齐处理，得到第二多模态MRI图像；
基于不同序列的第三MRI图像的各个体素点的坐标，相应确定不同序列的第三MRI图像的中心体素点，并将不同序列的第三MRI图像的中心体素点进行对齐处理，得到第三多模态MRI图像；
基于第二多模态MRI图像的空间位置数据，将其内各序列的第二MRI图像进行裁剪处理，以得到统一大小的第二多模态MRI图像，并基于第三多模态MRI图像的空间位置数据，将其内各序列的第三MRI图像进行裁剪处理，以得到统一大小的第三多模态MRI图像；其中，结直肠癌患者采用的转化治疗手段、统一大小的第二多模态MRI图像、第二临床数据、统一大小的第三多模态MRI图像及第三临床数据构成结直肠癌患者的病理变化数据；
将结直肠癌患者在转化治疗下的疗效等级作为其病理变化数据对应的标签，并将采集的多个结直肠癌患者的病理变化数据及其对应的标签，作为第二训练集。
作为一种可选的实施例，转化预测模型包括：第二特征提取网络、第一特征预测网络、第二特征预测网络、图像生成网络、数据预测网络及疗效分析网络；
则对于训练转化预测模型，模型训练模块42具体用于：
将结直肠癌患者采用的转化治疗手段，及其转化治疗前后对应的临床数据和统一大小的多模态MRI图像输入至转化预测模型；
利用第二特征提取网络对统一大小的第二多模态MRI图像进行特征提取，得到统一大小的第二多模态MRI图像的各个体素点的特征；
利用第一特征预测网络，基于结直肠癌患者采用的转化治疗手段对各个体素点的特征进行转化治疗后的预测，得到各个体素点的第一预测特征；
利用第二特征预测网络，基于结直肠癌患者采用的转化治疗手段对各个体素点的特征进行转化治疗后的预测，得到各个体素点的第二预测特征；
利用图像生成网络，基于各个体素点的第一预测特征生成第一多模态MRI预测图像，基于各个体素点的第二预测特征生成第二多模态MRI预测图像，并将第一多模态MRI预测图像和第二多模态MRI预测图像进行图像融合处理，得到多模态MRI融合图像；
利用数据预测网络，基于结直肠癌患者采用的转化治疗手段对结直肠癌患者的第二临床数据进行转化治疗后的预测，得到结直肠癌患者的临床预测数据；
利用疗效分析网络，基于结直肠癌患者对应的第二临床数据、统一大小的第二多模态MRI图像、多模态MRI融合图像及临床预测数据，确定结直肠癌患者在转化治疗下的疗效等级；
将图像生成网络得到的多模态MRI融合图像与对应的统一大小的第三多模态MRI图像进行比较，得到图像损失，并将数据预测网络得到的结直肠癌患者的临床预测数据与对应的结直肠癌患者的第三临床数据进行比较，得到数据损失，且将疗效分析网络确定的结直肠癌患者在转化治疗下的疗效等级与对应的标签进行比较，得到疗效等级损失；
基于图像损失、数据损失及疗效等级损失，优化转化预测模型的网络参数，直至转化预测模型的优化次数大于预设优化阈值，得到训练完成的转化预测模型。
作为一种可选的实施例，所述第二识别模块44具体用于：
若目标患者的类型为不可手术切除的患者，则将目标患者的第一病理数据及其预采用的不同转化治疗手段，输入至转化预测模型，以分别预测得到目标患者经不同转化治疗手段的转化治疗后的第二病理数据，及目标患者在不同转化治疗手段下的疗效等级；
从不同转化治疗手段中选择出疗效等级最高的第一转化治疗手段；
若第一转化治疗手段为一个，则将第一转化治疗手段确定为目标转化治疗手段；
若第一转化治疗手段为多个，则分别提取多个第一转化治疗手段对应的第二病理数据的多维度数据，并将多个第一转化治疗手段对应的多维度数据进行综合比较，以确定治疗效果最优的目标转化治疗手段；
将目标转化治疗手段对应的第二病理数据输入至患者类型识别模型，以识别得到目标患者经目标转化治疗手段的转化治疗后的类型。
本申请提供的患者类型识别装置的介绍请参考上述患者类型识别方法的实施例，本申请在此不再赘述。
请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图。
如图5所示，电子设备包括：存储器51及处理器52。存储器51可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器52，与存储器51耦合，用于执行存储器51中存储的计算机程序，以实现上述各实施例提供的方法的步骤或功能，具体内容可参照上述各实施例的介绍。
进一步的，如图5所示，电子设备还包括：通信组件53、显示器54、电源组件55、音频组件56等其它组件。图5中仅示意性给出部分组件，并不意味着电子设备只包括图5所示组件。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例提供的方法的步骤或功能。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种患者类型识别方法，其特征在于，包括：
获取第一训练集及第二训练集；其中，所述第一训练集包括：不可手术切除的患者和可手术切除的患者各自的病理数据，且所述各自的病理数据以相应的患者的类型作为标签，所述类型包括不可手术切除的患者和可手术切除的患者；所述第二训练集包括：患者的病理变化数据，且所述病理变化数据以疗效等级作为标签；所述病理变化数据包括：转化治疗前的病理数据、采用的转化治疗手段及转化治疗后的病理数据；
利用所述第一训练集训练患者类型识别模型，利用所述第二训练集训练转化预测模型，以对应得到训练完成的患者类型识别模型和训练完成的转化预测模型；所述患者类型识别模型，用于根据输入的病理数据识别患者的类型；所述转化预测模型，用于根据输入的转化治疗前的病理数据及预采用的转化治疗手段预测转化治疗后的病理数据，以基于转化治疗前后的病理数据确定转化治疗的疗效等级；
获取目标患者的第一病理数据，并将所述第一病理数据输入至所述患者类型识别模型，以识别得到所述目标患者的类型；
若所述目标患者的类型为不可手术切除的患者，则将所述目标患者的第一病理数据及其预采用的转化治疗手段，输入至所述转化预测模型，以预测得到所述目标患者转化治疗后的第二病理数据，并将所述第二病理数据输入至所述患者类型识别模型，以识别得到所述目标患者在转化治疗后的类型；
其中，所述获取第一训练集，包括：
采集结直肠癌患者在不同成像方式下得到的不同序列的第一MRI图像，并采集所述结直肠癌患者的第一临床数据；其中，所述结直肠癌患者包括：不可手术切除的患者和可手术切除的患者；所述第一临床数据包括：所述结直肠癌患者的身体检查数据、生存状态；
基于所述不同序列的第一MRI图像的各个体素点的坐标，相应确定所述不同序列的第一MRI图像的中心体素点，并将所述不同序列的第一MRI图像的中心体素点进行对齐处理，得到第一多模态MRI图像；
基于所述第一多模态MRI图像的空间位置数据，将其内各序列的第一MRI图像进行裁剪处理，以得到统一大小的第一多模态MRI图像，并对所述统一大小的第一多模态MRI图像中的结直肠肿瘤区域进行标注；其中，所述统一大小的第一多模态MRI图像和所述第一临床数据构成所述结直肠癌患者的病理数据；
将所述结直肠癌患者的类型作为其病理数据对应的标签，并将采集的多个所述结直肠癌患者的病理数据及其对应的标签，作为所述第一训练集；
所述患者类型识别模型包括：第一特征提取网络、区域识别网络及类型划分网络；
则利用所述第一训练集训练患者类型识别模型，得到训练完成的患者类型识别模型，包括：
将所述结直肠癌患者的第一临床数据、统一大小的第一多模态MRI图像及其对应的标签输入至所述患者类型识别模型；
利用所述第一特征提取网络对所述统一大小的第一多模态MRI图像进行特征提取，得到所述统一大小的第一多模态MRI图像的各个体素点的SURF特征和纹理特征，并将所述各个体素点的SURF特征和纹理特征进行结合，得到所述各个体素点的结合特征；
利用所述区域识别网络分别对所述各个体素点的结合特征进行分析识别，以得到所述各个体素点属于结直肠肿瘤区域的第一概率值，及所述各个体素点属于结直肠周边器官的第二概率值，并将第一概率值大于预设概率阈值的体素点组合形成的区域确定为所述结直肠肿瘤区域；
利用所述类型划分网络从所述结直肠肿瘤区域中随机选取两个体素点，根据所述两个体素点的空间位置坐标计算所述两个体素点的距离，以将计算得到的最大距离确定为所述结直肠肿瘤区域的肿瘤直径；并在所述结直肠肿瘤区域内的体素点对应的第二概率值大于预设概率阈值时，确定所述结直肠肿瘤区域累及所述结直肠周边器官；且根据所述结直肠癌患者的第一临床数据，确定所述结直肠癌患者是否能够承受手术风险，以将肿瘤直径大于预设直径阈值、和/或结直肠肿瘤区域累及结直肠周边器官、和/或不能够承受手术风险的结直肠癌患者确定为不可手术切除的患者，将其余结直肠癌患者确定为可手术切除的患者；
将所述区域识别网络确定的结直肠肿瘤区域与对应的所述统一大小的第一多模态MRI图像上标注的结直肠肿瘤区域进行比较，得到区域损失，并将所述类型划分网络确定的结直肠癌患者的类型与对应的标签进行比较，得到类型损失；
基于所述区域损失和所述类型损失，优化所述患者类型识别模型的网络参数，直至所述患者类型识别模型的优化次数大于预设优化阈值，得到训练完成的所述患者类型识别模型；
获取第二训练集，包括：
采集转化治疗前的结直肠癌患者在不同成像方式下得到的不同序列的第二MRI图像，并采集转化治疗后的所述结直肠癌患者在不同成像方式下得到的不同序列的第三MRI图像；其中，所述转化治疗前的结直肠癌患者为不可手术切除的患者；
采集转化治疗前的所述结直肠癌患者的第二临床数据及其采用的转化治疗手段，并采集转化治疗后的所述结直肠癌患者的第三临床数据；所述第二临床数据和所述第三临床数据均包括：所述结直肠癌患者的身体检查数据、生存状态；
基于所述不同序列的第二MRI图像的各个体素点的坐标，相应确定所述不同序列的第二MRI图像的中心体素点，并将所述不同序列的第二MRI图像的中心体素点进行对齐处理，得到第二多模态MRI图像；
基于所述不同序列的第三MRI图像的各个体素点的坐标，相应确定所述不同序列的第三MRI图像的中心体素点，并将所述不同序列的第三MRI图像的中心体素点进行对齐处理，得到第三多模态MRI图像；
基于所述第二多模态MRI图像的空间位置数据，将其内各序列的第二MRI图像进行裁剪处理，以得到统一大小的第二多模态MRI图像，并基于所述第三多模态MRI图像的空间位置数据，将其内各序列的第三MRI图像进行裁剪处理，以得到统一大小的第三多模态MRI图像；其中，所述结直肠癌患者采用的转化治疗手段、所述统一大小的第二多模态MRI图像、所述第二临床数据、所述统一大小的第三多模态MRI图像及所述第三临床数据构成所述结直肠癌患者的病理变化数据；
将所述结直肠癌患者在转化治疗下的疗效等级作为其病理变化数据对应的标签，并将采集的多个所述结直肠癌患者的病理变化数据及其对应的标签，作为所述第二训练集；
所述转化预测模型包括：第二特征提取网络、第一特征预测网络、第二特征预测网络、图像生成网络、数据预测网络及疗效分析网络；
则利用所述第二训练集训练转化预测模型，得到训练完成的转化预测模型，包括：
将所述结直肠癌患者采用的转化治疗手段，及其转化治疗前后对应的临床数据和统一大小的多模态MRI图像输入至所述转化预测模型；
利用所述第二特征提取网络对所述统一大小的第二多模态MRI图像进行特征提取，得到所述统一大小的第二多模态MRI图像的各个体素点的特征；
利用所述第一特征预测网络，基于所述结直肠癌患者采用的转化治疗手段对所述各个体素点的特征进行转化治疗后的预测，得到所述各个体素点的第一预测特征；
利用所述第二特征预测网络，基于所述结直肠癌患者采用的转化治疗手段对所述各个体素点的特征进行转化治疗后的预测，得到所述各个体素点的第二预测特征；
利用所述图像生成网络，基于所述各个体素点的第一预测特征生成第一多模态MRI预测图像，基于所述各个体素点的第二预测特征生成第二多模态MRI预测图像，并将所述第一多模态MRI预测图像和所述第二多模态MRI预测图像进行图像融合处理，得到多模态MRI融合图像；
利用所述数据预测网络，基于所述结直肠癌患者采用的转化治疗手段对所述结直肠癌患者的第二临床数据进行转化治疗后的预测，得到所述结直肠癌患者的临床预测数据；
利用所述疗效分析网络，基于所述结直肠癌患者对应的所述第二临床数据、所述统一大小的第二多模态MRI图像、所述多模态MRI融合图像及所述临床预测数据，确定所述结直肠癌患者在转化治疗下的疗效等级；
将所述图像生成网络得到的多模态MRI融合图像与对应的所述统一大小的第三多模态MRI图像进行比较，得到图像损失，并将所述数据预测网络得到的所述结直肠癌患者的临床预测数据与对应的所述结直肠癌患者的第三临床数据进行比较，得到数据损失，且将所述疗效分析网络确定的所述结直肠癌患者在转化治疗下的疗效等级与对应的标签进行比较，得到疗效等级损失；
基于所述图像损失、所述数据损失及所述疗效等级损失，优化所述转化预测模型的网络参数，直至所述转化预测模型的优化次数大于预设优化阈值，得到训练完成的所述转化预测模型。
2.如权利要求1所述的患者类型识别方法，其特征在于，所述患者类型识别模型还包括：设于所述区域识别网络和所述类型划分网络之间的区域调整网络；
则利用所述第一训练集训练患者类型识别模型，得到训练完成的患者类型识别模型，还包括：
利用所述区域调整网络将所述统一大小的第一多模态MRI图像和所述区域识别网络确定的所述结直肠肿瘤区域进行匹配分析，以调整所述区域识别网络确定的所述结直肠肿瘤区域，并将最终调整后的结直肠肿瘤区域输出至所述类型划分网络。
3.如权利要求1-2任一项所述的患者类型识别方法，其特征在于，所述将所述目标患者的第一病理数据及其预采用的转化治疗手段，输入至所述转化预测模型，以预测得到所述目标患者转化治疗后的第二病理数据，并将所述第二病理数据输入至所述患者类型识别模型，以识别得到所述目标患者在转化治疗后的类型，包括：
将所述目标患者的第一病理数据及其预采用的不同转化治疗手段，输入至所述转化预测模型，以分别预测得到所述目标患者经所述不同转化治疗手段的转化治疗后的第二病理数据，及所述目标患者在所述不同转化治疗手段下的疗效等级；
从所述不同转化治疗手段中选择出疗效等级最高的第一转化治疗手段；
若所述第一转化治疗手段为一个，则将所述第一转化治疗手段确定为目标转化治疗手段；
若所述第一转化治疗手段为多个，则分别提取多个所述第一转化治疗手段对应的第二病理数据的多维度数据，并将多个所述第一转化治疗手段对应的多维度数据进行综合比较，以确定治疗效果最优的目标转化治疗手段；
将所述目标转化治疗手段对应的第二病理数据输入至所述患者类型识别模型，以识别得到所述目标患者经所述目标转化治疗手段的转化治疗后的类型。
4.一种患者类型识别装置，其特征在于，包括：
样本获取模块，用于获取第一训练集及第二训练集；其中，所述第一训练集包括：不可手术切除的患者和可手术切除的患者各自的病理数据，且所述各自的病理数据以相应的患者的类型作为标签，所述类型包括不可手术切除的患者和可手术切除的患者；所述第二训练集包括：患者的病理变化数据，且所述病理变化数据以疗效等级作为标签；所述病理变化数据包括：转化治疗前的病理数据、采用的转化治疗手段及转化治疗后的病理数据；
模型训练模块，用于利用所述第一训练集训练患者类型识别模型，利用第二训练集训练转化预测模型，以对应得到训练完成的患者类型识别模型和训练完成的转化预测模型；所述患者类型识别模型，用于根据输入的病理数据识别患者的类型；所述转化预测模型，用于根据输入的转化治疗前的病理数据及预采用的转化治疗手段预测转化治疗后的病理数据，以基于转化治疗前后的病理数据确定转化治疗的疗效等级；
第一识别模块，用于获取目标患者的第一病理数据，并将所述第一病理数据输入至所述患者类型识别模型，以识别得到所述目标患者的类型；
第二识别模块，用于若所述目标患者的类型为不可手术切除的患者，则将所述目标患者的第一病理数据及其预采用的转化治疗手段，输入至所述转化预测模型，以预测得到所述目标患者转化治疗后的第二病理数据，并将所述第二病理数据输入至所述患者类型识别模型，以识别得到所述目标患者在转化治疗后的类型；
其中，所述样本获取模块，用于：
采集结直肠癌患者在不同成像方式下得到的不同序列的第一MRI图像，并采集所述结直肠癌患者的第一临床数据；其中，所述结直肠癌患者包括：不可手术切除的患者和可手术切除的患者；所述第一临床数据包括：所述结直肠癌患者的身体检查数据、生存状态；
基于所述不同序列的第一MRI图像的各个体素点的坐标，相应确定所述不同序列的第一MRI图像的中心体素点，并将所述不同序列的第一MRI图像的中心体素点进行对齐处理，得到第一多模态MRI图像；
基于所述第一多模态MRI图像的空间位置数据，将其内各序列的第一MRI图像进行裁剪处理，以得到统一大小的第一多模态MRI图像，并对所述统一大小的第一多模态MRI图像中的结直肠肿瘤区域进行标注；其中，所述统一大小的第一多模态MRI图像和所述第一临床数据构成所述结直肠癌患者的病理数据；
将所述结直肠癌患者的类型作为其病理数据对应的标签，并将采集的多个所述结直肠癌患者的病理数据及其对应的标签，作为所述第一训练集；
所述患者类型识别模型包括：第一特征提取网络、区域识别网络及类型划分网络；则模型训练模块，用于：
将所述结直肠癌患者的第一临床数据、统一大小的第一多模态MRI图像及其对应的标签输入至所述患者类型识别模型；
利用所述第一特征提取网络对所述统一大小的第一多模态MRI图像进行特征提取，得到所述统一大小的第一多模态MRI图像的各个体素点的SURF特征和纹理特征，并将所述各个体素点的SURF特征和纹理特征进行结合，得到所述各个体素点的结合特征；
利用所述区域识别网络分别对所述各个体素点的结合特征进行分析识别，以得到所述各个体素点属于结直肠肿瘤区域的第一概率值，及所述各个体素点属于结直肠周边器官的第二概率值，并将第一概率值大于预设概率阈值的体素点组合形成的区域确定为所述结直肠肿瘤区域；
利用所述类型划分网络从所述结直肠肿瘤区域中随机选取两个体素点，根据所述两个体素点的空间位置坐标计算所述两个体素点的距离，以将计算得到的最大距离确定为所述结直肠肿瘤区域的肿瘤直径；并在所述结直肠肿瘤区域内的体素点对应的第二概率值大于预设概率阈值时，确定所述结直肠肿瘤区域累及所述结直肠周边器官；且根据所述结直肠癌患者的第一临床数据，确定所述结直肠癌患者是否能够承受手术风险，以将肿瘤直径大于预设直径阈值、和/或结直肠肿瘤区域累及结直肠周边器官、和/或不能够承受手术风险的结直肠癌患者确定为不可手术切除的患者，将其余结直肠癌患者确定为可手术切除的患者；
将所述区域识别网络确定的结直肠肿瘤区域与对应的所述统一大小的第一多模态MRI图像上标注的结直肠肿瘤区域进行比较，得到区域损失，并将所述类型划分网络确定的结直肠癌患者的类型与对应的标签进行比较，得到类型损失；
基于所述区域损失和所述类型损失，优化所述患者类型识别模型的网络参数，直至所述患者类型识别模型的优化次数大于预设优化阈值，得到训练完成的所述患者类型识别模型；
所述样本获取模块，用于：
采集转化治疗前的结直肠癌患者在不同成像方式下得到的不同序列的第二MRI图像，并采集转化治疗后的所述结直肠癌患者在不同成像方式下得到的不同序列的第三MRI图像；其中，所述转化治疗前的结直肠癌患者为不可手术切除的患者；
采集转化治疗前的所述结直肠癌患者的第二临床数据及其采用的转化治疗手段，并采集转化治疗后的所述结直肠癌患者的第三临床数据；所述第二临床数据和所述第三临床数据均包括：所述结直肠癌患者的身体检查数据、生存状态；
基于所述不同序列的第二MRI图像的各个体素点的坐标，相应确定所述不同序列的第二MRI图像的中心体素点，并将所述不同序列的第二MRI图像的中心体素点进行对齐处理，得到第二多模态MRI图像；
基于所述不同序列的第三MRI图像的各个体素点的坐标，相应确定所述不同序列的第三MRI图像的中心体素点，并将所述不同序列的第三MRI图像的中心体素点进行对齐处理，得到第三多模态MRI图像；
基于所述第二多模态MRI图像的空间位置数据，将其内各序列的第二MRI图像进行裁剪处理，以得到统一大小的第二多模态MRI图像，并基于所述第三多模态MRI图像的空间位置数据，将其内各序列的第三MRI图像进行裁剪处理，以得到统一大小的第三多模态MRI图像；其中，所述结直肠癌患者采用的转化治疗手段、所述统一大小的第二多模态MRI图像、所述第二临床数据、所述统一大小的第三多模态MRI图像及所述第三临床数据构成所述结直肠癌患者的病理变化数据；
将所述结直肠癌患者在转化治疗下的疗效等级作为其病理变化数据对应的标签，并将采集的多个所述结直肠癌患者的病理变化数据及其对应的标签，作为所述第二训练集；
所述转化预测模型包括：第二特征提取网络、第一特征预测网络、第二特征预测网络、图像生成网络、数据预测网络及疗效分析网络；则模型训练模块，用于：
将所述结直肠癌患者采用的转化治疗手段，及其转化治疗前后对应的临床数据和统一大小的多模态MRI图像输入至所述转化预测模型；
利用所述第二特征提取网络对所述统一大小的第二多模态MRI图像进行特征提取，得到所述统一大小的第二多模态MRI图像的各个体素点的特征；
利用所述第一特征预测网络，基于所述结直肠癌患者采用的转化治疗手段对所述各个体素点的特征进行转化治疗后的预测，得到所述各个体素点的第一预测特征；
利用所述第二特征预测网络，基于所述结直肠癌患者采用的转化治疗手段对所述各个体素点的特征进行转化治疗后的预测，得到所述各个体素点的第二预测特征；
利用所述图像生成网络，基于所述各个体素点的第一预测特征生成第一多模态MRI预测图像，基于所述各个体素点的第二预测特征生成第二多模态MRI预测图像，并将所述第一多模态MRI预测图像和所述第二多模态MRI预测图像进行图像融合处理，得到多模态MRI融合图像；
利用所述数据预测网络，基于所述结直肠癌患者采用的转化治疗手段对所述结直肠癌患者的第二临床数据进行转化治疗后的预测，得到所述结直肠癌患者的临床预测数据；
利用所述疗效分析网络，基于所述结直肠癌患者对应的所述第二临床数据、所述统一大小的第二多模态MRI图像、所述多模态MRI融合图像及所述临床预测数据，确定所述结直肠癌患者在转化治疗下的疗效等级；
将所述图像生成网络得到的多模态MRI融合图像与对应的所述统一大小的第三多模态MRI图像进行比较，得到图像损失，并将所述数据预测网络得到的所述结直肠癌患者的临床预测数据与对应的所述结直肠癌患者的第三临床数据进行比较，得到数据损失，且将所述疗效分析网络确定的所述结直肠癌患者在转化治疗下的疗效等级与对应的标签进行比较，得到疗效等级损失；
基于所述图像损失、所述数据损失及所述疗效等级损失，优化所述转化预测模型的网络参数，直至所述转化预测模型的优化次数大于预设优化阈值，得到训练完成的所述转化预测模型。
5.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于在执行所述计算机程序时实现如权利要求1-3任一项所述的患者类型识别方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的患者类型识别方法的步骤。
CN202210846955.3A 2022-07-06 2022-07-06 一种患者类型识别方法、装置、电子设备及存储介质 Active CN115132354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210846955.3A CN115132354B (zh) 2022-07-06 2022-07-06 一种患者类型识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210846955.3A CN115132354B (zh) 2022-07-06 2022-07-06 一种患者类型识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115132354A CN115132354A (zh) 2022-09-30
CN115132354B true CN115132354B (zh) 2023-05-30

Family

ID=83384117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210846955.3A Active CN115132354B (zh) 2022-07-06 2022-07-06 一种患者类型识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115132354B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707307A (zh) * 2021-08-30 2021-11-26 康键信息技术（深圳）有限公司 病情分析方法、装置、电子设备及存储介质
CN113744801A (zh) * 2021-09-09 2021-12-03 首都医科大学附属北京天坛医院 肿瘤类别的确定方法、装置、系统、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020167471A1 (en) * 2019-02-15 2020-08-20 Biodesix, Inc. Predictive test for identification of early stage nsclc patients at high risk of recurrence after surgery
JP7467057B2 (ja) * 2019-09-26 2024-04-15 キヤノンメディカルシステムズ株式会社 診療支援装置及び診療支援プログラム
CN111539918B (zh) * 2020-04-15 2023-05-02 复旦大学附属肿瘤医院 基于深度学习的磨玻璃肺结节风险分层预测系统
CN111370117A (zh) * 2020-05-12 2020-07-03 济南市第四人民医院 一种用于结直肠癌治疗人群的预后预测系统
CN113362958A (zh) * 2021-06-01 2021-09-07 深圳睿心智能医疗科技有限公司 治疗方案的应用后效果的预测方法及装置
CN114359666A (zh) * 2021-12-28 2022-04-15 清华珠三角研究院 多模态融合的肺癌患者疗效预测方法、系统、装置及介质
CN114300089A (zh) * 2022-01-04 2022-04-08 哈尔滨医科大学 一种中晚期结直肠癌治疗方案决策算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707307A (zh) * 2021-08-30 2021-11-26 康键信息技术（深圳）有限公司 病情分析方法、装置、电子设备及存储介质
CN113744801A (zh) * 2021-09-09 2021-12-03 首都医科大学附属北京天坛医院 肿瘤类别的确定方法、装置、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN115132354A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US11610308B2 (en) Localization and classification of abnormalities in medical images
Frid-Adar et al. GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification
Yu et al. Crossbar-net: A novel convolutional neural network for kidney tumor segmentation in ct images
Zhong et al. An attention-guided deep regression model for landmark detection in cephalograms
Yousef et al. A holistic overview of deep learning approach in medical imaging
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN110766730B (zh) 图像配准及随访评估方法、存储介质及计算机设备
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
CN110348477B (zh) 医疗图像处理方法、存储介质及计算机设备
CN115298702A (zh) 用于哺乳动物迁移学习的系统和方法
Potočnik et al. Computerized detection and recognition of follicles in ovarian ultrasound images: a review
John et al. Prostate cancer prediction from multiple pretrained computer vision model
CN111738975B (zh) 图像辨识方法及图像辨识装置
Yu et al. 3D Medical Image Segmentation based on multi-scale MPU-Net
Nallasivan et al. A Novel Approaches for Detect Liver Tumor Diagnosis using Convolution Neural Network
Singh et al. Attention-guided residual W-Net for supervised cardiac magnetic resonance imaging segmentation
CN115132354B (zh) 一种患者类型识别方法、装置、电子设备及存储介质
Chen et al. A multiple organ segmentation system for CT image series using Attention-LSTM fused U-Net
EP4290529A1 (en) Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN114757894A (zh) 一种骨肿瘤病灶分析系统
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.
Kantheti et al. Medical Image Classification for Disease Prediction with the aid of Deep Learning approaches
Armstrong et al. Brain tumor image segmentation using Deep learning
Bibars et al. Cross-Modality Deep Transfer Learning: Application to Liver Segmentation in CT and MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant