CN111985584A - 基于多模态数据的疾病辅助检测设备、方法、装置及介质 - Google Patents

基于多模态数据的疾病辅助检测设备、方法、装置及介质 Download PDF

Info

Publication number
CN111985584A
CN111985584A CN202011065616.9A CN202011065616A CN111985584A CN 111985584 A CN111985584 A CN 111985584A CN 202011065616 A CN202011065616 A CN 202011065616A CN 111985584 A CN111985584 A CN 111985584A
Authority
CN
China
Prior art keywords
target
image
sub
risk
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011065616.9A
Other languages
English (en)
Other versions
CN111985584B (zh
Inventor
孙瑜尧
李映雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011065616.9A priority Critical patent/CN111985584B/zh
Publication of CN111985584A publication Critical patent/CN111985584A/zh
Application granted granted Critical
Publication of CN111985584B publication Critical patent/CN111985584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例涉及医疗技术领域，公开了一种基于多模态数据的疾病辅助检测设备、方法、装置及介质，该设备的处理器用于执行：获取待检测对象针对目标部位的特征图像；从特征图像的多个子序列中选取多个目标子序列，并对每个目标子序列中的每个子特征图像进行预处理；将预处理得到的每个子特征图像对应的图像数据输入第一风险预测模型中，得到特征图像对待检测对象患病的第一风险概率；将第一风险概率和待检测对象的临床结构化数据输入第二风险预测模型，得到待检测对象患病的第二风险概率，以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患病的风险概率。本发明涉及区块链技术，上述风险概率可存储于区块链中。

Description

基于多模态数据的疾病辅助检测设备、方法、装置及介质
技术领域
本发明涉及医疗技术领域，尤其涉及一种基于多模态数据的疾病辅助检测设备、方法、装置及介质。
背景技术
目标，对于各种疾病的诊断传统的方法主要是根据专家经验人工判断是否患某种疾病，然而，这种方式受限于医生的主观判断因素。目前也存在一些机器学习的方法来对辅助诊断疾病，比如用临床特征进行预后预测，但是缺乏影像组学的信息。针对影像组学，也有一些方法可以从影像中人工提取结构化特征，并将其与临床特征一起进行预测，这类方法提取的人工特征的信息量也取决于工程人员的设计经验。在深度学习领域，也提出了一些方法，用以从影像中检索病灶，或者直接提取特征图，但这类方法需要提前对影像数据进行人工勾画，需要耗费大量的时间和精力。因此，如何更有效地辅助诊断疾病非常重要。
发明内容
本发明实施例提供了一种基于多模态数据的疾病辅助检测设备、方法、装置及介质，可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。
第一方面，本发明实施例提供了一种基于多模态数据的疾病辅助检测设备，所述设备包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：
获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
进一步地，所述处理器从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：
根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。
进一步地，所述处理器对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：
根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；
对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。
进一步地，所述处理器将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：
获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；
对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；
从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。
进一步地，所述处理器将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；
将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；
根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；
根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
进一步地，所述处理器根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：
根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；
根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
进一步地，所述处理器将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：
根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；
将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。
第二方面，本发明实施例提供了一种基于多模态数据的疾病辅助检测方法，包括：
获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
第三方面，本发明实施例提供了一种基于多模态数据的疾病辅助检测装置，包括：
获取单元，用于获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
处理单元，用于从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
第一预测单元，用于将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
第二预测单元，用于获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第二方面的方法。
本发明实施例可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种疾病辅助检测系统的结构示意图；
图2是本发明实施例提供的一种基于多模态数据的疾病辅助检测方法的示意流程图；
图3是本发明实施例提供的一种基于多模态数据的疾病辅助检测装置的示意框图；
图4是本发明实施例提供的一种基于多模态数据的疾病辅助检测设备的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于多模态数据的疾病辅助检测方法可以应用于一种疾病辅助检测系统，在某些实施例中，所述疾病辅助检测系统包括核磁共振设备和终端，其中，所述终端中包括基于多模态数据的疾病辅助检测设备。在某些实施例中，所述核磁共振设备可以与终端建立通信连接。在某些实施例中，所述通信连接的方式可以包括但不限于Wi-Fi、蓝牙、近场通信（Near Field Communication，NFC）等。在某些实施例中，所述核磁共振设备用于对待检测对象进行检查得到特征图像，其中，所述特征图像即为核磁共振（Magnetic Resonance，MR）影像。
下面结合附图1对本发明实施例提供的疾病辅助检测系统进行示意性说明。
请参见图1，图1是本发明实施例提供的一种疾病辅助检测系统的结构示意图。所述疾病辅助检测系统包括：基于多模态数据的疾病辅助检测设备11和核磁共振设备12。在某些实施例中，基于多模态数据的疾病辅助检测设备11与核磁共振设备12可以通过无线通信连接方式建立通信连接；其中，在某些场景下，所述基于多模态数据的疾病辅助检测设备11与核磁共振设备12之间也可以通过有线通信连接方式建立通信连接。在某些实施例中，所述基于多模态数据的疾病辅助检测设备11可以包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等智能终端设备。
本发明实施例中，基于多模态数据的疾病辅助检测设备11可以获取核磁共振设备12采集的待检测对象针对目标部位的的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；基于多模态数据的疾病辅助检测设备11可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；基于多模态数据的疾病辅助检测设备11可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式，可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。
下面结合附图2对本发明实施例提供的基于多模态数据的疾病辅助检测方法进行示意性说明。
请参见图2，图2是本发明实施例提供的一种基于多模态数据的疾病辅助检测方法的示意流程图，如图2所示，该方法可以由基于多模态数据的疾病辅助检测设备执行，所述基于多模态数据的疾病辅助检测设备的具体解释如前所述，此处不再赘述。具体地，本发明实施例的所述方法包括如下步骤。
S201：获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像。
本发明实施例中，基于多模态数据的疾病辅助检测设备可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像。在某些实施例中，所述特征图像为核磁共振设备检查得到的核磁共振影像。在某些实施例中，所述目标部位可以包括但不限于人的身体部位中的一个或多个，如头部、颈部、胸部等中的一个或多个部分。例如，所述目标部位可以为头颈部，基于多模态数据的疾病辅助检测设备可以获取待检测对象针对头颈部的核磁共振设备检查得到的特征图像。
S202：从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理。
本发明实施例中，基于多模态数据的疾病辅助检测设备可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理。
在一个实施例中，基于多模态数据的疾病辅助检测设备在从所述特征图像中的多个子序列中选取多个目标子序列时，可以获取所述特征图像中包括的多个子序列，并根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。
在一个实施例中，基于多模态数据的疾病辅助检测设备在对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，可以根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理，并对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。
在一个示例中，假设所述预设尺寸为384*384，基于多模态数据的疾病辅助检测设备可以使用线性插值方法，以384*384的尺寸分别对每个目标子序列中的子特征图像进行裁剪处理，并对裁剪处理得到的子特征图像进行归一化处理。
通过对多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理，有助于得到更准确的特征图像对待检测对象患与目标部位关联的疾病的第一风险概率。
S203：将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率。
本发明实施例中，基于多模态数据的疾病辅助检测设备可以将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率。例如，假设目标部位为头颈部，则基于多模态数据的疾病辅助检测设备可以将预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到特征图像对待检测对象患与头颈部关联的鼻咽癌的第一风险概率。
在一个实施例中，基于多模态数据的疾病辅助检测设备在将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，可以获取训练集中的样本特征图像，其中，所述样本特征图像为患有与目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；并对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；基于多模态数据的疾病辅助检测设备可以从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；以及将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。在某些实施例中，所述患病标签可以为1和0，1用于指示患病，0用于指示未患病。
在某些实施例中，所述指定的卷积神经网络模型可以为3维DenseNet模型，其中，所述3维DenseNet包括三个卷积模块Dense Block和三个传输层transition layer。每个卷积模块都从前一个的卷积模块中获取额外的输入，并将其自身的特征图传递给所有的后续卷积模块。
在一个实施例中，基于多模态数据的疾病辅助检测设备在将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，可以将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；并将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；以及根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；从而根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
在一个实施例中，基于多模态数据的疾病辅助检测设备在根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，可以根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值，并根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
在一个实施例中，在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，可以在调整参数后将预处理得到的每个子样本特征图像对应的图像数据输入调整长参数后的指定的卷积神经网络模型中，当根据该模型输出的风险评估概率和样本特征图像的标签信息确定的损失函数值满足预设条件时，得到所述第一风险预测模型。在某些实施例中，所述损失函数值满足预设条件可以为所述损失函数值满足预设阈值。
在一个示例中，假设指定的卷积神经网络模型为3维DenseNet模型，基于多模态数据的疾病辅助检测设备可以将预处理得到的多个子序列中的每个子样本特征图像对应的图像数据输入3维DenseNet模型中，得到所述每个子样本特征图像对应的卷积特征向量；并将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；以及根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率，根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值，并根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
通过这种方式可以训练得到第一风险预测模型，并利用训练得到的第一风险预测模型确定特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率，有助于更有效地将第一风险概率与待检测对象的临床结构化数据相结合，更准确地得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
S204：获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
本发明实施例中，基于多模态数据的疾病辅助检测设备可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
在一个实施例中，基于多模态数据的疾病辅助检测设备在将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，可以根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级，并将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。
在一个实施例中，基于多模态数据的疾病辅助检测设备在根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级时，可以根据预设的概率与等级的对应关系来确定所述待检测对象患与所述目标部位关联的疾病的第二风险概率对应的风险分级。
在一个实施例中，基于多模态数据的疾病辅助检测设备在根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级时，可以使用决策树算法对第二风险预测模型输出的连续的第二风险概率进行离散化，以确定与所述第二风险概率对应的风险分级。
在一个实施例中，所述指定的分析模型可以为XGBoost模型，基于多模态数据的疾病辅助检测设备在将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值时，可以将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入XGBoost模型，得到各预测因子对所述第二风险概率的影响值。在某些实施例中，所述预测因子包括但不限于MR图像对患者对象患与所述目标部位关联的疾病的影响概率、各类检查数据、癌症分期等。
例如，假设预测因子包括MR图像对待检测对象患与所述目标部位关联的疾病的第一风险概率、检查数据、癌症分期，如果第一风险概率为80%，第二风险概率为90%，基于多模态数据的疾病辅助检测设备可以将所述待检测对象患与所述目标部位关联的疾病的第二风险概率80%输入XGBoost模型，得到第一风险概率对所述第二风险概率的影响值为0.6，检查数据对所述第二风险概率的影响值为0.2，癌症分期对所述第二风险概率的影响值为0.2。
在一个实施例中，在得到各预测因子对第二风险概率的影响值之后，可以将所述第二风险概率和所述各预测因子对第二风险概率的影响值发送给医护终端，以供医护人员查看，有助于辅助医护人员对所述待测试对象的患病情况进行判断。
本发明实施例中，基于多模态数据的疾病辅助检测设备可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。
本发明实施例还提供了一种基于多模态数据的疾病辅助检测装置，该基于多模态数据的疾病辅助检测装置用于执行前述任一项所述的方法的单元。具体地，参见图3，图3是本发明实施例提供的一种基于多模态数据的疾病辅助检测装置的示意框图。本实施例的基于多模态数据的疾病辅助检测装置包括：获取单元301、处理单元302、第一预测单元303、第二预测单元304。
获取单元301，用于获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
处理单元302，用于从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
第一预测单元303，用于将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
第二预测单元304，用于获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
进一步地，所述处理单元302从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：
获取所述特征图像中包括的多个子序列；
根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。
进一步地，所述处理单元302对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：
根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；
对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。
进一步地，所述第一预测单元303将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：
获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；
对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；
从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。
进一步地，所述第一预测单元303将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；
将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；
根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；
根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
进一步地，所述第一预测单元303根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：
根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；
根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
进一步地，所述第二预测单元304将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：
根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；
将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。
本发明实施例中，基于多模态数据的疾病辅助检测装置可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。
参见图4，图4是本发明实施例提供的一种基于多模态数据的疾病辅助检测设备的示意框图。如图4所示的本发明实施例中的基于多模态数据的疾病辅助检测设备可以包括：一个或多个处理器401和存储器402。存储器402用于存储计算机程序，所述计算机程序包括程序指令，处理器401 用于执行存储器402存储的程序指令。其中，处理器401被配置用于调用所述程序指令执行：
获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
进一步地，所述处理器401从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：
获取所述特征图像中包括的多个子序列；
根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。
进一步地，所述处理器401对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：
根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；
对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。
进一步地，所述处理器401将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：
获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；
对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；
从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。
进一步地，所述处理器401将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；
将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；
根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；
根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
进一步地，所述处理器401根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：
根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；
根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
进一步地，所述处理器401将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：
根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；
将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。
本发明实施例中，终端可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。
应当理解，在本发明实施例中，所称处理器401可以是中央处理单元 (CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DigiSalSignal Processor，DSP)、专用集成电路 (ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列 (Field-Programmable GaSe Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器402可以包括只读存储器和随机存取存储器，并向处理器401 提供指令和数据。存储器402的一部分还可以包括非易失性随机存取存储器。例如，存储器402还可以存储设备类型的信息。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图2所对应实施例中描述的基于多模态数据的疾病辅助检测方法，也可实现本发明图3所对应实施例的基于多模态数据的疾病辅助检测设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的基于多模态数据的疾病辅助检测设备的内部存储单元，例如基于多模态数据的疾病辅助检测设备的硬盘或内存。所述计算机可读存储介质也可以是所述基于多模态数据的疾病辅助检测设备的外部存储设备，例如所述基于多模态数据的疾病辅助检测设备上配备的插接式硬盘，智能存储卡（SmarS Media Card, SMC），安全数字（Secure DigiSal, SD）卡，闪存卡（Flash Card）等。进一步地，所述计算机可读存储介质还可以既包括所述基于多模态数据的疾病辅助检测设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述基于多模态数据的疾病辅助检测设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，终端，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
需要强调的是，为进一步保证上述风险概率的私密和安全性，上述风险概率还可以存储于一区块链的节点中。其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多模态数据的疾病辅助检测设备，其特征在于，所述设备包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：
获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
2.根据权利要求1所述的设备，其特征在于，所述处理器从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：
获取所述特征图像中包括的多个子序列；
根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。
3.根据权利要求2所述的设备，其特征在于，所述处理器对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：
根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；
对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。
4.根据权利要求1所述的设备，其特征在于，所述处理器将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：
获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；
对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；
从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。
5.根据权利要求4所述的设备，其特征在于，所述处理器将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；
将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；
根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；
根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
6.根据权利要求5所述的设备，其特征在于，所述处理器根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：
根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；
根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。
7.根据权利要求1所述的设备，其特征在于，所述处理器将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：
根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；
将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。
8.一种基于多模态数据的疾病辅助检测方法，其特征在于，包括：
获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
9.一种基于多模态数据的疾病辅助检测装置，其特征在于，包括：
获取单元，用于获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
处理单元，用于从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
第一预测单元，用于将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
第二预测单元，用于获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求8所述的方法。
CN202011065616.9A 2020-09-30 2020-09-30 基于多模态数据的疾病辅助检测设备、方法、装置及介质 Active CN111985584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011065616.9A CN111985584B (zh) 2020-09-30 2020-09-30 基于多模态数据的疾病辅助检测设备、方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011065616.9A CN111985584B (zh) 2020-09-30 2020-09-30 基于多模态数据的疾病辅助检测设备、方法、装置及介质

Publications (2)

Publication Number Publication Date
CN111985584A true CN111985584A (zh) 2020-11-24
CN111985584B CN111985584B (zh) 2021-01-08

Family

ID=73450336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011065616.9A Active CN111985584B (zh) 2020-09-30 2020-09-30 基于多模态数据的疾病辅助检测设备、方法、装置及介质

Country Status (1)

Country Link
CN (1) CN111985584B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113057586A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 一种病症预警方法、装置、设备及介质
CN113539493A (zh) * 2021-06-23 2021-10-22 吾征智能技术(北京)有限公司 一种利用多模态风险因素推断癌症风险概率的系统
CN113693561A (zh) * 2021-08-26 2021-11-26 平安国际智慧城市科技股份有限公司 基于神经网络的帕金森病预测设备、装置和存储介质
CN113707309A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 基于机器学习的疾病预测方法及装置
CN114360732A (zh) * 2022-01-12 2022-04-15 平安科技（深圳）有限公司 医疗数据分析方法、装置、电子设备及存储介质
CN117078677A (zh) * 2023-10-16 2023-11-17 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断
CN102165453A (zh) * 2008-09-26 2011-08-24 皇家飞利浦电子股份有限公司 用于融合临床和图像特征进行计算机辅助诊断的系统和方法
WO2013086041A1 (en) * 2011-12-05 2013-06-13 The Trustees Of Columbia University In The City Of New York Transcriptome wiring analysis in parkinson's disease and uses thereof
US8644574B2 (en) * 2006-10-03 2014-02-04 The Brigham And Women's Hospital, Inc. Measurement of thin-layered structures in X-ray computer tomography
CN106874663A (zh) * 2017-01-26 2017-06-20 中电科软件信息服务有限公司 心脑血管疾病风险预测方法及系统
CN110993106A (zh) * 2019-12-11 2020-04-10 深圳市华嘉生物智能科技有限公司 一种结合病理图像和临床信息的肝癌术后复发风险预测方法
CN111260209A (zh) * 2020-01-14 2020-06-09 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技（深圳）有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断
US8644574B2 (en) * 2006-10-03 2014-02-04 The Brigham And Women's Hospital, Inc. Measurement of thin-layered structures in X-ray computer tomography
CN102165453A (zh) * 2008-09-26 2011-08-24 皇家飞利浦电子股份有限公司 用于融合临床和图像特征进行计算机辅助诊断的系统和方法
WO2013086041A1 (en) * 2011-12-05 2013-06-13 The Trustees Of Columbia University In The City Of New York Transcriptome wiring analysis in parkinson's disease and uses thereof
CN106874663A (zh) * 2017-01-26 2017-06-20 中电科软件信息服务有限公司 心脑血管疾病风险预测方法及系统
CN110993106A (zh) * 2019-12-11 2020-04-10 深圳市华嘉生物智能科技有限公司 一种结合病理图像和临床信息的肝癌术后复发风险预测方法
CN111260209A (zh) * 2020-01-14 2020-06-09 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技（深圳）有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许新颜等: "基于CT的影像组学特征预测间变性淋巴瘤激酶阳性Ⅲ/Ⅳ期非小细胞肺癌患者脑转移", 《中国癌症杂志》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113057586A (zh) * 2021-03-17 2021-07-02 上海电气集团股份有限公司 一种病症预警方法、装置、设备及介质
CN113057586B (zh) * 2021-03-17 2024-03-12 上海电气集团股份有限公司 一种病症预警方法、装置、设备及介质
CN113539493A (zh) * 2021-06-23 2021-10-22 吾征智能技术(北京)有限公司 一种利用多模态风险因素推断癌症风险概率的系统
CN113693561A (zh) * 2021-08-26 2021-11-26 平安国际智慧城市科技股份有限公司 基于神经网络的帕金森病预测设备、装置和存储介质
CN113693561B (zh) * 2021-08-26 2023-08-25 深圳平安智慧医健科技有限公司 基于神经网络的帕金森病预测设备、装置和存储介质
CN113707309A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 基于机器学习的疾病预测方法及装置
CN114360732A (zh) * 2022-01-12 2022-04-15 平安科技（深圳）有限公司 医疗数据分析方法、装置、电子设备及存储介质
CN114360732B (zh) * 2022-01-12 2024-04-09 平安科技（深圳）有限公司 医疗数据分析方法、装置、电子设备及存储介质
CN117078677A (zh) * 2023-10-16 2023-11-17 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统
CN117078677B (zh) * 2023-10-16 2024-01-30 江西天鑫冶金装备技术有限公司 一种用于始极片的缺陷检测方法及系统

Also Published As

Publication number Publication date
CN111985584B (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN111985584B (zh) 基于多模态数据的疾病辅助检测设备、方法、装置及介质
Allugunti A machine learning model for skin disease classification using convolution neural network
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
US11341631B2 (en) System and method for automatically detecting a physiological condition from a medical image of a patient
CN109308495B (zh) 从患者的医学图像自动预测生理状况的装置和系统
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
CN112133441B (zh) 一种mh术后裂孔状态预测模型的建立方法和终端
CN108197592B (zh) 信息获取方法和装置
CN112259180B (zh) 一种基于异构医学知识图谱的疾病预测方法及相关设备
CN109840280B (zh) 一种文本分类方法、装置及计算机可读存储介质
CN111862020B (zh) 一种眼前节生理年龄预测方法、装置、服务器及存储介质
CN114298234B (zh) 脑部医学影像分类方法、装置、计算机设备和存储介质
CN111986206A (zh) 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质
Gupta et al. How good is artificial intelligence (AI) at solving hairy problems? A review of AI applications in hair restoration and hair disorders
CN112017784B (zh) 一种基于多模态数据的冠心病风险预测方法及相关设备
CN117617921B (zh) 基于物联网的智能血压监控系统及方法
Sivakumar et al. Deep learning in skin lesion analysis for malignant melanoma cancer identification
KR102445752B1 (ko) 주름 검출을 통해 질환을 예측하는 방법 및 장치
CN112699907A (zh) 数据融合的方法、装置和设备
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端
US20220284581A1 (en) Systems and methods for evaluating the brain after onset of a stroke using computed tomography angiography
CN112037918B (zh) 一种融合并发症风险的慢病医保费用预测方法及相关设备
CN116130088A (zh) 多模态面诊问诊方法、装置及相关设备
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
KR102566890B1 (ko) 수술 부위 모니터링 방법 및 이를 이용한 디바이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant