CN116759079B - 基于多特征融合的出血转化判定方法、装置、介质及终端 - Google Patents

基于多特征融合的出血转化判定方法、装置、介质及终端 Download PDF

Info

Publication number
CN116759079B
CN116759079B CN202311065846.9A CN202311065846A CN116759079B CN 116759079 B CN116759079 B CN 116759079B CN 202311065846 A CN202311065846 A CN 202311065846A CN 116759079 B CN116759079 B CN 116759079B
Authority
CN
China
Prior art keywords
text
bleeding
vector
image
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311065846.9A
Other languages
English (en)
Other versions
CN116759079A (zh
Inventor
杨旗
冯莹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chaoyang Hospital
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Original Assignee
Beijing Chaoyang Hospital
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chaoyang Hospital, Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd filed Critical Beijing Chaoyang Hospital
Priority to CN202311065846.9A priority Critical patent/CN116759079B/zh
Publication of CN116759079A publication Critical patent/CN116759079A/zh
Application granted granted Critical
Publication of CN116759079B publication Critical patent/CN116759079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于多特征融合的出血转化判定方法、装置、存储介质及终端，方法包括：根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量和文本向量；将CTP影像向量和文本向量输入预先训练的出血转化风险判定模型，输出出血转化概率；出血转化概率是基于图像‑文本融合特征生成，图像‑文本融合特征是基于CTP影像向量和文本向量进行特征融合生成；在出血转化概率大于预设概率阈值时，确定目标对象存在出血转化。本申请根据目标对象的原始CTP影像、医学信息文本，构建CTP影像向量和文本向量以实现特征融合，该医学信息文本包含了大量与出血转化相关的参数，使融合的特征丰富性提高，提升了出血转化判断准确度。

Description

基于多特征融合的出血转化判定方法、装置、介质及终端
技术领域
本申请涉及智慧医疗技术领域以及数据处理技术领域，特别涉及一种基于多特征融合的出血转化判定方法、装置、存储介质及终端。
背景技术
脑梗死的出血转化，指的是在脑梗死发生以后，在梗死的脑组织区发生了渗血，这种情况称之为出血转化。对于发生出血转化的脑梗死患者，脑动脉硬化比较重，相对于没有发生出血转化的脑梗死患者，有出血转化的患者病情更重，治疗的难度更大，需要及时采取不同的处理方案以及用药规则。
现有技术中对于出血转化的预测通常依据一些相关的临床研究来决定，例如譬如年龄、血糖、发病时的临床神经功能等。同时也会有相关的临床评分表来辅助临床医生对出血转化的可能性进行预判。由于上述方式数据单一以及掺杂人为经验，在数据不准确或者经验不足的情况下，可能会出现误判，从而降低了出血转化风险判断准确度。
发明内容
本申请实施例提供了一种基于多特征融合的出血转化判定方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于多特征融合的出血转化判定方法，方法包括：
根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量；
将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率；其中，出血转化概率是基于图像-文本融合特征生成的，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成的；
在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。
可选的，医学信息文本包括临床数据和血生化标志物信息；
根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量，包括：
获取目标对象的原始CTP影像、临床数据和血生化标志物信息；
对原始CTP影像进行运动矫正、时间校准以及空间归一化处理，得到目标对象的CTP影像向量；
对临床数据和血生化标志物信息进行向量化处理，得到文本向量。
可选的，对临床数据和血生化标志物信息进行向量化处理，得到文本向量，包括：
根据预设类别，将临床数据和血生化标志物信息进行类别划分，得到多类信息；
在预先生成的类别与指标取值范围的映射关系中，确定每类信息的目标值；
对每类信息的目标值进行最大最小值归一化，得到文本向量。
可选的，预先训练的出血转化风险判定模型包括时空特征提取模块、时空特征与文本特征融合模块以及网络预测模块；
将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率，包括：
将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征；
将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征；
将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率。
可选的，时空特征提取模块包括Resnet-34模型、双向长短期记忆网络、图卷积神经网络以及拼接函数；
将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征，包括：
基于Resnet-34模型，提取CTP影像向量的数据基础特征；
采用双向长短期记忆网络提取数据基础特征在时间维度上的时间关系特征；
将数据基础特征中每个空间点对应的时序向量作为网络节点，并将数据基础特征中空间距离的邻接情况作为网络的连接关系；
根据网络节点以及连接关系，构建目标节点图；
采用图卷积神经网络提取目标节点图中CTP的空间特征；
将时间关系特征以及CTP的空间特征通过拼接函数进行合并，得到CTP影像向量对应的时空特征。
可选的，时空特征与文本特征融合模块包括卷积层、扩展函数、relu激活函数以及tanh激活函数；
将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征，包括：
将文本向量依次输入卷积层、扩展函数进行维度转化和扩展，以将文本向量的维度与时空特征对应的维度保持一致，得到扩展后的文本向量；
将时空特征输入卷积层进行维度转化，得到转化后的时空特征；
将扩展后的文本向量与转化后的时空特征进行相加，得到加和特征；
将加和特征依次通过relu激活函数、卷积层、tanh激活函数，得到特征权重；
将特征权重与CTP影像向量对应的时空特征相乘，得到图像-文本融合特征。
可选的，网络预测模块包括2个卷积块、1个全连接块以及1个sigmoid层；
将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率，包括：
将图像-文本融合特征依次输入2个卷积块、1个全连接块以及1个sigmoid层进行处理；
输出目标对象对应的出血转化概率。
第二方面，本申请实施例提供了一种基于多特征融合的出血转化判定装置，装置包括：
参数生成模块，用于根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量；
出血转化概率输出模块，用于将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率；其中，出血转化概率是基于图像-文本融合特征生成的，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成的；
出血转化风险确定模块，用于在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，基于多特征融合的出血转化判定装置首先根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量，然后将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出出血转化概率；出血转化概率是基于图像-文本融合特征生成，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成，最后在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。本申请根据目标对象的原始CTP影像、医学信息文本，构建CTP影像向量以及文本向量以实现特征融合，该医学信息文本包含了大量与出血转化相关的参数，使得融合的特征丰富性大大提高，从而提升了出血转化风险判断准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种基于多特征融合的出血转化判定方法的流程示意图；
图2是本申请实施例提供的一种时空特征提取模块的结构示意图；
图3是本申请实施例提供的一种融合模块的结构示意图；
图4是本申请实施例提供的一种网络预测模块的结构示意图；
图5是本申请实施例提供的一种基于多特征融合的出血转化判定装置的结构示意图；
图6是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种基于多特征融合的出血转化判定方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，本申请根据目标对象的原始CTP影像、医学信息文本，构建CTP影像向量以及文本向量以实现特征融合，该医学信息文本包含了大量与出血转化相关的参数，使得融合的特征丰富性大大提高，从而提升了出血转化风险判断准确度，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图4，对本申请实施例提供的基于多特征融合的出血转化判定方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的基于多特征融合的出血转化判定装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种基于多特征融合的出血转化判定方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量；
其中，目标对象可以选择是病人或患者。原始CTP影像是基于CT灌注成像的方式生成的，CT灌注成像是在静脉快速团注对比剂时,对感兴趣区层面进行连续CT扫描得到的，CT灌注成像可以准确反映脑部血流情况，明确血脑屏障损害程度，以此预测出血转化的风险。医学信息文本包括临床数据和血生化标志物信息；临床数据可以是目标对象的卒中严重程度，即NIHSS评分，血生化标志物信息包括基质金属蛋白酶-9、细胞纤维结合蛋白，纤维蛋白原、S100B、血清铁蛋白、活化C反应蛋白、凝血酶活化的纤溶抑制剂和纤溶酶原激活物抑制剂-1；NIHSS评分和血生化标志物与脑梗死后出血转化的发生相关，因此在模型中融入临床数据，可以提升出血转化风险判定的准确度。
通常，根据原始CTP影像，可通过影像后处理软件获得脑血容量(CBV)、脑血流量(CBF)、最大达峰时间(Tmax)指标。其中相对脑平均血流量(rCBF)<30%的区域为核心梗死区，当梗死大于63ml或Tmax>14s时更易发生出血转化。
在本申请实施例中，在根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量时，首先获取目标对象的原始CTP影像、临床数据和血生化标志物信息；然后对原始CTP影像进行运动矫正、时间校准以及空间归一化处理，得到目标对象的CTP影像向量；最后对临床数据和血生化标志物信息进行向量化处理，得到文本向量。
具体的，在对临床数据和血生化标志物信息进行向量化处理，得到文本向量时，首先根据预设类别，将临床数据和血生化标志物信息进行类别划分，得到多类信息；然后在预先生成的类别与指标取值范围的映射关系中，确定每类信息的目标值；最后对每类信息的目标值进行最大最小值归一化，得到文本向量。
在一种可能的实现方式中，对目标对象的原始CTP影像、临床数据和血生化标志物预处理，对于CTP数据，使用ITK（医学影像分割与配准算法平台）进行运动矫正，时间校准、空间归一化处理。对于临床数据和血生化标志物，进行向量化处理，主要包括根据各个指标的取值范围和临床意义进行类别划分，最后进行最大最小值归一化。预处理完成后得到目标对象的CTP影像向量以及文本向量。
例如，将目标对象的原始CTP影像处理后，可得到（30,25,256,256）的向量表示。将临床数据和血生化标志物处理后，可得到（48,1）的向量表示。
S102，将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率；
其中，出血转化概率是基于图像-文本融合特征生成的，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成的；预先训练的出血转化风险判定模型时可以判定出血转化风险的数学模型。
具体的，预先训练的出血转化风险判定模型包括时空特征提取模块、时空特征与文本特征融合模块以及网络预测模块。
在本申请实施例中，在将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率时，首先将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征；然后将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征；最后将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率。
具体的，时空特征提取模块包括Resnet-34模型、双向长短期记忆网络、图卷积神经网络以及拼接函数。
在一种实现方式中，在将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征时，首先基于Resnet-34模型，提取CTP影像向量的数据基础特征；再采用双向长短期记忆网络提取数据基础特征在时间维度上的时间关系特征；然后将数据基础特征中每个空间点对应的时序向量作为网络节点，并将数据基础特征中空间距离的邻接情况作为网络的连接关系；再根据网络节点以及连接关系，构建目标节点图；其次采用图卷积神经网络提取目标节点图中CTP的空间特征；最后将时间关系特征以及CTP的空间特征通过拼接函数进行合并，得到CTP影像向量对应的时空特征。
例如图2所示，图2是本申请提供的时空特征提取模块的结构示意图，首先CTP影像向量输入Resnet-34模型，得到t1-tm个（24,7,16,16）的数据基础特征，基于双向长短期记忆网络对数据基础特征进行处理，得到时序特征，基于图卷积神经网络对数据基础特征进行处理，得到空间特征，最后将时序特征和空间特征通过拼接函数进行拼接，得到时空特征。拼接函数为Concat()。
具体的，时空特征与文本特征融合模块包括卷积层、扩展函数、relu激活函数以及tanh激活函数。
在一种实现方式中，在将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征时，首先将文本向量依次输入卷积层、扩展函数进行维度转化和扩展，以将文本向量的维度与时空特征对应的维度保持一致，得到扩展后的文本向量；然后将时空特征输入卷积层进行维度转化，得到转化后的时空特征；再将扩展后的文本向量与转化后的时空特征进行相加，得到加和特征；其次将加和特征依次通过relu激活函数、卷积层、tanh激活函数，得到特征权重；最后将特征权重与CTP影像向量对应的时空特征相乘，得到图像-文本融合特征。
例如图3所示，图3是本申请提供的一种融合模块的结构示意图，时空特征与文本特征融合模块对文本向量和时空特征处理时，时空特征I经过卷积层参数（）处理，将/>的时空特征变为/>，文本向量/>经过卷积层参数（）处理，将文本向量/>变为文本向量/>，再经过扩展函数对/>处理后，得到扩展后的文本向量/>，再将时空特征变/>与文本向量/>进行相加，得到加和特征；其次将加和特征依次通过relu激活函数、卷积层、tanh激活函数，得到特征权重；最后将特征权重与CTP影像向量对应的时空特征相乘，得到图像-文本融合特征/>。
具体的，网络预测模块包括2个卷积块、1个全连接块以及1个sigmoid层。
在本实施例中，在将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率时，可将图像-文本融合特征依次输入2个卷积块、1个全连接块以及1个sigmoid层进行处理，最后输出目标对象对应的出血转化概率。
例如图4所示，图4是本申请提供的一种网络预测模块的结构示意图，通过2个卷积块、1个全连接块、1个sigmoid层，进行出血转化的预测。
在本申请实施例中，在生成预先训练的出血转化风险判定模型时，首先采用Resnet-34模型、双向长短期记忆网络、图卷积神经网络以及拼接函数建立时空特征提取模块，然后采用卷积层、扩展函数、relu激活函数以及tanh激活函数建立时空特征与文本特征融合模块，其次采用2个卷积块、1个全连接块以及1个sigmoid层建立网络预测模块；再获取多个目标对象的CTP影像、医学信息文本来构建训练样本，将每个训练样本输入时空特征提取模块、特征融合模块以及网络预测模块进行处理，输出出血转化的预测概率，最后基于出血转化的预测概率、预设标签类型以及预设出血转化风险判定模型的损失函数计算出模型损失值，并在该模型损失值到达最小时，生成预先训练的出血转化风险判定模型
具体的，在模型的训练过程中，采用Adam对模型进行优化。学习率为0.01，并每50轮后降为原来的0.1倍。损失函数采用交叉熵损失。测试阶段为将上述模型的输出结果大于0.5，则认为脑梗死后会出血转化。
本申请通过校准和归一化处理CTP数据，并采用具有临床意义的各项指标分类分级方法进行文本的向量化处理；又创新性的搭建了采用biLSTM和GCN结合的方式提取CTP数据的时空特征，并用多模注意力模块将临床和血生化标志物信息与影像的时空特征进行融合的网络模型，来提高出血转化预测的准确性。
S103，在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。
在一种可能的实现方式中，在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。
在另一种可能的实现方式中，在出血转化概率小于等于预设概率阈值的情况下，确定目标对象不存在出血转化风险。
在本申请实施例中，基于多特征融合的出血转化判定装置首先根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量，然后将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出出血转化概率；出血转化概率是基于图像-文本融合特征生成，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成，最后在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。本申请根据目标对象的原始CTP影像、医学信息文本，构建CTP影像向量以及文本向量以实现特征融合，该医学信息文本包含了大量与出血转化相关的参数，使得融合的特征丰富性大大提高，从而提升了出血转化风险判断准确度。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图5，其示出了本申请一个示例性实施例提供的基于多特征融合的出血转化判定装置的结构示意图。该基于多特征融合的出血转化判定装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括参数生成模块10、出血转化概率输出模块20、出血转化风险确定模块30。
参数生成模块10，用于根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量；
出血转化概率输出模块20，用于将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率；其中，出血转化概率是基于图像-文本融合特征生成的，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成的；
出血转化风险确定模块30，用于在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。
具体的，参数生成模块包括：
参数获取单元，用于获取目标对象的原始CTP影像、临床数据和血生化标志物信息；
影像处理单元，用于对原始CTP影像进行运动矫正、时间校准以及空间归一化处理，得到目标对象的CTP影像向量；
向量化处理处理单元，用于对临床数据和血生化标志物信息进行向量化处理，得到文本向量。
具体的，在对临床数据和血生化标志物信息进行向量化处理，得到文本向量时，根据预设类别，将临床数据和血生化标志物信息进行类别划分，得到多类信息；在预先生成的类别与指标取值范围的映射关系中，确定每类信息的目标值；对每类信息的目标值进行最大最小值归一化，得到文本向量。
具体的，出血转化概率输出模块20，包括：
时空特征输出单元，用于将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征；
图像-文本融合特征输出单元，用于将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征；
出血转化概率输出单元，用于将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率。
具体的，时空特征提取模块包括Resnet-34模型、双向长短期记忆网络、图卷积神经网络以及拼接函数。
具体的，在将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征时，基于Resnet-34模型，提取CTP影像向量的数据基础特征；采用双向长短期记忆网络提取数据基础特征在时间维度上的时间关系特征；将数据基础特征中每个空间点对应的时序向量作为网络节点，并将数据基础特征中空间距离的邻接情况作为网络的连接关系；根据网络节点以及连接关系，构建目标节点图；采用图卷积神经网络提取目标节点图中CTP的空间特征；将时间关系特征以及CTP的空间特征通过拼接函数进行合并，得到CTP影像向量对应的时空特征。
具体的，时空特征与文本特征融合模块包括卷积层、扩展函数、relu激活函数以及tanh激活函数。
具体的，在将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征时，将文本向量依次输入卷积层、扩展函数进行维度转化和扩展，以将文本向量的维度与时空特征对应的维度保持一致，得到扩展后的文本向量；将时空特征输入卷积层进行维度转化，得到转化后的时空特征；将扩展后的文本向量与转化后的时空特征进行相加，得到加和特征；将加和特征依次通过relu激活函数、卷积层、tanh激活函数，得到特征权重；将特征权重与CTP影像向量对应的时空特征相乘，得到图像-文本融合特征。
具体的，网络预测模块包括2个卷积块、1个全连接块以及1个sigmoid层。
具体的，在将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率时，将图像-文本融合特征依次输入2个卷积块、1个全连接块以及1个sigmoid层进行处理；输出目标对象对应的出血转化概率。
需要说明的是，上述实施例提供的基于多特征融合的出血转化判定装置在执行基于多特征融合的出血转化判定方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于多特征融合的出血转化判定装置与基于多特征融合的出血转化判定方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，基于多特征融合的出血转化判定装置首先根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量，然后将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出出血转化概率；出血转化概率是基于图像-文本融合特征生成，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成，最后在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。本申请根据目标对象的原始CTP影像、医学信息文本，构建CTP影像向量以及文本向量以实现特征融合，该医学信息文本包含了大量与出血转化相关的参数，使得融合的特征丰富性大大提高，从而提升了出血转化风险判断准确度。
本申请还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于多特征融合的出血转化判定方法。
本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的基于多特征融合的出血转化判定方法。
请参见图6，为本申请实施例提供了一种终端的结构示意图。如图6所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于多特征融合的出血转化判定应用程序。
在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于多特征融合的出血转化判定应用程序，并具体执行以下操作：
根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量；
将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率；其中，出血转化概率是基于图像-文本融合特征生成的，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成的；
在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。
在一个实施例中，处理器1001在执行根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量时，具体执行以下操作：
获取目标对象的原始CTP影像、临床数据和血生化标志物信息；
对原始CTP影像进行运动矫正、时间校准以及空间归一化处理，得到目标对象的CTP影像向量；
对临床数据和血生化标志物信息进行向量化处理，得到文本向量。
在一个实施例中，处理器1001在执行对临床数据和血生化标志物信息进行向量化处理，得到文本向量时，具体行以下操作：
根据预设类别，将临床数据和血生化标志物信息进行类别划分，得到多类信息；
在预先生成的类别与指标取值范围的映射关系中，确定每类信息的目标值；
对每类信息的目标值进行最大最小值归一化，得到文本向量。
在一个实施例中，处理器1001在执行将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出目标对象对应的出血转化概率时，具体执行以下操作：
将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征；
将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征；
将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率。
在一个实施例中，处理器1001在执行将CTP影像向量输入时空特征提取模块，输出CTP影像向量对应的时空特征时，具体执行以下操作：
基于Resnet-34模型，提取CTP影像向量的数据基础特征；
采用双向长短期记忆网络提取数据基础特征在时间维度上的时间关系特征；
将数据基础特征中每个空间点对应的时序向量作为网络节点，并将数据基础特征中空间距离的邻接情况作为网络的连接关系；
根据网络节点以及连接关系，构建目标节点图；
采用图卷积神经网络提取目标节点图中CTP的空间特征；
将时间关系特征以及CTP的空间特征通过拼接函数进行合并，得到CTP影像向量对应的时空特征。
在一个实施例中，处理器1001在执行将文本向量和CTP影像向量对应的时空特征输入时空特征与文本特征融合模块中，输出图像-文本融合特征时，具体执行以下操作：
将文本向量依次输入卷积层、扩展函数进行维度转化和扩展，以将文本向量的维度与时空特征对应的维度保持一致，得到扩展后的文本向量；
将时空特征输入卷积层进行维度转化，得到转化后的时空特征；
将扩展后的文本向量与转化后的时空特征进行相加，得到加和特征；
将加和特征依次通过relu激活函数、卷积层、tanh激活函数，得到特征权重；
将特征权重与CTP影像向量对应的时空特征相乘，得到图像-文本融合特征。
在一个实施例中，处理器1001在执行将图像-文本融合特征输入网络预测模块中，输出目标对象对应的出血转化概率时，具体执行以下操作：
将图像-文本融合特征依次输入2个卷积块、1个全连接块以及1个sigmoid层进行处理；
输出目标对象对应的出血转化概率。
在本申请实施例中，基于多特征融合的出血转化判定装置首先根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量，然后将CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出出血转化概率；出血转化概率是基于图像-文本融合特征生成，图像-文本融合特征是基于CTP影像向量以及文本向量进行特征融合生成，最后在出血转化概率大于预设概率阈值的情况下，确定目标对象存在出血转化风险。本申请根据目标对象的原始CTP影像、医学信息文本，构建CTP影像向量以及文本向量以实现特征融合，该医学信息文本包含了大量与出血转化相关的参数，使得融合的特征丰富性大大提高，从而提升了出血转化风险判断准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，基于多特征融合的出血转化判定的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (8)

1.一种基于多特征融合的出血转化判定方法，其特征在于，所述方法包括：
根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量；其中，
所述医学信息文本包括临床数据和血生化标志物信息；
所述根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量，包括：
获取目标对象的原始CTP影像、临床数据和血生化标志物信息；
对所述原始CTP影像进行运动矫正、时间校准以及空间归一化处理，得到目标对象的CTP影像向量；
对所述临床数据和血生化标志物信息进行向量化处理，得到文本向量；
将所述CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出所述目标对象对应的出血转化概率；其中，所述出血转化概率是基于图像-文本融合特征生成的，所述图像-文本融合特征是基于所述CTP影像向量以及文本向量进行特征融合生成的；其中，
所述预先训练的出血转化风险判定模型包括时空特征提取模块、时空特征与文本特征融合模块以及网络预测模块；
所述将所述CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出所述目标对象对应的出血转化概率，包括：
将所述CTP影像向量输入所述时空特征提取模块，输出所述CTP影像向量对应的时空特征；
将所述文本向量和所述CTP影像向量对应的时空特征输入所述时空特征与文本特征融合模块中，输出图像-文本融合特征；
将所述图像-文本融合特征输入所述网络预测模块中，输出所述目标对象对应的出血转化概率；
在所述出血转化概率大于预设概率阈值的情况下，确定所述目标对象存在出血转化风险。
2.根据权利要求1所述的方法，其特征在于，所述对所述临床数据和血生化标志物信息进行向量化处理，得到文本向量，包括：
根据预设类别，将所述临床数据和血生化标志物信息进行类别划分，得到多类信息；
在预先生成的类别与指标取值范围的映射关系中，确定每类信息的目标值；
对每类信息的目标值进行最大最小值归一化，得到文本向量。
3.根据权利要求1所述的方法，其特征在于，所述时空特征提取模块包括Resnet-34模型、双向长短期记忆网络、图卷积神经网络以及拼接函数；
所述将所述CTP影像向量输入所述时空特征提取模块，输出所述CTP影像向量对应的时空特征，包括：
基于所述Resnet-34模型，提取所述CTP影像向量的数据基础特征；
采用所述双向长短期记忆网络提取所述数据基础特征在时间维度上的时间关系特征；
将所述数据基础特征中每个空间点对应的时序向量作为网络节点，并将所述数据基础特征中空间距离的邻接情况作为网络的连接关系；
根据所述网络节点以及所述连接关系，构建目标节点图；
采用所述图卷积神经网络提取所述目标节点图中CTP的空间特征；
将所述时间关系特征以及所述CTP的空间特征通过所述拼接函数进行合并，得到所述CTP影像向量对应的时空特征。
4.根据权利要求1所述的方法，其特征在于，所述时空特征与文本特征融合模块包括卷积层、扩展函数、relu激活函数以及tanh激活函数；
所述将所述文本向量和所述CTP影像向量对应的时空特征输入所述时空特征与文本特征融合模块中，输出图像-文本融合特征，包括：
将所述文本向量依次输入所述卷积层、扩展函数进行维度转化和扩展，以将所述文本向量的维度与所述时空特征对应的维度保持一致，得到扩展后的文本向量；
将所述时空特征输入所述卷积层进行维度转化，得到转化后的时空特征；
将扩展后的文本向量与转化后的时空特征进行相加，得到加和特征；
将所述加和特征依次通过relu激活函数、卷积层、tanh激活函数，得到特征权重；
将所述特征权重与所述CTP影像向量对应的时空特征相乘，得到图像-文本融合特征。
5.根据权利要求1所述的方法，其特征在于，所述网络预测模块包括2个卷积块、1个全连接块以及1个sigmoid层；
所述将所述图像-文本融合特征输入所述网络预测模块中，输出所述目标对象对应的出血转化概率，包括：
将所述图像-文本融合特征依次输入所述2个卷积块、1个全连接块以及1个sigmoid层进行处理；
输出所述目标对象对应的出血转化概率。
6.一种基于多特征融合的出血转化判定装置，其特征在于，所述装置包括：
参数生成模块，用于根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量；其中，
所述医学信息文本包括临床数据和血生化标志物信息；
所述根据目标对象的原始CTP影像、医学信息文本，生成目标对象的CTP影像向量以及文本向量，包括：
获取目标对象的原始CTP影像、临床数据和血生化标志物信息；
对所述原始CTP影像进行运动矫正、时间校准以及空间归一化处理，得到目标对象的CTP影像向量；
对所述临床数据和血生化标志物信息进行向量化处理，得到文本向量；
出血转化概率输出模块，用于将所述CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出所述目标对象对应的出血转化概率；其中，所述出血转化概率是基于图像-文本融合特征生成的，所述图像-文本融合特征是基于所述CTP影像向量以及文本向量进行特征融合生成的；其中，
所述预先训练的出血转化风险判定模型包括时空特征提取模块、时空特征与文本特征融合模块以及网络预测模块；
所述将所述CTP影像向量以及文本向量输入预先训练的出血转化风险判定模型，输出所述目标对象对应的出血转化概率，包括：
将所述CTP影像向量输入所述时空特征提取模块，输出所述CTP影像向量对应的时空特征；
将所述文本向量和所述CTP影像向量对应的时空特征输入所述时空特征与文本特征融合模块中，输出图像-文本融合特征；
将所述图像-文本融合特征输入所述网络预测模块中，输出所述目标对象对应的出血转化概率；
出血转化风险确定模块，用于在所述出血转化概率大于预设概率阈值的情况下，确定所述目标对象存在出血转化风险。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-5任意一项的方法步骤。
8.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-5任意一项的方法步骤。
CN202311065846.9A 2023-08-23 2023-08-23 基于多特征融合的出血转化判定方法、装置、介质及终端 Active CN116759079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311065846.9A CN116759079B (zh) 2023-08-23 2023-08-23 基于多特征融合的出血转化判定方法、装置、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311065846.9A CN116759079B (zh) 2023-08-23 2023-08-23 基于多特征融合的出血转化判定方法、装置、介质及终端

Publications (2)

Publication Number Publication Date
CN116759079A CN116759079A (zh) 2023-09-15
CN116759079B true CN116759079B (zh) 2023-11-03

Family

ID=87961385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311065846.9A Active CN116759079B (zh) 2023-08-23 2023-08-23 基于多特征融合的出血转化判定方法、装置、介质及终端

Country Status (1)

Country Link
CN (1) CN116759079B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112992317A (zh) * 2021-05-10 2021-06-18 明品云(北京)数据科技有限公司 一种医学数据处理方法、系统、设备及介质
CN113610750A (zh) * 2021-06-03 2021-11-05 腾讯医疗健康(深圳)有限公司 对象识别方法、装置、计算机设备及存储介质
CN115132359A (zh) * 2022-05-30 2022-09-30 深圳技术大学 预测模型构建方法及装置、预测方法及装置、电子设备
CN116309507A (zh) * 2023-03-29 2023-06-23 西南大学 注意力机制下对ctp进行特征融合的ais病灶预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220293247A1 (en) * 2021-03-12 2022-09-15 Siemens Healthcare Gmbh Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from ct images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112992317A (zh) * 2021-05-10 2021-06-18 明品云(北京)数据科技有限公司 一种医学数据处理方法、系统、设备及介质
CN113610750A (zh) * 2021-06-03 2021-11-05 腾讯医疗健康(深圳)有限公司 对象识别方法、装置、计算机设备及存储介质
CN115132359A (zh) * 2022-05-30 2022-09-30 深圳技术大学 预测模型构建方法及装置、预测方法及装置、电子设备
CN116309507A (zh) * 2023-03-29 2023-06-23 西南大学 注意力机制下对ctp进行特征融合的ais病灶预测方法

Also Published As

Publication number Publication date
CN116759079A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
EP4198821A1 (en) Graph neural network-based clinical omics data processing method and apparatus, device, and medium
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN112633077B (zh) 一种基于层内多尺度特征增强的人脸检测方法、系统、存储介质及终端
CN112330684A (zh) 对象分割方法、装置、计算机设备及存储介质
CN114881968A (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN113673613A (zh) 基于对比学习的多模态数据特征表达方法、装置及介质
CN112053363A (zh) 视网膜血管分割方法、装置及模型构建方法
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
CN115410717A (zh) 模型训练方法、数据检索方法、影像数据检索方法和装置
CN115375698A (zh) 医学图像分割方法、装置、电子设备及存储介质
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
EP4226856A1 (en) Method and apparatus for predicting blood pressure by fusing calibrated photoplethysmographic signal data
CN113096756A (zh) 病情演变分类方法、装置、电子设备和存储介质
CN116759079B (zh) 基于多特征融合的出血转化判定方法、装置、介质及终端
CN113724186A (zh) 一种数据处理方法、装置、设备及介质
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN116521915A (zh) 一种相似医学图像的检索方法、系统、设备及介质
CN113361584B (zh) 模型训练的方法及装置、肺动脉高压的测量方法及装置
CN111414930A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN115631370A (zh) 一种基于卷积神经网络的mri序列类别的识别方法及装置
CN111599427B (zh) 一种一元化诊断的推荐方法、装置、电子设备及存储介质
CN113283434A (zh) 一种基于分割网络优化的图像语义分割方法及系统
CN114359194A (zh) 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant