CN117562583B - 人工智能辅助的心脏功能检测系统及方法 - Google Patents

人工智能辅助的心脏功能检测系统及方法 Download PDF

Info

Publication number
CN117562583B
CN117562583B CN202410062834.9A CN202410062834A CN117562583B CN 117562583 B CN117562583 B CN 117562583B CN 202410062834 A CN202410062834 A CN 202410062834A CN 117562583 B CN117562583 B CN 117562583B
Authority
CN
China
Prior art keywords
feature map
feature
enhanced
training
cardiac
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410062834.9A
Other languages
English (en)
Other versions
CN117562583A (zh
Inventor
张微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202410062834.9A priority Critical patent/CN117562583B/zh
Publication of CN117562583A publication Critical patent/CN117562583A/zh
Application granted granted Critical
Publication of CN117562583B publication Critical patent/CN117562583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请公开了一种人工智能辅助的心脏功能检测系统及方法，涉及智能化检测技术领域，其获取被分析患者对象的超声心动图和心电图；提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级。这样，可以更准确地确定心脏功能的健康等级，为患者的诊断和治疗提供更精准的指导和决策依据。

Description

人工智能辅助的心脏功能检测系统及方法
技术领域
本申请涉及智能化检测技术领域，尤其涉及一种人工智能辅助的心脏功能检测系统及方法。
背景技术
心脏疾病是全球范围内的主要健康问题之一，准确评估心脏功能对于疾病的诊断和治疗至关重要。心脏功能检测是指评估和测量心脏的结构和功能状态的过程，以了解心脏的健康状况和诊断心脏疾病。
传统的心脏功能检测方法主要依赖于医生的经验和专业知识，不同医生可能会对同一心脏图像或数据给出不同的解释和诊断结果，存在误诊的风险。此外，传统的心脏功能检测方法需要医生手动分析和解读心脏图像和数据，这需要耗费大量的时间和精力，限制了心脏功能检测的效率。
因此，期待一种人工智能辅助的心脏功能检测系统及方法。
发明内容
本申请为了克服上述缺陷，提供一种人工智能辅助的心脏功能检测系统及方法。
本申请还提供了一种人工智能辅助的心脏功能检测系统，其包括：
图像获取模块，用于获取被分析患者对象的超声心动图和心电图；
图像特征提取模块，用于提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；
跨模态交互处理模块，用于对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；
心脏功能健康等级确定模块，用于基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级；
其中，所述跨模态交互处理模块，包括：相互增强单元，用于将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图；跨模态交互单元，用于使用基于投影层的跨模态交互器对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量。
在上述人工智能辅助的心脏功能检测系统中，所述相互增强单元，用于：以如下空间互注意力增强公式对所述超声心动特征图和所述心电特征图进行处理以得到所述增强超声心动特征图；其中，所述空间互注意力增强公式为：
；
；
其中，是所述超声心动特征图，/>是所述心电特征图，/>表示低廉增广处理，/>表示卷积处理，/>表示基于激活函数的非线性激活处理，是互注意力特征图，/>是所述增强超声心动特征图。
在上述人工智能辅助的心脏功能检测系统中，所述图像特征提取模块，包括：第一卷积单元，用于将所述超声心动图通过基于第一卷积神经网络模型的心动图像表征特征提取器以得到所述超声心动特征图；第二卷积单元，用于将所述心电图通过基于第二卷积神经网络模型的心电图像调整特征提取器以得到所述心电特征图。
在上述人工智能辅助的心脏功能检测系统中，所述基于第一卷积神经网络模型的心动图像表征特征提取器，包括：第一输入层、第一卷积层、第一池化层、第一激活层和第一输出层。
在上述人工智能辅助的心脏功能检测系统中，基于第二卷积神经网络模型的心电图像调整特征提取器，包括：第二输入层、第二卷积层、第二池化层、第二激活层和第二输出层。
在上述人工智能辅助的心脏功能检测系统中，所述跨模态交互单元，用于：使用基于投影层的跨模态交互器以如下投影公式对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量；其中，所述投影公式为：
；
其中，为所述多模态心脏功能表征特征向量，/>为所述增强超声心动特征图展开的增强超声心动特征向量，/>为所述增强心电特征图展开的增强心电特征向量，表示级联，/>表示向量的投影映射。
在上述人工智能辅助的心脏功能检测系统中，所述心脏功能健康等级确定模块，用于：将所述多模态心脏功能表征特征向量通过分类器以得到分类结果，所述分类结果用于表示心脏功能健康等级标签。
在上述人工智能辅助的心脏功能检测系统中，还包括用于对所述基于第一卷积神经网络模型的心动图像表征特征提取器、所述基于第二卷积神经网络模型的心电图像调整特征提取器、所述基于空间互注意力模块的相互增强器、所述基于投影层的跨模态交互器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括被分析患者对象的训练超声心动图和训练心电图，以及，心脏功能健康等级标签的真实值；训练第一卷积单元，用于将所述训练超声心动图通过所述基于第一卷积神经网络模型的心动图像表征特征提取器以得到训练超声心动特征图；训练第二卷积单元，用于将所述训练心电图通过所述基于第二卷积神经网络模型的心电图像调整特征提取器以得到训练心电特征图；训练相互增强单元，用于将所述训练超声心动特征图和所述训练心电特征图通过所述基于空间互注意力模块的相互增强器以得到训练增强超声心动特征图和训练增强心电特征图；训练特征分布修正单元，用于对所述训练增强超声心动特征图和所述训练增强心电特征图进行特征分布修正以得到修正后增强超声心动特征图和修正后增强心电特征图；训练跨模态交互单元，用于使用所述基于投影层的跨模态交互器对所述修正后增强超声心动特征图和所述修正后增强心电特征图进行处理以得到训练多模态心脏功能表征特征向量；训练分类单元，用于将所述训练多模态心脏功能表征特征向量通过分类器以得到分类损失函数值；训练单元，用于以所述分类损失函数值来对所述基于第一卷积神经网络模型的心动图像表征特征提取器、所述基于第二卷积神经网络模型的心电图像调整特征提取器、所述基于空间互注意力模块的相互增强器、所述基于投影层的跨模态交互器和所述分类器进行训练。
本申请还提供了一种人工智能辅助的心脏功能检测方法，其包括：
获取被分析患者对象的超声心动图和心电图；
提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；
对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；
基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级；
其中，对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量，包括：
将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图；
使用基于投影层的跨模态交互器对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量；
其中，将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图，包括：以如下空间互注意力增强公式对所述超声心动特征图和所述心电特征图进行处理以得到所述增强超声心动特征图；其中，所述空间互注意力增强公式为：
；
；
其中，是所述超声心动特征图，/>是所述心电特征图，/>表示低廉增广处理，/>表示卷积处理，/>表示基于激活函数的非线性激活处理，是互注意力特征图，/>是所述增强超声心动特征图。
与现有技术相比，本申请提供的人工智能辅助的心脏功能检测系统及方法，其获取被分析患者对象的超声心动图和心电图；提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级。这样，通过心脏功能检测，医生可以及早发现心脏疾病，制定个性化的治疗方案，并监测治疗效果，提高患者的生活质量和预后。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例中提供的一种人工智能辅助的心脏功能检测系统的框图。
图2为本申请实施例中提供的一种人工智能辅助的心脏功能检测方法的流程图。
图3为本申请实施例中提供的一种人工智能辅助的心脏功能检测方法的系统架构的示意图。
图4为本申请实施例中提供的一种人工智能辅助的心脏功能检测系统的应用场景图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅只是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
心脏功能的准确评估对于疾病的诊断和治疗至关重要。心脏是人体的重要器官，通过泵血将氧气和营养物质输送到全身各个组织和器官，同时将代谢产物和二氧化碳排出体外。心脏功能的异常可能导致心血管疾病的发生和发展，如心肌梗死、心力衰竭等。
应可以理解，心脏功能检测可以通过多种方法进行，其中常见的包括：临床症状和体征的观察，其中医生会仔细询问患者的症状，如心悸、胸痛、气短、水肿等，并进行身体检查，观察是否有心脏杂音、心律不齐等体征。心电图是一种简单、无创的检查方法，通过记录心脏电活动的变化来评估心脏功能，可以检测心律失常、心肌缺血等病变。超声心动图是一种非常重要的心脏功能评估方法，利用超声波的反射来观察心脏的结构和功能，超声心动图可以评估心脏的收缩和舒张功能、心腔的大小和形态、心瓣膜的运动和关闭情况等，可以帮助诊断和监测各种心脏疾病。心脏核素显像是一种功能性的心脏评估方法，通过给患者注射放射性同位素，然后利用放射性探测器观察心脏的血液灌注情况，心脏核素显像可以评估心肌缺血、心肌梗死等病变。心脏磁共振成像利用磁共振技术来观察心脏的结构和功能，可以提供高分辨率的图像，评估心脏的收缩和舒张功能、心腔的大小和形态、心肌厚度等。
准确评估心脏功能可以帮助医生确定疾病的类型和程度，制定合理的治疗方案。例如，在冠心病的治疗中，心脏功能检测可以确定心肌缺血的程度和范围，从而决定是否需要进行血运重建手术或介入治疗。
传统的心脏功能检测方法主要包括临床症状和体征的观察、心电图、超声心动图、心脏核素显像等。这些方法在心脏功能评估中发挥着重要作用，但也存在一些缺陷。例如，传统的心脏功能检测方法主要依赖于医生的经验和专业知识来解读心脏图像和数据，不同医生可能对同一心脏图像或数据给出不同的解释和诊断结果，存在误诊的风险，这种主观性和操作者依赖性可能导致诊断的不一致性和不准确性。传统的心脏功能检测方法需要医生手动分析和解读心脏图像和数据，这需要耗费大量的时间和精力，医生需要仔细观察和测量各项指标，并进行复杂的计算和判断，这限制了心脏功能检测的效率。传统的心脏功能检测方法可以提供一些心脏结构和功能的信息，但对于一些细微的异常或复杂的疾病情况可能不够敏感和准确。例如，超声心动图对于心腔内血流动力学的评估相对有限，无法提供全面的心脏功能信息。
为了克服传统心脏功能检测方法的缺陷，近年来出现了一些新的技术和方法，如计算机辅助诊断系统、人工智能、机器学习等，这些技术可以自动分析和解读心脏图像和数据，提供更准确和一致的诊断结果，并大大提高心脏功能检测的效率。
本申请介绍了一种人工智能辅助的心脏功能检测系统，该系统可以通过分析心电图、超声心动图和其他相关数据，对心脏病患者的心脏功能进行评估和预测。该系统利用深度学习、图像处理和信号处理等技术，构建了一个多模态的心脏功能检测模型，该模型可以从多个角度和维度对心脏功能进行全面的分析和诊断。该系统还可以根据患者的个体情况，提供个性化的治疗建议和预后评估，从而提高心脏病患者的生活质量和预期寿命。
在本申请的一个实施例中，图1为本申请实施例中提供的一种人工智能辅助的心脏功能检测系统的框图。如图1所示，根据本申请实施例的人工智能辅助的心脏功能检测系统100，包括：图像获取模块110，用于获取被分析患者对象的超声心动图和心电图；图像特征提取模块120，用于提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；跨模态交互处理模块130，用于对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；心脏功能健康等级确定模块140，用于基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级。
在所述图像获取模块110中，获取被分析患者对象的超声心动图和心电图，需要确保图像的质量和准确性，使用专业设备进行图像采集，以获取清晰、完整的超声心动图和心电图。在所述图像特征提取模块120中，提取超声心动图和心电图的图像特征，以得到超声心动特征图和心电特征图，需要选择适当的特征提取方法和算法，以捕捉图像中的重要信息和特征，同时考虑特征的可解释性和区分性。在所述跨模态交互处理模块130中，对超声心动特征图和心电特征图进行增强处理和跨模态交互，以得到多模态心脏功能表征特征向量，需要设计有效的跨模态互注意力机制，以充分利用超声心动图和心电图之间的相关性，提高特征的表达能力和区分度。在所述心脏功能健康等级确定模块140中，基于多模态心脏功能表征特征向量，确定心脏功能的健康等级。需要建立合理的心脏功能健康等级评估模型，考虑多种心脏疾病和功能异常的情况，以准确判断患者的心脏功能健康状况。
应可以理解，在上述模块中，通过自动化的图像获取和特征提取方法，可以减少医生的主观干预和人工操作，提高心脏功能检测的效率和一致性。通过跨模态交互处理，将超声心动图和心电图的信息进行融合和互补，可以提供更全面、准确的心脏功能表征特征，有助于更好地评估心脏的健康状况。通过多模态心脏功能表征特征向量的分析和处理，可以更准确地确定心脏功能的健康等级，为患者的诊断和治疗提供更精准的指导和决策依据。
针对上述技术问题，本申请的技术构思是综合利用被分析患者对象的超声波心动图和心电图数据，利用智能化算法来挖掘两者所表达的多模态心脏功能状态特征信息，以此来实现对被分析患者对象的心脏功能的智能化评估，为医生的诊断提供重要的参考。
基于此，在本申请的技术方案中，首先获取被分析患者对象的超声心动图和心电图。其中，超声心动图（Echocardiogram）是一种无创的医学检查方法，其利用超声波技术，通过将超声波传感器（称为探头）放置在胸部或食管上，向心脏发送超声波，并记录回波来创建超声心动图。超声心动图可以提供关于心脏各个部位的详细信息，包括心腔、心瓣膜、心肌和血流情况。它可以显示心脏的大小、形状、运动情况以及心脏壁的厚度。而心电图（Electrocardiogram，简称ECG）是一种记录心脏电活动的检查方法，其通过将电极贴在身体的特定位置（通常是胸部），测量和记录心脏肌肉在收缩和舒张过程中产生的电信号。具体来说，心脏电信号是由心脏起搏器（位于心脏的窦房结）发出的，并通过心脏的传导系统传播到心脏的各个部位。心电图记录了这些电信号在时间上的变化，提供了关于心脏节律、心脏功能和心脏病变的信息。因而，在本申请的技术方案中，期待获取被分析患者对象的超声心动图和心电图来作为判断心脏功能健康等级的重要数据来源。
接着，将所述超声心动图通过基于第一卷积神经网络模型的心动图像表征特征提取器以得到超声心动特征图；同时，将所述心电图通过基于第二卷积神经网络模型的心电图像调整特征提取器以得到心电特征图。也就是，利用卷积神经网络模型来构建心动图像表征特征提取器和心电图像调整特征提取器，以捕捉所述超声心动图和所述心电图中所蕴含的空间邻域局部特征分布，揭示被分析患者对象的心脏的结构和功能状态。
在本申请的一个具体实施例中，所述图像特征提取模块，包括：第一卷积单元，用于将所述超声心动图通过基于第一卷积神经网络模型的心动图像表征特征提取器以得到所述超声心动特征图；第二卷积单元，用于将所述心电图通过基于第二卷积神经网络模型的心电图像调整特征提取器以得到所述心电特征图。
其中，所述基于第一卷积神经网络模型的心动图像表征特征提取器，包括：第一输入层、第一卷积层、第一池化层、第一激活层和第一输出层。
进一步地，基于第二卷积神经网络模型的心电图像调整特征提取器，包括：第二输入层、第二卷积层、第二池化层、第二激活层和第二输出层。
在本申请的一个实施例中，所述跨模态交互处理模块，包括：相互增强单元，用于将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图；跨模态交互单元，用于使用基于投影层的跨模态交互器对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量。
然后，将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图。也就是，所述基于空间互注意力模块利用所述超声心动特征图和所述心电特征图之间的互补信息来增强各自所表达的心脏功能状态特征信息。具体来说，基于空间互注意力模块的相互增强器可以关注输入特征图相对于参考特征图的域不变特征，从而减少域不变特征在自身的特征空间内与域变化特征的交叉验证，从而实现输出特征图对于域不变特征的注意力效果。也就是说，当所述超声心动特征图作为输入特征图，且所述心电特征图作为参考特征图时，所述空间互注意力模块的相互增强器可以关注到所述超声心动特征图所表达的心脏结构信息相对于所述心电特征图所表达的心脏电信号波动特征信息的域不变特征，从而增强所述超声心动特征图的特征表达。同样地，当所述心电特征图作为输入特征图，且所述超声心动特征图作为参考特征图时，所述空间互注意力模块的相互增强器可以关注到所述心电特征图所表达的心脏电信号波动特征信息相对于所述超声心动特征图所表达的心脏结构信息的域不变特征。通过这样的方式，将所述超声心动特征图和所述心电特征图进行交互增强，使得所述增强超声心动特征图和所述增强心电特征图具有更为出色的特征表达能力。
在本申请的一个具体实施例中，所述相互增强单元，用于：以如下空间互注意力增强公式对所述超声心动特征图和所述心电特征图进行处理以得到所述增强超声心动特征图；其中，所述空间互注意力增强公式为：
；
；
其中，是所述超声心动特征图，/>是所述心电特征图，/>表示低廉增广处理，/>表示卷积处理，/>表示基于激活函数的非线性激活处理，是互注意力特征图，/>是所述增强超声心动特征图。
应可以理解，虽然所述增强超声心动特征图和所述增强心电特征图分别经过相互增强处理后，不再仅仅表述各自模态下的心脏功能状态信息，但是两者仍然是两个独立的特征分布。因此，在本申请的技术方案中，期待使用基于投影层的跨模态交互器对所述增强超声心动特征图和所述增强心电特征图进行处理以得到多模态心脏功能表征特征向量。这样，将两者所表达的多模态心脏功能状态信息进行整合，以综合表征被分析患者对象的整体心脏功能状态。
具体地，在本申请的技术方案中，所述基于投影层的跨模态交互器将每个模态的特征分布通过一个共享的投影层映射到一个共同的特征空间中，以将每个模态的特征分布映射到相同的维度，使得它们可以进行直接地融合。也就是说，所述基于投影层的跨模态交互器通过使用同一的投影层将不同模态的特征分布转换为相同的表示形式，从而消除模态之间的差异性，以便在融合过程中更好地表示心脏的整体功能状态。
在本申请的一个具体实施例中，所述跨模态交互单元，用于：使用基于投影层的跨模态交互器以如下投影公式对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量；其中，所述投影公式为：
；
其中，为所述多模态心脏功能表征特征向量，/>为所述增强超声心动特征图展开的增强超声心动特征向量，/>为所述增强心电特征图展开的增强心电特征向量，表示级联，/>表示向量的投影映射。
随后，将所述多模态心脏功能表征特征向量通过分类器以得到分类结果，所述分类结果用于表示心脏功能健康等级标签。值得一提的是，在本申请的实际应用场景中，所述心脏功能健康等级标签可以根据不同的研究或临床需求进行定义和扩展。这些标签信息可以为医生提供对患者心脏功能状况的直观理解，为治疗决策和预后评估提供重要参考。
在本申请的一个具体实施例中，所述心脏功能健康等级确定模块，用于：将所述多模态心脏功能表征特征向量通过分类器以得到分类结果，所述分类结果用于表示心脏功能健康等级标签。
心脏功能检测的准确评估对于疾病的诊断和治疗非常重要，通过对心脏的结构和功能状态进行评估，可以及早发现心脏疾病的存在和程度，为医生制定合适的治疗方案提供依据。心脏功能检测的结果可以用于确定心脏疾病的类型和严重程度，例如，心脏超声心动图可以评估心脏的收缩和舒张功能，检测心脏瓣膜的异常以及心脏肌肉的损伤情况，心电图可以检测心脏的电活动，帮助诊断心律不齐和心肌缺血等问题。
准确评估心脏功能可以帮助医生制定个性化的治疗方案，根据心脏功能的评估结果，医生可以决定是否需要药物治疗、手术干预或其他治疗方法，对于一些严重的心脏疾病，如心脏衰竭或心脏瓣膜病变，心脏功能检测可以帮助医生确定是否需要进行心脏移植或瓣膜置换手术等高风险的治疗。此外，心脏功能检测还可以用于监测治疗效果，医生可以通过定期进行心脏功能检测，评估治疗的效果和疾病的进展情况，如果治疗效果不理想，医生可以及时调整治疗方案，提高治疗的效果。
换言之，准确评估心脏功能对于疾病的诊断和治疗至关重要，通过心脏功能检测，医生可以及早发现心脏疾病，制定个性化的治疗方案，并监测治疗效果，提高患者的生活质量和预后。
在本申请的一个实施例中，所述人工智能辅助的心脏功能检测系统，还包括用于对所述基于第一卷积神经网络模型的心动图像表征特征提取器、所述基于第二卷积神经网络模型的心电图像调整特征提取器、所述基于空间互注意力模块的相互增强器、所述基于投影层的跨模态交互器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括被分析患者对象的训练超声心动图和训练心电图，以及，心脏功能健康等级标签的真实值；训练第一卷积单元，用于将所述训练超声心动图通过所述基于第一卷积神经网络模型的心动图像表征特征提取器以得到训练超声心动特征图；训练第二卷积单元，用于将所述训练心电图通过所述基于第二卷积神经网络模型的心电图像调整特征提取器以得到训练心电特征图；训练相互增强单元，用于将所述训练超声心动特征图和所述训练心电特征图通过所述基于空间互注意力模块的相互增强器以得到训练增强超声心动特征图和训练增强心电特征图；训练特征分布修正单元，用于对所述训练增强超声心动特征图和所述训练增强心电特征图进行特征分布修正以得到修正后增强超声心动特征图和修正后增强心电特征图；训练跨模态交互单元，用于使用所述基于投影层的跨模态交互器对所述修正后增强超声心动特征图和所述修正后增强心电特征图进行处理以得到训练多模态心脏功能表征特征向量；训练分类单元，用于将所述训练多模态心脏功能表征特征向量通过分类器以得到分类损失函数值；训练单元，用于以所述分类损失函数值来对所述基于第一卷积神经网络模型的心动图像表征特征提取器、所述基于第二卷积神经网络模型的心电图像调整特征提取器、所述基于空间互注意力模块的相互增强器、所述基于投影层的跨模态交互器和所述分类器进行训练。
在本申请的技术方案中，所述训练超声心动特征图和所述训练心电特征图的各个特征矩阵分别表达所述训练超声心动图和所述训练心电图的图像语义特征，而其各个特征矩阵间分别遵循所述第一卷积神经网络模型和所述第二卷积神经网络模型的通道分布，这样，将所述训练超声心动特征图和所述训练心电特征图通过基于空间互注意力模块的相互增强器以得到训练增强超声心动特征图和训练增强心电特征图后，考虑到所述训练超声心动特征图和所述训练心电特征图的经由空间互注意力模块进行局部图像语义特征空间分布增强后，所述训练超声心动特征图和所述训练心电特征图的各个特征矩阵之间的图像语义特征的相关性变差，导致所述训练多模态心脏功能表征特征向量通过分类器进行分类回归训练时，所述训练多模态心脏功能表征特征向量的分布整体性影响分类训练效率。
因此，本申请的申请人首先对所述训练增强超声心动特征图和所述训练增强心电特征图进行线性变换以使得特征矩阵的宽度和高度相等，然后对转换后的训练增强超声心动特征图和训练增强心电特征图分别进行基于特征矩阵的优化，表示为：对所述训练增强超声心动特征图和所述训练增强心电特征图进行线性变换以使得特征矩阵的宽度和高度相等得到转换后的训练增强超声心动特征图和训练增强心电特征图；以及，以如下优化公式对转换后的训练增强超声心动特征图和训练增强心电特征图进行特征分布修正以得到修正后增强超声心动特征图和修正后增强心电特征图；其中，所述优化公式为：
；
其中，和/>分别是所述转换后的训练增强超声心动特征图和训练增强心电特征图的沿通道方向的第/>和第/>位置的特征矩阵，且/>是尺度调节超参数，/>是所述修正后增强超声心动特征图和所述修正后增强心电特征图的沿通道方向的第/>位置的特征矩阵，/>是所述转换后的训练增强超声心动特征图和训练增强心电特征图的沿通道方向的第/>位置的特征矩阵的转置矩阵，/>是所述转换后的训练增强超声心动特征图和训练增强心电特征图的沿通道方向的第/>位置的特征矩阵的倒数，/>表示矩阵乘法，/>表示按位置点乘，/>表示按位置加法。
这里，通过所述转换后的训练增强超声心动特征图和训练增强心电特征图的具有通道相邻分布的特征矩阵的递进式结构化嵌入计算，来在高维特征空间内预测所述转换后的训练增强超声心动特征图和训练增强心电特征图的局部特征分布沿通道的耦合分布方向，从而以分布递进中心为基础来确定基于通道耦合的迭代生成的传递图式表示，以经由细化所述转换后的训练增强超声心动特征图和训练增强心电特征图整体沿通道维度由下而上的投影规范化提议的方式，来重建所述转换后的训练增强超声心动特征图和训练增强心电特征图的以特征矩阵的场景布局为基础的上下文关系，从而提升所述转换后的训练增强超声心动特征图和训练增强心电特征图的特征表示的通道维度整体性，以提升所述多模态心脏功能表征特征向量的分布整体性，从而提升所述分类器的训练效率。
综上，基于本申请实施例的人工智能辅助的心脏功能检测系统100被阐明，其综合利用被分析患者对象的超声波心动图和心电图数据，利用智能化算法来挖掘两者所表达的多模态心脏功能状态特征信息，以此来实现对被分析患者对象的心脏功能的智能化评估，为医生的诊断提供重要的参考。
如上所述，根据本申请实施例的人工智能辅助的心脏功能检测系统100可以实现在各种终端设备中，例如用于人工智能辅助的心脏功能检测的服务器等。在一个示例中，根据本申请实施例的人工智能辅助的心脏功能检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该人工智能辅助的心脏功能检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该人工智能辅助的心脏功能检测系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该人工智能辅助的心脏功能检测系统100与该终端设备也可以是分立的设备，并且该人工智能辅助的心脏功能检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图2为本申请实施例中提供的一种人工智能辅助的心脏功能检测方法的流程图。图3为本申请实施例中提供的一种人工智能辅助的心脏功能检测方法的系统架构的示意图。如图2和图3所示，一种人工智能辅助的心脏功能检测方法，包括：210，获取被分析患者对象的超声心动图和心电图；220，提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；230，对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；240，基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级。
本领域技术人员可以理解，上述人工智能辅助的心脏功能检测方法中的各个步骤的具体操作已经在上面参考图1的人工智能辅助的心脏功能检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。
图4为本申请实施例中提供的一种人工智能辅助的心脏功能检测系统的应用场景图。如图4所示，在该应用场景中，首先，获取被分析患者对象的超声心动图（如图4中所示意的C1）和心电图（如图4中所示意的C2）；然后，将获取的超声心动图和心电图输入至部署有人工智能辅助的心脏功能检测算法的服务器（如图4中所示意的S）中，其中所述服务器能够基于人工智能辅助的心脏功能检测算法对所述超声心动图和所述心电图进行处理，以确定心脏功能健康等级。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种人工智能辅助的心脏功能检测系统，其特征在于，包括：
图像获取模块，用于获取被分析患者对象的超声心动图和心电图；
图像特征提取模块，用于提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；
跨模态交互处理模块，用于对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；
心脏功能健康等级确定模块，用于基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级；
其中，所述跨模态交互处理模块，包括：
相互增强单元，用于将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图；
跨模态交互单元，用于使用基于投影层的跨模态交互器对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量；
其中，所述相互增强单元，用于：
以如下空间互注意力增强公式对所述超声心动特征图和所述心电特征图进行处理以得到所述增强超声心动特征图；其中，所述空间互注意力增强公式为：
；
；
其中，是所述超声心动特征图，/>是所述心电特征图，/>表示低廉增广处理，/>表示卷积处理，/>表示基于激活函数的非线性激活处理，/>是互注意力特征图，/>是所述增强超声心动特征图；
其中，所述跨模态交互单元，用于：
使用基于投影层的跨模态交互器以如下投影公式对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量；其中，所述投影公式为：
；
其中，为所述多模态心脏功能表征特征向量，/>为所述增强超声心动特征图展开的增强超声心动特征向量，/>为所述增强心电特征图展开的增强心电特征向量，/>表示级联，/>表示向量的投影映射。
2.根据权利要求1所述的人工智能辅助的心脏功能检测系统，其特征在于，所述图像特征提取模块，包括：
第一卷积单元，用于将所述超声心动图通过基于第一卷积神经网络模型的心动图像表征特征提取器以得到所述超声心动特征图；
第二卷积单元，用于将所述心电图通过基于第二卷积神经网络模型的心电图像调整特征提取器以得到所述心电特征图。
3.根据权利要求2所述的人工智能辅助的心脏功能检测系统，其特征在于，所述基于第一卷积神经网络模型的心动图像表征特征提取器，包括：第一输入层、第一卷积层、第一池化层、第一激活层和第一输出层。
4.根据权利要求3所述的人工智能辅助的心脏功能检测系统，其特征在于，基于第二卷积神经网络模型的心电图像调整特征提取器，包括：第二输入层、第二卷积层、第二池化层、第二激活层和第二输出层。
5.根据权利要求4所述的人工智能辅助的心脏功能检测系统，其特征在于，所述心脏功能健康等级确定模块，用于：
将所述多模态心脏功能表征特征向量通过分类器以得到分类结果，所述分类结果用于表示心脏功能健康等级标签。
6.根据权利要求5所述的人工智能辅助的心脏功能检测系统，其特征在于，还包括用于对所述基于第一卷积神经网络模型的心动图像表征特征提取器、所述基于第二卷积神经网络模型的心电图像调整特征提取器、所述基于空间互注意力模块的相互增强器、所述基于投影层的跨模态交互器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：
训练数据获取单元，用于获取训练数据，所述训练数据包括被分析患者对象的训练超声心动图和训练心电图，以及，心脏功能健康等级标签的真实值；
训练第一卷积单元，用于将所述训练超声心动图通过所述基于第一卷积神经网络模型的心动图像表征特征提取器以得到训练超声心动特征图；
训练第二卷积单元，用于将所述训练心电图通过所述基于第二卷积神经网络模型的心电图像调整特征提取器以得到训练心电特征图；
训练相互增强单元，用于将所述训练超声心动特征图和所述训练心电特征图通过所述基于空间互注意力模块的相互增强器以得到训练增强超声心动特征图和训练增强心电特征图；
训练特征分布修正单元，用于对所述训练增强超声心动特征图和所述训练增强心电特征图进行特征分布修正以得到修正后增强超声心动特征图和修正后增强心电特征图；
训练跨模态交互单元，用于使用所述基于投影层的跨模态交互器对所述修正后增强超声心动特征图和所述修正后增强心电特征图进行处理以得到训练多模态心脏功能表征特征向量；
训练分类单元，用于将所述训练多模态心脏功能表征特征向量通过分类器以得到分类损失函数值；
训练单元，用于以所述分类损失函数值来对所述基于第一卷积神经网络模型的心动图像表征特征提取器、所述基于第二卷积神经网络模型的心电图像调整特征提取器、所述基于空间互注意力模块的相互增强器、所述基于投影层的跨模态交互器和所述分类器进行训练。
7.一种人工智能辅助的心脏功能检测方法，其特征在于，包括：
获取被分析患者对象的超声心动图和心电图；
提取所述超声心动图和所述心电图的图像特征以得到超声心动特征图和心电特征图；
对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量；
基于所述多模态心脏功能表征特征向量，确定心脏功能健康等级；
其中，对所述超声心动特征图和心电特征图进行基于空间互注意力机制的增强处理和跨模态交互处理以得到多模态心脏功能表征特征向量，包括：
将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图；
使用基于投影层的跨模态交互器对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量；
其中，将所述超声心动特征图和所述心电特征图通过基于空间互注意力模块的相互增强器以得到增强超声心动特征图和增强心电特征图，包括：
以如下空间互注意力增强公式对所述超声心动特征图和所述心电特征图进行处理以得到所述增强超声心动特征图；其中，所述空间互注意力增强公式为：
；
；
其中，是所述超声心动特征图，/>是所述心电特征图，/>表示低廉增广处理，/>表示卷积处理，/>表示基于激活函数的非线性激活处理，/>是互注意力特征图，/>是所述增强超声心动特征图；
其中，使用基于投影层的跨模态交互器对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量，包括：
使用基于投影层的跨模态交互器以如下投影公式对所述增强超声心动特征图和所述增强心电特征图进行处理以得到所述多模态心脏功能表征特征向量；其中，所述投影公式为：
；
其中，为所述多模态心脏功能表征特征向量，/>为所述增强超声心动特征图展开的增强超声心动特征向量，/>为所述增强心电特征图展开的增强心电特征向量，/>表示级联，/>表示向量的投影映射。
CN202410062834.9A 2024-01-17 2024-01-17 人工智能辅助的心脏功能检测系统及方法 Active CN117562583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410062834.9A CN117562583B (zh) 2024-01-17 2024-01-17 人工智能辅助的心脏功能检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410062834.9A CN117562583B (zh) 2024-01-17 2024-01-17 人工智能辅助的心脏功能检测系统及方法

Publications (2)

Publication Number Publication Date
CN117562583A CN117562583A (zh) 2024-02-20
CN117562583B true CN117562583B (zh) 2024-03-15

Family

ID=89892245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410062834.9A Active CN117562583B (zh) 2024-01-17 2024-01-17 人工智能辅助的心脏功能检测系统及方法

Country Status (1)

Country Link
CN (1) CN117562583B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN114126491A (zh) * 2019-07-22 2022-03-01 西门子医疗有限公司 血管造影图像中的冠状动脉钙化的评估
CN114239754A (zh) * 2022-02-24 2022-03-25 中国科学院自动化研究所 基于属性特征学习解耦的行人属性识别方法及系统
CN114519880A (zh) * 2022-02-09 2022-05-20 复旦大学 基于跨模态自监督学习的主动说话人识别方法
CN115909207A (zh) * 2022-11-24 2023-04-04 华能伊敏煤电有限责任公司 轮斗连续系统中设备协同监测系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114126491A (zh) * 2019-07-22 2022-03-01 西门子医疗有限公司 血管造影图像中的冠状动脉钙化的评估
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN114519880A (zh) * 2022-02-09 2022-05-20 复旦大学 基于跨模态自监督学习的主动说话人识别方法
CN114239754A (zh) * 2022-02-24 2022-03-25 中国科学院自动化研究所 基于属性特征学习解耦的行人属性识别方法及系统
CN115909207A (zh) * 2022-11-24 2023-04-04 华能伊敏煤电有限责任公司 轮斗连续系统中设备协同监测系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞洋钊."基于虚拟现实和动态加权决策融合的恐高情绪识别".《计算机系统应用》.2023,全文. *

Also Published As

Publication number Publication date
CN117562583A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
US12011276B2 (en) Non-invasive method and system for measuring myocardial ischemia, stenosis identification, localization and fractional flow reserve estimation
CN113557576A (zh) 在表征生理系统时配置和使用神经网络的方法和系统
CN103153175B (zh) 用于做出脉搏信号波形数据的诊断分类的设备和系统
US20200211713A1 (en) Method and system to characterize disease using parametric features of a volumetric object and machine learning
US20230157618A1 (en) Method and System to Assess Pulmonary Hypertension Using Phase Space Tomography and Machine Learning
JP2020511190A (ja) 超音波分析のためのシステムおよび方法
CN112906748A (zh) 基于残差网络的12导联ecg心律失常检测分类模型构建方法
Feng et al. Unsupervised semantic-aware adaptive feature fusion network for arrhythmia detection
CN116206741A (zh) 一种消化科医疗信息处理系统及方法
Sharma et al. Heart disease prediction using convolutional neural network
Zhao et al. Ecgnn: Enhancing abnormal recognition in 12-lead ecg with graph neural network
US20210204857A1 (en) Method and device for cardiac monitoring
Ansari et al. Estimating age and gender from electrocardiogram signals: A comprehensive review of the past decade
Adelaja et al. Operating Artificial Intelligence to Assist Physicians Diagnose Medical Images: A Narrative Review
Tung et al. Multi-lead ECG classification via an information-based attention convolutional neural network
Al Younis et al. Non-invasive technologies for heart failure, systolic and diastolic dysfunction modeling: A scoping review
Pessoa et al. Classification of electrical impedance tomography data using machine learning
CN117562583B (zh) 人工智能辅助的心脏功能检测系统及方法
CN117017310A (zh) 基于知识蒸馏的声电双模先天性心脏病预测装置
JP2021112479A (ja) 心電信号分析装置及び心電信号分析プログラム
Chen et al. A distinguishing arterial pulse waves approach by using image processing and feature extraction technique
You et al. Cardiac magnetic resonance image diagnosis of hypertrophic obstructive cardiomyopathy based on a double-branch neural network
CN115281689A (zh) 基于人工智能与计算机视觉的心脏病综合诊断平台
Qi et al. Residual neural networks based on empirical mode decomposition for mitral regurgitation prediction
Seoni et al. Application of spatial uncertainty predictor in CNN-BiLSTM model using coronary artery disease ECG signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant