CN114052794A - 一种基于多模态信息的颈动脉超声报告生成系统 - Google Patents

一种基于多模态信息的颈动脉超声报告生成系统 Download PDF

Info

Publication number
CN114052794A
CN114052794A CN202111192140.XA CN202111192140A CN114052794A CN 114052794 A CN114052794 A CN 114052794A CN 202111192140 A CN202111192140 A CN 202111192140A CN 114052794 A CN114052794 A CN 114052794A
Authority
CN
China
Prior art keywords
image
plaque
segmentation
carotid artery
patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111192140.XA
Other languages
English (en)
Other versions
CN114052794B (zh
Inventor
刘治
曹艳坤
隋小瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202111192140.XA priority Critical patent/CN114052794B/zh
Publication of CN114052794A publication Critical patent/CN114052794A/zh
Priority to PCT/CN2022/117080 priority patent/WO2023061104A1/zh
Priority to US18/024,320 priority patent/US20230270404A1/en
Application granted granted Critical
Publication of CN114052794B publication Critical patent/CN114052794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种基于多模态信息的颈动脉超声报告生成系统，包括：超声设备，用于采集待测颈动脉多模态信息；处理器，连接所述超声设备，处理器包括：斑块类别识别模块，用于将多模态信息输入斑块类别识别模型，得到待测颈动脉的斑块类别；图像分割模块，用于根据斑块类别，将超声图像输入不同分割模型，得到分割图像集；异常检测模块，用于基于分割图像集，计算图像参数集，并将图像参数集输入颈动脉异常检测模型，得到颈动脉是否异常结果；颈动脉超声报告生成模块，用于基于图像参数集、斑块类别、血流频谱形态、血流动力学参数以及颈动脉是否异常结果，生成颈动脉超声报告。在提高报告生成准确率的同时，减轻了医生的负担。

Description

一种基于多模态信息的颈动脉超声报告生成系统
技术领域
本发明属于颈动脉超声报告生成技术领域，具体涉及一种基于多模态信息的颈动脉超声报告生成系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
颈动脉狭窄会导致多种脑部疾病,目前通过其影像学检查进行诊断。当前，面对基层存在高水平医生短缺、城乡医疗资源不均衡、受限于设备成像精度等诸多问题，如果仅依靠医生肉眼对影像学图像进行判断,不但工作量较大,也可能因为医生的主观性导致误诊。
为了解决上述问题，急需一种颈动脉超声报告生成系统，来进行早期筛查以及辅助诊断，从而大大减轻了医生的工作量，提高诊断效率。
发明内容
本发明为了解决上述问题，提出了一种基于多模态信息的颈动脉超声报告生成系统，通过采集并处理颈动脉的多模态信息，自动识别血管疾病，输出超声报告，用于辅助医生诊断，减轻了医生的负担，提高了诊断的效率。
根据一些实施例，本发明采用如下技术方案：
一种基于多模态信息的颈动脉超声报告生成系统，包括：
超声设备，用于采集待测颈动脉多模态信息，所述多模态信息包括超声图像、多普勒彩色血流图像、血流频谱形态和血流动力学参数；
处理器，连接所述超声设备，所述处理器包括：
斑块类别识别模块，用于将所述多模态信息输入斑块类别识别模型，得到待测颈动脉的斑块类别；
图像分割模块，用于根据斑块类别，将所述超声图像输入不同分割模型，得到分割图像集；
异常检测模块，用于基于分割图像集，计算图像参数集，并将图像参数集输入颈动脉异常检测模型，得到颈动脉是否异常结果；
颈动脉超声报告生成模块，用于基于图像参数集、斑块类别、血流频谱形态、血流动力学参数以及颈动脉是否异常结果，以设定的超声报告格式生成颈动脉超声报告。
进一步的，所述图像分割模块包括：
斑块类别判断单元，用于判断斑块类别是否属于无斑块，若是，则将超声图像输入内外膜分割单元，否则，则将超声图像输入内外膜分割单元和斑块分割单元；
内外膜分割单元，用于将超声图像输入内外膜分割模型得到内外膜分割图像，并将内外膜分割图像加入分割图像集；
斑块分割单元，用于将超声图像输入斑块分割模型得到斑块分割图像，并将斑块分割图像加入分割图像集。
进一步的，所述异常检测模块包括：
分割图像判断单元，用于判断分割图像集中是否存在所述斑块分割图像，若是，则将斑块分割图像输入斑块面积计算单元和斑块体积计算单元，同时，将内外膜分割图像输入内外膜宽度计算单元；否则，则将内外膜分割图像输入内外膜宽度计算单元。
进一步的，所述内外膜宽度计算单元被配置为：
基于所述超声图像的长度和像素点数，计算单个像素点的长度；
统计每一帧所述内外膜分割图像中内外膜的像素点个数；
基于单个像素点的长度和内外膜的像素点个数，计算每一帧内外膜分割图像的内外膜宽度；
选择最大内外膜宽度作为最终的内外膜宽度，加入图像参数集，并将内外膜宽度最大的一帧内外膜分割图像传输至颈动脉狭窄率计算单元。
进一步的，所述颈动脉狭窄率计算单元被配置为：
接收内外膜宽度最大的一帧内外膜分割图像，对于该帧图像的图像矩阵中的每一行，计算行内所有内膜像素点之间的距离，选取最大距离作为内膜直径；
在所有的内膜直径中选取小直径和最大直径，最小直径和最大直径的比值为颈动脉狭窄率，并将颈动脉狭窄率加入图像参数集。
进一步的，所述斑块面积计算单元被配置为：
基于所述超声图像的长度和像素点数，计算单个像素点的长度；
统计每一帧所述斑块分割图像中斑块的像素点个数；
基于单个像素点的长度和斑块的像素点个数，计算每一帧斑块分割图像的斑块面积；
选择最大斑块面积作为最终的斑块面积，加入图像参数集，并将斑块面积最大的一帧斑块分割图像传输至斑块体积计算单元。
进一步的，所述斑块体积计算单元被配置为：
在所述斑块分割图像中，统计存在斑块的超声图像的帧数；
接收斑块面积最大的一帧斑块分割图像，在该帧图像中，以斑块分割的边界为标准，划定最小的可以完全包住斑块区域的矩形，所述矩形的长为斑块长轴直径，所述矩形的宽为斑块短轴直径；
基于斑块长轴直径、斑块短轴直径和存在斑块的超声图像的帧数，计算斑块体积，并将斑块体积加入图像参数集。
进一步的，所述处理器还包括用户反馈模块，用于获取用户反馈信息，基于用户反馈信息更新所述斑块类别识别模型、内外膜分割模型或斑块分割模型。
进一步的，所述用户反馈信息为无修改、最终结论修改结果、内外膜分割图像修改结果和斑块分割图像修改结果中的一种或多种；
所述最终结论修改结果作为反馈输入所述斑块类别识别模块，将修改斑块类别及其对应的颈动脉的多模态信息加入训练集，重新训练斑块类别识别模型，从而更新斑块类别识别模型参数；
所述内外膜分割图像修改结果作为反馈输入所述内外膜分割单元，从而更新内外膜分割模型的参数；
所述斑块分割图像修改结果作为反馈输入所述斑块分割单元，从而更新斑块分割模型的参数。
进一步的，还包括显示设备，与所述处理器连接，用于显示所述内外膜分割图像、斑块分割图像和颈动脉超声报告。
与现有技术相比，本发明的有益效果为：
本发明提供了一种基于多模态信息的颈动脉超声报告生成系统，其通过采集并处理颈动脉的多模态信息，自动识别血管疾病，输出超声报告，用于辅助医生诊断，在提高报告生成准确率的同时，减轻了医生的负担，提高了诊断的效率。
本发明提供了一种基于多模态信息的颈动脉超声报告生成系统，其基于用户反馈信息更新所述斑块类别识别模型、内外膜分割模型或斑块分割模型，解决了颈动脉缺少标签及小样本的问题，进一步提高了模型的准确度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的一种基于多模态信息的颈动脉超声报告生成系统框架图；
图2是本发明实施例一的斑块类别识别模型框架图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例的基于多模态信息的颈动脉超声报告生成系统，通过采集并处理颈动脉的多模态信息，自动识别血管疾病，输出超声报告，包括，超声设备、处理器和显示设备。
超声设备，用于采集待测颈动脉多模态信息，多模态信息包括超声图像、多普勒彩色血流图像、血流频谱形态和血流动力学参数。
作为一种实施方式，颈动脉的多模态信息包括病人颈动脉的超声图像、多普勒彩色血流图像和多普勒频谱超声信息。
作为一种实施方式，利用超声设备采集颈动脉超声图像、多普勒彩色血流图像和多普勒频谱超声信息。其中，超声设备包括但不限于不限于超声采集仪器、掌上超声设备以及5G远程超声采集设备等。不同于传统超声设备的主机+探头的产品形式，把主机缩小到只是一块很小的、内置于探头内部的电路板，变成只是一个“探头”就相当于一台B超，只需借助随身携带安装了超声APP软件的手机、平板电脑进行显示，图像由探头内置wifi传输到手机/平板。颈动脉的多模态信息由探头内置wifi传输到处理器。
其中，超声图像为多帧，可以得到二维颈动脉图像信息，可以用于后续的劲动脉内外膜分割以及斑块分割，得到的颈动脉内外膜宽度、狭窄度，以及斑块的长度、宽度和面积。多普勒彩色血流图像可以得到官腔血流充盈情况，将颈动脉的血流变化以颜色显示。多普勒频谱超声信息可以得到血流频谱形态和颈动脉血流动力学参数，颈动脉血流动力学参数包括收缩期双峰、舒张期持续、正向血流运动等。
处理器，连接超声设备，处理器包括：斑块类别识别模块、图像分割模块、异常检测模块、颈动脉超声报告生成模块和用户反馈模块。
斑块类别识别模块，用于将待测颈动脉的多模态信息输入训练好斑块类别识别模型，得到待测颈动脉的斑块类别。
其中，斑块类别包括无斑块、硬斑和软斑三类。斑块类别识别模型基于知识蒸馏网络构建，斑块类别识别模型通过将训练集输入基于知识蒸馏网络的斑块类别识别模型中进行训练得到。训练集包括多个颈动脉的多模态信息及其标注的斑块类别。知识蒸馏网络包括一个教师网络和学生网络，教师网络有标签学习权重，然后把参数传给学生网络，学生网络没有标签。
斑块类别识别模型利用基于知识蒸馏网络的多模态数据特征提取与融合方法，对步骤1采集的多模态数据进行融合并进行斑块类别检测，如图2所示。针对于颈动脉数据的特殊性，提出一种基于知识蒸馏模型的多模态数据特征提取与融合的方法用于斑块类别检测，具体步骤为：将颈动脉超声图像、颈动脉多普勒彩色血流图像、血流频谱形态和血流动力学参数送入教师网络进行学习，然后经过一个融合分类器，为每个网络赋予不同的权重，根据标签将结果反馈到各个子网络，最终输出检测结果。
图像分割模块，用于根据斑块类别，将超声图像输入不同分割模型，得到分割图像集。其中，分割模型包括斑块分割模型和内外膜分割模型。图像分割模块包括斑块类别判断单元、内外膜分割单元和斑块分割单元。
斑块类别判断单元，用于判断斑块类别是否属于无斑块，若是，则将超声图像输入内外膜分割单元，否则，则将超声图像同时输入内外膜分割单元和斑块分割单元。
内外膜分割单元，用于将超声图像输入内外膜分割模型得到内外膜分割图像，并将内外膜分割图像加入分割图像集。
斑块分割单元，用于将超声图像输入斑块分割模型得到斑块分割图像，并将斑块分割图像加入分割图像集。
其中，内外膜分割模型通过少量标注有内膜和外膜区域的样本图像训练基于语义分割网络内外膜分割模型得到；斑块分割模型通过少量标注有斑块区域的样本图像训练基于语义分割网络的斑块分割模型得到。采用训练好的内外膜分割模型和斑块分割模型，分别对超声图像中的病人的颈动脉内外膜以及斑块进行像素级分割。
作为一种实施方式，语义分割网络包括但不限于使用FCN、Deeplab、Unet等主流语义分割网络。
作为一种实施方式，语义分割网络采用半监督增强学习的方式进行训练，得到内外膜分割模型或斑块分割模型，具体步骤为：首先采集颈动脉超声图像，制作标注少量数据集，利用增强学习的方式对数据集进行训练，增强学习的主要方法为，将颈动脉的内外膜或斑块的位置根据标签进行定位处理，然后将位置信息输入增强网络，网络根据标签寻找最佳匹配位置，从而达到内外膜和斑块分割的效果。半监督的方式体现于，训练后的网络进行测试时，测试结果随时反馈到使用系统的专家那里，专家对于网络的输出效果进行评判，如果专家认可则输出为最终的结果，专家不认可则继续返回网络进行训练，直至专家认可为止；最后将训练好的语义分割网络输出，用于超声图像中的颈动脉内外膜以及斑块的分割。
异常检测模块，用于基于分割图像集，计算图像参数集，并将图像参数集输入颈动脉异常检测模型，得到颈动脉是否异常结果。异常检测模块包括：分割图像判断单元、斑块面积计算单元、斑块体积计算单元、内外膜宽度计算单元、颈动脉狭窄率计算单元和颈动脉异常判断单元。
分割图像判断单元，用于判断分割图像集中是否存在所述斑块分割图像，若是，则将斑块分割图像输入斑块面积计算单元和斑块体积计算单元，同时，将内外膜分割图像输入内外膜宽度计算单元；否则，则将内外膜分割图像输入内外膜宽度计算单元。
经过内外膜分割和斑块分割后，可得到内外膜分割结果图和斑块分割图，根据实际超声图像中每个像素代表的长度关系可计算出内外膜宽度和斑块的大小和面积，根据多帧图像的斑块面积计算可得到斑块的体积。具体的，首先利用得到的内外膜分割图像和斑块分割图像，计算出所分割区域(斑块或内外膜)的像素点，根据像素和医学度量的对应关系将像素度量转为距离度量，从而可计算出内外膜的宽度信息。斑块的面积计算可通过像素对应关系计算出长度和宽度，从而进行面积的计算。
内外膜宽度计算单元被配置为：基于超声图像的长度和像素点数，计算单个像素点的长度，具体的，各个超声采集设备设置有颈动脉超声图像的长度，假设采集此段颈动脉超声设备显示的超声图像的长度为l，输出的超声图像矩阵为n*n，即像素点数个数为n*n，那么单个像素点的长度为d＝l/n；统计每一帧内外膜分割图像中内外膜分割的像素点个数为m1，基于单个像素点的长度和内外膜的像素点个数，计算每一帧内外膜分割图像的内外膜宽度h＝m1*d；选择最大内外膜宽度作为最终的内外膜宽度；将最终的内外膜宽度加入图像参数集，并将内外膜宽度最大的一帧内外膜分割图像传输至颈动脉狭窄率计算单元。
斑块面积计算单元被配置为：基于所述超声图像的长度和像素点数，计算单个像素点的长度；统计每一帧斑块分割图像中斑块的像素点个数为m2；基于单个像素点的长度和斑块的像素点个数，计算每一帧斑块分割图像的斑块面积s＝m2*d；选择最大斑块面积作为最终的斑块面积；将最终的斑块面积加入图像参数集，并将斑块面积最大的一帧斑块分割图像传输至斑块体积计算单元。
颈动脉狭窄率计算单元被配置为：接收内外膜宽度最大的那一帧内外膜分割图像，对于该帧内外膜分割图像的图像矩阵中的每一行，计算行内所有内膜像素点之间的距离，选取每一行内的最大距离作为该行的内膜直径；在所有的内膜直径中选取小直径和最大直径，最小直径和最大直径的比值为颈动脉直径狭窄率。换句话说，从图像的第一个像素点开始，当遇到第一个内膜像素点时，在第一个内膜像素点向下做垂线，直至和另一内膜线相交，此线段视为颈动脉的直径(即内膜直径)，将图像矩阵的第一行遍历结束，得到所有的内膜直径，最小直径与最大直径的比值视为颈动脉直径狭窄率，并将颈动脉狭窄率加入图像参数集。
斑块体积计算单元被配置为：斑块的体积可以近似为一个椭圆球体，在斑块分割图像中，统计存在斑块的超声图像的帧数为f，每一帧代表的高度为h(h可从设备采集时得到)；接收斑块面积最大的那一帧斑块分割图像，在该帧图像中，以斑块分割的边界为标准，划定最小的可以完全包住斑块区域的矩形，矩形的长和宽即为斑块的长轴直径和短轴直径；基于斑块长轴直径、斑块短轴直径和存在斑块的超声图像的帧数，计算斑块体积为4πabc/3，其中，a为帧数f*h的一半，b为斑块长轴直径的一半，c为斑块短轴直径的一半；将斑块体积加入图像参数集。
颈动脉异常判断单元进行多特征融合分析，基于血流频谱形态、血流动力学参数、内外膜宽度、颈动脉狭窄率、以及斑块的类别、面积和体积，进行综合判断，检测得到颈动脉是否异常结果。
颈动脉异常判断单元被配置为：将血流频谱形态、血流动力学参数、内外膜宽度、颈动脉狭窄率、以及斑块的类别、面积和体积输入训练好的颈动脉异常检测模型，得到颈动脉是否异常结果。其中，颈动脉异常检测模型采用训练集训练基于神经网络的颈动脉异常检测模型得到，训练集包括血流动力学参数、内外膜宽度、颈动脉狭窄率、以及斑块的类别、面积和体积，及其对应的标注的颈动脉是否异常结果。
颈动脉异常判断单元将各个信息综合进行诊断，得到颈动脉是否存在异常，并在超声报告上输出结果，结果指的就是颈动脉是否正常。
颈动脉超声报告生成模块，用于基于图像参数集、斑块类别、血流频谱形态、血流动力学参数以及颈动脉是否异常结果，以设定的超声报告格式生成颈动脉超声报告。
作为这一种实施方式，超声报告还包括超声提示信息，超声提示信息根据综合信息采用设定的判定规则得到。
用户反馈模块，用于获取用户反馈信息，基于用户反馈信息更新超声报告，并基于用户反馈信息更新斑块类别识别模型、内外膜分割模型或斑块分割模型。其中，用户反馈信息为无修改、最终结论修改结果、内外膜分割图像修改结果和斑块分割图像修改结果中的一种或多种。
斑块分割图像、内外膜分割图像和超声报告一起反馈给用户，用户为了有效的减少错误率并提高人工智能系统的鲁棒性的指导意见，专家可通过直接修改最终结论从而修改超声报告信息，也可以通过修改斑块分割图像、内外膜分割图像从而指导参数分割修改报告信息。最终结论修改结果(用户修改斑块类别)作为反馈输入斑块类别识别模块，将修改斑块类别及其对应的颈动脉的多模态信息加入训练集，重新训练斑块类别识别模型，从而更新斑块类别识别模型参数；内外膜分割图像修改结果或斑块分割图像修改结果作为反馈输入内外膜分割单元或斑块分割单元，从而更新内外膜分割模型或斑块分割模型的参数。进一步提高模型训练的准确度。
显示设备，与处理器连接，用于显示所述内外膜分割图像、斑块分割图像和颈动脉超声报告。
本发明结合颈动脉图像的内中膜分割结果得到的斑块厚度信息得出超声报告结果单，起到智能辅助诊断的作用。专家可根据智能超声报告单得出自己的诊断结论，此结论可反馈指导报告单的结果，同时反馈指导斑块检测结果和内中膜分割结果。
本发明利用多模态半监督的方式进行颈动脉的筛查，在提高报告生成准确率的同时，减轻了医生的负担，提高了诊断的效率。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于多模态信息的颈动脉超声报告生成系统，其特征是，包括：
超声设备，用于采集待测颈动脉多模态信息，所述多模态信息包括超声图像、多普勒彩色血流图像、血流频谱形态和血流动力学参数；
处理器，连接所述超声设备，所述处理器包括：
斑块类别识别模块，用于将所述多模态信息输入斑块类别识别模型，得到待测颈动脉的斑块类别；
图像分割模块，用于根据斑块类别，将所述超声图像输入不同分割模型，得到分割图像集；
异常检测模块，用于基于分割图像集，计算图像参数集，并将图像参数集输入颈动脉异常检测模型，得到颈动脉是否异常结果；
颈动脉超声报告生成模块，用于基于图像参数集、斑块类别、血流频谱形态、血流动力学参数以及颈动脉是否异常结果，以设定的超声报告格式生成颈动脉超声报告。
2.如权利要求1所述的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述图像分割模块包括：
斑块类别判断单元，用于判断斑块类别是否属于无斑块，若是，则将超声图像输入内外膜分割单元，否则，则将超声图像输入内外膜分割单元和斑块分割单元；
内外膜分割单元，用于将超声图像输入内外膜分割模型得到内外膜分割图像，并将内外膜分割图像加入分割图像集；
斑块分割单元，用于将超声图像输入斑块分割模型得到斑块分割图像，并将斑块分割图像加入分割图像集。
3.如权利要求2所述的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述异常检测模块包括：
分割图像判断单元，用于判断分割图像集中是否存在所述斑块分割图像，若是，则将斑块分割图像输入斑块面积计算单元和斑块体积计算单元，同时，将内外膜分割图像输入内外膜宽度计算单元；否则，则将内外膜分割图像输入内外膜宽度计算单元。
4.如权利要求3所述的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述内外膜宽度计算单元被配置为：
基于所述超声图像的长度和像素点数，计算单个像素点的长度；
统计每一帧所述内外膜分割图像中内外膜的像素点个数；
基于单个像素点的长度和内外膜的像素点个数，计算每一帧内外膜分割图像的内外膜宽度；
选择最大内外膜宽度作为最终的内外膜宽度，加入图像参数集，并将内外膜宽度最大的一帧内外膜分割图像传输至颈动脉狭窄率计算单元。
5.如权利要求4所述的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述颈动脉狭窄率计算单元被配置为：
接收内外膜宽度最大的一帧内外膜分割图像，对于该帧图像的图像矩阵中的每一行，计算行内所有内膜像素点之间的距离，选取最大距离作为内膜直径；
在所有的内膜直径中选取小直径和最大直径，最小直径和最大直径的比值为颈动脉狭窄率，并将颈动脉狭窄率加入图像参数集。
6.如权利要求3所述的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述斑块面积计算单元被配置为：
基于所述超声图像的长度和像素点数，计算单个像素点的长度；
统计每一帧所述斑块分割图像中斑块的像素点个数；
基于单个像素点的长度和斑块的像素点个数，计算每一帧斑块分割图像的斑块面积；
选择最大斑块面积作为最终的斑块面积，加入图像参数集，并将斑块面积最大的一帧斑块分割图像传输至斑块体积计算单元。
7.如权利要求6的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述斑块体积计算单元被配置为：
在所述斑块分割图像中，统计存在斑块的超声图像的帧数；
接收斑块面积最大的一帧斑块分割图像，在该帧图像中，以斑块分割的边界为标准，划定最小的可以完全包住斑块区域的矩形，所述矩形的长为斑块长轴直径，所述矩形的宽为斑块短轴直径；
基于斑块长轴直径、斑块短轴直径和存在斑块的超声图像的帧数，计算斑块体积，并将斑块体积加入图像参数集。
8.如权利要求2的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述处理器还包括用户反馈模块，用于获取用户反馈信息，基于用户反馈信息更新所述斑块类别识别模型、内外膜分割模型或斑块分割模型。
9.如权利要求8的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，所述用户反馈信息为无修改、最终结论修改结果、内外膜分割图像修改结果和斑块分割图像修改结果中的一种或多种；
所述最终结论修改结果作为反馈输入所述斑块类别识别模块，将修改斑块类别及其对应的颈动脉的多模态信息加入训练集，重新训练斑块类别识别模型，从而更新斑块类别识别模型参数；
所述内外膜分割图像修改结果作为反馈输入所述内外膜分割单元，从而更新内外膜分割模型的参数；
所述斑块分割图像修改结果作为反馈输入所述斑块分割单元，从而更新斑块分割模型的参数。
10.如权利要求2的一种基于多模态信息的颈动脉超声报告生成系统，其特征是，还包括显示设备，与所述处理器连接，用于显示所述内外膜分割图像、斑块分割图像和颈动脉超声报告。
CN202111192140.XA 2021-10-13 2021-10-13 一种基于多模态信息的颈动脉超声报告生成系统 Active CN114052794B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111192140.XA CN114052794B (zh) 2021-10-13 2021-10-13 一种基于多模态信息的颈动脉超声报告生成系统
PCT/CN2022/117080 WO2023061104A1 (zh) 2021-10-13 2022-09-05 一种基于多模态信息的颈动脉超声报告生成系统
US18/024,320 US20230270404A1 (en) 2021-10-13 2022-09-05 Carotid artery ultrasonic examination report generation system based on multi-modal information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111192140.XA CN114052794B (zh) 2021-10-13 2021-10-13 一种基于多模态信息的颈动脉超声报告生成系统

Publications (2)

Publication Number Publication Date
CN114052794A true CN114052794A (zh) 2022-02-18
CN114052794B CN114052794B (zh) 2022-09-13

Family

ID=80234350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111192140.XA Active CN114052794B (zh) 2021-10-13 2021-10-13 一种基于多模态信息的颈动脉超声报告生成系统

Country Status (3)

Country Link
US (1) US20230270404A1 (zh)
CN (1) CN114052794B (zh)
WO (1) WO2023061104A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049642A (zh) * 2022-08-11 2022-09-13 合肥合滨智能机器人有限公司 一种颈动脉血管内中膜测量与斑块检测方法
WO2023061104A1 (zh) * 2021-10-13 2023-04-20 山东大学 一种基于多模态信息的颈动脉超声报告生成系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703798B (zh) * 2023-08-08 2023-10-13 西南科技大学 基于自适应干扰抑制的食管多模态内镜图像增强融合方法
CN117115187B (zh) * 2023-10-24 2024-02-09 北京联影智能影像技术研究院 颈动脉壁分割方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950388A (zh) * 2020-07-22 2020-11-17 上海市同仁医院 一种易损性斑块跟踪识别系统及方法
CN112215836A (zh) * 2020-10-22 2021-01-12 深圳市第二人民医院(深圳市转化医学研究院) 基于医学超声图像的颈动脉斑块检测方法及装置
CN112603363A (zh) * 2020-12-03 2021-04-06 中国人民解放军南部战区总医院 一种可穿戴式超声设备及其控制方法
CN113362360A (zh) * 2021-05-28 2021-09-07 上海大学 基于流体速度场的超声颈动脉斑块分割方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7727153B2 (en) * 2003-04-07 2010-06-01 Sonosite, Inc. Ultrasonic blood vessel measurement apparatus and method
US20110257545A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Imaging based symptomatic classification and cardiovascular stroke risk score estimation
KR20170091438A (ko) * 2016-02-01 2017-08-09 삼성메디슨 주식회사 초음파 영상 표시 방법 및 장치
CN108498088A (zh) * 2017-02-24 2018-09-07 上海裁云医疗科技有限公司 一种检测和分析脑动脉功能和状态的仪器
JP7252206B2 (ja) * 2017-08-17 2023-04-04 コーニンクレッカ フィリップス エヌ ヴェ 画像アーチファクト特定及び除去のための深層学習ネットワークを有する超音波システム
CN110310271B (zh) * 2019-07-01 2023-11-24 无锡祥生医疗科技股份有限公司 颈动脉斑块的性质判别方法、存储介质及超声装置
CN110491513A (zh) * 2019-08-26 2019-11-22 广州华科盈医疗科技有限公司 一种颈动脉检测系统、信息处理装置
US11386298B2 (en) * 2020-01-09 2022-07-12 International Business Machines Corporation Uncertainty guided semi-supervised neural network training for image classification
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法
CN114052794B (zh) * 2021-10-13 2022-09-13 山东大学 一种基于多模态信息的颈动脉超声报告生成系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950388A (zh) * 2020-07-22 2020-11-17 上海市同仁医院 一种易损性斑块跟踪识别系统及方法
CN112215836A (zh) * 2020-10-22 2021-01-12 深圳市第二人民医院(深圳市转化医学研究院) 基于医学超声图像的颈动脉斑块检测方法及装置
CN112603363A (zh) * 2020-12-03 2021-04-06 中国人民解放军南部战区总医院 一种可穿戴式超声设备及其控制方法
CN113362360A (zh) * 2021-05-28 2021-09-07 上海大学 基于流体速度场的超声颈动脉斑块分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAINAK BISWAS，ETC: "Two-stage artificial intelligence model for jointly measurement of atherosclerotic wall thickness and plaque burden in carotid ultrasound: A screening tool for cardiovascular/stroke risk assessment", 《COMPUTERS INBIOLOGYANDMEDICINE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061104A1 (zh) * 2021-10-13 2023-04-20 山东大学 一种基于多模态信息的颈动脉超声报告生成系统
CN115049642A (zh) * 2022-08-11 2022-09-13 合肥合滨智能机器人有限公司 一种颈动脉血管内中膜测量与斑块检测方法

Also Published As

Publication number Publication date
US20230270404A1 (en) 2023-08-31
WO2023061104A1 (zh) 2023-04-20
CN114052794B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN114052794B (zh) 一种基于多模态信息的颈动脉超声报告生成系统
EP3982292B1 (en) Method for training image recognition model, and method and apparatus for image recognition
EP3477589B1 (en) Method of processing medical image, and medical image processing apparatus performing the method
CN111214255B (zh) 一种医学超声图像计算机辅助方法
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
CN110189323A (zh) 一种基于半监督学习的乳腺超声图像病灶分割方法
CN111242921B (zh) 一种医学超声图像辅助诊断系统自动更新的方法及系统
CN112950737B (zh) 基于深度学习的眼底荧光造影图像生成方法
CN111739000A (zh) 一种提高多个心脏视图左心室分割精确度的系统及装置
CN111134727A (zh) 基于神经网络的静脉与动脉识别的穿刺引导系统
CN113569984A (zh) 脑灌注状态分类装置、方法、设备及存储介质
CN114863185A (zh) 一种轻量化超声心动图标准切面识别方法、装置和介质
CN116452579B (zh) 一种基于胸片图像的肺动脉高压智能评估方法和系统
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
WO2020087732A1 (zh) 基于神经网络的静脉与动脉识别方法与系统
CN115089112B (zh) 卒中后认知障碍风险评估模型建立方法、装置及电子设备
CN115359907A (zh) 在胸部x线片上筛查心脏疾病的智能诊断系统及方法
CN109192308A (zh) 一种周围动脉硬化的早期筛查系统
US11715211B2 (en) Methods and apparatuses for analyzing imaging data
CN113972004A (zh) 一种基于深度学习多模型融合肌骨超声诊断系统
CN117036302B (zh) 主动脉瓣膜钙化程度的确定方法和系统
CN111448614B (zh) 用于分析超声心动图的方法和装置
US20220338836A1 (en) System and method for guiding positioning and orienting of an ultrasound probe
US20230153996A1 (en) Ultrasound device and method for acquiring physiological parameter(s) thereby
Williams Automated Analysis of Ultrasound Images for the Assessment of Pelvic Floor Dysfunction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant