CN114219755A - 基于图像和临床数据的肺结核智能检测方法及系统 - Google Patents

基于图像和临床数据的肺结核智能检测方法及系统 Download PDF

Info

Publication number
CN114219755A
CN114219755A CN202111287280.5A CN202111287280A CN114219755A CN 114219755 A CN114219755 A CN 114219755A CN 202111287280 A CN202111287280 A CN 202111287280A CN 114219755 A CN114219755 A CN 114219755A
Authority
CN
China
Prior art keywords
data
medical history
intelligent
images
tuberculosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111287280.5A
Other languages
English (en)
Other versions
CN114219755B (zh
Inventor
王威
张锡林
龙显荣
邓东华
林炳耀
叶一农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Fourth People's Hospital (foshan Tuberculosis Control Institute)
Original Assignee
Foshan Fourth People's Hospital (foshan Tuberculosis Control Institute)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Fourth People's Hospital (foshan Tuberculosis Control Institute) filed Critical Foshan Fourth People's Hospital (foshan Tuberculosis Control Institute)
Priority to CN202111287280.5A priority Critical patent/CN114219755B/zh
Publication of CN114219755A publication Critical patent/CN114219755A/zh
Application granted granted Critical
Publication of CN114219755B publication Critical patent/CN114219755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了一种基于图像和临床数据的肺结核智能检测方法及系统。该方法通过获取待处理目标的医学图像和临床数据；临床数据包括病史数据和生化数据；对病史数据和生化数据进行编码，得到病史数据向量和生化数据向量；对医学图像、病史数据向量和生化数据向量进行多模态数据耦合，得到多维度特征图序列组；将多维度特征图序列组输入到自注意力网络，叠加自注意力网络的输出得到特征数据；根据特征数据，得到待处理目标的肺结核检测结果。该方法良好地将图像数据和临床数据的特征融合，用于实现肺结核的智能检测，能够显著提高肺结核的检测精度，有利于辅助完成诊断工作，减轻医师的工作负担。本申请可广泛应用于医学影像处理技术领域内。

Description

基于图像和临床数据的肺结核智能检测方法及系统
技术领域
本申请涉及医学影像处理技术领域，尤其是一种基于图像和临床数据的肺结核智能检测方法及系统。
背景技术
肺结核是一种经呼吸道传播的慢性传染病，胸部X光(CXR)影像检查是临床一线筛查肺结核的无创医学影像手段。临床实践中，基于CXR的肺结核筛查主要依靠临床医生阅片判断病灶的影像特征，辨别准确度高度依赖医生主观经验和图像质量，阅片时间延长，日常患者量多等，使临床医生面临加大工作量、增加工作时长，不同资历医生阅片结果存在差异等问题。导致以上问题的原因主要有以下两点，首先，CXR图像为单张2维图像，通过采集单次照射X射线穿透检查部位的射线量生成影像，导致胸部不同器官的射线吸收率差异叠加，器官成像叠加，增加人工辨别难度；其次，肺结核病灶的医学影像特征差异大，容易与胸部其他疾病病灶特征混淆。而随着计算机视觉技术的发展，计算机辅助检测技术能够有效减轻医师的工作负担，辅助完成基于医学图像的疾病判断，同时也提高了疾病判断的稳定性和效率，优化诊断流程。
但是，相关技术对于人工智能技术在肺结核临床筛查的应用中，还有以下问题亟需解决：(1)活动性肺结核CXR数据的获取和利用上，依然难以实现利用人工智能技术高准确度区分肺结核与其他肺部病灶；(2)无法良好模拟临床诊断过程中医生基于信息特征实现诊断推理的过程，以上是目前人工智能技术在肺结核筛查应用的瓶颈，不利于人工智能技术实现嵌入临床实践流程。因此，有必要提供改进的技术方案以克服相关技术中存在的技术问题。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此，本申请实施例的一个目的在于提供一种基于图像和临床数据的肺结核智能检测方法，该方法良好地将图像数据和临床数据融合，用于实现肺结核的智能检测，能够显著提高肺结核的检测精度。
本申请实施例的另一个目的在于提供基于图像和临床数据的肺结核智能检测系统。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
第一方面，本申请实施例提供了一种基于图像和临床数据的肺结核智能检测方法，所述方法包括以下步骤：
获取待处理目标的医学图像和临床数据；所述临床数据包括病史数据和生化数据；
对所述病史数据和所述生化数据进行编码，得到病史数据向量和生化数据向量；
对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组；
将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据；
根据所述特征数据，得到所述待处理目标的肺结核检测结果。
另外，根据本申请上述实施例的基于图像和临床数据的肺结核智能检测方法，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，对所述病史数据进行编码，得到病史数据向量，包括：
获取预先建立的词库；
对所述病史数据进行分词处理，得到多个词组；
根据所述词组在词库中对应的向量，确定所述病史数据向量。
进一步地，在本申请的一个实施例中，所述对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组，包括：
对所述医学图像和所述病史数据向量进行卷积分，得到第一数据，对所述医学图像和所述生化数据向量进行卷积分，得到第二数据；
对所述第一数据和所述第二数据进行叠加，得到第三数据；
采用多个不同维度的卷积核对所述第三数据依次进行下采样，得到多个对应维度的特征图；
采用多个不同维度的卷积核对所述医学图像进行扫掠采样，得到多个对应维度的像素序列组；
根据对应卷积核的所述维度，对所述特征图和所述像素序列组进行点乘，得到所述多维度特征图序列组。
进一步地，在本申请的一个实施例中，所述方法还包括：
采用位置编码函数，根据所述医学图像的尺度和卷积核的维度，对不同维度的特征图序列组进行位置编码。
进一步地，在本申请的一个实施例中，所述将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据，包括：
将所述多维度特征图序列组输入到编码解码网络，所述编码解码网络中包括有多个维度对应的自注意力网络；
按照不同维度，将特征图序列组输入到对应的自注意力网络中，对所述特征图序列组进行线性变换投影，并叠加得到所述特征数据。
进一步地，在本申请的一个实施例中，所述根据所述特征数据，得到所述待处理目标的肺结核检测结果，包括：
将所述特征数据输入到回归网络中，得到所述待处理目标的肺结核判定概率。
进一步地，在本申请的一个实施例中，所述根据所述特征数据，得到所述待处理目标的肺结核检测结果，还包括：
将所述特征数据输入到分类网络中，得到所述待处理目标的肺结核区域检测结果和肺结核判定概率。
第二方面，本申请实施例提供了一种基于图像和临床数据的肺结核智能检测系统，所述系统包括：
获取模块，用于获取待处理目标的医学图像和临床数据；所述临床数据包括病史数据和生化数据；
编码模块，用于对所述病史数据和所述生化数据进行编码，得到病史数据向量和生化数据向量；
耦合模块，用于对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组；
处理模块，用于将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据；
检测模块，用于根据所述特征数据，得到所述待处理目标的肺结核检测结果。
第三方面，本申请实施例提供了一种计算机设备，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现第一方面所述的基于图像和临床数据的肺结核智能检测方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现第一方面所述的基于图像和临床数据的肺结核智能检测方法。
本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本申请实施例中提供的基于图像和临床数据的肺结核智能检测方法，该方法通过获取待处理目标的医学图像和临床数据；所述临床数据包括病史数据和生化数据；对所述病史数据和所述生化数据进行编码，得到病史数据向量和生化数据向量；对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组；将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据；根据所述特征数据，得到所述待处理目标的肺结核检测结果。该方法良好地将图像数据和临床数据的特征融合，用于实现肺结核的智能检测，能够显著提高肺结核的检测精度，有利于辅助完成诊断工作，减轻医师的工作负担。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请一种基于图像和临床数据的肺结核智能检测方法的实施环境示意图；
图2为本申请一种基于图像和临床数据的肺结核智能检测方法具体实施例的流程示意图；
图3为本申请一种基于图像和临床数据的肺结核智能检测系统具体实施例的结构示意图；
图4为本申请一种基于图像和临床数据的肺结核智能检测装置具体实施例的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
当下，随着计算机视觉技术的发展，计算机辅助检测技术能够有效减轻医师的工作负担，辅助他们完成基于医学影像的疾病判断，同时也提高了疾病判断的稳定性和效率，优化诊断流程。例如，肺结核病是一种经呼吸道传播的慢性传染病，近年来，由于多发耐药结核，结核菌与艾滋病毒的双重感染和流动人口增多，结核病疫情出现回升，严重危害着广大人民群众的身体健康，已成为重大的公共卫生问题和社会问题。胸部X光(CXR)影像检查是临床一线筛查肺结核的无创医学影像手段。临床实践中，基于CXR的肺结核筛查主要依靠临床医生阅片判断病灶的影像特征，辨别准确度高度依赖医生主观经验和图像质量，阅片时间延长，日常患者量多等，使临床医生面临加大工作量、增加工作时长，不同资历医生阅片结果存在差异等问题。导致以上问题的原因主要有以下两点，首先，CXR图像为单张2维图像，通过采集单次照射X射线穿透检查部位的射线量生成影像，导致胸部不同器官的射线吸收率差异叠加，器官成像叠加，增加人工辨别难度；其次，肺结核病灶的医学影像特征差异大，容易与胸部其他疾病病灶特征混淆。而随着计算机视觉技术的发展，计算机辅助检测技术能够有效减轻医师的工作负担，辅助完成基于医学图像的疾病判断，同时也提高了疾病判断的稳定性和效率，优化诊断流程。
但是，相关技术对于人工智能技术在肺结核临床筛查的应用中，还有以下问题亟需解决：(1)活动性肺结核CXR数据的获取和利用上，依然难以实现利用人工智能技术高准确度区分肺结核与其他肺部病灶；(2)无法良好模拟临床诊断过程中医生基于信息特征实现诊断推理的过程，以上是目前人工智能技术在肺结核筛查应用的瓶颈，不利于人工智能技术实现嵌入临床实践流程。因此，有必要提供改进的技术方案以克服相关技术中存在的技术问题。
请参照图1，图1是本申请实施例提供的方法的一种实施环境的示意图。图1中，该实施环境包括操作终端101、服务器102和肺结核智能检测装置103，操作终端101与服务器102通信连接。其中，肺结核智能检测装置103可以设置于操作终端101，也可以设置于服务器102，可以根据实际应用情况进行适当的选择，本实施例对此并不作具体限定，图1中以肺结核智能检测装置103设置于操作终端101为例进行说明。
本申请实施例中，操作终端101可以包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。可选地，操作终端101上安装有服务客户端，用户可以通过服务客户端使用操作终端101所提供的各种服务。当肺结核智能检测装置103设置于操作终端101，操作终端101可以根据用户通过服务客户端进行的操作执行本申请中的方法，对目标用户进行肺结核检测；或者，当肺结核智能检测装置103设置于服务器102，操作终端101可以根据用户通过服务客户端进行的操作，向服务器102发送对应的操作指令，使得服务器102执行本申请中的方法，对目标用户进行肺结核检测，并将检测结果返回给操作终端101显示。
服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例中的方法可以应用在计算机设备上，具体可以是以程序代码的形式被存储在计算机设备的存储器中，并通过相关的处理器执行来实现，本申请实施例中，以上述的方法在计算机设备中执行为例对其进行介绍和说明。当然，该方法也可以在其他类型的终端设备或者服务器中被执行，其实现原理和前述的计算机设备类似，在此不再一一赘述。
具体地，请参照图2，本申请中的方法主要包括步骤110至步骤150：
步骤110、获取待处理目标的医学图像和临床数据；所述临床数据包括病史数据和生化数据；
本步骤中，在执行本申请实施例中的方法时，可以采用相关的医学设备采集待处理目标的胸部X光图像(CXR图像)。具体地，例如可以在待处理目标的正面采集，得到正位医学图像，相对于侧位医学图像来说，正位医学图像重叠组织干扰的情况较轻，可以提供更多有效的诊断信息。需要说明的是，本申请实施例中，对于医学图像的实际获取渠道不作限定，在一些实施例中，可以是直接从相关的图像采集设备得到的；在一些实施例中，也可以是通过通信传输从其他的软硬件中得到的。并且，在一些实施例中，还可以对获取的医学图像进行预处理，以提高图像质量，方便后续的定位分析处理。具体地，预处理的内容可以包括图像压缩处理、尺度归一化处理和直方图均衡化处理中的至少一种。
本步骤中，还获取待处理目标的病史数据和生化数据，其中，病史数据可以包括目标之前检测所确定的各种病种的类型信息，生化数据可以包括目标的各项生理检测数据。
根据临床实践的诊断逻辑，病史数据与医学影像中的病灶分布和类型存在相关性，生化数据对于病灶关联的病种类别具有区别作用，利用多模态、多维度的信息建立具有推理性能的人工神经网络，可以更好地完成肺结核智能检测任务。
步骤120、对所述病史数据和所述生化数据进行编码，得到病史数据向量和生化数据向量；
本步骤中，可以对病史数据和生化数据进行编码，将这些数据转换为更好处理的格式。例如，可以将其转换为向量形式，分别记为病史数据向量和生化数据向量。具体地，本申请实施例中，针对病史数据，可以预先提取常见词组成词库的方式构建关联词库，然后采用编码方式对词库的所有词组进行编码，组成映射词组的向量组。在后续对病史数据进行编码时，可以获取预先建立的词库，对病史数据进行分词处理，得到多个词组，然后根据词组在词库中对应的向量，通过加权或者拼接的方式确定病史数据向量。针对生化数据，可以直接采用原始数据，按照常规的名称排序，构建得到生化数据向量。
需要说明的是，本申请实施例中，基于人工智能模型实现肺结核的智能检测，因此需要与原始数据对应的标签数据，作为训练模型参数的训练数据集。具体地，针对医学图像数据，可以采用分割的方法对病灶感兴趣区域进行分割，将分割后得到的病灶区域保存并标记为对应病灶类型，从而得到标签数据；在训练模型阶段，医学图像的标签可以为病灶分类，病史数据和生化数据的标签可以进一步细分为活动性肺结合和非活动性肺结核。
步骤130、对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组；
本步骤中，可以对医学图像、病史数据向量和生化数据向量进行多模态数据耦合，得到多维度特征图序列组。具体地，该步骤可以基于以下的步骤实现：
对所述医学图像和所述病史数据向量进行卷积分，得到第一数据，对所述医学图像和所述生化数据向量进行卷积分，得到第二数据；
对所述第一数据和所述第二数据进行叠加，得到第三数据；
采用多个不同维度的卷积核对所述第三数据依次进行下采样，得到多个对应维度的特征图；
采用多个不同维度的卷积核对所述医学图像进行扫掠采样，得到多个对应维度的像素序列组；
根据对应卷积核的所述维度，对所述特征图和所述像素序列组进行点乘，得到所述多维度特征图序列组。
本申请实施例中，在对多渠道数据进行耦合时，可以构建卷积神经网络，将医学图像数据分别与病史数据向量和生化数据向量进行卷积分后叠加，其中，对医学图像数据和病史数据向量进行卷积分得到的数据可以记为第一数据，对医学图像数据和生化数据向量进行卷积分得到的数据可以记为第二数据；然后对第一数据和第二数据进行叠加，得到第三数据。然后，依次采用维度自小到大的卷积核Ki(i＝1，2，…，k，k为正整数)对第三数据进行下采样，得到多个维度的特征图Ti(i＝1，2，…，k)。并将医学图像数据按照卷积核的维度Ki(i＝1，2，…，k)进行扫掠采样，得到k组Ki×Ki×HW/Ki^2(i＝1，2，…，k)的像素序列组，其中，Ki表示卷积核的维度，H表示医学图像的长，W表示医学图像的宽。进而，按照对应的卷积核维度，对特征图Ti和像素序列组进行点乘，得到k组相似性特征序列，即构成多维度特征图序列组。
在一些实施例中，得到多维度特征图序列组后，为方便后续的数据处理过程，还可以按照每个特征图序列组对应的卷积核维度，对其进行位置编码预处理。具体地，可以采用位置编码函数，根据医学图像的长，宽(H，W)和卷积核的维度构建sine和cosine函数，对不同维度对应的特征图序列组的每个像素组(patch)进行位置编码，从而完成数据预处理。
步骤140、将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据；
本步骤中，将所述多维度特征图序列组输入到自注意力网络中，提取得到特征数据。具体地，提取时可以采用的网络结构可以是编码解码(encoder-decoder)网络。即多维度特征图序列组输入encoder-decoder网络。其中，在encoder路径，将不同维度的特征图序列组分别输入对应的自注意力网络SAi(i＝1，2，…，k)，分别输出每个不同维度的特征图序列组中每个patch的线性变换的投影，接着通过全连接卷积层输出，并叠加得到encoder对该维度的特征图序列组的输出Zi(i＝1，2，…，k)。在decoder路径中，训练网络时，需要将医学图像对应的标签按照病灶类型排列，并与病灶的类别编码进行卷积后根据卷积核的维度生成类似的序列组，进而将不同维度的序列组分别输入对应的自注意力网络SAi(i＝1，2，…，k)，分别输出每个不同维度的序列组中每个patch的线性变换的投影，通过全连接卷积层输出并叠加组成输出OZi(i＝1，2，…，k)。根据OZi和encoder路径的输出Zi，可以对模型的参数进行调整，从而得到训练好的编码解码网络。
步骤150、根据所述特征数据，得到所述待处理目标的肺结核检测结果。
本步骤中，可以基于各类模型，根据提取到的特征数据，得到待处理目标的肺结核检测结果。具体地，例如在一些实施例中，可以将前面提取得到的特征数据输入到回归网络中，得到待处理目标的肺结核判定概率；在一些实施例中，还可以将特征数据输入到分类网络中，得到待处理目标的肺结核区域检测结果和肺结核判定概率。此处的网络可以选择人工神经网络、整合移动平均自回归模型、支持向量机，逻辑回归及基于Xgboost算法的模型中的任一种，但不局限于此，并且可以利用基于公开的数据集预训练这些网络模型。
下面参照附图详细描述根据本申请实施例提出的基于图像和临床数据的肺结核智能检测系统。
参照图3，本申请实施例中提出的基于图像和临床数据的肺结核智能检测系统，系统包括：
获取模块201，用于获取待处理目标的医学图像和临床数据；所述临床数据包括病史数据和生化数据；
编码模块202，用于对所述病史数据和所述生化数据进行编码，得到病史数据向量和生化数据向量；
耦合模块203，用于对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组；
处理模块204，用于将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据；
检测模块205，用于根据所述特征数据，得到所述待处理目标的肺结核检测结果。
可以理解的是，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图4，本申请实施例提供了基于图像和临床数据的肺结核智能检测装置，包括：
至少一个处理器301；
至少一个存储器302，用于存储至少一个程序；
当至少一个程序被至少一个处理器301执行时，使得至少一个处理器301实现的基于图像和临床数据的肺结核智能检测方法。
同理，上述方法实施例中的内容均适用于本基于图像和临床数据的肺结核智能检测装置实施例中，本基于图像和临床数据的肺结核智能检测装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器301可执行的程序，处理器301可执行的程序在由处理器301执行时用于执行上述的基于图像和临床数据的肺结核智能检测方法。
同理，上述方法实施例中的内容均适用于本计算机可读存储介质实施例中，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于图像和临床数据的肺结核智能检测方法，其特征在于，包括以下步骤：
获取待处理目标的医学图像和临床数据；所述临床数据包括病史数据和生化数据；
对所述病史数据和所述生化数据进行编码，得到病史数据向量和生化数据向量；
对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组；
将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据；
根据所述特征数据，得到所述待处理目标的肺结核检测结果。
2.根据权利要求1所述的基于图像和临床数据的肺结核智能检测方法，其特征在于：对所述病史数据进行编码，得到病史数据向量，包括：
获取预先建立的词库；
对所述病史数据进行分词处理，得到多个词组；
根据所述词组在词库中对应的向量，确定所述病史数据向量。
3.根据权利要求1所述的基于图像和临床数据的肺结核智能检测方法，其特征在于，所述对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组，包括：
对所述医学图像和所述病史数据向量进行卷积分，得到第一数据，对所述医学图像和所述生化数据向量进行卷积分，得到第二数据；
对所述第一数据和所述第二数据进行叠加，得到第三数据；
采用多个不同维度的卷积核对所述第三数据依次进行下采样，得到多个对应维度的特征图；
采用多个不同维度的卷积核对所述医学图像进行扫掠采样，得到多个对应维度的像素序列组；
根据对应卷积核的所述维度，对所述特征图和所述像素序列组进行点乘，得到所述多维度特征图序列组。
4.根据权利要求3所述的基于图像和临床数据的肺结核智能检测方法，其特征在于，所述方法还包括：
采用位置编码函数，根据所述医学图像的尺度和卷积核的维度，对不同维度的特征图序列组进行位置编码。
5.根据权利要求1所述的基于图像和临床数据的肺结核智能检测方法，其特征在于，所述将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据，包括：
将所述多维度特征图序列组输入到编码解码网络，所述编码解码网络中包括有多个维度对应的自注意力网络；
按照不同维度，将特征图序列组输入到对应的自注意力网络中，对所述特征图序列组进行线性变换投影，并叠加得到所述特征数据。
6.根据权利要求1-5中任一项所述的基于图像和临床数据的肺结核智能检测方法，其特征在于，所述根据所述特征数据，得到所述待处理目标的肺结核检测结果，包括：
将所述特征数据输入到回归网络中，得到所述待处理目标的肺结核判定概率。
7.根据权利要求6所述的基于图像和临床数据的肺结核智能检测方法，其特征在于，所述根据所述特征数据，得到所述待处理目标的肺结核检测结果，还包括：
将所述特征数据输入到分类网络中，得到所述待处理目标的肺结核区域检测结果和肺结核判定概率。
8.一种基于图像和临床数据的肺结核智能检测系统，其特征在于，包括：
获取模块，用于获取待处理目标的医学图像和临床数据；所述临床数据包括病史数据和生化数据；
编码模块，用于对所述病史数据和所述生化数据进行编码，得到病史数据向量和生化数据向量；
耦合模块，用于对所述医学图像、所述病史数据向量和所述生化数据向量进行多模态数据耦合，得到多维度特征图序列组；
处理模块，用于将所述多维度特征图序列组输入到自注意力网络，叠加所述自注意力网络的输出得到特征数据；
检测模块，用于根据所述特征数据，得到所述待处理目标的肺结核检测结果。
9.一种基于图像和临床数据的肺结核智能检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的基于图像和临床数据的肺结核智能检测方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的基于图像和临床数据的肺结核智能检测方法。
CN202111287280.5A 2021-11-02 2021-11-02 基于图像和临床数据的肺结核智能检测方法及系统 Active CN114219755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111287280.5A CN114219755B (zh) 2021-11-02 2021-11-02 基于图像和临床数据的肺结核智能检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111287280.5A CN114219755B (zh) 2021-11-02 2021-11-02 基于图像和临床数据的肺结核智能检测方法及系统

Publications (2)

Publication Number Publication Date
CN114219755A true CN114219755A (zh) 2022-03-22
CN114219755B CN114219755B (zh) 2024-09-13

Family

ID=80696457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111287280.5A Active CN114219755B (zh) 2021-11-02 2021-11-02 基于图像和临床数据的肺结核智能检测方法及系统

Country Status (1)

Country Link
CN (1) CN114219755B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统
CN115148323A (zh) * 2022-09-06 2022-10-04 北京鹰瞳科技发展股份有限公司 基于医学图像进行疾病预测的装置、方法和可读存储介质
CN117237351A (zh) * 2023-11-14 2023-12-15 腾讯科技（深圳）有限公司 一种超声图像分析方法以及相关装置
CN118503921A (zh) * 2024-07-22 2024-08-16 徐州医科大学 一种基于多模态数据的小儿肺炎智能分类方法
CN118503921B (zh) * 2024-07-22 2024-11-05 徐州医科大学 一种基于多模态数据的小儿肺炎智能分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766682A (zh) * 2019-10-29 2020-02-07 慧影医疗科技（北京）有限公司 肺结核定位筛查装置及计算机设备
CN111754453A (zh) * 2020-05-11 2020-10-09 佛山市第四人民医院(佛山市结核病防治所) 基于胸透图像的肺结核检测方法、系统和存储介质
US20210327055A1 (en) * 2020-04-17 2021-10-21 Qure.Ai Technologies Private Limited Systems and methods for detection of infectious respiratory diseases

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766682A (zh) * 2019-10-29 2020-02-07 慧影医疗科技（北京）有限公司 肺结核定位筛查装置及计算机设备
US20210327055A1 (en) * 2020-04-17 2021-10-21 Qure.Ai Technologies Private Limited Systems and methods for detection of infectious respiratory diseases
CN111754453A (zh) * 2020-05-11 2020-10-09 佛山市第四人民医院(佛山市结核病防治所) 基于胸透图像的肺结核检测方法、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫明艳;陈根铭;赖超;陈智红;祝君兰;李娇;董淑雯;成官迅;: "人工智能对肺结核患者病变检出及定性诊断价值研究", 新发传染病电子杂志, no. 04, 30 November 2018 (2018-11-30) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统
CN115148323A (zh) * 2022-09-06 2022-10-04 北京鹰瞳科技发展股份有限公司 基于医学图像进行疾病预测的装置、方法和可读存储介质
CN115148323B (zh) * 2022-09-06 2022-12-20 北京鹰瞳科技发展股份有限公司 基于医学图像进行疾病预测的装置、方法和可读存储介质
CN117237351A (zh) * 2023-11-14 2023-12-15 腾讯科技（深圳）有限公司 一种超声图像分析方法以及相关装置
CN117237351B (zh) * 2023-11-14 2024-04-26 腾讯科技（深圳）有限公司 一种超声图像分析方法以及相关装置
CN118503921A (zh) * 2024-07-22 2024-08-16 徐州医科大学 一种基于多模态数据的小儿肺炎智能分类方法
CN118503921B (zh) * 2024-07-22 2024-11-05 徐州医科大学 一种基于多模态数据的小儿肺炎智能分类方法

Also Published As

Publication number Publication date
CN114219755B (zh) 2024-09-13

Similar Documents

Publication Publication Date Title
Arabahmadi et al. Deep learning for smart Healthcare—A survey on brain tumor detection from medical imaging
CN114219755B (zh) 基于图像和临床数据的肺结核智能检测方法及系统
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
CN112735570B (zh) 影像驱动的脑图谱构建方法、装置、设备及存储介质
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
Muhammad et al. Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems
Vania et al. Intervertebral disc instance segmentation using a multistage optimization mask-RCNN (MOM-RCNN)
Sikka et al. MRI to FDG-PET: cross-modal synthesis using 3D U-Net for multi-modal Alzheimer’s classification
CN116681679A (zh) 基于双分支特征融合注意的医学图像小目标分割方法
Liu et al. Disentangled representations for domain-generalized cardiac segmentation
CN117237351B (zh) 一种超声图像分析方法以及相关装置
Sarica et al. A dense residual U-net for multiple sclerosis lesions segmentation from multi-sequence 3D MR images
Zhang et al. LungSeek: 3D Selective Kernel residual network for pulmonary nodule diagnosis
Mohite et al. Deep features based medical image retrieval
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
Ghali et al. Vision transformers for lung segmentation on CXR images
Das et al. Attention-UNet architectures with pretrained backbones for multi-class cardiac MR image segmentation
CN117633558A (zh) 基于视觉语言模型的多激励融合零样本病变检测方法
CN116705297B (zh) 一种基于多信息处理的颈动脉检测仪
CN115089112B (zh) 卒中后认知障碍风险评估模型建立方法、装置及电子设备
Mansouri Musolu et al. Deep learning and its applications in medical imaging
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Zhao et al. VCMix-Net: A hybrid network for medical image segmentation
Nida et al. A Novel Region‐Extreme Convolutional Neural Network for Melanoma Malignancy Recognition
Afnaan et al. VisioRenalNet: Spatial Vision Transformer UNet for enhanced T2-Weighted Kidney MRI Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 528041 No. 106, Lanshi Jinlan South Road, Chancheng District, Foshan City, Guangdong Province

Applicant after: Foshan Fourth People's Hospital (Foshan Health Emergency Hospital)

Address before: 528041 No. 106, Lanshi Jinlan South Road, Chancheng District, Foshan City, Guangdong Province

Applicant before: Foshan Fourth People's Hospital (Foshan Tuberculosis Control Institute)

Country or region before: China

GR01 Patent grant
GR01 Patent grant