CN106909778A - 一种基于深度学习的多模态医学影像识别方法及装置 - Google Patents

一种基于深度学习的多模态医学影像识别方法及装置 Download PDF

Info

Publication number
CN106909778A
CN106909778A CN201710071847.2A CN201710071847A CN106909778A CN 106909778 A CN106909778 A CN 106909778A CN 201710071847 A CN201710071847 A CN 201710071847A CN 106909778 A CN106909778 A CN 106909778A
Authority
CN
China
Prior art keywords
medical image
lesion region
multimodal
image
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710071847.2A
Other languages
English (en)
Other versions
CN106909778B (zh
Inventor
季红
高玥
高佳
张秀玲
刘海伦
沈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEJING COMPUTING CENTER
Original Assignee
BEJING COMPUTING CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEJING COMPUTING CENTER filed Critical BEJING COMPUTING CENTER
Priority to CN201710071847.2A priority Critical patent/CN106909778B/zh
Publication of CN106909778A publication Critical patent/CN106909778A/zh
Application granted granted Critical
Publication of CN106909778B publication Critical patent/CN106909778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06F19/321—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于深度学习的多模态医学影像识别方法，包括：基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像在同一三维空间内显示，基于多模态医学影像利用R‑CNN，识别多模态医学影像中的病变区域，根据病变区域在多模态医学影像中的坐标在同一三维空间内显示病变体，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。本发明提供一种基于深度学习的多模态医学影像识别装置，包括：多模态医学影像显示模块，病变区域检测模块，病变体显示模块，预设病种发生概率模块。本发明实现了医学影像中病变区域的自动识别，并为医生的进一步诊断提供了有效的参考数据。

Description

一种基于深度学习的多模态医学影像识别方法及装置
技术领域
本发明涉及图像处理领域，更具体地，涉及基于深度学习的多模态医学影像识别方法及装置。
背景技术
目前，随着精准医疗及大数据时代的来临，除了诊断文字信息外，影像数据的分析及应用已经成为临床医学更为核心的环节之一。医护人员根据需要对这些医学影像进行人工识别，以对相应病患进行诊断。由于医院每日的医学影像数量成千上万，工作量极大，诊断效率较低。为了减少医护人员的工作量，现急需一种医学影像识别方法。
中国发明专利“CN 104866727 A基于深度学习对医疗数据进行分析的方法及其智能分析仪”通过深度学习的方法对文本诊断数据及二维图像数据进行了分析，提供了基于深度神经网络对医疗数据进行科学分析的方法并发明了一种计算机装置为医院及医学机构更好的服务。该发明中采用了深度神经网络的对文字信息和图像信息进行了训练，从而为医生减轻负担，辅助医生做出正确的判断。但该发明仍存在以下问题：其一，虽然考虑了文字信息与医学影像信息的关联，但未考虑多类医学影像在空间位置上的关系；其二，虽然影像数据通过深度神经网络进行了分析，但是算法没有进行改良，在不同大小图像进行统一尺寸输入的时候，丢失了很多信息，在实际使用时不能很好的得到精度；其三，缺少临床决策功能。由于文中的医疗文本数据与二维影像数据之间的逻辑关系、及信息融合的方法并不明确。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的多模态医学影像识别方法及装置。
根据本发明的一个方面，提供一种基于深度学习的多模态医学影像识别方法，该方法包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用Regions with Convolutional neural network(R-CNN)，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和Convolutional Neural Network(CNN)获取各预设病种的发生概率。
根据本发明的另一个方面，提供一种基于深度学习的多模态医学影像识别装置，该装置包括：多模态医学影像显示模块，用于基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；病变区域检测模块，用于基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；病变体显示模块，用于根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；预设病种发生概率模块，用于根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。
本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。
附图说明
图1为根据本发明实施例基于深度学习的多模态医学影像识别方法的流程图；
图2为本发明本实施例肺部CT影像和X射线影像在同一三维空间内显示的示意图；
图3为根据本发明实施例获取的ROI区域或疑似ROI区域示意图；
图4为根据本发明实施例病变区域的识别过程示意图；
图5为根据本发明实施例确诊的病变区域对应的图像块利用稠密采样方法和CNN获取的各预设病种的发生概率的示意图；
图6为根据本发明实施例基于患者的医生信息、病历信息和治疗方案与各预设病种的发生概率利用多源异构数据融合获取更精确的各预设病种的发生概率的示意图；
图7为根据本发明实施例基于深度学习的多模态医学影像识别装置的示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1的本发明实施例基于深度学习的多模态医学影像识别方法的流程图所示，本发明一个方面提供一种基于深度学习的多模态医学影像识别方法，该方法包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。
在本实施例中，为了保证医疗数据及算法的安全性，采取C/S和B/S进行架构。对于高访问量并发及高计算量并行时，需要CPU/GPU具有高稳定性。其中GPU用于图像矩阵的矢量计算，每块显卡计算能力要求大于等于2.0。同时，本发明使用Spark进行多源异构数据融合方法的并行计算，提高准确性及有效性。
本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。
作为一种可选实施例，所述步骤S1进一步包括：对所述多模态医学影像分别提取对应的图像边缘特征、形状特征、颜色特征以及局部特征；根据所述图像边缘特征、形状特征、颜色特征以及局部特征进行所述多模态医学影像的自动匹配，将多模态医学影像显示在同一三维空间内。
作为一种可选实施例，所述S2进一步包括：对所述序列断层医学影像进行预处理并分割，获取病变感兴趣区域(Region Of Interest,ROI)或疑似病变感兴趣区域；基于ROI区域或疑似ROI区域利用R-CNN识别病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述序列断层医学影像中的坐标。
作为一种可选实施例，所述步骤S4进一步包括：基于预设病种的医学影像中病变区域对应的图像块，利用深度学习中改进的CNN模型进行训练，得到预设病种发生概率模型；若输入为自动检测出的病变区域对应的图像块，对其进行均值处理；或者若输入为医生在医学影像上手动标注的病变区域对应的图像块，对所述手动标注的病变区域对应的图像块根据标注边框的中心位置进行稠密采样，对采样后的病变区域对应的图像块进行所述均值处理；将均值处理后的病变区域对应的图像块输入预设病种发生概率模型，获取各预设病种的发生概率。
作为一种可选实施例，在所述步骤S1之前还包括：根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库；根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；查询多模态影像可视化数据库获取所述患者待检测部位的多模态医学影像，其中，所述多模态医学影像包括序列断层医学影像；查询医疗文本信息可视化数据库获取所述患者的医生信息、病历信息和治疗方案。
作为一种可选实施例，在所述步骤S4之后还包括：基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。
作为一种可选实施例，在所述获取更精确的各预设病种的发生概率之后包括：根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
基于上述方法，本发明提供一种基于深度学习的多模态医学影像识别方法的实施例，该方法包括：
S101,根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库；
S102,根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；
其中，在建立文本数据库时，可通过聚类、贝叶斯统计方法、SVM、LDA分类器或者深度置信网络方法，对N个预设病种进行详细的分析。具体地，将每份病历中的关键词进行提取，并统计每份病例中关键词的出现次数，按照病历索引生成线性向量，之后通过SVM分类器，对该病种的进行训练生成一份关于该病种内N个分类。另一方面，也可以考虑使用线性回归或者聚类等方法，求解某种疾病与K个病症的相关系数，从而通过待诊断患者疾病的病症向量判定各种疾病发生的可能性，从而辅助医生诊断。此外，这些数据生成后，可以按照每类疾病与K个病症的相关系数，画出柱形或饼形图的图表的形式，方便用户查看，及之后再多源异构信息融合的时候使用。
S103,查询多模态影像可视化数据库获取所述患者待检测部位的多模态医学影像，其中，所述多模态医学影像包括序列断层医学影像；
S104,查询医疗文本信息可视化数据库获取所述患者的医生信息、病历信息和治疗方案；
在本实施例中，具体基于机器学习利用自然语言处理方法(NLP)对文本数据进行分析以实现文本数据的可视化。此外，医学影像为从仪器设备数据中输出的医疗影像，具体可以为CT、MRI、放射、超声、X光片、造影、钼靶、心电图、内窥镜、脑波图、红外线热影像等。
S105，对所述多模态医学影像分别提取对应的图像边缘特征、形状特征、颜色特征以及局部特征；
S106，根据所述图像边缘特征、形状特征、颜色特征以及局部特征进行所述多模态医学影像的自动匹配，将多模态医学影像显示在同一三维空间内；
具体地，在本实施例中采用多模态医疗影像配准技术对所述多模态医学影像进行匹配，进一步地，根据图像边缘特征、形状特征、颜色特征以及局部特征对所述多模态医学影像进行自动匹配，将多模态医学影像显示在同一三维空间内。
在本实施例中，对于肺部多模态医学影像在同一三维空间内的显示，具体通过识别肺部CT影像中有肺叶和无肺叶的两张肺部CT影像，确定肺部CT影像断层中心点位置；识别X射线影像中的肺尖位置；将断层中心点位置与肺尖位置进行匹配，实现两类图像在空间位置上的对应，实现肺部多模态医学影像在同一三维空间内的显示。其中，肺部CT影像和X射线影像在同一三维空间内显示示意图如图2所示。
S107，对所述序列断层医学影像进行预处理并分割，获取ROI区域或疑似ROI区域；
S108，基于ROI区域或疑似ROI区域利用R-CNN识别病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述序列断层医学影像中的坐标；
S109，根据所述病变区域在所述序列断层医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；
其中，具体地，可以选取所述多模态医学影像中医生指定的任一种医学影像来检测患者的病变区域。对于CT断层影像而言，可依靠各个断层面对疑似ROI区域的连通性判断，对X射线而言，可对病变成像位置等进行检测。例如，对肺部CT图像的病变区域检测过程如下：对该肺部CT图像进行了灰度图像和二值化的预处理，接着采用水平集分割的方法对预处理后的图像进行了分割，获取ROI区域或疑似ROI区域。获取的ROI区域或疑似ROI区域如图3所示，即图3中的方框框定的区域。接着采用R-CNN对获取的ROI区域或疑似ROI区域进行检测，将确认发生病变的ROI区域或疑似ROI区域作为所述患者的病变区域，获取所述病变区域对应的图像块。其中，病变区域的识别过程如图4所示。根据识别结果，获取病变区域的坐标；根据病变区域的坐标，在所述同一三维空间中显示病变体，医生通过直观观察排查由计算机导致的病变区域的误判，得到确诊的病变区域。
其中，R-CNN模型由包含ROI区域及非ROI区域的训练集训练而得。该模型的参数的设定及调整需要参考检测的器官、病变类型和医学影像的类型。
S110，基于预设病种的医学影像中病变区域对应的图像块，利用深度学习中的改进的CNN模型进行训练，得到预设病种发生概率模型；
S111，若输入为自动检测出的病变区域对应的图像块，对其进行均值处理；或者若输入为医生在医学影像上手动标注的病变区域对应的图像块，对所述手动标注的病变区域对应的图像块根据标注边框的中心位置进行稠密采样，对采样后的病变区域对应的图像块进行所述均值处理；
S112,将均值处理后的病变区域对应的图像块输入预设病种发生概率模型，获取各预设病种的发生概率。
其中，为了避免计算机漏检某些病变区域，提高诊断的精度，在对病变区域进行分类以得出病变种类时，增加了对医生手动标注的病变区域的分类。由于手动标注的精确度有限，容易存在标注过大或者过小，造成较大误差，所以采取了根据标注边框的中心位置进行稠密采样，采样步长可根据手动标注区域的尺寸大小来确定，再均值处理，通过预设病种发生概率模型获取各预设病种的发生概率。
其中，获取各预设病种的发生概率的过程如图5所示。
S113，基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。
其中，多源异构数据融合的示意图如图6所示。
具体地，将获取的患者的医生信息、病历信息和治疗方案提取关键字，统计关键字出现次数，生成线性向量，作为文字数据信息；将病变影像进行特征提取，作为医学影像数据信息；对文字数据信息和医学影像数据信息进行数据融合得到融合特征，并对融合特征进行检测。引入的来自患者病历中记载的文字信息，丰富了患者的病情信息，使得用于判断病变种类的数据更加丰富多元，从而能够获取更精确的各预设病种的发生概率。
S114，根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。
在本实施例中，患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率，根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。之后医生可以根据数据参考报告，填写电子诊断报告。医生进行电子签名后即可通过水印加工生成该诊断报告。
本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。
本发明另一个方面提供一种基于深度学习的多模态医学影像识别装置，如图7所示。该装置包括：多模态医学影像显示模块10，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；病变区域检测模块20，用于基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；病变体显示模块30，用于根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域。预设病种发生概率模块40，用于根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。
作为一种可选实施例，所述装置还包括：可视化数据建立模块50，用于根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库，根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；查询模块60，用于根据患者病历信息查询患者在医疗文本信息可视化数据库和多模态影像可视化数据库中的信息。多源异构数据融合模块70，用于基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。
作为一种可选实施例，所述装置还包括：报告生成模块80，用于根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。
具体地，当输入个人信息，如姓名、身份证号码时，查询模块在医疗文本信息可视化数据库和多模态影像可视化数据库中检索与该患者相关的信息并输出。从而使得不同科室的医生可以共享该患者的检查和诊断信息，以便医生权衡之后做出诊断或调整治疗方案。
本申请提出的基于深度学习的多模态医学影像识别装置，通过多模态医学影像显示模块，基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内，建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过病变区域检测模块，基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，通过病变体显示模块，用于根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，通过预设病种发生概率模块，根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的多模态医学影像识别方法，其特征在于，包括：
S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；
S2，基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；
S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；
S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：
对所述多模态医学影像分别提取对应的图像边缘特征、形状特征、颜色特征以及局部特征；
根据所述图像边缘特征、形状特征、颜色特征以及局部特征进行所述多模态医学影像的自动匹配，将多模态图像显示在同一三维空间内。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括：
对所述序列断层医学影像进行预处理并分割，获取ROI区域或疑似ROI区域；
基于ROI区域或疑似ROI区域利用R-CNN，识别病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述序列断层医学影像中的坐标。
4.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括：
基于预设病种的医学影像中病变区域对应的图像块，利用深度学习中改进的CNN模型进行训练，得到预设病种发生概率模型；
若输入为自动检测出的病变区域对应的图像块，对其进行均值处理；或者若输入为医生在医学影像上手动标注的病变区域对应的图像块，对所述手动标注的病变区域对应的图像块根据标注边框的中心位置进行稠密采样，对采样后的病变区域对应的图像块进行所述均值处理；
将均值处理后的病变区域对应的图像块输入预设病种发生概率模型，获取各预设病种的发生概率。
5.根据权利要求1所述的方法，其特征在于，在所述步骤S1之前还包括：
根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库；
根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；
查询多模态影像可视化数据库获取所述患者待检测部位的多模态医学影像，其中，所述多模态医学影像包括序列断层医学影像；
查询医疗文本信息可视化数据库获取所述患者的医生信息、病历信息和治疗方案。
6.根据权利要求1所述的方法，其特征在于，在所述步骤S4之后还包括：
基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。
7.根据权利要求6所述的方法，其特征在于，在所述获取更精确的各预设病种的发生概率之后包括：根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。
8.一种基于深度学习的多模态医学影像识别装置，其特征在于，包括：
多模态医学影像显示模块，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；
病变区域检测模块，用于基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；
病变体显示模块，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；
预设病种发生概率模块，用于根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
可视化数据建立模块，用于根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库，根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；
查询模块，用于根据患者病历信息查询患者在医疗文本信息可视化数据库和多模态影像可视化数据库中的信息；
多源异构数据融合模块，用于基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括报告生成模块，用于根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。
CN201710071847.2A 2017-02-09 2017-02-09 一种基于深度学习的多模态医学影像识别方法及装置 Active CN106909778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710071847.2A CN106909778B (zh) 2017-02-09 2017-02-09 一种基于深度学习的多模态医学影像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710071847.2A CN106909778B (zh) 2017-02-09 2017-02-09 一种基于深度学习的多模态医学影像识别方法及装置

Publications (2)

Publication Number Publication Date
CN106909778A true CN106909778A (zh) 2017-06-30
CN106909778B CN106909778B (zh) 2019-08-27

Family

ID=59207664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710071847.2A Active CN106909778B (zh) 2017-02-09 2017-02-09 一种基于深度学习的多模态医学影像识别方法及装置

Country Status (1)

Country Link
CN (1) CN106909778B (zh)

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607554A (zh) * 2017-09-26 2018-01-19 天津工业大学 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法
CN107833219A (zh) * 2017-11-28 2018-03-23 腾讯科技（深圳）有限公司 图像识别方法及装置
CN107945167A (zh) * 2017-11-27 2018-04-20 北京医拍智能科技有限公司 基于深度神经网络的慢性阻塞性肺病的检测系统
CN107945173A (zh) * 2017-12-11 2018-04-20 深圳市宜远智能科技有限公司 一种基于深度学习的皮肤疾病检测方法以及系统
CN108229584A (zh) * 2018-02-02 2018-06-29 莒县人民医院 一种基于深度学习的多模态医学影像识别方法及装置
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备
CN108364293A (zh) * 2018-04-10 2018-08-03 复旦大学附属肿瘤医院 一种在线训练甲状腺肿瘤超声图像识别方法及其装置
CN108520518A (zh) * 2018-04-10 2018-09-11 复旦大学附属肿瘤医院 一种甲状腺肿瘤超声图像识别方法及其装置
CN108632764A (zh) * 2018-04-02 2018-10-09 浙江大学 一种多传感器选择性量测数据融合估计算法
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN108806776A (zh) * 2018-06-14 2018-11-13 暨南大学附属第医院（广州华侨医院） 一种基于深度学习的多模态医学影像的方法
CN108846828A (zh) * 2018-05-04 2018-11-20 上海交通大学 一种基于深度学习的病理图像目标区域定位方法及系统
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109009074A (zh) * 2018-07-19 2018-12-18 上海工程技术大学 一种基于深度学习的心脏性猝死辅助预警装置
WO2019030410A1 (en) * 2017-08-10 2019-02-14 Aidence B.V COMPUTER-AIDED DIAGNOSIS USING DEEP NEURAL NETWORKS
CN109473168A (zh) * 2018-10-09 2019-03-15 五邑大学 一种医学影像机器人及其控制、医学影像识别方法
WO2019052062A1 (zh) * 2017-09-15 2019-03-21 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
WO2019062846A1 (zh) * 2017-09-28 2019-04-04 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备
CN109616195A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 基于深度学习的纵隔超声内镜图像实时辅助诊断系统及方法
CN109754848A (zh) * 2018-12-21 2019-05-14 宜宝科技（北京）有限公司 基于医护端的信息管理方法及装置
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN109961834A (zh) * 2019-03-22 2019-07-02 上海联影医疗科技有限公司 影像诊断报告的生成方法及设备
CN109978022A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 一种医疗文本信息处理方法及装置、存储介质
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110135518A (zh) * 2019-05-24 2019-08-16 南京巨鲨显示科技有限公司 一种具有医学多模态影像自适应功能的显示装置
CN110210234A (zh) * 2019-04-23 2019-09-06 平安科技（深圳）有限公司 转诊时医疗信息的迁移方法、装置、计算机设备和存储介质
CN110321946A (zh) * 2019-06-27 2019-10-11 郑州大学第一附属医院 一种基于深度学习的多模态医学影像识别方法及装置
CN110706241A (zh) * 2019-09-30 2020-01-17 东软医疗系统股份有限公司 一种三维病灶区域提取方法和装置
WO2020051776A1 (en) * 2018-09-11 2020-03-19 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
CN110910991A (zh) * 2019-11-21 2020-03-24 张军 一种医用自动图像处理系统
WO2020107892A1 (zh) * 2018-11-27 2020-06-04 南京巨鲨显示科技有限公司 一种自适应集中显示医学影像曲线的系统及方法
CN111261285A (zh) * 2020-02-07 2020-06-09 杭州依图医疗技术有限公司 诊断信息界面的显示方法、交互方法及存储介质
CN111275121A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 一种医学影像处理方法、装置和电子设备
US10755412B2 (en) 2018-11-20 2020-08-25 International Business Machines Corporation Automated patient complexity classification for artificial intelligence tools
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111667486A (zh) * 2020-04-29 2020-09-15 杭州深睿博联科技有限公司 一种基于深度学习的多模态融合胰腺分割方法和系统
CN111739615A (zh) * 2020-07-03 2020-10-02 桓光健 一种ai医学诊断影像图片电脑输入方法
CN111789675A (zh) * 2020-06-29 2020-10-20 首都医科大学附属北京天坛医院 颅内血肿手术定位辅助方法及装置
CN112037164A (zh) * 2019-06-03 2020-12-04 睿传数据股份有限公司 医学影像中身体部位识别方法及装置
CN112164446A (zh) * 2020-10-13 2021-01-01 电子科技大学 一种基于多网络融合的医疗影像报告生成方法
CN112308888A (zh) * 2020-10-15 2021-02-02 复旦大学附属中山医院 基于深度学习体征结构的全模态医学影像序列分组方法
CN112419247A (zh) * 2020-11-12 2021-02-26 复旦大学 基于机器学习的mr图像脑肿瘤检测方法和系统
CN112651982A (zh) * 2021-01-12 2021-04-13 杭州智睿云康医疗科技有限公司 基于影像与非影像信息的图像分割方法及系统
CN112686865A (zh) * 2020-12-31 2021-04-20 重庆西山科技股份有限公司 一种3d视图辅助检测方法、系统、装置及存储介质
WO2021146941A1 (zh) * 2020-01-21 2021-07-29 京东方科技集团股份有限公司 疾病位置获取方法、装置、设备以及计算机可读存储介质
US11227384B2 (en) 2019-02-11 2022-01-18 International Business Machines Corporation Methods and systems for determining a diagnostically unacceptable medical image
CN115019972A (zh) * 2022-06-09 2022-09-06 雅图(重庆)医疗器械有限公司 一种基于大数据分析的医疗影像数据共享系统
CN115424724A (zh) * 2022-11-04 2022-12-02 之江实验室 一种多模态图森林的肺癌淋巴结转移辅助诊断系统
CN117476208A (zh) * 2023-11-06 2024-01-30 无锡市惠山区人民医院 一种基于时间序列的医学影像的认知功能障碍智能辅助识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1315125A2 (en) * 2001-11-20 2003-05-28 General Electric Company Method and system for lung disease detection
CN105574871A (zh) * 2015-12-16 2016-05-11 深圳市智影医疗科技有限公司 在放射图像中检测肺部局部性病变的分割分类方法和系统
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1315125A2 (en) * 2001-11-20 2003-05-28 General Electric Company Method and system for lung disease detection
CN105574871A (zh) * 2015-12-16 2016-05-11 深圳市智影医疗科技有限公司 在放射图像中检测肺部局部性病变的分割分类方法和系统
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LITJENS G,ET AL.,: "Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis", 《 SCI REP》 *
赵挺,等；: "ICP算法在计算机辅助肝脏手术空间配准中的应用价值", 《临床研究》 *

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7391846B2 (ja) 2017-08-10 2023-12-05 アイデンス・アイピー・ベー・フェー ディープニューラルネットワークを使用したコンピュータ支援診断
US11783936B2 (en) 2017-08-10 2023-10-10 Aidence B.V. Computer-aided diagnostics using deep neural networks
NL2019410B1 (en) * 2017-08-10 2019-02-21 Aidence B V Computer-aided diagnostics using deep neural networks
CN111095426A (zh) * 2017-08-10 2020-05-01 艾登斯有限公司 使用深度神经网络的计算机辅助诊断
JP2020530177A (ja) * 2017-08-10 2020-10-15 アイデンス・ベー・フェー ディープニューラルネットワークを使用したコンピュータ支援診断
WO2019030410A1 (en) * 2017-08-10 2019-02-14 Aidence B.V COMPUTER-AIDED DIAGNOSIS USING DEEP NEURAL NETWORKS
WO2019052062A1 (zh) * 2017-09-15 2019-03-21 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
CN107607554A (zh) * 2017-09-26 2018-01-19 天津工业大学 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
WO2019062846A1 (zh) * 2017-09-28 2019-04-04 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN107945167A (zh) * 2017-11-27 2018-04-20 北京医拍智能科技有限公司 基于深度神经网络的慢性阻塞性肺病的检测系统
CN107833219A (zh) * 2017-11-28 2018-03-23 腾讯科技（深圳）有限公司 图像识别方法及装置
CN107833219B (zh) * 2017-11-28 2022-12-13 腾讯科技（深圳）有限公司 图像识别方法及装置
CN107945173B (zh) * 2017-12-11 2022-05-24 深圳市宜远智能科技有限公司 一种基于深度学习的皮肤疾病检测方法以及系统
CN107945173A (zh) * 2017-12-11 2018-04-20 深圳市宜远智能科技有限公司 一种基于深度学习的皮肤疾病检测方法以及系统
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备
CN108229584A (zh) * 2018-02-02 2018-06-29 莒县人民医院 一种基于深度学习的多模态医学影像识别方法及装置
CN108632764A (zh) * 2018-04-02 2018-10-09 浙江大学 一种多传感器选择性量测数据融合估计算法
CN108632764B (zh) * 2018-04-02 2020-07-07 浙江大学 一种多传感器选择性量测数据融合估计方法
CN108364293A (zh) * 2018-04-10 2018-08-03 复旦大学附属肿瘤医院 一种在线训练甲状腺肿瘤超声图像识别方法及其装置
CN108520518A (zh) * 2018-04-10 2018-09-11 复旦大学附属肿瘤医院 一种甲状腺肿瘤超声图像识别方法及其装置
CN108846828A (zh) * 2018-05-04 2018-11-20 上海交通大学 一种基于深度学习的病理图像目标区域定位方法及系统
CN108806776A (zh) * 2018-06-14 2018-11-13 暨南大学附属第医院（广州华侨医院） 一种基于深度学习的多模态医学影像的方法
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN109009074A (zh) * 2018-07-19 2018-12-18 上海工程技术大学 一种基于深度学习的心脏性猝死辅助预警装置
US11429824B2 (en) 2018-09-11 2022-08-30 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
WO2020051776A1 (en) * 2018-09-11 2020-03-19 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
CN109473168A (zh) * 2018-10-09 2019-03-15 五邑大学 一种医学影像机器人及其控制、医学影像识别方法
US11282196B2 (en) 2018-11-20 2022-03-22 International Business Machines Corporation Automated patient complexity classification for artificial intelligence tools
US10755412B2 (en) 2018-11-20 2020-08-25 International Business Machines Corporation Automated patient complexity classification for artificial intelligence tools
WO2020107892A1 (zh) * 2018-11-27 2020-06-04 南京巨鲨显示科技有限公司 一种自适应集中显示医学影像曲线的系统及方法
CN109616195A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 基于深度学习的纵隔超声内镜图像实时辅助诊断系统及方法
CN109754848A (zh) * 2018-12-21 2019-05-14 宜宝科技（北京）有限公司 基于医护端的信息管理方法及装置
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备
US11227384B2 (en) 2019-02-11 2022-01-18 International Business Machines Corporation Methods and systems for determining a diagnostically unacceptable medical image
CN109919928B (zh) * 2019-03-06 2021-08-03 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN109978022B (zh) * 2019-03-08 2022-07-29 腾讯科技（深圳）有限公司 一种医疗文本信息处理方法及装置、存储介质
CN109978022A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 一种医疗文本信息处理方法及装置、存储介质
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN109978838B (zh) * 2019-03-08 2021-11-30 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110458813A (zh) * 2019-03-08 2019-11-15 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN109961834A (zh) * 2019-03-22 2019-07-02 上海联影医疗科技有限公司 影像诊断报告的生成方法及设备
US20200303049A1 (en) * 2019-03-22 2020-09-24 Shanghai United Imaging Healthcare Co., Ltd. System and method for generating imaging report
US11574716B2 (en) * 2019-03-22 2023-02-07 Shanghai United Imaging Healthcare Co., Ltd. System and method for generating imaging report
CN110210234A (zh) * 2019-04-23 2019-09-06 平安科技（深圳）有限公司 转诊时医疗信息的迁移方法、装置、计算机设备和存储介质
CN110135518A (zh) * 2019-05-24 2019-08-16 南京巨鲨显示科技有限公司 一种具有医学多模态影像自适应功能的显示装置
CN112037164B (zh) * 2019-06-03 2024-03-15 睿传数据股份有限公司 医学影像中身体部位识别方法及装置
CN112037164A (zh) * 2019-06-03 2020-12-04 睿传数据股份有限公司 医学影像中身体部位识别方法及装置
CN110321946A (zh) * 2019-06-27 2019-10-11 郑州大学第一附属医院 一种基于深度学习的多模态医学影像识别方法及装置
CN110706241A (zh) * 2019-09-30 2020-01-17 东软医疗系统股份有限公司 一种三维病灶区域提取方法和装置
CN110706241B (zh) * 2019-09-30 2023-07-04 沈阳智核医疗科技有限公司 一种三维病灶区域提取方法和装置
CN110910991A (zh) * 2019-11-21 2020-03-24 张军 一种医用自动图像处理系统
WO2021146941A1 (zh) * 2020-01-21 2021-07-29 京东方科技集团股份有限公司 疾病位置获取方法、装置、设备以及计算机可读存储介质
CN111275121A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 一种医学影像处理方法、装置和电子设备
CN111275121B (zh) * 2020-01-23 2023-07-18 北京康夫子健康技术有限公司 一种医学影像处理方法、装置和电子设备
CN111261285A (zh) * 2020-02-07 2020-06-09 杭州依图医疗技术有限公司 诊断信息界面的显示方法、交互方法及存储介质
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111667486B (zh) * 2020-04-29 2023-11-17 杭州深睿博联科技有限公司 一种基于深度学习的多模态融合胰腺分割方法和系统
CN111667486A (zh) * 2020-04-29 2020-09-15 杭州深睿博联科技有限公司 一种基于深度学习的多模态融合胰腺分割方法和系统
CN111789675A (zh) * 2020-06-29 2020-10-20 首都医科大学附属北京天坛医院 颅内血肿手术定位辅助方法及装置
CN111739615A (zh) * 2020-07-03 2020-10-02 桓光健 一种ai医学诊断影像图片电脑输入方法
CN112164446A (zh) * 2020-10-13 2021-01-01 电子科技大学 一种基于多网络融合的医疗影像报告生成方法
CN112164446B (zh) * 2020-10-13 2022-04-22 电子科技大学 一种基于多网络融合的医疗影像报告生成方法
CN112308888A (zh) * 2020-10-15 2021-02-02 复旦大学附属中山医院 基于深度学习体征结构的全模态医学影像序列分组方法
CN112419247A (zh) * 2020-11-12 2021-02-26 复旦大学 基于机器学习的mr图像脑肿瘤检测方法和系统
CN112686865B (zh) * 2020-12-31 2023-06-02 重庆西山科技股份有限公司 一种3d视图辅助检测方法、系统、装置及存储介质
CN112686865A (zh) * 2020-12-31 2021-04-20 重庆西山科技股份有限公司 一种3d视图辅助检测方法、系统、装置及存储介质
CN112651982A (zh) * 2021-01-12 2021-04-13 杭州智睿云康医疗科技有限公司 基于影像与非影像信息的图像分割方法及系统
CN115019972A (zh) * 2022-06-09 2022-09-06 雅图(重庆)医疗器械有限公司 一种基于大数据分析的医疗影像数据共享系统
CN115019972B (zh) * 2022-06-09 2024-03-15 韦涛 一种基于大数据分析的医疗影像数据共享系统
CN115424724A (zh) * 2022-11-04 2022-12-02 之江实验室 一种多模态图森林的肺癌淋巴结转移辅助诊断系统
CN117476208A (zh) * 2023-11-06 2024-01-30 无锡市惠山区人民医院 一种基于时间序列的医学影像的认知功能障碍智能辅助识别系统

Also Published As

Publication number Publication date
CN106909778B (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN106909778B (zh) 一种基于深度学习的多模态医学影像识别方法及装置
Umri et al. Detection of COVID-19 in chest X-ray image using CLAHE and convolutional neural network
JP5128154B2 (ja) レポート作成支援装置、レポート作成支援方法およびそのプログラム
US20190279751A1 (en) Medical document creation support apparatus, method, and program
Anis et al. An overview of deep learning approaches in chest radiograph
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
Al Mubarok et al. Pneumonia detection with deep convolutional architecture
WO2019073940A1 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
CN111583249B (zh) 一种医学图像的质量监控系统及方法
US20210217166A1 (en) Automated screening of medical data
WO2021021329A1 (en) System and method for interpretation of multiple medical images using deep learning
CN108806776A (zh) 一种基于深度学习的多模态医学影像的方法
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
US11200671B2 (en) Reference image guided object detection in medical image processing
CN113688942A (zh) 基于深度学习的头侧片腺样体图像自动评估方法和装置
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
CN115035086A (zh) 一种基于深度学习的结核皮试智能筛查分析方法和装置
JP7387457B2 (ja) 医用画像処理装置、プログラム、および医用画像処理システム
CN117015799A (zh) 检测x射线图像中的异常
CN114757894A (zh) 一种骨肿瘤病灶分析系统
KR20190143657A (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
Vetrithangam et al. prediction of pneumonia disease from x-ray images using a modified resnet152v2 deep learning model
CN112037164B (zh) 医学影像中身体部位识别方法及装置
CN112885435B (zh) 图像目标区域的确定方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant