CN112652032B - 器官的建模方法、图像分类装置和存储介质 - Google Patents

器官的建模方法、图像分类装置和存储介质 Download PDF

Info

Publication number
CN112652032B
CN112652032B CN202110047682.1A CN202110047682A CN112652032B CN 112652032 B CN112652032 B CN 112652032B CN 202110047682 A CN202110047682 A CN 202110047682A CN 112652032 B CN112652032 B CN 112652032B
Authority
CN
China
Prior art keywords
image
azimuth
classification
image sequence
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110047682.1A
Other languages
English (en)
Other versions
CN112652032A (zh
Inventor
李津辰
李广
孙成伟
曹坤琳
宋麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Priority to CN202110047682.1A priority Critical patent/CN112652032B/zh
Publication of CN112652032A publication Critical patent/CN112652032A/zh
Priority to US17/482,901 priority patent/US20220222812A1/en
Application granted granted Critical
Publication of CN112652032B publication Critical patent/CN112652032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了器官的建模方法、图像分类装置和非暂时性计算机可读存储介质。该方法包括：获得器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；构造三路分类支路，每路分类支路被配置为：分别接收第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列的相应方位的2D图像序列作为输入，基于输入利用卷积神经网络提取第一图像特征，基于第一图像特征利用递归神经网络提取第二图像特征，将提取的第二图像特征馈送到相应的分类器以获得该路分类支路的分类信息；构造融合部，融合各路分类支路的分类信息。

Description

器官的建模方法、图像分类装置和存储介质
技术领域
本公开涉及医学图像处理的技术领域，具体地，涉及器官的建模方法、图像分类装置和非暂时性计算机可读存储介质。
背景技术
目前，已知一些基于医学图像对诸如肺炎的疾病进行自动筛查的方法。
以肺炎和新冠肺炎的筛查为例。一些自动筛查方法从CT的2D图像序列中选择n张图像输入到预先训练好的第一肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；将患有肺炎的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠肺炎的分类结果。这种方法的缺点是，(1)原始CT图像张数不一，差别较大，只从CT序列中选取n张，原始肺炎病灶信息会有丢失；(2)模型结构为串联的结构，第一步肺炎判别不准的话，对后面新冠肺炎判断造成影响；(3)选中的n张图像直接输入门控循环单元(GRU)时序神经网络，n较大时GRU通常不能很好的处理特征，n较小时，原始影像中的信息大部分未使用，严重影响诊断效果。
这些自动筛查方法通常采用串联的模型结构，先利用深度学习检测模型对CT的肺部病变区域进行检测，仅仅将检测出肺部病变的区域的图像送入第二阶段网络来进行诸如新冠肺炎的诊断。肺部病变区域的检测存在误差，未检测出来的肺部病变区域不会送入第二阶段网络，检查的误差会严重影响第二阶段网络的判断。第二阶段网络只使用预测出肺部病变区域的中间几层层图像，忽略了肺部病变的大小与跨层不一的信息，有严重的信息丢失，影响分类效果。
虽然也发展了一些利用3D卷积神经网络进行肺炎诊断的自动筛查方法，但这类自动筛查模型存在各种问题，诸如高显存占用，耗时，计算负荷大以及z轴分辨率低引入的精度下降的问题。另外，另一方面，因为3D卷积神经网络在z轴也会进行下采样，当肺部病变区域较小时，容易损失病变信息，例如漏掉病灶，因而不利于后续的诊断判别。
发明内容
本公开克服或至少减轻了上述现有技术存在的技术问题。
本公开的目的是提供这样一种能够基于CT图像自动筛查器官病变的建模方法和装置，其通过采用3个2D结构并联的模型结构，充分学习三个具有预定空间关系的不同切面(例如，横断位、矢状位和冠状位)上的特征，使三个切面上的特征能够相互弥补促进，且充分利用了LSTM网络层对层与层之间的关系进行建模，全面考虑到肺部病变区域大小以及跨层的信息，从而能够得到优于3D深度学习网络的筛查准确度，原因在于，Z轴下采样信息丢失导致的3D深度学习网络模型对于小病灶效果不佳。同时，本公开的实施例所描述的3个2D结构并联的模型结构又避免了3D模型所固有的缺点，例如训练时间长，计算负荷大，计算和显存资源占用等问题。
根据本公开的第一方面，提供了器官的建模方法，所述建模方法包括：获得所述器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；构造三路分类支路，每路分类支路被配置为：分别接收第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列的相应方位的2D图像序列作为输入，基于所述输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到相应的分类器以获得该路分类支路的分类信息；构造融合部，以融合各路分类支路的分类信息。
根据本公开的另一方面，提供了一种图像分类装置，包括：接口，被配置为获取器官所在部位的医学图像，其中所述医学图像是通过图像成像装置获取的；处理器，被配置为：基于所获取的医学图像获得第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；对于第一路分类支路，接收第一方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第一分类器以获得第一路分类支路的第一分类信息；对于第二路分类支路，接收第二方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第二分类器以获得第二路分类支路的第二分类信息；对于第三路分类支路，接收第三方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第三分类器以获得第三路分类支路的第三分类信息；融合各路分类支路的分类信息，以确定器官的诊断信息。
根据本公开的又一方面，提供了一种非暂时性计算机可读存储介质，其存储有指令，该指令在由处理器执行时执行图像分类方法，该图像分类方法包括：获得器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；对于第一路分类支路，接收第一方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第一分类器以获得第一路分类支路的第一分类信息；对于第二路分类支路，接收第二方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第二分类器以获得第二路分类支路的第二分类信息；对于第三路分类支路，接收第三方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第三分类器以获得第三路分类支路的第三分类信息；以及融合各路分类支路的分类信息，以确定器官的诊断信息。
利用本公开提供的器官的建模方法、图像分离装置和存储有指令的计算机可读存储介质，本公开能够基于2D图像序列，利用融合三路并行的分类支路的模型，考虑到三个切面上的信息，实现了更好的模型性能，同时降低了对于显存和计算资源的需求，提升了运算速度。
此外，由于递归神经网络能够将不同层间的特征信息进行融合，最终得到的模型既融合了同一方向上不同层图像间的三维图像特征，又融合了三个不同方向上的切面上的信息，使得能够在待检测器官区域的三维空间信息的基础上进行器官诊断筛查，能够做出更准确且精确的诊断和预测。
附图说明
在不一定按比例绘制的附图中，相似的附图标记可以在不同的视图中描述相似的组件。具有字母后缀或不同字母后缀的相似附图标记可以表示相似组件的不同实例。附图通过示例而非限制的方式大体上示出了各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。这样的实施例是说明性的，并且不意图是本方法、系统或其上具有用于实现该方法的指令的非暂时性计算机可读介质的穷举或排他性实施例。
图1示出了同一患者的横断位、矢状位和冠状位的图像。
图2示出了根据本公开的一个实施例的图像分类模型的架构图。
图3示出了根据本公开的一个实施例的图像分类模型的单个分类支路中的学习网络的架构图。
图4说明了根据本公开的一个实施例的分段式合并的原理。
图5示出了根据本公开的一个实施例的构造图像分类模型的方法的流程图。
图6示出了根据本公开的一个实施例的示例性的肺炎诊断系统的示意性配置图；并且
图7示出了根据本公开的实施例的示例性的肺炎诊断装置的框图。
具体实施方式
为了促进对本公开原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述它们。然而，应理解，无意于限制本公开的范围。如本公开所属领域的技术人员通常会想到的，对所描述的装置、系统和方法的任何变更和进一步修改以及对本公开原理的任何进一步应用都被充分考虑并包括在本公开中。特别地，完全预期相对于一个实施例描述的特征、组件和/或步骤可以与相对于本公开的其他实施例描述的特征、组件和/或步骤组合。该方法的步骤顺序不限于所描述或示出的顺序。根据本公开，在不脱离本公开的要旨的情况下，可以根据实际要求改变步骤的顺序。然而，为了简洁起见，在此将不单独描述这些组合的许多重复。
下文中以肺作为器官的示例，以肺炎病变信息来作为器官的诊断和分类信息的示例，以CT图像作为获取的医学图像的示例，对本公开的各个实施例进行说明，但本公开不限于此。根据本公开各个实施例的公开内容也可以适用于其他器官，其他类型病变的诊断和分类信息，以及其他模态(例如但不限于MRI、PET等)的医学图像，在此不赘述。
在进行肺炎筛查诊断时，通常是通过图像采集装置获得目标部位(例如，肺部)的多张2D CT图像。原始图像张数通常不是固定的数量且通常较多。根据本公开的实施例，将原始的横断位图像通过重采样的方式统一到固定的张数，然后，根据原始的横断位图像，通过图像预处理技术来生成冠状位和矢状位的图像信息。这样，因为肺炎的目标区域在三个切面上的大小、位置、特征均有区别，在三个切面上分别提取特征，可以更全面地提取到与目标区域相关的特征。此外，由于充分利用原始图像的所有影像信息，当一个切面上的特征在采样时遗漏或丢失时，可以借助从另外两个切面提取的特征来弥补，从而避免了肺炎诊断中可能出现的假阳性和假阴性现象。
图1中示出了同一患者的肺部目标区域的横断位、矢状位和冠状位的图像。如图1所示，(a)表示横断位图像，(b)表示矢状位图像，(c)表示冠状位图像，其中三个图像中的标出的白色圆圈分别是同一个肺炎病灶区域在横断位、矢状位和冠状位这三个不同视图下的呈现，从这些图像的呈现可以看出，同一病灶在三个视图下的特征是不同的，分别对应于三维信息在三个方位上的切面的二维特征分布。通常，通过CT图像采集装置可以获得2D的横断位图像。如上所述，为了进行肺炎诊断，可以获得例如矢状位图像和冠状位图像这两个切面的图像，以获得待诊断目标部位的三维空间信息。为此，可以通过图像预处理技术从2D的横断位图像进行重建和多平面重建来得到矢状位图像和冠状位图像，以便于提取横断位、矢状位和冠状位这三个切面的2D图像特征来进行患者是否患有肺炎的诊断，而同时无需对患者分别进行三个切面的目标区域成像，减少了患者检查时间和不必要的辐射暴露。
针对获得的包括横断位、矢状位和冠状位在内的这三个切面的2D图像特征，还可以构建三个并列的分类支路，横断位、矢状位和冠状位分别对应其中一个分类支路，这三个分类支路可以分别称为第一分类支路、第二分类支路和第三分类支路。例如，图2示出了根据本公开的一个实施例的图像分类模型的架构图。每个分类支路的构造可以相同。例如，图2所示的图像分类模型的架构可以包括三个分类支路(各自的学习网络201和分类器202)以及三个分类支路的输出侧的融合部203。根据本公开的实施例，学习网络201可以包括卷积神经网络(CNN)(例如，resnet50、计算机视觉组(VGG)等)和递归神经网络(RNN)(例如，长短期记忆网络(LSTM)，门控循环单元(GRU)，等)。
如图2所示，输入可以包括器官(例如，肺部)所在部位的3个2D图像序列，分别为第一方位的2D图像序列、第一方位的2D图像序列和第一方位的2D图像序列。根据一些实施例，第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围可以在0度与45度之间，以便更全面地提取到三维空间内的特征分布并避免特征信息的遗漏。根据一些实施例，第一方位、第二方位和第三方位可以彼此正交。例如，从解剖学的角度看，对于CT图像而言，第一方位可以是横断位，第二方位可以是冠状位，第三方位可以是矢状位，如此，第一方位的2D图像序列可以直接采用CT所采集的横断位的原始图像数据，而第二方位和第三方位的2D图像序列则可以基于横断位的原始图像数据预处理得到，从而在输入中最大程度地保留了原始图像信息，简化预处理的同时更有利于避免特征信息的遗漏和畸变。下文中以横断位、冠状位和矢状位分别作为第一方位、第二方位和第三方位的示例进行说明，但须知本公开不限于此。
在获得了三个方位的2D图像序列之后，可以构造三路并联的分类支路。第一分类支路对应于横断位，第二分类支路对应于冠状位，第三分类支路对应于矢状位。在一个实施例中，三个分类支路的模型构造可以相同。例如，以横断位支路的模型构造为例进行说明。接收横断位的2D图像序列作为模型的输入，基于该输入，利用卷积神经网络(例如，resnet50、VGG等)来提取第一图像特征。接着，基于该第一图像特征，利用递归神经网络(例如，LSTM、GRU等)来提取第二图像特征。然后，将所提取的第二图像特征(例如，展开的特征图)馈送到相应的分类器202以获得该分类支路的分类结果。然后，利用融合部203，可以融合各路的分类支路的分类结果(例如但不限于肺炎概率信息、肺炎分类得分等)，得到最终的预测结果。融合部203可以采用各种融合算法。根据一些实施例，融合部203可以采用例如概率融合算法。在器官为肺部且2D图像序列为2D肺部CT图像序列的情况下，预测结果可以是肺炎诊断结果。根据概率融合算法，计算三路分类支路的概率均值。可以设定阈值为0.5。当概率均值等于或大于0.5时，判定预测结果为患者患有肺炎。当概率均值小于0.5时，判定预测结果为患者未患有肺炎。融合部203也可以采用例如投票融合算法，将三路分类支路的预测结果进行投票，投票多者确定为最终分类。值得注意的是，预期本领域已知的或将来出现的任何融合算法均可由融合部203采用进行融合处理。如上所述，通过利用多方面的图像提供了不同切面的2D卷积运算后的特征图，相当于得到了三维空间中不同方位上的特征图。而且，RNN能够将不同层间的特征图进行融合，相当于能够得到同一方位上不同层图像间的三维特征，这样达到了使用2D卷积运算获得三维空间信息的目的，从而改进了病灶区域的特征提取，有利于获得更准确和精确的预测结果。特别地，因为3D卷积神经网络在z轴也会进行下采样，当病变区域较小时，容易导致病变信息丢失，例如漏掉病灶，因而不利于后续的诊断判别。根据本公开，相比于3D卷积神经网络，利用三个并行的2D学习网络能够显著地改善z轴上的特征提取，避免了潜在病变信息的丢失，实现了z轴上的检测准确率的显著提高，有利于医生后续的准确诊断。
下面参考图3和图4对根据本公开的一个实施例的图像分类模型的各个分类支路中的学习网络的架构进行详细描述。如图3所示，单个分类支路中的学习网络可以包括多个CNN单元301和多个RNN(例如，LSTM)单元302。在得到原始的横断位图像后，可以通过对图像进行重采样得到固定的张数的2D CT图像序列，例如重采样后的CT图像可以是120张。将该2D CT图像序列中的120张2D CT图像中的每一张分别输入到相应的CNN单元301以提取特征。通过多个CNN单元301提取得到相应数量的图像特征F11至F1n(不进行相互区分的情况下，也可以统称为第一图像特征F1)，其中n的数量对应CNN单元301的数量，即对图像进行重采样得到的图像的固定张数，如图3中所示。RNN(例如，LSTM)单元302在提取过长数据时容易发生遗忘，导致全局信息丢失。根据一些实施例，将多个图像特征F11至F1n进行分段式合并。例如，可以从前到后按顺序进行分段。根据一些实施例，每段可以包括一定数量的图像特征，该数量可以在大约10-30的范围内，包括但不限于10、15、20、25、30等。这些数量不意图对本公开进行限制。取决于特定的应用和各种考虑因素，每段可以由任意适当数量的图像特征来构成。根据本公开的实施例，在进行分段时，可以使段与段间有部分特征是重叠的。例如，根据一些实施例，重叠部分的特征数量可以占一段中特征总数的三分之一至二分之一，该数量范围不是限制性的，而仅仅是示例性的。取决于实际的应用和权衡因素(例如，模型预测精度与运算效率的权衡，等等)，可以选择任意适当数量的重叠特征。如图3所示，在对图像特征进行分段式合并后，得到了经合并减少数量的图像特征F21至F2m(不进行相互区分的情况下，也可以统称为中间图像特征F2)，其中m为分段合并后的特征数量，即对应于LSTM单元302的数量。
图4说明了根据本公开的一个实施例的分段式合并的原理。如图4所示，利用120个CNN单元301进行了卷积运算后得到共120个特征。考虑到LSTM单元302在处理长度过长的数据时可能发生遗忘而导致全局信息的丢失，采用将这120个特征进行分段式合并的处理。例如，可以将120个特征进行分段，得到11段特征。根据本公开的实施例，在进行分段时，使得第1段与第2段之间有部分重叠特征，如图4中所示，第1段与第2段之间有10个特征是重叠的，这仅仅是为了示例说明。根据一个示例，重叠特征的示例可以是大约5至15个，此处给出的数量不是对本公开的范围进行限制，可以选择任意适当数量的重叠特征。通过如图4所示从前到后顺序地分段，得到包括第1段特征至第11段特征的总共11段特征。根据一些实施例，段与段之间的重叠特征的数量可以是不同的。根据实施例，一方面，段间部分特征重叠能够在输入到LSTM单元302之前进行特征精简和融合，将最能代表每段的多个特征的一个代表性的显著特征输入到LSTM单元302进行特征提取，避免了LSTM单元302处理过长数据易于发生遗忘而丢失全局信息，另一方面，部分特征重叠能够通过段内特征冗余来避免可能的信息遗漏或丢失。
返回参考图3，在获得了11段特征之后，将这11段特征中的每一段内的例如20个特征合并而得到一个代表该段的显著特征的中间图像特征F2。根据本公开的实施例，可以通过将每一段内的20个特征进行取代表值(例如但不限于均值或最大值)的方式来将20个特征合并为一个中间图像特征F2。随后，将对有顺序的11段分别取均值或最大值合并后得到的11个特征输入到相应的LSTM 302中来进一步进行特征提取，避免了LSTM处理过长特征效果不佳的情况。每一个LSTM单元302都可以输出一个中间图像特征F2。为了使用影像的全局特征，仅采用最后一个LSTM单元302输出的特征作为最终的图像特征F3，即第二图像特征，然后将其输入到分类器202中用于进行肺炎判别的最终分类。由于LSTM网络可以学习到2DCT图像的不同层间的信息，从而增强了肺炎病灶区域在层间分布的特征。
根据本公开的各个实施例，由于采用了分别以2D图像序列作为输入的三个并行的2D网络来构成图像分类模型的整体学习网络模型，获得的优势在于，一方面，2D网络的训练成本低，计算负荷小，预测时间缩短了，另一方面，同时所能达到的预测精度(例如，图像分类精度)能够优于3D网络的精度水平。
图5示出了根据本公开的一个实施例的构造图像分类模型的方法的流程图。构造如图3所示的图像分类模型的方法可以包括步骤S501，获得器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，根据一些实施例，所述第一方位、第二方位和第三方位之间彼此之间的夹角相对于彼此正交的角度偏差范围例如在0度与45度之间，该偏差范围的数值仅作为示例提供，不作为对本公开范围的限制。根据一个实施例，该器官可以包括肺，所述第一方位、第二方位和第三方位彼此之间的夹角可以为大约90度。根据本公开的一个实施例，所述第一方位的2D图像序列可以为肺部的横断位图像序列，而第二方位的2D图像序列和第三方位的2D图像序列可以分别为肺部的冠状位图像序列和矢状位图像序列，且基于肺部的横断位图像序列利用图像预处理来得到。
如图5所示，该方法还可以包括步骤S502，构造三路分类支路，其中每路分类支路被配置为：分别接收第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列的相应方位的2D图像序列作为输入，基于所述输入利用CNN单元301提取第一图像特征，基于所述第一图像特征利用例如LSTM的RNN单元302提取第二图像特征，将所提取的第二图像特征馈送到相应的分类器202以获得该路分类支路的分类信息。根据本公开的实施例，基于第一图像特征利用LSTM单元302提取第二图像特征的步骤可以包括：将所述第一图像特征进行分段式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，例如但不限于平均值或最大值，将该代表值输入到LSTM网络的各个LSTM单元302，并将LSTM网络的最后一个LSTM单元302的输出作为第二图像特征，如上文所详细说明的。此外，如上所述，将第一图像特征进行分段式合并而得到合并后的图像特征子集可以包括，以段间有至少部分图像特征重叠的方式来进行合并以得到合并后的图像特征子集。
进一步，该方法还可以包括步骤S503，构造融合部203，以利用例如概率融合算法来融合各路分类支路的分类信息，例如图像分类结果。根据一些实施例，该图像分类结果可以是例如肺炎诊断预测结果。
图6示出了根据本公开的一个实施例的示例性的肺炎诊断系统的示意性配置图。
将参考图6详细描述肺炎诊断建模的训练阶段和预测阶段，其示出了肺炎诊断系统600的实现的概要。如图所示，系统600可以包括肺炎诊断模型训练单元602和肺炎诊断预测单元604。肺炎诊断模型训练单元602从训练图像数据库601获取具有地面真值的训练图像，来训练肺炎诊断模型，结果，将训练好的肺炎诊断模型输出到肺炎诊断预测单元604。肺炎诊断预测单元604通信地耦合到医学图像数据库606，并且然后输出肺炎预测的结果。
在一些实施例中，肺炎诊断预测单元604可以经由网络605通信地耦合到训练图像数据库601。以这种方式，肺炎诊断预测单元604获得的肺炎预测结果，在由放射科医生或临床医生确认后，可以作为训练样本反馈到训练图像数据库601，以备将来使用。以这种方式，训练图像数据库601可以被扩增以扩大规模，从而有利于更好的预测结果以及模型准确性的提高。
将参照图7描述示出根据本公开的实施例的示例性肺炎诊断系统的框图。在一些实施例中，该系统可以包括例如图像预处理装置700、图像获取装置701和肺炎诊断建模装置702。在一些实施例中，该系统可以仅包括肺炎诊断建模装置702。根据本公开的实施例，肺炎诊断建模装置702可以是例如图像分类装置。
在一些实施例中，图像获取装置701可以通过任何类型的成像模态来获取和输出图像，诸如但不限于CT，数字减影血管造影(DSA)，磁共振成像(MRI)，功能MRI，动态对比度增强MRI，弥散MRI，螺旋CT，锥束计算机断层摄影(CBCT)，正电子发射断层扫描(PET)，单光子发射计算机断层摄影(SPECT)，X射线，光学断层摄影，荧光成像，超声成像，放射治疗射野成像，等等。
在一些实施例中，图像预处理装置700通信地连接到图像获取装置701和肺炎诊断建模装置702。根据一个实施例，图像预处理装置700可以直接或间接地从图像获取装置701中获取图像，对图像执行任何图像预处理操作，包括例如图像重采样，将横断位图像重建为例如矢状位图像和冠状位图像。在一些实施例中，图像预处理装置700也可以整合在肺炎诊断建模装置702中，在此不赘述。
在一些实施例中，肺炎诊断建模装置702可以是专用计算机或通用计算机。肺炎诊断建模装置702可以是例如用于执行图像获取和图像处理任务的医院定制的计算机，或者是云端的服务器。如图7所示，肺炎诊断建模装置702可以包括通信接口703、处理器706、内存705、存储装置704、总线707和输入/输出装置708。例如，通信接口703、处理器706、内存705、存储装置704和输入/输出装置708可以彼此连接并通信。
在一些实施例中，通信接口703可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB3.0、雷电适配器等)、无线网络适配器(例如WiFi适配器)、电信(3G、4G/LTE、5G、6G及更高版本)。肺炎诊断建模装置702可以连接到图像预处理装置700、图像获取装置701和其他组件。在一些实施例中，肺炎诊断建模装置702可以经由通信接口703从图像预处理装置700接收所生成的经预处理后的图像(例如，经过对原图像进行重采样后获得的2D图像序列)，并且可以直接从图像获取装置701接收医学图像(例如，原始CT图像)，然后对接收的图像进行处理(例如，重采样)以得到可以输入到CNN单元301进行特征提取的处理后的图像。
在一些实施例中，内存705/存储装置704可以是非暂时性计算机可读介质或机器可读介质，诸如只读存储器(ROM)，随机存取存储器(RAM)，相变随机存取内存(PRAM)，动态随机存取存储器(DRAM)(例如同步DRAM(SDRAM)或Rambus DRAM)，静态随机存取存储器(SRAM)，电可擦可编程只读存储器(EEPROM)，闪存，光盘只读存储器(CD-ROM)，数字通用磁盘(DVD)，磁存储设备等，计算机可以访问和执行的信息或指令以任何格式存储在其上。在一些实施例中，训练好的肺炎诊断模型有关的数据可以存储在存储装置704中。
在一些实施例中，内存705可以存储计算机可执行指令，该计算机可执行指令在由处理器706执行时可以执行图像分类方法，该图像分类方法包括以下步骤：获得器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；基于所获取的医学图像获得第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；对于第一路分类支路，接收第一方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第一分类器以获得第一路分类支路的第一分类信息；对于第二路分类支路，接收第二方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第二分类器以获得第二路分类支路的第二分类信息；对于第三路分类支路，接收第三方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第三分类器以获得第三路分类支路的第三分类信息；以及融合各路分类支路的分类信息，以确定器官的诊断信息。
此外，当由处理器706执行时，计算机可执行指令可以执行器官建模方法和/或用于肺炎诊断建模的方法的步骤。特别地，当由处理器706执行时，计算机可执行指令可以将所述第一图像特征进行分段式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取平均值或最大值而得到例如中间图像特征F2，将该中间图像特征F2输入到构成学习网络201的LSTM网络的相应的LSTM单元302，并将LSTM网络的最后一个LSTM单元302的输出作为第二图像特征F3。
在一些实施例中，处理器706可以是单核或多核处理设备，其包括一个或多个通用处理设备，例如微处理器，中央处理单元(CPU)，图形处理单元(GPU)等。更具体地说，处理器706可以是复杂指令集计算(CISC)微处理器，精简指令集计算(RISC)微处理器，超长指令字(VLIW)微处理器，运行其他指令集的处理器或运行指令集的组合的处理器。处理器706也可以是一个或多个专用处理设备，例如专用集成电路(ASIC)，现场可编程门阵列(FPGA)，数字信号处理器(DSP)，片上系统(SoC)等。
在一些实施例中，处理器706可以通信地耦合到内存705，并且可以被配置为：基于所获取的医学图像获得第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；对于第一路分类支路，接收第一方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第一分类器以获得第一路分类支路的第一分类信息；对于第二路分类支路，接收第二方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第二分类器以获得第二路分类支路的第二分类信息；对于第三路分类支路，接收第三方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，基于所述第一图像特征利用递归神经网络提取第二图像特征，将所提取的第二图像特征馈送到第三分类器以获得第三路分类支路的第三分类信息；融合各路分类支路的分类信息，以确定器官的诊断信息。
根据一些实施例，处理器706还被配置为：将所述第一图像特征F1进行分段式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取平均值或最大值而得到例如中间图像特征F2，将该中间图像特征F2输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征F3。
根据一些实施例，处理器706还被配置为以段间有至少部分图像特征重叠的方式来进行合并以得到合并后的图像特征。
根据本公开的实施例，上述三路分类支路中的各路分类支路的网络结构可以是相同的，各路分类支路中的卷积神经网络的网络参数可以是不同的，并且各路分类支路中的递归神经网络的网络参数可以是不同的。
根据本公开的实施例，处理器706还被配置为，在获得所述器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列之前对原始2D图像进行重采样。可替代地，可以由图像预处理装置700在获得所述器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列之前对原始2D图像进行重采样。
输入/输出装置708可以是诸如键盘，鼠标，打印机，显示器，扫描仪，触摸面板之类的任何输入和输出装置，操作者可以经由该输入和输出装置与计算机交互。在一些实施例中，可以从输入/输出装置708输出预测结果，以呈现给诸如临床医生、患者等的用户。
可以预期的是，本公开的构思同样可经过适当修改而应用于类似的疾病诊断应用，例如，肝脏纤维化程度诊断和分类，图像整体的分类，肝炎诊断和分类等等。本领域技术人员在阅读了本公开内容后容易想到将本公开的思想和概念应用于上述这些应用领域，尤其是图像分类领域，尤其是医学图像分类领域，从而用于疾病诊断。
这里描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。此类内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“增量”或“补丁”代码)。软件代码或指令可以存储在计算机可读存储介质中，并且在被执行时，可以使机器执行所描述的功能或操作，并且包括以机器(例如，计算设备、电子系统等)可以访问的形式存储信息的任何机制，例如可记录或不可记录的介质。
此外，尽管本文已经描述了说明性和示范性的实施例，但是范围包括具有基于本公开的等同要素、修改、省略、组合(例如，跨各个实施例中的方面的组合)、改编或变更的任何和所有实施例。权利要求中的元素将基于权利要求中使用的语言来广泛地解释，并且不限于本说明书中或在本申请审查期间描述的示例。此外，可以以任何方式修改所公开的方法的步骤，包括通过重新排序步骤或插入或删除步骤。因此，旨在将描述仅视为示例，真正的范围由所附权利要求及其等同的全部范围来表明。

Claims (9)

1.一种器官的建模方法，其特征在于，所述建模方法包括：
获得所述器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；
构造三路分类支路，每路分类支路被配置为：分别接收第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列的相应方位的2D图像序列作为输入，基于所述输入利用卷积神经网络提取第一图像特征，将所述第一图像特征进行分段，并以段间有至少部分图像特征重叠的方式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，将该代表值输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征，将所述第二图像特征馈送到相应的分类器以获得该路分类支路的分类信息，其中，各路分类支路的网络结构是相同的，各路分类支路中的卷积神经网络的网络参数是不同的，并且各路分类支路中的LSTM网络的网络参数是不同的；
构造融合部，以融合各路分类支路的分类信息。
2.根据权利要求1所述的建模方法，其特征在于，所述器官包括肺，所述第一方位、第二方位和第三方位彼此之间的夹角为90度。
3.根据权利要求2所述的建模方法，其特征在于，所述第一方位的2D图像序列为肺部的横断位图像序列，第二方位的2D图像序列和第三方位的2D图像序列分别为肺部的冠状位图像序列和矢状位图像序列，且基于肺部的横断位图像序列利用预处理来得到。
4.根据权利要求1所述的建模方法，其特征在于，还包括：在获得所述器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列之前对原始2D图像进行重采样。
5.一种图像分类装置，包括：
接口，被配置为获取器官所在部位的医学图像，其中所述医学图像是通过图像成像装置采集的，
处理器，被配置为：
基于所获取的医学图像获得第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；
对于第一路分类支路，接收第一方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，将所述第一图像特征进行分段，并以段间有至少部分图像特征重叠的方式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，将该代表值输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征，将所述第二图像特征馈送到第一分类器以获得第一路分类支路的第一分类信息；
对于第二路分类支路，接收第二方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，将所述第一图像特征进行分段，并以段间有至少部分图像特征重叠的方式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，将该代表值输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征，将所述第二图像特征馈送到第二分类器以获得第二路分类支路的第二分类信息；
对于第三路分类支路，接收第三方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，将所述第一图像特征进行分段，并以段间有至少部分图像特征重叠的方式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，将该代表值输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征，将所述第二图像特征馈送到第三分类器以获得第三路分类支路的第三分类信息；
其中，各路分类支路的网络结构是相同的，各路分类支路中的卷积神经网络的网络参数是不同的，并且各路分类支路中的LSTM网络的网络参数是不同的；
融合各路分类支路的分类信息，以确定器官的诊断信息。
6.根据权利要求5所述的图像分类装置，其特征在于，所述器官包括肺，所述医学图像包括CT图像，所述分类信息是肺炎诊断结果，所述第一方位、第二方位和第三方位彼此之间的夹角为90度。
7.根据权利要求6所述的图像分类装置，其特征在于，所述第一方位的2D图像序列为肺部的横断位图像序列，第二方位的2D图像序列和第三方位的2D图像序列分别为肺部的冠状位图像序列和矢状位图像序列，且基于肺部的横断位图像序列利用预处理来得到。
8.根据权利要求5所述的图像分类装置，其特征在于，所述处理器还被配置为：在获得所述器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列之前对所述医学图像进行重采样。
9.一种非暂时性计算机可读存储介质，其存储有指令，该指令在由处理器执行时执行图像分类方法，该图像分类方法包括：
获得器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；
基于所获取的医学图像获得第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，所述第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；
对于第一路分类支路，接收第一方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，将所述第一图像特征进行分段，并以段间有至少部分图像特征重叠的方式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，将该代表值输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征，将所述第二图像特征馈送到第一分类器以获得第一路分类支路的第一分类信息；
对于第二路分类支路，接收第二方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，将所述第一图像特征进行分段，并以段间有至少部分图像特征重叠的方式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，将该代表值输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征，将所述第二图像特征馈送到第二分类器以获得第二路分类支路的第二分类信息；
对于第三路分类支路，接收第三方位的2D图像序列作为输入，基于该输入利用卷积神经网络提取第一图像特征，将所述第一图像特征进行分段，并以段间有至少部分图像特征重叠的方式合并而得到合并后的图像特征子集，将合并后的图像特征子集内的图像特征取代表值，将该代表值输入到LSTM网络的各个LSTM单元，并将LSTM网络的最后一个LSTM单元的输出作为第二图像特征，将所述第二图像特征馈送到第三分类器以获得第三路分类支路的第三分类信息；
其中，各路分类支路的网络结构是相同的，各路分类支路中的卷积神经网络的网络参数是不同的，并且各路分类支路中的LSTM网络的网络参数是不同的；
融合各路分类支路的分类信息，以确定器官的诊断信息。
CN202110047682.1A 2021-01-14 2021-01-14 器官的建模方法、图像分类装置和存储介质 Active CN112652032B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110047682.1A CN112652032B (zh) 2021-01-14 2021-01-14 器官的建模方法、图像分类装置和存储介质
US17/482,901 US20220222812A1 (en) 2021-01-14 2021-09-23 Device and method for pneumonia detection based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110047682.1A CN112652032B (zh) 2021-01-14 2021-01-14 器官的建模方法、图像分类装置和存储介质

Publications (2)

Publication Number Publication Date
CN112652032A CN112652032A (zh) 2021-04-13
CN112652032B true CN112652032B (zh) 2023-05-30

Family

ID=75368257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110047682.1A Active CN112652032B (zh) 2021-01-14 2021-01-14 器官的建模方法、图像分类装置和存储介质

Country Status (2)

Country Link
US (1) US20220222812A1 (zh)
CN (1) CN112652032B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862850B (zh) * 2022-07-06 2022-09-20 深圳科亚医疗科技有限公司 一种血管医学图像的目标检测方法、装置及介质
CN117315380B (zh) * 2023-11-30 2024-02-02 深圳市健怡康医疗器械科技有限公司 一种基于深度学习的肺炎ct图像分类方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372648A (zh) * 2016-10-20 2017-02-01 中国海洋大学 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
CN105678250B (zh) * 2015-12-31 2019-10-11 北京迈格威科技有限公司 视频中的人脸识别方法和装置
CN106682435B (zh) * 2016-12-31 2021-01-29 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
US10671918B2 (en) * 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing
EP4361947A2 (en) * 2018-03-23 2024-05-01 Memorial Sloan-Kettering Cancer Center Systems and methods for multiple instance learning for classification and localization in biomedical imagining
US11170504B2 (en) * 2019-05-02 2021-11-09 Keyamed Na, Inc. Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置
CN106372648A (zh) * 2016-10-20 2017-02-01 中国海洋大学 基于多特征融合卷积神经网络的浮游生物图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合多维度卷积神经网络的肺结节分类方法;吴保荣;强彦;王三虎;唐笑先;刘希靖;;计算机工程与应用(24);第177-183页 *

Also Published As

Publication number Publication date
US20220222812A1 (en) 2022-07-14
CN112652032A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
US11574406B2 (en) Systems and methods for image segmentation using a scalable and compact convolutional neural network
Tang et al. Xlsor: A robust and accurate lung segmentor on chest x-rays using criss-cross attention and customized radiorealistic abnormalities generation
Aggarwal et al. COVID-19 image classification using deep learning: Advances, challenges and opportunities
CN110838124B (zh) 用于分割具有稀疏分布的对象的图像的方法、系统和介质
US20210374950A1 (en) Systems and methods for vessel plaque analysis
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
Zhu et al. A 3d coarse-to-fine framework for automatic pancreas segmentation
CN112652032B (zh) 器官的建模方法、图像分类装置和存储介质
EP3806035A1 (en) Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging
Meirovitch et al. A multi-pass approach to large-scale connectomics
CN110490927B (zh) 用于为图像中的对象生成中心线的方法、装置和系统
Lin et al. Deep learning based automatic segmentation of metastasis hotspots in thorax bone SPECT images
US11475562B2 (en) Fissurenet: a deep learning approach for pulmonary fissure detection in CT images
CN109741312A (zh) 一种肺结节鉴别方法、装置、设备及介质
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
US20220415510A1 (en) Method and system for disease quantification modeling of anatomical tree structure
Zhou et al. Proxy-bridged image reconstruction network for anomaly detection in medical images
CN113782181A (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
Drioua et al. Breast Cancer Detection from Histopathology Images Based on YOLOv5
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
Lu et al. Lumbar spine segmentation method based on deep learning
US11416994B2 (en) Method and system for detecting chest x-ray thoracic diseases utilizing multi-view multi-scale learning
Gu et al. The effect of pulmonary vessel suppression on computerized detection of nodules in chest CT scans
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant