CN112686899B - 医学图像分析方法和装置、计算机设备及存储介质 - Google Patents

医学图像分析方法和装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112686899B
CN112686899B CN202110299397.9A CN202110299397A CN112686899B CN 112686899 B CN112686899 B CN 112686899B CN 202110299397 A CN202110299397 A CN 202110299397A CN 112686899 B CN112686899 B CN 112686899B
Authority
CN
China
Prior art keywords
features
medical image
image
navigation
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110299397.9A
Other languages
English (en)
Other versions
CN112686899A (zh
Inventor
李若平
赵鹏飞
李俊环
欧阳滨
李育威
曹坤琳
宋麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Priority to CN202110299397.9A priority Critical patent/CN112686899B/zh
Priority to CN202110653636.6A priority patent/CN115115570A/zh
Publication of CN112686899A publication Critical patent/CN112686899A/zh
Application granted granted Critical
Publication of CN112686899B publication Critical patent/CN112686899B/zh
Priority to US17/408,321 priority patent/US11494908B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

本公开涉及一种医学图像分析方法和装置、计算机设备及计算机可读存储介质。该医学图像分析方法包括：接收由医学成像装置采集的医学图像；对医学图像基于分析要求进行导航处理以得到导航轨迹，该分析要求包括要分析的疾病；沿着导航轨迹提取图像块集合；基于图像块集合利用第一学习网络提取图像特征；以及将所提取的图像特征馈送到第二学习网络，该第二学习网络被配置为基于图像特征和导航轨迹来确定分析结果。本公开利用导航的设计统一了模型框架，并且能够基于导航轨迹并结合第一学习网络和第二学习网络实现对医学图像更精准、更有针对性的分析，因此，降低了医学图像处理的复杂度，提高了医学图像分析的效率和准确性，并降低了人工成本。

Description

医学图像分析方法和装置、计算机设备及存储介质
技术领域
本公开涉及医学图像处理技术领域，更具体地，涉及一种医学图像分析方法和装置、计算机设备及计算机可读存储介质。
背景技术
医学图像可以快速地、无创伤或微创伤地获取到人体内部组织结构性成像和功能性成像，以清楚地了解人类各器官的生理结构和代谢情况。目前，医学图像分析已经成为必不可少的临床诊断辅助手段。通过图像处理技术、计算机技术，可以对这些信息进行有效处理，用于辅助诊断、手术规划等，具有重大的社会效益和广泛的应用前景。
近年来，深度学习（Deep Learning，DL），特别是深度卷积神经网络（Convolutional Neural Network，CNN）已经迅速发展成为医学图像分析的研究热点，其能够从医学图像大数据中自动提取隐含的疾病诊断特征，因此，逐渐成为图像筛查分类中的重要技术。
然而，现有技术在对医学图像进行病变检测和分析仅能够利用单一模型对单一病种进行病变检测和分析，例如，利用乳腺癌分类模型对乳腺癌进行检测和分析，利用核性白内障分级模型对核性白内障进行检测和分析，或者利用阿尔茨海默病（AlzheimerDisease，AD）和轻度认知障碍（Mild Cognitive Impairment，MCI）分类模型对阿尔茨海默病和轻度认知障碍进行检测和分析等。在临床应用中，经常出现需要对多种不同类型的疾病进行分析的情况，而现有技术仅能够针对多种不同类型的疾病建立多个模型分析，因此，在对医学图像进行分析时，针对不同的疾病需要人工手动调整模型的设置需求，导致医学图像分析的效率低，人工成本高。另外，现有技术仅能够对整个医学图像进行分析，而无法针对所关注的疾病区域进行分析，导致医学图像处理的复杂度高，医学图像分析的效率和准确性低，无法满足临床应用对于疾病精准分析和诊断的要求。
发明内容
提供了本公开以解决现有技术中存在的上述问题。
本公开需要一种医学图像分析方法和装置、计算机设备及计算机可读存储介质。该医学图像分析方法通过对接收到的医学图像基于分析要求进行导航处理以得到导航轨迹，并基于沿着导航轨迹提取的图像块集合利用第一学习网络和第二学习网络来确定分析结果，能够对医学图像进行更精准、更有针对性的分析，因此，降低了医学图像处理的复杂度，提高了医学图像分析的效率和准确性，并降低了人工成本。
根据本公开的第一方面，提供了一种医学图像分析方法。该医学图像分析方法包括：接收由医学成像装置采集的医学图像；对医学图像基于分析要求进行导航处理以得到导航轨迹，该分析要求包括要分析的疾病；沿着导航轨迹提取图像块集合；基于图像块集合利用第一学习网络提取图像特征；以及将所提取的图像特征馈送到第二学习网络，该第二学习网络被配置为基于图像特征和导航轨迹来确定分析结果。
根据本公开的第二方面，提供了一种医学图像分析装置。该医学图像分析装置包括：第一接收模块，其被配置为接收由医学成像装置采集的医学图像；导航处理模块，其被配置为对医学图像基于分析要求进行导航处理以得到导航轨迹，该分析要求包括要分析的疾病；第一提取模块，其被配置为沿着导航轨迹提取图像块集合；第二提取模块，其被配置为基于图像块集合利用第一学习网络提取图像特征；以及第一馈送模块，其被配置为将所提取的图像特征馈送到第二学习网络，该第二学习网络被配置为基于图像特征和导航轨迹来确定分析结果。
根据本公开的第三方面，提供了一种计算机设备，包括存储器和处理器，其中，存储器用于存储一条或多条计算机程序指令，其中，一条或多条计算机程序指令被处理器执行以实现一种医学图像分析方法。
根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储计算机程序指令，其中，计算机程序指令在被处理器执行时实现一种医学图像分析方法。
利用根据本公开各个实施例的医学图像分析方法和装置、计算机设备及计算机可读存储介质，其利用导航的设计统一了模型框架，该模型框架可以满足不同疾病的不同需求，使得用户只需输入分析要求（疾病的类型），即可得到对应的导航轨迹，避免了根据不同需求更改不同模型设置的复杂操作，降低了人工成本。进一步地，本方法通过采用导航轨迹可以以比较小的信息量的代价尽量地采集了更有用的信息。也就是说，在统一的框架下，针对各种不同的分析要求尽量地提取了比较丰富且有效的图像块的信息。另外，本方法基于沿着导航轨迹提取的图像块集合利用第一学习网络和第二学习网络来确定分析结果，能够快速、准确地获取与分析要求有关的医学图像，并对所获取的医学图像进行更精准、更有针对性的分析，因此，降低了医学图像处理的复杂度，提高了医学图像分析的效率和准确性。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出根据本公开实施例的医学图像分析方法的流程图；
图2（a）至图2（f）示出根据本公开实施例的导航轨迹的示意图；
图3示出根据本公开实施例的提取图像块集合的示意图；
图4示出根据本公开实施例的医学图像分析方法的流程图；
图5示出根据本公开实施例的医学图像分析装置的框图；
图6示出根据本公开实施例的医学图像分析装置的框图；以及
图7示出根据本公开实施例的计算机设备的结构框图。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
下面将结合附图详细说明根据本公开实施例的一种医学图像分析方法和装置。
图1示出根据本公开实施例的医学图像分析方法的流程图。如图1所示，该医学图像分析方法可以包括接收由医学成像装置采集的医学图像的步骤（步骤102）。
具体地，计算机设备接收由医学成像装置采集的医学图像。这里，计算机设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，本公开实施例对此不作限制。进一步地，计算机设备可以从医学成像装置中实时地获取医学图像，也可以从服务器中获取由医学成像装置采集的医学图像，本公开实施例对此不作限制。这里，服务器可以是独立的物理服务器，诸如影像归档和通信系统（Picture Archiving andCommunication Systems，PACS），也可以是多个物理服务器构成的服务器集群或者分布式系统，或者还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。计算机设备和服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例对此不作限制。
医学成像装置可以包括X线成像设备、磁共振（Magnetic Resonance Imaging，MRI）成像设备、超声成像设备、核医学成像设备、热成像设备、医用光学成像设备等，本公开实施例对此不作限制。医学图像是通过医学成像装置采集的图像。医学图像可以包括X射线图像（例如，计算机断层扫描（Computed Tomography，CT）图像）、MRI图像、超声图像、放射性核素图像等，本公开实施例对此不作限制。医学图像可以是二维（2D）或三维（3D）图像，并且3D图像可以包含多个2D图像切片。进一步地，医学图像可以是肝肾部图像，也可以是胸部图像，或者还可以是其他部位的图像，本公开实施例对此不作限制。
在一些实施例中，该医学图像分析方法还可以包括对医学图像基于分析要求进行导航处理以得到导航轨迹的步骤（步骤104），其中该分析要求包括要分析的疾病。
具体地，在接收到医学图像之后，计算机设备基于分析要求对接收到的医学图像进行导航处理，得到导航轨迹。这里，分析要求可以包括要分析的疾病，例如，脑肿瘤、乳腺癌等；也可以包括要分析的目标部位，例如，冠脉血管、头颈动脉等；或者还可以包括导航手动/自动设置，例如，手动标注/自动检测得到的肝脏和肾脏的一个以上分界关键点。在一些实施例中，该分析要求可以不仅仅包括要分析的疾病，还可以包括用户（医师）根据不同的应用场景或者需求而定制的分析要求，本公开实施例对此不作限制。
导航处理可以是基于深度学习的训练过程建立的分类学习网络。针对不同的分析要求（不同的疾病类型），导航轨迹可以为不同的形式。具体地，导航轨迹可以是有向的，并且可以包括关键点的路径或图案，或者可以包括结构或功能区的对应模版，其中，该对应模版中的各个结构或功能区针对分析要求是彼此相关联的。进一步地，导航轨迹可以是局部区域路径、单向路径、完整路径、闭环路径、树状结构、图状结构等，本公开实施例对此不作限制。
示例性地，对于脂肪肝的分级问题，导航轨迹可以是手动标注/自动检测得到的肝脏和肾脏的一个以上分界关键点所形成的图案，如图2（a）所示；也可以是手动标注得到的肝脏和肾脏的一个以上分界关键点所形成的路径，如图2（b）所示。对于血管病灶检测，导航轨迹可以是手动标注/自动检测得到的关键点所形成的血管段走向，如图2（c）所示；也可以是自动计算得到的完整的或部分的血管中心线，如图2（d）所示。对于头颈检测，导航轨迹可以是手动勾画/自动检测得到的头颈动脉点云图，如图2（e）所示。
示例性地，对于脑缺血检测，导航轨迹可以是手动勾画/自动检测/配准得到的左、右脑相对应的结构或功能区的对应模板。如图2（f）所示，位于左上角和右上角的图分别为三维脑图矢状面一切面的大脑原图和经过结构分区之后的图；位于左下角和右下角的图分别为三维脑图矢状面另一切面的大脑原图和经过结构分区之后的图。
例如，如图2（f）中位于右上角的图所示，靠近“L”的一侧为左脑，靠近“R”的一侧为右脑，相同名称的左右脑区即为对应的结构关联区，从图中可以看出左、右脑分别包括M1、M2、M3、C、L、I和IC区域，即左脑区M1对应右脑区M1，左脑区M2对应右脑区M2，左脑区M3对应右脑区M3，左脑区C对应右脑区C，以此类推。再如，如图2（f）中位于右下角的图所示，左、右脑分别包括M4、M5和M6区域，即左脑区M4对应右脑区M4，左脑区M5对应右脑区M5，左脑区M6对应右脑区M6。在训练网络时，可以将这些结构关联区对一起输入，以进行是否缺血的分类训练和预测。需要说明的是，训练网络的数据具有关联性，即，左脑区M1不会与左脑区M2进行关联分类，左脑M1区也不会与右脑区M2进行关联分类。
本申请的发明人已经证实，通过将结构/功能关联区对作为集合一起输入，模型只需要分析关联区域，在提高了分析效率的同时，可以得到更准确的分析结果。
在一些实施例中，该医学图像分析方法还可以包括沿着导航轨迹提取图像块集合的步骤（步骤106）。
具体地，计算机设备可以将医学图像输入预设的分割网络，并沿着导航轨迹对医学图像进行图像分割，得到图像块集合。这里，用于分割医学图像的分割网络可以是诸如多级别学习网络的机器学习网络，并且可以使用监督学习来训练。分割网络的架构可以包括不同的块和层的堆叠，各个块和层将一个以上输入转换为一个以上输出，不同层的示例可包括一个以上卷积层或全卷积层、非线性操作符层、池化层或子采样层、全连接层和/或最终损失层，每层可以连接一个上游层和一个下游层。进一步地，分割网络可以是诸如V-Net、U-Net的传统网络，也可以是金字塔场景解析网络（Pyramid Scene Parsing Network，PSPNet），或者还可以是DeepLabV3网络，本公开实施例对此不作限制。
图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。基于深度学习的图像分割方法可以包括但不限于基于特征编码的图像分割方法、基于区域选择的图像分割方法、基于循环神经网络（Recurrent Neural Network，RNN）的图像分割方法、基于上采样/反卷积的图像分割方法、基于提高特征分辨率的图像分割方法、基于特征增强的图像分割方法、使用条件随机场（Conditional Random Field，CRF）/马尔可夫随机场（Marcov Random Field，MRF）的图像分割方法等。
由于导航轨迹可以包括关键点的路径或图案或者结构或功能区的对应模版，对应模版中的各个结构或功能区针对分析要求是彼此相关联的，因此，所要提取的图像块集合中各图像块之间可能是功能也可能是空间相关联的。从而，沿着导航轨迹提取图像块集合的方式相较于普通的提取图像块集合的方式可以减少要分析的图像块的信息量。即，采用导航轨迹相当于以比较小的信息量的代价尽量地采集了更有用的信息。
示例性地，以输入的医学图像是2D肝肾超声图像为例。如图3所示，在接收到超声成像设备采集的2D肝肾超声图像之后，计算机设备对该2D肝肾超声图像进行导航处理，得到带有导航轨迹（即，图2所示的两个关键点“★”）的肝肾超声图像；进一步地，计算机设备对带有两个关键点“★”的2D肝肾超声图像，以这两个关键点“★”为中心分别对2D肝肾超声图像进行截取，得到两个2D图像块，将这两个2D图像块汇总而成的集体即为图像块集合。判定是否有脂肪肝及其分类时，肝肾亮度比是一个重要指标，因而以分界的关键点或路径作为导航轨迹，根据导航轨迹截取待分析图像块，能够同时包含肝脏和肾脏的亮度信息，使得分析结果更合理精确。
在一些实施例中，该医学图像分析方法还可以包括基于图像块集合利用第一学习网络提取图像特征的步骤（步骤108）。
具体地，第一学习网络可以包括卷积神经网络。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Network，FNN），是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。图像特征可以包括颜色特征、纹理特征、形状特征和空间关系特征。进一步地，图像特征可以是图像块集合中各个图像块特征的序列。
特征提取是计算机视觉和图像处理中的一个概念，是指使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征提取的方法可以包括但不限于尺度不变特征转换（Scale-Invariant Feature Transform，SIFT）、方向梯度直方图（Histogram of Oriented Gradient，HOG）、加速稳健特征（Speeded Up RobustFeature，SURF）、高斯函数的差分（Difference of Gaussian，DOG）等。
在一些实施例中，该医学图像分析方法还可以包括将所提取的图像特征馈送到第二学习网络的步骤（步骤110），其中该第二学习网络被配置为基于图像特征和导航轨迹来确定分析结果。
具体地，计算机设备将所提取的图像特征馈送到第二学习网络，使得第二学习网络可以基于图像特征和导航轨迹对医学图像进行分析以得到分析结果。这里，第二学习网络可以包括循环神经网络和递归神经网络（Recursive Neural Network，RNN）中的一种或其组合。循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。递归神经网络是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络（Artificial Neural Network，ANN），是深度学习算法之一。在一些实施例中，第二学习网络的各个节点之间的信息交互方式可以遵循对应的导航轨迹上的各点之间的物理（包括但不限于空间、生理功能等）约束关系，从而得到更准确的分析结果。
示例性地，对于脑肿瘤的检测，可以基于导航为脑结构或功能区的模版，并使用3D卷积神经网络来做出预测分析；对于血管疾病的检测，可以使用2D/3D卷积神经网络，同时基于导航为某段血管关键点的轨迹，并结合循环神经网络或递归神经网络来做出预测分析。
根据本公开实施例的医学图像分析方法，其导航的设计统一了模型框架，该模型框架可以满足不同疾病的不同需求，使得用户只需输入分析要求（疾病的类型），即可得到对应的导航轨迹，避免了根据不同需求更改多个模型设置的复杂操作，降低了人工成本。进一步地，本方法通过采用导航轨迹可以以比较小的信息量的代价尽量地采集了更有用的信息。也就是说，在统一的框架下，针对各种不同的分析要求尽量地提取了比较丰富且有效的图像块的信息。另外，本方法基于沿着导航轨迹提取的图像块集合利用第一学习网络和第二学习网络来确定分析结果，能够快速、准确地获取与分析要求有关的医学图像，并对所获取的医学图像进行更精准、更有针对性的分析，因此，降低了医学图像处理的复杂度，提高了医学图像分析的效率和准确性。
在一些实施例中，图像特征为图像块集合中各个图像块特征的序列；第二学习网络被配置为：基于第一学习网络提取的图像块特征和导航轨迹进行空间/功能关系学习，基于学习得到的图像块特征之间的空间/功能关系来确定分析结果。
具体地，空间关系是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。提取图像空间关系特征可以包括两种方法：一种是对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种是将图像均匀地划分为若干个规则子块，然后对每个图像子块提取特征，并建立索引。在一些实施例中，功能关系例如左右脑区之间的功能关联性，等等。
在一些实施例中，该医学图像分析方法还包括：接收医学图像的受检者的病历；从病历中筛选出分析要求的相关文本；基于相关文本提取文本特征；将文本特征与图像特征进行融合以得到融合特征；以及将融合特征馈送到第二学习网络，第二学习网络被配置为基于融合特征来确定分析结果。
具体地，计算机设备从接收到的医学图像的受检者的病历中筛选出分析要求的相关文本，并基于相关文本进行文本特征的提取；进一步地，计算机设备对文本特征和图像特征进行特征融合得到融合特征，并将融合特征馈送到第二学习网络，使得第二学习网络可以基于融合特征来确定分析结果。
这里，病历是医务人员对病人患病经过和治疗情况所作的文字记录，是医生诊断和治疗疾病的依据，是医学科学研究的很有价值的资料。病历可以包括基本信息（例如，姓名、性别、年龄、婚姻等）、主诉、现病史（例如，起病时间、缓急、部位、伴随症状的特点及变化等）、既往史（例如，既往的健康状况、有无患过传染病、有无手术史、有无食物或药物过敏史等）、个人史（例如，生活是否规律、有无不良嗜好、有无重大精神创伤史等）、家族史（例如，有无家族遗传病、有无家族聚集性疾病、家庭成员中有无类似疾病等）。病例筛选的标准可以包括但不限于病例入选及排除标准、分型标准、病因分组标准、年龄分组标准、预后分组标准等。需要说明的是，病例可以手动筛选，也可以自动筛选，本公开实施例对此不作限制。
文本特征提取是指从文本中提取出能够有效表示文本整体信息的特征。文本特征提取可以实现文本向量空间从高维映射到低维映射的有效降维，并且可以将代表类别的特征项筛选出来。文本特征提取的方法可以包括但不限于用映射或变换的方法把原始特征变换为较少的新特征、从原始特征中挑选出一些最具代表性的特征、根据专家的知识挑选最有影响的特征、用数学的方法进行选取以找出最具分类信息的特征等。
在本公开实施例中，文本特征可以基于相关文本并利用自然语言处理（NaturalLanguage Processing，NLP）模型来提取。这里，自然语言处理是以语言为对象，利用计算机技术来分析、理解和处理自然语言的一门学科，即，把计算机作为语言研究的强大工具，在计算机的支持下对语言信息进行定量化的研究，并提供可供人与计算机之间能共同使用的语言描写。自然语言处理包括自然语言理解（NaturalLanguage Understanding，NLU）和自然语言生成（Natural LanguageGeneration，NLG）两部分。自然语言处理模型可以是语言模型，也可以是N-gram模型，或者还可以是神经网络语言模型（Nerual Network LanguageModel，NNLM），本公开实施例对此不作限制。
特征融合是指将来源不同的特征整合到一起并去除冗余，以得到更有利于对医学图像进行预测分析的融合特征。特征融合的算法可以包括但不限于基于贝叶斯理论的特征融合算法（例如，分类器的乘法规则和加法规则、基于线性特征依赖模型的特征融合算法等）、基于稀疏表示理论的特征融合算法、基于深度学习理论的特征融合算法等。这里，基于稀疏表示理论的特征融合算法是对样本提取多特征后建立特征联合稀疏矩阵，该特征联合稀疏矩阵即为多特征融合的结果；基于深度学习理论的特征融合算法是将多个神经网络得到的特征进行融合以得到融合特征。
在一些实施例中，将文本特征与图像特征进行融合以得到融合特征进一步包括：将文本特征与图像特征进行合并，并将合并后的特征馈入多层感知机，通过反向传播对合并后的特征进行优化，以得到融合特征。
具体地，计算机设备对文本特征和图像特征进行特征合并，并将合并后的特征输入多层感知机；进一步地，计算机设备利用反向传播算法对合并后的特征进行优化，得到融合特征。
这里，特征合并是指将来源不同的特征叠加到一起，以得到更有利于对医学图像进行预测分析的合并后的特征。特征合并的方式可以包括add方式和concat方式。对于ResNet/FPN等网络结构逐元素做值的叠加而通道数是不变的，可以采用的add方式来融合特征；而对于DenseNet等网络结构则做通道的合并，可以采用concat方式来融合特征；也就是说，concat方式是将特征联合、多个卷积特征提取框架提取的特征融合，或者是将输出层的信息进行融合；而add方式是信息之间的叠加。进一步地，add方式在维度不变的情况下使描述图像的特征每一维下的信息量增多，这显然对最终的图像的分类是有益的；而concat方式是通道数的合并，也就是描述图像的特征维度增加，而每一维度特征下的信息量不变。
多层感知机（Multilayer Perceptron，MLP）是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。进一步地，多层感知机是一种除了输入层和输出层，中间可以有多个隐层的神经网络架构。
反向传播（Backpropagation，BP）算法是适合于多层神经元网络的一种学习算法，其建立在梯度下降法的基础上。BP算法的主要思想是将训练集数据输入到人工神经网络的输入层，经过隐藏层，最后达到输出层并输出结果，这是人工神经网络的前向传播过程；由于人工神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值，不断迭代上述过程，直至收敛。
图4示出根据本公开实施例的医学图像分析方法的流程图。如图4所示，该医学图像分析方法包括如下步骤。该方法始于接收由医学成像装置采集的医学图像（步骤402）。该方法还可以包括对医学图像基于分析要求进行导航处理以得到导航轨迹的步骤（步骤404），该分析要求包括要分析的疾病。该方法还可以包括沿着导航轨迹提取图像块集合的步骤（步骤406）。该方法还可以包括基于图像块集合利用第一学习网络提取图像特征的步骤（步骤408）。该方法还可以包括接收医学图像的受检者的病历的步骤（步骤410）。该方法还可以包括从病历中筛选出分析要求的相关文本的步骤（步骤412）。该方法还可以包括基于相关文本提取文本特征的步骤（步骤414）。该方法还可以包括将文本特征与图像特征进行融合以得到融合特征的步骤（步骤416）。该方法还可以包括将融合特征馈送到第二学习网络的步骤（步骤418），其中该第二学习网络被配置为基于融合特征来确定分析结果。
根据本公开实施例的医学图像分析方法，通过对接收到的医学图像基于分析要求进行导航处理得到导航轨迹，并基于沿着导航轨迹提取的图像块集合利用第一学习网络提取图像特征，以及将从病历中筛选出分析要求的相关文本提取文本特征与所提取的图像特征进行融合得到融合特征，并基于融合特征利用第二学习网络来确定分析结果，能够减少冗余信息的干扰，从而能够快速、准确地获取与分析要求有关的医学图像，并对所获取的医学图像进行更精准、更有针对性的分析，因此，保证了信息的有效性，降低了医学图像处理的复杂度，提高了医学图像分析的效率和准确性，并降低了人工成本。
下述为本公开的装置实施例，可以用于执行本公开的方法实施例。对于本公开的装置实施例中未披露的细节，请参照本公开的方法实施例。
图5示出根据本公开实施例的医学图像分析装置的框图。如图5所示，该医学图像分析装置可以包括第一接收模块502，其被配置为接收由医学成像装置采集的医学图像。
在一些实施例中，该医学图像分析装置还可以包括导航处理模块504，其被配置为对医学图像基于分析要求进行导航处理以得到导航轨迹，该分析要求包括要分析的疾病。
在一些实施例中，该分析要求不仅仅包括要分析的疾病，例如，还可以包括用户根据不同的应用场景而定制的分析要求。
在一些实施例中，该医学图像分析装置还可以包括第一提取模块506，其被配置为沿着导航轨迹提取图像块集合。由于导航轨迹可以包括结构或功能区相关联的对应模版，因此，所要提取的图像块集合中各图像块之间可能是功能也可能是空间相关联的。
在一些实施例中，该医学图像分析装置还可以包括第二提取模块508，其被配置为基于图像块集合利用第一学习网络提取图像特征。
在一些实施例中，该医学图像分析装置还可以包括第一馈送模块510，其被配置为将所提取的图像特征馈送到第二学习网络，该第二学习网络被配置为基于图像特征和导航轨迹来确定分析结果。
根据本公开实施例的医学图像分析装置，其利用导航处理模块统一了模型框架，该模型框架可以满足不同疾病的不同需求，使得用户只需输入分析要求（疾病的类型），即可得到对应的导航轨迹，避免了根据不同需求更改多个模型设置的复杂操作，降低了人工成本。进一步地，本装置采用导航轨迹可以以比较小的信息量的代价尽量地采集了更有用的信息。也就是说，在统一的框架下，针对各种不同的分析要求尽量地提取了比较丰富且有效的图像块的信息。另外，本装置基于沿着导航轨迹提取的图像块集合利用第一学习网络和第二学习网络来确定分析结果，能够快速、准确地获取与分析要求有关的医学图像，并对所获取的医学图像进行更精准、更有针对性的分析，因此，降低了医学图像处理的复杂度，提高了医学图像分析的效率和准确性。
在一些实施例中，导航轨迹是有向的，图像特征为图像块集合中各个图像块特征的序列，第一学习网络包括卷积神经网络，第二学习网络包括循环神经网络和递归神经网络中的一种或其组合。
在一些实施例中，分析要求还包括要分析的目标部位以及导航手动/自动设置。
在一些实施例中，导航轨迹包括关键点的路径或图案，或者结构或功能区的对应模版，对应模版中的各个结构或功能区针对分析要求是彼此相关联的。
在一些实施例中，对于脂肪肝的分级问题，导航轨迹为手动标注/自动检测得到的肝脏和肾脏的一个以上分界关键点所形成的路径或图案。
在一些实施例中，对于血管病灶检测，导航轨迹为手动标注/自动检测得到的关键点所形成的血管段走向，或者是自动计算得到的完整的或部分的血管中心线。
在一些实施例中，对于脑缺血检测，导航轨迹为手动勾画/自动检测得到的左、右脑相对应的结构或功能区的对应模板。
在一些实施例中，图像特征为图像块集合中各个图像块特征的序列；第二学习网络被配置为：基于导航轨迹对第一学习网络提取的各个图像块特征之间的空间/功能关系进行学习，基于学习得到的图像块特征之间的空间/功能关系来确定分析结果。
在一些实施例中，导航处理为基于深度学习的训练过程建立的分类学习网络。
图6示出根据本公开实施例的医学图像分析装置的框图。如图6所示，该医学图像分析装置可以包括第一接收模块602，其被配置为接收由医学成像装置采集的医学图像。
在一些实施例中，该医学图像分析装置还可以包括导航处理模块604，其被配置为对医学图像基于分析要求进行导航处理以得到导航轨迹，该分析要求包括要分析的疾病。
在一些实施例中，该医学图像分析装置还可以包括第一提取模块606，其被配置为沿着导航轨迹提取图像块集合。
在一些实施例中，该医学图像分析装置还可以包括第二提取模块608，其被配置为基于图像块集合利用第一学习网络提取图像特征。
在一些实施例中，该医学图像分析装置还可以包括第一馈送模块610，其被配置为将所提取的图像特征馈送到第二学习网络，该第二学习网络被配置为基于图像特征和导航轨迹来确定分析结果。
在一些实施例中，该医学图像分析装置还可以包括第二接收模块612，其被配置为接收医学图像的受检者的病历。
在一些实施例中，该医学图像分析装置还可以包括文本筛选模块614，其被配置为从病历中筛选出分析要求的相关文本。
在一些实施例中，该医学图像分析装置还可以包括第三提取模块616，其被配置为基于相关文本提取文本特征。
在一些实施例中，该医学图像分析装置还可以包括特征融合模块618，其被配置为将文本特征与图像特征进行融合以得到融合特征。
在一些实施例中，该医学图像分析装置还可以包括第二馈送模块620，其被配置为将融合特征馈送到第二学习网络，该第二学习网络被配置为基于融合特征来确定分析结果。
根据本公开实施例的医学图像分析装置，通过对接收到的医学图像基于分析要求进行导航处理得到导航轨迹，并基于沿着导航轨迹提取的图像块集合利用第一学习网络提取图像特征，以及将从病历中筛选出分析要求的相关文本提取文本特征与所提取的图像特征进行融合得到融合特征，并基于融合特征利用第二学习网络来确定分析结果，能够减少冗余信息的干扰，从而能够快速、准确地获取与分析要求有关的医学图像，并对所获取的医学图像进行更精准、更有针对性的分析，因此，保证了信息的有效性，降低了医学图像处理的复杂度，提高了医学图像分析的效率和准确性，并降低了人工成本。
在一些实施例中，文本特征基于相关文本利用自然语言处理模型来提取。
在一些实施例中，特征融合模块618进一步被配置为将文本特征与图像特征进行合并，并将合并后的特征馈入多层感知机，通过反向传播对合并后的特征进行优化，以得到融合特征。
在一些实施例中，导航处理为基于深度学习的训练过程建立的分类学习网络。
图7示出根据本公开实施例的计算机设备的结构框图。如图7所示，该计算机设备为通用数据处理装置，包括通用的计算机硬件结构，该计算机设备至少包括处理器702和存储器704。处理器702和存储器704通过总线706连接。存储器704适于存储处理器702可执行的指令或程序。处理器702可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器702通过执行存储器704所存储的命令，从而执行如上所述的本公开实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线706将上述多个组件连接在一起，同时将上述组件连接到显示控制器708和显示装置以及输入/输出（I/O）装置710。输入/输出（I/O）装置710可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出（I/O）装置710通过输入/输出（I/O）控制器712与系统相连。
其中，存储器704可以存储软件组件，例如，操作系统、通信模块、交互模块和应用程序。上述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
在一些实施例中，计算机设备可以处于某处，散布于多处，也可以是分布式的计算机设备，例如设置于云端，本公开实施例对此不作限制。
上述根据本公开实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应理解，流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得（经由计算机或其它可编程数据处理设备的处理器执行的）指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
同时，如本领域技术人员将意识到的，本公开实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本公开实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式（包括固件、常驻软件、微代码等）或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本公开的方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如（但不限于）电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例（非穷尽列举）将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪速存储器）、光纤、便携式光盘只读存储器（CD-ROM）、光存储装置、磁存储装置或前述的任意适当的组合。在本公开实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号，该传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
可以使用包括但不限于无线、有线、光纤电缆、RF等或前述的任意适当组合的任意合适的介质来传送实现在计算机可读介质上的程序代码。
用于执行针对本公开各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，编程语言包括：面向对象的编程语言如Java、Smalltalk、C++、PHP、Python等；以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行；部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网（LAN）或广域网（WAN）的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接（例如通过使用因特网服务供应商的因特网）。
还可以将这些计算机程序指令存储在可以指导计算机、其它可编程数据处理设备或其它装置以特定方式运行的计算机可读介质中，使得在计算机可读介质中存储的指令产生包括实现在流程图和/或框图块或块中指定的功能/动作的指令的制品。
计算机程序指令还可以被加载至计算机、其它可编程数据处理设备或其它装置上，以使在计算机、其它可编程设备或其它装置上执行一系列可操作步骤来产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或框图块或块中指定的功能/动作的过程。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

Claims (26)

1.一种医学图像分析方法，其特征在于，包括：
接收由医学成像装置采集的医学图像；
对所述医学图像基于分析要求进行导航处理以得到导航轨迹，所述分析要求包括要分析的疾病；
沿着所述导航轨迹提取图像块集合，所述图像块集合为各个图像块汇总而成的集体；
基于所述图像块集合利用第一神经网络提取图像特征，所述图像特征为所述图像块集合中各个图像块特征的序列；以及
将所提取的图像特征馈送到第二神经网络，所述第二神经网络被配置为基于所述图像特征和所述导航轨迹来确定分析结果。
2.根据权利要求1所述的医学图像分析方法，其特征在于，所述导航轨迹是有向的，所述第一神经网络包括卷积神经网络，所述第二神经网络包括循环神经网络和递归神经网络中的一种或其组合。
3.根据权利要求1所述的医学图像分析方法，其特征在于，所述分析要求还包括要分析的目标部位以及导航手动/自动设置。
4.根据权利要求1所述的医学图像分析方法，其特征在于，所述导航轨迹包括关键点的路径或图案，或者结构或功能区的对应模版，所述对应模版中的各个结构或功能区针对分析要求是彼此相关联的。
5.根据权利要求1所述的医学图像分析方法，其特征在于，对于脂肪肝的分级问题，所述导航轨迹为手动标注/自动检测得到的肝脏和肾脏的一个以上的关键点所形成的路径或图案。
6.根据权利要求1所述的医学图像分析方法，其特征在于，对于血管病灶检测，所述导航轨迹为手动标注/自动检测得到的关键点所形成的血管段走向，或者是自动计算得到的完整的或部分的血管中心线。
7.根据权利要求1所述的医学图像分析方法，其特征在于，对于脑缺血检测，所述导航轨迹为手动勾画/自动检测得到的左、右脑相对应的结构或功能区的对应模板。
8.根据权利要求1所述的医学图像分析方法，其特征在于，所述第二神经网络被配置为：基于所述第一神经网络提取的图像块特征和所述导航轨迹进行空间/功能关系学习，基于学习得到的所述图像块特征之间的空间/功能关系来确定所述分析结果。
9.根据权利要求1所述的医学图像分析方法，其特征在于，还包括：
接收所述医学图像的受检者的病历；
从所述病历中筛选出所述分析要求的相关文本；
基于所述相关文本提取文本特征；
将所述文本特征与所述图像特征进行融合以得到融合特征；以及
将所述融合特征馈送到所述第二神经网络，所述第二神经网络被配置为基于所述融合特征来确定分析结果。
10.根据权利要求9所述的医学图像分析方法，其特征在于，所述文本特征基于所述相关文本利用自然语言处理模型来提取。
11.根据权利要求9所述的医学图像分析方法，其特征在于，将所述文本特征与所述图像特征进行融合以得到融合特征进一步包括：
将所述文本特征与所述图像特征进行合并，并将合并后的特征馈入多层感知机，通过反向传播对合并后的特征进行优化，以得到所述融合特征。
12.根据权利要求1至11中任一项所述的医学图像分析方法，其特征在于，所述导航处理为基于深度学习的训练过程建立的分类学习网络。
13.一种医学图像分析装置，其特征在于，包括：
第一接收模块，其被配置为接收由医学成像装置采集的医学图像；
导航处理模块，其被配置为对所述医学图像基于分析要求进行导航处理以得到导航轨迹，所述分析要求包括要分析的疾病；
第一提取模块，其被配置为沿着所述导航轨迹提取图像块集合，所述图像块集合为各个图像块汇总而成的集体；
第二提取模块，其被配置为基于所述图像块集合利用第一神经网络提取图像特征，所述图像特征为所述图像块集合中各个图像块特征的序列；以及
第一馈送模块，其被配置为将所提取的图像特征馈送到第二神经网络，所述第二神经网络被配置为基于所述图像特征和所述导航轨迹来确定分析结果。
14.根据权利要求13所述的医学图像分析装置，其特征在于，所述导航轨迹是有向的，所述第一神经网络包括卷积神经网络，所述第二神经网络包括循环神经网络和递归神经网络中的一种或其组合。
15.根据权利要求13所述的医学图像分析装置，其特征在于，所述分析要求还包括要分析的目标部位以及导航手动/自动设置。
16.根据权利要求13所述的医学图像分析装置，其特征在于，所述导航轨迹包括关键点的路径或图案，或者结构或功能区的对应模版，所述对应模版中的各个结构或功能区针对分析要求是彼此相关联的。
17.根据权利要求13所述的医学图像分析装置，其特征在于，对于脂肪肝的分级问题，所述导航轨迹为手动标注/自动检测得到的肝脏和肾脏的一个以上的关键点所形成的路径或图案。
18.根据权利要求13所述的医学图像分析装置，其特征在于，对于血管病灶检测，所述导航轨迹为手动标注/自动检测得到的关键点所形成的血管段走向，或者是自动计算得到的完整的或部分的血管中心线。
19.根据权利要求13所述的医学图像分析装置，其特征在于，对于脑缺血检测，所述导航轨迹为手动勾画/自动检测得到的左、右脑相对应的结构或功能区的对应模板。
20.根据权利要求13所述的医学图像分析装置，其特征在于，所述第二神经网络被配置为：基于所述第一神经网络提取的图像块特征和所述导航轨迹进行空间/功能关系学习，基于学习得到的所述图像块特征之间的空间/功能关系来确定所述分析结果。
21.根据权利要求13所述的医学图像分析装置，其特征在于，还包括：
第二接收模块，其被配置为接收所述医学图像的受检者的病历；
文本筛选模块，其被配置为从所述病历中筛选出所述分析要求的相关文本；
第三提取模块，其被配置为基于所述相关文本提取文本特征；
特征融合模块，其被配置为将所述文本特征与所述图像特征进行融合以得到融合特征；以及
第二馈送模块，其被配置为将所述融合特征馈送到所述第二神经网络，所述第二神经网络被配置为基于所述融合特征来确定分析结果。
22.根据权利要求21所述的医学图像分析装置，其特征在于，所述文本特征基于所述相关文本利用自然语言处理模型来提取。
23.根据权利要求21所述的医学图像分析装置，其特征在于，所述特征融合模块进一步被配置为将所述文本特征与所述图像特征进行合并，并将合并后的特征馈入多层感知机，通过反向传播对合并后的特征进行优化，以得到所述融合特征。
24.根据权利要求13至23中任一项所述的医学图像分析装置，其特征在于，所述导航处理为基于深度学习的训练过程建立的分类学习网络。
25.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1至12中任一项所述的医学图像分析方法所执行的操作。
26.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现如权利要求1至12中任一项所述的医学图像分析方法所执行的操作。
CN202110299397.9A 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质 Active CN112686899B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110299397.9A CN112686899B (zh) 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质
CN202110653636.6A CN115115570A (zh) 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质
US17/408,321 US11494908B2 (en) 2021-03-22 2021-08-20 Medical image analysis using navigation processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110299397.9A CN112686899B (zh) 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110653636.6A Division CN115115570A (zh) 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112686899A CN112686899A (zh) 2021-04-20
CN112686899B true CN112686899B (zh) 2021-06-18

Family

ID=75455714

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110653636.6A Pending CN115115570A (zh) 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质
CN202110299397.9A Active CN112686899B (zh) 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110653636.6A Pending CN115115570A (zh) 2021-03-22 2021-03-22 医学图像分析方法和装置、计算机设备及存储介质

Country Status (2)

Country Link
US (1) US11494908B2 (zh)
CN (2) CN115115570A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436191B (zh) * 2021-08-26 2021-11-30 深圳科亚医疗科技有限公司 一种病理图像的分类方法、分类系统及可读介质
CN116563285B (zh) * 2023-07-10 2023-09-19 邦世科技(南京)有限公司 一种基于全神经网络的病灶特征识别与分割方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780475A (zh) * 2016-12-27 2017-05-31 北京市计算中心 一种基于病理组织切片图像组织区域的图像处理方法及装置
CN111209916A (zh) * 2019-12-31 2020-05-29 中国科学技术大学 病灶识别方法及系统、识别设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
US7024238B2 (en) * 2003-04-16 2006-04-04 New England Medical Center Hospitals, Inc. Detecting ischemia
CN101541242B (zh) * 2006-11-30 2012-06-13 皇家飞利浦电子股份有限公司 对脉管结构进行显像
JP5171373B2 (ja) * 2008-04-24 2013-03-27 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴イメージング装置及びｒｆパルス印加方法
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
CN106934799B (zh) * 2017-02-24 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像辅助阅片系统及方法
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
CN110866184B (zh) * 2019-11-11 2022-12-02 湖南大学 短视频数据标签推荐方法、装置、计算机设备和存储介质
CN111275706B (zh) * 2020-03-04 2023-06-02 中山大学附属第一医院 一种基于剪切波弹性成像超声组学深度分析方法及系统
CN111968044B (zh) * 2020-07-16 2023-08-11 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
CN112508918A (zh) * 2020-12-11 2021-03-16 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780475A (zh) * 2016-12-27 2017-05-31 北京市计算中心 一种基于病理组织切片图像组织区域的图像处理方法及装置
CN111209916A (zh) * 2019-12-31 2020-05-29 中国科学技术大学 病灶识别方法及系统、识别设备

Also Published As

Publication number Publication date
CN115115570A (zh) 2022-09-27
US11494908B2 (en) 2022-11-08
US20220301154A1 (en) 2022-09-22
CN112686899A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
Houssein et al. Deep and machine learning techniques for medical imaging-based breast cancer: A comprehensive review
Latif et al. Medical imaging using machine learning and deep learning algorithms: a review
Gite et al. Enhanced lung image segmentation using deep learning
US20220328189A1 (en) Systems, methods, and apparatuses for implementing advancements towards annotation efficient deep learning in computer-aided diagnosis
Helwan et al. Deep networks in identifying CT brain hemorrhage
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
Hashemi et al. Mass detection in lung CT images using region growing segmentation and decision making based on fuzzy inference system and artificial neural network
Bhuvaneswari et al. A new fusion model for classification of the lung diseases using genetic algorithm
CN113421652A (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
CN112686899B (zh) 医学图像分析方法和装置、计算机设备及存储介质
Siddiqui et al. Detection and classification of lung cancer computed tomography images using a novel improved deep belief network with Gabor filters
Jyotiyana et al. Deep learning and the future of biomedical image analysis
Zhang et al. LungSeek: 3D Selective Kernel residual network for pulmonary nodule diagnosis
Sheu et al. Interpretable classification of pneumonia infection using eXplainable AI (XAI-ICP)
Dou et al. Automatic lesion detection with three-dimensional convolutional neural networks
Malik et al. A novel fusion model of hand-crafted features with deep convolutional neural networks for classification of several chest diseases using x-ray images
Yu et al. 3D Medical Image Segmentation based on multi-scale MPU-Net
Panduri et al. A survey on brain tumour segmentation techniques in deep learning
Khalifa et al. Deep Learning for Image Segmentation: A Focus on Medical Imaging
Jin et al. Metadata and Image Features Co-Aware Personalized Federated Learning for Smart Healthcare
Yao et al. From cnn to transformer: A review of medical image segmentation models
Zhao Deep learning based medical image segmentation and classification for artificial intelligence healthcare
Panda et al. Application of artificial intelligence in medical imaging
Lokhande et al. Lung CT image segmentation: a convolutional neural network approach
Ramakrishnan et al. Automated lung cancer nodule detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant