CN109389587B - 一种医学图像分析系统、装置及存储介质 - Google Patents

一种医学图像分析系统、装置及存储介质 Download PDF

Info

Publication number
CN109389587B
CN109389587B CN201811125338.4A CN201811125338A CN109389587B CN 109389587 B CN109389587 B CN 109389587B CN 201811125338 A CN201811125338 A CN 201811125338A CN 109389587 B CN109389587 B CN 109389587B
Authority
CN
China
Prior art keywords
image
region
interest
detection model
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811125338.4A
Other languages
English (en)
Other versions
CN109389587A (zh
Inventor
李青峰
石峰
霍权
詹翊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201811125338.4A priority Critical patent/CN109389587B/zh
Publication of CN109389587A publication Critical patent/CN109389587A/zh
Application granted granted Critical
Publication of CN109389587B publication Critical patent/CN109389587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种医学图像分析系统、装置和存储介质。所述系统包括获取模块、感兴趣区域确定模块和形变类型确定模块。所述获取模块用于获取样本图像和待测图像。所述感兴趣区域确定模块用于将所述待测图像输入至第一检测模型，确定所述待测图像的至少一个感兴趣区域，所述第一检测模型为深度学习模型。所述形变类型确定模块用于将所述至少一个感兴趣区域输入至第二检测模型，确定所述待测图像的形变类型，所述第二检测模型为深度学习模型。本发明将深度卷积神经网络应用于图像形变类型预测中，耗时短，准确率高。

Description

一种医学图像分析系统、装置及存储介质
技术领域
本发明涉及图像处理技术领域，更具体的，涉及一种基于深度卷积神经网络的医学图像分析系统、装置及存储介质。
背景技术
医学图像对于辅助医生筛查患者的患病情况，有着很重要的作用。例如，磁共振成像(MRI)因其无放射性、对人体结构(比如，脑结构)成像质量高等特性，被越来越广泛地应用于疾病诊断中，比如阿尔茨海默症(AD)以及轻度认知障碍(MCI)的诊断。这使得对计算机辅助检测(Computer aided detection，CAD)的需求变得迫切，这能够大大降低医生的工作量，同时也可提高医生检测的准确度。
传统的利用医学图像的计算机辅助诊断主要包含5个步骤，分别为：1)数据采集、2)预处理、3)图像分割、4)特征提取、5)训练分类器及评估其性能。数据采集是指通过成像设备采集医学图像的过程。预处理是指通过重采样、调整方向、去头骨、灰度校正等一系列操作，去除成像设备工作情况对图像质量的影响，为后续分析提供高质量影像。图像分割是指以目前的临床知识为先验，预先定义一些与疾病(例如，AD)相关的特征区域，如海马，颞叶，杏仁核，扣带回等，然后根据这些特征区域，手动分割医学影像为多个感兴趣区域(Region of Interest，ROI)，也有方法用模板图像配准的方法来定义ROI。特征提取是指通过对图像进行一系列操作(如稀疏自编码，小波变换，奇异值分解等)，从每个划分出的ROI中提取若干特征，作为分类器训练和测试的样本。接下来，将输入样本按照一定比例划分为训练集和测试集，将训练数据集送入分类器进行训练，测试数据用于模型性能的评估(如精确度，鲁棒性，查准率，查全率等)。
传统方法对于疾病的检测已经取得了一定的效果，例如，AD，但是在整个处理流程中依然存在需要进一步完善的地方。首先，根据目前临床研究进展，AD的影像病理标志物不够明确，故在特征区域的定义和ROI的划分过程中很可能出现有效信息的疏漏，这将对后续的分类性能产生直接影响。其次，基于ROI的特征提取本质上为有损压缩，存在有效信息丢失的可能；且提取出的特征通常是高维的，针对高维特征通常需要降维处理，也会带来有效信息的丢失。再次，传统方法中提取ROI的过程中，使用手动方法则无法做到自动化工作流，自动方法需要用非线性配准，通常需要1个小时左右才能完成。最后，对AD及其相关病症的CAD需要大量数据进行训练，以保证预测的正确性。使用传统CAD方法的特征提取和训练策略，将产生极大的时间成本和人力成本。
发明内容
为了解决上述问题，本发明提供的技术方案如下：
一种医学图像分析系统。所述系统包括获取模块，用于获取样本图像和待测图像；感兴趣区域确定模块，用于将所述待测图像输入至第一检测模型，确定所述待测图像的至少一个感兴趣区域，所述第一检测模型为深度学习模型；形变类型确定模块，用于将所述至少一个感兴趣区域输入至第二检测模型，确定所述待测图像的形变类型，所述第二检测模型为深度学习模型。
在本发明中，所述第一检测模型为卷积神经网络模型，基于多个样本图像训练后得到；每个样本图像包括至少一个已知感兴趣区域和至少一个标签，所述标签用来指示所述样本图像的形变类型。所述第二检测模型为卷积神经网络模型，基于所述多个样本图像的已知感兴趣区域及其标签训练后得到。
在本发明中，所述系统进一步包括第一训练模块，所述第一训练模块用于训练所述第一检测模型，包括：将多个样本图像划分为第一训练集和第一测试集；利用所述第一训练集中的样本图像及其已知感兴趣区域对第一初始检测模型训练后得到第一中间检测模型；将所述第一测试集中的样本图像输入至所述第一中间检测模型，获得所述样本图像的至少一个预测感兴趣区域；确定所述第一测试集中的样本图像的预测感兴趣区域的中心坐标点和已知感兴趣区域的中心坐标点之间的距离；判定所述距离是否小于第一阈值；响应于所述距离小于第一阈值的判定，将所述第一中间检测模型指定为所述第一检测模型。
在本发明中，所述系统进一步包括第二训练模块；所述第二训练模块用于训练所述第二检测模型，包括：将多个样本图像的已知感兴趣区域划分为第二训练集和第二测试集；确定每个已知感兴趣区域的增强图像块；利用所述第二训练集中的已知感兴趣区域的增强图像块及其标签对第二初始检测模型训练后得到第二中间检测模型；将所述第二测试集中的已知感兴趣区域的增强图像块输入至所述第二中间检测模型，获得所述已知感兴趣区域的预测标签；确定所述预测标签指示的形变类型和所述已知感兴趣区域的标签指示的形变类型相同的增强图像块在所述第二测试集中的比例；判定所述比例是否大于第二阈值；响应于所述比例大于第二阈值的判定，将所述第二中间检测模型指定为所述第二检测模型。
在本发明中，所述第一检测模型和第二检测模型分别为以下其中一种：V-Net、DenseNet、ResNet、VGGNet、Fast R-CNN或以上任意一种与SEBlock相结合的结合模型。
在本发明中，所述DenseNet包括一个以上处理模组，每个处理模组包括一个稠密层、一个扩张层和一个残差注意力模组；其中，所述稠密层包括一个或以上稠密模组，所述SEBlock构成所述稠密模组的3成所述稠卷积层的旁路；所述扩张层与所述稠密层连接；所述残差注意力模组构成所述扩张层与所述稠密层连接的旁路。
在本发明中，所述系统进一步包括感兴趣区域生成模块；所述感兴趣区域生成模块，用于生成所述样本图像的至少一个感兴趣区域。
在本发明中，所述感兴趣区域生成模块被进一步用于：获取模板图像；确定每个样本图像相对于所述模板图像的形变区域；确定具有不同形变标签的样本图像组之间的形变区域的差异；其中，每个样本图像组中的样本图像具有相同的标签，不同组的样本图像具有不同的标签；基于所述差异，确定所述样本图像的至少一个感兴趣区域。
一种医学图像分析装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现以下操作：获取样本图像和待测图像；将所述待测图像输入至第一检测模型，确定所述待测图像的至少一个感兴趣区域，所述第一检测模型是通过深度学习的方式得到；将所述至少一个感兴趣区域输入至第二检测模型，确定所述待测图像的形变类型，所述第二检测模型是通过深度学习的方式得到。
一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现以下操作：获取样本图像和待测图像；将所述待测图像输入至第一检测模型，确定所述待测图像的至少一个感兴趣区域，所述第一检测模型为深度学习模型；将所述至少一个感兴趣区域输入至第二检测模型，确定所述待测图像的形变类型，所述第二检测模型为深度学习模型。
附加的特征将在下面的描述中部分地阐述，并且对于本领域技术人员来说，通过查阅以下内容和附图将变得显而易见，或者可以通过实例的产生或操作来了解。本发明的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。
附图说明
根据示例性实施例可以进一步描述本申请。参考附图可以详细描述所述示例性实施例。所述实施例并非限制性的示例性实施例，其中相同的附图标记代表附图的几个视图中相似的结构，并且其中：
图1是根据本发明的一些实施例所示的一个示例性医学图像分析系统的示意图；
图2是根据本发明的一些实施例所示的一个示例性计算设备的示例性硬件组件和/或软件组件的示意图；
图3是根据本发明的一些实施例所示的一个示例性移动设备的示例性硬件组件和/或软件组件的示意图；
图4是根据本发明的一些实施例所示的一个示例性处理设备的框图；
图5是根据本发明的一些实施例所示的确定图像形变类型的示例性流程图；
图6是根据本发明的一些实施例所示的确定样本图像的感兴趣区域的示例性流程图；
图7是根据本发明的一些实施例所示的训练第一检测模型的示例性流程图；
图8是根据本发明的一些实施例所示的训练第一检测模型的示例性流程图；
图9是根据本发明的一些实施例所示的DenseNet的示例性结构图；
图10是根据本发明的一些实施例所示的处理模组的示例性结构图；
图11是根据本发明的一些实施例所示的稠密模组的示例性结构图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在车辆客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
在一个方面，本发明涉及确定图像形变类型的系统和方法。可以使用利用经过训练后的深度卷积神经网络对目标图像的形变类型进行预测。
图1是根据本发明的一些实施例所示的一种医学图像分析系统100的示意图。医学图像分析系统100可以包括一个成像设备110、一个网络120、一个或一个以上终端130、一个处理设备140和一个存储设备150。医学图像分析系统100中的各个部件可以以多种方式相连接。例如，成像设备110可以与处理设备140通过网络120连接，也可以与处理设备140直接连接(如图1中成像设备110和处理设备140之间的点状虚线箭头所示的双向连接)。又例如，存储设备150可以与处理设备直接或通过网络120连接。又例如，终端130可以与处理设备140通过网络120连接，也可以与处理设备140直接连接(如图1中终端130和处理设备140之间的点状虚线箭头所示的双向连接)。
成像设备110可以扫描位于扫描区域115内的扫描对象并生产与所述扫描对象相关联的一系列数据。所述扫描对象被放置在扫描床116上用于扫描。所述扫描对象可以包括生物对象(例如，人体，动物等)，非生物对象(例如，体模)等。在一些实施例中，所述成像设备110可以是计算机断层扫描成像系统(CT)、正电子放射断层成像系统(PET)、磁共振成像系统(MRI)、单光子发射计算机断层扫描成像系统(SPECT)、发射计算机断层成像系统(ECT)、超声成像系统(UI)等或其任意组合(例如，PET-CT成像系统、PET-MRI成像系统等)。在一些实施例中，成像设备110可以对扫描对象进行扫描后获取其对应的医学图像。
网络120可以促进信息和/或数据的交换。在一些实施例中，医学图像分析系统100中的一个或多个部件(例如，成像设备110、终端130、处理设备140和存储设备150等)可以通过网络120向医学图像分析系统100中的其他部件发送信息和/或数据。例如，处理设备140可以通过网络120从存储设备150处获取数据(例如，样本图像)。在一些实施例中，网络120可以是有线网络或无线网络中的任意一种，或其组合。例如，网络140可以包括电缆网络、有线网络、光纤网络、远程通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、公共开关电话网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或上述举例的任意组合。在一些实施例中，网络140可以包括一个或多个网络接入点。
终端130可以包括一个或一个以上带有数据获取功能的设备，例如，智能移动设备120-1、平板电脑120-2、笔记本电脑120-3等。在一些实施例中，智能移动设备120-1可以包括但不限于智能手机、个人数码助理(Personal Digital Assistance，PDA)、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备、显示增强设备等或其任意组合。在一些实施例中，终端130可以是处理设备140的一部分。在一些实施例中，终端130可以移除。
处理设备140可以处理从成像设备110、终端130和/或存储设备150出获得的数据和/或信息。例如，处理设备140可以获取扫描对象的原始医学图像，例如，从成像设备110处。在一些实施例中，处理设备140可以获得所述原始医学图像的目标图像。在一些实施例中，处理设备140可以基于所述目标图像和多个样本图像，确定所述目标图像的至少一个感兴趣区域。在一些实施例中，处理设备140可以基于所述目标图像的至少一个感兴趣区域和所述多个样本图像的感兴趣区域和标签，确定所述目标图像的形变类型。在一些实施例中，处理设备140可以是一个单个的服务器或者一个服务器群组。所述服务器群可以是集中式的或分布式的(例如，处理设备140可以是一个分布式的系统)。在一些实施例中，处理设备140可以是本地的或远程的。在一些实施例中，处理设备140可以通过网络120访问存储在存储设备150和/或终端120中的信息和/或数据。处理设备140也可以直接存储在存储设备150和/或终端120中的信息和/或数据。在一些实施例中，存储在存储设备150和/或终端120中的信息和/或数据。可以在一个云平台上实现。仅仅举个例子，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、云之间、多重云等或上述举例的任意组合。在一些实施例中，存储在存储设备150和/或终端120中的信息和/或数据。可以在与本申请图2或图3所示的计算设备上实现。例如，存储在存储设备150和/或终端120中的信息和/或数据。可以在如图2所示的一个计算设备200上实现，包括计算设备200中的一个或多个部件。再例如，存储在存储设备150和/或终端120中的信息和/或数据。可以在如图3所示的一个移动设备300上实现，包括计算设备300中的一个或多个部件。
存储设备150可以存储数据和/或指令。在一些实施例中，存储设备130可以存储从成像设备110、终端130和处理设备140处获得的数据。在一些实施例中，存储设备150可以存储供处理设备140执行或使用的数据和/或指令，处理设备140可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性方法。在一些实施例中，存储设备150可以包括大容量存储器、可移动存储器、挥发性读写存储器、只读存储器(ROM)等或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态硬盘等。示例性的可移动存储器可以包括闪存盘、软盘、光盘、记忆卡、压缩硬盘、磁带等。示例性的挥发性只读存储器可以包括随机存储器(RAM)。示例性的随机存储器可以包括动态随机存储器(DRAM)、双数据率同步动态随机存储器(DDRSDRAM)、静态随机存储器(SRAM)、可控硅随机存储器(T-RAM)和零电容存储器(Z-RAM)等。示例性的只读存储器可以包括掩蔽型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、压缩硬盘只读存储器(CD-ROM)和数字多功能硬盘只读存储器等。在一些实施例中，存储设备150可以在一个云平台上实现。仅仅举个例子，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、云之间、多重云等或上述举例的任意组合。
在一些实施例中，存储设备150可以与网络120连接以实现与医学图像分析系统100中的一个或多个部件(例如，成像设备110、终端130、处理设备140等)之间的通信。医学图像分析系统100的一个或一个以上部件可以通过网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接与医学图像分析系统100的一个或一个以上部件(例如，成像设备110、处理设备140等)连接或通信。在一些实施例中，存储设备150可以是处理设备140的一部分。
图2是根据本发明的一些实施例所示的一种示例性计算设备200的示意图。终端130、处理设备140和/或存储设备150可以在计算设备200上实现。例如，处理设备140可以在计算设备200上实现并被配置为实现本申请中所披露的功能。如图2所示，计算装置200可包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
处理器210可以执行计算机指令(例如，程序代码)并可以根据申请中描述的技术执行服务器140的功能。所述计算机指令可以用于执行本申请中描述的特定功能，所述计算机指令可以包括例如程序、对象、组件、数据结构、程序、模块和功能。例如，处理器210可以处理从医学图像分析系统100的任何组件获取的目标图像和/或样本图像。在一些实施例中，处理器210可以包括一个或多个硬件处理器，例如微控制器、微处理器、精简指令集计算机(reduced instruction set computer(RISC))、特定应用集成电路(applicationspecific integrated circuit(ASIC))、应用程序特定的指令集处理器(application-specific instruction-set processor(ASIP))、中央处理单元(central processingunit(CPU))、图形处理单元(graphics processing unit(GPU))、物理处理单元(physicsprocessing unit(PPU))、数字信号处理器(digital signal processor(DSP))、现场可编程门阵列(field programmable gate array(FPGA))、先进的RISC机器(advanced RISCmachine(ARM))、可编程逻辑器件(programmable logic device(PLD))、能够执行一个或多个功能的任何电路或处理器等其中一种或几种的组合。
仅用于说明，在计算设备200中仅描述一个处理器。然而，需要说明的是，计算装置200也可以包括多个处理器。由本申请中描述一个处理器执行的操作和/或方法也可以由多个处理器共同或分别执行。例如，如果本申请中描述的计算设备200的处理器执行操作A和操作B，应当理解的是，操作A和操作B也可以由计算装置中的200中的两个或两个以上不同处理器共同或分别执行(例如，第一处理器执行操作A和第二处理器执行操作B，或第一处理器和第二处理器共同执行操作A和B)。
存储器220可以存储从成像设备110、终端130、处理设备140、存储设备150和/或医学图像分析系统100的任何其它组件获取的数据/信息。在一些实施例中，存储器220可包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等其中一种或几种的组合。大容量存储可以包括磁盘、光盘、固态硬盘、移动存储等。可移除存储器可以包括闪存驱动器、软盘、光盘、存储卡、ZIP磁盘、磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。RAM可以包括动态随机存储器(DRAM)、双数据率同步动态随机存取存储器(DDRSDRAM)、静态随机存取存储器(SRAM)、可控硅随机存取存储器(t-ram)、零电容随机存取存储器(Z-RAM)等。ROM可以包括掩模只读存储器(MROM)、可编程的只读存储器(PROM)、可擦除可编程只读存储器(EPROM)，电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字多功能光盘的光盘等。在一些实施例中，存储器220可以存储一个或多个程序和/或指令，用于执行本申请中描述的示例性方法。例如，存储器220可以存储程序，所述程序可以用于处理设备140确定图像的形变类型。
输入/输出230可以输入和/或输出信号、数据、信息等。在一些实施例中，输入/输出230可以实现成像设备110与处理设备140之间的数据通信。在一些实施例中，输入/输出230可以包括输入设备和输出设备。输入设备可以包括键盘、鼠标、触摸屏、麦克风等其中一种或几种的组合。输出装置可以包括显示装置、扬声器、打印机、投影仪等其中一种或几种的组合。所述显示装置可以包括液晶显示器(LCD)、发光二极管(LED)显示器、平板显示器、弧形屏幕、电视装置、阴极射线管(CRT)、触摸屏等其中一种或几种的组合。
通信端口240可以连接网络(例如，网络120)，以便于数据通信。通信端口240可以在处理设备140和成像设备110、终端130和/或存储设备150之间建立连接。所述连接可以是有线连接、无线连接、任何能够实现数据传输和/或接收的连接等其中一种或几种的组合。所述有线连接可以包括例如电缆、光缆、电话线等其中一种或几种的组合。所述无线连接可以包括，例如，蓝牙TM链接、Wi-FiTM链接、WiMAXTM链路、无线局域网链接、ZigBeeTM链接、移动网络链接(例如，3G、4G、5G等)其中一种或几种的组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，如RS232、RS485等。
图3是根据本发明的一些实施例所示的一个示例性的移动设备300的示例性硬件和/或软件的示意图。终端130可以在移动设备300上实现。如图3所示，移动设备300可以包括一个通讯单元310、一个显示单元320、一个图形处理器330、一个处理器340、一个输入/输出单元350、一个内存360和一个存储单元390。移动设备300中还可以包括一个总线或者一个控制器。在一些实施例中，移动操作系统370和一个或多个应用程序380可以从存储单元390加载到内存360中，并由处理器340执行。例如，图像处理程序和/或与数据获取相关的程序可以被加载到内存360中有处理器340执行。在一些实施例中，应用程序380可以接收和显示与处理设备140有关的图像形变类型确定或其他信息的信息。输入/输出单元350可以实现与医学图像分析系统100的交互，并将交互相关信息通过网络120提供给医学图像分析系统100中的其他部件，如处理设备140。
为了实现本申请中描述的各种模块、单元及其功能，计算机硬件平台可以用作这里提到的一个或多个元件的硬件平台。一个拥有用户界面元件的计算机可以用于实现个人计算机(PC)或者其它任何形式的工作站或终端设备。通过合适的编程，一个计算机也可以充当一台服务器。
图4是根据本发明的一些实施例所示的示例性处理设备400的框图。如图所示，处理设备400可以包括获取模块410、感兴趣区域确定模块420、形变类型确定模块430、感兴趣区域生成模块440、第一训练模块450和第二训练模块460。
获取模块410可以获取数据。获取模块410可以从成像设备110、终端130、存储设备150或本申请中公开的能够存储数据的任何设备或组件中的一个或以上获取数据。所获取的数据可以包括样本图像、待测图像、用户指令、算法等中的一个或任意组合。所述样本图像可以是利用成像设备110对扫描对象进行扫描后得到的医学图像。所述扫描部位可以是人体各个组织和/或器官，例如，上皮组织、结缔组织、肌肉组织、神经组织、大脑、心脏、肝脏、脾脏、肺、肾脏、胃、胆囊、胰脏、骨架等。所述原始医学图像可以包括但不限于MRI图像(T1加权图像、T2加权图像、质子密度加权图像等)、CT图像、PET图像、超声图像、DR图像、PET-MRI图像、PET-CT图像等。在一些实施例中，所示医学图像可以是MRI图像。在一些实施例中，所述医学图像可以是扫描对象(例如，患者)的脑部结构医学图像。所述医学图像可以基于扫描后得到的数据进行图像重建后得到，可以是二维图像，也可以是三维图像，在此不做具体限定。
在一些实施例中，所述样本图像可以包括至少一个已知感兴趣区域。感兴趣区域为图像中发生形变的区域。仅作为示例，假定一张人脑部MR影像，如果该图像的内侧颞叶、扣带回、楔前叶、岛叶、额叶等与正常人的脑部模板图像(例如，AAL(Anatomical AutomaticLabeling)模板)相同区域相比，发生了明显的萎缩，则上述区域可以被指定为感兴趣区域。所述已知感兴趣区域可以通过，例如，图像映射和/或线性配准等方法得到。关于样本图像的已知感兴趣区域的确定，可以参考本说明书其他地方的描述(例如，图6)，在此不再赘述。
在一些实施例中，所述样本图像可以包括一个标签，所述标签可以用来指示所述样本图像的形变类型，包括正常和第N类，N为大于等于1的整数。所述正常可以指图像未发生任何形变，所述第N类可以指图像中某一区域相对于正常图像发生了特定的变化，例如，缩小、放大、模糊等。以人脑部医学图像为例，正常可以表示图像是未患脑部疾病的正常人的脑部图像，第1类可以表示患有阿兹海默症(Alzheimer disease，AD)的患者的脑部图像，第2类可以表示患有稳定型轻度认知障碍(stable Mild Cognitive Impairment，sMCI)的患者的脑部图像，第3类可以表示患有进展型轻度认知障碍(progressive Mild CognitiveImpairment，pMCI)的患者的脑部图像，第4类可以表示患有脑血管病(cerebralvasculardiseases)的患者的脑部图像等。又例如，对于轻度认知障碍患者的脑部图像的分类，也可以分为早期轻度认知障碍(Early MCI，EMCI)和晚期轻度认知障碍(Late MCI，LMCI)。
在一些实施例中，所述样本图像可以是经过进行一系列处理后具有一个统一标准的图像。所述处理可以包括但不限于旋转、重采样、尺寸调整、去头骨、图像非均匀校正、直方图匹配、灰度归一化等或其任意组合。所述旋转可以是以图像中心为原点，顺时针或逆时针转动一个特定的角度，例如，15度、30度、45度、90度等。所述重采样可以是对由离散数据组成的数字图像按所需的像素位置或像素间距重新采样，以构成几何变换后的新图像。所述重采样的方法可以包括最邻近内插法(nearest neighbor interpolation)、双线性内插法(bilinear interpolation)、三次卷积法内插(cubic convolution interpolation)等。所述尺寸调整可以是按一定比例，例如，2倍，放大或缩小图像。所述去头骨可以是将头骨(即，颅骨)在扫描成像时形成的影像从图像相中剥离。去头骨的方法可以包括阈值法(例如，直方图法、基于最大熵原则的阈值分割、最佳阈值法、模糊阈值法等)、基于边缘的分割方法(例如，基于一阶导数的边缘算子、基于二价导数的边缘算子等)、分水岭算法、基于神经网络的分割等。所述图像非均匀校正可以是将扫描时由于探测元件的响应不一致和/或外部条件的影响(例如，外部环境温度)导致的空间非均匀性进行校正。图像非均匀校正的方法可以包括基于定标的非均匀校正算法(例如，一点温度定标算法、二点温度定标算法、多点温度定标算法等)、基于场景的自适应非均匀校正算法(例如，时域高通滤波算法、人工神经网络算法、恒定统计平均校正算法等)等。所述直方图匹配可以是指将一幅图像的直方图变成规定形状的直方图，即将某幅图像或某一区域的直方图匹配到另一幅图像上，使两幅图像的色调保持一致。所述灰度归一化可以是将灰度图像(或彩色图像的彩色通道的每个颜色分量)的每个像素的灰度值分布在0～255之间，避免图像对比度不足(图像像素亮度分布不平衡)。
在一些实施例中，所述样本图像可以是方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)之间的图像。对于所述目标图像，若为二维图像，则可以将该图像的第一行第一列的像素点作为原点，即，第一行第一列的像素点的坐标为(0，0)。以列数增加方向为x轴方向，以行数增加方向为y轴方向，建立起标准笛卡尔直角坐标系。若所述目标图像为三维图像，则可以将该图像的第一行第一列第一层的体素点作为原点，即，第一行第一列第一层的体素点的坐标为(0，0，0)。以列数增加方向为x轴方向，以行数增加方向为y轴方向，以扫描方向为z轴方向，建立起标准笛卡尔直角坐标系。当所述目标图像为人脑部医学图像时，坐标系的x轴方向可以是从左至右(例如，从左脑至右脑方向)，y轴的方向可以是从后至前(例如，从后脑至前脸方向)，z轴的方向可以是从下至上(例如，从颅底至头顶方向)。因此，目标图像中每一个像素点(或体素点)都有一个坐标，例如，第三行第四列的像素的坐标为(3，2)。由于每一像素点(或体素点)具有一个灰度值(例如，灰度范围0～255之间的一个值)，可以将该灰度值转换为一个相对值。例如，将灰度范围的中间值127和128指定为0，对于其他灰度值，将其与127的差值除以127以后，可以得到其相对应的相对灰度值。例如，灰度为14的像素点的相对灰度值为(14-127)/127＝-0.89，灰度为200的像素点的相对灰度值为(200-127)/127＝0.57。对所有像素点进行处理后，可以得到相对灰度范围为(-1，1)之间的标准图像。在一些实施例中，所述标准图像的相对灰度范围也可以是(0，1)之间的图像。在一些实施例中，所述标准图像的相对灰度范围可以是(-1，0)之间的图像。对于标准图像的相对灰度范围，本申请不作具体限定。在一些实施例中，所述目标图像的尺寸可以是一个预设值，例如，256*256mm2(或256*256*256mm3)，也可以根据应用场景的不同进行调整，在此不做限制。
在一些实施例中，所述待测图像可以是需要进行形变类型确定的新的医学图像，例如，成像设备110对于新的扫描对象的扫描部位进行扫描后获得的图像。在一些实施例中，所述待测图像与所述样本图像具有相同参数的图像。例如，假定样本图像为人脑部结构MR图像，方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)之间，则所述待测图像经过预处理后，同样是人脑部结构MR图像，且方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)，尺寸与所述目标图像相同的图像。
感兴趣区域确定模块520可以确定所述目标图像的至少一个感兴趣区域。在一些实施例中，感兴趣区域确定模块520可以可以将所述目标图像输入至经过多个样本图像及其已知感兴趣区域训练后得到的模型中，确定所述目标图像的至少一个感兴趣区域。所述模型可以是深度学习模型，包括但不限于无监督预训练网络、卷积神经网络、循环神经网络、递归神经网络等或其任意组合。应用于所述深度学习模型的方法包括但不限于反向传播(Backpropagation)、随机梯度下降(Stochastic Gradient Descent)、学习率衰减(Learning Rate Decay)、Dropout、最大池化(Max Pooling)、批量归一化(BatchNormalization，BN)、长短期记忆(Long Short-term Memory，LSTM)、Skip-gram、连续词袋(Continuous Bag of Words)、迁移学习(Transfer Learning)等或其任意组合。在一些实施例中，所述模型可以是深度卷积神经网络模型。在一些实施例中，可以将所述样本图像作为模型输入，将样本图像的感兴趣区域作为正确标准(Ground Truth)，对模型进行训练以得到最终的感兴趣区域检测模型(也可以被称为第一检测模型)。关于第一检测模型的训练可以参考本说明书其他地方的描述(例如，图7)，在此不再赘述。将所述目标图像输入至所述第一检测模型后，感兴趣区域确定模块520可以直接得到所述目标图像的至少一个感兴趣区域。
在一些实施例中，所述样本图像可以是与所述目标图像同类型，且具有相同参数的图像。例如，假定所述目标图像是人脑部MR图像，方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)，尺寸为256*256*256mm3，则所述样本图像同样是人脑部MR图像，且方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)，尺寸与所述目标图像相同的图像。所述样本图像可以有获取模块410获取。例如，获取模块410可以通过网络120访问存储设备150以获取存储于其中的样本图像。所述感兴趣区域为图像中发生形变的区域。仅作为示例，假定一张人脑部MR影像，如果该图像的内侧颞叶、扣带回、楔前叶、岛叶、额叶等与正常人的脑部模板图像(例如，AAL(Anatomical Automatic Labeling)模板)相同区域相比，发生了明显的萎缩，则上述区域可以被指定为感兴趣区域。
形变类型确定模块430可以确定所述目标图像的形变类型。在一些实施例中，形变类型确定模块430可以将所述目标图像输入至经过多个样本图像的已知感兴趣区域及其标签训练后得到的模型中，确定所述目标图像的形变类型。所述模型可以是深度学习模型，包括但不限于无监督预训练网络、卷积神经网络、循环神经网络、递归神经网络等或其任意组合。应用于所述深度学习模型的方法包括但不限于反向传播(Backpropagation)、随机梯度下降(Stochastic Gradient Descent)、学习率衰减(Learning Rate Decay)、Dropout、最大池化(Max Pooling)、批量归一化(Batch Normalization，BN)、长短期记忆(Long Short-term Memory，LSTM)、Skip-gram、连续词袋(Continuous Bag of Words)、迁移学习(Transfer Learning)等或其任意组合。在一些实施例中，所述模型可以是深度卷积神经网络模型。在一些实施例中，可以将所述样本图像的已知感兴趣区域作为模型输入，将样本图像的标签作为正确标准(Ground Truth)，对模型进行训练以得到最终的形变类型预测模型(也可以称为第二检测模型)。关于第二检测模型的训练可以参考本说明书其他地方的描述(例如，图8)，在此不再赘述。将所述目标图像的至少一个感兴趣区域输入至所述第二检测模型后，形变类型确定模块430可以将直接得到对应于所述目标图像的标签(例如，正常或第N类)。基于所述标签，可以得到所述目标图像的形变类型。
感兴趣区域生成模块440可以为样本图像生成至少一个已知感兴趣区域。在一些实施例中，感兴趣区域生成模块440可以基于模板图像，确定每个样本图像的至少一个已知感兴趣区域。例如，感兴趣区域生成模块440可以将样本图像通过非线性配准映射到模板空间上，用来确定样本图像相对于模板图像的形变区域，并基于形变区域，确定所述感兴趣区域。在一些实施例，感兴趣区域生成模块440可以确定具有不同标签的样本图像组之间的形变区域的差异。所述差异可以是形变区域的统计差异，通过组间t检验后确定。感兴趣区域生成模块440可以将所述差异进行排序确定所述感兴趣区域，例如，感兴趣区域生成模块440可以将所述差异最大的前30个形变区域确定为所述感兴趣区域。关于样本图像的感兴趣区域的确定可以参考本说明书其他地方的描述(例如，图6)，在此不再赘述。
第一训练模块450可以训练第一检测模型。所述第一检测模型可以用来确定所述目标图像的至少一个感兴趣区域。在一些实施例中，所述第一检测模型可以是端到端(End-to-End)的深度卷积神经网络，包括但不限于V-Net(V型网络)、DenseNet(DenseConvolutional Network，稠密连接卷积网络)、ResNet(残差网络，Residual Network)、VGGNet(Visual Geometry Group，牛津大学视觉几何组网络)、Fast R-C(Fast Region-based Convolutional Network method，快速的基于区域的卷积网络方法)或以上任意一个与SEBlock(Squeeze-and-Excitation Block，压缩激活模组)相结合的组合模型等。第一训练模块450可以将所述第一训练集中的多个样本图像作为输入，将样本图像对应的已知感兴趣区域作为正确标准(Ground Truth)，对第一检测模型进行训练。在训练过程中，所述第一初始检测模型的输出是作为输入的样本图像的预测感兴趣区域。第一训练模型450可以根据输出的预测感兴趣区域与正确标准(即，已知感兴趣区域)之间的差异，对模型的参数进行调整后继续训练模型，直至模型基本收敛，得到第一中间预测模型。训练完成后，第一训练模型450可以将用于测试的图像输入至所述第一中间预测模型，获取用于测试的图像的至少一个预测感兴趣区域。第一训练模型450可以确定于测试的图像的预测感兴趣区域的中心坐标点和其已知感兴趣区域的中心坐标点之间的距离。所述距离可以由两点间距离公式得到。在得到所述距离后，第一训练模型450可以判定所述距离是否小于第一阈值。若所述距离小于所述第一阈值，第一训练模型450可以将所述第一中间检测模型指定为所述第一检测模型。当所述距离小于所述第一阈值时，可以表明经过模型参数优化后的第一中间检测模型已达到预设的要求，训练可以停止。若所述距离大于所述第一阈值，第一训练模型450可以继续对模型进行训练，直到所述距离小于所述第一阈值。所述第一检测模型可以自动精准的在新的医学图像(例如，人脑部MR图像)上检测相应的至少一个感兴趣区域。关于第一检测模型的训练可以参考本说明书其他地方的描述(例如，图7)，在此不再赘述。
第二训练模块460可以训练第二检测模型。所述第二检测模型可以用来确定所述目标图像的形变类型。在一些实施例中，所述第二检测模型可以是端到端(End-to-End)的深度卷积神经网络，包括但不限于V-Net、DenseNet、ResNet、VGGNet、Fast R-CNN、或以上任意一个与SEBlock相结合的组合模型等。第二训练模块460可以所述第二训练集中的感兴趣区域的增强图像块作为输入，将所述感兴趣区域的标签作为正确标准(Ground Truth)，对第二检测模型进行训练。在训练过程中，所述第二初始检测模型的输出是作为输入的已知感兴趣区域的增强图像块的预测标签。第二训练模型460可以根据输出的预测标签与正确标准(即，样本图像的标签)之间的差异，对模型的参数进行调整后继续训练模型，直至模型基本收敛，得到第二中间检测模型。所述增强图像块可以是第二训练模块460以感兴趣区域的中心坐标点为中心，在感兴趣区域中或感兴趣区域对应的原始样本图像中提取预定大小的图像块，并进过数据增强操作，例如，平移、旋转、翻转和/或镜像等，获得的图像块。训练完成后，第二训练模型460可以将用于测试的多个已知感兴趣区域的多个增强图像块输入至所述第二中间预测模型，获取用于测试的每个增强图像块的预测标签。第二训练模型460可以确定所述预测标签指示的形变类型和对应增强图像块的已知标签相同的增强图像块在所有用于测试的多个增强图像块所占的比例。在得到所述比例后，第二训练模块460可以判定所述比例是否大于第二阈值。若所述比例大于所述第二阈值，第二训练模型460可以将所述第二中间检测模型指定为所述第二检测模型。当所述比例大于所述第二阈值时，可以表明经过模型参数优化后的第二中间检测模型已达到预设的要求，训练可以停止。若所述比例小于所述第二阈值，第二训练模型460可以继续对模型进行训练，直到所述比例大于所述第二阈值。所述第二检测模型可以自动精准的获得在新的感兴趣区域对应的医学图像(例如，人脑部MR图像)的形变类型。关于第二检测模型的训练可以参考本说明书其他地方的描述(例如，图8)，在此不再赘述。
应当理解，图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可以在不背离这一原理的情况下，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。然而，这些变化和修改不脱离本申请的范围。例如，感兴趣区域生成模块440可以被移除，每个样本图像的感兴趣区域由获取模块410获取时已被确定。又例如，第一训练模块450和第二训练模块460可以合并成一个训练模块，用于训练第一检测模型和第二检测模型。还例如，第一训练模块450和第二训练模块460可以被移除，第一检测模型和第二检测模型可以是已训练好的。
可以理解的是，本申请中涉及的处理设备400(或医学图像分析系统100)可以用于对扫描对象(例如，患者)的组织、器官和/或系统的医学扫描图像进行形变类型预测，从而辅助用户(例如，医生)对扫描对象进行判别诊断。需要注意，处理设备400(或医学图像分析系统100)并不能直接输出针对于扫描对象的判别诊断结果。
图5是根据本发明的一些实施例所示的确定图像形变类型的示例性流程图。在一些实施例中，流程500可以通过处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图5所示的确定图像形变类型的流程500中的一个或多个操作可以通过图1所示的医学图像分析系统100实现。例如，流程500可以以指令的形式存储在存储设备150中，并由处理引擎112执行调用和/或执行(例如，图2所示的计算设备200的处理器220、图3所示的移动设备300的中央处理器340)。
在510中，可以获取待测图像。操作510可以由获取模块410执行。在一些实施例中，所述待测图像可以对医学图像进行一系列处理后具有一个统一标准的图像。所述医学图像是利用成像设备110对扫描对象进行扫描后得到的图像，例如，MRI图像(T1加权图像、T2加权图像、质子密度加权图像等)、CT图像、PET图像、超声图像、DR图像等。在一些实施例中，所述医学图像可以是扫描对象(例如，患者)的脑部结构医学图像。所述医学图像可以基于扫描后得到的数据进行图像重建后得到。所述医学图像可以是二维图像，也可以是三维图像，在此不做具体限定。在一些实施例中，所述处理可以包括旋转、重采样、尺寸调整、去头骨、图像非均匀校正、直方图匹配、灰度归一化等或其任意组合。
在520中，可以将所述待测图像输入至第一检测模型，确定所述目标图像的至少一个感兴趣区域。操作520可以由感兴趣区域确定模块520执行。在一些实施例中，所述样本图像可以是与所述目标图像同类型，且具有相同参数的图像。例如，假定所述目标图像是人脑部MR图像，方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)，尺寸为256*256*256mm3，则所述样本图像同样是人脑部MR图像，且方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)，尺寸与所述目标图像相同的图像。所述感兴趣区域为图像中发生形变的区域。仅作为示例，假定一张人脑部MR影像，如果该图像的内侧颞叶、扣带回、楔前叶、岛叶、额叶等与正常人的脑部模板图像(例如，AAL(Anatomical Automatic Labeling)模板)相同区域相比，发生了明显的萎缩，则上述区域可以被指定为感兴趣区域。
在一些实施例中，所述样本图像可以包括至少一个已知感兴趣区域。所述已知感兴趣区域可以通过，例如，图像映射和/或线性配准等方法得到。关于样本图像的已知感兴趣区域的确定，可以参考本说明书其他地方的描述(例如，图6)，在此不再赘述。在一些实施例中，所述样本图像可以包括一个标签，所述标签可以用来指示所述样本图像的形变类型，包括正常和第N类，N为大于等于1的整数。所述标签的描述可以参考图4中的内容。
在一些实施例中，感兴趣区域确定模块420可以将所述待测图像输入至经过多个样本图像及其感兴趣区域训练后得到的模型中，确定所述目标图像的至少一个感兴趣区域。所述模型可以是深度学习模型，包括但不限于无监督预训练网络、卷积神经网络、循环神经网络、递归神经网络等或其任意组合。应用于所述深度学习模型的方法包括但不限于反向传播(Backpropagation)、随机梯度下降(Stochastic Gradient Descent)、学习率衰减(Learning Rate Decay)、Dropout、最大池化(Max Pooling)、批量归一化(BatchNormalization，BN)、长短期记忆(Long Short-term Memory，LSTM)、Skip-gram、连续词袋(Continuous Bag of Words)、迁移学习(Transfer Learning)等或其任意组合。在一些实施例中，所述模型可以是深度卷积神经网络模型。在一些实施例中，可以将所述样本图像作为模型输入，将样本图像的已知感兴趣区域作为正确标准(Ground Truth)，对模型进行训练以得到最终的感兴趣区域检测模型(也可以被称为第一检测模型)。关于第一检测模型的训练可以参考本说明书其他地方的描述(例如，图7)，在此不再赘述。将所述目标图像输入至所述模型后，感兴趣区域确定模块520可以直接得到所述待测图像的至少一个感兴趣区域。所述第一检测模型可以自动精准的在新的医学图像(例如，人脑部MR图像)上检测相应的至少一个感兴趣区域。
在530中，可以基于所述待测图像的至少一个感兴趣区域和所述多个样本图像的感兴趣区域及其标签，确定所述待测图像的形变类型。操作530可以用形变类型确定模块430执行。在一些实施例中，形变类型确定模块430可以将所述待测图像输入至经过多个样本图像的已知感兴趣区域及其标签训练后得到的模型中，确定所述待测图像的形变类型。所述模型可以是深度学习模型，包括但不限于无监督预训练网络、卷积神经网络、循环神经网络、递归神经网络等或其任意组合。应用于所述深度学习模型的方法包括但不限于反向传播(Backpropagation)、随机梯度下降(Stochastic Gradient Descent)、学习率衰减(Learning Rate Decay)、Dropout、最大池化(Max Pooling)、批量归一化(BatchNormalization，BN)、长短期记忆(Long Short-term Memory，LSTM)、Skip-gram、连续词袋(Continuous Bag of Words)、迁移学习(Transfer Learning)等或其任意组合。在一些实施例中，所述模型可以是深度卷积神经网络模型。在一些实施例中，可以将所述样本图像的感兴趣区域作为模型输入，将样本图像的标签作为正确标准(Ground Truth)，对模型进行训练以得到最终的形变类型预测模型(也可以称为第二检测模型)。关于第二检测模型的训练可以参考本说明书其他地方的描述(例如，图8)，在此不再赘述。将所述目标图像的至少一个感兴趣区域输入至所述模型后，形变类型确定模块430可以将直接得到对应于所述目标图像的标签(例如，正常或第N类)。基于所述标签，可以得到所述目标图像的形变类型。所述第二检测模型可以自动精准的获得在新的感兴趣区域对应的医学图像(例如，人脑部MR图像)的形变类型。
在本申请中，深度卷积神经网络被应用于医学图像特征提取以及形变类型预测的全过程，实现了全自动提取与检测，耗时短。准确率高。同时，使用深度卷积神经网络的方法，使得模型的普适性强，多类别多数量的样本图像使得模型的鲁棒性和泛化能力较优。另外，本申请在对医学图像的特征提取过程中(即，感兴趣区域确定过程)，直接对图像的形变(例如，感兴趣区域)和标签(例如，图像属于哪一类)之间的关系进行建模，避免了根据先验信息提取特征造成的信息丢失，极大提高了信息获取的完整性。
以上内容描述了本申请和/或一些其他的示例。根据上述内容，本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现，并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
图6是根据本发明的一些实施例所示的确定样本图像的感兴趣区域的示例性流程图。在一些实施例中，流程600可以由感兴趣区域生成模块440执行。在一些实施例中，流程600可以通过处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图6所示的确定样本图像的感兴趣区域的流程600中的一个或多个操作可以通过图1所示的医学图像分析系统100实现。例如，流程600可以以指令的形式存储在存储设备150中，并由处理引擎112执行调用和/或执行(例如，图2所示的计算设备200的处理器220、图3所示的移动设备300的中央处理器340)。
在610中，可以获取模板图像。所述模板图像可以是指未发生任何形变，且具有普适性的图像。所述模板图像和目标图像及样本图像同类型，且具有相同参数的图像，即，假定所述目标图像是人脑部MR图像，方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)，尺寸为256*256*256mm3，则所述样本图像同样是人脑部MR图像，且方向为标准笛卡尔坐标系，相对灰度范围为(-1，1)，尺寸与所述目标图像相同的图像。仅作为示例，所述模板图像可以是正常人(即，未患脑部疾病的人)的MR脑结构影像。在一些实施例中，可以将标签为正常的样本图像，进行仿射变换(包括但不限于平移、旋转、缩放、翻转、剪切等)、非线性配准等操作，将配准后的样本图像进行数据融合，得到融合图像作为所述模板图像。所述仿射变换可以是从坐标到坐标之间的线性变换，且保持图形的“平直性”和“平行性”。作为示例，假定点(x，y)和(x’，y’)分别为进行仿射变换前后的坐标，那么它们之间可以满足以下关系。
Figure BDA0001812282820000141
所述非线性配准可以是图像配准的一种方法，通过使用多项式函数(例如，二次函数、三次函数、薄板样条函数等)或指数函数，将同一目标的两幅或者两幅以上的图像在空间位置的对准。作为示例，假定点(x，y)和(x’，y’)分别为进行非线性配准前后的坐标，那么它们之间可以满足以下关系。
x′＝a00+a10x+a01y+a20x2+a11xy+a02y2+…
y′＝b00+b10x+b01y+b20x2+b11xy+b02y2+…
所述图像融合可以指提取关于同一对象的多个图像中的有利信息，最终综合成一个高质量的图像，以提升图像信息的利用率。常用的图像融合方法可以包括空间域融合方法(例如，简单组合式图像融合法、逻辑滤波器、数学形态法、图像代数法等)和/或变换域融合方法(例如，HIS变换、PCA变换、高通滤波法、金字塔分解法、小波变化法等)。在一些实施例中，所述模板图像可以是已有的正常人脑部模板图像，例如，Colin27平均脑模板、AAL(Anatomical Automatic Labeling)模板、MNI(Montreal Neurological Institute)模板、Talairach atlas模板等。对于模板图像的选择，本申请不做具体的限定。
在620中，可以确定每个样本图像相对于所述模板图像的形变区域。所述形变区域可以是在样本图像上，与模板图像相同区域相比较具有明显变形的区域。例如，以人脑部医学影像(例如，MR影像)图片为例，如果样本图像中海马区相对于模板图像中的海马区有明显的萎缩，则海马区可以被确定为样本图像的一个形变区域。在一些实施例中，感兴趣区域生成模块440可以将样本图像，通过非线性配准映射至模板图像空间上，以确定所述形变区域。例如，通过诸如Demons、FNIRT、Hammer等技术进行非线性配准。。在一些实施例中，所述形变区域的数量可以是固定的，也可以是随机的，例如，可以为每个样本图像确定五十个形变区域，也可以将所有生成的变形场确定为形变区域。
在630中，可以确定具有不同标签的样本图像组之间的形变区域的差异。每一个样本图像组中的样本图像具有相同的标签，例如，第一样本图像组中的样本图像的标签可以都是正常，第二样本图像组中的样本图像的标签可以都是第1类，第三样本图像组中的样本图像的标签可以都是第2类等。不同组的样本图像具有不同的标签。在一些实施例中，感兴趣区域生成模块440可以具有不同标签的样本图像组的形变区域两两进行组间t检验，以获取不同类别(例如，具有不同标签)的样本之间的形变区域的统计差异。所述t检验是用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著。例如，可以通过独立样本t检验确定第N类标签的样本图像的形变区域和正常标签的样本图像的相同形变区域之间的p值。p值可以作为该形变区域的差异。进行组间t检验的方法及其描述可以参考现有技术，在此不再赘述。在一些实施例中，感兴趣区域生成模块440可以利用配准的方法，根据具有第N类标签的样本图像组和具有正常标签的样本图像组的对比比较结果，生成具有第N类标签的样本图像组的形变区域的掩膜。感兴趣区域生成模块440可以将掩膜反配准回样本图像组的样本空间中，根据掩膜获取样本图像组中每个样本图像的感兴趣区域。
在640中，可以基于所述差异，确定所述样本图像的感兴趣区域。在一些实施例中，感兴趣区域生成模块440可以将所述差异进行排序，例如，升序或降序，并将排序中序列数满足阈值范围的差异对应的形变区域确定为所述感兴趣区域。例如，可以将排序中差异最大的前20、30或40的形变区域确定为所述感兴趣区域。在一些实施例中，所述感兴趣区域可以是具有规则大小的区域。例如，所述感兴趣区域可以是M*M*M大小的区域，M为大于等于1的整数。该区域可以包含整个形变区域，也可以包含未发生形变的区域。可选地，所述感兴趣区域也可以只是形变区域，该区域可以是不规则的。感兴趣区域生成模块440可以将每个样本图像中，对应于所述形变区域的区域确定为该样本图像的感兴趣区域。
以上内容描述了本申请和/或一些其他的示例。根据上述内容，本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现，并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
图7是根据本发明的一些实施例所示的训练第一检测模型的示例性流程图。在一些实施例中，流程700可以由第一模型训练模块450执行。在一些实施例中，流程700可以通过处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图7所示的用于训练第一检测模型的流程700中的一个或多个操作可以通过图1所示的医学图像分析系统100实现。例如，流程700可以以指令的形式存储在存储设备150中，并由处理引擎112执行调用和/或执行(例如，图2所示的计算设备200的处理器220、图3所示的移动设备300的中央处理器340)。
在710中，可以将多个样本图像划分为第一训练集和第一测试集。样本图像的划分可以按照预定的比例进行，例如，可以将80％的样本图像划分为第一训练集，将20％的样本图像划分为第一测试集。又例如，可以将70％的样本图像划分为第一训练集，将30％的样本图像划分为第一测试集。划分的比例可以是预先存储在医学图像分析系统100中，也可以根据应用场景由医学图像分析系统100的用户(例如，医生)进行调整。
在720中，可以利用所述第一训练集中的样本图像及其已知感兴趣区域对第一初始检测模型训练后得到第一中间检测模型。
在一些实施例中，所述第一初始检测模型可以是端到端(End-to-End)的深度卷积神经网络，包括但不限于V-Net、DenseNet、ResNet、VGGNet、Fast R-CNN或以上任意一种与SEBlock结合的组合模型等。在一些实施例中，所述第一初始检测模型可以由输入层、批标准化层、激活层、卷积层、池化层、反卷积层、输出层、以及层间连接构成，采用1×1×1卷积核进行特征融合并减少参数数量，采用3×3×3卷积核进行特征提取，反卷积通过3×3×3卷积核实现。激活层中，激活函数可以选用线性整流函数ReLU。第一训练模块450可以将所述第一训练集中的多个样本图像作为输入，将样本图像对应的已知感兴趣区域作为正确标准(Ground Truth)，对第一初始检测模型进行训练。在训练过程中，所述第一初始检测模型的输出是作为输入的样本图像的预测感兴趣区域。第一训练模型450可以根据输出的预测感兴趣区域与正确标准(Ground Truth)之间的差异，对模型的参数进行调整后继续训练模型，直至模型基本收敛。此时，参数调整后的模型可以被称为第一中间检测模型。在计算上述差异时，损失函数可以采用图像区域相似度度量Focal loss或交叉熵(CrossEntropy)损失函数。在对参数进行优化调整时可以采用Adam自适应优化器，可随训练状态自动调整参数更新幅度。关于线性整流函数ReLU、图像区域相似度度量Focal loss以及Adam自适应优化器可以参考现有技术中的描述，在此不再赘述。
以下以V-Net为例，说明所述第一初始检测模型的结构。
V-Net的网络结构主要由下采样段、上采样段两部分组成。下采样段采用3×3×3卷积核，随层数增加提取图像更加抽象的特征，同时利用池化操作逐渐降低图像分辨率，使得卷积核提取的特征随层数增加而更具有全局性。上采样段采用3×3×3卷积核进行反卷积操作，在提高特征映射分辨率的同时，建立原输入图像和输出正确标准图像之间的对应关系。整个网络采用了残差网络的层间连接设计，克服了深层网络梯度消失的问题，使得网络参数的更新对梯度变化更灵敏。同时，整个网络下采样段、上采样段的特征映射分辨率相对应的位置也构造了层间连接，既具备上述层间连接的优点，同时保留了来自原始输入图像的信息，避免了下采样段在池化操作时可能造成的有用信息丢失，进一步提高了整个模型的鲁棒性。
在730中，可以将所述第一测试集中的样本图像输入至所述第一中间检测模型，获得所述样本图像的至少一个预测感兴趣区域。所述至少一个预测感兴趣区域可以是所述第一中间检测模型对第一测试集中的样本图像进行处理后直接得到的输出结果。将测试图像输入至所述第一中间检测模型后，可以直接得到所述预测感兴趣区域。
在740中，可以确定所述第一测试集中的样本图像的预测感兴趣区域的中心坐标点和其已知感兴趣区域的中心坐标点之间的距离。在一些实施例中，所述中心坐标点可以是感兴趣区域的中值坐标点(例如，所述感兴趣区域的大小是规则的)，也可以是感兴趣区域的质心坐标点(例如，所述感兴趣区域的大小是不规则的)。在一些实施例中，所述第一中间检测模型可以直接输出预测感兴趣区域对应的中心坐标点。所述距离可以由两点间距离公式得到，例如，当样本图像是二维图像时，则两点(x，y)和(x’，y’)之间的距离
Figure BDA0001812282820000161
又例如，当样本图像是三维图像时，则两点(x，y，z)和(x’，y’，z’)之间的距离
Figure BDA0001812282820000162
Figure BDA0001812282820000163
在750中，可以判定所述距离是否小于第一阈值。所述第一阈值可以是医学图像分析系统100的预设参数，也可以根据不同的应用场景由医学图像分析系统100的用户(例如，医生)进行调整。可选地，所述第一阈值可以被设定为0.01。若所述距离小于所述第一阈值，流程700可以进行至750。在750中，第一训练模型450可以将所述第一中间检测模型指定为所述第一检测模型。当所述距离小于所述第一阈值时，可以表明经过模型参数优化后的第一中间检测模型已达到预设的要求，训练可以停止。若所述距离大于所述第一阈值，流程700可以重新返回至710，继续对模型进行训练，直到所述距离小于所述第一阈值。
以上内容描述了本申请和/或一些其他的示例。根据上述内容，本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现，并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
图8是根据本发明的一些实施例所示的训练第二检测模型的示例性流程图。在一些实施例中，流程800可以由第二训练模块460执行。在一些实施例中，流程800可以通过处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图8所示的用于训练第二检测模型的流程800中的一个或多个操作可以通过图1所示的医学图像分析系统100实现。例如，流程800可以以指令的形式存储在存储设备150中，并由处理引擎112执行调用和/或执行(例如，图2所示的计算设备200的处理器220、图3所示的移动设备300的中央处理器340)。
在810中，可以将多个样本图像的已知感兴趣区域划分为第二训练集和第二测试集。已知感兴趣区域的划分可以按照预定的比例进行，例如，可以将80％的已知感兴趣区域划分为第一训练集，将20％的已知感兴趣区域划分为第一测试集。又例如，可以将70％的已知感兴趣区域划分为第一训练集，将30％的已知感兴趣区域划分为第一测试集。划分的比例可以是预先存储在医学图像分析系统100中，也可以根据应用场景由医学图像分析系统100的用户(例如，医生)进行调整。
在820中，可以确定每个感兴趣区域的增强图像块。对于每个感兴趣区域，第二训练模块460可以基于该感兴趣区域，确定图像块。在一些实施例中，第二训练模块460可以以该感兴趣区域的中心坐标点为中心，在该感兴趣区域中或该感兴趣区域对应的原始样本图像中提取预定大小的图像块，例如，16*16*16、19*19*19、32*32*32、36*36*36、48*48*48、64*64*64、128*128*128等。所述图像块的大小在此不作具体限定。在获取所述图像块后，第二训练模块460可以获取所述图像块的增强图像块。第二训练模块460可以对所述图像块进行数据增强操作，以获取所述增强图像块。所述数据增强操作可以包括平移、旋转、翻转和/或镜像等操作。所述增强图像块可以包括所述图像块和经过上述操作后所得到的图像块。所述平移可以指将图像所有像素坐标增加一个水平偏移量和一个垂直偏移量。所述旋转可以指图像以某一点为旋转中心旋转指定角度，例如，以样本图像块中心点顺时针旋转45度。所述翻转可以指图像以某一轴线旋转180度。所述镜像可以指将图像的左半部分和右半部分以图像竖直中心轴线进行交换，或将图像的上半部分和下半部分以图像水平中心轴线进行交换。经过上述操作后，用于训练第二检测模型的样本数量将得到成倍增加。
在830中，可以利用所述第二训练集中的已知感兴趣区域的增强图像块及其标签对第二初始检测模型进行训练后得到第二中间检测模型。
在一些实施例中，所述第二初始检测模型可以是端到端(End-to-End)的深度卷积神经网络，包括但不限于V-Net、DenseNet、ResNet、VGGNet、Fast R-CNN、或以上任意一个与SEBlock相结合的组合模型等。所述第二初始检测模型可以由输入层，批标准化层，激活层，卷积层，全连接层，池化层，输出层，以及层间连接构成，采用1×1×1卷积核进行特征融合并减少参数数量，采用3×3×3卷积核进行特征提取，反卷积通过3×3×3卷积核实现。激活层中，激活函数可以选用线性整流函数ReLU。第二训练模块460可以将所述第二训练集中的感兴趣区域的增强图像块作为输入，将所述感兴趣区域的标签作为正确标准(GroundTruth)，对第二初始检测模型进行训练。在训练过程中，所述第二初始检测模型的输出是作为输入的已知感兴趣区域的增强图像块的预测标签。第二训练模型460可以根据输出的预测标签与正确标准(Ground Truth)之间的差异，对模型的参数进行调整后继续训练模型，直至模型基本收敛。此时，参数调整后的模型可以被称为第二中间检测模型。在计算上述差异时，损失函数可以采用交叉熵(CrossEntropy)损失函数或图像区域相似度度量Focalloss。在对参数进行优化调整时可以采用Adam自适应优化器，可随训练状态自动调整参数更新幅度。关于线性整流函数ReLU、图像区域相似度度量Focal loss以及Adam自适应优化器可以参考现有技术中的描述，在此不再赘述。
以下以DenseNet为例，说明所述第二初始检测模型的结构。
DenseNet的网络结构的主体部分由多个DenseBlock(稠密模块)构成，每个DenseBlock的3*3*3卷积前面都包含了1*1*1的卷积操作，称为Bottleneck layer(瓶颈层)，其目的为压缩输入的特征映射数量，融合各通道特征的同时减少了计算量。Bottleneck layer的输出结果作为3*3*3卷积的输入。根据Densenet的网络结构设计，每层的输出要与前面所有层的输出按通道连接，作为下一层的输入，因此最后每个Denseblock的输出通道数也是巨大的，为减少内存占用，同时融合各输出通道的特征，每两个Denseblock的中间有一组1*1*1卷积操作(包括卷积和池化)，称为Transition layer(转移层)，以减少输出的特征映射数量。在DenseNet中，如有网络有L层，则会有L(L+1)/2个网络连接，即每一层的输入由前面所有层的输出构成。整个网络的每个模块中卷积层输出的特征映射数量都很少(例如，小于100)。这种连接方式使得特征和梯度的传递更加有效，网络更加容易训练。
在本申请中，DenseNet的网络结构可以进行改进。网络结构的主体部分由多个Process Block(处理模块)构成。每个Process Block可以包括一个Dense Layer(稠密层)，可以包含一个或多个Dense Block；一个由空洞卷积模块组成的Dilation Layer(扩张层)，放置于Dense Layer后与其相连接，以扩大卷积核的感受野；一个残差注意模块ResidualAttention Block，与Dense Layer和Dilation Layer的连接构成旁路，以获得特征映射的不同像素(或体素)的权重。相邻的两个Process Block之间有一个Transition layer(转移层)。示例性的网络结构如下所示。
1、Input Layer；2、BN Layer；3、ReLU Layer；4、Conv Layer；5、Pooling Layer；6、Process Block；7、Transition Layer；8、Process Block；9、Transition Layer；10、Process Block；12、Classification Layer。
参见图9，图9是根据本发明的一些实施例所示的示例性的DenseNet的网络结构图。如图9所示，DenseNet可以包括输入层910、卷积层920(包括了批标准化层BN、激活层ReLU以及卷积层Conv)、池化层930、一个或以上处理模块940、950、960和970以及分类层980(包括了平均池化层和全连接层)。DenseNet还可以包括一个或以上转移层(图9中未示出)，位于处理模块后并与其相连接。应当注意是，除去最后一个处理模块，例如，处理模块980，其余每一个处理模块都有一个转移层与其连接。
示例性的Process Block的结构如下所示。
1、Dense Layer；2、Dilation Layer/2、Residual Attention Block；
参见图10，图10是根据本发明的一些实施例所示的示例性的处理模块的结构示意图。如图10所示，处理模块包括一个稠密层1010，可以由一个或以上的稠密模块构成、一个扩张层1020以及一个残差注意模块1040。扩张层1020放置于稠密层1010，以扩大卷积核的感受野。残差注意模块1040构成了扩张层1020和稠密层1010的旁路连接。每个稠密模块的3*3*3卷积可以有一个压缩-激活模块SE Layer组成的旁路，以获得特征映射的不同通道的权重。
示例性的稠密模块的网络结构如下所示。
1、BN Layer；2、ReLU Layer；3、Conv Layer，1×1；4、BN Layer；5、ReLU Layer；6、Conv Layer，3×3/6、SE Layer。
参见图11，图11是根据发明的一些实施例所示的示例性的稠密模块的结构示意图。如图11所示，稠密模块可以包括一个批标准化层1110，一个激活层1120、一个1×1卷积层1130、一个批标准化层1140，一个激活层1150、一个3×3卷积层1160以及一个压缩-激活层SE Layer 1170。压缩-激活层1170构成了3×3卷积层1160的旁路，以获得特征映射的不同通道的权重。
在840中，可以确定所述预测标签指示的形变类型和所述已知感兴趣区域的标签指示的形变类型相同的增强图像块在所述第二测试集中的比例。假定输入至所述第二中间检测模型的增强图像块有40个，其所具有的标签都是第1类。如果输出的预测标签中，有37个是第1类，有3个是第2类，则所述比例可以是0.925(即，37/40＝0.925)。
在850中，可以判定所述比例是否大于第二阈值。所述第二阈值可以是医学图像分析系统100的预设参数，也可以根据不同的应用场景由医学图像分析系统100的用户(例如，医生)进行调整。可选地，所述第二阈值可以被设定为0.9。若所述比例大于所述第二阈值，流程800可以进行至760。在760中，第二训练模型460可以将所述第二中间检测模型指定为所述第二检测模型。当所述比例大于所述第二阈值时，可以表明经过模型参数优化后的第二中间检测模型已达到预设的要求，训练可以停止。若所述比例小于所述第二阈值，流程800可以重新返回至830，继续对模型进行训练，直到所述比例大于所述第二阈值。
需要注意的是，以上描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可以在不背离这一原理的情况下，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。然而，这些变化和修改不脱离本申请的范围。例如，步骤810和步骤820可以互换，可以在确定所述感兴趣区域的增强图像块后将所述增强图像块划分为第二训练集合第二测试集以对模型进行训练。
与现有技术相比，本申请以上各实施例可能带来的有益效果包括但不限于：
(1)、基于多类别多数量的样本图像的图像形变类型预测的准确率高。(2)、将深度卷积神经网络应用于图像特征的提取过程以及图像形变类型预测中，准确率高，耗时短。(3)、使用深度卷积神经网络的方法，模型的普适性强，对于不同的成像条件，只需增加配对的训练数据即可，模型的鲁棒性和泛化能力较优。(4)、本发明使用图像形变信息，直接对图像三维形变与标记之间的关系进行建模，避免了根据先验信息提取特征造成的信息丢失，极大提高了信息获取的完整性。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
以上内容描述了本申请和/或一些其他的示例。根据上述内容，本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现，并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的不同系统组件都是通过硬件设备所实现的，但是也可能只通过软件的解决方案得以实现。例如：在现有的服务器上安装系统。此外，这里所披露的位置信息的提供可能是通过一个固件、固件/软件的组合、固件/硬件的组合或硬件/固件/软件的组合得以实现。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信能够将软件从一个计算机设备或处理器加载到另一个。例如：从医学图像分析系统的一个管理服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，例如，局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述属性、数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档、物件等，特将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不限于本申请明确介绍和描述的实施例。

Claims (9)

1.一种医学图像分析系统，其特征在于，所述系统包括获取模块，感兴趣区域确定模块和形变类型确定模块；
所述获取模块，用于获取待测图像；
所述感兴趣区域确定模块，用于将所述待测图像输入至第一检测模型，确定所述待测图像的至少一个感兴趣区域，所述第一检测模型为深度学习模型；所述第一检测模型基于多个样本图像及其已知感兴趣区域训练得到；所述已知感兴趣区域通过以下方式得到：
将样本图像通过非线性配准映射到模板空间上，确定所述样本图像相对于模板图像的形变区域；
基于所述形变区域，确定所述已知感兴趣区域，包括：
确定具有不同标签的样本图像组之间的形变区域的差异；
基于所述差异，确定所述样本图像的感兴趣区域；
所述形变类型确定模块，用于将所述至少一个感兴趣区域输入至第二检测模型，确定所述待测图像的形变类型，所述第二检测模型为深度学习模型。
2.根据权利要求1所述的系统，其特征在于，所述第一检测模型为卷积神经网络模型；所述第二检测模型为卷积神经网络模型，基于所述多个样本图像的已知感兴趣区域及其标签训练后得到，所述标签用来指示所述样本图像的形变类型。
3.根据权利要求1所述的系统，其特征在于，所述系统进一步包括第一训练模块，所述第一训练模块用于训练所述第一检测模型，包括：
将多个样本图像划分为第一训练集和第一测试集；
利用所述第一训练集中的样本图像及其已知感兴趣区域对第一初始检测模型训练后得到第一中间检测模型；
将所述第一测试集中的样本图像输入至所述第一中间检测模型，获得所述样本图像的至少一个预测感兴趣区域；
确定所述第一测试集中的样本图像的预测感兴趣区域的中心坐标点和已知感兴趣区域的中心坐标点之间的距离；
判定所述距离是否小于第一阈值；以及
响应于所述距离小于第一阈值的判定，将所述第一中间检测模型指定为所述第一检测模型。
4.根据权利要求1所述的系统，其特征在于，所述系统进一步包括第二训练模块；所述第二训练模块用于训练所述第二检测模型，包括：
将多个样本图像的已知感兴趣区域划分为第二训练集和第二测试集；
确定每个已知感兴趣区域的增强图像块；
利用所述第二训练集中的已知感兴趣区域的增强图像块及其标签对第二初始检测模型训练后得到第二中间检测模型；
将所述第二测试集中的已知感兴趣区域的增强图像块输入至所述第二中间检测模型，获得所述已知感兴趣区域的预测标签；
确定所述预测标签指示的形变类型和所述已知感兴趣区域的标签指示的形变类型相同的增强图像块在所述第二测试集中的比例；
判定所述比例是否大于第二阈值；以及
响应于所述比例大于第二阈值的判定，将所述第二中间检测模型指定为所述第二检测模型。
5.根据权利要求1所述的系统，其特征在于，所述第一检测模型和第二检测模型分别为以下其中一种：V-Net、DenseNet、ResNet、VGGNet、Fast R-CNN或以上任意一种与SEBlock相结合的结合模型。
6.根据权利要求5所述的系统，其特征在于，所述DenseNet包括一个以上处理模组，每个处理模组包括一个稠密层、一个扩张层和一个残差注意力模组；其中，所述稠密层包括一个或以上稠密模组，所述SEBlock构成所述稠密模组的3×3×3卷积层的旁路；所述扩张层与所述稠密层连接；所述残差注意力模组构成所述扩张层与所述稠密层连接的旁路。
7.根据权利要求1所述的系统，其特征在于，所述系统进一步包括感兴趣区域生成模块；
所述感兴趣区域生成模块，用于生成所述样本图像的至少一个已知感兴趣区域。
8.一种医学图像分析装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现以下操作：
获取待测图像；
将所述待测图像输入至第一检测模型，确定所述待测图像的至少一个感兴趣区域，所述第一检测模型为深度学习模型；所述第一检测模型基于多个样本图像及其已知感兴趣区域训练得到；所述已知感兴趣区域通过以下方式得到：
将样本图像通过非线性配准映射到模板空间上，确定所述样本图像相对于模板图像的形变区域；
基于所述形变区域，确定所述已知感兴趣区域，包括：
确定具有不同标签的样本图像组之间的形变区域的差异；
基于所述差异，确定所述样本图像的感兴趣区域；
将所述至少一个感兴趣区域输入至第二检测模型，确定所述待测图像的形变类型，所述第二检测模型为深度学习模型。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现以下操作：
获取待测图像；
将所述待测图像输入至第一检测模型，确定所述待测图像的至少一个感兴趣区域，所述第一检测模型为深度学习模型；所述第一检测模型基于多个样本图像及其已知感兴趣区域训练得到；所述已知感兴趣区域通过以下方式得到：
将样本图像通过非线性配准映射到模板空间上，确定所述样本图像相对于模板图像的形变区域；
基于所述形变区域，确定所述已知感兴趣区域，包括：
确定具有不同标签的样本图像组之间的形变区域的差异；
基于所述差异，确定所述样本图像的感兴趣区域；
将所述至少一个感兴趣区域输入至第二检测模型，确定所述待测图像的形变类型，所述第二检测模型为深度学习模型。
CN201811125338.4A 2018-09-26 2018-09-26 一种医学图像分析系统、装置及存储介质 Active CN109389587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811125338.4A CN109389587B (zh) 2018-09-26 2018-09-26 一种医学图像分析系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811125338.4A CN109389587B (zh) 2018-09-26 2018-09-26 一种医学图像分析系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109389587A CN109389587A (zh) 2019-02-26
CN109389587B true CN109389587B (zh) 2021-07-16

Family

ID=65419072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811125338.4A Active CN109389587B (zh) 2018-09-26 2018-09-26 一种医学图像分析系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109389587B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934806B (zh) * 2019-03-05 2022-08-19 百度在线网络技术（北京）有限公司 图像确定方法、装置、设备和存储介质
CN110033438B (zh) * 2019-03-14 2021-07-27 上海市第六人民医院 髋关节标记系统及其标记方法
CN110033410B (zh) * 2019-03-28 2020-08-04 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110046572A (zh) * 2019-04-15 2019-07-23 重庆邮电大学 一种基于深度学习的地标建筑物识别与检测方法
CN110148192B (zh) * 2019-04-18 2023-05-30 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110321943B (zh) * 2019-06-25 2021-08-31 中国科学院自动化研究所 基于半监督深度学习的ct图像分类方法、系统、装置
CN110276802B (zh) * 2019-06-26 2021-08-17 湖南大学 医学图像中病症组织定位方法、装置与设备
CN110309880B (zh) * 2019-07-01 2022-12-09 天津工业大学 一种基于注意力机制cnn的5天和9天孵化鸡蛋胚胎图像分类方法
CN110363131B (zh) * 2019-07-08 2021-10-15 上海交通大学 基于人体骨架的异常行为检测方法、系统及介质
CN110599526B (zh) * 2019-08-06 2023-04-25 上海联影智能医疗科技有限公司 图像配准方法、计算机设备和存储介质
CN110458829B (zh) * 2019-08-13 2024-01-30 腾讯医疗健康(深圳)有限公司 基于人工智能的图像质控方法、装置、设备及存储介质
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
TWI705458B (zh) * 2019-09-19 2020-09-21 沐恩生醫光電股份有限公司 一種醫療影像辨識的方法與系統
US11080889B2 (en) * 2019-09-24 2021-08-03 Shanghai United Imaging Intelligence Co., Ltd. Methods and systems for providing guidance for adjusting an object based on similarity
CN110689547B (zh) * 2019-09-25 2022-03-11 重庆大学 一种基于三维ct影像的肺结节分割方法
CN112686831A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的检测方法
US11710244B2 (en) 2019-11-04 2023-07-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for machine learning based physiological motion measurement
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置
CN111062948B (zh) * 2019-11-18 2022-09-13 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN111080573B (zh) * 2019-11-19 2024-02-27 上海联影智能医疗科技有限公司 肋骨图像检测方法、计算机设备和存储介质
US11461929B2 (en) * 2019-11-28 2022-10-04 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for automated calibration
CN110786824B (zh) * 2019-12-02 2021-06-15 中山大学 基于边界框修正网络的粗标注眼底照出血病变检测方法及系统
US11367193B2 (en) * 2019-12-31 2022-06-21 Uih America, Inc. Systems and methods for medical imaging
CN111210414B (zh) * 2020-01-06 2023-12-26 上海联影智能医疗科技有限公司 医学图像分析方法、计算机设备和可读存储介质
CN111275080B (zh) * 2020-01-14 2021-01-08 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111402198B (zh) * 2020-02-11 2022-12-27 山东师范大学 基于解剖地标和残差网络的阿尔兹海默症分类方法及系统
CN111488872B (zh) * 2020-03-31 2022-10-25 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN111461233A (zh) * 2020-04-02 2020-07-28 大连海事大学 一种基于MDCLSTM-LDenseNet网络的核磁共振图像自动分类方法及装置
CN111862047A (zh) * 2020-07-22 2020-10-30 杭州健培科技有限公司 一种级联的医学影像关键点检测方法及装置
CN111950714A (zh) * 2020-08-24 2020-11-17 重庆市云迈科技有限公司 一种基于3d全卷积神经网络的能谱ct图像域材料识别方法
CN112396606B (zh) * 2020-10-30 2024-01-05 上海联影医疗科技股份有限公司 一种基于用户交互的医学图像分割方法、系统和装置
CN112614119B (zh) * 2020-12-28 2024-04-12 上海市精神卫生中心（上海市心理咨询培训中心） 医学图像感兴趣区域可视化方法、装置、存储介质和设备
CN112734749A (zh) * 2021-01-11 2021-04-30 四川大学华西医院 一种基于卷积神经网络模型的声带白斑辅助诊断系统
CN112951384A (zh) * 2021-02-04 2021-06-11 慧影医疗科技（北京）有限公司 用于医学影像设备的数据模拟发生方法及系统
CN112634273B (zh) * 2021-03-10 2021-08-13 四川大学 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
CN112990009A (zh) * 2021-03-12 2021-06-18 平安科技（深圳）有限公司 基于端到端的车道线检测方法、装置、设备及存储介质
CN112801282A (zh) * 2021-03-24 2021-05-14 东莞中国科学院云计算产业技术创新与育成中心 三维图像处理方法、装置、计算机设备和存储介质
CN114387436B (zh) * 2021-12-28 2022-10-25 北京安德医智科技有限公司 壁冠状动脉检测方法及装置、电子设备和存储介质
CN117493601A (zh) * 2022-07-22 2024-02-02 华为云计算技术有限公司 一种图像检索方法、模型训练方法、装置及存储介质
CN115937163B (zh) * 2022-12-19 2023-07-28 西北民族大学 一种spect肺灌注成像的目标区域提取方法与系统
CN116051518B (zh) * 2023-01-19 2024-03-26 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 木马位置定位方法、装置、计算机设备和存储介质
CN116681892B (zh) * 2023-06-02 2024-01-26 山东省人工智能研究院 基于多中心PolarMask模型改进的图像精准分割方法
CN116597988B (zh) * 2023-07-18 2023-09-19 济南蓝博电子技术有限公司 一种基于医疗信息的智慧医院运营方法及系统
CN116912247A (zh) * 2023-09-13 2023-10-20 威海市博华医疗设备有限公司 医疗图像处理方法、装置、存储介质及电子设备
CN117351293B (zh) * 2023-12-04 2024-02-06 天津医科大学口腔医院 一种联合学习的牙周病图像分类方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573742A (zh) * 2014-12-30 2015-04-29 中国科学院深圳先进技术研究院 医学图像分类方法和系统
CN106153011A (zh) * 2015-04-21 2016-11-23 原相科技股份有限公司 测距系统及测量距离的方法
CN107123137A (zh) * 2017-04-28 2017-09-01 上海联影医疗科技有限公司 医学图像处理方法及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813373B1 (en) * 2001-04-03 2004-11-02 Koninklijke Philips Electronics, N.V. Image segmentation of embedded shapes using constrained morphing
CN102521832B (zh) * 2011-12-07 2014-05-28 中国科学院深圳先进技术研究院 图像分析方法和系统
US9824457B2 (en) * 2014-08-28 2017-11-21 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
CN106355578B (zh) * 2016-09-13 2019-10-22 天津大学 基于卷积神经网络的超声颈动脉远端识别装置和方法
CN107133461B (zh) * 2017-04-26 2021-11-12 中国人民解放军总医院 一种基于自编码器的医学图像处理装置与方法
CN107067395B (zh) * 2017-04-26 2022-01-25 中国人民解放军总医院 一种基于卷积神经网络的核磁共振图像处理装置与方法
CN107330267A (zh) * 2017-06-28 2017-11-07 首都医科大学宣武医院 利用弥散张量成像医学影像的白质纤维脑图谱构建方法
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN107506766B (zh) * 2017-08-25 2020-03-17 东软医疗系统股份有限公司 图像分割方法及装置
CN108332948A (zh) * 2018-01-17 2018-07-27 深圳市绚视科技有限公司 待检设备的检测系统及检测方法
CN108288496A (zh) * 2018-01-26 2018-07-17 中国人民解放军总医院 肿瘤容积智能勾画方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573742A (zh) * 2014-12-30 2015-04-29 中国科学院深圳先进技术研究院 医学图像分类方法和系统
CN106153011A (zh) * 2015-04-21 2016-11-23 原相科技股份有限公司 测距系统及测量距离的方法
CN107123137A (zh) * 2017-04-28 2017-09-01 上海联影医疗科技有限公司 医学图像处理方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep convolutional neural networks for automatic classification of gastric carcinoma using whole slide images in digital histopathology;HarshitaSharma 等;《Computerized Medical Imaging and Graphics》;20170616;第2-13页 *

Also Published As

Publication number Publication date
CN109389587A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109389587B (zh) 一种医学图像分析系统、装置及存储介质
CN109242865B (zh) 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
Liu et al. Multi-modality cascaded convolutional neural networks for Alzheimer’s disease diagnosis
US10254358B2 (en) Differential atlas for cancer assessment
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
Cheng et al. Cortical surface registration using unsupervised learning
Fiot et al. Longitudinal deformation models, spatial regularizations and learning strategies to quantify Alzheimer's disease progression
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
Iglesias A ready-to-use machine learning tool for symmetric multi-modality registration of brain MRI
Yu et al. Unsupervised 3D PET-CT image registration method using a metabolic constraint function and a multi-domain similarity measure
Liu et al. Robust cortical thickness morphometry of neonatal brain and systematic evaluation using multi-site MRI datasets
Woodward et al. The NanoZoomer artificial intelligence connectomics pipeline for tracer injection studies of the marmoset brain
Bueno et al. Automated Cervical Spinal Cord Segmentation in Real-World MRI of Multiple Sclerosis Patients by Optimized Hybrid Residual Attention-Aware Convolutional Neural Networks
CN112802036A (zh) 一种三维医学图像靶区分割的方法、系统和装置
WO2020056196A1 (en) Fully automated personalized body composition profile
Qin et al. Joint dense residual and recurrent attention network for DCE-MRI breast tumor segmentation
Tregidgo et al. 3D reconstruction and segmentation of dissection photographs for MRI-free neuropathology
Zhao et al. Application of artificial intelligence in radiotherapy of nasopharyngeal carcinoma with magnetic resonance imaging
Deng et al. A Novel Fully Automated MRI-Based Deep-Learning Method for Segmentation of Nasopharyngeal Carcinoma Lymph Nodes
CN117649400B (zh) 一种异常检测框架下的影像组学分析方法及系统
Iglesias EasyReg: A ready-to-use deep learning tool for symmetric affine and nonlinear brain MRI registration
Rickmann et al. Vertex Correspondence in Cortical Surface Reconstruction
US20230293014A1 (en) Plane selection using localizer images
WO2024094088A1 (en) Systems and methods for image analysis
US20230252640A1 (en) Computer-implemented method for determining scar segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant