CN109754394A - 三维医学图像处理装置及方法 - Google Patents

Abstract

本发明提供一种三维医学图像处理装置，所述三维医学图像处理装置包括：图像获取模块，获取初始医学图像；分割模块，所述分割模块根据经训练的神经网络模型对所述初始医学图像进行分割，以获取感兴趣的区域；体积确定模块，所述体积确定模块确定所述感兴趣区域的体积；分级模块，所述分级模块匹配所述感兴趣区域的体积与一分级表，根据匹配结果确定所述感兴趣区域的分级结果。

Description

三维医学图像处理装置及方法

技术领域

本发明涉及医学成像领域，尤其涉及一种三维医学图像处理装置及方法。

背景技术

常染色体显性多囊肾病(Autosomal Dominant Polycystic Kidney Disease,ADPKD)是最常见的常染色体显性遗传疾病之一。常染色体显性多囊肾病的发病和发展有一定的规律，可以按照多囊肾病的严重程度将其分级为1A～1E级。在多囊肾病的治疗中，不同分级的治疗侧重点和治疗方法有很大不同。

肾脏总体积(Total Kidney Volume,TKV)可以敏感地反映多囊肾病的病情发展情况，也是多囊肾病分级所依赖的重要指标。因此，肾脏总体积的测量在多囊肾病患者的整个治疗阶段都起着非常重要的作用。

多囊肾病患者肾脏在T1MRI图像中表现十分复杂，临床上通常采用手动勾画的方法。手动勾画的方法非常费时，专业医师勾画出左、右肾脏大约需要45分钟。专业医师勾画出肾脏并计算出肾脏总体积后，需要再通过人工查表的方法获取患者多囊肾的分级情况。还有一种半自动的确定肾脏总体积的方法，主要是基于椭圆体方程，该方法将肾脏假设为一个椭圆体，由医生勾画出椭圆体的长轴和短轴，然后根据椭圆体方程估算出一个肾脏总体积，采用该方法能够加快肾脏总体积的测量时间，大约需要7分钟，但是这会影响肾脏总体积测量的准确性。

发明内容

本发明要解决的技术问题是提供一种三维医学图像处理装置及方法，以提高感兴趣区域分割的速率和准确率，并对感兴趣区域进行自动分级。

为解决上述技术问题，本发明的一方面提供了一种三维医学图像处理装置，所述三维医学图像处理装置包括：图像获取模块，获取初始医学图像；分割模块，所述分割模块根据经训练的神经网络模型对所述初始医学图像进行分割，以获取感兴趣的区域；体积确定模块，所述体积确定模块确定所述感兴趣区域的体积；分级模块，所述分级模块匹配所述感兴趣区域的体积与分级表，根据匹配结果确定所述感兴趣区域的分级结果。

在本发明的一实施例中，所述图像获取模块还对所述医学图像进行预处理，所述预处理包括对所述医学图像进行重采样和归一化。

在本发明的一实施例中，所述神经网络模型为卷积神经网络。

在本发明的一实施例中，所述体积确定模块获取所述感兴趣的区域的体素数量，并根据所述体素数量和图像分辨率确定所述感兴趣区域的体积。

在本发明的一实施例中，所述感兴趣的区域为肾脏，所述感兴趣区域的体积为肾脏总体积。

在本发明的一实施例中，所述分级模块匹配所述感兴趣区域的体积与分级表的步骤包括：以对象的所述感兴趣区域的体积与身高的比值作为纵坐标，以对象的年龄作为横坐标，根据所述纵坐标和所述横坐标的值确定在所述分级表中的位置。

在本发明的一实施例中，所述三维医学图像为核磁共振图像或计算机断层扫描图像。

本发明的另一方面提供了一种三维医学图像处理方法，所述三维医学图像处理方法包括：获取初始医学图像；根据经训练的神经网络模型对所述初始医学图像进行分割，以获取感兴趣的区域；确定所述感兴趣区域的体积；匹配所述感兴趣区域的体积与分级表，根据匹配结果确定所述感兴趣区域的分级结果。

在本发明的一实施例中，所述匹配所述感兴趣区域的体积与分级表的步骤包括：以对象的所述感兴趣区域的体积与身高的比值作为纵坐标，以对象的年龄作为横坐标，根据所述纵坐标和所述横坐标的值确定在所述分级表中的位置。

在本发明的又一方面提供了一种计算机可读存储介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如上所述的方法。

与现有技术相比，本发明实施例具有以下优点：本发明提供了一种三维医学图像处理装置及方法，基于经训练的神经网络模型对感兴趣区域进行分割和体积测量，可以提高分割的速率和准确率；将分割和体积测量的结果与一匹配表相匹配，实现了对感兴趣区域的自动分级。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是本发明一些实施例的计算机设备的结构示意图；

图2是根据本发明一些实施例描述的示例性的处理引擎的方框图；

图3是根据本发明一些实施例描述的示例性的神经网络确定模块的方框图；

图4是根据本发明一实施例的三维医学图像处理装置的示意图；

图5A-5H是根据本发明一实施例的三维医学图像处理装置的图像处理过程的示意图；

图6是根据本发明一实施例的肾脏总体积的分级表；

图7A-7B是根据本发明一实施例的肾脏总体积的分级结果；

图8A-8B是根据本发明另一实施例的肾脏总体积的分级结果；

图9是根据本发明一实施例的三维医学图像处理方法的流程图；

图10是根据本发明一些实施例描述的示例性的神经网络模型的示意图。

具体实施方式

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在计算设备和/或处理器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接，或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。

本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本发明的一些描述是结合磁共振成像(MRI)图像而提供。应当理解，这是为了说明的目的，而不是旨在限制本发明的范围。在此发明的装置和方法可以用于处理来自其他成像模态的图像或图像数据，其他成像模态包括例如数字射线照相(DR)系统、计算机断层扫描(CT)系统、医学超声成像系统、多模态系统、或类似物，或其任何组合。示例性的多模态系统可以包括正电子发射断层扫描-计算机断层扫描(PET-CT)系统、正电子发射断层扫描-磁共振成像(PET-MRI)系统等。

图1是本发明一些实施例的计算机设备的结构示意图。计算机100可以被用于实现和实施本发明一些实施例中披露的特定方法和装置。本实施例中的特定装置利用功能框图展示了一个包含显示模块的硬件平台。在一些实施例中，计算机100可以通过其硬件设备、软件程序、固件以及它们的组合来实现本发明一些实施例的具体实施。在一些实施例中，计算机100可以是一个通用目的的计算机，或一个有特定目的的计算机。

参考图1所示，计算机100可以包括内部通信总线101、处理器(processor)102、只读存储器(ROM)103、随机存取存储器(RAM)104、通信端口105、输入/输出组件106、硬盘107以及用户界面108。内部通信总线101可以实现计算机100组件间的数据通信。处理器102可以进行判断和发出提示。在一些实施例中，处理器102可以由一个或多个处理器组成。通信端口105可以实现计算机100与其他部件(图中未示出)例如：外接设备、图像采集设备、数据库、外部存储以及图像处理工作站等之间进行数据通信。在一些实施例中，计算机100可以通过通信端口105从网络发送和接受信息及数据。输入/输出组件106支持计算机100与其他部件之间的输入/输出数据流。用户界面108可以实现计算机100和用户之间的交互和信息交换。计算机100还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘107，只读存储器(ROM)103和随机存取存储器(RAM)104，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器102所执行的可能的程序指令。

作为举例，输入/输出组件106可以包括以下的组件的一种或多种：鼠标、轨迹球、键盘、触控组件、声音接收器等。

本发明中的处理器102可设置为处理引擎200。图2是根据本发明一些实施例的处理引擎200的方框图。参考图2所示，处理引擎200可包括获取模块210、控制模块220、神经网络确定模块230、图像数据处理模块240和存储模块250。处理引擎200可被实施于各种部件上(例如图1所示的计算机100的处理器102)。

获取模块210可接收图像数据。获取模块210可从成像系统或者存储装置(例如硬盘107、ROM 103或者RAM 104)获取图像数据。图像数据可包括扫描数据、重建图像等。扫描数据可以是k空间数据。在一些实施例中，获取模块210可将获取的图像数据发送到处理引擎200的其它模块或单元以用于进一步处理。例如，获取的图像数据可发送到存储模块250存储。作为另一个示例，获取模块210可发送图像数据(例如扫描数据)到图像数据处理模块240以重建图像。

控制模块220可通过例如产生一个或多个控制参数，来控制获取模块210、神经网络确定模块230、图像数据处理模块240和/或存储模块250的操作。例如，控制模块220可控制获取模块210获取图像数据。作为另一个示例，控制模块220可控制图像数据处理模块240处理由获取模块210获取的图像数据。作为又一个示例，控制模块220可控制神经网络确定模块230来训练神经网络模型。在一些实施例中，控制模块220可接收实时命令或取回由例如用户(例如医生)或计算机100提供的预定命令，以控制获取模块210、神经网络确定模块230和/或图像数据处理模块240的一个或多个操作。例如，控制模块220能根据实时指令和/或预定指令调节图像数据处理模块240以生成对象图像。在一些实施例中，控制模块220可与处理引擎200的一个或多个其它模块通信以交换信息和/或数据。

神经网络确定模块230可确定一个或多个神经网络模型。例如，神经网络确定模块230可确定神经网络模型，神经网络模型被配置为根据欠采样图像生成预测图像。在一些实施例中，神经网络确定模块230可将确定的神经网络模型发送到一个或多个其他模块用于进一步的处理或应用。例如，神经网络确定模块230可向存储模块250发送神经网络模型用于存储。作为另一个示例，神经网络确定模块230可将神经网络模型发送到图像数据处理模块240用于图像处理。

图像数据处理模块240可处理由处理引擎200的各个模块提供的信息。图像数据处理模块240可处理由获取模块210获取的图像数据，从存储模块250取回的图像数据等。在一些实施例中，图像数据处理模块240可根据重建技术基于图像数据来重建图像，生成包括一个或多个图像和/或其他相关信息的报告，和/或执行根据本发明的各种实施例的任何其它用于图像重建的功能。

存储模块250可存储图像数据、模型、控制参数、经处理的图像数据或其组合。在一些实施例中，存储模块250可存储可由处理引擎200的处理器执行的一个或多个程序和/或指令，以执行在本发明中描述的示例性方法。例如，存储模块250可存储由处理引擎200的处理器执行的程序和/或指令以获取图像数据、基于图像数据重建图像、训练神经网络模型和/或显示任何中间结果或结果图像。

在一些实施例中，神经网络确定模块230可独立于处理引擎200设置。由另一设备确定的一个或多个神经网络模型可存储在计算机100中(例如，硬盘107、ROM 103或者RAM104等)或者在外部设备上，该外部设备可通过处理引擎200经由例如网络存取。在一些实施例中，这种设备可包括与神经网络确定模块230相同或相似的部分。在一些实施例中，神经网络确定模块230可存储一个或多个神经网络模型，该神经网络模型由另外的设备确定，并且可被计算机100的一个或多个部件(例如处理器102等)访问。在一些实施例中，本发明中可应用的神经网络模型可由计算机100(或包括例如处理引擎200的一部分)或可由计算机100访问的外部设备(或包括例如处理引擎200的一部分)确定。

图3是根据本发明的一些实施例描述的示例性的神经网络确定模块230的框图。参考图3所示，神经网络确定模块230可包括图像重建单元320，神经网络训练单元340和存储单元360。神经网络确定模块230可在各种组件(例如，如图1所示的计算机的处理器102)上实施。

图像重建单元320可基于一个或多个重建技术来重建一个或多个图像。在一些实施例中，图像重建单元320可将重建的图像发送到神经网络确定模块230的其他单元或块，用于进一步处理。例如，图像重建单元320可以将重建的图像发送到神经网络训练单元340，以训练神经网络模型。作为另一示例，图像重建单元320可以将重建的图像发送到存储单元360以进行存储。

神经网络训练单元340可训练神经网络模型。在一些实施例中，神经网络训练单元340可训练神经网络模型，神经网络模型被配置为根据欠采样图像生成预测图像。可以使用一些图像和针对这些图像的感兴趣区域选框来获得这样的神经网络模型。

在一些实施例中，神经网络训练单元340还可包括用于初始化的参数确定块342、提取块344、计算块346和判断块348。参数确定块342可初始化神经网络模型。例如，参数确定块342可构建初始神经网络模型。作为另一示例，参数确定块342可初始化初始神经网络模型的一个或多个参数值。提取块344可以从一个或多个训练图像(例如，欠采图像、参考图像和目标图像)中提取信息。例如，提取块344可以从这些训练图像中提取关于一个或多个区域的特征。计算块346可以在例如训练神经网络模型的过程中执行计算功能。例如，计算块346可以计算在迭代训练过程中更新的神经网络模型的一个或多个参数值。判断块348可以在例如训练神经网络模型的过程中执行判断功能。例如，判断块348可以确定在神经网络模型的训练过程中条件是否满足。

存储单元360可以存储关于例如训练神经网络模型的信息。在一些实施例中，与训练神经网络模型有关的信息可以包括用于训练神经网络模型的图像，用于训练神经网络模型的算法，神经网络模型的参数等。例如，存储单元360可以根据一定的标准来存储训练图像。可以基于训练图像的维度将训练图像存储或上传到存储单元360中。为了说明的目的，二维(2D)图像或三维(3D)图像可以被存储为包括多个元素(例如，像素或体素)的2D或3D矩阵。2D矩阵的元素以每行元素被顺序地存储在存储单元360中的方式被布置在存储单元360中，每行元素与2D图像的长度相对应，因此相同行中的元素在存储单元360中彼此相邻。3D矩阵的元素以构成3D矩阵的多个2D矩阵顺序地存储在存储单元360中的方式布置在存储单元360中，然后每个2D矩阵的行和/或列顺序地存储在存储单元360中。存储单元360可以是存储要由诸如CPU、GPU等处理设备处理的数据的存储器。在一些实施例中，存储单元360可以是由一个或多个GPU访问的存储器，或者是只由特定GPU访问的存储器。

应当注意的是，对神经网络确定模块230的以上描述仅仅是为了说明的目的而提供的，而并非旨在限定本发明的范围。对于本领域普通技术人员而言，可在本发明的教导下做出多种变形或修改。这些变形和修改并不背离本发明的范围。

图4是根据本发明一实施例的三维医学图像处理装置400的示意图。参考图4所示，该三维医学图像处理装置400包括图像获取模块401、分割模块402、体积确定模块403和分级模块404。该三维医学图像处理装置400可以包含在图2所示的处理引擎200中，也可以独立于该处理引擎200设置。

图像获取模块401用于获取初始医学图像。该图像获取模块401可以包含于图2所示的处理引擎200中的获取模块210中，也可以独立于该处理引擎200设置。该医学图像应为三维医学图像。该医学图像可以是由成像系统、图像采集设备等通过对病人的扫描获取的。该获取也可以是来自于存储器，如从PACS系统中已经存在的数据集中提取需要的医学图像数据。该图像数据可包括原始的扫描数据、重建图像等。本实施例的三维医学图像处理装置400中的图像获取模块401所获取的医学图像为包括有肾脏的人体躯干部位的T1MRI图像。

在其他的实施例中，图像获取模块401所获取的医学图像优选地为核磁共振图像或计算机断层扫描图像。

分割模块402用于根据经训练的神经网络模型对由图像获取模块401获取的初始医学图像进行分割，以获取感兴趣的区域(Region of Interest,ROI)。在本实施例中，该感兴趣的区域示例性的为肾脏，包括左肾和右肾。在其他的实施例中，感兴趣的区域可以是人体的各个部位，包括但不限于头、胸、肺、心、肝、脾、胸膜、纵膈、腹、大肠、小肠、膀胱、胆囊、盆腔、骨干、末端、骨架、血管，或类似物，或者其任意组合。

在一实施例中，分割模块402包括粗分割模块和细分割模块，粗分割模块根据经训练的神经网络模型对初始医学图像进行粗分割，细分割模块根据经训练的神经网络模型对初始医学图像进行细分割。

需要说明的是，在此实施例中，粗分割模块和细分割模块所用到的经训练的神经网络模型是将大量的多囊肾病T1MRI图像和对应的左、右肾脏标注图像，用神经网络模型进行训练，得到分割模块所要用的神经网络模型文件。具体的，对这里所涉及的神经网络模型进行训练的过程包括：

(1)对图像进行预处理。该预处理包括重采样、归一化以及取出图像块。

重采样是指将医学图像重新采样到指定的分辨率。将图像重采样为同一个分辨率是因为不同医学图像的空间分辨率不同，在训练阶段重新采样到指定的同一个分辨率有利于模型训练的收敛。在本实施例中，粗分割模块的神经网络分辨率为[6mm,6mm,6mm]，细分割模块的神经网络分辨率为[1mm,1mm,1mm]。

归一化是应用于图像整体，而不是图像中的某一部分。具体而言，对医学图像进行归一化的过程包括对医学图像中百分位数为1％～99％之间的像素值做统计，计算平均值和方差，并利用这些统计信息将图像像素值归一化到-1～1之间。小于百分位数1％的像素值归一化为-1，大于百分位数99％的像素值归一化为1。对医学图像进行归一化的目的是为了将医学图像的灰度分布控制在一个指定范围内，从而加快神经网络模型的收敛。

用于该神经网络模型训练的图像数据为随机从完整图像中取出的若干图像块。无论是粗分割模块还是细分割模块中所采用的神经网络模型都是利用这些图像块来进行训练的。这样做的目的是考虑到GPU显存的限制，并且以部分图像训练可视作一种正则化手段，使神经网络模型具有更优的性能。

(2)模型训练。将在上一步骤中所获得的图像块输入神经网络模型进行训练，经过多次迭代，待训练的损失函数较低时，即完成此训练过程，并保存该训练模型文件。

可以理解的是，本实施例分别对应于粗分割模块和细分割模块来对神经网络进行训练。因此，具有两个训练过程，并且分别对应于粗分割模块得到一粗分割模型文件，对应于细分割模块得到一细分割模型文件。

在本实施例中所采用的神经网络模型为三维卷积神经网络，优选地为V-Net网络。在其他的实施例中，也可以采用其他的神经网络模型，如VGG、AlexNet、ResNet等，以及二维卷积神经网络等。

模型训练阶段的损失函数选取包括但不限于：Dice损失函数和Focal损失函数等。

在本实施例中，粗分割模块根据经训练的神经网络模型对初始医学图像进行粗分割，得到一较粗分辨率下的感兴趣的区域的图像，即一较粗分辨率的肾脏图像；细分割模块根据经训练的神经网络模型对初始医学图像进行细分割，得到一较细分辨率下的感兴趣的区域图像，即一较细分辨率的肾脏图像。

需要说明的是，图3所示的神经网络确定模块230可以应用于本实施例中的神经网络模型的确定及训练过程。例如利用神经网络确定模块230中的神经网络训练单元340来实施训练神经网络的过程等。在对神经网络模型进行训练以及后续的利用经训练的神经网络模型进行图像分割的过程当中，还可以利用神经网络确定模块230中的存储单元360对数据进行存储和/或缓存。

本实施例的分割模块402先利用粗分割模块，将预处理所得到的低分辨率图像输入粗分割网络中进行前向传播计算，可以得到肾脏的分布概率图；二值化该概率图以及选取最大连通域可得到较粗分辨率下的肾脏的分割图像；对粗分割结果取定位框(boundingbox)，并适当扩大范围以确保图像中完全包含肾脏，然后，在原始图像上截取该范围内的图像，作为细分割的初始图像。这一步骤由于在较低分辨率的粗分割结果图像上进行，图像较小，所以定位会比较快速以及占用很少显存。在其它一些实施例中，也可以同时分割两个器官，此时将预处理所得到的低分辨率图像输入粗分割网络，可以得到多通道分布概率图，例如同时分割左肾和右肾，左肾标记为label 1，右肾标记为label 2，对图像的每个像素位置取分布概率图中具有最大预测概率的通道所对应的label值，再分别选取label＝1的最大连通域作为较粗分辨率下左肾的分割结果，选取label＝2的最大连通域作为较粗分辨率下右肾的分割结果。对粗分割结果取定位框(bounding box)，并适当扩大范围以确保图像中完全包含左、右肾脏。

在另一实施例中，分割模块402可以只包括细分割模块，而不包括粗分割模块。此时，在预处理过程中将原始图像重采样到细分割网络模型的较高分辨率。经过细分割模块的图像分割，可以得到分辨率较高的图像分割结果，在现有计算机条件下：由于数据量大，该计算需要耗费较多的时间。

另外需要说明的是，在分割模块402根据经训练的神经网络模型对初始医学图像进行分割时，该初始医学图像也需要进行预处理。在一实施例中，该预处理可以由三维医学图像处理装置400中的图像获取模块401来进行。该预处理包括但不限于对医学图像进行重采样和归一化。这里的重采样和归一化的方法与神经网络模型的训练过程中的重采样及归一化的方法可以是相同的。

体积确定模块403用于确定由分割模块402获取的感兴趣区域的体积。在本实施例中，当感兴趣的区域为肾脏时，体积确定模块403根据分割模块402所获得的肾脏分割结果来计算肾脏总体积(TKV)。可以理解的是，在其他的实施例中，针对不同的感兴趣的区域，体积确定模块403则用于确定这些感兴趣区域的体积。

在一实施例中，体积确定模块403确定感兴趣区域的体积的方法包括先获取感兴趣的区域的体素数量，再根据该体素数量和图像分辨率确定感兴趣区域的体积。具体的，体积确定模块403将分割得到的左肾和右肾图像的像素数目进行相加，并乘以该图像的图像分辨率即可得到肾脏总体积。

分级模块404用于将体积确定模块403所获取的感兴趣区域的体积与一分级表进行匹配，并根据匹配结果确定该感兴趣区域的分级结果。许多常见的疾病都具有分级。在本实施例中，该分级表是针对多囊肾病的分级所制定的分级表，该分级表中所涉及的相关参数包括该医学图像来源对象的身高、年龄以及肾脏总体积等。具体的，将感兴趣区域的体积与分级表进行匹配的过程包括以对象感兴趣区域的体积与身高的比值作为纵坐标，以对象的年龄作为横坐标，根据纵坐标和横坐标的值确定在分级表中的位置。该位置所处的位置即表明了基于该感兴趣区域所判断的分级结果。在本实施例中，该感兴趣区域的体积为肾脏总体积，分级结果为多囊肾病的分级结果，包括1A～1E级。

可以理解的是，在其他的实施例中，分级表中的横纵坐标也可以互换，或者采用不同的参数，如以感兴趣区域的体积除以对象的身高，或者以对象的身高除以感兴趣区域的体积等。再针对不同的横纵坐标的设置，相应的调整该分级表的内容。

在其他的实施例中，针对不同的感兴趣的区域，该分级表还可以针对其他疾病的分级来制定，在将感兴趣区域的体积和分级表进行匹配时，还应包含相应所需的生理参数及测量参数。

以上所述的分割模块402、体积确定模块403和分级模块404都可以包含于图2所示的处理引擎200中的图像数据处理模块240中，也可以独立于该处理引擎200设置。

根据图4所示三维医学图像处理装置，可以实现对感兴趣区域的全自动测量以及自动分级，大大的缩短了测量和分级的时间，并且准确性高。另外，该三维医学图像处理装置中所使用的卷积神经网络模型普适性强，对于不同型号的成像系统和不同的成像序列采集的医学图像，只需改变相应的训练数据即可。

图5A-5H是根据本发明一实施例的三维医学图像处理装置400的图像处理过程的示意图。其中，图5A是图像获取模块401获取的初始医学图像。如图5A所示，本实施例中所采用的医学图像是人体躯干部位的T1MRI图像，从该图像中可以看出位于人体躯干内部的器官。在此示例中，图像大小为512×512×90，图像分辨率为[1.875mm,1.875mm,4mm]，欲进行图像分割的对象为右肾。

图5B是经过图像获取模块401对初始医学图像进行预处理之后得到的图像。该预处理过程包括对整体图像进行重采样和归一化。在此示例中，重采样过程为降采样。经过降采样之后的图像大小降为80×80×64，图像分辨率为[6mm,6mm,6mm]。也就是说，经过预处理之后的图像分辨率有所下降。该图像分辨率与粗分割神经网络的分辨率相同。图像的归一化采用神经网络模型训练阶段的归一化方式进行归一化。

图5C是经过分割模块402中的粗分割模块的处理后所获得感兴趣的区域，即右肾的概率图。粗分割模块根据经训练的粗分割神经网络，对图5B中所获得的图像进行图像分割。该粗分割模块的神经网络分辨率为[6mm,6mm,6mm]。经过该粗分割模块的处理之后，右肾区域的分割概率接近1(图片上显示为白色)，其他区域概率很小(图片上显示为黑色)，基本上小于10^-6。

图5D是对经过粗分割模块处理后的右肾的图像进行后处理。参考经过粗分割处理的右肾图像的位置和大小，在该后处理的过程中，首先在原始图像上相应的位置取一选定框(Bounding Box)，将包含右肾的图像选取出来。该选定框可以较大于右肾图像，以确保将右肾完整的包括在所框选的图像区域内。再将该区域里的图像像素值归一化到[-1,1]。此时图像的大小为[144,144,208]，图像分辨率为[1mm,1mm,1mm]。

图5E是对图5D所获得的右肾图像进行细分割之后所得到概率图。细分割模块根据经训练的细分割神经网络，对图5D中所获得的图像进行图像分割。图5E中白色部分为右肾区域，黑色部分为其他区域。此时图像的大小为[144,144,208]，图像分辨率为[1mm,1mm,1mm]。

图5F是将图5E获得的右肾分割图像返回到原始图像的分辨率所产生的三维图像。

图5G示出了对原始医学图像中的右肾进行分割之后的结果。如图5G所示，在原始的医学图像中标记出了右肾的区域，以用于进一步的计算和应用。

图5H示出了对原始医学图像中的左肾和右肾都进行了图像分割之后的效果。如图5H所示，在原始医学图像中对左肾和右肾的区域都做出了标记，以便于基于此结果进行下一步的计算和应用。在一实施例中，可以对左肾、右肾分别进行分割；在另一实施例中，也可以同时对左、右肾进行分割。

图6是根据本发明一实施例的肾脏总体积的示例性的分级表。如图6所示，在该分级表中，以肾脏总体积除以病人身高作为纵坐标，以病人年龄作为横坐标。在该坐标区域被四条直线划分为五大区域，分别对应于多囊肾病分级中的1A级-1E级。一旦通过本发明的三维医学图像处理装置400获得肾脏总体积之后，即可在该分级表上确定一个对应于该病人的分级点。根据该分级点位于哪一个级别区域中来确定该病人的多囊肾病分级结果。图6中所示的多个分级点来自于多个不同的医学图像分割结果。利用本实施例中所示的分级表，可以直观高效的呈现出由分割图像获得的分级结果。

图7A-7B是根据本发明一实施例的肾脏总体积的分级结果。图7A是利用本发明的三维医学图像处理装置400对左、右肾同时进行图像分割之后的一示例性的MR断层图像。由图7A所获得的肾脏总体积的数据对应于图7B中的分级结果。可见，该病人的多囊肾病分级结果为1E级。

图8A-8B是根据本发明另一实施例的肾脏总体积的分级结果。图8A是利用本发明的三维医学图像处理装置400对左、右肾同时进行图像分割之后的一示例性的MR断层图像。由图8A所获得的肾脏总体积的数据对应于图8B中的分级结果。可见，该病人的多囊肾病分级结果为1C级。

需要说明的是，图7A和图8A仅示出了其所对应的医学图像的一个断层图像。三维医学图像处理装置400对肾脏总体积的计算是基于整个肾脏所对应的所有断层图像。本说明书只挑选了具有代表性的示例性的断层图像。

图9是根据本发明一实施例的三维医学图像处理方法的流程图。参考图9所示，本实施例进行三维医学图像处理的方法包括以下步骤：

步骤901，获取初始医学图像。在本实施例中，该步骤由三维图像处理装置400中的图像获取模块401来实施。该图像获取模块401还可以对初始医学图像进行预处理。

步骤902，根据经训练的神经网络模型对初始医学图像进行分割，以获取感兴趣的区域。在本实施例中，该步骤由三维图像处理装置400中的分割模块402来实施，所获取的感兴趣的区域为左肾和/或右肾的图像。在本步骤中所采用的经训练的神经网络模型及其训练过程可参考前文中的描述。

步骤903，确定感兴趣区域的体积。在本实施例中，该步骤由三维图像处理装置400中的体积确定模块403来实施，所确定的感兴趣区域的体积具体的为肾脏总体积(TKV)。

步骤903，匹配感兴趣区域的体积与一分级表，根据匹配结果确定感兴趣区域的分级结果。在本实施例中，该步骤由三维图像处理装置400中的分级模块404来实施。具体的，将感兴趣区域的体积与分级表进行匹配的过程包括以对象的感兴趣区域的体积与身高的比值作为纵坐标，以对象的年龄作为横坐标，根据纵坐标和横坐标的值确定在分级表中的位置。该位置所处的位置即表明了基于该感兴趣区域所判断的分级结果。在本实施例中，该感兴趣区域的体积为肾脏总体积，分级结果为多囊肾病的分级结果，包括1A～1E级。

可以理解的是，图9所示的三维医学图像处理方法的流程图也可以应用于其他的三维医学图像，如CT图像、MR图像、医学三维超声图像、IVUS图像等等；该方法也可以应用于来自其他部位的医学图像来进行分级，如人体上其他的器官、骨骼、血管等部位。图9所示的三维医学图像处理方法的流程图不局限于上述的实施例中的应用。

根据图9所示的三维医学图像处理方法，可以提高分割的速率和准确率；将分割和体积测量的结果与一匹配表相匹配，实现了对感兴趣区域的自动分级。

在一实施例中，由图1中所示的计算机设备来执行如图9所示的流程图所表示的三维医学图像处理方法。具体地，是利用一种计算机可读存储介质，其上存储有计算机指令，当计算机指令被处理器102执行时，即执行如图9所示的三维医学图像处理方法。这里的计算机可读存储介质可以是图1所示的计算机100中的只读存储器(ROM)103或随机存取存储器(RAM)104。

图10是根据本发明一些实施例描述的示例性的神经网络模型的示意图。参考图10所示，以卷积神经网络(CNN)模型为例，一个CNN模型可以包括输入层1020、多个隐藏层1040和输出层1060。多个隐藏层1040可以包括一个或多个卷积层、一个或多个修正线性单元层(ReLU层)、一个或多个池化层、一个或多个完全连接层、或类似物，或其组合。

为了说明的目的，示出了CNN模型的多个示例性隐藏层1040，其包括卷积层1040-1、池化层1040-2和完全连接层1040-N。结合图3所示，神经网络训练单元340可以获取图像信息作为CNN模型的输入。图像信息可以表示为包括多个元素(例如像素或体素)的二维(2D)或三维(3D)矩阵。矩阵中的多个元素中的每一个可以具有表示元素的特征的值。

卷积层1040-1可以包括多个内核(例如A，B，C和D)。可以使用该多个内核来提取图像信息的特征。在一些实施例中，多个内核中的每一个可以对图像信息的一部分(例如区域)进行滤波，以产生对应于图像信息的该部分的特定特征。该特征可以包括基于内核计算的低级别特征(例如边缘特征、纹理特征)，高级别特征或复杂特征。

池化层1040-2可以将卷积层1040-1的输出作为输入。池化层1040-2可以包括多个池化节点(例如E，F，G和H)。可以使用该多个池化节点对卷积层1040-1的输出进行采样，并且因此可以减少计算机100的数据处理的计算负担并且增加数据处理速度。在一些实施例中，神经网络训练单元340可以减小对应于池化层1040-2中的图像信息的矩阵的规模。

完全连接层1040-N可以包括多个神经元(例如O，P，M和N)。该多个神经元可以连接到来自诸如池化层的先前层的多个节点。在完全连接的层1040-N中，神经网络训练单元340可以基于图像信息的特征来确定与多个神经元相对应的多个向量，并且用多个加权系数进一步加权该多个向量。

在输出层1060中，神经网络训练单元340可以基于完全连接层1040获得的多个向量和权重系数确定输出，例如第二图像信息。

在一些实施例中，神经网络训练单元340可以访问计算机100中的多个处理单元，例如GPU。多个处理单元可以执行CNN模型的某些层中的并行处理。可以以这样的方式执行并行处理，即可以将CNN模型的层中的不同节点的计算分配给两个或更多个处理单元。例如，一个GPU可以运行与内核A和B相对应的计算，另一个(或多个)GPU可以运行卷积层1040-1中与内核C和D相对应的计算。类似地，对应于CNN模型中其他类型层中的不同节点的计算可以由多个GPU并行执行。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本发明的限定。虽然此处并没有明确说明，本领域技术人员可能会对本发明进行各种修改、改进和修正。该类修改、改进和修正在本发明中被建议，所以该类修改、改进、修正仍属于本发明示范实施例的精神和范围。

同时，本发明使用了特定词语来描述本发明的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本发明至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本发明的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本发明的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本发明的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本发明的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

本发明各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本发明所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本发明流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本发明实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本发明披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本发明一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本发明的权利要求书的范围内。

Claims (10)

1.一种三维医学图像处理装置，所述三维医学图像处理装置包括：

图像获取模块，获取初始医学图像；

分割模块，所述分割模块根据经训练的神经网络模型对所述初始医学图像进行分割，以获取感兴趣的区域；

体积确定模块，所述体积确定模块确定所述感兴趣区域的体积；

分级模块，所述分级模块匹配所述感兴趣区域的体积与分级表，根据匹配结果确定所述感兴趣区域的分级结果。

2.根据权利要求1所述的三维医学图像处理装置，其特征在于，所述图像获取模块还对所述医学图像进行预处理，所述预处理包括对所述医学图像进行重采样和归一化。

3.根据权利要求1所述的三维医学图像处理装置，其特征在于，所述神经网络模型为卷积神经网络。

4.根据权利要求1所述的三维医学图像处理装置，其特征在于，所述体积确定模块获取所述感兴趣的区域的体素数量，并根据所述体素数量和图像分辨率确定所述感兴趣区域的体积。

5.根据权利要求1所述的三维医学图像处理装置，其特征在于，所述感兴趣的区域为肾脏，所述感兴趣区域的体积为肾脏总体积。

6.根据权利要求1所述的三维医学图像处理装置，其特征在于，所述分级模块匹配所述感兴趣区域的体积与分级表的步骤包括：以对象的所述感兴趣区域的体积与身高的比值作为纵坐标，以对象的年龄作为横坐标，根据所述纵坐标和所述横坐标的值确定在所述分级表中的位置。

7.根据权利要求1所述的三维医学图像处理装置，其特征在于，所述三维医学图像为核磁共振图像或计算机断层扫描图像。

8.一种三维医学图像处理方法，所述三维医学图像处理方法包括：

获取初始医学图像；

根据经训练的神经网络模型对所述初始医学图像进行分割，以获取感兴趣的区域；

确定所述感兴趣区域的体积；

匹配所述感兴趣区域的体积与分级表，根据匹配结果确定所述感兴趣区域的分级结果。

9.根据权利要求8所述的三维医学图像处理方法，其特征在于，所述匹配所述感兴趣区域的体积与分级表的步骤包括：以对象的所述感兴趣区域的体积与身高的比值作为纵坐标，以对象的年龄作为横坐标，根据所述纵坐标和所述横坐标的值确定在所述分级表中的位置。

10.一种计算机可读存储介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如权利要求8或9所述的方法。