CN110807778A - 一种迭代式的三维脑空间位置自动计算方法 - Google Patents

Abstract

本发明提供了一种迭代式的三维脑空间位置自动计算方法，涉及图像分割的技术领域。S1，选取一套N个层级的树形组织结构的脑解剖结构命名系统，分别构建每一个层级的脑区知识库，选取一种深度学习网络结构训练得到包含有各层级脑区子预测网络的总预测网络；S2，向总预测网络中输入待处理图像，把原始根节点作为第一个层级，然后对待处理图像逐层级地进行预测分割和精确配准的计算，直到完成所有层级的计算为止，最终得到经过空间定位的输出数据。首先通过子预测网络对待处理图像的脑区进行初步的预测分割，再将脑区知识库与预测分割的结果进行精确配准，对预测分割结果做进一步地修正，逐层级迭代后，又进一步地提升了解剖定位的准确度与精度。

Description

一种迭代式的三维脑空间位置自动计算方法

技术领域

本发明涉及图像分割的技术领域，特别涉及一种迭代式的三维脑空间位置自动计算方法。

背景技术

随着高分辨显微光学成像技术的不断进步，人们得以在微米水平乃至更精细的空间尺度上获取神经元纤维、毛细血管等各种感兴趣的神经图像信息在三维空间中的分布。然而只有明确这些信息到底属于大脑的哪些功能区域，才能将其转化为功能环路、供血关系等有用的神经科学知识。因此在三维空间中进一步实现精细的解剖定位，也就是确定三维图像上不同脑区的边界，已经成为神经科学领域中越来越迫切的需求。

解剖定位通常依赖神经解剖学专家对大脑不同结构单元，也就是脑区的准确人工识别。然而专家经验的习得需要长年的神经解剖学训练，难以复制，因此目前大部分神经科学研究都希望通过自动计算避开这个问题。其中一种方法是通过图像配准方法提供的空间变换关系，将脑图谱包含的解剖分区信息引入到采集的脑图像上，间接实现神经图像信息的解剖定位；另外一些研究则通过深度学习提取不同脑区的图像纹理特征，然后基于学习到的特征，在新的图像上分割出各个脑区的位置，从而实现解剖定位。

因此，现有技术中基于自动计算的解剖定位方法，主要分为图像配准和图像分割两类解决方案。然而这两种方法都存在固有的问题。

对于图像配准类型的方案，最大的难点是提升配准精度。传统图像配准方法的精度对于磁共振等宏观尺度的脑图像而言已经足够，但却无法满足空间分辨率更高的显微光学图像的需求。为此，当代前沿的图像配准算法，如大形变微分同胚映射(LargeDeformation Diffeomorphsim Metric Mapping)系列算法，普遍会首先人工绘制海马、前连合等易于识别的脑解剖结构的边界，然后将这些边界所囊括的封闭区域作为区域特征引入配准计算，相比于仅依赖图像灰度信息的原始版本算法，有效地提升了配准精度。然而，引入区域特征对配准精度的提升是存在天花板的，其上限就是区域特征本身的空间精度：如果手绘的脑区本身只有百微米每像素的空间分辨率，那么配准精度最多也只能达到这个量级；想要继续提升配准精度，就只有继续手动绘制更精细脑区的边界。但对于大多数研究者而言，受限于神经解剖学训练，其能够准确识别的脑区数量是极为有限的，这也造成基于图像配准的空间定位方法，往往只能达到百微米每像素的空间精度，很难再有进一步的提升。

对于图像分割类型的方案，目前的技术困难有两点。第一个难点是准确地找到目标脑区的真实位置。近年来已有一些研究基于深度学习方法构建了针对不同脑区的预测网络。然而这类网络无法编码不同脑区之间的空间相邻拓扑关系信息，因此其预测结果往往碎片状地散布在全脑各个地方：这些碎片中既包含真实的目标脑区，也包含更多的假阳性结果。在缺乏脑区位置先验知识的情况下，无法从这些候选区域中筛选出正确的目标区域。第二个难点是准确描绘出目标脑区的完整形态。在真实情况下，绝大部分脑区在图像上都呈现为完整、连续的封闭区域，而预测网络识别出的则通常会是破碎、间断的不完整区域，这个现象主要是由预测结果中大量的假阴性“空洞”造成的。

综上所述，目前主流的两种基于自动计算的解剖定位方法，分别在精度和准确度上存在难以克服的问题，造成脑功能环路、血管网络等信息的定位精度无法在现有基础上进一步提升，严重制约了介观水平的神经科学研究。

发明内容

本发明的目的是提供一种迭代式的三维脑空间位置自动计算方法，以解决显微光学成像技术中基于自动计算的解剖定位在精度与准确度上存在缺陷的问题。

包括如下步骤：

S1，选取一套遵从解剖学从属组织关系且呈N个层级的树形组织结构的脑解剖结构命名系统，以层级为单位，分别构建每一个层级的脑区知识库，选取一种深度学习网络结构训练得到总预测网络，所述总预测网络中包含有各层级脑区的子预测网络；

S2，向总预测网络中输入待处理图像，把脑解剖结构命名系统的原始根节点作为第一个层级，然后对待处理图像逐层级地通过子预测网络进行预测分割、通过脑区知识库进行精确配准，遍历所有层级，最终得到经过空间定位的输出数据。

上述技术方案中，以层级为单位构建的脑区知识库中包含了完整的全脑脑区空间相邻拓扑关系信息；在计算过程中，首先通过训练构造的子预测网络对待处理图像的脑区进行初步的预测分割，再将构建的脑区知识库与分割后的结果进行精确配准，从而将脑区知识库中包含的脑区空间相邻拓扑关系信息引入到预测分割的结果上，对自动进行的预测分割结果做进一步地修正，去除了误检区域和漏检区域。且整个预测分割、精确配准依照脑解剖结构命名系统的层级来进行逐层地迭代，依照解剖学上的从属组织关系，逐层级地提升了解剖定位的精度，与现有技术相比，极大地提升了解剖定位的准确度与精度。

进一步地，单层级地进行预测分割和精确配准的具体方式为：

S201，预测分割：确定当前处理层级的初始搜索范围，通过当前处理层级的子预测网络在初始搜索范围内对当前处理层级包含的所有脑区开展预测，得到三维预测数据集；

S202，精确配准：将当前处理层级所对应的脑区知识库非线性配准到三维预测数据集上，得到当前处理层级的解剖定位数据以及当前处理层级的空间变换关系；

当前处理层级为原始根节点时，初始搜索范围为待处理图像的整个边界；

当前处理层级不是原始根节点时，初始搜索范围通过上一层级的空间变换关系获得。

上述技术方案中，在单个层级内进行计算时，先通过在子预测网络内进行预测，得到的预测分割结果中各个脑区之间会出现散点、空洞等较大地误差，此时，再把包含有脑区空间相邻拓扑关系信息的脑区知识库与预测分割的结果进行配准，可以把预测结果转换为边界光滑、没有空洞的解剖定位数据，从而实现对当前处理层级内所有脑区的解剖定位并提升了定位精度。而通过精确配准过程中得到的空间变换关系来获得初始搜索范围后，在初始搜索范围内去开展预测能大幅度地降低开展预测过程中产生的运算量，提高预测分割的速度。

进一步地，所述输出数据为所述步骤S202中每一个层级精确配准后保存的解剖定位数据的集合。

进一步地，所述S1中脑区知识库构建的具体方式为：

选取一个标记了各个脑区的三维标准脑图像，按照脑解剖结构命名系统的节点从属关系，把原始根节点作为第一个层级，逐层级地归并各个层级的三维脑区数据，归并后，每个层级都对应一套三维脑区数据，该三维脑区数据作为当前层级的脑区知识库。

上述技术方案中，归并每一个层级内的三维脑区数据由于是在三维空间中对标记了各个脑区的三维标准脑图像直接进行，因此，得到的脑区边界更加光滑，脑区知识库中则可以包含全脑脑区空间相邻拓扑关系信息，为后续的修正配准所使用。

进一步地，在每一个层级的所述知识库中，层级内的不同脑区通过标记不同的灰度值来呈现。

进一步地，所述S1中总预测网络的具体获得方式为：

向深度学习网络结构中输入训练集，设置待学习特征数量、优化器和学习停止条件，从原始根节点开始逐层级地对每一个层级分别开展训练，得到包含有各层级子预测网络的总预测网络。

进一步地，所述训练集的具体构建方式为：

S101，选取一套微米分辨三维全脑图像数据集，沿厚度方向等间隔选取若干二维图像，交互式标记所有二维图像上的各脑区，获得金标准图像集；

S102，遍历金标准图像集上的所有像素点，以各个脑区包含的像素点为中心构造每个脑区的正例局部图像集，同时从金标准图像上不属于任何脑区的背景区域挑选出像素点，构造反例局部图像集，以正例局部图像集和反例局部图像集构造训练集。

进一步地，当前处理层级不是原始根节点时，初始搜索范围的具体获得方式为：将上一处理层级精确配准过程中得到的空间变换关系应用到当前处理层级的脑区知识库上，并使用形态学膨胀操作扩充脑区知识库中每个脑区的边界，然后将边界信息映射到待处理图像上，从而确定了当前处理层级的初始搜索范围。

进一步地，所述S201的具体方式为：

S2011，找到当前处理层级所对应的脑区知识库，确定待处理图像中当前处理层级的初始搜索范围；

S2012，找到当前处理层级所对应的子预测网络，遍历待处理图像沿厚度方向的所有二维切面，通过找到的子预测网络在各个切面上的初始搜索范围内对当前处理层级包含的所有脑区开展预测，得到当前处理层级在所有二维切面上的预测结果；

S2013，将当前处理层级在所有二维切面上的预测结果进行重建，得到三维预测数据集。

进一步地，向总预测网络中输入的待处理图像为三维图像数据，且与所述S101中选取的微米分辨三维全脑图像数据集的空间分辨率、成像范围一致。

附图说明

图1为本发明中脑解剖结构命名系统的示意图；

图2为本发明中预测分割和精确配准的逐层级迭代流程示意图；

图3为本发明中预测分割和精确配准的单层级处理流程示意图。

具体实施方式

为了使本发明要解决的技术问题、技术方案及有益效果更为清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解此处描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1和图2，为本实施例公开了一种迭代式的三维脑空间位置自动计算方法，包括如下步骤：

S1，神经解剖知识封装：

S100，选取一套神经科学领域得到广泛认可的脑解剖结构命名系统，该脑解剖结构命名系统呈树形组织结构、层级为N，从原始根节点到各个分支的所有子节点，严格按照解剖学上的从属关系组织，从原始根节点开始，记每一层级为Li，i＝1，2，…，N。

选取一个标记了各个脑区的三维标准脑图像，按照脑解剖结构命名系统的节点从属关系，把原始根节点作为第一个层级，逐层级地归并各个层级的三维脑区数据。通过步骤S101归并后，每一个层级都对应一套的三维图像数据，该三维图像数据作为当前层级的脑区知识库。在当前层级的脑区知识库中，当前层级的各个脑区通过标记的特定灰度值覆盖的三维空间范围来呈现，经过了归并整理的三维图像数据，包含了空间中全脑完整的脑区空间相邻拓扑关系知识。

S101，选取一套微米分辨三维全脑图像数据集，沿厚度方向等间隔选取若干二维图像，交互式标记所有二维图像上的各个脑区，获取金标准图像集。

S102，遍历金标准图像集上的所有像素点，以各个脑区包含的像素点为中心构造每个脑区的正例局部图像，同时从金标准图像上不属于任何脑区的背景区域挑选出像素点，构造反例局部图像，以正例局部图像和反例局部图像构造训练集。

S103，选取一种可用于多目标分类的深度学习网络结构，向其中输入训练集，设置待学习特征数量、优化器和学习停止条件，从原始根节点开始，逐层级地对每一个层级分别开展训练，学习训练后得到包含有各层级子预测网络的总预测网络。

参照图2和图3，S2，迭代分割、配准：

S200，输入待处理图像，待处理图像为三维图像数据，且空间分辨率、成像范围等参数与步骤S101中选取的微米分辨三维全脑图像数据集一致。从步骤S1的脑解剖结构命名系统的根节点L1开始对待处理图像逐层级地进行预测分割和精确配准，遍历所有层级，最终得到经过了空间定位的输出数据。

其中，单层级地进行预测分割和精确配准的具体方式为：

S201，预测分割：确定当前处理层级的初始搜索范围，通过当前处理层级的子预测网络在初始搜索范围内对当前处理层级包含的所有脑区开展预测，得到三维预测数据集；

S202，精确配准：将当前处理层级所对应的脑区知识库非线性配准到三维预测数据集上，得到当前处理层级的解剖定位数据以及当前处理层级的空间变换关系；

当前处理层级为原始根节点时，初始搜索范围为待处理图像的整个边界；

当前处理层级不是原始根节点时，初始搜索范围通过上一层级的空间变换关系获得，具体获得方式为：将上一处理层级精确配准过程中得到的空间变换关系应用到当前处理层级的脑区知识库上，并使用形态学膨胀操作扩充脑区知识库中每个脑区的边界，然后将边界信息映射到待处理图像上，从而确定了当前处理层级的初始搜索范围。初始搜索范围的引入使得开展预测能在更小的范围内进行，缩小处理量，加快预测速度。

在单个层级内进行计算时，先通过在子预测网络内进行预测，得到的预测分割结果中各个脑区之间会出现散点、空洞等较大地误差，此时，再把包含有脑区空间相邻拓扑关系信息的脑区知识库与预测分割的结果进行配准，可以把预测结果转换为边界光滑、没有空洞的解剖定位数据，从而实现对当前处理层级内所有脑区的解剖定位并提升了定位精度。

其中，S201具体为：

S2011，找到当前处理层级所对应的脑区知识库，确定待处理图像中当前处理层级的初始搜索范围。

S2012，找到当前处理层级所对应的子预测网络，遍历待处理图像沿厚度方向的所有二维切面，通过找到的子预测网络在各个切面上的初始搜索范围内对当前处理层级包含的所有脑区开展预测，得到当前处理层级在所有二维切面上的预测结果；

S2013，将当前处理层级在所有二维切面上的预测结果进行重建，得到三维预测数据集。

S202具体为：

S2021，在脑解剖结构命名系统中找到当前处理层级对应的脑区知识库。

S2022，使用非线性配准算法，将找到的脑区知识库映射到步骤S2013得到的三维预测数据集上，得到当前处理层级的解剖定位数据；

S2023，对当前处理层级的解剖定位数据进行保存。

逐层级完成所有层级的预测分割和精确配准后，得到的输出数据即为所有层级解剖定位数据的集合。

以上仅为本发明的若干个优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种迭代式的三维脑空间位置自动计算方法，其特征在于，包括如下步骤：

S1，选取一套遵从解剖学从属组织关系且呈N个层级的树形组织结构的脑解剖结构命名系统，以层级为单位，分别构建每一个层级的脑区知识库，选取一种深度学习网络结构训练得到总预测网络，所述总预测网络中包含有各层级脑区的子预测网络；

S2，向总预测网络中输入待处理图像，把脑解剖结构命名系统的原始根节点作为第一个层级，然后对待处理图像逐层级地通过子预测网络进行预测分割、通过脑区知识库进行精确配准，遍历所有层级，最终得到经过空间定位的输出数据。

2.根据权利要求1所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，单层级地进行预测分割和精确配准的具体方式为：

S201，预测分割：确定当前处理层级的初始搜索范围，通过当前处理层级的子预测网络在初始搜索范围内对当前处理层级包含的所有脑区开展预测，得到三维预测数据集；

S202，精确配准：将当前处理层级所对应的脑区知识库非线性配准到三维预测数据集上，得到当前处理层级的解剖定位数据以及当前处理层级的空间变换关系；

当前处理层级为原始根节点时，初始搜索范围为待处理图像的整个边界；

当前处理层级不是原始根节点时，初始搜索范围通过上一层级的空间变换关系获得。

3.根据权利要求2所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，所述输出数据为所述S202中每一个层级精确配准后得到的解剖定位数据的集合。

4.根据权利要求1所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，所述S1中脑区知识库构建的具体方式为：

选取一个标记了各个脑区的三维标准脑图像，按照脑解剖结构命名系统的节点从属关系，把原始根节点作为第一个层级，逐层级地归并各个层级的三维脑区数据，归并后，每个层级都对应一套三维脑区数据，该三维脑区数据作为当前层级的脑区知识库。

5.根据权利要求4所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，在每一个层级的所述知识库中，层级内的不同脑区通过标记不同的灰度值来呈现。

6.根据权利要求1所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，所述S1中总预测网络的具体获得方式为：

向深度学习网络结构中输入训练集，设置待学习特征数量、优化器和学习停止条件，从原始根节点开始逐层级地对每一个层级分别开展训练，得到包含有各层级子预测网络的总预测网络。

7.根据权利要求6所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，所述训练集的具体构建方式为：

S101，选取一套微米分辨三维全脑图像数据集，沿厚度方向等间隔选取若干二维图像，交互式标记所有二维图像上的各脑区，获得金标准图像集；

S102，遍历金标准图像集上的所有像素点，以各个脑区包含的像素点为中心构造每个脑区的正例局部图像集，同时从金标准图像上不属于任何脑区的背景区域挑选出像素点，构造反例局部图像集，以正例局部图像集和反例局部图像集构造训练集。

8.根据权利要求2所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，当前处理层级不是原始根节点时，初始搜索范围的具体获得方式为：将上一处理层级精确配准过程中得到的空间变换关系应用到当前处理层级的脑区知识库上，并使用形态学膨胀操作扩充脑区知识库中每个脑区的边界，然后将边界信息映射到待处理图像上，从而确定了当前处理层级的初始搜索范围。

9.根据权利要求8所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，所述S201的具体方式为：

S2011，找到当前处理层级所对应的脑区知识库，确定待处理图像中当前处理层级的初始搜索范围；

S2012，找到当前处理层级所对应的子预测网络，遍历待处理图像沿厚度方向的所有二维切面，通过找到的子预测网络在各个切面上的初始搜索范围内对当前处理层级包含的所有脑区开展预测，得到当前处理层级在所有二维切面上的预测结果；

S2013，将当前处理层级在所有二维切面上的预测结果进行重建，得到三维预测数据集。

10.根据权利要求7所述的一种迭代式的三维脑空间位置自动计算方法，其特征在于，向总预测网络中输入的待处理图像为三维图像数据，且与所述S101中选取的微米分辨三维全脑图像数据集的空间分辨率、成像范围一致。

Images