CN110970117B - 一种基于二值骨架图的冠状动脉造影数据集存储方法 - Google Patents

Abstract

本发明提供了一种基于二值骨架图的冠状动脉造影数据集存储方法，包括：根据二值骨架图中像素点定义其坐标偏移量，获得二值骨架图的位置标签信息；定义节点类；将二值骨架图的信息通过节点类进行存储，以节点类的根节点为起点，通过遍历二值骨架图紧邻四周是否存在血管像素，不断更新血管像素点之间的位置关系，使血管像素点之间通过位置标签建立联系，得到一个存储所有血管像素信息的节点列表；将节点列表作为下一步网络的学习输入，从而进行学习预测。本发明能够显著节省用于存储神经网络训练数据集的空间，可以将训练集图片按照像素点间的位置结构关系进行存储，从而节省内存，同时也方便神经网络的数据读取。

Description

一种基于二值骨架图的冠状动脉造影数据集存储方法

技术领域

本发明属于深度学习技术领域，尤其涉及一种基于二值骨架图的冠状动脉造影数据集存储方法。

背景技术

近年来，中国心血管病的报告显示，心血管病的死亡率居首位，高于肿瘤以及其他疾病，占居民疾病死亡构成的40％以上。其中，慢性完全闭塞(Chronic Total Occlusion,CTO)病变——冠脉造影中血管的狭窄程度为100％或者几乎达到100％的病变。通常指闭塞时间大于等于3个月。这类病变事目前临床上较为棘手的一类心血管疾病，因为很多CTO病变患者并没有明显的临床症状，因而也未进行冠状动脉造影检查，然而一经发现便是已经发展成为较为严重的程度。

将深度学习与生物医学相结合是当下的热门研究方向。尤其在医疗辅助诊疗方面有着较好的表现。在CTO病变中，能够在术前预测出血管的延伸趋势，这对手术过程中导丝的切入有着极大的帮助作用。我们希望可以训练一个神经网络可以通过残缺闭塞的血管，补全术后完整的血管。预测过程以及预测方法就显得尤为重要。

目前，许多诊断程序都涉及为每个患者生成数百甚至数千张图像的过程，这些图像或许需要构建2D或3D图像重建，以冠状动脉造影为例，同时需要时间帧图像数据集。同时在临床上，诊断工具的应用使医生能够追踪冠状动脉的循环情况，使用冠状动脉造影设备对患者进行的一次扫描可以包含几千张图像，以覆盖整个必要的冠状动脉范围。考虑到每位患者使用的DICOM格式和造影过程的多步骤测量，冠脉图像数据集的大小约在10GB以上，这被认为是大型成像系统。

如果神经网络可以像大脑神经系统一样进行分析预测，就需要使用大量的数据进行网络训练。图片作为构成数据集的主要组成元素，存储以及读取数据集就是开始网络训练的首要任务，同时也是极为重要的步骤。对于通过处理得到的造影血管骨架图，是一种背景为黑色，血管为白色的二值图，网络通过学习每一个白色像素点与其相邻像素点的位置关系，从而对血管走势进行预测。

然而，常见的图像压缩技术仅对单个图像数据起作用，并且无法优化像冠状动脉造影成像这样的数据集中的图像序列。而且如今一些技术也是有损的，这意味着图像中包含的某些信息有可能在压缩过程中被删除。由于在医疗影像领域中，所有的信息都被认为是有价值的，因此有损压缩的存储方式在医学图像中通常是不需要的。

现有技术中利用二值图片存储信息，虽然直观形象，但所占内存较大。对于一个神经网络而言，占用内存和运行速度是一项重要的衡量指标。现有的技术不能够快速获取图片信息，节省内存。

发明内容

为了解决上述技术问题，本发明提出了一种基于二值骨架图的冠状动脉造影数据集存储方法，该方法能够显著节省用于存储神经网络训练数据集的空间，该存储方法可以将训练集图片按照像素点间的位置结构关系进行存储，从而节省内存，同时也方便神经网络的数据读取。

本发明通过以下技术方案来具体实现：

本发明提供了一种基于二值骨架图的冠状动脉造影数据集存储方法，包括：

步骤一、基于生成对抗网络(cGAN)，将从医院获得的冠状动脉造影图片的原始数据处理为血管二值分割图，再将血管二值分割图处理为二值骨架图；根据二值骨架图中像素点定义其坐标偏移量，基于坐标偏移量获得二值骨架图的位置标签信息；

步骤二、定义用于存储二值骨架图信息的节点类；

步骤三、将步骤一中得到的二值骨架图的信息通过节点类进行存储，以节点类的根节点为起点，通过遍历二值骨架图紧邻四周是否存在血管像素，不断更新血管像素点之间的位置关系，使血管像素点之间通过位置标签建立联系，最终得到一个存储所有血管像素信息的节点列表；

步骤四、将步骤三得到的节点列表，作为下一步网络的学习输入，网络通过各个像素点之间的关联信息就可以清楚彼此之间的位置关系，从而进行学习预测。

步骤一中，根据二值骨架图中像素点定义其坐标偏移量，基于坐标偏移量获得二值骨架图的位置标签信息，包括：将二值骨架图中的血管用白色像素点表示，背景用黑色像素点表示后，输入网络；网络以数组的形式读取二值骨架图，二值骨架图中的每个像素点都有一一对应的坐标；将白色像素点作为中心点，通过计算与中心点紧邻的八个像素点相对于中心点的坐标偏移量，将坐标偏移量定义为位置标签。

步骤二，具体包括：

用于存储二值骨架图信息的节点类为一个数据结构类，类名为Node，其中包含的信息包括节点的位置坐标Node._x，Node._y；

父节点初始化为空：Node._father＝[]；

子节点列表初始化为空：Node._children＝[]；

子节点数量初始化为0：Node._children_num＝0；

子节点标签列表初始化列表中含有元素8：Node._children_val＝[8]，与父节点相邻的有八个像素点，初始化的数字八表示暂无相邻白色像素点。

步骤三，具体包括：

1)初始化：创建一个空的顺序列表order，用来存放节点；创建一个空的队列列表queue，用来临时存放遍历到的像素节点；创建一个3*3的全零数组visited_map，用来记录该像素是否遍历，若访问过则标记为1，将中心位置初始化为1；

2)获取存储结构体起点的根节点，采用行列逐点扫描遍历，规定第一个遍历到的白色像素点为根节点；

3)从根节点开始，将根节点加入到队列列表queue，开始遍历其周围像素点是否为白色；

4)遍历完父节点的相邻节点后，检查队列列表queue的长度是否大于1，大于1说明遍历到了子节点，则令父节点出队列，加入到顺序列表order；这时队首元素发生了改变，将队首元素作为父节点，重复步骤3)；每次遍历完成后，都会令队列列表queue的第一个元素出队，加入到顺序列表order；当队列列表queue为空时，则表示骨架图中最后一个白色像素点已经遍历完成。

5)所有骨架线上的像素都被创建成为了节点类，顺序列表order中按顺序记录了每一个节点的创建顺序；通过这个带有结构信息的顺序列表可以完整还原出整个骨架图的结构。

其中，3)从根节点开始，将根节点加入到队列列表queue，开始遍历其周围像素点是否为白色，如果周围存在白色像素点时：

更新visited_map(3*3数组)上对应位置的值，将遍历到的像素点初始化为Node节点类，与此同时更新类中的坐标信息和它的父节点信息；

更新父(根)节点(若存在相邻白色像素，则被称为父节点)的关于子节点的信息，包括子节点数量加1，子节点列表中增加新的节点类；

通过计算子节点与父节点之间的坐标的偏移量，根据定义好的位置标签对应方法，确定该子节点的标签，并更新父节点的子节点标签列表；

将访问过的子节点加入到队列列表queue中；如果周围不存在白色像素点，则说明这个节点没有子节点。

本发明的有益效果是：

本发明可以将白色血管像素点信息以数据的形式存储，一方面减少了内存，另一方面保存好的数据可以被网络直接调用，具有普适性。

另一方面，由于本发明具有成本效益，同时是一种创新性的解决方案，且如今将深度学习用于医疗应用的需求越来越高，便捷的数据集存储将面向全球范围内的更广泛的用户和具有专业知识的人们，使分析人员可以随时随地通过任何设备访问患者数据集。

相比于其他存储信息的方法，本发明不但将血管像素点的信息进行了记录，包括坐标位置，与之相邻的像素，以及相邻像素(子节点)与该像素(父节点)的位置关系，以此类推，子节点也可以作为父节点进行下一次迭代，从而形成一种链表结构。

图像数据的大容量不仅影响数据存储和数据交换，同时不利于计算机视觉领域的研究人员进行数据集的集中管理，因此本发明的主要目的是为医疗图像数据引入一种简单而强大的数据集存储技术，该方法利用训练集图片的像素点间的位置结构关系进行存储，尤其是在冠状动脉成像应用中。我们提出了差异的顺序存储方法，该方法利用了空间和时域中像素的位置结构关系。

通过本方法，只需知道一个血管像素点，就可以推断出完整的血管骨架图。

附图说明

图1所示为本发明应用方法流程示意图。

图2所示为偏移量对应的位置标签示意图。

图3所示为相对位置示意图。

图4所示为二值血管骨架图示意图。

图5所示为存储过程的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

如图1所示，本发明实施例提供了一种基于二值骨架图的冠状动脉造影数据集存储方法，包括：

步骤一、基于生成对抗网络(cGAN)，将从医院获得的冠状动脉造影图片的原始数据处理为血管二值分割图，再将血管二值分割图处理为二值骨架图；根据二值骨架图中像素点定义其坐标偏移量，基于坐标偏移量获得二值骨架图的位置标签信息。

步骤一中，根据二值骨架图中像素点定义其坐标偏移量，基于坐标偏移量获得二值骨架图的位置标签信息，包括：将二值骨架图中的血管用白色像素点表示，背景用黑色像素点表示后，输入网络；网络以数组的形式读取二值骨架图，二值骨架图中的每个像素点都有一一对应的坐标；将白色像素点作为中心点，通过计算与中心点紧邻的八个像素点相对于中心点的坐标偏移量，将坐标偏移量定义为位置标签。

在本发明中，原始冠状动脉造影数据集是冠状动脉造影图片，重点关注冠状动脉血管的形态及走势。为此，通过训练条件生成对抗网络，本发明首先完成了从造影图片到二值骨架图的转变。根据冠状动脉血管二值骨架图中像素点来定义其坐标偏移量，获得像素点的位置标签，在冠状动脉二值骨架图中，血管用白色像素点表示，背景用黑色像素点表示。其次，将二值骨架图输入网络，网络会以数组的形式读取图片，即每个像素点都有一一对应的坐标。将白色像素点作为中心点，通过计算与它紧邻的八个像素点相对于中心点的坐标偏移量(与中心点横纵坐标的差值)定义位置标签，方便记录。图2是偏移量对应的位置标签，图3是相对位置示意图。

步骤二、定义用于存储二值骨架图信息的节点类。具体包括：

用于存储二值骨架图信息的节点类为一个数据结构类，类名为Node，其中包含的信息有节点的位置坐标(图片由像素点构成，故可以坐标化)、父节点(初始化为空)、子节点列表(初始化为空)、子节点数量(初始化为0)，子节点标签列表(初始化列表中含有元素8)——表示与当前节点的相对位置。

其中包含的信息包括节点的位置坐标Node._x，Node._y；

父节点初始化为空：Node._father＝[]；

子节点列表初始化为空：Node._children＝[]；

子节点数量初始化为0：Node._children_num＝0；

子节点标签列表初始化列表中含有元素8：Node._children_val＝[8]，与父节点相邻的有八个像素点，分别用数字0-7进行标记，初始化的数字8表示暂无相邻白色像素点。

步骤三、为降低训练神经网络的空间复杂度，将步骤一中得到的二值骨架图的信息通过节点类进行存储，以节点类的根节点为起点，通过遍历二值骨架图紧邻四周是否存在血管像素，不断更新血管像素点之间的位置关系，使血管像素点之间通过位置标签建立联系，最终得到一个存储所有血管像素信息的节点列表；图4为本发明应用的二值血管骨架图。

步骤三，具体包括：

1)初始化：创建一个空的顺序列表order，用来存放节点；创建一个空的队列列表queue，用来临时存放遍历到的像素节点；创建一个3*3的全零数组visited_map，用来记录该像素是否遍历，若访问过则标记为1，将中心位置初始化为1；

2)获取存储结构体起点的根节点，采用行列逐点扫描遍历，规定第一个遍历到的白色像素点为根节点；

3)从根节点开始，将根节点加入到队列列表queue，开始遍历其周围像素点是否为白色；

4)遍历完父节点的相邻节点后，检查队列列表queue的长度是否大于1，大于1说明遍历到了子节点，则令父节点出队列，加入到顺序列表order；这时队首元素发生了改变，将队首元素作为父节点，重复步骤3)；每次遍历完成后，都会令队列列表queue的第一个元素出队，加入到顺序列表order；当队列列表queue为空时，则表示骨架图中最后一个白色像素点已经遍历完成。

5)所有骨架线上的像素都被创建成为了节点类，顺序列表order中按顺序记录了每一个节点的创建顺序；通过这个带有结构信息的顺序列表可以完整还原出整个骨架图的结构。

其中，3)从根节点开始，将根节点加入到队列列表queue，开始遍历其周围像素点是否为白色，如果周围存在白色像素点时：

更新visited_map(3*3数组)上对应位置的值，将遍历到的像素点初始化为Node节点类，与此同时更新类中的坐标信息和它的父节点信息；

更新父(根)节点(若存在相邻白色像素，则被称为父节点)的关于子节点的信息，包括子节点数量加1，子节点列表中增加新的节点类；

通过计算子节点与父节点之间的坐标的偏移量，根据定义好的位置标签对应方法，确定该子节点的标签，并更新父节点的子节点标签列表；

将访问过的子节点加入到队列列表queue中；如果周围不存在白色像素点，则说明这个节点没有子节点。图5为步骤三对应的存储过程示意图。

步骤四、将步骤三得到的节点列表，作为下一步网络的学习输入，网络通过各个像素点之间的关联信息就可以清楚彼此之间的位置关系，从而进行学习预测。

一具体应用例子：

在预测血管走势的神经网络中，若未应用本发明方法，输入数据是连续的二值血管骨架图(背景用黑色表示，血管用白色表示)，即后一张图片在前一张相邻图片的基础上进行血管的向后延伸。这种方法，使得网络须对每一张图片进行有用信息的提取，十分浪费时间，同时由于存储图片数据会占用很多空间，因此浪费了很多空间。在应用本发明方法后，输入数据是一张完整的二值血管骨架图以及其对应的不完整二值血管骨架图。在完整的二值血管骨架图上应用本发明方法，具体应用方法如下：

1、输入完整二值血管骨架图，网络在读取图片数据的时候，会将其转换为数组形式，图片中的每一个像素点一一对应一个位置坐标；

2、对已经转变为数组格式的图片，采取循环遍历的方法，判断遍历位置的像素值是否为(255，255，255)，即白色。如果判断条件成立，则将该像素点定义为根节点，节点包含的信息包括节点的位置坐标Node._x，Node._y(图片由像素点构成，故可以坐标化)、父节点Node._father＝[](初始化为空)、子节点列表Node._children＝[](初始化为空)、子节点数量Node._children_num＝0(初始化为0)，子节点标签列表Node._children_val＝[8](初始化列表中含有元素8)，根节点的横坐标用x表示，纵坐标用y表示，即：

Node._x＝x

Node._y＝y

3、将定义的根节点加入队列中，同时将其作为中心点，依次遍历与其紧邻的像素点。若遍历到像素值为(255，255，255)的紧邻像素点，紧邻像素点的横坐标用x′表示，纵坐标用y′表示。计算横纵坐标偏移量Δx，Δy，计算公式如下：

Δx＝x′-x

Δy＝y′-y

根据表一的定义，可以确定该像素点的位置标签。

4、将标签值(val)加入到父节点(根节点)的标签列表中，同时删除初始化的元素8。将上一步遍历到的白色像素点初始化为节点类，并将其加入到队列中。更新父节点的子节点列表和子节点数量:

Node._children_val.append(val)

del Node._children_val[0]

new_node＝Node()

queue.append(new_node)

Node._children.append(new_node)

Node._children_num＝+1

父节点出队列，加入到顺序列表中:

del queue[0]

order.append(Node)

5、对队首节点进行上述3、4步骤，直到队列为空，则表示已经将二值血管骨架图中白色像素点均已定义为节点类。此时得到的顺序列表则记录了所有血管像素点之间的联系。

6、网络根据得到的顺序列表则可以学习血管的走向趋势，从而进行网络学习参数的更新，调整网络的参数以此能够对不完整的二值血管骨架图进行补全预测。

本发明的有益效果是：

本发明给出了一种基于骨架图的冠脉造影数据集存储方法，包括一个神经网络处理二值骨架的方法流程，利用训练集图片的像素点间的位置结构关系进行存储。通过链表的方式，记录了各个像素点之间的关系，从而将分散的单个像素点结构化，给定任意一个血管像素，便可以得到整个血管的结构图。给出了一个标准化像素点的数据结构。可以使得像素点标准化，更加便于与网络接口的融合。在骨架图中，其实存在很多的冗余信息，例如大面积的黑色背景，而有用信息仅为表示血管的白色像素点。网络需要学习的信息也仅仅是白色像素点之间的位置关系，从而实现预测。通常情况下，冠脉造影图片经过二值化提取到的骨架图(png格式)的尺寸为512*512，也就是说一张图片的像素点总数是262144个，但实际上表示血管的像素点个数通常上在700到900左右，也就是说像素的利用率平均在0.003。而每个像素点对应的像素值由rgb值表示，也就是说所浪费的信息无形中被放大了三倍。训练一个神经网络，需要大量的数据集支持，那么冗余信息所占用的空间是十分庞大的，可学习的信息所占比重太小，这对网络的学习是十分不利的，干扰项过于强大。而通过该方法保存像素点信息，在保证将网络所会用到的信息完整记录的情况下，大大节省了空间。以一个尺寸为512*512的图片举例，所需要的存储空间是279139字节，包含血管像素点773个，用来存储二值图中全部血管像素的列表，大小为6687字节(与血管像素点的个数有关)。随着图片尺寸的增大，图片所占用的内存也会随之增大，但是表示血管的像素点的个数是不会发生变化的，应用此方法，可以有效地节省内存。在用于网路训练时，节省了读取数据的时间。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种基于二值骨架图的冠状动脉造影数据集存储方法，其特征在于，包括：

步骤一、基于生成对抗网络(cGAN)，将从医院获得的冠状动脉造影图片的原始数据处理为血管二值分割图，再将血管二值分割图处理为二值骨架图；根据二值骨架图中像素点定义其坐标偏移量，基于坐标偏移量获得二值骨架图的位置标签信息；

步骤二、定义用于存储二值骨架图信息的节点类；步骤二，具体包括：用于存储二值骨架图信息的节点类为一个数据结构类，类名为Node，其中包含的信息包括节点的位置坐标Node._x，Node._y；父节点初始化为空：Node._father＝[]；子节点列表初始化为空：Node._children＝[]；子节点数量初始化为0：Node._children_num＝0；子节点标签列表初始化列表中含有元素8：Node._children_val＝[8]，与父节点相邻的有八个像素点，初始化的数字八表示暂无相邻白色像素点；

步骤三、将步骤一中得到的二值骨架图的信息通过节点类进行存储，以节点类的根节点为起点，通过遍历二值骨架图紧邻四周是否存在血管像素，不断更新血管像素点之间的位置关系，使血管像素点之间通过位置标签建立联系，最终得到一个存储所有血管像素信息的节点列表；

步骤四、将步骤三得到的节点列表，作为下一步网络的学习输入，网络通过各个像素点之间的关联信息就可以清楚彼此之间的位置关系，从而进行学习预测。

2.如权利要求1所述的方法，其特征在于，步骤一中，根据二值骨架图中像素点定义其坐标偏移量，基于坐标偏移量获得二值骨架图的位置标签信息，包括：

将二值骨架图中的血管用白色像素点表示，背景用黑色像素点表示后，输入网络；

网络以数组的形式读取二值骨架图，二值骨架图中的每个像素点都有一一对应的坐标；

将白色像素点作为中心点，通过计算与中心点紧邻的八个像素点相对于中心点的坐标偏移量，将坐标偏移量定义为位置标签。

3.如权利要求1或2所述的方法，其特征在于，步骤三，具体包括：

1)初始化：创建一个空的顺序列表order，用来存放节点；创建一个空的队列列表queue，用来临时存放遍历到的像素节点；创建一个3*3的全零数组visited_map，用来记录该像素是否遍历，若访问过则标记为1，将中心位置初始化为1；

2)获取存储结构体起点的根节点，采用行列逐点扫描遍历，规定第一个遍历到的白色像素点为根节点；

3)从根节点开始，将根节点加入到队列列表queue，开始遍历其周围像素点是否为白色；

4)遍历完父节点的相邻节点后，检查队列列表queue的长度是否大于1，大于1说明遍历到了子节点，则令父节点出队列，加入到顺序列表order；这时队首元素发生了改变，将队首元素作为父节点，重复步骤3)；每次遍历完成后，都会令队列列表queue的第一个元素出队，加入到顺序列表order；当队列列表queue为空时，则表示骨架图中最后一个白色像素点已经遍历完成；

5)所有骨架线上的像素都被创建成为了节点类，顺序列表order中按顺序记录了每一个节点的创建顺序；通过这个带有结构信息的顺序列表可以完整还原出整个骨架图的结构。

4.如权利要求3所述的方法，其特征在于，3)从根节点开始，将根节点加入到队列列表queue，开始遍历其周围像素点是否为白色，如果周围存在白色像素点时：

更新visited_map上对应位置的值，将遍历到的像素点初始化为Node节点类，与此同时更新类中的坐标信息和它的父节点信息；

更新父节点的关于子节点的信息，包括子节点数量加1，子节点列表中增加新的节点类；相邻白色像素，称为父节点；

通过计算子节点与父节点之间的坐标的偏移量，根据定义好的位置标签对应方法，确定该子节点的标签，并更新父节点的子节点标签列表；

将访问过的子节点加入到队列列表queue中；如果周围不存在白色像素点，则说明这个节点没有子节点。

Images