CN107945176A - 一种彩色ivoct成像方法 - Google Patents
一种彩色ivoct成像方法 Download PDFInfo
- Publication number
- CN107945176A CN107945176A CN201711354766.XA CN201711354766A CN107945176A CN 107945176 A CN107945176 A CN 107945176A CN 201711354766 A CN201711354766 A CN 201711354766A CN 107945176 A CN107945176 A CN 107945176A
- Authority
- CN
- China
- Prior art keywords
- ivoct
- image
- color
- tissue type
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 57
- 230000003902 lesion Effects 0.000 claims description 43
- 238000010586 diagram Methods 0.000 claims description 41
- 230000011218 segmentation Effects 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000010186 staining Methods 0.000 claims description 23
- 230000007704 transition Effects 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 12
- 210000004204 blood vessel Anatomy 0.000 claims description 11
- 230000002526 effect on cardiovascular system Effects 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 7
- 238000004043 dyeing Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 15
- 230000008520 organization Effects 0.000 abstract description 8
- 230000001575 pathological effect Effects 0.000 abstract description 6
- 210000001519 tissue Anatomy 0.000 description 157
- 230000010339 dilation Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 150000002632 lipids Chemical class 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 231100001011 cardiovascular lesion Toxicity 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009967 direct dyeing Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种彩色IVOCT成像方法，其中，所述方法包括：步骤1、对目标IVOCT图像中的病变组织进行分类，获取每一种组织类型的结构图；步骤2、对所述结构图进行染色，获取所述目标IVOCT图像的彩色IVOCT图像，所述彩色IVOCT图像中以不同颜色指示不同组织类型。本发明实施例中，通过分类后的组织类型的结构二值图，对目标IVOCT图像进行分割，获取含有组织细节的组织图像，然后对含有组织细节和纹理的组织图像赋予不同的三原色系数，以更好地呈现该组织类型结构，解决了现有技术中，直接对分类后的二值图进行染色，导致组织类型的结构细节被覆盖的技术问题。
Description
技术领域
本发明属于医学图像处理领域和医学检测技术领域，具体涉及一种彩色IVOCT成像方法。
背景技术
正常的动脉具有由内膜、中膜和外膜构成的均匀层状结构，但当血管发生病变时，血管内则会包含不同类型组织，因此，需要对该些不同组织进行分类和检测，为了更好地向使用者提供直观视图，在实际应用中，常常需要将病变血管中的多种病变组织显示在一张图像中。
为了在图像中区别不同的病变组织，目前现有技术是对不同病变组织进行分类后用不同颜色表示，或用不同候选框圈出，但用不同颜色表示会覆盖组织本身的细节特点，而候选框则无法非常明确的体现出不同类别的组织结构，导致显示效果较差，不利于使用者从病变组织图像中获取有用信息。
因此，设计一种能够清楚显示病变组织结构细节和纹路的图像成像方法是本领域的热点研究话题。
发明内容
针对以上存在的问题，本发明提出了一种彩色IVOCT成像方法，具体的实施方式如下。
本发明提供一种彩色IVOCT成像方法，其中，所述方法包括：
步骤1、对目标IVOCT图像中的病变组织进行分类，获取每一种组织类型的结构图；
步骤2、对所述结构图进行染色，获取所述目标IVOCT图像的彩色IVOCT图像，所述彩色IVOCT图像中以不同颜色指示不同组织类型。
在本发明的一个实施例中，所述步骤1包括：
步骤11、获取多张已标记的IVOCT图像；
步骤12、对多张所述已标记的IVOCT图像进行扩充以获取多个样本，将所述多个样本分为训练样本集和测试样本集；
步骤13、设计卷积神经网络，所述卷积神经网络具有一个收缩路径和两个扩张路径；
步骤14、利用所述训练样本集对所述卷积神经网络进行训练，以获取CNN模型；
步骤15、将所述测试样本集输入所述CNN模型，计算分类正确率；
步骤16、将所述目标IVOCT图像输入到所述CNN模型中，获取所述目标IVOCT图像中每一种组织类型的分割图和边界图；
步骤17、将同一组织类型的所述分割图和所述边界图进行叠加，获取所述组织类型的结构图。
在本发明的一个实施例中，对多张所述已标记的IVOCT图像进行扩充，包括：
对每一张所述已标记的IVOCT图像进行变换，以获取多张变换后的图像，将每一张变换后的图像设为所述多个样本中的一个样本；其中，
所述变换包括剪裁、平移、翻转、旋转、变形和灰度值变化中的一种或者组合。
在本发明的一个实施例中，所述步骤14之前还包括：
根据病变血管包含的组织类型设置训练标签，所述训练标签包括分割标签和边界标签，所述分割标签和所述边界标签均用于对所述卷积神经网络进行训练。
在本发明的一个实施例中，所述病变血管包含的组织类型包括N种，相应地，设置训练标签，包括：
设置N种分割标签和N种边界标签，其中N为大于1的正整数。
在本发明的一个实施例中，所述CNN模型包括输入端、第一输出端和第二输出端；
所述第一输出端用于输出N张分割图；
所述第二输出端用于输出N张边界图；
所述分割图用于显示经过所述输入端输入的心血管IVOCT图像中所包含的组织类型的结构；所述边界图用于显示经过所述输入端输入的心血管IVOCT图像中所包含的组织类型的轮廓；
其中，所述分割图和所述边界图均为二值图。
在本发明的一个实施例中，所述步骤2包括：
步骤21、分别将已获取的所述每一种组织类型的结构图与所述目标IVOCT图像的像素进行点乘，以将所述目标IVOCT图像按照所述组织类型的结构图进行分割，获取每一组织类型的过度图；
步骤22、分别将每一组织类型的所述过度图的像素值与预设的三原色系数进行点乘，以使所述过度图染色，不同组织类型的过度图对应不同的三原色系数；
步骤23、将染色后的所述不同组织类型的过度图进行组合，获取所述彩色IVOCT图像。
在本发明的一个实施例中，所述步骤2包括：
步骤21’、分别对已获取的每一种组织类型的结构图设置对应的三原色系数，获取每一组织类型的初步染色图；
步骤22’、将所述初步染色图与所述目标IVOCT图像的像素值进行点乘，获取每一组织类型的结构染色图；
步骤23’、将多种组织类型的结构染色图进行组合，获取所述彩色IVOCT图像。
在本发明的一个实施例中，所述步骤2包括：
步骤21”、分别对已获取的每一种组织类型的结构图设置对应的基础三原色系数矩阵，
步骤22”、将多种组织类型对应的多组所述基础三原色系数矩阵进行叠加，建立汇总三原色系数矩阵；
步骤23”、将所述汇总三原色系数矩阵与所述目标IVOCT图像的像素值进行点乘，获取所述彩色IVOCT图像。
本发明的有益效果为：
1、本发明实施例通过对目标IVOCT图像的病变组织进行分类，由于分类后的每一种组织类型的结构图由该组织类型的分割图和边界图叠加而成，因此，目标IVOCT图像中相邻的两种组织类型的结构和边界能够清楚显示，这样对分类后的组织类型进行染色时，能够避免相邻的两种组织类型的边界模糊，组织结构范围不清晰情况，使得获取的彩色ICOVT图像中所显示的每一种组织类型清楚明确。
2、本发明实施例中，通过分类后的组织类型的结构二值图，对目标IVOCT图像进行分割，获取含有组织细节的组织图像，然后对含有组织细节和纹理的组织图像赋予不同的三原色系数，以更好地呈现该组织类型结构，解决了现有技术中，直接对分类后的二值图进行染色，导致组织类型的结构细节被覆盖的技术问题。
附图说明
图1为本发明实施例提供的彩色IVOCT成像方法的流程图；
图2为本发明实施例提供的卷积神经网络的结构图；
图3为本发明实施例提供的CNN模型的使用虚拟图；
图4(a)为本发明实施例提供的CNN模型的输入端输入的心血管IVOCT图像；
图4(b)为本发明实施例提供的CNN模型的第一输出端输出的组织分割图；
图4(c)为本发明实施例提供的CNN模型的第二输出端输出的组织边界图；
图5(a)为本发明实施例提供的染色后的IVOCT图像；
图5(b)为图5(a)对应的简化结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
实施例一
如图1-图5(b)所示，图1为本发明实施例提供的彩色IVOCT成像方法的流程图；图2为本发明实施例提供的卷积神经网络的结构图；图3为本发明实施例提供的CNN模型的使用虚拟图；图4(a)为本发明实施例提供的CNN模型的输入端输入的心血管IVOCT图像；图4(b)为本发明实施例提供的CNN模型的第一输出端输出的组织分割图；图4(c)为本发明实施例提供的CNN模型的第二输出端输出的组织边界图；图5(a)为本发明实施例提供的染色后的IVOCT图像；图5(b)为图5(a)对应的简化结构示意图。本发明实施例提供彩色IVOCT成像方法，其中，所述方法包括：
步骤1、对目标IVOCT图像中的病变组织进行分类，获取每一种组织类型的结构图；
本发明实施例中，通过特定的病变组织分类，获取病变组织的边界轮廓和内部结构的二值图，使得相邻的两种病变组织边界清晰，为后续的组织染色提供有利条件。具体的组织分类方法如下：
步骤11、获取多张已标记的IVOCT图像；
具体是在临床检测过程中，医务人员对已经获得的IVOCT图像中的各种病变组织进行手动标记和分类，实际上每一张IVOCT图像可能只包括一种、两种病变组织，而并不能包括全部的病变组织类型，因此需要收集多张IVOCT图像，以达到获取全部病变组织结构图的目的。
步骤12、对多张所述已标记的IVOCT图像进行扩充以获取多个样本，将所述多个样本分为训练样本集和测试样本集；
由于医务人员手动标记的图像数量有限，而进行后续网络训练需要大量的训练样本和测试样本，因此需要对已标记的IVOCT图像进行扩充，以增加样本数目，有利于进行网络训练，其中，对多张所述已标记的IVOCT图像进行扩充包括：
对每一张所述已标记的IVOCT图像进行变换，以获取多张变换后的图像，将每一张变换后的图像设为所述多个样本中的一个样本；其中，
所述变换包括剪裁、平移、翻转、旋转、变形和灰度值变化中的一种或者组合。
首先，对每一张已标记的IVOCT图像变形方式有：剪裁，平移，翻转，旋转，变形和灰度值变化等方式，还包括上述方式的多种组合形式，如对图像进行剪裁和平移，剪裁和翻转，剪裁和旋转，剪裁和变形，剪裁和灰度值变化，剪裁、平移和翻转，剪裁、平移和旋转，剪裁、平移和变形，剪裁、平移和灰度值变化，剪裁、平移、翻转和旋转，剪裁、平移、翻转和变形，剪裁、平移、翻转和灰度值变化，剪裁、平移、翻转、旋转和变形，剪裁、平移、翻转、旋转和灰度值变化，剪裁、平移、翻转、旋转、变形和灰度值变化，平移和翻转、平移和旋转等，需要说明的是，剪裁的方式还包括去角、切边、菱形等不同方式，翻转也包括翻转30度、翻转90度等不同情况，由此可知，本发明实施例中可以将一张IVOCT图像扩充为多张图像，这样将一张IVOCT图像扩充为多张图像，实现了对输出图像损失的提前补偿作用，解决了现有技术中输出图像分辨率小，导致图像信息丢失的技术问。通过对一张图像的多种变形输入，保证了输出图像能够完整再现。
其次，将每一张变形后的IVOCT图像设为一个样本，因此可以获得较大数量的多个样本，该些样本构成扩充后的IVOCT图像样本集；然后从该图像样本集中选取一部分作为训练样本集，其余部分作为测试样本集，其中，训练样本用于对分类网络进行训练，而测试样本用于对已经训练好的网络进行测试，判断分类网络的正确率。
步骤13、设计卷积神经网络，所述卷积神经网络具有一个收缩路径和两个扩张路径；
进一步的，如图2所示，本发明实施例需要建立用于对IVOCT图像进行分类的网络，具体是建立一种新的卷积神经网络结构，该卷积神经网络结构具有一个收缩路径和两个扩张路径，
收缩路径是由典型的卷积网络构成，它是一个重复结构：两个重复的卷积(卷积前对图像进行扩充)，并且每一个卷积后跟一个修正线性单元(ReLU)，收缩路径还包括最大值池化操作和步长为2的下采样。每次下采样，特征通道的个数加倍。扩张路径的每一步都会对特征图进行一个的反卷积操作(即上采样)，得到的特征通道个数会减半。在扩张网络中，我们将与扩张路径对应的收缩输出与扩张路径结合起来，再进行两个卷积操作，并且每个卷积后跟一个修正线性单元。将每层收缩输出应用于扩张路径是必须的。因为上采样是通过反卷积实现的，若只是对第5层输出进行4层反卷积，虽然我们能获得与原图同等大小的图片，但是得到的结果不够精细，即对细节部分的分类不够准确。因此在本发明中，我们将每层下采样的输出也进行反卷积操作。由于在IVOCT图像中，不同种类的组织常常是紧挨在一起的，因此第二个输出是为了防止临近的组织连在一起造成误判。
步骤14、利用所述训练样本集对所述卷积神经网络进行训练，以获取CNN模型；
步骤15、将所述测试样本集输入所述CNN模型，计算分类正确率；
具体的，将训练样本集中的图像依次输入到上述建立好的卷积神经网络中，通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式的图像数据，从而建立CNN模型，如图3所示，然而初始的CNN模型输出的预设格式的图像数据与目标文件差别较大，因此需要将训练样本集中大量的图像循环输入到该卷积神经网络中，对CNN模型进行优化，直至CNN模型的输出内容达到期望的程度。需要说明的是，本发明实施例中的目标文件为训练标签，训练标签是通过对病变血管内包含的不同组织类型进行分析得来的。
具体的，训练标签实质为已标记的IVOCT图像中所有的病变组织图像，本发明实施例中，训练标签分为分割标签和边界标签，分割标签用于表示病变组织的结构，边界标签用于表示病变组织的轮廓，在对卷积神经网络进行训练时，分割标签和边界标签用于使卷积神经网络的输出不断地靠近并趋同于分割标签和边界标签的显示内容。
病变血管包含的组织类型包括N种，那么对应每一种病变组织设置一个分割标签和一个边界标签，因此总共需要设定N种分割标签和N种边界标签，也即需要进行分类的组织类型有N种。
就当前医学已知的范畴内，心血管病变中能够确认的病变组织有11种，如：分叉、纤维斑块，钙化斑块，脂质斑块，纤维钙化斑块，纤维粥样硬化斑块，红、白血栓，导丝，导管，薄纤维帽斑块，血管壁，即N取值为11.
需要说明的是，结合实际应用情况，N的取值不限于11种，随着医学技术的发展，发现新的病变组织，那么病变组织的种类会增加，或者结合实际应用，只选取目前已知的多种病变组织的的一部分，例如4种或5种病变组织，对应设置相等数量的训练标签对卷积神经网络进行训练，均为本发明实施例的保护范畴之内。
本发明实施例中，以N取值11为例，从心血管OCT图像中总共分析并确认出11种病变组织，并生成该11种病变组织的的结构图作为11种分割标签，生成11种病变组织的边界图作为11种边界标签。然后输入训练样本集中的图片，对该卷积神经网络进行训练，每次从卷积神经网络的收缩路径输入一张训练图像，然后从其两个扩张路径分别输出11张分割图和11张边界图，该11张分割图对应于11种分割标签，11张边界图对应11种边界标签。具体的，例如：1号分割标签代表病变组织分叉的结构，2号分割标签代表纤维斑块的结构，3号标签代表钙化斑块的结构……以此类推，11号分割标签代表血管壁的结构。1号边界标签代表病变组织分叉的轮廓，2号边界标签代表纤维斑块的轮廓，3号边界代表钙化斑块的轮廓……以此类推，11号边界标签代表血轮廓。那么输出的11张分割图和11张边界图中，1号图则代表输入图像中分叉的结构和轮廓，2号图则代表纤维斑块的结构和轮廓，3号图代表钙化斑块的结构和轮廓……11号图代表血管壁轮廓和结构。网络训练的目的在于将任何输入图像输出为预设格式的图像，而该预设格式的图像即由上述的11种分割标签和11种边界标签确定。通过大量的循环训练，使得输出的预设格式的图像与设置的训练标签不断趋于接近甚至完全相同，达到期望的正确率，此时便形成了优化的CNN模型。
进一步的，在实际应用中，如图3所示，对应与卷积神经网络结构的一个收缩路径，所述CNN模型包括一个输入端；对应于卷积神经网络结构的两个扩张路径，所述CNN模型包括第一输出端和第二输出端；所述第一输出端用于输出N张分割图；所述第二输出端用于输出N张边界图。举例而言：当从输入端输入的心血管IVOCT图像中只包括2种病变组织，例如是4号脂质斑块和10号薄纤维帽斑块，那么对应的CNN模型的第一输出端输出11张分割图，第二输出端输出11张边界图，其中只有4号图和10号图上分别显示有组织结构和组织轮廓，而其余的分割图和边界图上并不显示内容。这是由于输入端输入的心血管IVOCT图像中不包括其他病变组织，因此对应该些组织的分割图和边界图则不显示任何内容。
本发明实施例中，分割图和边界图均为二值图。
步骤16、将所述目标IVOCT图像输入到所述CNN模型中，获取所述目标IVOCT图像中每一种组织类型的分割图和边界图；
已经优化的CNN模型需要通过测试样本对其正确率进行测试，在测试的过程中，从CNN模型的输入端输入目标IVOCT图像，然后从CNN模型的第一输出端输出N张分割图，第二输出端输出N张边界图，然后将输出的分割图和边界图与标准图像进行比较，以确定该CNN模型的可靠性和鲁棒性。
当确认CNN模型处于良好状态时，即可投入使用。如图4(a)至图4(c)所示，将目标IVOCT图像输入，获取输出结果，而输出的分割图和边界图中即对应的病变组织的结构图和轮廓图，从而实现了对病变组织进行人工智能分类。且由于本发明实施例采用两种输出，一方面对不同种类的病变组织进行了区分，而且对不同组织的轮廓进行了确定，避免了相邻的两个病变组织由于紧挨在一起使得边界模糊不可分辨，导致组织结构误判，因此组织分类效果更好。
需要说明的是，在得到分类图和边界图后，为了更直观地向使用者提供病变组织在心血管中的状态，本发明实施例还包括以下内容：
步骤17、将同一组织类型的所述分割图和所述边界图进行叠加，获取所述组织类型的结构图。
具体而言就是，将1号分割图和1号边界图进行叠加，使得血管分叉这一组织的边界和结构均清楚；然后2号分割图和2号边界图进行叠加，以此类推得到每一组织类型的结构图。
步骤2、对所述结构图进行染色，获取所述目标IVOCT图像的彩色IVOCT图像，所述彩色IVOCT图像中以不同颜色指示不同组织类型。
对目标IVOCT图像中的病变组织进行分类之后，进一步对其进行染色，以获得彩色IVOCT图像，本发明实施例提供了3种染色方式，具体如下：
方式一：
步骤21、分别将已获取的所述每一种组织类型的结构图与所述目标IVOCT图像的像素进行点乘，以将所述目标IVOCT图像按照所述组织类型的结构图进行分割，获取每一组织类型的过度图；
由于组织类型的结构图为二值图，即为黑白图像，并不包含组织细节或纹路信息，为了获取组织细节，本发明实施例中需要对原图按照不同组织进行分割，得到含有组织细节的过度图。
具体的，公式(1)Yn＝Y·Xn，其中，Y表示目标IVOCT图像的像素值矩阵，Xn表示每一种组织类型的结构图的像素矩阵，Yn表示从原图中分割出来的带有组织细节或者纹路的过度图的像素值；其中，n小于或等于N，由于一张IVOCT图像中，一般只会包括几种病变组织，而不会包括已发现的全部的病变组织。
二值图的像素为由1和0组成矩阵，与原图像素值矩阵Y点乘后，就可以将原图中对应该组织类型的部分的像素值保留下来，而其余部分全部表示为0，因此能够获取具有组织细节或纹理的过度图。
步骤22、分别将每一组织类型的所述过度图的像素值与预设的三原色系数进行点乘，以使所述过度图染色，不同组织类型的过度图对应不同的三原色系数；
具体的，公式(2)Yn'＝Cat(3,rYn,gYn,bYn)，其中，Cat为拼接函数，3表示的三个维度，r,g,b为预设的三原色系数，利用公式(2)对已获取的具有组织细节和纹理的组织类型的过度图点乘不同的三原色系数，给过度图中的每一个像素值赋予色彩系数，实现组织染色，且不会覆盖组织纹理和细节的目的。解决了现有技术中的染色是实心色块覆盖组织结构，无法观察到详细的组织情况的技术问题。
步骤23、将染色后的所述不同组织类型的过度图进行组合，获取所述彩色IVOCT图像。
如图5(a)-图5(b)所示，每一组织类型在目标IVOCT图像中的位置是不同的，将多张不同组织类型的经染色的过度图组合在一张图像中，即可直观地在一张彩色OCT图像中呈现出病变组织。
方式二：
步骤21’、分别对已获取的每一种组织类型的结构图设置对应的三原色系数，获取每一组织类型的初步染色图；
具体的，先对每一组织类型的结构图进行上色，二值图的像素为由1和0组成矩阵，三原色系数与二值图点乘后，对二值图中具有组织图像的部分进行初步染色，该初步染色其实质是将大的色块覆盖在组织结构图上。
步骤22’、将所述初步染色图与所述目标IVOCT图像的像素值进行点乘，获取每一组织类型的结构染色图；
进一步的，初步染色图中具有组织结构的部分的像素值大于0，并以rgb系数值表示为像素值，而没有组织结构的部分像素值为0，这样当初步染色图与原图像素值点乘时，原图中具有组织结构的部分的像素值为原图像素值与RGB系数(初步染色图中的组织结构的像素值)的乘积，而原图中不具有该组织结构的部分像素值为原图像素值与0(初步染色图中没有该组织结构的部分的像素值)的乘积，其像素值仍表现为0，因此，最终获得了每一组织类型的具有原图中组织细节和纹理的结构染色图。
步骤23’、将多种组织类型的结构染色图进行组合，获取所述彩色IVOCT图像。
每一组织类型的结构染色图组合叠加，如图5(a)-图5(b)所示，最终获取在一张图像中显示多种病变组织的彩色OCT图像。
方式三：
步骤21”、分别对已获取的每一种组织类型的结构图设置对应的基础三原色系数矩阵；
本发明实施例中，对每一组织类型的结构图设置基础三原色系数矩阵，具体的，二值图的像素为由1和0组成矩阵，基础三原色系数矩阵中对应二值图中像素值为1的区域设置rgb系数值，而对应二值图中像素值为0的区域设置rgb系数为0。
目标IVOCT图像中会包括多种病变组织，相应的给每一组织类型设置一个基础三原色矩阵。
例如，病变血管中具有3中病变组织，分别对应三个基础三原色矩阵如下(以系数R为例)：
矩阵1矩阵2矩阵3
步骤22”、将多种组织类型对应的多组所述基础三原色系数矩阵进行叠加，建立汇总三原色系数矩阵；
将多个基础三原色矩阵进行叠加，具体为将上述矩阵1、矩阵2和矩阵3叠加，获得如下的矩阵4，即汇总三原色系数矩阵，由于每一组织类型在原图中的位置不同，对应的，体现在基础三原色矩阵中，不同的基础三原色矩阵中rgb系数值所在的区域也不相同，因此，将多个基础三原色系数矩阵进行叠加，最终构成的汇总三原色系数矩阵中。
矩阵4
需要说明的是，其余的三原色系数中的系数g、系数b的设置方式与系数r的设置方式相同，具体的rgb的数值大小结合实际情况和预期颜色进行设置，本发明实施例给出的数值仅为示例性数值，不具有代表性。
步骤23”、将所述汇总三原色系数矩阵与所述目标IVOCT图像的像素值进行点乘，获取所述彩色IVOCT图像。
如图5(a)-图5(b)所示，将汇总的三原色系数矩阵与原图的像素值进行点乘，由于汇总三原色系数矩阵中，不同区域不同的系数值指示不同的组织类型，因此点乘之后，可直接获得完成染色的彩色IVOCT图像，同时保留了原图中各个组织类型的细节和纹理特征。
需要说明的是，上述的三种方式，均是在前述的组织分类的基础上进行的，前述的组织分类方法中，获得了每一种组织类型的分割图和边界图，然后再讲所述边界图和所述分割图进行叠加，这样获得的组织类型的结构图边界清楚，对该组织类型进行染色时，能够清楚界定出该组织的范围；进一步的，相邻的两种或者多种组织呈现在一张图像上时，组织类型和组织类型之间边界清楚，染色范围明确，避免了晕染情况的发生，为使用者提供准确的组织结构。
进一步的，上述三种方式均对目标IVOCT图像的原图进行分割，以获取原图上的各个组织类型的细节和纹理，这样染色后的图像能够更好地呈现该组织类型的结构，解决了现有技术中，直接对分类后的二值图进行染色，导致组织类型的结构细节被覆盖的技术问题。
综上所述，本文中应用了具体个例对本发明实施例提供的一种彩色IVOCT成像方法的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求书为准。
Claims (9)
1.一种彩色IVOCT成像方法，其特征在于，所述方法包括：
步骤1、对目标IVOCT图像中的病变组织进行分类，获取每一种组织类型的结构图；
步骤2、对所述结构图进行染色，获取所述目标IVOCT图像的彩色IVOCT图像，所述彩色IVOCT图像中以不同颜色指示不同组织类型。
2.根据权利要求1所述的彩色IVOCT成像方法，其特征在于，所述步骤1包括：
步骤11、获取多张已标记的IVOCT图像；
步骤12、对多张所述已标记的IVOCT图像进行扩充以获取多个样本，将所述多个样本分为训练样本集和测试样本集；
步骤13、设计卷积神经网络，所述卷积神经网络具有一个收缩路径和两个扩张路径；
步骤14、利用所述训练样本集对所述卷积神经网络进行训练，以获取CNN模型；
步骤15、将所述测试样本集输入所述CNN模型，计算分类正确率；
步骤16、将所述目标IVOCT图像输入到所述CNN模型中，获取所述目标IVOCT图像中每一种组织类型的分割图和边界图；
步骤17、将同一组织类型的所述分割图和所述边界图进行叠加，获取所述组织类型的结构图。
3.根据权利要求2所述的彩色IVOCT成像方法，其特征在于，对多张所述已标记的IVOCT图像进行扩充，包括：
对每一张所述已标记的IVOCT图像进行变换，以获取多张变换后的图像，将每一张变换后的图像设为所述多个样本中的一个样本；其中，
所述变换包括剪裁、平移、翻转、旋转、变形和灰度值变化中的一种或者组合。
4.根据权利要求3所述的彩色IVOCT成像方法，其特征在于，所述步骤14之前还包括：
根据病变血管包含的组织类型设置训练标签，所述训练标签包括分割标签和边界标签，所述分割标签和所述边界标签均用于对所述卷积神经网络进行训练。
5.根据权利要求4所述的彩色IVOCT成像方法，其特征在于，所述病变血管包含的组织类型包括N种，相应地，设置训练标签，包括：
设置N种分割标签和N种边界标签，其中N为大于1的正整数。
6.根据权利要求5所述的彩色IVOCT成像方法，其特征在于，所述CNN模型包括输入端、第一输出端和第二输出端；
所述第一输出端用于输出N张分割图；
所述第二输出端用于输出N张边界图；
所述分割图用于显示经过所述输入端输入的心血管IVOCT图像中所包含的组织类型的结构；所述边界图用于显示经过所述输入端输入的心血管IVOCT图像中所包含的组织类型的轮廓；
其中，所述分割图和所述边界图均为二值图。
7.根据权利要求2所述的彩色IVOCT成像方法，其特征在于，所述步骤2包括：
步骤21、分别将已获取的所述每一种组织类型的结构图与所述目标IVOCT图像的像素进行点乘，以将所述目标IVOCT图像按照所述组织类型的结构图进行分割，获取每一组织类型的过度图；
步骤22、分别将每一组织类型的所述过度图的像素值与预设的三原色系数进行点乘，以使所述过度图染色，不同组织类型的过度图对应不同的三原色系数；
步骤23、将染色后的所述不同组织类型的过度图进行组合，获取所述彩色IVOCT图像。
8.根据权利要求2所述的彩色IVOCT成像方法，其特征在于，所述步骤2包括：
步骤21’、分别对已获取的每一种组织类型的结构图设置对应的三原色系数，获取每一组织类型的初步染色图；
步骤22’、将所述初步染色图与所述目标IVOCT图像的像素值进行点乘，获取每一组织类型的结构染色图；
步骤23’、将多种组织类型的结构染色图进行组合，获取所述彩色IVOCT图像。
9.根据权利要求2所述的彩色IVOCT成像方法，其特征在于，所述步骤2包括：
步骤21”、分别对已获取的每一种组织类型的结构图设置对应的基础三原色系数矩阵；
步骤22”、将多种组织类型对应的多组所述基础三原色系数矩阵进行叠加，建立汇总三原色系数矩阵；
步骤23”、将所述汇总三原色系数矩阵与所述目标IVOCT图像的像素值进行点乘，获取所述彩色IVOCT图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711354766.XA CN107945176B (zh) | 2017-12-15 | 2017-12-15 | 一种彩色ivoct成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711354766.XA CN107945176B (zh) | 2017-12-15 | 2017-12-15 | 一种彩色ivoct成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107945176A true CN107945176A (zh) | 2018-04-20 |
| CN107945176B CN107945176B (zh) | 2021-05-11 |
Family
ID=61943582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711354766.XA Active CN107945176B (zh) | 2017-12-15 | 2017-12-15 | 一种彩色ivoct成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107945176B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285158A (zh) * | 2018-07-24 | 2019-01-29 | 深圳先进技术研究院 | 血管壁斑块分割方法、装置及计算机可读存储介质 |
| CN109568047A (zh) * | 2018-11-26 | 2019-04-05 | 焦建洪 | 一种心内科智能专用床、控制系统及控制方法 |
| US11436731B2 (en) | 2019-08-05 | 2022-09-06 | Lightlab Imaging, Inc. | Longitudinal display of coronary artery calcium burden |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104688190A (zh) * | 2015-03-18 | 2015-06-10 | 深圳市中科微光医疗器械技术有限公司 | 检测冠状动脉内支架贴壁情况的装置 |
| CN106343957A (zh) * | 2016-09-09 | 2017-01-25 | 深圳市中科微光医疗器械技术有限公司 | 应用于心血管的三维oct扫描成像系统及其成像方法 |
| CN106780495A (zh) * | 2017-02-15 | 2017-05-31 | 深圳市中科微光医疗器械技术有限公司 | 基于oct的心血管植入支架自动检测与评估方法及系统 |
| US20170309018A1 (en) * | 2016-04-20 | 2017-10-26 | Case Western Reserve University | Automated intravascular plaque classification |
| CN107369160A (zh) * | 2017-06-28 | 2017-11-21 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
| CN107392909A (zh) * | 2017-06-22 | 2017-11-24 | 苏州大学 | 基于神经网络与约束图搜索算法的oct图像层分割方法 |
| CN107437092A (zh) * | 2017-06-28 | 2017-12-05 | 苏州比格威医疗科技有限公司 | 基于三维卷积神经网络的视网膜oct图像的分类算法 |
| WO2017214421A1 (en) * | 2016-06-08 | 2017-12-14 | Research Development Foundation | Systems and methods for automated coronary plaque characterization and risk assessment using intravascular optical coherence tomography |
-
2017
- 2017-12-15 CN CN201711354766.XA patent/CN107945176B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104688190A (zh) * | 2015-03-18 | 2015-06-10 | 深圳市中科微光医疗器械技术有限公司 | 检测冠状动脉内支架贴壁情况的装置 |
| US20170309018A1 (en) * | 2016-04-20 | 2017-10-26 | Case Western Reserve University | Automated intravascular plaque classification |
| WO2017214421A1 (en) * | 2016-06-08 | 2017-12-14 | Research Development Foundation | Systems and methods for automated coronary plaque characterization and risk assessment using intravascular optical coherence tomography |
| CN106343957A (zh) * | 2016-09-09 | 2017-01-25 | 深圳市中科微光医疗器械技术有限公司 | 应用于心血管的三维oct扫描成像系统及其成像方法 |
| CN106580239A (zh) * | 2016-09-09 | 2017-04-26 | 深圳市中科微光医疗器械技术有限公司 | 一种心血管三维光学相干影像系统 |
| CN106780495A (zh) * | 2017-02-15 | 2017-05-31 | 深圳市中科微光医疗器械技术有限公司 | 基于oct的心血管植入支架自动检测与评估方法及系统 |
| CN107392909A (zh) * | 2017-06-22 | 2017-11-24 | 苏州大学 | 基于神经网络与约束图搜索算法的oct图像层分割方法 |
| CN107369160A (zh) * | 2017-06-28 | 2017-11-21 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
| CN107437092A (zh) * | 2017-06-28 | 2017-12-05 | 苏州比格威医疗科技有限公司 | 基于三维卷积神经网络的视网膜oct图像的分类算法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285158A (zh) * | 2018-07-24 | 2019-01-29 | 深圳先进技术研究院 | 血管壁斑块分割方法、装置及计算机可读存储介质 |
| CN109568047A (zh) * | 2018-11-26 | 2019-04-05 | 焦建洪 | 一种心内科智能专用床、控制系统及控制方法 |
| US11436731B2 (en) | 2019-08-05 | 2022-09-06 | Lightlab Imaging, Inc. | Longitudinal display of coronary artery calcium burden |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107945176B (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| CN107993229B (zh) | 一种基于心血管ivoct图像的组织分类方法和装置 | |
| CN108830155B (zh) | 一种基于深度学习的心脏冠状动脉分割及识别的方法 | |
| CN111407245B (zh) | 一种基于摄像头的非接触式心率、体温测量方法 | |
| CN110288597B (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN107945176B (zh) | 一种彩色ivoct成像方法 | |
| CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
| CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
| CN109643446A (zh) | 电路装置、电子设备以及错误检测方法 | |
| CN114092439A (zh) | 一种多器官实例分割方法及系统 | |
| CN114565620B (zh) | 一种基于骨架先验和对比损失的眼底图像血管分割方法 | |
| CN114693719A (zh) | 基于3D-SE-Vnet的脊柱图像分割方法及系统 | |
| CN112150564B (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| CN114565572A (zh) | 一种基于图像序列分析的脑出血ct图像分类方法 | |
| CN112365505A (zh) | 一种基于编码解码结构的轻量级舌体分割方法 | |
| CN107767435B (zh) | 一种血管管腔结构重建方法 | |
| WO2009025780A1 (en) | A method & apparatus for uniquely identifying tissue pathology | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN113379691B (zh) | 一种基于先验引导的乳腺病灶深度学习分割方法 | |
| CN115762756A (zh) | 早期认知障碍量表绘图结果判别装置 | |
| CN112801964B (zh) | 肺部ct图像的多标签智能检测方法、装置、设备和介质 | |
| CN115424020A (zh) | 一种mri脑肿瘤图像分割方法及系统 | |
| Mikołajczyk et al. | A test-bed for computer-assisted fusion of multi-modality medical images | |
| CN110570417B (zh) | 肺结节分类装置及图像处理设备 | |
| CN114387259A (zh) | 用于预测缺失牙坐标的方法与装置及识别模型的训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhu Rui Inventor after: Cao Yihui Inventor after: Xue Ting Inventor before: Zhu Rui Inventor before: Li Jianan Inventor before: Cao Yihui Inventor before: Xue Ting |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 710119 Room 101, building 11, new industrial park, No. 60, West Avenue, high tech Zone, Xi'an, Shaanxi Province Patentee after: Zhongke low light medical research center (Xi'an) Co.,Ltd. Address before: Room 303, floor 3, Zhongke Chuangxing, southwest corner of bianjia village, 322 Youyi West Road, Xi'an, Shaanxi 710068 Patentee before: XI'AN VIVOLIGHT IMAGING TECHNOLOGY Co.,Ltd. |