CN108573514B - 一种图像的三维融合方法及装置、计算机存储介质 - Google Patents
一种图像的三维融合方法及装置、计算机存储介质 Download PDFInfo
- Publication number
- CN108573514B CN108573514B CN201810346491.3A CN201810346491A CN108573514B CN 108573514 B CN108573514 B CN 108573514B CN 201810346491 A CN201810346491 A CN 201810346491A CN 108573514 B CN108573514 B CN 108573514B
- Authority
- CN
- China
- Prior art keywords
- image
- marker
- images
- gray
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 11
- 239000003550 marker Substances 0.000 claims abstract description 201
- 239000011159 matrix material Substances 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims description 57
- 230000004927 fusion Effects 0.000 claims description 31
- 238000013519 translation Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 description 13
- 210000001519 tissue Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种图像的三维融合方法及装置、计算机存储介质,所述方法包括:获取第一标记影像集和第二标记影像集;在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层;在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点、第二基准点、第三基准点、第四基准点以及第一基准线段和第二基准线段的长度比以及夹角,计算对齐矩阵;利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像的三维融合方法及装置、计算机存储介质。
背景技术
多模态医学图像集是来自计算机体层摄影(CT,Computed Tomograph)设备、核磁共振成像(MRI,Magnetic Resonance Imaging)设备、X射线设备、超声设备等医学诊断设备采集到的断层图像集合,医学诊断设备测量的对象不限,例如人、动物、植物。
对断层图像集进行加工,可以得到特定的器官组织的标记影像集。在标记影像集中预定义一种前景色,表示一种特定的器官组织。由于断层图像集可能来自多次测量行为,不同的断层图像集的测量角度、断层位置可能存在差异,如何将两个或多个标记影像集进行三维空间融合,是需要解决的问题。
发明内容
为解决上述技术问题,本发明实施例提供了一种图像的三维融合方法及装置、计算机存储介质。
本发明实施例提供的图像的三维融合方法,包括:
获取第一标记影像集和第二标记影像集,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到;
所述第一DICOM文件集中的各个断层图像与所述第二DICOM文件集中的各个断层图像在空间上平行排布,每个断层图像对应于特定高度上的截面;
在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,所述第一对齐层和所述第二对齐层为具有相同高度值的两个标记图像;
在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点和所述第二基准点构建第一基准线段;在所述第二对齐层中设置第三基准点和第四基准点,基于所述第三基准点和所述第四基准点构建第二基准线段;计算所述第一基准线段和所述第二基准线段的长度比以及夹角;基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角,计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵;基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵,计算对齐矩阵;
利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。
本发明实施例中,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到,包括:
设置第一灰度阈值和第二灰度阈值,所述第一灰度阈值大于所述第二灰度阈值;针对所述N1个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第一灰度阈值和第二灰度阈值进行比较;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第一目标对象的标记图像;
所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到,包括:
设置第三灰度阈值和第四灰度阈值,所述第三灰度阈值大于所述第四灰度阈值;针对所述N2个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第三灰度阈值和第四灰度阈值进行比较;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第二目标对象的标记图像。
本发明实施例中,所述方法还包括:
在所述第一标记影像集中选择第一高度范围内的第一组标记图像,在所述第一组标记图像内按照第一差值高度生成第一组插值图像,所述第一组插值图像和所述第一组标记图像形成第一图像序列;
在所述第二标记影像集中选择所述第一高度范围内的第二组标记图像,在所述第二组标记图像内按照第二差值高度生成第二组插值图像,所述第二组插值图像和所述第二组标记图像形成第二图像序列;
其中,所述第一图像序列和所述第二图像序列具有相同数目的图像,且所述第一图像序列中的各个图像与所述第二图像序列中的各个图像在高度上具有一一对应关系;
相应地,所述在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,包括:
在所述第一图像序列中选择第一对齐层,在所述第二图像序列中选择第二对齐层。
本发明实施例中,所述利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,包括:
利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集。
本发明实施例中,所述利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集,包括:
对于高度值相同的所述第一图像序列中的第一图像和所述第二图像序列中的第二图像,利用所述对齐矩阵对所述第二图像进行转换,得到与所述第一图像对齐的第三图像;
将所述第三图像和所述第一图像的各个像素点对应的颜色信息进行融合,其中,对于所述第三图像和所述第一图像中重叠部分的像素点,保留所述第三图像的像素点对应的颜色信息或者保留所述第一图像的像素点对应的颜色信息。
本发明实施例提供的图像的三维融合装置,包括:
标记影像获取单元,用于获取第一标记影像集和第二标记影像集,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到;所述第一DICOM文件集中的各个断层图像与所述第二DICOM文件集中的各个断层图像在空间上平行排布,每个断层图像对应于特定高度上的截面;
选择单元,用于在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,所述第一对齐层和所述第二对齐层为具有相同高度值的两个标记图像;
对齐矩阵计算单元,用于在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点和所述第二基准点构建第一基准线段;在所述第二对齐层中设置第三基准点和第四基准点,基于所述第三基准点和所述第四基准点构建第二基准线段;计算所述第一基准线段和所述第二基准线段的长度比以及夹角;基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角,计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵;基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵,计算对齐矩阵;
图像融合单元,用于利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。
本发明实施例中,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到,包括:
设置第一灰度阈值和第二灰度阈值,所述第一灰度阈值大于所述第二灰度阈值;针对所述N1个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第一灰度阈值和第二灰度阈值进行比较;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第一目标对象的标记图像;
所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到,包括:
设置第三灰度阈值和第四灰度阈值,所述第三灰度阈值大于所述第四灰度阈值;针对所述N2个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第三灰度阈值和第四灰度阈值进行比较;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第二目标对象的标记图像。
本发明实施例中,所述装置还包括:
对齐单元,用于在所述第一标记影像集中选择第一高度范围内的第一组标记图像,在所述第一组标记图像内按照第一差值高度生成第一组插值图像,所述第一组插值图像和所述第一组标记图像形成第一图像序列;在所述第二标记影像集中选择所述第一高度范围内的第二组标记图像,在所述第二组标记图像内按照第二差值高度生成第二组插值图像,所述第二组插值图像和所述第二组标记图像形成第二图像序列;其中,所述第一图像序列和所述第二图像序列具有相同数目的图像,且所述第一图像序列中的各个图像与所述第二图像序列中的各个图像在高度上具有一一对应关系;
所述选择单元,用于在所述第一图像序列中选择第一对齐层,在所述第二图像序列中选择第二对齐层。
本发明实施例中,所述图像融合单元,用于利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集。
本发明实施例中,所述图像融合单元,用于对于高度值相同的所述第一图像序列中的第一图像和所述第二图像序列中的第二图像,利用所述对齐矩阵对所述第二图像进行转换,得到与所述第一图像对齐的第三图像;将所述第三图像和所述第一图像的各个像素点对应的颜色信息进行融合,其中,对于所述第三图像和所述第一图像中重叠部分的像素点,保留所述第三图像的像素点对应的颜色信息或者保留所述第一图像的像素点对应的颜色信息。
本发明实施例提供的计算机存储介质,其上存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述的图像的三维融合方法。
本发明实施例的技术方案中,获取第一标记影像集和第二标记影像集,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到;所述第一DICOM文件集中的各个断层图像与所述第二DICOM文件集中的各个断层图像在空间上平行排布,每个断层图像对应于特定高度上的截面;在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,所述第一对齐层和所述第二对齐层为具有相同高度值的两个标记图像;在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点和所述第二基准点构建第一基准线段;在所述第二对齐层中设置第三基准点和第四基准点,基于所述第三基准点和所述第四基准点构建第二基准线段;计算所述第一基准线段和所述第二基准线段的长度比以及夹角;基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角,计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵;基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵,计算对齐矩阵;利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。采用本发明实施例的技术方案,能够将两个标记影像集融合为一组包含多个目标对象(如多个器官组织)的图像集合,对医患交流、医疗诊断、科学研究,有极好的促进意义。也能为后续的三维建模,手术导引创造必要的基础条件。
附图说明
图1为本发明实施例的图像的三维融合方法的流程示意图;
图2为本发明实施例的图像的三维融合的框架图;
图3为本发明实施例的栅格内的颜色插值算法示意图;
图4为本发明实施例的图像对齐算法示意图;
图5为本发明实施例的图像拼接的示意图;
图6为本发明实施例的打开骨骼、血管标记图像集后的主界面;
图7为本发明实施例的对图像集进行高度对齐的控制界面;
图8为本发明实施例的指定了基准线段的主界面;
图9为本发明实施例的右侧图像融合到左侧图像中的主界面;
图10为本发明实施例的图像的三维融合装置的结构组成示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容,下面结合附图对本发明实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明实施例。
图1为本发明实施例的图像的三维融合方法的流程示意图,如图1所示,所述图像的三维融合方法包括以下步骤:
步骤101:获取第一标记影像集和第二标记影像集,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到;所述第一DICOM文件集中的各个断层图像与所述第二DICOM文件集中的各个断层图像在空间上平行排布,每个断层图像对应于特定高度上的截面。
在一实施方式中,DICOM文件集包括多个DICOM文件,每个DICOM文件用于创建一个断层图像,这里,断层图像是指目标对象在特定高度上的截面。例如:在坐标系XYZ中,每个断层图像的截面位于XY平面,断层图像的高度是指该断层图像对应于Z坐标的值。假设一共有5个断层图像,高度值由大至小分别为Z1,Z2,Z3,Z4,Z5,其中,Z1为顶层的断层图像的高度值,Z5为底层的断层图像的高度值,Z2,Z3,Z4为三个中间层的断层图像的高度值。
这里,DICOM是美国放射学院和国家电气制造协会制定的医学图像标准,是医学图像和相关信息的国际标准和文件格式。DICOM被广泛应用于放射医疗,心血管成像以及放射诊疗诊断设备。数据源-DICOM文件集是,表示一次扫描中的所有断层的图像。其中,每个Dicom文件表示一个断层的图像,是一张灰度图,不同的灰度范围代表着一定的器官组织。
第一DICOM文件集包括N1个断层图像,是经过一次测量得到;第二DICOM文件集包括N2个断层图像,是经过另一次测量得到。N1和N2可以相等,也可以不同。
本发明实施例中,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到。
以第一标记影像集的获取过程为例,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到,包括:设置第一灰度阈值和第二灰度阈值,所述第一灰度阈值大于所述第二灰度阈值;针对所述N1个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第一灰度阈值和第二灰度阈值进行比较;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第一目标对象的标记图像。例如:第一灰度阈值为30,第二灰度阈值为60。此外,还可以设置所述第一目标对象的第一目标颜色信息(如白色),针对N1个二值图像中每个二值图像,将所述二值图像中像素标记为所述第一数值的像素的颜色信息设置为所述目标颜色信息,创建所述二值图像对应的彩色图像。
以第二标记影像集的获取过程为例,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到,包括:设置第三灰度阈值和第四灰度阈值,所述第三灰度阈值大于所述第四灰度阈值;针对所述N2个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第三灰度阈值和第四灰度阈值进行比较;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第二目标对象的标记图像。例如:第三灰度阈值为50,第四灰度阈值为80。此外,还可以设置所述第二目标对象的第二目标颜色信息(如红色),针对N2个二值图像中每个二值图像,将所述二值图像中像素标记为所述第一数值的像素的颜色信息设置为所述目标颜色信息,创建所述二值图像对应的彩色图像。
实际应用中,不同的器官组织可以基于DICOM文件集设置不同的灰度阈值范围进行标记得到相应的标记影像集(也即二值图像集合),进一步,不同的器官组织可以通过不同的颜色表示。
步骤102:在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,所述第一对齐层和所述第二对齐层为具有相同高度值的两个标记图像。
本发明实施例中,在所述第一标记影像集中选择第一高度范围内的第一组标记图像,在所述第一组标记图像内按照第一差值高度生成第一组插值图像,所述第一组插值图像和所述第一组标记图像形成第一图像序列;在所述第二标记影像集中选择所述第一高度范围内的第二组标记图像,在所述第二组标记图像内按照第二差值高度生成第二组插值图像,所述第二组插值图像和所述第二组标记图像形成第二图像序列;其中,所述第一图像序列和所述第二图像序列具有相同数目的图像,且所述第一图像序列中的各个图像与所述第二图像序列中的各个图像在高度上具有一一对应关系。这里,第一高度范围为需要进行后续融合的高度范围。
例如:所述第一标记影像集包括N1个第一目标对象的标记图像,这N1个标记图像按照高度值顺序排列,最高的高度值假设为Zmax(1),最低的高度值假设为Zmin(1),现在需要选取高度值位于Z1和Z2之间(也即第一高度范围)的标记图像,假设高度值位于Z1和Z2之间的标记图像的数目为M1个,M1≤N1。所述第二标记影像集包括N2个第二目标对象的标记图像,这N2个标记图像按照高度值顺序排列,最高的高度值假设为Zmax(2),最低的高度值假设为Zmin(2),现在需要选取高度值位于Z1和Z2之间(也即第一高度范围)的标记图像,假设高度值位于Z1和Z2之间的标记图像的数目为M2个,M2≤N2。为了对两组标记图像进行融合,需要将M1个第一目标对象的标记图像和M2个第二目标对象的标记图像在高度上进行对齐,具体地,高度范围在Z1和Z2之间的第一目标对象的标记图像的数目需要与第二目标对象的标记图像的数目一致,且每个第一目标对象的标记图像在高度上具有一个相同高度值的第二目标对象的标记图像,本发明实施例通过生成一组插值图像来实现。例如:所述第一标记影像集中选择的第一高度范围内的第一组标记图像包括:P1(高度值Z1)、P2(高度值Z1-0.5)、P3(高度值Z1-1)、P4(高度值Z1-1.5=Z2),所述第二标记影像集中选择的第一高度范围内的第二组标记图像包括:p1(高度值Z1)、p2(高度值Z1-0.25)、p3(高度值Z1-0.5)、p4(高度值Z1-0.75)、p4(高度值Z1-1)、p4(高度值Z1-1.25)、p4(高度值Z1-1.5=Z2),需要在第一标记影像集中按照0.05的差值高度生成第一组插值图像,即:Δ1(高度值Z1-0.25)、Δ2(高度值Z1-0.75)、Δ3(高度值Z1-1.25),这样,形成的第一图像序列包括:P1(高度值Z1)、Δ1(高度值Z1-0.25)、P2(高度值Z1-0.5)、Δ2(高度值Z1-0.75)、P3(高度值Z1-1)、Δ3(高度值Z1-1.25)、P4(高度值Z1-1.5=Z2),其中,插值图像也是标记图像,也即二值图像,这样,第一目标对象的标记图像集合就和第二目标对象的标记图像集合对齐了。
基于上述方案,在所述第一图像序列中选择第一对齐层,在所述第二图像序列中选择第二对齐层。所述第一对齐层和所述第二对齐层具有具有相同的高度值。
步骤103:在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点和所述第二基准点构建第一基准线段;在所述第二对齐层中设置第三基准点和第四基准点,基于所述第三基准点和所述第四基准点构建第二基准线段;计算所述第一基准线段和所述第二基准线段的长度比以及夹角;基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角,计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵;基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵,计算对齐矩阵。
步骤104:利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。
具体地,利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集。
进一步,对于高度值相同的所述第一图像序列中的第一图像和所述第二图像序列中的第二图像,利用所述对齐矩阵对所述第二图像进行转换,得到与所述第一图像对齐的第三图像;将所述第三图像和所述第一图像的各个像素点对应的颜色信息进行融合,其中,对于所述第三图像和所述第一图像中重叠部分的像素点,保留所述第三图像的像素点对应的颜色信息或者保留所述第一图像的像素点对应的颜色信息。
以下结合具体地实现算法对本发明实施例的技术方案进行描述。
图2为本发明实施例的图像的三维融合的框架图,如图2所示,包括如下模块:
1)OrganImage.DLL模块
软件功能的核心是多层图像的操作。OrganImage.DLL封装了多层图像的数据与操作,其中包含了的类分作两组:OrganSlice类别、Transform类别。
1.1)OrganSlice类别
其中包含器官断面类clsOrganSlice、器官断面集合类clsOrganSlices、器官断面高度类clsZs。
clsOrganSlice的主要作用是存储、管理指定高度的位图对象。主要成员函数是,图像的插值算法和图像的变换算法(目的是实现图像拼接)。
clsOrganSlices的主要作用是存储、管理clsOrganSlice对象的集合,及对应器官组织的颜色。主要成员函数是,断层图像集合中高度的调整,及图像集合的拼接。
1.1.1)clsOrganSlice类中的平行图像之间的插值算法
平行图像的插值算法指的是,在两个平行图层之间指定一个高度值,计算该高度值处的图像。由于图层之间的距离一般较小,故采用线性插值方法。
1.1.2)clsOrganSlice类中的像素点插值算法
由于图像中像素点的坐标为整数,可以矩阵变换后的坐标为实数,四舍五入后,难免会造成部分像素点的重叠或丢失。
为保证变换的准确性,需要根据目标像素点的位置,计算其变换之前的原始位置;再插值计算原始位置(实数)处的颜色值,作为目标像素点的颜色。
具体算法采用三角形线性插值方法。具体描述如下:
已知颜色值矩阵CM,及实数型的x,y,计算坐标为(x,y)处的颜色值。步骤如下:
1确定(x,y)所处的栅格范围:(X1,X2)-(Y1,Y2)
2将栅格划分为两个三角形:
左下角三角形(X1,Y1),(X2,Y1),(X1,Y2)的参数方程为:
F(u,v)=[X1,Y1]+u*([X2,Y1]-[X1,Y1])+v*([X1,Y2]-[X1,Y1]);
右上角三角形(X2,Y2),(X2,Y1),(X1,Y2)的参数方程为:
F(u,v)=[X2,Y2]+(1-u)*([X1,Y2]-[X2,Y2])+(1-v)*([X2,Y1]-[X2,Y2])。
3将(x,y)转换为栅格内的偏移量坐标(u,v)的位置,选择合适的参数方程,计算RGB颜色分量的值,合成点(x,y)的颜色值。
算法中关键数据的关系参见图3。
1.2)Transform类别
表示在两个图像拼接过程中,需要在两个图像中分别指定两条线段,作为图像拼接融合的基准。这两条线段被称作基准直线段。
1.2.1)clsKps类、clsKpsTuple类及对齐矩阵
clsKps类的主要功能是:存储一个基准直线段的两个端点坐标kp1,kp2。
clsKpsTuple类的主要成员是:两个clsKps对象A、B,分别表示在两个图像中设定的基准直线段。
clsKpsTuple类的核心算法是对齐矩阵的计算方法。目的是计算线段B变换到线段A的变换矩阵M。举例说明如下:
设A.kp1=[446,508],A.kp2=[658,174],B.kp1=[86,508],B.kp2=[302,177]
对齐矩阵M应满足条件:B.kp1*M=A.kp1和B.kp2*M=A.kp2
1.2.2)对齐矩阵M的计算方法
已知线段A(起点为A.kp1,终点为A.kp2),线段B(起点为B.kp1,终点为B.kp2)。求将B变换为A的对齐变换矩阵M。构造组合变换矩阵的步骤如下:
1基本平移变换M1:目的是将A.kp1平移B.kp1
2相对A.kp1点的组合缩放变换M2:目的是保证线段A变换后的长度与线段B长度相等。
3绕A.kp1点的组合旋转变换M3:目的是保证线段A变换后的方向与线段B相同。
算例说明:
计算步骤:
1.2.3)clsMatrix3类
clsMatrix3类封装了矩阵的组合运算、求逆运算、点集变换等操作。
1.3)图像对齐算法
1.3.1)图像对齐算法
已知源图像sBitmap,及变换矩阵M,求变换后的目标图像tBitmap。算法步骤如下:
1计算源图像sBitmap的四个角点,经过M变换后的点坐标,以此确定目标图像tBitmap的尺寸,初始化tBitmap。
2初始化spoints数组,使spoints(k)表示tBitmap中的像素点坐标(i,j);对spoints进行M逆变换,使得sBitmap中的点spoints(k),经M变换,得到tBitmap中的点(i,j)。
3为便于后继的颜色插值计算,创建sBitmap中的颜色值矩阵。
4计算目标图像tBitmap中的有效区域中的每个像素点的颜色值。tBitmap中点(i,j)的颜色值应等于sBitmap中的点spoints(k)的颜色值。部分spoints(k)的坐标超出了sBitmap的边界,应该被忽略。
算法中关键数据的关系参见图4。
1.3.2)图像对齐算法
已知源图像sbitmap1和sbitmap2,将它们拼接目标图像tbitmap。参见图5,算法步骤如下:
1确定目标图像tbitmap的尺寸,初始化tbitmap。
2将bitmap1的像素点填入目标图像tbitmap中。
3将bitmap2的像素点填入目标图像tbitmap中,其中舍弃bitmap1已经填入的像素点。
考虑到bitmap2来自“图像对齐算法”,其中可能包含部分无效区域;同时由于sbitmap1和sbitmap2的尺寸差异,所以融合出来的tbitmap,尚需进行适当裁剪,才能满足用户的需要。
2)OrganMerge3D.exe模块
程序的主界面是frmSlice窗体
2.1)文件菜单中的“打开”
使用文件菜单,打开两组标记图像文件集合A和B,并在左右窗口中分层显示,便于用户查询。参见图6,是打开骨骼、血管标记图像集后的主界面。
2.2)对齐菜单中的“高度对齐”
为两个图像文件集指定Z=0的断面,并指定有效高度范围及高度之差,进行图像插值,达到高度对齐的效果。参见图7。
2.3)对齐菜单中的“基准点层”
移动两个图像集旁的滚动条,指定各自的当前层;对齐菜单中的“基准点层”,将它们设为基准点层(将在这两个图像中指定基准点对)。
在两个图像中,点击鼠标右键,分别指定两个基准点,构建基准线段。参见图8。
2.4)对齐菜单中的“水平对齐”
使用对齐菜单中的“水平对齐”项,利用两条基准线段,构建融合参数,将右侧图像集中的所有图像融合到左侧的对应图像中,如图9所示。
2.5)文件菜单中的“导出”
使用文件菜单中的“导出”命令,可以将左侧图像导出至指定文件夹中。
目标文件夹中的Index.txt是重要的文件索引,其中保存了器官颜色、各个文件的高度等信息。文件格式参见表1。
表1 Index.txt的文件格式
上述框架中,创建了一种多组断层图像集的三维融合方式,其中的约束条件是:多组断层图像集的平面应是平行的。具体地,1)将层高对齐、插值对齐,使得每组图像的个数相同,对应高度相同。2)指定基准线段,构建融合矩阵,实现两组组图像集的融合。重复以上步骤,可以实现任意多组断层图像集的三维融合。这种图像集合的组织方式,为创建器官组织的三维实体模型,奠定了数据基础。
通过上述框架实现本发明实施例的图像的三维融合方法,包括但不局限于执行如下流程:
1打开两组标记图像文件集合A和B,并在左右窗口中分层显示,便于用户查询。
2指定图像文件集的有效高度范围及高度之差,进行图像插值,达到高度对齐的效果。
3用户指定对齐层,并在两组图像中,用鼠标指定两个关键点。
4将图像集B融合到图像集A中。
5导出图像集A。
例如:设有标识图像集A标识了神经结构,标识图像集B标识了血管结构;并设两组图像集的拍摄平面是平行的。用户希望得到融合的标识图像集C,其中每张图像包含两个颜色,分别标识神经、血管。操作过程应该是:
1分别打开两组图像集,用户经过观察,选定融合的高度范围,并指定合适的插值高度,生成插值图像序列;
2在两组插值图像序列中,用户经过观察,选择合适的对齐层,并在该层的两个图像中指定两个关键点,构造三维融合参数。
3对两组插值图像序列进行融合,并保存。
图10为本发明实施例的图像的三维融合装置的结构组成示意图,如图10所示,所述图像的三维融合装置包括:
标记影像获取单元1001,用于获取第一标记影像集和第二标记影像集,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到;所述第一DICOM文件集中的各个断层图像与所述第二DICOM文件集中的各个断层图像在空间上平行排布,每个断层图像对应于特定高度上的截面;
选择单元1002,用于在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,所述第一对齐层和所述第二对齐层为具有相同高度值的两个标记图像;
对齐矩阵计算单元1003,用于在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点和所述第二基准点构建第一基准线段;在所述第二对齐层中设置第三基准点和第四基准点,基于所述第三基准点和所述第四基准点构建第二基准线段;计算所述第一基准线段和所述第二基准线段的长度比以及夹角;基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角,计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵;基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵,计算对齐矩阵;
图像融合单元1004,用于利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。
在一实施方式中,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到,包括:
设置第一灰度阈值和第二灰度阈值,所述第一灰度阈值大于所述第二灰度阈值;针对所述N1个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第一灰度阈值和第二灰度阈值进行比较;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第一目标对象的标记图像;
所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到,包括:
设置第三灰度阈值和第四灰度阈值,所述第三灰度阈值大于所述第四灰度阈值;针对所述N2个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第三灰度阈值和第四灰度阈值进行比较;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第二目标对象的标记图像。
在一实施方式中,所述装置还包括:
对齐单元1005,用于在所述第一标记影像集中选择第一高度范围内的第一组标记图像,在所述第一组标记图像内按照第一差值高度生成第一组插值图像,所述第一组插值图像和所述第一组标记图像形成第一图像序列;在所述第二标记影像集中选择所述第一高度范围内的第二组标记图像,在所述第二组标记图像内按照第二差值高度生成第二组插值图像,所述第二组插值图像和所述第二组标记图像形成第二图像序列;其中,所述第一图像序列和所述第二图像序列具有相同数目的图像,且所述第一图像序列中的各个图像与所述第二图像序列中的各个图像在高度上具有一一对应关系;
所述选择单元1002,用于在所述第一图像序列中选择第一对齐层,在所述第二图像序列中选择第二对齐层。
在一实施方式中,所述图像融合单元1004,用于利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集。
在一实施方式中,所述图像融合单元1004,用于对于高度值相同的所述第一图像序列中的第一图像和所述第二图像序列中的第二图像,利用所述对齐矩阵对所述第二图像进行转换,得到与所述第一图像对齐的第三图像;将所述第三图像和所述第一图像的各个像素点对应的颜色信息进行融合,其中,对于所述第三图像和所述第一图像中重叠部分的像素点,保留所述第三图像的像素点对应的颜色信息或者保留所述第一图像的像素点对应的颜色信息。
本领域技术人员应当理解,图10所示的图像的三维融合装置中的各单元的实现功能可参照前述图像的三维融合方法的相关描述而理解。图10所示的图像的三维融合装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本发明实施例上述图像的三维融合装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本发明实施例不限制于任何特定的硬件和软件结合。
相应地,本发明实施例还提供一种计算机存储介质,其中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现本发明实施例的上述图像的三维融合方法。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (11)
1.一种图像的三维融合方法,其特征在于,所述方法包括:
获取第一标记影像集和第二标记影像集,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到;所述第一DICOM文件集中的各个断层图像与所述第二DICOM文件集中的各个断层图像在空间上平行排布,每个断层图像对应于特定高度上的截面;
在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,所述第一对齐层和所述第二对齐层为具有相同高度值的两个标记图像;
在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点和所述第二基准点构建第一基准线段;在所述第二对齐层中设置第三基准点和第四基准点,基于所述第三基准点和所述第四基准点构建第二基准线段;计算所述第一基准线段和所述第二基准线段的长度比以及夹角;基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角,计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵;基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵,计算对齐矩阵;
利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。
2.根据权利要求1所述的方法,其中,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到,包括:
设置第一灰度阈值和第二灰度阈值,所述第一灰度阈值大于所述第二灰度阈值;针对所述N1个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第一灰度阈值和第二灰度阈值进行比较;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第一目标对象的标记图像;
所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到,包括:
设置第三灰度阈值和第四灰度阈值,所述第三灰度阈值大于所述第四灰度阈值;针对所述N2个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第三灰度阈值和第四灰度阈值进行比较;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第二目标对象的标记图像。
3.根据权利要求1所述的方法,其中,所述方法还包括:
在所述第一标记影像集中选择第一高度范围内的第一组标记图像,在所述第一组标记图像内按照第一差值高度生成第一组插值图像,所述第一组插值图像和所述第一组标记图像形成第一图像序列;
在所述第二标记影像集中选择所述第一高度范围内的第二组标记图像,在所述第二组标记图像内按照第二差值高度生成第二组插值图像,所述第二组插值图像和所述第二组标记图像形成第二图像序列;
其中,所述第一图像序列和所述第二图像序列具有相同数目的图像,且所述第一图像序列中的各个图像与所述第二图像序列中的各个图像在高度上具有一一对应关系;
相应地,所述在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,包括:
在所述第一图像序列中选择第一对齐层,在所述第二图像序列中选择第二对齐层。
4.根据权利要求3所述的方法,其中,所述利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,包括:
利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集。
5.根据权利要求4所述的方法,其中,所述利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集,包括:
对于高度值相同的所述第一图像序列中的第一图像和所述第二图像序列中的第二图像,利用所述对齐矩阵对所述第二图像进行转换,得到与所述第一图像对齐的第三图像;
将所述第三图像和所述第一图像的各个像素点对应的颜色信息进行融合,其中,对于所述第三图像和所述第一图像中重叠部分的像素点,保留所述第三图像的像素点对应的颜色信息或者保留所述第一图像的像素点对应的颜色信息。
6.一种图像的三维融合装置,其特征在于,所述装置包括:
标记影像获取单元,用于获取第一标记影像集和第二标记影像集,所述第一标记影像集包括N1个第一目标对象的标记图像,N1≥2,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到;所述第二标记影像集包括N2个第二目标对象的标记图像,N2≥2,所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到;所述第一DICOM文件集中的各个断层图像与所述第二DICOM文件集中的各个断层图像在空间上平行排布,每个断层图像对应于特定高度上的截面;
选择单元,用于在所述第一标记影像集中选择第一对齐层,在所述第二标记影像集中选择第二对齐层,所述第一对齐层和所述第二对齐层为具有相同高度值的两个标记图像;
对齐矩阵计算单元,用于在所述第一对齐层中设置第一基准点和第二基准点,基于所述第一基准点和所述第二基准点构建第一基准线段;在所述第二对齐层中设置第三基准点和第四基准点,基于所述第三基准点和所述第四基准点构建第二基准线段;计算所述第一基准线段和所述第二基准线段的长度比以及夹角;基于所述第一基准点、第二基准点、第三基准点、第四基准点以及所述第一基准线段和所述第二基准线段的长度比以及夹角,计算平移变换矩阵、缩放变换矩阵以及旋转变换矩阵;基于所述平移变换矩阵、缩放变换矩阵以及旋转变换矩阵,计算对齐矩阵;
图像融合单元,用于利用所述对齐矩阵将所述第二标记影像集中的各个标记图像,按照高度值对应关系融合到所述第一标记影像集的各个标记图像中,得到第三标记影像集,所述第三标记影像集中的各个标记图像包括所述第一目标对象和所述第二目标对象。
7.根据权利要求6所述的装置,其中,所述N1个第一目标对象的标记图像是通过对第一DICOM文件集中的N1个断层图像进行第一目标对象的标记得到,包括:
设置第一灰度阈值和第二灰度阈值,所述第一灰度阈值大于所述第二灰度阈值;针对所述N1个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第一灰度阈值和第二灰度阈值进行比较;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第一灰度阈值和所述第二灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第一目标对象的标记图像;
所述N2个第二目标对象的标记图像是通过对第二DICOM文件集中的N2个断层图像进行第二目标对象的标记得到,包括:
设置第三灰度阈值和第四灰度阈值,所述第三灰度阈值大于所述第四灰度阈值;针对所述N2个断层图像中的每个断层图像,将所述断层图像中的各个像素对应的灰度值分别与所述第三灰度阈值和第四灰度阈值进行比较;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以内,则将所述灰度值对应的像素标记为第一数值;如果灰度值位于所述第三灰度阈值和所述第四灰度阈值所确定的灰度区域以外,则将所述灰度值对应的像素标记为第二数值;基于所述断层图像的每个像素的标记数值,创建所述断层图像对应的二值图像,作为所述第二目标对象的标记图像。
8.根据权利要求6所述的装置,其中,所述装置还包括:
对齐单元,用于在所述第一标记影像集中选择第一高度范围内的第一组标记图像,在所述第一组标记图像内按照第一差值高度生成第一组插值图像,所述第一组插值图像和所述第一组标记图像形成第一图像序列;在所述第二标记影像集中选择所述第一高度范围内的第二组标记图像,在所述第二组标记图像内按照第二差值高度生成第二组插值图像,所述第二组插值图像和所述第二组标记图像形成第二图像序列;其中,所述第一图像序列和所述第二图像序列具有相同数目的图像,且所述第一图像序列中的各个图像与所述第二图像序列中的各个图像在高度上具有一一对应关系;
所述选择单元,用于在所述第一图像序列中选择第一对齐层,在所述第二图像序列中选择第二对齐层。
9.根据权利要求8所述的装置,其中,所述图像融合单元,用于利用所述对齐矩阵将所述第二图像序列中的各个标记图像,按照高度值对应关系融合到所述第一图像序列的各个标记图像中,得到第三标记影像集。
10.根据权利要求9所述的装置,其中,所述图像融合单元,用于对于高度值相同的所述第一图像序列中的第一图像和所述第二图像序列中的第二图像,利用所述对齐矩阵对所述第二图像进行转换,得到与所述第一图像对齐的第三图像;将所述第三图像和所述第一图像的各个像素点对应的颜色信息进行融合,其中,对于所述第三图像和所述第一图像中重叠部分的像素点,保留所述第三图像的像素点对应的颜色信息或者保留所述第一图像的像素点对应的颜色信息。
11.一种计算机存储介质,其上存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至5任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810346491.3A CN108573514B (zh) | 2018-04-16 | 2018-04-16 | 一种图像的三维融合方法及装置、计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810346491.3A CN108573514B (zh) | 2018-04-16 | 2018-04-16 | 一种图像的三维融合方法及装置、计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108573514A CN108573514A (zh) | 2018-09-25 |
CN108573514B true CN108573514B (zh) | 2022-05-27 |
Family
ID=63574988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810346491.3A Active CN108573514B (zh) | 2018-04-16 | 2018-04-16 | 一种图像的三维融合方法及装置、计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108573514B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292276B (zh) * | 2018-12-07 | 2021-06-22 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
CN112329588B (zh) * | 2020-10-30 | 2024-01-05 | 中海石油(中国)有限公司 | 一种基于Faster R-CNN的管道故障检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101422373A (zh) * | 2008-12-15 | 2009-05-06 | 沈阳东软医疗系统有限公司 | 一种实现ct图像的感兴趣区域与ct定位片的融合方法 |
CN102920477A (zh) * | 2012-03-05 | 2013-02-13 | 杭州弘恩医疗科技有限公司 | 医学影像的目标区域边界确定装置和方法 |
CN103026382A (zh) * | 2010-07-22 | 2013-04-03 | 皇家飞利浦电子股份有限公司 | 多个图像的融合 |
CN107292872A (zh) * | 2017-06-16 | 2017-10-24 | 艾松涛 | 图像处理方法/系统、计算机可读存储介质及电子设备 |
CN107613863A (zh) * | 2015-08-05 | 2018-01-19 | 深圳联影医疗科技有限公司 | Pet/mri 嵌入系统 |
-
2018
- 2018-04-16 CN CN201810346491.3A patent/CN108573514B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101422373A (zh) * | 2008-12-15 | 2009-05-06 | 沈阳东软医疗系统有限公司 | 一种实现ct图像的感兴趣区域与ct定位片的融合方法 |
CN103026382A (zh) * | 2010-07-22 | 2013-04-03 | 皇家飞利浦电子股份有限公司 | 多个图像的融合 |
CN102920477A (zh) * | 2012-03-05 | 2013-02-13 | 杭州弘恩医疗科技有限公司 | 医学影像的目标区域边界确定装置和方法 |
CN107613863A (zh) * | 2015-08-05 | 2018-01-19 | 深圳联影医疗科技有限公司 | Pet/mri 嵌入系统 |
CN107292872A (zh) * | 2017-06-16 | 2017-10-24 | 艾松涛 | 图像处理方法/系统、计算机可读存储介质及电子设备 |
Non-Patent Citations (3)
Title |
---|
A deep learning model integrating FCNNs and CRFs for brain tumor segmentation;XiaomeiZhao 等;《Medical Image Analysis》;20180131;第43卷;全文 * |
Results of a Multi-Institutional Benchmark Test for Cranial CT/MR Image Registration;KennethUlin 等;《International Journal of Radiation Oncology Biology Physics》;20100831;第77卷(第5期);全文 * |
一种多模态医学图像数据融合方法与应用;高峰 等;《中国医疗设备》;20131231(第5期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108573514A (zh) | 2018-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200359983A1 (en) | Apparatus and system for rule based visualization of digital breast tomosynthesis and other volumetric images | |
US8907952B2 (en) | Reparametrized bull's eye plots | |
US8369585B2 (en) | Automatic classification of information in images | |
JP6670595B2 (ja) | 医用画像処理装置 | |
JP5520543B2 (ja) | 階層化メッシュに基づくデータの半自動整合 | |
EP2380140B1 (en) | Generating views of medical images | |
Viceconti et al. | The multimod application framework: a rapid application development tool for computer aided medicine | |
US9767594B2 (en) | Image processing apparatus | |
CN103049638B (zh) | 半自动化手术前切除规划 | |
WO2018097880A1 (en) | Systems and methods for an integrated system for visualizing, simulating, modifying and 3d printing 3d objects | |
US20140015836A1 (en) | System and method for generating and displaying a 2d projection from a 3d or 4d dataset | |
CN108573514B (zh) | 一种图像的三维融合方法及装置、计算机存储介质 | |
EP2960870B1 (en) | A visualization method for a human skeleton from a medical scan | |
CN108573532B (zh) | 一种混合模型的展示方法及装置、计算机存储介质 | |
US20060103678A1 (en) | Method and system for interactive visualization of locally oriented structures | |
US7116808B2 (en) | Method for producing an image sequence from volume datasets | |
Rhodes | Computer graphics in medicine: the past decade | |
EP3497599A1 (en) | A method and apparatus for transforming physical measurement data of a biological organ | |
EP3526799B1 (en) | Optimizing an atlas | |
Kim et al. | Biomedical image visualization and display technologies | |
Jacobson et al. | The Inner Complexities of Multimodal Medical Data: Bitmap-Based 3D Printing for Surgical Planning Using Dynamic Physiology | |
US20080175461A1 (en) | Method for displaying images by means of a graphics user interface of a digital image information system | |
CN108464862A (zh) | 一种内窥镜引导操作导航显示方法及装置 | |
Montilla et al. | Computer assisted planning using dependent texture mapping and multiple rendering projections in medical applications | |
US20200402255A1 (en) | Method and device for medical imaging for representing a 3d volume containing at least one introduced foreign object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |