具体实施方式
(第一实施方式)
下面对应用本发明的第一实施方式进行说明。这里,作为诊断图像生成装置,以超声波图像取得装置为例进行说明。此外,将胎儿作为图像化对象组织。由此,图像化非对象组织为羊水里的悬浮物和胎盘等。
(超声波图像取得装置的结构)
图1是本实施方式的超声波图像取得装置(诊断图像生成装置)的功能框图。如图所示,本实施方式的超声波图像取得装置100具备:用于取得三维回声数据的由超声波振子构成的探头101;进行发送脉冲的控制、接收回声信号的放大的收发部102;将放大后的接收回声信号进行数字化处理的模拟/数字转换部(A/D)103;将来自多个振子的接收回声聚集(相位相加)的波束成形处理部(BF)104;图像处理部105;坐标变换部106;投影图像生成部107;显示部108;输入部109;以及三维关注区域设定部110。
图像处理部105对来自BF处理部104的RF信号进行图像处理,生成断层图像数据(以下简称为断层图像)。这里进行的图像处理是动态范围压缩、滤波处理等以及扫描变换处理等。另外,在显示部108中显示图像处理部105生成的断层图像。
坐标变换部106对断层图像进行正交三维坐标变换,生成体数据。
三维关注区域设定部110对于体数据,设定应用渲染处理的三维关注区域(3D-ROI)。本实施方式的3D-ROI具有将图像化对象组织和图像化非对象组织空间分离的剪裁面。如上所述,剪裁面成为渲染处理的开始面。本实施方式中,在预先决定的断层图像上,设定作为该断层图像和剪裁面的交线的边界曲线,决定剪裁面。
投影图像生成部107在体数据中,使用3D-ROI内的上述数据,执行渲染处理,生成三维投影图像。
显示部108对图像处理部105生成的断层图像、投影图像生成部107生成的投影图像等进行显示。此外,例如具备触摸板,接受来自用户的输入。触摸板由在显示部108的显示器表面上配置的多个触摸传感器构成。
输入部由109例如由触摸板、键盘、轨迹球等构成,是接受来自用户的各种输入的用户界面。
关于探头101,能取得3D数据即可,可以是手绘方式、机械扫描方式、二维阵列探头方式中的任意一种方式。
此外,图像处理部105、坐标变换部106、投影图像生成部107、三维关注区域设定部110在具有CPU、存储器、存储装置的信息处理装置中,通过由CPU将预先保存在存储装置中的程序加载到存储器中执行来实现。
(三维关注区域设定部)
本实施方式的三维关注区域设定部110对于从生物体内的三维空间取得的数据集合体即体数据,设定应用渲染处理的3D-ROI。
本实施方式的三维关注区域设定部110在规定的断层图像上,从用户接受边界曲线的输入。如上所述,边界曲线是剪裁面和断层图像的交线。然后,修正接受的边界曲线,得到修正边界曲线。将修正边界曲线扩展为三维,得到剪裁面,设定3D-ROI。
本实施方式中,作为边界曲线接受曲线(样条曲线)。以下,在说明各部的处理之前,对接受样条曲线来作为边界曲线的理由、需要修正的理由进行说明。这里,以将胎儿作为摄影对象(图像化对象组织)的情况为例进行说明。
首先,对于现有的3D-ROI设定处理,以胎儿影像为例进行说明。图2表示通过超声波图像取得装置100中的三维扫描取得的体数据900。这里,将与包含胎儿901的身体轴线的断层面910平行的面称为轴向(Axial)面,将与身体轴线正交的断层面920称为径向(Saggital)面。轴向面910与径向面920正交。
此外,将轴向面910的断层图像称为轴向图像,将径向面920的断层图像称为径向图像。图3(a)是轴向图像911,图3(b)是径向图像921。
3D-ROI如其名字一样是三维区域。一般来说,在最适合表示胎儿901的断层面的图像(基本上是轴向图像911)中,设定与3D-ROI的交线,并以此为基础进行三维扩展。
如图3(a)所示,在轴向图像911中,设定与3D-ROI的交线(轴向ROI)912,决定图4所示的3D-ROI932。通过将在任意的轴向面中设定的轴向ROI912复制到全部轴向面,来生成3D-ROI932。
生成的3D-ROI在任意的径向图像921中,如图3(b)所示,跨越径向图像921的横向全部范围,将与轴向ROI912的交线作为高度,成为与径向图像921的上下边平行的区域922。
设定3D-ROI932,通过仅对该区域内的体数据应用渲染处理,可以减少渲染处理量,并且可以提高实时性。此外,可以排除在关注区域的周围存在的悬浮物或多重反射等造成的噪声。由此,3D-ROI的设定在三维投影图像显示中是非常重要的功能。
当由3D-ROI包围的图像化对象组织,如图5(a)所示的胎儿那样具有复杂的形状时,轴向ROI912的图中上边942的设定是重要的。以下,将该上边称为边界曲线942。为了使图像化对象组织的抽取精度进一步提高,边界曲线942不是图5(a)所示的直线,而是使用图5(b)所示的样条曲线942进行设定。
如图5(b)所示那样,将边界曲线942设定为胎儿和胎盘的边界。胎儿和胎盘之间的羊水区域的形状,从经验上看大致为凸面或者凹面。因此,通过使用样条曲线生成边界曲线942,由此确定的3D-ROI实现了平滑的凸面或者凹面。通过该3D-ROI,能够得到恰当的三维投影图像。
但是,在现实的临床数据中,即使使用样条曲线指定边界曲线942,也有不少难以在胎盘和胎儿之间的羊水区域划定边界线的情况。例如,在图6所示的例子中,在应用具有使用样条曲线设定的边界曲线401的轴向ROI409(3D-ROI),执行渲染处理时,胎儿的鼻子、嘴产生欠缺。
这里,在本实施方式中,对于图6那样的情况,对用户使用样条曲线设定的边界曲线401进行修正,从而避免不恰当的3D-ROI设定。由此,追求更进一步的高功能化。以下,对该三维关注区域设定部110进行说明。
为了使其得到实现,本实施方式的三维关注区域设定部110如图7所示,具有:接受部210,在预先决定的断层图像上接受来自用户的指示;剪裁面决定部220,决定三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,剪裁面决定部220在断层图像上决定边界曲线,并根据该边界曲线来决定上述裁剪面,上述边界曲线经过基于上述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
本实施方式的接受部210,作为上述指示接受上述断层图像(断层面)与上述剪裁面的交线即边界曲线(样条曲线),将其作为初始边界曲线。以下,在本实施方式中,将预先决定的断层面作为轴向面,将断层图像作为轴向图像。
本实施方式中,如图6所示,在显示部108上显示轴向图像,在该图像上接受初始边界曲线401。显示的轴向图像400是图像处理部105生成的断层图像。通过显示部108具备的触摸板接受初始边界曲线401。用户输入例如经过胎盘和胎儿之间的羊水区域的曲线。接受输入的曲线来作为样条曲线。
本实施方式的剪裁面决定部220对上述初始边界曲线进行修正,决定修正边界曲线,并决定剪裁面。为了将其实现,本实施方式的剪裁面决定部220具有:开始点检测部,在上述初始边界曲线上检测上述开始点;能量图生成部222,利用经过上述开始点的像素串将上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,并分别生成能量图;路径探索部223,在上述各能量图上探索最小能量路径,上述最小能量路径是连接像素值的总和为最小的像素的路径;有效性判定部224,根据上述初始边界曲线和上述最小能量路径之间的最大距离,分别决定上述分割后的各图像的分割边界曲线;以及,结合部225,将上述分割边界曲线结合,得到上述边界曲线;以及剪裁面生成部226。
(开始点检测部)
如图6所示,开始点检测部221在初始边界曲线401上,检测确实认为是羊水区域(图像化非对象区域)的点来作为开始点411。本实施方式中,将轴向图像400的初始边界曲线401上的亮度值最低的像素(亮度值最小像素)检测为开始点411。此外,在存在多个亮度值最小像素时,将最先检测到的像素作为开始点411。
一般来说,众所周知羊水区域的亮度等级低,并且,用户(医生、检查技师)设定的初始边界曲线401是最低也有1点经过羊水区域的假想的基础。
此外,在由开始点检测部221检测开始点411时,可以设定阈值处理。在阈值处理中,判断在初始边界曲线401上是否存在规定阈值以下的亮度值。仅当存在规定阈值以下的亮度值的像素时,进行开始点检测处理。另一方面,当规定阈值以下的亮度值的像素1点也没有时,中断开始点检测处理,并还结束3D-ROI修正处理。而且,可以将错误信息与已设定的初始边界曲线(样条曲线)401一同输出。
(能量图生成部)
能量图生成部222通过上述开始点411将断层图像(轴向图像400)进行2分割,在各个图像(分割图像)中生成能量图。
使用图8、图9以及图10说明由能量图生成部222进行的能量图生成处理。以下,为了说明,将轴向图像400的深度方向(超声波束的行进方向)称为z方向,在轴向图像400上,将与z方向正交的方向(左右方向)称为x方向。
能量图生成部222使用经过开始点411的z方向的线(像素串)将轴向图像400在x方向上进行2分割。将分割后的断层图像(分割图像)分别设为420、430。图中,使用右侧的分割图像420对之后的处理进行说明。
能量图生成部222如图9所示,从与处理对象像素412的,生成能量图的行进方向(+x方向)的反向侧邻接的3个像素(左边的邻接像素、左上的邻接像素以及左下的邻接像素)413中,将亮度值最小的像素的像素值与处理对象像素412的像素值相加。并且,当在邻接的3个像素中,存在两个以上的亮度值最小的像素时,预先决定要选择的像素。
从开始点411侧开始,对2分割图像420、430的全体进行该加法处理。由此,生成图10所示的能量图EM(i,j)421、431。此外,在得到的能量图EM中,亮度越低的区域(像素)能量越小。
以上说明的能量图EM(i,j)的生成过程可以通过下式(1)来表示。
式(1)
EM(i,j)=E(i,j)+min(EM(i-1,j-1),EM(i-1,j),EM(i-1,j+1))…(1)
这里,E(i,j)表示像素位置(i,j)的能量值。
此外,本实施方式中,使用亮度值来作为能量值,但并不限定于此。例如,可以使用亮度的梯度信息、边缘量、熵、似然、HoG、显著图(SaliencyMap)、L1、L2范数等或者它们的组合。
(路径探索部)
路径探索部223对追寻上述能量图421、431的能量最小值的路径进行探索。该探索在各个能量图421、431中进行。
使用图11以及图12对路径探索部223的最小能量路径探索处理进行说明。路径探索部223从生成的能量图421、431探索最小能量路径。
具体地说,从探索开始点422、432开始,通过下记方法朝向开始点411进行探索,生成路径候补。将探索开始点422、432设为生成的各个能量图421、431的与开始点411相反端的像素值最小的像素。如图11所示,在能量图421中,从探索点422进行探索,在能量图431中从左端进行探索。
使用分割图像420(能量图421)说明探索的详细内容。在探索时,如图12所示对于当前位置像素414,从与探索的进行方向(-x方向;左侧)邻接的3个像素(左侧邻接像素、左上邻接像素、左下邻接像素)415中,选择能量值最低的像素,并将其作为下一个当前位置像素414。然后,通过将选择的当前位置像素414依次连接,生成经过开始点411的最小能量路径。
在路径探索部223的最小能量路径探索处理中,将划定胎盘和胎儿之间的边界线的课题,归结于对式(2)求解的动态规划法的问题上。
式(2)
这里,Rmin是最小能量路径,EM(Ri)是探索到的路径候补i的总能量值(能量相加值),argminf(x)表示使函数f(x)最小化的x。此外,轴向图像400的图像尺寸为x方向(水平方向)上n像素,z方向(垂直方向)上m像素(n、m是1以上的整数)。
如此,在本实施方式中,针对各路径候补i,计算能量的相加值,并将该相加值最小的路径候补i作为最小能量路径。
此外,本实施方式中,在能量图生成时以及最小能量路径探索时,都是将周围3个像素的能量值作为判断对象,当然并不局限于此。
(有效性判定部)
有效性判定部224判定探索出的最小能量路径的有效性,当有效时,将其作为修正后的分割边界曲线。另一方面,当不是有效时,将初始边界曲线作为修正后的分割边界曲线。
例如,通过用户设定的初始边界曲线与生成的最小能量路径的最大距离是否在规定的阈值以上来进行判定。检测两者间的最大距离,当最大距离比阈值小时,判断为有效,当最大距离在阈值以上时,判断为不是有效。即,本实施方式的有效性判定部224在初始边界曲线与最小能量路径之间的最大距离在预先决定的距离阈值以上时,将初始边界曲线作为边界曲线,当最大距离小于上述距离阈值时,将上述最小能量路径作为上述边界曲线。
例如,如图13所示,当初始边界曲线401和最小能量路径402之间的最大距离403在阈值以上时,不使用生成的最小能量路径402,而是使用初始边界曲线401。
此外,本实施方式中,将初始边界曲线401和生成的最小能量路径402之间的最大距离403作为判断信息,但并不局限于此。例如,也可以采用对使用了离散值等的曲线类似度进行测量的方法或使用能量值本身,来判定生成的最小能量路径的有效性。
(结合部)
结合部225将由有效性判定部224在各个2分割图像420、430上决定为修正后的分割边界曲线的2个曲线进行结合,作为修正后的边界曲线(修正边界曲线)进行输出。将生成的修正边界曲线404与轴向图像400一同在显示部108上显示。图14表示显示例子。
(剪裁面生成部)
剪裁面生成部226由在任意的轴向图像400上得到的修正边界曲线生成剪裁面。例如,剪裁面生成部226将在1个轴向图像上生成的修正边界曲线复制到全部轴向面上,将包含全部的修正边界曲线的面作为剪裁面。
如本图所示,还可以在在样条曲线中难以设定的胎盘和胎儿的边界设定通过本实施方式的步骤得到的修正边界曲线404。根据由该修正边界曲线生成的剪裁面,可以对胎儿(图像化对象组织)的区域和胎儿以外多余组织(图像化非对象组织)的区域进行高精度区分。因此,可以不将胎儿以外的多余数据用于渲染处理,从而提高最终得到的三维投影图像的画质。
(三维关注区域设定处理的流程)
本实施方式的三维关注区域设定处理的流程进行说明。图15是本实施方式的三维关注区域设定部110进行的三维关注区域设定处理的处理流程。
接受部210将断层图像(轴向图像400)显示在显示部108(步骤S1101)。然后,从用户接受边界曲线(初始边界曲线)401的输入(步骤S1102)。
开始点检测部221从初始边界曲线401检测开始点411(步骤S1103)。能量图生成部222利用开始点411分割轴向图像400,生成能量图421、431(步骤S1104)。路径探索部223探索能量图421、431,得到最小能量路径(步骤S1105)。
有效性判定部224判定探测出的最小能量路径的有效性,取得分割边界曲线(步骤S1106)。结合部225从分割边界曲线得到修正边界曲线404(步骤S1107)。
剪裁面生成部226基于在轴向图像400上决定的修正边界曲线404,生成剪裁面,并设定3D-ROI(步骤S1108)。
如以上说明那样,本实施方式的诊断图像生成装置(超音波图像取得装置)100具有:三维关注区域设定部110,针对从生物体内的三维空间取得的数据的集合体即体数据,设定应用渲染处理的三维关注区域;投影图像生成部107,使用上述三维关注区域内的上述数据执行渲染处理,生成三维投影图像,上述三维关注区域设定部110具有:接受部210,在上述体数据的预先决定的断层图像上,接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,上述剪裁面决定部220在上述断层图像上决定边界曲线,并且根据该边界曲线决定上述剪裁面,上述边界曲线经过基于上述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
上述接受部210将希望的剪裁面与上述断层图像的交线即初始边界曲线作为上述指示进行接受,所述剪裁面决定部可以具有在上述初始边界曲线上检测上述开始点的开始点检测部221。
上述剪裁面决定部220还可以具有能量图生成部222,使用经过上述开始点的像素串将上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,分别生成能量图;路径探索部223,在上述各能量图上,探索最小能量路径,上述最小能量路径是连接像素值的总和为最小的像素的路径;有效性判定部224,根据上述初始边界曲线和上述最小能量路径之间的最大距离,分别决定上述分割后的各图像的分割边界曲线;结合部25,将上述分割边界曲线结合,得到上述边界曲线。
上述有效性判定部224在上述初始边界曲线与上述最小能量路径之间的最大距离在预先决定的距离阈值以上时,将上述初始边界曲线作为上述边界曲线,当上述最大距离小于上述距离阈值时,将上述最小能量路径作为上述边界曲线。
在本实施方式中,将用户设定的曲线即初始边界曲线401修正为连接亮度最低的像素的线,得到修正边界曲线。使用能量图,通过探索能量最小的线来进行修正。在探索中通过使用能量图,在全局上可以得到上述线,并可以抑制错误的发生。
因此,根据本实施方式,由于用户设定的曲线、或者根据该曲线得到的初始边界曲线401多少有些不正确,即使胎儿的一部分发生欠缺,或是包含较多的胎盘,只要初始边界曲线401的一部分通过羊水区域,就可以正确地设定胎盘与胎儿的边界曲线。
即,可以实现高度健全的系统。换而言之,可以提高用户设定的自由度,并可以使设定操作简单化。
另外,本实施方式中,在探索最小能量路径时,由于将探索方向限定在3个像素方向上,因此可以通过线性时间进行计算。此外,在探索最小能量路径时,由于设定了必须通过初始边界曲线401上的一点,因此可以大幅抑制运算成本。
并且,由于具备有效性判定部224,可以最低限度地保证从用户自身设定的曲线得到的在初始边界曲线401上的显示。
如以上说明,根据本实施方式,将用户设定的曲线作为起点,可以修正为最佳的曲线,可以实现最终得到的三维投影图像的画质提升、高度健全性以及用户操作性的提高。例如,能够以更高的画质且高度健全地得到胎儿的3D影像显示。
(变形例)
此外,有效性判定部224的有效性判定方法并不局限于上述方法。例如,也可以设定2个阈值,使用这些阈值判定有效性。以下,对该情况的判定方法进行说明。这里,将使用的2个阈值设为第一阈值th1和比第一阈值小的第二阈值th2。
与上述相同,首先,将初始边界曲线401以及最小能量路径402之间的距离的最大值(最大距离)403与第一阈值th1进行比较,当最大距离403比第一阈值th1小时,判断为有效,当最大距离403在第一阈值th1以上时,判断为不是有效。在上述方法中,当判断为有效时,采用了最小能量路径402,但是在此,还进一步将两者间的距离与第二阈值th2进行比较,仅当在第二阈值th2以下时,采用最小能量路径402,其他情况时采用第二阈值th2。
使用图16(a)以及图16(b),通过具体的例子说明该方法。在图16(a)中,虚线表示初始边界曲线401,点线表示最小能量路径402,实线表示最终采用的修正后的边界曲线(修正边界曲线)404。此外,图16(b)表示初始边界曲线401与最小能量路径402之间的距离D。
在该例子中,例如,在从0到x1之间,由于两者间的距离D在第二阈值th2以下,所以采用最小能量路径402。从x1到x2之间,由于两者间的距离D比第二阈值th2大,所以采用第二阈值th2。从x2到x5之间,由于两者间的距离D在第二阈值th2以下,所以采用最小能量路径402。从x5到x6之间,由于两者间的距离D比第二阈值th2大,所以采用第二阈值th2。从x6到x7(端部)之间,由于两者间的距离D在第二阈值th2以下,所以采用最小能量路径402。
如此,有效性判定部224在初始边界曲线401和最小能量路径402之间的最大距离403在预先设定的第一阈值th1以上时,可以将初始边界曲线401作为分割边界曲线,当最大距离403比第一距离阈值th1小,且在比第一距离阈值th1小的第二距离阈值th2以上时,可以将第二距离阈值th2作为分割边界曲线,当最大距离403比第二距离阈值th2小时,可以将最小能量路径402作为分割边界曲线。
连接在各区间中采用的曲线、值,得到分割边界曲线。由此,可以采用最大限度地应用计算出的最小能量路径402的曲线。
(第二实施方式)
对应用本法明的第二实施方式进行说明。在第一实施方式中,用户与以往一样输入边界曲线。然后,基于用户输入的边界曲线,决定生成能量图的开始点,将该点作为起点修正边界曲线。另一方面,在本实施方式中,用户输入边界曲线的开始点来取代输入边界曲线。
本实施方式的超声波图像取得装置100基本上具有与第一实施方式相同的结构。但是,由于用户输入的信息不是边界曲线而是开始点,所以三维关注区域设定部100a的结构不同。以下,主要着眼于与第一实施方式不同的结构来对本实施方式进行说明。
此外,在本实施方式的说明中,以将图像化对象组织设为胎儿,将图像化非对象组织设为其他组织的情况为例进行说明。即,如图17所示,在本实施方式中,通过用户仅指定胎盘和胎儿之间的羊水区域的1点,生成边界曲线。
如图18所示,本实施方式的三维关注区域设定部110a具有作为来自用户的指定接受开始点的接受部210a和剪裁面决定部220。本实施方式的剪裁面决定部220具有:能量图生成部222,利用经过上述开始点的像素串对上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,并分别生成能量图;路径探索判定部227,在上述各能量图上,探索连接像素值的总和为最小的像素的路径即最小能量路径,并分别决定上述分割后的各图像的分割边界曲线;结合部225,将上述分割边界曲线结合,得到上述边界曲线;以及剪裁面生成部226,上述路径探索判定部227进一步计算在探索上述最小能量路径时得到的1个以上的各路径候补的像素值的离散,将上述像素值的总和在第一阈值以下、且上述离散在第二阈值以下的路径候补作为上述分割边界曲线。
如上上述,在本实施方式中,用户输入的信息为开始点。因此,如图18所示那样,本实施方式的三维关注区域设定部110a不具备开始点检测部221。而且,接受部210a的处理不同。
此外,由于没有成为基准的初始边界曲线,在最小能量路径探索时,同时还对有效性进行判定。因此,具备路径探索判定部227,来替代路径探索部223以及有效性判定部224。
(接受部)
本实施方式的接受部210a,如图17所示,从图像处理部105生成的断层图像中,将规定的断层图像显示在显示部108,在该图像上,从用户接受开始点411a的指定。本实施方式中,作为断层图像,以显示轴向图像400的情况为例来进行说明。
显示部108与第一实施方式相同具备触摸板,通过该触摸板接受来自用户的开始点411a的指定。用户指定并输入胎盘和胎儿之间的羊水区域的1点。
(能量图生成部)
本实施方式的能量图生成部222的处理基本上与第一实施方式相同。即,根据用户设定的开始点411,将轴向图像400进行2分割,在2分割后的图像420、430中,分别生成能量图421、431。
(路径探索判定部)
路径探索判定部227是将第一实施方式的路径探索部223和有效性判定部224的功能合并后的处理部。即,在各分割图像420、430中,对追寻能量图421、431的能量最小值的路径进行探索,生成最小能量路径402的同时,还判定有效性。本实施方式中,由于没有作为判断基准的初始边界曲线,所以利用以下方法进行判定。
路径探索判定部227利用与第一实施方式相同的方法,从能量图的端部的像素(探索开始点)422、432起开始进行探索。这时,在本实施方式中,对于各路径候补i,与能量的总和值相加,计算离散值。
具体地说,关于各路径候补i,对下式(3)以及下式(4)进行计算。
然后,与各路径候补i的总能量值相加,进行使用了各路径离散值EMσ2的判定。也就是说,选择总能量值在第一阈值T1以下,且离散值EMσ2在第二阈值T2以下的路径。然后,将选择的路径作为修正后的分割边界曲线进行输出。
此外,此时,当没有符合上述条件的路径时,提示用户无法设定关注区域,敦促用户追加羊水区域的指定点。
(结合部,剪裁面生成部)
本实施方式的结合部225与第一实施方式相同,将在各2分割图像420、430计算出的修正后的分割边界曲线结合,生成修正边界曲线404,并在轴向图像400上进行显示。此外,剪裁面生成部226也是通过与第一实施方式相同的方法,由修正边界曲线404生成剪裁面。
(三维关注区域设定处理的流程)
下面,对该三维关注区域设定部110a进行的三维关注区域设定处理的流程进行说明。图19是本实施方式的三维关注区域设定处理的流程图。
接受部210a将断层图像(轴向图像400)显示在显示部108(步骤S1101)。然后,从用户接受开始点411a的输入(步骤S2102)。能量图生成部222根据开始点411a将轴向图像400进行分割,分别在分割图像420、430中生成能量图421、431(步骤S1104)。
路径探索判定部227使用与第一实施方式相同的方法,开始探索最小能量路径(步骤S2103)。这时,在本实施方式中,关于各路径候补i,不仅计算出能量的相加值,还计算离散值。
路径探索判定部227判断有无满足上述条件的最小能量路径(步骤S2104)。
当存在满足上述条件的路径时,路径探索判定部227将该最小能量路径作为分割边界曲线输出(步骤S2105)。然后,结合部225从分割边界曲线得到修正边界曲线(步骤S1107)。
剪裁面生成部226基于在轴向图像400上决定的修正边界曲线404,生成剪裁面,并设定3D-ROI(步骤S1108)。
当不存在满足上述条件的路径时,路径探索判定部227向用户提示无法设定关注区域,并敦促追加羊水区域的开始点(步骤S2106)。
当接受部210接受了新的开始点411a的指定时,返回步骤S2102。
如以上说明的那样,本实施方式的诊断图像生成装置(超声波图像取得装置)100与第一实施方式相同,具备三维关注区域设定部110a和投影图像生成部107。然后,本实施方式的三维关注区域设定部110a具备:接受部210a,在上述体数据的预先决定的断层图像上,接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,上述剪裁面决定部在上述断层图像上决定边界曲线,并且根据该边界曲线决定上述剪裁面,上述边界曲线经过基于上述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
上述接受部210a将上述开始点作为上述指示接受,上述剪裁面决定部220具有:能量图生成部222,利用经过上述开始点的像素串将上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,并分别生成能量图;路径探索判定部227,在上述各能量图上,探索连接像素值的总和为最小的像素的路径即最小能量路径,并分别决定上述分割后的各图像的分割边界曲线;结合部225,将上述分割边界曲线结合,得到上述边界曲线,上述路径探索判定部227进一步计算在探索上述最小能量路径时得到的1个以上的各路径候补的像素值的离散,将上述像素值的总和在第一阈值以下,且上述离散在第二阈值以下的路径候补作为上述分割边界曲线。
根据本实施方式,从用户指定的开始点使用能量图,将能量最小的线作为修正边界曲线。因此,可以得到与第一实施方式相同的效果。
此外,如上所述,在本实施方式中,通过用户仅指定胎盘和胎儿之间的羊水区域的1点,生成边界曲线,可以设定3D-ROI。因此,用户的操作性飞跃性地提高。即,用户指定1点即可,例如可以通过简单的操作实现高品质的胎儿的三维投影图像。
此外,在通过有效性的判定,判断为生成曲线的可靠性低时,向用户通知该主旨,并变更指定点。由此,可以进一步提高3D-ROI的设定精度,可以提高作为结果最终得到的三维投影图像的精度。
并且,在本实施方式中,基本上将能量值作为可靠性指标来使用进行判定。本实施方式的该最小能量路径探索判定处理也可以应用于第一实施方式。
此外,相反,也可以预先生成曲线模型,将其作为第一实施方式的初始边界曲线,使用与第一实施方式相同的方法,进行最小能量探索处理和有效性判定处理。例如预先积蓄胎盘和胎儿之间的曲线(胎儿的形状)的数据,使用机械学习提取其特征量,由此来生成模型曲线。
(变形例)
另外,如图20所示,三维关注区域设定部110b还可以具有进行噪声降低处理的噪声降低部230。
噪声降低部230,对于在三维关注区域设定部110b的处理中使用的断层图像(在此是指轴向图像400),进行噪声降低处理。作为噪声降低处理,具有高斯或中值等的平滑化处理、滤波处理等。在滤波处理中使用的滤波器是只去除由于亮度值比较低的羊水内的悬浮物或多重反射等产生的噪声,保持胎儿的形状信息的双边滤波器、引导滤波器(GuideFilter)等边缘保持滤波器。
接受部210a将噪声降低后的轴向图像400提示给用户,接受开始点411的指定。另外,能量图生成部222利用噪声降低后的轴向图像400,生成能量图421、431。
由此,充分进行平滑化处理,除去悬浮物等在只有大致形状的图像上生成能量图,生成的能量图421、431的精度提高,从而最终得到的边界曲线的精度、3D-ROI的精度也提高。
此外,在坐标变换部106以及投影图像生成部107中,不使用平滑化的图像,而使用噪声降低处理前的断层图像,进行体数据的生成以及三维投影图像的生成。
此外,对于三维关注区域设定部110b使用的断层图像的噪声降低处理,同样可以应用于第一实施方式。
(第三实施方式)
下面,说明本发明的第三实施方式。本实施方式中,使第一实施方式或者第二实施方式的三维关注区域设定部生成的修正边界曲线,可以进一步由用户进行修正。以下,对于本实施方式,以在第二实施方式中追加该功能的情况为例进行说明。
本实施方式的超声波图像取得装置100的结构基本上与第二实施方式相同。此外,本实施方式的三维关注区域设定部100c也如图21所示那样,具有基本上与第二实施方式相同的结构。
如本图所示,本实施方式的三维关注区域设定部100c具有:接受部210a,在体数据的预先决定的断层图像上,接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面。然后,本实施方式的剪裁面决定部220与第二实施方式相同,具有能量图生成部222、路径探索判定部227、结合部225和剪裁面生成部226。并且,本实施方式的剪裁面决定部220还具有修正上述边界曲线的修正部228,上述修正部228在上述边界曲线上接受追加的指定点,将上述边界曲线修正为经过该指定点,并且连接亮度值最小的像素的曲线。
修正部228对于路径探索判定部227生成并修正后的分割边界曲线,接受来自用户的修正指示,进行修正。本实施方式的修正部228将计算出的边界曲线在被选择的断层图像上显示,经由该显示,接受修正指示。即,修正部228通过来自用户的追加互动进行曲线修正。
用户指定开始点411a,生成的修正边界曲线404在图22(a)中表示。本实施方式的修正部228经由该显示,如图22(b)所示那样,接受追加指定点416的指示。然后,接受指示,修正部228将修正边界曲线404修正为经过开始点411a以及追加的指定点(追加指定点)416两方的曲线405。
在图22(a)以及图22(b)中,501是胎儿的手腕。最初生成的修正边界曲线404在胎儿的手腕501上方经过。因此,当基于该边界曲线404生成剪裁面时,直至胎儿手腕也被包含在3D-ROI中。通过用户指定追加指定点416,可以从3D-ROI中去除手腕501,仅将脸502部分作为图像化对象区域。
修正部228当接受了追加指定点416时,将该追加指定点416作为开始点,利用与第二实施方式相同的方法,使各部(能量图生成部222、路径探索判定部227、结合部225)动作,生成经过该追加指定点416的修正边界曲线。另外,这时,以还经过先前指定的开始点411a的方式生产修正边界曲线。
如图23所示,修正部228以开始点411a和追加指定点416为起点,将图像进行3分割(分割图像430、440、450),在分割图像440以及450中,进行在第二实施方式中说明的最小能量路径探索有效性判定处理。
具体地说,如图23所示,使用经过开始点411a的z轴方向的线(串)以及经过追加指定点416的z轴方向的线(串),对轴向图像400进行分割。然后,在开始点411a和追加指定点416之间的区域(分割图像440)、从追加指定点416开始到与开始点411a相反侧的端部为止的区域(分割图像450)中,将追加指定点416作为开始点,使用与第二实施方式相同的方法,生成修正后的分割边界曲线。
这时,在分割图像440中,将经过开始点411a以及追加指定点416两方作为限制条件。即,在分割图像440中,不是选择最小能量路径,而是从经过追加指定点416的路径候补中选择成为最小能量且有效的路径。
生成的3个分割边界曲线通过结合部225被连接,并作为修正边界曲线405输出,如图22(b)所示,在轴向图像400上进行显示。
另外,在本实施方式中,在由路径探索判定部227进行的最小能量路径探索判断处理中,可以使用有意识地使上述追加指定点416的能量值为最小值,为了必然经过追加指定点416进行再探索的方法。
另外,不限定用户设定追加指定点416的次数。每次指定追加指定点416,修正部228使用上述方法对断层图像(轴向图像400)进行分割,更新修正边界曲线。
另外,1次的追加指定点416的接受数量不限定为1点。可以从用户接受多个追加指定点416的输入。修正部228使用经过各追加指定点416的串分割轴向图像400,在各分割图像中,进行最小能量路径探索判定处理,决定分割边界曲线。这时,将经过两端的各追加指定点416作为限制条件。
这时,修正部228可以基于由用户指定的追加指定点416的个数,即,基于轴向图像499的分割数,使能量图生成部222和路径探索判定部227并行动作。
如上述说明,本实施方式的诊断图像生成装置(超声波图像取得装置)100和第二实施方式相同,具有三维关注区域设定部110c,投影图像生成部107。并且,本实施方式的三维关注区域设定部110c还具有修正上述边界曲线的修正部228,上述修正部228在上述边界曲线上接受追加的指定点,并将上述边界曲线修正为经过该指定点,且连接亮度值最小的像素的曲线。
如此,在本实施方式中,将生成的边界曲线重叠在断层图像上来向用户进行提示,通过来自用户的追加互动进一步进行修正。根据本实施方式,用户可以根据喜好、诊断的种类等,修正生成的边界曲线。此外,通过输入多个指定点,可以更快速地得到并显示用户需要的三维投影图像。
根据本实施方式,例如,可以通过更简单的操作正确地实现胎儿的三维投影图像显示。
此外,本实施方式中,可以对开始点411a以及追加指定点416进行变更。即,在显示断层图像400时,还将开始点411a以及追加指定点416与边界曲线一同显示,接受将当前已设定的开始点411a以及追加指定点416中的任意一个删除的指示。然后,重新计算仅经过剩余的开始点411a以及/或者追加指定点416的边界曲线。本处理例如是从图22(b)的边界曲线405返回图22(a)的边界曲线404的处理。
另外,本实施方式以使用第二实施方式的方法,生成最初的修正边界曲线404的情况为例进行了说明,但是也可以使用第一实施方式得到最初的修正边界曲线404。
(第四实施方式)
接下来,对第四实施方式进行说明。在本实施方式中,在与第一断层面正交的多个第二段层面中,能够与第一断层面相同地修正边界曲线。以下,以将第一断层面设为轴向面,将第二段层面设为径向面的情况为例进行说明。
如图24所示,本实施方式中,使用上述第二实施方式的方法,首先,在轴向面上决定修正边界曲线404。接下来,在预先设定的多个径向面上,分别生成修正边界曲线604。这时,将修正边界曲线404和各个径向面的交点作为开始点。然后,在各径向面上,使用第二实施方式的方法,生成修正边界曲线604。然后,生成包含全部的修正边界曲线404以及修正边界曲线604的面来作为剪裁面460。
本实施方式的超声波图像取得装置100具有基本上与第二实施方式相同的结构。另外,本实施方式的三维关注区域设定部110d也具有基本上与第二实施方式相同的结构。但是,本实施方式中,使用在轴向面上的修正边界曲线404,设定多个径向面中的开始点。因此,如图25所示,本实施方式的三维关注区域设定部110d还具有第二开始点检测部229。另外,剪裁面生成部226的处理也不同。
(第二开始点检测部)
本实施方式的第二开始点检测部229检测结合部225生成的修正边界曲线404与预先决定的1个以上的径向面的交点,并将其作为各径向面的开始点。预先决定1个以上的径向面。
(剪裁面生成部)
本实施方式的剪裁面决定部220当在各径向面上生成了修正边界曲线604时,先将在径向面上生成的修正边界曲线404和多个修正边界曲线604连接,生成剪裁面。即,本实施方式的剪裁面决定部220进一步在与上述断层图像正交的断层图像上,决定经过与上述边界曲线的交点即开始点,且连接最小亮度值的像素的第二边界曲线,生成包含上述边界曲线以及上述第二边界曲线的面来作为剪裁面。
具体地说,如图24所示,关于轴向面,将在预先决定的轴向面上生成的边界曲线404直接复制到全部轴向面上。
关于径向面,使用在上述多个径向面上生成的边界曲线604进行扩展。关于没有生成边界曲线604的径向面,将接近的生成边界曲线的径向面的边界曲线604直接复制,或者通过径向面之间的距离赋予权重,进行插值处理来生成。
预设决定多个径向面。此外,各径向面间的间隔可以是等间隔,也可以是不等间隔。可以由用户设定,也可以预先进行设定。
(三维关注区域设定处理)
图26是本实施方式的三维关注区域设定处理的处理流程。这里,在M张(M是1以上的整数)径向面上生成修正边界曲线604。
三维关注区域设定部110d的各部执行第二实施方式的三维关注区域设定处理的步骤S1101~S1107,在轴向图像400上,生成修正边界曲线404(步骤S4101)。
第二开始点检测部229通过检测各径向面与修正边界曲线404的交点,得到各径向面的开始点(步骤S4102)。
关于各径向面,进行以下步骤S4104到步骤S4108的处理(步骤S4103、S4111、S4112)。
能量图生成部222由检出的开始点生成能量图(步骤S4104)。路径探索判定部227探索最小能量路径(步骤S4105),判断有无满足在第二实施方式中说明的条件的最小能量路径(S4106)。当存在满足条件的路径时,路径探索判定部227将该路径作为分割边界曲线进行输出(步骤S4107)。然后,结合部225从分割边界曲线得到修正边界曲线604(步骤S4108)。
另一方面,在步骤S4106中,当没有满足条件的路径时,向用户提示无法设定的主旨,并且敦促设定新的开始点(步骤S4109)。当接受部210a接受了开始点时(步骤S4110),转向步骤S4104继续处理。
最后,剪裁面生成部226由在步骤S4101内生成的修正边界曲线404和在步骤S4108生成的修正边界曲线604生成剪裁面(步骤S4113)。
如上述说明的那样,本实施方式的诊断图像生成装置(超声波图像取得装置)100a与第一实施方式相同,具备三维关注区域设定部110d和投影图像生成部107。然后,本实施方式的三维关注区域设定部110d与第二实施方式相同,具有:接受部210a,在上述体数据的预先决定的断层图像上接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,剪裁面决定部还在与上述断层图像正交的断层图像上,决定经过与上述边界曲线的交点即开始点,且连接最小亮度值的像素的第二边界曲线,上述剪裁面生成部生成包含上述边界曲线以及上述第二边界曲线的面来作为剪裁面。
如此,根据本实施方式,基于用户的设定,将边界曲线修正为连接亮度最低的像素的的曲线,并由修正后的边界曲线决定剪裁面。因此,与上述各实施方式相同,能够高精度地得到图像化对象区域和图像化非对象区域之间的边界曲线。结果,可以得到高精度的三维投影图像。
并且,根据本实施方式,在生成3D-ROI时关于径向面也进行同样的处理。由此,从多方向决定图像化对象区域和图像化非对象区域的边界曲线。因此,可以更高精度地设定3D-ROI,可以生成去除了关注区域以外的悬浮物或噪声的更高精度的体数据。
另外,修正边界曲线404的生成也可以使用第一实施方式或者第三实施方式的方法。