背景技术
超声波图像处理装置是基于由发射和接收超声波来获取的数据而形成超声波图像或者处理这样的超声波图像的装置,并且超声波图像处理装置被配置为超声波诊断装置或信息处理装置。这里,信息处理装置例如为处理从超声波诊断装置传输的数据的计算机。在超声波图像处理装置中,待形成或待处理的超声波图像包括二维超声波图像、三维超声波图像等。
通过对从活生物体(活体)内的三维空间中获取的体数据(回波数据的集合)应用体绘制方法,形成了三维超声波图像(体绘制图像)。更具体地,首先,相对于体数据设定从观测点延伸出的多条射线(虚拟视线,其对应于操作路径),然后对于存在于各条射线上的采样点以重复的方式顺序地执行预定操作,从而获得对于每条射线的像素值。最后,三维图像形成为与多条射线相对应的多个像素值的集合(例如参见JP 10-33538A)。
一般体绘制的算法由下面的公式表示。在下面的公式中,I表示像素值(亮度值),e(i)表示在射线上的采样点上的回波强度(回波值),而o(e(i))表示不透明度(不透明的程度),其中i表示采样点的标号。
I=∑[e(i)*o(e(i))*(1-o_out(i-1))]…(1)
其中,o_out(i)=∑o(e(i))*(1-o_out(i-1))这里,当不透明度的和达到1时或者当采样点在操作范围之外时,操作完成,并且将此时I的值映射到投影平面上。上述公式(1)仅为示例,已知有用于体绘制处理的各种其它算法。
这里,作为用于三维图像的显示方法,已知有:四个图像显示在单个屏幕内的四视图显示(例如,显示三个正交剖面图像和一3D图像)、两个图像显示在单个屏幕内的两视图显示(例如,显示剖面图像和3D图像)、单个图像显示在单个屏幕内的单视图显示(例如,显示3D图像)等。由于处理单个体数据所需的时间通常与投影平面上的像素数量(即,射线的数量)成比例,因此在上述的三种方法中,单视图显示方法需要最长的处理时间。监测器的尺寸越大,由于形成显示图像的像素的数量增加,因此处理时间也相应地变得越长。因此,通常,存在与三维图像的形成有关的问题:计算量大并且CPU的负荷重。尽管可以考虑使用高速处理器,但是在该情况下,也将产生成本增加的另一个问题。
尽管为了解决上述问题而期望减少射线的数量从而降低计算量,但如果只是减少射线的数量,则三维图像的分辨率会降低或者三维图像的尺寸会减小。因此,可以考虑应用线性插值处理。通过线性插值处理,可以增加像素的表观(apparent)数量和分辨率。然而,该处理使得图像变模糊,这导致了图像质量下降的问题。当只是放大图像时,也将产生图像质量下降的问题。
通常指出的是,由体绘制方法生成的三维超声波图像缺乏锐度并且具有不清晰的轮廓。这里,常规的一般插值处理参照存在于关注像素周围的四个、八个或十六个邻近像素。换句话说,在常规的一般插值处理中,待参照的范围在关注像素的周围沿所有方向同等地延伸。在常规技术中,不能够依据组织的结构适应性地改变插值条件。
JP 2010-125A公开了一种用于形成包括在膝关节中的软骨组织的图像的装置。该参考文件从第0042段开始描述了在软骨组织图像形成处理之前执行的预处理的内容。所述预处理是以片数据(二维帧)为单位执行的。更具体地,在贯穿关注像素的多个线段中,具有最大离散值的线段被指定,并且与该指定的线段正交的线段进一步被指定。然后,计算存在于该正交的线段上的多个像素值的平均值,并且将该平均值用作关注像素的更新后的像素值。在形成软骨组织图像之前该处理应用于各个片数据,因此该处理不是在体绘制之后应用于3D图像上的处理。此外,JP 2010-125A未描述具有放大率变化功能(分辨率变化功能)的特殊的方向性插值处理。
发明内容
本发明的优点是提高三维超声波图像的图像质量或减少用于生成三维超声波图像的计算量。
本发明的另一优点是即使当射线的数量小时也能够形成具有优良图像质量的三维超声波图像。
依据本发明的方案,本发明的装置包括:绘制单元,其相对于从活生物体内的三维空间中获取的体数据来设定多条射线并且沿着每条射线执行绘制操作,以生成呈三维图像形式的原始图像;以及方向性插值处理单元,其基于所述原始图像生成显示图像,所述方向性插值处理单元基于所述原始图像将方向性插值处理应用于形成所述显示图像的每个关注像素上,从而对于所述关注像素生成插值像素值,其中,借助于所述方向性插值处理,在所述原始图像中以三维形式表示的组织的流向上确定用于计算所述插值像素值的像素参照方向。
借助于以上结构,首先通过体绘制处理以三维图像的形式生成原始图像,然后将方向性插值处理应用于所述原始图像上以基于原始图像生成显示图像。方向性插值处理并不是同等地参照在用作中心的对应点(兴趣点)周围的整个区域的处理,而是在组织的流方向上确定像素参照方向并且通过使用在所述像素参照方向上布置的多个像素值来计算插值像素值的处理。因此,借助于该处理,能够使组织的轮廓清晰,从而能够改善在三维图像上产生的模糊。反过来说,即使射线的数量被减少而形成具有低分辨率的三维图像,但是通过在事后将所述方向性插值处理应用于三维图像上,也能够生成高分辨率的三维图像。因此,能够同时实现计算量的减少和图像质量的提高。优选地,所述显示图像为具有的放大率或分辨率不同于所述原始图像的放大率或分辨率的图像,并且所述放大率或所述分辨率在方向性插值处理时改变。
优选地,所述方向性插值处理单元包括:评估值计算单元,其使用与所述关注像素对应的对应点作为基准在所述原始图像上设定多个相互不同的备选方向,并且计算表示像素值在各个备选方向上变化的评估值;方向确定单元,其基于计算出的多个评估值来确定所述像素参照方向;以及插值像素值计算单元,其基于与在所述像素参照方向上布置的多个像素有关的多个像素值来计算插值像素值。所述像素参照方向为沿着组织的轮廓(边界)的方向。可以首先获得相对于轮廓的法线方向然后确定与所述法线方向正交的像素参照方向,或者可以直接将所述像素参照方向确定为与轮廓平行的方向。在前者的情况下,可以通过在多个备选方向中指定具有最大离散值的备选方向,并且确定与所述指定方向正交的方向来确定所述像素参照方向。在这种情况下,所述像素参照方向可以被确定为多个备选方向中的一个,或者所述像素参照方向可以被确定在两个备选方向之间。可选择地,所述像素参照方向可以确定为多个备选方向中的具有最小离散值的方向。
优选地,由于将所述方向性插值处理应用于形成显示图像的每个像素上,因此生成了与所述原始图像的放大图像相对应的显示图像,并且基于被设定用于生成所述原始图像的射线的数量来确定所述显示图像的放大比例。由于形成三维图像的像素的数量是依据在单个屏幕上同时显示的图像的数量(视图的数量)确定的,因此可期望首先确定与最小图像相对应的射线的数量,并且当需要显示较大的图像时,可期望依据尺寸的变化比例来增大方向性插值处理中的放大率。换句话说,通过使射线的数量独立于视图的数量而固定,可以依据视图的数量来改变放大率。
优选地,进一步设置后处理单元,所述后处理单元将后处理应用于由所述方向性插值处理生成的所述显示图像,并且所述后处理是用于调节所述显示图像的对比度的处理。
优选地,通过对比度调节处理,当输入像素值大于背景平均亮度值时,基于所述输入像素值,输出大于所述输入像素值的输出像素值,并且当输入像素值小于背景平均亮度值时,基于所述输入像素值,输出小于所述输入像素值的输出像素值。
根据本发明的程序为一种在信息处理装置中执行的超声波图像处理程序,所述程序包括:相对于从活生物体内的三维空间中获取的体数据设定多条射线并且沿着每条射线执行绘制操作,从而生成呈三维图像形式的原始图像的模块;以及方向性插值处理模块,其基于所述原始图像生成显示图像,所述方向性插值处理模块基于所述原始图像将方向性插值处理应用于形成所述显示图像的每个关注像素上,以便对于所述关注像素生成插值像素值,并且所述方向性插值处理包括:使用与所述关注像素对应的对应点作为基准在所述原始图像上设定多个相互不同的备选方向,并且计算表示像素值在各个所述备选方向上变化的评估值的处理;基于计算出的多个评估值从所述多个备选方向中确定用于计算插值像素值的像素参照方向的处理;以及基于与在所述像素参照方向上布置的多个像素有关的多个像素值来计算所述插值像素值的处理。在所述方向性插值处理中,在所述原始图像中以三维形式表示的组织的流向上确定所述像素参照方向。所述信息处理装置可以为计算机、超声波诊断装置等。所述方向性插值处理可以视为独立的处理。上述程序可以存储在诸如CD-ROM的记录介质中,并且经由这种记录介质可以安装在信息处理装置中。
具体实施方式
将参照附图详细地描述本发明的优选实施例。
图1为图示出根据本发明的超声波图像处理装置的优选实施例的整体结构的框图。在本实施例中,超声波图像处理装置被构造作为超声波诊断装置。
更具体地,超声波诊断装置用于医疗领域,并且是一种通过向活生物体发射超声波并从活生物体接收超声波来形成超声波图像的装置。在本实施例中,相对于活生物体内的三维区域发射和接收超声波,从而获取体数据。基于所获取的体数据,形成用作体绘制图像的三维超声波图像或者一个或多个层析图像,下面将对此进行详细描述。
3D探头10为用于捕捉三维回波数据的超声波探头。在本实施例中,3D探头10包括1D阵列传感器以及用于机械地扫描1D阵列传感器的机械扫描机构。1D阵列传感器由产生超声波束的多个传感器元件形成。然后,在元件布置方向上电子扫描超声波束,从而形成扫描平面。当机械地扫描1D阵列传感器时,扫描平面以摆动方式运动从而形成三维空间。在图1中,“r”表示深度方向,“θ”表示超声波束的电子扫描方向,
表示扫描平面的机械扫描方向,“S”表示扫描平面,而“V”表示三维空间。取代上述的机械扫描方法,可使用2D阵列传感器以二维方式电子扫描超声波诊断装置波束。
3D探头10具有与活生物体的表面形成接触的发射/接收平面。在本实施例中,3D探头10与孕妇的腹部形成接触。作为发射波束形成器的发射单元12向多个传感器元件提供具有预定延迟关系的多个发射信号,从而形成发射波束。在接收时,来自活生物体内的回波由多个传感器元件接收,然后多个传感器元件将多个接收信号输出至接收单元14。接收单元14为接收波束形成器;即,整相求和处理单元,在其中将延迟处理应用于多个接收信号上并且对多个被延迟的接收信号求和。从而,电子地形成接收波束并且输出与接收波束对应的整相求和处理之后的接收信号(波束数据)。波束数据存储在3D存储器15中。
3D存储器15包括对应于活生物体中的三维空间(实际空间)的存储空间(数据处理空间)。特别地,形成波束数据的每个回波数据项映射到存储空间内的对应地址。借助于将数据写入3D存储器15来应用坐标变换处理,或者借助于将数据从3D存储器15读出来应用坐标变换处理。
层析图像形成单元16为形成与相对于三维空间设定的一个或多个剖面平面相对应的一个或多个层析图像的模块。每个层析图像为单色B模式图像。每个剖面平面的位置可由用户任意设定。层析图像形成单元16从3D存储器中读取与如此设定的剖面平面相对应的回波数据的集合,并且基于所读取的数据形成层析图像。形成的层析图像经由图像处理单元18输出至显示处理单元20。图像处理单元18具有多种图像处理功能,其可包括下面将描述的方向性(各向异性)插值处理。显示处理单元20合成多个图像以形成单个的显示图像,并且将表示显示图像的图像数据输出至显示单元26。
绘制单元22为执行体绘制处理的模块。具体地,绘制单元22执行通过使用从3D存储器15读取的体数据而形成三维图像的处理。已经提出了多种算法用作绘制方法。更具体地,绘制单元22相对于体数据设定多条射线并且对于每条射线执行绘制操作,从而计算出像素值。因此,三维图像(原始图像)生成为多个像素值的集合。此时,参照放大率W,并且基于放大率W确定射线的数量。在本实施例中,与常规技术相比射线基本上被减少。换句话说,根据本实施例,借助于少量的射线生成具有低分辨率的原始图像,然后相对于原始图像执行后处理从而形成具有高分辨率的显示图像。
图像处理单元24为执行方向性插值处理的模块。更具体地,如下面将详细描述的,图像处理单元24在进行插值处理的同时还执行改变放大率(分辨率)。在任何情况下,通过对原始图像应用这种方向性插值处理,可以生成具有加强(emphasized)的清晰轮廓的显示图像,该显示图像的分辨率或放大率已经改变。可以根据需要进一步对这样的显示图像应用后处理。在本实施例中,应用对比度加强处理来作为后处理。将已经经过这种处理的图像传送至显示处理单元20。当图像处理单元24执行操作时,根据需要参照放大率W。
在图1中,在3D存储器15之后的阶段中所示的各个功能实现为软件处理。图1中省去了由CPU和操作程序形成的控制单元。上述的方向性插值处理和绘制处理可以由诸如计算机的信息处理装置来执行。在该情况下,由这种信息处理装置来处理从超声波诊断装置在线或离线提供的体数据(volumedata)。
图2图示出了绘制处理和方向性插值处理。附图标记30表示对应于活生物体内的三维空间的存储空间,并且在该存储空间30中存在体数据31,体数据31在该实施例中为胎儿的体数据。观测点28设定在相对于存储空间30或体数据31的任意位置处。此外,确定源于观测点28的多条射线(视线)34。在该情况下,多条射线34被设定以便贯穿体数据31。屏幕32为投影平面,并且屏幕32上的多个像素一对一地与多条射线相对应。在该图示的示例中,附图标记32a表示像素。关于存在于每条射线上的多个三维像素(采样点),沿着每条射线顺序地执行绘制操作,即,三维像素操作,并且用作最终操作结果的亮度值被映射为与该射线相对应的像素的像素值。通过对每条射线重复该操作,原始图像(三维图像)形成为多个像素值的集合。
根据本实施例,由附图标记36表示的方向性插值处理,即,特殊后处理,被应用于这种原始图像上。因此,可以在显示平面38上形成具有高分辨率的显示图像。这里,附图标记38a表示形成显示平面38的像素。在显示平面38上,形成了呈三维图像形式的显示图像,该显示图像被放大或者该显示图像的分辨率已增加。在该实施例中,通过作为这种后处理来执行的方向性插值处理,可以提高表观分辨率而且能够使轮廓清晰。因此,在将要执行这种后处理的前提下,可以通过在体绘制时减少射线的数量来执行快速绘制操作,从而减轻处理负荷。具体地,如下面将描述的,在基于作为前提的四视图显示法中的小的三维图像首先设定多条射线之后,在方向性插值处理期间的放大率增加,从而能够形成大的图像。通过这种方法,可借助于与四视图图像的计算量类似的三维的计算量来实现单视图显示。
图3图示出了方向性插值处理36A的构思。在图3中,左侧的视图图示出了原始图像32A,而右侧的图像图示出了显示图像(显示平面)38。通过基于原始图像32A执行的方向性插值处理36A,可以形成放大的或其分辨率已经提高的显示图像38。更具体地,形成显示图像38的像素中的每个按顺序地被确定作为关注点40。如由附图标记44所图示的,在原始图像32A上确定与关注点40相对应的对应点(兴趣点)42。然后,通过应用将在下面描述的图4至图6所示的处理,最终获得与关注点有关的插值像素值,并且该插值像素值映射为关注点40的值。
更具体地,图4图示出了原始图像并且还图示出了贯穿对应点的备选线组46。该备选线组46由沿径向布置的多条备选线形成,两条相邻备选线之间的角距是一致的,并且所有备选线具有相同的长度。当然,可以采用不一致的间距,或者可以适应性地设定每条线的长度。在如上所述的设定备选线组46之后,对于每条备选线48,参照存在于该备选线48上的多个像素值,基于这些像素值来计算离散值。具体地,计算出表示像素值的变化程度的评估值。在计算出与多条备选线相对应的多个离散值之后,如图5所示的确定具有这些值中的最大值的备选线。在图5所示的示例中,这一备选线被表示为法线48A。具体地,在与组织49的外周缘49A大致正交的方向上设定法线48A,以使得法线48A贯穿对应点42。然后,如图6所示,参照线48B进一步设定为与法线48A正交的线。参照线48B为沿着(平行于)外周缘49A的线。此外,确定多个采样点,即,确定存在于该参照线48B上的一行采样点50,并且参照这些采样点的多个像素值,将插值像素值计算作为平均值或加权平均值。具体地,该内插像素值为与对应点42对应的亮度值;更具体地,为图3所示的关注点40的插值像素值。
如上所述,尽管一致地参照了关注点或对应点的周围点,但是通过参照沿着组织的流向的多个像素值并且基于多个像素值获得插值像素值,也可以形成具有加强轮廓或清晰轮廓的三维超声波图像。此外,如上所述,可以获得如下优点:即使在通过减少射线的数量而生成具有低分辨率的原始图像的情况下,也可以基于这一原始图像在事后形成具有高分辨率的三维图像。尽管在上述的示例中,在从多条备选线中确定法线之后获得与该法线正交的参照线,但是也可以从多个离散值中指定最小离散值,然后将具有最小离散值的备选线确定作为参照线。在任一情况下,可期望使用对应点或关注点作为中心来设定多条搜索线并且单独评估这些线,然后将组织的流向确定作为评估结果。
图7图示出了用于说明上述程序的流程图。具体地,在步骤S10中关注点被设定在显示图像上,并且在步骤S12中在原始图像上确定关注点的对应点,并且设定贯穿对应点的多个备选方向。在步骤S 14中,对于每个备选方向计算离散值。然后,在步骤S16中具有最大离散值的备选方向被指定为法线方向,并且进一步,在步骤S18中确定正交于法线方向的参照方向。参照方向为沿着组织的轮廓的方向。如上所述,当然在步骤S14之后,可以通过确定具有最小离散值的方向来直接指定参照方向。在步骤S20中,借助于参照与存在于参照方向上的多个采样点有关的多个像素值,将插值像素值计算为其平均值或其加权平均值。在该情况下,可以参照存在于参照方向上的单条线的像素值,或者可以参照多条线。具体地,可以通过设定以矩形形状延伸的窗口并且参照该窗口中的像素值来获得插值像素值。
图8图示出了在各阶段中应用的多个后处理操作。在第一阶段中,应用如方向性插值处理单元52所示的方向性插值处理。在第二阶段中,应用如对比度加强处理单元54所示的对比度加强处理。对比度加强处理单元54包括灰度确定单元56、锐度确定单元58和锐度执行单元60。灰度确定单元56为计算在具有例如m×m像素的窗口内的平均值的模块。锐度确定单元58为基于该窗口内的离散值来计算权重K的模块。下面将参照图9描述用于计算权重K的函数。锐度执行单元60基于当前所关注的像素的像素值I和窗口内的平均值I′以及进一步考虑到权重K来获得作为输出值的像素值。更具体地,计算I+K×(I-I′)。该计算为这样的处理:其中如果关注像素值的亮度值大于背景平均亮度值,则增加亮度值,而如果关注像素值的亮度值小于背景平均亮度值,则减小亮度值。然而,由于期望的是亮度值在离散值大的情况下不发生大幅度的变化,因此权重K用作抑制系数。
更具体地,例如根据图9中所示的函数62A来确定权重K。在图9中,水平轴表示离散值,而竖轴表示权重K。例如当离散值为a1或更小时,K=1.0被设定为权重,并且当离散值在a1和a2之间的范围之内时,离散值越大,则权重K就越小。此外,当离散值为a2或更大时,权重K被设定为0。通过这种结构,当离散值低时,对比度加强,并且随着离散值增大,这种加强处理减弱,最终不执行加强处理。当然,该函数62A仅为一个示例,还可以使用由附图标记62B所示的函数。这里,如图8所示,对于权重K的计算,还可以增大和减小参数k从而允许用户改变函数形状。例如,该参数k为离散值待乘以的系数。
图10图示出了原始图像,而图11图示出了对原始图像已应用常规的线性插值处理的结果。对于线性插值处理,放大率已经被改变。如图11所示,当应用无方向性的一般线性插值处理时,图像质量显著降低。换句话说,图像内容变模糊。图12图示出了对原始图像应用方向性插值处理的结果。如图12所示,原始图像的图像质量在即使放大率改变的条件下仍得以保持,并且由于清晰地显示了胎儿的轮廓反而使得图像内容更优质。反言之,在将要执行这样的后处理的前提下,即使当射线的数量被减少以降低计算量时,也能够执行快速的三维图像形成。
图13图示出了上述后处理的效果。在图13中,水平轴表示像素的位置,而竖轴表示亮度值。附图标记100表示常规的无方向性线性插值处理的结果,而附图标记102表示根据本实施例的方向性插值处理的结果。在后者的处理中,不平度被加强;尤其是,轮廓被加强,如图所示,从而提高了图像质量。
图14图示出了作为要在显示屏幕104内显示的图像的四视图显示。四视图显示由3D图像和三个B模式图像形成。三个B模式图像彼此正交。图15图示出了由3D图像和单个B模式图像形成的两视图显示。图16图示出了由单个3D图像形成的单视图显示。在本实施例中,例如,在如图4所示的形成三维图像之后,可构造如图15所示的稍大的三维图像或如图16所示的大的三维图像。具体地,可以用简单的方式生成放大的三维图像或具有提高的分辨率的三维图像,而无需增加射线的数量。此外,执行控制以使得放大率依据视图的数量而自动地改变。
尽管在上述实施例中方向性插值处理应用于胎儿的三维图像,但类似的处理也可应用于其它的组织。例如,上述的处理可应用于代表血流的三维多普勒图像。在该情况下,方向性插值处理可应用于形成三种原色的各种颜色的信息。此外,尽管在上述实施例中在方向性插值处理之后应用了对比度处理,但是并不总是需要执行后者的处理,并且可以根据需要来应用后者的处理。
尽管已经使用了特定术语来描述了本发明的优选实施例,但这种描述仅为示例性的目的,并且应当理解的是,在不偏离所附的权利要求的精神或范围的情况下可以进行改变。