具体实施方式
以下参照附图对本发明的医用图像诊断装置的优选实施方式详细地进行说明。此外,在以下的说明以及附图中,对具有近似相同功能结构的结构要素标注同一符号,并省略重复说明。
本发明的医用图像诊断装置可适用于超声波诊断装置、X射线CT诊断装置、MRI诊断装置以及组合了这些装置的系统。以下,作为医用图像诊断装置采用了超声波诊断装置,并对基于心脏截面图像的测量进行说明。此外,即使针对心脏以外的活体组织也可以适用。另外,关于截面图像以外的图像也能够适用。
(1.超声波诊断装置的结构)
首先,参照图1,对超声波诊断装置100的结构进行说明。
图1是超声波诊断装置100的结构图。
超声波诊断装置100具有:收发超声波的超声波探头1;根据超声波信号生成图像的图像生成部2;作为保存该图像的存储区域的存储部3;操作者采用输入设备来操作装置的操作部4;设定测量项目的测量项目设定部5;自动设定测量位置的测量位置设定处理部6;采用测量位置进行测量计算的测量计算部11;显示测量位置及测量结果的显示部12以及追踪部14。
测量位置设定处理部6具有:包含过去的至少图像信息、测量位置和测量位置周边的图像信息的图像测量数据库7;采用输入图像信息和图像测量数据库7进行图像识别处理并选择图像的图像选择部8;设定与识别出的图像对应的测量位置的测量位置设定部9;评价并补正由测量位置设定部9所指定的位置的测量位置补正部10;以及采用输入测量条件和图像测量数据库7来进行测量条件识别处理并选择测量条件的测量条件选择部13。
超声波探头1是对被检体收发超声波的装置。超声波探头1具有:扇型、线性型、凸型等形状。超声波探头1接收来自被检体的反射超声波,变换为电信号后输入到图像生成部2。
图像生成部2是根据来自超声波探头1的输入信号生成B模式图像的装置。输入信号通过整相加法器、对数放大器、包络线检波器、A/D变换器、扫描变换器来变换为B模式图像。
存储部3是存储已取得的图像的装置。存储部3例如是硬盘、通用存储器、帧存储器、电影存储器。
操作部4是键盘、鼠标、跟踪球等输入设备。操作者采用操作部4来进行图像质量调节、测量指示及信息输入。
测量项目设定部5是操作者选择希望的测量项目的装置。测量项目例如是特定部位的距离、容积、心肌壁厚、多普勒超声。
测量位置设定处理部6是进行输入图像信息和数据库之间的图像识别处理并设定测量位置的装置。
图像测量数据库7是具有过去的测量位置信息、图像信息以及测量位置周边的图像信息的记录集合。此外,为了减小数据容量可代码压缩后进行保存。另外,图像测量数据库7相应地保存测量条件信息。下面,对测量条件信息叙述。
图像选择部8是采用图像测量数据库7进行输入图像信息的图像识别计算的装置。图像选择部8进行图像识别计算,并从图像测量数据库7内选择与输入图像信息最近似的图像信息。此外,作为图像识别计算可采用相关计算等的图形匹配计算。
测量条件选择部13是采用图像测量数据库7进行输入测量条件的测量条件识别计算的装置。测量条件选择部13进行测量条件识别计算,并从图像测量数据库7内选择与输入测量条件最近似的测量条件信息。
测量位置设定部9是根据从图像测量数据库7内选择的在图像信息的记录中包含的测量位置信息来设定测量位置的装置。此外,测量位置设定部9优选仅选择由测量项目设定部5指定的测量项目所需的信息,来设定测量位置。
测量位置补正部10是补正测量位置设定部9所设定的测量位置的装置。测量位置补正部10进行测量位置的评价,并判断已设定的测量位置是否适合。在已设定的测量位置不是适合的测量位置时,测量位置补正部10补正测量位置。
关于测量位置的评价例如可将边缘强度用作评价量。关于位置偏移的补正例如可采用边缘检测法。另外,可采用图像测量数据库7的测量位置信息所示的测量位置周边的图像信息和已设定的测量位置周边的图像信息之间的变位进行补正。另外,可经由输入设备对测量位置进行手动补正。
测量计算部11是采用设定的测量位置进行各种测量的装置。测量计算部11进行的测量例如是距离以及容积的计算或基于多普勒法的测量、负荷超声、造影剂模式时的时间亮度曲线的构建、变形测量等。
显示部12是CRT显示器或液晶显示器等显示装置。显示部12重叠显示在输入图像上设定的测量位置,显示识别结果,或者显示测量计算的结果。
追踪部14是对在显示部12上显示的动态图像的活体组织的动向进行追踪的装置。
(2.第1实施方式)
接着,参照图2~图5对第1实施方式中的测量位置设定处理部6的动作进行说明。
(2-1.图像测量数据库7)
图2是表示图像测量数据库7的一形态的图。
图像测量数据库7保存多个图像测量信息22的记录。图像测量信息22是与用于过去测量的图像及测量位置等有关的信息。图像测量信息22针对某一个测量使测量位置信息23、图像信息24和测量条件信息25相对应,并作为一个记录进行保存。此外,还可以将测量位置信息23所示的测量位置周边的图像信息26与图像测量信息22相对应着进行保存。
测量位置信息23是与测量位置相关的信息,例如,是表示测量点或测量区域的轮廓点群的座标值。采用在显示部12中的显示画面31上重叠显示图像32以及测量点33的图4,来说明测量位置信息23。在用于过去测量的图像32中,例如沿着心脏壁设定有多个测量点33。这些多个测量点33是上述的测量区域的轮廓点群。由这些测量点33的座标(X1,Y1)、座标(X2,Y2)……所示的座标值作为测量位置信息23分别存储到图像测量数据库7内。此外,上述在X-Y座标中将座标值保存到图像测量数据库7中,不过利用r-θ座标所示的座标值,可将多个测量点33的测量位置信息23分别保存到图像测量数据库7内。
测量位置周边的图像信息26是与测量位置信息23所示的测量位置周边的图像信息。测量位置信息26例如是测量点周边的亮度值或测量区域的轮廓点群周边的亮度值。所谓测量点周边的亮度值是以测量点为中心利用纵横1cm~2cm作成的矩形区域的亮度值。此外,该区域还可以是椭圆区域或圆形区域。
图像信息24是与图4的图像32相关的信息,例如是图像32的亮度值本身或代码压缩化的亮度值。用于过去测量的图像32在每个座标(X,Y)上都分布亮度值。使座标值与亮度值对应,整个图像32的亮度值作为图像信息24保存到图像测量数据库7内。所谓代码压缩化的亮度值例如是各扫描线的亮度值、任意选择2像素中的1像素进行压缩的亮度值。通过使座标值与压缩后的亮度值对应着存储,可抑制预先保存到图像测量数据库7中的记录的数据量。而且,对整个图像32或上述压缩的亮度值实施主成分分析,通过仅存储具有亮度值性质的主成分值,也可以进一步抑制数据量。
此外,上述在X-Y座标中将座标值和亮度值保存到图像测量数据库7内,不过在r-θ座标所示的座标值下,可将座标值和亮度值保存到图像测量数据库7内。
测量条件信息25是与测量环境及测量对象相关的信息。测量条件信息25例如是初始设定、测量项目、测量定时、时系列帧编号、被检体的年龄及性别、与被检体相关的诊断信息、测量对象及被检体的分类。
(2-2.测量位置设定处理部6的动作)
图3是表示测量处理设定处理部6的动作的流程图。
超声波诊断装置100取得被检体的图像数据即输入图像信息21并保存到存储部3内。关于输入图像信息21,可采用超声波探头1输入由图像生成部2生成的图像数据,或者可输入由不同的医用图像诊断装置生成的图像数据(S1001)。
图像选择部8在输入图像信息21和图像测量数据库7的图像信息24之间进行图像识别计算(S1002)。作为图像识别计算可采用相关计算等的图形匹配计算。图像选择部8例如算出对应着存储有座标值和亮度值并通过对比(相关运算或相似度运算等)多个图像信息24和输入图像信息21而取得的相关值,并判断相关值是否大于规定阈值。
然后,图像选择部8判定图像识别计算是否成功(S1003)。例如,图像选择部8在识别计算结果(例如,相关系数及相似度)超过了规定阈值时判定为图像识别成功,在没有超过规定阈值时判定为图像识别失败。并且,图像选择部8选择与输入图像信息21最相似的过去的图像信息24。
在图像识别成功时(S1003的是),测量位置设定部9提取图像测量信息22的一个记录(使测量位置信息23、图像信息24、测量条件信息25和测量位置周边的图像信息26相对应。),该图像测量信息22具有与输入图像信息21最相似的图像信息24。测量位置设定部9取出并设定该图像测量信息22的记录所保存的测量位置信息23。
另外,测量位置设定部9从测量位置信息23中取出与规定的测量项目相应的信息。具体地说,在测量项目例如具有:四腔、二腔、长轴、基部短轴、中部短轴、尖部短轴等。在各个测量项目中预定了测量位置信息23(表示测量点和测量区域的轮廓点群的座标值)。例如,在二腔中确定测量位置信息23,使测量点在图像32的中央附近向上地配置为凸的U字型。另外,在尖部短轴中确定测量位置信息23,使测量点在图像32的中央附近配置为圆形。操作者操作测量项目设定部5来选择测量项目,并读出与该测量项目对应着存储的测量位置信息23,由此能够取出与该测量项目对应的测量位置信息23。
测量位置补正部10根据输入图像信息21来补正测量位置设定部9所取出的测量位置信息23(S1004)。此外下面,对测量位置补正处理进行详细叙述。
测量位置设定处理部6根据补正后的测量位置信息23来设定测量位置。测量位置设定处理部6将该测量位置与输入图像信息21重叠着显示到显示部12上(S1005)。此外,测量位置设定处理部6优选根据图像测量信息22的测量条件信息25来进行初始设定。
测量计算部11根据测量位置设定部9所设定的测量位置来进行测量计算,并将测量结果显示到显示部12上(S1006)。
测量位置设定处理部6根据输入图像信息21及测量位置设定部9所设定的测量位置等来更新图像测量数据库7(S1007)。
此外,在图像识别成功时(S1003的是),测量位置设定处理部6将图像识别结果显示到显示部12。作为图像识别结果例如可显示在当前画面上显示的活体组织部位及断层像的种类。
另一方面,在图像识别失败时(S1003的否),测量位置设定处理部6为了再次取得输入图像信息21,而对操作者进行警告(S1011)。警告可通过向显示部12显示或声音等来进行。另外,测量位置设定处理部6可自动地反复来自S1001的处理。
图4是表示显示部12中的显示画面31的一形态的图。
在显示画面31上重叠地显示图像32以及测量点33。图像32是基于输入图像信息21的图像。图像32是心脏的断层像。测量点33是表示测量位置的点。测量点33的位置根据补正后的测量位置信息23来进行设定。
图5是表示显示部12中的显示画面34的一形态的图。
如图5(a)所示,在显示画面34中,当操作者选择“项目A”作为测量项目36时,将和该测量项目对应的测量点37与图像35重叠着显示。如图5(b)所示,在显示画面34中,当操作者选择“项目B”作为测量项目36时,将和该测量项目对应的测量区域38与图像35重叠着显示。
经过以上的过程,测量位置设定处理部6将输入图像信息21作为关键字,采用数据库7的图像测量信息22,1对1地进行图像识别计算。测量位置设定处理部6从图像测量数据库7中搜索与输入图像信息21最相似的图像信息24的图像测量信息22。测量位置设定处理部6根据搜索到的图像测量信息22的记录中所包含的过去的测量位置信息23,设定输入图像信息21中的测量位置。
如以上所说明的,在第1实施方式中,超声波诊断装置可根据输入图像信息来搜索过去的图像测量信息,并自动地设定测量位置,而无需操作者事先进行初始设定。另外,可自动地切换设定为与操作者所选择的测量项目相应的测量位置。此外,超声波诊断装置还可以通过使图像识别计算高速化,根据操作者对超声波探头1的操作来实时地更新测量位置。
超声波诊断装置与对象患者不相关地将过去的测量位置信息和图像信息(例如,亮度信息)数据库化后保存到存储装置内。超声波诊断装置不是将患者ID及粗略的测量位置作为关键字、而是将输入图像信息作为关键字,利用数据库内的图像信息的图像识别处理,由此无需进行初始设定就能够设定测量位置。
(3.第2实施方式)
接着,参照图6以及图7对第2实施方式进行说明。
在第1实施方式中,作为在输入图像信息21和图像测量数据库7的图像信息24之间进行1对1的图像识别计算的装置进行了说明。在第2实施方式中,在图像信息24之间进行1对1的图像识别计算之前,在代表类别的代表图像信息42之间进行图像识别计算。
(3-1.图像测量数据库7)
图6是表示图像测量数据库7的一形态的图。
图像测量数据库7保存多个分类图像测量数据库41-1,41-2,...。各分类图像测量数据库41-1,41-2,...分别保存代表图像信息42以及多个图像测量信息22的记录。
分类图像测量数据库41-1,41-2,...是按照规定的每一类别来分类并保存图像测量信息22的数据库。规定的类别是与被检体及测量对象相关的类别。规定的类别例如是心脏断层像的测量项目(“长轴”“短轴”“二腔”“四腔”等)、被检体的年龄及性别、疾患的种类。规定的类别被保存在图像测量信息22的测量条件信息25的区域中。例如,分类图像测量数据库41-1保存有分类为“长轴”像的图像测量信息22。
代表图像信息42是代表各规定类别的图像信息。各分类图像测量数据库41-1,41-2,...至少保存一个代表图像信息42。根据各分类图像测量数据库41-1,41-2,...所保存的图像测量信息22来作成代表图像信息42。
(3-2.测量位置设定处理部6的动作)
图7是表示测量处理设定处理部6的动作的流程图。
超声波诊断装置100取得被检体的图像数据即输入图像信息21并保存到存储部3内(S2001)。
图像选择部8在输入图像信息21和分类图像测量数据库41-1,41-2,...的代表图像信息42-1,42-2,...之间进行图像识别计算(S2002)。作为图像识别计算可采用相关计算等图形匹配计算。图像选择部8判定图像识别计算是否成功(S2003)。
在图像识别成功时(S2003的是),图像选择部8将输入图像信息21分类为与输入图像信息21最相似的代表图像信息42所属的类别。
S2004~S2009以及S2011的处理除了取代图像测量数据库7使用了分类图像测量数据库41以外,与图3的S1002~S1007以及S1011的处理是相同的。
此外,输入图像信息21被保存到由S2002~S2003的处理所确定的分类图像测量数据库41中。另外,可根据输入图像信息21和现有的图像信息24来作成新的代表图像信息42,并保存到分类图像测量数据库41中。
经过以上的过程,测量位置设定处理部6最初在输入图像信息21和代表类别的代表图像信息42之间进行图像识别计算以确定类别。接着,测量位置设定处理部6将输入图像信息21作为关键字,采用该类别的分类图像测量数据库41的图像测量信息22进行1对1的图像识别计算。此外,可将各个类别进一步分类成多个类别,进行3个阶段以上的处理。
如以上所说明的,在第2实施方式中,超声波诊断装置针对输入图像信息首先进行大分类然后进行小分类,因此使识别率以及处理效率提高。另外,超声波诊断装置可识别输入图像信息的类别,所以能够同时进行输入图像信息的分类和测量,并能够自动对测量结果进行分类整理。
(4.第3实施方式)
以下,参照图8以及图9对第3实施方式进行说明。
在第1实施方式中,作为在输入图像信息21和图像测量数据库7的图像信息24之间进行1对1的图像识别计算的装置进行了说明。在第3实施方式中,还在输入测量条件43和图像测量数据库7的测量条件信息25之间进行测量条件识别计算。
(4-1.图像测量数据库7)
图8是表示图像测量数据库7的一形态的图。
第3实施方式中的图像测量数据库7与第1实施方式中的图像测量数据库7同样。在第3实施方式中,在输入图像信息21以及输入测量条件43和图像测量信息22的各记录之间进行识别计算。
(4-2.测量位置设定处理部6的动作)
图9是表示测量处理设定处理部6的动作的流程图。
S3001~S3003的处理与图3的S1001~S1003的处理相同。
在图像识别成功时(S1003的是),超声波诊断装置100取得输入测量条件43并保存到存储部3内(S3004)。测量条件是涉及测量的各种条件。测量条件例如除了初始设定及测量项目之外,还有测量定时、时系列帧编号、被检体的年龄及性别、与被检体相关的诊断信息、测量对象及被检体的分类。关于输入测量条件43可取得操作者采用操作部4及测量项目设定部5输入的信息。
测量条件选择部13在输入测量条件43和图像测量数据库7的测量条件信息25之间进行测量条件识别计算(S3005)。具体地说,按照初始设定、测量项目、测量定时、时系列帧编号、被检体的年龄及性别、与被检体相关的诊断信息、测量对象、被检体的分类等来给与优先位次,测量条件选择部13按照优先位次的顺序进行比较。并且,测量条件选择部13按照优先位次的顺序进行比较,如果成为输入测量条件43与图像测量数据库7的测量条件信息25不一致的项目,则结束测量条件识别计算。测量条件选择部13判定测量条件识别计算是否成功(S3006)。
当测量条件识别成功时(S3006的是),测量位置设定部9选择图像测量信息22的记录,该图像测量信息22具有与输入图像信息21最一致的项目多即最相似的图像信息24,且具有与输入测量条件43最相似的测量条件信息25。测量位置设定部9取出该图像测量信息22的记录所保存的测量位置信息23进行设定。
S3007~S3010、S3011的处理与图3的S1004~S1007、S1011的处理相同。
经过以上的过程,测量位置设定处理部6将输入图像信息21以及输入测量条件43作为关键字,采用数据库7的图像测量信息22进行图像识别计算以及测量条件识别计算。测量位置设定处理部6从图像测量数据库7中搜索图像测量信息22,该图像测量信息22具有与输入图像信息21最相似的图像信息24、且具有与输入测量条件43最相似的测量条件信息25。测量位置设定处理部6根据搜索出的图像测量信息22的记录所包含的过去的测量位置信息23,来设定输入图像信息21中的测量位置。
如以上所说明的,在第3实施方式中,超声波诊断装置不仅根据输入图像信息还可以根据输入测量条件,来搜索过去的图像测量信息,并自动地设定测量位置。这样不仅根据输入图像信息,还可以根据输入测量条件来设定正确的测量位置。
(5.第4实施方式:测量位置补正)
接着,参照图10以及图11对第4实施方式进行说明。第4实施方式涉及测量位置补正(图3的S1004,图7的S2006,图9的S3007)。
在第1实施方式~第3实施方式中,如果与输入图像信息21相似的图像信息24存在于数据库7内,则可以高精度地设定测量位置。但是,当数据库7内不存在与输入图像信息21相似的图像信息24时,有可能无法高精度地设定测量位置。因此,优选进行测量位置补正处理。
(5-1.测量位置补正部10的动作)
图10是表示测量位置补正部10的动作的流程图。
当图像识别计算或测量条件识别计算结束后确定了测量位置时,测量位置补正部10评价测量位置是否适合。如果测量位置不适合,则测量位置补正部10采用图像特征量来进行测量位置的自动补正(S4001)。测量位置补正部10将自动补正后的测量位置显示到显示部12上(S4002)。此外,还可将自动补正前的测量位置一并显示到显示部12上。
当操作者观察自动补正后的测量位置后判断为不适合时(S4003的否),手动补正测量位置(S4004)。测量位置补正部10将手动补正后的测量位置显示到显示部12上(S4005)。
(5-2.基于边缘强度进行的测量位置补正)
图11是表示测量位置补正处理中的显示画面51的一形态的图。图11(a)是表示测量位置补正前的图。图11(b)是表示测量位置补正后的图。
在图11(a)的显示画面51上重叠地显示图像52、补正前的测量点54以及测量点55。测量点54被大致设定在左心室内膜53的轮廓上。但是,测量点55被显示在从左心室内膜53的轮廓上分离的位置。
在图11(b)的显示画面51上重叠显示有图像52以及补正后的测量点56。补正后的测量点56是对补正前的测量点55进行测量位置补正的测量点。补正后的测量点56被显示在左心室内膜53的轮廓上。
测量位置补正部10当配置测量点时,对全部测量点评价测量位置是否适合。因为在图11中将测量点配置在左心室内膜53处,所以关于测量位置的评价,优选将图像特征量作为边缘强度来计算。
如果边缘强度高,则测量位置适合,如果边缘强度低则测量位置不适合。测量位置补正部10为了使边缘强度变高,而将补正测量点55向测量点56补正。关于测量位置补正,可计算测量点55附近的边缘强度来搜索最大强度的位置,并算出测量点56。
此外,优选通过测量点的配置位置及配置对象来适当变更图像特征量。另外,当自动补正后的测量位置不适合时,操作者可操作鼠标等输入设备来手动补正测量位置。
(5-3.基于测量位置周边的图像信息进行的测量位置补正)
另外,测量位置补正部10如图12所示,采用图像测量数据库7的记录中的测量位置信息23、和该测量位置信息23所示的测量位置周边的图像信息26。
例如,在心脏的左心室内膜53的膜面上要设定测量位置时,如果参照图像测量数据库7所保存的图像测量信息22,则测量位置信息23所示的测量位置是测量点27。
当比较图像测量信息22和输入图像信息21时,存在在测量点27周边的图像信息26和测量点57周边的图像信息28之间产生差异的情况。此外,输入图像信息21中的测量点57的座标被设定在与图像测量信息22中的测量点27的座标相同的位置上。另外,测量点27周边的图像信息26和测量点57周边的图像信息28的形状为四边形,不过与形状无关。
在输入图像信息21中为了将最初设定的测量点57向原本应该设定的测量点58补正,而计算该差异的变位。变位的计算方法例如可采用块匹配法等图像相关处理。在测量点27周边的图像信息26和测量点57周边的图像信息28之间进行图像相关处理等来计算差异的变位,之后使最初设定的测量点57移动变位量,补正为正确的测量点58。
另外,还可以采用以下的方法:计算测量点27周边的图像信息26和测量点57周边的图像信息28之间的相似度,采用将该相似度作为图像能量的动态轮廓模型(非专利文献M.Kasset al.Snakes:Active ContourModels,International Journal of Computer vision,321-331,1988)进行补正。如公式(1)所示,将测量点作为v(s),将上述相似度及边缘强度设定为图像能量Eimage,将曲率等与轮廓形状相关的特征量设定为内部能量Eint,通过使整体的能量E最小化,可特别适合壁面那样的光滑面。由此,不仅能够提高测量位置设定的精度,还能够成为考虑到活体组织光滑度的设定。
[式1]
E=∫Eint(v(s))+Eimage(v(s))ds (1)
另外,作为采用了动态图像处理的其他例,还可以进行基于ActiveShape Model和Active Appearance Model的轮廓补正处理。
如以上所说明的,在第4实施方式中进行测量位置补正处理,由此即使在根据过去的图像测量信息设定的测量位置为不适合的情况下,也能够根据输入图像信息来补正测量位置。另外,在补正后的测量位置为不适合的情况下,操作者可手动补正测量位置。
(6.第5实施方式:关心区域的设定)
接着,参照图13对第5实施方式进行说明。
在第1实施方式~第4实施方式中说明了设定/显示测量点来作为测量位置的情况,在第5实施方式中,根据测量点来设定/显示关心区域。
图13是表示超声波图像61中的关心区域79的设定的图。
在超声波图像61中显示颈动脈62。颈动脈62是在箭头65的方向上流过血液的血管。颈动脈62的壁面63以及壁面64是在超声波图像61上明确描绘出边缘的部位。
当在图像测量数据库7中记录有过去的颈动脈图像信息和测量点信息时,可通过与第1实施方式~第4实施方式相同的处理,在颈动脈的超声波图像上配置测量点。关于具体的测量点配置利用第1实施方式~第4实施方式等进行了说明,这里省略说明。
测量位置设定部9根据图像测量数据库7所保存的过去的颈动脈图像信息和测量点信息,来在颈动脈62的超声波图像61上配置测量点71~测量点78。
测量位置设定处理部6联结角部的测量点71、测量点74、测量点78以及测量点75设定关心区域79。关心区域79的框例如用虚线显示到显示部12上。测量计算部11对设定的关心区域79进行规定的测量计算,并将测量结果显示到显示部12上。例如,测量计算部11对关心区域79进行多普勒运算,进行CFM(彩色血流成像)处理,彩色显示血流像。
此外,在图13中,测量位置设定处理部6虽然联结角部的测量点71、测量点74、测量点78以及测量点75设定了长方形的关心区域79,但不限于此。也可以联结全部的测量点71~测量点78设定关心区域。另外,还可以仅选择角部以外的测量点即测量点72、测量点73、测量点76以及测量点77来部分地设定关心区域。
如以上所说明的,在第5实施方式中,当超声波探头1接触到被检体取得超声波信号并显示超声波图像时,不用对操作部4的跟踪球等进行操作,可自动地设定关心区域79,例如在设定的关心区域79内显示血流像。其结果是,由于不需要对操作部4的跟踪球等进行操作,所以可缩短采用超声波图像诊断装置进行诊断所需的时间。另外,沿着血管可正确地设定关心区域,所以省去在血管外等中的无效的CFM处理,由此可不大幅降低帧速率地显示超声波图像。
(7.第6实施方式:组织动态的测量)
以下,参照图14对第6实施方式进行说明。第6实施方式涉及心肌等各组织的动向即组织动态的测量。
图14是表示超声波图像中的测量点的追踪的图。
当在图像测量数据库7中记录有过去的心肌图像信息和测量点信息时,可通过与第1实施方式~第4实施方式同样的处理,来在心肌的超声波图像上配置测量点。关于具体的测量点配置利用第1实施方式~第4实施方式等进行了说明,所以这里省略说明。
如图14(a)所示,测量位置设定处理部9从存储部3读出规定时刻的帧图像,并在显示部12中显示超声波图像81。在超声波图像81中含有心肌82的图像。
测量位置设定部9根据图像测量数据库7所保存的过去的心肌图像信息和测量点信息,来在心肌82的超声波图像81上配置测量点84。测量点84沿着心肌82的左心室内膜83进行配置。
追踪部14设定包含测量点84的规定范围的剪切图像85。
如图14(b)所示,追踪部14从存储部3中读出下一帧图像,并在显示部12上显示超声波图像86。超声波图像86包含心肌87的图像。心肌82经过组织的移动来构成心肌87。心肌82的左心室内膜83向心肌87的左心室内膜88扩大。
追踪部14在超声波图像86中依次提取与剪切图像85相同尺寸的局部图像89-1,89-2,...。追踪部14算出局部图像89-1,89-2,...和剪切图像85的图像一致度。关于图像一致度的计算例如可采用块匹配法等图像相关处理。
如图14(c)所示,追踪部14选择图像一致度最高的局部图像89的位置(在图14(c)中为局部图像89-4)。追踪部14将选择出的局部图像89的位置作为移动后的测量点91算出。追踪部14与超声波图像86的心肌87重叠着显示测量点91。测量点91沿着从左心室内膜83扩大的左心室内膜88进行配置。
如以上所说明的,根据第6实施方式,超声波诊断装置关于规定时刻的帧图像,根据过去的图像信息以及测量位置信息来设定测量点,关于之后的帧图像,根据图像一致度来追踪测量点。因此,可自动设定测量位置,并且能够使该测量点对应于组织的动向进行移动,从而高精度地进行组织动态的测量。
此外,可取代追踪部14进行的测量点追踪,对时系列前后位移的各帧图像进行与第1实施方式~第4实施方式等同样的处理。即,测量位置设定处理部6可根据过去的心肌图像信息和过去的测量点信息,对每一帧设定测量点。
(8.其他)
上述各实施方式可适用于实时显示的图像、在电影存储器中存储的图像、以动画文件格式(例如,AVI格式)在存储装置中保存的图像等。
可进行测量位置设定的时刻有:与存在ECG(Electrocardiogram:心电图)的时相对应在1心拍中的一个或多个时刻;按下操作部的定格按钮暂时停止取得图像的时刻,在定格后从保存到电影存储器内的帧群中选择用户的时刻;从保存在存储装置的动画文件内的帧群中选择用户的时刻等。此时,优选保存在具有与上述时刻对应的图像信息的数据库内。
另外,因为可分类成长轴断层像、短轴断层像、四腔断层像、二腔断层像,所以在适用于负荷超声时,取代操作者而自动进行断层像种类的分类,以减轻用户的负担。此外,如果在数据库中预先保存心肌分级(例如,ASE(American Society of Echocardiography)所推荐的分级)的位置,并将其作为设定位置进行显示,则能够使心肌的分级位置一目了然,构成辅助操作者操作的功能。因此,操作者仅进行操作超声波探头附上个数的操作即可,从而可减轻图像分类的烦杂度,提高操作顺序(取得图像的顺序等)的自由度。
在造影剂模式中,利用TIC(Time Intensity Curve:时间强度曲线)来分析某组织的亮度的时间变化。此时,需要在每一帧中由操作者操作跟踪球等输入设备来设定希望测量的时间的帧和对象组织的位置。如果保存造影剂使用时的数据库,则能够自动地设定亮度的测量位置,所以可减轻操作者的负担。
此外,如果在数据库内保存多普勒测量时的窗口及变形测量时的测量区域,则同样能够进行这些测量的自动化。
(9.第7实施方式)
以下,参照图15~图24对第7实施方式进行说明。
(9-1.超声波诊断装置的结构)
参照图15对超声波诊断装置150的结构进行说明。
图15是超声波诊断装置150的结构图。
超声波诊断装置150具有:进行超声波收发的超声波探头1;根据超声波信号生成图像的图像生成部2;作为保存该图像的存储区域的存储部3;操作者采用输入设备进行装置操作的操作部4;设定测量项目的测量项目设定部5;从图像中提取亮度值的图像亮度提取部160;截面识别处理部170;废弃处理部180;设定测量位置的测量位置设定处理部6;根据已设定的测量位置进行测量计算的测量计算部11;以及显示测量位置及测量结果的显示部12。
因为图15的超声波探头1、图像生成部2、存储部3、操作部4、测量项目设定部5、测量位置设定处理部6、测量计算部11、显示部12与图1相同,所以省略说明。
图像亮度提取部160是在图像内取出描绘心脏的范围的亮度值的装置。
截面识别处理部170是采用图像亮度提取部160所取得的亮度值的模式来识别输入图像的截面种类的装置。
输入图像是从超声波探头1以及图像生成部2所取得的图像中输入的图像。此外,还可以将存储在存储部3内的图像用作输入图像。
截面识别处理部170具有:图像亮度数据库171;相似度计算部172和截面种类判定部173。
图像亮度数据库171是将标准截面图像的亮度值和截面种类作成数据库后保存的装置。此外,以下对图像亮度数据库171进行叙述。
相似度计算部172是按照每一截面种类来计算图像亮度提取部160所取得的亮度值和图像亮度数据库171内的标准截面图像的亮度值之间的相似度的装置。相似度的计算结果由标量或矢量来进行显示。
截面种类判定部173是对相似度计算部172计算出的关于各截面种类的相似度进行比较、判定最相似的截面种类的装置。
废弃处理部180是根据相似度计算部172所取得的相似度等来进行输入图像的废弃的装置。废弃处理部180具有:图像亮度统计量计算部181、相似度差值计算部182、阈值设定部183和废弃判定部184。
图像亮度统计量计算部181是对图像亮度提取部160所取得的亮度值的统计量进行计算的装置。统计量例如是标准统计量(例如,平均或分散)或2次的结构统计量。
相似度差值计算部182是根据相似度计算部172所算出的相似度来计算最相似的标准截面图像的相似度和其次相似的标准截面图像的相似度之间的差值的装置。使用该相似度差值来判定输入图像的截面种类模糊。
阈值设定部183是设定用于进行废弃处理的阈值的装置。阈值设定部183分别针对图像亮度统计量计算部181所取得的图像亮度统计量、相似度计算部172所取得的相似度、相似度差值计算部182所取得的相似度差值来设定阈值。此外,可将默认值设定为阈值,或由操作者利用输入设备来单个设定。
废弃判定部184是如下这样的装置,针对图像亮度统计量计算部181所取得的统计量;相似度计算部172所取得的相似度;相似度差值计算部182所取得的相似度差值,使用阈值设定部183所设定的阈值来进行阈值处理,并判定是否废弃输入图像。
此外,显示部12例如显示截面种类判定部173的结果及废弃判定部184的结果、截面种类的名称、相似度及表示相似度的图表、废弃以及再次取得输入图像的警告。
另外,当在显示到显示部12的截面种类中有错误时,操作者可经由操作部4以手动的方式来设定截面种类。
(9-2.图像亮度数据库171)
图16是表示图像亮度数据库171所保存的记录的一形态的图。
图像亮度数据库171按照每一截面种类保存与标准截面图像相关的信息。与标准截面图像相关的信息是亮度值或实施了规定处理的图像数据。规定的处理例如是基于部分空间法等图形识别处理的特征提取处理及代码压缩化处理。此外,图像亮度数据库171可将过去取得的图像数据库化后保存。
图16所示的图像亮度数据库171对应关联地保持截面种类221、标准截面图像信息222、测量项目223以及测量位置224。截面种类221表示图像的种类。截面种类221例如是“长轴”“短轴”“二腔”“四腔”。标准截面图像信息222表示与属于截面种类221的标准截面图像相关的信息(亮度值等)。测量项目223表示与截面种类221对应的测量项目。测量位置224是与测量位置相关的信息。测量位置224例如是表示测量点、测量区域以及表示测量区域的轮廓点群的座标值。
(9-3.基于是否有心脏描绘的废弃处理)
图17是表示基于输入图像的图像亮度统计量的废弃处理的流程图。
超声波诊断装置150取得作为被检体图像数据的输入图像220并保存到存储部3中。关于输入图像220,可输入采用超声波探头1由图像生成部2生成的图像数据,可输入由不同的医用图像诊断装置所生成的图像数据,或者可输入过去取得并预先存储在存储部3例如硬盘等中的图像数据。
图18是表示在显示部12上显示的画面228以及超声波图像229的图。
图像亮度提取部160提取输入图像220的亮度值(S5001)。此外,图像亮度提取部160可提取图18的超声波图像229中的探头整个视角内的亮度值,或者可提取超声波图像229的一部分亮度值。
图像亮度统计量计算部181计算在S5001的处理中提取的输入图像220的亮度值的统计量(S5002)。统计量是标准统计量(例如,平均、分散、失真度、尖度)及2次结构统计量(例如,浓度共现矩阵的特征量)。
心脏的超声波图像是混合了心腔、心肌以及其他区域的亮度概率分布的图像。心脏的超声波图像的图像亮度统计量表示特征性的值。当超声波探头1未接触被检体的体表而没有在输入图像220中描绘出心脏的图像时,无法取得超声波图像所特有的统计量,能够取得噪音所特有的统计量。
阈值设定部183在输入图像220的图像亮度统计量中设定阈值(S5003)。废弃判定部184进行阈值处理,并判定是否在输入图像220中描绘出心脏的超声波图像(S5004)。
当废弃判定部184判断为在输入图像220中没有描绘出心脏的超声波图像时(S5004的否),显示部12显示废弃了输入图像220的情况作为截面识别结果,并提示操作者再次取得输入图像220(S5005)。
当废弃判定部184判断为在输入图像220中描绘了心脏的超声波图像时(S5004的是),向图19以后的处理转移。
经过以上的过程,超声波诊断装置150提取输入图像220的亮度值,计算输入图像220的图像亮度统计量,并根据该图像亮度统计量的阈值来判定在输入图像220中是否描绘了心脏的超声波图像,当判定为在输入图像220中没有描绘出心脏的超声波图像时,废弃该输入图像220,并提示操作者再次取得输入图像220。
这样,将输入图像的统计性质是否与心脏的超声波图像的性质一致来作为废弃基准,由此可判定操作者是否正确地操作探头来取得了心脏的超声波图像。另外,通过在此时刻废弃输入图像,而不需要对该输入图像进行截面种类的识别处理。因此,可迅速且有效地进行处理。
此外,操作者可采用输入设备来输入阈值,或将预先设定的初始值用作阈值。
另外,废弃率以及误识别率通过改变阈值而发生变化。在废弃率高的情况下误识别率变低,不过针对从标准截面图像稍微偏移的图像不识别截面种类,因此操作性恶化。另一方面,在废弃率低的情况下即使是从标准截面图像稍微偏移的图像也可以识别截面种类,但误识别率变高。因此,可通过采用废弃率及误识别率取代阈值,来与操作者的操作感觉相适应。在此情况下,可显示由阈值估计的废弃率或误识别率。
(9-4.基于相似度的废弃处理)
图19是表示基于相似度的废弃处理的流程图。
在图17的S5004的“是”之后执行图19的S6001以后的处理。
相似度计算部172按照每个截面种类来计算输入图像220和图像测量数据库6所保存的标准截面图像之间的相似度(S6001)。
阈值设定部183在相似度中设定阈值(S6002)。废弃判定部184进行阈值处理,并判定与输入图像220相似的标准截面图像是否存在(S6003)。
当废弃判定部184判定为与输入图像220相似的标准截面图像不存在时(S6003的否),显示部12显示废弃了输入图像220的情况作为截面识别结果,并提示操作者再次取得输入图像220(S6004)。此外,如果操作者自身能够确定输入图像220的截面种类,则可经由输入设备通过手动操作来选择以及修正输入图像220的截面种类(S6005)。
当废弃判定部184判定为与输入图像220相似的标准截面图像存在时(S6003的是),向图21以后的处理转移。
图20是依据截面种类来示出输入图像220和标准截面图像之间的相似度的图。
为了以下说明,相似度以标量来算出,并定义为相似度的值越大则越相似,相似度的值越小则越不相似。
在图20中,关于输入图像220在PLA(胸骨旁长轴像)、PSA(胸骨旁短轴像)、A2C(心尖部二腔像)、A3C(心尖部长轴像)、A4C(心尖部四腔像)这5个截面种类的标准截面图像之间计算相似度,并绘制点231~点235。点231~点235所示的相似度都小于阈值设定部183所设定的阈值“t”。因此,在上述5个截面种类的标准截面图像中没有与输入图像220相似的标准截面图像,废弃判定部184判定输入图像220的废弃(S6003的否)。
经过以上的过程,超声波诊断装置150按照每个截面种类,来计算输入图像220和图像测量数据库6所保存的标准截面图像之间的相似度,并根据相似度的阈值,判定是否存在与输入图像220相似的标准截面图像,当判定为与输入图像220相似的标准截面图像不存在时,显示废弃了输入图像220的情况作为截面识别结果,并提示操作者再次取得输入图像220。
这样,虽然取得了心脏的超声波图像,但在不是测量所需的截面种类的情况下(输入图像都与截面种类的标准截面图像有偏差时),在废弃了输入图像之后,对操作者提示再次取得测量所需的截面种类的输入图像,从而能够迅速且有效地进行处理。
此外,关于阈值的设定,可以在相似度中设定阈值,或者可以在废弃率或误识别率中设定阈值。
(9-5.基于相似度差值的废弃处理)
图21是表示基于相似度差值的废弃处理的流程图。
在图19的S6003的是之后,执行图21的S7001以后的处理。
相似度差值计算部182采用相似度计算部172的结果来计算与输入图像220最相似的标准截面图像的相似度和其次相似的标准截面图像的相似度之间的差值(S7001)。相似度差值是表示输入图像220是否与两种标准截面图像相似且截面种类模糊的指标。
阈值设定部183在相似度差值中设定阈值(S7002)。废弃判定部184进行阈值处理,并判定输入图像220的截面种类是否模糊(S7003)。
当废弃判定部184判定为输入图像220的截面种类模糊时(S7003的是),显示部12显示废弃了输入图像220的情况作为截面识别结果,并对操作者提示再次取得输入图像220(S7004)。此外,如果操作者自身能够确定输入图像220的截面种类,则可以经由输入设备通过手动操作来选择以及修正输入图像220的截面种类(S7005)。
当废弃判定部184判定为输入图像220的截面种类不模糊时(S7003的否),显示部12显示输入图像220的最终截面种类和各截面种类的标准截面图像之间的相似度等来作为截面识别结果(S7006)。
图22是根据每一截面种类来示出输入图像220和标准截面图像之间的相似度的图。
在图22中,关于输入图像220在PLA(胸骨旁长轴像)、PSA(胸骨旁短轴像)、A2C(心尖部二腔像)、A3C(心尖部长轴像)、A4C(心尖部四腔像)这5个截面种类的标准截面图像之间计算相似度,并绘制点241~点245。点245的相似度最大,点244的相似度其次大。相似度差值计算部182计算点244和点245之间的相似度差值“Δd”。当相似度差值“Δd”小于阈值设定部183所设定的阈值时,废弃判定部184判定为输入图像220的截面种类模糊,废弃该输入图像220(S7003的是)。
经过以上的过程,超声波诊断装置150计算与输入图像220最相似的标准截面图像的相似度和其次相似的标准截面图像的相似度之间的差值,根据该相似度差值的阈值来判定输入图像220的截面种类是否模糊,当判定为输入图像220的截面种类模糊时,显示废弃了输入图像220的情况作为截面识别结果,对操作者提示再次取得输入图像220。
这样,取得心脏的超声波图像,当输入图像是与两种标准截面图像相似的模糊图像时,废弃输入图像,之后对操作者提示再次取得测量所需的截面种类的输入图像,并能够迅速且有效地进行处理。
此外,关于阈值的设定可以在相似度差值中设定阈值,或者在废弃率或误识别率中设定阈值。
(9-6.画面显示)
图23是表示显示部12所显示的画面250的一形态的图。
在画面250中显示超声波图像251。在超声波图像251中描绘A4C像(心尖部四腔像)。
在截面种类显示252中显示截面识别结果。在截面种类显示252中例如显示“A4C”。此外,当废弃了输入图像220时,在截面种类显示252中例如显示“废弃”。
在相似度显示253中按照每个截面种类来显示相似度。在图23中,“A4C”的相似度是“40”,相似度的值最大(最相似)。
在图表显示254中将相似度显示253的内容作成图表进行显示。由此,能够在视觉上掌握输入图像220与哪个截面种类的标准截面图像相似。
对进行截面识别处理的时刻没有限制,例如,当按照ECG(Electrocardiogram)的R波进行截面识别处理时,可按照每个R波来更新截面种类显示252、相似度显示253、图表显示254。操作者可一边观察这些显示,一边调节超声波探头1的位置及角度,绘制测量对象的截面种类的图像。
(9-7.测量位置设定)
图24是表示显示部12中的画面260以及画面264的图。
如图24(a)所示,在画面260中,当操作者选择“项目A”作为测量项目261时,将和该测量项目对应的测量点263与超声波图像262重叠着进行显示。
如图24(b)所示,在画面264中,当操作者选择“项目B“作为测量项目265时,将和该测量项目对应的测量区域267与超声波图像266重叠着进行显示。
此外,测量项目设定部5设定测量项目,测量位置设定处理部6根据图像亮度数据库171的截面种类221以及测量项目223以及测量位置224来进行测量点263和测量区域267的设定。测量计算部11对已设定的测量点263和测量区域267进行测量,并将测量计算结果显示到显示部12中。
这样,超声波诊断装置150可构建与截面识别处理所识别的截面种类相应的测量菜单。例如,如果将输入图像的截面种类识别为“PSA(胸骨旁短轴像)”,则仅进入在“PSA(胸骨旁短轴像)”中使用的测量菜单,由此能够减轻选择测量项目的工作。
(9-8.第7实施方式的效果)
如以上所说明的,根据第7实施方式,超声波诊断装置150算出输入图像的图像亮度统计量、输入图像和标准截面图像之间的相似度、输入图像和两个标准截面图像之间的相似度差值,对这些图像亮度统计量、相似度以及相似度差值设定阈值、废弃率及误识别率以进行废弃处理,所以能够迅速且有效地取得测量所需的截面种类的输入图像。
以往,在负荷超声检查中,当对多个截面种类的输入图像进行撮像时,需要按照每个截面种类来事先确定撮像顺序。另一方面,本发明的超声波诊断装置150自动地识别输入图像的截面种类并进行分类,所以撮像顺序是自由的,且能够减轻设定的工作并提高操作性。
(10.第8实施方式)
以下,参照图25~图27对第8实施方式进行说明。
图25是表示基于相似度的废弃处理的流程图。
在图17的S5004的是之后,执行图25的S8001以后的处理。
在第7实施方式(图19)中,将图像亮度数据库171所保存的全部截面种类作为分类对象,不过在第8实施方式(图25)中根据测量项目来确定作为分类对象的截面种类。
超声波诊断装置150通过测量项目设定部5来接受测量项目的输入(S8001)。超声波诊断装置150参照图像亮度数据库171提取与测量项目223对应的截面种类221,并将提取出的截面种类221作为分类对象(S8002)。
S8003~S8007的处理与图19的S6001~S6005的处理相同。
图26是表示心脏的截面种类的图。
图27是表示测量项目以及分类对象的图。
在图26的心脏270中设定标准截面图像271(四腔)、标准截面图像272(二腔)、标准截面图像273(长轴)、标准截面图像274(基部短轴)、标准截面图像275(中部短轴)、标准截面图像276(尖部短轴)这6种标准截面图像。
如图27所示,超声波诊断装置150当设定测量项目281(测量项目A)时,将标准截面图像271~标准截面图像276所属的6种截面种类作为分类对象,当设定测量项目283(测量项目B)时,将标准截面图像271~标准截面图像273所属的3种截面种类作为分类对象。
这样,在第8实施方式中,能够根据测量项目使输入图像的分类数可变。根据测量项目来分类成需要的分类数,例如,因为进入了测量菜单所以分类成“PLA(胸骨旁长轴像)”“PSA(胸骨旁短轴像)”“A3C(心尖部长轴像)”这3种,由此与分类成4种以上相比,能够提高识别率,并能够提高测量操作中的操作性。
(11.其他)
以上,说明了超声波诊断装置150根据输入图像的图像亮度统计量(图17)、相似度(图19)以及相似度差值(图21)进行废弃处理的情况,不过显然还能够适当有选择地组合后进行废弃处理。此外,为了防止截面识别处理中的误识别,优选根据输入图像的图像亮度统计量(图17)、相似度(图19)以及相似度差值(图21)的全部进行废弃处理。
另外,说明了对超声波诊断装置所撮像的输入图像实时地执行截面识别处理以及废弃处理的情况,不过也可以利用动态图像格式来保存超声波诊断装置所撮像的图像,并离线地执行截面识别处理以及废弃处理。
以上,参照附图对本发明涉及的医用图像诊断装置的优选实施方式进行了说明,不过本发明不仅限上述例。相关技术人员可知,在本申请所公开的技术思想的范围内可联想到各种变更例或修正例,这些变更例或修正例显然属于本发明的技术范围内。