CN103561656A - 图像处理装置以及方法 - Google Patents

Abstract

本发明涉及通过多个图像处理的组合而从图像内提取目标区域的技术，即使操作者不输入图像处理步骤，也能够自动地设定图像处理步骤。因此，在本发明中，根据到上次之前对处理对象图像适用的图像处理结果的履历，自动地决定下次以后执行的图像处理的内容。

Description

图像处理装置以及方法

技术领域

本发明涉及一种用于自动设定用于通过多个图像处理的组合从图像内提取目标区域的步骤的技术。

背景技术

伴随着图像诊断装置等的进步，医用图像、医用信息显著地增加。其结果，医用图像和医用信息的积累量庞大。另一方面，积累量的增加造成在诊断中使用医用图像的临床医生、放射科医生的负担的增加。结果会产生所积累的医用图像、医用信息没有充分灵活运用的状况。

因此，以提高医用图像的有效灵活运用和诊断、治疗的质量为目的，提出一种事先决定适用于一个医用图像的多个图像处理及其执行步骤的方法（例如参照专利文献1）。

在上述文献中，公开了以下装置，即根据检查目的和检查部位来决定图像诊断装置（例如CT（计算机X线断层摄影术）装置的图像数据所适用的分析规程（图像分析步骤）），通过利用了在预处理中取得的参数的图像处理，得到希望的处理结果的装置。即，在上述文献中，公开了一种预先根据图像数据和图像附带信息选择图像处理的执行步骤并顺序地执行该步骤的技术。

现有技术文献

专利文献

专利文献1：日本特开2009-82452号公报

发明内容

发明要解决的问题

在上述文献的装置的情况下，在开始图像处理（图像分析）之前，预先自动地决定其执行顺序。即，预先固定执行顺序。因此，在图像处理的中途想变更处理内容的情况下，需要由使用者自己分别指示输入处理内容的变更。特别是在通过执行中的图像处理无法得到希望的处理结果的情况下，有时需要变更下次以后的处理内容。

但是，由于必须由使用者分别进行操作输入，无法减轻使用者的负担。

本发明人认真地研究了以上课题，其结果是提供一种能够逐次自动地决定顺序适用于处理对象图像的图像处理的内容的结构。

解决问题的方案

本发明根据对处理对象图像到上次之前所适用的图像处理结果的履历，自动地决定下次以后执行的图像处理的内容。

发明效果

根据本发明，能够通过与大量积累的图像处理结果的履历进行的对照，自动地决定下次以后的图像处理的内容。由此，能够降低通过图像处理从处理对象图像提取目标区域时的使用者的操作负担。

根据以下的实施方式的说明来了解上述以外的课题、结构和效果。

附图说明

图1是表示实施例1的图像处理系统的功能块结构的图。

图2是表示通过实施例1的图像处理装置提供的显示画面例子的图。

图3是表示通过实施例1的图像处理装置执行的处理步骤的流程图。

图4是说明实施例1的目标区域特征量和步骤特征量之间的关系的图。

图5是说明实施例1的下一个处理决定部的处理内容的图。

图6是表示实施例2的图像处理系统的功能块结构的图。

图7是表示通过实施例2的图像处理装置执行的处理步骤的流程图。

图8是说明实施例3的下一个处理决定部的处理内容的图。

图9是说明实施例4的目标区域特征量和步骤特征量之间的关系的图。

具体实施方式

以下，根据附图说明本发明的实施方式。此外，本发明的实施方式并不限于后述的实施例，在其技术思想的范围内能够进行各种变形。

（1）常见结构

以下说明的图像处理装置都设想为了从处理对象图像中提取目标区域，而顺序地适用多个图像处理的情况。各实施例的图像处理装置在以下的点上是常见的，即从数据库中检索具有与在上次之前取得的处理结果的履历类似的履历的图像处理步骤，根据检索结果自动地决定下一个所适用的图像处理的内容。即，各图像处理装置根据数据库中大量积累的过去使用的图像处理步骤的信息，统计地决定下一个适用的图像处理。

在此，将根据经验、处理结果等由技术专家逐次决定的判断的结果作为图像处理步骤保存在数据库中。因此，在检索具有与现在处理中的处理对象图像的处理结果的履历类似的履历的过去图像处理步骤，将在检索出的图像处理步骤所使用的下次的图像处理直接适用于当前的处理的情况是对目标区域的提取具有统计上的意义的。在各实施例的图像处理装置中，通过重复进行该决定处理，从处理对象图像中自动地提取目标区域。

（2）实施例1

（2-1）系统结构

在图1中表示实施例1的图像处理系统的功能块结构。实施例1的图像处理系统由图像处理装置100、处理流程模型数据库102、图像数据库103、图像显示装置104构成。

在处理流程模型数据库102中保存过去执行的图像处理步骤、作为标准模型而登记的图像处理步骤。在本说明书中，“步骤”是指规定多个图像处理的执行顺序的信息。在本实施例的情况下，在图像处理步骤中还包含在执行各图像处理的时刻得到的处理结果（以下也称为“目标区域特征量”）的履历（也称为“步骤特征量”）。

在图像数据库103中，保存成为处理对象的图像数据。在本实施例的情况下，保存医用图像数据。例如保存造影CT数据。当然，图像数据并不限于造影CT数据。

图像处理装置100由图像处理部121、目标区域特征量提取部111、目标区域特征量存储部112、下一个图像处理决定部120构成。在本实施例的情况下，图像处理装置100以计算机为基本结构，作为在运算装置上执行的程序的功能来实现图1所示的各处理部。

图像处理部121提供以下功能，即针对检查图像200或通过到上次之前的图像处理得到的结果图像，适用在图像处理204所指定的图像处理的功能。与各个图像处理对应的程序存储在未图示的存储区域中，在执行图像处理时读出、执行。另外，图像处理部121具有存储处理对象图像（上述检查图像200等）的存储区域、程序的工作区域。此外，图像处理部121向图像显示装置104输出最终的处理结果206。因此，在图像处理部121中还安装与用户接口有关的功能。

目标区域特征量提取部111提供以下功能，即从通过图像处理部121的图像处理而得到的结果图像中提取目标区域特征量（目标区域的大小和个数）202。目标区域特征量存储部112提供存储提取出的目标区域特征量202的存储区域。对该存储区域例如使用半导体存储装置、硬盘装置等。

下一个图像处理决定部120提供以下功能，即对规定目标区域特征量202的步骤间的变化的步骤特征量203和过去的处理流程模型205进行比较，决定对处理对象图像下一个所适用的图像处理204。

（2-2）显示画面例子

在图2中表示显示在图像显示装置104的画面上的显示画面的代表图。显示画面由提取结果显示画面280和处理步骤显示画面281构成。在提取结果显示画面280中，在作为诊断对象的脏器造影CT图像上重叠地显示处理结果的信息。在图2的情况下，作为造影CT图像显示肝脏CT图像250。在肝脏CT图像250中，作为提取结果270显示作为肝癌的患部的目标区域260和通过图像处理提取出的区域。伴随着图像处理的进行，对提取结果显示画面280的显示内容进行更新。处理步骤显示画面281显示出正在执行的图像处理的步骤。图2表示第3个图像处理结束了。

（2-3）图像诊断支持处理（目标区域自动提取处理）

在图3中，表示由图像处理装置100执行的图像诊断支持处理的概要。在以下的说明中，设想操作者想从被检验者的造影CT图像中提取作为目标区域的肝癌（例如贫血性肝癌、多血性肝癌）的情况。当然，目标区域并不限于此，只要是根据医学的观点能够指定其种类的病变部位即可。

另外，在图4中，表示根据图3所示的图像诊断支持处理的进行而取得的目标区域特征量和步骤特征量（目标区域特征量的步骤间的变化量）的时间变化。此外，在图4中，用附加在末尾的括弧内的数字来表现各处理的执行次数的不同。此外，在实施例1的情况下，用目标区域的大小和个数的2个来管理目标区域特征量。因此，在图4中，通过折线图表来分别表示伴随着处理的进行的目标区域的大小和个数的变化。在本说明书中，假设用体积或面积来规定目标区域的特征量的大小。

以下，说明实施例1的图像处理装置100所执行的图像诊断支持处理的详细内容。

首先，作为操作者的医生从图像数据库103中选择处理对象图像（处理300）。具体地说，选择造影CT图像。

接着，医生对步骤特征量进行初始设定（处理301）。在此，初始设定是指决定作为步骤特征量的目标区域的大小和目标区域的个数的初始值350的处理。在本实施例的情况下，都初始化为“0”。

如果决定了步骤特征量，则下一个图像处理决定部120执行决定下一个执行的图像处理的处理（处理302（1））。但是，在最初的处理中，初始值是“0”，没有步骤特征量的变化量，因此将通用的肝癌提取的图像处理（水平设置算法）通知给图像处理部121。其结果是图像处理部121执行例如适用了水平设置算法的提取处理（处理303（1））。

图像处理部121将根据该处理结果而判定为目标区域260的区域相关的信息作为目标区域数据201传输到目标区域特征量提取部111。目标区域特征量提取部111从所给出的目标区域数据201中分别提取包含在处理对象图像中的目标区域特征量（即大小和个数）（处理304（1））。将提取出的目标区域特征量202存储在目标区域特征量存储部112中。

然后，下一个图像处理决定部120检索目标区域特征量存储部112，提取各目标区域特征量（大小和个数）的变化量作为步骤特征量203（处理305（1））。

接着，下一个图像处理决定部120将提取出的步骤特征量203与预先设定的阈值351进行比较（处理306（1））。在步骤特征量203为阈值以下的情况下（在图4的情况下，是对于大小和个数的任意一个都为阈值以下的情况），下一个图像处理决定部120对图像处理部121指示处理的结束。在该情况下，图像处理部121将处理结果206显示在图像显示装置104的显示画面上。

另一方面，在步骤特征量203不在阈值以下的情况（在图4的情况下，大小和个数的双方或一方超过阈值的情况）下，下一个图像处理决定部120根据到该时刻为止的步骤特征量203决定下一个执行的图像处理，对图像处理部121进行指示（处理302（2））。在此，下一个图像处理决定部120根据步骤特征量203检索处理流程模型数据库102，将对类似度高的处理流程模型进行规定的下一次的图像处理决定为适用于当前作为处理对象的图像的图像处理。例如在图4的情况下，将图像过滤（包囊消除）决定为第二次的图像处理。顺便说一下，在图4的情况下，将水平设置（治疗疤痕）决定为第三次的图像处理。

这样，在本实施例的情况下，重复执行处理302～处理306的处理直到步骤特征量203成为预定的阈值351以下为止。即，在处理306中得到了否定结果期间，从处理流程模型数据库102中提取与处理302的各执行时之前所取得的步骤特征量203的履历的匹配度高的处理流程，将对该处理流程模型进行登录的下次图像处理作为图像处理部121下一个适用的图像处理204而进行赋予。

通过执行这样的处理，本实施例的图像处理装置100在操作者的初始设定操作后，能够自动地决定图像处理并适用于处理对象图像直到得到希望的处理结果为止。

（2-4）图像处理的自动决定动作

在此，说明根据步骤特征量203自动地决定下一个图像处理时执行的处理动作的具体例子。

在图5中表示处理动作例子。在图5中，表示出步骤特征量203的具体例子400、存储在处理流程模型数据库102中的处理流程模型205的具体例子401。在图5的情况下，描述处理流程模型402A和402B。

在图5的情况下，各处理流程模型由步骤特征量403A以及403B和下一个图像处理404A以及404B而构成。在步骤特征量403A和403B中记录有到某个执行次数为止的目标区域的大小和个数的变化。

另外，在下一个图像处理404A以及404B中，存储有在步骤特征量403A和403B所对应的执行次的下一次执行的图像处理的内容。即，图5相当于例如在存在执行了5次图像处理的处理流程模型的情况下准备了以下的处理流程模型的情况，即记录了到其第一次为止的步骤特征量和第二次执行的下一个图像处理的处理流程模型、记录了到第二次为止的步骤特征量和第三次执行的下一个图像处理的处理流程模型、以下同样地记录了到各次为止的步骤特征量和其下一次执行的下一个图像处理的处理流程模型。此外，在本例子的情况下，不存在第6次的处理，因此在相对于到第5次为止的步骤特征量的处理流程模型中，记录“结束”作为其下一个图像处理。

在该情况下，如果检测出与当前处理的图像所出现的步骤特征量的类似度高的处理步骤模型，则唯一地确定下一个图像处理。

不过，作为处理流程模型，也可以使用存储了全部执行次的步骤特征量和在各执行次执行的图像处理的信息的模型。在该情况下，在到要决定的执行次的上一次为止的范围内对处理步骤模型的步骤特征量进行对照，如果检测出类似度高的处理步骤模型，则由图像处理部121读出在该下一个执行次执行的图像处理即可。

在本实施例的情况下，下一个图像处理决定部120例如根据对应的2个步骤特征量的差分平方和来计算处理流程模型205和步骤特征量203之间的类似度。在该情况下，差分平方和越小，则表示类似度越高。当然，类似度的计算方法并不限于差分平方和，也可以使用差分绝对值和。在图5的情况下，对于与具体例子400的类似度，处理流程模型402A的图表比较接近。因此，下一个图像处理决定部120将类似度大的处理流程模型402A的优先度设定为比处理流程模型402B高。然后，下一个图像处理决定部120选择优先度高的处理流程模型402A的下一个图像处理（即水平设置（治疗疤痕））输出到图像处理部121。

如以上说明的那样，通过采用实施例1的图像处理装置100，在想从处理对象图像中自动提取目标区域的情况下，在操作者输入了初始条件后，即使不进行任何追加的操作，也能够从处理对象图像中提取所需要的目标区域。因此，可以不需要在现有装置中必要性还很高的在图像处理执行过程中由操作者进行的图像处理内容的修正操作。由此，能够减轻对操作者的工作负担，还能够缩短到提取目标区域的时间。

（3）实施例2

在图6中表示实施例2的图像处理系统的功能块结构。在图6中，对与图1的对应部分附加相同符号来表示。实施例2的图像处理系统与实施例1的图像处理系统的不同点为：追加了向下一个图像处理决定部120赋予初次处理输入207的输入装置105；下一个图像处理决定部120参照操作者输入的初次处理输入207进行动作。

在图7中，表示图像处理装置100所执行的图像诊断支持处理的概要。此外，在图7中，对与图3对应的部分附加相同符号来表示。如对图7和图3进行比较可知，在本实施例的情况下，代替处理301而执行处理307。即，在处理300之后、处理302之前执行处理307。

在实施例1的情况下，通过处理301来设定步骤特征量的初始值。在该情况下，初次执行的图像处理成为根据所设定的初始值来预先决定的处理。当然，也可以根据赋予的初始值变更初次执行的图像处理，但由下一个图像处理决定部120执行图像处理的决定，无法将操作者的意图反映到图像处理的决定中。

另一方面，在本实施例的情况下，在处理307中，操作者可以通过输入装置105具体地选择或指定初次执行的图像处理。不过，也可以在处理300之前执行该指定，将在处理307中事先输入的初次处理输入207放入到下一个图像处理决定部120中。

在本实施例的情况下，操作者能够选择水平设置（通用）、过滤（包囊消除）、水平设置（治疗疤痕）等作为初次处理输入207。

如以上说明的那样，如果采用实施例2的图像处理装置100，则操作者能够选择或指定希望的图像处理作为初次图像处理。由此，除了实施例1的效果以外，还能够实现一种能够提供符合操作者的意图的图像处理的图像处理装置。

（4）实施例3

在本实施例中，说明适合于安装在构成实施例1的图像处理系统（图1）的下一个图像处理决定部120中的其他处理功能。此外，在本实施例的情况下，存储在处理流程模型数据库102中的处理流程模型的数据内容也与实施例1不同。

在图8中，表示通过本实施例的下一个图像处理决定部120执行的处理的概要。在图8中，对与图5的对应部分附加相同符号来表示。在本实施例的情况下，在处理流程模型数据库102中，作为构成处理流程模型的数据的一部分，存储有与其可靠度有关的信息（评分）。评分被作为评价步骤特征量的类似度时的修正量（加权）来使用。在此，评分在可靠度为最高值（最大）的情况下为100，在最小值的情况下为0。顺便说一下，在图5的情况下，处理流程模型402A的评分是“10”，处理流程模型402B的评分是“80”。

在本实施例的情况下，下一个图像处理决定部120通过以下所示的处理，决定对处理对象图像下一个适用的图像处理（处理3021）。

首先，下一个图像处理决定部120将关于处理对象图像所取得的步骤特征量203和处理流程模型205进行比较，计算处理流程模型402A和402B的类似度。用比例来表示类似度，是在完全一致的情况下用100%表示而在完全不一致的情况下用0%来表示的指标。

接着，下一个图像处理决定部120使用可靠度和类似度，决定各处理流程模型的优先顺序。在本实施例的情况下，对可靠度和类似度进行和算，将用100标准化后的值作为优先度。在此，如果将处理流程模型的可靠度设为A1，其加权设为w1，类似度设为A2，其加权设为w2，则可以根据下式计算优先度。

优先度=（w1·A1+w2·A2）/（w1+w2）

顺便说一下，如果设加权为w1=w2=1，则图8中的处理流程模型402A的优先度为45（=（10+80）/2）。另一方面，图8中的处理流程模型402B的优先度为60（=（80+40）/2）。

在该情况下，优先顺序与实施例1相反。即，处理流程模型402B的优先顺序成为1位，处理流程模型402A的优先顺序成为2位。因此，下一个图像处理决定部120将存储为处理流程模型402B的下一个图像处理403B的区域生长（通用）输出到图像处理部121。

如本实施例所示那样，将表示算法的可靠性的指标导入到成为类似判定的对象的处理流程模型，由此能够向操作者提供精度比实施例1高的提取结果。

（5）实施例4

在本实施例中，说明适合于安装在构成实施例1的图像处理系统（图1）的下一个图像处理决定部120中的其他处理功能。

在图9中，说明通过本实施例的下一个图像处理决定部120执行的处理的详细步骤。在本实施例的情况下，下一个图像处理决定部120使用在各执行次适用的图像处理的算法作为第三步骤特征量。即，本实施例的下一个图像处理决定部120采用以下方法，即使用目标区域的大小、目标区域的个数、图像处理的算法，计算处理流程模型的类似度而决定优先顺序，将优先顺序最高的处理流程模型的下一个图像处理输出到图像处理部121。

当然，作为其前提，假设在存储在处理流程模型数据库102中的处理流程模型中，在其步骤特征量中包含图像处理算法。此外，在图像处理算法中，除了在各次执行的图像处理算法以外，还存储所使用的参数。

在本实施例的情况下，能够向操作者提供考虑到图像处理算法的执行顺序的提取精度高的结果。

（6）其他实施例

此外，本发明并不限于上述的实施例，包含各种变形例子。例如上述的实施例是为了容易理解地说明本发明而详细说明的，并不限于一定具备所说明的全部结构。另外，可以将某实施例的一部分置换为其他实施例的结构，另外也可以向某实施例的结构追加其他实施例的结构。另外，对于各实施例的结构的一部分，也可以追加、删除、或置换其他结构。

另外，对于上述的各结构、功能、处理部、处理单元等，可以例如作为集成电路及其它硬件来实现它们的一部分或全部。另外，也可以通过由处理器对实现各个功能的程序进行解释并执行来实现上述的各结构、功能等。即，也可以作为软件来实现。可以将实现各功能的程序、表、文件等信息存储在存储器、硬盘、SSD（固态驱动器）等存储装置、IC卡、SD卡、DVD等记录介质中。

另外，控制线、信息线表示出为了说明上的需要而考虑到的部分，并不表示产品上所需要的全部控制线、信息线。实际上可以考虑几乎将全部的结构相互连接起来。

符号的说明

100：图像处理装置；102：处理流程模型数据库；103：图像数据库；104：图像显示装置；105：输入单元装置；111：目标区域特征量提取部；112：目标区域特征量存储部；120：下一个图像处理决定部；121：图像处理部；200：检查图像；201：目标区域数据；202：目标区域特征量；203：步骤特征量；204：图像处理；205：处理流程模型；206：处理结果；207：初次处理输入；250：肝脏CT图像；260：目标区域；270：目标区域的提取结果；280：提取结果显示画面；281：处理步骤显示画面；350：初始值；351：阈值。

Claims (12)

1.一种图像处理装置，适用多个图像处理，从处理对象图像中提取目标区域，其特征在于：

上述目标区域是与上述处理对象图像的周围区域不同的部位，

该图像处理装置具备：

存储对上述处理对象图像适用第一图像处理步骤时的处理结果相关的第一履历的处理部；

从积累了上述第一图像处理步骤后所适用的图像处理的候选、适用与各候选对应的第二图像处理步骤时的处理结果相关的第二履历的数据库中读出上述第二履历，评价与上述第一履历的类似度，将得到高评价结果的第二履历所对应的图像处理决定为下一个的候选的处理部；

根据所决定的图像处理来执行目标区域的提取处理的处理部。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述履历是在进行了一个以上的图像处理时与各处理所提取出的目标区域相关的特征量的变化信息。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述特征量是目标区域的个数或大小。

4.根据权利要求2所述的图像处理装置，其特征在于，

上述特征量是图像处理算法的信息。

5.根据权利要求2～4的任意一项所述的图像处理装置，其特征在于，

上述处理对象图像是医用图像，上述目标区域是病变部位。

6.根据权利要求1所述的图像处理装置，其特征在于，

在上述数据库中存储与上述第二图像处理步骤对应的评价指标，

在对上述第一履历和第二履历的类似度进行评价的情况下，还包含上述评价指标来评价上述类似度。

7.一种图像处理方法，适用多个图像处理，由从处理对象图像提取出目标区域的计算机来执行，其特征在于：

上述目标区域是与上述处理对象图像的周围区域不同的部位，

该图像处理方法具备：

存储对上述处理对象图像适用第一图像处理步骤时的处理结果相关的第一履历的处理；

从积累了上述第一图像处理步骤后所适用的图像处理的候选、适用与各候选对应的第二图像处理步骤时的处理结果相关的第二履历的数据库中读出上述第二履历，评价与上述第一履历的类似度，将得到高评价结果的第二履历所对应的图像处理决定为下一个的候选的处理；

根据所决定的图像处理来执行目标区域的提取处理的处理。

8.根据权利要求7所述的图像处理方法，其特征在于，

上述履历是在进行了一个以上的图像处理时与各处理所提取出的目标区域有关的特征量的变化信息。

9.根据权利要求8所述的图像处理方法，其特征在于，

上述特征量是目标区域的个数或大小。

10.根据权利要求8所述的图像处理方法，其特征在于，

上述特征量是图像处理算法的信息。

11.根据权利要求8～10的任意一项所述的图像处理方法，其特征在于，

上述处理对象图像是医用图像，上述目标区域是病变部位。

12.根据权利要求7所述的图像处理方法，其特征在于，

在上述数据库中存储与上述第二图像处理步骤对应的评价指标，

在对上述第一履历和第二履历的类似度进行评价的情况下，还包含上述评价指标来评价上述类似度。

Images