CN112862741A - 医用图像处理装置及医用图像处理方法、医用图像处理程序 - Google Patents

Abstract

一种医用图像处理装置及医用图像处理方法、医用图像处理程序，能够模拟新的学习对于现有的识别器所产生的影响。处理医用图像的医用图像处理装置包括：存储部，其存储现有学习数据，该现有学习数据是将作为识别上述医用图像所得结果的识别结果与上述医用图像结成的对的集合；空间设定部，设定具有以从所述医用图像计算得到的多个特征量为轴的特征量空间；区域分割部，基于所述特征量空间中的所述现有学习数据的分布，将所述特征量空间分割为每个识别结果的区域；偏离度计算部，计算作为与所述现有学习数据所不同的新的学习数据偏离所述区域的程度的偏离度并进行提示。

Description

医用图像处理装置及医用图像处理方法、医用图像处理程序

技术领域

本发明涉及对于由医用图像拍摄装置所取得的医用图像进行处理的医用图像处理装置及医用图像处理方法、医用图像处理程序，特别涉及支持医用图像的图像诊断的医用图像处理装置的再学习。

背景技术

伴随着以X射线CT(Computed Tomography，计算机断层扫描)装置、MRI(MagneticResonance Imaging，磁共振成像)装置等所代表的医用图像拍摄装置的高性能化，可以取得大量的医用图像，进行图像诊断的放射科医生的负担增大。为了减轻放射科医生的负担，开发出了通过计算机从医用图像检测病变候选，由此支持图像诊断的医用图像处理装置，即所谓的CAD(Computer Aided Detection，计算机辅助检测)。CAD中，以医用图像与图像诊断的结果作为成对的集合来作为学习数据进行机器学习，根据机器学习中所使用的学习数据来改变病变候选的检测精度。

专利文献1中公开了防止判断X射线的撮影部位的识别器的判断精度降低的信息处理装置。具体而言，公开了如下方案：分别计算由使用通用的学习数据的学习所构成的现有的识别器以及由使用定制用学习数据的学习所构成的1个或多个新的处理器的判断精度，选择判断精度最高的识别器。

现有技术文献

专利文献

专利文献1：日本专利第5533662号公报

发明内容

发明所要解决的课题

但是，专利文献1中，为了计算新的识别器的判断精度，必须对于定制用的学习数据进行新的学习。新的学习对应于数据量需要一定时间，不仅如此，是否提高识别器的判断精度还依赖于所使用的学习数据的性质。也就是说，即使新的学习耗费长时间也存在识别器的判断精度、CAD的检测精度等降低的情况。

为此，本发明的目的在于提供可以模拟新的学习对于现有的识别器所带来的影响的医用图像处理装置及医用图像处理方法、医用图像处理程序。

解决课题的方法

为了达成上述目的，本发明提出了一种处理医用图像的医用图像处理装置，特征在于，包括：存储部，其存储现有学习数据，该现有学习数据是将作为识别上述医用图像所得结果的识别结果与上述医用图像结成的对的集合；空间设定部，其设定具有以从上述医用图像计算得到的多个特征量为轴的特征量空间；区域分割部，其基于上述特征量空间中的上述现有学习数据的分布将上述特征量空间分割成每个识别结果的区域；偏离度计算部，其计算作为与上述现有学习数据不同的新的学习数据偏离上述区域的程度的偏离度并进行提示。

另外，本发明涉及计算机对于医用图像进行处理的医用图像处理方法，特征在于，包括如下步骤：获取步骤，获取现有学习数据，该现有学习数据是将识别上述医用图像所得结果的识别结果与上述医用图像作为成对的集合；空间设定步骤，设定具有以从上述医用图像计算得到的多个特征量为轴的特征量空间；区域分割步骤，基于上述特征量空间中的上述现有学习数据的分布将上述特征量空间分割成每个识别结果的区域；偏离度计算步骤，计算作为与上述现有学习数据不同的新的学习数据偏离上述区域的程度的偏离度并进行提示。

另外，本发明涉及通过计算机处理医用图像的医用图像处理程序，特征在于，包括：获取步骤，获取现有学习数据，该现有学习书籍是将作为识别上述医用图像所得结果的识别结果与上述医用图像结成的对的集合；空间设定步骤，设定具有以从上述医用图像计算得到的多个特征量为轴的特征量空间；区域分割步骤，基于上述特征量空间中的上述现有学习数据的分布将上述特征量空间分割成每个识别结果的区域；偏离度计算步骤，计算作为与上述现有学习数据不同的新的学习数据偏离上述区域的程度的偏离度并进行提示。

发明效果

根据本发明，能够提供一种对于现有的识别器能够模拟出新的学习带来的影响的医用图像处理装置及医用图像处理方法、医用图像处理程序。

附图说明

图1是实施例1的医用图像处理装置的硬件结构图。

图2是显示医用图像与病变候选的一例的图。

图3是说明识别结果的一例的图。

图4是实施例1的功能框图。

图5是显示实施例1的处理流程的一例的图。

图6是显示特征量空间的设定处理的流程的一例的图。

图7是说明特征量的一例的图。

图8是显示被区域分割的特征量空间的一例的图。

图9是显示偏离度的计算处理的流程的一例的图。

图10是显示偏离度的一例的图。

图11是对于偏离度的校正进行说明的图。

图12是对于发生偏离的医用图像所共通的特征量的计算方法进行说明的图。

附图标记说明

100：医用图像处理装置，101：CPU，102：存储器，103：存储部，104：网络适配器，105：总线，106：输入部，107：显示部，108：网络，109：医用图像拍摄装置，110：医用图像数据库，111：图像诊断支持装置，200：断层图像，201：病变候选，401：空间设定部，402：区域分割部，403：偏离度计算部。

具体实施方式

以下，参考附图对于根据本发明的医用图像处理装置以及医用图像处理方法的优选实施例进行说明。需要说明的是，以下的说明以及附图中，对于具有相同的功能结构的构成要素，标记相同的附图标记并省略重复说明。

实施例1

利用图1，对于本实施例的医用图像处理装置100的硬件结构进行说明。医用图像处理装置100就是所谓的计算机。具体而言，其构成为CPU(Central Processing Unit，中央处理器)101、存储器102、存储部103、网络适配器104、输入部106、显示部107通过总线105以可收发信号的方式相连。另外，医用图像处理装置100通过网络适配器104及网络108与医用图像拍摄装置109、医用图像数据库110、图像诊断支持装置111以可收发信号的方式相连。此处，所谓“可收发信号”是电学地或光学地，无论是有线还是无线，能够相互或者从一方向另一方移交信号的状态。

CPU101是读取保存在存储部103的系统程序等并控制各构成要素的动作的装置。CPU101将存储部103所存储的程序或执行程序所需数据加载至存储器102并执行。存储部103是存储CPU101所执行的程序或执行程序所需数据的装置，具体而言是HDD(Hard DiskDrive，硬盘)、SSD(Solid State Drive，固态硬盘)等存储装置，是在IC卡、SD卡、DVD等存储介质上进行读写的装置。包括执行程序所需数据在内的各种数据也可以从LAN(Local AreaNetwork，局域网)等网络108收发信。存储器102中存储有CPU101执行的程序或计算处理进度等。

显示部107是显示程序执行结果等的装置，具体而言是液晶显示器等。输入部106是操作者对于医用图像处理装置100进行操作指示的操作装置，具体而言是键盘、鼠标等。鼠标可以是轨迹板或轨迹球等其他点击设备。另外，在显示部107为触摸屏的情况下，触摸屏还可以作为输入部106发挥功能。网络适配器104是用于将医用图像处理装置100连接至LAN、电话线路、英特网等网络108的装置。

医用图像拍摄装置109是获取将病变部位等的形态进行图像化的断层图像等医用图像的装置，具体而言，是X射线装置、X射线CT(Computed Tomography，计算机断层)装置、MRI(Magnetic Resonance Imaging，核磁共振)装置、超声波诊断装置等。通过堆叠多个断层图像，制作三维的医用图像。医用图像数据库110是保管由医用图像拍摄装置109所获取的医用图像的数据库系统。图像诊断支持装置111是从医用图像检测出病变候选、识别所检测的病变候选的恶性度、识别医用图像中所含脏器的计算机。

利用图2，对于通过医用图像拍摄装置109所获取的医用图像与通过图像诊断支持装置111所检测的病变候选进行说明。图2(a)中示出了作为由X射线CT装置拍摄的医用图像的肺叶的断层图像200，图2(b)中示出了从断层图像200所检测出的三个病变候选201。放射科医生读解图2(a)的断层图像200之后参考图2(b)的病变候选201再次读解断层图像200，或者一边参考图2(b)的病变候选201一边读解。不管任一种，放射科医生读解断层图像200，作为识别结果而记录对于断层图像200或病变候选201下达的诊断结果。

利用图3对于识别结果的例进行说明。图3(a)例示的表中记录了对于每个医用图像识别有无病变的结果。例如，Img-1中存在病变，Img-n中无病变。也就是说，图3(a)的表中的识别结果是所谓的有无病变的二值水平。

图3(b)例示的表中记录了对医用图像所含有的每个病变的恶性度进行识别的结果。例如，Img-1的结节-1与结节-2、Img-2的结节-1为恶性度1，Img-1的结节-3与Img-3的结节-2为恶性度2，Img-3的结节-1为恶性度3。需要说明的是，由于Img-n中无病变，未记录恶性度。也就是说，图3(b)的表中的识别结果时将病变的恶性度水平划分的多值的水平。在经水平划分的识别结果的情况下，作为表示水平的数值，例如，可以使用0～1范围内的小数。另外，对于每个病变可以与识别结果同时记录位置、大小。

图3(c)例示的表中记录了对于每个医用图像识别得到的撮影部位的结果。例如，Img-1与Img-3为脏器A，Img-2为脏器B，Img-n为脏器C。也就是说，图3(c)的表的识别结果是表示撮影部位的多值的水平。

图像诊断支持装置111是一个通过将图3所示的医用图像与识别结果结成的对的集合来作为学习数据进行学习而构成的识别器，根据学习数据的性质而图像诊断支持装置111的性能发生变化。也就是说，为了使现有的图像诊断支持装置111学习新的数据即使花费长时间，其识别精度的提高也是有限的。此处，本实施例中，即使不学习新的学习数据，也可以模拟新的学习数据对于现有的图像诊断支持装置111的影响。

利用图4对于本实施例的功能框图进行说明。需要说明的是，该功能可以通过使用ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)等的专用硬件构成，也可以通过在CPU101上运行的软件来构成。以下说明中对于各功能通过软件构成的情况下进行说明。本实施例包括空间设定部401、区域分割部402以及偏离度计算部403。以下，对于各部进行说明。

空间设定部401设定特征量空间，该特征量空间是具有以从医用图像计算得到的多个特征量为轴的多维空间。用于特征量空间的轴的特征量，例如可以是亮度、位置、大小、圆形度等，优选为与识别结果的关系强的特征量。也就是说，优选地将与识别结果的相关系数的绝对值高的特征量用作特征量空间的轴。

区域分割部402将通过空间设定部401所设定的特征量空间分割成每个识别结果的区域。特征量空间的区域分割中，例如使用特征量空间中现有学习数据的识别结果的分布。被分割为每个识别结果的区域的特征量空间的例，利用图8进行后述。

偏离度计算部403计算作为与现有学习数据不同的新的学习数据从由区域分割部402所分割的区域偏离程度的偏离度。偏离度的计算例利用图10进行后述。

利用图5，对于本实施例的处理流程的一例进行说明。

(S501)

空间设定部401获取作为将医用图像与识别结果结成的对的集合的现有学习数据。现有学习数据可以从存储部103读出，也可以通过网络适配器104从外部发送而至。

(S502)

空间设定部401设定具有以从医用图像所计算得到的多个特征量为轴的特征量空间。

利用图6，对于本步骤的处理流程的一例进行说明。

(S601)

空间设定部401从现有学习数据的医用图像计算多个特征量。图7中示出了计算得到的特征量。图7(a)是每个医用图像所计算得到的多个特征量，图7(b)是对医用图像中所含的每个病变计算得到的多个特征量。

(S602)

空间设定部401计算现有学习数据的识别结果与由S601计算得到的各特征量之间的相关系数。相关系数的计算使用式1所表示的皮尔逊随机相关系数等。

式1

其中，ρk表示识别结果与第k个特征量的相关系数，n表示医用图像的总数，xki表示对于医用图像i的第k个特征量的值，yi表示对于医用图像i的识别结果。另外，还可以通过逻辑回归法、判断分析法等方法，以预测精度(即以说明变量为各特征量、以目标变量为识别结果的情况下的预测精度)代替相关系数。

(S603)

空间设定部401基于由S602所计算的相关系数，选择多个特征量。例如，从相关系数绝对值高的顺序开始选择预定数量的特征量，也可以选择相关系数的绝对值大于预定阈值的特征量。

(S604)

空间设定部401设定具有以S603所选择的特征量为轴的特征量空间。通过具有S603所选择的特征量来作为轴，可以设定与识别结果的关系强的特征量空间。

回到图5的说明。

(S503)

区域分割部402将特征量空间根据每个识别结果进行区域分割。利用图8，对于基于识别结果的分布经区域分割的特征量空间的例进行说明。图8所示的特征量空间是具有以A_1与A_2这两个特征量为轴的二维空间。识别结果a和识别结果b是医用图像与病变结成的对，因此，在由从医用图像、病变所计算得到的特征量所构成的特征量空间中，形成如图8所示的分布。需要说明的是，图8中，识别结果a示作○，识别结果b示作△，识别结果a的分布中心示作(A_1_a、A_2_a)，识别结果b的分布中心为(A_1_b、A_2_b)。各识别结果的分布的中心以特征量(即特征量空间的轴)的平均值计算得到。

图8中，识别结果a的分布偏聚在特征量空间的左上侧，识别结果b的分布偏聚在特征量空间的右下侧，因此距离两分布的中心等距离的直线A_2＝α·A_1+β作为各识别结果的区域间的分界。即，以A_2＞α·A_1+β为识别结果a的区域，此外为识别结果b的区域。需要说明的示，可以基于各识别结果的分布，计算多元正态分布概率密度函数，在各识别结果的概率密度相同之处设置各识别结果的区域间的分界，由此对于每个识别结果进行区域分割。

(S504)

偏离度计算部403提示新的学习数据的偏离度。也就是说，在使用现有学习数据经区域分割的特征量空间中，确认新的学习数据是否包含在该区域内，在不含在其中的情况下计算作为偏离程度的偏离度并提示。通过偏离度提示，对于现有的识别器之一的图像诊断支持装置111可以模拟新的学习所产生的影响。

利用图9，对于本步骤的处理流程的一例进行说明。

(S901)

偏离度计算部403获取作为将医用图像与识别结果结成的对的集合的与现有学习数据不同的新的学习数据。新的学习数据既可以从存储部103读取，也可以通过网络适配器104从外部发送而至。

(S902)

偏离度计算部403从新的学习数据的医用图像计算作为特征量空间的轴的各特征量。

(S903)

偏离度计算部403利用S902所计算的特征量，将新的学习数据的医用图像配置于特征量空间。

(S904)

偏离度计算部403确认由S903配置在特征量空间中的医用图像存在于哪个区域，当配置在与识别结果不同的区域中时，计算偏离度。

利用图10对于偏离度的一例进行说明。图10中示出了在以直线A_2＝α·A_1+β为分界而分割成识别结果a的区域与识别结果b的区域的特征量空间中，作为新的学习数据中识别结果a的医用图像n1与n2所配置的状态。图10中，医用图像n2被配置在识别结果a的区域内，相对于此，医用图像n1被配置在识别结果b的区域(也就是说被配置在识别结果a以外的区域)，偏离于识别结果a的区域。医用图像n1的偏离度，例如使用图10中双箭头所示的距离分界的距离d1。需要说明的是，在医用图像n2被配置在正确区域的情况下，可以将零或以距分界的距离乘以－1得到的值用作偏离度。

作为偏离度，在使用距分界的距离的情况下，可以对应于距离各识别结果的分布的中心的距离，对偏离度进行校正。利用图11，对于偏离度的校正进行说明。图11中示出了，在与图10相同的特征量空间中，作为新的学习数据中的识别结果a的医用图像n1与n3所配置的状态。医用图像n1与n3被配置在识别结果b的区域。医用图像n1的距分界的距离d1与医用图像n3的相同，距识别结果a的分布的中心的距离r1长于医用图像n3的距离r3。进一步，当距识别结果的分布中心的距离例如长至无限远点时，距分界的距离就成为误差的范畴。此处，可以将距分界的距离d1除以距识别结果的分布中心的距离r1或r3来对偏离度进行校正。在此情况下，经校正的偏离度为d1/r1或d1/r3。

(S905)

偏离度计算部403判断全部新的学习数据的医用图像是否配置在特征量空间内。当存在未配置的医用图像时回到S902处理。在全部新的学习数据都配置在特征量空间内时进行S906处理。

(S906)

偏离度计算部403计算作为新的学习数据整体的偏离度。作为新的学习数据整体的偏离度D的计算，可以使用式2、式3。

式2

其中，di表示S904中计算的医用图像i的各偏离度，n表示医用图像的总数。

式3

其中，di表示S904中计算的偏离医用图像i的各偏离度，n0表示偏离的医用图像的张数。

需要说明的是，可以将偏离的医用图像的张数n0除以医用图像的总数n得到的值n0/n，作为新的学习数据整体的偏离度。另外，对于现有学习数据，可以与新的学习数据同样，计算现有学习数据整体的偏离度，两者可以一并表示。

另外，也可以将每个医用图像计算得到的偏离度di较大的医用图像作为偏离的医用图像的样本进行显示。例如，将各偏离度di大于预定阈值的医用图像、从偏离度di大的开始预定数量的医用图像作为偏离的医用图像的样本进行显示。与偏离度同时显示偏离的医用图像的样本，由此可以更易于模拟新的学习带来的影响。进一步，在偏离的医用图像的张数n0多于预定阈值的情况下，可以求取作为偏离度di较大的医用图像中所共通的特征量的共通特征量并提示。

利用图12，对于求取作为偏离的医用图像所共通的特征量的共通特征量的方法进行说明。图12中示出了，在与图10相同的特征量空间中，作为新的学习数据中的识别结果a的医用图像n1与n4被配置的状态。医用图像n1与n4被配置在识别结果b的区域内。从医用图像n1向着识别结果a的分布的中心的向量被分解为特征量A_1的分量D1_1与特征量A_2的分量D1_2。来自医用图像n4的向量也同样地被分解为D4_1与D4_2。并且，被分解为各特征量的分量的向量之中，将相对而言变化较小的分量作为共通特征量来进行求取。例如，将分解得到的分量的分散、差为预先设定的阈值以下的特征量作为偏离的医用图像的共通特征量来进行求取。图12中，在D1_1与D4_1之间的差小于阈值Dlimit的情况下，作为偏离的医用图像n1与n4的共通特征量，求取出A_1。进一步提示偏离的医用图像的共通特征量，由此更易于模拟新的学习的影响。

通过以上说明的处理流程，在利用现有学习数据进行区域分割的特征量空间中提示新的学习数据的偏离度。并且，根据所提示的偏离度，可以模拟新的学习对于现有的识别器之一的图像诊断支持装置111的影响。

以上，对于本发明的实施例进行了说明。本发明不受这些实施例的限制，还包含各种变形例。例如，上述实施例，是为了便于理解本发明进行的详细说明，本发明不限于包括说明的所有的构成。

Claims (9)

1.一种医用图像处理装置，是对医用图像进行处理的医用图像处理装置，特征在于，包括：

存储部，其存储现有学习数据，所述现有学习数据是将作为识别所述医用图像所得结果的识别结果与所述医用图像结成的对的集合，

空间设定部，其设定具有以从所述医用图像计算得到的多个特征量为轴的特征量空间，

区域分割部，其基于所述特征量空间中的所述现有学习数据的分布，将所述特征量空间分割为每个识别结果的区域，

偏离度计算部，其计算作为与所述现有学习数据不同的新的学习数据偏离所述区域的程度的偏离度并进行提示。

2.根据权利要求1所述的医用图像处理装置，其特征在于，所述偏离度计算部针对所述新的学习数据中所含的各医用图像计算所述偏离度，并显示计算得到的偏离度较大的医用图像。

3.根据权利要求2所述的医用图像处理装置，其特征在于，所述偏离度计算部求取作为偏离度较大的医用图像所共通的特征量的共通特征量。

4.根据权利要求3所述的医用图像处理装置，其特征在于，所述偏离度计算部将从所述区域偏离的各医用图像向着所述区域的中心的向量分解成每个特征量的分量，将分解得到的分量中相对而言变动小的分量作为所述共通特征量进行求取。

5.根据权利要求1所述的医用图像处理装置，其特征在于，所述偏离度计算部基于距所述区域之间的分界的距离计算所述偏离度。

6.根据权利要求5所述的医用图像处理装置，其特征在于，所述区域分割部计算在所述特征量空间中的各区域的中心，

所述偏离度计算部基于距所述各区域的中心的距离，对于所述偏离度进行校正。

7.根据权利要求1所述的医用图像处理装置，其特征在于，所述空间设定部基于与所述现有学习数据的识别结果之间的相关系数选择所述特征量空间的轴。

8.一种医用图像处理方法，是计算机对于医用图像进行处理的医用图像处理方法，其特征在于，包括：

获取步骤，获取现有学习数据，所述现有学习数据是将作为识别所述医用图像所得结果的识别结果与所述医用图像结成的对的集合，

空间设定步骤，设定具有以从所述医用图像计算得到的多个特征量为轴的特征量空间，

区域分割步骤，基于所述特征量空间中的所述现有学习数据的分布，将所述特征量空间分割成每个识别结果的区域，

偏离度计算步骤，计算作为与所述现有学习数据不同的新的学习数据偏离所述区域的程度的偏离度并进行提示。

9.一种医用图像处理程序，是通过计算机处理医用图像的医用图像处理程序，其特征在于，包括：

获取步骤，获取现有学习数据，所述现有学习数据是将作为识别所述医用图像所得结果的识别结果与所述医用图像结成的对的集合，

空间设定步骤，设定具有以从所述医用图像计算得到的多个特征量为轴的特征量空间，

区域分割步骤，基于所述特征量空间中的所述现有学习数据的分布，将所述特征量空间分割成每个识别结果的区域，

偏离度计算步骤，计算作为与所述现有学习数据不同的新的学习数据偏离所述区域的程度的偏离度并进行提示。

Images