CN106154193B - 图像处理装置及其方法 - Google Patents

Abstract

本发明提供一种图像处理装置及其方法，该图像处理装置进行运动修正以便易于观察设备的运动。被输入包含设备的被检体的取得图像数据(111)的图像处理部(10)，利用设备信息取得部(102)和人体各部位的信息取得部(103)，从取得图像数据中取得设备的运动信息和被检体的各部位的运动信息，并利用设备关联运动信息取得部(104)，使用设备的运动信息和被检体的各部位的运动信息，从被检体的各部位的运动信息中提取影响设备的运动信息的运动信息，并利用修正处理部(105)，使用所提取的影响设备的运动信息的运动信息，进行取得图像数据的修正处理，并将修正图像数据(115)输出到显示输出部。

Description

图像处理装置及其方法

技术领域

本发明涉及X射线透视摄像等医用图像摄像装置，特别地涉及其图像处理技术。

背景技术

在用于对使用体内探针等设备的手术进行辅助的机器中，为了修正设备的位置，有专利文献1中记载的技术。在该公报中记载了“涉及体内探针追踪系统中的患者的运动的修正。接收人体的X射线透视图像。在X射线透视图像中确定人体的硬组织，并在第2坐标系上测定X射线透视图像中的人体的运动。使用第2坐标系中确定的运动来修正第1坐标系中的体内探针的接收到的位置。”。

如上所述，在专利文献1中，在进行X射线透视摄像时，检测被检体的运动，并使用检测出的运动来修正体内探针的接收到的位置。然而，在专利文献1中，未考虑输出并显示被检体内的体内探针的图像的情况。因此，仅限于对体内探针等设备的空间坐标进行修正的效果。因此，无法兼顾提高手术者的设备操作性。

专利文献1：日本特开2014-100567号公报

非专利文献1：A Tutorial on Support Vector Machines for PatternRecognition,Journal of Data Mining and Knowledge Discovery,Vol.2,Issue 2,1998.

发明内容

本发明的目的在于，解决上述课题，提供一种通过修正图像的运动以便易于观察设备的运动，由此能够实现手术者的设备操作性的提高的图像处理装置和方法。

为了实现上述目的，本发明提供一种图像处理装置，其具备：图像处理部，包含设备的被检体的取得图像数据被输入到该图像处理部；以及显示输出部，利用图像处理部修正后的修正图像数据被输入到该显示输出部，其中，图像处理部从取得图像数据中取得设备的运动信息和被检体的各部位的运动信息，并使用所取得的设备的运动信息和被检体的各部位的运动信息，从被检体的各部位的运动信息中提取影响设备的运动信息的运动信息，并使用所提取的影响设备的运动信息的运动信息，进行取得图像数据的修正，并输出修正图像数据。

此外，为了实现上述目的，本发明提供一种图像处理装置，其具备：图像处理部，包含设备的人体的取得图像数据被输入到该图像处理部；以及显示输出部，利用图像处理部修正后的修正图像数据被输入到该显示输出部，其中，图像处理部包含以下结构：从取得图像数据中取得设备的信息的设备信息取得部；从取得图像数据中取得人体各部位的信息的人体各部位的信息取得部；从取得图像数据取得人体的病变的信息的病变信息取得部；使用设备的运动信息和人体各部位的运动信息，从人体各部位的运动信息中提取影响设备的运动信息的运动信息的设备关联运动信息提取部；从人体各部位的运动信息中提取影响病变的运动信息的运动信息的病变关联运动信息提取部；以及使用影响设备的运动的运动信息和影响病变的运动信息的运动信息，对取得图像数据进行修正处理的修正处理部。

此外，为了实现上述目的，本发明提供一种图像处理装置中的图像处理方法，图像处理装置从包含设备的被检体的取得图像数据中取得设备的运动信息和被检体的各部位的运动信息，并使用所取得的设备的运动信息和被检体的各部位的运动信息，从被检体的各部位的运动信息中提取影响设备的运动信息的运动信息，并使用所提取的影响设备的运动信息的运动信息，进行取得图像数据的修正，并输出修正图像数据。

根据本发明，通过在残留手术者所意图的设备的运动的同时修正图像的运动，能够提高设备的操作性。

附图说明

图1是表示实施例1的图像处理部的一种结构的框图。

图2是表示实施例1的X射线透视摄像装置的一种结构的框图。

图3是表示实施例1的被检体各部位的信息的一例的概念图。

图4是表示实施例2的图像处理部的一种结构的框图。

符号说明

1 X射线透视摄像装置

2 X射线管

3 X射线控制部

4 高电压产生部

5 光圈

6 X射线补偿滤波器

7 光圈滤波器控制部

8 操作台

9 图像取得部

10、30 图像处理部

11 显示输出部

12 机构控制部

13 中央处理部

14 被检体

15 用户接口部

102 设备信息取得部

103 人体各部位的信息取得部

104 设备关联运动信息取得部

105、303 修正处理部

111 取得图像数据

112 设备信息

113 人体各部位的信息

114 影响设备的运动信息的运动信息

115 修正图像数据

301 病变信息取得部

302 病变关联运动信息取得部

具体实施方式

以下，按照附图依次说明各个实施例。此外，本说明书中，“设备”是从外部导入到被检体中的内窥镜、导尿管、钳子等的总称。

[实施例1]

实施例1是图像处理装置和图像处理方法的实施例，该图像处理装置具备：图像处理部，来自取得包含设备的被检体的图像的图像取得部的取得图像数据被输入到该图像处理部；以及显示输出部，由图像处理部修正后的图像数据被输入到该显示输出部，其中，图像处理部从取得图像数据中取得设备的运动信息和被检体的各部位的运动信息，并使用所取得的设备的运动信息和被检体的各部位的运动信息，从被检体的各部位的运动信息中提取影响设备的运动信息的运动信息，并使用所提取的影响设备的运动信息的运动信息，进行取得图像数据的修正处理，并将修正后的图像数据输出。

图1和图2分别是表示实施例1的图像处理部、X射线透视摄像装置的一种结构的框图。

如图2所示，本实施例的X射线透视摄像装置1具有：产生并照射X射线的X射线管2；与X射线管2电连接的高电压产生部4；与高电压产生部4电连接的X射线控制部3；在X射线管2的X射线照射方向上配置的光圈5、X射线补偿滤波器6和操作台8；与X射线补偿滤波器6和光圈5电连接的光圈滤波器控制部7；以及隔着光圈5和X射线补偿滤波器6以及寝台即操作台8而与X射线管2相向配置的图像取得部9。这里，X射线管2、光圈5、X射线补偿滤波器6、操作台8以及图像取得部9构成了X射线透视摄像装置1的摄像部。

此外，还具有：与图像取得部9电连接的图像处理部10；与图像处理部10电连接的显示输出部11；与操作台8和图像取得部9电连接的、作为摄像机构移动部发挥作用的机构控制部12；与X射线控制部、高电压产生部4、光圈滤波器控制部7、图像取得部9、图像处理部10和机构控制部12电连接的、对各个处理和控制进行指示的中央处理部13；与中央处理部13电连接的用户接口部15。

高电压产生部4产生对X射线管2施加的高电压。X射线管2向被检体14照射X射线。X射线控制部3控制高电压产生部4，并控制从X射线管2照射的X射线的放射性质量。光圈5通过X射线吸收率高的金属的移动来控制照射由X射线管2产生的X射线的区域。X射线补偿滤波器6由X射线吸收率高的物质构成，使到达被检体的X射线吸收率低的部位的X射线衰减，由此来减轻光晕。操作台8是承载人体等被检体14的寝台。

图像取得部9输出与从X射线管2照射并透过被检体后的X射线的强度分布对应的图像数据。一般地，图像取得部9由X射线平面型检测器构成，通过组合了X射线检测材料和TFT(薄膜晶体管(Thin Film Transistor))阵列的机构，利用TFT的开关扫描(switchingscan)来读出由X射线在X射线检测材料内产生的电荷，作为数字信号而输出图像数据。图像取得部9可以将该图像数据生成为静止图像，此外还可以生成在时间上不同的定时所拍摄的多个图像数据，生成为动态图像。在后者的情况下，一般以每秒30帧、每秒15帧等一定时间间隔来拍摄图像数据。

本实施例的图像处理部10进行从图像取得部9输出的图像数据的修正处理。该图像处理部10根据中央处理部13的指示/控制来执行后文详述的修正处理。图像处理部10优选能够由数字信号处理器(DSP)构成，或者也可以通过中央处理部13本身进行程序处理来实现该修正处理。显示输出部11显示修正处理后的X射线摄像图像数据。机构控制部12作为摄像机构移动部而发挥作用，控制为移动操作台8和X射线平面检测器9而移动到适合于被检体14的摄像的位置。

中央处理部13是对上述电连接的结构要素进行控制的计算机。用户接口部15按照来自中央处理部13的指示向用户提示信息，或者从用户接收信息并作为电信号而输出到中央处理部13。用户接口部15通过按钮、键盘、鼠标、触摸面板、显示器等构成。在本实施例中，使用户接口部15中的显示装置(显示器)和输出图像数据的显示输出部11独立，然而可以通过分割显示区域或使信息显示随时间迁移来进行物理上通用化。

接着，说明图1所示的本实施例的图像处理部10的修正处理功能。图像处理部10包含：从由图像取得部9输出的图像数据111检测内窥镜、导尿管、钳子等设备的位置和运动信息，并作为设备信息112输出的设备信息取得部102；从由图像取得部9输出的图像数据111检测人体各部位的信息，并输出人体各部位的信息113的人体各部位的运动信息取得部103；将从设备信息取得部102输出的设备信息112和从人体各部位的信息取得部103输出的人体各部位的信息113作为输入，从人体各部位的信息113中提取与设备信息112关联的运动信息，并作为影响设备的运动信息的运动信息114而输出的设备关联运动信息取得部104；将从设备关联运动信息取得部104输出的影响设备的运动信息的运动信息114和从图像取得部9输出的图像数据111作为输入，根据影响设备的运动信息的运动信息114来修正图像数据111，并输出修正图像数据115的修正处理部105。

接着，依次说明构成图像处理部10的各模块的功能动作的细节。设备信息取得部102首先根据被输入的图像数据111来确定设备的位置，接着，根据设备的位置的时间变化来推定运动，将设备的位置和运动作为设备信息112而输出。作为确定设备的位置的方法，使用了基于机械学习的方法，然而并不限于此。以下，说明基于机械学习的方法。由于内窥镜等设备一般由遮挡X射线的透射的材料构成，因此，与人体各部位相比较，在图像数据上大多具有特征性的亮度。此外，还大多具有明显不同于人体各部位的形状。通过机械学习来识别这样的设备所固有的特征，由此能够从图像数据中确定设备的位置。

设备信息取得部102将图像分割成各个某区域(补丁图像(patch image))，并通过机械学习来判别该补丁图像中是否包含设备，由此来确定设备的位置。一般地，机械学习有学习想要识别的物体的学习阶段、和判别实际上输入的图像是否是想要的图像的预测阶段。通过X射线透视摄像装置1的图像处理部10来实施学习阶段的处理，但是也可以构成为，在例如独立于X射线透视摄像装置的个人计算机(PC)上预先实施图中未记载的离线处理，并将学习结果存储在DSP等图像处理部10中的未图示的存储器中。此外，可以构成为通过X射线透视摄像装置1的图像处理部10来实施预测阶段。

设备信息取得部102在学习阶段，将大量的样本图像分割为补丁图像，并针对每个补丁图像利用目视等方法标示是否在图像中包含设备的标号(例如，有：1，无：-1)，之后，识别器学习补丁图像与标号的关系。另一方面，在预测阶段，将所输入的图像数据111分割为补丁图像并输入到识别器，由此，根据标号来输出补丁图像中是否包含设备。

接着，说明各阶段的动作的细节。首先，说明学习阶段的动作。在学习阶段，首先从图像中提取特征。对于特征，考虑使用HOG(方向梯度直方图(histogram of OrientedGradients))和亮度直方图的组合等，然而并不限于此，以下依次说明HOG和亮度直方图的计算方法，最后说明其组合方法。

HOG是基于图像的梯度强度和梯度方向的特征量。依次说明HOG的计算方法。首先，将某图像划分为小的(水平方向5像素、垂直方向5像素左右)块，并针对每个块求取梯度强度和梯度方向。当设图像数据为I，设图像数据上的坐标为u、v时，根据式(1)，分别通过式(2)和式(3)来计算梯度强度m和梯度方向θ。

[式1]

f_u(u,v)＝I(u,v)-I(u-1,v)

f_v(u,v)＝I(u,v)-I(u,v-1)…(1)

[式2]

[式3]

此外，针对每个合适的角度将梯度方向量化，生成在各个小区间(bin)值上相加梯度强度后的梯度方向直方图。例如，在以20度单位进行了量化的情况下，直方图的小区间数为9，因此梯度方向直方图为9维的特征向量。

在相邻块(水平方向3个块、垂直方向3个块)之间连接计算出的梯度方向直方图，生成81维的特征向量，并将小区间值归一化。在针对图像整体应用该操作的同时将所得的特征向量连接，由此最终得到从几百维到几千维左右的HOG特征向量。

亮度直方图是基于图像的亮度的特征量。以合适的单位将某图像的像素值量化，利用量化后的值生成亮度直方图。之后，将亮度直方图的小区间值归一化。例如，在图像的比特深度以256级，针对每16单位而量化的情况下，直方图的小区间数是16，因此亮度直方图是16维的特征向量。将利用上述方法计算出的HOG和亮度直方图连接，设为最终的特征向量。

接着，说明根据该特征向量利用识别器进行学习的方法。这里，假定准备多个所述特征向量和标号的组合作为训练样本，使用识别器进行学习。识别器中使用了SVM(支持向量机(Support Vector Machine))，然而并不限于此。以下对SVM进行概述。

SVM是通过线性阈值构成2类模式识别器的方法，使用所输入的训练样本来计算各特征向量间的距离为最大的超平面。该超平面的参数成为学习结果，被存储在位于图像处理部10内的未图示的存储器中。例如，非专利文献1中记载了SVM的细节。

另一方面，在预测阶段，利用光栅扫描从输入图像数据中切出补丁图像，与学习阶段同样地计算特征向量。接着，将特征向量输入到学习结束的识别器，作为输出而得到标号(label)，来判断设备的有无。此时，通过预先规定图像中包含的设备的最大数，能够防止从图像中错误地检测多个设备。例如，在存在多个被判断为有设备的补丁图像的情况下，能够使用相距所述超平面的距离、相距在前一帧中计算出的设备的位置的距离等基准，将设备的位置缩小范围至规定数。此外，还可以根据1帧前的设备的位置和以下说明的运动之和，来预测当前帧中的设备的位置，并将多个补丁图像缩小范围。

接着，说明通过图1的设备信息取得部102来检测设备的运动的方法。这里说明利用帧间的差值求取设备的运动的方法，然而并不限于此。以下说明帧间差值的方法。首先，通过针对所输入的图像数据111的各帧逐次应用前述的设备的位置的计算方法，来计算各帧中的设备的位置。然后，计算某时刻与前一时刻的帧之间的设备的位置的差值，看作各时刻的设备的运动信息。

此外，当使用移动平均滤波器等，针对按时序排列的设备的运动信息应用时间方向的滤波时，设备的运动信息对于设备的位置的误检测的鲁棒性强，此外，针对后述的修正图像数据115进行使手术者的设备操作有余地的运动修正，因此，能够进行更合适的设备操作。最后，设备信息取得部102使用上述方法根据所输入的图像数据111计算设备的位置和运动，并作为设备信息112输出。

人体各部位的运动信息取得部103根据所输入的图像数据111生成并输出人体各部位的运动信息113。

图3是表示人体各部位的运动信息取得部103所输出的人体各部位的信息113的示意图。在人体各部位的信息113中包含：将图像数据分割为k个(图中是5个，区域201至区域205)时的区域的信息、和各个区域201～205的代表性运动211～215。具体来说，区域信息是表示各像素属于区域201～205的哪个区域的标号(例如1至k)的信息。此外，图3中，区域205表示内窥镜、钳子等设备的区域，运动215表示设备的运动，这些信息也包含在人体各部位的信息113中。以下，更具体地说明根据图像数据111生成人体各部位的信息113的方法。

首先，说明将图像数据111分割为各区域的方法。作为区域分割方法，可使用作为聚类法(Clustering)的一种的k-means法等，然而并不限于此。以下概述k-means法。

k-means法是将所给出的数据分类为k个聚类的方法。按照以下步骤执行k-means法。

针对各数据随机分配聚类(cluster)。

通过算术平均求取各聚类的中心。

求取中心与各数据的距离，并将各数据重新分配给距离最近的聚类。

重复执行从第1步到第3步的处理直到不再更新聚类的分配为止。

这里，将图像数据的各像素值作为数据。例如通过像素值的差的绝对值来计算像素值间的距离。若以任意顺序将从1到k的标号赋予聚类，则能够针对各坐标分配表示属于哪个区域的标号。

接着，说明求取每个区域的运动的方法。这里说明在针对全部像素求出运动之后计算每个区域的运动的方法，然而并不限于此。

作为像素单位的运动信息的检测方法，可使用块匹配(Block matching)法等，然而并不限于此。以下说明块匹配法。

在所输入的图像数据111中，使用评价值e_w通过式(3)来计算关注坐标w的运动向量d。

[式4]

这里，Φ是运动向量的搜索范围的坐标的集合。此外，通过式(4)计算评价值e。

[式5]

这里，Ω是匹配范围的坐标的集合，W是归一化因子。

人体各部位的运动信息取得部103针对图像中的全部像素应用式3来计算运动向量。此外，这里说明了以像素单位来求取运动向量，然而也可以以将图像分割为任意大小的单位来求取运动。

接着，说明针对分割后的各区域分配运动向量的方法。通过上述方法，针对各像素设定了表示分配给哪个区域的标号(1～k)和运动向量。由此，通过针对各区域的全部像素求取运动向量的算术平均，能够计算各区域的代表性运动211～215。

设备关联运动信息取得部104将设备的运动信息112和人体各部位的信息113作为输入，从人体各部位的信息113中提取影响设备的运动信息的运动信息114并输出。以下，说明从人体各部位的信息113中提取影响设备的运动信息的运动信息114的方法。

首先，设备关联运动信息取得部104以预先决定的帧数的量将人体各部位的信息113保持在未图示的内置在图像处理部10中的存储器或者附属于中央处理部13的存储器中。即，所述存储器构成为，在新输入了人体各部位的信息113时，将最早的人体各部位的信息113废弃，并存储新的人体各部位的信息113。

接着，将某时刻的人体各部位的信息113的各区域201～205与前一时刻的各区域相对应。具体地，设备关联运动信息取得部104执行以下步骤。

提取时刻t的区域n的全部坐标。

利用所提取的坐标，参照时刻t-1的区域，计算表示区域的标号的频度。

将频度最高的区域与区域n相关联。

针对时刻t的全部区域实施以上操作。

通过针对存储器内的各时刻的人体各部位的信息113实施上述处理，能够将最新时刻的区域与过去时刻的区域全部相关联。

接着，从人体各部位的信息113中除去被认为是设备本身的区域。例如，图3中，除去运动信息211～215中表示设备本身的运动的215。作为具体的方法，根据设备的运动信息112中包含的设备的位置信息，将分配给相当于该位置的区域(图3中，区域205)的运动(图3中，运动215)从人体各部位的运动信息113中除去。在以后的记述中，将人体各部位的信息113记述为除去了设备本身后的信息。

接着，计算各区域的运动与设备的运动的相似度。相似度的计算方法，考虑了各种方法，然而这里假定通过运动向量彼此的内积来计算。针对存储器中存储的全部时刻的数据来计算该相似度。此外，针对各个相关联的区域，计算存储器中存储的从过去到现在的相似度的代表值。这里，假定通过搜索最大值来计算相似度的代表值。然后，将分配给全部区域中的相似度的代表值最高的区域(图3中，区域204)的运动(图3中，运动214)，作为影响设备的运动信息的运动信息114而输出。

修正处理部105基于影响设备的运动信息的运动信息114来修正图像数据111，并作为修正图像数据115而输出。具体地，通过使图像数据111在与影响设备的运动信息的运动信息114相反的方向上平行移动，来进行使图像的抖动稳定的修正。

即，在将图像数据111设为I，将影响设备的运动信息的运动信息114设为d’时，通过式6来计算修正后的图像数据I’。

[式6]

I’(x)＝I(x-d’)…(6)

通过以上详述的本实施例的结构，以符合与设备关联的人体的运动的方式进行运动修正，因此，能够在保留手术者所意图的设备的运动的同时，实现图像整体的运动稳定化，对于手术者来说，能够输出操作对象即设备更易于观察的图像。

此外，在之前说明的设备信息取得部102的学习阶段，作为判断设备是否包含在补丁图像中的基准，可以以图像中包含有设备的特征性图案为基准。例如，可以将内窥镜、钳子等设备上安装的X射线不透过标记等标记看作特征性图案来进行识别。在使用X射线不透过标记的情况下，在利用X射线透视摄像装置得到的X射线图像上辨认度特别高，因此能够进行更稳定的设备位置的确定。

或者，作为判断设备是否包含在补丁图像中的基准，可以以补丁图像中包含有设备前端的一定区域为基准。这种情况下，作为设备的位置，检测出认为手术者所关注的内窥镜、钳子等设备的前端，基于手术者所关注的区域来进行人体各部位的运动信息取得部103的运动提取处理，因此，能够输出对于手术者来说更适合的修正图像。

或者，作为判断设备是否包含在补丁图像中的基准，可以以补丁中包含有设备的非可动区域为基准。一般地，设备其自身有时会发生变形，此外，有时安装有钳子等具备可动部分的器具。这种情况下，可以期待将设备的非可动区域例如钳子的连接部等始终以一定形状在X射线图像上可视化，学习和预测变得容易，因此能够进行更稳定的设备位置的确定。

此外，还可以针对所设想的每个设备进行设备信息取得部102的学习。即，使用前述的方法，按所设想的设备量独立地进行学习，得到多个学习数据。预先将生成的多个学习数据存储在图像取得部9或中央处理部13的未图示的存储器中，在预测阶段切换学习数据来利用。根据用户对用户接口部15的指示来进行学习数据的选择。例如，可以预先将设备的种类和学习数据相关联，用户接口部15使用户选择设备的种类，并输出与设备的种类对应的学习数据。此外，如果能够根据病情、手术的种类来设想所利用的设备，则也可以预先将病情、手术的种类与利用设备的学习数据相关联，并同样地用户接口部15使用户进行选择。这种情况下，即使增加设备的种类也能够进行准确的设备位置和运动的检测。

此外，设备信息取得部102可以根据用户接口部15的指示来确定设备的位置。具体地，设用户接口部15为基于触摸面板/显示器的结构，用户接口部15向用户提示修正图像数据115，求取向设备区域的触摸操作。用户接口部15从被触摸的坐标变换为修正图像数据115上的坐标，并看作设备的位置。这种情况下，即使在设备信息取得部102中的设备位置的预测未成功的情况下，也能够通过使用用户接口部15的用户的辅助操作而生成更合适的修正图像。

此外，还可以根据影响设备的运动信息的运动信息114来移动图2的光圈5。即，光圈滤波器控制部7是经由中央处理部13从图像处理部10接收影响设备的运动信息的运动信息114的结构。在该结构中，光圈滤波器控制部7根据影响设备的运动信息的运动信息114，使光圈5的开口区域变形。具体地，使光圈5的开口区域平行移动到影响设备的运动信息的运动信息114所表示的位置，进行下一帧的摄像。这种情况下，从X射线管2产生的X射线的照射区域，与修正处理部105的修正相配合地移动，因此能够输出更合适的照射区域的修正图像。

此外，还可以在上述结构的基础上成为图像处理部10的修正处理部105还接收设备信息112的结构，修正处理部105根据设备信息112中包含的设备的位置，对图像数据进行修正以使设备成为图像数据的中心，作为修正图像数据115向显示输出部11输出。以预定信号作为触发来进行该修正。可以通过用户接口部15接收用户的指示来生成该预定信号。或者，还可以在修正处理部105内设置定时器而每隔预先确定的一定时间来生成预定信号。或者，还可以根据设备信息112中包含的设备的位置，当设备位于预先设定的区域内时生成预定信号。例如，通过设该设定区域为相距显示部11的画面的边缘一定距离的范围内，能够防止设备到达图像数据111的边缘，设备前进的前方区域消失。

此外，还可以通过光圈5进行上述修正。具体地，变更为光圈滤波器控制部经由中央处理部13从图像处理部10接收设备信息112的结构，光圈滤波器控制部7以上述预定信号为触发，根据设备信息112中包含的设备的位置来进行使光圈5变形的控制，以使设备位于X射线的照射范围的中心。这种情况下，能够防止设备到达X射线的照射范围的边缘，设备前进的前方区域消失。

根据上述说明的本实施例的装置，能够根据图像来检测设备的信息和人体等被检体各部位的信息，从被检体各部位的运动中提取影响设备的运动信息的运动信息，使用所提取的运动信息来进行运动修正处理，能够使设备的运动对于手术者来说易于观察，并能够实现操作性的提高。

[实施例2]

本实施例将实施例1中根据设备的运动来进行修正处理变更为根据设备和病变的运动的修正处理。即，实施例2是如下的图像处理装置的实施例，该图像处理装置具备：图像处理部，包含设备的人体的取得图像数据被输入到该图像处理部；以及显示输出部，由图像处理部修正后的修正图像数据被输入到该显示输出部，其中，图像处理部包含以下结构：从取得图像数据中取得设备的信息的设备信息取得部；从取得图像数据中取得人体各部位的信息的人体各部位的信息取得部；从取得图像数据中取得人体的病变的信息的病变信息取得部；使用设备的运动信息和人体各部位的运动信息，从人体各部位的运动信息中提取影响设备的运动信息的运动信息的设备关联运动信息提取部；从人体各部位的运动信息中提取影响病变的运动信息的运动信息的病变关联运动信息提取部；以及使用影响设备的运动的运动信息和影响病变的运动信息的运动信息，对取得图像数据进行修正处理的修正处理部。

图4是表示本实施例的图像处理部30的结构的框图。以下仅表示与实施例1相比存在变更的模块。

图像处理部30不仅具备实施例1中说明的设备信息取得部102、人体各部位的信息取得部103、设备关联运动信息取得部104，还具备：病变信息取得部301，其根据从图像取得部9输出的图像数据111来检测病变的位置和运动信息，作为病变信息311而输出；病变关联运动信息取得部302，其将从病变信息取得部301输出的病变信息311和从人体各部位的信息取得部103输出的人体各部位的信息113作为输入，从人体各部位的信息113中提取与病变信息311关联的运动信息即影响病变的运动信息的运动信息312并输出；修正处理部303，其将从设备关联运动信息取得部104输出的影响设备的运动信息的运动信息114、从病变关联运动信息取得部302输出的影响病变的运动信息的运动信息312、和从图像取得部9输出的取得图像数据111作为输入，根据影响设备的运动信息的运动信息114和影响病变的运动信息的运动信息312来修正取得图像数据111，并输出修正图像数据313。

病变信息取得部301根据取得图像数据111来检测病变的运动和位置，将它们作为病变信息311而输出。此时，可以通过使用例如实施例1中作为设备信息取得部102的处理而说明的机械学习的方法来实施病变的运动和位置的检测。即，不将设备作为对象而是将病变作为对象来进行学习和预测即可。

此外，病变关联运动信息取得部302将病变信息311和人体各部位的信息113作为输入，从人体各部位的信息113中提取与病变信息311关联的运动信息，作为影响病变的运动信息的运动信息312而输出。此时，运动信息的提取可以通过例如在实施例1中作为设备关联运动信息取得部104的处理而说明的方法来实现。

修正处理部303根据图像数据111、影响设备的运动信息的运动信息114和影响病变的运动信息的运动信息312，来修正取得图像数据111，作为修正图像数据313而输出。例如，使用作为影响设备的运动信息的运动信息114和影响病变的运动信息的运动信息312的平均的运动，使取得图像数据111在与作为平均的运动相反的方向上平行移动，由此来进行使图像的抖动稳定的修正。

即，在将图像数据设为I，将设备关联运动信息设为d₁，将病变关联运动信息设为d₂时，通过式7来计算修正后的图像数据I’。

[式7]

通过以上说明的本实施例的结构，进行基于设备的运动和病变的运动的运动稳定化，因此能够输出易于观察设备和病变两者的运动的影像。

此外，在病变信息取得部301的机械学习中，若存在多种手术设想的病变，则可以与实施例1中设想多个设备的情况下的处理同样地，针对预先设想的每一种病变进行学习，根据来自用户的选择切换学习结果来进行预测。这种情况下，即使设想的病变的种类增加，也能够检测准确的病变的位置和运动。

此外，本发明并不限于上述实施例，包含各种变形例。例如，上述实施例是为了使本发明更易于理解而进行的详细说明，不必限于具备说明的全部结构。此外，可以将某实施例的结构的一部分替换为其他实施例的结构，此外也可以在某实施例的结构中追加其他实施例的结构。此外，可以针对各实施例的结构的一部分进行其他结构的追加、删除、替换。

此外，上述各结构、功能、处理部等，说明了制作用于实现其一部分或全部的程序的例子，然而，当然也可以通过例如用集成电路来设计等以硬件实现这些的一部分或者全部。

此外，在以上说明的本发明的各种实施例中，公开了请求专利保护的范围所记载的发明以外的各种发明。以下举例示出其一部分：

<例示1>

一种图像处理装置，其特征在于，

所述图像处理装置具备：

图像处理部，包含设备的人体的取得图像数据被输入到该图像处理部；以及

显示输出部，利用所述图像处理部修正后的修正图像数据被输入到该显示输出部，

所述图像处理部包含：

设备信息取得部，其从所述取得图像数据中取得所述设备的运动信息；

被检体各部位的信息取得部，其从所述取得图像数据中取得所述人体各部位的信息；

设备关联运动信息提取部，其使用所述设备的运动信息和所述人体各部位的运动信息，从所述人体各部位的运动信息中提取影响所述设备的运动信息的运动信息；以及

修正处理部，其使用影响所述设备的运动信息的运动信息，对所述取得图像数据进行修正处理。

<例示2>

根据例示1记载的图像处理装置，其特征在于，

所述设备信息取得部以设置在所述设备上的标记为基准来取得所述设备的运动信息。

<例示3>

根据例示1记载的图像处理装置，其特征在于，

所述设备信息取得部以所述设备的前端的一定区域为基准来取得所述设备的运动信息。

<例示4>

根据例示1记载的图像处理装置，其特征在于，

所述设备信息取得部以所述设备的非可动区域为基准来取得所述设备的运动信息。

<例示5>

根据例示1记载的图像处理装置，其特征在于，

所述图像处理装置还具备：

摄像部，其使用所述提取出的运动信息，取得所述取得图像数据；以及

摄像机构移动部，其使所述摄像部中的摄像范围移动。

<例示6>

根据例示5记载的图像处理装置，其特征在于，

所述摄像机构移动部变更所述摄像部的光圈的开口区域。

<例示7>

根据例示5记载的图像处理装置，其特征在于，

所述摄像机构移动部移动所述摄像部的操作台。

<例示8>

根据例示5记载的图像处理装置，其特征在于，

所述摄像机构移动部移动所述摄像部的图像取得部。

<例示9>

根据例示5记载的图像处理装置，其特征在于，

所述摄像机构移动部根据所述设备的运动信息来修正摄像范围，以使所述设备位于摄像范围的中央。

<例示10>

根据例示1记载的图像处理装置，其特征在于，

所述修正处理部根据所述设备信息进行修正，以使所述设备位于基于所述取得图像数据的画面的中央。

<例示11>

根据例示10记载的图像处理装置，其特征在于，

根据由用户指示的定时或者预先确定的时间间隔来执行所述修正。

<例示12>

根据例示10记载的图像处理装置，其特征在于，

以所述设备位于所述画面的预先确定的区域为触发来执行所述修正。

Claims (15)

1.一种图像处理装置，其特征在于，

具备：

图像处理部，包含设备的被检体的取得图像数据被输入到该图像处理部；以及

显示输出部，利用所述图像处理部修正后的修正图像数据被输入到该显示输出部，

所述图像处理部从所述取得图像数据中取得所述设备的运动信息和所述被检体的各部位的运动信息，并使用所取得的所述设备的运动信息和所述被检体的各部位的运动信息，从所述被检体的各部位的运动信息中提取影响所述设备的运动信息的运动信息，并通过使所述取得图像数据在与所提取的影响所述设备的运动信息的运动信息相反的方向上平行移动，进行所述取得图像数据的修正，并输出所述修正图像数据。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理部包含：

设备信息取得部，其从所述取得图像数据中取得所述设备的运动信息；

被检体各部位的信息取得部，其从所述取得图像数据中取得所述被检体各部位的信息；

设备关联运动信息提取部，其使用所述设备的运动信息和所述被检体各部位的运动信息，从所述被检体各部位的运动信息中提取影响所述设备的运动信息的运动信息；以及

修正处理部，其通过使所述取得图像数据在与所提取的影响所述设备的运动信息的运动信息相反的方向上平行移动，对所述取得图像数据进行修正处理。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述设备信息取得部以设置在所述设备上的标记为基准来取得所述设备的运动信息。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述设备信息取得部以所述设备的前端区域为基准来取得所述设备的运动信息。

5.根据权利要求2所述的图像处理装置，其特征在于，

所述设备信息取得部以所述设备的非可动区域为基准来取得所述设备的运动信息。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

摄像部，其使用提取出的所述运动信息取得所述取得图像数据；以及

摄像机构移动部，其使所述摄像部中的摄像范围移动。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述摄像机构移动部变更所述摄像部的光圈的开口区域。

8.根据权利要求6所述的图像处理装置，其特征在于，

所述摄像机构移动部移动所述摄像部的操作台。

9.根据权利要求6所述的图像处理装置，其特征在于，

所述摄像机构移动部移动所述摄像部的图像取得部。

10.根据权利要求6所述的图像处理装置，其特征在于，

所述摄像机构移动部根据所述设备的运动信息来修正摄像范围，以使所述设备位于摄像范围的中央。

11.根据权利要求2所述的图像处理装置，其特征在于，

所述修正处理部根据所述设备的运动信息进行修正，以使所述设备位于基于所述取得图像数据的画面的中央。

12.根据权利要求10所述的图像处理装置，其特征在于，

根据由用户指示的定时或者预先决定的时间间隔来执行所述修正。

13.根据权利要求10所述的图像处理装置，其特征在于，

以所述设备位于所述摄像范围的预先决定的区域为触发来执行所述修正。

14.一种图像处理装置，其特征在于，

具备：

图像处理部，包含设备的人体的取得图像数据被输入到该图像处理部；以及

显示输出部，利用所述图像处理部修正后的修正图像数据被输入到该显示输出部，

所述图像处理部包含：

设备信息取得部，其从所述取得图像数据中取得所述设备的信息；

人体各部位的信息取得部，其从所述取得图像数据中取得所述人体各部位的信息；

病变信息取得部，其从所述取得图像数据中取得所述人体的病变的信息；

设备关联运动信息提取部，其使用所述设备的运动信息和所述人体各部位的运动信息，从所述人体各部位的运动信息中提取影响所述设备的运动信息的运动信息；

病变关联运动信息提取部，其从所述人体各部位的运动信息中提取影响所述病变的运动信息的运动信息；以及

修正处理部，其使用作为影响所述设备的运动信息的运动信息和影响所述病变的运动信息的运动信息的平均的运动，使所述取得图像数据在与作为平均的运动相反的方向上平行移动，来对所述取得图像数据进行修正处理。

15.一种图像处理装置中的图像处理方法，其特征在于，

所述图像处理装置执行以下步骤：

从包含设备的被检体的取得图像数据中取得所述设备的运动信息和所述被检体的各部位的运动信息；

使用所取得的所述设备的运动信息和所述被检体的各部位的运动信息，从所述被检体的各部位的运动信息中提取影响所述设备的运动信息的运动信息；

通过使所述取得图像数据在与所提取的影响所述设备的运动信息的运动信息相反的方向上平行移动，进行所述取得图像数据的修正，并输出修正后的修正图像数据。