CN115038374A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

图像处理装置(1)具备输入部(11)、估计部(12)、获取部(13)、制作部(15)以及显示控制部(16)。输入部(11)获取包含内窥镜图像的检查信息。估计部(12)基于内窥镜图像来估计摄像部位。获取部(13)从检查信息获取摄像信息，该摄像信息与内窥镜图像相对应、且表示拍摄到内窥镜图像时的内窥镜(101)和被检体中的至少一方的状况。制作部(15)制作模型图，并且基于估计部(12)的估计结果将摄像信息与虚拟部位进行关联。显示控制部(16)控制显示装置(2)。

Description

图像处理装置、图像处理方法以及程序

技术领域

本发明涉及一种能够使显示装置显示与内窥镜图像有关的信息或者条件的图像处理装置、图像处理方法以及程序。

背景技术

近年，内窥镜装置广泛用于医疗领域和工业用领域中。在医疗领域中使用的内窥镜装置具备插入体内的细长的插入部，广泛用于脏器的观察、使用处理器具的治疗措施、内窥镜观察下的外科手术等。

在医疗领域中，有时针对相同的脏器多次进行使用内窥镜装置的诊查。在此，设想进行两次使用内窥镜装置的诊查的情况。以下，将第一次的诊查称为一次诊查，将第二次的诊查称为二次诊查。在二次诊查中，例如对在一次诊查中未能拍摄到的部位进行拍摄。期望对在一次诊查中拍摄到的部位和未拍摄到的部位进行识别，以防止二次诊查中的摄像遗漏。

在日本特开2018-50890号公报中，公开了一种根据通过内窥镜装置拍摄得到的图像来生成表示摄影对象脏器的已摄影区域和未摄影区域的影像图像的图像显示装置。根据该图像显示装置，能够对在一次诊查中拍摄到的部位和未拍摄到的部位进行识别。

另外，在二次诊查中除了对在一次诊查中未能拍摄到的部位进行拍摄以外，还对在一次诊查中未能根据期望的条件拍摄到的部位进行再次拍摄，或者对在一次诊查中发现病变、出血等异常的部位进行再次拍摄。但是，在日本特开2018-50890号公报中公开的图像显示装置中，仅能够对在一次诊查中是否进行了拍摄进行识别，从而存在以下担忧：在二次诊查中看漏应该拍摄的部位，或者发生在二次诊查中不满足应该拍摄的条件却对应拍摄的部位进行了拍摄的摄像错误。

上述的问题不限于医疗领域，也完全适用于工业领域。

因此，本发明的目的在于提供一种能够防止应拍摄的部位的漏拍和摄像错误的图像处理装置、图像处理方法以及程序。

发明内容

发明要解决的问题

本发明的一个方式的图像处理装置具备：输入部，其获取检查信息，所述检查信息包含通过内窥镜拍摄被检体而生成的内窥镜图像；估计部，其基于所述内窥镜图像来估计摄像部位，所述摄像部位是所述内窥镜拍摄到的所述被检体的部位；获取部，其从所述检查信息获取摄像信息，所述摄像信息是与所述内窥镜图像相对应、且表示拍摄到所述内窥镜图像时的所述内窥镜和所述被检体中的至少一方的状况的信息；制作部，其制作将所述被检体虚拟化的模型图，并且基于所述估计部的估计结果将所述摄像信息与虚拟部位进行关联，所述虚拟部位是所述模型图上的与所述摄像部位相对应的部位；以及显示控制部，其控制用于显示所述模型图的显示装置。

本发明的一个方式的图像处理方法包括以下过程：输入部获取检查信息，所述检查信息包含通过内窥镜拍摄被检体而生成的内窥镜图像；估计部基于所述内窥镜图像估计摄像部位，所述摄像部位是所述内窥镜拍摄到的所述被检体的部位；获取部从所述检查信息获取摄像信息，所述摄像信息是与所述内窥镜图像相对应、且表示拍摄到所述内窥镜图像时的所述内窥镜和所述被检体中的至少一方的状况的信息；制作部制作将所述被检体虚拟化的模型图，并且基于所述估计部的估计结果将所述摄像信息与虚拟部位进行关联，所述虚拟部位是所述模型图上的与所述摄像部位相对应的部位；以及显示控制部控制用于显示所述模型图的显示装置。

本发明的一个方式的程序使计算机执行以下过程：获取检查信息，所述检查信息包含通过内窥镜拍摄被检体而生成的内窥镜图像；基于所述内窥镜图像估计摄像部位，所述摄像部位是所述内窥镜拍摄到的所述被检体的部位；从所述检查信息获取摄像信息，所述摄像信息是与所述内窥镜图像相对应、且表示拍摄到所述内窥镜图像时的所述内窥镜和所述被检体中的至少一方的状况的信息；制作将所述被检体虚拟化的模型图，并且基于所述摄像部位的估计结果将所述摄像信息与虚拟部位进行关联，所述虚拟部位是所述模型图上的与所述摄像部位相对应的部位；以及控制用于显示所述模型图的显示装置。

附图说明

图1是示出本发明的一个实施方式所涉及的图像处理装置的结构的功能块图。

图2是示出本发明的一个实施方式所涉及的图像处理装置的硬件结构的一例的功能块图。

图3是示出本发明的一个实施方式所涉及的图像处理装置的第一使用例的说明图。

图4是示出本发明的一个实施方式所涉及的图像处理装置的第二使用例的说明图。

图5是示出本发明的一个实施方式所涉及的图像处理方法的流程图。

图6是示出本发明的一个实施方式中的显示内容的第一例的说明图。

图7是示出本发明的一个实施方式中的显示内容的第二例的说明图。

图8是示出本发明的一个实施方式中的显示内容的第三例的说明图。

图9是示出本发明的一个实施方式中的显示内容的第四例的说明图。

具体实施方式

以下，参照附图来说明本发明的实施方式。

(图像处理装置的结构)

首先，说明本发明的一个实施方式所涉及的图像处理装置的结构。本实施方式所涉及的图像处理装置1是对通过在医疗领域中使用的内窥镜拍摄被检体而生成的内窥镜图像进行处理的图像处理装置。在本实施方式中，特别是，被检体为胃、大肠等脏器。内窥镜图像是具有多个像素并且在多个像素的各像素中具有与R(红色)波长成分、G(绿色)波长成分以及B(蓝色)波长成分分别相对应的像素值的彩色图像。

图1是示出本实施方式所涉及的图像处理装置1的结构的功能块图。图像处理装置1具备输入部11、估计部12、获取部13、存储部14、制作部15以及显示控制部16。输入部11获取包含内窥镜图像的检查信息。

估计部12基于内窥镜图像来估计摄像部位，该摄像部位是内窥镜拍摄到的被检体即脏器的部位。通过对内窥镜图像进行图像分析来进行估计部12对摄像部位的估计。例如，在被检体为胃的情况下，估计部12通过对内窥镜图像进行图像分析，来估计摄像部位是贲门、胃底部、胃体部、胃小弯、胃大弯、前庭部、胃角部以及幽门等中的哪一个。另外，在被检体为大肠的情况下，估计部12通过对内窥镜图像进行图像分析，来估计摄像部位是直肠、S状结肠、下行结肠、横行结肠、上行结肠、盲肠等中的哪一个。

图像分析例如可以利用图案匹配，也可以利用机器学习。例如在被检体为胃或者大肠的情况下，可以使用按上述的各部位进行分类而得到的内窥镜图像组来进行机器学习。机器学习可以通过估计部12来进行，也可以通过执行机器学习的未图示的机器学习部来进行。估计部12利用机器学习的学习结果来估计摄像部位。

后述的估计部12以外的结构要素中的图像分析也与估计部12中的图像分析同样地，利用图案匹配或者机器学习等。

获取部13从检查信息获取摄像信息，该摄像信息是与内窥镜图像相对应、且表示拍摄到内窥镜图像时的内窥镜和被检体即脏器中的至少一方的状况的信息。检查信息除了包含内窥镜图像以外还包含系统信息，该系统信息是与内窥镜的动作有关的信息。通过以下手段中的至少一方来进行获取部13对摄像信息的获取：从系统信息获取摄像信息；通过对内窥镜图像进行图像分析来获取摄像信息。

检查信息还包含时刻信息，该时刻信息是拍摄到内窥镜图像时的时刻的信息。获取部13从检查信息获取时刻信息来作为摄像信息。

另外，获取部13包括：评价部13A，其通过对内窥镜图像进行图像分析来评价内窥镜图像的图像质量；以及检测部13B，其通过对内窥镜图像进行图像分析来检测摄像部位处的异常。之后进一步详细地说明获取部13、评价部13A以及检测部13B的动作。

存储部14包括条件存储部14A、图像存储部14B以及信息存储部14C。条件存储部14A针对后述的每个虚拟部位存储初始摄像条件，该初始摄像条件是预先规定的用于拍摄被检体即脏器的条件。初始摄像条件可以是通过对内窥镜图像进行图像分析而决定的条件，也可以是使用者设定的条件。在通过对内窥镜图像进行图像分析来决定初始摄像条件的情况下，也可以通过与后述的由决定部执行的摄像条件的决定方法同样的方法来决定初始摄像条件。

在图1所示的例子中，在图像处理装置1连接有由使用者操作的输入设备3。输入设备3由键盘、鼠标以及触摸面板等构成。输入部11获取输入到设备3输入的操作内容。在使用者设定初始摄像条件的情况下，能够通过使用者操作输入设备3来设定初始摄像条件。

图像存储部14B存储输入部11获取到的内窥镜图像。此外，在由评价部13A对内窥镜图像的图像质量进行评价的情况下，图像存储部14B将评价部13A的评价结果与内窥镜图像相关联地存储。信息存储部14C存储获取部13获取到的摄像信息。

制作部15制作将被检体即脏器虚拟化的模型图，并且基于估计部12的估计结果即摄像部位的估计结果，来将摄像信息与虚拟部位进行关联，该虚拟部位是模型图上的与摄像部位相对应的部位。具体地说，制作部15对与通过对任意的内窥镜图像进行图像分析而估计出的摄像部位相对应的虚拟部位关联从包含该任意的内窥镜图像的检查信息获取到的摄像信息。

模型图可以是脏器的图解图，也可以是脏器的3D模型图。虚拟部位的数量为多个。

另外，制作部15包括决定部15A和分割部15B。决定部15A针对每个虚拟部位决定摄像条件，该摄像条件是用于拍摄被检体即脏器的条件。决定部15A可以通过对内窥镜图像进行图像分析来决定摄像条件，也可以针对每个虚拟部位通过将摄像信息与初始摄像条件进行比较来决定摄像条件。

分割部15B根据需要将虚拟部位分割为多个副部位。例如，在决定部15A针对一个虚拟部位所包含的多个区域分别决定了互不相同的条件的情况下，分割部15B将该一个虚拟部位分割为多个副部位。多个副部位可以与多个区域一致也可以与多个区域不同。决定部15A针对多个副部位中的各副部位，决定上述的互不相同的条件来作为摄像条件。

之后进一步详细地说明决定部15A和分割部15B的动作。

在图1所示的例子中，在图像处理装置1连接有显示装置2，该显示装置2用于显示制作部15制作出的模型图。显示装置2具有由液晶面板等构成的显示部。

显示控制部16使显示装置2显示输入部11获取到的内窥镜图像、获取部13获取到的摄像信息以及决定部15A决定的摄像条件等。在本实施方式中，特别是，显示控制部16能够如以下那样控制显示装置2。

在决定部15A通过将摄像信息与初始摄像条件进行比较而决定了摄像条件的情况下，显示控制部16能够使显示装置2显示决定部15A的比较结果和决定部15A决定的摄像条件的至少一部分中的至少一方。

另外，显示控制部16能够从图像存储部14B读出与一个摄像部位相对应的多个内窥镜图像，且从信息存储部14C读出与该多个内窥镜图像相对应的多个摄像信息，其中，与一个摄像部位相对应的多个内窥镜图像各自所对应的摄像信息的至少一部分互不相同。而且，显示控制部16能够使显示装置2显示多个内窥镜图像和多个摄像信息中的至少一方。

另外，显示控制部16能够从图像存储部14B读出从与一个摄像部位相对应的多个内窥镜图像中的被评价部13A评价为图像质量良好的内窥镜图像且使显示装置2进行显示。

另外，在由检测部13B检测出摄像部位处的异常的情况下，显示控制部16能够使显示装置2显示检测部13B的检测结果，以使得能够确认异常的内容。

另外，显示控制部16能够基于由获取部13获取到的时刻信息，使显示装置2在模型图上显示拍摄了多个内窥镜图像时的摄像路径。

在此，参照图2，来说明图像处理装置1的硬件结构。图2是示出图像处理装置1的硬件结构的一例的说明图。在图2所示的例子中，图像处理装置1构成为具有处理器1A、存储装置1B以及输入输出接口(以下，记为输入输出I/F。)1C的计算机。处理器1A例如由中央运算处理装置(以下，记为CPU。)构成。存储装置1B例如由RAM、ROM、闪速存储器以及硬盘装置等存储装置构成。输入输出I/F 1C用于在图像处理装置1与外部之间进行信号的发送接收。

处理器1A用于执行作为图像处理装置1的结构要素的输入部11、估计部12、获取部13、制作部15以及显示控制部16等的功能。存储装置1B存储有用于这些功能的软件程序即图像处理程序。各功能通过处理器1A从存储装置1B读出并执行图像处理程序来实现。存储装置1B存储有包含上述的图像处理程序的多个软件程序。

作为图像处理装置1的结构要素的存储部14的功能、即条件存储部14A、图像存储部14B以及信息存储部14C各自的功能基本上由存储装置1B中的闪速存储器、硬盘装置等非易失性且可重写的存储装置实现。上述非易失性且可重写的存储装置存储初始摄像条件、内窥镜图像以及摄像信息。

此外，图像处理装置1的硬件结构不限于上述的例子。例如，处理器1A可以由FPGA(Field Programmable Gate Array：现场可编程门阵列)构成。在该情况下，图像处理装置1的多个结构要素的至少一部分构成为FPGA中的电路块。或者图像处理装置1的多个结构要素可以分别构成为单独的电子电路。

另外，图像处理程序的至少一部分可以存储于未图示的外部的存储装置或者存储介质。在该情况下，图像处理装置1的功能的至少一部分通过处理器1A从外部的存储装置或者存储介质读出并执行图像处理程序的至少一部分来实现。外部的存储装置例如可以是与LAN、互联网等计算机网络连接的其它计算机的存储装置。存储介质例如可以是CD、DVD以及蓝光光盘等光盘，也可以是USB存储器等闪速存储器。

另外，图像处理装置1的多个结构要素的一部分可以通过所谓的云计算来实现。在该情况下，图像处理装置1的功能的一部分通过以下方式实现：与互联网连接的其它计算机执行图像处理程序的一部分，并且图像处理装置1获取该执行结果。上述的其它计算机的硬件结构与图2所示的图像处理装置1的硬件结构相同。上述的其它计算机也可以说构成图像处理装置1的一部分。

(图像处理装置的使用例)

接着，说明图像处理装置1的第一使用例和第二使用例。首先，说明第一使用例。图3是示出图像处理装置1的第一使用例的说明图。在图3中除了示出图1所示的图像处理装置1、显示装置2以及输入设备3以外，还示出内窥镜101、视频处理器102、光源装置103以及显示装置104。图像处理装置1、光源装置103以及显示装置104与视频处理器102连接。

内窥镜101具备：插入部110，其用于插入到被检体内；操作部120，其与插入部110的基端连接；通用线缆131，其从操作部120延伸出；以及连接器132，其设置于通用线缆131的前端。连接器132与视频处理器102及光源装置103连接。

插入部110具有：前端部111，其具有细长的形状，并且位于插入部110的前端；弯曲部112，其构成为弯曲自如；以及挠性管部113，其具有挠性。前端部111、弯曲部112以及挠性管部113按此顺序从插入部110的前端侧起依次连结。

在前端部111设置有未图示的摄像装置。摄像装置通过设置于内窥镜101内的未图示的线缆以及将连接器132同视频处理器102连接的未图示的线缆来与视频处理器102电连接。摄像装置包括位于最前端的观察窗、由CCD或者CMOS等构成的摄像元件、以及设置于观察窗与摄像元件之间的多个透镜。多个透镜中的至少一个用于调整光学倍率。

摄像元件生成将在摄像面成像的被检体即脏器的光学图像进行光电变换而得到的摄像信号，并且向视频处理器102输出所生成的摄像信号。视频处理器102通过对摄像信号实施规定的图像处理来生成图像信号，并且向显示装置104输出所生成的图像信号。显示装置104具有由液晶面板等构成的显示部。显示装置104用于将由摄像装置拍摄得到的图像即摄像信号显示为内窥镜图像，显示装置104将由视频处理器102生成的图像信号显示为内窥镜图像。

在前端部111还设置有未图示的照明窗。光源装置103被视频处理器102控制来产生照明光。由光源装置103产生的照明光被将光源装置103与连接器132连接的未图示的光导线缆以及设置于内窥镜101内的未图示的光导件传输到照明窗，从照明窗向被检体即脏器照射。光源装置103具有能够产生例如作为通常光的白色光(以下，记为WLI。)以及作为特殊光的窄带光(以下，记为NBI。)来作为照明光的结构。

在前端部111也可以还设置有第一传感器和第二传感器，该第一传感器测定前端部111与被摄体之间的距离，该第二传感器检测前端部111的倾斜角度。

在操作部120设置有与在插入部110内设置的未图示的处理器具贯穿通道连通的处理器具插入口121、用于使插入部110的弯曲部112弯曲的多个弯曲操作旋钮122、以及用于使摄像装置的透镜移动来调整光学倍率的变焦杆123等。在插入部110的前端部111设置有作为处理器具贯穿通道的开口部的处理器具导出口。钳子、穿刺针等处理器具从处理器具插入口121被导入到处理器具贯穿通道内，从处理器具导出口被导出。

在图3所示的例子中，视频处理器102输出检查信息。在视频处理器102输出的检查信息中包含内窥镜图像、系统信息以及时刻信息。视频处理器102输出由视频处理器102生成的图像信号来作为内窥镜图像。另外，视频处理器102能够输出被摄像装置的透镜放大后的图像以及将内窥镜图像的中央部分提取出来后进行插值等而放大的电子放大图像来作为内窥镜图像(图像信号)。在视频处理器102输出的系统信息中包含透镜的放大倍率(以下，称为光学放大倍率。)的信息和电子放大图像的放大倍率(以下，称为电子放大倍率。)的信息。

另外，在视频处理器102输出的系统信息中还包含光源装置103产生的照明光的种类及光量的信息。另外，在前端部111设置有前述的第一传感器和第二传感器的情况下，在视频处理器102输出的系统信息中还包含第一传感器和第二传感器的检测值的信息。

图像处理装置1的输入部11(参照图1)在规定的时点获取视频处理器102输出的检查信息。规定的时点可以是生成内窥镜图像的时点，也可以是使用者为了获取检查信息而操作了输入设备3的时点。在后者的情况下，检查信息由视频处理器102或者未图示的存储装置保存到输入部11开始获取检查信息的时点为止。

此外，在图3所示的例子中，图像处理装置1也可以使用与视频处理器102连接的显示装置104来替代显示装置2。即，图像处理装置1的显示控制部16(参照图1)可以使显示装置104显示输入部11获取到的内窥镜图像、获取部13获取到的摄像信息以及决定部15A决定的摄像条件等。在该情况下，在显示装置104显示内窥镜101拍摄得到的内窥镜图像以及由显示控制部16决定的显示内容。显示装置104可以同时显示内窥镜图像和所述显示内容，也可以在内窥镜图像的显示与所述显示内容的显示之间进行切换。

接着，说明第二例。图4是示出图像处理装置1的第二使用例的说明图。在第二使用例中，图像处理装置1与LAN、互联网等计算机网络200连接。图像处理装置1可以设置于设置有内窥镜101和视频处理器102等(参照图3)的诊察室或者手术室，也可以设置于诊察室或者手术室以外的房间。

图像处理装置1的输入部11(参照图1)经由计算机网络200来获取视频处理器102或者未图示的存储装置保存的检查信息。未图示的存储装置可以是与计算机网络200连接的其它计算机的存储装置。

(获取部的动作)

接着，详细说明图像处理装置1的获取部13的动作。如前所述，通过以下手段中的至少一方来进行获取部13对摄像信息的获取：从系统信息获取摄像信息；通过对内窥镜图像进行图像分析来获取摄像信息。具体地说，获取部13从系统信息中包含的光学放大倍率的信息、电子放大倍率的信息、光源装置103产生的照明光的种类及光量的信息、时刻的信息以及第一传感器和第二传感器的检测值的信息等多个信息中获取至少一种信息，来作为摄像信息。

在内窥镜图像中，除了被摄体本身以外，有时还会映入为了标识而散布的色素、处理器具。另外，根据前端部111(参照图3)与被摄体之间的距离、前端部111与被摄体之间的角度，映入到内窥镜图像的被摄体的形态可能不同。因而，在内窥镜图像中，除了包含被摄体的图像本身以外，可以说还包含是否为散布有色素的区域的信息、处理器具的有无及种类的信息、前端部111与被摄体之间的距离的信息(以下，称为距离信息。)、以及前端部111与被摄体之间的角度的信息(以下，称为角度信息。)等多种信息。获取部13通过对内窥镜图像进行图像分析，来从上述的多个信息中获取至少一种信息来作为摄像信息。此外，在前端部111设置有前述的第一传感器的情况下，也可以除了使用图像分析的结果以外还使用第一传感器的检测值的信息来获取距离信息。同样地，在前端部111设置有前述的第二传感器的情况下，也可以除了使用图像分析的结果以外还使用第二传感器的检测值的信息来获取角度信息。

另外，如前所述，获取部13包括评价部13A，该评价部13A通过对内窥镜图像进行图像分析来评价内窥镜图像的图像质量。例如，抖动、模糊以及饱和等少的图像可以说视觉识别性高而图像质量良好。因而，能够通过定量地评价图像的视觉识别性来评价内窥镜图像的图像质量。一般，当将图像的边缘的强度表现为相对于作为能够视觉识别的极限的亮度变化的阈值的倍率(以下，称为阈值倍率。)时，阈值倍率越高则图像的视觉识别性变得越高。因而，能够通过针对每个内窥镜图像求出阈值倍率，来定量地评价图像的视觉识别性。图像的视觉识别性即易视性例如使用以阈值倍率的对数为变量的一次式来表示。评价部13A的评价结果作为摄像信息存储于存储部14的信息存储部14C。存储部14的图像存储部14B将信息存储部14C中存储的评价部13A的评价结果与内窥镜图像相关联地进行存储。

另外，如前所述，获取部13包括检测部13B，该检测部13B通过对内窥镜图像进行图像分析来检测摄像部位处的异常。检测部13B例如检测病变、出血等作为摄像部位处的异常。特别是，在病变的检测中可以使用专用于病变的检测的公知的病变检测算法。摄像部位处的异常作为摄像信息存储于存储部14的信息存储部14C。

(决定部和分割部的动作)

接着，详细说明图像处理装置1的制作部15的决定部15A和分割部15B的动作。如前所述，决定部15A针对每个虚拟部位决定摄像条件。摄像条件可能由于脏器的部位的差异、病变等异常的有无、前端部111与被摄体之间的距离以及前端部111与被摄体之间的角度等多个因素而发生变化。在通过对内窥镜图像进行图像分析来决定摄像条件的情况下，例如，可以通过机器学习来学习多个因素与由于多个因素而发生变化的内窥镜图像的要素之间的关系。该机器学习可以由决定部15A进行，也可以由执行机器学习的未图示的机器学习部进行。决定部15A利用机器学习的学习结果来决定摄像条件。

另外，在针对每个虚拟部位通过将摄像信息与初始摄像条件进行比较来决定摄像条件的情况下，在摄像信息不满足初始摄像条件的情况下，决定部15A决定满足初始摄像条件的摄像条件。另外，也可以是，针对与被检测出病变等异常的摄像部位相对应的虚拟部位，无论摄像信息是否满足初始摄像条件，决定部15A都追加决定用于详细观察病变等异常的摄像条件。具体地说，例如，决定部15A可以追加决定在照明光中使用NBI、使光学放大倍率或者电子放大倍率增大，来作为摄像条件。

另外，如前所述，分割部15B根据需要将虚拟部位分割为多个副部位。分割部15B例如如上所述那样将与被检测出病变等异常的摄像部位相对应的虚拟部位分割为多个副部位。在该情况下，分割部15B可以分割为包含异常的副部位和不包含异常的副部位。在像这样分割了虚拟部位的情况下，决定部15A可以针对包含异常的副部位例如追加决定用于详细观察病变等异常的摄像条件。另外，决定部15A可以针对不包含异常的副部位例如决定与初始摄像条件相同的摄像条件。

(图像处理方法)

接着，参照图5来说明本实施方式所涉及的图像处理方法。图5是示出本实施方式所涉及的图像处理方法的流程图。在本实施方式所涉及的图像处理方法中，首先，输入部11获取检查信息(步骤S11)。接着，估计部12基于内窥镜图像来估计摄像部位(步骤S12)。接着，获取部13从检查信息获取摄像信息(步骤S13)。接着，制作部15制作模型图，并且基于估计部12的估计结果来将摄像信息与虚拟部位进行关联(步骤S14)。

接着，制作部15的决定部15A针对每个虚拟部位暂定地决定摄像条件，基于暂定地决定的摄像条件来判定是否存在需要分割的虚拟部位(步骤S15)。在存在需要分割的虚拟部位的情况(“是”)下，分割部15B将该虚拟部位分割为多个副部位，并且决定部15A针对多个副部位中的各副部位决定摄像条件(步骤S16)。另外，在步骤S16中，对于不需要分割的虚拟部位，决定部15A将在步骤S15中暂定地决定的摄像条件决定为该虚拟部位的正式的摄像条件。在步骤S15中不存在需要分割的虚拟部位的情况(“否”)下，将在步骤S15中暂定地决定的摄像条件决定为正式的摄像条件(步骤S17)。

此外，在步骤S15中，决定部15A可以通过对内窥镜图像进行图像分析来暂定地决定摄像条件，也可以通过将摄像信息与初始摄像条件进行比较来暂定地决定摄像条件。

接着，显示控制部16执行控制显示装置2的一系列处理(步骤S18、S19、S20、S21、S22)。显示控制部16可以执行一系列处理的全部，也可以仅执行一系列处理中的一部分。另外，一系列处理的执行顺序不限于图5所示的例子。例如能够通过使用者操作输入设备3(参照图1)来选择使显示控制部16执行的处理。

步骤S18、S19都是显示控制部16使显示装置2将由决定部15A决定的摄像条件作为优选满足的摄像条件来显示的处理。若是步骤S18，则当在步骤S15中决定部15A通过对内窥镜图像进行图像分析来决定了摄像条件的情况下，显示控制部16使该摄像条件的至少一部分显示。另外，当在步骤S15中决定部15A通过将摄像信息与初始摄像条件进行比较来决定了摄像条件的情况下，无论摄像信息是否满足初始摄像条件，显示控制部16都使初始摄像条件的至少一部分作为优选满足的摄像条件来显示。

当在步骤S15中决定部15A通过将摄像信息与初始摄像条件进行比较来决定了摄像条件的情况下，执行步骤S19。在该情况下，决定部15A决定满足初始摄像条件的摄像条件(步骤S16、S17)。在步骤S19中，显示控制部16使满足初始摄像条件的摄像条件显示。此外，在步骤S19中，显示控制部16也可以使摄像信息与初始摄像条件的比较结果显示。

步骤S20是以下的处理：在存在与一个摄像部位相对应的多个内窥镜图像的情况下，显示控制部16针对每个虚拟部位使显示装置2显示多个内窥镜图像和多个摄像信息。此外，在与一个摄像条件相对应的内窥镜图像的数量为多个的情况下，显示控制部16使被评价部13A评价为图像质量良好的内窥镜图像作为与该一个摄像条件相对应的内窥镜图像来显示。显示控制部16可以使多个内窥镜图像同时显示，也可以使多个内窥镜图像一个一个地显示。

步骤S21是以下的处理：在由检测部13B检测出摄像部位处的异常的情况下，显示控制部16使显示装置2显示检测部13B的检测结果即异常的有无和异常的内容。

步骤S22是以下的处理：显示控制部16基于由获取部13获取到的时刻信息，使显示装置2在模型图上显示拍摄了多个内窥镜图像时的摄像路径。

(显示内容的例子)

接着，说明显示控制部16使显示装置2显示的内容(以下，称为显示内容)的第一例至第四例。在此，以被检体是胃的情况为例进行说明。在第一例至第四例中，显示控制部16使胃的图解图作为被检体的模型图来显示，并且使多个虚拟部位显示。图6是示出显示内容的第一例的说明图。图7是示出显示内容的第二例的说明图。图8是示出显示内容的第三例的说明图。图9是示出显示内容的第四例的说明图。在图6至图9中，附图标记20表示显示装置2的显示部，附图标记21表示模型图(图解图)。在图6至图9所示的例子中，模型图21上的呈格子状地划分出的一个区域与一个虚拟部位相对应。

首先，参照图6来说明显示内容的第一例。第一例是显示控制部16执行图5所示的步骤S19的处理的情况的例子。在图6所示的例子中，在显示部20显示出用于显示摄像条件的表22。在表22内，作为虚拟部位21a的摄像条件而设置有表示照明光的种类的条件(在图6中记为“光源”。)的项目、表示前端部111与被摄体之间的距离的条件(在图6中记为“距离”。)的项目、以及表示前端部111与被摄体之间的角度的条件(在图6中记为“角度”。)的项目。在图6所示的例子中，仅显示出这些条件中的照明光的种类的条件。在该例子中，照明光的种类的条件符合满足初始摄像条件的摄像条件。

将虚拟部位21a与表22连结的箭头23表示表22中显示的摄像条件是虚拟部位21a的摄像条件。例如能够通过使用者操作输入设备3(图1参照)来选择要显示摄像条件的虚拟部位。

另外，在图6所示的例子中，在多个虚拟部位处分别显示出决定部15A对摄像信息与初始摄像条件的比较的比较结果。比较结果例如如图6所示那样通过圆形记号、三角形记号、叉记号等记号表示。圆形记号例如表示与该虚拟部位相对应的摄像部位处的摄像信息不满足初始摄像条件中的重要度比较高的条件。三角形记号例如表示与该虚拟部位相对应的摄像部位处的摄像信息虽然满足初始摄像条件中的重要度比较高的条件但是不满足初始摄像条件中的重要度比较低的条件。叉记号例如表示与该虚拟部位相对应的摄像部位处的摄像信息满足全部初始摄像条件或者大致全部初始摄像条件。比较结果不限于通过记号表示，也可以通过字符或者颜色表示。

此外，显示控制部16可以使模型图21和表22同时显示，也可以仅使模型图21和表22中的一方显示。

接着，参照图7来说明显示内容的第二例。第二例是显示控制部16执行图5所示的步骤S20的处理的情况的例子。在图7所示的例子中，在显示部20显示出用于显示内窥镜图像和摄像信息的表24。在表24内，显示出与虚拟部位21b相对应的摄像部位处的3个内窥镜图像24a、24b、24c以及与这3个内窥镜图像24a、24b、24c相对应的3个摄像信息。

在图7所示的例子中，作为摄像信息而显示出照明光的种类的信息(在图7中记为“光源”。)、距离信息(在图7中记为“距离”。)以及角度信息(在图7中记为“角度”。)。内窥镜图像24a、24b的照明光的种类互不相同。内窥镜图像24a、24c的前端部111与被摄体之间的距离及角度互不相同。

将虚拟部位21b与表24连结的箭头25表示表24中显示的内窥镜图像24a～24c和摄像信息为虚拟部位21b的内窥镜图像和摄像信息。例如能够通过使用者操作输入设备3(参照图1)来选择要显示内窥镜图像和摄像信息的虚拟部位。

在第二例中，与第一例同样地，可以在多个虚拟部位处分别显示出决定部15A对摄像信息与初始摄像条件的比较的比较结果。在图7所示的例子中，与图6所示的第一例同样地，通过记号来表示出比较结果。显示控制部16可以使模型图21和表24同时显示，也可以仅使模型图21和表24中的一方显示。

接着，参照图8来说明显示内容的第三例。第三例是显示控制部16执行图5所示的步骤S21的处理的情况的例子。在图8所示的例子中，在虚拟部位处显示出检测部13B的检测结果即异常的有无。检测结果例如如图8所示那样通过星形记号等记号表示。显示有星形记号的虚拟部位表示在与该虚拟部位相对应的摄像部位处存在异常。未显示星形记号的虚拟部位表示在与该虚拟部位相对应的摄像部位处没有异常。此外，异常的有无不限于通过记号表示，也可以通过字符、颜色或者内窥镜图像表示。

另外，在图8所示的例子中，在显示部20显示出用于显示由检测部13B检测出的异常的内容的框26。在框26内显示出异常的内容。将虚拟部位21c与框26连结的箭头27表示框26中显示的异常的内容为与虚拟部位21c相对应的摄像部位的异常的内容。例如能够通过使用者操作输入设备3(参照图1)来选择要显示异常的内容的虚拟部位。

接着，参照图9来说明显示内容的第四例。第四例是显示控制部16执行图5所示的步骤S22的处理的情况的例子。在图9所示的例子中，在模型图21上显示出拍摄了多个内窥镜图像时的摄像路径28。

在第四例中，与第一例同样地，可以在多个虚拟部位处分别显示出决定部15A对摄像信息与初始摄像条件的比较的比较结果。比较结果例如如图9所示那样通过圆形记号、三角形记号等记号表示。圆形记号例如表示与该虚拟部位相对应的摄像部位处的摄像信息满足全部初始摄像条件或者大致全部初始摄像条件。三角形记号例如表示与该虚拟部位相对应的摄像部位处的摄像信息满足初始摄像条件的一部分。在第四例中，摄像路径28的起点和终点例如可以通过记号来表示。

(作用和效果)

接着，说明本实施方式所涉及的图像处理装置1、图像处理方法以及图像处理程序的作用和效果。在本实施方式中，获取部13从检查信息获取摄像信息，制作部15将摄像信息与虚拟部位进行关联。根据本实施方式，能够通过利用与虚拟部位相关联的摄像信息，来判断是否应该对与该摄像信息相对应的摄像部位再次进行拍摄，其结果，能够防止应该拍摄的部位的漏拍和摄像错误。

另外，在本实施方式中，分割部15B例如将与被检测出病变等异常的摄像部位相对应的虚拟部位分割为多个副部位(参照图5的步骤S15、S16)。根据本实施方式，例如，能够通过分割为包含异常的副部位和不包含异常的副部位并对包含异常的副部位追加决定摄像条件，来重点检查被检测出异常的摄像部位。

另外，在本实施方式中，能够使满足初始摄像条件的摄像条件显示(参照图5的步骤S19和图6)。由此，根据本实施方式能够防止摄像错误。

另外，在本实施方式中，能够针对每个虚拟部位显示多个内窥镜图像和多个摄像信息(参照图5的步骤S20和图7)。根据本实施方式，能够通过参照多个内窥镜图像和多个摄像信息来进行准确的诊断。

此外，在图7所示的例子中，作为多个摄像信息，显示出照明光的种类的信息、距离信息以及角度信息，作为多个内窥镜图像，显示出照明光的种类互不相同的内窥镜图像24a、24b、以及前端部111与被摄体之间的距离及角度互不相同的内窥镜图像24a、24c。在本实施方式中，作为多个摄像信息，能够显示上述的信息以外的摄像信息，作为多个内窥镜图像，能够显示上述的信息以外的摄像信息互不相同的多个内窥镜图像。具体地说，显示控制部16能够使光学放大倍率的信息、电子放大倍率的信息、照明光的光量的信息、是否为散布有色素的区域的信息、以及处理器具的有无及种类的信息等作为摄像信息来显示。

另外，在本实施方式中，能够显示异常的有无和异常的内容(参照图5的步骤S21和图8)。由此，根据本实施方式，能够重点检查被检测出异常的摄像部位。

另外，在本实施方式中，能够显示拍摄了多个内窥镜图像时的摄像路径(参照图5的步骤S22和图9)。由此，根据本实施方式，能够对检查的过程进行反馈，从而能够实现使用者的技术提高。

本发明不限定于上述的实施方式，能够在不改变本发明的主旨的范围内进行各种变更、改变等。例如，本发明的图像处理装置、图像处理方法以及图像处理程序不限于医疗领域，也能够应用于工业用领域。

Claims (14)

1.一种图像处理装置，其特征在于，具备：

输入部，其获取检查信息，所述检查信息包含通过内窥镜拍摄被检体而生成的内窥镜图像；

估计部，其基于所述内窥镜图像来估计摄像部位，所述摄像部位是所述内窥镜拍摄到的所述被检体的部位；

获取部，其从所述检查信息获取摄像信息，所述摄像信息是与所述内窥镜图像相对应、且表示拍摄到所述内窥镜图像时的所述内窥镜和所述被检体中的至少一方的状况的信息；

制作部，其制作将所述被检体虚拟化而得到的模型图，并且基于所述估计部的估计结果将所述摄像信息与虚拟部位进行关联，所述虚拟部位是所述模型图上的与所述摄像部位相对应的部位；以及

显示控制部，其控制用于显示所述模型图的显示装置。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述估计部通过对所述内窥镜图像进行图像分析来估计所述摄像部位。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述检查信息还包含系统信息，所述系统信息是与所述内窥镜的动作有关的信息，

所述获取部从所述系统信息获取所述摄像信息。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述获取部通过对所述内窥镜图像进行图像分析来获取所述摄像信息。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述制作部包括决定部，所述决定部针对每个所述虚拟部位决定用于拍摄所述被检体的条件即摄像条件。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述决定部通过对所述内窥镜图像进行图像分析来决定所述摄像条件，

所述显示控制部使所述显示装置显示所述摄像条件中的至少一部分。

7.根据权利要求5所述的图像处理装置，其特征在于，

还具备条件存储部，该条件存储部存储预先规定的用于拍摄所述被检体的条件即初始摄像条件，

所述决定部针对每个所述虚拟部位将所述摄像信息与所述初始摄像条件进行比较，由此决定所述摄像条件，

所述显示控制部使所述显示装置显示所述决定部的比较结果和所述摄像条件的至少一部分中的至少一方。

8.根据权利要求5所述的图像处理装置，其特征在于，

所述制作部还包括分割部，该分割部将所述虚拟部位分割为多个副部位，

所述决定部针对所述多个副部位中的每个副部位决定所述摄像条件，

所述显示控制部使所述显示装置显示所述摄像条件的至少一部分。

9.根据权利要求1所述的图像处理装置，其特征在于，还具备：

图像存储部，其存储所述内窥镜图像；以及

信息存储部，其存储所述摄像信息，

所述显示控制部从所述图像存储部读出与一个所述摄像部位相对应的多个所述内窥镜图像，且从所述信息存储部读出与所述多个所述内窥镜图像相对应的多个所述摄像信息，并且使所述显示装置显示所述多个所述内窥镜图像和所述多个所述摄像信息中的至少一方，其中，与一个所述摄像部位相对应的多个所述内窥镜图像各自所对应的所述摄像信息的至少一部分互不相同。

10.根据权利要求1所述的图像处理装置，其特征在于，

还具备存储所述内窥镜图像的图像存储部，

所述获取部包括评价部，该评价部通过对所述内窥镜图像进行图像分析来评价所述内窥镜图像的图像质量，

所述图像存储部将所述评价部的评价结果与所述内窥镜图像相关联地进行存储，

所述显示控制部从所述图像存储部读出与一个所述摄像部位相对应的多个所述内窥镜图像中的被所述评价部评价为图像质量良好的所述内窥镜图像且使所述显示装置进行显示。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述获取部包括检测部，该检测部通过对所述内窥镜图像进行图像分析来检测所述摄像部位处的异常，

所述显示控制部使所述显示装置显示所述检测部的检测结果。

12.根据权利要求1所述的图像处理装置，其特征在于，

所述检查信息还包含时刻信息，该时刻信息是拍摄到所述内窥镜图像时的时刻的信息，

所述获取部从所述检查信息获取所述时刻信息来作为所述摄像信息，

所述显示控制部基于所述时刻信息，使所述显示装置在所述模型图上显示拍摄了多个所述内窥镜图像时的摄像路径。

13.一种图像处理方法，其特征在于，包括以下过程：

输入部获取检查信息，所述检查信息包含通过内窥镜拍摄被检体而生成的内窥镜图像；

估计部基于所述内窥镜图像估计摄像部位，所述摄像部位是所述内窥镜拍摄到的所述被检体的部位；

获取部从所述检查信息获取摄像信息，所述摄像信息是与所述内窥镜图像相对应、且表示拍摄到所述内窥镜图像时的所述内窥镜和所述被检体中的至少一方的状况的信息；

制作部制作将所述被检体虚拟化而得到的模型图，并且基于所述估计部的估计结果将所述摄像信息与虚拟部位进行关联，所述虚拟部位是所述模型图上的与所述摄像部位相对应的部位；以及

显示控制部控制用于显示所述模型图的显示装置。

14.一种程序，其特征在于，用于使计算机执行以下过程：

获取检查信息，所述检查信息包含通过内窥镜拍摄被检体而生成的内窥镜图像；

基于所述内窥镜图像估计摄像部位，所述摄像部位是所述内窥镜拍摄到的所述被检体的部位；

从所述检查信息获取摄像信息，所述摄像信息是与所述内窥镜图像相对应、且表示拍摄到所述内窥镜图像时的所述内窥镜和所述被检体中的至少一方的状况的信息；

制作将所述被检体虚拟化而得到的而得到的模型图，并且基于所述摄像部位的估计结果将所述摄像信息与虚拟部位进行关联，所述虚拟部位是所述模型图上的与所述摄像部位相对应的部位；以及

控制用于显示所述模型图的显示装置。

Images