CN115666361A - 内窥镜处理器装置 - Google Patents

Abstract

本发明提供一种能够按照根据指引确定的步骤进行检查辅助的内窥镜处理器装置。观察场景信息获取部(22)获取与拍摄的观察场景相关的观察场景信息。观察场景比较部(25)将与根据指引预先确定的参照场景相关的参照场景信息(31)和观察场景信息进行比较。在观察场景不是推荐观察场景的情况下，推荐观察场景报知部(26)在显示器(18)上显示推荐观察场景信息。

Description

内窥镜处理器装置

技术领域

本发明涉及一种进行使用AI(Artificial Intelligence)的识别处理的内窥镜处理器装置。

背景技术

在医疗领域中，使用具备内窥镜、光源装置及处理器装置的内窥镜系统的诊断正在广泛地进行。内窥镜系统基于由内窥镜拍摄的图像信号生成观察对象的图像并在显示器上显示。用户(医生)能够一边观察显示在显示器上的观察图像一边进行诊断。

另外，近年来，AI技术已开始被导入到内窥镜系统中，以有效地辅助诊断。这样的内窥镜系统在快速判定疾病的可能性的方法即筛选检查中特别有用。作为辅助诊断的技术，有如下专利文献。

专利文献1公开了一种技术，将检查图像与基准图像进行比较，在重合度高的情况下提醒操作进行拍摄，并进行辅助以能够获取按照指引的图像。专利文献2公开了一种辅助技术，以通过根据处置的内容探测实施完成的任务，并在显示器上与未实施的任务区别地显示，从而可进行遵守检查协议的检查。专利文献3公开了一种技术，在规定的检查部位的图像的张数与预定摄像张数不一致时发出警报，以通知用户图像丢失。

以往技术文献

专利文献

专利文献1：日本特开2018-139846号公报

专利文献2：日本特开2017-99509号公报

专利文献3：日本特开2012-70936号公报

发明内容

发明要解决的技术课题

在内窥镜检查的指引中，不仅包括需要观察的区域在哪里，还包括观察对象的摄影顺序等步骤。其理由在于，通过二次读图中出现的图像反映的器官的区域连续、或抑制检查中的无用的观测器移动，防止观察遗漏或假阴性，缩短检查时间。

但是，在专利文献1或专利文献3的方法中，为了获取按照指引的图像，用户必须操作内窥镜使其处于适当的摄影位置，如果考虑到要获取适当的图像而需要复杂的操作，则不是对于快速进行筛查有效的方法。另外，在专利文献2的方法中，在为了能够按照预先确定的步骤进行检查而显示辅助信息，但由于观察对象的病变的存在或照明的状态等而遗漏拍摄的情况下，如果没有具体的操作信息，则即使是专家也有时难以进行适当位置的拍摄。

本发明的目的在于提供一种能够进行按照根据指引确定的步骤的内窥镜检查的辅助的内窥镜处理器装置。

用于解决技术课题的手段

本发明的内窥镜处理器装置具备处理器，处理器获取拍摄的医用图像，在进行了特定处理时，使用医用图像获取与拍摄的观察场景相关的观察场景信息，将观察场景信息存储到观察场景信息存储器中，将与根据指引预先确定的参照场景相关的参照场景信息存储到参照场景信息存储器中，比较参照场景信息和观察场景信息，判定观察场景是否是应按照指引观察的推荐观察场景，在观察场景不是推荐观察场景的情况下，在显示器上显示与推荐观察场景相关的推荐观察场景信息。

优选的是，处理器将与观察场景和进行特定处理的摄影顺序相关联地存储到观察场景信息存储器中，将参照场景和根据指引确定的参照场景的摄影顺序存储到参照场景信息存储器中，比较观察场景和与观察场景的摄影顺序对应的参照场景，判定观察场景是否是推荐观察场景。

优选的是，在判定为观察场景不是推荐观察场景的情况下，处理器在显示器上显示摄影顺序的参照场景的参照场景信息来作为推荐观察场景信息。

优选的是，在判定为观察场景是推荐观察场景的情况下，处理器在显示器上显示摄影顺序的下一个顺序的参照场景信息来作为推荐观察场景信息。

优选的是，特定处理是获取医用图像的静止画面的静止画面获取处理。

优选的是，处理器显示用于向推荐观察场景引导内窥镜观测器的指南。

优选的是，处理器在医用图像上重叠显示指南。

优选的是，在指南中包括用于基于参照场景信息拍摄推荐观察场景的操作步骤。

优选的是，处理器将观察场景信息中至少与包括观察场景的部位和观察场景的位置相关的信息显示为字符信息。

优选的是，在参照场景的拍摄全部结束的情况下，处理器检测观察场景中需要复查的需要复查观察场景，并显示需要复查观察场景的信息。

发明效果

根据本发明，能够进行按照根据指引确定的步骤的内窥镜检查的辅助。

附图说明

图1是内窥镜系统的外观图。

图2是表示内窥镜处理器装置的功能的框图。

图3是表示对上消化道进行筛查检查时的内窥镜的操作步骤的图。

图4是对参照场景信息进行说明的图。

图5是表示在监视器上显示拍摄的医用图像和相关信息的例子的图。

图6是对按照指引拍摄时的观察场景信息存储器的观察场景和参照场景信息的参照场景的比较进行说明的图。

图7是对在按照指引拍摄时显示的画面进行说明的图。

图8是对未按照指引拍摄时的观察场景信息存储器的观察场景和参照场景信息的参照场景的比较进行说明的图。

图9是对未按照指引拍摄时显示的画面进行说明的图。

图10是对为了拍摄推荐观察场景而引导内窥镜观测器的操作的指南的显示进行说明的图。

图11是对在医用图像中重叠显示指南的第一例进行说明的图。

图12是对在医用图像中重叠显示指南的第二例进行说明的图。

图13是对为了按照指引拍摄在指引中确定的参照场景而存储的内窥镜的操作步骤进行说明的图。

图14是表示具备需要复查观察场景检测部的内窥镜处理器装置的功能的框图。

图15是对推荐观察场景报知部的功能进行说明的流程图。

具体实施方式

如图1所示，内窥镜系统10具有内窥镜11、光源装置14、内窥镜处理器装置16、显示器18以及用户界面19。内窥镜11与光源装置14光学连接，且与内窥镜处理器装置16电连接。内窥镜11对观察对象照射从光源装置14供给的照明光。另外，内窥镜11拍摄观察对象而获取图像信号。内窥镜处理器装置16获取来自内窥镜11的图像信号，对图像信号实施各种图像处理。另外，内窥镜处理器装置16基于被实施了各种图像处理的图像信号在显示器18上显示各种图像。

如图2所示，内窥镜处理器装置16具有医用图像获取部21、观察场景信息获取部22、观察场景信息存储器23、参照场景信息存储器24、观察场景比较部25以及推荐观察场景报知部26。内窥镜处理器装置16的各功能通过由处理器构成的控制部(未图示)执行安装到程序用存储器中的进行病变等的识别处理的程序而实现。

内窥镜处理器装置16与显示器18及用户界面19电连接。显示器18显示观察对象的图像、或图像附带的信息等。用户界面19接收关注区域(ROI：Region Of Interest)的指定或功能设定等输入操作。

内窥镜系统10具有普通光模式、特殊光模式以及检查辅助模式作为观察模式。医用图像获取部21基于在与各观察模式对应的不同环境下拍摄观察对象而获得的图像信号生成医用图像。

在观察模式是普通光模式的情况下，发出白色光这样的普通光，并且基于利用该普通光拍摄照明中的观察对象而获得的图像信号，生成自然色调的普通光图像。另外，在观察模式是特殊光模式的情况下，发出发光光谱和普通光不同的特殊光，并且基于利用该特殊光拍摄照明中的观察对象而获得的图像信号，生成对病变部或结构进行了强调处理的特殊光图像。

另外，在观察模式是检查辅助模式的情况下，发出检查用照明光。然后，基于利用检查用照明光拍摄照明中的检查区域内的观察对象而获得的图像信号，生成检查图像。检查辅助模式是辅助在筛查时能够可靠地拍摄根据诊察用的指引确定的图像的模式。此外，检查用照明光可使用普通光或者特殊光。

例如，在按照指引筛查上消化道的情况下，如图3所示，首先，将内窥镜11的插入部12压入管腔，穿过食道Es、胃St，插入到十二指肠Duo的检查最深位置P0。在到达检查最深位置P0时开始静止画面的拍摄。首先，用户操作内窥镜11的操作部13，在检查最深位置P0拍摄根据指引确定的检查区域。在上消化道中，按照十二指肠Duo、胃St、食道Es的顺序拔出内窥镜11的插入部12，分别进行根据指引确定的检查区域的拍摄。若所有检查区域的拍摄结束，则将内窥镜11的插入部12向体腔外抽出。此外，优选的是，对大肠等下消化道也通过同样的步骤进行筛查。

另外，在内窥镜11的插入部12的外周面上设置有用于测定将插入部12插入到体内的长度即插入长度的测定用刻度(未图示)。测定用刻度沿着插入部12的长度方向以规定的间距(例如，每1cm)雕刻。插入长度通过刻度检测传感器(未图示)读取测定用刻度的值来测量。刻度检测传感器优选设置于在插入内窥镜11的插入部12时患者含在口中的吸嘴上。刻度检测传感器通过有线或无线与内窥镜处理器装置16连接，由刻度检测传感器检测到的信息被发送到内窥镜处理器装置16。

在参照场景信息存储器24中存储有参照场景信息31。如图4所示，在参照场景信息31中，相关联地存储有参照场景和根据指引确定的参照场景的摄影顺序。例如，作为参照场景信息31，摄影顺序为第一的参照场景是部位P的小区域的场景A。同样，第二个参照场景是部位Q的小区域的场景B，第三个参照场景是部位Q的小区域的场景C。这样，根据指引确定的所有参照场景与摄影顺序一起被存储在参照场景信息31中。

图5是进行筛选检查时显示在显示器18上的显示画面41的例子。在显示器18上实时显示拍摄观察对象所得的观察图像42，除了观察中的观察场景的场景识别结果43之外，在相关信息显示区域44还显示有无病变的可能性等与观察场景相关的信息。在图5中，作为观察场景的识别结果43，显示有观察场景为“场景C”时的场景识别结果43和观察场景相对于场景C的相似度为“80％”。相似度是指比较预先存储有观察场景的图像和观察图像42而计算出的结果。此外，作为观察图像42，在筛选中显示使用检查用照明光拍摄的检查图像，但可以是普通光图像，也可以是特殊光图像。或者，在操作内窥镜11拍摄静止画面的情况下，也可以显示拍摄的静止画面。

观察场景信息获取部22在操作设置于内窥镜11的操作部13的冻结按钮13a(参照图1)，进行了将显示在显示器18上的观察场景拍摄成静止画面的静止画面获取处理(特定处理)时，获取与拍摄的观察场景相关的观察场景信息。另外，观察场景信息存储器23与表示进行静止画面获取处理的顺序的摄影顺序对应地存储获取的观察场景信息。作为观察场景信息，有包括摄影区域的部位或其具体位置的信息、摄影区域有无病变等。这些信息作为由使用基于机器学习的学习模型的所谓AI(Artificial Intelligence)执行的处理的结果被获取的信息。另外，优选的是，后述的观察场景相对于参照场景的相似度也由AI来处理。此外，可使用CNN(Convolutional Neural Network)作为机器学习。

观察场景比较部25比较存储在观察场景信息存储器23中的观察场景信息和存储在参照场景信息存储器24中的参照场景信息31，判定观察场景是否是应按照指引观察的推荐观察场景。

具体地说，观察场景比较部25比较观察场景和与观察场景的摄影顺序对应的参照场景，进行观察场景是否是推荐观察场景的判定。如图6所示，例如，存储在观察场景信息存储器23中的摄影顺序为第一的观察场景是“场景A”。将其和与参照场景信息31的第一摄影顺序对应的“场景A”比较。这样，观察场景信息存储器23按照摄影顺序依次进行与相同摄影顺序对应的场景彼此的比较。

在观察场景比较部25判定为观察场景是推荐观察场景的情况下，推荐观察场景报知部26在显示器18的相关信息显示区域44显示观察场景的摄影顺序的下一个顺序的参照场景信息31。

在图6中，在观察场景信息存储器23的摄影顺序为第三的观察场景中存储“场景C”，且与参照场景信息31的第三个参照场景相同时，判定为观察场景是推荐观察场景。此时，如图7所示，在显示器18的相关信息显示区域44显示第四个“场景D”的信息来作为“场景C”的下一个顺序的参照场景信息31。

另一方面，在观察场景比较部25判定为观察场景不是推荐观察场景的情况下，推荐观察场景报知部26在显示器18的相关信息显示区域44显示观察场景的摄影顺序的参照场景信息31作为推荐观察场景信息。

如图8所示，在观察场景信息存储器23的摄影顺序为第三的观察场景中存储有“场景D”。在与参照场景信息31的摄影顺序为第三的参照场景比较时，由于参照场景信息31的第三个参照场景是“场景C”，因此是不同的。此时，观察场景比较部25判定为观察场景不是推荐观察场景。

在该情况下，推荐观察场景报知部26在相关信息显示区域44显示摄影顺序为第三的参照场景“场景C”作为推荐观察场景信息。作为显示为推荐观察场景信息的方法，例如，如图9所示，作为摄影顺序为第三的场景，为了报知“场景C”没有拍摄的情况，在相关信息显示区域44显示“场景C未拍摄”。

在根据指引确定的所有参照场景的拍摄结束时，在拍摄的图像中存在被判定为有病变的可能性高的图像的情况下，作为下一次应拍摄的推荐观察场景，优选显示与该图像的观察场景相关的信息或用于向观察场景移动的操作信息。

另外，如图10所示，推荐观察场景报知部26显示用于将内窥镜11的观测器(未图示)引导到能够拍摄推荐观察场景的位置的指南。例如，在显示器18的相关信息显示区域44显示“上下角度-15度”、“插入5cm”作为向拍摄场景C的位置引导的操作信息。

此外，指南也可以重叠显示在显示器18上显示的观察图像42上。在该情况下，除了显示表示移动内窥镜11的观测器的方向或角度的图形之外，还能够通过将观察图像42的框部分的颜色变更为与操作信息对应的颜色以表示移动的方向等方法来表示操作信息。

在与观察图像42重叠的情况下，例如，如图11所示，通过显示向下方向的箭头和“-15度”，表示将内窥镜11的观测器的角度向负方向(下方向)操作15度。此外，如图12所示，通过显示为“插入5cm”，表示将内窥镜11的观测器插入5cm的操作。这样，在与观察图像42重叠显示的情况下，优选按每一次操作切换显示。

如图13所示，在参照场景信息31中存储有使内窥镜11的观测器从拍摄上一个参照场景的位置移动到拍摄下一个参照场景的位置的操作步骤。这些操作步骤与身高等和体格相关的信息相对应地预先存储。上述的指南按照这些操作步骤来显示。例如，在移动内窥镜11的观测器以使其从场景D返回场景C的情况下，以从场景C向场景D的操作步骤的相反步骤显示指南。即，以在将上下角度设为负15度后进行插入5cm的操作的方式显示指南。

如图14所示，内窥镜处理器装置16也可以具备需要复查观察场景检测部27。在结束所有参照场景的拍摄的情况下，需要复查观察场景检测部27检测存储在观察场景信息存储器23中的观察场景中需要复查的需要复查观察场景。例如，需要复查观察场景检测部27在存储的观察场景中的场景B(参照图6等)中检测到有疑似病变的病变区域的情况下，将场景B作为需要复查观察场景检测。在该情况下，推荐观察场景报知部26在显示器18上显示与场景B相关的信息及操作内窥镜11的指南。

图15是对用户使用本发明的内窥镜系统10进行筛选检查时的推荐观察场景报知部26的功能进行表示的流程图。首先，在用户将观察场景拍摄成静止画面时，观察场景信息获取部22将观察场景和摄影顺序相关联的观察场景信息存储到观察场景信息存储器23中(步骤S1)。

观察场景比较部25比较存储在观察场景信息存储器23中的观察场景和存储在参照场景信息31中的参照场景，判定观察场景是否是应按照指引观察的推荐观察场景(步骤S2)。在判定为存储的观察场景是推荐观察场景的情况下，推荐观察场景报知部26在显示器18上显示观察场景的摄影顺序的下一个顺序的参照场景信息31作为推荐观察场景信息(步骤S3)。在判定为存储的观察场景不是推荐观察场景的情况下，判定为未按照指引拍摄。在该情况下，在显示器18上显示观察场景的摄影顺序的参照场景信息31来作为推荐观察场景信息(步骤S4)。在步骤S4中，还在显示器18上显示用于将内窥镜11的观测器引导到能够拍摄推荐观察场景的位置的指南，用户按照指南进行未拍摄的观察场景的拍摄。在推荐观察场景的拍摄结束时，推荐观察场景报知部26显示返回原始路线的指南(步骤S5)。

在同样的步骤中，用户按照指引进行筛选检查，直到最后的观察场景。在最后拍摄的观察场景是参照场景信息31的最后场景的情况下，观察场景比较部25判定为是最后的观察场景(步骤S6)。在结束所有参照场景的拍摄的情况下，需要复查观察场景检测部27检测存储在观察场景信息存储器23中的观察场景中需要复查的需要复查观察场景(步骤S7)。推荐观察场景报知部26在显示器18上显示与需要复查观察场景相关的信息及操作内窥镜11的指南(步骤S8)。在结束包括复查的所有检查之后，用户将内窥镜11拉出到体腔外，结束检查。

此外，在本实施方式中，在用户将观察场景拍摄成静止画面的时机，判定是否能够按照指引拍摄，但对于像动画那样连续拍摄的图像，也能够通过如下的方法判定是否按照指引。例如，观察场景比较部25对照参照场景信息31的参照场景是否包含在拍摄成动画的图像中。在按照指引进行检查的情况下，特定的场景(参照场景)以与预先确定的摄影顺序相同的顺序包含在动画中。因此，在拍摄成动画的观察场景的顺序和参照场景的顺序不同的情况下，观察场景比较部25判定为未按照指引。在判定为未按照指引的情况下，推荐观察场景报知部26显示操作信息，引导用户能够进行按照指引的拍摄。

在本实施方式中，执行医用图像获取部21、观察场景信息获取部22、观察场景比较部25及推荐观察场景报知部26等各种处理的处理部(processing unit)的硬件结构是如下所示的各种处理器(processor)。各种处理器包括执行软件(程序)作为各种处理部发挥作用的通用处理器即CPU(Central Processing Unit)、FPGA(Field Programmable GateArray)等制造后能够变更电路结构的处理器即可编程逻辑器件(ProgrammableLogicDevice：PLD)以及具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上的处理器的组合(例如，多个FPGA、或CPU和FPGA的组合)构成。另外，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的各种处理器作为硬件结构来构成各种处理部。

而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的形态的电路(circuitry)。

符号说明

10 内窥镜系统

11 内窥镜

12 插入部

13 操作部

13a 冻结按钮

14 光源装置

16 内窥镜处理器装置

18 显示器

19 用户界面

21 医用图像获取部

22 观察场景信息获取部

23 观察场景信息存储器

24 参照场景信息存储器

25 观察场景比较部

26 推荐观察场景报知部

27 需要复查观察场景检测部

31 参照场景信息

41 显示画面

42 观察图像

43 场景识别结果

44 相关信息显示区域

45 指南显示按钮。

Claims (10)

1.一种内窥镜处理器装置，具备处理器，

所述处理器

获取拍摄的医用图像，

在进行了特定处理时，使用所述医用图像获取与拍摄的观察场景相关的观察场景信息，

将所述观察场景信息存储到观察场景信息存储器中，

将与根据指引预先确定的参照场景相关的参照场景信息存储到参照场景信息存储器中，

比较所述参照场景信息和所述观察场景信息，判定所述观察场景是否是应按照所述指引观察的推荐观察场景，

在所述观察场景不是所述推荐观察场景的情况下，在显示器上显示与所述推荐观察场景相关的推荐观察场景信息。

2.根据权利要求1所述的内窥镜处理器装置，其中，

所述处理器

将所述观察场景和进行所述特定处理的摄影顺序相关联地存储到观察场景信息存储器中，

将所述参照场景和根据所述指引确定的所述参照场景的摄影顺序存储到所述参照场景信息存储器中，

比较所述观察场景和与所述观察场景的摄影顺序对应的所述参照场景，判定所述观察场景是否是所述推荐观察场景。

3.根据权利要求2所述的内窥镜处理器装置，其中，

在判定为所述观察场景不是所述推荐观察场景的情况下，所述处理器在所述显示器上显示所述摄影顺序的所述参照场景的所述参照场景信息来作为所述推荐观察场景信息。

4.根据权利要求2所述的内窥镜处理器装置，其中，

在判定为所述观察场景是所述推荐观察场景的情况下，所述处理器在所述显示器上显示所述摄影顺序的下一个顺序的所述参照场景信息来作为所述推荐观察场景信息。

5.根据权利要求1至4中任一项所述的内窥镜处理器装置，其中，

所述特定处理是获取所述医用图像的静止画面的静止画面获取处理。

6.根据权利要求1至5中任一项所述的内窥镜处理器装置，其中，

所述处理器显示用于向所述推荐观察场景引导内窥镜观测器的指南。

7.根据权利要求6所述的内窥镜处理器装置，其中，

所述处理器在所述医用图像上重叠显示所述指南。

8.根据权利要求6或7所述的内窥镜处理器装置，其中，

在所述指南中包括用于基于所述参照场景信息拍摄所述推荐观察场景的操作步骤。

9.根据权利要求1至8中任一项所述的内窥镜处理器装置，其中，

所述处理器将所述观察场景信息中至少与包括所述观察场景的部位和所述观察场景的位置相关的信息显示为字符信息。

10.根据权利要求1至9中任一项所述的内窥镜处理器装置，其中，

在所述参照场景的拍摄全部结束的情况下，所述处理器检测所述观察场景中需要复查的需要复查观察场景，并显示所述需要复查观察场景的信息。

Images