CN115916023A - 内窥镜插入辅助装置、方法及存储有程序的非暂态计算机可读介质 - Google Patents

Abstract

本发明的目的在于提供一种内窥镜插入辅助装置、方法和程序，其允许内窥镜的操作者容易地掌握内窥镜的插入情况，从而进行有效的插入辅助。根据本发明的内窥镜插入辅助装置(100)包括：获取单元(110)，获取形状数据以标识插入到管腔中的内窥镜的插入形状；估计单元(120)，从形状数据估计插入形状的多个形状类别中的任一个形状类别；以及输出单元(130)，输出所估计的形状类别的按时间定序的显示信息。

Description

内窥镜插入辅助装置、方法及存储有程序的非暂态计算机可读介质

技术领域

本发明涉及内窥镜插入辅助装置、方法和程序，并且更具体地，涉及用于辅助内窥镜的插入的内窥镜插入辅助装置、方法和程序。

背景技术

插入内窥镜来在诸如大肠或小肠的体内进行观察已变得普遍。在这种情况下，操作者(医生)需要了解内窥镜的插入部分在体内呈什么形状。

因此，专利文献1公开了与分析内窥镜的插入形状的分析装置有关的技术。分析装置从内窥镜插入形状观察装置获取插入形状数据，并且从获取的插入形状数据检测内窥镜的插入部分的形状。分析装置分析并且获得检测的形状的特定位置或特定部分，并且基于其分析结果将内窥镜的插入部分的静态形状分类为模式。然后，分析装置在屏幕上显示分类的图案。

在先技术文献

专利文献

专利文献1：日本专利申请公开号2007-054401

发明内容

技术问题

这里，实际的内窥镜检查需要由操作熟练的医生进行，并且存在内窥镜的操作困难度高的问题。即，需要为操作内窥镜的操作者提供进行插入辅助的机构。注意，在与上述专利文献1有关的技术中，插入辅助有改进的余地。

已经实现本公开以解决上述问题，并且本公开的目的是提供一种内窥镜插入辅助装置、方法和程序，其允许内窥镜的操作者容易地掌握内窥镜的插入情况并且进行有效的插入辅助。

问题的解决方案

根据本公开的第一方面的内窥镜插入辅助装置包括：获取单元，获取形状数据以标识插入到管腔中的内窥镜的插入形状；估计单元，从形状数据估计插入形状的多个形状类别中的任一个形状类别；以及输出单元，输出所估计的形状类别的按时间定序的显示信息。

根据本公开的第二方面的内窥镜插入辅助方法包括：计算机获取形状数据以标识插入到管腔中的内窥镜的插入形状；从形状数据估计插入形状的多个形状类别中的任一个形状类别；以及输出所估计的形状类别的按时间定序的显示信息。

根据本公开的第三方面的内窥镜插入辅助程序使计算机执行：获取过程，用于获取形状数据以标识插入到管腔中的内窥镜的插入形状；估计过程，用于从形状数据估计插入形状的多个形状类别中的任一个形状类别；以及输出过程，用于输出所估计的形状类别的按时间定序的显示信息。

发明的有利效果

根据本公开，可以提供一种内窥镜插入辅助装置、方法和程序，其允许内窥镜的操作者轻松掌握内窥镜的插入情况，从而进行有效的插入辅助。

附图说明

图1是图示根据第一示例实施例的内窥镜插入辅助装置的配置的框图；

图2是图示根据第一示例实施例的内窥镜插入辅助方法的流程的流程图；

图3是图示根据第二示例实施例的内窥镜插入辅助系统的整体配置的框图；

图4是图示根据第二示例实施例的内窥镜插入辅助装置的配置的框图；

图5是图示根据第二示例实施例的形状数据的示例的图；

图6是图示根据第二示例实施例的内窥镜图像的示例的图；

图7是图示根据第二示例实施例的形状类别的时间定序转换的显示信息的示例的图；

图8是图示根据第二示例实施例的内窥镜插入辅助方法的流程的流程图；

图9是图示根据第三示例实施例的内窥镜插入辅助装置的配置的框图；

图10是图示根据第三示例实施例的比较过程的流程的流程图；

图11是图示根据第三示例实施例的形状类别的时间定序转换的比较结果的示例的图；

图12是图示根据第四示例实施例的内窥镜插入辅助装置的配置的框图；以及

图13是图示根据第四示例实施例的搜索过程的流程的流程图。

具体实施方式

下面，将参考附图详细描述本公开的示例实施例。在相应的附图中，相同或对应的元素被赋予相同的附图标记，并且为了阐明描述，重叠的描述将根据需要被省略。

<第一示例实施例>

图1是图示根据第一示例实施例的内窥镜插入辅助装置100的配置的框图。内窥镜插入辅助装置100是用于辅助检查者(医生)插入内窥镜的操作的信息处理装置，检查者(医生)使用内窥镜进行受检者(对象)的体内的检查。内窥镜插入辅助装置100包括获取单元110、估计单元120和输出单元130。

获取单元110获取形状数据，以用于标识插入到体腔(管腔)中的内窥镜的插入形状。这里，形状数据是在内窥镜被插入到体腔中时，用于标识被包括在内窥镜中的光纤电缆的形状的信息，并且例如是用于二维地表达三维位置坐标和形状的图像数据等数据。获取单元110也可以接收由例如专利文献1中所示的内窥镜插入形状观察装置的形状处理装置生成的插入形状数据，作为形状数据。

估计单元120从形状数据估计插入形状的多个形状类别中的任一个形状类别。这里，形状类别是通过将具有类似插入形状的特性的多个形状组合来限定的模式。至少两个以上形状类别被限定，并且估计单元120通过将由获取单元110获取的形状数据分类到多个形状类别中的任一个形状类别中来执行估计。注意，估计单元120也可以使用经训练模型来执行估计，经训练模型从训练数据进行训练，训练数据被标记有针对多个形状数据的各个形状数据的形状类别。

输出单元130输出所估计的形状类别的按时间定序的显示信息。也就是说，输出单元130根据内窥镜的插入情况，针对多个所估计的形状类别，顺序地生成且输出按时间定序的形式可视化的显示信息。

图2是图示根据第一示例实施例的内窥镜插入辅助方法的流程的流程图。首先，获取单元110获取用于标识插入到体腔中的内窥镜的插入形状的形状数据(S11)。接下来，估计单元120从形状数据估计插入形状中的多个形状类别中的任一个形状类别(S12)。然后，输出单元130输出所估计的形状类别的按时间定序的显示信息(S13)。

因此，在本示例实施例中，所获取的形状数据被分类(估计)为指示插入形状的特征的预定形状类别，所获取和所估计的形状类别被顺序地输出为按时间定序格式的显示信息，并且被呈现给内窥镜的操作者。因此，内窥镜的操作者可以容易地掌握内窥镜的插入情况。因此，根据本示例实施例，可以对内窥镜执行有效的插入辅助。

注意，内窥镜插入辅助装置100包括作为未示出组件的处理器、存储器和存储装置。存储装置存储计算机程序，计算机程序中实现了根据本示例实施例的内窥镜插入辅助方法的过程。处理器将计算机程序从存储装置读入到存储器中，并且执行计算机程序。以该方式，处理器实现获取单元110、估计单元120和输出单元130的功能。

备选地，获取单元110、估计单元120和输出单元130也可以由专用硬件实现。每个装置的一些组件或全部组件可以由通用或专用电路装置、处理器或其组合来实现。这些组件可以由单个芯片或经由总线连接的多个芯片构成。每个装置的一些组件或全部组件也可以由上述电路装置和程序的组合来实现。CPU(中央处理单元)、GPU(图形处理单元)、FPGA(现场可编程门阵列)或类似物可以被用作处理器。

当内窥镜插入辅助装置100的一些组件或全部组件由多个信息处理装置或电路实现时，多个信息处理装置和电路可以被集中布置，或者可以被分布。例如，信息处理装置或电路等也可以以客户服务器系统和云计算系统等经由通信网络连接的模式来实现。此外，内窥镜插入辅助装置100的功能可以以SaaS(软件即服务)格式来提供。

<第二示例实施例>

第二示例实施例是上述第一示例实施例的具体示例。图3是图示根据第二示例实施例的内窥镜插入辅助系统2000的整体配置的框图。内窥镜插入辅助系统2000是一种系统，该系统在医生U1使用电子内窥镜11对受检者U2执行检查时，辅助医生U1插入电子内窥镜11。内窥镜插入辅助系统2000包括内窥镜装置10、内窥镜插入形状观察装置20、内窥镜插入辅助装置30、显示装置41、扬声器42和输入装置43。

内窥镜装置10包括电子内窥镜11，电子内窥镜11经由电缆连接到内窥镜装置10的主体。电子内窥镜11包括插入部分11a，插入部分11a是要插入到受检者U2的体腔中的部分。插入部分11a包括远端部分和光纤电缆和连接到远端部分的光导电缆。插入部分11a的一端经由上述电缆连接到近端部分和内窥镜装置10的主体。远端部分包括电子图像拾取设备、观察光照射部分和弯曲部分等。电子图像拾取设备相当于电子内窥镜11的相机，并且例如是CCD(电荷耦合器件)。照射部分从光导电缆发射出观察光。弯曲部分使远端部分响应于来自近端部分的操作部分的控制信号而弯曲。

光纤电缆和光导电缆也连接到内窥镜装置10的主体。光纤电缆向/从内窥镜装置10的主体发送/接收各种信号，并且特别地将由电子图像拾取设备捕获的图像(内窥镜图像)发送到内窥镜装置10的主体。内窥镜装置10的主体将内窥镜图像输出到内窥镜插入辅助装置30。光导电缆将来自内窥镜装置10的光源的光引导到照射部分。

这里，插入部分11a在多个位置处包括源线圈(未示出)。源线圈例如以预定的间隔布置。源线圈响应于来自内窥镜插入形状观察装置20的驱动信号而生成磁场。因此，电子内窥镜11只需要包含磁线圈来标识插入部分11a的多个位置处的形状。注意，由于公开的已知组件可以用于内窥镜装置10和电子内窥镜11的其他组件，因此将省略其他组件的图示和描述。备选地，也可以使用插入到内窥镜中的内置线圈的器具作为磁线圈(不是被包含在内窥镜中的线圈)。

内窥镜插入形状观察装置20至少包括感应线圈单元21和形状处理装置22。感应线圈单元21是检测从电子内窥镜11的插入部分11a中提供的多个源线圈生成的磁场的单元。

形状处理装置22向电子内窥镜11输出驱动信号。当受检者U2佩戴磁线圈时，形状处理装置22也应该向磁线圈输出驱动信号。在该情况下，感应线圈单元21进一步检测从附接到受检者U2的磁线圈生成的磁场。

形状处理装置22基于由感应线圈单元21检测的磁场，来获得插入部分11a的三维形状。例如，形状处理装置22基于检测的磁场计算每个源线圈的三维坐标，并且使用三维坐标的集合作为形状数据。备选地，形状处理装置22生成图像数据(由将所计算的三维坐标投射到二维坐标而产生)，并且使用图像数据作为形状数据。

此外，当受检者U2佩戴磁线圈时，形状处理装置22可以基于检测的磁场来获得受检者U2的姿态。更具体地，形状处理装置22计算指示受检者U2佩戴的磁线圈相对于源线圈的位置的三维坐标，并且使用三维坐标作为姿态数据。

形状处理装置22将形状数据和姿态数据输出到内窥镜插入辅助装置30。注意，由于公开的已知组件可以被用作内窥镜插入形状观察装置20的其他组件，所以将省略其他组件的图示和描述。例如，前述专利文献1中描述的组件可以用于内窥镜装置10和内窥镜插入形状观察装置20。

内窥镜插入辅助装置30连接到内窥镜装置10、内窥镜插入形状观察装置20、显示装置41、扬声器42和输入装置43。内窥镜插入辅助装置30是前述内窥镜插入辅助装置100的一个示例。内窥镜插入辅助装置30从内窥镜装置10获取内窥镜图像，并且从内窥镜插入形状观察装置20获取形状数据和姿态数据。

内窥镜插入辅助装置30基于所获取的形状数据、内窥镜图像和姿态数据来估计电子内窥镜11的插入部分11a的插入形状的形状类别，并且将所估计的形状类别与时间信息一起记录。内窥镜插入辅助装置30生成显示信息以显示按时间定序格式的所记录的形状类别，并且将显示信息输出到显示装置41。内窥镜插入辅助装置30将与所估计的形状类别相对应的语音输出到扬声器42。

显示装置41在屏幕上显示从内窥镜插入辅助装置30接收的显示信息。扬声器42输出从内窥镜插入辅助装置30接收的语音。输入装置43接收来自诸如医生U1或检查助手的检查者(操作者)的输入操作，并且将与输入操作相对应的控制信号输出到内窥镜插入辅助装置30。输入装置43例如是鼠标或键盘。注意，当显示装置41是触摸面板时，显示装置41和输入装置43是一体的。注意，显示装置41、扬声器42和输入装置43的一些或全部可以被合并在内窥镜插入辅助装置30中。

图4是图示根据第二示例实施例的内窥镜插入辅助装置30的配置的框图。内窥镜插入辅助装置30包括存储装置31、存储器32、IF(接口)单元33和控制单元34。存储装置31是诸如硬盘或闪存的存储装置。存储装置31存储形状类别估计模型311、历史信息312和内窥镜插入辅助程序313。

形状类别估计模型311是一种程序模块或模型表达，其中实现了从形状数据(或作为经归一化的数据的形状数据)估计形状类别的逻辑。形状类别估计模型311是一种模型，它接收三维坐标的集合或形状数据的图像数据作为输入，估计由形状数据表示的插入部分11a的形状更可能对应的形状类别，并且输出形状类别作为估计结果。注意，形状类别估计模型311可以说是事先从训练数据训练的经训练模型，训练数据被标记有针对多个形状数据的各个形状数据的“形状类别”。

这里，形状类别的示例包括“直线”、“小曲线”、“大曲线”、“腹部突起”，但形状类别不限于这些示例。形状类别不单独指示插入部分11a的形状，而是包括体腔的状况(器官的形状)。例如，形状类别可以根据插入部分11a的远端部分的弯曲部分是否夹在管腔的褶皱中或弯曲部分未能夹在管腔的褶皱中，来被视为不同的形状类别。也就是说，形状类别可以表示插入部分11a的形状，并且可以在考虑到要检查的器官的形状的情况下进行分类。在该情况下，形状类别估计模型311进一步接收电子内窥镜11的操作内容作为输入，这将在后面进行描述。

历史信息312是形状类别3121、时间信息3122和附加信息3123相互关联的信息。注意，附加信息3123对历史信息312来说不至关重要。形状类别3121是表示上述类别中的每个类别的信息，例如，标识信息或字符串。时间信息3122是获取形状数据的时间，估计形状类别的时间等。附加信息3123是关于所估计的形状类别的附加信息。例如，附加信息3123是体腔中的区域、医生U1发出的语音等等。利用历史信息312，可以有效地生成形状类别之间(这将在后面进行描述)的按时间定序的转换信息。

内窥镜插入辅助程序313是一种计算机程序，其中实现了根据本示例实施例的内窥镜插入辅助方法的过程。

存储器32是诸如RAM(随机存取存储器)的易失性存储装置，并且是在控制单元34的操作期间用于暂时保留信息的存储区域。IF单元33是一种接口，其为内窥镜插入辅助装置30提供去往/来自外部设备的输入/输出。例如，IF单元33经由输入装置43接收用户的操作，并且将接收的操作内容输出到控制单元34。IF单元33从内窥镜装置10接收内窥镜图像或类似物，从内窥镜插入形状观察装置20接收形状数据和姿态数据，将接收的形状数据和姿态数据(诸如内窥镜图像)存储在存储器32中，并且将这种数据通知控制单元34。IF单元33响应于来自控制单元34的指令，提供用于显示装置41或扬声器42的输出。

控制单元34是处理器，即，控制内窥镜插入辅助装置30的每个组件的控制装置。控制单元34将内窥镜插入辅助程序313从存储装置31读入到存储器32中，并且执行内窥镜插入辅助程序313。因此，控制单元34实现获取单元341、估计单元342、记录单元343、输出单元344和登记单元345的功能。

获取单元341是上述获取单元110的一个示例。获取单元341经由IF单元33从内窥镜装置10获取内窥镜图像，并且经由IF单元33从内窥镜插入形状观察装置20获取形状数据和姿态数据。图5是图示根据第二示例实施例的形状数据314(图像数据)的一个示例的图。图6是图示根据第二示例实施例的内窥镜图像315的一个示例的图。

估计单元342是上述估计单元120的一个示例。估计单元342包括体内插入检测单元3421、操作估计单元3422、归一化单元3423和形状类别估计单元3424。体内插入检测单元3421识别由获取单元341获取的内窥镜图像，并且确定电子内窥镜11是否被插入受检者U2的体内(例如，口、鼻或肛门)。也就是说，使用内窥镜图像，体内插入检测单元3421检测到电子内窥镜11被插入到身体内。这里，体内插入检测单元3421可以通过识别内窥镜图像来确定口、鼻或肛门。体内插入检测单元3421将该检测通知给归一化单元3423、形状类别估计单元3424和记录单元343。

操作估计单元3422基于内窥镜图像和形状数据的变化来估计电子内窥镜11在体腔中的操作内容，并且将估计的操作内容通知给形状类别估计单元3424。这里，电子内窥镜11的操作内容包括状态，其中弯曲部分被弯曲并且被夹在管腔的褶皱中等。例如，通常如果电子内窥镜11在体腔内来回移动，则内窥镜图像也会变化。在该情况下，形状数据可能变化，但形状类别可能不变化。然而，尽管在弯曲部分被夹在管腔的褶皱中的状态和弯曲部分未能被夹在管腔的褶皱中的状态之间，形状数据是相似的，但可以说，体腔的状态(器官的形状)上有明显的差异。因此，在该情况下，对形状类别进行划分。当弯曲部分被夹在管腔的褶皱中时，插入部分11a的远端部分的位置变化，而远端部分处的相机的周围环境没有变化。也就是说，可以说内窥镜图像不会变化太多。另一方面，当弯曲部分未被夹在褶皱上时，远端部分的位置变化，并且相机和膜之间的距离增加，并且因此可以说内窥镜图像也变化。因此，操作估计单元3422优选在考虑内窥镜图像的变化和形状数据的变化的情况下，估计电子内窥镜11的操作内容和器官的形状。因此，估计准确性得到改进，并且可以更有效地执行插入辅助。

响应于接收到来自体内插入检测单元3421的检测通知，归一化单元3423标识出由获取单元341获取的当前时间的最新形状数据是检查开始地点。更具体地，归一化单元3423将当前时间的最新形状数据的三维坐标集的远端部分的三维坐标标识为检查开始地点(原点)。此后，归一化单元3423将由获取单元341获取的形状数据的三维坐标转换为以检查开始地点为原点的坐标系并且执行归一化。归一化单元3423将归一化的形状数据输出到形状类别估计单元3424。归一化的准确性因此得到改进。

归一化单元3423可以基于由获取单元341获取的姿态数据(三维坐标)对形状数据进行归一化，并且将归一化的形状数据输出到形状类别估计单元3424。这进一步改进了归一化的准确性。

响应于接收到来自体内插入检测单元3421的检测通知，形状类别估计单元3424开始形状类别的估计过程。更具体地，形状类别估计单元3424将从归一化单元3423接收的归一化的形状数据输入到形状类别估计模型311，并且获取形状类别(估计结果)作为输出。也就是说，形状类别估计单元3424使用上述经训练模型，根据由获取单元341获取的形状数据来估计多个形状类别中的任一个形状类别。以该方式，通过使用累积的训练数据继续训练，可以改进估计的准确性。形状类别估计单元3424将接收的形状类别输出到记录单元343。此外，形状类别估计单元3424可以将从操作估计单元3422接收的操作内容与形状数据一起输入到形状类别估计模型311，并且获取形状类别(估计结果)作为输出。以该方式，由于输入数据类型的数目增加，估计准确性可以进一步得到改进。

注意，估计单元342可以不包括归一化单元3423。在该情况下，形状类别估计单元3424将由获取单元341获取的形状数据原样输入到形状类别估计模型311。

记录单元343基于内窥镜图像标识检查开始时间点，并且基于检查开始时间点将所估计的形状类别的按时间定序的转换信息记录在存储装置31中作为历史信息312。更具体地，记录单元343响应于接收到来自体内插入检测单元3421的检测通知，将当前时间标识为检查开始时间点。每次在检查开始时间点之后从估计单元342接收到形状类别3121，记录单元343就将当前时间关联为时间信息3122，并且将当前时间存储在存储装置31中作为历史信息312。也就是说，记录单元343响应于接收到来自体内插入检测单元3421的检测通知而开始形状类别的记录过程。由于时间信息与每个形状类别相关联，因此历史信息312可以说是形状类别的按时间定序的转换信息。

输出单元344是上述输出单元130的一个示例。输出单元344从存储装置31一次读取历史信息312的一条记录，并且生成显示信息，显示信息指示多个所估计的形状类别之间的按时间定序的转换。输出单元344经由IF单元33将生成的显示信息输出到显示装置41。这里，可以假设显示信息例如在二维图上进行表示，其中一个轴表示时间，并且另一个轴表示形状类别。也就是说，输出单元344在对应于读取形状类别3121和相关联的时间信息3122的图上的点处进行绘制。输出单元344进行绘图，以便在时间信息中的相邻时间信息之间进行连接。因此，实现了形状类别之间的按时间定序的转换，这允许检查者等容易掌握形状类别的转换。注意，显示信息不限于二维图，显示信息可以是三维图或其他信息，其中形状类别之间的转换按时间定序开始。

此外，形状类别可以细分为多个层级。例如，假设多个形状子类别属于特定的形状类别。在该情况下，形状类别估计模型311除了估计形状类别外，还估计下至形状子类别的形状类别。记录单元343在存储装置31中存储针对与历史信息312相关联的相同形状数据所估计的形状类别3121和形状子类别。在此之后，输出单元344在对应于历史信息312的读取记录中的形状子类别和相关联时间信息3122的图上的位置处进行绘制。输出单元344进行绘制，以便利用线将不同形状子类别之间的转换(甚至相同形状类别内的转换)连接。这使得可以轻松地掌握更准确的转换。

图7是图示根据第二示例实施例的形状类别的时间定序转换的显示信息316的一个示例的图。这里，示出了二维图的一个示例，其中水平轴线表示形状类别，并且垂直轴线表示时间信息。图7图示了形状类别C1“直线”、形状类别C2“小曲线”、形状类别C3“大曲线”和形状类别C4“腹部突起”。图7进一步图示了，三种形状子类别C11至C13被分类在形状类别C1内，两种形状子类别C21和C22被分类在形状类别C2内，三种形状子类别C31至C33被分类在形状类别C3内，并且一种形状子类别C41进一步被分类在形状类别C4内。在图7中，可以在视觉上识别出形状类别C1和形状类别C2之间的转换(形状类别的变化)等。此外，即使在形状类别C1内，也可以在视觉上识别出形状子类别C11和C12之间的转换。注意，水平轴线上的数值可以是形状子类别编号。

返回图4以进行进一步解释。输出单元344可以输出对应于所估计的形状类别的语音。在该情况下，假设存储装置31预先存储与每个形状类别相对应的语音数据。当从存储装置31读取历史信息312时，输出单元344一起读取对应于形状类别3121的语音数据。输出单元344经由IF单元33将读取的语音数据输出到扬声器42。这允许检查者可以在不看显示装置41的情况下掌握当前电子内窥镜11的形状类别，并且因此可以更有效地执行插入辅助。

登记单元345经由输入装置43和IF单元33接收关于所估计的形状类别的附加信息的输入，进一步将附加信息3123与形状类别3121相关联，并且将附加信息3123登记在存储装置31中作为历史信息312。因此，登记单元345可以更新登记的历史信息312。当输出单元344读取历史信息312时，输出单元344一起读取附加信息3123连同形状类别3121，并且可以显示被包括在显示信息中的附加信息3123。

注意，估计单元342可以从所估计的形状类别标识体内的位置，并且输出单元344可以进一步输出所标识的位置。例如，当检查目标是大肠时，内部位置的示例包括乙状结肠、降结肠、横结肠和升结肠。在该情况下，为形状类别之间的转换的组合创建标记有内部位置的训练数据，并且内部位置估计模型使用该训练数据来进行训练。这允许估计单元342在任意时间将历史信息312的形状类别之间的转换的组合输入到内部位置估计模型，并且获得估计的内部位置作为输出。因此，内部位置估计模型可以用于在检查后验证检查结果。备选地，估计单元342可以通过将从检查开始时间点到检查期间每个时间点之前的估计结果(形状类别之间的转换的组合)输入到内部位置估计模型，来获得内部位置的估计值。因此，输出单元344输出估计的内部位置，并且由此可以实时掌握电子内窥镜11的远端部分目前所处的内部位置，并且可以更有效地执行插入辅助。

图8是图示根据第二示例实施例的内窥镜插入辅助方法的流程图。首先，获取单元341从内窥镜插入形状观察装置20获取形状数据(S201)。获取单元341将获取的形状数据输出到归一化单元3423和操作估计单元3422。获取单元341从内窥镜装置10获取内窥镜图像(S202)。获取单元341将获取的内窥镜图像输出到体内插入检测单元3421和操作估计单元3422。获取单元341从内窥镜插入形状观察装置20获取姿态数据(S203)。获取单元341将获取的姿态数据输出到归一化单元3423。

在步骤S201和S202之后，操作估计单元3422基于从获取单元341接收的形状数据和内窥镜图像的变化来估计电子内窥镜11的操作内容(S204)。操作估计单元3422将估计的操作内容通知给形状类别估计单元3424。

在步骤S202之后，体内插入检测单元3421基于从获取单元341接收的内窥镜图像来检测到电子内窥镜11已经被插入受检者U2(S205)。当检测到电子内窥镜11的插入时，体内插入检测单元3421将检测的通知通知给归一化单元3423、形状类别估计单元3424和记录单元343。

在步骤S201、S203和S205之后，归一化单元3423响应于来自体内插入检测单元3421的检测通知，将当前时间的最新形状数据标识为检查开始地点。此后，归一化单元3423基于由获取单元341获取的姿态数据和检查开始地点，对接收的形状数据执行归一化(S206)。归一化单元3423将归一化的形状数据输出到形状类别估计单元3424。

在步骤S204、S205和S206之后，响应于来自体内插入检测单元3421的检测到体内插入的通知，形状类别估计单元3424开始格式类别的估计。更具体地，形状类别估计单元3424根据从形状类别估计单元3424接收的归一化的形状数据和从操作估计单元3422接收的电子内窥镜11的操作内容，来估计格式类别(S207)。也就是说，形状类别估计单元3424将归一化的形状数据和操作内容输入到形状类别估计模型311，并且获取形状类别作为估计结果。然后，形状类别估计单元3424将获取的格式类别输出到记录单元343。

在步骤S205和S207之后，响应于来自体内插入检测单元3421的检测到体内插入的通知，记录单元343将当前时间标识为检查开始时间点，并且开始在历史信息上记录形状类别。更具体地，记录单元343将当前时间与从形状类别估计单元3424接收的形状类别3121相关联作为时间信息3122，并且将当前时间记录(存储)在存储装置31中作为历史信息312(S208)。

在步骤S208之后，输出单元344从存储装置31一次读取历史信息312的一条记录，并且生成显示信息，该显示信息指示多个所估计的形状类别之间的按时间定序的转换(S209)。然后，输出单元344将生成的显示信息输出到显示装置41的屏幕上(S210)。在步骤S208之后，输出单元344将对应于所估计的形状类别的语音输出到扬声器42(S211)。

在步骤S210和S211之后，过程返回到步骤S201、S202和S203并且重复后续步骤。注意，内窥镜插入辅助方法可以在预定的时间完成。例如，当体内插入检测单元3421检测到电子内窥镜11已经从体内移除时，过程可以完成。

以该方式，根据本示例实施例的估计单元342进一步使用内窥镜图像来估计多个形状类别中的任一个形状类别，并且因此与仅使用形状数据来估计形状类别的情况相比，估计准确性得到改进。使用电子内窥镜11的操作内容和受检者U2的姿态数据进行的估计可以进一步改进估计准确性。通过将所估计的形状类别记录为历史信息312，所估计的形状类别不仅可以在检查期间有效地被使用，而且可以用于检查后的分析等。通过在屏幕上显示格式类别之间的时间定序转换，医生可以容易地掌握电子内窥镜11在检查期间的状态或体腔的情况。因此，可以更有效地实现内窥镜的插入辅助。

<第三示例实施例>

第三示例实施例是上述第二示例实施例的改进示例。与上述内窥镜插入辅助系统2000相比，在根据第三示例实施例的内窥镜插入辅助系统中，内窥镜插入辅助装置30由内窥镜插入辅助装置30a代替。因此，其说明将被省略，并且下面的描述将集中在变化的部分。

图9是图示根据第三示例实施例的内窥镜插入辅助装置30a的配置的框图。与上述内窥镜插入辅助装置30相比，内窥镜插入辅助程序313由内窥镜插入辅助程序313a代替，并且在内窥镜插入辅助装置30a中添加了比较单元346。注意，对于控制单元34，内窥镜插入辅助装置30a只需要至少包括获取单元341、形状类别估计单元3424、记录单元343、输出单元344和比较单元346，并且可以不包括其他组件。内窥镜插入辅助程序313a是计算机程序，其中实现了根据本示例实施例的内窥镜插入辅助方法中的比较过程。

比较单元346输出历史信息312中的两个或更多个历史信息的比较结果。这允许医生容易地比较过去的内窥镜插入历史，并且更有效地执行分析。通过在视觉上识别比较结果，可以更有效地改进内窥镜插入操作的技术。注意，假设使用输出单元344来输出比较单元346的输出。也就是说，比较单元346对历史信息312中的两个或更多个历史信息执行比较过程，将比较结果输出到输出单元344，并且输出单元344指示将比较结果输出到显示装置41或扬声器42。

此外，比较单元346可以评估历史信息312中的相对于比较源的比较目的地，并且将评估结果作为比较结果输出。例如，通过使用熟练医生的历史信息作为比较源，并且使用相对没有经验的医生的历史信息作为比较目的地，可以获得内窥镜插入操作的客观评估。这允许医生客观地掌握自己的内窥镜插入操作的问题，并且在较短的时间段内改进内窥镜插入操作的技术。

当比较结果显示特定形状类别的持续时间是预定时间或更长时，比较单元346可以输出警告。这允许医生容易掌握在比较目的地处的内窥镜插入操作中的潜在问题位置。

图10是图示根据第三示例实施例的比较过程的流程的流程图。首先，比较单元346经由输入装置43和IF单元33接收比较源的形状类别的转换信息的规格(S31)。例如，输入装置43根据医生的操作接收对应于熟练医生过去内窥镜检查的日期和时间(检查时间区域)的输入。输入装置43将所接收的日期和时间信息发送给内窥镜插入辅助装置30a。内窥镜插入辅助装置30a的比较单元346获取与时间信息3122(被包括在由从存储装置31接收的日期和时间信息指示的时间区域中)相关联的形状类别3121的集合，并且将形状类别3121的集合存储在存储器32中作为比较源。

接下来，比较单元346经由输入装置43和IF单元33接收在比较目的地处的形状类别的转换信息的规格(S32)。例如，输入装置43根据医生的操作接收日期和时间(检查时间区域)的输入，该日期和时间对应于相对没有经验的医生的过去的内窥镜检查。下面，将执行与步骤S31中的过程类似的过程，并且内窥镜插入辅助装置30a的比较单元346将从存储装置31获取的历史信息保留在存储器32中作为比较目的地。

接下来，比较单元346生成比较源和比较目的地之间的比较结果(S33)。例如，比较单元346将比较源和比较目的地之间从检查开始时间点开始的相对经过时间所对应的形状类别进行比较，并且按时间定序计算存在或不存在差异。备选地，比较单元346生成比较源的转换信息和比较目的地的转换信息之间的比较结果，以便通过对齐它们的检查开始时间点来在二维图上作图。此外，比较单元346可以评估相对于比较源的比较目的地。例如，比较单元346可以判断比较目的地相对于比较源的优越性，并且使用判断结果作为评估结果。例如，当在比较源处的特定格式类别的持续时间比预定时间长时，比较单元346可以将该时间区域中的评估判断为低。备选地，当在比较源或比较目的地处的特定格式类别的持续时间长于预定时间时，比较单元346可以在评估或不评估的情况下，在该时间区域中输出警告。

在此之后，比较单元346经由IF单元33将比较结果输出到显示装置41的屏幕(S34)。图11是图示根据第三示例实施例的形状类别的时间定序转换的比较结果316a的示例的图。这里，图11图示了一个示例，其中检查开始时间点被对齐，以便比较源的转换信息和比较目的地的转换信息相重叠。

因此，根据本示例实施例，可以有效地使用在第二示例实施例中累积的历史信息312，并且进一步促进内窥镜插入技术的改进。

注意，如果医生ID与历史信息312相关联，则输入装置43可以接收医生ID，并且比较单元346可以通过医生ID搜索历史信息312，并且获取比较源和比较目的地。

<第四示例实施例>。

第四示例实施例是上述第二示例实施例的改进示例。与上述内窥镜插入辅助系统2000相比，在根据第四示例实施例的内窥镜插入辅助系统中，内窥镜插入辅助装置30由内窥镜插入辅助装置30b代替。因此，其说明将被省略，并且下面的描述将集中在变化的部分。

图12是图示根据第四示例实施例的内窥镜插入辅助装置30b的配置的框图。与上述内窥镜插入辅助装置30a相比，历史信息312由历史信息312a代替，内窥镜插入辅助程序313a由内窥镜插入辅助程序313b代替，并且在内窥镜插入辅助装置30b中添加了搜索单元347。此外，医疗信息3124被添加到历史信息312a。注意，对于控制单元34，内窥镜插入辅助装置30b只需要至少包括获取单元341、形状类别估计单元3424、记录单元343、输出单元344和搜索单元347，并且可以不包括其他组件。内窥镜插入辅助程序313b是计算机程序，其中在根据本示例实施例的内窥镜插入辅助方法中实现了搜索过程。

搜索单元347基于指示所估计的形状类别的按时间定序的转换的转换信息来搜索历史信息312，并且输出搜索结果。由此可以浏览与特定转换信息类似的过去的历史信息。因此，除了转换信息外，可以确认附加信息或类似信息中的差异，并且促进检查。注意，也可以假设搜索单元347的输出使用输出单元344进行输出。也就是说，搜索单元347使用转换信息作为搜索条件来搜索历史信息312，并且将搜索结果输出到输出单元344，并且输出单元344指示将搜索结果输出到显示装置41或扬声器42。

在历史信息312a中，医疗信息3124进一步与形状类别3121、时间信息3122和附加信息3123相关联。这里，医疗信息3124是指示受检者的身体信息、临床历史或咨询历史等的信息。因此，搜索单元347可以基于医疗信息3124来搜索历史信息312，并且输出搜索结果。以该方式，在实施检查之前，可以获取和确认与这次受检者的医疗信息相似的受检者的过去的历史信息。因此，可以通过更适当的操作来辅助将内窥镜插入具有类似身体信息或临床历史的患者。

图13是图示根据第四示例实施例的搜索过程的流程图。首先，搜索单元347接收转换信息的搜索条件(S41)。例如，输入装置43根据医生的操作接收对应于过去内窥镜检查的日期和时间(检查时间区域)或医疗信息的输入。输入装置43将接收的日期和时间信息或医疗信息发送到内窥镜插入辅助装置30b。内窥镜插入辅助装置30b的搜索单元347将接收的日期和时间信息或医疗信息保留在存储器32中作为搜索条件。

接下来，搜索单元347基于搜索条件(S42)搜索历史信息312。例如，当搜索条件是日期和时间信息时，搜索单元347从存储装置31获取与时间信息3122(被包括在由日期和时间信息指示的时间区域中)相关联的形状类别3121的集合。例如，当搜索条件是医疗信息时，搜索单元347从存储装置31中获取与医疗信息3124相关联的形状类别3121的集合。

搜索单元347基于搜索结果生成显示信息(S43)。例如，关于作为搜索结果的转换信息，搜索单元347生成转换信息作为显示信息，如上述步骤S209的情况。

在此之后，搜索单元347经由IF单元33将生成的显示信息输出到显示装置41的屏幕(S44)。

因此，本示例实施例通过有效使用第二示例实施例的累积历史信息312，可以进一步促进内窥镜插入技术的改进。

<其他示例实施例>

注意，上述示例实施例适用于内窥镜对诸如大肠、小肠、胃或支气管(肺)的体腔的检查。

注意，尽管本公开在上述示例实施例中被描述为硬件配置，但本公开不限于此。根据本公开，可以通过使CPU执行计算机程序来实现任意的过程。

在上述示例中，程序可以使用各种类型的非暂态计算机可读介质被存储在计算机中并且被提供给计算机。非暂态计算机可读介质包括各种类型的有形记录介质。非暂态计算机可读介质的示例包括磁记录介质(例如，软盘、磁带、硬盘)、磁光记录介质(例如，磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W、DVD(数字多功能光盘)、半导体存储器(例如，掩膜ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存、RAM(随机存取存储器)。程序可以使用各种类型的暂态计算机可读介质被提供给计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以通过有线通信通道或无线通信通道(诸如电线和光纤)将程序提供给计算机。

注意，本公开不限于上述示例实施例，而是可以在不背离本公开的精神的情况下进行适当的变化。本公开可以通过适当地组合相应的示例实施例来实现。

尽管上述示例实施例的一些或全部也可以作为以下补充说明进行描述，但本发明不限于以下补充说明。

(补充说明A1)

一种内窥镜插入辅助装置，包括：

获取部件，用于获取形状数据以标识插入到管腔中的内窥镜的插入形状；

估计部件，用于从形状数据估计插入形状中的多个形状类别中的任一个形状类别；以及

输出部件，用于输出所估计的形状类别中的按时间定序的显示信息。

(补充说明A2)

根据条款1的内窥镜插入辅助装置，其中输出部件按时间定序输出指示多个所估计的形状类别之间的转换的显示信息。

(补充说明A3)

根据条款1或2的内窥镜插入辅助装置，其中输出部件还输出与所估计的形状类别相对应的语音。

(补充说明A4)

根据条款1至3中任一项的内窥镜插入辅助装置，其中

获取部件进一步获取由内窥镜捕获的内窥镜图像，并且

估计部件进一步使用内窥镜图像，来估计多个形状类别中的任一个形状类别。

(补充说明A5)

根据条款4的内窥镜插入辅助装置，其中估计部件

基于内窥镜图像的变化和形状数据，来估计内窥镜在管腔中的操作内容，并且

在进一步考虑内窥镜的操作内容的情况下，估计多个形状类别中的任一个形状类别。

(补充说明A6)

根据条款4或5的内窥镜插入辅助装置，其中估计部件

基于内窥镜图像来标识检查开始地点，

基于检查开始地点，将形状数据归一化，并且

针对归一化的形状数据，估计多个形状类别中的任一个形状类别。

(补充说明A7)

根据条款4至6中任一项的内窥镜插入辅助装置，还包括记录部件，用于基于内窥镜图像来标识检查开始时间点，并且基于检查开始时间点来记录所估计的形状类别的按时间定序的转换信息。

(补充说明A8)

根据条款1至7中任一项的内窥镜插入辅助装置，其中估计部件基于从受检者检测出的姿态来将形状数据归一化，并且针对归一化的形状数据估计多个形状类别中的任一个形状类别。

(补充说明A9)

根据条款1至8中任一项的内窥镜插入辅助装置，还包括登记部件，用于接收与所估计的形状类别有关的附加信息的输入，并且与形状类别相关联地登记附加信息。

(补充说明A10)

根据条款1至9中任一项的内窥镜插入辅助装置，还包括存储部件，用于存储历史信息，在历史信息中，所估计的形状类别与时间信息相关联。

(补充说明A11)

根据条款10的内窥镜插入辅助装置，还包括比较部件，用于输出历史信息中的两个或更多个历史信息的比较结果。

(补充说明A12)

根据条款11的内窥镜插入辅助装置，其中比较部件

评估历史信息中的相对于比较源的比较目的地，并且

输出评估结果作为比较结果。

(补充说明A13)

根据条款11或12的内窥镜插入辅助装置，其中

当比较结果示出特定形状类别的持续时间是预定时间以上时，比较部件输出警告。

(补充说明A14)

根据条款10至13中任一项的内窥镜插入辅助装置，还包括搜索部件，用于基于指示所估计的形状类别的按时间定序的转换的转换信息，来搜索历史信息，并且输出搜索结果。

(补充说明A15)

根据条款14的内窥镜插入辅助装置，其中

历史信息还与受检者的医疗信息相关联，并且

搜索部件基于医疗信息搜索历史信息，并且输出搜索结果。

(补充说明A16)

根据条款1至15中任一项的内窥镜插入辅助装置，其中

估计部件从所估计的形状类别标识体内的位置，并且

输出部件还输出所标识的位置。

(补充说明A17)

根据条款1至16中任一项的内窥镜插入辅助装置，其中

估计部件使用经训练模型，从获取的形状数据估计多个形状类别中的任一个形状类别，经训练模型从训练数据被训练，训练数据被标记有针对多个形状数据的各个形状数据的形状类别。

(补充说明B1)

一种内窥镜插入辅助方法，由计算机：

获取形状数据，以标识插入到管腔中的内窥镜的插入形状；

从形状数据估计插入形状中的多个形状类别中的任一个形状类别；以及

输出所估计的形状类别的按时间定序的显示信息。

(补充说明C1)

一种非暂态计算机可读介质，其存储内窥镜插入辅助程序，内窥镜插入辅助程序使计算机执行：

获取过程，获取形状数据以标识插入到管腔中的内窥镜的插入形状；

估计过程，从形状数据估计插入形状中的多个形状类别中的任一个形状类别；以及

输出过程，输出所估计的形状类别的按时间定序的显示信息。

尽管到目前为止已经参考示例实施例(和示例)对本发明进行了描述，但本发明不限于上述示例实施例(和示例)。在不偏离本发明的范围的情况下，可以以本领域技术人员可以理解的方式对本发明的配置和细节进行各种变化。

本申请要求2020年04月09日提交的日本专利申请号2020-070370的优先权，该申请的公开内容通过引用以其整体并入本文。

附图标记列表

100 内窥镜插入辅助装置

110 获取单元

120 估计单元

130 输出单元

2000 内窥镜插入辅助系统

10内窥镜装置

11电子内窥镜

11a插入部分

20内窥镜插入形状观察装置

21感应线圈单元

22形状处理装置

30内窥镜插入辅助装置

30a 内窥镜插入辅助装置

30b 内窥镜插入辅助装置

31存储装置

311 形状类别估计模型

312 历史信息

312a 历史信息

3121 形状类别

3122 时间信息

3123 附加信息

3124 医疗信息

313 内窥镜插入辅助程序

313a 内窥镜插入辅助程序

313b 内窥镜插入辅助程序

314 形状数据

315 内窥镜图像

316 显示信息

316a 比较结果

32存储器

33IF单元

34控制单元

341 获取单元

342 估计单元

3421 体内插入检测单元

3422 操作估计单元

3423 归一化单元

3424 形状类别估计单元

343 记录单元

344 输出单元

345 登记单元

346 比较单元

347 搜索单元

41显示装置

42扬声器

43输入装置

U1 医生

U2 受检者

C1 形状类别

C11 形状子类别

C12 形状子类别

C13 形状子类别

C2 形状类别

C21 形状子类别

C22 形状子类别

C3 形状类别

C31 形状子类别

C32 形状子类别

C33 形状子类别

C4 形状类别

C41 形状子类别

Claims (19)

1.一种内窥镜插入辅助装置，包括：

获取部件，用于获取形状数据以标识插入到管腔中的内窥镜的插入形状；

估计部件，用于从所述形状数据估计所述插入形状中的多个形状类别中的任一个形状类别；以及

输出部件，用于输出所估计的所述形状类别中的按时间定序的显示信息。

2.根据权利要求1所述的内窥镜插入辅助装置，其中所述输出部件按所述时间定序输出指示多个所估计的所述形状类别之间的转换的所述显示信息。

3.根据权利要求1或2所述的内窥镜插入辅助装置，其中所述输出部件还输出与所估计的所述形状类别相对应的语音。

4.根据权利要求1至3中任一项所述的内窥镜插入辅助装置，其中

所述获取部件进一步获取由所述内窥镜捕获的内窥镜图像，并且

所述估计部件进一步使用所述内窥镜图像，来估计所述多个形状类别中的任一个形状类别。

5.根据权利要求4所述的内窥镜插入辅助装置，其中所述估计部件

基于所述内窥镜图像的变化和所述形状数据，来估计所述内窥镜在所述管腔中的操作内容，并且

在进一步考虑所述内窥镜的所述操作内容的情况下，估计所述多个形状类别中的任一个形状类别。

6.根据权利要求4或5所述的内窥镜插入辅助装置，其中所述估计部件

基于所述内窥镜图像来标识检查开始地点，

基于所述检查开始地点，将所述形状数据归一化，并且

针对归一化的所述形状数据，估计所述多个形状类别中的任一个形状类别。

7.根据权利要求4至6中任一项所述的内窥镜插入辅助装置，还包括记录部件，用于基于所述内窥镜图像来标识检查开始时间点，并且基于所述检查开始时间点来记录所估计的所述形状类别的按时间定序的转换信息。

8.根据权利要求1至7中任一项所述的内窥镜插入辅助装置，其中所述估计部件基于从受检者检测出的姿态来将所述形状数据归一化，并且针对归一化的所述形状数据估计所述多个形状类别中的任一个形状类别。

9.根据权利要求1至8中任一项所述的内窥镜插入辅助装置，还包括登记部件，用于接收与所估计的所述形状类别有关的附加信息的输入，并且与所述形状类别相关联地登记所述附加信息。

10.根据权利要求1至9中任一项所述的内窥镜插入辅助装置，还包括存储部件，用于存储历史信息，在所述历史信息中，所估计的所述形状类别与时间信息相关联。

11.根据权利要求10所述的内窥镜插入辅助装置，还包括比较部件，用于输出所述历史信息中的两个或更多个历史信息的比较结果。

12.根据权利要求11所述的内窥镜插入辅助装置，其中所述比较部件

评估所述历史信息中的相对于比较源的比较目的地，并且

输出所述评估结果作为所述比较结果。

13.根据权利要求11或12所述的内窥镜插入辅助装置，其中

当所述比较结果示出特定形状类别的持续时间是预定时间以上时，所述比较部件输出警告。

14.根据权利要求10至13中任一项所述的内窥镜插入辅助装置，还包括搜索部件，用于基于指示所估计的所述形状类别的按时间定序的转换的转换信息，来搜索所述历史信息，并且输出搜索结果。

15.根据权利要求14所述的内窥镜插入辅助装置，其中

所述历史信息还与受检者的医疗信息相关联，并且

所述搜索部件基于所述医疗信息搜索所述历史信息，并且输出所述搜索结果。

16.根据权利要求1至15中任一项所述的内窥镜插入辅助装置，其中

所述估计部件从所估计的所述形状类别标识体内的位置，并且

所述输出部件还输出所标识的所述位置。

17.根据权利要求1至16中任一项所述的内窥镜插入辅助装置，其中所述估计部件使用经训练模型，从所获取的所述形状数据估计所述多个形状类别中的任一个形状类别，所述经训练模型从训练数据被训练，所述训练数据被标记有针对多个形状数据的各个形状数据的所述形状类别。

18.一种内窥镜插入辅助方法，由计算机：

获取形状数据，以标识插入到管腔中的内窥镜的插入形状；

从所述形状数据估计所述插入形状中的多个形状类别中的任一个形状类别；以及

输出所估计的所述形状类别的按时间定序的显示信息。

19.一种非暂态计算机可读介质，其存储内窥镜插入辅助程序，所述内窥镜插入辅助程序使计算机执行：

获取过程，获取形状数据以标识插入到管腔中的内窥镜的插入形状；

估计过程，从所述形状数据估计所述插入形状中的多个形状类别中的任一个形状类别；以及

输出过程，输出所估计的所述形状类别的按时间定序的显示信息。

Images