CN117898664A - 显示在先内窥镜图像的方法、电子设备、导航系统及机器人系统 - Google Patents

Abstract

本发明涉及显示与被关注区域相关的在先内窥镜图像的方法、相应的计算机可读存储介质、控制装置、计算机程序产品、以及电子设备、导航系统以及机器人系统。该导航方法包括区域获取步骤、筛选步骤和显示步骤，在区域获取步骤中获取内窥镜图像以及与操作者的输入相关的位于该图像上的被关注区域；在筛选步骤中，从被记录的在先内窥镜图像中，根据被关注区域筛选出与该被关注区域相关的在先内窥镜图像；在显示步骤中将筛选出的在先内窥镜图像以预定顺序显示。本发明根据被关注区域筛选出与该区域相关的在先内窥镜图像并显示给操作者，使得操作者能够快速了解之前该被关注区域的变化，方便其做出判断和进一步的操作。同时能够节省操作者的观看时。

Description

显示在先内窥镜图像的方法、电子设备、导航系统及机器人 系统

技术领域

本发明涉及医疗设备技术领域，更具体地涉及一种显示与被关注区域相关的在先内窥镜图像的方法以及相关的电子设备、导航系统和机器人系统。

背景技术

在传统的内窥镜手术中，由于内窥镜影像始终显示的是实时的镜下影像，是从手术开始到现在的时间轴上的最近的一个时间节点的影像。而对于某些医生重点关注的手术部位，在手术过程中医生可能希望了解其变化过程。因此医生往往需要凭借记忆力和临床经验，结合实时的镜下影像，来判断手术目标是否达到。这高度依赖于医生的经验，并增加了手术难度，同时增大了因减压不充分或者过度减压导致术后并发症的概率。

尤其是对于脊柱内窥镜而言，对于脊柱的特定生理结构，比如神经根或者滞压物，医生往往需要判断该部位处减压是否充分。而在某些临床应用场景中，医生的判断受到极大限制。例如，对于接台做手术的医生，往往只能根据经验判断减压是否充分。又例如，在5G远程医疗的临床应用场景下，远程的专家只能一直在远程观看内镜视频才能了解手术过程并根据减压情况给出专家意见。

发明内容

本发明的目的旨在解决现有技术中存在的上述问题和缺陷的至少一个以及其它技术问题。

本发明一方面提供一种显示与被关注区域相关的在先内窥镜图像的方法，该方法包括如下步骤：

区域获取步骤：获取内窥镜图像以及与操作者的输入相关的位于内窥镜图像上的被关注区域；

图像筛选步骤：从在时间上位于所述内窥镜图像之前的被记录的在先内窥镜图像中，根据所述被关注区域筛选出与该被关注区域相关的在先内窥镜图像；以及

显示步骤：将筛选出的在先内窥镜图像以预定的顺序显示。

在该方案中，根据操作者的输入(例如操作者使用输入构件例如鼠标在内窥镜图像上做出的标记，或是操作者对内窥镜图像的全部或部分视野感兴趣的输入)确定被关注区域或称感兴趣区域，并据此筛选出与该被关注区域相关的在先内窥镜图像并显示给操作者，使得操作者能够了解之前的手术过程中该被关注区域的变化，方便其做出判断和进一步的操作。同时相对于完全回放所有存储的手术影像或图像的方式而言，本示例中筛选出与被关注区域相关的图像从而只显示这些图像，能够大大节省操作者的观看或称回放时间，从而缩短手术过程，避免手术时间过长造成的对患者的伤害。本文所称的预定的顺序例如包括时间顺序，或与被关注区域的相关程度(例如被关注区域在图像中的占比大小)从大到小的顺序等。

根据一种示例性的筛选方式，所述方法还包括在所述区域获取步骤和所述图像筛选步骤之间的方位获取步骤；其中在所述方位获取步骤中，获取内窥镜的成像装置在导航系统下的对应于所述内窥镜图像的位置和/或方向，进而得到所述被关注区域所对应的在导航系统下的可能的位置和/或方向；并且，在所述筛选步骤中，根据被关注区域所对应的在导航系统下的可能的位置和/或方向以及每一在先内窥镜图像所对应的成像装置在导航系统下的位置和/或方向，进行所述筛选。

在该示例中，通过利用导航系统获取内窥镜成像装置的方位进而获取被关注区域在实际空间中在导航系统下的可能的方位，并通过比对该被关注区域在导航系统下的方位和在先内窥镜图像所对应的成像装置在导航系统下的方位，来选择出与被关注区域相关的在先内窥镜图像。这种筛选方式相对于例如通过图像处理算法来实现对图像的筛选的方式而言，能够极大地节省计算量，降低对处理器计算能力的要求，并提高筛选速度。

根据一种示例性的筛选图像的方式，在方位获取步骤中，根据成像装置在导航系统下的对应于所述内窥镜图像的位置和/或方向，构建成像装置在该位置和/或方向下的焦平面，并以该被关注区域在焦平面上的对应区域为底、以成像装置的中心点为顶点构建第一锥形体，第一锥形体的位置和/或方向即表示被关注区域在导航系统下的可能的位置和/或方向；并且在所述筛选步骤中，根据与每一在先内窥镜图像对应的成像装置在导航系统下的位置和/或方向，构建表示所述成像装置在该位置和/或方向下的视场的第二锥形体，并在所述第二锥形体与所述第一锥形体具有空间交集的情况下，筛选出该在先内窥镜图像。

在该示例中，将被关注区域在实际空间中所对应的区域的可能的位置和/或方向以第一锥形体的形式来表示，并将每一在先内窥镜图像所对应的视场以第二锥形体的形式来表示，以判定两者是否有空间交集，该方案将抽象的方位比对实现了模型化，更直接和快速地进行筛选，减少计算量。

根据一种示例性的方案，该方法还包括位于筛选步骤和显示步骤之间的二次筛选步骤并且显示步骤显示在二次筛选步骤中筛选出的图像，其中，二次筛选步骤包括如下两种方式中的至少一者：

显示在筛选步骤中筛选出的各图像，接收来自操作者的可能的将图像从显示列表中去除的输入而删除该图像；和

自动地根据与被关注区域的相关程度从筛选步骤中筛选出的图像中去除部分图像。

如前所述，第一锥形体表示被关注区域在实际空间中所对应的区域的可能的位置和/或方向，因此以第一锥形体和第二锥形体具有空间交集的判定方式仍然会产生冗杂结果，即筛选出的某在先内窥镜图像中可能不包括被关注区域。在本示例中，通过进一步的二次筛选，能够去除冗杂的图像，从而提高医生的观察效率，节省医生的时间。

根据一种示例性的方案，所述预定的顺序包括将筛选出的在先内窥镜图像按时间顺序排列地同时显示。并且优选地，还可以显示时间轴的标记以及各图像对应的时间戳。这均可以使得操作者更方便和直观地观察被关注区域在手术过程中的变化。

根据一种示例性的方案，所述在先内窥镜图像的记录包括响应于操作者的记录指令而进行。例如导航系统可以提供输入构件(例如record按钮)以供操作者在手术过程中输入记录内窥镜图像的指令。该方式使得操作者能够在手术过程中主动地选择出其感兴趣的例如其认为重要的或关键性的图像并记录，以便在后的手术过程中调出和显示。

根据一种示例性的方案，与操作者的输入相关的被关注区域对应于由操作者的标记限定的区域，或根据操作者的输入而生成。

根据一种示例性的方案，操作者的输入包括标记出点、线或封闭图形。

根据一种示例性的方案，通过导航系统追踪相对于内窥镜具有确定的位置关系的示踪器来获取成像装置在导航系统下的位置和方向。这种导航方式以简单、便捷的结构获取内窥镜成像装置的位置和方向。

根据一种示例，所述内窥镜为脊柱内窥镜。

本发明的各方案对于脊柱内窥镜手术尤其有益。如背景技术中所介绍的，由于脊柱手术中对于某个特定生理结构比如神经根或者滞压物，医生需要判断该部位处减压是否充分。本发明的方案将之前的与被关注区域相关的在先内窥镜图像以时间顺序显示，能够使医生直观地观察手术过程中的变化以更准确地判断减压是否充分。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时执行上述各示例中的方法中的步骤。

根据本发明的另一方面，还提供一种控制装置，其中所述控制装置包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在所述处理器运行所述程序时执行上述各示例中的方法。

根据本发明的另一方面，还提供一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现根据上述各示例性的方法中的步骤。

根据本发明的另一方面，还提供了一种电子设备，该电子设备包括显示装置和处理器，该处理器具有数据接口，并且数据接口能够连接到导航系统的追踪装置以及内窥镜，使得处理器能够获取内窥镜的成像装置的位置和/或方向并能够获取内窥镜图像；并且处理器被配置成能够获取与操作者的输入相关的位于内窥镜图像上的被关注区域，其中处理器被配置成在处理器运行时能够在显示装置上以预定的顺序显示在时间上位于内窥镜图像之前的、与被关注区域相关的在先内窥镜图像。

根据一种示例性的方案，在显示装置上还显示所述在先内窥镜图像并显示提示操作者选择是否将正显示的内窥镜图像从显示列表中去除的界面。

根据一种示例性的方案，所述显示装置上还显示供操作者输入记录内窥镜图像的输入构件。

根据本发明的另一方面，还提供了一种导航系统，该导航系统包括用于追踪设置在内窥镜上的示踪器的追踪装置、显示装置和处理器，所述处理器连接到所述追踪装置和所述内窥镜，其中在所述处理器运行时执行本发明各示例所描述的方法，并通过显示装置实现所述方法中的显示步骤。

根据本发明的再一方面，还提供了一种导航系统，所述导航系统包括用于追踪设置在内窥镜上的示踪器的追踪装置以及本发明中的电子设备，其中所述电子设备中的处理器连接到所述追踪装置以及内窥镜。

根据本发明的再一方面，还提供了一种机器人系统(也可称为定位与导航系统)，其包括机械臂以及本发明各示例中的导航系统。换言之，本发明的构思也可在机器人系统中的导航系统下来实施。

附图说明

下面参照附图经由示例性实施例对本发明进行详细描述。

图1示出根据本发明的一种显示与被关注区域相关的在先内窥镜图像的方法的示例性的流程图。

图2示出标记被关注区域、被关注区域在导航系统下的形态以及从标记出的被关注区域到转换到导航系统下空间位置的原理示意图。

图3示例性地示出表示被关注区域在实际空间中的可能方位的第一锥形体与表示某内窥镜图像对应的成像装置的视场的第二锥形体没有空间交集的原理示意图，在这种情况下，排除该内窥镜图像。

图4示例性地示出表示被关注区域在实际空间中的可能方位的第一锥形体与表示某内窥镜图像对应的成像装置的视场的第二锥形体具有空间交集的原理示意图，在这种情况下，筛选出该内窥镜图像。

图5示出了以时间顺序显示筛选出的在先内窥镜图像的示例性的示意图。

应说明的是，附图仅是示意性的。它们仅示出为了阐明本发明而需要的那些部分或步骤，而其它部分或步骤可能被省略或仅仅简单提及。除了附图中所示出的部分或步骤外，本发明还可以包括其它部分或步骤。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。下述参照附图对本发明实施方式的说明旨在对本发明的总体构思进行解释，而不应当理解为对本发明的限制。

以下作为一个具体的实施例，描述本发明的显示与被关注区域相关的在先内窥镜图像的方法的具体步骤以及所涉及的电子设备和导航系统以及机器人系统(或称定位与导航系统)等。在下面的对该具体实施例的详细描述中，以极为具体和详细的方式阐述了许多具体的细节、步骤以提供对该实施例的全面理解。然而应当理解，一个或多个其他实施例在没有这些具体细节、步骤的情况下也可以被实施。

需要说明的是，虽然本文中以内窥镜的“成像装置”、“图像”来描述，但本领域技术人员可以理解，“成像装置”为广义的概念，具有摄像、视频采集和图像获取等功能，“图像”为广义的概念，包括视频、动态连续的图像以及静态的图像。在本文中，内窥镜的“成像装置”可以为用于内窥镜视频成像的光学硬镜模组。

在本发明的具体的实施例中，所使用的导航系统如图2所示包括追踪装置1、显示装置3和控制装置(在图2中控制装置与显示装置3集成为一体)。该追踪装置1可以为光学追踪装置(例如NDI导航仪)，相应地可在内窥镜5上设置示踪器4。作为示例，控制装置可以为通用计算机、专用计算机、嵌入式处理机，也可以为例如单片机、芯片等其他任何适当的可编程数据处理设备。该控制装置可以包括处理器以及用于存储程序的存储器，然而也可以只包括处理器，在这种情况下处理器可以附接存储有程序的存储器。换言之，控制装置至少包括处理器。控制装置(或处理器)和显示装置可以集成为一体(如图2所示出的那样)，也可以分开设置。该控制装置或处理器具有数据接口，该数据接口可包括能连接到内窥镜的数据接口，使得所述控制装置/处理器能够实时获取内窥镜的图像。该控制装置或处理器还包括能连接到导航系统的追踪装置1的数据接口，从而能从追踪装置1实时获取被追踪目标例如内窥镜上的示踪器4的位置和方向。作为一种示例，内窥镜5和/或示踪器4也可视为本发明的导航系统的一部分。

在图2-4中示出了一种内窥镜的示例。本文中的内窥镜可以为各种伸入患者身体内部进行检查或操作的器械，例如脊柱内窥镜、胃镜、肠镜、神经镜、腹腔镜、关节镜、口腔内窥镜、牙科内窥镜、鼻窦镜、喉镜等，在本文中优选地为脊柱内窥镜，例如椎间孔镜。通常，内窥镜的末端进入到患者的组织结构、骨性结构内部以对其进行观察和/或操作，内窥镜的近端(接近操作者的一端、亦即与内窥镜的伸入筒的末端相反的一端)位于患者体外以供操作者操控。在导航系统中，通常在内窥镜的位于患者体外的近端处设置适于被追踪装置1追踪到的示踪器4，即，导航系统能够实时获知内窥镜5上的示踪器4在导航坐标系中的方位。在本发明中，内窥镜的成像装置(也称光学硬镜模组)的远端镜片设置在内窥镜的伸入筒的末端。通过标定内窥镜伸入筒的末端相对于内窥镜上的示踪器4的相对位置关系，就能获得内窥镜的成像装置的远端镜片相对于示踪器4的相对位置关系。该标定通常在进行内窥镜手术及其导航之前进行，也称为内窥镜外参的标定，其标定方式为现有公开技术，在此不做赘述。

进一步地，作为本发明的一种优选的方式，以内窥镜的成像装置的视场在导航系统下的位置和方向来表示内窥镜的成像装置在导航系统下的位置和方向。如图2-4中所示，该视场为第二锥形体2的形式。内窥镜的视场的焦平面21也在图2中示出。该视场及其焦平面相对于成像装置(即，相对于内窥镜伸入筒的末端)的相对位置关系可通过标定内窥镜的成像装置的成像参数(也称内参)来确定。示例性地，内参的标定可以使用标定板，例如使用该内窥镜在不同的方位角度对标定板进行拍摄，保存图像以及记录标定板规格。进而标定内窥镜的内参，包括视场相对于成像装置的相对位置关系和成像装置的畸变矩阵(在后文中将介绍的畸变校准过程中将使用该处所标定的畸变矩阵内参)等。在本发明的该具体的实施例中，在进行内窥镜手术及其导航之前进行该内参标定。

下文将结合附图1，详细描述本发明的显示与被关注区域相关的在先内窥镜图像的方法的实施例的步骤。如上文所述，内窥镜的内参和外参可以是预先标定好的。在手术开始以及导航开始之前，还进行导航系统的配准，即确定导航坐标系。关于导航系统的配准方法是已知方法，在此不做赘述。

首先，处理器获取内窥镜图像6以及在内窥镜图像6上的与操作者的输入相关的被关注区域61。具体地，如图2所示，操作者可以通过鼠标(仅作为示例，也可使用其他输入构件)在内窥镜图像6(该图像可以是实时显示的当前图像，也可以是已存储的过去的图像)上标记出其关注的区域，例如某神经根位置，这例如通过图中的圆圈来标记。在该示例中，该圆圈内的区域即为被关注区域。需要说明的是，本文中的“被关注区域”也称与操作者的输入相关的被关注区域，其可以为操作者标记出的区域或根据操作者的标记而生成的区域，也可以例如是操作者通过例如显示装置上的按钮输入对正显示的内窥镜图像的全部视野感兴趣的指令，此时被关注区域可以是整个内窥镜图像。例如，当操作者在当前实时显示的内窥镜图像上以封闭图形标记出其所关注的结构时，此时被关注区域可以为该封闭图形圈出的区域。而当操作者在其关注部位标记出点、线或其他图形例如十字交叉线时，被关注区域可以为基于此标记生成的区域，例如以该点为圆心、某一值为半径的区域，或是将线或是其他图形包围在其中的区域。还需要说明的是，本文所称的“与被关注区域相关的在先内窥镜图像”应做广义理解，即根据某筛选标准筛选出的“认为”与被关注区域相关的在先内窥镜图像，其不必然代表该图像上必须出现被关注区域。换言之，即使筛选标准仅能筛选出可能在其上出现被关注区域的在先内窥镜图像(也可能按照该标准筛选出的在先内窥镜图像上不出现被关注区域)，按照该筛选标准根据被关注区域筛选出的图像就认为是“与被关注区域相关的在先内窥镜图像”。

之后，处理器获取内窥镜的成像装置在导航系统下的对应于该被标记的内窥镜图像的位置和/或方向，进而得到所述被关注区域在导航系统下的可能的位置和/或方向。具体地，根据该实施例，处理器从导航装置的追踪装置1获取位于内窥镜上的示踪器4的位置和方向，从而结合上文中所标定的外参，获得内窥镜的伸入筒的末端即其成像装置(或称光学硬镜模组)在导航系统下的位置和方向，再结合上文中所标定的关于视场和焦平面的内参，构建与该被标记的内窥镜图像6相对应的成像装置的视场2和焦平面21(如图2中原理性地示出的那样)的位置和方向。如图2所示，与被关注区域61在其所在的内窥镜图像6上所处的位置以及其在整个内窥镜图像6上所占据的面积比相对应地，确定被关注区域61在该焦平面21上的对应区域71，并以该对应区域71为底、以成像装置的中心点22(光学硬镜模组的远端镜片的中心点)为顶点构建第一锥形体7，该第一锥形体7的位置和/或方向即表示被关注区域61在实际空间中在导航系统下的可能的位置和/或方向。换言之，由于被关注区域61在实际空间中所对应的区域能够投射到焦平面上而成像为图2中的内窥镜图像6中的被关注区域61，则“被关注区域61在实际空间中所对应的区域”在空间中的实际位置会位于该第一锥形体7内。

之后，仅作为该具体的实施例中的优选的示例，针对在时间上在该被标记的内窥镜图像之前被获取并记录的内窥镜图像(即在先内窥镜图像，相应地，与每一在先内窥镜图像所对应的成像装置在导航系统下的位置和/或方向也已经被相应地记录)，获取每一在先内窥镜图像对应的成像装置在导航系统下的位置和/或方向，并根据上文所标定的内参和外参，构建与该在先内窥镜图像相对应的成像装置的视场，如图3、4所示，该视场为第二锥形体2的形式。从而在筛选某一在先内窥镜图像时，当其所对应的第二锥形体2与被关注区域所对应的第一锥形体7相交的情况下(如图4所示)，认为被关注区域在实际空间中所对应的区域可能位于该在先内窥镜图像的视野中，从而可能出现在该在先内窥镜图像中，因此筛选出该在先内窥镜图像，即认为该在先内窥镜图像为“与被关注区域相关的图像”。相应地，在某一在先内窥镜图像所对应的第二锥形体2与被关注区域所对应的第一锥形体7不相交的情况下(如图3所示)，则不选取该图像。作为示例，筛选出的(即被选取的)在先内窥镜图像可被存储于图像集或显示列表中，以用于显示在显示装置中或用于下文将被描述的二次筛选。

应当再次强调的是，虽然在该具体的优选的实施例中，描述了借助于导航系统而获取被关注区域的方位以和已记录的在先内窥镜图像对应的方位相比对，但不代表本发明的基本构思只能使用这种筛选方式，例如基于算法来根据被关注区域筛选出该被关注区域相关的在先内窥镜图像也是可行的。类似地，本发明也不限于上文描述的将被关注区域的方位和在先内窥镜图像的方位模型化为第一锥形体和第二锥形体的形式。

作为一种优选的方式，上述在先内窥镜图像的记录可以通过响应于操作者的记录命令而进行。例如导航系统可以提供输入构件(例如在显示装置上的record按钮，或是鼠标、脚踏开关等)以供操作者在手术过程中输入记录内窥镜图像的指令。该方式使得操作者能够在手术过程中主动地选择出其感兴趣的例如其认为重要的或关键性的图像并记录，以便在后的手术过程中调出和显示。可以理解的是，在先内窥镜图像的记录也可以自动地进行。

继续参见图1，在显示与被关注区域相关的图像之前，本发明优选地还包括二次筛选步骤，这可以去除冗杂的图像从而提高医生的观察效率。在该二次筛选步骤中，去除其上未出现被关注区域的在先内窥镜图像或是被关注区域在其上出现的部分很小或部分被遮挡等情况的在先内窥镜图像。该筛选可以人工进行，例如由操作者根据显示的该在先内窥镜图像来判定是否去除该图像并输入去除的指令。该筛选也可以自动地进行，例如处理器自动地根据与被关注区域的相关程度来判定是否去除某一在先内窥镜图像。这例如可通过图像识别的算法来进行，自动地去除其上未出现被关注区域的在先内窥镜图像或是被关注区域在其上出现的部分较小或部分被遮挡等情况的在先内窥镜图像。

之后，可显示上述的筛选步骤筛选出的在先内窥镜图像或上述二次筛选步骤筛选出的剩余的在先内窥镜图像。该显示可以如图5所示，例如在显示装置上将筛选出的图像按时间顺序排列地同时显示。这使得操作者可以更直观地看到其关注部位在手术过程中的变化。而且优选地，如图5所示，还可以将筛选出的图像与其所对应的时间戳一起显示。本领域技术人员可以理解，也可以采用其他显示方式，例如在同一位置或称同一窗口上将多张图片以时间顺序依次显示。

还应当说明的是，本文中所描述的显示在先内窥镜图像并不代表一直显示在显示装置上。示例性地，也可以根据操作者的操作而仅在某一时间段显示这些图像，例如在操作者需要回顾手术过程时。

本发明还提供一种电子设备，该电子设备包括如上所述的显示装置3和处理器，在如图2所示的具体的实施例中，处理器和显示装置集成为一体。该处理器具有数据接口并通过数据接口电连接到导航系统的追踪装置1和内窥镜5，以能够实时获取内窥镜的成像装置的位置和方向并实时获取内窥镜图像。并且处理器被配置成能够获取在内窥镜图像上的与操作者的标记相关的被关注区域且能够在显示装置上以时间顺序显示在时间上位于内窥镜图像之前的、与被关注区域相关的在先内窥镜图像。

相应地，对应于上文中描述的二次筛选步骤，可在该电子设备的显示装置上显示在首次筛选中选出的在先内窥镜图像并显示提示操作者选择是否去除该内窥镜图像的界面，这例如通过对话框的形式来进行。从而可以方便地允许操作者人工筛选图像。

优选地，在显示装置上显示的与被关注区域相关的在先内窥镜图像可以如图5所示按时间顺序排列地同时显示。并且优选地，可以显示时间轴的标记8以及各图像对应的时间戳。这可以使得操作者更方便和直观地了解被关注部位在手术过程的变化。

本发明还提供了一种其上存储有计算机程序的计算机可读存储介质，该计算器程序在被处理器运行时能执行本发明的方法的步骤。并且，本发明还提供一种控制装置，该控制装置可包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在所述处理器运行所述程序时执行本发明的方法的步骤。

如上文所述，本发明还提供一种导航系统。该导航系统由于为操作者显示与被关注区域相关的在先内窥镜图像而使得操作者具有更高的手术效率，降低了因减压不充分或者过度减压导致术后并发症的概率。

根据本发明的再一方面，还提供了一种机器人系统(也称为定位与导航系统)，其包括机械臂以及本发明各示例中的导航系统。换言之，本发明的构思也可在机器人系统中的导航系统下来实施。

本领域技术人员可以理解，本文中所描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现所述方法。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明所述的流程或功能。该处计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。

本领域技术人员可以理解，本发明的控制装置的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个与处理器分开的存储装置。

控制装置的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

虽然本发明的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本发明总体构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。

Claims (27)

1.一种显示在先内窥镜图像的方法，其特征在于，所述方法包括如下步骤：

区域获取步骤：获取内窥镜图像以及与操作者的输入相关的位于内窥镜图像上的被关注区域；

图像筛选步骤：从在时间上位于所述内窥镜图像之前的已记录的在先内窥镜图像中，根据所述被关注区域筛选出与该被关注区域相关的在先内窥镜图像；以及

显示步骤：将筛选出的与被关注区域相关的在先内窥镜图像以预定的顺序显示。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括在所述区域获取步骤和所述图像筛选步骤之间的方位获取步骤；其中，

在所述方位获取步骤中，获取内窥镜的成像装置在导航系统下的对应于所述内窥镜图像的位置和/或方向，进而得到所述被关注区域所对应的在导航系统下的可能的位置和/或方向；

并且，在所述图像筛选步骤中，根据被关注区域所对应的在导航系统下的可能的位置和/或方向以及每一在先内窥镜图像所对应的成像装置在导航系统下的位置和/或方向，进行所述筛选。

3.根据权利要求2所述的方法，其特征在于，在所述方位获取步骤中，根据所述成像装置在导航系统下的对应于所述内窥镜图像的位置和/或方向，构建所述成像装置在该位置和/或方向下的焦平面，并以该被关注区域在焦平面上的对应区域为底、以成像装置的中心点为顶点构建第一锥形体(7)，所述第一锥形体(7)的位置和/或方向即表示所述被关注区域所对应的在导航系统下的可能的位置和/或方向；并且

在所述图像筛选步骤中，根据与每一在先内窥镜图像所对应的成像装置在导航系统下的位置和/或方向，构建表示所述成像装置在该位置和/或方向下的视场的第二锥形体(8)，并在所述第二锥形体(8)与所述第一锥形体(7)具有空间交集的情况下，筛选出该在先内窥镜图像。

4.根据权利要求1所述的方法，其特征在于，还包括位于所述图像筛选步骤和所述显示步骤之间的二次筛选步骤并且所述显示步骤显示在所述二次筛选步骤中筛选出的图像，其中，所述二次筛选步骤包括如下两种方式中的至少一者：

显示在所述图像筛选步骤中筛选出的各图像，并在操作者输入去除一图像的指令时接收该输入而删除该图像；和

自动地根据与所述被关注区域的相关程度从所述图像筛选步骤中筛选出的图像中去除部分图像。

5.根据权利要求1所述的方法，其特征在于，所述预定的顺序包括将筛选出的多个在先内窥镜图像按照与被关注区域的相关程度从高到底地排列。

6.根据权利要求1所述的方法，其特征在于，所述预定的顺序包括将筛选出的多个在先内窥镜图像按时间顺序排列地同时显示。

7.根据权利要求6所述的方法，其特征在于，所述显示步骤还包括将所述筛选出的图像与其所对应的时间戳一起显示。

8.根据权利要求1所述的方法，其特征在于，所述在先内窥镜图像的记录包括响应于操作者的记录指令而进行。

9.根据权利要求1所述的方法，其特征在于，所述与操作者的输入相关的被关注区域对应于由操作者的标记限定的区域，或根据操作者的输入而生成。

10.根据权利要求9所述的方法，其特征在于，所述操作者的输入包括标记出点、线或封闭图形。

11.根据权利要求2或3所述的方法，其特征在于，通过导航系统的追踪装置(1)追踪相对于所述内窥镜(5)具有确定的位置关系的示踪器(4)来获取所述内窥镜的成像装置在导航系统下的位置和/或方向。

12.根据权利要求1-10中任一项所述的方法，其特征在于，所述内窥镜为脊柱内窥镜。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器运行时执行权利要求1-12中任一项所述的方法的步骤。

14.一种控制装置，其中所述控制装置包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在所述处理器运行所述程序时执行权利要求1-12中任一项所述的方法的步骤。

15.一种计算机程序产品，其包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-12中任一项所述的方法的步骤。

16.一种电子设备，其特征在于，所述电子设备包括显示装置(3)和处理器，所述处理器具有数据接口，

其中所述数据接口能够连接到导航系统的追踪装置(1)以及内窥镜(5)，使得所述处理器能够获取所述内窥镜(5)的成像装置的位置和/或方向并能够获取内窥镜图像；并且所述处理器被配置成能够获取与操作者的输入相关的位于内窥镜图像上的被关注区域，

其中所述处理器被配置成在所述处理器运行时能够在所述显示装置(3)上以预定的顺序显示在时间上位于所述内窥镜图像之前的、与所述被关注区域相关的在先内窥镜图像。

17.根据权利要求16所述的电子设备，其特征在于，在所述显示装置(3)上还能够显示在先内窥镜图像并显示提示操作者选择是否去除该内窥镜图像的界面。

18.根据权利要求16所述的电子设备，其特征在于，所述预定的顺序包括将与所述被关注区域相关的在先内窥镜图像按与被关注区域的相关程度从高到底地排列。

19.根据权利要求16所述的电子设备，其特征在于，所述显示装置上还显示供操作者输入记录内窥镜图像的输入构件。

20.根据权利要求16所述的电子设备，其特征在于，所述预定的顺序包括将与所述被关注区域相关的在先内窥镜图像按时间顺序排列地同时显示。

21.根据权利要求20所述的电子设备，其特征在于，在所述显示装置上，所述在先内窥镜图像与其所对应的时间戳、以及时间轴的标记(8)一起显示。

22.根据权利要求16-21中任一项所述的电子设备，其特征在于，所述操作者的输入包括标记出点、线或封闭图形。

23.一种导航系统，其特征在于，所述导航系统包括：

追踪装置(1)，所述追踪装置(1)适于追踪设置在内窥镜(5)上的示踪器(4)；以及

显示装置(3)和处理器，所述处理器适于连接到所述追踪装置(1)和所述内窥镜(5)，其中在所述处理器运行时执行权利要求1-12中任一项所述的方法，并通过所述显示装置(3)实现所述方法中的显示。

24.根据权利要求23所述的导航系统，其特征在于，所述导航系统还包括所述内窥镜和/或所述示踪器。

25.一种导航系统，其特征在于，所述导航系统包括：

追踪装置(1)，所述追踪装置(1)适于追踪设置在内窥镜(5)上的示踪器(4)；以及

根据权利要求16-22中任一项所述的电子设备，其中所述电子设备中的处理器适于连接到所述追踪装置(1)和所述内窥镜(5)。

26.根据权利要求25所述的导航系统，其特征在于，所述导航系统还包括所述内窥镜和/或所述示踪器。

27.一种机器人系统，其特征在于，包括机械臂以及根据权利要求23-26中任一项所述的导航系统。