CN110728872A - 模拟内窥镜操作的装置和方法 - Google Patents

Abstract

公开了一种用于模拟内窥镜操作的装置和方法，所述装置包括：虚拟现实设备，所述虚拟现实设备用于基于包括至少一个人体器官的数字模型向用户显示在所述人体器官中进行模拟内窥镜操作时的内窥镜图像；以及控制器，所述控制器用于接收用户的操作；其中，响应于所述控制器接收用户针对所述数字模型的第一操作，所述虚拟现实设备用于显示与所述数字模型相关联的生物组织的图像信息。

Description

模拟内窥镜操作的装置和方法

技术领域

本申请涉及内窥镜领域，具体涉及一种用于模拟内窥镜操作的装置和方法。

背景技术

内窥镜是集成有图像传感器、光学镜头、照明光源以及精密机械结构的装置。内窥镜可以经过口腔或其他天然孔道进入人体内并对人体内部的组织进行观察、活检、微创手术等操作。

目前，内窥镜医生的操作培训主要以在电脑上肉眼读图、动物离体实验等方式进行。这种方式进行培训所需的时间周期较长，效率更低。

发明内容

本申请的目的是提供一种用于模拟内窥镜操作的装置和方法。

根据本申请的一个方面，提供了一种用于模拟内窥镜操作的装置，包括：虚拟现实设备，所述虚拟现实设备用于基于包括至少一个人体器官的数字模型向用户显示在所述人体器官中进行模拟内窥镜操作时的内窥镜图像；控制器，所述控制器用于接收用户的操作；其中，响应于所述控制器接收用户针对所述数字模型的第一操作，所述虚拟现实设备用于显示与所述数字模型相关联的生物组织的图像信息。

在一些实施例中，所述数字模型是通过以下步骤生成的：基于真实的人体环境建立包含所述人体器官的三维环境，其中所述三维环境对应于所述人体器官所处的真实环境。

在一些实施例中，所述三维环境中包含指示切换至包含另一人体器官的另一三维环境的切换标识。

在一些实施例中，其中所述三维环境是基于Unity3D工具生成的。

在一些实施例中，所述数字模型包括正常组织模型和病灶模型，所述虚拟现实设备用于：响应于所述控制器接收用户针对所述病灶模型的第一操作，显示与所述病灶模型相关联的真实病灶的图像信息；以及响应于所述控制器接收用户针对所述正常组织模型的第一操作，显示指示正常组织的信息。

在一些实施例中，所述病灶模型被实现为所述数字模型中的贴图。

在一些实施例中，所述病灶模型包括在白激光成像模式、蓝激光成像模式以及联动成像模式中的至少一种模式下的观测结果。

在一些实施例中，所述虚拟现实设备是VR眼镜。

在一些实施例中，所述控制器是操作手柄或视点检测器。

在一些实施例中，所述虚拟现实设备还用于，响应于所述控制器接收用户针对真实病灶的图像信息的第二操作，显示不同放大倍率下的生物组织的病灶信息。

在一些实施例中，所述虚拟现实设备还用于，响应于所述控制器接收用户针对预定标识的第三操作，显示指示所述病灶模型在所述数字模型中的位置的信息。

在一些实施例中，响应于所述控制器接收用户针对所述病灶模型的第一操作，所述虚拟现实设备还用于：显示与所述病灶模型相关联的候选病理特征的描述信息；响应于用户输入确定用户选择的目标病理特征；以及显示用于指示所述目标病理特征是否符合所述病灶模型的信息。

在一些实施例中，所述装置还包括处理单元，所述处理单元用于根据所述目标病理特征是否符合所述病灶模型的结果，确定分配给所述用户的资源的数量。

在一些实施例中，所述虚拟现实设备还用于显示指示多个用户被分配的资源的信息，其中所述多个用户中的每一个基于该用户拥有的资源的数量被排序。

在一些实施例中，所述病灶模型包括胃内低级别瘤变、食管早癌、胃内高级别瘤变、反流性食管炎、幽门螺杆菌感染中的至少一种。

在一些实施例中，所述人体器官包括口腔、食道、胃、十二指肠中的至少一个。

根据本申请的另一方面，还提供了一种用于模拟内窥镜操作的方法，包括：基于包括至少一个人体器官的数字模型，通过虚拟现实设备向用户显示在所述人体器官中进行模拟内窥镜操作时的内窥镜图像；以及接收用户的操作；其中，响应于接收用户针对所述数字模型的第一操作，显示与所述数字模型相关联的生物组织的图像信息。

在一些实施例中，所述数字模型是通过以下步骤生成的：基于真实的人体环境建立包含所述人体器官的三维环境，其中所述三维环境对应于所述人体器官所处的真实环境。

在一些实施例中，所述三维环境中包含指示切换至包含另一人体器官的另一三维环境的切换标识。

在一些实施例中，所述三维环境是基于Unity3D工具生成的。

在一些实施例中，所述数字模型包括正常组织模型和病灶模型，响应于接收用户针对所述数字模型的第一操作，通过虚拟现实设备显示与所述数字模型相关联的生物组织的图像信息包括：响应于接收用户针对所述病灶模型的第一操作，显示与所述病灶模型相关联的真实病灶的图像信息；以及响应于接收用户针对所述正常组织模型的第一操作，通过虚拟现实设备显示指示正常组织的信息。

在一些实施例中，所述病灶模型被实现为所述数字模型中的贴图。

在一些实施例中，所述病灶模型包括在白激光成像模式、蓝激光成像模式以及联动成像模式中的至少一种模式下的观测结果。

在一些实施例中，所述方法还包括响应于用户针对真实病灶的图像信息的第二操作，通过虚拟现实设备显示不同放大倍率下的生物组织的病灶信息。

在一些实施例中，所述方法还包括响应于用户针对预定标识的第三操作，通过虚拟现实设备显示指示所述病灶模型在所述数字模型中的位置的信息。

在一些实施例中，所述方法还包括：响应于接收用户针对所述病灶模型的第一操作，通过虚拟现实设备显示与所述病灶模型相关联的候选病理特征的描述信息；响应于用户输入确定用户选择的目标病理特征；以及通过虚拟现实设备显示用于指示所述目标病理特征是否符合所述病灶模型的信息。

在一些实施例中，所述方法还包括，基于指示所述目标病理特征是否符合所述病灶模型的信息，确定分配给所述用户的资源的数量。

在一些实施例中，所述方法还包括：通过虚拟现实设备显示指示多个用户被分配的资源的信息，其中所述多个用户中的每一个基于该用户拥有的资源的数量被排序。

在一些实施例中，所述病灶模型包括胃内低级别瘤变、食管早癌、胃内高级别瘤变、反流性食管炎、幽门螺杆菌感染中的至少一种。

在一些实施例中，所述人体器官包括口腔、食道、胃、十二指肠中的至少一个。

利用本申请提供的模拟内窥镜操作的装置和方法，可以向用户提供沉浸式的内窥镜操作体验，并且在沉浸式体验中可以向用户展示真实的图像信息，从而实现准确的培训效果。此外，通过在模拟操作的过程中和用户进行交互，能够对使用该模拟操作设备的用户进行明确的引导，从而使得操作培训的效率更高。进一步地，通过在模拟操作过程中根据与用户的交互结果为用户分配相应的资源，能够提高利用模拟操作对用户进行操作培训时的趣味性，从而提高操作培训的效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1示出了根据本申请的实施例的用于模拟内窥镜操作的系统的示意图；

图2示出了根据本申请的实施例的用于模拟内窥镜操作的装置的示意性的框图；

图3A示出了在数字模型中进行环境切换的示例；

图3B示出了三维数字模型的褶皱部分的示例；

图3C示出了三维数字模型的模型骨骼的示例；

图4A示出了白激光成像模式下观察到的生物组织；

图4B示出了蓝激光成像模式下观察到的生物组织；

图4C示出了联动成像模式观察到的生物组织；

图4D示出了根据本申请的实施例的切换观测模式的操作的示例；

图5A示出了响应于用户针对病灶模型的第一操作显示的真实病灶的图像信息的示意图；

图5B示出了根据本申请的实施例的显示正常组织的信息的示意图；

图5C示出了根据本申请的实施例的提示病灶组织的示意图；

图6A示出了利用本申请提供的装置进行模拟诊断操作的示例；

图6B示出了根据本申请的实施例的显示病灶模型的候选病理特征的示例；

图6C示出了根据本申请的实施例的提示用户未作答的示例；

图7示出了根据本申请的实施例的用于模拟内窥镜操作的方法的示意性的流程图；以及

图8示出了根据本申请的实施例的计算设备的架构。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

图1示出了根据本申请的用于模拟内窥镜操作的系统的示意图。如图1所示，系统100可以包括客户端110、网络120、服务器130以及数据库140。利用系统100可以向用户提供模拟内窥镜操作的虚拟环境。系统100可以用于内窥镜的操作模拟和培训等应用场景。这里所说的内窥镜可以是软镜(如胃镜、肠镜、支气管镜等)、硬镜(如腹腔镜、硬质支气管镜等)、胶囊内窥镜等各种类型的内窥镜。下文中将以胃镜为例描述本公开的原理，然而本领域技术人员可以理解，本公开的原理也可以应用于其他任何类型的内窥镜。

客户端110可以包括虚拟现实设备以及控制器。其中所述虚拟现实设备可以用于向用户显示虚拟现实环境，控制器可以用于实现用户与虚拟现实环境的交互操作。例如，通过操作控制器用户可以实现在虚拟现实环境中的移动(例如向前、后、左、右)以及在虚拟现实环境中的选择操作、菜单调用等各种用户操作界面的交互功能。

此外，客户端110还可以包括处理单元，用于对虚拟现实环境中的用户交互数据进行处理并生成虚拟现实环境的显示数据。其中所述处理单元可以以有线或无线的方式连接到虚拟现实设备和控制器中的至少一个。

在一些实施例中，客户端的处理单元可以是独立于虚拟现实设备和控制器的设备，例如，处理单元可以实现为任何其他类型的电子设备，其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备、车载电子设备等。

在另一些实施例中，客户端的处理单元可以与虚拟现实设备和控制器中的至少一个集成为同一个设备。

在本申请提供的实施例中，为了实现内窥镜的模拟操作，这里所说的三维的虚拟环境可以实现为内窥镜工作时所处的人体环境。例如，虚拟环境可以是食管、胃、十二指肠等器官的内部环境。可以理解的是，虚拟环境也可以被实现为人体内任何其他器官的内部环境，例如肠道、支气管、腹腔等器官的内部环境。

在一个示例中，客户端110的处理单元可以实现为电脑110-1，在这种情况下，虚拟现实设备可以利用HTC VIVE(PC版)实现。例如，可以将虚拟现实设备连接到电脑，并将电脑生成的显示数据发送给虚拟现实设备用户显示。在另一个示例中，客户端110的处理单元可以实现为手机，在这种情况下，虚拟现实设备可以利用暴风魔镜(手机版)实现。例如，可以将手机和虚拟现实设备组合成一个设备，并利用虚拟现实设备将手机屏幕上显示的内容转化为虚拟显示的内容。例如，可以在手机屏幕上显示三维虚拟内容的显示数据，并且用户可以通过虚拟现实设备上的光学设备观看手机屏幕上的显示数据，从而获得虚拟现实环境的体验。

在一种实现方式中，控制器可以被实现为操作手柄。这里所说的操作手柄可以是游戏手柄。在此不限制操作手柄的具体形式。

在另一些实现方式中，控制器可以被实现为视点检测设备。例如，当客户端110的电子设备是手机的情况下，可以在用户佩戴的虚拟现实设备上设置视点检测设备，该视点检测设备可以用于检测用户的视点位置。基于用户的视点位置可以对显示数据进行调整。例如，可以基于用户的视点位置确定当前虚拟环境的显示范围，并且可以基于用户的视点移动对虚拟环境的显示范围进行调整，以使得用户观看的内容接近于真实环境的观看体验。

在一些实施例中，客户端110可以经由网络120与服务器130和数据库140进行通信以获取。

网络120可以是单个网络，或至少两个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。在一些实施例中，网络120可以使用直接连接万维网的通信技术(如WiFi)和/或本地组网的无线传输技术(例如蓝牙、zigbee等)。

服务器130可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器130可以是本地的或远程的。

数据库140可以泛指具有存储功能的设备。数据库130主要用于存储从客户端110和服务器130工作中所利用、产生和输出的各种数据。数据库140可以是本地的，或远程的。数据库140可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。

数据库140可以经由网络120与服务器130或其一部分相互连接或通信，或直接与服务器130相互连接或通信，或是上述两种方式的结合。

在一些实施例中，数据库150可以是独立的设备。在另一些实施例中，数据库150也可以集成在客户端110和服务器140中的至少一个中。例如，数据库150可以设置在客户端110上，也可以设置在服务器140上。又例如，数据库150也可以是分布式的，其一部分设置在客户端110上，另一部分设置在服务器140上。

图2示出了根据本申请的实施例的用于模拟内窥镜操作的装置的示意性的框图。如图2所示，装置200可以包括虚拟现实设备210、控制器220以及处理单元230。图2中示出的装置200可以用于实现图1示出的系统100中的客户端110。

其中所述虚拟现实设备210用于向用户提供三维的虚拟环境，控制器220用于实现用户和虚拟环境之间的交互，以及处理单元230用于处理控制器220接收的用户的交互数据，并根据用户交互数据生成用户在虚拟现实设备210上进行显示的显示数据。所述处理单元230可以与虚拟现实设备210集成为同一个设备，也可以是独立于虚拟现实设备的单独的设备。

虚拟现实设备210可以用于基于包括至少一个人体器官的数字模型向用户显示在所述人体器官中进行模拟内窥镜操作时的内窥镜图像。其中所述数字模型中可以包括正常组织模型和病灶模型。

其中，上述人体器官可以包括口腔、食道、胃、十二指肠中的至少一个。利用上述人体器官可以组成人体消化道的数字模型。通过向用户依次展示口腔、食道、胃、十二指肠的数字模型，可以向用户展示模拟利用内窥镜进行消化道的观察操作的场景。其中，在每个器官的三维环境中可以包含指示切换至包含另一人体器官的另一三维环境的切换标识。例如，在口腔环境中可以显示用于进入食道的切换标识，通过选择切换标识可以进入食道的三维环境。

图3A示出了在数字模型中进行环境切换的示例。如图所示，通过选择标识“食管入口”，虚拟现实设备可以将显示的数字模型从口腔切换成食道。

在一些实施例中，所述数字模型可以是通过以下步骤生成的：基于真实的人体环境建立包含所述人体器官的三维环境，其中所述三维环境对应于所述人体器官所处的真实环境。例如，可以参考胃镜拍摄的真实视频对消化道的器官进行建模。所述三维环境可以使基于Unity3D工具开发生成的。在一些实施例中，为了使器官模型更加自然柔和，可以在模型的褶皱部分使用布料解算制作。可以利用雕刻工具对器官内部褶皱进行刻画，使得三维的数字模型更加具有真实性与质感。此外，为了使模型蠕动缩放更加真实，可以使用模型骨骼绑定动画。通过直接将模型蒙皮绑定，每单个骨关节的活动都会对蠕动动画产生影响。利用曲线编辑器可以使关节的前后运动的频率更加接近真实视频中的真实蠕动频率。图3B示出了三维数字模型的褶皱部分的示例。图3C示出了三维数字模型的模型骨骼的示例。

在一些实施例中，病灶模型可以被实现为数字模型中的贴图，其中所述病灶模型包括在白激光成像模式(WLI)、蓝激光成像模式(BLI)以及联动成像模式(LCI)中的至少一种模式下的观测结果。在一些实施例中，可以在数据库中预先存储包括多个病灶模型。当用户利用本申请提供的装置开始模拟内窥镜操作时，可以从数据库中随机选取一个或多个病灶模型并将所选取的病灶模型的贴图布置在为用户提供的三维虚拟环境中，以供用户在虚拟操作过程中进行观测和识别。

图4A示出了白激光成像模式下观察到的生物组织。

WLI模式采用波长450nm的白光激光。在这种模式下呈现高亮度、锐利的白光内镜图像，有利于观察黏膜深层的构造。

图4B示出了蓝激光成像模式下观察到的生物组织。

BLI模式采用410nm激光波长(短波长窄带光)。根据血红蛋白对光的吸收特性以及粘膜对光的反射特性原理，这种模式下生成的图像适合观察黏膜表层的血管形态和黏膜构造。

图4C示出了联动成像模式观察到的生物组织。

LCI模式则通过“短波长激光”和“白光观察用激光”同时进行平衡的照射，使粘膜颜色略带发红的变得更红，发白的变得更白，便于识别粘膜颜色微小的色差，强调炎症、早癌的病变部分。

通常情况下，先使用LCI模式大范围筛找病变粘膜，然后使用BLI模式观察病变粘膜的表层病变，使用WLI模式观察病变粘膜的深层病变。

因此，通过将病灶模型实现为数字模型中的贴图，在模拟内窥镜操作的过程中，可以通过切换不同的模式在三维环境中向用户展示不同模式下的病灶模型，从而使得用户能够熟悉在不同的模式下病灶的不同观测效果。图4D示出了根据本申请的实施例的切换观测模式的操作的示例。如图4D所示，在内窥镜的虚拟操作过程中，虚拟现实设备可以响应于用户的输入显示不同观测模式下的观测结果。

在一些实施例中，病灶模型可以包括胃内低级别瘤变、食管早癌、胃内高级别瘤变、反流性食管炎、幽门螺杆菌感染中的至少一种。可以理解的是，在不脱离本申请原理的前提下，也可以针对其他任何类型的病灶建立病灶模型。

控制器220可以用于接收用户的操作。其中，响应于控制器220接收用户针对所述数字模型的第一操作，所述虚拟现实设备用于显示与所述数字模型相关联的生物组织的图像信息。

在一些实施例中，上述第一操作可以是选择操作。例如，用户可以通过实现为操作手柄的控制器或任何其他作为输入设备(例如鼠标、键盘、触摸板等)的控制器输入选择命令。又例如，也可以识别用户的特定动作实现上述选择操作。例如，可以识别用户的眨眼、点头、注视某一位置超过预定的时间阈值等动作，并根据上述识别的动作实现选择操作。

在一些实施例中，响应于控制器220接收用户针对所述病灶模型的第一操作，所述虚拟现实设备可以用于显示与所述病灶模型相关联的真实病灶的图像信息。

图5A示出了响应于控制器220接收用户针对病灶模型的第一操作显示的真实病灶的图像信息的示意图。如图5A所示，当用户针对病灶模型执行选择操作时，可以向用户展示对应的真实病灶的图像信息。在一些实施例中，所述虚拟现实设备还可以用于响应于控制器220接收用户针对真实病灶的图像信息的第二操作，显示不同放大倍率下的生物组织的病灶信息。其中所述第二操作可以是针对预定的缩放按钮或图标的选择操作。

在这种情况下，控制器220可以接收用户的输入并对显示的真实病灶的图像信息进行缩放。在一些实现方式中，不同放大倍率的真实病灶的图像是预先存储在数据库中的。当接收到用户对病灶图像进行缩放的命令时，虚拟现实设备可以从数据库中查询并找到相应放大倍率的图像并显示查询到的图像。在另一些实现方式中，响应于控制器220接收到用户对病灶图像进行缩放的命令，虚拟现实设备可以对显示的真实病灶的图像进行图像处理，例如可以通过插值或压缩的方式对所显示的病灶图像进行处理，以对该病灶图像进行放大或缩小的显示。

利用上述用于模拟内窥镜操作的装置，当用户使用该装置模拟内窥镜的操作过程时，可以观察三维的虚拟环境并在这样的虚拟环境中识别出病灶模型的贴图。响应于用户选择该病灶模型的贴图，可以向用户展示与该病灶模型相关的真实病灶的图像信息，以使得用户能够接受关于如何使用内窥镜观察人体内的生物组织的生理情况，并判断是否存在病灶的培训。

此外，通过使用数字化的模型模拟内窥镜的操作，能够实现降低成本和节约资源的效果。利用建立好的一套完整的数字模型以及病灶模型，多个不同用户可以同时进行内窥镜的模拟操作的学习和训练，并且每个用户可以分别控制自己的学习和训练过程，从而提高了用户学习的效率和效果。

在一些实施例中，如果用户针对正常组织模型执行第一操作，或者用户误将正常组织判断为病灶模型而执行第一操作，虚拟现实设备可以显示指示正常组织的信息。

图5B示出了根据本申请的实施例的显示正常组织的信息的示意图。如图5B所示，当用户针对正常组织的模型执行第一操作(例如选择操作)时，虚拟现实设备可以显示文本框“正常组织！”，从而向用户提示此处没有病变模型。

尽管图5B中以文本框为例描述了如何显示指示正常组织的信息，本领域技术人员可以理解，在不脱离本申请原理的情况下，可以采用任何方式显示只是正常组织的信息。例如，可以采用播放语音或任何提示音的方式提示用户选择的模型是正常组织。又例如，也可以采用任何纹理图案或预先定义的显示信息提示用户选择的模型是正常组织。

在一些实施例中，如果用户在虚拟操作过程中无法确认病灶模型的位置，则可以进行第三操作。响应于控制器220接收用户针对预定标识的第三操作，虚拟现实设备显示指示所述病灶模型在所述数字模型中的位置的信息。例如，所述第三操作可以是针对预定标识的选择操作。

在一种实现方式中，第二操作可以是操作预定的功能按钮或选择具有预定功能的图标。图5C示出了根据本申请的实施例的提示病灶组织的示意图。如图5C所示，如果用户在虚拟操作过程中无法确认病灶模型的位置，用户可以选择画面下方机器人形状的图标(即预定标识)。响应于用户选择该图标，虚拟现实设备可以显示提示界面。响应于用户确认需要提示，则虚拟现实设备可以显示提示病灶模型位置的信息。

在模拟内窥镜操作的过程中可以向用户提供模拟内窥镜诊断的过程。图6A示出了利用本申请提供的装置进行模拟诊断操作的示例。

如图6A所示，用户可以利用本申请提供的装置进行模拟内窥镜诊断的操作。例如，虚拟现实设备210可以向用户展示关于病灶模型的题目，用户可以在虚拟环境内观察病灶情况并进行作答。进一步地，根据用户的作答情况，处理单元230可以向用户分配相应地资源，例如分数。如图6A右侧示出的内容，用户的历史模拟诊断结果可以以排行榜的方式显示在虚拟环境中。

在一些实施例中，响应于控制器220接收用户针对所述病灶模型的第一操作，虚拟现实设备还可以用于显示与所述病灶模型相关联的候选病理特征的描述信息。

其中与所述病灶模型相关联的候选病理特征的描述信息可以是描述病灶模型的正确信息，也可以是描述病灶模型的错误信息。用户可以利用控制器进行输入确定用户选择的目标病理特征。响应于接收到用户选择目标病理特征的信息，虚拟现实设备可以显示用于指示所述目标病理特征是否符合所述病灶模型的信息。

图6B示出了根据本申请的实施例的显示病灶模型的候选病理特征的示例。如图6B所示，响应于控制器220接收用户针对病灶模型的第一操作，虚拟现实设备可以显示与该病灶模型相关联的真实病灶的图像信息。进一步地，虚拟现实设备还可以显示与该病灶模型相关联的真实病灶的至少一个候选病理特征。如图6B所示，在提供候选病理特征的用户界面中，界面左侧显示的是真实病灶的图片，右侧是关于该病灶的至少一个候选病理特征以及为用户准备的关于病灶信息的题目。用户需要从右侧的至少一个候选病理特征中选择一个或多个符合题目要求的病理特征。

在一种实现方式中，虚拟现实设备可以向用户显示与该病灶相关联的候选病理特征，并要求用户对候选病理特征的准确性做出判断。如图6B所示，用户可以在虚拟现实设备显示的三个候选病理特征中选择出描述不正确的选项。

在一些实施例中，虚拟现实设备可以向用户显示不同观测模式下的真实病灶的图像信息。在这种情况下，用户可以给予不同观测模式下的图像信息从候选病理特征中选出目标病理特征。如果用户进行多次选择，那么可以将用户最后一次确认选择的候选病理特征作为目标病理特征。当用户完成所有模式(例如前述三种模式)下的问题以后，虚拟现实设备可以自动弹出并显示针对病灶的诊断结果。如果用户在至少一种模式未作答的情况下选择结束诊断，虚拟现实设备可以弹出提醒信息。图6C示出了根据本申请的实施例的提示用户未作答的示例。

响应于用户选择目标病理特征，装置200的处理单元230可以判断目标病理特征是否符合用户选择的病灶模型的信息。例如，可以根据数据库中预先存储的信息库判断用户选择的目标病理特征是否符合真实的病灶特征。根据所述目标病理特征是否符合所述病灶模型的结果，所述处理单元230可以确定分配给所述用户的资源的数量。

在一些实施例中，所述资源可以实现为分配给用户的得分。例如，用户选择的目标病理特征符合病灶模型的数量越多、速度越快，那么分配给用户的分数也越多。在一种实现方式中，可以根据用户进行模拟诊断的完成时间h1、每次选择目标病理特征的准确性得到的分数(x1、x2等)、基础分数(D)以及在选择过程中是否使用提示功能(R)等确定用户此次模拟诊断过程的得分S。在一些示例中，用户得分S可以表示为：

S＝(h1/h)+D+(x1+x2+x3+x4)*R

其中h1是用户进行模拟诊断的完成时间，h是预定的时间阈值，D是基础分，x1、x2、x3、x4是用户四次选择目标病理特征的准确性分数，R是提示得分。

尽管在上述实施例中以被分配的资源是分数为例描述了本申请的原理，然而本领域技术人员可以理解，在不脱离本申请原理的情况下，被分配的资源也可以被实现为其他形式。例如，被分配的资源可以是任何虚拟物品。又例如，被分配的资源也可以是装置200可用的计算资源、存储资源等。在此本申请不限制被分配的资源的具体形式。

在一些实施例中，当存在多个用户使用本申请提供的用户内窥镜的模拟操作的装置时，虚拟现实装置还可以用于显示指示多个用户被分配的资源的信息，其中所述多个用户中的每一个基于该用户拥有的资源的数量被排序。

例如，虚拟现实设备可以针对每种病灶模型显示多个用户针对该病灶模型所获取的资源的数量，并可以基于各用户针对该病灶模型获取的资源的数量进行排序。例如，当所分配的资源是分数时，可以将多个用户根据他们得到的分数进行排序。

利用本申请提供的用于模拟内窥镜操作的装置，可以向用户提供沉浸式的内窥镜操作体验，并且在沉浸式体验中可以向用户展示真实的图像信息，从而实现准确的培训效果。此外，通过在虚拟操作的过程中和用户进行交互，能够对使用该虚拟操作设备的用户进行明确的引导，从而使得操作培训的效率更高。进一步地，通过在虚拟操作过程中根据与用户的交互结果为用户分配相应的资源，能够提高利用虚拟操作对用户进行操作培训时的趣味性，从而提高操作培训的效率。

图7示出了根据本申请的实施例的用于模拟内窥镜操作的方法的示意性的流程图。可以利用图2中示出的装置200实现图7中所示的方法流程图。

在步骤S702中，所述方法包括基于包括至少一个人体器官的数字模型，通过虚拟现实设备向用户显示在所述人体器官中进行模拟内窥镜操作时的内窥镜图像，其中所述数字模型中包括正常组织模型和病灶模型。其中所述数字模型可以包括正常组织模型和病灶模型。

在一些实施例中，所述数字模型可以是通过以下步骤生成的：基于真实的人体环境建立包含所述人体器官的三维环境，其中所述三维环境对应于所述人体器官所处的真实环境。例如，可以参考胃镜拍摄的真实视频对消化道的器官进行建模。所述三维环境可以使基于Unity3D工具开发生成的。

在每个器官的三维环境中可以包含指示切换至包含另一人体器官的另一三维环境的切换标识。例如，在口腔环境中可以显示用于进入食道的切换标识，通过选择切换标识可以进入食道的三维环境。

在一些实施例中，病灶模型可以被实现为数字模型中的贴图，其中所述病灶模型包括在白激光成像模式(WLI)、蓝激光成像模式(BLI)以及联动成像模式(LCI)中的至少一种模式下的观测结果。在一些实施例中，可以在数据库中预先存储包括多个病灶模型。当用户利用本申请提供的装置开始内窥镜的虚拟操作时，可以从数据库中随机选取一个或多个病灶模型并将所选取的病灶模型的贴图布置在为用户提供的三维虚拟环境中，以供用户在虚拟操作过程中进行观测和识别。在一些实施例中，病灶模型可以包括胃内低级别瘤变、食管早癌、胃内高级别瘤变、反流性食管炎、幽门螺杆菌感染中的至少一种。可以理解的是，在不脱离本申请原理的前提下，也可以针对其他任何类型的病灶建立病灶模型。

在步骤S704中，可以接收用户的操作。在一些实施例中，上述第一操作可以是选择操作。例如，用户可以通过实现为操作手柄的控制器或任何其他作为输入设备(例如鼠标、键盘、触摸板等)的控制器输入选择命令。又例如，也可以识别用户的特定动作实现上述选择操作。例如，可以识别用户的眨眼、点头、注视某一位置超过预定的时间阈值等动作，并根据上述识别的动作实现选择操作。

在步骤S706中，响应于接收用户针对所述数字模型的第一操作，显示与所述数字模型相关联的生物组织的图像信息。

在一些实施例中，步骤S706可以包括响应于接收用户针对所述病灶模型的第一操作，显示与所述病灶模型相关联的真实病灶的图像信息。在另一些实施例中，步骤S706可以包括响应于接收用户针对所述正常组织模型的第一操作，显示指示正常组织的信息。

在一些实施例中，与所述病灶模型相关联的真实病灶的图像信息包括在不同放大倍率下的生物组织的病灶信息。步骤S706可以包括响应于用户针对真实病灶的图像信息的第二操作，显示不同放大倍率下的生物组织的病灶信息。其中所述第二操作可以是针对预定的缩放按钮或图标的选择操作。

在这种情况下，可以根据用户的输入并对显示的真实病灶的图像信息进行缩放。在一些实现方式中，不同放大倍率的真实病灶的图像是预先存储在数据库中的。当接收到用户对病灶图像进行缩放的命令时，所述方法可以包括从数据库中查询并找到相应放大倍率的图像并显示查询到的图像。在另一些实现方式中，响应于接收到用户对病灶图像进行缩放的命令，所述方法可以包括对显示的真实病灶的图像进行图像处理，例如可以通过插值或压缩的方式对所显示的病灶图像进行处理，以对该病灶图像进行放大或缩小的显示。

在一些实施例中，如果用户在虚拟操作过程中无法确认病灶模型的位置，则可以进行针对预定标识的第三操作。响应于用户针对预定标识的第三操作，显示指示所述病灶模型在所述数字模型中的位置的信息。例如，所述第三操作可以是针对预定标识的选择操作。

在一些实施例中，响应于接收用户针对所述病灶模型的第一操作，所述方法还包括显示与所述病灶模型相关联的候选病理特征的描述信息。

其中与所述病灶模型相关联的候选病理特征的描述信息可以是描述病灶模型的正确信息，也可以是描述病灶模型的错误信息。用户可以利用控制器进行输入确定用户选择的目标病理特征。响应于接收到用户选择目标病理特征的信息，所述方法还包括显示用于指示所述目标病理特征是否符合所述病灶模型的信息。

在一种实现方式中，可以向用户显示与该病灶相关联的候选病理特征，并要求用户对候选病理特征的准确性做出判断。响应于用户选择目标病理特征，所述方法还可以包括判断目标病理特征是否符合用户选择的病灶模型的信息。例如，可以根据数据库中预先存储的信息库判断用户选择的目标病理特征是否符合真实的病灶特征。根据所述目标病理特征是否符合所述病灶模型的结果，所述方法还可以包括确定分配给所述用户的资源的数量。

在一些实施例中，所述资源可以实现为分配给用户的得分。例如，用户选择的目标病理特征符合病灶模型的数量越多、速度越快，那么分配给用户的分数也越多。在一种实现方式中，可以根据用户进行模拟诊断的完成时间h1、每次选择目标病理特征的准确性得到的分数(x1、x2等)、基础分数(D)以及在选择过程中是否使用提示功能(R)等确定用户此次模拟诊断过程的得分S。

在一些实施例中，当存在多个用户使用本申请提供的用户内窥镜的虚拟操作的装置时，所述方法还可以包括用于显示指示多个用户被分配的资源的信息，其中所述多个用户中的每一个基于该用户拥有的资源的数量被排序。

例如，所述方法还可以包括针对每种病灶模型显示多个用户针对该病灶模型所获取的资源的数量，并可以基于各用户针对该病灶模型获取的资源的数量进行排序。例如，当所分配的资源是分数时，可以将多个用户根据他们得到的分数进行排序。

利用本申请提供的用于模拟内窥镜操作的方法，可以向用户提供沉浸式的内窥镜操作体验，并且在沉浸式体验中可以向用户展示真实的图像信息，从而实现准确的培训效果。此外，通过在虚拟操作的过程中和用户进行交互，能够对使用该虚拟操作设备的用户进行明确的引导，从而使得操作培训的效率更高。进一步地，通过在虚拟操作过程中根据与用户的交互结果为用户分配相应的资源，能够提高利用虚拟操作对用户进行操作培训时的趣味性，从而提高操作培训的效率。

此外，根据本申请实施例的方法或装置也可以借助于图8所示的计算设备的架构来实现。图8示出了该计算设备的架构。如图8所示，计算设备800可以包括总线810、一个或至少两个CPU 820、只读存储器(ROM)830、随机存取存储器(RAM)840、连接到网络的通信端口850、输入/输出组件860、硬盘870等。计算设备800中的存储设备，例如ROM 830或硬盘870可以存储本申请提供的用于在视频中对目标进行检测的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备800还可以包括用户界面880。当然，图8所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图8示出的计算设备中的一个或至少两个组件。

本申请的实施例也可以被实现为计算机可读存储介质。根据本申请实施例的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本申请实施例的方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。

此外，如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

此外，虽然本申请对根据本申请的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。

此外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (30)

1.一种用于模拟内窥镜操作的装置，包括：

虚拟现实设备，所述虚拟现实设备用于基于包括至少一个人体器官的数字模型，向用户显示在所述人体器官中进行模拟内窥镜操作时的内窥镜图像；以及

控制器，所述控制器用于接收用户的操作；

其中，响应于所述控制器接收用户针对所述数字模型的第一操作，所述虚拟现实设备用于显示与所述数字模型相关联的生物组织的图像信息。

2.如权利要求1所述的装置，其中，所述数字模型是通过以下步骤生成的：

基于真实的人体环境建立包含所述人体器官的三维环境，其中所述三维环境对应于所述人体器官所处的真实环境。

3.如权利要求2所述的装置，其中，所述三维环境中包含指示切换至包含另一人体器官的另一三维环境的切换标识。

4.如权利要求2所述的装置，其中所述三维环境是基于Unity3D工具生成的。

5.如权利要求1-4任一项所述的装置，其中所述数字模型包括正常组织模型和病灶模型，所述虚拟现实设备用于：

响应于所述控制器接收用户针对所述病灶模型的第一操作，显示与所述病灶模型相关联的真实病灶的图像信息；以及

响应于所述控制器接收用户针对所述正常组织模型的第一操作，显示指示正常组织的信息。

6.如权利要求5所述的装置，其中所述病灶模型被实现为所述数字模型中的贴图。

7.如权利要求5所述的装置，其中所述病灶模型包括在白激光成像模式、蓝激光成像模式以及联动成像模式中的至少一种模式下的观测结果。

8.如权利要求1所述的装置，其中所述虚拟现实设备是VR眼镜。

9.如权利要求1所述的装置，其中所述控制器是操作手柄或视点检测器。

10.如权利要求5所述的装置，其中所述虚拟现实设备还用于，响应于所述控制器接收用户针对真实病灶的图像信息的第二操作，显示不同放大倍率下的生物组织的病灶信息。

11.如权利要求5所述的装置，其中所述虚拟现实设备还用于，响应于所述控制器接收用户针对预定标识的第三操作，显示指示所述病灶模型在所述数字模型中的位置的信息。

12.如权利要求5所述的装置，其中响应于所述控制器接收用户针对所述病灶模型的第一操作，所述虚拟现实设备还用于：

显示与所述病灶模型相关联的候选病理特征的描述信息；

响应于用户输入确定用户选择的目标病理特征；以及

显示用于指示所述目标病理特征是否符合所述病灶模型的信息。

13.如权利要求12所述的装置，还包括处理单元，所述处理单元用于根据所述目标病理特征是否符合所述病灶模型的结果，确定分配给所述用户的资源的数量。

14.如权利要求13所述的装置，其中，所述虚拟现实设备还用于显示指示多个用户被分配的资源的信息，其中所述多个用户中的每一个基于该用户拥有的资源的数量被排序。

15.如权利要求5所述的装置，其中所述病灶模型包括胃内低级别瘤变、食管早癌、胃内高级别瘤变、反流性食管炎、幽门螺杆菌感染中的至少一种。

16.如权利要求1所述的装置，其中所述人体器官包括口腔、食道、胃、十二指肠中的至少一个。

17.一种用于模拟内窥镜操作的方法，包括：

基于包括至少一个人体器官的数字模型，通过虚拟现实设备向用户显示在所述人体器官中进行模拟内窥镜操作时的内窥镜图像；

接收用户的操作；以及

响应于接收用户针对所述数字模型的第一操作，通过虚拟现实设备显示与所述数字模型相关联的生物组织的图像信息。

18.如权利要求17所述的方法，其中，所述数字模型是通过以下步骤生成的：

基于真实的人体环境建立包含所述人体器官的三维环境，其中所述三维环境对应于所述人体器官所处的真实环境。

19.如权利要求18所述的方法，其中，所述三维环境中包含指示切换至包含另一人体器官的另一三维环境的切换标识。

20.如权利要求18所述的方法，其中所述三维环境是基于Unity3D工具生成的。

21.如权利要求17-20任一项所述的方法，其中所述数字模型包括正常组织模型和病灶模型，响应于接收用户针对所述数字模型的第一操作，显示与所述数字模型相关联的生物组织的图像信息包括：

响应于接收用户针对所述病灶模型的第一操作，通过虚拟现实设备显示与所述病灶模型相关联的真实病灶的图像信息；以及

响应于接收用户针对所述正常组织模型的第一操作，通过虚拟现实设备显示指示正常组织的信息。

22.如权利要求21所述的方法，其中所述病灶模型被实现为所述数字模型中的贴图。

23.如权利要求21所述的方法，其中所述病灶模型包括在白激光成像模式、蓝激光成像模式以及联动成像模式中的至少一种模式下的观测结果。

24.如权利要求21所述的方法，还包括：

响应于接收用户针对真实病灶的图像信息的第二操作，通过虚拟现实设备显示不同放大倍率下的生物组织的病灶信息。

25.如权利要求21所述的方法，还包括，响应于接收用户针对预定标识的第三操作，通过虚拟现实设备显示指示所述病灶模型在所述数字模型中的位置的信息。

26.如权利要求21所述的方法，其中响应于接收用户针对所述病灶模型的第一操作，所述方法还包括：

通过虚拟现实设备显示与所述病灶模型相关联的候选病理特征的描述信息；

响应于用户输入确定用户选择的目标病理特征；以及

通过虚拟现实设备显示用于指示所述目标病理特征是否符合所述病灶模型的信息。

27.如权利要求26所述的方法，还包括，基于指示所述目标病理特征是否符合所述病灶模型的信息，确定分配给所述用户的资源的数量。

28.如权利要求27所述的方法，还包括：通过虚拟现实设备显示指示多个用户被分配的资源的信息，其中所述多个用户中的每一个基于该用户拥有的资源的数量被排序。

29.如权利要求21所述的方法，其中所述病灶模型包括胃内低级别瘤变、食管早癌、胃内高级别瘤变、反流性食管炎、幽门螺杆菌感染中的至少一种。

30.如权利要求17所述的方法，其中所述人体器官包括口腔、食道、胃、十二指肠中的至少一个。

Images