CN103207670A - 利用深度传感器进行无接触操作的装置 - Google Patents

Abstract

本发明名称为“利用深度传感器进行无接触操作的装置”。本发明提供用于装置的无接触操作的具有创造性的系统和方法。该系统可包括：用于检测移动的深度传感器；运动软件，其从深度传感器接收所检测的移动，基于所述检测的移动推断姿势，以及过滤该姿势以接受适用的姿势；和客户端软件，其在客户端计算机处接收该适用的姿势，以便基于该适用的姿势根据客户端逻辑执行任务。客户端可以是绘图装置，并且任务可以是各种绘图操作中的一种。该系统还可以包括使所检测的移动成为适用的姿势的硬件。该系统还可以包括语音识别，其提供语音输入以使得客户端能够基于语音输入、结合适用的姿势来执行任务。适用的姿势可以是利用面部识别授权的移动。

Description

利用深度传感器进行无接触操作的装置

相关专利申请的交叉引用

本申请与共同拥有的、共同未决的名称为TOUCH FREE OPERATIONOF ABLATOR WORKSTATION BY USE OF DEPTH SENSORS的系列号为No.（BIO5313USNP）的美国专利申请相关，该美国专利申请与本申请同一天提交，其整个内容和公开明确地以引用方式并入本文中，就像其完全在本文中示出。

技术领域

本发明整体涉及利用深度传感器，并且在某些情况下利用语音识别来进行无接触操作的手术室装置。

背景技术

在手术室中，医师需要保持无菌；从而他或她在手术期间不能物理地触及计算机来获得辅助。因此，医师想要利用手术室装置（例如3D绘图系统，例如

）上的计算机应用执行的任何任务必须实际上由另一个人执行。这需要医师能够操作这些装置而不会物理地接触该装置或其附件，例如其键盘、屏幕、鼠标等。

发明内容

本发明提供用于装置的无接触操作的具有创造性的系统和方法。该系统包括：用于检测移动的深度传感器；运动软件模块，其可操作以从深度传感器接收所检测的移动，基于所述检测的移动推断姿势，并且过滤该姿势以接受适用的姿势；和客户端软件模块，其可操作以在客户端计算机处接收该适用的姿势，以便基于该适用的姿势根据客户端逻辑执行任务。

在一个方面中，客户端是绘图装置，任务是旋转绘图、缩放绘图、倾斜绘图和摇动绘图中的一个。在一个方面中，移动是头部运动、手部运动和身体运动中的至少一种，并且还基于短的历史来推断姿势。在一个方面中，该系统还包括使所检测的移动成为适用的姿势的硬件。在一个方面中，适用的姿势是由利用面部识别而确定被授权的使用者执行的所检测的移动以及根据客户端逻辑的识别的姿势中的一种或更多种。在一个方面中，通过确定姿势是否是授权的和有效的来过滤所述姿势。在一个方面中，该系统还包括用于在客户端计算机处接收适用姿势的客户端通信模块。在一个方面中，该系统还包括语音识别，其提供语音输入以使得客户端能够基于语音输入、结合适用的姿势来执行任务。

本发明的用于装置的无接触操作的方法包括：利用深度传感器检测移动；利用CPU，基于所述检测的移动推断姿势；过滤该姿势以接受适用的姿势；在客户端处接收适用的姿势；以及基于该适用的姿势根据客户端逻辑执行任务。

还可以提供计算机可读存储介质，其存储可由机器执行的指令的程序，以执行本文所述的一个或更多个方法。

附图说明

通过以下结合附图的其实施例的详细说明，将更全面地理解本发明。以下将参考附图详细描述其它特征以及各个实施例的结构和操作。在附图中，相同的附图标记表示相同的或功能相似的元件。

图1为本发明系统的实施例的方框图。

图2为本发明系统的另一个实施例的方框图。

图3示出了

客户端之上引发控制的手部运动。

图4示出了在不接触装置的情况下执行

中的功能的手部运动。

图5为本发明方法的流程图。

具体实施方式

提供用于装置的无接触操作的具有创造性的技术。根据该新型技术，人们可以执行装置的功能而不接触任何计算机设备，例如监视器、键盘、鼠标等。

如图1所示，在一个实施例中，该系统具有多个组成部分，包括深度传感器10、计算机或CPU12、通信介质14和客户端计算机16。运动检测软件模块18可驻留在CPU12中。客户端计算机16可控制目标软件模块20。通信客户端模块22可驻留在客户端计算机16中。在一个实施例中，该系统还可以包括语音识别，例如麦克风或麦克风阵列28。

深度传感器10通常包括深度察觉相机，该相机不仅记录图像，而且记录深度，以允许提供记录的图像的3D表示。本领域技术人员已知的是，深度传感器连接到计算机，该计算机利用来自传感器的深度绘图来推断运动，例如使用者的手势、姿势和位置。在医疗设定中，使用者可以是系统操作者，通常是医师。在本发明的一个实施例中，深度传感器跟踪头部和手部的移动。在另一个实施例中，深度传感器不仅跟踪手部和头部，而且还跟踪整个身体位置，例如朝向和/或远离计算机屏幕或监视器的移动。在一个实施例中，深度传感器10可以利用模块或中间件来实施，例如

Kinect、

Xtion PRO或Xtion PRO LIVE。可以并行使用不止一个深度传感器，以扩展遮挡处理、视野和精度。任何传感器，例如可以足够的细节实时提供深度绘图的相机，可以适于与本发明的系统一起使用。深度传感器获得位置信息，并且将该信息发送到CPU12，以用于进行如下所述的处理。本领域技术人员已知的是，由深度传感器10提供的软件和驱动器可以用来获得该位置信息。

CPU12中的运动检测软件模块或运动软件18每秒多次从深度传感器10获得所述位置信息，例如操作者相关身体部分（例如手部、头部、足部等）的位置。每个接收到的运动和/或身体位置被跟踪，并且被保存到短的历史的移动文件或数据组。

运动软件可以包括软件，该软件利用由运动软件18检测为身体部分移动的数据以及短的历史的移动数据来推断更加复杂的移动，并且将该数据处理为明显的姿势，例如手部的向前运动、圆周运动或者头部点头。例如，检测手部的线性移动和圆周移动，并且计算参数以定量这些移动。对于每个姿势，运动软件将具体的属性关联起来，这些属性为例如移动的程度、其被捕获的时刻、其速度和/或持续时间等。

通过使用身体跟踪，该系统可以与特定使用者相关联，也就是，从初始构造开始，跟踪使用者的各个移动，并且确保仅仅响应该特定使用者的运动。例如，跟踪身体的位置和移动，并且只要与前一帧的位置的差异足够小，就假定是同一个人在移动。该系统还可以通过采用以深度传感器中的相机进行的脸部检测和/或识别而与特定使用者相关联。该系统可以利用脸部检测和/或识别来在每个状态或位置中检验身体是与识别的脸部相关联的身体。这些技术可以组合，例如，在移动较小时利用身体跟踪，并且在存在不确定性时利用脸部检测和/或识别找出合适的使用者，然后和之前一样继续下去。

运动检测软件模块18还可以包括过滤器，该过滤器可以决定接受哪些运动或移动，应当忽略或过滤哪些不适用的（例如无效的和/或未授权的）运动或移动。无效的（例如不相关的）运动可以是运动检测软件模块18不能接受的运动。例如，如果运动太小或太慢而不能过滤使用者的不可控制的自然移动，那么该运动将是无效或不相关的。未授权的运动为不是合适的使用者执行的运动和/或不是根据预定条件执行的运动。例如，为了安全和/或保险起见，某些运动可能需要物理输入和/或与对应硬件装置的相互作用，例如在特定的手部运动期间和/或在手术期间指定时刻压下脚踏板。在一个实施例中，当使用多个相机并且一个相机具有医师整个身体的视图时，可以确定是否是特定医师提供适当的物理输入。这种安全措施（例如除了所检测的运动之外还需要物理输入）相信手术室中的人不会试图乱动该系统；相反，该安全措施提供额外的安全性，以便在医师/使用者做出一些错误姿势的情况下防止无意中出现的重要功能。

将硬件装置连接到系统可以防止系统进行不期望的动作，如上所述。这在医疗软件中可能是重要的。硬件装置（未示出），例如脚踏板，可以连接到客户端计算机16，该客户端计算机可响应以接收和解释装置的动作，例如脚踏板压下等，并且利用这些动作用于客户端的内部逻辑。硬件装置还可以连接到CPU12，该CPU进行运动检测并且运行该硬件装置的软件，在这种情况下，装置状态可以与所检测的运动一起发送，和/或可以根据装置的状态过滤掉某些运动。

没有过滤掉的运动通过通信介质14发送到客户端计算机16上的通信客户端模块20。通信介质14可以是串行局域网（LAN）、无线LAN（WLAN）、蓝牙、无线连接等。

客户端计算机16接收解释的运动，例如姿势。目标软件模块20确定接收的运动是否有效。无效的运动可以是在目标软件模块20内没有定义的运动。例如，如果

客户端软件模块是活动的，那么朝向屏幕的运动可以被定义以倾斜绘图，但是如果另一个客户端是活动的，那么该朝向屏幕的运动可以不进行定义，使得该运动将会是不合适的或不相关的。此外，无效的运动可以是这样的运动，即其不被允许，除非满足某些预定的条件。例如，当硬件装置连接到客户端计算机时，运动仅仅在其与硬件装置的动作相结合地执行时才可被允许或者可以是有效的；例如，挥手运动可以仅仅当其在硬件装置的脚踏板被压下时执行的情况下才有效。

客户端逻辑，例如目标软件模块20，确定如何响应每个识别的（例如有效的）姿势。例如，如果目标软件模块20是形成并显示三维（3D）绘图的图形软件，那么客户端逻辑能够执行任务，例如旋转绘图、缩放绘图的一部分、倾斜绘图等。因此，客户端软件可以利用其逻辑确定，如果姿势是圆周运动，那么客户端逻辑可以执行旋转绘图的任务，并且如果姿势是推动运动，那么客户端逻辑可以执行使绘图倾斜离开使用者的任务，等等。

为了操作本发明的系统，使用者必须首先获得控制，并且启动无接触操作。为了获得控制，使用者使得系统了解使用者将发送指令。然后，系统响应于如上所述的为不同手势和/或头部和/或其它身体移动的形式的指令。当不再需要控制时或者在一段时间检测不到运动之后，可以释放控制。获得控制可以通过以下方式实现：通过利用聚焦姿势，例如挥手移动或头部移动；或者利用硬件，例如能够在压下时进行控制的脚踏板；或者通过语音命令。

系统所检测的运动不具有固定功能。根据使用者当前正在操作客户端计算机16的功能和模式，系统将含义根据其内容关联到每个姿势、姿态或移动。在一个实施例中，客户端可以是3D绘图系统，其中3D绘图逻辑作为目标软件模块。在这种情况下，例如，当使用者正在以查看模式操作客户端时，头部移动可以使绘图旋转，并且当客户端正在利用快速解剖绘图（FAM）构建3D模型时，头部移动可以使绘图摇动。此外，姿势可以选择3D绘图中的电解剖点或者点列表（其具有包括绘图的所有的点）。

可与姿势相关联的额外的含义可以包括：选择ECG通道和改变其特性（通道的增益）或符号。

在启动无接触控制时刻期间，可以向使用者显示视觉指示。可任选地，在启动和停用无接触控制的情况下可以提供语音指示。

在一个实施例中，不用手的操作可以通过语音输入得到增强，该语音输入可以单独地使用，或者与所检测的运动结合使用。例如，

Kinect具有外围的麦克风，并且可检测所识别的语音传来的方向。这种和/或其它语音识别技术可以用来捕获语音命令，并且选择性地过滤来自使用者的语音命令。语音命令可以与姿势结合。例如，如果本发明与

一起使用，那么使用者可以说“点列表”，然后上下移动他的手部，以滚动这些点，接着握拳以从列表中选择点。在另一个实例中，使用者可以说“点观察”，然后利用运动来选择通道和改变其特性。另外，他可以说“主绘图”或“辅助绘图”，然后利用运动来旋转、缩放和/或摇动该绘图。客户端计算机执行所有的逻辑，以便与最近识别的语音命令结合而决定每个运动的含义。在该实施例的一个版本中，一些命令可以仅仅利用语音命令或仅仅利用姿势来执行，例如，

中点的采集可以仅通过说“采集”而不需要姿势来执行。

图2示出了在一个计算机26中具有CPU和客户端计算机两者的模块的实施例。在图2所示的实施例中的系统具有深度传感器10、语音识别24、运动检测软件模块18和目标软件模块20，具有与图1的那些组成部分相同的功能。然而，在该实施例中，仅仅使用一个计算机26，并且目标软件模块20包括客户端通信模块。本发明并不限于图1或图2的构造。还可以使用多个CPU，每个CPU都具有一个或更多个模块。

图3示出了与系统进行交互的使用者。在图3中，使用者在深度传感器处挥手，该深度传感器检测挥手。根据客户端软件（例如目标软件模块）当前活动的模式来解释使用者的运动（例如挥手）。例如，如果软件处于观察模式，那么挥手可以使绘图旋转，或者如果软件不活动，那么挥手可以将其启动。

图4示出了另一个使用者与系统的交互。在图4中，使用者在深度传感器处握拳，深度传感器检测使用者的手已经形成拳头。如上所述，根据客户端软件当前活动的模式来解释使用者的运动。

图5为本发明方法的流程图。在步骤S1中，使用者通常通过执行运动、语音命令或压下脚踏板来获得无接触控制系统的控制。在步骤S2中，通过深度传感器10检测包括改变位置的移动，并且将该移动传递到CPU12。在步骤S3中，CPU跟踪且保存短的历史的移动和/或位置改变。在步骤S4中，CPU12利用运动软件从根据短的历史接收的运动推断更加复杂的移动或姿势。在步骤S5和S6中执行过滤。在步骤S5中，通过确定移动是否处于预定位置内和/或通过执行面部识别，来确定姿势是否由授权的或合适的使用者执行。如果姿势被确定为由授权的使用者执行（S5=是），那么处理过程继续进行步骤S6，在步骤S6中由CPU验证该姿势。如果姿势是有效的（S6=是），那么其被发送到客户端计算机，并且在步骤S3处重新开始额外的运动跟踪。在步骤S7处，在客户端计算机处的通信客户端模块处接收该姿势。如果活动的目标软件模块识别该姿势（S8=是），那么在步骤S9处，客户端计算机基于推断的姿势根据客户端逻辑或目标软件模块执行装置功能或操作（例如任务）。这些任务包括但不限于，通过缩放、绕轴旋转等来获得3D绘图的不同视角。一旦运动软件将姿势发送到客户端计算机（当S6=是时），运动软件就返回到响应下一个检测的运动和/或身体位置。

在一个实施例中，执行授权的移动还需要确定该移动是否是与硬件诸如另一个装置结合执行的。在该实施例中，授权的移动必须包括由软件推断的复杂的移动以及诸如脚踏板上的踩踏的额外动作两者。该授权可以在步骤S5（当S5=是时）之后且在步骤S6之前执行。

如果所检测的移动没有被授权（S5=否）或者所检测的移动不是有效的（S6=否），那么处理过程继续进行步骤S3。如果不是由客户端软件识别该姿势（S8=否），那么不执行任务。

本发明的系统有利地允许这样执行任务：通过利用头部跟踪操作缩放装置和/或其它运动检测技术，以允许医生或其它系统使用者执行某些动作，同时仍然利用他的两只手进行导管的导航。有利地，该系统可以仅仅针对允许的人员过滤姿势并且发送姿势。这确保了该系统仅仅由期望的人控制。其它人的手势和头部移动以及其它动作可以被忽略。

本发明的各个方面可以实施为包含或存储在计算机或机器可用或可读介质中的程序、软件或计算机指令，其在计算机、处理器、和/或机器上执行时使得计算机或机器执行本方法的步骤。还提供机器可读的程序存储装置，例如计算机可读介质，其有形地包含可由机器执行的指令程序，以执行本公开中所述的各种功能和方法。

本发明的系统和方法可以在通用计算机或专用计算机系统上实施和运行。计算机系统可以是任何类型的已知或将已知的系统，并且通常可以包括处理器、内存装置、存储器装置、输入/输出装置、内部总线和/或通信接口等，该通信接口用于与其它计算机系统通信，所述计算机系统与通信硬件和软件结合。该系统还可以在虚拟计算机系统上实施，该虚拟计算机系统俗称为云。

计算机可读介质为计算机可读存储装置，其可以为例如磁性、光学、电子、电磁、红外或半导体系统、设备或装置、或者上述中任何合适的组合；然而，计算机可读存储装置并不限于这些实例。计算机可读存储装置的其它具体实例可以包括：便携式计算机磁盘、硬盘、磁性存储装置、便携式只读光盘驱动器（CD-ROM）、随机访问存储器（RAM）、只读存储器（ROM）、易擦写可编程只读存储器（EPROM或闪存存储器）、具有一个或更多个线材的电气连接件、光纤、光学存储装置、或者上述中任何合适的组合；然而，计算机可读存储介质也不限于这些实例。通过或结合指令执行系统、设备或装置而可包含或存储使用的程序的任何有形介质可以是计算机可读存储装置。

可以在本申请中使用的术语“计算机系统”和“计算机网络”可以包括固定和/或便携式计算机硬件、软件、外围设备和存储装置的多种组合。计算机系统可以包括多个单独的组成部分，这些组成部分通过网络连接或者以其它方式连接以协作地执行，或者可以包括一个或更多个独立的组成部分。本申请的计算机系统的硬件和软件组成部分可以包括并且可以包括在固定和便携式装置，例如台式机、便携式电脑和/或服务器、以及服务器网络（云）中。模块可以是实施某些“功能”的装置、软件、程序或系统的组成部分，其可以实施为软件、硬件、固件、电路等。

上述实施例为示例性实例，并且不应当认为本发明受限于这些具体实施例。从而，在不脱离所附权利要求限定的本发明的精神或范围的情况下，本领域技术人员可以进行各种变化和修改。

Claims (22)

1.一种用于装置的无接触操作的系统，包括：

用于检测移动的深度传感器；

运动软件模块，所述运动软件模块可操作以从所述深度传感器接收所检测的移动，基于所述检测的移动推断姿势，以及过滤所述姿势以接受适用的姿势；和

客户端软件模块，所述客户端软件模块可操作以在客户端计算机处接收所述适用的姿势，以便基于所述适用的姿势根据客户端逻辑执行任务。

2.根据权利要求1所述的系统，其中所述客户端是绘图装置，并且所述任务是旋转绘图、缩放绘图、倾斜绘图和摇动绘图中的一种。

3.根据权利要求1所述的系统，其中所述移动是头部运动、手部运动和身体运动中的至少一种，并且还基于短的历史来推断所述姿势。

4.根据权利要求1所述的系统，还包括用于使所述检测的移动成为所述适用的姿势的硬件。

5.根据权利要求1所述的系统，其中所述适用的姿势是由利用面部识别而确定被授权的使用者执行的所述检测的移动以及根据所述客户端逻辑的识别的姿势中的一种或更多种。

6.根据权利要求1所述的系统，其中通过确定所述姿势是否是授权的和有效的来过滤所述姿势。

7.根据权利要求1所述的系统，还包括用于在所述客户端计算机处接收所述适用姿势的客户端通信模块。

8.根据权利要求1所述的系统，还包括语音识别，所述语音识别提供语音输入以使得所述客户端能够基于所述语音输入、结合所述适用的姿势来执行所述任务。

9.一种用于装置的无接触操作的方法，包括：

利用深度传感器检测移动；

基于所检测的移动推断姿势；

过滤所述姿势以接受适用的姿势；

在客户端处接收所述适用的姿势；以及

基于所述适用的姿势根据客户端逻辑执行任务。

10.根据权利要求9所述的方法，其中所述客户端是绘图装置，并且所述任务是旋转绘图、缩放绘图、倾斜绘图和摇动绘图中的一种。

11.根据权利要求9所述的方法，其中所述移动是头部运动、手部运动和身体运动中的至少一种，并且还基于短的历史来推断所述姿势。

12.根据权利要求9所述的方法，其中在启动硬件的同时执行所述适用的姿势。

13.根据权利要求9所述的方法，其中所述适用的姿势是由利用面部识别而确定被授权的使用者执行的所述检测的移动。

14.根据权利要求9所述的方法，其中所述适用的姿势是根据所述客户端逻辑的识别的姿势。

15.根据权利要求9所述的方法，还包括利用语音识别提供语音输入的步骤，其中基于所述语音输入、结合所述适用的姿势来完成执行步骤。

16.根据权利要求9所述的方法，过滤所述姿势的步骤包括确定所述姿势是否是授权的和有效的。

17.一种计算机可读存储装置，其存储能够由机器执行的指令程序，以执行用于装置的无接触操作的方法，所述方法包括：

利用深度传感器检测移动；

利用CPU，基于所检测的移动推断姿势；

过滤所述姿势以接受适用的姿势；

在客户端处接收所述适用的姿势；以及

基于所述适用的姿势根据客户端逻辑执行任务。

18.根据权利要求17所述的程序，其中所述客户端是绘图装置，其中所述任务是旋转绘图、缩放绘图、倾斜绘图和摇动绘图中的一种。

19.根据权利要求17所述的程序，其中所述移动是头部运动、手部运动和身体运动中的至少一种。

20.根据权利要求17所述的程序，其中所述适用的姿势是在启动硬件的同时执行的运动以及由利用面部识别而确定被授权的使用者进行的运动中的一种。

21.根据权利要求17所述的程序，过滤所述姿势包括确定所述姿势是否是授权的和有效的。

22.根据权利要求17所述的程序，还包括利用语音识别提供语音输入，其中基于所述语音输入、结合所述适用的姿势来完成执行步骤。

Images