ES2761248T3 - Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad - Google Patents

Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad Download PDF

Info

Publication number
ES2761248T3
ES2761248T3 ES13150838T ES13150838T ES2761248T3 ES 2761248 T3 ES2761248 T3 ES 2761248T3 ES 13150838 T ES13150838 T ES 13150838T ES 13150838 T ES13150838 T ES 13150838T ES 2761248 T3 ES2761248 T3 ES 2761248T3
Authority
ES
Spain
Prior art keywords
gesture
movement
client
applicable
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13150838T
Other languages
English (en)
Inventor
Asaf Merschon
Assaf Govari
Andres Claudio Altmann
Yitzhack Schwartz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Application granted granted Critical
Publication of ES2761248T3 publication Critical patent/ES2761248T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206Generators therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00221Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577Ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00988Means for storing information, e.g. calibration constants, or for preventing excessive use, e.g. usage, service life counter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems

Abstract

Un sistema para el manejo sin contacto de una estación de trabajo del instrumento de ablación que comprende: un sensor de profundidad (10) para detectar un movimiento; un módulo de software de movimiento (18) operable para recibir el movimiento detectado desde el sensor de profundidad (10), deducir un gesto en base al movimiento detectado; y un módulo de software de cliente (20) operable para recibir el gesto aplicable en un ordenador cliente (16) en la estación de trabajo del instrumento de ablación para realizar una tarea de acuerdo con la lógica del cliente en base al gesto aplicable, caracterizado porque el módulo de software de cliente es operable para permitir que un usuario específico controle dicha tarea solo después de presionar un pedal conectado al ordenador del cliente, después de recibir un comando de voz, o después de recibir un gesto de enfoque, y además operable para filtrar el gesto para aceptar un gesto aplicable determinando si dicho gesto es realizado por dicho usuario específico mediante el seguimiento del cuerpo para determinar si el movimiento está dentro de una ubicación del cuerpo prevista y/o realizando reconocimiento facial.

Description

DESCRIPCIÓN
Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad CAMPO DE LA INVENCIÓN
La presente invención se refiere de manera general al manejo sin contacto de dispositivos de quirófano mediante el uso de sensores de profundidad y, en algunas situaciones, el reconocimiento de voz.
ANTECEDENTES DE LA INVENCIÓN
En una quirófano, el médico necesita permanecer estéril; por lo tanto, él o ella no pueden acceder físicamente a un ordenador para recibir asistencia durante la cirugía. Por consiguiente, cualquier tarea que el médico quiera realizar usando aplicaciones informáticas en dispositivos de quirófano, como una estación de trabajo del instrumento de ablación, debe ser realizada por otro. Es necesario que el médico sea capaz de manejar estos dispositivos sin tocar físicamente el dispositivo o sus accesorios, por ejemplo, su teclado, pantalla, mouse, etc. Los documentos WO 2009/137688 A2, US 2010/013764 A1, US 2010/231509 A1 y WO 2011/123669 A1 divulgan la técnica anterior relacionada.
SUMARIO DE LA INVENCIÓN
Se presenta un sistema inventivo y un dispositivo de almacenamiento legible por ordenador que almacena un programa de instrucciones ejecutables por una máquina para realizar un método para el manejo sin contacto de una estación de trabajo del instrumento de ablación. El sistema comprende un sensor de profundidad para detectar un movimiento, un módulo de software de movimiento operable para recibir el movimiento detectado desde el sensor de profundidad, deducir un gesto en base al movimiento detectado y filtrar el gesto para aceptar un gesto aplicable, y un módulo de software cliente manejable para recibir el gesto aplicable en un ordenador cliente en o asociado con la estación de trabajo del instrumento de ablación para realizar una tarea de acuerdo con la lógica del cliente basada en el gesto aplicable.
En un aspecto, la tarea es cambiar la configuración de potencia de uno o más electrodos, cambiar la temperatura máxima permitida para uno o más electrodos, cambiar el modo de ablación entre unipolar y bipolar, seleccionar y deseleccionar electrodos para la ablación. En un aspecto, el movimiento es por lo menos uno de un movimiento de la cabeza, un movimiento de la mano y un movimiento del cuerpo y el gesto se deduce adicionalmente en base a un historial corto. En un aspecto, el sistema comprende además hardware para hacer que el movimiento detectado sea un gesto aplicable. En un aspecto, el gesto aplicable es uno o más del movimiento detectado realizado por un usuario que se determina que está autorizado usando reconocimiento facial, y un gesto reconocido de acuerdo con la lógica del cliente. En un aspecto, el filtrado del gesto se realiza determinando si el gesto está autorizado y es válido. En un aspecto, el sistema comprende además un módulo de comunicación de cliente para recibir el gesto de aplicación en el ordenador cliente. En un aspecto, el sistema comprende además el reconocimiento de voz que proporciona entrada de voz para permitir que el cliente realice la tarea en base a la entrada de voz junto con el gesto aplicable.
Un dispositivo de almacenamiento legible por ordenador que almacena un programa de instrucciones ejecutables por una máquina para realizar un método para el manejo sin contacto de una estación de trabajo del instrumento de ablación comprende detectar un movimiento usando un sensor de profundidad, deducir, usando una CPU, un gesto en base al movimiento detectado, filtrar el gesto para aceptar un gesto aplicable, recibir el gesto aplicable en un cliente en la estación de trabajo del instrumento de ablación y realizar una tarea de acuerdo con la lógica de cliente en base al gesto aplicable.
La invención se define por el alcance de las reivindicaciones independientes adjuntas 1 y 5. Otras realizaciones preferidas se divulgan en las reivindicaciones dependientes.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
La presente invención se entenderá más completamente a partir de la siguiente descripción detallada de las realizaciones de la misma, tomada junto con los dibujos. A continuación se describen con detalle características adicionales, así como la estructura y el funcionamiento de varias realizaciones con referencia a los dibujos acompañantes. En los dibujos, números de referencia similares indican elementos idénticos o funcionalmente similares.
La Figura 1 es un diagrama de bloques de una realización del sistema de la invención.
La Figura 2 es un diagrama de bloques de otra realización del sistema de la invención.
La Figura 3 es un diagrama de flujo del método de la invención, almacenado en un dispositivo de almacenamiento legible por ordenador.
DESCRIPCIÓN DETALLADA
Se presenta una técnica inventiva para el manejo sin contacto de una estación de trabajo de ablación. De acuerdo con esta nueva tecnología, una persona puede realizar las funciones de la estación de trabajo de ablación sin tocar ningún aparato informático, por ejemplo, un monitor, un teclado, un ratón, etc.
Como se muestra en la Figura 1, el sistema en una realización comprende varios componentes que incluyen un sensor de profundidad 10, un ordenador o CPU 12, un medio de comunicación 14 y un ordenador cliente 16 que es parte de la estación de trabajo de ablación. Un módulo de software de detección de movimiento 18 puede residir en la CPU 12. El ordenador cliente 16 puede controlar un módulo de software de objetivo 20. Un módulo de cliente de comunicación 22 puede residir en el ordenador cliente 16. En una realización, el sistema también puede incluir reconocimiento de voz, como un micrófono o una matriz de micrófonos 28.
El sensor de profundidad 10 incluye típicamente una cámara con reconocimiento de profundidad que no solo graba imágenes sino que también registra profundidad, permitiendo la representación en 3D de las imágenes grabadas. Como sabe un experto en la técnica, un sensor de profundidad está conectado a un ordenador que usa el mapa de profundidad del sensor para deducir el movimiento, por ejemplo, gestos con las manos, posturas y posiciones de un usuario. En un entorno médico, el usuario puede ser el operador del sistema, generalmente un médico. En una realización de la presente invención, el sensor de profundidad hace un seguimiento de los movimientos de la cabeza y de las manos. En otra realización, el sensor de profundidad hace un seguimiento no solo de las manos y la cabeza sino también de la ubicación general del cuerpo, como el movimiento hacia y/o lejos de la pantalla o monitor del ordenador. En una realización, el sensor de profundidad 10 puede implementarse usando módulos o middleware como Microsoft® Kinect, ASUS® Xtion PRO o ASUS® Xtion PRO LIVE. Puede usarse más de un sensor de profundidad en paralelo para ampliar el manejo de la oclusión, el campo de visión y la precisión. Cualquier sensor, como una cámara que pueda proporcionar un mapa de profundidad con suficiente detalle en tiempo real, puede ajustarse para su uso con el sistema de la invención. El sensor de profundidad obtiene información de la ubicación y envía esta información a la CPU 12 para su procesamiento como se describe a continuación. Como es conocido por un experto en la técnica, pueden usarse software y un controlador proporcionado por el sensor de profundidad 10 para obtener esta información de ubicación.
El módulo de software de detección de movimiento o el software de movimiento 18 en la CPU 12 obtiene la información de la ubicación, como las ubicaciones de las partes corporales relevantes del operador, por ejemplo, manos, cabeza, pies, etc., unas pocas veces por segundo, del sensor de profundidad 10. Cada movimiento recibido y/o ubicación en el cuerpo es seguida y guardada a un breve historial de archivo de movimientos o conjunto de datos.
El software de movimiento puede incluir un software que usa los datos detectados como movimientos de las partes del cuerpo del software de movimiento 18 junto con el breve historial de datos de movimientos para deducir movimientos más complejos y procesar los datos en gestos significativos, como un movimiento hacia adelante, un movimiento circular de la mano, o un guiño con la cabeza. Por ejemplo, se detectan movimientos lineales y/o circulares de la mano y se calculan los parámetros para cuantificar estos movimientos. El software de movimiento asocia atributos particulares, como la extensión del movimiento, el momento en el que fue capturado, su velocidad y/o duración, etc., con cada gesto.
El sistema puede asociarse con un usuario específico mediante el seguimiento del cuerpo, es decir, a partir de una configuración inicial, el seguimiento de los movimientos individuales de un usuario y garantizando que solo se responda a los movimientos de ese usuario específico. Por ejemplo, se hace un seguimiento de las ubicaciones del cuerpo y los movimientos, y siempre que las diferencias con respecto a las ubicaciones en el cuadro anterior sean lo suficientemente pequeñas, se supone que los movimientos son de la misma persona. El sistema también puede asociarse con un usuario específico empleando detección y/o reconocimiento de caras con la cámara en el sensor de profundidad. El sistema puede usar la detección y/o reconocimiento de caras para verificar que el cuerpo es el asociado con la cara reconocida en cada estado o posición. Estas técnicas pueden combinarse, por ejemplo, usando el seguimiento del cuerpo mientras los movimientos son pequeños y, cuando hay incertidumbre, usando la detección y/o reconocimiento de caras para encontrar al usuario correcto, y luego continuar como antes.
El módulo de software de detección de movimiento 18 también puede incluir un filtro que puede decidir qué gestos o movimientos aceptar y cuáles deben ignorarse o filtrarse como no aplicables, por ejemplo, inválidos y/o no autorizados. Un movimiento no válido, por ejemplo irrelevante, puede ser un movimiento que no es aceptable para el Módulo del software de detección de movimiento 18.Por ejemplo, si un movimiento es demasiado pequeño o lento para filtrar movimientos naturales incontrolables del usuario, entonces este movimiento sería inválido o irrelevante. Un movimiento no autorizado es un movimiento que no es realizado por el usuario apropiado y/o no realizado de acuerdo con condiciones predeterminadas. Por ejemplo, para seguridad y/o seguridad, ciertos movimientos pueden requerir entrada física y/o interacción con un dispositivo de hardware correspondiente, como presionar un pedal durante un movimiento de la mano particular y/o en un momento dado durante el procedimiento. En una realización, cuando se usan múltiples cámaras y una cámara tiene una vista del cuerpo completo del médico, podría determinarse si el médico específico proporcionó la entrada física apropiada. Esta medida de seguridad, por ejemplo, que requiere una entrada física además de los movimientos detectados, confía en que las personas en la sala no estén tratando de alterar el sistema; en cambio, la medida de seguridad proporciona seguridad extra para evitar que las funciones críticas sucedan sin querer, en caso de que el médico/usuario haga algún gesto por error.
Conectar un dispositivo de hardware al sistema puede evitar acciones no deseadas por parte del sistema, como se ha indicado anteriormente. Esto puede ser crítico en el software médico. El dispositivo de hardware (no mostrado), por ejemplo, un pedal, podría conectarse al ordenador del cliente 16 y/o la estación de trabajo del instrumento de ablación, que es responsable de recibir e interpretar las acciones del dispositivo, por ejemplo, presionar el pedal, etc., y usar estas acciones para la lógica interna del cliente. El dispositivo de hardware también podría conectarse a la CPU 12 haciendo la detección de movimiento y su software, en cuyo caso el estado del dispositivo podría enviarse con los movimientos detectados y/o algunos movimientos podrían filtrarse de acuerdo con el estado del dispositivo.
Los movimientos no filtrados se envían a través del medio de comunicación 14 al módulo del cliente de comunicaciones 20 en el ordenador del cliente 16. El medio de comunicación 14 puede ser una serie, red de área local (LAN), LAN inalámbrica (WLAN), Bluetooth, inalámbrica, etc.
El ordenador cliente 16 recibe los movimientos interpretados, por ejemplo, el gesto. El módulo de software de objetivo 20 determina si el movimiento recibido es válido. Un movimiento no válido puede ser un movimiento que no está definido en el módulo de software de objetivo destino 20. Por ejemplo, cuando un módulo de software del cliente está activo, puede definirse un movimiento hacia la pantalla para cambiar el modo a unipolar, pero si otro cliente estuviera activo, este movimiento hacia la pantalla podría no estar definido de tal manera que este movimiento sería inapropiado o irrelevante Además, un movimiento inválido puede ser uno que no está permitido a menos que se cumplan ciertas condiciones previas. Por ejemplo, cuando un dispositivo de hardware está conectado al ordenador del cliente, puede permitirse o validar un movimiento solo cuando se realiza junto con una acción del dispositivo de hardware; por ejemplo, un movimiento ondulatorio solo puede ser válido cuando se realiza mientras se presiona el pedal de un dispositivo de hardware.
La lógica de cliente, por ejemplo, el módulo de software de objetivo 20, determina cómo responder a cada gesto reconocido, por ejemplo, válido. El módulo de software de objetivo 20 está asociado con la estación de trabajo del instrumento de ablación y la lógica del cliente puede realizar tareas como cambiar la configuración de energía, seleccionar y deseleccionar electrodos, cambiar la temperatura máxima permitida por electrodo, etc. En consecuencia, el software de cliente puede determinar, usando su lógica, que si el gesto es un puño, la lógica del cliente puede realizar la tarea de seleccionar un electrodo, y si el gesto es un movimiento hacia arriba de la mano, la lógica de cliente puede realizar la tarea de aumentar la temperatura del electrodo seleccionado.
Para manejar el sistema de la invención, el usuario primero debe obtener primero el control y activar el funcionamiento sin contacto. Para obtener el control, el usuario hace que el sistema reconozca que enviará instrucciones. Luego, el sistema responde a las instrucciones que, como se ha tratado anteriormente, son en forma de diferentes gestos con las manos y/o movimientos de la cabeza y/u otros movimientos del cuerpo. El control puede liberarse cuando ya no se necesita o después de que se detecta un período de inmovilidad. Se puede lograr el control usando un gesto de enfoque, por ejemplo, un saludo con la mano o movimiento de la cabeza, o usando hardware, como un pedal que permite el control mientras se presiona, o mediante un comando de voz.
Los movimientos detectados por el sistema no tienen funciones fijas. El sistema asocia el significado a cada gesto, pose o movimiento según su contexto de acuerdo con la función y el modo en el que el usuario está manejando actualmente el ordenador cliente 16. Por ejemplo, mientras el usuario está manejando el cliente en modo de selección, un movimiento de cabeza puede cambiar el modo de unipolar a bipolar y viceversa.
Durante el tiempo que está activado el control sin contacto, puede mostrarse una indicación visual al usuario. Opcionalmente, puede proporcionarse una indicación audible tras la activación y desactivación del control sin contacto.
En una realización, el funcionamiento de manos libres puede aumentarse con entrada de voz que podría usarse por separado o junto con movimientos detectados. Microsoft® Kinect, por ejemplo, tiene micrófonos periféricos y puede detectar la dirección de donde vino la voz reconocida. Pueden usarse esta y/u otras técnicas de reconocimiento de voz para capturar comandos de voz y filtrar selectivamente los comandos de voz del usuario. Los comandos de voz pueden combinarse con los gestos. Por ejemplo, el usuario podría decir "Potencia del instrumento de ablación" y luego mover su mano hacia arriba y hacia abajo para controlar la potencia. En otro ejemplo, el usuario podría decir "temperatura del instrumento de ablación" y luego mover su mano hacia arriba y hacia abajo para controlar los ajustes de temperatura. Otro ejemplo más podría ser el usuario que dice "electrodos del instrumento de ablación", y el movimiento de la mano hacia la izquierda y hacia la derecha resaltaría los controles del electrodo en la pantalla y un "presionar hacia adelante" alternará la selección. En otro ejemplo, el usuario podría decir "electrodos del instrumento de ablación ninguno/pares/impares/todos" lo que seleccionará o deseleccionará los electrodos apropiadamente. El ordenador cliente realiza toda la lógica al decidir qué significa cada movimiento junto con el comando de voz reconocido más recientemente. En una versión de esta realización, algunos comandos pueden realizarse mediante el uso de comandos de voz o solo gestos, por ejemplo, la configuración del modo de ablación puede realizarse simplemente diciendo "instrumento de ablación bipolar" o "instrumento de ablación unipolar" sin la necesidad de un gesto.
La Figura 2 muestra una realización que tiene módulos de tanto la CPU como el ordenador cliente en una estación de trabajo 26. El sistema en la realización mostrada en la Figura 2 tiene el sensor de profundidad 10, reconocimiento de voz 24, módulo de software de detección de movimiento 18 y módulo de software de objetivo 20, que tienen la misma funcionalidad que esos componentes en la Figura 1. Sin embargo, en esta realización, solo se usa una estación de trabajo 26 y el módulo de software de objetivo 20 contiene un módulo de comunicación con el cliente. La invención no está limitada a la configuración de la Figura 1 o Figura 2. También pueden usarse varias CPU, cada una con uno o más módulos.
La Figura 3 es un diagrama de flujo del método inventivo. En el paso S1, el usuario obtiene el control del sistema de control sin contacto, típicamente realizando un movimiento, un comando de voz o presionando un pedal. En el paso S2, el sensor de profundidad 10 detecta el movimiento, incluyendo el cambio de ubicación, y lo transmite a la CPU 12. En el paso S3, la CPU hace un seguimiento y guarda un breve historial de los movimientos y/o cambios de ubicación. En el paso S4, la CPU 12 usa el software de movimiento para deducir, a partir del movimiento recibido de acuerdo con el breve historial, un movimiento o gesto más complejo. En los pasos S5 y S6, se realiza el filtrado. En el paso S5, se determina si el gesto ha sido realizado por el usuario autorizado o apropiado determinando si el movimiento está dentro de una ubicación prevista y/o realizando reconocimiento facial. Si se determina que el gesto es del usuario autorizado (S5=SÍ), el procesamiento continúa en el paso S6, donde la CPU valida el gesto. Si el gesto es válido (S6=SÍ), se envía al ordenador cliente y el seguimiento de movimiento adicional se reanuda en el paso S3. En el paso S7, el gesto se recibe en el módulo del cliente de comunicación en el ordenador cliente. Si el módulo de software de objetivo activo reconoce el gesto (S8=SÍ), entonces, en el paso S9, el ordenador cliente realiza una función u operación del dispositivo, por ejemplo, una tarea, en la estación de trabajo del instrumento de ablación de acuerdo con la lógica del cliente o el módulo de software de objetivo, en base al gesto deducido. Estas tareas incluyen, pero no están limitadas a, cambiar la configuración de potencia de uno o más electrodos, cambiar la temperatura máxima permitida para uno o más electrodos, cambiar el modo de ablación (unipolar o bipolar), seleccionar y deseleccionar electrodos para el instrumento de ablación, etc. Una vez que el software de movimiento envía el gesto al ordenador cliente (cuando S6=SÍ), el software de movimiento vuelve a responder al siguiente movimiento detectado y/o ubicación del cuerpo.
En una realización, realizar un movimiento autorizado también requiere determinar si el movimiento se realiza junto con hardware como otro dispositivo. En esta realización, un movimiento autorizado debe incluir tanto un movimiento complejo deducido por el software como una acción adicional, como pisar un pedal. Esta autorización puede realizarse después del paso S5, cuando S5=SÍ, y antes del paso S6.
Si el movimiento detectado no está autorizado (S5=NO) o el movimiento detectado no es válido (S6=NO), el procesamiento continúa en el paso S3. Si el gesto no es reconocido por el software del cliente (S8=NO), entonces no se realiza ninguna tarea.
El sistema de la invención permite ventajosamente realizar tareas mediante un dispositivo de quirófano usando seguimiento de la cabeza y/u otras técnicas de detección de movimiento que permiten al doctor u otro usuario del sistema realizar ciertas acciones mientras está usando todavía por lo menos una de sus manos para la navegación del catéter. Beneficiosamente, el sistema puede filtrar y reenviar gestos solo para el personal autorizado. Esto asegura que el sistema solo sea controlado por las personas previstas. Los gestos con las manos y los movimientos de la cabeza y otras acciones de otras personas pueden ignorarse.
Varios aspectos de la presente divulgación pueden realizarse como un programa, software o instrucciones informáticas incorporadas o almacenadas en un ordenador o medio utilizable o legible por máquina, lo que hace que el ordenador o máquina realice los pasos del método cuando se ejecuta en el ordenador, procesador y/o máquina. También se proporciona un dispositivo de almacenamiento de programas legible por una máquina, por ejemplo, un medio legible por ordenador, que incorpora tangiblemente un programa de instrucciones ejecutables por la máquina para realizar varias funcionalidades y métodos descritos en la presente divulgación.
El sistema y el método de la presente divulgación pueden implementarse y ejecutarse en un ordenador de propósito general o un sistema de ordenador de propósito especial. El sistema informático puede ser cualquier tipo de sistemas conocidos o que se conocerán, y puede incluir típicamente un procesador, dispositivo de memoria, dispositivo de almacenamiento, dispositivos de entrada/salida, buses internos y/o una interfaz de comunicaciones para comunicarse con otros sistemas informáticos junto con hardware y software de comunicación, etc. El sistema también puede implementarse en un sistema informático virtual, conocido coloquialmente como una nube.
El medio legible por ordenador es un dispositivo de almacenamiento legible por ordenador, que puede ser, por ejemplo, un sistema, aparato o dispositivo magnético, óptico, electrónico, electromagnético, infrarrojo o semiconductor, o cualquier combinación adecuada de los anteriores; sin embargo, el dispositivo de almacenamiento legible por ordenador no está limitado a estos ejemplos. Ejemplos particulares adicionales del dispositivo de almacenamiento legible por ordenador pueden incluir: un disquete de ordenador portátil, un disco duro, un dispositivo de almacenamiento magnético, una memoria de solo lectura de disco compacto portátil (CD-ROM), una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), una memoria de solo lectura programable y borrable (EPROM o memoria Flash), una conexión eléctrica que tiene uno o más cables, una fibra óptica, un dispositivo de almacenamiento óptico, o cualquier combinación apropiada de los anteriores; sin embargo, el medio de almacenamiento legible por ordenador tampoco está limitado a estos ejemplos. Cualquier medio tangible que pueda contener o almacenar un programa para su uso por o en conexión con un sistema, aparato o dispositivo de ejecución de ejecución de instrucciones podría ser un dispositivo de almacenamiento legible por ordenador.
Los términos "sistema informático" y "red informática" que pueden usarse en la presente solicitud pueden incluir una variedad de combinaciones de hardware, software, periféricos y dispositivos informáticos de almacenamiento fijos y/o portátiles. El sistema informático puede incluir una pluralidad de componentes individuales que están conectados en red o enlazados de otro modo para funcionar colaborativamente, o puede incluir uno o más componentes independientes. Los componentes de hardware y software del sistema informático de la presente solicitud pueden incluir y pueden incluirse dentro de dispositivos fijos y portátiles como ordenadores de escritorio, ordenadores portátiles y/o servidores, y redes de servidores (nube). Un módulo puede ser un componente de un dispositivo, software, programa o sistema que implementa alguna "funcionalidad", que puede incorporarse como software, hardware, firmware, circuitos electrónicos, etc.
Las realizaciones descritas anteriormente son ejemplos ilustrativos y no debe interpretarse que la presente invención está limitada a estas realizaciones particulares. Por tanto, un experto en la técnica puede realizar diversos cambios y modificaciones sin apartarse del alcance de la invención como se define en las reivindicaciones adjuntas.

Claims (13)

REIVINDICACIONES
1. Un sistema para el manejo sin contacto de una estación de trabajo del instrumento de ablación que comprende:
un sensor de profundidad (10) para detectar un movimiento;
un módulo de software de movimiento (18) operable para recibir el movimiento detectado desde el sensor de profundidad (10), deducir un gesto en base al movimiento detectado; y
un módulo de software de cliente (20) operable para recibir el gesto aplicable en un ordenador cliente (16) en la estación de trabajo del instrumento de ablación para realizar una tarea de acuerdo con la lógica del cliente en base al gesto aplicable,
caracterizado porque el módulo de software de cliente es operable para permitir que un usuario específico controle dicha tarea solo después de presionar un pedal conectado al ordenador del cliente, después de recibir un comando de voz, o después de recibir un gesto de enfoque,
y además operable para filtrar el gesto para aceptar un gesto aplicable determinando si dicho gesto es realizado por dicho usuario específico mediante el seguimiento del cuerpo para determinar si el movimiento está dentro de una ubicación del cuerpo prevista y/o realizando reconocimiento facial.
2. El sistema de acuerdo con la reivindicación 1, que comprende además hardware para hacer que el movimiento detectado sea el gesto aplicable.
3. El sistema de acuerdo con la reivindicación 1, que comprende además un módulo de comunicación de cliente para recibir el gesto de aplicación en el ordenador cliente.
4. El sistema de acuerdo con la reivindicación 1, que comprende además reconocimiento de voz que proporciona entrada de voz para permitir que el cliente realice la tarea en base a la entrada de voz junto con el gesto aplicable.
5. Un dispositivo de almacenamiento legible por ordenador que almacena un programa de instrucciones ejecutables por una máquina para realizar un método para el manejo sin contacto de una estación de trabajo del instrumento de ablación, el método comprendiendo:
recibir una indicación de que se ha presionado un pedal, se ha recibido un comando de voz o se ha detectado un gesto de enfoque para asociar la estación de trabajo con un usuario específico;
detectar un movimiento usando un sensor de profundidad;
deducir un gesto en base al movimiento detectado usando una CPU;
caracterizado porque
filtrar el gesto para aceptar un gesto aplicable determinando si dicho gesto es realizado por dicho usuario específico usando el seguimiento del cuerpo para determinar si el movimiento está dentro de una ubicación corporal prevista y/o realizando reconocimiento facial;
recibir el gesto correspondiente en un cliente en la estación de trabajo del instrumento de ablación; y realizar una tarea de acuerdo con la lógica del cliente en base al gesto aplicable.
6. El sistema de acuerdo con la reivindicación 1 o el dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, en donde la tarea es una de cambiar la configuración de potencia de uno o más electrodos, cambiar la temperatura máxima permitida para uno o más electrodos, cambiar el modo de ablación, seleccionar el uno o más electrodos para ablación y deseleccionar el uno o más electrodos para ablación.
7. El sistema de acuerdo con la reivindicación 1 o el dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, en el que el movimiento es por lo menos uno de un movimiento de la cabeza, un movimiento de la mano y un movimiento del cuerpo y el gesto se deduce adicionalmente en base a un breve historial.
8. El dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, en donde el gesto aplicable se realiza mientras el hardware está activado.
9. El dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, que comprende además un paso de proporcionar entrada de voz usando reconocimiento de voz, en donde el paso de realización se hace en base a la entrada de voz junto con el gesto aplicable.
10. El dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, en donde el paso de filtrar el gesto comprende determinar si el gesto está autorizado y es válido.
11. El dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, en donde el movimiento es por lo menos uno de un movimiento de la cabeza, un movimiento de la mano y un movimiento del cuerpo.
12. El dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, en donde el gesto aplicable es uno de un movimiento realizado mientras el hardware está activado, y un movimiento por un usuario que se determina que está autorizado usando reconocimiento facial.
13. El dispositivo de almacenamiento legible por ordenador de acuerdo con la reivindicación 5, en donde filtrar el gesto comprende determinar si el gesto está autorizado y es válido.
ES13150838T 2012-01-11 2013-01-10 Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad Active ES2761248T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/347,987 US9931154B2 (en) 2012-01-11 2012-01-11 Touch free operation of ablator workstation by use of depth sensors

Publications (1)

Publication Number Publication Date
ES2761248T3 true ES2761248T3 (es) 2020-05-19

Family

ID=47594531

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13150838T Active ES2761248T3 (es) 2012-01-11 2013-01-10 Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad

Country Status (9)

Country Link
US (4) US9931154B2 (es)
EP (2) EP2614788B1 (es)
JP (1) JP6195713B2 (es)
CN (2) CN103207671A (es)
AU (1) AU2013200053B2 (es)
CA (1) CA2801493C (es)
DK (1) DK2614788T3 (es)
ES (1) ES2761248T3 (es)
IL (1) IL224097B (es)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9241768B2 (en) 2008-03-27 2016-01-26 St. Jude Medical, Atrial Fibrillation Division, Inc. Intelligent input device controller for a robotic catheter system
US8641663B2 (en) 2008-03-27 2014-02-04 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system input device
US9161817B2 (en) 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8343096B2 (en) 2008-03-27 2013-01-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
WO2009120982A2 (en) 2008-03-27 2009-10-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system with dynamic response
US8684962B2 (en) 2008-03-27 2014-04-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter device cartridge
US8317744B2 (en) 2008-03-27 2012-11-27 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter manipulator assembly
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9330497B2 (en) 2011-08-12 2016-05-03 St. Jude Medical, Atrial Fibrillation Division, Inc. User interface devices for electrophysiology lab diagnostic and therapeutic equipment
US9888973B2 (en) 2010-03-31 2018-02-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
WO2013109525A1 (en) * 2012-01-20 2013-07-25 Sly Ward Use of human input recognition to prevent contamination
US20140009372A1 (en) * 2012-07-05 2014-01-09 Zone24X7 Inc. Failsafe content presentation for electronic signage applications
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US9436287B2 (en) * 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US20140358684A1 (en) * 2013-06-03 2014-12-04 Cloudwear, Inc. System for communicating primary and supplemental advertiser information using a server
DE102013108114B4 (de) * 2013-07-30 2015-02-12 gomtec GmbH Eingabevorrichtung zur Gestensteuerung mit Schutzeinrichtung
US9766855B2 (en) * 2013-09-10 2017-09-19 Avigilon Corporation Method and apparatus for controlling surveillance system with gesture and/or audio commands
US9640198B2 (en) * 2013-09-30 2017-05-02 Biosense Webster (Israel) Ltd. Controlling a system using voiceless alaryngeal speech
DE102013110847B3 (de) * 2013-10-01 2015-01-22 gomtec GmbH Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
US20150199017A1 (en) * 2014-01-10 2015-07-16 Microsoft Corporation Coordinated speech and gesture input
JP6371402B2 (ja) * 2014-02-12 2018-08-08 ノキア テクノロジーズ オサケユイチア 装置のファームウェアを更新するための方法および装置
CN103978487B (zh) * 2014-05-06 2017-01-11 宁波易拓智谱机器人有限公司 一种基于手势的通用机器人末端位置的操控方法
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
US10045825B2 (en) 2015-09-25 2018-08-14 Karl Storz Imaging, Inc. Partial facial recognition and gaze detection for a medical system
US11026712B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Surgical instruments comprising a shifting mechanism
CN108908372A (zh) * 2018-08-13 2018-11-30 四川桑瑞思环境技术工程有限公司 一种巡检系统
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11696791B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Surgical instrument utilizing drive signal to power secondary function
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11218822B2 (en) * 2019-03-29 2022-01-04 Cilag Gmbh International Audio tone construction for an energy module of a modular energy system
US11107236B2 (en) 2019-04-22 2021-08-31 Dag Michael Peter Hansson Projected augmented reality interface with pose tracking for directing manual processes
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6368269B1 (en) 1993-05-20 2002-04-09 Tilane Corporation Apparatus for concurrent actuation of multiple foot pedal operated switches
US6243683B1 (en) 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
JP2000347692A (ja) 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 人物検出方法、人物検出装置及びそれを用いた制御システム
WO2001082811A1 (en) * 2000-04-27 2001-11-08 Medtronic, Inc. System and method for assessing transmurality of ablation lesions
US7110580B2 (en) * 2000-05-19 2006-09-19 Nextgenid, Inc. Distributed biometric access control method and apparatus
JP2004213087A (ja) * 2002-12-26 2004-07-29 Toshiba Corp 個人認証装置および個人認証方法
EP1853167A2 (en) 2005-02-18 2007-11-14 Koninklijke Philips Electronics N.V. Automatic control of a medical device
ES2262423B1 (es) 2005-02-18 2007-11-16 Manuel Fernandez Guerrero Sistema de activacion y desactivacion automatica de radiacion ionizante controlado por la mirada del operador.
US7346425B2 (en) * 2005-04-27 2008-03-18 Toshiba Kikai Kabushiki Kaisha Control device for use in injection molding machine
US8411034B2 (en) * 2009-03-12 2013-04-02 Marc Boillot Sterile networked interface for medical systems
WO2007127338A2 (en) 2006-04-27 2007-11-08 Bruce Reiner Apparatus and method for utilizing biometrics in medical applications
EP2153377A4 (en) 2007-05-04 2017-05-31 Qualcomm Incorporated Camera-based user input for compact devices
US20080319507A1 (en) * 2007-06-25 2008-12-25 Reliant Technologies, Inc. Tissue Treatment Device and Method of Restricting Use of Device
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
EP2291815A2 (en) 2008-05-07 2011-03-09 Carrot Medical Llc Integration system for medical instruments with remote control
US8315876B2 (en) 2008-05-09 2012-11-20 Plantronics, Inc. Headset wearer identity authentication with voice print or speech recognition
US20100013812A1 (en) 2008-07-18 2010-01-21 Wei Gu Systems for Controlling Computers and Devices
US20100053187A1 (en) * 2008-09-04 2010-03-04 Nokia Corporation Method, Apparatus, and Computer Readable Medium for Editing an Avatar and Performing Authentication
US8903475B2 (en) 2009-03-08 2014-12-02 Oprobe, Llc Multi-function optical probe system for medical and veterinary applications
WO2010124285A1 (en) 2009-04-24 2010-10-28 Medtronic Inc. Electromagnetic navigation of medical instruments for cardiothoracic surgery
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
KR101626159B1 (ko) 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
US9888973B2 (en) 2010-03-31 2018-02-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
JP2011232964A (ja) 2010-04-28 2011-11-17 Casio Comput Co Ltd 電気機器、及びその制御方法とプログラム
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US20120089392A1 (en) 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US8635560B2 (en) * 2011-01-21 2014-01-21 Blackberry Limited System and method for reducing power consumption in an electronic device having a touch-sensitive display
US9626498B2 (en) * 2011-12-15 2017-04-18 France Telecom Multi-person gestural authentication and authorization system and method of operation thereof

Also Published As

Publication number Publication date
JP6195713B2 (ja) 2017-09-13
CA2801493A1 (en) 2013-07-11
AU2013200053B2 (en) 2015-09-03
US20180271583A1 (en) 2018-09-27
CA2801493C (en) 2020-05-05
US20180140348A1 (en) 2018-05-24
JP2013143149A (ja) 2013-07-22
CN103207671A (zh) 2013-07-17
IL224097B (en) 2019-01-31
US20130176220A1 (en) 2013-07-11
EP2614788B1 (en) 2019-09-25
US10052147B2 (en) 2018-08-21
US11020165B2 (en) 2021-06-01
EP3586777A1 (en) 2020-01-01
US9931154B2 (en) 2018-04-03
DK2614788T3 (da) 2019-11-11
US20200261143A1 (en) 2020-08-20
US10653472B2 (en) 2020-05-19
AU2013200053A1 (en) 2013-07-25
CN111513843A (zh) 2020-08-11
EP2614788A1 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
ES2761248T3 (es) Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad
JP6306236B2 (ja) 奥行きセンサーの使用による装置のタッチフリー操作
US20200046439A1 (en) Detection of unintentional movement of a user interface device
JP6221224B2 (ja) ロボットシステム、プログラム、生産システム及びロボット
KR20180080630A (ko) 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
Jacob et al. Gestonurse: a multimodal robotic scrub nurse
EP3147805B1 (en) Partial facial recognition and gaze detection for a medical system
US20220202515A1 (en) Operating mode control systems and methods for a computer-assisted surgical system
US10992857B2 (en) Input control device, input control method, and operation system
US20210030498A1 (en) Robotic surgical systems with user engagement monitoring
KR101727220B1 (ko) 환자 테이블의 비접촉 제어를 위한 디바이스 및 방법
Yip et al. Development of an eye-gaze controlled interface for surgical manipulators using eye-tracking glasses
CN110472396B (zh) 一种体感手势触控方法、系统、平台及存储介质
US20180356895A1 (en) Determining and evaluating data representing an action to be performed by a robot
JP2011227828A (ja) 情報処理装置、その処理方法及びプログラム