ES2705531T3 - Sistema con integración de interfaz de usuario 3D - Google Patents

Sistema con integración de interfaz de usuario 3D Download PDF

Info

Publication number
ES2705531T3
ES2705531T3 ES11847582T ES11847582T ES2705531T3 ES 2705531 T3 ES2705531 T3 ES 2705531T3 ES 11847582 T ES11847582 T ES 11847582T ES 11847582 T ES11847582 T ES 11847582T ES 2705531 T3 ES2705531 T3 ES 2705531T3
Authority
ES
Spain
Prior art keywords
portable device
environment
display
scanner
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11847582T
Other languages
English (en)
Inventor
Karl Josef Hollenbeck
Henrik Öjelund
David Fischer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Shape AS
Original Assignee
3Shape AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46206640&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2705531(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 3Shape AS filed Critical 3Shape AS
Application granted granted Critical
Publication of ES2705531T3 publication Critical patent/ES2705531T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Abstract

Un sistema que comprende un dispositivo portátil (100) y por lo menos un visualizador (101), donde el dispositivo portátil es un escáner 3D dental intraoral adaptado para escaneo 3D en un entorno 3D físico con el fin de registrar la geometría 3D de los dientes de un paciente (104), donde dicho por lo menos un visualizador (101) está adaptado para representar visualmente el entorno 3D físico, y donde el dispositivo portátil (100) está adaptado para controlar remotamente la vista con la que se representa el entorno 3D en el visualizador (101), caracterizado por que el dispositivo portátil (100) comprende por lo menos un elemento de interfaz de usuario que es por lo menos un sensor de movimiento incorporado en el escáner, que hace que un usuario pueda determinar la vista en la pantalla desplazando el escáner, en el que apuntar el escáner hacia abajo hace que los dientes escaneados se muestren con un ángulo de visualización descendente y sostener el escáner en una posición horizontal hace que el ángulo de visualización sea análogamente horizontal, por que el dispositivo portátil (100) comprende por lo menos un elemento de interfaz de usuario aparte de dicho por lo menos un sensor de movimiento y por que por lo menos otro elemento de interfaz de usuario es un elemento sensible al tacto.

Description

DESCRIPCIÓN
Sistema con integración de interfaz de usuario 3D
Sector técnico de la invención
Esta invención se refiere, en general, a un sistema que comprende un dispositivo portátil y por lo menos un visualizador.
Antecedentes de la invención
La visualización en 3D es importante en muchos sectores de la industria y la medicina, donde la información en 3D es cada vez más predominante.
Visualizar e inspeccionar información 3D es intrínsecamente difícil. Para comprender completamente un objeto 3D o todo un entorno en una pantalla, el usuario debería generalmente poder rotar el objeto o la escena, de tal modo que se visualicen muchas o, preferentemente, todas las superficies. Este es el caso incluso para visualizadores 3D, por ejemplo estereoscópicos u holográficos, donde desde una posición de visualización determinada y con un ángulo de visualización determinado, el usuario verá solamente algunas superficies de un entorno 3D arbitrario. A menudo, el usuario donde deseará asimismo ampliar el zoom para ver detalles o reducir el zoom para una visión general.
Hay varios dispositivos de interacción con el usuario en uso para software que visualiza datos 3D; estos dispositivos son: ratones 3D, bolas espaciales y pantallas táctiles. El funcionamiento de estos dispositivos de interacción actuales requiere tocarlos físicamente.
Tocar físicamente un dispositivo de interacción con el usuario puede ser un inconveniente en aplicaciones médicas, debido a riesgos de contaminación cruzada entre pacientes o entre paciente y operador, o en aplicaciones industriales en entornos sucios.
Se han descrito en la literatura diversas interfaces de usuario no táctiles para visualización de datos 3D en aplicaciones médicas. Vogt et al. (2004) describen un sistema interactivo sin contacto para visualización in situ de datos de formación de imágenes médicas 3D. La interfaz de usuario se basa en el rastreo de marcadores reflectantes, estando montada una cámara en la cabeza del médico. Graetzel et al. (2004) describen un sistema sin contacto que interpreta gestos manuales como acciones de ratón. Se basa en visión en estéreo y está destinado a ser utilizado en cirugía mínimamente invasiva.
Sigue existiendo el problema de mejorar sistemas que requieren interfaces de usuario para el control de las vistas, que se pueden utilizar, por ejemplo, con propósitos clínicos.
El documento US 2007/0172112 A1 da a conocer un procedimiento para hacer funcionar un sistema de escaneo que incluye un dispositivo de escaneo y un visualizador. El dispositivo de escaneo, por ejemplo para un escáner 3D dental intraoral, está adaptado para la adquisición continua de datos de superficie de un paciente y tiene uno o varios parámetros de escaneo, y el visualizador está adaptado para visualizar una reconstrucción superficial digital que contiene una serie de puntos tridimensionales recuperados de los datos de superficie. Un usuario puede manejar controles de navegación, que pueden estar en una interfaz de usuario y/o situados físicamente en un escáner para girar, realizar un barrido, ampliar una imagen o navegar de otro modo en torno al modelo digital y en su interior para inspeccionar más estrechamente áreas de interés, o para visualizar el modelo desde una serie de perspectivas con el fin de inspeccionar visualmente características ocultas de otro modo.
El documento US 2007/0078340 A1 da a conocer un procedimiento y un sistema para proporcionar una señal de comando operativo a una estación de trabajo de un sistema de formación de imágenes. La estación de trabajo recibe datos de formación de imágenes desde un transductor que se puede posicionar, en forma de un escáner 3D de ultrasonidos. El procedimiento y el sistema convierten por lo menos uno de una serie predeterminada de patrones de movimiento impartidos por un operador del sistema al transductor, en la señal de comando operativo. La detección de movimiento se puede llevar a cabo de cualquiera de diversas formas. Por ejemplo, se puede utilizar un par de acelerómetros micromecanizados.
El documento US 2009/0217207 A1 da a conocer un dispositivo para visualizar una imagen médica. El dispositivo incluye una unidad de procesamiento, un visualizador, un mando a distancia, una interfaz de comunicación y un módulo de software. La unidad de procesamiento puede funcionar para procesar la información de imagen médica. El visualizador puede funcionar para visualizar la información de imagen médica. El mando a distancia puede funcionar para registrar un movimiento del usuario mediante, por lo menos, un sensor sensible al movimiento. La interfaz de comunicación puede funcionar para transferir el movimiento del usuario a la unidad de procesamiento. El módulo de software está asociado con la unidad de procesamiento. El modo de software puede funcionar para reconciliar el movimiento del usuario con la información de imagen médica, de tal modo que movimiento del usuario se reproduce como un movimiento virtual de la información de imagen médica visualizada.
El documento US 2010/0231509 A1 da a conocer un sistema aséptico de interfaz en red, que comprende una herramienta quirúrgica manual y un sistema de procesamiento de datos. La herramienta quirúrgica incluye un sensor para detectar una variable física relacionada con la cirugía, una unidad de comunicación inalámbrica para transmitir la variable física al sistema de procesamiento de datos y una batería para alimentar la herramienta quirúrgica portátil. La herramienta quirúrgica envía la variable física y la información de orientación en función de un control de gestos táctiles y de la orientación predeterminada de la herramienta quirúrgica. La unidad de detección sin tacto de la herramienta quirúrgica manual identifica la posición y el movimiento de un gesto de un dedo o mano.
Compendio
La invención se define en la reivindicación independiente 1. Se definen realizaciones ventajosas de la misma en las reivindicaciones dependientes.
Se da a conocer un sistema que comprende un dispositivo portátil y por lo menos un visualizador, donde el dispositivo portátil está adaptado para llevar a cabo por lo menos una acción en un entorno 3D físico, donde dicho por lo menos un visualizador está adaptado para representar visualmente el entorno 3D físico, y donde el dispositivo portátil está adaptado para controlar remotamente la vista con la que se representa dicho entorno 3D en el visualizador.
El sistema puede estar adaptado para conmutar entre realizar dicha por lo menos una acción en el entorno 3D físico, y controlar remotamente la vista con la que se representa el entorno 3D en el visualizador.
El sistema dado a conocer aquí realiza la integración de la funcionalidad de interfaz de usuario 3D con cualquier otro dispositivo portátil con otra funcionalidad operativa, de tal modo que idealmente el operador solamente toca este último dispositivo que está destinado para ser tocado. Un ejemplo particular de un dispositivo portátil de este tipo es uno que registra alguna geometría 3D, por ejemplo, un escáner 3D portátil.
El dispositivo portátil es un dispositivo multipropósito, tal como un dispositivo de doble propósito o de dos propósitos, es decir, un dispositivo tanto para llevar a cabo acciones en el entorno 3D físico, tales como medir y manipular, como para controlar remotamente la vista del entorno 3D en el visualizador.
Geométricamente, una vista está determinada por la posición y la orientación del observador virtual/cámara con respecto al entorno 3D o su representación visual. Si el visualizador es bidimensional, la vista está determinada asimismo por el tipo de proyección. Una vista puede estar determinada asimismo por un factor de aumento.
La posición y la orientación del observador virtual y del entorno 3D son siempre relativas entre sí. En términos de la experiencia del usuario en sistemas de software con dispositivos de entrada 3D, el usuario puede sentir, por ejemplo, que se está desplazando en el entorno 3D mientras permanece estacionario, pero existe siempre un movimiento equivalente del observador virtual/cámara que proporciona los mismos resultados en el visualizador. A menudo, las descripciones de sistemas de software 3D utilizan la expresión "barrido" para indicar un movimiento de traslación aparente del entorno 3D, "rotación" para indicar un movimiento de rotación del entorno 3D y "zum" para indicar un cambio en el factor de aumento.
Gráficamente, una vista puede representar un entorno 3D por medio de fotografías o alguna clase de representación virtual tal como un gráfico informático, o similar. Un gráfico informático se puede representar, por ejemplo, con textura y/o sombreado y/o fuentes de luz virtual y/o modelos de luz para propiedades superficiales. Un gráfico informático puede ser asimismo una representación simplificada del entorno 3D, por ejemplo una malla, un contorno o una representación simplificada de otro modo. La totalidad, o partes del entorno 3D, pueden asimismo representarse con algún grado de transparencia. Una vista puede representar el entorno 3D en conjunto o solamente partes del mismo.
Todos los sistemas sin contacto de la técnica anterior son solamente dispositivos de interfaz de usuario 3D. En muchas aplicaciones de la técnica anterior, el operador que utiliza dicho dispositivo de interfaz de usuario asimismo sostendrá y trabajará con otro dispositivo que es realmente el dispositivo central en la aplicación global, por ejemplo, un instrumento médico.
Por lo tanto, una ventaja del presente sistema es que la funcionalidad de interfaz de usuario 3D está integrada en el dispositivo central, que se utiliza para realizar alguna clase de acción.
En algunas realizaciones, el dispositivo portátil está adaptado para controlar remotamente el aumento con el que se representa el entorno 3D en el visualizador.
En algunas realizaciones, el dispositivo portátil está adaptado para cambiar la representación del entorno 3D en el visualizador.
En algunas realizaciones, la visualización se define como un ángulo de visualización y/o una posición de visualización.
En algunas realizaciones, dicha por lo menos una acción comprende una o varias de las acciones de:
- medir,
- registrar,
- escanear,
- manipular,
- modificar.
En algunas realizaciones, el entorno 3D comprende uno o varios objetos 3D.
En algunas realizaciones, el dispositivo portátil está adaptado para que un operador lo sujete en una mano.
En algunas realizaciones, el visualizador está adaptado para representar el entorno 3D desde múltiples visualizaciones.
En algunas realizaciones, el visualizador está adaptado para representar el entorno 3D desde diferentes ángulos de visualización y/o posiciones de visualización.
En algunas realizaciones, la vista del entorno 3D en dicho por lo menos un visualizador está determinada, por lo menos parcialmente, por el movimiento de la mano, del operador, que sostiene dicho dispositivo.
En algunas realizaciones, el aumento representado por dicho por lo menos un visualizador está determinado, por lo menos parcialmente, por el movimiento de la mano, del operador, que sostiene dicho dispositivo.
En algunas realizaciones, el dispositivo portátil está adaptado para registrar la geometría 3D del entorno 3D.
De acuerdo con la invención, el dispositivo portátil es un escáner dental intraoral, que registra la geometría 3D de los dientes de un paciente. El operador puede desplazar el escáner a lo largo de los dientes del paciente para capturar la geometría 3D de los dientes relevantes, por ejemplo todos los dientes. El escáner puede comprender sensores de movimiento para tener en cuenta el movimiento del escáner mientras crea el modelo 3D de los dientes escaneados. El modelo 3D de los dientes se puede mostrar en un visualizador, y el visualizador puede ser por ejemplo una pantalla de PC y/o similar.
De acuerdo con la invención, la funcionalidad de interfaz de usuario comprende incorporar por lo menos un sensor de movimiento en el escáner para permitir que el usuario pueda determinar la vista en la pantalla desplazando el escáner. Apuntar el escáner hacia abajo hace que los dientes escaneados se muestren dado un ángulo de visualización descendente. Sostener el escáner en una posición horizontal hace que el ángulo de visualización sea asimismo horizontal.
En algunas realizaciones, el dispositivo portátil comprende por lo menos un elemento de interfaz de usuario. Un elemento de interfaz de usuario es un elemento que el usuario puede manipular para activar una función de la interfaz de usuario del software. Habitualmente, la interfaz de usuario se presenta gráficamente en el visualizador del sistema.
El dispositivo portátil puede estar dotado además de un accionador, que conmuta el dispositivo portátil entre realizar dicha por lo menos una acción y controlar remotamente la vista. Al disponer dicha función de conmutación manual que permite al operador conmutar entre realizar dicha por lo menos una acción y controlar remotamente la vista, el operador puede controlar fácilmente lo realizado.
Un accionador de este tipo puede tener, por ejemplo, forma de botón, de conmutador o de contacto. En otras realizaciones, podría ser una superficie o un elemento sensible al tacto.
En otra realización, el accionador podría ser un sensor de movimiento dispuesto en el dispositivo portátil que funciona como el accionador cuando registra un tipo específico de movimiento, por ejemplo, si el operador agita el dispositivo portátil. Se describirán ejemplos de dichos sensores de movimiento en la presente memoria con respecto al elemento de interfaz de usuario, si bien un experto en la materia comprenderá, en base a la exposición del presente documento, que dichos sensores de movimiento pueden asimismo ser utilizados como accionadores, tal como se explica.
Por ejemplo, en una realización, el dispositivo portátil puede ser un escáner 3D intraoral utilizado por un dentista. El escáner está ajustado para realizar la acción de escaneo de un área dental cuando el accionador está en una posición. Cuando el accionador es conmutado a una segunda posición, el elemento portátil está ajustado para controlar la vista con la que el entorno 3D se representa en el visualizador. Esto podría consistir, por ejemplo, en que cuando el dentista ha escaneado una parte o el área completa deseada de un arco dental, puede activar el accionador, lo que permite a continuación al dentista controlar remotamente la vista de la representación 3D del área escaneada en el visualizador utilizando el dispositivo portátil.
Por ejemplo, el accionador podría ser un botón. Cuando el botón es presionado rápidamente, el dispositivo portátil se prepara para escanear, es decir, se ajusta para llevar a cabo por lo menos una acción, el procedimiento de escaneo, en el entorno 3D físico. El escaneo se detiene cuando el botón se presiona rápidamente una segunda vez. Mientras se realiza el escaneo, se construye visualmente una representación 3D virtual en el visualizador.
El usuario puede a continuación presionar y mantener el botón. Esto pondrá el elemento portátil en un modo de controlador, donde el dispositivo portátil está adaptado para controlar remotamente la vista con la que el entorno 3D, tal como dientes escaneados, se representa en el visualizador. Mientras se mantiene presionado el botón, el sistema utilizará señales procedentes de un sensor de movimiento en el dispositivo portátil para determinar cómo presentar la vista en el entorno 3D virtual. Por lo tanto, si el usuario gira o mueve de otro modo la mano que sostiene el dispositivo portátil, la vista del entorno 3D virtual en el visualizador cambiará en consecuencia.
De este modo, el dentista puede utilizar el mismo dispositivo portátil tanto para escanear un área como para verificar a continuación que el escaneo se ha ejecutado correctamente, sin tener que apartarse del paciente o tocar ningún otro equipo aparte del ya presente en sus manos.
En una realización, el elemento de interfaz de usuario es el mismo que el accionador, o cuando están presentes varios elementos de interfaz de usuario, por lo menos uno funciona asimismo como accionador.
El sistema puede estar equipado con un botón como un elemento adicional que proporciona la funcionalidad de interfaz de usuario.
En un ejemplo, el dispositivo portátil es un escáner intraoral portátil, y el visualizador es una pantalla de ordenador. El operador o usuario puede ser un dentista, un asistente y/o similar. La funcionalidad operativa del dispositivo puede ser registrar alguna geometría 3D intraoral, y la funcionalidad de interfaz de usuario puede ser girar, hacer un barrido y hacer un zoom de los datos escaneados en la pantalla de ordenador.
En algunas realizaciones, dicho por lo menos un elemento de interfaz de usuario es por lo menos un sensor de movimiento.
De este modo, la integración de la funcionalidad de interfaz de usuario en el dispositivo puede ser proporcionada por sensores de movimiento, que pueden ser acelerómetros en el interior del escáner, cuyas lecturas determinan la orientación de la visualización en la pantalla del modelo 3D de los dientes adquirido por el escáner. Mediante un botón se puede proporcionar funcionalidad adicional, por ejemplo, iniciar/detener el escaneo. El botón puede estar situado cómodamente al alcance del dedo índice del operador o usuario.
Los escáneres intraorales de la técnica anterior utilizan una pantalla táctil, una rueda de desplazamiento o un ratón para determinar la vista en el visualizador. Estos dispositivos de interfaz de usuario de la técnica anterior pueden ser inapropiados, incómodos y difíciles de utilizar, y pueden requerir mucho trabajo, y por lo tanto puede ser costoso esterilizarlos o desinfectarlos. Un escáner intraoral debería desinfectarse siempre entre escaneos a diferentes pacientes debido a que el escáner está, y puede entrar en contacto con la boca u otras partes del paciente al que se está escaneando.
El operador o usuario, por ejemplo el dentista, puede utilizar una o ambas manos para sostener el escáner intraoral durante el escaneo, y el escáner puede ser lo suficientemente ligero y cómodo para ser sostenido solamente con una mano durante un tiempo mayor durante el escaneo.
El dispositivo puede asimismo sostenerse con una o dos manos, mientras se utiliza el dispositivo con un mando a distancia para, por ejemplo, cambiar la vista en el visualizador. Una ventaja de la funcionalidad de la interfaz de usuario sin contacto es que, en situaciones clínicas, el operador puede mantener ambas manos limpias, desinfectadas o incluso esterilizadas.
Una ventaja del sistema es que permite un proceso de trabajo iterativo en un entorno 3D sin soltar el dispositivo portátil durante dicho proceso. Para el anterior sistema de ejemplo de escaneo intraoral, el operador, por ejemplo el dentista, puede registrar alguna geometría superficial de los dientes con un dispositivo portátil que es un escáner intraoral, inspeccionar la cobertura de la grabación de la superficie utilizando el mismo dispositivo portátil para desplazar, por ejemplo rotar, la superficie registrada en el visualizador, por ejemplo una pantalla de ordenador, detectar posibles intersticios o huecos en la cobertura de los dientes escaneados y a continuación, por ejemplo, disponer el escáner en una zona en la que están situados los intersticios y seguir registrando allí la geometría superficial de los dientes. Durante todo este ciclo iterativo, que se puede repetir más de una vez, tal como muchas veces cuando sea necesario para obtener una cobertura deseada de escaneo de los dientes, el dentista no tiene que soltar de sus manos el escáner intraoral portátil.
En algunas realizaciones, la funcionalidad de interfaz de usuario 3D se explota en una ubicación separada respecto de la funcionalidad operativa. Para el anterior ejemplo de sistema de escaneo intraoral, la operación de escaneo se lleva a cabo en la cavidad oral del paciente, mientras que la funcionalidad de interfaz de usuario se explota más flexiblemente cuando el escáner está fuera de la boca del paciente. De nuevo, la característica y la ventaja claves de este sistema es que el dentista puede explotar la funcionalidad doble e integrada, que es la operación y la interfaz de usuario, del escáner sin soltarlo de sus manos.
El anterior sistema de escaneo intraoral es un ejemplo de una realización. Otros ejemplos para funcionalidad operativa o realización de acciones podrían ser perforar, soldar, pulir, cortar, efectuar soldadura blanda, fotografiar, filmar, medir, ejecutar algún procedimiento quirúrgico, etc.
El visualizador del sistema puede ser una pantalla de ordenador 2D, un visualizador 3D que proyecta pares de imágenes estereoscópicas, un visualizador volumétrico que crea un efecto 3D, tal como un visualizador de barrido volumétrico, un visualizador de volumen estático, un visualizador de barrera de paralaje, un visualizador holográfico, etc. Incluso con un visualizador 3D, el operador tiene solamente una posición de visualización y un ángulo de visualización con respecto al entorno 3D, en cada momento. El operador puede mover físicamente su cabeza para adoptar otra posición de visualización y/o ángulo de visualización pero, en general, puede ser más cómodo utilizar el dispositivo portátil con su funcionalidad de interfaz de usuario incorporada, por ejemplo el control remoto, para cambiar la posición de visualización y/o el ángulo de visualización representados en el visualizador.
En algunas realizaciones, el sistema comprende múltiples visualizadores, o uno o varios visualizadores que están divididos en zonas. Por ejemplo, varias ventanas secundarias en una pantalla de PC pueden representar diferentes visualizaciones del entorno 3d. El dispositivo portátil puede ser utilizado para cambiar la vista en todas estas, o solamente en algunas.
En algunas realizaciones, la funcionalidad de interfaz de usuario comprende la utilización de gestos.
Se pueden utilizar gestos realizados, por ejemplo, por el operador, para cambiar, desplazar o alternar entre ventanas secundarias, y la funcionalidad de interfaz de usuario puede estar limitada a una ventana secundaria activa, o a uno de varios visualizadores.
En algunas realizaciones, los gestos están adaptados para ser detectados mediante por lo menos un sensor de movimiento. Alternativa y/o adicionalmente, los gestos pueden ser detectados por sensores de distancia u otros sensores que registran movimiento corporal.
El operador no tiene que observar constantemente dicho por lo menos un visualizador del sistema. En muchas aplicaciones, el operador cambiará entre la visualización y posible manipulación del visualizador, y la realización de otra operación con el dispositivo portátil. Por lo tanto, una ventaja es que el operador no necesita tocar otros dispositivos de interfaz de usuario. Sin embargo, en algunos casos puede ser imposible que el operador evite completamente tocar otros dispositivos, y en estos casos es una ventaja que se requieren menos contactos en comparación con un sistema en el que un dispositivo portátil no proporciona ninguna funcionalidad de interfaz de usuario en absoluto.
En algunas realizaciones, dicho por lo menos un visualizador está dispuesto separado del dispositivo portátil.
En algunas realizaciones, dicho por lo menos un visualizador está definido como un primer visualizador, y donde sistema comprende además un segundo visualizador.
En algunas realizaciones, el segundo visualizador está dispuesto en el dispositivo portátil.
En algunas realizaciones, el segundo visualizador está dispuesto en el dispositivo portátil, en una posición tal que el visualizador está adaptado para ser observado por el operador, mientras el operador está manejando el dispositivo portátil.
En algunas realizaciones, el segundo visualizador indica dónde esta posicionado el dispositivo portátil con respecto al entorno 3D.
En algunas realizaciones, el primer visualizador y/o el segundo visualizador proporcionan instrucciones al operador. El visualizador o visualizadores pueden estar dispuestos de múltiples maneras. Por ejemplo, pueden estar montados en una pared, situados en alguna clase de soporte o carrito, colocados en un estante o en una mesa, u otros.
En algunas realizaciones, por lo menos un visualizador está montado en el propio dispositivo. Puede ser ventajoso tener un visualizador en el propio dispositivo debido a que con dicha disposición, los ojos del operador no tienen que enfocar alternativamente entre diferentes distancias. En algunos casos, la funcionalidad operativa puede requerir un examen minucioso en el dispositivo y en la proximidad del entorno 3D en el que este funciona, y esto puede ser una distancia alejada, como mucho, tanto como la mano del operador. Especialmente en entornos saturados, tales como las consultas de los dentistas, los escenarios de operación quirúrgica o los centros de trabajo industriales, puede ser difícil situar un visualizador externo cerca del dispositivo.
En algunas realizaciones, se proporciona información visual al operador en uno o varios medios aparte del primer visualizador.
En algunas realizaciones, se proporciona al operador información audible por el operador.
Por lo tanto, en algunas realizaciones, el sistema proporciona información adicional al operador. En algunas realizaciones, el sistema incluye otras pistas visuales mostradas en otros medios aparte del visualizador o visualizadores, tales como varios LED en el dispositivo. En algunas realizaciones, el sistema proporciona al operador información audible, por ejemplo mediante diferentes sonidos y/o mediante voz.
Dicha información proporcionada al operador puede comprender instrucciones de uso, alertas y similares.
La información puede ayudar a mejorar el rendimiento de las acciones o a la funcionalidad operativa del dispositivo, por ejemplo, indicando cómo de bien se está realizando una acción u operación, y/o instrucciones para el operador dirigidas a mejorar la facilidad de la acción u operación y/o la calidad de los resultados de la acción u operación. Por ejemplo, un LED puede cambiar de color y/o de frecuencia de parpadeo. En un escáner, la información puede estar relacionada con cómo de bien está enfocado el entorno 3D escaneado y/o con la calidad del escaneo y/o con la cobertura del escaneo. La información puede comprender instrucciones sobre cómo posicionar de la mejor manera el escáner para conseguir así una buena calidad de escaneo y/o cobertura de escaneo. Las instrucciones se pueden utilizar para planificar y/o ejecutar la colocación de aparatos dentales. Las instrucciones pueden estar en forma de un sistema de mensajes para el operador.
En algunas realizaciones, se proporciona alguna funcionalidad de interfaz de usuario 3D mediante por lo menos un sensor de movimiento incorporado al dispositivo. Ejemplos de sensores de movimiento son acelerómetros, giróscopos y magnetómetros y/o similares. Estos sensores pueden detectar rotaciones, movimiento lateral y/o combinaciones de los mismos. Otros sensores de movimiento utilizan detección por infrarrojos. Por ejemplo, por lo menos un sensor de infrarrojos puede estar montado en el dispositivo y por lo menos un emisor de infrarrojos puede estar montado en el entorno del dispositivo. A la inversa, dicho por lo menos un emisor puede estar montado en el dispositivo, y dicho por lo menos un sensor en el entorno. Otra posibilidad más es utilizar uno o varios reflectores de infrarrojos en el dispositivo y tanto el sensor o sensores como el emisor o emisores en el entorno, o de nuevo a la inversa. Por lo tanto, el movimiento se puede detectar mediante diversos principios.
Por medio del procesamiento de señales adecuado, algunos sensores pueden reconocer acciones adicionales del operador; por ejemplo, gestos tales como toques, balanceo o agitación del dispositivo portátil. Por lo tanto, estos gestos se pueden explotar asimismo en la funcionalidad de interfaz de usuario 3D.
En algunas realizaciones, el dispositivo portátil comprende por lo menos dos sensores de movimiento que proporcionan fusión de sensores. La fusión de sensores se puede utilizar para conseguir una mejor señal del movimiento a partir de, por ejemplo, datos en bruto de giróscopo, acelerómetro y/o magnetómetro. La fusión de sensores se puede implementar en los IC, tal como en el InvenSense MPU 3000.
De acuerdo con la invención, el dispositivo portátil comprende por lo menos un elemento de interfaz de usuario aparte de dicho por lo menos un sensor de movimiento, donde dicho por lo menos otro elemento de interfaz de usuario es un elemento sensible al tacto.
En algunas realizaciones, dicho por lo menos otro elemento de interfaz de usuario es un botón.
En algunas realizaciones, dicho por lo menos otro elemento de interfaz de usuario es una rueda de desplazamiento. En algunas realizaciones, la funcionalidad de interfaz de usuario está dispuesta a través de elementos adicionales en el dispositivo. Por lo tanto, estos elementos adicionales pueden ser, por ejemplo, botones, ruedas de desplazamiento, campos sensibles al tacto, sensores de proximidad y/o similares.
Los elementos de interfaz de usuario adicionales pueden ser explotados o utilizados en un flujo de trabajo adecuado para el sector de aplicación del dispositivo. El flujo de trabajo se puede implementar en alguna aplicación de software de usuario que puede asimismo controlar el visualizador y, por lo tanto, la vista representada en el mismo. Un determinado elemento de interfaz puede suministrar múltiples entradas de usuario al software. Por ejemplo, un botón puede proporcionar tanto un solo clic como un doble clic. Por ejemplo, un doble clic puede significar avanzar a una subsiguiente etapa en un flujo de trabajo. Por ejemplo, para un escaneo intraoral, tres etapas dentro del flujo de trabajo pueden ser escanear la boca inferior, la boca superior y la mordedura. Un campo sensible al tacto puede proporcionar trazos en múltiples direcciones, cada uno con un efecto diferente, etc. Proporcionar múltiples entradas de usuario desde un elemento de interfaz de usuario es ventajoso debido a que se puede reducir el número de elementos de interfaz de usuario en el dispositivo con respecto a una situación en la que cada elemento de interfaz de usuario proporciona solamente una entrada de usuario.
Los sensores de movimiento se pueden explotar asimismo en un flujo de trabajo. Por ejemplo, elevar el dispositivo, lo cual puede ser detectado por un acelerómetro, puede representar algún tipo de entrada de usuario, por ejemplo para iniciar alguna acción. En un dispositivo que es un escáner, esto puede iniciar el escaneo. A la inversa, devolver el dispositivo a alguna clase de soporte, lo cual puede ser detectado por un acelerómetro como la ausencia de aceleración durante algún periodo de tiempo, puede detener dicha acción.
Si la acción realizada por el dispositivo es alguna clase de registro, por ejemplo un escaneo, por ejemplo un escaneo 3D, los resultados del registro se pueden explotar asimismo como entradas de usuario, posiblemente junto con entradas de usuario procedentes de otros elementos de interfaz de usuario. Por ejemplo, con un escáner 3D con una profundidad de campo limitada, puede ser posible detectar si están presentes algunos objetos dentro del entorno 3D en el volumen correspondiente a esta profundidad de campo, mediante detectar si se registra algún punto 3D. Las entradas de usuario pueden depender de dicha presencia detectada. Por ejemplo, un clic de botón en un escáner intraoral puede proporcionar una entrada de usuario diferente, dependiendo de si el escáner está en la boca, donde son detectables los dientes, o significativamente alejado de la boca y fuera de la misma. Asimismo, el efecto de las señales de los sensores de movimiento se puede interpretar de manera diferente para cada situación. Por ejemplo, el escáner puede cambiar solamente la vista representada en el visualizador cuando está en el exterior de la boca.
En algunas realizaciones, el dispositivo portátil está adaptado para cambiar el ángulo de visualización con el que el entorno 3D se representa en dicho por lo menos un visualizador.
En algunas realizaciones, el dispositivo portátil está adaptado para cambiar el factor de aumento con el que el entorno 3D se representa en dicho por lo menos un visualizador.
En algunas realizaciones, el dispositivo portátil está adaptado para cambiar la posición de visualización con la que el entorno 3D se representa en dicho por lo menos un visualizador.
En algunas realizaciones, la vista del entorno 3D comprende un ángulo de visualización, un factor de aumento y/o una posición de visualización.
En algunas realizaciones, la vista del entorno 3D comprende representar la textura y/o el sombreado.
En algunas realizaciones, dicho por lo menos un visualizador está dividido en múltiples zonas, que muestran cada una el entorno 3D con una vista diferente.
Por lo tanto, en algunas realizaciones, la funcionalidad de interfaz de usuario comprende cambiar la vista con la que se visualiza el entorno 3D. Los cambios en la vista pueden comprender cambios en el ángulo de visualización, la posición de visualización, el aumento y/o similares. Un cambio en el ángulo de visualización puede efectuarse naturalmente rotando el dispositivo. La rotación es detectada naturalmente con la ayuda de giróscopos y/o en relación con la gravedad detectada por un acelerómetro. Hacer zum, es decir cambiar el aumento, puede conseguirse, por ejemplo, empujando el dispositivo portátil hacia delante y hacia atrás, respectivamente. Un cambio de traslación de la posición de visualización, es decir, un barrido, se puede conseguir, por ejemplo, empujando el dispositivo portátil hacia arriba/abajo y/o lateralmente.
En algunas realizaciones, la funcionalidad de interfaz de usuario comprende seleccionar o elegir elementos en un visualizador o cualquier otra funcionalidad proporcionada por interfaces gráficas de usuario en ordenadores conocidas en la técnica. El operador puede realizar la selección. El escáner Lava C.O., comercializado por 3M ESPE, tiene botones adicionales en el dispositivo portátil, pero no es posible manipular con estos la vista. Su único objetivo es permitir la navegación a través de un sistema de menú, e iniciar/detener el escaneo.
En algunas realizaciones, la funcionalidad de interfaz de usuario comprende manipular el entorno 3D visualizado en la pantalla. Por ejemplo, el operador puede efectuar deformaciones o cambiar la posición u orientación de objetos en el entorno 3D. Por lo tanto, en algunas realizaciones la funcionalidad de interfaz de usuario comprende funcionalidad virtual de la interfaz de usuario, que puede consistir en que se manipulan los datos 3D pero no se puede manipular el entorno 3D físico en el que funciona el dispositivo.
De acuerdo con la invención, el dispositivo portátil es un escáner 3D dental intraoral. En ejemplos comparativos no reivindicados, el dispositivo portátil puede ser un escáner auditivo. Si el escáner comprende una punta, esta punta se puede intercambiar, con lo que el escáner se adecua para escaneo en la boca o en el oído. Dado que el oído es una cavidad más pequeña que la boca, la punta para adaptarse al oído puede ser menor que la punta para adaptarse a la boca.
En otros ejemplos comparativos no reivindicados, el dispositivo portátil es un instrumento quirúrgico. En algunas realizaciones, el instrumento quirúrgico comprende por lo menos un sensor de movimiento, que está incorporado en el instrumento.
En otros ejemplos comparativos no reivindicados, el dispositivo portátil es una herramienta mecánica. En algunas realizaciones, la herramienta tiene por lo menos un sensor de movimiento incorporado. En otras realizaciones, están incorporados asimismo otros elementos de interfaz de usuario, por ejemplo botones, ruedas de desplazamiento, campos sensibles al tacto o sensores de proximidad.
En alguna realización se conoce previamente la geometría 3D del entorno 3D o se conoce previamente una representación 3D del entorno, es decir, antes de que la acción o acciones sean ejecutadas. Por ejemplo en cirugía, puede haberse tomado un escaneo CT antes del procedimiento quirúrgico. El dispositivo portátil de este ejemplo podría ser un instrumento quirúrgico que un médico tiene que aplicar en la posición 3D adecuada. Para asegurarse de que se alcanza esta posición adecuada, podría ser beneficioso visualizar el entorno 3D desde múltiples perspectivas interactivamente, es decir sin tener que soltar el instrumento quirúrgico.
Una ventaja del sistema, también en el anterior ejemplo de cirugía, es la capacidad del dispositivo portátil para registrar el entorno 3D, por lo menos parcialmente, habitualmente en un campo de visión 3D que es menor que el volumen representado en los datos previos. Los datos 3D registrados por el dispositivo portátil se pueden registrar en tiempo real con los datos previos, de tal modo que se puede detectar la posición y la orientación del dispositivo. En algunas realizaciones, la geometría 3D comprende una superficie 3D del entorno.
En algunas realizaciones, la geometría 3D comprende una representación volumétrica 3D del entorno.
Por lo tanto, el entorno 3D se puede visualizar como datos volumétricos, o como una superficie o una combinación de los mismos. Los datos volumétricos se representan habitualmente mediante vóxeles. Los vóxeles pueden comprender múltiples valores escalares. Los datos de superficie se representan habitualmente como mallas, tales como mallas triangulares, o nubes de puntos.
El escaneo se puede llevar a cabo por medio de escaneo LED, escaneo de luz láser, escaneo de luz blanca, escaneo de rayos X y/o escaneo CT.
La presente invención se refiere a diferentes aspectos que incluyen el sistema descrito anteriormente y en lo que sigue, y a sistemas, procedimientos, dispositivos, usos y/o medios de producto correspondientes, cada uno de los cuales proporciona uno o varios de los beneficios y ventajas descritos en relación con el primer aspecto mencionado, y cada uno de los cuales tiene una o varias realizaciones correspondientes a las realizaciones descritas en relación con el primer aspecto mencionado y/o dadas a conocer en las reivindicaciones adjuntas.
En particular, en la presente memoria se da a conocer un procedimiento de interacción entre un dispositivo portátil y por lo menos un visualizador, donde el procedimiento comprende las etapas de:
- llevar a cabo por lo menos una acción en un entorno 3D físico por medio del dispositivo portátil;
- representar visualmente el entorno 3D físico mediante dicho por lo menos un visualizador; y
- controlar remotamente la vista del entorno 3D representado en el visualizador, por medio del dispositivo portátil. Además, la invención se refiere a un producto de programa informático que comprende medios de código de programa para hacer que un sistema de procesamiento de datos lleve a cabo el procedimiento según cualquiera de las realizaciones, cuando dichos medios de código de programa se ejecutan en el sistema de procesamiento de datos, y un producto de programa informático, que comprende un medio legible por ordenador que tiene almacenados los medios de código de programa.
De acuerdo con otro aspecto, se da a conocer un sistema que comprende un dispositivo portátil para funcionar en un entorno 3D y por lo menos un visualizador para visualizar dicho entorno, donde el visualizador está adaptado para representar dicho entorno desde múltiples perspectivas,
donde dicho dispositivo está adaptado para ser sostenido en una mano por un operador, y donde la perspectiva representada en dicho por lo menos un visualizador está determinada, por lo menos parcialmente, por el movimiento de la mano del operador que sujeta dicho dispositivo.
De acuerdo con otro aspecto, se da a conocer un sistema que comprende un dispositivo portátil para funcionar en un entorno 3D y por lo menos un visualizador para visualizar dicho entorno, donde el visualizador está adaptado para representar dicho entorno en múltiples visualizaciones,
donde dicho dispositivo está adaptado para ser sostenido en una mano por un operador, donde la vista representada en dicho por lo menos un visualizador está determinada, por lo menos parcialmente, por el movimiento de la mano del operador que sostiene dicho dispositivo, y donde el dispositivo tiene por lo menos un elemento de interfaz de usuario sensible al tacto.
El movimiento de la mano del operador se determina habitualmente mediante un sensor de movimiento dispuesto en el dispositivo portátil.
Definiciones
Geometría 3D: una constelación de materia o su representación visual en un espacio tridimensional.
Entorno 3D: una constelación de objetos físicos, cada uno con una geometría 3D en un espacio tridimensional. Vista: el modo en que un entorno 3D se representa en un visualizador. Geométricamente, una vista está determinada por la posición y orientación del observador virtual/cámara. Si el visualizador es bidimensional, la vista está determinada asimismo por el tipo de proyección. Una vista puede estar determinada asimismo por un factor de aumento. Gráficamente, una vista puede mostrar el entorno 3D por medio de fotografías o como alguna clase de representación visual, tal como un gráfico de ordenador, o similar. Un gráfico informático se puede representar, por ejemplo, con textura y/o sombreado y/o fuentes de luz virtual y/o modelos de luz para propiedades superficiales. Un gráfico informático puede ser asimismo una representación simplificada del entorno 3D, por ejemplo una malla, un contorno o una representación simplificada de otro modo. La totalidad, o partes del entorno 3D, pueden asimismo representarse con algún grado de transparencia. Una vista puede representar el entorno 3D en conjunto o solamente partes del mismo.
Funcionalidad: un objetivo o uso previsto.
Realización de una o varias acciones o funcionalidad operativa: acciones o funcionalidad que incluyen algún tipo de interacción con un entorno 3D, tal como medir, modificar, manipular, registrar, tocar, detectar, escanear, mover, transformar, cortar, soldar, tratar químicamente, limpiar, etc. El término "operativo" no está por lo tanto dirigido a procedimientos quirúrgicos, pero operativo puede comprender procedimientos quirúrgicos.
Funcionalidad de interfaz de usuario: funcionalidad para interacción entre un usuario humano y una máquina con un visualizador.
Dispositivo portátil: un objeto que tiene por lo menos una funcionalidad y que es sostenido por una o ambas manos de un operador humano mientras lleva a cabo está por lo menos una funcionalidad.
Escáner 3D: un dispositivo que analiza un objeto o entorno 3D del mundo real para recoger datos sobre su forma y posiblemente su aspecto.
Cobertura de escaneo: en qué medida una superficie física está representada por datos registrados después de una operación de escaneo.
Sensor de movimiento: un sensor que detecta el movimiento. El movimiento se puede detectar mediante: sonido (sensores acústicos), opacidad (sensores ópticos y de infrarrojos y procesadores de imagen de video), geomagnetismo (sensores magnéticos, magnetómetros), reflexión de energía transmitida (radar de láser infrarrojo, sensores ultrasónicos y sensores de radar de microondas), inducción electromagnética (detectores de bucle inductivo) y vibración (sensores triboeléctricos, sísmicos y de conmutación inercial). Son ejemplos de sensores de movimiento los acelerómetros MEMS, giróscopos y magnetómetros.
Flujo de trabajo: una secuencia de tareas implementadas en software.
Breve descripción de los dibujos
Los anteriores y/u otros objetivos, características y ventajas de la presente invención se aclararán en mayor medida mediante la siguiente descripción detallada ilustrativa y no limitativa de realizaciones de la presente invención haciendo referencia a los dibujos adjuntos, en los que:
La figura 1 muestra un ejemplo de sistema que comprende un escáner 3D dental intraoral portátil y un visualizador. La figura 2 muestra un ejemplo de funcionalidad de interfaz de usuario según la invención, en forma de control remoto que utiliza el escáner 3d dental intraoral portátil.
La figura 3 muestra un ejemplo del escáner 3D dental intraoral portátil.
La figura 4 muestra un ejemplo de un diagrama de flujo de un procedimiento de interacción entre un dispositivo portátil y un visualizador.
Descripción detallada
En la siguiente descripción se hace referencia a los dibujos adjuntos que muestran de manera ilustrativa cómo se puede practicar la invención.
La figura 1 muestra un ejemplo del sistema que comprende un dispositivo portátil y un visualizador. De acuerdo con la invención, el dispositivo portátil 100 es un escáner dental intraoral, que registra la geometría 3D de los dientes del paciente. El operador 102 desplaza el escáner a lo largo de los dientes del paciente 104 para capturar la geometría 3D de los dientes relevantes, por ejemplo todos los dientes. El escáner comprende sensores de movimiento (no visibles) para tener en cuenta el movimiento del escáner durante la creación del modelo 3D 105 de los dientes escaneados. En este ejemplo, el visualizador 101 es una pantalla de PC que visualiza los datos registrados por el escáner.
La figura 2 muestra un ejemplo de funcionalidad de interfaz de usuario según la invención, en forma de control remoto que utiliza el dispositivo portátil. Los sensores de movimiento (no mostrados) en el dispositivo portátil 100, por ejemplo un escáner, hacen que el usuario 102 pueda determinar la vista mostrada en el visualizador 101, por ejemplo la pantalla, desplazando el dispositivo portátil 100.
La figura 2a) muestra que apuntar el dispositivo 100 hacia abajo hace que el modelo 3D 105 de los dientes escaneados se muestre desde un ángulo de visualización descendente.
La figura 2b) muestra que sostener el escáner en una posición horizontal hace que el ángulo de visualización sea igualmente desde delante, de tal modo que el modelo 3D 105 de los dientes escaneados se muestra desde delante. La figura 3 muestra un ejemplo del dispositivo portátil.
En este ejemplo, el dispositivo portátil 100 es un escáner intraoral con una empuñadura de pistola. El escáner comprende un cuerpo envolvente 106 que comprende la parte de empuñadura de pistola 107, y una punta 108 adaptada para su introducción en la boca del paciente. En este ejemplo, el escáner está asimismo equipado con un botón 103 que es un elemento adicional que proporciona funcionalidad de interfaz de usuario.
El sistema de ejemplo mostrado en la figura 1, la figura 2 y la figura 3 comprende un dispositivo 100 que es un escáner intraoral portátil y un visualizador 101 que es una pantalla de ordenador. El operador 102 puede ser un dentista, un asistente y/o similar. En un ejemplo, el rendimiento de la acción o la funcionalidad de la operación del dispositivo 100 es para registrar alguna geometría 3D intraoral, y la funcionalidad de interfaz de usuario es para girar, hacer un barrido y hacer zum del modelo 3D 105 de los datos escaneados, en la pantalla 101. La integración de la funcionalidad de interfaz de usuario en el dispositivo 100 se proporciona mediante sensores de movimiento (no visibles), que pueden ser acelerómetros en el interior del escáner 100 cuyas lecturas determinan la orientación, tal como se ve en las figuras 2a y 2b, de la visualización en la pantalla del modelo 3D 105 de los dientes, adquirido por el escáner 100. Se puede proporcionar funcionalidad adicional, por ejemplo para iniciar/detener el escaneo, mediante el botón 103 que se ve en la figura 3. En el sistema de ejemplo, el botón 103 está situado en un lugar que el dedo del usuario puede alcanzar cómodamente.
En la figura 1, el dentista 102 utiliza dos manos para sostener el escáner intraoral 100 durante el escaneo, pero se comprende que el escáner 100 puede asimismo sostenerse con una mano durante el escaneo. El dispositivo 100 se puede sostener asimismo con una o dos manos, mientras se cambia la perspectiva del modelo 3D 105 en el visualizador 101. El ejemplo mostrado en la figura 1 ilustra por lo tanto la ventaja de la funcionalidad de interfaz de usuario sin contacto, debido a que en muchas situaciones clínicas el operador 102 debería mantener ambas manos libres, desinfectadas o incluso esterilizadas.
La funcionalidad de interfaz de usuario 3D se puede explotar en una ubicación separada de la funcionalidad operativa. Para el anterior ejemplo de sistema de escaneo intraoral, la operación de escaneo se realiza en la cavidad oral del paciente, ver la figura 1, mientras que la funcionalidad de interfaz de usuario se explota más flexiblemente cuando el escáner está fuera de la boca del paciente, ver las figuras 2 y 3.
La figura 4 muestra un ejemplo de un diagrama de flujo de un procedimiento de interacción entre un dispositivo portátil y un visualizador.
En la etapa 1010, se lleva a cabo por lo menos una acción en un entorno 3D físico por medio del dispositivo portátil. Esta acción puede ser el escaneo de los dientes que se muestra en la figura 1.
En la etapa 1020, el entorno 3D físico es representado visualmente mediante dicho por lo menos un visualizador. Esto puede ser la visualización del modelo 3D de los dientes escaneados que se ve en la figura 1.
En la etapa 1030, la vista del entorno 3D representado mostrado en el visualizador se controla remotamente en el visualizador por medio del dispositivo portátil. Esto puede ser el control del ángulo de visualización del modelo 3D, como se ve en la figura 2.
Todas las etapas del procedimiento se pueden repetir una o varias veces. El orden en el que se llevan a cabo las etapas puede ser diferente al orden descrito anteriormente, que se indica mediante la línea de trazos en la figura. Si una o varias etapas se llevan a cabo más veces, el orden de las etapas puede asimismo ser diferente.
Aunque se han descrito y mostrado en detalle algunas realizaciones, la invención no se limita a estas, sino que se puede realizar asimismo de otros modos dentro del alcance de la presente invención, que se define en las reivindicaciones siguientes. En particular, se debe entender que pueden ser utilizadas otras realizaciones y se pueden realizar modificaciones estructurales y funcionales, sin apartarse de dicho alcance.
En reivindicaciones de dispositivo que enumeran varios medios, varios de estos medios pueden ser realizados por un mismo elemento de hardware. El mero hecho de que determinadas medidas se enuncien en reivindicaciones dependientes mutuamente diferentes o se describan en realizaciones diferentes no indica que no se pueda utilizar ventajosamente una combinación de estas medidas.
Se debe destacar que la expresión "comprende/que comprende", cuando se utiliza en esta memoria descriptiva, es para especificar la presencia de características, números enteros, etapas o componentes indicados, pero no excluye la presencia o adición de una o varias características, números enteros, etapas, componentes o grupos adicionales de los mismos.
Las características del procedimiento descrito anteriormente y en lo que sigue, se pueden implementar en software y llevarse a cabo en un sistema de procesamiento de datos u otros medios de procesamiento a causa de la ejecución de instrucciones ejecutables por ordenador. Las instrucciones pueden ser medios de código de programa cargados en una memoria, tal como una RAM, desde un medio de almacenamiento o desde otro ordenador por medio de una red informática. Alternativamente, las características descritas pueden ser implementadas por circuitos de hardware en lugar de software, o en combinación con software.
Bibliografía:
C. Graetzel, T. Fong, S. Grange y C. Baur., "A Non-Contact Mouse for Surgeon-Computer Interaction". Technology and Health Care, 12(3), 2004.
Vogt S., Khamene A., Niemann H., Sauer F., "An AR system with intuitive user interface for manipulation and visualization of 3D medical data", Stud. Health Technol. Inform. 2004; 98, pp. 397-403.

Claims (7)

REIVINDICACIONES
1. Un sistema que comprende un dispositivo portátil (100) y por lo menos un visualizador (101), donde el dispositivo portátil es un escáner 3D dental intraoral adaptado para escaneo 3D en un entorno 3D físico con el fin de registrar la geometría 3D de los dientes de un paciente (104), donde dicho por lo menos un visualizador (101) está adaptado para representar visualmente el entorno 3D físico, y donde el dispositivo portátil (100) está adaptado para controlar remotamente la vista con la que se representa el entorno 3D en el visualizador (101), caracterizado por que el dispositivo portátil (100) comprende por lo menos un elemento de interfaz de usuario que es por lo menos un sensor de movimiento incorporado en el escáner, que hace que un usuario pueda determinar la vista en la pantalla desplazando el escáner, en el que apuntar el escáner hacia abajo hace que los dientes escaneados se muestren con un ángulo de visualización descendente y sostener el escáner en una posición horizontal hace que el ángulo de visualización sea análogamente horizontal, por que el dispositivo portátil (100) comprende por lo menos un elemento de interfaz de usuario aparte de dicho por lo menos un sensor de movimiento y por que por lo menos otro elemento de interfaz de usuario es un elemento sensible al tacto.
2. El sistema según la reivindicación 1, en el que, además del escaneo 3D, el dispositivo portátil está adaptado para llevar a cabo por lo menos otra acción en el entorno 3D físico, que comprende una o varias de:
- medir,
- registrar,
- manipular, y/o
- modificar.
3. El sistema según la reivindicación 1 o 2, en el que la funcionalidad de interfaz de usuario comprende la utilización de gestos.
4. El sistema según cualesquiera una o varias de las reivindicaciones anteriores, en el que dicho por lo menos un visualizador (101) está definido como un primer visualizador, y donde el sistema comprende además un segundo visualizador.
5. El sistema según la reivindicación 4, en el que el segundo visualizador indica dónde está posicionado el dispositivo portátil (100) con respecto al entorno 3D.
6. El sistema según la reivindicación 4 o 5, en el que el primer visualizador y/o el segundo visualizador proporcionan instrucciones para el operador (102).
7. El sistema según cualesquiera una o varias de las reivindicaciones anteriores, en el que el sistema está adaptado para proporcionar información audible al operador (102).
ES11847582T 2010-12-06 2011-12-05 Sistema con integración de interfaz de usuario 3D Active ES2705531T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US42013810P 2010-12-06 2010-12-06
DKPA201001104 2010-12-06
PCT/DK2011/050461 WO2012076013A1 (en) 2010-12-06 2011-12-05 System with 3d user interface integration

Publications (1)

Publication Number Publication Date
ES2705531T3 true ES2705531T3 (es) 2019-03-25

Family

ID=46206640

Family Applications (1)

Application Number Title Priority Date Filing Date
ES11847582T Active ES2705531T3 (es) 2010-12-06 2011-12-05 Sistema con integración de interfaz de usuario 3D

Country Status (6)

Country Link
US (1) US9329675B2 (es)
EP (2) EP3431921B1 (es)
CN (1) CN103339468B (es)
DK (2) DK3431921T3 (es)
ES (1) ES2705531T3 (es)
WO (1) WO2012076013A1 (es)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2607052T3 (es) 2009-06-17 2017-03-29 3Shape A/S Aparato de escaneo de enfoque
USRE48221E1 (en) 2010-12-06 2020-09-22 3Shape A/S System with 3D user interface integration
EP3545901B1 (en) 2012-10-30 2021-03-03 University of Southern California Orthodontic appliance with snap fitted, non-sliding archwire
WO2015118120A1 (en) 2014-02-07 2015-08-13 3Shape A/S Detecting tooth shade
DE102014205485A1 (de) * 2014-03-25 2015-10-01 Siemens Aktiengesellschaft Verfahren zur Übertragung digitaler Bilder aus einer Bilderfolge
US20170300119A1 (en) * 2014-06-25 2017-10-19 Carestream Health, Inc. Intra-oral imaging using operator interface with gesture recognition
DE202014010357U1 (de) * 2014-09-10 2015-12-11 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
US9426193B2 (en) * 2014-10-14 2016-08-23 GravityNav, Inc. Multi-dimensional data visualization, navigation, and menu systems
US10108269B2 (en) * 2015-03-06 2018-10-23 Align Technology, Inc. Intraoral scanner with touch sensitive input
US20180042685A1 (en) * 2015-03-07 2018-02-15 Dental Wings Inc. Medical device user interface with sterile and non-sterile operation
DE102015103383A1 (de) * 2015-03-09 2016-09-15 A.Tron3D Gmbh Steuerung für einen Intraoralscanner
KR20180033464A (ko) * 2015-07-23 2018-04-03 홍광식 브라이언 다목적 자체 조명 치과용 거울
KR101977181B1 (ko) * 2016-03-30 2019-05-10 주식회사바텍 치과용 구강스캐너 시스템
US11468111B2 (en) * 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
WO2018102588A1 (en) 2016-12-02 2018-06-07 Swift Health Systems Inc. Indirect orthodontic bonding systems and methods for bracket placement
CN110366395B (zh) 2017-01-31 2022-06-17 斯威夫特健康系统有限公司 混合正畸弓丝
ES2857587T3 (es) * 2017-02-27 2021-09-29 Kulzer & Co Gmbh Escáner 3D con sensor giroscópico
ES2941511T3 (es) * 2017-03-20 2023-05-23 3Shape As Sistema de escáner 3D con escáner de mano
US11612458B1 (en) 2017-03-31 2023-03-28 Swift Health Systems Inc. Method of tongue preconditioning in preparation for lingual orthodontic treatment
US11058517B2 (en) 2017-04-21 2021-07-13 Swift Health Systems Inc. Indirect bonding trays, non-sliding orthodontic appliances, and registration systems for use thereof
US10512515B2 (en) 2017-07-31 2019-12-24 Intuitive Surgical Operations, Inc. Systems and methods for steerable elongate device
US11547273B2 (en) 2017-09-18 2023-01-10 Dentlytec G.P.L. Ltd. User interface for a dental measurement system
CN107833625B (zh) * 2017-10-19 2022-04-15 该美生物科技（上海）有限公司 工件的操作系统及其方法
CN108286951B (zh) * 2018-01-16 2021-05-04 常景测量科技（武汉）有限公司 用于室内门窗测量的手持式激光扫描仪
US20190231430A1 (en) * 2018-01-31 2019-08-01 Varian Medical Systems International Ag Feedback system and method for treatment planning
DE102018121492B4 (de) * 2018-09-04 2023-05-11 SIKA Dr. Siebert & Kühn GmbH & Co. KG Mess- oder Kalibriereinrichtung mit einer verbesserten Bedienung
JP6936826B2 (ja) 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
CN110827975B (zh) * 2019-11-11 2022-10-14 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
CN110859640A (zh) * 2019-11-13 2020-03-06 先临三维科技股份有限公司 扫描仪、及其操作方法、装置、系统、存储介质和处理器
CA3169232A1 (en) 2020-02-26 2021-09-02 Pamela Sharon Oren-Artzi Systems and methods for remote dental monitoring
USD962437S1 (en) 2020-05-14 2022-08-30 Get-Grin Inc. Dental scope

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6135961A (en) 1996-06-28 2000-10-24 Sonosite, Inc. Ultrasonic signal processor for a hand held ultrasonic diagnostic instrument
US6962566B2 (en) 2001-04-19 2005-11-08 Sonosite, Inc. Medical diagnostic ultrasound instrument with ECG module, authorization mechanism and methods of use
US6967644B1 (en) * 1998-10-01 2005-11-22 Canon Kabushiki Kaisha Coordinate input apparatus and control method thereof, and computer readable memory
US6361489B1 (en) * 1998-11-25 2002-03-26 Jory Tsai Medical inspection device
SE514495C2 (sv) 1999-08-05 2001-03-05 Jama Mining Equipment Ab Anordning för sättning av bergbult vid bergförstärkning
US7141020B2 (en) * 2002-02-20 2006-11-28 Koninklijke Philips Electronics N.V. Portable 3D ultrasound system
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
AU2003303787A1 (en) * 2003-01-22 2004-08-13 Nokia Corporation Image control
WO2004087000A1 (en) * 2003-04-03 2004-10-14 Cadent Ltd. Method and system for fabricating a dental coping, and a coping fabricated thereby
US20050057745A1 (en) 2003-09-17 2005-03-17 Bontje Douglas A. Measurement methods and apparatus
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US7840040B2 (en) 2005-09-30 2010-11-23 Siemens Medical Solutions Usa, Inc. Method and apparatus for controlling ultrasound imaging systems having positionable transducers
US8411034B2 (en) * 2009-03-12 2013-04-02 Marc Boillot Sterile networked interface for medical systems
US8035637B2 (en) * 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
US7912257B2 (en) 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8270689B2 (en) * 2006-09-12 2012-09-18 Carestream Health, Inc. Apparatus for caries detection
US20090061381A1 (en) * 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
DE112009000099T5 (de) 2008-01-04 2010-11-11 3M Innovative Properties Co., St. Paul Bildsignaturen zur Verwendung in einer bewegungsbasierten dreidimensionalen Rekonstruktion
DE102008010717A1 (de) 2008-02-22 2009-08-27 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Anzeige einer medizinischen Bildinformation sowie bildgebendes System mit einer derartigen Vorrichtung
ES2607052T3 (es) * 2009-06-17 2017-03-29 3Shape A/S Aparato de escaneo de enfoque
WO2011011193A1 (en) 2009-07-21 2011-01-27 Dimensional Photonics International, Inc. Integrated display in a hand-held three-dimensional metrology system
DK2568870T3 (en) * 2010-03-30 2018-08-13 3Shape As SCREENING SPACES WITH LIMITED AVAILABILITY
CA2824665C (en) * 2011-01-11 2016-11-01 Nobuchika Urakabe Intraoral video camera and display system

Also Published As

Publication number Publication date
WO2012076013A1 (en) 2012-06-14
EP2649409A4 (en) 2017-04-26
EP3431921A1 (en) 2019-01-23
US9329675B2 (en) 2016-05-03
DK2649409T3 (en) 2019-02-04
CN103339468A (zh) 2013-10-02
US20130257718A1 (en) 2013-10-03
EP2649409B1 (en) 2018-10-17
EP2649409A1 (en) 2013-10-16
DK3431921T3 (da) 2020-05-04
CN103339468B (zh) 2017-03-15
EP3431921B1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
ES2705531T3 (es) Sistema con integración de interfaz de usuario 3D
US20210196152A1 (en) Gesture control using an intraoral scanner
US7773074B2 (en) Medical diagnostic imaging three dimensional navigation device and methods
ES2835598T3 (es) Interfaz de gesto
Song et al. WYSIWYF: exploring and annotating volume data with a tangible handheld device
JP5992448B2 (ja) 画像システム及び方法
JP6774367B2 (ja) ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
US20150097777A1 (en) 3D Motion Interface Systems and Methods
EP3145436B1 (en) Novel dental scanner device and system and methods of use
CN103077633A (zh) 一种立体虚拟培训系统和方法
JP2014512550A6 (ja) 画像システム及び方法
ES2788853T3 (es) Sistema con integración de interfaz de usuario 3D
ES2941511T3 (es) Sistema de escáner 3D con escáner de mano
JP5570801B2 (ja) 医療用診療装置
JP5784388B2 (ja) 医療用マニピュレータシステム
US20140055448A1 (en) 3D Image Navigation Method
JP6488153B2 (ja) カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器
WO2012007645A2 (en) A method, an apparatus and an arrangement for visualizing information
TW201619754A (zh) 醫用影像物件化介面輔助解說控制系統及其方法
WO2018011105A1 (en) Systems and methods for three dimensional touchless manipulation of medical images
JP2021133170A (ja) 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
Chi et al. WYSIWYF: Exploring and Annotating Volume Data with a Tangible Handheld Device
De Paolis et al. A New Interaction Modality for the Visualization of 3D Models of Human Organ