ES2936656A1

ES2936656A1 - Procedimiento de simulacion y entrenamiento de operaciones de inspeccion ocular en entornos de realidad virtual o realidad aumentada y sistema que implementa dicho procedimiento

Info

Publication number: ES2936656A1
Application number: ES202130874A
Authority: ES
Inventors: Torrecilla Pedro Marquínez; José Alfonso Jiménez
Original assignee: Seabery Augmented Technology SL
Current assignee: SEABERY SOLUCIONES SL
Priority date: 2021-09-20
Filing date: 2021-09-20
Publication date: 2023-03-21
Also published as: WO2023041832A1

Abstract

Procedimiento de simulación y entrenamiento de operaciones de inspección ocular en entornos de realidad virtual o realidad aumentada, y sistema que implementa dicho procedimiento. La invención se refiere a un procedimiento de simulación y entrenamiento de operaciones de inspección ocular en entornos (1) de realidad virtual o realidad aumentada, apto para su uso en la simulación de operaciones de atestado, comprobación de pruebas o comprobación pericial. Dicho procedimiento comprende la interacción de un usuario con uno o más de los objetos (7). Las interacciones con un objeto (7) pueden ser directas o indirectas, o bien comprender una o más operaciones de marcado del entorno (1). Dichas interacciones son detectadas por medio de unos actuadores y/o sensores y son representadas con un equipo de representación visual, para que el usuario pueda visualizarlas. Finalmente, las operaciones realizadas por el usuario son comparadas con una secuencia de operaciones de referencia; recibiendo el usuario una puntuación en función de las mismas. La invención también comprende un sistema que implementa el procedimiento anterior.

Description

DESCRIPCIÓN

PROCEDIMIENTO DE SIMULACIÓN Y ENTRENAMIENTO DE OPERACIONES DE INSPECCIÓN OCULAR EN ENTORNOS DE REALIDAD VIRTUAL O REALIDAD AUMENTADA Y SISTEMA QUE IMPLEMENTA DICHO PROCEDIMIENTO

CAMPO DE LA INVENCIÓN

La presente invención se refiere, en general, a un procedimiento y un sistema de realidad aumentada o virtual, y más concretamente, para la simulación de operaciones de inspección ocular. Dicho sistema es adecuado en el ámbito educativo, para la enseñanza de protocolos de inspección de escenarios en aplicaciones diversas, por ejemplo, de técnica forense, atestados o diligencias de averiguación.

ANTECEDENTES DE LA INVENCIÓN

La presente invención se enmarca en el campo de la realidad aumentada (RA) y la realidad virtual (RV). Si bien en general la realidad aumentada y la realidad virtual se consideran diferentes entornos inmersivos, en la presente invención se utilizarán indistintamente. De este modo, cualquier referencia realizada a realidad aumentada se considerará también referido a realidad aumentada, y viceversa. Concretamente, esta invención se refiere a la simulación en RA/RV de procedimientos de inspección técnica ocular, tales como los que se llevan a cabo en una situación de emergencia (accidentes, atestados) o en la inspección de una escena de un crimen o de procedimientos forenses.

En el estado de la técnica existen algunos sistemas en los que se han abordado operaciones de inspección técnica ocular. Por ejemplo, la solicitud de patente US20110256515A1 describe un sistema para instruir a un usuario acerca de diversos protocolos de operaciones (medicina forense, procedimientos científicos, manejo de armas, etc.). No obstante, ese sistema requiere un entorno físico real, así como el despliegue de una gran cantidad de recursos y mobiliario, lo que limita el número de escenarios y protocolos diferentes con los que puede practicar el usuario. Además, dicho sistema no es portátil, por lo que conlleva que el usuario debe desplazarse hasta la ubicación de este para realizar la instrucción.

También son conocidos en el estado de la técnica múltiples simuladores de RA o RV. En el caso particular de aplicaciones forenses, existe un simulador creado por la empresa Staples Virtual Reality, que comprende el uso de dispositivos LIDAR (acrónimo del inglés "Light Detection and Ranging”). No obstante, este simulador proporciona unas interacciones muy limitadas del usuario con los objetos virtuales. Por ejemplo, la manipulación de los objetos virtuales no comprende una representación realista de las manos del usuario que incluya el posicionamiento preciso de los dedos y la fuerza aplicada durante dicha manipulación, lo que impide la simulación fidedigna de ciertos protocolos de operaciones (toma de huellas, uso de hisopos, etc.).

Por tanto, se hace evidente la necesidad que existe en el estado de la técnica de proporcionar un sistema capaz de mejorar el entrenamiento de usuarios en labores de inspección técnica ocular. La inspección técnica ocular requiere escenarios complejos, realización de múltiples tareas (rastreo, extracción de indicios, etc.), el uso de productos químicos y la disponibilidad de diferentes escenarios para proporcionar una correcta formación a los usuarios. Por otro lado, es deseable evitar las dificultades inherentes al despliegue de infraestructura y riesgos de seguridad que podrían originarse en un entorno físico real de entrenamiento.

La presente invención soluciona las dificultades anteriores proporcionando un sistema de entrenamiento de operaciones de inspección técnica ocular basado en simulación de RA/RV que es seguro, realista, portátil y que permite una fácil reconfiguración del escenario.

DESCRIPCIÓN BREVE DE LA INVENCIÓN

La presente invención se enmarca en los sistemas de realidad aumentada (RA) o realidad virtual (RV) y permite solventar las limitaciones del estado de la técnica mencionadas en la sección anterior, especialmente en lo referente a proporcionar mayor realismo de las interacciones del usuario con los objetos. Concretamente, la invención corresponde a un procedimiento y sistema implementado por ordenador para el entrenamiento en operaciones de inspección técnica ocular, incluyendo investigación en la escena de un crimen, atestados y diligencias de averiguación. Gracias al uso de la RA/RV, se pueden hacer prácticas ilimitadas desde el punto de vista de un usuario que requiere aprender un protocolo de inspección ocular de una manera controlada, realista y segura. Además, el uso de la RA/RV permite evitar la limitación de espacio, ya que en una pequeña habitación podemos simular grandes escenarios.

Más concretamente, un objeto principal de la presente invención se refiere a un procedimiento de simulación y entrenamiento de operaciones de inspección ocular en entornos de realidad virtual o realidad aumentada, apto para su uso en la simulación de operaciones de atestado, comprobación de pruebas o comprobación pericial realizadas en un espacio físico, que comprende:

- Generar, mediante un equipo de representación visual de realidad virtual o aumentada, un entorno de simulación que representa un espacio físico. Dicho equipo de representación virtual puede comprender una pantalla o monitor apto para la visualización.

- Definir al menos un avatar de un usuario en el entorno de simulación, mediante el equipo de representación visual.

- Definir un conjunto de objetos en el entorno de simulación, donde dichos objetos son representaciones de objetos físicos con los que el usuario puede interactuar en dicho entorno de simulación. Estas representaciones son reconocibles visualmente por el usuario, y comprenden formas geométricas sencillas, representaciones estilizadas de objetos (estilizadas, caricaturizadas, dibujos) o incluso representaciones fotorrealistas, entre otros tipos. Los objetos pueden ser objetos puramente virtuales (en el caso de que se trate de una representación de realidad virtual) u objetos reales (en el caso de realidad aumentada).

El espacio físico simulado puede estar predefinido por un usuario externo (preferiblemente un profesor o instructor), que supervisa la secuencia de operaciones realizada por uno o más usuarios (alumnos). El profesor emplea un módulo generador de escenarios para crear, seleccionar, elegir y modificar entre los escenarios predefinidos en función de las necesidades del grupo de usuarios. El generador de escenarios permite decidir la estructura del escenario (por ejemplo, geometría de un escenario, ubicación de los distintos objetos en dicho escenario, etc.).

Alternativamente, el escenario puede ser seleccionado por el propio usuario (alumno) de entre una variedad de escenarios posibles predefinidos.

Ventajosamente, el procedimiento de simulación y entrenamiento de operaciones de inspección ocular de la invención comprende adicionalmente la realización de los siguientes pasos:

- Definir, en un equipo de procesamiento conectado al equipo de representación visual, una secuencia de operaciones de referencia, asociadas a la interacción del avatar con uno o más de los objetos, por medio de uno o más actuadores o controladores (tales como un mando, unos guantes hápticos, una antorcha de realidad aumentada o unas pinzas para recolección de objetos del escenario) y/o sensores, donde dichas operaciones comprenden, al menos, una o más interacciones directas con un objeto, una o más interacciones indirectas con un objeto, una o más operaciones de marcado del entorno de simulación, y un orden de ejecución de dos o más operaciones de la secuencia de operaciones de referencia.

- Mostrar al usuario, mediante el equipo de representación visual, el entorno de simulación y realizar, por parte del usuario, una secuencia de operaciones asociadas a la interacción del avatar con uno o más de los objetos, por medio de uno o más actuadores (controladores) y/o sensores, donde dichas operaciones comprenden, al menos, una o más interacciones directas con un objeto, una o más interacciones indirectas con un objeto, una o más operaciones de marcado del entorno de simulación, y el orden de ejecución de dos o más operaciones de la secuencia de operaciones.

- Detectar, por medio de los actuadores y/o sensores y del equipo de representación visual, la secuencia de operaciones realizada por el usuario;

- Registrar, con el equipo de procesamiento, la secuencia de operaciones realizada por el usuario, y calcular la similitud de dicha secuencia de operaciones respecto a la secuencia de operaciones de referencia.

No siempre existe una única secuencia de operaciones correcta. El orden en el que se llevan a cabo dichas operaciones es vinculante en algunos casos, mientras que en otros lo que es relevante es que se completen la totalidad de operaciones. Por ejemplo, si hay varios objetos que actúan como indicios en un entorno de simulación, lo que importa es que todos esos indicios sean procesados o bien que el usuario lleve a cabo ciertas interacciones con todos ellos, pudiendo opcionalmente elegir el orden en el que va a procesar dichos indicios. Por el contrario, en otras operaciones que realiza el usuario en el sistema (por ejemplo, abandonar el escenario, delimitar un pasillo o subconjunto del entorno de simulación, o cómo sortear un indicio que se encuentre en un pasillo de acceso al escenario) el orden en el que se llevan a cabo es crítico y determina el resultado de la simulación.

En realizaciones preferentes de la invención, el procedimiento comprende calcular, mediante el equipo de procesamiento, un meta-camino en el entorno de simulación que comprende un conjunto de puntos de dicho entorno de simulación en los que el usuario ha realizado una o más operaciones en el espacio virtual; o un conjunto de puntos por donde se ha desplazado el avatar del usuario en el espacio virtual.

En otras realizaciones preferentes de la invención, el procedimiento comprende adicionalmente representar gráficamente, mediante el equipo de representación visual, el meta-camino en el entorno de simulación; registrar una o más de las operaciones del usuario en el entorno de simulación y/o reproducir una o más de dichas operaciones. El registro de las operaciones comprende, opcionalmente, grabar las interacciones que hace al menos un usuario, ya sea desde su punto de vista o desde un punto de vista externo (por ejemplo, tipo ojo de águila o, si existen una pluralidad de usuarios en el entorno de simulación, desde el punto de vista de otro usuario). El contenido registrado (por ejemplo, una grabación en formato vídeo o vídeo y audio) puede procesarse mediante medios software que permitan su sincronización con la secuencia de interacciones que se haya ido registrando para el usuario.

En ciertas realizaciones preferentes de la invención, el procedimiento comprende, además:

- Generar una distribución aleatoria, mediante el equipo de procesamiento, de un conjunto de objetos en el entorno de simulación; donde dichos objetos comprenden una o más propiedades, una de dichas propiedades consistiendo en la visibilidad o no de dicho objeto en el entorno de simulación. Esta distribución de objetos también puede venir predeterminada por un procedimiento de generación de escenas dentro del entorno de simulación o por un usuario externo al sistema (por ejemplo, un instructor).

- Representar, mediante el equipo de representación visual y según la distribución generada en el paso anterior, un subconjunto de objetos en el entorno de simulación que sean visibles.

En algunas realizaciones de la invención, el procedimiento se aplica para la simulación y entrenamiento de operaciones de inspección ocular asistidas por iluminación artificial (por ejemplo, por un objeto virtual simulando ser una linterna que porta el avatar), y comprende adicionalmente los siguientes pasos:

- Calcular, mediante el equipo de procesamiento, la distancia y/o la dirección de observación desde el avatar de usuario hasta un objeto.

- Calcular, mediante el equipo de procesamiento, la distancia y/o la dirección de iluminación desde un medio de iluminación virtual portado por el avatar de usuario hasta el objeto; donde dicho medio de iluminación virtual comprende una fuente de iluminación artificial apta para iluminar el entorno de simulación y, opcionalmente, uno o más filtros ópticos.

- Representar, mediante el equipo de representación visual, un resultado de iluminación en el entorno de simulación seleccionado de entre una pluralidad de resultados dependientes de la distancia y/o la dirección de observación y de la distancia y/o la dirección de iluminación. Por ejemplo, un determinado objeto (por ejemplo, un indicio tal como una huella) puede que sólo se haga visible para el usuario en el entorno de simulación si el usuario lo ilumina con una linterna a una corta distancia o desde un determinado ángulo.

En otras realizaciones de la invención, el procedimiento se aplica para la simulación de operaciones de marcado de caminos o zonas de interés en un entorno virtual, y comprende adicionalmente la realización de estos pasos:

- Definir, mediante la interacción del avatar con el entorno de simulación, una pluralidad de puntos de señalización virtual en dicho entorno de simulación. Preferentemente, dichos puntos son delimitados en el entorno de simulación mediante líneas discontinuas virtuales u otro tipo de representación que sirve de guía para el usuario.

- Representar, en los puntos de señalización virtual definidos en el paso anterior, marcadores virtuales de señalización (por ejemplo, de tipo baliza) correspondientes, donde dichos objetos poseen una o más propiedades físicas de interacción en el entorno de simulación (por ejemplo, cambios de visibilidad o de estado de dichas balizas en función de ciertas interacciones con el entorno de simulación).

- Definir un camino virtual, por ejemplo, entre dos o más marcadores virtuales de señalización contiguos.

- Representar gráficamente dicho camino virtual como un meta-camino en el entorno de simulación que delimita un subconjunto de puntos del espacio de simulación.

En realizaciones aún más preferentes de la invención, el procedimiento para la simulación de operaciones de marcado de caminos o delimitación de zonas de interés en el entorno virtual comprende detectar, mediante el equipo de procesamiento, la manipulación de uno o más objetos existentes en el camino virtual. Dicha manipulación comprende la verificación de la ocurrencia de colisiones, el registro de qué objetos de interés están dentro y fuera de los caminos delimitados, así como la verificación de si el usuario ha ejecutado o no determinadas acciones respecto a los objetos. Las colisiones se producen cuando el camino virtual se superpone a la posición de un objeto en el entorno de simulación o con el avatar de alguno de los usuarios. En particular, estas realizaciones pueden emplearse en la delimitación de pasillos o accesos a una estancia del entorno virtual.

En otras realizaciones de la invención, el procedimiento se aplica para la simulación de operaciones de toma de huellas dactilares y/o de rastreo de pisadas (u otro objeto) en un entorno virtual, y comprende adicionalmente la realización de los siguientes pasos para procesar los objetos:

- Aplicar uno o más objetos, comprendiendo dichos objetos al menos unos medios de iluminación virtual (por ejemplo, una linterna) y/o unas herramientas de manipulación de objetos (por ejemplo, un hisopo o un reactivo), en un subconjunto de puntos del entorno de simulación para modificar la visibilidad de un nuevo objeto localizado en dicho subconjunto de puntos del entorno de simulación. Por ejemplo, en ocasiones no es necesario la utilización de medios de iluminación virtual si el objeto es visible a simple vista, con la luz natural existente en el escenario.

- Opcionalmente, transferir dicho nuevo objeto virtual a unos contenedores de almacenamiento para dichos objetos virtuales (por ejemplo, cajas virtuales para cada tipo de objeto virtual: indicio biológico, etc.). Otros objetos son procesados y no requieren su almacenamiento.

- En el caso de rastreo, evaluar la eficiencia de dicho rastreo. Por ejemplo, se puede obtener información de qué superficies del entorno de simulación han sido exploradas por el usuario y con qué herramientas han sido rastreadas.

En algunas realizaciones de la invención, el procedimiento se aplica a la simulación de operaciones de adquisición de una o más imágenes (en formato fotográfico o vídeo) y metadatos del entorno de simulación, y comprende adicionalmente la realización de estos pasos:

- Seleccionar al menos uno de los objetos como medio de adquisición de imágenes (por ejemplo, una cámara fotográfica).

- Configurar un tipo de imagen, y opcionalmente un filtro óptico (ultravioleta, infrarrojo, etc.), y aplicar dicha configuración al medio de adquisición de imágenes. En función del tipo de indicio a procesar en el entorno de simulación, se empleará un tipo de imagen y un cierto filtro. Los medios de adquisición de imagen disponen varios tipos de captura, como modo panorámico, trípode u otros, en función del campo de visión a registrar.

- Posicionar el avatar a una distancia del subconjunto del entorno de simulación, y con la dirección de observación con la que se tomará la/s imágenes.

- Capturar una imagen del subconjunto del entorno de simulación que queda en el campo de visión del medio de adquisición de imágenes configurado. Esta imagen comprende información adicional (metadatos) de los objetos de la imagen. Los metadatos son información adicional de los objetos relevantes (indicios, etc.) que están en la imagen del escenario. Dichos metadatos comprenden, por ejemplo, indicaciones de si salen todos los indicios necesarios en una foto, o si se ha aplicado el filtro de iluminación adecuado.

- Evaluar preliminarmente la imagen capturada de acuerdo con uno o más criterios de calidad fijados por el usuario (o predefinidos por el simulador) y de los metadatos de los objetos incluidos en la imagen.

Los pasos anteriores pueden repetirse iterativamente hasta que la evaluación preliminar supere los requisitos de calidad fijados por el usuario.

Algunos criterios para la evaluación preliminar de calidad pueden ser: que uno o más objetos (por ejemplo, indicios) se vean completamente en la imagen sin necesidad de hacer zoom, que en la misma imagen aparezca junto al objeto un testigo métrico que permita comprobar sus dimensiones, etc. En los casos en que la imagen capturada no cumpla con los estándares de calidad el procedimiento puede comprender también indicar al usuario qué parámetros de la configuración del medio de adquisición (por ejemplo, zoom, tipo de imagen, filtro) serían adecuados. La evaluación preliminar es esencial cuando se simulan procedimientos donde las imágenes no pueden ser editadas (recortadas, ampliadas o retocadas) en modo alguno con posteridad, por ejemplo, si van a ser utilizadas como prueba ante un juez. Si la imagen capturada no cumple con dichos criterios, se puede optar por repetir iterativamente los pasos anteriores hasta que la imagen o imágenes del entorno de simulación son adecuadas.

En algunas realizaciones de la invención, el procedimiento comprende adicionalmente generar una puntuación del rendimiento del usuario en función de la similitud de las operaciones del usuario y la secuencia de operaciones de referencia. Adicionalmente, la puntuación puede tener en cuenta, o no, la observancia de un cierto orden en la realización de la secuencia de operaciones, si el orden en que estas se llevan a cabo es relevante.

En ciertas realizaciones de la invención, el procedimiento comprende adicionalmente definir una pluralidad de usuarios que interactúan cooperativamente en el mismo entorno de simulación. Opcionalmente, a cada usuario se le asigna un rol, de modo que la secuencia de operaciones comprende una o más interacciones permitidas a dicho usuario respecto a los objetos y/u otros usuarios en función de su rol. Por ejemplo, en el caso de multiusuario, un usuario puede estar encargado de documentación de indicios durante la simulación, mientras que otro puede estar encargado de la obtención de imágenes del entorno de simulación). En otras realizaciones, todos los usuarios podrían realizar la secuencia de operaciones necesaria de forma cooperativa. Cabe destacar que todos los usuarios están sincronizados en el entorno de simulación.

Un segundo objeto de la invención divulgada en la presente solicitud es un sistema de realidad aumentada o virtual que opera de acuerdo con cualquiera de las realizaciones del procedimiento descrito. Dicho sistema comprende los siguientes elementos:

- Un equipo hardware de representación visual de realidad aumentada o virtual configurado para generar y mostrar al usuario un entorno de simulación. Por ejemplo, algunas implementaciones hardware comerciales posibles para el equipo de representación visual son Oculus Quest o Microsoft Hololens.

- Uno o más actuadores (controladores) y/o sensores, comprendiendo al menos sensores de posición, y/o hápticos configurados para registrar información de acciones realizadas por uno o más usuarios en el mundo físico que representan interacciones en el entorno de simulación.

- Un equipo de procesamiento que comprende un módulo de almacenamiento de información configurado para almacenar la secuencia de operaciones de referencia y todas las interacciones realizadas por uno o más usuarios en el entorno de simulación; y un módulo de evaluación configurado para comparar la similitud entre la secuencia de operaciones de referencia y las operaciones realizadas por cada usuario. El módulo de almacenamiento comprenderá preferiblemente una base de datos.

Ventajosamente, el equipo de procesamiento del sistema de realidad aumentada o virtual comprende un módulo de generación de la simulación en realidad virtual o aumentada que implementa el procedimiento de simulación y entrenamiento de operaciones de inspección ocular según lo descrito anteriormente.

En realizaciones preferentes de la invención, el sistema comprende los siguientes elementos:

- Medios de registro y reproducción de audio (por ejemplo, un micrófono para grabar audio), adaptados para permitir la interacción del usuario con el entorno de simulación.

- Medios de visualización externos del entorno de simulación aptos para permitir la visualización de dicho entorno y de las operaciones realizadas por un usuario a otros usuarios diferentes.

- Medios de comunicación permitiendo la transmisión de información almacenada y/o procesada por el equipo de procesamiento a dispositivos externos o ubicaciones remotas a través de redes telemáticas. Dichos medios de comunicación pueden comprender un ordenador (CPU, en inglés, "Computer Processing Unit”), microcontrolador, CPU o dispositivos análogos.

- Módulo de retroalimentación, que permite hacer un seguimiento del avance de los alumnos, así como la realización de pruebas y exámenes a los mismos, mediante la evaluación de la secuencia de operaciones que realiza el usuario y comparándola con una secuencia de operaciones de referencia (por ejemplo, de acuerdo a un cierto protocolo). El módulo de retroalimentación está adaptado para registrar la información de los usuarios durante la realización de operaciones en el entorno (1) de simulación. Además, el módulo de retroalimentación comprende una plataforma web educativa que registra los errores cometidos por el usuario durante la simulación, así como la puntuación alcanzada, la cual se computa a partir de la información de los usuarios registrada. Por tanto, este módulo de retroalimentación funciona como una plataforma de aprendizaje en línea ("e-learning”) y comprende los medios hardware/software necesarios para gestionar los usuarios del sistema (altas y bajas), puntuaciones, gestión de grupos, asignación de escenarios, envío de comentarios a los usuarios, etc. En este caso, el módulo de retroalimentación comprende una comunicación con el generador de escenarios, de modo que el profesor selecciona cuáles de los escenarios están disponibles para un cierto usuario, y en qué circunstancia (por ejemplo, en función de sus habilidades o del grupo al que pertenezca dicho alumno). De esta manera, cuando el usuario (alumno) se coloca el hardware (visor) del simulador, puede escoger entre una pluralidad de escenarios que el profesor ha configurado para él.

En realizaciones aún más preferentes de la invención, el sistema de realidad aumentada o virtual comprende adicionalmente un módulo de registro y reproducción de información adaptado para:

- Generar un registro (comprendiendo imágenes, vídeo y/o audio, así como metadatos de imágenes) desde el punto de vista de uno o más de los usuarios del entorno de simulación, del conjunto de operaciones realizadas por uno o más de los usuarios del entorno de simulación. Este registro comprende, por ejemplo, una grabación con audio/vídeo que permite la reproducción posterior de las acciones realizadas por el usuario, incluso desde distintos puntos de vista diferentes al punto de vista con el que el usuario las realizó. Alternativamente, dicho registro comprende una pluralidad de metadatos adaptados para reconstruir la secuencia de operaciones realizada por el usuario, o bien comprende tanto una grabación audiovisual como los metadatos.

- Opcionalmente, sincronizar dicho registro con el conjunto de operaciones realizadas por uno o más de los usuarios del entorno de simulación. Al sincronizar la grabación y la secuencia de operaciones ejecutadas por el usuario, el sistema permite posteriormente proporcionar realimentación a dicho usuario acerca de la puntuación obtenida, como se indicará a continuación.

- Opcionalmente, reproducir dicha grabación.

En ciertas realizaciones de la invención, el módulo de retroalimentación para el usuario configurado para:

- Calcular una puntuación según la similitud entre los patrones de referencia y las operaciones que ha realizado el usuario.

- Proporcionar una pluralidad de indicaciones al usuario de aquellas interacciones diferentes a las comprendidas en la secuencia de operaciones de referencia; dichas indicaciones comprendiendo al menos una de las siguientes: tiempo empleado para las interacciones con los objetos, tiempo total empleado para la realización de las operaciones, orden inadecuado realización de la secuencia de operaciones, número de objetos almacenados.

De esta manera, el sistema de la invención presenta una funcionalidad en remoto, donde varios usuarios en diferentes ubicaciones físicas (que interactúan o no entre sí) están incluidos en el mismo entorno de simulación. El sistema de retroalimentación permite que se pueda gestionar a los usuarios a modo de entorno educativo (clase) a distancia, donde un profesor puede revisar las operaciones efectuadas por uno o más de los usuarios en el entorno de simulación. El profesor puede asistirlos de forma remota, y puede revisar con posteridad al desarrollo de la actividad las operaciones que ha llevado a cabo cada usuario, por ejemplo, reproduciendo nuevamente dichas operaciones (incluso desde otro punto de vista).

En ciertas realizaciones preferentes de la invención, el avatar comprende una representación realista de la posición de los dedos del usuario, gracias a la información adquirida por uno o más sensores hápticos (por ejemplo, guantes) que porta el usuario en el mundo físico. De esta manera, la manipulación de ciertos objetos por parte del usuario tiene una gran relevancia para la puntuación que el sistema asigna a la secuencia de operaciones realizada por dicho usuario. Particularmente, se pueden simular ciertas operaciones como la manipulación de indicios biológicos (por ejemplo, extracción de huellas en el caso de un escenario forense) donde la posición de los dedos, la fuerza aplicada y la duración de la manipulación son factores críticos para determinar si el indicio es extraído con éxito o si resulta dañado de manera irreversible.

A lo largo del texto, la palabra "comprende” (y sus derivados) no deben ser entendidos de un modo excluyente, sino que deben ser entendidos en el sentido en que admiten la posibilidad de que lo definido pueda incluir elementos o etapas adicionales. Además, en el ámbito de la invención cuando se hace referencia a filtros "ópticos” no se pretende limitar al espectro electromagnético "visible”, sino que cualquier porción de dicho espectro puede ser utilizada (ultravioleta, infrarrojos, etc.).

Asimismo, se entenderá el concepto de "avatar” de manera amplia, como cualquier representación virtualizada de un usuario o cualquier parte de su cuerpo (por ejemplo, podrían ser sólo las manos o también incluir los pies), e incluso cualquier otro tipo de representación simbólica de dicho usuario (un cursor indicando su posición en el entorno de simulación, únicamente una representación de una o más de las herramientas que manipula, etc.).

En el ámbito de esta invención se entenderá por "meta-camino” en el entorno de simulación como un conjunto de puntos en dicho entorno en los que el usuario ha llevado a cabo una o más operaciones en el espacio virtual, o bien un conjunto de puntos que ha recorrido el avatar del usuario durante la realización de dichas operaciones. El "meta-camino” es una entidad puramente virtual que carece de un equivalente físico. Por el contrario, los objetos virtuales son siempre representaciones de objetos físicos con un equivalente en el mundo físico.

Por otro lado, en la descripción y las reivindicaciones de la presente solicitud, el concepto "objeto” se referirá tanto a objeto real como a objeto virtual en los casos en que este término no aparezca acompañado de aclaración alguna. Por el contexto de la invención, los "objetos” serán puramente virtuales en el caso de utilizar un visor de RV, pero podrían ser también objetos reales si se trata de un visor de RA.

El sistema de la invención comprende uno o más visores de RA/RV. Si bien la invención se referirá principalmente a visores personales que son llevados por el usuario, tales como gafas, o cascos de RA/RV, se considerarán incluidos en el ámbito de interpretación de este término también cualquier monitor o pantalla (por ejemplo, pantalla de un ordenador, dispositivo móvil, tableta o televisor) que permita representar el entorno de RA/RV.

DESCRIPCIÓN DE LAS FIGURAS

Para completar la descripción de la invención se proporciona un conjunto de figuras, que forman parte integral de la descripción e ilustran una realización preferente de la invención. Dichas figuras deben interpretarse de modo ilustrativo, no limitativo, y se detallan a continuación.

La Figura 1 muestra un ejemplo de la interfaz del sistema de la invención que observa el usuario.

La Figura 2 representa el menú de opciones desplegado, cuando el usuario activa la funcionalidad de adquisición de una o más imágenes del entorno de simulación.

La Figura 3 muestra cómo, una vez escogida la configuración de la cámara fotográfica virtual, el menú desplegable se cierra para facilitar el enfoque y selección del campo de visión que se va a capturar.

La Figura 4 ilustra la funcionalidad de simulación y entrenamiento de operaciones de inspección ocular asistidas por iluminación artificial, en este caso una linterna virtual.

La Figura 5 se corresponde a la funcionalidad de inspección ocular asistida por iluminación ocular, donde la linterna se aplica a una superficie del entorno de simulación, en este caso una mesa.

La Figura 6 representa el mismo escenario de la Figura 5, con la diferencia de que el usuario ha modificado la configuración de la linterna (particularmente la distancia y ángulo de iluminación), lo que le ha permitido revelar un indicio oculto.

La Figura 7 representa la interfaz del sistema para la simulación de operaciones de marcado de caminos o delimitación de zonas de interés en un entorno virtual.

Las citadas Figuras 1-7 se acompañan de una serie de referencias numéricas, correspondientes a los siguientes elementos:

(1) Entorno de simulación (de RA/RV).

(2) Avatar de usuario

(3) Icono de inicio de la interfaz del sistema.

(4) Menú desplegable.

(5) Herramienta virtual.

(5’) Medios virtuales de iluminación artificial.

(6) Mando (joystick).

(7) Objetos virtuales.

(8) Volumen de acción de la herramienta.

La Figura 8 corresponde a un diagrama del procedimiento de creación de espacios en el entorno de simulación.

La Figura 9 ilustra un diagrama del procedimiento de configuración de los espacios creados según el procedimiento de la Figura 8.

La Figura 10 representa el procedimiento de delimitación de zonas de interés.

La Figura 11 muestra el funcionamiento de la herramienta de rastreo y cómo interactúa con las balizas durante las operaciones de rastreo.

La Figura 12 ilustra cómo los procedimientos de la Figuras 10 y 11 interactúan para alterar el estado de las balizas de rastreo.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN

La presente invención corresponde a un procedimiento y sistema implementado por ordenador para el entrenamiento en operaciones de inspección técnica ocular. Dicha invención emplea la realidad aumentada o virtual para generar simulaciones de diversos escenarios dentro de un entorno (1) de simulación, por ejemplo, la escena de una investigación forense. El entrenamiento en inspección técnica ocular requiere simular escenarios complejos, así como el uso de varios objetos y productos químicos para la correcta formación que dificultan sus prácticas en entornos reales con seguridad para los usuarios. Por ello, la presente invención está diseñada para facilitar el entrenamiento en este tipo de operaciones, permitiendo así una fácil reconfiguración del escenario y proporcionando entrenamiento ilimitado para los usuarios. Además, el sistema de realidad aumentada o virtual de esta invención es que es portátil, de modo que puede transportarse con comodidad. En lo sucesivo, se mostrará una serie de realizaciones particulares de la invención únicamente en sistemas de RV. No obstante, estas realizaciones solo sirven a modo de ejemplos y no son limitantes del alcance de la invención.

En la Figura 1 se muestra una implementación preferente de la interfaz gráfica asociada al sistema de la invención, que comprende el entorno (1) de simulación de realidad virtual (en este caso, un espacio con distintas puertas) y un avatar (2) representando las manos del usuario. Cuando el usuario pulsa sobre el icono (3), se abre un menú (4) desplegable en el que puede observar distintas operaciones y herramientas (5) virtuales para interactuar con el entorno (1) de simulación. En este caso, el menú (4) sirve para abrir la funcionalidad de cámara.

La Figura 2 representa la interfaz del sistema con el menú (4) de opciones desplegado, cuando el usuario activa la funcionalidad de adquisición de una o más imágenes del entorno de simulación. En este caso, la herramienta (5) virtual es una cámara fotográfica virtual. El usuario dispone de varias opciones de configuración para dicha cámara, por ejemplo, diversos filtros ópticos y tipos de captura de imagen (modo trípode, modo panorámico u otros). En la Figura 2 también se observa una representación virtual o miniatura del hardware que emplea el usuario para interactuar con el sistema, en este caso un mando (6) o joystick que porta en las manos. Preferentemente, la interfaz del sistema muestra al usuario información de para qué sirve cada uno de los botones del hardware utilizado. En el caso concreto de la Figura 2, un primer botón del joystick sirve para tomar la foto, mientras que un segundo botón sirve para cambiar el estilo de fotografía (trípode, panorámica, o detalle). Una vez el usuario porta en la mano la cámara, puede regular el aumento (zoom) de la cámara en función del punto de vista con el que observa el escenario.

La Figura 3 muestra cómo, una vez escogida la configuración de la cámara fotográfica virtual, el menú (4) desplegable se cierra para facilitar el enfoque y selección del campo de visión que se va a capturar con la cámara fotográfica con el punto de vista del usuario.

El sistema de la invención puede comprender un conjunto de una o más herramientas (5) virtuales adaptadas para la realización de las operaciones de inspección ocular, de modo que el usuario pueda interactuar con otros objetos (7) virtuales del entorno (1) de simulación mediante dichas herramientas (5) virtuales. Entre las herramientas (5) virtuales destacan las siguientes:

- Medios (5’) virtuales de iluminación artificial, comprendiendo al menos uno de entre los siguientes: linterna de rastreo de luz visible, de luz infrarroja o ultravioleta.

- Medios de medición virtuales, comprendiendo al menos un calibre o testigo métrico.

- Medios virtuales de adquisición de imágenes (una cámara fotográfica).

- Elementos magnéticos virtuales, por ejemplo, polvos magnéticos para el revelado de huellas dactilares.

- Medios de manipulación de objetos virtuales, comprendiendo al menos uno de los siguientes: pinceles, hisopos, reactivos reveladores, soportes para transferencia y/o almacenado de objetos virtuales, comprendiendo al menos cinta recoge huellas dactilares o de pisadas.

- Contenedores virtuales aptos para el almacenamiento de uno o más objetos virtuales, comprendiendo al menos uno de los siguientes contenedores: de cartón, plástico, jaula de Faraday o para casquillos de balas.

Los objetos (7) virtuales que se emplean en el procedimiento y sistema objeto de la invención no se limitan exclusivamente a objetos simulando ser indicios en un escenario, sino que comprenden entre otros:

- Indicios biológicos, comprendiendo al menos uno de los siguientes: manchas de sangre, polvo, pintura o fibras.

- Mobiliario.

- Una o más vestimentas para el avatar (2), en función del escenario simulado en el entorno (1) de simulación.

- Marcadores virtuales de señalización aptos para delimitar un subconjunto del entorno de simulación mediante las operaciones de marcado, comprendiendo al menos uno de los siguientes: marcadores alfabéticos o balizas.

Una de las principales características de la invención consiste en la capacidad de resaltar ciertos objetos (7) virtuales, tales como indicios, mediante el uso de los medios (5’) virtuales de iluminación artificial y filtros ópticos virtuales. La Figura 4 ilustra la funcionalidad de simulación y entrenamiento de operaciones de inspección ocular asistidas por medios (5’) virtuales de iluminación artificial, en este caso una linterna virtual. El funcionamiento correcto de esta característica requiere la colaboración de dos subsistemas: unas secuencias de resolución y una pluralidad de pares de tipos de iluminación y filtro óptico a aplicar. El objetivo que se persigue es resaltar visualmente (simulando efectos de iluminación u otras técnicas apropiadas) ciertos objetos (7) virtuales (por ejemplo, indicios) en la escena cuando se den las condiciones adecuadas (distancia de observación respecto al indicio, dirección de iluminación adecuada, utilización de la herramienta virtual propicia, etc.). Durante el proceso de iluminación de un indicio habrá siempre tres entidades de alto nivel interactuando:

- Medios (5’) virtuales de iluminación artificial (un iluminador o linterna), que utiliza el usuario para iluminar los indicios. El iluminador permite aplicar diversos patrones de iluminación de duración configurable. Dicho iluminador debe incluir, al menos, un volumen (8) de acción y un par luz-filtro. El volumen (8) de acción se define como el volumen del entorno de simulación en el que el iluminador despliega su efecto, y depende de la herramienta (5) virtual concreta. En el caso de la linterna (véase la Figura 4), el volumen (8) de acción es un cono con el extremo en el foco de la linterna, disponiendo de una longitud y radio parametrizados en función de la distancia de observación a dicho volumen. Por otro lado, el par luz-filtro representa la configuración del iluminador y comprende el tipo de iluminación escogido y el filtro óptico que aplica. Al menos un par luz-filtro debe estar presente en los medios (5’) virtuales de iluminación artificial, aunque es posible diseñar herramientas (5) virtuales que comprenden distintos pares junto a mecanismos de selección de pares específicos. Por ejemplo, la linterna comprende diversos tipos de luz (infrarrojo, visible, ultravioleta), así como diversos filtros ópticos.

- Objeto (7) virtual alumbrado (por ejemplo, un indicio), que es la entidad virtual que va a ser resaltada o revelada gráficamente al usuario cuando se aplica un par luz-filtro correcto. En el caso de los indicios, el par luz-filtro correcto está ligado al estado de una secuencia de resolución. La secuencia de resolución es el conjunto de acciones ligadas a los indicios que serán desencadenadas o no en función del tipo de interacción con una herramienta (5) virtual. Durante el procesamiento de un indicio, la secuencia de resolución asociada al mismo recibe las interacciones con las herramientas (5) virtuales y avanza por sus distintos estados, como se verá más adelante.

- Efectos de la iluminación, que comprenden modificaciones en ciertas características de uno o más objetos (7) virtuales, por ejemplo, sus texturas, materiales, cambios de visibilidad, calcomanías o combinaciones de los anteriores.

Combinando los tres elementos anteriores (iluminador, objeto virtual alumbrado y los efectos de la iluminación) es posible construir objetos (7) virtuales que se iluminen ante diversos pares luz-filtro.

La utilización de los medios (5’) virtuales de iluminación artificial comprende los siguientes pasos:

- Los medios (5’) virtuales de iluminación artificial (iluminador) son activados. - El iluminador comprueba la presencia de objetos (7) virtuales que puedan ser alumbrados dentro de su volumen (8) de acción.

- Al localizar un objeto (7) virtual que pueda se alumbrado, el iluminador se comunica con dicho objeto (7) virtual para notificarle su presencia y el par luz-filtro con el que está emitiendo luz.

- El objeto (7) virtual alumbrado comprueba si el par luz-filtro recibido es el correcto y, en su caso, aplica los efectos de iluminación que tenga asociados. Cuando el iluminador no tenga el par luz-filtro correcto, el objeto (7) virtual no reacciona.

La Figura 5 se corresponde a la funcionalidad de inspección ocular asistida por iluminación artificial, donde la linterna se aplica a una superficie del entorno de simulación, en este caso una mesa. También se observa cómo se ofrece al usuario una miniatura del mando (6) incluyendo la funcionalidad asociada a cada uno de los botones de dicho hardware (por ejemplo, encender o apagar la linterna, o bien cambiar el filtro óptico de dicha linterna) a modo de retroalimentación para que el usuario del sistema sepa de qué opciones dispone para la interacción. La proyección del volumen (8) de acción sobre la superficie de la mesa corresponde, en este caso, a una elipse, la cual es discretizada como una pluralidad de puntos. En esta Figura 5, la configuración de la linterna no es la adecuada (debido a que el ángulo y distancia de observación respecto a la superficie no es la adecuada), por lo que el usuario no es capaz de localizar ningún indicio en la superficie.

La Figura 6 representa el mismo escenario de la Figura 5, con la diferencia de que el usuario ha modificado la configuración de la linterna. En este caso particular la configuración comprende fijar la distancia, el tipo de luz y los filtros de iluminación adecuados para iluminar el objeto (huella), si bien podrían configurarse otros parámetros como el ángulo con el que se tiene que iluminar el objeto. Cuando la configuración establecida es correcta, la linterna permite revelar un objeto (7) virtual oculto (una huella dactilar) en la elipse proyectada correspondiente al volumen (8) de acción.

Otra de las funcionalidades del sistema de la invención comprende el agarre de precisión, que se emplea fundamentalmente para la manipulación de ciertos objetos (7) virtuales, tales como los indicios. Debido a la alta precisión requerida, el control de agarre y la conexión con el objeto (7) virtual se realiza con aspectos que difieren de los sistemas de agarre en sistemas de realidad virtual o aumentada habituales. Las principales diferencias respecto dichos sistemas más habituales son:

- Región de influencia. A diferencia de otros sistemas de RA/RV habituales, la región de influencia se establece en un volumen que envuelve de forma aproximada la punta del dedo índice de la mano del avatar (2). Este volumen se controla empleando un “collider” (colisionador) invisible para el usuario y cuyo tamaño y posición se adaptan al objeto (7) virtual y a la resolución que requiera la operación de agarre de dicho objeto. Los “colliders” son componentes que definen la forma de un objeto para los propósitos de simulación de colisiones.

- Reacción al agarre. En el momento de producirse el agarre se genera una conexión física rígida entre el objeto (7) virtual y el centro de masas de la mano del avatar (2) que representa al usuario. De este modo, la posición de todos los puntos del objeto (7) virtual y/o herramienta (5) virtual relativa a la mano que lo sostiene se mantiene durante el agarre, lo que garantiza un control preciso por parte del usuario de qué partes del objeto (7) virtual están en contacto con la mano virtual del avatar (2).

Este mecanismo de reacción al agarre de precisión representa de manera fidedigna la posición de los dedos del usuario en la mano virtual del avatar (2). Opcionalmente, este sistema de agarre de precisión utiliza la información registrada por uno o más sensores (por ejemplo, unos guantes hápticos que porta el usuario en el mundo físico).

La Figura 7 representa la interfaz del sistema para la simulación de operaciones de marcado de caminos o zonas de interés en el entorno (1) de simulación. En concreto, el camino corresponde a un pasillo definido mediante una pluralidad de puntos de señalización donde se colocan una pluralidad de objetos (7) virtuales a modo de marcadores virtuales de señalización o balizas. Los límites de dicho pasillo están delimitados por una línea discontinua que se muestra al usuario. La herramienta (5) virtual en este caso es una cinta, la cual se utilizaría en un escenario real para acordonar la zona y delimitar el pasillo.

El procedimiento de creación de espacios dentro del entorno (1) de simulación que se muestra en la Figura 8 es fundamental para el correcto funcionamiento de la invención. Dicho procedimiento comprende la realización de los siguientes pasos:

- Inicialización (1000), donde se selecciona y/o configura un escenario, y se definen varios parámetros, como la posición de dicho escenario dentro del entorno (1) simulado y los objetos (7) incluidos en dicho escenario.

- Verificación (1001) de si dicho escenario es cerrado, tras lo que pueden ocurrir dos casos alternativos:

a) Que sea un espacio cerrado, en cuyo caso se selecciona (1002) un recinto existente al que pertenecerá el espacio o, alternativamente, se genera (1003) si no va a pertenecer a ninguno de los escenarios cerrados disponibles. Tras ello se ubicará (1004) el escenario en su posición dentro del entorno de simulación tridimensional.

b) Que no sea un espacio cerrado, en cuyo caso se ubicará (1004) directamente el espacio en su posición dentro del entorno (1) de simulación tridimensional.

- Comprobar (1005) si se requiere crear más espacios. Si es así, se vuelve a la inicialización (1000). Si no se requieren más espacios, se procede a finalizar (1006).

Es también objeto de la presente invención el procedimiento de configuración de espacios creados dentro del entorno (1) de simulación. Como se muestra en la Figura 9, a partir de un espacio (1007) inicial (que comprende un subconjunto del entorno (1) de simulación), se obtiene un espacio (1008) final aplicando un primer algoritmo (1009). Dicho primer algoritmo (1009) comprende estas etapas:

- Inicialización, donde se parte de un modelo tridimensional de un espacio (1007) inicial y se seleccionan parámetros para la construcción de una matriz (1010) de rastreo principal, formada por una pluralidad de balizas. Entre dichos parámetros destaca la resolución, entendida como el número de balizas para cubrir una unidad de superficie o longitud del entorno (1) de simulación y la proximidad entre balizas consecutivas.

- Generación de la matriz (1010) de rastreo principal con los parámetros del paso de inicialización anterior.

- Se analiza si se requieren ajustes manuales en la matriz (1010) de rastreo principal, tales como añadir o quitar balizas, o bien si hay que añadir matrices de rastreo secundarias. Por ejemplo, se puede fijar una matriz de rastreo principal en el suelo del escenario, mientras que podrían ser necesarias las matrices de rastreo secundarias cuando se represente el rastreo de zonas discontinuas del entorno (1) de simulación.

- Si del análisis del paso anterior surge la necesidad de hacer ajustes, dichos ajustes se aplican a la matriz (1010) de rastreo principal, y se superpone dicha matriz (1010) de rastreo principal al espacio (1007) inicial para generar el espacio (1008) final. En su caso, también se superpondrían las matrices de rastreo secundarias. Cuando no sean necesarios los ajustes, directamente se superpone la matriz (1010) de rastreo principal al espacio (1007) inicial para generar el espacio (1008) final.

- Finalización (1011) del procedimiento.

Otro aspecto de la invención comprende el procedimiento de rastreo de zonas de interés del entorno (1) de simulación mediante el uso de herramientas (5) virtuales. Dicho procedimiento de rastreo comprende a su vez dos algoritmos diferentes:

- Un segundo algoritmo (2000) para la delimitación de zonas de interés (véase Figura 10) dentro del entorno (1) de simulación.

- Un tercer algoritmo (2001) para la utilización de herramientas virtuales de rastreo (véase la Figura 11) para interactuar con las zonas de interés.

A continuación, se va a analizar en detalle estos dos algoritmos (2000, 2001).

En la Figura 10 se muestra el segundo algoritmo (2000) de delimitación de caminos o zonas de interés dentro del entorno (1) de simulación, el cual comprende estos pasos:

- Inicialización (1012), que comprende la delimitación por parte del usuario de un subconjunto (camino o zona de interés) del entorno (1) de simulación.

- Analizar (1013) el tipo de zona de interés:

a) Si es una zona abierta, se utiliza (1014) el delimitador de zonas para marcar una zona arbitraria y se considera (1015) completada la zona de interés.

b) De ser una zona cerrada, se marcan (1016) los puntos de acceso a dicha zona empleando un objeto virtual (7) delimitador de zonas. Después, se verifica (1017) si se marcaron todos los puntos de acceso y, de ser así, se considera (1015) completada la zona de interés. De no haberse marcado todos los accesos de la zona de interés, se utiliza (1018) el delimitador de zonas hasta marcar todos los puntos de acceso.

Para diferenciar si una zona debe será abierta o cerrada, se pueden preestablecer criterios que se incorporan a la lógica del simulador. Por ejemplo, las zonas cerradas están concebidas para zonas más pequeñas, en las que es posible sellar un punto de acceso. Por el contrario, las zonas abiertas son aquellas regiones extensas del escenario en las que no es posible controlar el acceso mediante el sello de un único punto de acceso, y por lo tanto se requieren otras técnicas para delimitar un espacio (por ejemplo, generando un pasillo o delimitando con una pluralidad de balizas un contorno).

- Se comprueba (1019) si hay que añadir más zonas de interés. Si es así, se vuelve al paso de analizar (1013). De no ser así, el segundo algoritmo (2000) finaliza (1020).

En la Figura 11 se detalla el funcionamiento de la herramienta (5) de rastreo y su interacción con las balizas. Los pasos para ejecutar este tercer algoritmo (2001) son:

- Inicialización (1021), que comprende la selección de la herramienta (5) virtual de rastreo y cogerla con la mano del avatar (2).

- Rastrear (1022). Este paso, que veremos un poco más adelante en detalle, se realiza desde que se selecciona la herramienta (5) hasta que se abandona.

- Mover (1023) la herramienta (5) de rastreo en el entorno (1) de simulación, para determinar qué balizas del volumen (8) de acción son seleccionadas.

- Soltar (1024) la herramienta (5), por ejemplo, almacenándola en un maletín virtual portado por el avatar (2) o bien arrojándola al suelo del entorno (1) de simulación.

- Finalizar (1025) el tercer algoritmo (2001), lo que detiene también el paso de rastrear (1022) independientemente de por donde avance su ejecución.

A su vez, el paso de rastrear (1022) comprende la realización de los siguientes pasos:

- Inicialización (1026) de la herramienta (5) virtual de rastreo, que comprende definir su configuración y volumen (8) de acción, entre otros parámetros.

- Buscar (1027) balizas dentro del volumen (8) de acción.

- Comprobar (1028) si la herramienta (5) virtual interactúa con cada una de las balizas de rastreo dentro del volumen (8) de acción, lo que origina dos casos:

a) Si no interactúa la herramienta (5) virtual con la baliza, se vuelve a la búsqueda (1027).

b) Si hay interacción de la herramienta (5) virtual y la baliza, se marca (1029) la baliza como rastreada y se vuelve al paso de búsqueda (1027).

- Finalización (1030), la cual fuerza el paso de finalizar (1025), ya que están sincronizados. La finalización (1030) se lleva a cabo independientemente del momento de ejecución en que se encuentre el paso de rastrear (1022).

La Figura 12 ilustra la funcionalidad de rastreo, empleando los algoritmos (2000, 2001). El ciclo de la vida (secuencia de resolución) de las balizas comprende tres estados, que son recorridos secuencialmente en función de la interacción con la herramienta (5) virtual: baliza dormida, baliza relevante no rastreada y baliza relevante ya rastreada (véase Figura 12A). En la Figura 12B se asume que existe una única matriz (2003) de rastreo, donde inicialmente todas las balizas del entorno (1) de simulación están dormidas, sin reaccionar a ninguna herramienta (5) virtual. Tras la ejecución del segundo algoritmo (2000) para la delimitación de zonas de interés, se genera una nueva matriz (2004) de rastreo donde varias balizas son consideradas como balizas relevantes no rastreadas, ya que se encuentran en el volumen (8) de acción de la herramienta (5) (en este caso, las balizas comprendidas en la elipse que se muestra en la Figura 12B). Conforme el usuario va moviendo la herramienta (5) virtual en el entorno (1) de simulación, varias de las balizas relevantes de la matriz (2005) de rastreo cambian a estado rastreado. El rastreo finaliza cuando todas las balizas relevantes han sido inspeccionadas mediante el tercer algoritmo (2001).

Claims

REIVINDICACIONES

1.

Procedimiento de simulación y entrenamiento de operaciones de inspección ocular en entornos de realidad virtual o realidad aumentada, apto para su uso en la simulación de operaciones de atestado, comprobación de pruebas o comprobación pericial realizadas en un espacio físico, que comprende:

a) generar, mediante un equipo de representación visual de realidad virtual o aumentada, un entorno (1) de simulación que representa un espacio físico;

b) definir al menos un avatar (2) de un usuario en el entorno (1) de simulación, mediante el equipo de representación visual;

c) definir un conjunto de objetos (7) en el entorno de simulación, donde dichos objetos (7) son representaciones de objetos físicos con los que el usuario puede interactuar en dicho entorno (1) de simulación;

estando dicho procedimiento caracterizado por que comprende la realización de los siguientes pasos:

d) definir, en un equipo de procesamiento conectado al equipo de representación visual, una secuencia de operaciones de referencia, asociadas a la interacción del avatar (2) con uno o más de los objetos (7), por medio de uno o más actuadores y/o sensores, donde dichas operaciones comprenden, al menos, una o más interacciones directas con un objeto (7), una o más interacciones indirectas con un objeto (7), una o más operaciones de marcado del entorno (1) de simulación, y un orden de ejecución de dos o más operaciones de la secuencia de operaciones de referencia;

e) mostrar al usuario, mediante el equipo de representación visual, el entorno (1) de simulación y realizar, por parte del usuario, una secuencia de operaciones asociadas a la interacción del avatar (2) con uno o más de los objetos (7), por medio de uno o más actuadores y/o sensores, donde dichas operaciones comprenden, al menos, una o más interacciones directas con un objeto (7), una o más interacciones indirectas con un objeto (7), una o más operaciones de marcado del entorno (1) de simulación, y el orden de ejecución de dos o más operaciones de la secuencia de operaciones;

f) detectar, por medio de los actuadores y/o sensores y del equipo de representación visual, la secuencia de operaciones realizada por el usuario;

g) registrar, con el equipo de procesamiento, la secuencia de operaciones realizada por el usuario y calcular la similitud de la misma con la secuencia de operaciones de referencia.

2.

Procedimiento según la reivindicación anterior que comprende calcular, mediante el equipo de procesamiento, un meta-camino en el entorno (1) de simulación que comprende un conjunto de puntos de dicho entorno (1) de simulación en los que el usuario ha realizado una o más operaciones en el espacio virtual; o un conjunto de puntos por donde se ha desplazado el avatar del usuario en el espacio virtual.

3. Procedimiento según la reivindicación anterior, que comprende adicionalmente:

- representar gráficamente, mediante el equipo de representación visual, el meta-camino en el entorno (1) de simulación; y/o

- registrar una o más de las operaciones del usuario en el entorno (1) de simulación.

4. Procedimiento según cualquiera de las reivindicaciones anteriores, que comprende:

- generar una distribución aleatoria o predeterminada, mediante el equipo de procesamiento, de un conjunto de objetos (7) en el entorno (1) de simulación; donde dichos objetos (7) comprenden una o más propiedades, una de dichas propiedades consistiendo en la visibilidad o no de dicho objeto virtual en el entorno de simulación;

y

- representar, mediante el equipo de representación visual y según la distribución generada en el paso anterior, un subconjunto de objetos (7) en el entorno (1) de simulación que sean visibles.

5. Procedimiento según cualquiera de las reivindicaciones anteriores para la simulación y entrenamiento de operaciones de inspección ocular asistidas por iluminación artificial, que comprende:

- calcular, mediante el equipo de procesamiento, la distancia y/o la dirección de observación desde el avatar (2) de usuario hasta un objeto (7);

- calcular, mediante el equipo de procesamiento, la distancia y/o la dirección de iluminación desde un medio (5’) virtual de iluminación artificial portado por el avatar de usuario hasta el objeto (7); donde dicho medio (5’) virtual de iluminación artificial comprende una fuente de iluminación artificial apta para iluminar el entorno (1) de simulación y, opcionalmente, uno o más filtros ópticos; y

- representar, mediante el equipo de representación visual, un resultado de iluminación en el entorno (1) de simulación seleccionado de entre una pluralidad de resultados dependientes de la distancia y/o la dirección de observación y de la distancia y/o la dirección de iluminación.

6. Procedimiento según cualquiera de las reivindicaciones anteriores para la simulación de operaciones de marcado de caminos en un entorno virtual, que comprende:

a) definir, mediante la interacción del avatar con el entorno de simulación, una pluralidad de puntos de señalización virtual en dicho entorno de simulación;

b) representar, en los puntos de señalización virtual definidos en el paso anterior, objetos (7) que son marcadores de señalización correspondientes, donde dichos objetos (7) poseen una o más propiedades físicas de interacción en el entorno (1) de simulación;

c) definir un camino virtual entre dos o más puntos del espacio de simulación; y

d) representar gráficamente dicho camino virtual como un meta-camino en el entorno de simulación que delimita un subconjunto de puntos del espacio de simulación.

7. Procedimiento según la reivindicación anterior que comprende, adicionalmente detectar, mediante el equipo de procesamiento, la manipulación de objetos presentes en el camino virtual, donde dicha manipulación se produce cuando el camino virtual se superpone a la posición de un objeto (7) o con el avatar (2) de usuario.

8. Procedimiento según cualquiera de las reivindicaciones anteriores para la simulación de operaciones de toma de huellas dactilares y/o de pisadas en un entorno virtual, que comprende:

- aplicar uno o más objetos (7), comprendiendo dichos objetos (7) al menos unos medios (5’) virtuales de iluminación artificial y/o unas herramientas (5) virtuales de manipulación de objetos (7), en un subconjunto de puntos del entorno (1) de simulación para modificar la visibilidad de un nuevo objeto (7) localizado en dicho subconjunto de puntos del entorno (1) de simulación; y

- opcionalmente, transferir dicho nuevo objeto (7) a unos contenedores de almacenamiento para objetos (7).

9. Procedimiento según cualquiera de las reivindicaciones anteriores para la simulación de operaciones de adquisición de una o más imágenes y metadatos del entorno de simulación, que comprende:

a) seleccionar al menos uno de los objetos (7) como medio de adquisición de imágenes;

b) configurar un tipo de imagen, y opcionalmente un filtro óptico, y aplicar dicha configuración al medio de adquisición de imágenes;

c) posicionar el avatar (2) a una distancia del subconjunto del entorno (1) de simulación, y con la dirección de observación con la que se tomará la/s imágenes; d) capturar una imagen del subconjunto del entorno (1) de simulación que queda en el campo de visión del medio de adquisición de imágenes configurado de acuerdo con el paso b); donde dicha imagen comprende metadatos de los objetos (7) de la imagen;

e) evaluar la imagen capturada en el paso anterior de acuerdo con uno o más criterios de calidad fijados por el usuario y metadatos de los objetos (7) de la imagen capturada en el paso d); y

f) repetir los pasos a)-d) si la evaluación del paso e) no supera los criterios de calidad.

10. Procedimiento según cualquiera de las reivindicaciones anteriores, que comprende adicionalmente generar una puntuación del rendimiento del usuario en función de la similitud de las operaciones del usuario y la secuencia de operaciones de referencia.

11. Procedimiento según cualquiera de las reivindicaciones anteriores, donde se definen adicionalmente una pluralidad de usuarios que interactúan cooperativamente o no en el mismo entorno (1) de simulación, donde a cada usuario se le asigna opcionalmente un rol y donde la secuencia de operaciones comprende una o más interacciones permitidas a cada usuario respecto a los objetos (7) y/u otros usuarios en función dicho rol; quedando sincronizados todos los usuarios en dicho entorno (1) de simulación.

12. Sistema de realidad aumentada o virtual que comprende:

- un equipo de representación visual de realidad aumentada o virtual configurado para generar y mostrar al usuario un entorno (1) de simulación;

- uno o más actuadores y/o sensores, comprendiendo al menos sensores de posición, y/o hápticos configurados para registrar información de acciones realizadas por uno o más usuarios en el mundo físico que representan interacciones en el entorno (1) de simulación;

- un equipo de procesamiento que comprende un módulo de almacenamiento de información configurado para almacenar la secuencia de operaciones de referencia y todas las interacciones realizadas por uno o más usuarios del entorno (1) de simulación; y un módulo de evaluación configurado para comparar la similitud entre la secuencia de operaciones de referencia y las operaciones realizadas por cada usuario;

estando dicho sistema caracterizado por que el equipo de procesamiento comprende un módulo de generación de la simulación en realidad virtual o aumentada que implementa el procedimiento de simulación y entrenamiento de operaciones de inspección ocular según cualquiera de las reivindicaciones anteriores.

13. Sistema según la reivindicación anterior, donde el equipo de procesamiento comprende los siguientes elementos:

- medios de reproducción y/o grabación de audio, adaptados para permitir la interacción del usuario con el entorno (1) de simulación;

- medios de visualización externos del entorno de simulación aptos para permitir la visualización de dicho entorno y de las operaciones realizadas por un usuario a otros usuarios diferentes;

- módulo de retroalimentación, adaptado para registrar la información obtenida de los usuarios durante la realización de operaciones en el entorno (1) de simulación; y/o

- medios de comunicación permitiendo la transmisión de información almacenada y/o procesada por el equipo de procesamiento a dispositivos externos o ubicaciones remotas a través de redes telemáticas.

14. Sistema según cualquiera de las reivindicaciones 12-13, que comprende adicionalmente un módulo de registro y reproducción de información adaptado para:

- generar un registro desde el punto de vista de uno o más de los usuarios del entorno de simulación, el conjunto de operaciones realizadas por uno o más de los usuarios del entorno (1) de simulación;

- opcionalmente, sincronizar dicho registro con el conjunto de operaciones realizadas por uno o más de los usuarios del entorno (1) de simulación; y

- opcionalmente, reproducir dicho registro.

15. Sistema según cualquiera de las reivindicaciones 13-14 donde el módulo de retroalimentación para el usuario está configurado adicionalmente para:

- calcular una puntuación en función de la información registrada del usuario, según la similitud entre los patrones de referencia y las operaciones que ha realizado el usuario,

- proporcionar una pluralidad de indicaciones al usuario de aquellas interacciones diferentes a las comprendidas en la secuencia de operaciones de referencia; dichas indicaciones comprendiendo al menos una de las siguientes: tiempo empleado para las interacciones con los objetos (7), tiempo total empleado para la realización de las operaciones, orden inadecuado realización de la secuencia de operaciones, número de objetos almacenados.