ES2525679T3

ES2525679T3 - Realidad aumentada industrial

Info

Publication number: ES2525679T3
Application number: ES02773811.1T
Authority: ES
Inventors: Kelly L. Dempski
Original assignee: Accenture Global Services Ltd
Current assignee: Accenture Global Services Ltd
Priority date: 2001-10-19
Filing date: 2002-10-18
Publication date: 2014-12-29
Anticipated expiration: 2022-10-18
Also published as: US7372451B2; WO2003034397A1; US20060244677A1; EP1436800A4; US20040183751A1; EP1436800A1; US7126558B1; EP1436800B1

Abstract

Método para coordinar el movimiento de trabajadores humanos en un entorno que presenta uno o varios objetos etiquetados con un marcador visual (18) en ellos, comprendiendo el método; la recepción de una imagen proveniente de una cámara ponible (14) que lleva puesta un primer operador humano en dirección a un campo de visión del primer operador; la detección automática de uno o varios marcadores visuales dentro de la imagen, estando al menos uno de dichos marcadores visuales asociado y en relación de proximidad a cada uno de los objetos; la recepción de información de uno o varios sistemas de supervisión del entorno, estando la información relacionada con las condiciones actuales de los alrededores dinámicos del primer operador; la determinación de un estado actual del entorno de acuerdo con la información recibida de los sistemas de supervisión del entorno; el procesamiento de la imagen del marcador visual y la determinación de un identificador único asociado al marcador en función del estado actual del entorno y la imagen procesada del marcador visual; la referencia al identificador único para recuperar una correlación de una ubicación física con el marcador visual para determinar la ubicación física del marcador; y la determinación de la ubicación del primer operador en función de la correlación recuperada de la ubicación física con el marcador visual.

Description

Realidad aumentada industrial.

ANTECEDENTES DE LA INVENCIÓN 5

[0001] La presente invención se refiere a sistemas y métodos de procesamiento de información en un entorno industrial. Más en concreto, la invención se refiere a sistemas y métodos de visualización de información para ser usados por operadores humanos en un entorno de trabajo móvil.

[0002] Hoy en día, hay un número cada vez mayor de trabajadores en entornos de trabajo móviles que son asistidos por sistemas informáticos de mano o ponibles. En lugar de utilizar puestos o estaciones de trabajo informatizados dispuestos en ubicaciones por todo el entorno de trabajo, los ordenadores de mano o ponibles permiten al trabajador moverse con libertad por el espacio de trabajo y recuperar información de redes de ordenadores al alcance de la mano, al tiempo que mantiene una relación de proximidad al objeto de la tarea. 15 Ejemplos de estos incluyen operaciones de al por menor en las que vendedores o empleados de control de inventario llevan ordenadores de mano con lectores de código de barras que pueden identificar productos al realizar una lectura del código de barras y luego visualizarse la información asociada con dicho producto. Otro ejemplo incluye agentes de devolución de vehículos de alquiler que teclean información en un ordenador ponible en el aparcamiento de la oficina de alquiler de vehículos cuando se devuelve el vehículo y a continuación 20 imprimen un recibo en una impresora ponible para dárselo a un cliente que esté en el aparcamiento junto al vehículo de alquiler.

[0003] Aunque estos sistemas son de utilidad, presentan capacidades limitadas. Los ordenadores de mano exigen que el trabajador ocupe una o ambas manos en la tarea de introducir información en el ordenador. Por lo 25 general, los ordenadores ponibles exigen que se utilice al menos una mano para introducir datos en un ordenador, y exigen asimismo que el trabajador centre su mirada y atención en el ordenador de mano en lugar de en el objeto o tarea que tiene frente a él. A pesar de que estas soluciones de ordenadores ponibles suponen un avance con respecto a los puestos fijos y los catálogos, gráficos de pared o manuales de instrucciones estratégicamente ubicados y al alcance del trabajador, todavía hay mucho que se puede mejorar para dejar las 30 manos libres al trabajador y mantener su atención, y al mismo tiempo obtener información de vital importancia para el trabajador para, de este modo, aumentar la productividad y seguridad de los trabajadores.

[0004] El documento US 6.172.657 da a conocer un sistema que comprende un ordenador ponible, una cámara ponible y una pantalla transparente. 35

BREVE SUMARIO DE LA INVENCIÓN

[0005] La presente invención satisface las necesidades anteriormente mencionadas al ofrecer un sistema y un método de visualización de datos que comprende la detección de marcadores visuales dentro del ángulo de 40 visión de una cámara ponible que lleva puesta un trabajador humano, y la realización de una selección en función del estado del entorno, visualizándose los datos seleccionados asociados a al menos uno de dichos marcadores visuales sobre una pantalla ponible que lleva puesta el operador.

[0006] La invención ofrece un sistema y un método para coordinar el movimiento de trabajadores humanos que 45 comprende la detección de uno o varios marcadores visuales dentro del ángulo de visión de una cámara que lleva puesta el trabajador, y la determinación de la ubicación del trabajador a partir de la ubicación conocida del marcador visual dentro del ángulo de visión de la cámara.

BREVE DESCRIPCIÓN DE VARIAS VISTAS DE LOS DIBUJOS 50

[0007] La figura 1 es un sistema según una forma de realización de la invención.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN

[0008] Muchas tareas físicas en un entorno de trabajo industrial pueden hacerse más eficientes o seguras al proporcionar a los trabajadores más datos acerca de sus tareas y su entorno. Puede que entre dichas tareas se incluya la preparación de pedidos para actividades de la planta de fabricación, o el manejo y mantenimiento de equipo industrial. Esta invención aumenta la eficiencia de dichas tareas al dotar a los trabajadores de una pequeña pantalla ponible y una pequeña cámara ponible. Preferentemente, tanto la pantalla ponible como la 60 cámara ponible están montadas sobre un par de anteojos o gafas protectoras. Preferentemente, la cámara y la pantalla están conectadas a un pequeño ordenador ponible. Repartidos por todo el entorno de trabajo, puede que se coloquen estratégicamente marcadores visuales de bajo coste para identificar ubicaciones u objetos en relación de proximidad a los marcadores. Cuando el marcador visual se encuentra dentro del campo de visión de la cámara, el sistema informático ponible puede «ver» e identificar el marcador visual. Una vez identificado, la 65

pantalla ponible puede utilizarse para dar instrucciones o información al trabajador con respecto al objeto o ubicación identificados. Puede que la información visualizada se considere «subtitítulos» que contribuyen a aumentar la realidad del entorno que ve el trabajador.

[0009] La figura 1 representa un sistema típico según una forma de realización de la invención. Un par de 5 anteojos 10 incluye una pantalla transparente ponible 12 con una cámara ponible 14, estando ambas fijadas a los anteojos 10. Una banda 16 ayuda a mantener los anteojos en la cabeza del trabajador. La cámara ponible 14 está dispuesta en una posición para detectar unos marcadores visuales 18 dentro del campo de visión del trabajador.

[0010] La cámara y la pantalla están preferentemente conectadas a través de unos cables 20 y 22 a un ordenador ponible 24. No obstante, los desarrollos tecnológicos puede que permitan que las conexiones sean inalámbricas, lo que obviaría la necesidad de cables. El ordenador ponible 24 incluye un cinturón 26 para sujetarlo a la cintura o a una extremidad (p. ej., brazo o pierna) de un trabajador. Preferentemente, el ordenador ponible 24 incluye un transmisor y antena inalámbricos 28 para conectarse inalámbricamente a una red de 15 ordenadores 30 en el entorno industrial.

[0011] También está conectado a la red 30 un servidor de red 32, un procesador 34, y varias bases de datos. Las bases de datos puede que incluyan, sin carácter limitativo, una biblioteca de marcadores visuales 36, correlaciones de ubicación de marcadores visuales 38, manuales de referencia sobre producción y manejo 40 y 20 una biblioteca de preferencias y perfiles de los empleados 40.

[0012] Un sistema típico como el descrito anteriormente puede que incluya varios componentes que en la actualidad están disponibles en el mercado. La pantalla ponible 12 puede que sea una pantalla microóptica transparente o de visión de los alrededores, como las pantallas para anteojos disponibles en el mercado de 25 Microoptical Corp., Boston, Massachusetts, EE. UU. La pequeña cámara 14 puede que esté fijada a las pantallas para anteojos o integrada en estas. Existen numerosas cámaras de estas características disponibles en el mercado. El ordenador ponible 24 puede que sea uno como los disponibles en el mercado de Xybernaut Corp., Fairfax, Virginia, EE. UU., con un transceptor de comunicación inalámbrica, por ejemplo por medio de un protocolo 802.11 (b). El ordenador ponible 24 o el procesador 34 preferentemente incluye un sistema de 30 reconocimiento de marcadores visuales o patrones como, sin carácter limitativo, el ARToolKit desarrollado por la Universidad de Washington y disponible a través de esta.

[0013] El sistema incluye asimismo una red de ordenadores 30 que accede al ordenador ponible de manera inalámbrica. La red de ordenadores incluye un procesador de realidad aumentada 34 que está comunicado con 35 una base de datos situada en unos dispositivos de almacenamiento de memoria comunicados con un servidor 32. Las bases de datos 36, 38, 40 y 42 almacenan la información o los datos asociados a los objetos asociados con los marcadores visuales y o las correlaciones de las ubicaciones de los marcadores visuales. Puede que las bases de datos también almacenen datos acerca del entorno de trabajo, detalles de los objetos, documentación del equipo, manuales de funcionamiento, estado actual, disponibilidad y ubicación de los trabajadores, tareas 40 programadas para el equipo y los trabajadores, etc. Puede que el servidor también esté enlazado a otras fuentes de datos, como, por ejemplo, sistemas de control de procesos y de automatización, que puede que ofrezcan el estado de las condiciones de funcionamiento del equipo; sistemas de planificación de los recursos empresariales (ERP, de Enterprise Resource Planning), que puede que ofrezcan información acerca de los horarios, trabajo en curso, inventario y entregas de material; y sistemas de alarmas contra incendios, que puede que ofrezcan el 45 estado acerca de las ubicaciones de incendios y otros riesgos. Puede que estos sistemas ofrezcan información para que la visualicen los trabajadores para ofrecerles a estos más información acerca de su entorno de trabajo. Asimismo, puede que estos sistemas ofrezcan más información al procesador de realidad aumentada con respecto al estado del entorno para determinar qué otra información u órdenes puede que sea pertinente que los trabajadores visualicen. El servidor puede que también esté conectado a través de redes de comunicación 50 distribuidas públicamente, como Internet, a sistemas de proveedores para acceder a información complementaria y a un servicio de asistencia técnica para información relacionada con el equipo o tarea identificados.

[0014] La invención ofrece asimismo diversos métodos para aplicar la realidad aumentada en un entorno de trabajo industrial. Una forma de realización de la invención incluye un método de visualización de datos, que 55 incluye el direccionamiento de una cámara ponible que lleva puesta un operador humano hacia uno o varios objetos etiquetados dentro de un campo de visión del operador; la detección de uno o varios marcadores visuales dentro de un campo de visión de la cámara con al menos uno de los marcadores visuales asociado y en relación de proximidad al objeto etiquetado; la determinación del estado del entorno; la selección de datos de un dispositivo de almacenamiento de memoria en función del estado del entorno, estando los datos asociados a uno 60 de los objetos asociados a uno de los marcadores visuales, y la posterior visualización de los datos en una pantalla ponible que lleva puesta el operador. Los datos puede que se consideren como un «subtítulo» en el entorno de realidad aumentada creado por el sistema.

[0015] Esta forma de realización permite que el operador o trabajador interactúe con el entorno de trabajo de forma muy natural. Preferentemente, la cámara ponible está enfocada dentro del mismo campo de visión que el del operador cuando este centra la vista al frente en una actividad de trabajo. De este modo, el sistema puede ver los objetos en los que el operador centra la vista. Por consiguiente, el sistema está programado para responder ante objetos que se encuentran dentro del campo de visión de dicha cámara durante al menos un 5 periodo de tiempo predeterminado. Si una persona fija la vista en un objeto, suele significar que está tratando de obtener más información del objeto. Naturalmente, en respuesta a ello, el sistema identificará el objeto que se mira, recuperará información de dicho objeto de una base de datos, y se visualizará dicha información en la pantalla ponible del operador. Cuando el operador mira fijamente el objeto durante un periodo prolongado, el sistema puede que esté programado para ofrecer información adicional con respecto al objeto. De manera 10 alternativa, el sistema puede que responda ante una orden de voz del operador o ante entradas mecánicas táctiles del operador para ofrecer información adicional tras haberla solicitado el operador.

[0016] Uno de los retos técnicos del sistema es lograr un reconocimiento de un marcador diana que sea coherente con el movimiento de la mirada de un trabajador. Para abordar este reto, los datos se seleccionan 15 preferentemente al identificar cuál de los marcadores visuales se sitúa dentro de una zona predeterminada del campo de visión de la cámara durante un periodo de tiempo predeterminado. Preferentemente, la zona representa el 50 % del centro del campo de visión de la cámara. Preferentemente, el periodo de tiempo predeterminado se encuentra entre aproximadamente 0,02 segundos y 0,5 segundos. Uno puede que tenga en cuenta la zona y periodo de tiempo pertinentes para reproducir el reconocimiento consciente de objetos de un 20 trabajador dentro de su campo de visión. Puede que una mirada breve de ese tipo dé lugar a una adquisición y visualización de información básica en relación con el marcador identificado. El tiempo de duración mínimo de una mirada para que dé lugar a una visualización de datos puede que sea aumentado por el trabajador para evitar una saturación de visualizaciones que no estén asociadas a miradas a propósito. Puede que los datos adicionales exijan entonces un enfoque adicional y unas miradas prolongadas al marcador diana o bien 25 solicitudes del trabajador.

[0017] Preferentemente, los datos se visualizan en una pantalla transparente de modo que los datos están superpuestos sobre una imagen real que se ve en el campo de visión del operador. Más preferentemente, la pantalla es una pantalla transparente de visualización frontal fijada a un par de anteojos o gafas protectoras que 30 lleva puestos el operador. Ello aumenta la realidad que ve el trabajador.

[0018] Se visualizan datos adicionales asociados al objeto en respuesta a una solicitud enviada por el operador. La solicitud puede que sea una señal eléctrica generada por una orden de voz del operador o por un toque físico del operador, o puede que la solicitud sea una mirada enfocada en el objeto durante un periodo de tiempo 35 prolongado. En función de la actividad laboral, puede que la mirada de «consulta» sea entre 1 y 2 segundos de mirada ininterrumpida para una actividad de ritmo acelerado, como trabajar en un almacén, de 5 segundos o más para una actividad de ritmo pausado, como trabajar en un banco de montaje de pequeñas piezas, en el que la mirada de un trabajador no cambia mucho. La temporización de dichas solicitudes automatizadas puede que se personalice para cada trabajador. 40

[0019] Con el objetivo de proveer comentarios acerca de la temporización de visualización personalizable, puede que se almacene un perfil de usuario de un trabajador en el sistema. Preferentemente, el perfil de usuario está almacenado en un servidor de datos, de modo que el equipo ponible sea genérico para la plantilla. El perfil puede que incluya los tiempos de respuesta preferidos del trabajador individual asociados a una variedad de tareas, 45 equipo y momento del día para la mirada de «consulta» y otros parámetros para la interacción de respuesta de datos con el sistema. Puede que se almacenen varios perfiles de usuario para cada persona, en el que cada perfil está asociado a distintas funciones laborales o actividades. Dichas actividades puede que sean introducidas por el usuario o bien puede que se seleccionen automáticamente en función de la ubicación del trabajador o de los marcadores del campo de visión. 50

[0020] El sistema también puede estar programado para que se visualicen datos en respuesta a las preferencias personales y a otra información personal que se haya guardado en el perfil de usuario asociado al operador. Por ejemplo, las aptitudes y nivel de experiencia de un trabajador podrían aparecer en el perfil de usuario. Un trabajador que tenga aptitudes y responsabilidades especiales en calidad de técnico de mantenimiento mecánico 55 recibirá información en relación a la reparación de un objeto dentro de su ángulo de visión. Por otro lado, una persona cuyas responsabilidades profesionales impliquen el manejo o manipulación de objetos, como un operador de cadena de montaje, recibirá información o instrucciones en la pantalla asociadas al manejo de un objeto dentro de su campo de visión. De igual modo, un bombero que fije la vista en el mismo objeto puede que vea información acerca de precauciones de seguridad, acerca de la volatilidad del contenido del objeto, o 60 información adicional acerca de otros riesgos en el entorno para ofrecer un contexto global más amplio del entorno de trabajo. En consecuencia, cada ordenador ponible transmitiría asimismo un identificador único de la persona que utiliza el equipo para poder recuperar dicho perfil de usuario e integrar dicha información del perfil en la selección de datos que van a recuperarse y visualizarse. De manera alternativa, puede que el identificador único se llame del sistema cuando un trabajador se pone el equipo informático ponible y accede a la red. 65

[0021] Puede que el sistema incluya un agente inteligente adaptable para supervisar los hábitos de un trabajador, mejorar los perfiles de usuario y predecir heurísticamente los subtítulos pertinentes que se visualizan en las gafas protectoras del trabajador. Puede que el sistema lleve esto a cabo al venir cargado previamente con un perfil de usuario detallado de un trabajador. De manera alternativa, puede que el sistema lleve esto a cabo al desarrollar una relación basada en el aprendizaje del trabajador y formarse con el trabajador. En el transcurso 5 del periodo de formación del trabajador, el sistema también se forma para responder de acuerdo con las preferencias del trabajador. El sistema puede que cree o mejore los distintos perfiles de usuario para distintas categorías profesionales, desarrolle el reconocimiento del habla personalizado, se adapte a la temporización y costumbres de los movimientos visuales del trabajador, etc. Las preferencias, hábitos y opciones personalizadas de interacción son capturadas por el agente y se almacenan en el perfil de usuario múltiple del trabajador. El 10 trabajador puede que ofrezca comentarios al sistema acerca de la pertinencia del sistema con respecto a la selección y la temporización de los datos que se visualizan. El agente utiliza los comentarios para modificar el perfil de usuario para predecir mejor los datos u órdenes pertinentes que se visualizan y la temporización pertinente para que se reconozcan determinadas miradas enfocadas como solicitudes de consulta de un trabajador en una situación determinada. Estos comentarios y adaptación puede que continúen después del 15 periodo inicial de formación. Así, el sistema puede que se convierta en una herramienta para mejorar la capacidad de inteligencia del trabajador, mientras que el trabajador puede que se convierta en una herramienta industrial con una inteligencia innata sofisticada.

[0022] El método de la invención incluye preferentemente el procesamiento de la imagen del marcador visual 20 detectado para determinar un identificador único asociado al marcador, y la transmisión del identificador único a un procesador para seleccionar los datos pertinentes para la tarea actual del trabajador en función de pistas contextuales observadas o bien a través de los marcadores visuales que se ven en ese momento o que se han visto recientemente o determinadas por el estado del entorno. Preferentemente, el ordenador ponible se encarga del procesamiento de imágenes y del reconocimiento de patrones. El procesamiento también puede que lo 25 realice una estación de trabajo o un ordenador servidor en la red, limitándose el ordenador ponible a transmitir las imágenes que se ven por la cámara.

[0023] Se prefieren los marcadores basados en la vista para el sistema porque son de muy bajo coste. Los marcadores visuales pueden ser códigos de barras, códigos matriciales u otros patrones reconocibles, como 30 letras y números. Aunque es posible utilizar otro tipo de marcadores no visuales como etiquetas de radiofrecuencia (RF) activa o pasiva, dichas etiquetas pueden ser caras. Asimismo, dichas etiquetas RF suelen dar únicamente información general sobre la proximidad. Sin embargo, a medida que descienda el coste de las etiquetas RF y los avances tecnológicos hagan que los sensores inteligentes inalámbricos sean prácticos, e incluso direccionales en su localización, puede que estos tipos de sensores estén integrados en el sistema para 35 sustituir o mejorar los marcadores visuales. En la actualidad, los marcadores visuales resultan de utilidad porque personas con una formación nula o mínima puede que los sitúen en los objetos. Para muchas aplicaciones, este tipo de seguimiento e interacción puede ser más poderoso y/o rentable.

[0024] Un ejemplo de un sistema de reconocimiento de patrones para marcadores visuales es el ARToolKit 40 disponible de la Universidad de Washington, EE. UU. De acuerdo con su documentación, el ARToolKit utiliza técnicas de visión por ordenador para calcular el punto de vista real de la cámara en relación con un marcador del mundo real. Este proceso puede que se divida en varios pasos. En primer lugar, el kit de herramientas convierte una imagen de vídeo en directo de un marcador en una imagen binaria en función de un valor de umbral de iluminación. A continuación, el kit de herramientas busca regiones cuadradas en la imagen. El 45 ARToolKit encuentra todos los cuadrados en la imagen binaria, muchos de los cuales no son los marcadores de seguimiento. Para cada cuadrado, el kit de herramientas captura el patrón del interior del cuadrado y lo hace coincidir con plantillas de patrones predeterminadas. Si existe una coincidencia, entonces el ARToolKit ha encontrado uno de los marcadores de seguimiento de realidad aumentada. A continuación, el ARToolKit utiliza el tamaño conocido del cuadrado y la orientación del patrón para calcular la posición de la cámara de vídeo real en 50 relación con el marcador físico. Una matriz de 3x4 se ocupa con las coordenadas de la cámara de vídeo con respecto al marcador físico. El kit de herramientas utiliza la matriz para establecer la posición de las coordinadas de la cámara virtual. Asumiendo que las coordenadas de la cámara virtual y la real son las mismas, el kit de herramientas puede que renderice gráficos por ordenador en la pantalla que están dibujados con precisión para cubrir el marcador real, o que están situados en una zona específica con respecto al marcador, o dentro de una 55 posición específica en el marco de la pantalla. Puede que se utilice una API OpenGL para establecer las coordenadas de la cámara virtual y dibujar las imágenes virtuales.

[0025] En función del entorno de trabajo y de los objetos comunes que se encuentren en este, pueden incorporarse sistemas de reconocimiento de patrones visuales de mayor complejidad a esta invención. Por 60 ejemplo, los sistemas de inspección de control de calidad visual dependen de los reconocimientos de patrones de elementos comunes por medio de la comparación con un patrón de plantilla de dichos elementos. Asimismo, las máquinas pick and place pueden detectar objetos fuera de lugar por medio de la comparación de objetos con una base de datos de objetos vistos comúnmente. Puede que dichos sistemas de reconocimiento de patrones resulten de utilidad en esta invención con unas modificaciones mínimas debido al hecho de que las cámaras no 65

se encuentran en una posición fija. Del mismo modo, puede que otros sistemas de reconocimiento de patrones que se utilizan en la robótica móvil resulten de utilidad.

[0026] Se establece una correlación en una base de datos de los marcadores visuales que se colocan en objetos fijos como paredes o equipo fijo en relación con la distribución física de las instalaciones industriales. Ello permite 5 que el sistema informático haga coincidir el marcador visto con una ubicación física almacenada con el objetivo de determinar aproximadamente la ubicación física del trabajador cada vez que dicho marcador lo «vea» el sistema. Esto permite un seguimiento eficiente de los trabajadores u operadores y una planificación de las tareas eficiente.

[0027] Asimismo, puede que se utilicen algoritmos más complejos para calcular la ubicación exacta y el movimiento de un trabajador por el espacio. Puede que la ubicación de la cámara del trabajador se determine en función de la perspectiva de una imagen del marcador visual dentro del campo de visión de la cámara, al analizar el movimiento de la imagen en el campo de visión de la cámara y calcular el movimiento de la cámara correspondiente al movimiento de la imagen. Por ejemplo, al establecer una correlación de la ubicación exacta 15 de un marcador visual en un espacio tridimensional y analizar la imagen del marcador visual en el campo de visión de una cámara, puede que se calcule la distancia y el ángulo desde el que la cámara ve el marcador. A partir de dicha información, puede que se determine la ubicación exacta de la cámara, y de este modo la ubicación del trabajador y la altura a la cual está de pie, sentado o arrodillado. Al realizar un seguimiento del movimiento de un marcador en el campo de visión de una cámara, puede que se determine la dirección y el 20 movimiento del trabajador que lleva la cámara. Al almacenar la información sobre la ubicación, puede que el sistema sepa de este modo dónde se encontraba un trabajador y hacia dónde se dirige.

[0028] Esta invención ofrece de este modo la coordinación del movimiento de trabajadores en un entorno de trabajo. Por ejemplo, en el entorno de un almacén, los depósitos y paredes pueden estar marcados con 25 marcadores visuales. A medida que los trabajadores caminan por el almacén, el sistema puede realizar un seguimiento de dónde se encuentran los trabajadores y hacia dónde se dirigen. Cuando se necesita un trabajador en una zona determinada, el sistema puede identificar el trabajador más próximo o el que se encamina hacia la dirección pertinente y proporcionarle instrucciones en su pantalla ponible para que se dirija al punto donde se le necesita. Cuando el trabajador llega y mira a una caja u objeto determinados, el sistema 30 puede que identifique dicho objeto como el objeto de interés correcto y ofrezca instrucciones adicionales para que las siga el trabajador en relación con dicho objeto.

[0029] En consecuencia, esta invención incluye un método para coordinar el movimiento de trabajadores humanos en un entorno que comprende el direccionamiento de una cámara ponible que lleva puesta un operador 35 humano hacia uno o varios objetos etiquetados dentro de un campo de visión del operador y la detección de uno o varios marcadores visuales dentro de un campo de visión de la cámara, estando al menos uno de los marcadores visuales asociado y en relación de proximidad a cada uno de los objetos etiquetados. Asimismo, el método incluye el procesamiento de la imagen de los marcadores visuales y la determinación del identificador único asociado a cada marcador, con lo que se obtiene la ubicación física de los marcadores guardados en un 40 dispositivo de almacenamiento de memoria; y la determinación de la ubicación del operador a partir de las ubicaciones de los marcadores dentro del campo de visión de la cámara.

[0030] Puede que el método incluya preferentemente el seguimiento del movimiento del operador al supervisar el movimiento de los marcadores en el campo de visión de la cámara, de un modo como el que se ha descrito 45 anteriormente. Preferentemente, el movimiento del trabajador está coordinado al visualizarse datos en una pantalla transparente de modo que los datos estén superpuestos sobre una imagen real que se ve en el campo de visión del operador, incluyendo los datos instrucciones que dirigen al operador a una nueva ubicación.

[0031] A la hora de aplicar esta forma de realización de la invención, puede que un grupo de preparadores de 50 pedidos, por ejemplo, sean dirigidos de manera individual a una ubicación concreta, lo que optimiza la eficiencia global del grupo. Puede que el sistema optimice dinámicamente la planificación y las órdenes a los trabajadores en función de sus ubicaciones actuales y sus progresos individuales a la hora de realizar las tareas asignadas. Puede que el sistema realice un seguimiento de la ubicación de los trabajadores y que obtenga indicaciones contextuales a partir de los marcadores visuales y del equipo de automatización y control de procesos a partir de 55 lo que puede que se infiera el progreso de una actividad asignada. El sistema puede que compare las expectativas almacenadas del movimiento del trabajador y el tiempo necesario con los movimientos reales para predecir la temporización en que se realizará una tarea. En función de dichas predicciones, el método incluye la selección dinámica de trabajadores disponibles para programar la realización de una secuencia de tareas. En el transcurso de esta fase de supervisión del movimiento de los trabajadores, en función de la tarea almacenada 60 que se asigna al trabajador, puede que el sistema determine qué marcadores visuales dentro del ángulo de visión del trabajador exigirían que, en respuesta a ellos, el trabajador visualizase un subtítulo, y qué marcadores visuales puede que se utilicen únicamente para realizar un seguimiento de la ubicación y el progreso.

[0032] Las diversas formas de realización de esta invención no están limitadas al entorno de una planta de fabricación, sino que pueden aplicarse a una amplia variedad de lugares de trabajo industriales. Circunstancias similares pueden describirse en situaciones como hospitales, fábricas, yacimientos petrolíferos, plantas químicas o cualquier lugar en que haya tareas físicas que exijan un conocimiento detallado para aumentar la seguridad y/o eficiencia de la tarea. 5

[0033] Asimismo, las aplicaciones de esta invención van más allá de los entornos industriales. Por ejemplo, un museo o un edificio histórico puede que estén dotados de un sistema según esta invención, y que a los turistas se les proporcionen ordenadores, cámaras, pantallas transparentes ponibles y auriculares conectados inalámbricamente a la red. Puede que a los turistas se les lleve en un recorrido personalizado, interactivo y 10 multimedia del museo o lugar histórico. Puede que el turista obtenga una experiencia de realidad aumentada personalizada y de mayor riqueza. Puede que se ofrezcan detalles acerca de los objetos dentro del ángulo de visión del turista en las pantallas en función de los marcadores visuales que se encuentran dentro del ángulo de visión. Puede que el turista controle el nivel de detalle que desea al seguir mirando fijamente o moverse al siguiente objeto de la exposición. Puede que al turista se le ofrezcan órdenes para que se mueva a distintas 15 ubicaciones en función de un recorrido preseleccionado o de un recorrido seleccionado dinámicamente en función del interés del turista en determinados objetos expuestos. Puede que el sistema coordine el movimiento de todos los turistas del museo para gestionar el tránsito y las aglomeraciones al supervisar la ubicación de todos los turistas y ofrecerles órdenes individuales para que se muevan a una nueva ubicación. Naturalmente, puede que el sistema esté programado para permitir que los turistas se detengan más tiempo durante las horas valle, 20 mientras que apresure a los turistas durante las horas punta de tránsito al utilizar modificadores del comportamiento, como limitar la cantidad de información detallada que se visualiza.

[0034] A pesar de que esta invención se haya mostrado y descrito junto con las formas de realización preferidas, resulta evidente que puede que se realicen determinados cambios y modificaciones, además de los 25 mencionados anteriormente, a las características básicas de esta invención. Asimismo, existen muchos tipos distintos de software y hardware informáticos que puede que se empleen a la hora de poner en práctica la invención, y la invención no está limitada a los ejemplos anteriormente descritos. En consecuencia, la intención de los solicitantes es la de proteger todas las variaciones y modificaciones dentro del alcance válido de la presente invención. Se pretende que la intención se vea definida por las siguientes reivindicaciones, incluyendo 30 todos los equivalentes.

Claims

REIVINDICACIONES
1. Método para coordinar el movimiento de trabajadores humanos en un entorno que presenta uno o varios objetos etiquetados con un marcador visual (18) en ellos, comprendiendo el método;

la recepción de una imagen proveniente de una cámara ponible (14) que lleva puesta un primer operador humano en dirección a un campo de visión del primer operador;

la detección automática de uno o varios marcadores visuales dentro de la imagen, estando al menos uno de dichos marcadores visuales asociado y en relación de proximidad a cada uno de los objetos; 10

la recepción de información de uno o varios sistemas de supervisión del entorno, estando la información relacionada con las condiciones actuales de los alrededores dinámicos del primer operador;

la determinación de un estado actual del entorno de acuerdo con la información recibida de los sistemas de 15 supervisión del entorno;

el procesamiento de la imagen del marcador visual y la determinación de un identificador único asociado al marcador en función del estado actual del entorno y la imagen procesada del marcador visual;

la referencia al identificador único para recuperar una correlación de una ubicación física con el marcador visual para determinar la ubicación física del marcador; y la determinación de la ubicación del primer operador en función de la correlación recuperada de la ubicación física con el marcador visual.
2. Método según la reivindicación 1, que comprende además: 25

el seguimiento del movimiento del primer operador al determinar la ubicación de la cámara en función de la perspectiva de una imagen de los uno o los varios marcadores visuales dentro del campo de visión de la cámara;

el análisis del movimiento de la imagen en el campo de visión de la cámara; y

la determinación del movimiento de la cámara correspondiente al movimiento de la imagen.
3. Método según la reivindicación 1, que comprende además el seguimiento de movimiento del primer 35 operador al supervisar la serie de marcadores que pasan dentro del campo de visión de la cámara.
4. Método según la reivindicación 1, que comprende además la visualización de los datos en una pantalla transparente de modo que los datos estén superpuestos sobre una imagen real que se ve en el campo de visión del primer operador, en el que dichos datos incluyen información que dirige al primer operador a una 40 nueva ubicación.
5. Método según la reivindicación 4, en el que dichos datos están basados en la optimización del movimiento de una pluralidad de operadores humanos en el entorno.
6. Método según la reivindicación 1 donde los sistemas de supervisión que ofrecen información a través de la red son un sistema de control de procesos, un sistema de automatización, un sistema de alarma contra incendios, un sistema de detección de riesgos, un sistema de control del entorno o combinaciones de estos.
7. Método según la reivindicación 1 donde el sistema de supervisión comprende un sistema de control 50 configurado para ofrecer información relacionada con el estado de las condiciones de funcionamiento del equipo.
8. Método según la reivindicación 1, que comprende además:

la selección de datos de un dispositivo de almacenamiento de memoria en función del estado del entorno y del uno o los varios marcadores visuales mencionados; y

la visualización de los datos en una pantalla ponible que lleva puesta el primer operador.
9. Método según la reivindicación 8, en el que dicha selección de datos incluye la identificación de cuál de los mencionados marcadores visuales se sitúa dentro de una zona de visión predeterminada de dicha cámara durante un periodo de tiempo predeterminado.
10. Método según la reivindicación 9, en el que dicha zona representa un 50° del centro del campo de visión de la cámara.
11. Método según la reivindicación 8, en el que los datos se visualizan en una pantalla transparente de modo que los datos estén superpuestos sobre una imagen real que se ve en el campo de visión del primer 5 operador.
12. Método según la reivindicación 8, que comprende además la visualización de datos adicionales asociados a dicho objeto en respuesta a una solicitud enviada por el primer operador.
13. Método según la reivindicación 8, que comprende además:

el procesamiento de la imagen del marcador visual detectado para determinar un identificador único asociado al marcador; y

la transmisión del identificador único a un procesador para la selección de dichos datos.
14. Método según la reivindicación 12, en el que dicha solicitud es una señal eléctrica generada por una orden de voz del primer operador.
15. Método según la reivindicación 12, en el que la solicitud es una señal eléctrica generada por un toque físico del primer operador.
16. Método según la reivindicación 12, en el que la solicitud se determina al mantener el objeto de interés dentro de la zona de visión predeterminada durante un periodo de tiempo predeterminado. 25
17. Método según la reivindicación 16, en el que el periodo de tiempo predeterminado se determina al:

acceder a un perfil de usuario asociado al primer operador; e

identificar el periodo de tiempo asociado al objeto de interés.
18. Método según la reivindicación 8, en el que la selección de datos comprende además el acceso a un perfil de usuario asociado al primer operador y la identificación de los datos en función de unas preferencias del perfil de usuario. 35
19. Método según la reivindicación 18, que comprende además el seguimiento de la ubicación del primer operador al seguir los marcadores detectados, y la identificación adicional de los datos en función de la ubicación, del primer operador.
20. Método según la reivindicación 8, en el que los datos seleccionados son órdenes de instrucción que dirigen la actividad del primer operador.
21. Método según la reivindicación 8, en el que la determinación del estado del entorno comprende además la evaluación de las necesidades del entorno en función de al menos una de las tareas no completadas, el 45 estado de otros operadores del entorno, los datos de control de procesos y de automatización y los datos de planificación de los recursos empresariales.
22. Método según la reivindicación 21, en el que la selección de datos comprende además:

la identificación del operador;

el análisis de un perfil de usuario asociado al primer operador; y

la selección de datos en función de atributos relevantes del perfil de usuario. 55
23. Sistema para la visualización de datos asociados a uno o varios objetos dentro de un campo de visión de un operador humano en un entorno que comprende:

un primer conjunto de lógica configurado para: 60

establecer una correlación de una ubicación física con un marcador visual (18);

almacenar la correlación de la ubicación física con un marcador visual en una base de datos; y

asociar un identificador único a un marcador visual;

una cámara ponible (14) que lleva puesta un primer operador humano configurada para:

ver al menos una parte sustancial de un campo de visión del primer operador; y 5

ver el marcador visual próximo a un objeto dentro del campo de visión del primer operador:

sistema informático ponible (24) que presenta una lógica configurada para:

detectar automáticamente el marcador visual dentro del campo de visión de la cámara;

determinar el identificador único asociado al marcador visual; y

transmitir el identificador único a una red de ordenadores (30); 15

un segundo conjunto de lógica configurado para:

recibir el identificador único;

hacer referencia al identificador único para recuperar la correlación de la ubicación física con el marcador visual;

determinar la ubicación física del primer operador en función de la correlación de la ubicación física con el marcador visual; 25

determinar un estado actual del entorno de acuerdo con una información recibida de sistemas de supervisión del entorno, en el que la información está relacionada con las condiciones actuales de los alrededores dinámicos del primer operador; y

seleccionar datos para ser transmitidos al sistema informático ponible de acuerdo con la ubicación física determinada del primer operador y el estado del entorno determinado, en el que los datos incluyen documentación y órdenes de funcionamiento para el movimiento del primer operador, y

una pantalla ponible (12) para la visualización de los datos seleccionados. 35
24. Sistema según la reivindicación 23, en el que la pantalla ponible es una pantalla transparente que permite la visualización simultánea de información en la pantalla y del objeto dentro del campo de visión del primer operador.
25. Sistema según la reivindicación 23 que comprende además un primer dispositivo de almacenamiento de memoria comunicado con la red para almacenar unos perfiles y preferencias de usuario asociados al primer operador que lleva puestas la cámara y la pantalla.
26. Sistema según la reivindicación 25 que comprende además un tercer conjunto de lógica almacenado en una 45 memoria legible por ordenador capaz de seleccionar datos de una pluralidad de datos asociados al objeto en función de los perfiles y las preferencias de usuario almacenados.
27. Sistema según la reivindicación 26 que comprende además un cuarto conjunto de lógica almacenado en una memoria legible por ordenador capaz de modificar los perfiles y las preferencias de usuario en función 50 de la interacción del primer operador con el sistema.
28. Sistema según la reivindicación 23, en el que la lógica del sistema informático ponible detecta una pluralidad de marcadores visuales y el sistema comprende además:

un primer dispositivo de almacenamiento de memoria comunicado con la red para almacenar las ubicaciones de la pluralidad de marcadores visuales; y

un tercer conjunto de lógica almacenado en una memoria legible por ordenador configurado para:

almacenar la ubicación en momentos determinados de operadores que llevan puesta la cámara en función de la comparación de los marcadores detectados con la ubicación almacenada de los marcadores.
29. Sistema según la reivindicación 23 en el que al menos uno de los sistemas de supervisión que ofrece información a través de la red es un sistema de control de procesos, un sistema de automatización, un sistema de alarma contra incendios, un sistema de detección de riesgos, un sistema de control del entorno o combinaciones de estos.
30. Método según la reivindicación 1, en el que la determinación de un estado actual del entorno de acuerdo con la información recibida del sistema de supervisión del entorno comprende:

la identificación de al menos un segundo operador en el entorno;

la comparación de un estado del primer operador con el estado del al menos segundo operador; y

la identificación del primer operador en función de la comparación entre el estado del primer operador con el estado del al menos segundo operador; y

en el que la selección de datos de un dispositivo de almacenamiento de memoria en función del estado del entorno y del uno o los varios marcadores visuales mencionados comprende la selección de instrucciones al interactuar con el objeto.
31. Método según la reivindicación 30, en el que el estado del al menos segundo operador comprende 20 información relacionada con una ubicación para el al menos segundo operador en el entorno.
32. Método según la reivindicación 30, en el que la selección de datos del dispositivo de almacenamiento de memoria se basa además en el posicionamiento del marcador visual próximo al objeto.
33. Método según la reivindicación 1, en el que el estado actual del entorno comprende información relacionada con la disponibilidad para al menos un segundo operador en el entorno.
34. Método según la reivindicación 1, que comprende además el posicionamiento del uno o los varios marcadores visuales próximos al objeto dentro del entorno del primer operador. 30
35. Sistema según la reivindicación 23, en el que la información que ofrece el sistema de supervisión del entorno está además relacionada con un estado de al menos un segundo operador.
36. Sistema según la reivindicación 35, en el que el estado del al menos segundo operador comprende 35 información relacionada con la disponibilidad del al menos segundo operador.
37. Método según la reivindicación 12, que comprende además;

el establecimiento de una correlación de la ubicación física con el marcador visual; 40

el almacenamiento de la correlación de la ubicación física con el marcador visual en una base de datos; y

la asociación del identificador único al marcador visual.