ES2935067T3 - Seguimiento de peatones de visión-inercial robusto con autoalineación de rumbo - Google Patents

Seguimiento de peatones de visión-inercial robusto con autoalineación de rumbo Download PDF

Info

Publication number
ES2935067T3
ES2935067T3 ES16864935T ES16864935T ES2935067T3 ES 2935067 T3 ES2935067 T3 ES 2935067T3 ES 16864935 T ES16864935 T ES 16864935T ES 16864935 T ES16864935 T ES 16864935T ES 2935067 T3 ES2935067 T3 ES 2935067T3
Authority
ES
Spain
Prior art keywords
foot
head
heading
orientation
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16864935T
Other languages
English (en)
Inventor
Thomas CALLOWAY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Defense and Security Inc
Original Assignee
Thales Defense and Security Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Defense and Security Inc filed Critical Thales Defense and Security Inc
Application granted granted Critical
Publication of ES2935067T3 publication Critical patent/ES2935067T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Abstract

Un método, un sistema y un medio legible por computadora para rastrear una posición y orientación de un peatón. El sistema rastrea al menos uno de la posición de la cabeza o la orientación de la cabeza del peatón. El sistema rastrea al menos una de las posiciones de los pies o la orientación de los pies del peatón. El sistema determina una primera incertidumbre de rumbo o posición asociada con al menos una de la posición de la cabeza o la orientación de la cabeza del peatón. El sistema determina una segunda incertidumbre de rumbo o posición asociada con al menos una de la posición del pie o la orientación del pie del peatón. Además, el sistema determina cuál de la primera incertidumbre de rumbo o posición o la segunda incertidumbre de rumbo o posición es menor. El sistema transfiere la primera incertidumbre de rumbo o posición al dispositivo de seguimiento montado en el pie, (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Seguimiento de peatones de visión-inercial robusto con autoalineación de rumbo
Referencia cruzada a solicitud o solicitudes relacionadas
Esta solicitud reivindica el beneficio de la Solicitud Provisional de Estados Unidos con n.° de serie 62/253637, titulada "ROBUST VISION-INERTIAL PEDESTRAN TRACKING WTH HEADING AUTO-AUGMENT" y presentada el 10 de noviembre de 2015.
Antecedentes
Campo
La presente divulgación se refiere, en general, al seguimiento de movimiento y, más particularmente, a un método, un sistema y un producto de programa informático para el seguimiento de movimiento en conexión con sistemas de realidad aumentada, por ejemplo, que incluye un dispositivo de seguimiento montado en la cabeza y un dispositivo de seguimiento montado en el pie.
Antecedentes
Recientemente ha habido una explosión de interés en la realidad aumentada (RA) mucho más allá de la comunidad de investigación donde se forjó el campo en los primeros años de la conferencia Simposio Internacional sobre Realidad Mixta y Aumentada (ISMAR) y sus precuelas. La prensa popular ha adoptado la visión de los investigadores pioneros, en la que RA se convertirá en una herramienta indispensable para aumentar el rendimiento humano al proporcionar una mejor conciencia situacional y orientación visual para completar tareas de forma rápida y precisa sin entrenamiento previo.
Durante los últimos años, parecía que el enfoque inicial en RA basada en pantallas montadas en la cabeza (HMD) había dado paso en gran medida a R a en tabletas y teléfonos porque los dispositivos estaban ampliamente disponibles para los consumidores, y los anunciantes vieron la novedad de RA de vídeo sencilla como una manera de llegar a ellos. Los sistemas de RA llevables dejan las manos libres del usuario y pueden proporcionar una pantalla de información siempre activa que está lista para proporcionar aumentos rápidamente cuando sean necesarios.
Este interés renovado en las HMD aún se enfrenta desafíos, que incluyen la necesidad de tecnologías ópticas para producir HMD pequeñas y cómodas con suficiente campo de visión (FOV) y seguimiento de la cabeza que puede producir un registro espacio-temporal convincente de aumentos a sus objetos físicos correspondientes en entornos del mundo real no preparados. Se pueden encontrar detalles adicionales en Joel A. Hesch, et al. IMU-based localization: Observability analysis and consistency improvement". The International Journal of Robotics Research, 2013, 02783114913509675; Ferenc Aubeck, Carsten Isert y Dominik Gusenbaur. "Camera based step detection on mobile phones". Indoor Positioning and Indoor Navigation (IPIN), 206 International Conference on. IEEE, 206; Eric Foxlin. "Pedestrian tracking with shoe-mounted inertial sensors". Computer Graphics and Applications, IEEE 25.6 (2005): págs. 38-46.; Eric Foxlin, Thomas Calloway y Hongsheng Zhang. "Improved registration for vehicular AR using auto-harmonization". Mixed and Augmented Reality (ISMAR), 2015 IEEE International Symposium on. IEEE, 2014; y Yan-Tao Zheng, et al. "Tour the world: building a web-scale landmark recognition engine". Computer Vision and Pattern Recognition. CVPR 2009. IEEE Conference on. IEEE, 2009, cuyos contenidos completos se incorporan en el presente documento como referencia.
La capacidad de operar sin marcadores se ha demostrado en muchos entornos de interiores y exteriores a una escala impresionante, y para las técnicas basadas en la visión de vídeo de RA transparente (tales como tabletas y teléfonos) también producen un registro sólido sin movimientos o errores de registro perceptibles. Sin embargo, el registro transparente óptico es un problema mucho más difícil porque la vista del mundo físico no se puede retardar para que coincida con la vista de los aumentos virtuales, y la alineación no se puede hacer coincidir simplemente en una imagen de vídeo, lo que supone una demanda mucho mayor en la precisión absoluta de la postura 6-DOF y la precisión de calibración relativa del dispositivo de seguimiento a la pantalla.
Por lo tanto, sigue existiendo una necesidad insatisfecha de seguimiento de la cabeza de alta tasa y baja latencia para sistemas de RA que funcionan de manera robusta tanto en entornos interiores como exteriores sin la necesidad de instalar ningún equipo externo o marcadores en el entorno. Además, existe una necesidad insatisfecha de sistemas de RA que puedan funcionar en ausencia de datos del sistema de posicionamiento global (GPS) con características visuales intermitentes y en presencia de interferencia magnética.
Los siguientes documentos desvelan antecedentes tecnológicos:
• ILYAS MUHAMMAD ET AL: "Pose estimation of head-mounted imaging device by transfer alignment technique in unstructured indoor environment", 2013 13TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS (ICCAS 2013), IEEE, 13 de octubre de 2015 (13-10-2015), páginas 213-218;
• OJEDA LAURO ET AL: "Transfer alignment from a personal locator system to a handheld or headmounted instrument", HEAD AND HELMETMOUNTED DISPLAYS XVI: DESIGN AND APPLICATIONS, SPIE, 1000 20TH ST. BELLINGHAM WA 98225-6705 Estados Unidos, vol. 8041, n.° 1, 13 de mayo de 2011 (13-05-2011), páginas 1-13, XP060014328.
Sumario
Los aspectos de la divulgación se exponen en las reivindicaciones independientes adjuntas.
A la luz de los problemas descritos anteriormente y las necesidades insatisfechas, en el presente documento se presentan aspectos del diseño, desarrollo y prueba de un sistema de realidad aumentada (RA). Estos aspectos pueden usarse, por ejemplo, para vehículos terrestres y aeroespaciales para cumplir requisitos estrictos de precisión y robustez. Se presenta un sistema que puede adquirir y mantener la alineación de guiñada en el mundo real: entorno de exteriores, entorno de interiores, en un entorno urbano, en edificios, en cuevas, etc. Los aspectos adicionales incluyen arquitectura del sistema, algoritmos de seguimiento de movimiento y técnicas de armonización para implementar un sistema de RA de precisión para alguien en el suelo (por ejemplo, un peatón).
En un aspecto de la divulgación, se proporcionan un método, un medio legible por ordenador y un sistema para seguir una posición y una orientación de un peatón. El método, el medio y el sistema rastrean, usando un dispositivo de seguimiento montado en la cabeza, al menos una de una posición de la cabeza o una orientación de la cabeza del peatón. El método, el medio y el sistema también rastrean, usando un dispositivo de seguimiento montado en el pie, al menos una de una posición del pie o una orientación del pie del peatón. Además, el método, el medio y el sistema determinan una primera incertidumbre de rumbo y/o posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón. El método, el medio y el sistema determinan una segunda incertidumbre de rumbo y/o posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón. Además, el método, el medio y el sistema también determinan cuál de la primera incertidumbre de rumbo o de posición o la segunda incertidumbre de rumbo y/o posición es menor. Además, el método, el medio y el sistema transfieren la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie cuando se determina que la primera incertidumbre de rumbo y/o posición es menor, y transfieren la segunda incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en la cabeza cuando se determina que la segunda incertidumbre de rumbo y/o posición es menor.
Las ventajas adicionales y las características novedosas de estos aspectos se expondrán en parte en la descripción que sigue, y en parte se harán más evidentes para los expertos en la materia tras el examen de lo siguiente o tras el aprendizaje mediante la práctica de la divulgación.
Breve descripción de los dibujos
Se describirán en detalle diversos aspectos de ejemplo de los sistemas, métodos y medios legibles por ordenador, con referencia a las siguientes figuras, en donde:
La Figura 1 es un diagrama que ilustra un ejemplo de un sistema de seguimiento de peatones de visión-inercial de acuerdo con aspectos de la presente divulgación.
La Figura 2 es un diagrama que ilustra un ejemplo de un sistema HMD de acuerdo con aspectos de la presente divulgación.
La Figura 3 es un diagrama que ilustra un ejemplo de un sistema de seguimiento de pies de acuerdo con aspectos de la presente divulgación.
Las Figuras 4A y 4B son un diagrama de flujo de un método para seguir una posición y una orientación de un peatón de acuerdo con aspectos de la presente divulgación.
La Figura 5 es un diagrama de flujo representativo que ilustra el flujo de datos entre diferentes aspectos/componentes en un sistema de ejemplo de acuerdo con aspectos de la presente divulgación.
La Figura 6 es un diagrama de flujo representativo que ilustra el flujo de datos entre diferentes aspectos/componentes y un filtro Kalman en un sistema de ejemplo de acuerdo con aspectos de la presente divulgación.
La Figura 7, un diagrama de sistema que ilustra diversos componentes de hardware de ejemplo y otras características, para su uso de acuerdo con aspectos de la presente divulgación.
La Figura 8 es un diagrama que ilustra aspectos de ejemplo de una implementación de hardware para un sistema que emplea un sistema de procesamiento de acuerdo con aspectos de la presente divulgación.
Descripción detallada
La descripción detallada expuesta a continuación en conexión con los dibujos adjuntos se concibe como una descripción de diversas configuraciones y no pretende representar las únicas configuraciones en las que pueden ponerse en práctica los conceptos descritos en este documento. La descripción detallada incluye detalles específicos para el propósito de proporcionar un entendimiento completo de diversos conceptos. Sin embargo, será evidente para los expertos en la materia que estos conceptos pueden ponerse en práctica sin estos detalles específicos. En algunos casos, se muestran estructuras y componentes bien conocidos en forma de diagrama de bloques para evitar obstaculizar tales conceptos.
A continuación, se presentarán diversos aspectos de las características de seguimiento de peatones de visión-inercial con referencia a diversos sistemas, aparatos y métodos. Estos sistemas, aparatos y métodos se describirán en la siguiente descripción detallada e ilustrarán en los dibujos adjuntos mediante diversos bloques, módulos, componentes, circuitos, etapas, procesos, algoritmos, etc. (colectivamente denominados como "elementos"). Estos elementos pueden implementarse usando hardware electrónico, software informático o cualquier combinación de los mismos. Que tales elementos se implementen como hardware o software depende de la aplicación particular y de las restricciones de diseño impuestas en la implementación general.
A modo de ejemplo, un elemento, o cualquier porción de un elemento, o cualquier combinación de elementos puede implementarse con un "sistema de procesamiento" que incluye uno o más procesadores. Ejemplos de procesadores incluyen microprocesadores, microcontroladores, procesadores de señales digitales (DSP), matrices de puertas programable en campo (FPGA), dispositivos lógicos programables (PLD), máquinas de estado, lógica de puertas, circuitos de hardware discretos y otro hardware adecuado configurado para realizar la diversa funcionalidad descrita a lo largo de esta divulgación. Uno o más procesadores en el sistema de procesamiento pueden ejecutar software. El software se interpretará ampliamente que incluye instrucciones, conjuntos de instrucciones, código, segmentos de código, código de programa, programas, subprogramas, componentes de software, aplicaciones, aplicaciones de software, paquetes de software, rutinas, subrutinas, objetos, ejecutables, hilos de ejecución, procedimientos, funciones, etc., ya se denomine software, firmware, soporte intermedio, microcódigo, lenguaje de descripción de hardware o de otra manera.
Por consiguiente, en una o más realizaciones ilustrativas, las funciones descritas pueden implementarse en hardware, software, firmware o cualquier combinación de los mismos. Si se implementan en software, las funciones pueden almacenarse o codificarse como una o más instrucciones o código en un medio o medios legibles por ordenador. Medios legibles por ordenador incluyen medios de almacenamiento informático. Los medios de almacenamiento pueden ser cualquier medio disponible que pueda accederse por un ordenador. A modo de ejemplo, y no como limitación, tales medios legibles por ordenador puede comprender una memoria de acceso aleatorio (RAM), una memoria de sólo lectura (ROM), una ROM eléctricamente programable borrable (EEPROM), ROM de disco compacto (CD-ROM) u otro almacenamiento de disco óptico, almacenamiento de disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que pueda usarse para llevar o almacenar código de programa deseado en forma de instrucciones o estructuras de datos y que pueda accederse por un ordenador. Disco magnético y disco óptico, como se usan en el presente documento, incluyen CD, disco láser, disco óptico, disco versátil digital (DVD) y disco flexible en los que los discos magnéticos normalmente reproducen datos magnéticamente, mientras los discos ópticos reproducen datos ópticamente con láseres. También se deberían incluir combinaciones de lo anterior dentro del alcance de medios legibles por ordenador.
Esta solicitud contiene diversas características que están relacionadas con la patente de Estados Unidos n.° 6.474.159, titulada "Motion Tracking", emitida el 5 de noviembre de 2002, cuyo contenido completo se incorpora en el presente documento como referencia.
Los aspectos del sistema y método presentados en el presente documento pueden ser compatibles con diversos ordenadores de misión que pueden usarse en misiones y/o entrenamiento militar terrestre, por ejemplo. Para ser compatible, por ejemplo, con diferentes ordenadores de misión (MC) que ya pueden estar presentes en una HMD, una HMD de acuerdo con los aspectos de la presente divulgación puede implementar las funciones de seguimiento de cabeza, representación y/o visualización que son comunes a todos sistemas de RA terrestres, y ninguna de las funciones específicas de la misión, tales como la orientación, la señalización, la visión mejorada y/o la visión sintética. Como tal, un sistema puede ser responsable de la representación, pero puede no decidir qué se debe representar, la interfaz del MC puede permitir que el MC defina y descargue un conjunto arbitrario de "símbolos", que incluyen formas 2D o 3D que implican segmentos de línea de cualquier color o grosor y/o mapas de bits. El MC puede especificar que cada símbolo esté estabilizado en el suelo o en la cabeza.
La Figura 1 es un diagrama de sistema general de un sistema de seguimiento 100 de ejemplo (por ejemplo, un sistema de seguimiento de peatones de visión-inercial de RA) para su uso de acuerdo con aspectos de la presente divulgación. El sistema de ejemplo de la Figura 1 incluye, por ejemplo, una HMD 102 con una cámara montada en la cabeza (ilustrada en la Figura 2) y una pantalla 104. Una unidad de control 110 y un generador de imágenes (ilustrados en la Figura 2) pueden acoplarse entre sí a través de una caja de interfaz 108 y uno o más cables y/o alambres 106. La unidad de control 110 y el generador de imágenes pueden recibir datos de seguimiento (por ejemplo, de la cámara) relacionados con al menos una posición de la cabeza o una orientación de la cabeza del peatón. El generador de imágenes puede generar una imagen que se muestra en la pantalla 104. En un aspecto, la cámara puede incluir un dispositivo de seguimiento de características naturales (por ejemplo, dispositivo de seguimiento inercial basado en óptica híbrido) que ejecuta un algoritmo de localización y mapeo contemporáneo (SLAM), tal como ORB-SLAM (ORB indica características "FAST orientado y BRIEF rotado"), mientras busca puntos de referencia conocidos para proporcionar un registro de mapa absoluto en el controlador.
El sistema de seguimiento 100 también puede incluir un dispositivo de seguimiento montado en el pie 114 colocado, por ejemplo, en un zapato 112 del peatón. El dispositivo de seguimiento montado en el pie 114 puede incluir una unidad de medición inercial montada en el pie que rastrea la posición del pie y/o la orientación del pie en entornos denegados por GPS dentro de, por ejemplo, un cierto porcentaje de la distancia total recorrida. Por ejemplo, el dispositivo de seguimiento montado en el pie 114 puede seguir la posición y/o la orientación del pie dentro del 1 % de la distancia total recorrida, que es de un error de 1 m después de caminar/correr 100 m.
Además, el sistema de seguimiento 100 puede incluir un dispositivo de comunicación 116, tal como un teléfono inteligente que se comunica con la HMD 102 y el dispositivo de seguimiento montado en el pie 114. Además, la HMD 102 y el dispositivo de seguimiento montado en el pie 114 pueden estar en comunicación directa entre sí.
Al menos uno del controlador 110 de la HMD 102 y/o el dispositivo de seguimiento montado en el pie 114 puede usar un componente de filtrado de Kalman (KF) y/o un componente de ajuste de postura global de acuerdo con los aspectos presentados en este documento. Por ejemplo, el componente KF del controlador 110 puede usarse para realizar una odometría visual-inercial (VIO) y/o determinar la postura del pie (por ejemplo, usando un algoritmo de actualización de velocidad cero (ZUPT)). El componente de ajuste de postura global puede usarse para alinear información relacionada con VIO, la posición del pie y/o puntos de referencia reconocidos.
Además, el sistema de seguimiento 100 puede usar un sensor de imagen de obturador rodante en la HMD 102 y, por lo tanto, puede tener que procesar cada medición fiduciaria individual adquirida por la HMD 102 por separado en un punto diferente en el tiempo, usando un modelo de medición de rodamientos no lineales, que opera en función de la posición, así como de la orientación. Usando un generador de imágenes de obturador global y el elemento de procesamiento mucho más rápido en el controlador 110 (por ejemplo, la máquina de computación de conjunto de instrucciones reducido (ARM) Cortex A8 de Acorn a 1 GHz), la HMD 102 y/o el dispositivo de seguimiento montado en el pie 114 presentados en el presente documento pueden capturar y decodificar simultáneamente hasta o más de 20 funciones ORB a tasa de fotogramas. Para cada fotograma capturado por la cámara, el controlador 110 puede resolver la postura usando una versión modificada del algoritmo de recuperación de postura OpenCV, que da como resultado una medición de la posición de la cabeza, la orientación de la cabeza, la posición del pie y/o la orientación del pie que puede usarse para corregir la inclinación. Por lo tanto, se puede seguir la orientación de la cabeza independientemente de la posición usando las mediciones de la postura de la cámara y un filtro Kalman complementario (CKF) de 6 estados muy sencillo para estimar los errores y desviaciones de posición/orientación.
Haciendo referencia todavía a la Figura 1, la unidad de control 110 puede determinar una primera incertidumbre de rumbo y/o posición asociada a al menos una de la posición de la cabeza o la orientación de la cabeza del peatón basándose en la al menos una de la posición de la cabeza o la orientación de la cabeza. Por ejemplo, la unidad de control 110 puede seguir la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón intentando reconocer uno o más puntos de referencia visuales capturados por la cámara y puede determinar la primera incertidumbre de rumbo y/o posición basándose en el seguimiento. En un aspecto adicional, la unidad de control 110 puede proporcionar un registro de mapa basándose en uno o más puntos de referencia visuales que se están reconociendo. Además, la unidad de control 110 puede determinar una primera incertidumbre de rumbo y/o posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón. Por ejemplo, la primera incertidumbre de rumbo y/o posición determinada por la unidad de control 100 puede estar relacionada con una o más de la primera información de guiñada asociada a al menos una de la posición de la cabeza o la orientación de la cabeza, la primera información de balanceo relacionada con la asociada a al menos una de la posición de la cabeza o la orientación de la cabeza, primera información de cabeceo asociada a al menos una de la posición de la cabeza o la orientación de la cabeza, primera información hacia arriba y/o hacia abajo asociada a al menos una de la posición de la cabeza o la orientación de la cabeza, primera información delantera y/o trasera asociada a al menos una de la posición de la cabeza o la orientación de la cabeza, y/o primera información izquierda y/o derecha asociada a al menos una de la posición de la cabeza o la orientación de la cabeza.
Haciendo referencia todavía a la Figura 1, el dispositivo de seguimiento montado en el pie 114 puede seguir al menos una posición del pie o una orientación del pie del peatón. Por ejemplo, se puede seguir la al menos una de la posición del pie o la orientación del pie del peatón en un entorno sin GPS. En un aspecto, el dispositivo de seguimiento montado en el pie 114 puede determinar una segunda incertidumbre de rumbo y/o posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón basándose en el seguimiento. Por ejemplo, la segunda incertidumbre de rumbo y/o posición determinada por el dispositivo de seguimiento montado en el pie 114 puede estar relacionada con la segunda información de guiñada asociada a al menos una de la posición del pie o la orientación del pie, segunda información de balanceo asociada a al menos una de la posición del pie o la orientación del pie, segunda información de cabeceo asociada a al menos una de la posición del pie o la orientación del pie, segunda información hacia arriba y/o hacia abajo asociada a al menos una de la posición del pie o la orientación del pie, segunda información delantera y/o trasera asociada a al menos una de la posición del pie o la orientación del pie, y/o segunda información izquierda y/o derecha asociada a al menos una de la posición del pie o la orientación del pie.
Haciendo referencia de nuevo a la Figura 1, el sistema de seguimiento 100 puede determinar cuál de la primera incertidumbre de rumbo y/o posición o la segunda incertidumbre de rumbo y/o posición es menor. Por ejemplo, es posible que el GPS solo pueda proporcionar información relacionada con la posición absoluta, los puntos de referencia visuales capturados por la cámara pueden proporcionar información relacionada con el rumbo y/o la posición absolutos, el componente de odometría visual-inercial del filtro Kalman puede proporcionar información relacionada con el rumbo y/o la posición que puede acumular errores con el tiempo, el dispositivo de seguimiento montado en el pie 114 puede proporcionar información relacionada con el rumbo relativo y/o la información de posición y acumular errores con el tiempo. El sistema de seguimiento 100 puede determinar información relacionada con la posición absoluta y/o la orientación combinando una o más de la información y/o el error acumulado de uno o más del GPS, el componente VIO del filtro Kalman y/o la cámara, el componente del sensor montado en el pie 114.
En una primera realización de ejemplo, la unidad de control 110 y el dispositivo de seguimiento montado en el pie 114 pueden transmitir información asociada a las respectivas incertidumbres de rumbo y/o posición a un dispositivo de comunicación 116, tal como un teléfono inteligente que lleva el peatón. En un aspecto, la unidad de control 110 puede transmitir información relacionada con la primera incertidumbre de rumbo y/o posición al dispositivo de comunicación 116 usando una o más de señalización del sistema global de navegación por satélite (GNSS), señalización de comunicación inalámbrica de corto alcance Bluetooth®, señalización de comunicación Wi-Fi, señalización de comunicación inalámbrica de la evolución a largo plazo (LTE) y/o señalización de comunicación de identificación por radiofrecuencia (RFID), entre otros modos de comunicación. De manera similar, el dispositivo de seguimiento montado en el pie 114 puede transmitir información relacionada con la segunda incertidumbre de rumbo y/o información de posición al dispositivo de comunicación 116 utilizando uno o más de señalización GNSS, Bluetooth® señalización de comunicación inalámbrica de corto alcance, señalización de comunicación Wi-Fi, señalización de comunicación inalámbrica LTE y/o señalización de comunicación RFID, entre otros. El dispositivo de comunicación 116 puede determinar cuál de la primera incertidumbre de rumbo y/o posición o la segunda incertidumbre de rumbo y/o posición es menor. Si se determina que la primera incertidumbre de rumbo y/o posición es menor que la segunda incertidumbre de rumbo y/o posición, el dispositivo de comunicación 116 puede transmitir la información relacionada con la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie 114. Como alternativa, cuando la primera incertidumbre de rumbo y/o posición es menor que la segunda incertidumbre de rumbo, el dispositivo de comunicación 116 puede transmitir señalización a la unidad de control 110 que indica que la información relacionada con la primera incertidumbre de rumbo y/o posición debe enviarse desde la unidad de control 110 al dispositivo de seguimiento montado en el pie 114. En cualquier caso, el dispositivo de seguimiento montado en el pie 114 puede usar la primera incertidumbre de rumbo y/o posición para corregir la al menos una de la posición del pie o la orientación del pie del peatón en lugar de usar la segunda incertidumbre de rumbo y/o posición.
Además, si se determina que la segunda incertidumbre de rumbo y/o posición es menor, el dispositivo de comunicación 116 puede transmitir información relacionada con la segunda incertidumbre de rumbo y/o posición a la unidad de control 110. Como alternativa, cuando la segunda incertidumbre de rumbo y/o posición es menor que la primera incertidumbre de rumbo y/o posición, el dispositivo de comunicación 116 puede enviar señalización al dispositivo de seguimiento montado en el pie 114 que indica que la información relacionada con la segunda incertidumbre de rumbo y/o posición debe enviarse desde el dispositivo de seguimiento montado en el pie 114 a la unidad de control 110. En cualquier caso, la unidad de control 110 puede usar la segunda incertidumbre de rumbo y/o posición para corregir la al menos una de la posición de la cabeza o la orientación de la cabeza, en lugar de usar la primera incertidumbre de rumbo y/o posición.
En una segunda realización de ejemplo, la unidad de control 110 y el dispositivo de seguimiento montado en el pie 114 pueden transmitir la información asociada a sus respectivas incertidumbres de rumbo y/o posición entre sí sin necesidad de comunicarse con el dispositivo de comunicación 116. Por ejemplo, puede ocurrir automáticamente una transferencia y/o intercambio de información asociada a la incertidumbre de rumbo y/o posición entre la HMD 102 y el dispositivo de seguimiento montado en el pie 114 cuando la HMD 102 reconoce al menos una porción del zapato 112. En un aspecto, la unidad de control 110 de la HMB 102 puede transmitir (por ejemplo, automáticamente) información relacionada con la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie 114 usando una o más de señalización GNSS, señalización de comunicación inalámbrica de corto alcance Bluetooth®, señalización de comunicación Wi-Fi, señalización de comunicación inalámbrica LTE y/o señalización de comunicación RFID, entre otros. De manera similar, el dispositivo de seguimiento montado en el pie 114 puede transmitir (por ejemplo, automáticamente) información relacionada con la segunda información de rumbo y/o posición a la unidad de control 110 de la HMD 102 usando una o más de señalización GNSS, señalización de comunicación inalámbrica de corto alcance Bluetooth®, señalización de comunicación Wi-Fi, señalización de comunicación inalámbrica LTE y/o señalización de comunicación RFID, entre otros. Puede realizarse una determinación con respecto a cuál de la primera incertidumbre de rumbo y/o posición o la segunda incertidumbre de rumbo y/o posición es menor mediante una o más de la unidad de control 110 y/o el dispositivo de seguimiento montado en el pie 114. Cuando se determina que la primera incertidumbre de rumbo y/o posición es menor que la segunda incertidumbre de rumbo y/o posición, el dispositivo de seguimiento montado en el pie 114 puede usar la primera incertidumbre de rumbo y/o posición para corregir la al menos una de la posición del pie o la orientación del pie del peatón. Como alternativa, cuando se determina que la segunda incertidumbre de rumbo y/o posición es menor que la primera incertidumbre de rumbo y/o posición, la unidad de control 110 puede usar la segunda incertidumbre de rumbo y/o posición para corregir la al menos una de la posición de la cabeza o la orientación de la cabeza.
De esta forma, el sistema de la presente divulgación puede proporcionar un seguimiento de la cabeza de alta velocidad y baja latencia que funciona de forma robusta tanto en entornos interiores como exteriores sin necesidad de instalar ningún equipo o marcadores externos en el entorno. Además, el sistema de la presente divulgación puede proporcionar un seguimiento de la posición y orientación de un peatón en ausencia de datos de GPS, con características visuales intermitentes y en presencia de interferencia magnética.
La Figura 2 ilustra un diagrama de sistema de diversas características de un sistema de HMD 200 de ejemplo para su uso de acuerdo con aspectos de la presente divulgación. Por ejemplo, el sistema de HMD puede ser la h Dm 102 ilustrada en la Figura 1.
En un aspecto, el sistema de HDM 200 ilustrado en la Figura 2 puede incluir una cámara 220 (por ejemplo, un dispositivo de seguimiento de características naturales, una cámara de obturador global y/o una cámara de obturador rodante) que opera un algoritmo de mapeo (por ejemplo, un algoritmo de mapeo y localización contemporáneo (SLAM)), tal como un ORB-SLAM (por ejemplo, ORB indica funciones "FAST orientado y BRIEF rotado") mientras busca puntos de referencia conocidos para proporcionar un registro de mapa absoluto. En un aspecto, la cámara 220 puede obtener imágenes monocromáticas de un sensor de imagen tal como gafas de visión nocturna digital (NVG). Adicionalmente o como alternativa, la cámara 220 puede incluir un zoom con un rango de 1200 mm o mayor. La cámara 220 puede acoplarse a una unidad de control 204 y una unidad de batería 202 a través de una caja de interfaz 210. Por ejemplo, la cámara 220 puede conectarse a la caja de interfaz a través del cable 212. Las señales asociadas con las imágenes capturadas por la cámara 220 (por ejemplo, imágenes de 30 Hz) pueden transmitirse a la caja de interfaz 210 que a continuación envía las señales al controlador 204 a través de, por ejemplo, un cable y/o alambre 208 para su procesamiento. Por ejemplo, el controlador 204 puede procesar, filtrar y/o modificar las señales recibidas de la cámara 220 y superponer un punto de referencia visual (por ejemplo, un edificio, un vehículo, una colina, un árbol) con un símbolo y/o referencia que se proyecta por un generador de imágenes. 216 en un visor, gafa y/o lente (no ilustrados en la Figura 2) a través de los cuales mira el peatón. Por ejemplo, el generador de imágenes 216 puede conectarse a la caja de interfaz mediante un cable y/o alambre 214. Además, el controlador 204 puede determinar una primera incertidumbre de rumbo y/o posición asociada a la posición de la cabeza y/o la orientación de la cabeza del peatón, y corregir la primera incertidumbre de rumbo y/o posición con información relacionada con una segunda incertidumbre de rumbo y/o posición relacionada con una posición del pie y/u orientación del pie, similar a cómo se describe con respecto a la Figura 1. La información relacionada con la segunda incertidumbre de rumbo y/o posición puede recibirse, por ejemplo, desde el dispositivo de comunicación 218 y/o los dispositivos de seguimiento montados en el pie 304a, 304b ilustrados en la Figura 3.
En ocasiones, el sol puede estar directamente en el campo de visión (FOV) de la cámara 220, lo que puede crear problemas de rango dinámico. Para abordar los potenciales desafíos causados por la luz solar, puede reducirse la exposición cuando la luz solar es demasiado brillante y aumentarse cuando es demasiado oscura.
Haciendo referencia todavía a la Figura 2, el controlador 204 puede incluir un sistema en módulo (SOM), tal como una computadora integrada construida en una sola placa de circuito. El SOM puede incluir un microprocesador con RAM, controladores de entrada/salida y todas las demás características necesarias para el procesamiento de señales. Además, el controlador 204 puede incluir un transmisor/receptor inalámbrico Bluetooth®, un transmisor/receptor Wi-Fi, un transmisor/receptor LTE y/o un transmisor/receptor RFID para la comunicación con dispositivos externos, tales como un teléfono inteligente u otro dispositivo de comunicación 218 y/o los dispositivos de seguimiento montados en el pie 304a, 304b ilustrados en la Figura 3. En un aspecto, el controlador 220 puede transferir información asociada a la primera incertidumbre de rumbo y/o posición al dispositivo de comunicación 218 y/o dispositivos de seguimiento montados en el pie 304a, 304b ilustrados en la Figura 3. Además, el controlador 220 puede recibir información relacionada con la segunda incertidumbre de rumbo y/o posición relacionada con la posición del pie y/o la orientación del pie desde el dispositivo de comunicación 218 y/o los dispositivos de seguimiento montados en el pie 304a, 304b. Además, el controlador 204 puede incluir controles y/o botones que pueden usarse para ajustar las características del sistema HMD 200. Por ejemplo, los controles y/o botones pueden activar una función de encendido/apagado del sistema HMD 200 y/o cambiar los ajustes usados por la cámara y/o el generador de imágenes 216.
En una realización de ejemplo, el generador de imágenes 216 puede recibir señales del controlador 204 relacionadas con imágenes con o sin marcas de referencia relacionadas con las imágenes capturadas por la cámara 220. Las señales pueden incluir una corrección basada en la segunda incertidumbre de rumbo y/o posición cuando sea apropiado. El generador de imágenes 216 puede acoplarse a la caja de interfaz 210 mediante, por ejemplo, un cable y/o un alambre 214 (por ejemplo, un cable de señalización diferencial de baja tensión (LVDS) y/o un cable de interfaz multimedia de alta definición (HDMI)). El generador de imágenes 216 puede a continuación proyectar una imagen basándose en la señal recibida del controlador 204 en un visor, gafa o lente (no ilustrados en la Figura 2).
Una batería 202 (por ejemplo, una batería de iones de litio (Li)) también puede acoplarse a la caja de interfaz 210 mediante, por ejemplo, un cable y/o alambre 206, y usarse para alimentar uno o más del controlador 204, la cámara 220, y/o el generador de imágenes 216.
La Figura 3 ilustra un diagrama de sistema de un sistema de seguimiento de pies 300 de ejemplo para uso de acuerdo con aspectos de la presente divulgación. Por ejemplo, el sistema de seguimiento de pies 300 puede incluir el zapato 112 con el dispositivo de seguimiento montado en el pie 114 ilustrado en la Figura 1.
En un aspecto, el sistema de seguimiento de pies 300 ilustrado en la Figura 3 puede incluir un par de zapatos 302a, 302b, incluyendo cada uno un dispositivo de seguimiento montado en el pie 304a, 304b incrustado en el mismo. Los dispositivos de seguimiento montados en el pie 304a, 304b pueden incluir un controlador (no representado) que puede realizar actualizaciones del filtro Kalman de velocidad cero y aprender la forma del pie como referencia. Con el tiempo, cuando hay pocos o ningún punto de referencia visual, el sistema HMD 200 se desviará en dirección y/o posición más rápidamente. El sistema de seguimiento de pies 300 puede a continuación convertirse en el sistema con la menor cantidad de incertidumbre de rumbo y/o posición, y el controlador del dispositivo de seguimiento montado en el pie 304a, 304b puede enviar información relacionada con la segunda incertidumbre de rumbo y/o posición a uno o más del dispositivo de comunicación 218 y/o el controlador 204 del sistema HMD 200 ilustrado en la Figura 2. El sistema HMD 200 puede usar la segunda incertidumbre de rumbo y/o posición para corregir la posición de la cabeza y/o la orientación de la cabeza. De manera similar, el sistema de seguimiento de pies 300 puede recibir información relacionada con la primera incertidumbre de rumbo y/o posición desde el sistema HMD 200 y usar esta información para corregir la posición del pie y/o la orientación del pie.
La Figura 4 es un diagrama de flujo 400 de un método de seguimiento de una posición y una orientación de un peatón. El método puede realizarse por un sistema de seguimiento (por ejemplo, el sistema de seguimiento 100 ilustrado en la Figura 1). Debe entenderse que las operaciones indicadas con líneas discontinuas representan operaciones para diversos aspectos de la divulgación.
En el bloque 402, el sistema de seguimiento puede seguir, usando un dispositivo de seguimiento montado en la cabeza, al menos una de una posición de la cabeza o una orientación de la cabeza del peatón. Por ejemplo, haciendo referencia a la Figura 1, la unidad de control 110 y el generador de imágenes pueden recibir datos de seguimiento (por ejemplo, de la cámara) relacionados con al menos una posición de la cabeza o una orientación de la cabeza del peatón. El generador de imágenes puede generar una imagen que se muestra en la pantalla 104. En un aspecto, la cámara puede incluir un dispositivo de seguimiento de características naturales (por ejemplo, dispositivo de seguimiento inercial basado en óptica híbrido) que ejecuta un algoritmo de localización y mapeo contemporáneo (SLAM), tal como ORB-SLAM (ORB indica características "FAST orientado y BRIEF rotado"), mientras busca puntos de referencia conocidos para proporcionar un registro de mapa absoluto en el controlador.
En el bloque 404, el sistema de seguimiento puede seguir, usando un dispositivo de seguimiento montado en el pie, al menos una de una posición del pie o una orientación del pie del peatón. Por ejemplo, haciendo referencia a la Figura 1, el sistema de seguimiento 100 también puede incluir un dispositivo de seguimiento montado en el pie 114 colocado en un zapato 112 del peatón. El dispositivo de seguimiento montado en el pie 114 puede incluir una unidad de medición inercial montada en el pie que rastrea la posición del pie y/o la orientación del pie en entornos denegados por GPS dentro de, por ejemplo, un cierto porcentaje de la distancia total recorrida. Por ejemplo, el dispositivo de seguimiento montado en el pie 114 puede seguir la posición y/o la orientación del pie dentro del 1 % de la distancia total recorrida, que es de un error de 1 m después de caminar/correr 100 m.
En el bloque 406, el sistema de seguimiento puede determinar una primera incertidumbre de rumbo y/o posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón. Por ejemplo, haciendo referencia todavía a la Figura 1, la unidad de control 110 puede determinar una primera incertidumbre de rumbo y/o posición asociada a al menos una de la posición de la cabeza o la orientación de la cabeza del peatón basándose en la al menos una de la posición de la cabeza o la orientación de la cabeza. Por ejemplo, la unidad de control 110 puede seguir la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón intentando reconocer uno o más puntos de referencia visuales capturados por la cámara y puede determinar la primera incertidumbre de rumbo y/o posición basándose en el seguimiento.
En el bloque 408, el sistema de seguimiento puede determinar una segunda incertidumbre de rumbo y/o posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón. Por ejemplo, haciendo referencia a la Figura 1, el dispositivo de seguimiento montado en el pie 114 puede seguir al menos una posición del pie o una orientación del pie del peatón. Por ejemplo, se puede seguir la al menos una de la posición del pie o la orientación del pie del peatón en un entorno sin GPS. En un aspecto, el dispositivo de seguimiento montado en el pie 114 puede determinar una segunda incertidumbre de rumbo y/o posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón basándose en el seguimiento.
En el bloque 410, el sistema de seguimiento puede determinar cuál de la primera incertidumbre de rumbo o la segunda incertidumbre de rumbo es menor. Por ejemplo, haciendo referencia a la Figura 1, la unidad de control 110 y el dispositivo de seguimiento montado en el pie 114 pueden enviar información asociada a sus respectivas incertidumbres de rumbo a un dispositivo de comunicación 116 llevado por el peatón. El dispositivo de comunicación 116 puede determinar cuál de la primera incertidumbre de rumbo o la segunda incertidumbre de rumbo y/o posición es menor. Como alternativa, la unidad de control 110 y el dispositivo de seguimiento montado en el pie 114 pueden enviar la información asociada a sus respectivas incertidumbres de rumbo y/o posición entre sí sin necesidad de comunicarse con el dispositivo de comunicación 116. En este caso, puede realizarse una determinación con respecto a cuál de la primera incertidumbre de rumbo y/o posición o la segunda incertidumbre de rumbo y/o posición es menor mediante una o más de la unidad de control 110 y/o el dispositivo de seguimiento montado en el pie 114.
En el bloque 412, el dispositivo de seguimiento puede transferir la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie cuando se determina que la primera incertidumbre de rumbo y/o posición es menor. Por ejemplo, haciendo referencia a la Figura 1, si se determina que la primera incertidumbre de rumbo y/o posición es menor que la segunda incertidumbre de rumbo y/o posición, el dispositivo de comunicación 116 puede transmitir la información relacionada con la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie 114. Como alternativa, cuando la primera incertidumbre de rumbo y/o posición es menor que la segunda incertidumbre de rumbo y/o posición, el dispositivo de comunicación 116 puede transmitir señalización a la unidad de control 110 que indica que la información relacionada con la primera incertidumbre de rumbo y/o posición debe enviarse desde la unidad de control 110 al dispositivo de seguimiento montado en el pie 114. Adicionalmente o como alternativa, la unidad de control 110 y el dispositivo de seguimiento montado en el pie 114 pueden transmitir la información asociada a sus respectivas incertidumbres de rumbo y/o posición entre sí sin necesidad de comunicarse con el dispositivo de comunicación 116.
En el bloque 414, el sistema de seguimiento puede transferir la segunda incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en la cabeza cuando se determina que la segunda incertidumbre de rumbo y/o posición es menor. Por ejemplo, haciendo referencia a la Figura 1, si se determina que la segunda incertidumbre de rumbo y/o posición es menor, el dispositivo de comunicación 116 puede transmitir información relacionada con la segunda incertidumbre de rumbo y/o posición a la unidad de control 110. Como alternativa, cuando la segunda incertidumbre de rumbo y/o posición es menor que la primera incertidumbre de rumbo y/o posición, el dispositivo de comunicación 116 puede enviar señalización al dispositivo de seguimiento montado en el pie 114 que indica que la información relacionada con la segunda incertidumbre de rumbo y/o posición debe transmitirse desde el dispositivo de seguimiento montado en el pie 114 a la unidad de control 110. Adicionalmente o como alternativa, la unidad de control 110 y el dispositivo de seguimiento montado en el pie 114 pueden transmitir la información asociada a sus respectivas incertidumbres de rumbo y/o posición entre sí sin necesidad de comunicarse con el dispositivo de comunicación 116.
En el bloque 416, el sistema de seguimiento puede corregir la al menos una de la posición del pie o la orientación del pie del peatón usando la primera incertidumbre de rumbo y/o posición transferida al dispositivo de seguimiento montado en el pie. Por ejemplo, haciendo referencia a la Figura 1, el dispositivo de seguimiento montado en el pie 114 puede usar la primera incertidumbre de rumbo y/o posición para corregir la al menos una de la posición del pie o la orientación del pie del peatón en lugar de usar la segunda incertidumbre de rumbo y/o posición cuando se determina que la primera incertidumbre de rumbo y/o posición es menor que la segunda incertidumbre de rumbo y/o posición.
Como se observa en la Figura 4B, en el bloque 418, el sistema de seguimiento puede corregir la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón usando la segunda incertidumbre de rumbo y/o posición transferida al dispositivo de seguimiento montado en la cabeza. Por ejemplo, haciendo referencia a la Figura 1, la unidad de control 110 puede usar la segunda incertidumbre de rumbo y/o posición para corregir la al menos una de la posición de la cabeza o la orientación de la cabeza en lugar de usar la primera incertidumbre de rumbo y/o posición cuando se determina que la segunda incertidumbre de rumbo y/o posición es menor que la primera incertidumbre de rumbo y/o posición.
En el bloque 420, el sistema de seguimiento puede proporcionar un registro de mapa basado en el uno o más puntos de referencia visuales que se están reconociendo. Por ejemplo, haciendo referencia a la Figura 1, la unidad de control 110 puede proporcionar un registro de mapa basándose en uno o más puntos de referencia visuales reconocidos por la cámara.
De esta forma, el sistema de seguimiento de la presente divulgación puede proporcionar un seguimiento de la cabeza de alta velocidad y baja latencia que funciona de forma robusta tanto en entornos interiores como exteriores sin necesidad de instalar ningún equipo o marcadores externos en el entorno. Además, el sistema de seguimiento de la presente divulgación puede proporcionar seguimiento de posición y orientación de un peatón en ausencia de datos GPS con características visuales intermitentes y en presencia de interferencia magnética.
La Figura 5 es un diagrama de flujo de datos representativo 500 que ilustra el flujo de datos entre diferentes características/componentes en un sistema de ejemplo. El sistema puede ser un sistema de seguimiento, tal como el sistema de seguimiento 100 ilustrado en la Figura 1. El aparato incluye un componente de sensor montado en la cabeza 502 que rastrea al menos una de una posición de la cabeza o una orientación de la cabeza del peatón y busca puntos de referencia conocidos, un componente de sensor montado en el pie 504 que rastrea al menos una de una posición de pie o una orientación de pie del peatón, un componente de filtrado de Kalman y de alineación de postura global 506 que procesa cada medición de característica óptica individual adquirida por la HMD 102 por separado en un punto diferente en el tiempo, usando un modelo de medición de rodamientos no lineales, que opera en función de la posición, así como la orientación, un componente de GPS 508 que rastrea la posición del peatón, un componente SLAM 510 proporciona un registro de mapa absoluto mientras que el componente sensor montado en la cabeza 502 busca puntos de referencia conocidos, un componente de reconocimiento de puntos de referencia 512 que reconoce puntos de referencia conocidos basándose en las búsquedas realizadas por el componente de sensor montado en la cabeza 502, una red basada en la nube 514 con la que el sistema de seguimiento está en comunicación, un componente de contenido 516 que organiza los datos obtenidos por los componentes 502, 504, 506, 508, 510 y 512, de modo que las señales y los datos pueden usarse de manera predefinida o dinámica por el sistema de seguimiento, un componente de generador de gráficos 518 que genera una imagen basándose en los datos recibidos del componente de contenido 516, y un componente de visualización RA 520 que muestra un punto de referencia visual (por ejemplo, un edificio, un vehículo, una colina, un árbol, etc.) con un símbolo y/o referencia generada por componente de generador de gráficos 518.
El aparato puede incluir componentes adicionales que realizan cada una de las funciones en los bloques del algoritmo en el diagrama de flujo anteriormente mencionado de las Figuras 4A y 4B. Como tal, cada bloque en el diagrama de flujo anteriormente mencionado de las Figuras 4A y 4B puede realizarse por un componente y el aparato puede incluir uno o más de estos componentes. Los componentes pueden incluir uno o más componentes de hardware específicamente configurados para llevar a cabo los procesos/algoritmos establecidos, implementados por un procesador, por ejemplo, configurado para realizar los procesos/algoritmos establecidos, almacenados en un medio legible por ordenador para su implementación por un procesador o alguna combinación de los mismos.
La Figura 6 es un diagrama de flujo representativo que ilustra el flujo de datos entre diferentes aspectos/componentes y un componente de alineación de postura global/filtrado de Kalman usado en un sistema de ejemplo. El sistema puede ser un sistema de seguimiento, tal como el sistema de seguimiento 100 ilustrado en la Figura 1, y el componente de filtrado de Kalman/alineación de postura global 506 puede ser el componente de filtrado de Kalman y alineación de postura global 506 ilustrado en la Figura 5.
Por ejemplo, el componente de filtrado de Kalman y alineación de postura global 506 puede incluir un componente de filtro Kalman VIO 602, un componente de filtro Kalman de seguimiento de pies 604 y un componente de alineación de fotogramas de coordenadas globales 606.
En una realización de ejemplo, el componente de filtro Kalman VIO 602 puede recibir una entrada de componente SLAM 608 y una entrada de componente de sensor montado en la cabeza 610. En un aspecto, la entrada del componente SLAM 608 puede recibirse del componente SLAM 510 y la entrada del componente sensor montado en la cabeza 610 puede recibirse del componente sensor montado en la cabeza 502 ilustrado en la Figura 5. En un aspecto, el componente de filtro Kalman VIO 602 puede aplicar un algoritmo VIO a una o más de la entrada de componente SLAm 608 y/o entrada de componente de sensor montado en la cabeza 610 recibidas para producir una señal 616 que se envía al componente de alineación de fotogramas de coordenadas globales 606.
En otra realización de ejemplo, el componente de filtro Kalman de seguimiento de pies 604 puede recibir una entrada de GPS 612 y una entrada de componente de sensor montado en el pie 614. En un aspecto, la entrada de GPS 612 puede recibirse desde el GPS 508 y la entrada de componente de sensor montado en el pie 614 puede recibirse del componente de sensor montado en el pie 504 ilustrado en la Figura 5. En un aspecto, el componente de filtro Kalman VIO 602 puede aplicar un algoritmo VIO a una o más de la entrada de GPS 612 y/o entrada de componente de sensor montado en el pie 614 recibidas para producir una señal 618 que se envía al componente de alineación de fotogramas de coordenadas globales 606.
Usando las señales recibidas 616, 618, el componente de alineación de fotogramas de coordenadas globales 606 puede reducir y/o corregir la incertidumbre de rumbo y/o posición. Una señal de realimentación de unidad de medición inercial (IMU) 620 que incluye una reducción y/o corrección en la incertidumbre de rumbo y/o posición puede enviarse desde el componente de filtrado de Kalman y alineación de postura global 506 al componente SLAM 510 ilustrado en la Figura 5. Además, una señal de grado de libertad global (GDOF) 622 que también incluye una reducción y/o corrección en la incertidumbre de rumbo y/o posición puede enviarse al componente de generador de gráficos 518. Adicionalmente y/o como alternativa, el filtro Kalman de seguimiento de pies 604 puede enviar una realineación de rumbo y/o una señal de corrección de posición absoluta 622 al componente de sensor montado en el pie 504 ilustrado en la Figura 5.
La Figura 7 presenta un diagrama de sistema de ejemplo de diversos componentes de hardware y otras características, para su uso de acuerdo con aspectos presentados en el presente documento. Los aspectos pueden implementarse usando hardware, software o una combinación de los mismos y pueden implementarse en uno o más sistemas informáticos u otros sistemas de procesamiento. En un ejemplo, los aspectos pueden incluir uno o más sistemas informáticos que pueden llevar a cabo la funcionalidad descrita en el presente documento, por ejemplo, en conexión con las Figuras 4A y 4B. En la Figura 7 se muestra un ejemplo de un sistema informático 700 de este tipo.
El sistema informático 700 incluye uno o más procesadores, tales como el procesador 704. El procesador 704 se conecta a una infraestructura de comunicación 706 (por ejemplo, un bus de comunicaciones, barra transversal o red). Diversos aspectos de software se describen en términos de este sistema informático de ejemplo. Después de leer esta descripción, será evidente para un experto en la materia o materias relevantes cómo implementar los aspectos presentados en el presente documento usando otros sistemas informáticos y/o arquitecturas.
El sistema informático 700 puede incluir una interfaz de visualización 702 que reenvía gráficos, texto y otros datos desde la infraestructura de comunicación 706 (o desde una memoria intermedia de fotogramas no mostrada) para su visualización en una unidad de visualización 730. El sistema informático 700 también incluye una memoria principal 708, preferentemente memoria de acceso aleatorio (RAM) y también puede incluir una memoria secundaria 710. La memoria secundaria 710 puede incluir, por ejemplo, una unidad de disco duro 712 y/o una unidad de almacenamiento extraíble 714, que representa una unidad de disco flexible, una unidad de cinta magnética, una unidad de disco óptico, etc. La unidad de almacenamiento extraíble 714 lee de y/o escribe en una unidad de almacenamiento extraíble 718 de una manera bien conocida. La unidad de almacenamiento extraíble 718, representa un disco flexible, cinta magnética, disco óptico, etc., que se lee y se escribe en una unidad de almacenamiento extraíble 714. Como se apreciará, la unidad de almacenamiento extraíble 718 incluye un medio de almacenamiento utilizable por ordenador que tiene almacenados en el mismo software informático y/o datos.
En aspectos alternativos, la memoria secundaria 710 puede incluir otros dispositivos similares para permitir que programas informáticos u otras instrucciones se carguen en el sistema informático 700. Tales dispositivos pueden incluir, por ejemplo, una unidad de almacenamiento extraíble 722 y una interfaz 720. Ejemplos de tales pueden incluir un cartucho de programa e interfaz de cartucho (tal como el encontrado en dispositivos de videojuegos), un chip de memoria extraíble (tal como una memoria de solo lectura borrable y programable (EPROM), o memoria de solo lectura programable (PROM)) y zócalo asociado, y otras unidades de almacenamiento extraíbles 722 e interfaces 720, que permiten que el software y datos se transfieran desde la unidad de almacenamiento extraíble 722 al sistema informático 700.
El sistema informático 700 también puede incluir una interfaz de comunicaciones 724. La interfaz de comunicaciones 724 permite que se transfieran software y datos entre el sistema informático 700 y los dispositivos externos. Ejemplos de interfaz de comunicaciones 724 pueden incluir un módem, una interfaz de red (tal como una tarjeta de Ethernet), un puerto de comunicaciones, una ranura y tarjeta de la Asociación Internacional de Tarjetas de Memoria para Ordenadores Personales (PCMCIA), etc. El software y los datos transferidos a través de una interfaz de comunicaciones 724 son en forma de señales 728 que pueden ser electrónicas, electromagnéticas, ópticas u otras señales con capacidad de recibirse mediante una interfaz de comunicaciones 724. Estas señales 728 se proporcionan a la interfaz de comunicaciones 724 a través de una ruta de comunicaciones (por ejemplo, canal) 726. Esta ruta 726 lleva señales 728 y puede implementarse usando alambre o cable, fibras ópticas, una línea telefónica, un enlace celular, un enlace de radiofrecuencia (RF) y/u otros canales de comunicaciones. En este documento, las expresiones "medio de programa informático" y "medio utilizable por ordenador" se usan para referirse generalmente a medios, tales como una unidad de almacenamiento extraíble 714, un disco duro instalado en la unidad de disco duro 712 y señales 728. Estos productos de programa informático proporcionan software al sistema informático 700. Los aspectos presentados en el presente documento pueden incluir tales productos de programa informático.
Los programas informáticos (también denominados lógica de control informática) se almacenan en memoria principal 708 y/o memoria secundaria 710. Los programas informáticos también pueden recibirse a través de una interfaz de comunicaciones 724. Tales programas informáticos, cuando se ejecutan, posibilitan que el sistema informático 700 realice las características presentadas en el presente documento como se analiza en el presente documento. En particular, los programas informáticos, cuando se ejecutan, posibilitan que el procesador 710 realice las características presentadas en el presente documento. Por consiguiente, tales programas informáticos representan controladores del sistema informático 700.
En aspectos implementados usando software, el software puede almacenarse en un producto de programa informático y cargarse en el sistema informático 700 usando una unidad de almacenamiento extraíble 714, un disco duro 712 o una interfaz de comunicaciones 720. La lógica de control (software), cuando se ejecuta por el procesador 704, hace que el procesador 704 realice las funciones como se describen en el presente documento. En otro ejemplo, pueden implementarse aspectos esencialmente en hardware usando, por ejemplo, componentes de hardware, tales como circuitos integrados específicos de la aplicación (ASIC). La implementación de la máquina de estados de hardware para realizar las funciones descritas en el presente documento será evidente para expertos en la materia o materias relevantes.
En otro ejemplo más, los aspectos presentados en el presente documento pueden implementarse usando una combinación tanto de hardware como de software.
La Figura 8 es un diagrama que ilustra un ejemplo de una implementación de hardware para un sistema 800 que emplea un sistema de procesamiento 814. El sistema de procesamiento 814 puede implementarse con una arquitectura que enlaza diversos circuitos que incluyen uno o más procesadores y/o componentes, representados por el procesador 804, los componentes 502, 504, 506, 508, 510, 512, 516, 518 y 520, y el medio legible por ordenador/memoria 806.
El sistema de procesamiento 814 puede acoplarse a una pantalla 810, tal como la pantalla 104 de la Figura 1. El sistema de procesamiento también puede acoplarse a diversos sensores, tales como la HMD 102, la unidad de seguimiento montada en el pie 64, la cámara 214, el generador de imágenes 216, el teléfono inteligente 218, etc.
El sistema de procesamiento 814 incluye un procesador 804 acoplado a un medio legible por ordenador/memoria 806 a través de un bus 824. El procesador 804 es responsable del procesamiento general, que incluye la ejecución de software almacenado en el medio legible por ordenador/memoria 806. El software, cuando se ejecuta por el procesador 804, provoca que el sistema de procesamiento 814 realice las diversas funciones descritas anteriormente para cualquier aparato y/o sistema particular. El medio legible por ordenador/memoria 806 puede usarse también para almacenar datos que se manipulan por el procesador 804 cuando se ejecuta el software. El sistema de procesamiento incluye además al menos uno de los componentes 502, 504, 506, 508, 510, 512, 516, 518 y 520. Los componentes pueden ser componentes de software que se ejecutan en el procesador 804, residentes/almacenados en el medio legible por ordenador/memoria 806, uno o más componentes de hardware acoplados al procesador 804 o alguna combinación de los mismos. El sistema de procesamiento 814 puede ser un componente de un sistema de seguimiento de peatones de visión-inercial de RA, como se ilustra en la Figura 1.
El sistema 800 puede incluir además características para seguir, usando un dispositivo de seguimiento montado en la cabeza, al menos una de una posición de la cabeza o una orientación de la cabeza del peatón, características para seguir, usando un dispositivo de seguimiento montado en el pie, al menos una de una posición del pie o una orientación del pie del peatón, características para determinar una primera incertidumbre de rumbo y/o posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón, características para determinar una segunda incertidumbre de rumbo y/o posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón, características para determinar cuál de la primera incertidumbre de rumbo y/o posición o la segunda incertidumbre de rumbo y/o posición es menor, características para transferir la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie cuando se determina que la primera incertidumbre de rumbo y/o posición es menor, o transferir la segunda incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en la cabeza cuando se determina que la segunda incertidumbre de rumbo y/o posición es menor, en donde las características para transferir están configuradas para transferir la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie transfiriendo automáticamente la primera incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en el pie cuando el dispositivo de seguimiento montado en la cabeza reconoce al menos una porción del dispositivo de seguimiento montado en el pie, características para corregir la al menos una de la posición del pie o la orientación del pie del peatón usando la primera incertidumbre de rumbo y/o posición transferida al dispositivo de seguimiento montado en el pie, en donde las características de transferencia están configuradas para transferir la segunda incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en la cabeza transfiriendo automáticamente la segunda incertidumbre de rumbo y/o posición al dispositivo de seguimiento montado en la cabeza cuando el dispositivo de seguimiento montado en la cabeza reconoce al menos una porción del dispositivo de seguimiento montado en el pie, características para corregir la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón usando la segunda incertidumbre de rumbo y/o posición transferida al dispositivo de seguimiento montado en la cabeza, en donde las características para el seguimiento están configuradas para seguir la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón intentando reconocer uno o más puntos de referencia visuales, características para proporcionar un registro de mapa basándose en el reconocimiento de uno o más puntos de referencia visuales, en donde las características para el seguimiento están configuradas para seguir la al menos una de la posición del pie o la orientación del pie del peatón en un entorno sin GPS, en donde la primera incertidumbre de rumbo y/o posición está relacionada con la primera información de guiñada asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón, y en donde la segunda incertidumbre de rumbo y/o posición está relacionada con la segunda información de guiñada asociada a la al menos una de la posición del pie o la orientación del pie del peatón. Las características anteriormente mencionadas pueden llevarse a cabo mediante uno o más de los componentes anteriormente mencionados del sistema 800 y/o el sistema de procesamiento 814 del sistema 800 configurado para realizar las funciones citadas por las características anteriormente mencionadas.
Por lo tanto, los aspectos pueden incluir un sistema para seguir una posición y una orientación de un peatón, por ejemplo, en relación con las Figuras 4A y 4B.
El sistema puede incluir componentes adicionales que realizan cada uno de los bloques de funciones del algoritmo en los diagramas de flujo anteriormente mencionados de las Figuras 4A y 4B. Como tal, cada bloque en los diagramas de flujo anteriormente mencionados de las Figuras 4A y 4B puede realizarse por un componente y el sistema puede incluir uno o más de estos componentes. Los componentes pueden incluir uno o más componentes de hardware específicamente configurados para llevar a cabo los procesos/algoritmos establecidos, implementados por un procesador configurado para realizar los procesos/algoritmos establecidos, almacenados en un medio legible por ordenador para su implementación por un procesador o alguna combinación de los mismos.
Por lo tanto, los aspectos pueden incluir un medio legible por ordenador no transitorio para seguir una posición y una orientación de un peatón, teniendo el medio legible por ordenador no transitorio una lógica de control almacenada en el mismo para hacer que un ordenador realice los aspectos descritos en relación con, por ejemplo, las Figuras 4A y 4B.
Si bien los aspectos descritos en el presente documento se han descrito junto con los aspectos de ejemplo señalados anteriormente, diversas alternativas, modificaciones, variaciones, mejoras y/o equivalentes sustanciales, ya sean conocidos o que no estén previstos actualmente, pueden resultar evidentes para aquellos que son al menos expertos en la materia. En consecuencia, los aspectos de ejemplo, como se han establecido anteriormente, pretenden ser ilustrativos, no limitativos.
Por lo tanto, no se pretende que las reivindicaciones estén limitadas a los aspectos mostrados en el presente documento, sino que estén de acuerdo con el ámbito completo consistente con las reivindicaciones del lenguaje, en donde la referencia a un elemento en singular no se pretende que signifique "uno y solamente uno" a menos que se indique así específicamente, sino, en su lugar, "uno o más". Todos los equivalentes estructurales y funcionales de los elementos de los diversos aspectos descritos a lo largo de toda esta descripción que son conocidos o que se conocerán posteriormente por los expertos en la materia se incorporan expresamente aquí en el presente documento por referencia y están destinados a ser abarcados por las reivindicaciones. Además, nada de lo divulgado en el presente documento se concibe para dedicarse al público independientemente de si tal divulgación se cita explícitamente en las reivindicaciones. Ningún elemento de reivindicación ha de interpretarse como un medio más función a menos que el elemento se indique expresamente usando la expresión "medio para".
Se entiende que el orden específico o jerarquía de bloques en los procesos/diagramas de flujo divulgados es una ilustración de enfoques ilustrativos. Basándose en preferencias de diseño, se entiende que el orden específico o jerarquía de bloques en los procesos/diagramas de flujo puede reorganizarse. Además, algunos bloques pueden combinarse u omitirse. Las reivindicaciones del método adjuntas presentan elementos de los diversos bloques en un orden de muestra y no pretenden limitarse al orden o jerarquía específico presentado.
La descripción anterior se proporciona para habilitar que cualquier experto en la materia ponga en práctica los diversos aspectos descritos en el presente documento. Diversas modificaciones a estos aspectos, como será fácilmente evidente para los expertos en la materia, y los principios genéricos definidos en el presente documento pueden aplicarse a otros aspectos. Por lo tanto, no se pretende que las reivindicaciones estén limitadas a los aspectos mostrados en el presente documento, sino que estén de acuerdo con el ámbito completo consistente con las reivindicaciones del lenguaje, en donde la referencia a un elemento en singular no se pretende que signifique "uno y solamente uno" a menos que se indique así específicamente, sino, en su lugar, "uno o más". La palabra "ilustrativo" se usa en el presente documento para significar "que sirve como un ejemplo, caso o ilustración". Cualquier aspecto descrito en el presente documento como "ilustrativo" no tiene que interpretarse necesariamente como preferido o ventajoso sobre otros aspectos. A no ser que se indique específicamente de otra manera, el término "algunos" se refiere a uno o más. Las combinaciones tales como "al menos uno de A, B o C", "al menos uno de A, B y C" y "A, B, C o cualquier combinación de los mismos" incluyen cualquier combinación de A, B, y/o C, y pueden incluir múltiplos de A, múltiplos de B o múltiplos de C. Específicamente, combinaciones tales como "al menos uno de A, B o C", "al menos uno de A, B y C", y "A, B, C, o cualquier combinación de los mismos" pueden ser A solo, B solo, C solo, A y B, A y C, B y C, o A y B y C, donde cualquiera de tales combinaciones puede contener uno o más miembros de A, B o C. Ningún elemento de reivindicación debe interpretarse como un medio más una función a menos que el elemento se recite expresamente usando la oración "medio para".

Claims (15)

REIVINDICACIONES
1. Un método (400) para seguir una posición y una orientación de un peatón, comprendiendo el método:
seguir (402), usando un dispositivo de seguimiento montado en la cabeza, al menos una de una posición de la cabeza o una orientación de la cabeza del peatón;
seguir (404), usando un dispositivo de seguimiento montado en el pie, al menos una de una posición del pie o una orientación del pie del peatón;
determinar (406) una primera incertidumbre de rumbo o de posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón;
determinar (408) una segunda incertidumbre de rumbo o de posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón;
determinar (410) cuál de la primera incertidumbre de rumbo o de posición o la segunda incertidumbre de rumbo o de posición es menor;
transferir (412) la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie para corregir (416) la posición del pie o la orientación del pie del peatón cuando se determina que la primera incertidumbre de rumbo o de posición es menor, y transferir (414) la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza para corregir (418) la posición de la cabeza o la orientación de la cabeza del peatón cuando se determina que la segunda incertidumbre de rumbo o de posición es menor; y proporcionar al menos una de una información de la posición de la cabeza, la orientación de la cabeza, la posición del pie o la información de orientación del pie corregidas a un componente de generador de gráficos para generar una posición y una orientación actualizadas del peatón.
2. El método de la reivindicación 1, en donde se aplica uno de lo siguiente:
(a) la transferencia de la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie incluye la transferencia automática de la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie cuando el dispositivo de seguimiento montado en la cabeza reconoce al menos una porción del dispositivo de seguimiento montado en el pie;
(b) la transferencia de la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza incluye la transferencia automática de la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza cuando el dispositivo de seguimiento montado en la cabeza reconoce al menos una porción del dispositivo de seguimiento montado en el pie.
3. El método de la reivindicación 1, en donde el seguimiento de la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón incluye realizar una operación de reconocimiento para uno o más puntos de referencia visuales.
4. El método de la reivindicación 3, que comprende, además:
proporcionar (420) un registro de mapa basándose en el uno o más puntos de referencia visuales que se reconocen.
5. El método de la reivindicación 1, en donde se aplica al menos uno de lo siguiente:
(a) se rastrea la al menos una de la posición del pie o la orientación del pie del peatón en un entorno sin sistema de posicionamiento global (GPS);
(b) la primera incertidumbre de rumbo o de posición está relacionada con la primera información de guiñada asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón;
(c) la segunda incertidumbre de rumbo o de posición está relacionada con la segunda información de guiñada asociada a la al menos una de la posición del pie o la orientación del pie del peatón.
6. El método de la reivindicación 1, en donde se rastrea la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón obteniendo imágenes usando una cámara monocromática en luz visible o un sensor de imagen de visión nocturna digital.
7. El método de la reivindicación 6, que comprende, además:
aplicar odometría visual-inercial a las imágenes obtenidas por la cámara monocromática usando un filtro Kalman.
8. Un sistema (100) para seguir una posición y una orientación de un peatón, comprendiendo el sistema:
medios para seguir, usando un dispositivo de seguimiento montado en la cabeza (102), al menos una de una posición de la cabeza o una orientación de la cabeza del peatón;
medios para seguir, usando un dispositivo de seguimiento montado en el pie (114), al menos una de una posición del pie o una orientación del pie del peatón;
medios para determinar (110) una primera incertidumbre de rumbo o de posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón;
medios para determinar (110) una segunda incertidumbre de rumbo o de posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón;
medios para determinar (116) cuál de la primera incertidumbre de rumbo o de posición o la segunda incertidumbre de rumbo o de posición es menor;
medios para transferir (116) la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie para corregir la posición del pie o la orientación del pie del peatón cuando se determina que la primera incertidumbre de rumbo o de posición es menor, y transferir (116) la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza para corregir la posición de la cabeza o la orientación de la cabeza del peatón cuando se determina que la segunda incertidumbre de rumbo o de posición es menor; y medios para proporcionar (116) al menos una de una información de la posición de la cabeza, la orientación de la cabeza, la posición del pie o la información de orientación del pie corregida a un componente de generador de gráficos (518) para generar una posición y una orientación actualizadas del peatón.
9. Un sistema (800) para seguir una posición y una orientación de un peatón, comprendiendo el sistema:
una memoria (806); y
al menos un procesador (804) acoplado a la memoria y configurado para:
seguir, usando un dispositivo de seguimiento montado en la cabeza (502), al menos una de una posición de la cabeza o una orientación de la cabeza del peatón;
seguir, usando un dispositivo de seguimiento montado en el pie (504), al menos una de una posición del pie o una orientación del pie del peatón;
determinar una primera incertidumbre de rumbo o de posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón;
determinar una segunda incertidumbre de rumbo o de posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón;
determinar cuál de la primera incertidumbre de rumbo o de posición o la segunda incertidumbre de rumbo o de posición es menor;
transferir la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie para corregir la posición del pie o la orientación del pie del peatón cuando se determina que la primera incertidumbre de rumbo o de posición es menor, y
transferir la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza para corregir la posición de la cabeza o la orientación de la cabeza del peatón cuando se determina que la segunda incertidumbre de rumbo o de posición es menor; y
proporcionar al menos una de una información de la posición de la cabeza, de la orientación de la cabeza, de la posición del pie o de la orientación del pie corregida a un componente de generador de gráficos (518) para generar una posición y una orientación actualizadas del peatón.
10. El sistema de la reivindicación 9, en donde se aplica uno de lo siguiente:
(a) el al menos un procesador está configurado para transferir la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie transfiriendo automáticamente la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie cuando el dispositivo de seguimiento montado en la cabeza reconoce al menos una porción del dispositivo de seguimiento montado en el pie;
(b) el al menos un procesador está configurado para transferir la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza transfiriendo automáticamente la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza cuando el dispositivo de seguimiento montado en la cabeza reconoce al menos una porción del dispositivo de seguimiento montado en el pie.
11. El sistema de la reivindicación 9, en donde el al menos un procesador está configurado para seguir la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón realizando una operación de reconocimiento para uno o más puntos de referencia visuales.
12. El sistema de la reivindicación 11, en donde el al menos un procesador está configurado además para proporcionar un registro de mapa basándose en el uno o más puntos de referencia visuales que se reconocen.
13. El sistema de la reivindicación 9, en donde el al menos un procesador está configurado para seguir la al menos una de la posición del pie o la orientación del pie del peatón en un entorno sin sistema de posicionamiento global (GPS).
14. El sistema de la reivindicación 9, en donde la primera incertidumbre de rumbo o de posición está relacionada con la primera información de guiñada asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón, y en donde la segunda incertidumbre de rumbo o de posición está relacionada con la segunda información de guiñada asociada a la al menos una de la posición del pie o la orientación del pie del peatón.
15. Un medio legible por ordenador (806) que almacena un código ejecutable por ordenador para la comunicación inalámbrica, que comprende un código para:
seguir, usando un dispositivo de seguimiento montado en la cabeza (502), al menos una de una posición de la cabeza o una orientación de la cabeza del peatón;
seguir, usando un dispositivo de seguimiento montado en el pie (504), al menos una de una posición del pie o una orientación del pie del peatón;
determinar una primera incertidumbre de rumbo o de posición asociada a la al menos una de la posición de la cabeza o la orientación de la cabeza del peatón;
determinar una segunda incertidumbre de rumbo o de posición asociada a la al menos una de la posición del pie o la orientación del pie del peatón;
determinar cuál de la primera incertidumbre de rumbo o de posición o la segunda incertidumbre de rumbo o de posición es menor;
transferir la primera incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en el pie para corregir la posición del pie o la orientación del pie del peatón cuando se determina que la primera incertidumbre de rumbo o de posición es menor, y transferir la segunda incertidumbre de rumbo o de posición al dispositivo de seguimiento montado en la cabeza para corregir la posición de la cabeza o la orientación de la cabeza del peatón cuando se determina que la segunda incertidumbre de rumbo o de posición es menor; y
proporcionar al menos una de una información de la posición de la cabeza, la orientación de la cabeza, la posición del pie o la orientación del pie corregidas a un componente de generador de gráficos (518) para generar una posición y una orientación actualizadas del peatón.
ES16864935T 2015-11-10 2016-11-09 Seguimiento de peatones de visión-inercial robusto con autoalineación de rumbo Active ES2935067T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562253637P 2015-11-10 2015-11-10
PCT/US2016/061184 WO2017083420A1 (en) 2015-11-10 2016-11-09 Robust vision-inertial pedestrian tracking with heading auto-alignment

Publications (1)

Publication Number Publication Date
ES2935067T3 true ES2935067T3 (es) 2023-03-01

Family

ID=58696098

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16864935T Active ES2935067T3 (es) 2015-11-10 2016-11-09 Seguimiento de peatones de visión-inercial robusto con autoalineación de rumbo

Country Status (5)

Country Link
US (1) US10976163B2 (es)
EP (2) EP4194811A1 (es)
ES (1) ES2935067T3 (es)
FI (1) FI3374737T3 (es)
WO (1) WO2017083420A1 (es)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6714280B2 (ja) * 2017-03-28 2020-06-24 株式会社ノーニューフォークスタジオ 情報処理システム、情報処理方法、情報処理プログラム
GB2565836B (en) * 2017-08-25 2021-04-14 Sony Interactive Entertainment Inc Data processing for position detection using markers in captured images
CN107976187B (zh) * 2017-11-07 2020-08-04 北京工商大学 一种融合imu和视觉传感器的室内轨迹重建方法及系统
US10853649B2 (en) * 2018-08-27 2020-12-01 Dell Products, L.P. Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
CN109579871B (zh) * 2018-11-14 2021-03-30 中国直升机设计研究所 基于计算机视觉的惯性导航部件安装误差检测方法及装置
GB2583535B (en) * 2019-05-03 2021-11-10 Sony Interactive Entertainment Inc Data processing
US11487124B2 (en) * 2019-08-14 2022-11-01 Thales Defense & Security, Inc. Methods and systems for auto-alignment of displays
CN110428451B (zh) * 2019-08-15 2021-09-24 中国地质大学（北京） 利用gps航迹将地形图与gps设备进行匹配的操作方法
CN111307176B (zh) * 2020-03-02 2023-06-16 北京航空航天大学青岛研究院 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
US11113894B1 (en) * 2020-09-11 2021-09-07 Microsoft Technology Licensing, Llc Systems and methods for GPS-based and sensor-based relocalization
US20230094104A1 (en) * 2021-09-28 2023-03-30 Thales Defense & Security, Inc. Methods and apparati for intensified visual-inertial odometry
CN116067370B (zh) * 2023-04-03 2023-06-27 广东智能无人系统研究院(南沙) 一种imu姿态解算方法及设备、存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US6594617B2 (en) 2000-08-18 2003-07-15 Applanix Corporation Pedometer navigator system
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US20120188279A1 (en) * 2009-09-29 2012-07-26 Kent Demaine Multi-Sensor Proximity-Based Immersion System and Method
CN103105926A (zh) 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US9342888B2 (en) * 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images

Also Published As

Publication number Publication date
EP4194811A1 (en) 2023-06-14
EP3374737A4 (en) 2019-07-10
US20180299271A1 (en) 2018-10-18
EP3374737A1 (en) 2018-09-19
FI3374737T3 (fi) 2023-01-13
WO2017083420A1 (en) 2017-05-18
US10976163B2 (en) 2021-04-13
EP3374737B1 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
ES2935067T3 (es) Seguimiento de peatones de visión-inercial robusto con autoalineación de rumbo
ES2880229T3 (es) Registro mejorado para realidad aumentada vehicular que usa autoarmonización
US9928653B2 (en) Head mounted display presentation adjustment
CN106462232B (zh) 用于在动态环境中确定坐标框架的方法和系统
US10482668B2 (en) Miniature vision-inertial navigation system with extended dynamic range
US20180225875A1 (en) Augmented reality in vehicle platforms
US20170371184A1 (en) Smart Contact Lens With Orientation Sensor
CN110895676B (zh) 动态对象跟踪
US11393196B2 (en) Line of sight assistance device and method
KR102299081B1 (ko) 전자 장치 및 그의 제어 방법
US11625857B1 (en) Enhanced content positioning