ES2891748T3 - Método y sistema de indexación - Google Patents

Abstract

Un método que comprende: capturar los primeros datos (207; 309) del modelo 3D relacionados con cada uno de una primera pluralidad de vóxeles (212v 214v; 305v), los primeros datos del modelo 3D relacionados con un objeto (105) y para formar un primer modelo 3D del objeto, que incluye la captura una primera pluralidad de imágenes (209a, 209c; 301f, 302f, 303f, 304f) del objeto en donde cada una de la primera pluralidad de imágenes comprende al menos un píxel y tiene campos de visión superpuestos del objeto, estando dicha primera pluralidad de imágenes almacenada como datos de la primera imagen; correlacionar los primeros datos de imagen del objeto con los primeros datos del modelo 3D para producir un primer índice, el primer índice indicando una correlación entre al menos un píxel (211a, 211c, 213a, 213c; 301p 302p, 303p, 4p) de una imagen de la primera pluralidad de imágenes y al menos un vóxel (212v, 214v; 305v) de los primeros datos del modelo 3D, cada uno de dicho al menos un píxel y dicho al menos un vóxel representando una misma parte de dicho objeto; y almacenar el primer índice para su recuperación, en donde el método comprende, además: marcar un primer vóxel de la primera pluralidad de vóxeles para monitorear a lo largo del tiempo; capturar segundos datos del modelo 3D relacionados con cada uno de una segunda pluralidad de vóxeles, los segundos datos del modelo 3D relacionados con el objeto y para formar un segundo modelo 3D del objeto incluyendo capturar una segunda pluralidad de imágenes del objeto en donde cada una de la segunda pluralidad de imágenes comprende al menos un píxel y tiene campos de visión superpuestos del objeto, estando dicha segunda pluralidad de imágenes almacenada como datos de la segunda imagen; correlacionar los datos de la segunda imagen del objeto con los datos del segundo modelo 3D para producir un segundo índice, el segundo índice indicando una correlación entre al menos un píxel de una imagen de la segunda pluralidad de imágenes y al menos un vóxel del segundo modelo 3D datos; almacenar el segundo índice para su recuperación; y correlacionar el segundo modelo 3D con el primer modelo 3D para correlacionar el segundo índice y el primer índice.

Description

DESCRIPCIÓN

Método y sistema de indexación

Campo de invención

La presente invención se refiere a la correlación de modelos tridimensionales (3D) e imágenes bidimensionales (2D), en particular la indexación de una imagen 2D y un modelo 3D para correlacionar entre ellos.

Antecedentes

Los avances en las técnicas de procesamiento de imágenes, incluidos los nuevos procesos y el uso de procesadores gráficos más potentes, han llevado a una mayor dependencia de los datos visuales. Por ejemplo, se analizan flujos de imágenes 2D, normalmente denominadas videos, y se genera un modelo 3D a partir de ellos. La generación de modelos 3D se utiliza en las industrias del entretenimiento, juegos, ciencias naturales, medicina, inspección, ingeniería inversa y minería. Algunos modelos 3D se generan para producir un mundo "virtual": una imagen 3D artificial en un mundo artificial como se utiliza en la animación o los juegos; Estos modelos 3D no necesitan ser precisos y, de hecho, a menudo se modifican posteriormente para mejorar el efecto general. En otras aplicaciones, los modelos 3D se generan a partir de fotografías en 2D o videos capturados de un objeto del mundo real. Además, los modelos 3D se pueden formar escaneando un objeto del mundo real con un escáner 3D. Estos modelos 3D proporcionan información valiosa de objetos del mundo real en un formato compacto fácilmente comprensible para los seres humanos.

La información de alcance proporciona una medida de distancia entre un aparato de medición y un objetivo. Normalmente, se determina un alcance entre un sensor de alcance y un punto en el espacio 3D. Para generar un modelo 3D de un objeto del mundo real, se determinan múltiples alcances para formar un mapa 3D de la(s) superficie(s) más cercana al sensor de alcance. Por ejemplo, un sensor de distancia se enfrenta a una pared, el punto en la pared directamente en frente del sensor de distancia es el punto más cercano al sensor de distancia y también se considera el punto central. Los puntos en la pared más alejados del punto central también están más alejados del sensor de distancia. Los alcances medidos entre puntos en la superficie de un objeto del mundo real en el espacio 3D ayudan a determinar la forma de la superficie en el modelo 3D correspondiente. Por ejemplo, si la pared es plana, la distancia entre dos puntos adyacentes cualesquiera de la pared es un valor esperado. Sin embargo, si la pared no es plana, la distancia entre dos puntos adyacentes en la pared es diferente al valor esperado, lo que indica que la pared no es plana, sino que es curvada, o al menos curvada en esa parte de la superficie del objeto del mundo real. Hay muchos sensores de alcance que incluyen, entre otros, Lidar, infrarrojos (IR), sonar, estereoscopio, LÁSER, ultrasonidos, luz con patrones, r F, etc. que se utilizan en muchas aplicaciones diferentes. Dicho esto, esencialmente, cada sensor de alcance intenta determinar una distancia entre el sensor de alcance y un objetivo.

Cuando se genera un modelo 3D utilizando imágenes 3D, la información de alcance detectada o calculada se ve como datos de origen y se archivan o descartan, según la aplicación. Por tanto, cuando se utiliza un sensor de alcance para escanear un espacio para formar un mapa 3D del mismo, los valores de alcance no forman parte del modelo 3D, aunque el modelo 3D se basa en ellos. Una vez que se genera el modelo 3D, los datos de alcance se han utilizado para el propósito previsto. De manera similar, con los telémetros estereoscópicos, una vez que se genera el modelo 3D, los datos de la imagen han cumplido su propósito. Por supuesto, en el modelado 3D estereoscópico, se sabe superponer una piel en el modelo 3D para proporcionarle color, textura, etc., lo que permite la representación de datos de imagen del modelo 3D.

En las aplicaciones de aseguramiento de la calidad de la industria del automóvil, los modelos 3D se construyen a partir de videos 2D de las piezas recién ensambladas de un automóvil. Algunas piezas de automóvil son complejas de ensamblar y tienen tolerancias estrictas. Una vez que se construyen los modelos 3D a partir de las imágenes 2D, el modelo 3D de la pieza del automóvil se compara con un modelo de dibujo asistido por ordenador (CAD) original para determinar si la pieza del automóvil ensamblada cumple con los estándares de ingeniería. En esta aplicación, los datos de origen a menudo se descartan.

Para las industrias que requieren la inspección de un objeto del mundo real en un estado instalado, incluidos los objetos animados e inanimados, se sabe que se capturan secuencias de video del objeto instalado a intervalos, generalmente por un operador, y se revisa el objeto en busca de irregularidades, problemas potenciales y el desgaste por expertos en la materia. Los operadores a menudo están capacitados para trabajar en entornos extremos, como en minas, bajo el agua o en torres altas. Alternativamente, los operadores están capacitados para utilizar equipos de inspección complejos, como vehículos operados a distancia (ROV) o robots no tripulados. En algunas aplicaciones, el operador anota la secuencia de video cuando el operador nota una condición o situación importante mientras graba el video, por ejemplo, grabando un indicador de tiempo para el video y una breve descripción del problema encontrado. Cuando el video es revisado por expertos de la industria, se analiza más de cerca o solo se analiza antes, durante y después del tiempo indicado por el operador para determinar si realmente existe un problema. Si se determina un problema, el experto decide qué acción se requiere o si el problema señalado debe monitorearse a lo largo del tiempo. Sin una anotación por parte del operador, los expertos se ven obligados a ver cuidadosamente horas de imágenes de video para detectar un problema con el objeto en pantalla. Alternativamente, los expertos monitorean las transmisiones de videos en vivo a medida que se capturan los datos de video.

Es difícil asociar automáticamente los datos de video capturados con elementos de interés, áreas de interés, etc. sin indicarlo manualmente como por el revisor experto o sin navegar a esas áreas de interés por parte del propio experto. El documento US 2013/223718 A1 describe un método y un sistema para generar un modelo dental tridimensional con textura de color específico para un paciente. Según una realización, se obtiene un modelo dental tridimensional que carece de datos volumétricos para un punto de referencia anatómica tridimensional. Se identifica un punto de referencia anatómica bidimensional de una fotografía intraoral bidimensional que corresponde al punto de referencia anatómica tridimensional del modelo dental tridimensional. La fotografía intraoral bidimensional se proyecta sobre el modelo dental tridimensional. La referencia anatómica tridimensional se calcula a partir de la proyección del punto de referencia anatómica bidimensional de la fotografía intraoral bidimensional.

El documento US 8587583 B2 divulga una reconstrucción del entorno tridimensional.

DEJAN ARSI ET AL: "Real Time Person Tracking and Bahavior Interpretation en Multi Camera Scenarios Applying Homography and Coupled HMMs", 2011, ISBN: 978-3-642-17318-9, divulga la captura de un modelo 3D de una escena que captura una pluralidad de imágenes de la escena y que usa una tabla de consulta que correlaciona los vóxeles del modelo 3D y los píxeles de las imágenes.

Sería ventajoso superar algunas de las desventajas de la técnica anterior.

Compendio de las realizaciones de la invención

La invención está definida por las reivindicaciones adjuntas.

Breve descripción de los dibujos

A continuación, se describirán realizaciones de ejemplo junto con los siguientes dibujos, en donde los mismos números se refieren a elementos que tienen una función similar, en los que:

La FIG. 1 es un diagrama simple de un sistema de adquisición de datos de ejemplo para la inspección de un objeto del mundo real.

La FIG. 2a es un diagrama simple de una imagen 2D a un sistema de indexación de modelo 3D

La FIG. 2b es una vista frontal de un buque cisterna con fotogramas de video capturados del buque cisterna superpuestos en la parte superior.

La FIG. 2c es un diagrama de bloques simple de una imagen 3D de un modelo 3D que comprende 2 vóxeles.

La FIG. 3a es un diagrama de bloques simple de almacenes de datos en un modelo 3D para un sistema de indexación de imágenes 2D.

La FIG. 3b es un diagrama de bloques simple de fotogramas de vídeo y píxeles asociados utilizados para la generación de un vóxel de modelo 3D.

La FIG. 4 es un diagrama de flujo simple de un método de indexación en donde un operador anota el video capturado de un objeto del mundo real.

La FIG. 5 es un diagrama de flujo simple de otro método de indexación según una realización de la invención.

La FIG. 6 es un diagrama de pantalla simple de un método para mostrar datos de imagen en relación con el modelo 3D. La FIG. 7 es otro diagrama de pantalla simple de un método para mostrar datos de imagen en relación con el modelo 3D.

Descripción detallada de las realizaciones de la invención

La siguiente descripción se presenta para permitir a un experto en la técnica realizar y utilizar la invención, y se proporciona en el contexto de una aplicación particular y sus requisitos. Diversas modificaciones de las realizaciones divulgadas serán fácilmente evidentes para aquellos expertos en la técnica, y los principios generales definidos en el presente documento pueden aplicarse a otras realizaciones y aplicaciones sin apartarse del alcance de las reivindicaciones. Por tanto, no se pretende que la presente invención se limite a las realizaciones divulgadas, sino que se le concederá el alcance más amplio en consonancia con las reivindicaciones adjuntas.

La FIG. 1 es un diagrama simplificado de un sistema de adquisición de datos de ejemplo para la inspección de un objeto del mundo real. El buque cisterna 105 que transportaba material peligroso para el medio ambiente, por ejemplo, diésel, encalló y se hundió en el fondo 106 del océano. Una empresa de inspecciones submarinas (USC) investiga el estado de buque cisterna 105 inspeccionando los daños y determinando si el buque cisterna 105 tiene una fuga de diésel. El buque 101 de la USC viaja a una ubicación por encima del buque cisterna 105 y deja caer el vehículo 104 (ROV) operado por control remoto en el océano 102. El ROV 104 está atado al buque 101 a través del cable 103 de conexión. Los cables eléctricos y/o de fibra óptica (no visibles) dentro del cable 103 de conexión permiten el control remoto del ROV 104 por parte de un operador a bordo del buque 101, así como la transmisión de datos recopilados por el equipo de detección del ROV 104 al buque 101. Por ejemplo, el ROV 104 rodea el buque cisterna 105 y captura datos de video del casco a través de video cámaras 107a, 107b y 107c (107c se encuentra en el lado del ROV 104 no mostrado). Se transmiten tres secuencias de vídeo al buque 101 a través del cable 103 de conexión para visualización en directo. Opcionalmente, el ROV 104 da vueltas al buque cisterna 105 varias veces, haciendo varias pasadas durante la misma inspección, capturando más datos de video del casco. Sin embargo, las video cámaras 107a, 107b y 107c registran el casco desde un ángulo diferente durante cada pasada. Alternativamente, los datos de video se almacenan dentro de un almacén de datos para uso futuro. Mientras que el ROV 104 captura imágenes de video del casco del buque cisterna 105 de cada video cámara 107a, 107b y 107c, el operador señala cualquier defecto que se vea en el video y la hora en que se graba el defecto en el video. Los expertos de la industria, como ingenieros navales y soldadores subacuáticos, venlos videos en el buque 101 o ven los datos de video grabados una vez que el buque 101 regresa al puerto, prestando mucha atención a los clips en los videos que fueron señalados por el operador. Opcionalmente, el operador anota el video añadiendo comentarios de audio al video, añadiendo una señal visual al video o añadiendo otro indicador al video para indicar ubicaciones en el casco que requieren una inspección adicional y el momento en el video donde se graban estas ubicaciones. Basándose en la condición del buque cisterna 105 observada en las secuencias de video, se determina si el casco requiere reparación o si ciertas partes del casco del buque cisterna 105 requieren una inspección futura. Periódicamente se llevan a cabo inspecciones similares del buque cisterna 105, como se describió anteriormente, para monitorear el deterioro del casco del buque cisterna 105.

Alternativamente, el control del ROV 104 es inalámbrico, por ejemplo, a través de un sistema de comunicación acústico o un sistema de comunicación acústico-óptico. Alternativamente, los datos recopilados de los sensores del ROV 104 se almacenan en un almacén de datos local en el ROV 104 y se transmiten a un segundo almacén de datos a bordo del buque 101 o a un almacén de datos en tierra. Alternativamente, los datos recopilados por los sensores del ROV 104 se transmiten de forma inalámbrica al buque 101. Se pueden implementar diversos sistemas de comunicación para el control remoto del ROV 104 y la transmisión de datos del sensor desde el ROV 104 al buque 101.

La siguiente es una descripción de un método simplificado para construir modelos 3D a partir de imágenes 2D. Haciendo referencia nuevamente a la FIG. 1, las video cámaras 107a, 107b y 107c están colocadas de manera que el campo de visión de una cámara se solape con el campo de visión de al menos una segunda cámara. Un ejemplo específico y no limitativo es que una primera parte del casco del buque cisterna 105 está presente simultáneamente en el campo de visión de las cámaras 107a y 107b y una segunda parte del casco del buque cisterna 105 está presente simultáneamente en el campo de visión de las cámaras 107b y 107c. Sin embargo, la construcción de modelos 3D a partir de imágenes 2D está bien estudiada y, normalmente, se basa en al menos 2 imágenes para proporcionar información de alcance cuando sus campos de visión se superponen. Opcionalmente, el ROV 104 comprende una pluralidad de video cámaras de más de tres para grabar video del buque cisterna 105. El ROV 104 gira alrededor del buque cisterna 105360 grados, capturando secuencias de video de la superficie de todo el buque cisterna 105. Las video cámaras 107a, 107b y 107c están conectadas al ROV 104 en ubicaciones conocidas con orientaciones conocidas. Por tanto, las imágenes grabadas por cada vídeo cámara 107a, 107b y 107c del buque cisterna 105 se toman desde diferentes puntos de observación conocidos. Opcionalmente, el ROV 104 da vueltas al buque cisterna 105 varias veces, haciendo varias pasadas durante la misma inspección, capturando más datos de video del casco. El ROV 104 no recorre exactamente la misma trayectoria durante cada pasada, por lo que las video cámaras 107a, 107b y 107c graban el casco desde diferentes puntos de observación. Se capturan imágenes de las mismas partes del casco del buque cisterna 105 que se grabaron anteriormente, pero en diferentes ángulos. Las imágenes superpuestas de las mismas partes del casco capturadas por al menos dos de las video cámaras 107a, 107b y durante cada pasada se utilizan además para proporcionar información de alcance para la construcción del modelo 3D. Los datos de video indicativos de las secuencias de video de cada video cámara 107a, 107b y 107c se almacenan en un almacén de datos, por ejemplo, en un almacén de datos en el buque 101. A continuación, se realiza el procesamiento de imágenes en las imágenes de cada una de las video cámaras 107a, 107b y 107c para construir un modelo 3D del buque cisterna 105. Por ejemplo, los datos de alcance se determinan para las partes superpuestas de las imágenes de vídeo capturadas simultáneamente. Los datos de alcance se utilizan para colocar objetos físicos dentro de una cuadrícula 3D. Una vez que los datos de video se procesan por completo, cada parte del casco del buque cisterna 105 se ha clasificado y se obtiene un modelo 3D detallado del exterior del casco del buque cisterna 105. Los datos de alcance se calculan típicamente mediante triangulación, aunque un sensor de alcance también es útil para determinar un alcance a una superficie del casco del buque cisterna 105. Alternativamente, se implementa otra técnica para construir modelos 3D a partir de imágenes 2D. Una vez que se forma un modelo 3D, se almacenan los datos del modelo 3D correspondientes al mismo.

Cuando se forma un modelo 3D, ya sea durante la captura de datos o después, cualquier anotación asociada con un píxel también se puede asociar con un vóxel. Alternativamente, cuando el modelo 3D se genera durante la captura de datos, las anotaciones se asocian directamente con los vóxeles dentro del modelo generado por el operador durante el funcionamiento de un dispositivo de captura de datos. Por ejemplo, el modelo 3D se muestra al operador durante la captura de imágenes. Este modelo permite al operador evaluar la integridad de las operaciones de captura de datos. El modelo 3D se puede resaltar para resaltar o seleccionar vóxeles o grupos de vóxeles en el mismo. El operador selecciona uno o más vóxeles y proporciona una anotación asociada con ellos. Al asociar anotaciones con un vóxel, a menudo es más fácil asociar las anotaciones con precisión con una característica tridimensional específica. Además, asociar la anotación con imágenes y partes de imagen es un proceso más simple: vóxel a imagen, en lugar de otro proceso, imagen a vóxel a imágenes.

La FIG. 2a es un diagrama simple de una imagen 2D a un sistema de indexación de modelo 3D. Los datos 205 de video indicativos de video grabado por las video cámaras 107a, 107b y 107c se almacenan en el servidor 201, como se muestra en la FIG. 2a. Cada fotograma de video grabado por una video cámara comprende una pluralidad de píxeles y forma una imagen fija. En esta realización, las video cámaras 107a, 107b y 107c son video cámaras de alta definición de 1080p 60Hz. Por ejemplo, el tamaño de fotograma de cada fotograma de vídeo capturado por la vídeo cámara 107a es de 1920 píxeles de ancho x 1080 píxeles de alto - 2.073.600 píxeles en total y graba 60 fotogramas de vídeo por segundo. Los datos 205 de video almacenados en el servidor 201 comprenden datos de píxeles para cada píxel dentro de cada fotograma de video capturado por las video cámaras 107a, 107b y 107c. Alternativamente, los datos de video son una transformación de los datos de píxeles, por ejemplo, datos de píxeles comprimidos. Alternativamente, las video cámaras 107a, 107b y 107c tienen otra resolución y frecuencia de muestreo.

El ordenador 202 que comprende el procesador 204 está en comunicación con el servidor 201 a través de una red de comunicación, por ejemplo, LAN 203. Alternativamente, la red de comunicación es una WAN, como Internet. Se genera un modelo 3D del buque cisterna 105 a partir de fotogramas de vídeo procesados seleccionados de vídeos grabado por al menos dos de las tres video cámaras 107a, 107b y 107c. El procesador 204 busca y después procesa los datos 205 de video para construir un modelo 3D del buque cisterna 105 y almacena los datos 207 del modelo 3D indicativos del modelo 3D en el almacén 206 de datos, también en comunicación con la red 203 de comunicación. Otros datos 209 de imagen, por ejemplo, datos de fotogramas utilizados para generar el modelo 3D del buque cisterna 105 se almacenan en el almacén 206 de datos. El modelo 3D del buque cisterna 105 comprende una pluralidad de vóxeles en donde cada vóxel representa un valor en una cuadrícula regular en el espacio 3D y los vóxeles que tienen contenido forman una imagen 3D del buque cisterna 105. Cada vóxel en el espacio 3D tiene una posición única, ya que no se pueden ubicar dos vóxeles en el mismo punto. Los datos 207 del modelo 3D comprenden datos de vóxeles indicativos de los datos almacenados dentro de los vóxeles y que forman el modelo 3D. Por ejemplo, cuando se determina el alcance a una parte del casco del buque cisterna 105, esa parte se ubica dentro de la cuadrícula 3D y cada vóxel que se cruza con la ubicación del casco se rellena con una indicación de que la superficie de un objeto está dentro de dicho vóxel. Alternativamente, la información de color y textura de la superficie se almacena dentro del vóxel. Los datos de vóxeles comprenden al menos un dato y dependen de una variedad de factores, como el tipo de datos utilizados para construir el modelo 3D. En este ejemplo, un tipo de datos utilizado para construir el modelo 3D son los datos de imagen. Alternativamente, el tipo de datos es distinto de los datos de imagen. Por ejemplo, un sensor de calor detecta la temperatura de la superficie de un objeto del mundo real y los datos de temperatura se utilizan para construir un modelo térmico 3D del objeto del mundo real. Además, alternativamente, el tipo de datos son tanto datos de imagen como distintos de los datos de imagen.

Haciendo referencia ahora a la FIG. 2b, se muestra una vista frontal del buque cisterna 105 con fotogramas 209a y 209c de los datos 205 de vídeo del buque cisterna 105 capturados por las video cámaras 109a y 109c, respectivamente, superpuestos en la parte superior. Durante el modelado 3D, el procesador 204 identifica los fotogramas 209a y 209c, las cuales comprenden la primera parte 210 del buque cisterna 105. En particular, los píxeles 211a y 211c se identifican como un mismo primer punto en el buque cisterna 105 en los fotogramas 209a y 209c, respectivamente. La triangulación con la base/línea de base conocida (una distancia entre las video cámaras) y dos ángulos (desde cada cámara hasta los píxeles identificados) permite determinar el alcance. El vóxel dentro de la cuadrícula 3D en la ubicación de la superficie representada por los píxeles 211a y 211c tiene datos almacenados en el mismo para generar el modelo 3D del buque cisterna 105. Se muestra en la FIG. 2c el vóxel 212v en la imagen 215 en 3D del modelo 3D del buque cisterna 105. El vóxel 212v ilustra el primer punto del buque cisterna 105 en el modelo 3D. A continuación, los píxeles 213a y 213c se identifican como un segundo punto en el buque cisterna 105 en los fotogramas 209a y 209c, respectivamente. Los datos de píxeles indicativos de los píxeles 213a y 213c se procesan para generar datos de vóxeles del vóxel 214v también mostrado en la FIG. 2c. El vóxel 214v ilustra la segunda parte del buque cisterna 105 en la imagen 215 en 3D. Sólo con fines ilustrativos, los píxeles 211a, 211c, 213a y 213b en la FIG. 2b no se muestran a escala. Además, lo anterior describe un proceso de construcción simplificado de imagen 2D a modelo 3D y, en la práctica, generar un modelo 3D a partir de imágenes 2D es más complejo y, a menudo, comprende etapas iterativas y pre y post procesamiento.

Durante la construcción del modelo 3D, cada píxel o grupo de píxeles en el que se confía para extraer datos de vóxeles se asocia con dicho vóxel. Por ejemplo, se forma una tabla de consulta (LUT) para asociarlos entre ellos. Alternativamente, se almacena otra forma de datos de correlación. Los datos de correlación que indican la correlación de imágenes 2D o partes de estas usados en la construcción de un modelo 3D, y más particularmente usados para extraer datos de vóxel específicos, se almacenan en un almacén de datos. Opcionalmente, los datos de correlación comprenden una indicación de la correlación entre los píxeles seleccionados de un conjunto de imágenes 2D y el vóxel al que corresponden dentro del modelo 3D.

En la FIG. 3a se muestra un almacén de datos en forma de servidor 306, en donde se almacenan datos 307 y 308 de vídeo, indicativos de un primer vídeo de un objeto del mundo real y un segundo vídeo del mismo objeto del mundo real. Por ejemplo, los primeros datos 307 de video y los segundos datos 308 de video fueron previamente grabados por una primera video cámara y una segunda video cámara, respectivamente. Los datos 307 de video y los datos 308 de video comprenden datos de fotogramas de video y datos de píxeles para cada fotograma dentro del primer y segundo videos. Los datos 307 de vídeo y los datos 308 de vídeo se procesan para construir un modelo 3D del objeto del mundo real y los datos 309 del modelo 3D se almacenan en un almacén de datos en forma de servidor 310. En la FIG. 3b se muestra, una imagen 305i correspondiente al modelo 3D construido. Los píxeles 301p, 302p, 303p y 304p se seleccionan del primer vídeo 307a y el segundo vídeo 308b respectivamente para generar el vóxel 305v en la imagen 305i 3D. Los indicadores de la correlación entre los píxeles 301 p, 302p, 303p y 304p y el vóxel 305v se almacenan en un índice dentro de un almacén de datos en forma de servidor 312. Un ejemplo específico y no limitativo del índice es un índice dentro de la base de datos 315 que comprende entradas 316, 317, 318, 319 en donde cada entrada relaciona el vóxel 305v con uno de cada píxel 301p, 302p, 303p y 304p, respectivamente. Por ejemplo, cada entrada comprende datos de ID de vóxel 305v y datos de ID de píxel para cada uno de los píxeles 301 p, 302p, 303p y 304p. Esto permite la búsqueda de píxeles basada en un vóxel y la búsqueda inversa de vóxeles basada en un píxel. Alternativamente, el índice es un índice unidireccional que permite buscar desde un vóxel hasta un píxel, de forma única. Además, alternativamente, el índice es un índice unidireccional que permite buscar de un píxel a un vóxel, de forma única.

Los datos de ID de píxel comprenden información de ubicación e identificación de píxel para ubicar cada píxel y su imagen/fotograma asociado. Por ejemplo, la entrada 316 indica que el píxel 301 p está ubicado en el servidor 306, el primer video, fotograma 301f, así como la ubicación del píxel 301p dentro del fotograma 301f. Un proceso busca en la base de datos 315 para recuperar videos, fotogramas y/o píxeles usados para la construcción del vóxel 305v en el modelo 3D, ubica las entradas 316, 317, 318 y 319 y recupera datos de ID de píxeles que comprenden información de ubicación para cada uno de los píxeles 301p, 302p, 303p y 304p, respectivamente. Alternativamente, el índice no está almacenado en una base de datos. Se pueden implementar diversos métodos para crear, organizar, almacenar e indexar, así como para buscar y recuperar datos de un conjunto de datos.

En uso, el experto revisa el modelo 3D en busca de áreas de interés. Cuando se identifica un área de preocupación, el experto elige recuperar y revisar los datos de imágenes relacionados con esa área de preocupación. Por ejemplo, cada imagen se recupera automáticamente en función de la correlación entre las imágenes y el vóxel identificado. Alternativamente, cada imagen se recupera y los píxeles correspondientes en la misma se resaltan o indican. Cuando la indexación permite la correspondencia bidireccional, el experto también puede pasar de una preocupación identificada dentro de una imagen 2D al vóxel correspondiente dentro del modelo 3D. Por lo tanto, la exploración del modelo 3D y los datos de origen, las imágenes/fotogramas, es compatible sin una carga significativa para el experto.

La FIG. 4 es un diagrama de flujo simple de un método de indexación en donde un operador anota el video capturado de un objeto del mundo real según una realización de la invención. Un operador captura un video de una instalación industrial en 401 para la inspección de una instalación industrial. En 402, el operador indica que muchas plantas han crecido cerca de un puerto de salida de la instalación industrial que se usa para extraer los desechos. Por ejemplo, el operador graba una nota verbal simultáneamente mientras las video cámaras están grabando las plantas y el puerto de salida. Alternativamente, el operador añade una señal visual al video para indicar el problema y/o identificar la parte de la instalación industrial que provoca preocupación. Se pueden implementar otros métodos para anotar e identificar áreas de preocupación por parte del operador. En 403, la indicación proporcionada por el operador está asociada con los fotogramas de vídeo y/o píxeles identificados y una indicación de la asociación se almacena en un almacén de datos para su futura recuperación. Durante la generación del modelo 3D basado en el video grabado como se describió anteriormente, las anotaciones proporcionadas por el operador también se asocian con los vóxeles correspondientes y/o partes del modelo 3D generado. En 404, las indicaciones de la asociación de los fotogramas de vídeo y/o píxeles usados en la generación de partes del modelo 3D se almacenan en un almacén de datos para su futura recuperación. Un ejemplo específico y no limitativo es que una parte de la imagen 3D del modelo 3D generado se resalta en la pantalla como resultado de una anotación proporcionada por el operador. Cuando se selecciona la parte resaltada, se puede acceder a cualquier señal de audio o visual asociada con esa parte del modelo 3D. El modelo 3D generado puede mostrar las plantas o las plantas pueden filtrarse del modelo mediante un proceso de filtrado adicional. En cualquier caso, no es sencillo mostrar una imagen 3D o modelar con precisión el comportamiento de las plantas. Como tal, incluso con un modelo 3D perfecto de la instalación industrial, es probable que un experto que vea la imagen 3D del modelo 3D generado para la inspección de la instalación industrial desee más información de la que proporciona el modelo 3D. Por ejemplo, el experto desea ver y analizar las imágenes de origen o las secuencias de video pertenecientes a la parte anotada de la instalación industrial. Al seleccionar la parte resaltada de la instalación industrial dentro del modelo 3D en 405, la información relacionada con la parte resaltada se proporciona al experto en 406. Los ejemplos específicos y no limitantes de la información proporcionada incluyen, fecha y hora en que se anotó el video, otra secuencia de video/fotogramas/píxeles de la misma parte de la instalación industrial durante el video original grabado por el operador, y secuencia de video/fotogramas/píxeles de la misma parte de la instalación industrial grabada previamente. Ahora es posible no solo ver la parte anotada de las imágenes de video, sino también revisar y evaluar todas las imágenes de video anteriores de la parte anotada del modelo 3D en 407. Quizás ver imágenes grabadas previamente de la parte anotada de la instalación industrial de preocupación es más revelador o más claro en el análisis del experto. Por supuesto, no es necesario anotar o resaltar una parte de un modelo 3D para que un experto reciba información adicional como se describe anteriormente. Opcionalmente, el experto selecciona cualquier parte de la imagen 3D para recuperar dicha información. Por ejemplo, el experto puede seleccionar una parte de la imagen 3D haciendo clic en un punto, un vóxel, de la imagen 3D o resaltando una parte, un grupo de vóxeles.

De manera similar, en otro punto de la inspección, el operador señala una abolladura en una tubería. Una vez más, se revisan las secuencias de video de la tubería y se indexan en una ubicación dentro del modelo 3D. Basándose en los datos del índice, también se pueden recuperar otras secuencias de video de la abolladura para su análisis. Las secuencias de video recuperadas de la abolladura proporcionan una vista de la abolladura en un ángulo diferente y bajo diferentes condiciones de iluminación, lo que permite al experto ver una grieta fina en cada extremo de la abolladura. Mientras que el operador anotó la abolladura, el operador no pudo ver la grieta en ese momento. De hecho, el experto también requirió una vista diferente para ver las grietas. Debido a que se recuperaron todos los fotogramas de video que se correlacionan con los vóxeles asociados con la abolladura, se identificó la grieta fina.

La FIG. 5 es un diagrama de flujo simple de un método de indexación según la invención. Un modelo 3D de un objeto del mundo real se construye en 501. Cada nueva inspección (grabación de video del objeto del mundo real) genera un nuevo modelo 3D que se correlaciona con el modelo 3D generado previamente en 502. Por lo tanto, cada vóxel en un nuevo modelo 3D está correlacionado con imágenes/fotogramas/píxeles de la inspección más reciente y también está correlacionado con imágenes/fotogramas/píxeles de inspecciones anteriores. Después, en 503, se identifica un vóxel para monitoreo futuro y el vóxel identificado se resalta en imágenes 3D de modelos 3D recién generados en 504. Las imágenes/fotogramas/píxeles de la superficie del objeto del mundo real que se correlacionan con el vóxel resaltado ahora son identificables, tanto en las inspecciones pasadas como en las presentes. Esto le permite al experto revisar las imágenes actuales y compararlas con imágenes pasadas en 505 de una manera conveniente y eficiente sin buscar manualmente a través de videos grabados previamente para encontrar las imágenes correspondientes de la superficie del objeto del mundo real que es de interés.

Además, durante una inspección del objeto del mundo real, por ejemplo, una instalación industrial, un operador indica que muchas plantas han crecido cerca de un puerto de salida para extraer desechos, y el vóxel, o grupo de vóxeles, del modelo 3D generado correlacionada con las imágenes 2D del área de interés, se resalta en la imagen 3D del modelo 3D, para llamar la atención del experto sobre esa parte de la imagen 3D cuando el modelo 3D está bajo revisión. Se genera automáticamente un recordatorio para que el experto analice y evalúe el crecimiento de la planta en cada nueva inspección para evitar descuidos del problema previamente identificado. Cada vez que el operador inspecciona la instalación; el experto dispone de marcos de imágenes del puerto de salida y de las plantas que crecen en las inmediaciones. El experto puede analizar y evaluar el crecimiento de la planta en cada inspección sin necesidad de la anotación y sin tener un conjunto detallado de notas.

Además, en el ejemplo anterior, si las plantas se retiran ocasionalmente, el experto puede revisar imágenes anteriores para determinar cuándo, en el pasado, se realizó la limpieza. El experto tiene acceso, a través de los datos del índice y a través del modelo 3D, a los datos pasados y presentes relacionados con cualquier superficie del objeto del mundo real que se captura en múltiples inspecciones.

Todavía más, al comparar los modelos 3D a lo largo del tiempo, es posible proporcionar un lapso de tiempo 3D de la instalación industrial (un video 3D) y proporcionar una indicación de los cambios del objeto del mundo real a lo largo del tiempo capturados durante cada uno. Así, por ejemplo, cada cambio detectado en el objeto del mundo real se indica al experto a medida que el experto recorre cada cambio en el modelo 3D que se detectó entre cada inspección.

Cuando los modelos 3D se comparan o actualizan con el tiempo, los datos actuales se utilizan opcionalmente para completar vóxeles indeterminados de imágenes capturadas durante inspecciones anteriores. Las inspecciones próximas en el tiempo se denominan pasadas del objeto. Como, cuando un sistema de adquisición de imágenes rodea un objeto del mundo real que captura datos de video varias veces, se realizan varias pasadas. Por ejemplo, demasiadas plantas bloquearon una parte de la instalación en las tres primeras pasadas. Después de la tercera pasada, se produjo una limpieza. Después, en la cuarta pasada, el(los) componente(s) de la instalación detrás de las plantas se toman imágenes por primera vez y se completan dentro del modelo 3D. Esto también se aplica a los elementos internos cuando la corrosión forma un agujero en una instalación o cuando ocurren otros daños.

Haciendo referencia a la FIG. 6, se muestra un diagrama de pantalla simple de un método para mostrar datos de imagen en relación con el modelo 3D. Se selecciona un vóxel 601 dentro del modelo 3D en el lado izquierdo de la pantalla. En el lado derecho de la pantalla se muestra una pila de fotogramas de video 602 incluyendo el fotograma de video 603 mostrado en la parte superior. Los fotogramas de vídeo 602 se pueden desplazar con un dial o una barra de desplazamiento u otro indicador de desplazamiento para facilitar la exploración a través de las imágenes asociadas. Además, como se muestra en la FIG. 7, es posible seleccionar una pluralidad de vóxeles 701 y recibir una pila de imágenes 702 que es una unión lógica de las pilas de imágenes resultantes de la selección de cada vóxel. Por tanto, un área se puede examinar seleccionando un solo vóxel o, alternativamente, seleccionando un grupo de vóxeles.

Los ejemplos anteriores describen el uso de datos de imagen para generar modelos 3D de un objeto del mundo real. Sin embargo, el tipo de datos para la generación de modelos 3D no se limita a los datos de imagen. Las realizaciones descritas anteriormente utilizan alternativamente datos que no son imágenes asociados con el objeto del mundo real para la generación de un modelo 3D y, por lo tanto, los datos que no son imágenes se indexan con vóxeles en el modelo 3D generado. Un ejemplo específico y no limitativo incluye los datos de temperatura recopilados por un sensor de calor que detecta la temperatura de la superficie de un objeto del mundo real. Los datos de temperatura se recopilan periódicamente y se utilizan para construir modelos térmicos 3D. Por lo tanto, los datos de temperatura se indexan a vóxeles de modelos 3D generados, así como a datos de temperatura recientes y pasados. Otros tipos de datos incluyen, entre otros, datos acústicos, datos sísmicos y datos de imágenes médicas. Además, alternativamente, el tipo de datos son tanto datos de imagen como distintos de los datos de imagen. Además, otros datos se pueden asociar con datos de imágenes 2D, como datos de píxeles y/o datos de modelos 3D, como datos de vóxeles. Es posible que se utilicen o no otros datos para construir un modelo 3D. Además, otros datos se pueden asociar con datos de imágenes 2D durante la captura de estos y/o después de la captura de estos. De manera similar, otros datos se pueden asociar con los datos del modelo 3D durante la construcción de estos y/o después de la construcción de estos. Un ejemplo específico y no limitante incluye asociar datos generados por humanos con un píxel y/o vóxel y almacenar una indicación de la asociación, por ejemplo, en un índice, así como almacenar los datos generados por humanos asociados con ellos. Otro ejemplo específico y no limitativo incluye asociar datos generados por la máquina con un píxel y/o vóxel, y almacenar una indicación de la asociación, por ejemplo, en un índice, así como almacenar los datos generados por la máquina asociados con el mismo. Otros datos asociados con datos de imagen 2D y/o datos de modelo 3D se pueden recuperar cuando se seleccionan datos de imagen 2D y/o datos de modelo 3D. Otros datos pueden estar asociados dentro del conjunto de datos o con datos dentro del conjunto de datos. Por ejemplo, otros sensores, como los sensores de temperatura, registran datos que después se asocian con vóxeles.

Además, aunque la descripción anterior se refiere a indexar datos visuales para correlacionarlos entre sí, también admite indexar datos proporcionados por humanos en imágenes y vóxeles. Esto apoya el análisis y la evaluación de una forma de datos y la indexación del resultado de manera que sea recuperable en respuesta a los datos con los que se relaciona, ya sea vóxel o píxel o imagen o video u otro elemento indexable. Además, al seleccionar regiones dentro de las imágenes o el modelo 3D y etiquetarlas, es posible buscar etiquetas en todos los medios indexados, incluidas las anotaciones introducidas por el usuario, los resultados de las pruebas, etc.

Por ejemplo, si un usuario resalta una parte del modelo 3D e indica que es una salida, entonces las pruebas relacionadas con la salida se pueden asociar con la salida, al igual que todas las vistas de la salida dentro de los datos de imagen y dentro de los datos de video. Al usar el nombre de la pieza o un indicador conocido, es posible asociar material no indexado con el índice (correos electrónicos sobre la salida) con vóxeles, píxeles, imágenes, videos y otros datos.

Las realizaciones presentadas son únicamente a modo de ejemplo y los expertos en la técnica apreciarán que se pueden realizar variaciones de las realizaciones descritas anteriormente sin apartarse del alcance de la invención.

Claims (13)

REIVINDICACIONES

1. Un método que comprende:

capturar los primeros datos (207; 309) del modelo 3D relacionados con cada uno de una primera pluralidad de vóxeles (212v 214v; 305v), los primeros datos del modelo 3D relacionados con un objeto (105) y para formar un primer modelo 3D del objeto, que incluye la captura una primera pluralidad de imágenes (209a, 209c; 301f, 302f, 303f, 304f) del objeto en donde cada una de la primera pluralidad de imágenes comprende al menos un píxel y tiene campos de visión superpuestos del objeto, estando dicha primera pluralidad de imágenes almacenada como datos de la primera imagen; correlacionar los primeros datos de imagen del objeto con los primeros datos del modelo 3D para producir un primer índice, el primer índice indicando una correlación entre al menos un píxel (211a, 211c, 213a, 213c; 301p 302p, 303p, 304p) de una imagen de la primera pluralidad de imágenes y al menos un vóxel (212v, 214v; 305v) de los primeros datos del modelo 3D, cada uno de dicho al menos un píxel y dicho al menos un vóxel representando una misma parte de dicho objeto; y

almacenar el primer índice para su recuperación,

en donde el método comprende, además:

marcar un primer vóxel de la primera pluralidad de vóxeles para monitorear a lo largo del tiempo; capturar segundos datos del modelo 3D relacionados con cada uno de una segunda pluralidad de vóxeles, los segundos datos del modelo 3D relacionados con el objeto y para formar un segundo modelo 3D del objeto incluyendo

capturar una segunda pluralidad de imágenes del objeto en donde cada una de la segunda pluralidad de imágenes comprende al menos un píxel y tiene campos de visión superpuestos del objeto, estando dicha segunda pluralidad de imágenes almacenada como datos de la segunda imagen;

correlacionar los datos de la segunda imagen del objeto con los datos del segundo modelo 3D para producir un segundo índice, el segundo índice indicando una correlación entre al menos un píxel de una imagen de la segunda pluralidad de imágenes y al menos un vóxel del segundo modelo 3D datos;

almacenar el segundo índice para su recuperación; y

correlacionar el segundo modelo 3D con el primer modelo 3D para correlacionar el segundo índice y el primer índice.

2. El método según la reivindicación 1, que comprende:

seleccionar un primer vóxel de la primera pluralidad de vóxeles; basándose en el primer vóxel, recuperar del primer índice una indicación de cada imagen correlacionada con el primer vóxel; y

recuperar y mostrar en una pantalla al menos una imagen correlacionada con el primer vóxel.

3. El método según la reivindicación 1, que comprende:

seleccionar una pluralidad de vóxeles de la primera pluralidad de vóxeles;

basándose en la pluralidad de vóxeles seleccionada, recuperar del primer índice una indicación de cada imagen correlacionada con la pluralidad de vóxeles seleccionada; y

recuperar y mostrar al menos una imagen correlacionada con al menos un primer vóxel de la pluralidad seleccionada de vóxeles.

4. El método según la reivindicación 1, que comprende:

seleccionar una pluralidad de vóxeles de la primera pluralidad de vóxeles;

basándose en la pluralidad de vóxeles seleccionados, recuperar del primer índice una indicación de cada imagen correlacionada con uno de la pluralidad de vóxeles seleccionados; y

recuperar y mostrar al menos una imagen correlacionada con al menos un primer vóxel de la pluralidad seleccionada de vóxeles.

5. El método según la reivindicación 1, que comprende:

seleccionar un primer píxel de la primera pluralidad de imágenes

basándose en el primer píxel, recuperar del primer índice una indicación de un primer vóxel de la primera pluralidad de vóxeles correlacionados con el primer píxel; y

recuperar y mostrar al menos una imagen formada proyectando el primer modelo 3D que incluye el primer vóxel en un plano 2D.

6. El método según la reivindicación 1, que comprende:

seleccionar una primera pluralidad de píxeles de la primera pluralidad de imágenes

basándose en la primera pluralidad de píxeles, recuperar del primer índice una indicación de los primeros vóxeles de la primera pluralidad de vóxeles correlacionados con cada uno de la primera pluralidad de píxeles; y

recuperar y mostrar al menos una imagen formada proyectando el primer modelo 3D que incluye los primeros vóxeles en un plano 2D.

7. El método según la reivindicación 1, que comprende:

capturar datos de imagen estereoscópica indicativos de imágenes estereoscópicas del objeto y con una correlación conocida entre las imágenes estereoscópicas, las imágenes estereoscópicas comprendiendo píxeles correlacionables con superficies dentro de dichas imágenes estereoscópicas; y

procesar los datos de la imagen estereoscópica para producir los primeros datos del modelo 3D del objeto.

en donde la correlación se realiza almacenando para cada vóxel de la primera pluralidad de vóxeles una indicación de cada píxel asociado con el mismo.

8. El método según la reivindicación 1, que comprende:

capturar información de alcance del objeto, proporcionar una medida de distancia entre un aparato de medición y un objetivo; y

capturar datos de imagen que tienen una correlación conocida con dicha información de alcance, los datos de imagen comprendiendo píxeles correlacionables con una superficie del objeto.

9. El método según la reivindicación 1, que comprende:

asociar primeros datos distintos de los datos de imagen y los datos del modelo 3D con algunas de la primera pluralidad de imágenes correlacionadas con algunos de la primera pluralidad de vóxeles; y

almacenar datos indicativos de la asociación.

10. El método según la reivindicación 9, en donde los primeros datos son datos generados por humanos.

11. El método según la reivindicación 1, en donde el primer índice comprende una tabla de consulta.

12. El método según la reivindicación 1, en donde el primer índice comprende un índice de muchos a muchos para asociar muchas imágenes con un solo vóxel y muchos vóxeles con una sola imagen.

13. El método según la reivindicación 2, que comprende:

resaltar dentro de la al menos una imagen al menos un píxel asociado con el primer vóxel.