ES2665535T3

ES2665535T3 - Visualización de equipajes y desempaquetado virtual

Info

Publication number: ES2665535T3
Application number: ES13711214.0T
Authority: ES
Inventors: Wei Li; Gianluca Paladini
Original assignee: Siemens Corp
Current assignee: Siemens Corp
Priority date: 2012-03-20
Filing date: 2013-03-07
Publication date: 2018-04-26
Anticipated expiration: 2033-03-07
Also published as: WO2013142072A2; PT2828830T; US20150022522A1; EP2828830A2; WO2013142072A3; DK2828830T3; US10019833B2; EP2828830B1; CN104488002A

Abstract

Un método para desempaquetar virtualmente el equipaje, que comprende: un escáner que obtiene datos volumétricos tridimensionales (3D) de una pluralidad de objetos en un estado empaquetado dentro del equipaje; un procesador que procesa los datos volumétricos 3D para segmentar la pluralidad de objetos en el estado empaquetado en una pluralidad de objetos de volumen 3D correspondientes a la pluralidad de objetos empaquetados; y el procesador representa cada uno de la pluralidad de objetos de volumen 3D en un estado desempaquetado para mostrarse simultáneamente en una pantalla; en el que los objetos en el estado empaquetado se desempaquetan en un orden basado en un estado de oclusión de los objetos empaquetados con relación a una dirección de visualización utilizada para visualizar los objetos empaquetados; donde el desempaque se visualiza mostrando una transición animada de cada objeto volando desde su posición original a un destino de desempaquetado.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Visualización de equipajes y desempaquetado virtual Declaración de casos relacionados

La presente solicitud reivindica la prioridad y el beneficio de la Solicitud de Patente Provisional U.S No. de serie 61/613,037 presentada el 20 de marzo de 2012, que se incorpora en el presente documento como referencia en su totalidad.

Campo técnico

La presente invención se refiere a métodos y sistemas para inspeccionar equipaje utilizando técnicas de formación de imágenes. Más en particular, se refiere a los métodos y sistemas para visualizar el contenido de una pieza de equipaje al desempaquetar virtual y gráficamente por un ordenador objetos muy apretados empaquetados en la pieza de equipaje.

Antecedentes

La inspección de equipaje es inevitable tanto para el equipaje facturado como para el equipaje de mano con el fin de detectar ítems amenazantes y prohibidos, lo que es especialmente cierto para la seguridad de la aviación. La forma más confiable sigue siendo abrir físicamente el equipaje y desempaquetar su contenido. Desafortunadamente, esto es muy ineficiente y molesto.

Con la tecnología moderna de escaneo, como la tomografía (TC) computarizada, es posible reconstruir las propiedades geométricas tridimensionales precisas del equipaje escaneado y sus objetos contenidos. Naturalmente, se empaqueta un equipaje, lo que significa que muchos objetos están en contacto directo entre ellos y aparecen conectados, superpuestos y desordenados cuando se visualizan en una imagen escaneada. Por lo general, implica la interacción humana para desempaquetar y aislar objetos individuales para una mejor inspección. El documento US20100046704 divulga un método de inspección de equipaje, en el que se escanea un equipaje, los objetos individuales se segmentan y se comparan con una base de datos para identificar los objetos.

Por consiguiente, se requieren métodos y sistemas mejorados y novedosos que desempaqueten objetos que están estrechamente empaquetados en el equipaje y muestren el desempaque y los objetos desempaquetados en la pantalla de un ordenador.

Resumen

Por consiguiente un aspecto de la presente invención, se proporcionan sistemas y métodos de acuerdo con las reivindicaciones independientes 1 y 8 para visualizar en una pantalla un desempaquetado virtual de equipaje que contiene objetos en un estado empaquetado de objetos en un estado desempaquetado, en el que las imágenes se crean a partir de los datos volumétricos del equipaje físico obtenido con un escáner y las imágenes de los objetos en estado desempaquetado se muestran simultáneamente en la pantalla.

De acuerdo con la presente invención, se proporciona un método para desempaquetar un equipaje, que comprende un escáner que obtiene datos volumétricos tridimensionales (3D) de una pluralidad de objetos en un estado empaquetado dentro del equipaje, un procesador que procesa los datos volumétricos tridimensionales para segmentar la pluralidad de objetos en estado empaquetado en una pluralidad de objetos de volumen 3D correspondientes a la pluralidad de objetos empaquetados y el procesador que representa cada uno de la pluralidad de objetos de volumen 3D en un estado desempaquetado para ser mostrados simultáneamente en una pantalla.

De acuerdo con la presente invención, se proporciona un método, en el que los objetos en estado empaquetado se desempaquetan en un orden basado en un estado de oclusión de los objetos empaquetados con relación a una dirección de visualización usada para visualizar los objetos empaquetados.

De acuerdo con otro aspecto más de la presente invención, se proporciona un método, en el que una imagen convertida de cada uno de la pluralidad de objetos de volumen 3D desempaquetados se almacena en una memoria como un elemento de mapas de bits en 2D individualmente recuperables.

De acuerdo con aún un aspecto adicional de la presente invención, se proporciona un método que comprende además: el procesador segmenta la pluralidad de objetos empaquetados de la imagen volumétrica 3D para crear una pluralidad de volúmenes de etiquetas binarias correspondientes a los objetos empaquetados y el procesador que combina los volúmenes binarios para formar un volumen de etiqueta con un vóxel que almacena un valor de identificación (ID) del correspondiente volumen de etiqueta binaria.

De acuerdo con otro aspecto más de la presente invención, se proporciona un método que comprende, además: el procesador que genera una asignación de colores a cada objeto segmentado mediante el cálculo de un mapa de interferencia a partir de imágenes de identificación de objetos (ID).

5

10

15

20

25

30

35

40

45

50

De acuerdo con otro aspecto más de la presente invención, se proporciona un método, en el que el mapa de interferencia se calcula mediante el procesador a través de un filtrado 2D evaluando una expresión:

min (DIST{PüJJb))<DT.

i.r^!ayer(p¡u->u con pA y pB representando píxeles en una imagen proyectada

desde caras frontales de los objetos A y B respectivamente, dist (pA, pB) representa una distancia entre los dos píxeles en el espacio de imagen, DT es un umbral de distancia predeterminado, la capa (p) representa un índice de la capa del píxel p, y LT restringe el cálculo a capas LT y utiliza un algoritmo de coloreado de gráficos para asignar un tono diferente a cada objeto que interfiere en el mapa de interferencia.

De acuerdo con otro aspecto más de la presente invención, se proporciona un método que comprende, además: el procesador que aplica las imágenes de ID del objeto de una pluralidad de objetos segmentados para determinar un orden de desempaquetado basado en una relación de oclusión de cada objeto desde una dirección de visualización dada.

De acuerdo con otro aspecto más de la presente invención, se proporciona un método, en el que se representa una escena de desempaquetado accediendo al menos a tres capas de representación, en donde una primera capa que contiene una imagen convertida de todos los objetos que están en un estado empaquetado, una segunda capa que contiene una imagen convertida de un objeto que se está desempaquetando y una tercera capa que contiene imágenes representadas de mapas de bits en 2D de objetos desempaquetados.

De acuerdo con la presente invención, se proporciona un sistema para visualizar el desempaquetado virtual de equipaje que contiene una pluralidad de objetos en un estado empaquetado, que comprende un escáner de equipaje para obtener datos volumétricos tridimensionales (3D) de la pluralidad de objetos en estado empaquetado dentro del equipaje, una memoria habilitada para almacenar datos e instrucciones, un procesador habilitado para acceder a la memoria para obtener datos e instrucciones, el procesador habilitado para ejecutar instrucciones para realizar los pasos: acceder a los datos (3D) volumétricos generados por el escáner de equipaje, procesar los datos (3D) volumétricos para segmentar la pluralidad de objetos en estado empaquetado en una pluralidad de objetos de volumen 3D correspondientes a la pluralidad de objetos empaquetados y representar cada uno de la pluralidad de objetos de volumen 3D en un estado desempaquetado para mostrarse simultáneamente en una pantalla.

De acuerdo con la presente invención, se proporciona un sistema, en el que el procesador desempaqueta la pluralidad de objetos en estado empaquetado en un orden basado en un estado de oclusión de la pluralidad de objetos en estado empaquetado en relación con una dirección de visualización utilizada para visualizar los objetos.

De acuerdo con otro aspecto más de la presente invención, se proporciona un sistema, en el que el procesador está habilitado adicionalmente para realizar los pasos: segmentar la pluralidad de objetos en estado empaquetado a partir de los datos (3D) volumétricos para crear un volumen de etiqueta binaria para cada uno de la pluralidad de objetos en estado empaquetado.

De acuerdo con otro aspecto más de la presente invención, se proporciona un sistema que comprende, además: el procesador habilitado para generar un volumen de etiqueta 3D que contiene etiquetas de ID de objeto para una pluralidad de objetos segmentados, en donde cada muestra de volumen corresponde a una ID de objeto de un volumen de etiqueta binaria segmentado relacionado.

De acuerdo con otro aspecto más de la presente invención, se proporciona un sistema que comprende, además: el procesador habilitado para generar una asignación de colores a cada objeto segmentado, representando imágenes de ID de objeto para cada objeto donde cada píxel en la imagen de ID corresponde a un índice de objeto segmentado, y mediante el cálculo de un mapa de interferencia de imágenes de ID de objeto a través de un filtrado 2D mediante la

rain (DfST(Pa, Pb)) < DT,

evaluación de una expresión iayer{pA) <LTrJayer(pB) <L'l con pA y pB

representando píxeles en una imagen proyectada desde las caras frontales de los objetos A y B respectivamente, dist(pA, pB) representa una distancia entre los dos píxeles en el espacio de imagen, Dt es un umbral de distancia predeterminada la capa (p) representa una capa el índice de píxel p y LT restringe el cálculo a las capas de LT y utiliza un algoritmo de coloreado de gráficos para asignar un tono diferente a cada objeto que interfiere en el mapa de interferencia.

De acuerdo con otro aspecto más de la presente invención, se proporciona un sistema que comprende, además: el procesador habilitado para aplicar las imágenes de ID de objeto de la pluralidad de objetos segmentados para determinar un orden de desempaquetado basado en una relación de oclusión de cada objeto con respecto a una dirección de visualización.

De acuerdo con otro aspecto más de la presente invención, se proporciona un sistema que comprende además una pantalla para presentar el desempaquetado como una serie animada de imágenes.

De acuerdo con otro aspecto más de la presente invención, se proporciona un sistema que comprende además: el procesador habilitado para representar una escena de desempaquetado accediendo al menos a tres capas de

5

10

15

20

25

30

35

40

45

representación, en donde una primera capa que contiene una imagen convertida de todos los objetos que están en un estado empaquetado, una segunda capa que contiene una imagen convertida de un objeto que se desempaqueta y una tercera capa que contiene imágenes representadas de mapas de bits en 2D de objetos desempaquetados.

De acuerdo con otro aspecto más de la presente invención, se proporciona un sistema, en el que las imágenes de los objetos desempaquetados se animan en un orden que muestra un reempaquetado de los objetos en el estado desempaquetado a la pluralidad de objetos en estado empaquetado.

De acuerdo con un aspecto adicional de la presente invención, se proporciona un método para el desempaquetado visual en una pantalla de datos volumétricos tridimensionales (3D) de una pluralidad de objetos en un estado empaquetado en una pluralidad de objetos desempaquetados, que comprende: un procesador que procesa los datos (3D) volumétricos para segmentar la pluralidad de objetos en estado empaquetado en una pluralidad de objetos de volumen 3D correspondientes a la pluralidad de objetos empaquetados y el procesador representando cada uno de la pluralidad de objetos de volumen 3D en un estado desempaquetado para mostrarlos simultáneamente en la pantalla , en el que los objetos en estado empaquetado se desempaquetan en un orden basado en un estado de oclusión de los objetos empaquetados en una dirección de desempaquetado.

De acuerdo con otro aspecto más de la presente invención, se proporciona un método, en el que los objetos se desempaquetan en una dirección opuesta a una dirección de visualización.

De acuerdo con otro aspecto más de la presente invención, se proporciona un método, en el que el método se aplica en un sistema de inspección de equipaje.

Dibujos

Las Figs. 1A-1H ilustran el desempaquetado virtual de objetos de acuerdo con diversos aspectos de la presente invención;

Las Figs. 2A-2B ilustran un mapa de ID de objeto de acuerdo con un aspecto de la presente invención;

Las Figs. 3 ilustra la asignación de color de acuerdo con un aspecto de la presente invención;

Las Figs. 4A-4D ilustran el desempaquetado virtual de un objeto de acuerdo con un aspecto de la presente invención;

Las Figs. 5A-5C ilustran objetos desempaquetados como mapas de bits en 2D de acuerdo con un aspecto de la presente invención;

Las Figs. 6A-6D ilustra la visualización del equipaje de acuerdo con un aspecto de la presente invención;

Las Figs. 7 y 8 ilustran un rendimiento de aspectos de la presente invención;

Las Figs. 9 ilustra un sistema basado en procesador u ordenador habilitado para ejecutar instrucciones para realizar los métodos de desempaquetado proporcionados de acuerdo con diversos aspectos de la presente invención;

Las Figs. 10 y 11 ilustran el desempaquetado mostrando contornos de objetos;

Las Figs. 12 - 16 ilustran en el diagrama un desempaquetado de una pluralidad de objetos de acuerdo con uno o más aspectos de la presente invención; y

Las Figs. 17 ilustra un sistema de inspección de equipaje de acuerdo con uno o más aspectos de la presente invención. Descripción

Los métodos y sistemas se proporcionan en la presente memoria de acuerdo con diversos aspectos de la presente invención para implementar un flujo de trabajo de visualización para ayudar con el rastreo de equipaje. Una representación volumétrica de un equipaje se segmenta en objetos significativos del mundo real. A los objetos segmentados se les asignan automáticamente colores distinguibles en función de su proximidad superpuesta, así como opacidades en función de los parámetros de visualización.

El volumen del equipaje original, los resultados de segmentación y los colores asignados automáticamente se introducen en un sistema de representación de volúmenes. Para cualquier dirección de visualización definida por el usuario, los objetos que se pueden desempaquetar se determinan y se visualiza el desempaquetado, por ejemplo, en una pantalla de ordenador, mostrando una transición animada de los objetos que vuelan desde su posición original a un destino de desempaquetado. Los objetos desempaquetados pueden manipularse individualmente, tal como girar, cambiar la función de transferencia, etc., para su inspección.

El sistema mantiene el equipaje empaquetado, los objetos ya desempaquetados y los objetos en transición en la misma escena y permite el reempaquetado (volviendo a empacar los objetos desempaquetados en su posición original dentro del equipaje).

5

10

15

20

25

30

35

40

45

50

55

El término objeto se usa en este documento. El equipaje real contiene objetos físicos reales. De acuerdo con un aspecto de la presente invención, se crea una representación volumétrica tridimensional (3D) de la pieza de equipaje que contiene el objeto físico aplicando la segmentación 3D volumétrica. Por consiguiente, se crea un objeto 3D segmentado (por ejemplo, una representación 3D volumétrica o una imagen convertida en 3D) a partir del objeto físico real. Los aspectos de la presente invención se centran en el desempaquetado virtual o gráfico de una representación de una imagen del equipaje y no en el desempaquetado físico del equipaje. Por consiguiente, los términos objeto y equipaje en este documento se refieren a representaciones de imágenes de un objeto y el equipaje, a menos que esté claro por el contexto al que se destinan los objetos físicos y el equipaje.

El término "objeto desempaquetado" también se utiliza en este documento. Definimos un objeto desempaquetado como un objeto que se puede desempaquetar, donde desempaquetarlo significa trasladarlo de una ubicación desordenada dentro del equipaje a una ubicación despejada fuera del equipaje.

Fig. 1 ilustra las capacidades de los sistemas y métodos de la presente invención, donde Fig. 1A es una reproducción en volumen de un escaneo de equipaje segmentado CT. Comparando las Figs. 1A-1H, uno puede observar cómo la muñeca 101 se mueve automáticamente primero hacia el ojo, luego vuela hacia la esquina superior derecha de la imagen. Fig. 1H presenta una escena donde muchos objetos se han movido a sus posiciones desempaquetadas.

De acuerdo con un aspecto de la presente invención, se proporcionan sistemas y métodos para segmentar el equipaje en objetos de equipaje utilizando un enfoque de partición de gráficos de última generación, como, por ejemplo, se describe en "GRADy, L., y SCHWARTZ, E.L. 2006. Partición de gráfico isoperimétrico para la segmentación de imágenes. IEEE Transactions on Pattern Analysis and Machine Intelligence 28, 3 (marzo), 469 — 475 "mejorado por una medida de confianza de la calidad de una segmentación. La medida de confianza da puntuaciones altas a objetos semánticos significativos del mundo real que son homogéneos y tienen límites bien definidos contra los segmentos circundantes, y guía el algoritmo de segmentación para dividir recursivamente los objetos conectados en un volumen de entrada hasta que la calidad de segmentación no pueda mejorarse más,

Para asignar colores distintos a los objetos que aparecen adyacentes en una imagen, el sistema genera primero una imagen de ID de objeto superpuestos, a partir de la cual se determina si un par de objetos interfieren entre sí. Luego se realiza un algoritmo de coloreado de gráficos modificado para asegurar que a cualquier par de interferencia se les asignan tonos distinguibles mientras se aprovecha al máximo el espacio de tono. Para mejorar la visibilidad percibida de los objetos individuales, se adopta un enfoque de coloreado, en el que los tonos se asignan automáticamente a un objeto y pueden modularse individualmente para cada objeto en función de una función de transferencia de opacidad, pero también pueden ser modulados mediante una función de transferencia maestra que afecta la opacidad general de todos los objetos. La capacidad de variar estos controles combinados de opacidad permite al usuario no solo inspeccionar la forma y el color del objeto, sino también evaluar la composición de un objeto, por ejemplo, la densidad de un objeto basada en una escala de Hounsfield en datos escaneados por CT.

Para desempaquetar prácticamente un equipaje, en lugar de dividir físicamente el volumen original en volúmenes separados para cada objeto segmentado, lo que aumentaría considerablemente los requisitos de almacenamiento de la memoria del ordenador, la representación del volumen se realiza en múltiples pases utilizando el volumen original y variando la función de transferencia y la transformación geométrica en cada pase, para representar solo los objetos visibles deseados en la ubicación deseada. El resultado de múltiples pases de representación compone juntos una imagen final.

Un diseño de fuerza bruta para la representación de volúmenes en múltiples pases requiere que el número de pases de representación sea igual al de los objetos en el peor de los casos. Obviamente, esto es demasiado costoso desde el punto de vista computacional ya que un equipaje típico contiene varias docenas de objetos. Para visualizar de manera eficiente el desempaquetado, la escena completa de acuerdo con un aspecto de la presente invención se divide en tres capas: objetos empaquetados, objetos desempaquetados y la animación de objetos que se desempaquetan o restauran. Cada capa representa objetos que se procesan en un estado particular, así como las memorias caché y muestra las imágenes representadas previamente para evitar una representación repetida e innecesaria. La tercera capa que representa la animación de los objetos que se desempaquetan se descompone adicionalmente en un conjunto de mapas de bits en 3D para minimizar el uso de la memoria y mejorar el rendimiento de la representación. Un mapa de bits en 3D se define como una representación 2D de un objeto 3D, que se almacena en caché y se visualiza siempre orientado perpendicularmente a la dirección de visualización. La animación de tales mapas de bits a lo largo de una trayectoria que solo involucra la traslación y la escala que puede crear la ilusión de un objeto 3D en movimiento que se visualiza, mientras que reduce en gran medida los cálculos de representación.

A continuación hay una lista de diversos aspectos de la presente invención:

a. Se proporciona desempaquetado virtual o desempaquetado gráfico, que se cree que no ha sido presentado en la literatura. El desempaquetado en este documento es la separación visual animada de los objetos de imagen, muy similar a la que se llevaría a cabo en el desempaquetado físico de los objetos en una pieza física de un equipaje. Esto es diferente de la "remoción" de los objetos en una imagen, como una imagen 3D creada por ejemplo por escáner de una tomografía computarizada. Esta "remoción" se conoce a partir de imágenes médicas, en el que, por ejemplo, las imágenes de órganos o huesos dentro de la piel de un paciente se revelan al observador haciendo invisibles otros

5

10

15

20

25

30

35

40

45

50

datos de volumen oclusivos. El movimiento animado de desempaquetado virtual (y si se desea, reempaquetado) proporciona pistas espaciales útiles sobre cómo se empaquetó cada objeto en relación con otros objetos cercanos, mejorando así la capacidad del observador para identificar posibles errores que puedan haber ocurrido durante el paso de segmentación.

b. Se proporciona un enfoque de tinte automático que proporciona una elección óptima de colores, además de evitar la falta de uniformidad entre los límites de los objetos.

c. El algoritmo de coloreado de gráficos se ha personalizado para asignar automáticamente colores a objetos en conflicto mientras se utiliza completamente el espacio de colores.

d. Se proporcionan dos métodos acelerados de GPU para determinar objetos desempaquetados que no están bloqueados por otros.

e. Un armazón en capas representa de manera eficiente una escena mezclada con equipaje empaquetado, objetos desempaquetados animados y objetos desempaquetados para una inspección adicional.

Se revisa el trabajo relacionado y se describe la segmentación del equipaje, seguido de una descripción de la visualización del equipaje y el desempaquetado virtual, seguido de una descripción de los detalles y resultados de la implementación.

Trabajo relacionado

Diseño de la función de transferencia

Un aspecto de un sistema proporcionado en este documento es que asigna colores automáticamente a diferentes objetos, lo que puede considerarse como una versión simplificada de la generación automática de funciones de transferencia, que ha sido un tema popular y ha atraído numerosas publicaciones, por ejemplo "[18] ZHOU, J., y TAKATSUKA, M. 2009. Generación automática de funciones de transferencia utilizando el modelo de flujo de residuos controlado por un árbol de contorno y armónicos de color. Transacciones IEEE en visualización y gráficos por ordenador 15, 6 (noviembre), 1481 - 1488 "y" [5] CHAN, M.-Y., WU, Y., MAK, W.-H., CHEN, W., Y QU, H. 2009. Optimización de la transparencia basada en la percepción para la representación de volumen directo. Transacciones IEEE en visualización y gráficos por ordenador 15, 6 (noviembre), 1283 - 1290". La mayoría de estos trabajos se centran en ajustar el color y la opacidad de la función de transferencia para que se puedan visualizar diferentes estructuras en un volumen. El ajuste del color y la opacidad es una forma común de resaltar diferentes propiedades de la composición del material de las estructuras dentro de los datos volumétricos escaneados, por ejemplo, tejido blando vs. hueso en conjuntos de datos médicos.

La visualización del equipaje en este documento se basa en el desempaquetado para revelar las partes ocluidas de un objeto y es deseable que cada objeto tenga una apariencia consistente. Además, sin información adicional, cada objeto se considera igualmente importante.

Algunos trabajos anteriores de diseño de funciones de transferencia también tienen un énfasis en la estética, como la asignación de colores realistas. Por el contrario, el foco aquí es sobre la distinción de la forma de un objeto de su fondo y otros objetos en su proximidad, por lo que se prefiere asignar tonos distintos a los objetos vecinos.

Vistas en despiece.

Cuando un objeto se desempaqueta virtualmente del equipaje, se lo visualiza alejando del equipaje y colocado en un lugar donde el objeto puede ser inspeccionado sin ningún tipo de desorden cerca de él. En una realización preferida de la presente invención, la determinación automática de dicha ubicación despejada se basa en "vistas en despiece", una técnica comúnmente utilizada por los ilustradores para visualizar ensamblajes mecánicos complejos. La generación de vistas en despiece en desempaquetado virtual puede considerarse relacionada pero diferente de la generación de vistas en despiece de conjuntos de datos volumétricos (como se describe en "BRUCKNER, S., Y GROLLER, ME 2006. Vistas despiezadas para datos de volumen. IEEE Transactions on Visualization and Computer Graphics 12, 5 (9), 1077-1084 "), en el cual un conjunto de datos volumétrico se corta en particiones y se desplaza para revelar detalles ocultos, o la generación de vistas en despiece de conjuntos de datos geométricos (como se describe en" [15] LI, W., AGRAWALA, M., CURLESS, B., Y SAlEsIN, D. 2008. Generación automática de diagramas de vista interactivos en 3d despiezados. En ACM SIGGRAPH, 101:1-101:7 "), en el que un ensamblaje mecánico se divide en función de un orden de secuencia de ensamblaje conocido o se calcula en función de las relaciones de contacto, bloqueo y contención entre las partes.

Cada parte despiezada es una parte de un objeto orgánico o está diseñada para ensamblarse en un modelo de múltiples partes. En las vistas en despiece, el contexto de cada partición es extremadamente importante y debe conservarse cuidadosamente, y su trayectoria de despiece está muy restringida. En contraste, para un equipaje empaquetado, usualmente no hay una correlación significativa entre los objetos, y hay mucha más libertad para reubicarlos. Por lo tanto, un sistema como el que se provee aquí de acuerdo con al menos un aspecto de la presente

5

10

15

20

25

30

35

40

45

50

55

invención prioriza la eliminación de la oclusión para mantener el contexto, aunque se reserva la capacidad de restaurar cualquier objeto desempaquetado a su posición original para tratar una posible inexactitud en una segmentación.

Clasificación de visibilidad y detección de colisión.

La determinación del objeto desempaquetado tiene una similitud muy limitada con la clasificación de visibilidad acelerada de GPU como se describe en "[8] GOVINDARAJU, N. K., HENSON, M., LIN, M. C. Y MANOCHA, D. 2005. Cómputo de visibilidad interactiva y cálculos de transparencia entre primitivas geométricas en entornos complejos. En Gráficos y juegos 3D interactivos, 49-56 "," [4] CALLAHAN, S., COMBA, J., SHIRLEY, P. y SILVA, C. 2005. Representación interactiva de grandes cuadrículas no estructuradas utilizando un nivel de detalle dinámico. En IEEE Visualization, 199-206 "y detección de colisiones" [7] GOVINDARAJU, N. K., REDON, S., LIN, M. C., Y MANOCHA, D. 2003. Cullide: detección de colisiones interactivas entre modelos complejos en grandes entornos que utilizan hardware de gráficos. En el Hardware de gráficos 25-32 "en que todos utilizan una GPU para resolver la relación espacial entre primitivas.

En principio, un objeto es desempaquetado si es completamente visible en una proyección ortogonal y se puede desempaquetar moviendo el objeto hacia el observador, opuesto a la dirección de visualización. Ingenuamente, tal orden de visibilidad se puede usar como el orden de desempaquetado para cualquier dirección de visualización deseada. En el presente caso, la dirección de desempaquetado se puede cambiar con frecuencia de acuerdo con el interés del inspector. Por lo tanto, el método de desempaquetado se personaliza para buscar solo los objetos que ocupan el primer lugar en el orden de visibilidad. También se usa una relación de oclusión para tratar la situación de que ningún objeto está completamente desbloqueado. De forma similar a las referencias mencionadas, el método de múltiples pases como se proporciona en el presente documento utiliza consultas de oclusión para recuperar los resultados de la comparación de profundidad de las imágenes primitivas pixeladas. También se proporciona un algoritmo de pase único que no requiere una consulta de oclusión.

Segmentación de equipaje

La base del enfoque en este documento para dividir un volumen de equipaje en objetos significativos del mundo real es la segmentación de imágenes, como se conoce en muchas formas para un experto en la materia. En una realización de la presente invención, la partición de gráfico isoperimétrico tal como se describe en "[10] GRADY, L., AND SCHWARTZ, E. L. 2006. Partición de gráfico isoperimétrico para la segmentación de imágenes. Se aplica IEEE Transactions on Pattern Analysis and Machine Intelligence 28, 3 (marzo), 469-475". Sin embargo, cualquiera de los métodos de segmentación de imágenes conocidos que funcionan en datos de imágenes volumétricas se puede aplicar aquí. Además de eso, se utiliza una extensión que se describe en "[11] GRADY, L., SINGH, V., KOHLBERGER, T., ALVINO, C., AND BAHLMANN, C. 2012. Segmentación automática de objetos desconocidos, con aplicación a la seguridad del equipaje. En la Conferencia Europea sobre Visión por Ordenador (ECCV) "y que calcula la confianza de la calidad de una segmentación de volumen que se puede aplicar como una característica adicional en una realización de la presente invención.

El enfoque en este documento es la visualización del equipaje. Por lo tanto, solo se detallan los pasos principales del enfoque de segmentación de equipaje. Véase por favor "[11] GRADY, L., SINGH, V., KOHLBErGeR, T., AlViNO, C., AND BAHLMANN, C. 2012. Segmentación automática de objetos desconocidos, con aplicación a la seguridad del equipaje. En la Conferencia Europea de Visión por Ordenador (ECCV) "como un ejemplo de segmentación de imágenes.

Para obtener una medida de confianza, el algoritmo anota un gran número de segmentos buenos que son homogéneos y tienen límites bien definidos con los segmentos circundantes. Los segmentos anotados se introducen luego en un modelo de aprendizaje de línea de ensamble para entrenar una medida de confianza. Después de la anotación, se calculan diversas características que incluyen propiedades geométricas (como suavidad de superficie, volumen de curvatura) y propiedades de apariencia basadas en la distribución de densidad (como gradiente L1 promedio, gradiente promedio L2, mediana e intensidades medias). El enfoque también utiliza características basadas en límites tales como el coste total de los cortes para aislar este segmento de los segmentos vecinos. Todas las características son invariables para la rotación y la traslación.

Cada característica se vuelve a normalizar para que sea invariable a escala y tipos de objetos. También se realiza una normalización estadística calculando primero la media y la desviación estándar para todas las características en todos los segmentos, seguido por la normalización de los puntajes de características al restar la media y dividir por la desviación estándar. A continuación, el método utiliza el análisis (PCA) de componentes principales para reducir el tamaño de los datos. En una etapa final, se ajusta un modelo de Mezcla Gaussiana sobre los coeficientes de PCA de todos los segmentos en el conjunto de entrenamiento para aproximar la distribución de los segmentos buenos en el espacio de características. Una vez que se tiene una medida de confianza, para cualquier segmentación de equipaje dada, el enfoque calcula el vector de coeficientes PCA del vector de características normalizado de la segmentación. Luego se obtiene un puntaje de confianza calculando la probabilidad del vector de coeficiente usando la Mezcla Gaussiana almacenada en el segmento de oracle.

5

10

15

20

25

30

35

40

45

50

55

Para realizar la segmentación del equipaje, primero, un algoritmo de segmentación genérico tal como, por ejemplo, se describe en "[9] GRADY, L., AND ALVINO, C. La función mumfordshah por partes suaves en un gráfico arbitrario, IEEE Transactions on Image Processing 18, 11, 2547-2561" proporciona una segmentación inicial que aproximadamente separa todos los objetos de destino dentro del equipaje de los vóxels de fondo. Posteriormente, un análisis de componentes conectado asigna a los segmentos de primer plano no conectados diferentes etiquetas. Debido a que la mayoría de ellos aún están fuertemente segmentados, es decir, cubren grupos de objetos de destino, se ejecuta un algoritmo de división recursivo para cada uno de esos segmentos de primer plano individuales.

Para cada región su segmentada, el algoritmo isoperimétrico genera varias separaciones binarias plausibles diferentes. La medida de confianza se usa junto con la relación isoperimétrica para decidir si alguna de las divisiones propuestas genera subgrupos de objetos que están lo suficientemente cerca de los objetos individuales.

Visualización de Equipaje

Representación de volumen con VOI coloreados

La representación del volumen combinada con máscaras que especifican el volumen de intereses (VOI) se han desplegado ampliamente en la visualización del volumen. A estos VOIs se les asignan propiedades ópticas diferentes del resto del volumen, de modo que sean claramente distinguibles. Normalmente, cada VOI se asocia con una tabla de búsqueda a todo color como se describe en "[13] HADWIGER, M., BERGER, C., AND HAUSER, H. 2003. Representación de dos niveles de volumen de alta calidad de conjuntos de datos segmentados en hardware de gráficos para el consumidor. Visualización, 301-308 ", que proporciona la mayor flexibilidad para ajustar la apariencia del VOI.

Es una tarea desafiante determinar el color verdadero de cada objeto segmentado desde un volumen gris. Tenga en cuenta que un objeto artificial puede construirse con propiedades ópticas arbitrarias, que es diferente de la visualización médica. En este caso, un requisito es que la forma de cada objeto individual sea claramente reconocible, mientras que es aceptable si el objeto se representa con colores y opacidades diferentes de su apariencia real. A veces, incluso es indeseable asignar a un objeto su verdadero color. Por ejemplo, si dos objetos de colores similares se superponen en una imagen, a uno le gustaría que se representen con colores de contraste.

Las máscaras de segmentación generadas como se divulgó anteriormente son volúmenes binarios no superpuestos. Es decir, cada vóxel del volumen de gris original solo puede pertenecer a un único VOI, y todos los límites del sub vóxel se redondean a los bordes del vóxel más cercanos. Todos los volúmenes binarios se combinan para formar un volumen de etiqueta con cada uno de sus vóxels almacenando el valor de ID (> 1) del volumen binario correspondiente, o un valor de ID de cero para el fondo. Obviamente, no tiene sentido interpolar entre diferentes IDs. Por lo tanto, el volumen de la etiqueta debe ser muestreado con el método vecino más cercano.

El sistema se basa en muestras interpoladas del volumen de densidad original y la asignación de opacidad adecuada en la función de transferencia para ocultar la falta de suavidad de los límites de las máscaras binarias. Esto requiere que la opacidad de la función de transferencia sea C0 continua. Obviamente, no hay garantía de tal propiedad si cada VOI está asociado con una tabla de búsqueda de color independiente como en "[13] HADWIGER, M., BERGER, C., AND HAUSER, H. 2003. Representación de dos niveles de alta calidad de conjuntos de datos segmentados en hardware de gráficos para el consumidor, Visualización, 301-308".

Consecuentemente, se eligió el siguiente enfoque de coloreado para la visualización del equipaje como se proporciona aquí de acuerdo con un aspecto de la presente invención. a. Se asigna una función de transferencia maestra con opacidades continuas C0 a todo el volumen. Los colores de la función de transferencia son preferentemente, pero no necesariamente, grises. b A cada VOI visible se le asigna un color de coloreado que se multiplica en el color obtenido de la función de transferencia maestra para las muestras que caen en el VOI. c Si un vOi está configurado para ocultarse, el color de coloreado y la opacidad correspondiente se establecen en (0, 0, 0, 0).

Tenga en cuenta que ocultar un VOI puede introducir una discontinuidad de opacidad en la función de transferencia. Por lo tanto, el bloqueo de las máscaras binarias puede notarse si dos objetos han tocado un límite del área significativa y uno de ellos está oculto. Afortunadamente, esta situación es rara incluso en un equipaje apretado. Las opacidades y los colores de la función de transferencia se pueden cambiar dinámicamente para resaltar los objetos de interés mientras se mantiene el coloreado sin cambios.

Optimización del color

Una pieza típica de equipaje, como una maleta, contiene docenas de objetos de diversos tamaños. Hay muchas superposiciones de los objetos en una imagen 2D proyectada. Se debe utilizar la asignación de colores para hacer que los objetos superpuestos sean separables visualmente. Una opción natural es utilizar tantos colores como el número de objetos y asignar los colores de forma secuencial o aleatoria. Sin embargo, es difícil distinguir dos colores diferentes pero similares. La situación se empeora al generar efectos, como mezcla alfa, sombreado y transparencia.

Si se desea que dos objetos tengan colores distinguibles, se declara que se interfieren mutuamente. Se adopta la coloración gráfica en la que cada objeto se representa como un vértice, y dos objetos interferentes se conectan por

5

10

15

20

25

30

35

40

45

50

un borde. Si el conjunto de datos se puede ver desde un ángulo arbitrario, dos objetos pueden interferir. Por lo tanto, es racional realizar una asignación de color dependiente de la vista.

La representación del volumen estándar se modifica para generar imágenes de ID de objeto en las que cada muestra de volumen que pertenece a un objeto visible emite la ID de objeto como su color, y todas las muestras se mapean con total opacidad. Las Figs. 2A y 2b muestran como ejemplos dos mapas de ID de objeto representados en escala de grises (aunque en el uso real de aspectos de la presente invención, estos serían imágenes a todo color) que se usan para las escenas mostradas en Fig. 1 y Fig. 6 respectivamente. Tenga en cuenta que los mapas de ID de objeto verdadero contienen los índices de objetos. Aquí los ID de objeto se visualizan con sus tintes de coloreado. Cada píxel de la imagen resultante contiene el ID del objeto más cercano que cubre el píxel o el píxel es cero si ningún objeto se proyecta sobre él. Similar a la remoción en profundidad como se describe en "[6] EVERITT, C. 2001. Transparencia interactiva independiente de la orden. Documento técnico de NVIDIA "y" [17] nAGy, Z., y KLEIN, R. 2003. Remoción en profundidad para la representación del volumen basado en texturas. En Pacific Graphics, se puede generar 429 "múltiples capas de estos ID de objetos, asignando cero opacidades a todos los objetos presentados en las capas anteriores y repitiendo la representación hasta que se generen suficientes capas. En las Figs. 2A y 2B la primera capa de mapas de identificación de objetos para Fig. 2A es la escena del equipaje en Fig. 1 y en Fig. 2b la escena en Fig. 6B respectivamente. Tenga en cuenta que los mapas de ID de objeto verdadero contienen los índices de objetos. En las Figs. 2A y 2B los ID de objeto con sus colores de coloreado se visualizan en representación de escala de grises.

Se declara que dos objetos A y B están interfiriendo, si la siguiente fórmula es verdadera:

min (DIST(Pa,Pb))< DT (1)

tayer{ pA) < LT a¡ayer(pB) < 1.7

donde pA y pB son píxeles en una imagen proyectada desde las caras frontales de los objetos A y B, respectivamente. dist (pA, pB) calcula la distancia entre los dos píxeles en el espacio de la imagen. DT es un umbral de distancia predeterminado. capa (p) devuelve el índice de capa de píxel p. Lt restringe el cálculo a las primeras capas de LT.

Obviamente, si todos los objetos son opacos, solo se necesita la primera capa. Para la visualización del equipaje, los objetos son típicamente semitransparentes y tienen suficientes opacidades. En la práctica, solo las muestras de las dos primeras capas presentan información útil, y una imagen de ID de objeto de una sola capa funciona bastante bien para la mayoría de los casos de uso.

Se genera un mapa de interferencia de acuerdo con un aspecto de la presente invención a partir de las imágenes de ID de objeto a través de un filtrado 2D donde se evalúa la fórmula (1). El resultado es una tabla 2D de la cual cada fila se correlaciona con una ID de objeto. Lo mismo ocurre con cada columna. Inicialmente, cada celda de la tabla se borra con el valor falso. Si dos objetos interfieren, la celda correspondiente se establece en verdadero.

Las imágenes de ID de objeto se pueden leer desde el búfer de cuadros en la memoria del sistema y la detección de interferencias se realiza en la CPU. Alternativamente, si se admite la dispersión, también se puede hacer en la GPU y evitar la lectura. En la presente implementación, se utiliza una extensión de NV_shader_buffer_load OpenGL para permitir la escritura en la tabla de interferencia del objeto desde el sombreador de fragmentos. Otras API como Cuda y OpenCL pueden hacer lo mismo. Una cosa por notar es que la tabla solo tiene valores booleanos y cualquier celda cambia a lo sumo de falso a verdadero durante la detección. No importa si una entrada se establece en verdadero varias veces. Como resultado, no es necesario usar ningún bloqueo para sincronizar la lectura o la escritura en la tabla.

Una vez que se determinan los bordes de los objetos que interfieren, se puede utilizar cualquier algoritmo de coloreado de gráficos para determinar el número mínimo de colores, C. Se seleccionó el algoritmo voraz que procesa vértices en orden decreciente de grados. Una diferencia importante entre la optimización del color según se aplica de acuerdo con un aspecto de la presente invención y la coloración gráfica estándar es que se pretende utilizar completamente el espacio de colores, en lugar de minimizar el número de colores. Por lo tanto, todos los objetos se dividen en grupos C de acuerdo con el resultado de la coloración del gráfico. A continuación, a cada grupo se le asigna una de las regiones con partición uniforme en el espacio de color.

Para que el enfoque de coloreado sea más efectivo, la optimización del color se realiza en el espacio HSV, y solo un tono (H) se asigna con S y V permanecen en sus valores máximos. Esto reduce el espacio de color a un círculo ID. A continuación, los objetos de un grupo se ordenan según el número de vecinos interferentes en el siguiente grupo. Los objetos se distribuyen uniformemente en la región de color asignada al grupo, con el objeto de tener la mayor cantidad de interferencias alejadas del siguiente grupo. Fig. 3 ilustra tal asignación donde todos los objetos están agrupados en seis grupos con diferente número de elementos. En Fig. 3 se muestra en sombreado gris, pero representa una asignación de espacio de colores. A cada objeto se le asigna un tono diferente con objetos interferentes separados en diferentes grupos.

5

10

15

20

25

30

35

40

45

50

Todavía es posible que dos objetos interferentes asignados a diferentes grupos estén adyacentes en el espacio de tono. Una opción es agregar un margen de tono adicional entre los grupos. Sin embargo, con el conjunto de datos que se aplicó para la prueba, esto no presenta problemas notables.

Desempaquetado virtual

El objetivo del desempaquetado virtual es separar visualmente los objetos individuales sin modificar realmente el volumen original. Un flujo típico de trabajo debe desempaquetar objetos uno a uno o grupo por grupo. La oclusión de los objetos restantes se reduce a medida que aumenta el número de objetos desempaquetados. Los objetos desempaquetados permanecen visibles en la escena, recordando a los usuarios el historial, y pueden inspeccionarse individualmente con operaciones de representación de volumen estándar.

Es deseable visualizar la transición de los objetos de las posiciones empaquetadas a las desempaquetadas, de modo que se pueda examinar el contexto de cualquier objeto y se minimice el impacto de una segmentación potencialmente falsa. Por ejemplo, una segmentación produce 3 objetos, un tubo, un pasador curvo y un objeto similar a una empuñadura. Un espectador, especialmente uno entrenado, al ver los objetos desempaquetados, reconocerá inmediatamente que los 3 objetos son un cañón, un gatillo y una empuñadura que combinados dan forma a una pistola, especialmente cuando la orientación relativa de los objetos se mantiene durante el desempaquetado. y las piezas se muestran relativamente cerca en una pantalla. Esto permite al espectador recombinar fácilmente en su mente los objetos a su forma original. Por una razón similar, un sistema proporcionado de acuerdo con un aspecto de la presente invención también proporciona restauración o reempaquetado animado si un usuario desea repetir la inspección de un objeto desempaquetado en su entorno original. En ese caso, el inspector verá cómo los 3 objetos se combinan en una pistola. En ese caso, el inspector puede agrandar la imagen y verla desde diferentes puntos de vista en la pantalla, por ejemplo, girando la imagen.

Determinación de objeto desempaquetado

Solo los objetos desbloqueados se pueden desempaquetar. De lo contrario, un objeto que se está desempaquetando puede pasar a través de otros. Para determinar si un objeto es desempaquetado a lo largo de una cierta dirección D

, primero se genera una ID de objeto de imagen loid usando la dirección opuesta de D como la dirección de visualización. A continuación, se realiza otro pase de representación de volumen modificado utilizando la misma dirección de visualización. Los dos pases de representación utilizan proyección ortogonal. El objetivo del segundo pase es calcular la relación de oclusión de cada objeto A de acuerdo con la fórmula (2):

imagen1

(2)

donde sA es una muestra de volumen encerrada por A, y objectId(proj(sA)) es la ID del objeto en Ioid donde sA se proyecta en el plano de la imagen.

Básicamente, la fórmula 2 calcula la proporción de muestras ocluidas frente a las muestras totales del objeto A. Obviamente, una relación cero indica que A no está ocluido. Debido a que cada objeto puede tener forma arbitraria, es posible que cada objeto esté bloqueado por otros para una dirección dada. En el extremo, un objeto puede estar bloqueado en todas las direcciones. Cuando no hay ningún objeto con una relación de oclusión cero, el sistema solicita a los usuarios que elijan una dirección de desempaquetado diferente o que el objeto con la menor relación de oclusión sea desempaquetado.

Una opción de desempaquetado es usar la dirección hacia arriba cuando una maleta se encuentra en su superficie

más grande como la D i que emula el escenario de sacar el objeto de un equipaje abierto. Otra opción es utilizar el sentido opuesto a la dirección de visualización como la dirección de desempaquetado, que es más o menos equivalente a desempaquetar el objeto más frontal en la vista actual. Aunque es diferente de un desempaquetado real, esta opción podría ser más útil para el desempaquetado virtual.

Por ejemplo, un usuario puede rotar una imagen de una maleta de modo que un objeto interesante se gire hacia delante o al menos con oclusión reducida. Es natural que el objeto interesado sea desempaquetado dentro de los próximos pasos. Como se analiza más adelante, el desempaquetado desde la dirección de visualización también simplifica la representación. La descripción en este documento de una realización ilustrativa describe como realizar solo el desempaquetado en esta dirección. Debe entenderse que el desempaquetado de acuerdo con uno o más aspectos de la presente invención puede tener lugar en cualquier dirección que se desee y/o que el usuario seleccione como tal un inspector o que se programe previamente en un procesador y se contemple en su totalidad.

La tabla de relación de oclusión de todos los objetos que todavía están empaquetados se actualiza cada vez que se cambia la dirección de desempaquetado o cuando se desempaquetan todos los objetos desempaquetados determinados en la actualización anterior. La GPU (unidad de procesamiento gráfico) se utiliza para acelerar el

5

10

15

20

25

proceso. Dependiendo de la capacidad del hardware, se proporcionan dos enfoques de acuerdo con diferentes aspectos de la presente invención. El primer enfoque aprovecha la consulta de oclusión que cuenta el número de fragmentos pasados a la memoria intermediaPARR75.

El siguiente pseudocódigo se ejecuta en el sombreador de fragmentos:

firstld = Ioid [fragmentCoord] ; void findlstOccluded ()

{

if (idOf (sample ) != queriedld) discard ;

if(queriedld= = firstld ) discard ; if (! firstSampleOf (queriedld)) discard ;};

La representación del volumen modificado se realiza N veces, donde N es el número de objetos visibles que aún están desempaquetados. En cada pase, el ID consultado es igual a la ID del objeto que se consulta. Solo las muestras de la parte frontal que pertenecen al objeto pasan si queryried es diferente del valor correspondiente, firstId, en Ioid. La

consulta de oclusión devuelve la suma de las muestras ocluidas del primer impacto de objectqueriedid- Las muestras totales del objeto se pueden evaluar de manera similar utilizando solo la primera instrucción if del código anterior. En la práctica, solo el área de la cara frontal del cuadro delimitador del objeto se utiliza para la aproximación.

Cada pase está optimizado para representar solo el sub volumen definido por el cuadro delimitador de objectqueriedId. Pero el tiempo acumulado de decenas de pases de representación aún puede introducir un retraso notable. Por lo tanto, también se proporciona un método de pase único de acuerdo con un aspecto de la presente invención que aprovecha las capacidades de dispersión y un contador atómico de las GPU modernas.

El siguiente pseudocódigo se ejecuta en el sombreador de fragmentos:

{

fcurrentld = -1; samples = 0 ;

firstld = Ioid [fragmentCoord] ; while(moreSamples) {

id = idOf(sample) ; if (id = = firstld) continué ; if(id = = currentld) samples ++; else {

updateCounter (currentld , samples) ; currentld = id ; samples = 1 ;

>

}

updateCounter (currentld, samples) ;

} ;

void updateCounter (currentld, samples)

}

if (currentld > 0)

atomicAdd (Scounter [currentld], samples) ;

El pseudocódigo cuenta muestras contiguas que pertenecen a un objeto ocluido, y agrega la suma parcial a la tabla contraria compartida a través de todos los sombreadores de fragmentos si se llega al final del rayo o cambia el Id del objeto actual.

Representación de volumen

La representación de uno o más objetos moviéndose desde sus posiciones empaquetadas originales en el contexto de otros que todavía están empaquetados enfrenta el mismo desafío que las vistas en despiece de datos de volumen como se describe en "[3] BRUCKNER, S., AND GROLLER, M.E.2006. Vistas despiezadas para datos de volumen. IEEE Transactions on Visualization and Computer Graphics 12, 5 (9), 1077-1084 ", representación de volúmenes multiobjeto o multimodalidad como se describe en "[2] BRUCKNER, S., AND GROLLER, M.E 2005. Volumeshop: Un

5

10

15

20

25

30

35

40

45

50

55

sistema interactivo para la ilustración de volumen directo. En Visualización, H. R. C. T. Silva, E. Groller, Ed., 671-678" y "[1] BEYER, J., HADWIGER, M., WOLFSBERGER, S., y BHLER, K., 2007. Representación de volumen multimodal de alta calidad para la planificación preoperatoria de intervenciones neuroquirúrgicas ", y la representación de volumen de múltiples capas como se describe en "[14] KAINZ, B., GRABNER, M., BORNIK, A., HAUSWIESNER, S., MUEHL, J., ANDSCHMAL STIEG, D. 2009. Proyección de rayos de múltiples conjuntos de datos volumétricos con límites poliédricos en muchas gpus. En ACM SiGGRAPH Asia, 152: 1-152: 9" y "[16] LI, W. 2010. Fundición de rayos de volumen multicapa en una gpu. En Volume Graphics, 5-12."

Debido al desplazamiento de una parte de un volumen, el orden de visibilidad de las muestras no se puede inferir a partir de sus coordenadas de volumen. Los límites de las partes móviles y el cuadro delimitador del volumen original dividen el espacio en varias regiones. Para un lanzamiento de rayos de volumen, los rayos se dividen en segmentos, cada uno tiene diferentes parámetros de su predecesor y sucesor en el mismo rayo. En el caso de un objeto o porción de volumen se superpone con otra parte no vacía del volumen, multivolumen o representación de volumen fusionado como se describe en "[12] GRIMM, S., BRUCKNER, S., KANITSAR, A., AND GROLLER, ME, 2004. Representación flexible de varios volúmenes directos en escenas interactivas, Oct.” y [3] BRUCKNER, S., AND GROLLER, M. E. 2006. Vistas despiezadas para datos de volumen. Se requieren transacciones IEEE en visualización y gráficos por ordenador 12, 5 (9), 1077-1084".

La fragmentación de los rayos introduce muchas ramas en el código de representación que degrada severamente el rendimiento. Además, permitir que un objeto se superponga y atraviese a otros tampoco es visualmente plausible para desempaquetar. En una realización de la presente invención, el recorrido de desempaquetado está restringido para comenzar siempre en el sentido opuesto a la dirección de visualización, comenzando así a mover el objeto a lo largo de una trayectoria hacia el observador (simulando el acto de agarrar un objeto del equipaje), y posteriormente mover el objeto a un lugar de desempaquetado (simulando el acto de colocar el objeto fuera del equipaje). Tenga en cuenta que la proyección ortogonal se usa para determinar la capacidad de desempaquetado. Para un objeto completamente desbloqueado, el desplazamiento en el sentido opuesto a la dirección de visualización (hacia el observador) garantiza que el objeto que se está desempaquetando esté siempre delante de los objetos que todavía están empaquetados, con la cámara en perspectiva o en proyección ortogonal. Hasta que el objeto que se desempaqueta esté completamente fuera del cuadro delimitador del volumen, se mueve hacia su ubicación de desempaquetado. Como se muestra en Fig. 1, la muñeca se mueve primero hacia la cámara, ya que parece más grande en la Fig. 1B que en la Fig. 1A debido a la proyección en perspectiva de la cámara, luego se mueve en la dirección hacia arriba derecha del espacio de la imagen.

Animación del desempaquetado

Para visualizar de manera eficiente el desempaquetado, la escena completa de acuerdo con un aspecto de la presente invención se divide en tres capas, que se denominan capas de representación a las que accede un procesador. Como se muestra en la Fig. 4, la primera capa (como se ilustra en la figura 4A) contiene todos los objetos 401 aún por desempaquetar. La segunda capa (como se ilustra en la figura 4B) es responsable de mostrar la animación del desempaquetado de un objeto 402 individual, así como permitir que un usuario inspeccione interactivamente cualquier objeto desempaquetado. La tercera capa (como se ilustra en la figura 4C) muestra todos los objetos 403 desempaquetados como mapas de bits 3D. La composición conjunta de las tres capas produce la visualización 404 en Fig. 4D.

Para animar el desempaquetado de un objeto O, tal como la caja 402 en Fig. 4B, su tono de color se establece en cero y realiza la representación del volumen coloreado descrito anteriormente, que esencialmente oculta O en esta capa. A continuación, se aplica continuamente cierta transformación geométrica, como la traslación y la rotación en todo el volumen, y se realiza la representación del volumen coloreado varias veces en la capa de animación, pero esta vez se establece el color de todos los objetos excepto O en cero. Si hay varios objetos que se desempaquetan simultáneamente, la representación en la capa de animación se aplica varias veces en cada paso de animación, uno para cada objeto desempaquetado.

La capa de mapas de bits simplemente muestra los mapas de bits 3D de objetos desempaquetados. La imagen final en la capa de animación de un objeto desempaquetado se usa para crear un elemento gráfico del objeto y agregarlo a las capas de mapas de bits.

La ubicación de cualquier muestra de volumen v es transformada por matrices en cascada para generar una coordenada de ventana w, por ejemplo, de acuerdo con:

w -VxTxMxv (3)

donde M es la matriz del modelo, y T especifica la transformación adicional. Su combinación se transforma desde coordenadas de volumen a coordenadas globales. T define transformaciones adicionales, mientras que la matriz de vista V se transforma desde las coordenadas globales a las coordenadas de la cámara. Las tres capas comparten la misma cámara.

5

10

15

20

25

30

35

40

45

50

Las ubicaciones desempaquetadas deseadas se proporcionan en coordenadas oculares, ya que deben ser independientes en las direcciones de vista, mientras que el sistema cambia la T a T' T para desplazar objetos. Para un objeto O, su desplazamiento sin empaquetar en las coordenadas de volumen T 'viene dado por (4) como:

T' = (Vx M)~‘(u - Vx M xo) (4)

donde u es la ubicación desempaquetada deseada en las coordenadas de la cámara, y o es el vector de

(§\-1

desplazamiento de O que apunta desde el centro de volumen al centro del cuadro delimitador de O. v ’ calcula el inverso de una matriz. Teniendo en cuenta el vector de desplazamiento o asegura que el centro de O esté alineado con la ubicación desempaquetada deseada, independientemente de su posición original en el volumen.

Un mapa de bits se visualiza colocando un rectángulo de cámara-espacio mapeado con la imagen del mapa de bits centrada en su ubicación u deseada. Los mapas de bits siempre miran hacia la cámara y alinean sus bordes verticales con el vector ascendente de la cámara. Además, los mapas de bits también se escalan en consecuencia a medida que la cámara enfoca.

Tenga en cuenta que la imagen de la capa de volumen desempaquetada se almacena en caché y se reutiliza durante la animación. En realidad, no se actualiza hasta que un objeto se desempaqueta o restaura, o un usuario cambia la posición u orientación del volumen. La transformación para la representación de la capa de animación de desempaquetado sigue una ruta predefinida que contiene unos pocos fotogramas clave. En cada fotograma clave, se define una transformación compuesta de traslación y rotación.

La transformación aplicada a un objeto desempaquetado simplemente se interpola desde los dos cuadros clave adyacentes. Para la capa de mapa de bits, una realización del sistema de acuerdo con un aspecto de la presente invención almacena un conjunto de mapas de bits, en lugar de una gran imagen compuesta todo el tiempo. Las razones para tomar tal decisión son: 1) cada objeto que se muestra en un mapa de bits usualmente solo ocupa una pequeña porción del puerto de visualización, y poco distribuido, como se muestra en la FIG. 4C. almacenar los mapas de bits por separado requiere menos memoria que almacenar una imagen grande que cubra toda la ventana gráfica; 2) El sistema necesita frecuentemente agregar nuevos mapas de bits, o para ocultar o eliminar mapas de bits existentes. Almacenarlos por separado facilitan dicha gestión. Un usuario puede seleccionar cualquier mapa de bits para su inspección. En ese caso, el mapa de bits correspondiente está oculto, y se crea una representación de volumen del objeto en lugar del mapa de bits, de nuevo al establecer los tonos del coloreado a cero para todos los objetos excepto

0.

Los usuarios pueden realizar la manipulación estándar, como rotación, enfoque y cambio de la función de transferencia, en O. Cuando un usuario sale del modo de inspección, la imagen final se utiliza para actualizar el mapa de bits.

Comportamiento de interacción

Analizando los requisitos típicos de la interacción de desempaquetado, así como aprovechando las capacidades de un sistema como se proporciona aquí de acuerdo con uno o más aspectos de la presente invención, el sistema está diseñado para responder a las interacciones del usuario de la siguiente manera:

1. Los requisitos para la rotación y la traslación se consideran operaciones para el objeto activo actual, que está determinado por la posición del cursor del ratón cuando se hace clic en el botón izquierdo. Si una selección de rayo originada desde la posición golpea cualquier mapa de bits, entonces el objeto correspondiente se activa. De lo contrario, el objeto activo es todo el volumen compuesto por los objetos que aún están empaquetados.

2. Al hacer doble clic con el botón izquierdo del ratón, se intenta seleccionar un objeto como en el caso anterior. Si se encuentra un mapa de bits, el sistema entra en el modo de inspección, por lo que la cámara de visualización de volumen se desplazará y enfocará automáticamente para hacer que el objeto activo aparezca en el centro de la escena con un cómodo enfoque, además de reenviar todas las solicitudes de rotación y traslación al objeto.

3. Siempre que la dirección de visualización del volumen empaquetado cambie, se realiza un cálculo para determinar objetos desempaquetados como se describió anteriormente en este documento, y sus ID se colocan en una cola de objetos desempaquetados.

4. Si se recibe un requerimiento de desempaquetado, el primero u otros objetos desempaquetados en la cola se desempaquetarán y el proceso se animará como se describió aquí anteriormente.

5. Si se recibe un requisito de restauración, los últimos objetos desempaquetados se vuelven a agregar al encabezado de la cola, y sus transiciones de la ubicación desempaquetada al volumen empaquetado se animan.

6. Una solicitud de acercamiento del usuario se considera como una operación de la cámara. Por lo tanto, las tres capas se amplían de forma sincronizada.

5

10

15

20

25

30

35

40

45

50

55

En una realización de un sistema proporcionado de acuerdo con un aspecto de la presente invención, los mapas de bits no se ven afectados por ninguna rotación 3D o traslación realizada en el volumen empaquetado, lo que es evidente comparando las FIG. 5A y 5B. De forma similar, los mapas de bits no activos tampoco se ven afectados por la manipulación en un objeto desempaquetado activo. Todas estas transformaciones se aplican en el espacio de objeto al objeto activo o al volumen empaquetado. Por el contrario, todos los objetos en una escena se amplían juntos, como se muestra en la FIG. 5C.

En las Figs. 5A, 5B y 5C los objetos desempaquetados se muestran como mapas de bits 3D. La Fig. 5A ilustra una captura de pantalla en el medio de desempaquetado. La Fig. 5B ilustra que los mapas de bits son invariables a la rotación 3D y la traslación en la representación de volumen de los objetos empaquetados; la Fig. 5C ilustra la respuesta de los mapas de bits al funcionamiento del enfoque.

Resultados

Una realización del sistema de desempaque virtual proporcionado de acuerdo con un aspecto de la presente invención se implementa en una PC basada en Windows. El cálculo de visualización se realiza principalmente en una tarjeta Nvidia Geforce GTX 480. El procesador de volumen se desarrolla utilizando C ++ y glsl (Lenguaje de sombreado OpenGL). Los conjuntos de datos de equipaje salen de las simulaciones para parecerse a la apariencia de los equipajes típicos que pasan por los escáneres CT. Aunque no son escaneos de equipaje "reales", plantean desafíos similares a la segmentación y la visualización.

Un volumen de un equipaje típico es del tamaño de 512 X 512 X 1024 con cada vóxel ocupando 2 bytes. El conjunto de datos tiene variaciones significativas de objetos, desde jabones hasta agua embotellada, velas de cera, botas, diferentes prendas, etc. Las Figs. 6A, 6B, 6C y 6D comparan los resultados antes y después de la optimización del color. El rectángulo blanco en la FIG. 6A resalta las áreas donde los diferentes objetos presentan colores visualmente idénticos, aunque son diferentes, considerando que no existe tal problema en la FIG. 6B.

La escena en las FIGS. 6A, 6B, 6C y 6D se compone de 27 objetos etiquetados. La representación con una configuración de transparencia de este tipo en un puerto de visualización de 10242 toma aproximadamente unos 70ms. La animación del desempaquetado de un solo objeto en una vista similar a las FIGS. 4A, 4B, 4C y 4D toman alrededor de 50ms para un solo marco. Es más rápido que representar el volumen empaquetado, ya que solo se representa el objeto desempaquetado y el cuadro delimitador del objeto suele ser significativamente más pequeño que el volumen completo. La restauración de la animación tiene una realización similar al desempaquetado. Manipular el volumen empaquetado en una escena similar a las FIGS. 5A, 5B y 5C alcanzan aproximadamente 20 fps. Esto también es ligeramente más rápido que los casos de la FIG. 6 porque los usuarios suelen alejarse para hacer visibles los objetos desempaquetados en la escena, y esto reduce el tiempo para representar el volumen empaquetado.

Las Figs. 6A, 6B, 6C y 6D proporcionan visualización del equipaje sin color en la (Fig. 6A) y (Fig. 6C) y con color en la (Fig. 6B) y en la (Fig. 6D). Tenga en cuenta que en las áreas resaltadas por rectángulos blancos en la FIG. 6A y la FIG. 6C diferentes objetos tienen tonos de color indistinguibles. Por el contrario, la FIG. 6B y la FIG. 6D no tienen este problema.

La Fig. 7 ilustra la determinación de los datos de un objeto desempaquetado durante un proceso en serie de desempaquetado. Se utilizó el enfoque de consulta de oclusión multi pase. Solo un objeto se desempaqueta en cada paso. El eje X es el índice del paso de desempaquetado. Las dos series muestran la proporción de oclusión en porcentaje de los objetos desempaquetados y el tiempo (en 100 milisegundos) para determinar objetos desempaquetados en cada paso de desempaquetado. Hay ceros para la serie temporal ya que el paso anterior encuentra más de un objeto desempaquetado, y no hay necesidad de ejecutar la consulta para los pasos siguientes inmediatamente. Excluyendo esos ceros, el tiempo generalmente disminuye constantemente, ya que el número de objetos empaquetados y los pases de consulta disminuyen a medida que avanza el desempaquetado.

Incluso al comienzo del desempaquetado, donde el sistema realiza la consulta 26 veces, el tiempo total es ligeramente superior a 50 ms, que es aproximadamente el tiempo para una representación de volumen de calidad completa con los mismos parámetros de visualización. Esto se debe a que el pase de consulta para cualquier objeto está restringido al rectángulo de selección del objeto, que suele ser mucho más pequeño que el de todo el volumen. Además, un rayo de consulta termina después de alcanzar la primera muestra del objeto. Mientras que para una escena con mucha transparencia como en la FIG. 6, un rayo viaja una distancia mucho más larga. El enfoque de un solo pase para determinar el objeto desempaquetado requiere el muestreo de un volumen no vacío, que es similar al de un volumen mayormente transparente. Por lo tanto, el método de un solo pase puede ser más lento que el enfoque de múltiples pases. Tenga en cuenta que en la FIG. 7 hay valores distintos de cero en algunos pasos, lo que significa que ningún objeto está completamente desbloqueado, aunque la proporción es solo 0.3% como máximo.

La Fig. 8 presenta el tiempo para calcular un mapa de interferencia de una sola capa de objetos que se utiliza para la optimización del color a través de un proceso de desempaquetado. Por motivos de tiempo, la optimización del color se aplica después del desempaquetado de cada objeto, lo cual es obviamente innecesario en la práctica. El tiempo promedio es de aproximadamente 110 ms, que incluye la representación de una imagen de las ID del objeto Ioid, la lectura de Ioid desde la GPU a la memoria del sistema y la evaluación de la fórmula (1).

5

10

15

20

25

30

35

40

45

50

55

Los métodos que se proporcionan en este documento son, en una realización de la presente invención, implementados en un sistema o dispositivo de ordenador. Por lo tanto, los pasos descritos en este documento se implementan en un procesador, como se muestra en la FIG. 9. Un sistema ilustrado en la FIG. 9 y como se proporciona aquí está habilitado para recibir, procesar y generar datos. El sistema está provisto de datos que pueden almacenarse en una memoria

901. Los datos pueden obtenerse de un escáner tal como un escáner 3D CT o de cualquier otra fuente relevante de datos. Los datos se pueden proporcionar en una entrada 906. Tales datos pueden ser datos de imagen o cualquier otro dato que sea útil en un sistema de desempaquetado.

El procesador también se proporciona o se programa con un conjunto de instrucciones o programa que ejecuta los métodos de la presente invención que está almacenado en una memoria 902 y se proporciona al procesador 903, que ejecuta las instrucciones de 902 para procesar los datos desde 901. Los datos, tales como datos de imágenes o cualquier otro dato proporcionado por el procesador, pueden emitirse en un dispositivo 904 de salida, que puede ser una pantalla para mostrar imágenes o datos relacionados con el desempaquetado de equipaje o un dispositivo de almacenamiento de datos. El procesador también tiene un canal 907 de comunicación para recibir datos externos de un dispositivo de comunicación y para transmitir datos a un dispositivo externo. El sistema en una realización de la presente invención tiene un dispositivo 905 de entrada, que puede incluir un teclado, un ratón, un dispositivo señalador o cualquier otro dispositivo que pueda generar datos para proporcionar al procesador 903.

El procesador puede ser hardware o circuitos dedicados o específicos de la aplicación. Sin embargo, el procesador también puede ser una CPU general o cualquier otro dispositivo informático que pueda ejecutar las instrucciones de

902. Por consiguiente, el sistema como se ilustra en la FIG. 9 proporciona un sistema para procesar datos resultantes de un escáner o cualquier otra fuente de datos relevante y se habilita para ejecutar los pasos de los métodos como se proporciona en este documento como uno o más aspectos de la presente invención.

Debe entenderse que la presente invención puede implementarse en diversas formas de hardware, software, microprograma, procesadores de propósito especial o una combinación de éstos. En una realización, la presente invención puede implementarse en software como un programa de aplicación incorporado de manera tangible en un dispositivo de almacenamiento de programas. El programa de aplicación puede cargarse a, y ejecutarse por, una máquina que comprenda cualquier arquitectura adecuada.

Se entenderá además que, debido a que algunos componentes del sistema constituyente y los pasos del método representados en las figuras adjuntas pueden implementarse en software, las conexiones reales entre los componentes del sistema (o los pasos del proceso) pueden diferir dependiendo de la manera en que la presente invención está programada. Dadas las enseñanzas de la presente invención proporcionadas en este documento, un experto en la materia relacionada podrá contemplar estas y otras implementaciones o configuraciones similares de la presente invención.

Se han proporcionado aquí métodos y sistemas para la visualización de equipaje donde cualquier objeto es claramente distinguible de sus vecinos. Admite el desempaquetado virtual al mover visualmente cualquier objeto fuera de su pose original. Para lograr esto, primero se aplica una segmentación de volumen guiada por una medida de confianza que divide recursivamente regiones conectadas hasta que se obtienen objetos semánticamente significativos, y un volumen de etiqueta cuyos vóxels que especifican las ID de objeto que se generan. El conjunto de datos del equipaje original y el volumen de la etiqueta se visualizan mediante la representación del volumen. A través de un algoritmo de coloreado automático, a cualquier par de objetos cuyas proyecciones sean adyacentes en una imagen se les asignan tonos distintos que se modulan en una función de transferencia para reducir el coste de representación y para mejorar la suavidad entre los límites del objeto. Se ha provisto un marco en capas para representar eficientemente una escena mezclada con equipaje desempaquetado, objetos de desempaquetado animados y objetos ya desempaquetados para su posterior inspección. El sistema en una realización de la presente invención usa una GPU para seleccionar rápidamente objetos desempaquetados que no están bloqueados por otros para hacer plausible el desempaquetado.

Para ilustrar adicionalmente diversos aspectos de la presente invención, se proporciona una serie de diagramas. Algunos de los objetos de la FIG. 1 se han resaltado en la FIG. 10 mediante el trazado de los contornos. La línea discontinua indica un objeto que está oscurecido por un objeto semitransparente. La falta de un contorno indica que un objeto oscurecido es completamente opaco. Claramente, la muñeca 1001 es semitransparente mientras que el anillo 1003 de dona es opaco. Como se discutió anteriormente, el desempaquetado tendrá lugar en un cierto orden, preferiblemente en un orden de visibilidad u oclusión en una dirección de desempaquetado hacia la cámara.

La FIG. 11 ilustra adicionalmente la FIG. 10 mostrando solo contornos trazados. Muestra los contornos de los objetos 1101 (la muñeca), 1103 (el anillo de dona), 1105, 1107, 1109, 1111, 1113 y 1119. Los objetos son volúmenes generados por la segmentación de una imagen volumétrica 3D. Una orden o capa de visibilidad en la dirección hacia la cámara también se denomina dirección opuesta a la dirección de visualización. Algunos objetos son oscurecidos u ocluidos por otros objetos. El primer objeto más cercano a la cámara es el anillo de dona. El siguiente objeto a desempaquetar es la muñeca 1101. Se pueden ver los objetos 1105, 1107 y 1113 subyacentes a través de la muñeca 1101 semitransparente.

Se observa que la transparencia de un objeto en una representación es una elección del sistema que puede preconfigurarse o seleccionarse como un aspecto de la presente invención. La opacidad de la representación de un

5

10

15

20

25

30

35

40

45

50

55

objeto ilustra cómo un objeto oscurece a un objeto subyacente en una vista de cámara. La representación de un objeto como opaco o (semi) transparente se puede aplicar para ayudar a un inspector a ver los objetos que se desempaquetan. Debe quedar claro que tal transparencia de un objeto representado en una imagen no significa que el objeto real sea transparente.

El objeto 1109 oscurece parte del objeto 1111 y el objeto 1113 también oscurece parcialmente al 1111. Además, el objeto 1107 parcialmente oscurece al 1109.

El desempaquetado de los objetos ocurre en el orden de visibilidad u oclusión de tal manera que un objeto no se desempaqueta a través de otro objeto. El desempaquetado se realiza por orden de visibilidad según la dirección de visualización de la cámara descrita anteriormente, en lugar de crear una vista seleccionada instantánea, que puede crear una pérdida de contexto entre los objetos, especialmente si los objetos están segmentados incorrectamente. Los objetos que no ocluyen otros objetos en una determinada vista de cámara se desempaquetan antes que los objetos que están ocluidos en la vista de cámara. Si no existe un objeto no ocluido, el procesador en una realización de la presente invención elige un objeto basándose en una medida de la relación de oclusión.

Las Figs. 12-16 ilustran los pasos de desempaquetado. La Fig. 12 ilustra imágenes de una pluralidad de objetos en donde el objeto 1203 está más cerca del punto de vista y es opaco y el objeto 1201 está detrás de él. Otros objetos no están numerados, pero están indicados por sus patrones. Se puede determinar un orden de visibilidad aplicando los pasos que se proporcionaron anteriormente. Los patrones ilustran el orden de visibilidad y la complejidad de éstos.

En la Fig. 13 el objeto 1203 se desempaqueta y se mueve fuera de los objetos empaquetados. El siguiente objeto a desempaquetar es el 1201 como se ilustra en la FIG. 14. El objeto 1201 se mueve hacia la cámara en la FIG. 14. y parece haber aumentado de tamaño. En la Fig. 15 el objeto 1201 se ha colocado como un objeto desempaquetado fuera del resto de los objetos empaquetados.

El procesador continúa desempaquetando los objetos en orden de visibilidad. Los objetos desempaquetados están dispuestos de tal manera que su orientación permanece igual y permanecen en estado desempaquetado en una posición cercana a los objetos que estaban cerca en un estado empaquetado. Esto permite mantener al menos un contexto posicional entre los objetos desempaquetados. El conjunto completo de objetos desempaquetados se ilustra en la FIG. 16.

La Fig. 17 ilustra en diagrama de un sistema 1700 completo de inspección para equipaje que usa métodos para desempaquetar como se divulga en el presente documento. El sistema 1700 tiene un sistema 1702 de banda transportadora para recibir y transportar equipaje, tales como carteras, maletas, mochilas y similares tales como maletas 1704 y 1708 para colocarlos dentro de un escáner 1706 de imágenes 3D tal como un escáner CT. La pieza 1708 de equipaje está dentro del escáner 1708 y la banda 1702 transportadora está detenida para permitir que el escáner 1706 escanee 1708 dentro del escáner. El escáner 1706 genera datos de imágenes en 3D que son procesados por el ordenador basado en procesador 1710 de acuerdo con los métodos proporcionados en este documento. Una dirección de visualización preferida es preprogramada en el ordenador 1710 o es seleccionada por un inspector, por ejemplo, con un dispositivo 1714 de entrada que puede ser un ratón.

Una secuencia de imágenes e imágenes de desempaquetado de los objetos desempaquetados dentro de la pieza de equipaje 1708 se visualiza en una pantalla 1712 de ordenador. El inspector puede proporcionar instrucciones, por ejemplo, a través del dispositivo 1714 de entrada para cambiar una dirección de visualización o invertir un desempaquetado en un reempaquetado animado de los objetos o para inspeccionar una o más de las imágenes de los objetos con mayor detalle, por ejemplo, acercándose a una imagen. Una vez que se completa la inspección, el inspector puede ordenar que el equipaje 1708 se tome y se abra para una inspección adicional. El inspector también puede declarar el equipaje 1708 de no interés y mover la banda transportadora para colocar el siguiente ítem 1704 de equipaje dentro del escáner 1708 para el desempaquetado virtual. EL ordenador y el sistema de visualización no tienen que ubicarse cerca del escáner, pero pueden ubicarse en cualquier lugar siempre que haya acceso a los datos del escáner. Adicionalmente, se proporciona una conexión desde el ordenador a la banda transportadora o al personal en la banda transportadora para retirar el equipaje de interés o para indicarle a la banda transportadora que se mueva. Además, se proporciona una cámara 1714 conectada para proporcionar información adicional sobre el equipaje y la escena del equipaje para el inspector o para que el sistema reconozca si una pieza de equipaje está en la banda transportadora.

Los objetos o imágenes de los objetos desempaquetados en una realización de la presente invención se almacenan en una memoria como mapas de bits individuales. Un mapa de bits puede recuperarse individualmente de la memoria y mostrarse en una pantalla individualmente, por ejemplo, para su inspección. Los mapas de bits también permiten volver a empaquetar la pluralidad de objetos, ya que el procesador almacenará y tendrá acceso al orden de visibilidad y al orden de desempaquetado. El procesador puede volver a empaquetar los objetos en orden inverso en comparación con el desempaquetado.

En una realización de la presente invención, el desempaquetado virtual en una pantalla tiene lugar en al menos una dirección relacionada con la dirección de visualización de una cámara virtual que observa (y registra) el desempaquetado, que es la dirección de visualización de un espectador mirando el desempaquetado, por ejemplo,

5

10

15

20

25

30

una pantalla de ordenador. El desempaquetado en una realización de la presente invención tiene lugar en una dirección opuesta a la dirección de visualización o hacia el observador. Esto se ajusta con la experiencia natural de desempaquetar una maleta donde los ítems son levantados en general fuera de la maleta por una persona hacia la persona, por ejemplo, antes de colocarlos al costado de la maleta.

De acuerdo con un aspecto adicional de la presente invención, los objetos son virtualmente desempaquetados automáticamente en un orden de visibilidad moviendo un objeto primero hacia la cámara (o espectador) y luego se colocan en un punto en la pantalla fuera de la colección del resto objetos empaquetados. Preferiblemente, los objetos que se desempaquetan se colocan en una trayectoria o curva en su lugar fuera de la maleta, para hacer que el desempaquetado virtual sea lo más natural posible. Debe entenderse que diferentes realizaciones son posibles y están totalmente contempladas. Por ejemplo, un objeto que se está desempaquetando puede moverse virtualmente hacia el espectador. Puede mantenerse en su lugar, tal vez bloqueando la vista de los otros objetos, para su inspección durante un cierto período y luego se mueve a su lugar fuera de la imagen de la maleta. Se puede mover suavemente a su punto. También puede desaparecer de su punto actual y aparecer de repente en su punto designado.

En una realización de la presente invención, se puede proporcionar una dirección de desempaquetado que no sea opuesta a la dirección de visualización. Por ejemplo, uno puede seleccionar una dirección de desempaquetado que sea perpendicular a la dirección de visualización, o cualquier otra dirección que se considere útil. En ese caso, un objeto se mueve primero a la dirección de desempaquetado seleccionada y luego se mueve al punto requerido.

En una realización de la presente invención, se selecciona una dirección de desempaquetado que está relacionada con una dirección de visualización. En otra realización de la presente invención, se selecciona una dirección de desempaquetado con relación a las dimensiones del equipaje. Por ejemplo, la dirección de desempaquetado puede ser perpendicular a la superficie más grande de una maleta.

En una realización de la presente invención, el desempaquetado virtual es completamente automático y no se requiere intervención humana. No se requiere el marcado de objetos. El procesador realiza todos los pasos en el momento en que estén disponibles los datos volumétricos de los objetos empaquetados. En una realización adicional de la presente invención, se permite que la intervención humana detenga o acelere el desempaquetado para eliminar ciertos objetos de la vista o para seleccionar un objeto o una capa de objetos para desempaquetar. Por ejemplo, un inspector puede presentar objetos en un estado segmentado, pero aún empaquetados como transparentes si se cree que un objeto de interés está ubicado entre capas de otros objetos. El inspector también puede eliminar las capas oscuras de los objetos haciéndolos 100% transparentes para enfocarse en desempaquetar una o más capas de interés.

Claims

5

10

15

20

25

30

35

40

REIVINDICACIONES

1. Un método para desempaquetar virtualmente el equipaje, que comprende:

un escáner que obtiene datos volumétricos tridimensionales (3D) de una pluralidad de objetos en un estado empaquetado dentro del equipaje;

un procesador que procesa los datos volumétricos 3D para segmentar la pluralidad de objetos en el estado empaquetado en una pluralidad de objetos de volumen 3D correspondientes a la pluralidad de objetos empaquetados;

y

el procesador representa cada uno de la pluralidad de objetos de volumen 3D en un estado desempaquetado para mostrarse simultáneamente en una pantalla; en el que los objetos en el estado empaquetado se desempaquetan en un orden basado en un estado de oclusión de los objetos empaquetados con relación a una dirección de visualización utilizada para visualizar los objetos empaquetados; donde el desempaque se visualiza mostrando una transición animada de cada objeto volando desde su posición original a un destino de desempaquetado.
2. El método de la reivindicación 1, en el que una imagen representada de cada uno de la pluralidad de objetos de volumen 3D desempaquetados se almacena en una memoria como un mapa de bits individualmente recuperable.
3. El método de la reivindicación 1, que además comprende:

el procesador que segmenta la pluralidad de objetos empaquetados de los datos volumétricos 3D para crear una pluralidad de volúmenes de etiquetas binarias que corresponden a los objetos empaquetados;

y el procesador que combina los volúmenes binarios para formar un volumen de etiqueta con un vóxel que almacena un valor de identificación (ID) de un volumen de etiqueta binaria correspondiente.
4. El método de la reivindicación 1, que comprende, además:

el procesador genera una asignación de colores para cada objeto segmentado al calcular un mapa de interferencia a partir de imágenes de identificación de objetos (ID).
5. El método de la reivindicación 4, en el que el mapa de interferencia se calcula mediante el procesador a través de un filtrado 2D evaluando la expresión:

con

pA y pB que representan píxeles en una imagen proyectada desde las caras frontales de los objetos A y B respectivamente,

dist(pA, pB) representa una distancia entre los dos píxeles en el espacio de imagen,

DT es un umbral de distancia predeterminado, capa (p) representa un índice de capa de píxel p, y LT restringe el cálculo a capas LT, y

utilizando un algoritmo de coloreado de gráficos para asignar un tono diferente a cada objeto que interfiere en el mapa de interferencia.
6. El método de la reivindicación 4, que además comprende:

el procesador aplica las imágenes de ID de objeto de una pluralidad de objetos segmentados para determinar un orden de desempaquetado basado en una relación de oclusión de cada objeto desde una dirección de visualización dada.
7. El método de la reivindicación 1, en el que una escena de desempaquetado se representa accediendo al menos a tres capas de representación, en donde

una primera capa que contiene una imagen representada de todos los objetos que están en un estado empaquetado;

una segunda capa que contiene una imagen representada de un objeto que se desempaqueta; y

una tercera capa que contiene imágenes representadas de mapas de bits de objetos desempaquetados.

imagen1

imagen2

layer(pA) < LT/Jayer(pB) < Li

5

10

15

20

25

30

35

40
8. Un sistema para visualizar el desempaquetado virtual del equipaje que contiene una pluralidad de objetos en un estado empaquetado, que comprende:

un escáner de equipaje para obtener datos volumétricos tridimensionales (3D) de la pluralidad de objetos en el estado empaquetado dentro del equipaje;

una memoria habilitada para almacenar datos e instrucciones;

un procesador habilitado para acceder a la memoria para obtener datos e instrucciones, el procesador habilitado para ejecutar instrucciones para realizar los pasos:

acceder a los datos volumétricos 3D generados por el escáner de equipaje;

procesar los datos volumétricos 3D para segmentar la pluralidad de objetos en el estado empaquetado en una pluralidad de objetos de volumen 3D correspondientes a la pluralidad de objetos empaquetados; y

representar cada uno de la pluralidad de objetos de volumen 3D en un estado desempaquetado para mostrarse simultáneamente en una pantalla; en donde la pluralidad de objetos en el estado empaquetado es desempaquetada por el procesador en un orden basado en un estado de oclusión de la pluralidad de objetos en estado empaquetado con relación a una dirección de visualización usada para visualizar los objetos empaquetados; donde el desempaque se visualiza mostrando una transición animada de cada objeto volando desde su posición original a un destino de desempaquetado.
9. El sistema de la reivindicación 8, que además comprende:

el procesador habilitado para segmentar la pluralidad de objetos en el estado empaquetado a partir de los datos volumétricos 3D para crear una pluralidad de volúmenes de etiquetas binarias correspondientes a la pluralidad de objetos en el estado empaquetado; y.

el procesador habilitado para combinar los volúmenes binarios para formar un volumen de etiqueta con un vóxel que almacena un valor de identificación (ID) del volumen de etiqueta binaria correspondiente.
10. El sistema de la reivindicación 8, que además comprende:

el procesador habilitado para generar una asignación de colores a cada objeto segmentado mediante el cálculo de un mapa de interferencia a partir de imágenes de identificación de objetos (ID).
11. El sistema de la reivindicación 10, que comprende, además:

el procesador habilitado para generar un mapa de interferencia a partir de imágenes de ID de objeto a través de un filtrado 2D mediante la evaluación de una expresión:

mili (DIST(Pa, Pb)) < DT .

fayer(pA) < LT alayer(pB) < LT

con

pA y pB que representan píxeles en una imagen proyectada desde las caras frontales de los objetos A y B respectivamente,

dist (pA, pB) representa una distancia entre los dos píxeles en el espacio de imagen,

DT es un umbral de distancia predeterminado, capa (p) representa un índice de capa de píxel p, y LT restringe el cálculo a capas LT, y

utilizando un algoritmo de coloreado de gráficos para asignar un tono diferente a cada objeto que interfiere en el mapa de interferencia.
12. El sistema de la reivindicación 10, que comprende, además:

el procesador habilitado para aplicar las imágenes de ID de objeto de la pluralidad de objetos segmentados para determinar un orden de desempaque basado en una relación de oclusión de cada objeto con respecto a una dirección de visualización.
13. El sistema de la reivindicación 8, que comprende además una pantalla para presentar el desempaquetado como una serie animada de imágenes.
14. El sistema de la reivindicación 8, que además comprende:

el procesador habilitado para representar una escena de desempaquetado accediendo al menos a tres capas de representación, en donde

una primera capa que contiene una imagen representada de todos los objetos que están en un estado empaquetado; 5 una segunda capa que contiene una imagen representada de un objeto que se desempaqueta; y

una tercera capa que contiene imágenes representadas de mapas de bits de objetos desempaquetados.
15. El sistema de la reivindicación 8, en el que las imágenes de objetos desempaquetados están animadas en un orden que muestra un reempaquetado de los objetos en el estado desempaquetado a la pluralidad de objetos en el estado empaquetado.

10