ES2809249T3

ES2809249T3 - Método y sistema de imagen 3D

Info

Publication number: ES2809249T3
Application number: ES14754127T
Authority: ES
Inventors: Peyman Moghadam
Original assignee: Commonwealth Scientific and Industrial Research Organization CSIRO
Current assignee: Commonwealth Scientific and Industrial Research Organization CSIRO
Priority date: 2013-02-25
Filing date: 2014-02-25
Publication date: 2021-03-03
Anticipated expiration: 2034-02-25
Also published as: EP2959459A4; US9986176B2; AU2014218525A1; US20160006951A1; CN105144238A; EP2959459A1; CN105144238B; WO2014127431A1; EP2959459B1; AU2014218525B2

Abstract

Un sistema para generar un modelo tridimensional de un objeto, el sistema que incluye: un dispositivo de formación de imágenes de mano portátil que incluye: una carcasa; una pluralidad de sensores unidos a la carcasa; al menos un dispositivo de procesamiento electrónico acoplado a la pluralidad de sensores, en donde el dispositivo de procesamiento electrónico: determina a partir de la pluralidad de sensores y mientras que el dispositivo de imagen está en al menos dos posturas diferentes con respecto al objeto: datos de proximidad indicativos de la proximidad del objeto; datos térmicos por infrarrojos indicativos de una imagen térmica por infrarrojos del objeto; genera un modelo tridimensional en base, al menos parcialmente, a los datos de proximidad de las al menos dos posturas diferentes; determina los datos del modelo: seleccionando una parte de la superficie del objeto; identificando las imágenes de la parte de la superficie del objeto seleccionado mientras el dispositivo de imagen está en al menos dos posturas diferentes con respecto al objeto; identificando al menos un píxel de imagen correspondiente a la parte de la superficie del objeto seleccionada para cada imagen identificada; determinando una suma ponderada de los datos asociados con los píxeles identificados usando una puntuación de confianza asociada con los píxeles identificados, en donde para una imagen térmica por infrarrojos la puntuación de confianza se determina en base a un valor de temperatura asociado con los píxeles identificados; usando la suma ponderada de datos asociados con los píxeles identificados para determinar los datos del modelo; y, asocia los datos del modelo derivados de los datos térmicos por infrarrojos de las al menos dos posturas diferentes con el modelo tridimensional para proporcionar por ello un modelo térmico por infrarrojos tridimensional del objeto.

Description

DESCRIPCIÓN

Método y sistema de imagen 3D

Campo de la invención

La presente invención se refiere a formación de imágenes tridimensionales. En particular, aunque no exclusivamente, la invención se refiere a un sistema y a un método para formación de imágenes tridimensionales que utilizan datos de imágenes térmicas por infrarrojos.

Antecedentes de la invención

La referencia en esta especificación a cualquier publicación anterior (o información derivada de ella), o a cualquier materia que se conozca, no es, y no se debería tomar como un reconocimiento o admisión o cualquier forma de sugerencia de que la publicación anterior (o la información derivada de ella) o la materia conocida forma parte del conocimiento general común en el campo del empeño al que se refiere esta especificación.

La sostenibilidad energética es un desafío importante del siglo XXI frente al cambio climático. Con el fin de reducir el impacto ambiental, tal como las emisiones de gases de efecto invernadero, se requieren cambios no solo en el lado de la cadena energética, sino también en el lado de la demanda para reducir el uso de energía y mejorar la eficiencia energética.

Por lo tanto, a menudo se requiere una auditoría energética para evaluar la eficiencia energética de los edificios. La formación de imágenes térmica por infrarrojos se usa para las valoraciones de auditoría energética, en las que se analiza el flujo de energía con el propósito de identificar las irregularidades térmicas por infrarrojos, tales como defectos térmicos por infrarrojos, fugas de aire, pérdidas de calor y puentes térmicos por infrarrojos, desperdicio de energía e ineficiencia energética. Tales auditorías energéticas se basan en imágenes térmicas por infrarrojos bidimensionales de partes relevantes del edificio, como las calderas, las ventanas y otras áreas donde son comunes las ineficiencias energéticas.

Un sensor de imágenes térmicas por infrarrojos captura la radiación térmica por infrarrojos emitida o reflejada de los objetos y típicamente representa los datos térmicos por infrarrojos como una imagen de correlación de colores, o un grupo de tales imágenes. Los datos térmicos por infrarrojos se asignan a valores de color para simplificar la visualización de la radiación térmica por infrarrojos invisible de otro modo.

Un problema con tales sistemas de auditoría energética de la técnica anterior es que carecen de información sobre la ubicación y la orientación de los objetos unos con referencia a otros, particularmente a través de imágenes separadas. En general, los objetos discretos se ven por separado y no se consideran en el contexto de otros objetos. Un problema adicional con tales sistemas de auditoría energética de la técnica anterior es que la formación de imágenes térmicas por infrarrojos mide indirectamente la temperatura de un objeto capturando la radiación térmica por infrarrojos de una superficie del objeto. No obstante, la radiación térmica por infrarrojos capturada puede comprender una reflexión térmica por infrarrojos de otro objeto. El problema se exagera en ventanas y otros objetos que tienen una superficie “brillante”, en la medida que es más probable que se refleje la radiación térmica por infrarrojos.

La formación de imágenes térmicas por infrarrojos también ha demostrado ser una herramienta eficaz para diagnóstico médico. Las cámaras térmicas por infrarrojos son capaces de discernir patrones de temperatura anormales, lo que las hace útiles para el diagnóstico médico, el tratamiento, el examen y la monitorización general de la salud. Además, la formación de imágenes térmicas por infrarrojos no es invasiva, no requiere contacto con la piel y está libre de radiación. Las aplicaciones médicas de la formación de imágenes térmicas por infrarrojos incluyen la detección del cáncer de mama, la monitorización de la salud neonatal y la formación de imágenes neuronales. La formación de imágenes térmicas por infrarrojos médicas típicamente implica ver una imagen bidimensional de una persona (o de una parte de una persona). Un problema con la formación de imágenes térmicas por infrarrojos médicas de la técnica anterior es que los artefactos de la formación de imágenes a menudo están presentes en los bordes de los objetos, en objetos alejados del sensor o en áreas donde el ángulo de incidencia es grande. De manera similar, a menudo es difícil para un facultativo médico analizar una imagen térmica por infrarrojos bidimensional estática y comparar imágenes térmicas por infrarrojos tomadas en diferentes momentos, distancias y ángulos.

Ciertos sistemas han intentado superar algunos de estos problemas usando la formación de imágenes térmicas por infrarrojos tridimensionales. Tales sistemas utilizan típicamente una agrupación de sensores de térmicos por infrarrojos de posición fija, que juntos son capaces de generar un modelo térmico por infrarrojos tridimensional. Un problema con tales sistemas es que son costosos, en la medida que se requieren varios sensores térmicos por infrarrojos. Otro problema con tales sistemas es que son incapaces de correlacionar estructuras dimensionadas arbitrariamente. Esto puede, por ejemplo, dar como resultado que se requiera una configuración diferente para el análisis de cuerpo completo que para el análisis de una parte del cuerpo más pequeña, tal como un pie.

Aún un problema adicional de los sistemas médicos de formación de imágenes térmicas por infrarrojos de la técnica anterior es que pueden necesitar ser reposicionadas y recalibradas en varias ubicaciones alrededor del paciente con el fin de tomar múltiples vistas. La calibración de estos sistemas también es compleja y generalmente requiere la experiencia de un ingeniero capacitado. El documento “4D thermal imaging system for medical applications” de Karolj Skala et al. “presenta el desarrollo de un sistema de termografía en 4D a través de la integración del escaneo dinámico en 3D y la formación termográfica de imágenes”.

Un problema general con la formación de imágenes térmicas por infrarrojos de la técnica anterior es que los datos de imágenes térmicas por infrarrojos a menudo varían dependiendo del ángulo y de la distancia entre el objeto y la cámara durante la captura. Esto impide mediciones cuantitativas y repetibles a menos que la monitorización se realice exactamente en la misma posición y ángulo con respecto al objeto en diferentes momentos.

Por consiguiente, hay una necesidad de un método y un sistema mejorado de formación imágenes tridimensionales. Compendio de la invención

La presente invención busca dotar a los consumidores con mejoras y ventajas sobre la técnica anterior descrita anteriormente, y/o superar y aliviar una o más de las desventajas descritas anteriormente de la técnica anterior, y/o proporcionar una opción comercial útil.

Según un aspecto, la presente invención busca proporcionar un sistema para generar un modelo tridimensional de un objeto según la reivindicación 1.

Típicamente, el dispositivo de procesamiento electrónico:

a) determina datos de color indicativos de una imagen visible del objeto; y

b) asocia los datos del modelo derivados de los datos de imágenes visibles de al menos dos posturas diferentes con el modelo tridimensional para proporcionar por ello un modelo de color tridimensional del objeto.

Típicamente, el dispositivo de procesamiento electrónico genera un modelo térmico por infrarrojos y de colores fusionado tridimensional del objeto.

Típicamente, el sistema incluye:

a) un sensor de proximidad unido a la carcasa que detecta la proximidad del objeto:

b) un sensor de imágenes de luz visible unido a la carcasa que detecta una imagen visible del objeto; y c) un sensor de imágenes térmicas por infrarrojos unido a la carcasa que detecta una imagen térmica por infrarrojos del objeto.

Típicamente el dispositivo de procesamiento electrónico:

a) determina una postura relativa del dispositivo de mano; y,

b) usa la postura relativa para generar el modelo tridimensional.

Típicamente, el dispositivo de procesamiento electrónico determina la postura relativa del dispositivo de mano usando al menos uno de entre los datos de proximidad, los datos de imágenes y los datos térmicos por infrarrojos de al menos algunas de las diferentes posturas.

Típicamente el dispositivo de procesamiento electrónico:

a) estima un desfase temporal entre el sensor de proximidad y al menos uno de un sensor de imágenes térmicas por infrarrojos y un sensor de imágenes de luz visible; y

b) estima una postura asociada con los datos de imágenes y/o los datos térmicos por infrarrojos en base al desfase.

Típicamente el dispositivo de procesamiento electrónico:

a) determina una postura de dispositivo usando al menos uno de entre los sensores de proximidad y un sensor de postura;

b) determina una trayectoria de movimiento del dispositivo de mano;

c) determina una postura de sensor de imágenes de luz visible y una postura de sensor de imágenes térmicas por infrarrojos en base a la postura del dispositivo y a la trayectoria del movimiento.

Típicamente, el sistema incluye un sensor de postura y en donde el dispositivo de procesamiento electrónico determina la postura relativa usando datos de postura del sensor de postura.

Típicamente, el sensor de postura es al menos uno de un sensor de orientación y una unidad de medición inercial. Típicamente, para una imagen térmica por infrarrojos, los datos del modelo incluyen datos térmicos por infrarrojos del modelo indicativos de una temperatura y para una imagen visible, los datos del modelo incluyen datos de colores del modelo indicativos de un color.

Típicamente, el dispositivo de procesamiento electrónico asocia los datos con un píxel volumétrico en el modelo tridimensional correspondiente a la parte de la superficie del objeto seleccionado.

Típicamente, la parte de la superficie del objeto seleccionada es un vértice.

Típicamente, el dispositivo de procesamiento electrónico determina la puntuación de confianza en base a factores que incluyen al menos uno de:

a) la velocidad de un sensor cuando se capturó la imagen;

b) una posición de uno o más píxeles en un campo de visión del sensor;

c) un ángulo entre un rayo y una superficie del objeto, el rayo se extiende desde la parte de la superficie del objeto hasta el sensor; y,

d) la proximidad cuando se capturó la imagen.

Según un aspecto, la presente invención busca proporcionar un método de generación de un modelo tridimensional de un objeto según la reivindicación 14.

Preferiblemente, asociar los datos de imágenes y los datos térmicos por infrarrojos con el modelo tridimensional comprende estimar un desfase temporal entre el sensor de proximidad y al menos uno de entre el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos, y estimar una postura asociada con los datos de imágenes y/o los datos térmicos por infrarrojos en base al desfase.

Preferiblemente, los datos térmicos por infrarrojos están asociados con el modelo tridimensional en base, al menos en parte, a un ángulo de incidencia. De manera adecuada, los datos térmicos por infrarrojos se asocian con el modelo tridimensional en base a, además, una distancia de captura, datos ambientales, tales como datos de temperatura o cualquier otro dato indicativo de la confianza de los datos térmicos por infrarrojos.

Preferiblemente, el dispositivo de formación de imágenes portátil comprende además un sensor de orientación. Preferiblemente, el sistema comprende además al menos un sensor ambiental, en donde los datos térmicos por infrarrojos se asocian con el modelo tridimensional en base a los datos del al menos un sensor ambiental. De manera adecuada, el al menos un sensor ambiental comprende un sensor de dióxido de carbono, un sensor de humedad y/o un sensor de temperatura.

Preferiblemente, el sistema comprende además un sensor de audio para grabar la voz de un operador durante la operación del sistema.

Preferiblemente, la carcasa del dispositivo de formación de imágenes portátil comprende una parte alargada, en donde el sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos están unidos a un extremo de la parte alargada.

Preferiblemente, la carcasa del dispositivo de formación de imágenes portátil comprende además un disparador para activar al menos uno del sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos.

Preferiblemente, el al menos un procesador está acoplado al sensor de proximidad, al sensor de imágenes de luz visible y al sensor de imágenes térmicas por infrarrojos del dispositivo de formación de imágenes portátil al menos en parte por un enlace de comunicación de datos inalámbrico.

Preferiblemente, el sensor de imágenes térmicas por infrarrojos comprende un sensor térmico por infrarrojos.

Preferiblemente, la memoria incluye además un código de instrucciones ejecutable por el procesador para: a) generar una imagen de salida correspondiente a una vista del modelo tridimensional, la imagen de salida que incluye al menos parte de los datos de imágenes asociados superpuestos en el modelo y al menos parte de los datos térmicos por infrarrojos asociados superpuestos en el modelo.

Preferiblemente, la imagen de salida se genera representando al menos parte de los datos de imágenes de luz visible asociados en una primera parte del modelo y al menos parte de los datos térmicos por infrarrojos asociados en una segunda parte del modelo.

Preferiblemente, el modelo tridimensional corresponde, al menos, a una parte del cuerpo de una persona y los datos de imágenes asociados incluyen los tonos de la piel de la persona.

Preferiblemente, la memoria incluye además un código de instrucciones ejecutable por el procesador para refinar el modelo tridimensional en base a los datos de imágenes y/o los datos térmicos por infrarrojos.

Preferiblemente, el dispositivo de formación de imágenes portátil incluye además un visualizador, para mostrar los datos capturados desde uno o más del sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos, en tiempo real a medida que se captura.

Según un segundo aspecto, la invención reside en un método de generación de un modelo tridimensional de un objeto, el método que incluye:

a) recibir, desde un sensor de proximidad, un sensor de imágenes de luz visible y un sensor de imágenes térmicas por infrarrojos, datos de proximidad, datos de imágenes y datos térmicos por infrarrojos, en donde el sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos tienen campos de visión superpuestos, y en donde los datos de proximidad, los datos de imágenes y los datos térmicos por infrarrojos corresponden cada uno a datos de al menos dos posiciones diferentes del sensor de proximidad, del sensor de imágenes de luz visible y del sensor de imágenes térmicas por infrarrojos;

b) generar un modelo tridimensional en base a los datos de proximidad; y

c) asociar los datos de los datos de imágenes y de los datos térmicos por infrarrojos, correspondientes a al menos dos posiciones diferentes, con el modelo tridimensional.

Preferiblemente, las al menos dos posiciones diferentes comprenden posiciones arbitrarias, en donde al menos una parte de un objeto visible en una primera posición de las al menos dos posiciones diferentes es visible en una segunda posición de las al menos dos posiciones.

Preferiblemente, las posiciones arbitrarias comprenden vistas superpuestas causadas por el movimiento del sensor de proximidad, del sensor de imágenes de luz visible y del sensor de imágenes térmicas por infrarrojos a través del objeto.

Preferiblemente, el método comprende además la generación de una imagen de salida que corresponde a una vista del modelo tridimensional, la imagen de salida que incluye al menos parte de los datos de imagen asociados superpuestos en el modelo y al menos parte de los datos térmicos por infrarrojos asociados superpuestos en el modelo.

Se apreciará que los diferentes aspectos de la invención y sus características respectivas se pueden usar conjuntamente o de manera intercambiable, y la referencia a ellos como aspectos separados no se pretende que sea limitante.

Breve descripción de los dibujos

Para ayudar en la comprensión de la invención y permitir que una persona experta en la técnica ponga en práctica la invención, se describen a continuación realizaciones preferidas de la invención a modo de ejemplo solamente con referencia a los dibujos que se acompañan, en los que:

la FIG. 1 ilustra un sistema para generar un modelo de un objeto, según una realización de la presente invención; la FIG. 2a ilustra una vista en perspectiva de un dispositivo de formación de imágenes portátil del sistema de la FIG. 1;

la FIG. 2b ilustra una vista lateral del dispositivo de formación de imágenes portátil de la FIG. 2a;

la FIG. 3a ilustra una vista en perspectiva de un dispositivo de formación de imágenes portátil, según una realización alternativa de la presente invención;

la FIG. 3b ilustra una vista lateral del dispositivo de formación de imágenes portátil de la FIG. 3a;

la FIG. 4 ilustra esquemáticamente un sistema para generar un modelo de un objeto, según una realización de la presente invención.

la FIG. 5 ilustra una captura de pantalla de un visualizador del sistema de la FIG. 1, que ilustra una representación de un modelo tridimensional con datos de imágenes y datos térmicos por infrarrojos;

la FIG. 6 ilustra esquemáticamente el aparato informático del sistema de la FIG. 1, según una realización de la presente invención; y

la FIG. 7 ilustra un método de generación de un modelo tridimensional de un objeto, según una realización de la presente invención.

Los expertos en la técnica apreciarán que las pequeñas desviaciones del diseño de los componentes, que se ilustran en los dibujos, no restarán valor a un funcionamiento adecuado en las realizaciones descritas de la presente invención.

Descripción detallada de la invención

Las realizaciones de la presente invención comprenden dispositivos y métodos de formación de imágenes tridimensionales. Los elementos de la invención se ilustran en forma esbozada concisa en los dibujos, mostrando solamente aquellos detalles específicos que son necesarios para la comprensión de las realizaciones de la presente invención, pero no para embarullar la descripción con un detalle excesivo que será obvio para los expertos ordinarios en la técnica a la luz de la presente descripción.

En esta especificación de patente, adjetivos tales como primero y segundo, izquierdo y derecho, frontal y posterior, superior e inferior, etc., se usan únicamente para definir un elemento o paso del método de otro elemento o paso del método, sin requerir necesariamente una posición relativa específica o una secuencia que se describe por los adjetivos. Palabras como “comprende” o “incluye” no se usan para definir un conjunto exclusivo de elementos o de pasos del método. Más bien, tales palabras meramente definen un conjunto mínimo de elementos o de pasos del método incluidos en una realización particular de la presente invención.

Según un aspecto, la invención busca proporcionar un sistema para generar un modelo tridimensional de un objeto, el sistema que incluye: un dispositivo de formación de imágenes de mano portátil que incluye: una carcasa; una pluralidad de sensores unidos a la carcasa; al menos un dispositivo de procesamiento electrónico acoplado a la pluralidad de sensores, en donde el dispositivo de procesamiento electrónico: determina, a partir de la pluralidad de sensores y mientras que el dispositivo de formación de imágenes está en al menos dos posturas diferentes en relación con el objeto: datos de proximidad indicativos de la proximidad del objeto; datos térmicos por infrarrojos indicativos de una imagen térmica por infrarrojos del objeto; genera un modelo tridimensional en base a al menos parcialmente en los datos de proximidad de al menos dos posturas diferentes; y asocia los datos del modelo derivados a partir de los datos térmicos por infrarrojos de las al menos dos posturas diferentes con el modelo tridimensional para proporcionar por ello un modelo térmico por infrarrojos tridimensional del objeto.

Según un aspecto, la invención reside en un sistema para generar un modelo tridimensional de un objeto, el sistema que incluye: un dispositivo de formación de imágenes portátil que incluye: una carcasa; un sensor de proximidad unido a la carcasa; un sensor de imágenes de luz visible unido a la carcasa; y un sensor de imágenes térmicas por infrarrojos unido a la carcasa, en donde el sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos tienen campos de visión superpuestos; al menos un procesador acoplado al sensor de proximidad, al sensor de imágenes de luz visible y al sensor de imágenes térmicas por infrarrojos del dispositivo de formación de imágenes portátil; y una memoria, acoplada al por lo menos un procesador, que incluye un código de instrucciones ejecutable por el procesador para: recibir datos de proximidad a partir del sensor de proximidad, datos de imágenes del sensor de imágenes de luz visible, y datos térmicos por infrarrojos del sensor térmico por infrarrojos; generar un modelo tridimensional en base a los datos de proximidad capturados desde varias posiciones; y asociar los datos de los datos de imágenes y de los datos térmicos por infrarrojos de al menos dos posiciones con el modelo tridimensional.

Las ventajas de algunas realizaciones de la presente invención pueden incluir la capacidad de generar un modelo tridimensional holístico y geométricamente preciso de un objeto que incluye datos de imágenes térmicas por infrarrojos y opcionalmente visibles, sin requerir hardware complejo y/o caro. Tales modelos tridimensionales se pueden adquirir en diferentes momentos y ser alineados y comparados para detectar cualquier cambio espaciotemporal.

La presente invención busca proporcionar una precisión mejorada de los datos térmicos por infrarrojos, particularmente donde están presentes objetos reflectantes u otros factores que, de otro modo, causarían artefactos o errores en los datos térmicos por infrarrojos. La precisión de los datos térmicos por infrarrojos se puede mejorar dado que los datos térmicos por infrarrojos se pueden capturar desde varios ángulos y distancias, y solamente se pueden seleccionar datos térmicos por infrarrojos con poca o ninguna reflexión o ruido térmico por infrarrojos.

La presente invención también puede permitir una rápida visualización tridimensional de la información térmica por infrarrojos, lo cual es particularmente ventajoso, por ejemplo, en el contexto de la gestión y respuesta a incendios, así como dentro de una inspección eléctrica, mecánica o estructural de un edificio.

El modelo tridimensional proporciona una oportunidad para que un usuario investigue y detecte anomalías térmicas por infrarrojos de un elemento u objeto, en un contexto de su entorno. Tales modelos tridimensionales se pueden utilizar por los inspectores para monitorizar las irregularidades térmicas por infrarrojos no visibles de edificios, o por los facultativos médicos para identificar anomalías térmicas por infrarrojos en el cuerpo del paciente.

Según ciertas realizaciones, los datos de imágenes y térmicos por infrarrojos se pueden ver juntos en un único modelo, lo que permite una localización más precisa de problemas. Por ejemplo, en un contexto de mantenimiento eléctrico, la presente invención permite a un usuario determinar cuál de muchas conexiones eléctricas se está calentando anormalmente debido a una conexión defectuosa. Los datos de imágenes permiten al usuario ver un texto o una etiqueta basada en colores, mientras que los datos térmicos por infrarrojos se pueden usar para detectar los flujos de calor causados por el fallo. De manera similar, los tubos y cables codificados por colores se pueden identificar mediante los datos de imágenes.

Además, las realizaciones de la presente invención son capaces de operar en la oscuridad, lo cual es ventajoso cuando se pide un análisis nocturno explícito por aplicaciones tales como la auditoría energética de edificios. Además, los pacientes pueden preferir ser escaneados en la oscuridad en lugar de en una habitación luminosa. De este modo, se apreciará que no se requiere necesariamente la recopilación de información de imágenes visibles, dependiendo de las circunstancias en las que se ha de usar el sistema.

Finalmente, las realizaciones de la presente invención no requieren necesariamente un dispositivo de seguimiento externo con el fin de estimar con precisión una postura del dispositivo, y se pueden implementar usando componentes simples, disponibles comercialmente, aunque opcionalmente se puede usar un seguimiento externo para mejorar la determinación de la postura, por ejemplo, en el caso de que se requiera una correlación térmica por infrarrojos de alta resolución, por ejemplo, en aplicaciones médicas.

La FIG. 1 ilustra un sistema 100 para generar un modelo de un objeto, según una realización de la presente invención. El sistema 100 se puede usar para diversos propósitos, tales como la monitorización de la eficiencia energética, la valoración estructural, mecánica y eléctrica no destructiva, la monitorización de la construcción, la detección de incendios, por parte del personal de primera respuesta cuando se analiza un escenario de emergencia y en el diagnóstico médico no invasivo.

El sistema 100 incluye un dispositivo de formación de imágenes portátil 105, para capturar imágenes del objeto desde diversas perspectivas ventajosamente superpuestas.

El dispositivo de formación de imágenes portátil 105 incluye un sensor de proximidad 110, un sensor de imágenes de luz visible 115 y un sensor de imágenes térmicas por infrarrojos 120. El sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120 están unidos de manera fija a una carcasa del dispositivo de formación de imágenes portátil 105 en una relación separada, y están dirigidos a una dirección común. Por consiguiente, en uso, el sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120 capturan sustancialmente la misma vista del objeto; no obstante, como se describe además a continuación, no se requiere sincronización hardware de los sensores 110, 115 y 120. Además, mientras que se muestran tres sensores físicos discretos, esto no es esencial y, de manera alternativa, se pueden usar dos o más sensores. Por ejemplo, se puede usar solamente un sensor de proximidad y térmico por infrarrojos si no se requiere detección de imágenes visibles. De manera alternativa, en el caso de que se usen sensores de doble propósito, puede que no se requieran tres sensores, por ejemplo, en el caso de que el sensor de proximidad también sea capaz de detectar una imagen visible, por ejemplo, si se usa detección de proximidad estereoscópica, entonces pueden no ser requeridos un sensor de proximidad y un sensor visible por separado.

El sensor de imágenes de luz visible 115 determina datos de colores, tales como datos RGB, indicativos de una imagen visible del objeto y típicamente es capaz de detectar luz que es visible para el sistema visual humano, por ejemplo, con longitudes de onda de alrededor de 390 nm a 700 nm y, en particular, una imagen visible. El sensor térmico por infrarrojos 120 está diseñado para determinar datos térmicos por infrarrojos indicativos de una imagen térmica por infrarrojos del objeto y, en particular, para detectar la radiación térmica por infrarrojos más allá del espectro visible, tal como longitudes de onda de entre 8 gm y 14 gm. La radiación térmica por infrarrojos en esta parte del espectro electromagnético se emite desde los objetos en base a sus temperaturas. El sensor térmico por infrarrojos 120 puede capturar esta radiación térmica por infrarrojos y estimar la temperatura de la superficie de los objetos en base a la misma. El sensor de proximidad 110 puede determinar datos de proximidad indicativos de la proximidad del objeto, y puede ser uno de una variedad de sensores de proximidad electromagnéticos o ultrasónicos disponibles comercialmente, que son bien conocidos en la técnica. El sensor de imágenes de luz visible 115 puede ser una cámara estándar, como es bien conocido en la técnica. Un ejemplo del sensor térmico por infrarrojos 120 es la cámara Thermoteknix Miricle 307K de Thermoteknix Systems Ltd., Cambridge, Reino Unido. No obstante, se pueden usar otros tipos de sensores de térmicos por infrarrojos.

La carcasa del dispositivo de formación de imágenes portátil 105 incluye además un disparador 125 para activar la captura de datos desde el dispositivo de formación de imágenes portátil 105. Típicamente, en uso, el usuario presiona el disparador 125 para activar la captura de datos, y presiona el disparador 125 de nuevo para desactivar la captura de datos. De manera alternativa, el usuario mantiene presionado el disparador 125 para activar la captura de datos, y libera el disparador 125 para desactivar la captura de datos.

De cualquier manera, los datos se pueden capturar mientras se mueve el dispositivo de formación de imágenes portátil 105 alrededor del objeto, capturando de este modo una secuencia de imágenes del objeto desde diferentes ángulos y/o posiciones. No obstante, como comprenderá el destinatario experto, el dispositivo de formación de imágenes portátil 105 se puede usar para capturar imágenes discretas térmicas por infrarrojos y/o de luz visible del objeto desde diferentes ángulos presionando manualmente el disparador 125 en diferentes puntos.

El dispositivo de formación de imágenes portátil 105 está conectado a un aparato informático 130, a través de un cable de señal 135. No obstante, como se comprenderá fácilmente por el destinatario experto, el cable de señal 135 se puede sustituir por una comunicación inalámbrica entre el dispositivo de formación de imágenes portátil 105 y el aparato informático 130. Ejemplos de técnicas de comunicación inalámbrica incluyen redes de área local inalámbricas (WLAN) según los estándares del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) 802.11, transmisiones de radio de onda corta tales como los estándares Bluetooth y comunicación de campo cercano en base a identificación por radiofrecuencia (RFID).

El aparato informático 130, descrito con más detalle a continuación, incluye al menos un procesador (no mostrado) y una memoria (no mostrada). El procesador está acoplado al sensor de proximidad 110, al sensor de imágenes de luz visible 115 y al sensor térmico por infrarrojos 120 por el cable de señal 135 y la interfaz de datos (no mostrada). La memoria incluye instrucciones para recibir una pluralidad de imágenes de proximidad del sensor de proximidad 110, una pluralidad de imágenes del sensor de imágenes de luz visible 115, y una pluralidad de imágenes térmicas por infrarrojos del sensor térmico por infrarrojos 120. Tras la recepción de las imágenes, se genera un modelo tridimensional en base a la pluralidad de imágenes de proximidad. Según ciertas realizaciones, las imágenes térmicas por infrarrojos del sensor térmico por infrarrojos 120 y/o las imágenes del sensor de imágenes de luz visible 115 se pueden usar adicionalmente para generar y/o refinar el modelo tridimensional.

Después de generar el modelo tridimensional, típicamente usando los datos de proximidad, los datos de la pluralidad de imágenes del sensor de imágenes de luz visible 115 y la pluralidad de imágenes térmicas por infrarrojos del sensor térmico por infrarrojos 120 se asocian con el modelo tridimensional. Esto puede, por ejemplo, comprender la asociación de los datos de imágenes y térmicos por infrarrojos a todos o a algunos puntos o partes del modelo tridimensional. Típicamente, esto implica la creación de datos del modelo, con los datos del modelo en base a los datos térmicos por infrarrojos y, opcionalmente, datos de colores para al menos dos posturas diferentes del dispositivo de mano, como se describirá con más detalle a continuación.

El sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120 generalmente requieren calibración geométrica y temporal uno con respecto a otro.

Los puntos de visión de cada uno de los sensores 110, 115, 120 del dispositivo de formación de imágenes portátil 105 son diferentes dado que están separados geométricamente. De este modo, la calibración geométrica se realiza para determinar las posiciones y orientaciones relativas entre los sensores 110, 115, 120, así como los parámetros internos de los sensores 110, 115, 120, tal como la distancia focal. Además, también se puede determinar una temporización relativa entre el sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120, si se requiere, por ejemplo, en el caso de que los sensores no usen una señal de reloj común cuando se capturan los datos.

Se determinan de este modo las posturas relativas (es decir, las posiciones y orientaciones) de los sensores 110, 115, 120. Esto se puede realizar en el momento de la fabricación, o periódicamente por el usuario si hay un riesgo de movimiento relativo entre los sensores 110, 115, 120.

Se puede usar cualquiera de las varias técnicas de calibración geométrica de imagen-proximidad conocidas en la técnica. Por ejemplo, un algoritmo de calibración geométrica de imagen-proximidad típicamente requiere que objetivos artificiales externos se observen simultáneamente desde los sensores de proximidad y de imágenes. Un patrón de tablero de ajedrez es un objetivo externo común. Ejemplos de tales técnicas de calibración geométrica de imagen-proximidad se describen en Q. Zhang y R. Pless, “Extrinsic calibration of a camera and laser range finder (improves camera calibration)”, en Actas de la Conferencia Internacional IEEE/RSJ sobre Robots y Sistemas Inteligentes, vol. 3, 2004, páginas 2301-2306, y R. Unnikrishnan y M. Hebert, “Fast extrinsic calibration of a laser rangefinder to a camera”, Instituto de Robótica, Universidad Carnegie Mellon, Tech. Rep. CMU RI-TR-05-09, 2005. De manera alternativa, se extrae un conjunto de correspondencias de características de escenario natural de los datos térmicos por infrarrojos, datos de imágenes visibles y datos de proximidad, respectivamente. Una vez que se conocen las correspondencias, la transformación rígida entre los dos marcos de referencia se puede determinar usando una optimización no lineal iterativa que minimiza la distancia entre los pares correspondientes. Finalmente, se generan transformaciones que tienen seis grados de libertad, transformando los datos térmicos por infrarrojos, los datos de proximidad y los datos de imágenes visibles a un sistema de coordenadas común, proporcionando de este modo las posturas relativas de los sensores 110, 115, 120.

Durante el uso, se puede determinar una postura relativa de cada uno de los sensores 110, 115, 120 a medida que el dispositivo de formación de imágenes portátil 105 se mueve alrededor de un objeto. Como los datos de los sensores 110, 115, 120 no se capturan necesariamente de una manera sincronizada, los datos de proximidad capturados usando el sensor de proximidad 110 pueden corresponder a una postura ligeramente diferente que los datos térmicos por infrarrojos capturados desde el sensor térmico por infrarrojos 120. Por lo tanto, una postura se genera a partir de los datos del sensor de proximidad, que luego se usan como base para estimar una postura correspondiente a los datos térmicos por infrarrojos y a los datos de imágenes visibles.

Específicamente, se seleccionan cuatro fotogramas de proximidad vecinos, dos inmediatamente anteriores a los datos térmicos por infrarrojos o de imágenes visibles en cuestión, y dos inmediatamente posteriores. Se ajusta una interpolación de trazado cúbica a cuatro posturas que corresponden a los cuatro fotogramas de proximidad vecinos, que representan la trayectoria tridimensional de movimiento del dispositivo de formación de imágenes portátil 105 a lo largo de este intervalo. La postura del dispositivo de formación de imágenes portátil 105 que corresponde al momento en que se capturaron los datos de imágenes térmicas por infrarrojos o visibles se estima usando una interpolación de trazado, que entonces se transforma en una postura del sensor 115, 120 pertinente usando las posiciones relativas de los sensores 110, 115, 120.

Por lo tanto, algunas partes del objeto durante el escaneo se pueden ocluir para los sensores 110, 115, 120. Según ciertas realizaciones, los puntos de proximidad del modelo tridimensional se proyectan primero en planos de imagen. Entonces se utiliza una búsqueda de los k vecinos más cercanos (KNN) para agrupar los puntos proyectados vecinos en base a su distancia al dispositivo de formación de imágenes portátil y al tamaño de la agrupación. Los puntos que tienen una gran distancia al centro de la agrupación se descartan entonces como valores atípicos y puntos potencialmente ocluidos.

Dependiendo del campo de visión de cada sensor 110, 115, 120, algunos puntos podrían estar fuera del campo de otros sensores 110, 115, 120 y, por lo tanto, pueden no ser capaces de tener una temperatura o color asignados. La captura de datos del sensor de proximidad 110, del sensor de imágenes de luz visible 115 y del sensor térmico por infrarrojos 120 no necesita estar sincronizada. En cambio, las posturas respectivas de las imágenes del sensor de imágenes de luz visible 115 y las imágenes térmicas por infrarrojos del sensor térmico por infrarrojos 120 se pueden determinar analizando una temporización relativa de las imágenes en comparación con las imágenes de proximidad, para las cuales se conoce el tiempo de captura, junto con un conocimiento predeterminado de las posturas relativas de los sensores 110, 115, 120. La postura relativa se genera interpolando entre posturas en base a una estimación del desfase de temporización entre los sensores 110, 115, 120.

La difusión de rayos promediada ponderada se puede usar entonces para proyectar los datos de las imágenes al modelo tridimensional, usando el conocimiento de la geometría de los sensores 110, 115, 120 del dispositivo de formación de imágenes portátil 105. Este proceso puede comprender colorear los píxeles volumétricos del modelo tridimensional, así como asignar valores de temperatura a cada píxel volumétrico desde múltiples vistas.

La precisión de los datos térmicos por infrarrojos se mejora a medida que el sensor térmico por infrarrojos 120 se mueve a través de la superficie de un objeto para obtener múltiples lecturas superpuestas. Las anomalías causadas por las reflexiones de las ventanas o de materiales brillantes, y los factores ambientales locales, tales como la humedad, se pueden compensar de este modo.

Según ciertas realizaciones, primero se crea un mapa de ocupación de píxeles volumétricos tridimensional no coloreado usando los datos de proximidad. El mapa de ocupación de píxeles volumétricos se convierte entonces en un modelo tridimensional denso usando el algoritmo de cubos de marcha, que más tarde se simplifica usando un algoritmo de colapso de borde de base cuadrática, cuyos algoritmos son bien conocidos en la técnica. Entonces se realiza una difusión de rayos ponderada para cada fotograma válido tanto del sensor térmico por infrarrojos 120 como del sensor de imágenes de luz visible 115, con el fin de asignar los datos de imagen visible y térmicos por infrarrojos a cada vértice en el modelo tridimensional.

Según ciertas realizaciones, los datos térmicos por infrarrojos se añaden selectivamente al modelo tridimensional, en base a un ángulo de incidencia, a una distancia entre el sensor térmico por infrarrojos 120 y la superficie, a los datos del sensor ambiental y/o a otros factores que influyen en la confianza de los datos térmicos por infrarrojos cuando se capturan. Además, una posición geométrica de los píxeles en la cámara puede ser un factor que influye en la confianza de los datos térmicos por infrarrojos, donde los píxeles situados hacia el centro de la cámara tienen una mayor confianza que los píxeles situados hacia las esquinas de la cámara. De este modo, se puede dar una mayor ponderación a los píxeles situados hacia el centro de la cámara durante la difusión de rayos.

Se puede proporcionar una mayor precisión de los datos térmicos por infrarrojos capturando los datos térmicos por infrarrojos desde varias posiciones y eligiendo selectivamente qué datos térmicos por infrarrojos se añaden al modelo tridimensional.

El modelo tridimensional se puede representar entonces en una pantalla 140 del dispositivo informático 130, que incluye detalles de la pluralidad de imágenes del sensor de imágenes de luz visible 115 y de la pluralidad de imágenes térmicas por infrarrojos del sensor térmico por infrarrojos 120. Como se trata con mayor detalle a continuación, los datos de imágenes de la pluralidad de imágenes del sensor de imágenes de luz visible 115 se pueden representar en el modelo tridimensional para proporcionar una apariencia natural o realista, mientras que los datos de la pluralidad de imágenes térmicas por infrarrojos del sensor térmico por infrarrojos 120 se pueden, por ejemplo, superponer sobre parte del modelo tridimensional para proporcionar información térmica por infrarrojos. El modelo tridimensional producido por el sistema 100 se puede usar para generar vistas sintéticas en cualquier ángulo o escala, lo que puede ayudar a un usuario, tal como un facultativo médico, a interpretar los resultados de manera más eficaz.

Después de que se hayan capturado los datos y se haya generado un modelo tridimensional, se muestran al usuario. Según ciertas realizaciones, el modelo tridimensional se muestra al usuario en tiempo real a medida que está siendo generado y/o refinado, permitiendo al usuario detener la captura de datos cuando se reciben suficientes datos.

El modelo tridimensional se presenta ventajosamente usando un realce térmico por infrarrojos, en donde los datos de imágenes visibles y los datos térmicos por infrarrojos se incorporan en una imagen de salida. No obstante, como se entenderá por el destinatario experto, se puede proporcionar cualquier método adecuado de presentación del modelo tridimensional junto con los datos de imágenes visibles y térmicos por infrarrojos.

El realce térmico por infrarrojos implica la aplicación de un esquema de ponderación en donde se proporcionan ponderaciones a los datos térmicos por infrarrojos y de imágenes visibles. En su forma más simple, los pesos son 0 o 1, en donde o bien los datos térmicos por infrarrojos o de imágenes visibles se muestra en una única parte de la imagen de salida, no obstante, también se pueden usar otras ponderaciones.

Según ciertas realizaciones, un realce térmico por infrarrojos se usa para ilustrar los extremos térmicos por infrarrojos. De este modo, los datos de imágenes visibles se representan en la imagen de salida donde los datos térmicos por infrarrojos están cerca del promedio, y los datos térmicos por infrarrojos se representan en la imagen de salida donde los datos térmicos por infrarrojos son extremos, tales como fuera de las desviaciones estándar dadas por encima o por debajo de un valor medio. Esto sirve al propósito de realzar las superficies “más calientes” y/o “más frías” con colores fuertes que los hacen muy destacados para un espectador humano, mientras que todavía se conservan los datos de color y textura para la mayoría del escenario.

En el campo médico, el uso de datos de imágenes visibles junto con datos térmicos por infrarrojos puede mejorar la identificación de anomalías presentando las irregularidades de la piel al usuario. En el entorno de la monitorización de energía, permite a los inspectores conocer qué datos térmicos por infrarrojos se relacionan con qué equipo, a través de imágenes de las etiquetas de los equipos y del color de la superficie, lo cual es especialmente útil cuando el usuario quiere usar imágenes generadas para tareas fuera de línea tales como, por ejemplo, crear informes de pérdida de energía que requieren el número de serie del equipo.

El realce térmico por infrarrojos también se puede aplicar para enfatizar los datos térmicos por infrarrojos en un intervalo particular, en lugar de solo los extremos. Esto se ilustra además a continuación en la FIG. 4.

Según ciertas realizaciones, se genera un primer modelo tridimensional en un primer punto de tiempo, y se genera un segundo modelo tridimensional en un segundo punto de tiempo. El primer y segundo modelos tridimensionales se alinean y se comparan. Esto puede incluir una superposición de los modelos tridimensionales, un mapa de diferencias generado para los datos de imágenes visibles y/o térmicos por infrarrojos, o una presentación de lado a lado de los modelos. Esto permite al usuario detectar cambios de térmicos por infrarrojos en un objeto a lo largo del tiempo.

La FIG. 2a ilustra una vista en perspectiva del dispositivo de formación de imágenes portátil 105. La FIG. 2b ilustra una vista lateral del dispositivo de formación de imágenes portátil 105.

Como se ha tratado anteriormente, el dispositivo de formación de imágenes portátil 105 incluye el sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120. El sensor de proximidad 110 está colocado en una carcasa encima y entre el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120. No obstante, como se comprenderá fácilmente por el destinatario experto, el sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120 se pueden colocar en cualquier disposición adecuada.

La carcasa del dispositivo de formación de imágenes portátil 105 incluye una parte de mango 205, en la cual se incorpora el disparador 125, y una parte alargada 210 de tipo barril, en el extremo de la cual se sitúan el sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor térmico por infrarrojos 120. Esto permite la operación ergonómica y de mano del dispositivo de formación de imágenes portátil 105 cuando se mueve alrededor del objeto, y da al dispositivo de formación de imágenes portátil 105 una forma de tipo pistola, lo que lo hace particularmente fácil de usar sin capacitación específica.

La FIG. 3a ilustra una vista en perspectiva de un dispositivo de formación de imágenes portátil 300, según una realización alternativa de la presente invención. La FIG. 3b ilustra una vista lateral del dispositivo de formación de imágenes portátil 300.

El dispositivo de formación de imágenes portátil 300 es similar al dispositivo de formación de imágenes portátil 105 de la FIG. 1. El dispositivo de formación de imágenes portátil 300 incluye además una pantalla de visualización 305 para mostrar la imagen capturada, por ejemplo, la imagen recibida desde el sensor de imágenes de luz visible 115. La pantalla de visualización 305 permite al usuario elegir como objetivo con mayor precisión las áreas del objeto y/o ver qué áreas del objeto se están escaneando actualmente. La pantalla de visualización 305 puede comprender un Visualizador de Cristal Líquido (LCD), por ejemplo, no obstante, también son adecuados otros diversos tipos de visualizador.

Según ciertas realizaciones, la captura de datos térmicos por infrarrojos se activa mediante el disparador 125, mientras que los datos de imágenes visibles y de proximidad se capturan continuamente. Esto se puede usar cuando el deslumbramiento y la reflexión térmica por infrarrojos son un problema, en la medida que el usuario puede seleccionar posturas que tengan un deslumbramiento mínimo en tiempo real viendo los datos térmicos por infrarrojos en la pantalla de visualización 305.

Según realizaciones alternativas (no mostradas), un sistema para generar un modelo del objeto se aloja en un dispositivo de formación de imágenes portátil similar al dispositivo de formación de imágenes portátil 300. En tal caso, los datos se pueden procesar y se puede generar el modelo tridimensional por el dispositivo de formación de imágenes portátil. El modelo tridimensional, con los datos de imágenes visibles y térmicos por infrarrojos superpuestos, se puede mostrar entonces en una pantalla del dispositivo de formación de imágenes portátil. Esto permite que el dispositivo de formación de imágenes portátil sea una entidad autónoma.

Según algunas realizaciones de la presente invención, un sensor de orientación opcional (no mostrado), tal como una unidad de medición inercial (IMU), se une al dispositivo de formación de imágenes portátil 105, 300. Tal sensor de orientación puede ayudar a procesar los datos de los sensores 110, 115, 120.

Según realizaciones adicionales, el sistema 100 o el dispositivo de formación de imágenes portátil 300 comprende un sensor ambiental (no mostrado). El sensor ambiental puede estimar y compensar cualquier impacto ambiental en las mediciones usando el sensor térmico por infrarrojos 120. Ejemplos de sensores ambientales incluyen un sensor de dióxido de carbono, un sensor de humedad y/o un sensor de temperatura.

Según realizaciones adicionales, el sistema 100 o el dispositivo de formación de imágenes portátil 300 incluye un sensor de audio (no mostrado). El sensor de audio permite al usuario anotar verbalmente el modelo del objeto con información semántica, tal como el estado de los objetos, añadir la hora y la fecha de la inspección o proporcionar más información acerca de un objeto bajo examen que no sea detectable o visible o bien por los sensores térmicos por infrarrojos o bien de imágenes de luz visible. La anotación se puede extraer entonces a partir de la voz grabada a texto y superponerse en el modelo 3D generado, por ejemplo, almacenando el texto como metadatos asociados con el modelo. El sensor de audio también se puede usar para proporcionar comandos de voz al sistema 100, por ejemplo, para permitir la activación por voz de la detección, o similares.

Según otras realizaciones adicionales de la presente invención, el dispositivo de formación de imágenes portátil 105, 300 se puede montar en una plataforma móvil para movimientos de control sutiles (tales como un robot móvil y/o brazo o endoscopios) y/o puede ser operado en remoto y/o estar programado previamente y/o ser movido de manera autónoma a diversas posturas alrededor del objeto para completar el modelo.

El modelo tridimensional se puede generar en base a la suposición de que el objeto no se mueve durante el escaneo y no se deforma. No obstante, los sujetos humanos se pueden mover ligeramente durante un período de escaneo lo cual puede causar efectos secundarios en el modelo 3D. Por consiguiente, el seguimiento del modelo deformable se puede emplear para estimar conjuntamente una forma variable en el tiempo y dinámica del objeto y su movimiento. Esta información se puede combinar con la reconstrucción de la superficie para proporcionar un modelo 3D más robusto del objeto, y en particular de las partes del cuerpo humano y/o animal.

La FIG. 4 ilustra esquemáticamente un sistema 400 para generar un modelo de un objeto, según una realización de la presente invención. El sistema 400 es similar al sistema 100, pero con la adición de sensores adicionales, como se describe a continuación.

El sistema 400 incluye un sensor de proximidad 405, un sensor de imagen 410 y un sensor térmico por infrarrojos 415 similar al sensor de proximidad 110, el sensor de imágenes de luz visible 115 y el sensor de imágenes térmico por infrarrojos 120 de la FIG. 1, acoplado a un procesador 420.

El sistema incluye además un micrófono 425 para capturar la voz de un usuario, y un sensor de temperatura 430 para medir la temperatura del entorno en el que está operando el sistema 400.

El sensor de temperatura 430 es un ejemplo de un sensor ambiental, y se pueden incluir otros sensores ambientales en el sistema 400, incluyendo, por ejemplo, un sensor de dióxido de carbono.

El sistema 400 incluye además una memoria 435, acoplada al procesador 420. La memoria 435 incluye código de instrucciones ejecutable por el procesador 420 para generar un modelo tridimensional basado en los datos de proximidad capturados desde varias posiciones y asociar los datos de los datos de imágenes visibles y los datos térmicos por infrarrojos, de al menos dos posiciones, con el modelo tridimensional. Los datos térmicos por infrarrojos se asocian con el modelo tridimensional en base a un ángulo de incidencia de los datos térmicos por infrarrojos, la distancia entre la cámara y el objeto durante la captura y los datos del sensor de temperatura 430.

Por consiguiente, el sistema 400 es capaz de seleccionar datos térmicos por infrarrojos que tienen valores de confianza altos, tales como los datos térmicos por infrarrojos que tienen un ángulo de incidencia bajo que se registran cerca del objeto y lejos de áreas de alta temperatura. De este modo, la reflexión térmica por infrarrojos y los errores en los datos térmicos por infrarrojos causados por el impacto ambiental local se pueden evitar en el modelo.

Como se ha tratado anteriormente, el usuario es capaz de anotar verbalmente el modelo del objeto con información semántica o proporcionar más información acerca de un objeto bajo examen, y tal información es capaz de ser capturada por el micrófono 425.

La FIG. 5 ilustra una captura de pantalla 500 de un visualizador del sistema 100, que ilustra una representación de un modelo tridimensional 505 con datos de imágenes visibles 510 y con datos térmicos por infrarrojos 515. El modelo tridimensional 505 corresponde a la parte superior del cuerpo de una persona, y la parte superior de la espalda de la persona se ve en la captura de pantalla 500.

Los datos de imágenes visibles 510 incluyen el tono de la piel 520, el color del pelo 525 y otros identificadores visuales de la persona. Por ejemplo, un tatuaje (no mostrado) o cicatrices (no mostradas) se pueden presentar en los datos de imágenes visibles 510.

Los datos térmicos por infrarrojos 515 comprenden datos térmicos por infrarrojos, que corresponden a la temperatura medida en la piel de la persona. Los datos térmicos por infrarrojos 515 se pueden codificar por colores, por ejemplo, donde el púrpura corresponde a aproximadamente 33.0 grados Celsius, el azul corresponde a aproximadamente 33.2 grados Celsius, el verde corresponde a aproximadamente 33.5 grados Celsius, el amarillo corresponde a aproximadamente 33.7 grados Celsius y el rojo corresponde a aproximadamente 34 grados Celsius. En el ejemplo proporcionado en la FIG. 5, los datos térmicos por infrarrojos 515 se representan en el modelo tridimensional cuando la temperatura de la piel está entre 33.0 y 34.0 grados Celsius. Para todas las temperaturas por debajo de este intervalo, se muestran los datos de imágenes visibles 510, que incluyen el tono de la piel 520. Por consiguiente, se pueden usar uno o más valores umbral para determinar si se han de mostrar o no los datos térmicos por infrarrojos.

Según ciertas realizaciones, un usuario del sistema 100 puede ajustar el intervalo de temperatura sobre el cual se superponen los datos térmicos por infrarrojos. En un escenario, el usuario puede elegir seleccionar representar datos térmicos por infrarrojos sobre todo el modelo tridimensional. En otro escenario, un usuario puede elegir representar un intervalo muy estrecho de datos térmicos por infrarrojos que corresponden a las temperaturas pico del objeto.

Como ejemplo, se considera que la persona representada en la captura de pantalla 500 tiene dolor crónico en el hombro derecho. De este modo, se puede reconocer claramente una asimetría en la temperatura de la piel, en particular en una parte superior derecha 530 que corresponde al hombro derecho.

Las variaciones en la temperatura de la superficie de la piel son pequeñas. Sin embargo, es evidente una asimetría en la distribución de calor, particularmente en la parte superior derecha 530, lo que sugiere que hay más sangre fluyendo hacia el hombro afectado (derecho).

La FIG. 6 ilustra esquemáticamente el aparato informático 130, según una realización de la presente invención. El aparato informático 130 incluye un procesador central 602, una memoria de sistema 604 y un bus de sistema 606 que acopla diversos componentes del sistema, incluyendo el acoplamiento de la memoria del sistema 604 al procesador central 602. El bus de sistema 606 puede ser cualquiera de varios tipos de estructuras de bus, incluyendo un bus de memoria o un controlador de memoria, un bus periférico y un bus local que usa cualquiera de una variedad de arquitecturas de bus. La estructura de la memoria del sistema 604 es bien conocida por los expertos en la técnica y puede incluir un sistema básico de entrada/salida (BIOS) almacenado en una memoria de solo lectura (ROM) y uno o más módulos de programa, tales como sistemas operativos, programas de aplicación y datos de programa almacenados en la memoria de acceso aleatorio (RAM).

El aparato informático 130 también puede incluir una variedad de unidades de interfaz y dispositivos para leer y escribir datos. En particular, el aparato informático 130 incluye una interfaz de disco duro 608 y una interfaz de memoria extraíble 610, que acoplan respectivamente una unidad de disco duro 612 y una unidad de memoria extraíble 614 al bus de sistema 606. Ejemplos de unidades de memoria extraíbles 614 incluyen unidades de disco magnético y unidades de disco óptico. Las unidades y sus medios legibles por ordenador asociados, tales como un Disco Digital Versátil (DVD) 616, proporcionan un almacenamiento no volátil de las instrucciones legibles por ordenador, de las estructuras de datos, de los módulos de programa y de otros datos para el sistema informático 600. Una única unidad de disco duro 612 y una única unidad de memoria extraíble 614 se muestran con propósitos de ilustración solamente y con el entendimiento de que el aparato informático 130 puede incluir varias unidades similares. Además, el aparato informático 130 puede incluir unidades para interactuar con otros tipos de medios legibles por ordenador.

El aparato informático 130 puede incluir interfaces adicionales para conectar dispositivos al bus de sistema 606. La FIG. 6 muestra una interfaz de bus serie universal (USB) 618 que se puede usar para acoplar un dispositivo al bus de sistema 606. Por ejemplo, una interfaz IEEE 1394 620 se puede usar para acoplar dispositivos adicionales al aparato informático 130.

El aparato informático 130 puede operar en un entorno en red usando conexiones lógicas a uno o más ordenadores remotos o a otros dispositivos, tales como un servidor, un encaminador, un ordenador personal de red, un dispositivo par u otro nodo de red común, un teléfono inalámbrico o un asistente digital personal inalámbrico. El aparato informático 130 incluye una interfaz de red 622 que acopla el bus de sistema 606 a una red de área local (LAN) 624. Los entornos de red son comunes en oficinas, en redes informáticas a nivel de empresa y en sistemas informáticos domésticos.

También se puede acceder a una red de área ampliada (WAN), tal como Internet por el aparato informático 130, por ejemplo, a través de una unidad de módem conectada a una interfaz de puerto serie 626 o a través de la LAN 624. Se apreciará que las conexiones de red mostradas y descritas son ejemplares y que se pueden usar otras formas de establecer un enlace de comunicaciones entre ordenadores. Se presume la existencia de cualquiera de diversos protocolos bien conocidos, tales como TCP/IP, Frame Relay, Ethernet, FTP, HTTP y similares, y el aparato informático 130 se puede operar en una configuración cliente-servidor para permitir que un usuario recupere páginas web de un servidor basado en web. Además, se puede usar cualquiera de los diversos navegadores web convencionales para mostrar y manipular datos en páginas web.

La operación del aparato informático 130 se puede controlar mediante una variedad de módulos de programa diferentes. Ejemplos de módulos de programa son rutinas, programas, objetos, componentes y estructuras de datos que realizan tareas particulares o implementan tipos de datos abstractos particulares. La presente invención también se puede poner en práctica con otras configuraciones de sistemas informáticos, incluyendo dispositivos de mano, sistemas multiprocesador, electrónica de consumo programable o basada en microprocesador, PC en red, miniordenadores, ordenadores centrales, asistentes digitales personales y similares. Además, la invención también se puede poner en práctica en entornos informáticos distribuidos donde las tareas se realizan por dispositivos de procesamiento remoto que están enlazados a través de una red de comunicaciones. En un entorno informático distribuido, los módulos de programa se pueden situar tanto en dispositivos de almacenamiento de memoria local como remota.

Por consiguiente, se apreciará que el aparato informático 130 se puede formar a partir de cualquier sistema de procesamiento adecuado, tal como un sistema informático programado de manera adecuada, un PC, un servidor web, un servidor de red o similar. En un ejemplo particular, los sistemas de procesamiento 201 son sistemas de procesamiento estándar, que ejecutan aplicaciones de software almacenadas en almacenamiento no volátil (por ejemplo, un disco duro), aunque esto no es esencial. No obstante, también se comprenderá que el sistema de procesamiento podría ser o podría incluir cualquier dispositivo de procesamiento electrónico, tal como un microprocesador, un procesador de microchip, una configuración de puertas lógicas, un microprograma asociado opcionalmente con la lógica de implementación, tal como una FPGA (Agrupación de Puertas Programables en Campo), o cualquier otro dispositivo, sistema o disposición electrónica. Por lo tanto, el término dispositivo de procesamiento electrónico se pretende que cubra cualquier aparato de procesamiento o informático adecuado, y no se pretende que sea limitante.

También se apreciará que mientras que se muestra un sistema informático 130 separado en los ejemplos anteriores, esto no es esencial y, de manera alternativa, algo de o toda la funcionalidad del sistema informático 130, se podría integrar en el aparato. Por ejemplo, el dispositivo de mano podría incluir un procesador para generar un modelo tridimensional, que se está transfiriendo de manera inalámbrica a un dispositivo de visualización separado, tal como una tableta, un teléfono móvil o similar. En un ejemplo adicional, los sensores se podrían integrar en un dispositivo portátil que incluye sensores, tales como un teléfono móvil o similar, que incluye sensores de proximidad y térmicos. Se apreciará además que, en tal situación, en el caso de que los requisitos de procesamiento excedan las capacidades del dispositivo, los datos se podrían transferir de manera inalámbrica a otro dispositivo para su procesamiento, con el modelo que se devuelve para su visualización en tiempo sustancialmente real.

La FIG. 7 ilustra un método 700 de generación de un modelo tridimensional de un objeto, según una realización de la presente invención.

En el paso 705, se reciben los datos de proximidad, los datos de imágenes y los datos térmicos por infrarrojos desde un sensor de proximidad, un sensor de imágenes y un sensor térmico por infrarrojos. El sensor de proximidad, el sensor de imágenes y el sensor de imágenes térmicas por infrarrojos tienen campos de visión superpuestos y, de este modo, pueden capturar datos del objeto de manera simultánea. Los datos de proximidad, los datos de imágenes y los datos térmicos por infrarrojos corresponden a datos de al menos dos posiciones diferentes, y típicamente incluirán datos de varias posiciones diferentes.

En el paso 710, se genera un modelo tridimensional en base a los datos de proximidad. El modelo tridimensional se genera en base a los datos de proximidad de varias posiciones y geometrías.

En el paso 715, se asocian los datos de imágenes y los datos térmicos por infrarrojos con el modelo tridimensional. Los datos se capturan desde al menos dos posiciones diferentes del sensor de imágenes y del sensor térmico por infrarrojos, proporcionando de este modo más de una única vista datos de imágenes y térmicos por infrarrojos. Las diferentes posiciones comprenden posiciones arbitrarias, en donde al menos una parte del objeto es visible en una primera posición de las al menos dos posiciones diferentes, y una segunda parte es visible en una segunda posición de las al menos dos posiciones. De este modo no se necesita seguir un patrón estricto o calibrar las posiciones de la cámara.

En el paso 720, que es un paso opcional, el método comprende además generar una imagen de salida que corresponde a una vista del modelo tridimensional. La imagen de salida incluye al menos parte de los datos de imágenes asociados y al menos parte de los datos térmicos por infrarrojos asociados superpuestos en el modelo. Una parte de la imagen de salida puede contener datos térmicos por infrarrojos, mientras que otra parte contiene datos de imágenes, por ejemplo. De manera alternativa, los datos de imágenes y los datos térmicos por infrarrojos se pueden combinar en una misma parte de la imagen de salida, como se ha tratado anteriormente.

De este modo, el modelo puede incorporar datos del modelo derivados de los datos térmicos por infrarrojos y opcionalmente los datos de imágenes visibles que permiten que un modelo térmico por infrarrojos y/o de colores del objeto sea proporcionado. Además, el modelo térmico por infrarrojos y de color se pueden combinar en un modelo fusionado, de modo que el modelo fusionado realce los atributos específicos de interés. Por ejemplo, el modelo fusionado podría mostrar el color en la mayoría del modelo, con las representaciones térmicas por infrarrojos que se muestran solamente en el caso de que las temperaturas caigan fuera de un intervalo predeterminado. De este modo, los parámetros para el modelo se pueden definir incluyendo un intervalo de temperatura normal o esperado, con indicaciones de la temperatura que se muestra en partes del modelo donde la temperatura cae fuera del intervalo normal o esperado.

Con el fin de generar el modelo, el sistema informático, y en particular el dispositivo de procesamiento electrónico, selecciona una parte de la superficie del objeto, tal como un vértice o similar, y entonces identifica imágenes de la parte de la superficie del objeto seleccionado mientras el dispositivo de formación de imágenes está en al menos dos posturas diferentes en relación con el objeto. Las imágenes incluirán imágenes térmicas por infrarrojos y/o visibles, permitiendo que la temperatura o el color se añada al modelo. Entonces el sistema informático identifica al menos un píxel de imagen que corresponde a la parte de la superficie del objeto seleccionado para cada imagen identificada y usa los píxeles de imagen identificados para determinar los datos del modelo. De este modo, usando píxeles de múltiples imágenes diferentes, esto puede ayudar a mitigar el efecto de las reflexiones, conduciendo a una representación de la temperatura y/o del color más fiable.

Típicamente, el dispositivo de procesamiento electrónico asocia los datos con un píxel volumétrico en el modelo tridimensional que corresponde a la parte de la superficie del objeto seleccionado. El dispositivo de procesamiento electrónico determina los datos del modelo usando una suma ponderada de los datos asociados con los píxeles identificados de las imágenes de diferentes posturas, permitiendo que las reflexiones de la superficie del objeto se tengan en cuenta. En un ejemplo, el dispositivo de procesamiento electrónico logra esto usando una puntación de confianza asociada con los píxeles identificados en diferentes imágenes. La puntuación de confianza se puede basar en factores que incluyen al menos uno de: la velocidad de un sensor cuando se capturó la imagen; una posición del uno o más píxeles en el campo de visión del sensor; el ángulo entre un rayo y una superficie del objeto, el rayo que se extiende desde la parte de la superficie del objeto hasta el sensor; y, la proximidad cuando se capturó la imagen. De este modo, el sistema descrito anteriormente puede generar modelos 3D a gran escala con información precisa de la temperatura de la superficie. Esto se logra como resultado de dos procesos principales. Primero, la trayectoria del sensor en el espacio 3D se estima de manera simultánea junto con la estructura 3D del objeto o del entorno que se explora. Esto se hace empleando una solución SLAM (Localización y Correlación Simultáneos) que puede funcionar en tiempo real. Segundo, se aplica un método de difusión de rayos para asignar con precisión las estimaciones de temperatura y color al modelo 3D desde múltiples vistas. Este método implementa un esquema de ponderación de múltiples variables para lograr estimaciones más precisas que los métodos anteriores.

La visualización de la salida del sistema viene en dos formas; visualización en línea/en tiempo real para la verificación de la completitud y de la integridad del modelo a medida que se están capturando los datos, y visualización fuera de línea para un análisis en profundidad y la optimización de las propiedades de visualización. Esta capacidad de visualización incluye la conversión del modelo en una de una serie de representaciones multimodales alternativas que permiten que la información de temperatura y de espectro visible se vean de manera simultánea.

El procesamiento fuera de línea posterior a la captura puede ser ventajoso en la medida que las restricciones relajadas en el tiempo de procesamiento permiten que cálculos más precisos y minuciosos sean realizados, dando como resultado mejoras en la resolución espacial y en la precisión en relación con el modelo en tiempo real. No obstante, se apreciará que esto dependerá de las circunstancias en las que se ha de usar el sistema.

Para generar modelos 3D precisos que se puedan visualizar en tiempo real, se usa una solución SLAM, que utiliza un flujo de video de imágenes de proximidad desde el sensor de proximidad para actualizar y optimizar continuamente un modelo de píxel volumétrico 3D. El algoritmo también genera una estimación precisa de la trayectoria del dispositivo a lo largo de la secuencia, con 6 grados de libertad, esto es, la traslación alrededor de las posiciones X, Y y Z, y la rotación alrededor de de todos de los tres ejes. En este ejemplo, una GPU (Unidad de Procesamiento de Gráficos) se puede utilizar en gran medida con el fin de realizar este proceso rápidamente de modo que se pueda mantener con la velocidad de fotogramas del sensor de proximidad.

La primera imagen de proximidad recibida desde el sensor de proximidad se procesa para inicializar un mapa de ocupación de píxeles volumétricos almacenados en la GPU. A medida que se reciben imágenes de proximidad adicionales, se registran de manera incremental en este modelo 3D usando el algoritmo de Punto Más Cercano Iterativo (ICP). Este proceso también conduce a una estimación de la postura relativa de los seis grados de libertad de la cámara para el nuevo fotograma, y esta postura se utiliza para optimizar aún más el mapa de ocupación de píxeles volumétricos.

Los datos térmicos por infrarrojos se calibran de modo que cada píxel de la imagen térmica por infrarrojos contenga una estimación de la temperatura de la superficie en lugar de un valor digital sin unidades.

A continuación de esto, las estimaciones de temperatura se pueden asignar con precisión a un modelo 3D usando datos de imágenes térmicos por infrarrojos-térmicos por infrarrojos. En un ejemplo, este proceso considera una variedad de factores que influyen en la fiabilidad de las mediciones de temperatura, así como utilizar un gran número de imágenes, con el fin de mejorar la estimación de temperatura para superficies en el modelo 3D. Además, muchas de las ventajas del método se aplican igualmente a la modalidad visible, de modo que la técnica también se usa para mejorar la difusión de rayos en el modelo.

Dada la estimación de la postura del sensor de proximidad para todos los fotogramas, que es una salida del algoritmo SLAM mencionado anteriormente, se pueden hacer estimaciones de la postura de la cámara de colores y térmica por infrarrojos para todos sus fotogramas respectivos. La precisión de las estimaciones depende de la efectividad de los procedimientos de calibración tanto geométrica como temporal.

Para una única imagen, la postura estimada de la cámara en relación con el modelo 3D y los parámetros intrínsecos de la cámara se pueden utilizar para realizar la difusión de rayos. Esto se refiere al proceso a través del cual los píxeles en la imagen se asocian con vértices en el modelo 3D.

Dado que las secuencias de video tienen muchos fotogramas, la mayoría de los vértices tendrán muchas imágenes y, por lo tanto, muchos rayos (píxeles) asociados con ellos. Un planteamiento ingenuo usaría simplemente un único valor de píxel para asignar una estimación a cada vértice. Un planteamiento más sofisticado puede promediar los valores de píxeles que están asociados con cada vértice, lo que probablemente reduce el ruido y logra una ligera mejora en la precisión. No obstante, esto supone que cada rayo (la asociación entre un píxel y un vértice) es igualmente válido.

No obstante, para el planteamiento preferido, las temperaturas (y los colores) se asignan en base a una suma ponderada de valores de píxeles. La ponderación general de un rayo W^rayo(que corresponde a un píxel de imagen) se basa en un número de factores que reflejan lo fiable que es ese rayo para estimar el valor del vértice.

En un ejemplo, se pueden considerar los siguientes factores para asignar un nivel de confianza a un rayo (tanto para las modalidades de imágenes visibles como térmicas por infrarrojos a menos que se exprese de otro modo), incluyendo la velocidad de la cámara, la posición del píxel en el campo de visión, el ángulo entre el rayo y la superficie normal del vértice, la distancia del vértice desde la cámara, la validez del sensor o la calibración del sensor sobre el intervalo de funcionamiento, así como factores externos, tales como la temperatura ambiente externa.

Por ejemplo, para que la velocidad del sensor sea alta, por ejemplo, si el dispositivo de formación de imágenes de mano está moviéndose más rápido (o bien en traslación o bien en rotación), el desdibujado por movimiento en la imagen resultante disminuiría la precisión del rayo. Por consiguiente, para velocidades más altas, se da al píxel un nivel de confianza más bajo. Con respecto a la posición del píxel, se da una menor confianza a los rayos asociados con los píxeles situados lejos del centro de la cámara, en base a la suposición de que los puntos más cercanos al centro tienen menos distorsión y menos ruido. Para el ángulo entre el rayo y la normal del vértice, es probable que los rayos que están más cerca del paralelo a la superficie sean menos precisos debido al hecho de que los ligeros errores en la estimación de postura tienen un efecto mayor en estos ángulos, y por lo tanto se da a éstos una puntuación de confianza más baja. Al considerar la distancia de la superficie del objeto desde el sensor, se asigna una mayor confianza a las superficies cercanas a la cámara, hasta una cierta distancia. La calibración del sensor se toma en base a un modelo de calibración, si se requiere. Finalmente, para factores externos, éstos podrían depender de las lecturas de los sensores. Así, por ejemplo, se podría asignar una confianza más baja a los píxeles que están cerca de la temperatura ambiente, en la medida que estos pueden ser más difíciles de medir con mayor precisión.

No obstante, se apreciará que se podría usar cualquier combinación adecuada de factores.

En cualquier caso, una vez que se ha determinado una puntuación de confianza general para cada uno, esto permite que los valores de los píxeles a lo largo de múltiples imágenes se combinen en base a las puntuaciones de confianza, proporcionando por ello un valor general (de temperatura o de color) que se puede asociar con parte de la superficie del objeto, tal como un vértice. De esta manera, se puede establecer un perfil de temperatura y/o de color para toda la superficie del objeto, mientras que se permite que se de cuenta de las reflexiones o similares de modo que el modelo tridimensional del objeto represente la temperatura o el color real del objeto.

En resumen, las ventajas de algunas realizaciones de la presente invención incluyen la capacidad de generar un modelo tridimensional holístico y geométricamente preciso de un objeto que incluye datos de imágenes y térmicos por infrarrojos, sin requerir hardware complejo y/o costoso.

La presente invención permite una visualización tridimensional rápida de la información térmica por infrarrojos, que es particularmente ventajosa en el contexto de la gestión y respuesta a incendios, así como dentro de una inspección eléctrica o estructural de edificios.

El modelo tridimensional proporciona una oportunidad para que un usuario investigue y detecte anomalías de un elemento u objeto, en un contexto de su entorno. Tales modelos tridimensionales se pueden utilizar por los inspectores para monitorizar las irregularidades térmicas por infrarrojos no visibles de los edificios, o por los facultativos médicos para identificar anomalías térmicas por infrarrojos en un paciente.

Según ciertas realizaciones, los datos de imágenes y térmicos por infrarrojos se pueden ver juntos, en un único modelo, lo que permite una localización más precisa de los problemas. Por ejemplo, en un contexto de mantenimiento eléctrico, la presente invención permite a un usuario determinar cuál de muchas conexiones eléctricas se está calentando anormalmente debido a una conexión defectuosa. Los datos de imágenes permiten al usuario ver una etiqueta basada en texto o en colores, mientras que los datos térmicos por infrarrojos se pueden usar para detectar el calor causado por el fallo.

También, la presente invención es capaz de operar en la oscuridad, lo cual es ventajoso cuando se pide un análisis nocturno explícito por aplicaciones tales como la auditoría energética de edificios. Además, los pacientes pueden preferir ser escaneados en la oscuridad en lugar de en una habitación luminosa.

Finalmente, la presente invención no requiere un dispositivo de seguimiento externo con el fin de estimar con precisión una postura del dispositivo, y se puede implementar usando componentes simples, disponibles comercialmente.

La descripción anterior se enfoca principalmente a aplicaciones en las áreas médica y de auditoría energética, no obstante, la presente invención es útil en otras diversas aplicaciones. Éstas incluyen la aplicación en el sector de la fabricación, donde se pueden crear perfiles térmicos por infrarrojos de moldes para determinar el desgaste de los moldes, las grietas y el enfriamiento inadecuado, y en el sector agrícola, donde, por ejemplo, se puede determinar la calidad de frutas, verduras y granos. En particular, la detección temprana de la infección por hongos en los granos de cereales se puede realizar en la medida que los datos térmicos por infrarrojos se pueden integrar con datos de imágenes ópticas para detectar diferentes especies de hongos causadas por diferencias de color.

Por ejemplo, el sistema se puede usar en el campo médico. Esto puede incluir realizar inspecciones de salud en los lugares de trabajo, monitorizar efectos tales como dedos blancos por vibración (daño circulatorio/nervioso debido al uso de ciertas herramientas y maquinaria), mejorar el tiempo de descompresión y la experiencia de los buzos, inspeccionar el flujo sanguíneo en la piel para probar la fisiología y las respuestas del sistema nervioso simpático, formación de imágenes termográficas para detectar fiebres en aeropuertos y en otros centros de transporte, así como en situaciones de búsqueda y rescate. El sistema además se puede usar para diagnosticar o validar el tratamiento de la artritis inflamatoria, la osteoartritis, el codo de tenista, la circulación periférica, el melanoma, otros cánceres (de mama), la validación de la crioterapia y la diabetes.

Además, el diagnóstico de afecciones y trastornos de la piel, enfermedades musculoesqueléticas así como enfermedades que pueden dejar una firma térmica, tales como el cáncer. Usar esto puede incluir la termografía para detectar el cáncer de mama. La monitorización de estos estados requiere obtener múltiples lecturas durante las consultas periódicas, lo que requiere que los sistemas fijos tomen lecturas de las ubicaciones espaciales exactas cada vez. Un sistema 3D portátil puede reducir esta necesidad. Una tecnología portátil puede llevar los servicios de diagnóstico y médicos fuera de los hospitales (ubicaciones remotas).

En el campo de la agricultura, el sistema se puede usar en la evaluación de la calidad de frutas y verduras, en la medición de la madurez, el tamaño y el número de frutos en árboles, en la identificación de la clase de trigo, en la cuantificación del calentamiento no uniforme de los granos de cereales y de las semillas oleaginosas durante el tratamiento de cocción y microondas, en la predicción del estrés hídrico en los cultivos y en la planificación de la programación del riego, en la detección de magulladuras en frutas y verduras, en la detección de enfermedades y patógenos en las plantas. También hay la posibilidad de usar el sistema de formación de imágenes térmicas para la detección temprana de infecciones de hongos en granos de cereales, integrando la formación imágenes térmicas con la formación de imágenes ópticas para aprovechar las diferencias de color causadas por las diferentes especies de hongos.

El sistema se puede usar en la construcción para el diagnóstico de envolventes de edificios tanto después de completar el edificio como durante el período de operación, la determinación de pérdidas de calor en fachadas, la detección de defectos de juntas entre paneles y de expansión, la monitorización del curado y/o secado de materiales, o similares.

El sistema se puede usar por los servicios de bomberos, por ejemplo, en operaciones de campo que van desde el ataque o la detección de incendios, la búsqueda/rescate, la detección de puntos calientes, las actividades de revisión, la detección de la ubicación de materiales peligrosos, incluyendo la detección de gases.

El sistema tiene aplicaciones industriales, tales como la monitorización de la inspección de instalaciones/equipamiento eléctrico (conexiones de fusibles sueltos, sobrecarga de voltaje en circuitos), la inspección de equipos mecánicos (componentes sobrecalentados, fugas de gas y de líquido), el diagnóstico de edificios de fábrica (daños por humedad y agua en suelos y paredes), la monitorización de procesos, tales como el curado, el secado y los tratamientos térmicos, la monitorización de pérdidas de energía en entornos industriales con el propósito de ahorrar costes (aislamientos que faltan, sistemas HVAC defectuosos), la inspección de niveles de tanques, líneas, tuberías de humo, conductos de gas y calderas con propósitos de seguridad y de eficiencia operativa, la detección de fallos de soldadura en las tuberías de polietileno (el uso de tuberías de polietileno que se están usando más y más cada día, incluyendo las tuberías de gas).

En fabricación, el sistema se puede usar para la producción de motores turboeje para aeronaves (el uso de tecnología 3D para crear imágenes de componentes), creando perfiles térmicos de moldes en industrias tales como plásticos, vidrio, metales y cerámica, para determinar el molde, identificando el desgaste, las grietas y el enfriamiento inadecuado, mejorando el diseño del molde o similares. Esto puede incluir líneas de monitorización cubiertas con niveles muy altos de aislamiento, o revestimientos de metal de chapa de aluminio brillante o de acero inoxidable, lo que actualmente es difícil debido a la alta reflectividad térmica/baja emisividad de las superficies encontradas, que se pueden obviar usando el sistema actual.

En entornos domésticos, el sistema se puede usar para monitorizar las pérdidas energéticas con el propósito de ahorro de costes (inspección de edificios y de equipos), identificando plagas destructivas (insectos, roedores, term itas).

El sistema se puede usar para seguridad y vigilancia, tal como protección perimetral, control de acceso, sistemas de monitorización de visión nocturna o similares, así como proporcionar sistemas de visión mejorados para automóviles (imagen de peatones, de ciclistas, de animales y de otros objetos en las carreteras).

También se apreciará que el sistema se podría implementar con características adicionales, tales como el procesamiento de imagen/señal mejorado para un mayor detalle, el análisis de video para detección automatizada, la valoración y la respuesta ante amenazas, la alta resolución para un rendimiento de mayor alcance y mejor calidad de imagen, las fuentes de luz de rendimiento más alto y las ópticas mejoradas.

También se apreciará que los usos descritos anteriormente no se pretende que sean limitativos y que el aparato se puede usar en una amplia gama de actividades y circunstancias.

La descripción anterior de diversas realizaciones de la presente invención se proporciona con propósitos de descripción para un experto en la técnica relacionada. No se pretende que sea exhaustiva o que limite la invención a una única realización descrita. Como se ha mencionado anteriormente, numerosas alternativas y variaciones a la presente invención serán evidentes para los expertos en la técnica de la enseñanza anterior. Por consiguiente, mientras que algunas realizaciones alternativas se han descrito específicamente, otras realizaciones serán evidentes o relativamente fáciles de desarrollar por los expertos en la materia. Por consiguiente, esta especificación de patente se pretende que abarque todas las alternativas, modificaciones y variaciones de la presente invención que se han descrita en la presente memoria, y otras realizaciones que caen dentro del alcance de la invención descrita anteriormente.

Claims

REIVINDICACIONES

1. Un sistema para generar un modelo tridimensional de un objeto, el sistema que incluye:

un dispositivo de formación de imágenes de mano portátil que incluye:

una carcasa;

una pluralidad de sensores unidos a la carcasa;

al menos un dispositivo de procesamiento electrónico acoplado a la pluralidad de sensores, en donde el dispositivo de procesamiento electrónico:

determina a partir de la pluralidad de sensores y mientras que el dispositivo de imagen está en al menos dos posturas diferentes con respecto al objeto:

datos de proximidad indicativos de la proximidad del objeto;

datos térmicos por infrarrojos indicativos de una imagen térmica por infrarrojos del objeto;

genera un modelo tridimensional en base, al menos parcialmente, a los datos de proximidad de las al menos dos posturas diferentes;

determina los datos del modelo:

seleccionando una parte de la superficie del objeto;

identificando las imágenes de la parte de la superficie del objeto seleccionado mientras el dispositivo de imagen está en al menos dos posturas diferentes con respecto al objeto;

identificando al menos un píxel de imagen correspondiente a la parte de la superficie del objeto seleccionada para cada imagen identificada;

determinando una suma ponderada de los datos asociados con los píxeles identificados usando una puntuación de confianza asociada con los píxeles identificados, en donde para una imagen térmica por infrarrojos la puntuación de confianza se determina en base a un valor de temperatura asociado con los píxeles identificados;

usando la suma ponderada de datos asociados con los píxeles identificados para determinar los datos del modelo; y,

asocia los datos del modelo derivados de los datos térmicos por infrarrojos de las al menos dos posturas diferentes con el modelo tridimensional para proporcionar por ello un modelo térmico por infrarrojos tridimensional del objeto.

2. El sistema de la reivindicación 1, en donde el dispositivo de procesamiento electrónico:

determina datos de colores indicativos de una imagen visible del objeto; y

asocia los datos del modelo derivados de los datos de imágenes visibles de las al menos dos posturas diferentes con el modelo tridimensional para proporcionar por ello al menos uno de entre un modelo de colores tridimensional y un modelo térmico por infrarrojos y de colores fusionado del objeto.

3. El sistema de la reivindicación 2, en donde el sistema incluye:

un sensor de proximidad unido a la carcasa que detecta la proximidad del objeto;

un sensor de imágenes de luz visible unido a la carcasa que detecta una imagen visible del objeto; y un sensor de imágenes térmicas por infrarrojos unido a la carcasa que detecta una imagen térmica por infrarrojos del objeto.

4. El sistema de cualquiera de las reivindicaciones 1 a 3, en donde el dispositivo de procesamiento electrónico: determina una postura relativa del dispositivo de mano, usando opcionalmente al menos uno de:

al menos uno de los datos de proximidad, los datos de imágenes y los datos térmicos por infrarrojos de al menos algunas de las diferentes posturas;

datos de postura de un sensor de postura, la detección de postura opcionalmente es al menos uno de entre un sensor de orientación y una unidad de medición inercial; y,

usa la postura relativa para generar el modelo tridimensional.

5. El sistema de la reivindicación 4, en donde el dispositivo de procesamiento electrónico:

estima un desfase de temporización entre el sensor de proximidad y al menos uno de un sensor de imágenes térmicas por infrarrojos y un sensor de imágenes de luz visible; y

estima una postura asociada con los datos de imágenes y/o los datos térmicos por infrarrojos en base al desfase.

6. El sistema de la reivindicación 5, en donde el dispositivo de procesamiento electrónico:

determina una postura del dispositivo usando al menos uno del sensor de proximidad y un sensor de postura; determina una trayectoria de movimiento del dispositivo de mano;

determina una postura del sensor de imágenes de luz visible y una postura del sensor de imágenes térmicas por infrarrojos en base a la postura del dispositivo y a la trayectoria del movimiento.

7. El sistema de cualquiera de las reivindicaciones 1 -6, en donde al menos uno de:

para una imagen térmica por infrarrojos, los datos del modelo incluyen datos térmicos por infrarrojos del modelo indicativos de una temperatura y para una imagen visible, los datos del modelo incluyen datos de colores del modelo indicativos de un color;

el dispositivo de procesamiento electrónico asocia los datos con un píxel volumétrico en el modelo tridimensional que corresponde a la parte de la superficie del objeto seleccionado; y,

la parte de la superficie del objeto seleccionado es un vértice.

8. El sistema de cualquiera de las reivindicaciones 1 a 7, en donde

el dispositivo de procesamiento electrónico determina la puntuación de confianza en base a factores que incluyen al menos uno de:

la velocidad de un sensor cuando se capturó la imagen;

una posición de uno o más píxeles en un campo de visión del sensor;

el ángulo entre un rayo y una superficie del objeto, el rayo que se extiende desde la parte de la superficie del objeto hasta el sensor; y,

la proximidad cuando se capturó la imagen.

9. El sistema de la reivindicación 4, en donde los datos térmicos por infrarrojos están asociados con el modelo tridimensional en base a, al menos en parte, un ángulo de incidencia.

10. El sistema de la reivindicación 4 o la reivindicación 9, en donde el dispositivo de formación de imágenes portátil comprende además al menos uno de:

un sensor de orientación;

al menos un sensor ambiental, en donde los datos térmicos por infrarrojos están asociados con el modelo tridimensional en base, al menos en parte, a datos del al menos un sensor ambiental y en donde el sensor ambiental opcionalmente comprende un sensor de dióxido de carbono, un sensor de humedad y/o un sensor de temperatura;

un sensor de audio para registrar la voz de un operador durante el funcionamiento del sistema; y,

un visualizador, para visualizar los datos capturados desde uno o más del sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos, en tiempo real a medida que se capturan.

11. El sistema de la reivindicación 9 o la reivindicación 10, en donde la carcasa del dispositivo de formación de imágenes portátil comprende al menos uno de:

una parte alargada, en donde el sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos están unidos a un extremo de la parte alargada;

un disparador para activar al menos uno de entre el sensor de proximidad, el sensor de imágenes de luz visible y el sensor de imágenes térmicas por infrarrojos.

12. El sistema de una cualquiera de las reivindicaciones 9 a 11, en donde la memoria incluye además código de instrucciones ejecutable por el procesador para al menos uno de:

generar una imagen de salida que corresponde a una vista del modelo tridimensional, la imagen de salida que incluye al menos parte de los datos de imágenes asociados superpuestos en el modelo y al menos parte de los datos térmicos por infrarrojos asociados superpuestos en el modelo y en donde la imagen de salida se genera opcionalmente representando al menos parte de los datos de imágenes de luz visible asociados en una primera parte del modelo y al menos parte de los datos térmicos por infrarrojos asociados en una segunda parte del modelo; y,

refinar el modelo tridimensional en base a los datos de la imagen y/o los datos térmicos por infrarrojos.

13. El sistema de cualquiera de las reivindicaciones 9 a 12, en donde el modelo tridimensional corresponde a al menos una parte del cuerpo de una persona y los datos de imagen asociados incluyen tonos de piel de la persona.

14. Un método de generación de un modelo tridimensional de un objeto, el método incluye, en un dispositivo de procesamiento electrónico:

determinar a partir de una pluralidad de sensores y mientras que un dispositivo de formación de imágenes está en al menos dos posturas diferentes con respecto al objeto:

datos de proximidad indicativos de la proximidad del objeto;

generar un modelo tridimensional en base, al menos parcialmente, a los datos de proximidad de al menos dos posturas diferentes; y

determinar los datos del modelo:

seleccionando una parte de la superficie del objeto;

identificando las imágenes de la parte de la superficie del objeto seleccionado mientras que el dispositivo de formación de imágenes está en al menos dos posturas diferentes con respecto al objeto;

identificando al menos un píxel de imagen correspondiente a la parte de la superficie del objeto seleccionado para cada imagen identificada;

asociar los datos del modelo derivados de los datos térmicos por infrarrojos de al menos dos posturas diferentes con el modelo tridimensional para proporcionar por ello un modelo térmico por infrarrojo tridimensional del objeto.