ES3051685T3

ES3051685T3 - Automated exchange and use of attribute information between building images of multiple types

Info

Publication number: ES3051685T3
Application number: ES22151948T
Authority: ES
Inventors: Naji Khosravan; Sing Bing Kang; Ivaylo Boyadzhiev
Original assignee: MFTB Holdco Inc
Current assignee: MFTB Holdco Inc
Priority date: 2021-09-22
Filing date: 2022-01-18
Publication date: 2025-12-29
Anticipated expiration: 2042-01-18
Also published as: US11842464B2; US20230095173A1; CA3145605A1; EP4156086B1; CA3145605C; AU2022200474B2; CN115935458A; EP4156086C0; EP4156086A1; AU2022200474A1

Abstract

Se describen técnicas para usar dispositivos informáticos con el fin de realizar operaciones automatizadas para generar información cartográfica de un área definida mediante el análisis de datos visuales de imágenes, incluyendo el intercambio de información de atributos entre imágenes emparejadas o agrupadas de varios tipos para generar imágenes mejoradas, y para usar la información cartográfica generada de maneras aún más automatizadas, incluyendo su uso para la navegación automatizada o para mostrarla o presentarla de otro modo. En algunas situaciones, el área definida incluye el interior de un edificio de varias habitaciones, y la información generada incluye al menos una o más imágenes mejoradas, un plano parcial u otra representación modelada del edificio. En algunos casos, la generación se realiza sin tener información de profundidad medida sobre las distancias desde los puntos de adquisición de las imágenes hasta las paredes u otros objetos del edificio circundante. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN

[0003] intercambio y uso automatizados de información de atributos entre imágenes de edificios de múltiples tipos

[0004] Sector técnico

[0006] La siguiente descripción se refiere en general a técnicas para generar automáticamente información de mapeo para un área definida mediante el análisis de datos visuales de imágenes del área, tal como mediante el uso de información de atributos intercambiada entre imágenes de múltiples tipos, y para usar posteriormente la información de mapeo generada de una o más maneras, tal como para generar y usar automáticamente un plano de planta y/u otra representación modelada de un edificio usando imágenes del interior del edificio.

[0007] Estado de la técnica anterior

[0009] En diversos campos y circunstancias, como el análisis arquitectónico, la inspección de propiedades, la adquisición y el desarrollo de bienes raíces, los servicios de remodelación y mejora, la contratación general y otras circunstancias, puede ser conveniente ver la información sobre el interior de una casa, oficina u otro edificio sin tener que viajar físicamente y entrar en el edificio, incluso para determinar la información real sobre el edificio tal como se construyó en lugar de la información de diseño anterior a su construcción. Sin embargo, puede ser difícil capturar, representar y usar de manera efectiva dicha información interior del edificio, incluyendo mostrar la información visual capturada dentro del interior del edificio a los usuarios en ubicaciones remotas (por ejemplo, para permitir que un usuario comprenda completamente el diseño y otros detalles del interior, incluyendo el control de la pantalla de una manera seleccionada por el usuario). Además, si bien el plano de planta de un edificio puede proporcionar cierta información sobre el diseño y otros detalles del interior de un edificio, dicho uso de los planos de planta tiene algunos inconvenientes en ciertas situaciones, como que los planos de planta pueden ser difíciles de construir y mantener, de escalar y completar con precisión con información sobre los interiores de las habitaciones, de visualizar y utilizar de otro modo, etc. Varios documentos describen cuestiones relacionadas con la construcción de diseños de habitaciones o con la captura de imágenes en general. Por ejemplo, el documento de ZOU CHUHANG ET AL: "Reconstructing the 3D Room Layout from a Single RGB Image", CONFERENCIA IEEE/CVF DE 2018 SOBRE VISIÓN ARTIFICIAL Y RECONOCIMIENTO DE PATRONES, IEEE, 18 de junio de 2018 (18/06/2018), páginas 2051-2059, XP033476170, describe un algoritmo para predecir la distribución de una habitación a partir de una sola imagen. Como otro ejemplo, el documento de LO 1-CHAN ET AL: "Photometric Consistency For Dual Fisheye Cameras", CONFERENCIA INTERNACIONAL IEEE SOBRE PROCESAMIENTO DE IMÁGENES (ICIP) DE 2020, IEEE, 25 de octubre de 2020 (25/10/2020), páginas 261 a 265, XP033869642, describe las cámaras ojo de pez espalda con espalda para formación de imágenes en 360°.

[0011] Breve descripción de los dibujos

[0013] Las figuras 1A-1B son diagramas que representan un entorno interior de un edificio ejemplar y un sistema o sistemas informáticos para su uso en las realizaciones de la presente descripción, que incluyen analizar automáticamente los datos visuales de imágenes de múltiples tipos adquiridas en las ubicaciones de adquisición de un edificio para determinar las imágenes entre las que intercambiar información de atributos para generar imágenes mejoradas, y para presentar o utilizar adicionalmente las imágenes mejoradas como parte de la información de mapeo del edificio.

[0015] Las figuras 2A-2J ilustran ejemplos de adquisición de imágenes de múltiples tipos en ubicaciones de adquisición de un edificio, de operaciones automatizadas para analizar datos visuales de las imágenes para determinar imágenes entre las que intercambiar información de atributos para generar imágenes mejoradas, y de generar y usar posteriormente las imágenes mejoradas de una o más maneras automatizadas.

[0017] La figura 3 es un diagrama de bloques que ilustra un sistema informático adecuado para ejecutar una realización de un sistema que realiza al menos algunas de las técnicas descritas en la presente descripción.

[0018] Las figuras 4A-4B ilustran una realización de ejemplo de un diagrama de flujo para una rutina del sistema gestor de intercambio de atributos de imagen y generación de información de mapeo (IAEMIGM) de acuerdo con una realización de la presente descripción.

[0020] La figura 5 ilustra un ejemplo de realización de un diagrama de flujo para una rutina de intercambio de atributos de imagen de acuerdo con una realización de la presente descripción.

[0022] La figura 6 ilustra una realización de ejemplo de un diagrama de flujo para una rutina del sistema visor de información de edificios, de acuerdo con una realización de la presente descripción.

[0024] La figura 7 ilustra una realización de ejemplo de un diagrama de flujo para una rutina del sistema de captura automatizada de imágenes (AIC) de acuerdo con una realización de la presente descripción.

[0025] Descripción detallada

[0027] La invención se define mediante las reivindicaciones independientes. Se definen otras realizaciones en las reivindicaciones dependientes.

[0029] La presente descripción describe técnicas para usar dispositivos informáticos para realizar operaciones automatizadas relacionadas con la generación de información de mapeo para un área definida usando imágenes del área, incluso mediante el uso de información de atributos intercambiada entre imágenes de múltiples tipos, y para usar posteriormente la información de mapeo generada de una o más maneras automatizadas adicionales. En al menos algunas realizaciones, el área definida incluye el interior de un edificio de varias habitaciones (por ejemplo, una casa, una oficina, etc.), y la información generada incluye al menos un plano de planta parcial del edificio y/u otra representación modelada del interior del edificio, tal como a partir de un análisis automatizado de múltiples imágenes de múltiples tipos adquiridas en varias ubicaciones de adquisición dentro del edificio y, opcionalmente, otros datos adquiridos relacionados con el edificio; en al menos algunas de estas realizaciones, la generación se realiza además sin tener ni utilizar información de profundidad medida sobre las distancias desde las ubicaciones de adquisición de las imágenes hasta las paredes u otros objetos del edificio circundante. El plano de planta generado y/u otra información generada relacionada con el mapeo se pueden usar además de diversas maneras en diversas realizaciones, incluso para controlar la navegación de dispositivos móviles (por ejemplo, vehículos autónomos), para su visualización en uno o más dispositivos cliente en las GUI (interfaces gráficas de usuario) correspondientes usando uno o más tipos de visualizaciones, etc. A continuación se incluyen detalles adicionales sobre la generación, visualización y uso automatizados de dicha información de mapeo, y algunas o todas las técnicas descritas en el presente documento, al menos en algunas realizaciones, pueden realizarse mediante operaciones automatizadas de un sistema de gestor de intercambio de atributos de imagen y generación de información de mapeo (“IAEMIGM”), como se explica más adelante.

[0031] Los múltiples tipos de imágenes adquiridas en las ubicaciones de adquisición asociadas a un edificio incluyen imágenes fotográficas en perspectiva (por ejemplo, fotografías en formato de perspectiva y con un ángulo de visión limitado, como las adquiridas sin el uso de una lente gran angular y que tienen un ángulo de visión inferior o igual a 60° o 90°, o adquiridas con una lente gran angular y que tienen un ángulo de visión inferior o igual a 135°) e imágenes panorámicas (por ejemplo, imágenes con un ángulo de visión más amplio, por ejemplo, mayor o igual a 180° o 360°, por ejemplo, mediante el uso de uno o más lentes ojo de pez y/u otras lentes y, opcionalmente, incluyendo la rotación alrededor de un eje vertical u otro eje, y opcionalmente en un formato equirrectangular u otro formato no de perspectiva), y tales imágenes de diferentes tipos pueden tener diferentes beneficios asociados en diferentes situaciones. Según la invención, las fotografías en formato de perspectiva tienen un ángulo de visión inferior a 90°, y las imágenes panorámicas tienen un formato equirrectangular y un ángulo de visión de al menos 180 grados. Como ejemplo no exclusivo, las fotografías en perspectiva adquiridas para un edificio pueden tener información preferible de uno o más tipos en relación con otras imágenes panorámicas adquiridas para el edificio, por ejemplo, para tener mejores características de croma (o “color”) (por ejemplo, debido a mejores lentes y/o iluminación, debido a que son capturadas por fotógrafos profesionales, etc.), para tener una resolución más alta, para incluir más detalles de áreas de interés particulares, para reflejar áreas de un edificio de particular interés y/o utilidad, etc. Como otro ejemplo no exclusivo, las imágenes panorámicas adquiridas para un edificio pueden tener información preferible de uno o más tipos diferentes en relación con otras fotografías en perspectiva adquiridas para el edificio, como tener una cobertura visual más amplia de una habitación circundante u otra área circundante (por ejemplo, para mostrar todas las paredes y parte o la totalidad del suelo y/o el techo de una habitación circundante si la imagen panorámica tiene una cobertura visual de 360° alrededor de un eje vertical) y, en consecuencia, tener una mejor información estructural asociada que se determina a partir del análisis de los datos visuales de la imagen panorámica (por ejemplo, formas estructurales u otros detalles de elementos estructurales, tales como paredes, suelo, techo, ventanas, puertas y otras aberturas de pared, etc., incluidas las posiciones de dicha información estructural entre sí y/o con respecto a una ubicación de adquisición en la que se adquiere la imagen panorámica).

[0033] En algunas realizaciones y situaciones, los múltiples tipos de imágenes adquiridas en las ubicaciones de adquisición asociadas a un edificio pueden incluir otros tipos de imágenes, ya sea además o en lugar de tener tanto fotografías en perspectiva como imágenes panorámicas, con ejemplos no exclusivos de tipos adicionales de imágenes que incluyen una o más de las siguientes: imágenes diurnas y nocturnas (por ejemplo, imágenes de varios de estos tipos para una o más áreas particulares asociadas con el edificio, como para capturar una representación visual del mismo tema tanto de día como de noche), y siendo las imágenes fotografías en perspectiva y/o imágenes panorámicas; imágenes que tienen muchos otros tipos de iluminación, como iluminación natural e iluminación artificial, y/o iluminación natural en diferentes momentos del día y/o épocas del año (por ejemplo, imágenes de varios de estos tipos para una o más áreas particulares asociadas con el edificio, como capturar una representación visual del mismo tema durante dos o más de estos tipos de iluminación), y siendo las imágenes fotografías en perspectiva y/o imágenes panorámicas; imágenes adquiridas en diferentes momentos (por ejemplo, imágenes de varios de estos tipos para una o más áreas particulares asociadas con el edificio, como para capturar una representación visual del mismo tema en cada uno de varios momentos diferentes), como antes y después de un evento u suceso (por ejemplo, una remodelación, renovación, accidente u otro suceso destructivo, construcción, etc.), y siendo las imágenes fotografías en perspectiva y/o imágenes panorámicas; diferentes tipos de imágenes que incluyen respectivamente datos no visuales (por ejemplo, información no visible para un ser humano, como luz infrarroja, luz ultravioleta, ondas de radio y otras radiaciones, audio, etc.) o datos visuales (por ejemplo, imágenes de múltiples tipos para una o más áreas particulares asociadas con el edificio, como para capturar una representación del mismo tema utilizando tanto datos visuales como uno o más tipos de datos no visuales), y siendo las imágenes fotografías en perspectiva y/o imágenes panorámicas; etc.

[0035] Como se indicó anteriormente, las técnicas descritas pueden incluir el intercambio de información de atributos de uno o más tipos entre imágenes de múltiples tipos. Por ejemplo, dado un par de imágenes asociadas de múltiples tipos (por ejemplo, una fotografía en perspectiva y una imagen panorámica que tienen una cobertura visual superpuesta), los ejemplos no exclusivos de intercambio de información de atributos entre imágenes del par pueden incluir uno o más de los siguientes: generar una imagen mejorada (por ejemplo, una imagen panorámica mejorada) modificando la imagen panorámica de la pareja para usar datos para uno o más tipos de atributos de la fotografía en perspectiva de la pareja, como uno o más datos de croma sin datos de luminancia, datos de croma y datos de luminancia, datos de luminancia sin datos de croma, datos de balance de luz, datos de saturación, datos de nitidez, datos de estilo, etc.; generar una imagen mejorada (por ejemplo, fotografía en perspectiva mejorada) modificando la fotografía en perspectiva de la pareja para usar o asociar datos para uno o más tipos de atributos de la imagen panorámica de la pareja, como uno o más tipos de formas estructurales u otros elementos estructurales, opcionalmente con información de posición relativa asociada entre sí (por ejemplo, para permitir que la imagen mejorada tenga información estructural asociada para elementos estructurales que no son visibles en la fotografía en perspectiva original); etc. Además, otros tipos de datos de atributo pueden intercambiarse entre dos o más imágenes de dos o más tipos diferentes de manera análoga, ya sea en lugar, o además de los tipos de atributos de ejemplo indicados anteriormente, como generar una o más imágenes mejoradas que incluyen una combinación de datos visuales de las dos o más imágenes y/o que utilicen una combinación de datos de atributo para las dos o más imágenes, con ejemplos no exclusivos que incluyen la combinación de información de imágenes diurnas y nocturnas (por ejemplo, para ilustrar cambios entre las diferentes horas o para proporcionar de otro modo una comparación de las diferentes iluminaciones para el mismo área) y/o combinar información de imágenes con otros tipos de diferente iluminación (por ejemplo, para ilustrar cambios entre las diferentes iluminaciones o para proporcionar de otro modo una comparación de las diferentes iluminaciones para el mismo área) y/o combinar información de imágenes capturadas en diferentes momentos (por ejemplo, para ilustrar cambios entre los diferentes momentos o para proporcionar una comparación entre los diferentes momentos) y/o combinar información de imágenes que han capturado datos visuales y no visuales o que tienen diferentes tipos de datos (por ejemplo, para ilustrar cambios entre diferentes tipos de datos (o para proporcionar una comparación entre los diferentes tipos de datos), etc.

[0037] Además, los datos asociados con una o más imágenes de un primer tipo pueden usarse además para generar una o más imágenes mejoradas de un segundo tipo de maneras adicionales en algunas realizaciones, con ejemplos no exclusivos que incluyen uno o más de los siguientes: para un par de una fotografía en perspectiva y una imagen panorámica, utilizar los datos visuales de la imagen del par con mayor resolución y uno o más modelos de aprendizaje automático entrenados correspondientes para generar una imagen mejorada para la otra imagen del par que tiene una resolución aparente más alta para algunos o todos los datos visuales de la imagen mejorada; para un par de una fotografía en perspectiva y una imagen panorámica, combinar los datos visuales de la fotografía en perspectiva y la imagen panorámica para generar una nueva imagen “fusionada” mejorada que tiene datos visuales de ambas imágenes y/o tiene datos visuales adicionales en relación con la fotografía en perspectiva y la imagen panorámica; para un par de imágenes de diferentes tipos, usar un perfil de ruido para una de las imágenes para aumentar una o más partes de una imagen mejorada generada en función de la otra imagen; para un par de imágenes de diferentes tipos, generar una imagen mejorada basada en una de las imágenes asociando la información de la otra imagen con una o más partes de la imagen mejorada (por ejemplo, como punto de interés en la imagen mejorada), por ejemplo, en una posición de la imagen mejorada en la que se adquirió la otra imagen y, opcionalmente, seleccionable por el usuario cuando la imagen mejorada se muestra a un usuario, por ejemplo, para hacer que se muestre la otra imagen o para mostrar o proporcionar de otro modo detalles adicionales al usuario relacionados con la otra imagen (cuando el usuario la selecciona); como parte de la generación de un plano de planta parcial o completo u otra representación modelada de al menos parte de un edificio basada, al menos en parte, en un par de imágenes de diferentes tipos, asociando una o más posiciones dentro del plano de planta u otra representación modelada con una o ambas imágenes de la pareja (por ejemplo, como uno o más puntos de interés para el plano de planta u otra representación modelada, como en una o más posiciones del plano de planta u otra representación modelada en la que se adquirieron una o ambas imágenes y, opcionalmente, siendo seleccionable por el usuario cuando se muestra el plano de planta u otra representación modelada a un usuario, por ejemplo, para hacer que se muestren la o las imágenes respectivas o para proporcionar detalles adicionales al usuario relacionados con la o las imágenes cuando lo selecciona el usuario); actualizar, con respecto a un grupo de imágenes de múltiples tipos adquiridos en múltiples ubicaciones de adquisición para un edificio que se usan para generar una o más imágenes mejoradas iniciales, el grupo de imágenes en un momento posterior para incluir una o más imágenes adicionales (por ejemplo, en una o más ubicaciones de adquisición adicionales, de uno o más tipos adicionales, etc.) y usar las imágenes adicionales para generar una o más imágenes mejoradas adicionales (por ejemplo, basadas en uno o más pares nuevos de imágenes, cada uno de los cuales incluye una imagen preexistente y una imagen adicional que tiene cobertura visual superpuesta; basada en uno o más pares nuevos de imágenes (cada uno de los cuales incluye dos imágenes adicionales que tienen una cobertura visual superpuesta, etc.) y, opcionalmente, actualizar otra información de mapeo del edificio en función de las imágenes adicionales; analizar varias imágenes de un primer tipo (por ejemplo, imágenes con cantidades más pequeñas de cobertura visual, como fotografías en perspectiva) para entrenar uno o más modelos de aprendizaje automático para identificar las características visuales incluidas en esas fotografías en perspectiva (por ejemplo, para identificar las características de las áreas de un edificio para las que tener detalles adicionales es de interés para un procesamiento automatizado adicional y/o para un espectador, como la cocina o el baño de una casa y, opcionalmente, para permitir las determinaciones de valoración correspondientes a la casa actual o relacionadas con una remodelación en función de esos detalles adicionales; para identificar las características de las áreas de un edificio que de otro modo proporcionarían información útil para un procesamiento automatizado adicional y/o para un espectador, como para proporcionar información relacionada con las áreas de flujo de tráfico entre habitaciones o para proporcionar información estructural o de diseño del edificio; para identificar las características de las áreas de un edificio que son visualmente agradables para el espectador, como proporcionar una o más imágenes introductorias o generales de un edificio, etc.), y utilizar los modelos de aprendizaje automático entrenados para generar una o más imágenes mejoradas a partir de imágenes de un segundo tipo (por ejemplo, imágenes con una mayor cantidad de cobertura visual, como imágenes panorámicas) seleccionando un subconjunto de cada una de las imágenes del segundo tipo para que sean las una o más imágenes mejoradas, y para corresponder a partes de las imágenes de los segundos tipos que tienen la características visuales identificadas, etc. Además, en al menos algunas realizaciones y situaciones, en lugar de tener un par de dos imágenes con una cobertura visual superpuesta, las técnicas descritas pueden ampliarse para tener un grupo de tres o más imágenes con una cobertura visual superpuesta (por ejemplo, una imagen panorámica y dos o más fotografías en perspectiva, tal como con los datos visuales correspondientes a diferentes subconjuntos de la imagen panorámica); una o más fotografías en perspectiva y dos o más imágenes panorámicas, tal como con los datos visuales de las dos o más imágenes panorámicas que se superponen entre sí, y cada fotografía en perspectiva superponiéndose con al menos parte de al menos una de las imágenes panorámicas, etc.), intercambiándose la información de atributos correspondiente entre las imágenes del grupo de una manera análoga a la descrita con respecto a un par de imágenes (por ejemplo, para combinar los datos de atributo de croma de dos o más fotografías en perspectiva del grupo, por ejemplo, mediante un promedio ponderado o no ponderado) y utilizando los datos de atributo de croma combinados como parte de una imagen panorámica mejorada para una imagen panorámica en grupo).

[0039] Además, en al menos algunas realizaciones y situaciones, las técnicas descritas incluyen poner en correspondencia imágenes de dos o más tipos para asociarlas entre sí de maneras particulares. Por ejemplo, con respecto a un par de imágenes asociadas que incluyen una fotografía en perspectiva y una imagen panorámica, la coincidencia de esas imágenes puede basarse, al menos en parte, en la identificación de la cobertura visual superpuesta entre esas dos imágenes. Como una realización de ejemplo, si hay una o más imágenes panorámicas disponibles para un edificio, cada una de esas imágenes panorámicas que esté en un formato no de perspectiva y/o no plano (por ejemplo, equirrectangular, esférico, etc.) puede analizarse primero para generar múltiples subimágenes, cada una de las cuales incluya un subconjunto distinto de los datos visuales de esa imagen panorámica y esté en un formato en perspectiva y/o plano (por ejemplo, para generar seis subimágenes para que una imagen panorámica de 360° se corresponda con X, Ejes Y y Z). Para cada subimagen panorámica de este tipo (y opcionalmente para cada panorámica que ya esté en formato de perspectiva), se puede realizar un procesamiento automatizado adicional para generar una o más primeras características globales que describan los datos visuales de esa subimagen (o imagen panorámica en formato de perspectiva) en su conjunto, y para generar múltiples primeras características locales que describan partes individuales de los datos visuales de esa subimagen (o imagen panorámica en formato de perspectiva). Se pueden usar varias técnicas para generar tales características globales y locales, y un ejemplo de técnica se analiza en “An End-to-End Local-Global-Fusion Feature Extraction Network for Remote Sensing Image Scene Classification” de Yafei Lv et al., Remote Sens. 2019, 11(24):3006. El procesamiento automatizado puede incluir de manera similar, si hay una o más fotografías en perspectiva disponibles para el edificio, generar una o más segundas características globales que describan los datos visuales de cada una de esas fotografías en perspectiva en su conjunto, y generar múltiples segundas características locales que describan partes individuales de los datos visuales de cada una de esas fotografías en perspectiva. Para cada una de estas fotografías en perspectiva, se puede determinar un grupo de una o más imágenes panorámicas candidatas comparando las una o más segundas características globales de la fotografía en perspectiva con las primeras características globales generadas para las imágenes panorámicas y sus subimágenes, por ejemplo, para clasificar las imágenes panorámicas candidatas según el grado de coincidencia con esas imágenes panorámicas y/o sus subimágenes y, opcionalmente, seleccionar un subconjunto de las imágenes panorámicas candidatas que satisfagan un umbral definido (por ejemplo, 1 o 5 o 10 superiores, por encima de un nivel definido de coincidencia, etc.). Si se seleccionan múltiples imágenes panorámicas candidatas, el procesamiento automatizado puede comparar además las múltiples segundas características locales de la fotografía en perspectiva con las múltiples primeras características locales de las imágenes panorámicas candidatas (y sus subimágenes), y seleccionar una o más de las imágenes panorámicas candidatas con el mayor grado de coincidencia entre las características locales primera y segunda. Esa fotografía en perspectiva y las una o más imágenes panorámicas seleccionadas pueden entonces compararse en un par u otro grupo para su posterior análisis, incluso con respecto al intercambio de datos de atributo entre imágenes del par u otro grupo. Además, múltiples fotografías en perspectiva que coinciden en diferentes pares con la misma imagen panorámica pueden unirse además en un grupo más grande en al menos algunas realizaciones y situaciones. Además, si bien las dos o más imágenes de un par u otro grupo pueden seleccionarse basándose, al menos en parte, en tener una cobertura visual superpuesta en al menos algunas realizaciones y situaciones, dos o más de esas imágenes que se van a emparejar o agrupar de otro modo pueden seleccionarse de otras maneras en otras realizaciones, tal como en función de la proximidad (por ejemplo, tener ubicaciones de adquisición en la misma habitación u otra área) y/o el tiempo de adquisición (por ejemplo, al capturarse durante la misma sesión y/o en una hora similar del día) y/o uno o más criterios indicados.

[0041] A continuación se incluyen detalles adicionales relacionados con el intercambio de datos de atributo entre dos o más imágenes emparejadas o agrupadas de otro modo de múltiples tipos, y con el uso de las imágenes mejoradas correspondientes de diversas maneras, incluso con respecto a las operaciones automatizadas de las realizaciones del sistema IAEMIGM, y con algunos de estos detalles discutidos con respecto a los ejemplos de las figuras 2A-2J y sus descripciones asociadas.

[0043] Además, en algunas realizaciones, los datos visuales complementarios del edificio pueden capturarse y usarse adicionalmente, como uno o más vídeos, aunque en otras realizaciones no se pueden usar dichos datos visuales complementarios. Además, los metadatos de adquisición complementarios relacionados con la captura de imágenes pueden obtenerse y usarse de diversas maneras en algunas realizaciones, como los datos adquiridos de los sensores IMU (unidad de medición inercial) u otros sensores de un dispositivo móvil a medida que las imágenes se adquieren en las ubicaciones de adquisición y/o cuando el dispositivo móvil es transportado por un usuario o se mueve de otro modo entre las ubicaciones de adquisición, aunque en otras realizaciones no se pueden usar dichos metadatos de adquisición. Como ejemplo no exclusivo, se pueden obtener datos complementarios relacionados con la ubicación y usarse como parte de las técnicas descritas, tal como para determinar las ubicaciones de adquisición y/o las orientaciones de captura de las imágenes (por ejemplo, la postura de la imagen) y usar dicha información como parte de pares de imágenes coincidentes; dichos datos relacionados con la ubicación pueden, por ejemplo, basarse en sensores que proporcionan directamente datos de ubicación (por ejemplo, un sensor GPS) y/o basarse en la combinación de información de múltiples tipos visuales, por ejemplo, mediante la combinación de datos visuales adquiridos y datos de IMU, incluso mediante el uso de técnicas de odometría visual-inercial de una manera similar a la de ARKit y/o ARCore, y/o el uso de una o más técnicas de localización y mapeo simultáneos (SLAM), SLAM visual (V-SLAM), SLAM visual-inercial (VI-SLAM), estructura a partir de movimiento (SfM), etc.). Como otro ejemplo no exclusivo, se pueden obtener y usar datos complementarios relacionados con la profundidad como parte de las técnicas descritas, como para ayudar a determinar las poses de las imágenes y usar dicha información como parte de pares de imágenes coincidentes; dichos datos relacionados con la profundidad pueden, por ejemplo, basarse en uno o más tipos de sensores y/o datos adquiridos, como el uso de uno o más de LIDAR, tiempo de vuelo, estéreo pasivo, estéreo activo, iluminación estructurada, etc. También se pueden recopilar y utilizar algunos otros tipos de información complementaria en algunas realizaciones, y se incluyen detalles adicionales relacionados con la adquisición y el uso de imágenes y, opcionalmente, otra información relacionada para un edificio, y algunas o todas las actividades relacionadas se realizan, en al menos algunas realizaciones, mediante operaciones automatizadas de un sistema de captura automática de imágenes (“AIC”), como se explica más adelante.

[0045] Como se indicó anteriormente, se pueden generar múltiples tipos de información de mapeo para un edificio en diversas realizaciones basándose, al menos en parte, en datos visuales de múltiples imágenes adquiridas para el edificio, incluidas múltiples imágenes de múltiples tipos. Por ejemplo, después de adquirir múltiples imágenes y, opcionalmente, otra información complementaria para el interior de un edificio (y opcionalmente un exterior del edificio), la generación de información de mapeo para el edificio (por ejemplo, al menos un plano de planta parcial, grupos de imágenes enlazados en determinadas posiciones relativas, imágenes mejoradas, etc.) puede incluir la determinación automática de las posiciones relativas de algunas o todas las ubicaciones de adquisición de las imágenes entre sí en un sistema de coordenadas local común u otro marco de referencia local común, e intentar, opcionalmente, predecir o determinar de otro modo las posiciones globales relativas de todas las ubicaciones de adquisición entre sí en un sistema de coordenadas global común u otro marco de referencia global común. Una vez que se determinan dichas posiciones relativas, se pueden determinar las direcciones y las distancias relativas entre algunos o todos los pares de ubicaciones de adquisición. Con respecto a tales distancias relativas, la determinación puede incluir, por ejemplo, identificar que las ubicaciones de adquisición primera y segunda están dos veces más alejadas entre sí que las ubicaciones de adquisición tercera y cuarta, pero sin conocer las distancias reales entre esas ubicaciones de adquisición. De manera similar, con respecto a dichas direcciones relativas, la determinación puede incluir, por ejemplo, identificar que una primera ubicación de adquisición está a la derecha de una segunda ubicación de adquisición en una dirección de 60° (por ejemplo, utilizando la orientación de una pose estimada, o tanto la ubicación de adquisición como la orientación de captura, de una imagen adquirida en la segunda ubicación de adquisición como dirección de inicio) y que una tercera ubicación de adquisición está a la izquierda de la segunda ubicación de adquisición en una dirección de 45°, pero sin conocer las actuales posiciones geográficas de cualquiera de esas ubicaciones de adquisición. La determinación de las posiciones relativas de algunas o todas las ubicaciones de adquisición de las imágenes se puede realizar de diversas maneras en diversas realizaciones, incluido el análisis de los datos visuales de las imágenes con el fin de interconectar algunos pares de imágenes y/o los pares correspondientes de la ubicación de adquisición de esas imágenes (por ejemplo, identificando características coincidentes comunes en dos imágenes diferentes para usarlas en la determinación de sus posiciones relativas entre sí, por ejemplo, basándose en parte en la información de postura estimada para identificar las ubicaciones) y orientaciones desde las que se capturan esas imágenes) y, opcionalmente, utilizar otra información complementaria si está disponible (por ejemplo, de los metadatos sobre la adquisición de las imágenes; de otros datos visuales; de otra información sobre el edificio, como una imagen general del edificio u otra información sobre el edificio, como la forma o las dimensiones; etc.).

[0047] Además, la generación de al menos un plano de planta parcial para el edificio, si se realiza en una realización particular, puede incluir además determinar automáticamente, para cada habitación del edificio y usando una o más imágenes cuyos datos visuales incluyan parte del interior de esa habitación, las formas estructurales parciales o completas que son visibles en esas imágenes para esas habitaciones, de modo que correspondan a elementos estructurales tales como una o más paredes, suelos, techos, pasajes entre habitaciones (por ejemplo, puertas) y otras aberturas entre paredes), ventanas, chimeneas, islas, encimeras, etc., y opcionalmente para corresponder al menos a algunos elementos no estructurales (por ejemplo, electrodomésticos, muebles, etc.). La generación puede determinar además el espaciado relativo entre múltiples formas estructurales para una habitación, por ejemplo, basándose, al menos en parte, en las posiciones relativas determinadas de las ubicaciones de adquisición de esas imágenes y en las distancias y direcciones relativas estimadas de esas formas estructurales desde esas ubicaciones de adquisición; en algunos casos, la determinación del espaciado relativo puede realizarse además entre las formas estructurales de múltiples habitaciones, por ejemplo, basándose, al menos en parte, en las posiciones de cualquier pasaje de conexión entre las habitaciones y/o utilizando una o más imágenes, cada una con datos visuales que incluyen partes de varias habitaciones. Dichos pasajes de conexión entre habitaciones pueden incluir una o más puertas, ventanas, escaleras, pasillos que no son habitaciones, etc., y el análisis automatizado de los datos visuales de las imágenes puede identificar dichas características basándose, al menos en parte, en identificar los contornos de los pasajes, identificar un contenido diferente dentro de los pasajes que esté fuera de estos (por ejemplo, diferentes colores, sombras, intensidades de luz, alturas, etc.), etc. La generación de al menos un plano de planta parcial para el edificio también puede, en algunas realizaciones, incluir la aplicación de restricciones de uno o más tipos, incluso basados en la conexión de pasajes entre habitaciones (por ejemplo, para ubicar o hacer coincidir de otro modo la información del pasaje de conexión en dos o más habitaciones que conecta el pasaje) y, opcionalmente, restricciones de otro tipo (por ejemplo, ubicaciones del exterior del edificio donde no debería haber habitaciones, formas de las habitaciones adyacentes, dimensiones generales del edificio y/o de habitaciones particulares del edificio, una forma exterior de parte o de todo el edificio, etc.). En algunas realizaciones y en situaciones en las que un edificio tiene múltiples pisos o que tiene múltiples niveles, la información del pasaje de conexión se puede usar además para asociar las partes correspondientes en diferentes planos de subplanta de diferentes pisos o niveles. Se apreciará que si se capturan suficientes imágenes para, en conjunto, tener datos visuales de todas las superficies estructurales interiores de un edificio, el plano de planta generado puede ser un plano de planta completo; en otras situaciones, se puede generar un plano de planta completo previsto al predecir las partes faltantes de uno o más planos de planta parciales. Además, en al menos algunas realizaciones, el análisis automatizado de las imágenes puede identificar además parte o la totalidad de dicha información y/o información adicional (por ejemplo, un tipo de habitación estimado) mediante el aprendizaje automático (por ejemplo, mediante un modelo de aprendizaje automático entrenado correspondiente), por ejemplo, para estimar un tipo de habitación identificando las características o características correspondientes a diferentes tipos de habitación, y para asociar las etiquetas semánticas correspondientes a dichas habitaciones; en otras realizaciones, al menos parte de esa información se puede obtener de otras maneras, como recibir la información correspondiente de uno o más usuarios (por ejemplo, basándose en las anotaciones de los usuarios sobre una o más imágenes de la habitación y/u otras descripciones de habitaciones particulares u otras ubicaciones, como para identificar los bordes entre las paredes, el techo y el suelo; en función de otras entradas del usuario, como los ajustes a la información determinada automáticamente, etc.). En algunas realizaciones, el análisis automatizado de los datos visuales de las imágenes puede identificar además información adicional en una o más imágenes, como las dimensiones de los objetos (por ejemplo, objetos de tamaño conocido) y/o de algunas o todas las habitaciones, así como las distancias reales estimadas de las ubicaciones de adquisición de las imágenes desde las paredes u otras características de sus habitaciones. Por ejemplo, la información de tamaño estimado para una o más habitaciones puede asociarse a un plano de planta y/o una imagen mejorada, almacenarse y mostrarse opcionalmente -si la información de altura se estima para una o más habitaciones, se puede crear un modelo 3D (tridimensional) de parte o la totalidad del plano de planta 2D (bidimensional), asociado al plano de planta, almacenar y mostrar opcionalmente, y si la información de tamaño se genera para todas las habitaciones con un grado de precisión suficiente, un plano de planta más detallado de el edificio puede generarse además, por ejemplo, con suficiente detalle para permitir la generación de planos u otros planos arquitectónicos. La diversa información determinada u obtenida de otro modo puede asociarse además con imágenes mejoradas, planos de planta y/u otra información de mapeo de edificios generada, y dichas imágenes mejoradas, planos de planta y/u otra información de mapeo de edificios generada (que opcionalmente incluye la información asociada) pueden mostrarse o presentarse de otro modo o proporcionarse de otro modo a los usuarios y, opcionalmente, a otros destinatarios de diversas maneras en diversas realizaciones. A continuación se incluyen detalles adicionales con respecto a la determinación de la información de mapeo para un edificio y con respecto a la presentación u otro uso de dicha información de mapeo determinada.

[0049] Las técnicas descritas proporcionan diversos beneficios en diversas realizaciones, que incluyen permitir que se generen automáticamente imágenes mejoradas y/o planos de planta y/u otras representaciones modeladas de edificios de varias habitaciones y otras estructuras a partir de imágenes adquiridas en los edificios u otras estructuras, incluso en al menos algunas de estas realizaciones sin tener o usar información de profundidad medida de sensores de profundidad u otros dispositivos de medición de distancia sobre las distancias desde las ubicaciones de adquisición de imágenes hasta las paredes u otros objetos en un edificio circundante u otras estructuras, y para que dichas imágenes mejoradas y/o planos de planta y/u otras representaciones modeladas se presenten y/o se utilicen de otro modo, tales técnicas descritas pueden proporcionar además información más completa y precisa sobre la forma de la habitación y en una mayor variedad de condiciones ambientales (por ejemplo, en situaciones en las que los objetos de una habitación ocultan la vista de una sola imagen de al menos algunas de las paredes y/o el suelo y/o el techo, pero en las que la combinación de las vistas de múltiples imágenes elimina o reduce ese problema, etc.). Los ejemplos no exclusivos de dichos beneficios adicionales de las técnicas descritas incluyen los siguientes: la capacidad de analizar los datos visuales de una imagen objetivo para detectar objetos de interés en la habitación circundante (por ejemplo, elementos estructurales de la pared, como ventanas, puertas y otras aberturas de pared, etc.) y determinar las ubicaciones de esos objetos detectados en una forma de habitación determinada para la habitación circundante; la capacidad de analizar datos capturados adicionales (por ejemplo, datos de movimiento de uno o más sensores IMU, datos visuales de uno o más sensores de imagen, etc.) para determinar la trayectoria de un dispositivo de adquisición de imágenes en varias habitaciones, para identificar aberturas de pared (por ejemplo, puertas, escaleras, etc.) basadas, al menos en parte, en esos datos adicionales (y opcionalmente en datos visuales de una o más imágenes objetivo adquiridas en las una o más habitaciones) y, opcionalmente, utilizar adicionalmente dicha información sobre aberturas de pared identificadas para posicionar juntas determinadas formas de habitación 3D de las múltiples habitaciones; la capacidad de interconectar múltiples imágenes objetivo y/o sus ubicaciones de adquisición y mostrar al menos una de las imágenes objetivo visuales con uno o más indicadores en una o más direcciones de uno o más otras imágenes en una o más ubicaciones de adquisición vinculadas (por ejemplo, indicadores visuales seleccionables por el usuario que, cuando se seleccionan, provocan la visualización de otra respectiva de las imágenes y/o información asociada para esa otra imagen); etc. Además, tales técnicas automatizadas permiten generar dicho plano de planta y/u otra representación modelada mucho más rápidamente que las técnicas existentes anteriormente y, en al menos algunas realizaciones, con mayor precisión, basándose, al menos en parte, en el uso de la información adquirida del edificio real el entorno (en lugar de basarse en los planos sobre cómo debería construirse teóricamente el edificio), además de permitir captar los cambios en los elementos estructurales que se producen después de la construcción inicial de un edificio (por ejemplo, remodelaciones y otras renovaciones). Dichas técnicas descritas proporcionan además beneficios al permitir una navegación automatizada mejorada de un edificio mediante dispositivos móviles (por ejemplo, vehículos semiautónomos o totalmente autónomos), incluida la reducción significativa de la potencia informática utilizada y el tiempo empleado para intentar aprender de otro modo el diseño de un edificio. Además, en algunas realizaciones, las técnicas descritas pueden usarse para proporcionar una GUI mejorada en la que un usuario pueda obtener información sobre el interior y el entorno circundante de un edificio (por ejemplo, para su uso al navegar por ese entorno interior y/o circundante), incluso en respuesta a solicitudes de búsqueda, como parte de proporcionar información personalizada al usuario, como parte de proporcionar estimaciones de valor y/u otra información sobre un edificio a un usuario, etc. También se ofrecen otros beneficios proporcionados por las técnicas descritas, algunas de las cuales se describen adicionalmente en otra parte del presente documento.

[0051] Con fines ilustrativos, a continuación se describen algunas realizaciones en las que se adquieren, usan y/o presentan tipos específicos de información de maneras específicas para tipos específicos de estructuras y mediante el uso de tipos específicos de dispositivos; sin embargo, se entenderá que las técnicas descritas pueden usarse de otras maneras en otras realizaciones y que, por lo tanto, la invención no se limita a los detalles ejemplares proporcionados. Como ejemplo no exclusivo, si bien se adquieren tipos específicos de imágenes y se usan para generar tipos específicos de estructuras de datos (por ejemplo, imágenes mejoradas, gráficos de imágenes interconectadas y/o ubicaciones de adquisición de imágenes, planos de planta en 2D, modelos informáticos 2,5D o 3D, colas, cachés, bases de datos, etc.) que se usan además de maneras específicas en algunas realizaciones, se apreciará que se pueden generar y usar de manera similar otros tipos de información para describir edificios y sus ubicaciones de adquisición en otras realizaciones, incluyendo para edificios (u otras estructuras o diseños) separados de las casas, y que las imágenes y otra información del edificio se pueden usar de otras maneras en otras realizaciones. Como otro ejemplo no exclusivo, si bien las imágenes mejoradas y/o los planos de planta de casas u otros edificios pueden usarse para su visualización para ayudar a los espectadores a navegar por los edificios, la información de mapeo generada puede usarse de otras maneras en otras realizaciones. Como otro ejemplo no exclusivo, si bien algunas realizaciones analizan la obtención y el uso de datos de uno o más tipos de dispositivos de adquisición de imágenes (por ejemplo, un dispositivo informático móvil y/o un dispositivo de cámara independiente), en otras realizaciones, los uno o más dispositivos utilizados pueden tener otras formas, como usar un dispositivo móvil que adquiere algunos o todos los datos adicionales pero no proporciona sus propias capacidades informáticas (por ejemplo, un dispositivo móvil “no informático” adicional), múltiples dispositivos móviles independientes que cada uno adquiera algunos de los datos adicionales (ya sean dispositivos informáticos móviles y/o dispositivos móviles no informáticos), etc. Además, el término “edificio” se refiere en el presente documento a cualquier estructura parcial o totalmente cerrada, que normalmente, pero no necesariamente, abarca una o más habitaciones que dividen visual o de otro modo el espacio interior de la estructura; los ejemplos no limitativos de dichos edificios incluyen casas, edificios de apartamentos o apartamentos individuales en los mismos, condominios, edificios de oficinas, edificios comerciales u otras estructuras mayoristas y minoristas (por ejemplo, tiendas)centros comerciales, grandes almacenes, almacenes, etc.), estructuras complementarias en una propiedad con otro edificio principal (por ejemplo, un garaje o cobertizo independiente en una propiedad con una casa), etc. El término “adquirir” o “capturar”, tal como se usa aquí haciendo referencia al interior de un edificio, ubicación de adquisición u otra ubicación (a menos que el contexto indique claramente lo contrario), puede referirse a cualquier grabación, almacenamiento o registro de medios, datos de sensores y/u otra información relacionada con características espaciales y/o características visuales y/o características perceptibles de otro modo del interior del edificio o subconjuntos del mismo, tal como mediante un dispositivo de grabación o mediante otro dispositivo que reciba información del dispositivo de grabación. Tal como se usa en el presente documento, el término “fotografía panorámica” (o “imagen panorámica”) puede referirse a una representación visual que se basa en, incluye o es separable en múltiples imágenes de componentes discretos que se originan en una ubicación física sustancialmente similar en diferentes direcciones y que representa un campo de visión mayor que el que cualquiera de las imágenes de componentes discretos representa individualmente, incluidas imágenes con un ángulo de visión suficientemente amplio desde una ubicación física como para incluir ángulos más allá de los perceptibles desde la mirada de una persona en una sola dirección (p. ej.,superior a 120° o 150° o 180°, etc.). El término “secuencia” de ubicaciones de adquisición, tal como se usa en el presente documento, se refiere generalmente a dos o más ubicaciones de adquisición que se visitan cada una al menos una vez en un orden correspondiente, independientemente de que se visiten o no otras ubicaciones no de adquisición entre estas, y de si las visitas a las ubicaciones de adquisición se producen o no durante un único período de tiempo continuo o en múltiples momentos diferentes, o por un solo usuario y/o dispositivo o por varios usuarios y/o dispositivos diferentes. Además, se proporcionan varios detalles en los dibujos y el texto con fines ilustrativos, pero no pretenden limitar el alcance de la invención. Por ejemplo, los tamaños y las posiciones relativas de los elementos en los dibujos no están necesariamente dibujados a escala, omitiéndose algunos detalles y/o proporcionándolos con mayor prominencia (por ejemplo, mediante el tamaño y la posición) para mejorar la legibilidad y/o la claridad. Además, se pueden utilizar números de referencia idénticos a los dibujos para identificar elementos o acciones iguales o similares.

[0053] La figura 1A es un ejemplo de diagrama de bloques de varios dispositivos y sistemas informáticos que pueden participar en las técnicas descritas en algunas realizaciones. En particular, después de capturar imágenes de tipos móviles, tal como mediante uno o más dispositivos informáticos móviles de adquisición de imágenes 185 y/o uno o más dispositivos de cámara 186, las imágenes y la información asociada para estas (por ejemplo, anotaciones, metadatos, información de enlace de interconexión, etc.) pueden almacenarse con la información 164 en uno o más sistemas informáticos de servidor 180 para su uso posterior. Dicha información 164 puede incluirse además como parte de la información interior del edificio capturada 165 que es utilizada posteriormente por un sistema IAEMIGM (gestor de intercambio de atributos de imagen y generación de información de mapeo) 160 que se ejecuta en uno o más sistemas informáticos de servidor 180 (ya sea en el mismo sistema informático de servidor o en diferentes sistemas informáticos de servidor en los que se almacena la información 164) para generar las correspondientes imágenes mejoradas 152 para el edificio (por ejemplo, basándose, al menos en parte, en los datos de atributo de imagen 150 de las imágenes) y, opcionalmente, para otra información de mapeo del edificio 155 (por ejemplo, subgráficos de ubicaciones de adquisición vinculadas, planos de planta, etc.). La figura 2J muestra un ejemplo de dicho plano de planta, como se explica más adelante, y los detalles adicionales relacionados con el funcionamiento automatizado del sistema IAEMIGM se incluyen en otra parte del presente documento, incluso con respecto a las figuras 4A-4B y 5. La información 165 del interior del edificio capturada puede incluir además otros tipos de información adquirida de un entorno del edificio, como datos visuales adicionales y/u otros tipos de datos capturados en o alrededor de un edificio, como se explica con mayor detalle en otra parte del presente documento.

[0055] La captura de algunas o todas las imágenes puede realizarse en la realización ilustrada de la figura 1A mediante un sistema AIC (captura automática de imágenes) que se ejecuta en un dispositivo móvil de adquisición y análisis de imágenes 185, tal como una aplicación 162 ubicada en la memoria y/o el almacenamiento 152 de ese dispositivo; en otras realizaciones, todas las imágenes pueden capturarse sin el uso de dicho sistema AIC, ya sea mediante dispositivos informáticos móviles de adquisición de imágenes y/u otros dispositivos de cámara 186 que carecen de algunas o todas esas capacidades informáticas. Si se usa una copia del sistema AIC en un dispositivo 185 para ayudar en la captura de imágenes, uno o más procesadores de hardware 132 del dispositivo móvil pueden ejecutar el sistema AIC para adquirir varias imágenes 143 y, opcionalmente, información adicional asociada usando uno o más sistemas de formación de imágenes 135 del dispositivo móvil, que posteriormente se transfieren a través de una o más redes informáticas 170 al almacenamiento 164 en el o los sistemas informáticos del servidor 180. De manera similar, si se usa un dispositivo de cámara 186 como parte de la captura de imágenes, las imágenes resultantes pueden almacenarse en el almacenamiento (no mostrado) del dispositivo de cámara y transferirse a través de una o más redes informáticas 170 al almacenamiento 164 en el sistema o sistemas informáticos del servidor 180, por ejemplo directamente por el dispositivo de cámara si incluye las capacidades de transmisión correspondientes (no se muestran) o después de que las imágenes se transfieran a otro dispositivo (no se muestra) que incluye dichas capacidades de transmisión. Como parte de las operaciones del sistema AIC, se pueden utilizar además otros componentes de hardware del dispositivo móvil 185, como el sistema de visualización 142 (por ejemplo, para mostrar instrucciones y/o información de la imagen constitutiva), componentes de E/S del dispositivo 136 (por ejemplo, para recibir instrucciones del usuario y presentarle información), módulos de sensores 148 que incluyen un giroscopio IMU 148a y un acelerómetro IMU 148b y una brújula IMU 148c (por ejemplo, para adquirir y asociar datos de sensores con la adquisición de imágenes constituyentes particulares correspondientes), uno o más componentes de iluminación 136, etc. ; de manera similar, un dispositivo de cámara 186 puede incluir algunos o todos estos componentes en algunas realizaciones y situaciones. La figura 1B muestra un ejemplo de dicha adquisición de imágenes para una casa 198 en particular, y las figuras 2A-2C muestran ejemplos de tales imágenes.

[0057] Uno o más usuarios (no se muestran) de uno o más dispositivos informáticos cliente 105 pueden interactuar además opcionalmente a través de las redes informáticas 170 con el sistema IAEMIGM 160, para ayudar a crear o modificar la información de mapeo de edificios y/o utilizar posteriormente la información de mapeo generada de una o más maneras automatizadas adicionales; tales interacciones del o de los usuarios pueden incluir, por ejemplo, proporcionar instrucciones para la información de mapeo de edificios generada, proporcionar información para incluir en la información de mapeo de edificios generada, obtener y interactuar opcionalmente con información de mapeo generada en particular y/o con información asociada adicional, etc. Además, uno o más usuarios (no mostrados) de uno o más dispositivos informáticos cliente 175 pueden interactuar además opcionalmente a través de las redes informáticas 170 con los sistemas informáticos servidor 180, para recuperar y usar imágenes mejoradas generadas y/u otra información de mapeo de edificios generada y/o imágenes individuales y/u otra información asociada a dicha información de mapeo de edificios generada, tales interacciones por parte del usuario ( s) puede incluir, por ejemplo, obtener e interactuar opcionalmente con uno o más tipos de visualizaciones de la información de mapeo generada para uno o más edificios, opcionalmente como parte de una GUI que se muestra en dicho dispositivo informático cliente. Además, la información de mapeo generada (o una parte de ella) puede estar vinculada o asociada de otro modo a uno o más tipos de información, incluso para un plano de planta u otra información de mapeo generada para un edificio de varios pisos o varios niveles para tener múltiples planos de subplanta asociados u otros subgrupos de información de mapeo de edificios asociada para diferentes pisos o niveles que están interconectados (por ejemplo, mediante pasajes de escaleras que se conectan), para un plano de planta bidimensional (“2D”) de un edificio al que se va a vincular o asociar de otro modo a una representación tridimensional (“3D”) del edificio, para que una imagen mejorada se vincule o asocie de otro modo a un plano de planta 2D y/o un modelo 3D y/o una o más imágenes constituyentes utilizadas para generar la imagen mejorada, etc. Además, aunque no se ilustra en la figura 1A, en algunas realizaciones los dispositivos informáticos del cliente 175 (u otros dispositivos, no mostrados), pueden recibir y usar información sobre la información generada relacionada con el mapeo de maneras adicionales, tal como para controlar o ayudar a las actividades de navegación automatizada de aquellos dispositivos (por ejemplo, mediante vehículos autónomos u otros dispositivos), ya sea en lugar o además de mostrar una visualización de la información identificada.

[0059] Además, en el entorno informático representado en la figura 1A, la red 170 puede ser una o más redes enlazadas de acceso público, posiblemente operadas por varias partes distintas, como Internet. En otras implementaciones, la red 170 puede tener otras formas. Por ejemplo, la red 170 puede ser, en cambio, una red privada, tal como una red corporativa o universitaria que sea total o parcialmente inaccesible para usuarios sin privilegios. En otras implementaciones, la red 170 puede incluir redes tanto privadas como públicas, teniendo una o más de las redes privadas acceso a y/o desde una o más de las redes públicas. Además, la red 170 puede incluir múltiples tipos de redes cableadas y/o inalámbricas en diversas situaciones. Además, los dispositivos informáticos de cliente 175 y los sistemas informáticos de servidor 180 pueden incluir varios componentes de hardware e información almacenada, como se explica con mayor detalle a continuación con respecto a la figura 3.

[0061] La figura 1B representa un diagrama de bloques de un entorno interior de un edificio ejemplar en el que se han capturado imágenes de múltiples tipos y están listas para su uso (por ejemplo, para generar y proporcionar las correspondientes imágenes mejoradas y, opcionalmente, otra información de mapeo para el edificio y, opcionalmente, para su exterior y edificios asociados, no mostrados, como un garaje, un cobertizo, una unidad de vivienda accesoria, etc.), así como para su uso en la presentación de las imágenes y/o la información asociada a los usuarios. En particular, la figura 1B incluye un edificio 198 con un interior que fue capturado, al menos en parte, por medio de múltiples imágenes de múltiples tipos, tal como por uno o más usuarios (no mostrados) que llevaban uno o más dispositivos con capacidades de adquisición de imágenes a través del interior del edificio hasta múltiples ubicaciones de adquisición 210. En este ejemplo, un primer usuario puede usar un dispositivo informático móvil 185 para capturar un primer grupo de una o más imágenes panorámicas por primera vez, un segundo usuario puede usar un dispositivo de cámara 186 para capturar un segundo grupo de una o más fotografías en perspectiva por segunda vez por separado, y uno o más dispositivos diferentes (no mostrados) con capacidades de adquisición de datos visuales pueden usarse por uno o más terceros usuarios (no mostrados) para capturar un tercer grupo de uno o más grupos de datos visuales adicionales (p. ej., uno o más vídeos, imágenes panorámicas adicionales, imágenes de fotografías en perspectiva adicionales, etc.) en una o más terceras veces distintas: como se explica en otra parte del presente documento, la información de mapeo puede generarse inicialmente para el edificio utilizando un primer conjunto de imágenes y, opcionalmente, información adicional, y puede actualizarse posteriormente para incorporar una o más imágenes adicionales y, opcionalmente, información adicional que se captura después de la generación inicial de la información de mapeo. Una realización del sistema AIC (por ejemplo, la aplicación 162 que se ejecuta en el dispositivo móvil 185 de un usuario) puede, en algunas realizaciones, realizar automáticamente, o ayudar a, la captura de los datos que representan el interior del edificio. Si bien el dispositivo móvil 185 puede incluir varios componentes de hardware, como una o más cámaras u otros sistemas de formación de imágenes 135, uno o más sensores 148 (por ejemplo, un giroscopio 148a, un acelerómetro 148b, una brújula 148c, etc., como parte de una o más IMU, o unidades de medición inercial, del dispositivo móvil; un altímetro; un detector de luz, etc.), un receptor GPS, uno o más procesadores de hardware 132, memoria y/o el almacenamiento 152, una pantalla 142, un micrófono, etc., es posible que el dispositivo móvil no tenga o no lo utilice, al menos en algunas realizaciones, acceso al equipo para medir la profundidad de los objetos en el edificio en relación con una ubicación del dispositivo móvil, de modo que las relaciones entre las diferentes imágenes y sus ubicaciones de adquisición puedan determinarse en parte o en su totalidad basándose en la coincidencia de elementos visuales en diferentes imágenes y/o mediante el uso de información de otros de los componentes de hardware listados, pero sin usar ningún dato de ninguno de dichos sensores de profundidad; de manera similar, el dispositivo de cámara 186 puede no tener acceso a, o usar un equipo para medir la profundidad de los objetos en el edificio en relación con una ubicación del dispositivo móvil. En otras realizaciones, el dispositivo móvil 185 y/o el dispositivo de cámara 186 pueden incluir y usar opcionalmente uno o más tipos de sensores y/o componentes relacionados para obtener datos de profundidad relacionados con estructuras (por ejemplo, paredes) y/u otros objetos en un entorno alrededor de una imagen que se está capturando, como los correspondientes a uno o más componentes de detección de profundidad 137 del dispositivo móvil 185 (por ejemplo, usando una o más de las técnicas que incluyen LIDAR, luz estructurada, tiempo de vuelo, estéreo pasivo, estéreo activo, etc.) que proporcionan dichos datos ( opcionalmente en combinación con otros componentes del dispositivo móvil (185); en al menos algunas de estas realizaciones, el sistema IAEMIGM puede usar dichos datos de profundidad como parte de la generación de imágenes mejoradas, como se explica con mayor detalle en otra parte del presente documento. Además, en algunas realizaciones, el dispositivo móvil 185 y/o el dispositivo de cámara 186 pueden incluir y usar opcionalmente uno o más tipos de sensores y/o componentes relacionados para obtener datos relacionados con la ubicación para las imágenes adquiridas y sus entornos circundantes, como usar los sensores 148 y/o el sistema de formación de imágenes 135 (por ejemplo, usar ARKit y/o ARCore o técnicas similares), usar otros componentes relacionados con la ubicación (por ejemplo, un receptor GPS, no mostrado), etc. , en al menos algunas de esas realizaciones, tales datos relacionados con la ubicación pueden usarse mediante el sistema IAEMIGM como parte de la generación de imágenes mejoradas, como se describe con mayor detalle en otra parte del presente documento. Además, aunque el indicador direccional 109 se proporciona como referencia para el espectador, el o los dispositivos 185 y/o 186 y/o el sistema AIC pueden no usar dicha información direccional absoluta en al menos algunas realizaciones, para determinar en su lugar las direcciones y distancias relativas entre las imágenes adquiridas en las ubicaciones de adquisición 210 sin tener en cuenta las posiciones o direcciones geográficas reales.

[0062] En funcionamiento, un usuario asociado a un dispositivo 185 llega a una primera ubicación de adquisición 210A dentro de una primera habitación del interior del edificio (en este ejemplo, una entrada desde una puerta externa 190-1 a la habitación más al oeste, que en este ejemplo es una sala de estar) y captura una vista de una parte del interior del edificio que es visible desde esa ubicación de adquisición 210A; en este ejemplo, la imagen capturada es una imagen panorámica de 360° que incluye cobertura visual 187a de toda o sustancialmente toda la sala de estar (y de una pequeña parte del pasillo hacia el este) de la sala de estar). Las acciones del usuario y/o del dispositivo móvil pueden controlarse o facilitarse mediante el uso de uno o más programas que se ejecutan en el dispositivo móvil, como la aplicación AIC 162, y la captura puede incluir información visual que representa objetos u otros elementos (por ejemplo, detalles estructurales) que pueden ser visibles desde la ubicación de adquisición en esas direcciones. En el ejemplo de la figura 1B, tales objetos u otros elementos en el edificio 198 incluyen varios elementos que forman parte estructuralmente de las paredes (o “elementos de pared”), tales como las puertas 190 y 197 y sus hojas (por ejemplo, con hojas batientes y/o correderas), las ventanas 196, los bordes entre paredes (por ejemplo, esquinas o bordes) 195 (incluida la esquina 195-1 en la esquina noroeste del edificio 198, la esquina 195-2 en el noreste esquina de la sala de estar y esquina 195-3 en la esquina suroeste de la sala de estar) - además, tales objetos u otros elementos del ejemplo de la figura 1B pueden incluir además otros elementos dentro de las habitaciones, como los muebles 191-193 (por ejemplo, un sofá 191; una silla 192; una mesa 193; etc.), cuadros o pinturas o televisores u otros objetos 194 (como 194-1 y 194-2) colgados en paredes, lámparas, etc. El usuario también puede proporcionar opcionalmente un identificador textual o auditivo para asociarlo a una ubicación de adquisición, como “entrada”“ o “sala de estar” para la ubicación de adquisición 210A, mientras que, en otras realizaciones, el sistema IAEMIGM puede posteriormente generar automáticamente dichos identificadores (por ejemplo, mediante el análisis automático de datos visuales y/u otra información registrada para que un edificio lleve a cabo una determinación automatizada correspondiente, tal como mediante el uso del aprendizaje automático) o los identificadores pueden no usarse.

[0063] Después de que se haya capturado una imagen para la primera ubicación de adquisición 210A, el usuario puede pasar a otra ubicación de adquisición (como la ubicación de adquisición 210D), capturando opcionalmente datos de movimiento durante la trayectoria entre las ubicaciones de adquisición, como datos visuales y/u otros datos de los componentes de hardware (por ejemplo, de una o más IMU, de la cámara, etc.). En la siguiente ubicación de adquisición, el usuario puede usar de manera similar el dispositivo móvil para capturar una o más imágenes desde esa ubicación de adquisición. Este proceso puede repetirse para algunas o todas las habitaciones del edificio y, opcionalmente, en el exterior del edificio, como se ilustra para otras ubicaciones de adquisición 210B-210K. Además, en este ejemplo, un usuario (ya sea igual o diferente) usa el dispositivo de cámara 186 para capturar una o más imágenes fotográficas en perspectiva en una o más ubicaciones de adquisición una o más veces (ya sean iguales o diferentes a la captura por el dispositivo informático 185), incluida la ubicación de adquisición 210C en este ejemplo y, opcionalmente, una o más ubicaciones de adquisición 210B y 210E-210K; en este ejemplo, el ángulo de visión de la fotografía en perspectiva resultante es la parte noroeste de la sala de estar, como muestran las líneas de visión 187c. Estas imágenes de ejemplo de las ubicaciones de adquisición 210A y 210C tienen un área de superposición 216ac en este ejemplo, que el sistema IAEMIGM puede usar más adelante para interconectar (o “vincular”) entre sí estas imágenes y/o sus ubicaciones de adquisición (mostrándose la línea 215-AC correspondiente entre estas a modo de ilustración), tal como para determinar la información de posición relativa entre estas dos ubicaciones de adquisición, como se explica con mayor detalle con respecto a la figura 2F y en otras partes del presente documento, y/o para agrupar estas imágenes para usarlas en la generación de una o más imágenes mejoradas correspondientes, tal como se describe con mayor detalle con respecto a las figuras 2D-2H. Dichas operaciones automatizadas del sistema IAEMIGM pueden generar y almacenar además las interconexiones correspondientes para otros pares de ubicaciones de adquisición y/o sus imágenes capturadas, y/o generar y almacenar las imágenes mejoradas correspondientes, incluso en algunas realizaciones y situaciones para conectar además al menos algunas ubicaciones de adquisición cuyas imágenes no tienen una cobertura visual superpuesta y/o que no son visibles entre sí (por ejemplo, una conexión, no mostrada, entre las ubicaciones de adquisición 210E y 210K).

[0065] Se proporcionan varios detalles con respecto a las figuras 1A-1B, pero se apreciará que los detalles proporcionados son ejemplos no exclusivos incluidos con fines ilustrativos, y otras realizaciones pueden realizarse de otras maneras sin algunos o todos esos detalles.

[0067] Las figuras 2A-2J ilustran ejemplos de generación automática de información de mapeo para un edificio usando múltiples tipos de imágenes adquiridas por uno o más dispositivos desde una o más ubicaciones de adquisición en una o más veces, incluida la generación de imágenes mejoradas correspondientes, tal como para el edificio 198 discutido en la figura 1B, así como el uso posterior de la información de mapeo generada de una o más maneras automatizadas.

[0069] En particular, la figura 2A ilustra un ejemplo de imagen fotográfica en perspectiva 250a tomada en dirección suroeste desde la ubicación de adquisición 210B en la sala de estar de la casa 198 de la figura 1B; el indicador direccional 109a se muestra además en este ejemplo para ilustrar la dirección suroeste en la que se toma la imagen. En este ejemplo, una parte de la ventana 196-2 es visible, al igual que un sofá 191 y los bordes visuales horizontales y verticales de la habitación (incluidos los bordes horizontales entre una parte visible de la pared sur de la sala de estar y el techo y el suelo de la sala de estar, los bordes horizontales entre una parte visible de la pared oeste de la sala de estar y el techo y el suelo de la sala de estar, y el borde vertical entre paredes 195-3 entre las paredes sur y oeste). Esta imagen 250a de ejemplo ilustra además un pasaje entre habitaciones para la sala de estar, que en este ejemplo es una puerta 190-1 para entrar y salir de la sala de estar (que la figura 1B identifica como una puerta hacia el exterior oeste de la casa).

[0071] La figura 2B continúa con los ejemplos de la figura 2A e ilustra una imagen fotográfica en perspectiva adicional 250b tomada en dirección noroeste en la sala de estar de la casa 198 de la figura 1B, tal como desde la ubicación de adquisición 210C; el indicador direccional 109b se muestra además para ilustrar la dirección noroeste en la que se toma la imagen. En el ejemplo ilustrado, la imagen mostrada incluye elementos integrados (por ejemplo, la lámpara 130b), partes de las ventanas 196-1 y 196-2, y un cuadro 194-1 que cuelga en la pared norte de la sala de estar. En esta imagen no se ven pasajes entre habitaciones que entren o salgan de la sala de estar (por ejemplo, puertas u otras aberturas en las paredes). Sin embargo, los bordes de múltiples habitaciones son visibles en la imagen 250a de una manera similar a la de la figura 2A, incluido el borde vertical 195-1 entre las paredes norte y oeste.

[0073] La figura 2C continúa con los ejemplos de las figuras 2A-2B e ilustra una imagen panorámica 250c con una cobertura visual de 360° de la sala de estar, tal como desde la ubicación de adquisición 210A, y con los datos visuales mostrados en un formato equirectangular en el que las líneas rectas horizontales en la sala de estar (por ejemplo, los bordes entre las paredes y el suelo o el techo) se muestran con una curvatura creciente a medida que aumenta su distancia desde el centro vertical de la imagen, y en la que las líneas rectas verticales en la sala de estar (por ejemplo, bordes entre paredes) son mostrado sin dicha curvatura: en este ejemplo no se muestra un indicador direccional, dado que la cobertura visual de esta imagen panorámica incluye todas las direcciones horizontales. En el ejemplo ilustrado, la imagen muestra los mismos elementos visuales que en las fotografías en perspectiva 250a y 250b, así como datos visuales adicionales que no se muestran en esas fotografías en perspectiva (por ejemplo, todas las ventanas 196-2 y 196-1, la ventana 196-3, parte del pasillo (incluida parte de la puerta 190-3) y la correspondiente abertura de pared en el lado este de la sala de estar, la mesa 193, la silla 192-1, la lámpara de techo 130a, el borde entre paredes 195-2, etc. Se apreciará que pueden estar presentes una variedad de otros tipos de estructuras y/o elementos en otras realizaciones.

[0075] La figura 2D continúa los ejemplos de las figuras 2A-2C e ilustra la información 230d que corresponde a las etapas iniciales para determinar si la imagen fotográfica en perspectiva 250b coincide con la imagen panorámica 250c basándose, al menos en parte, en la cobertura visual superpuesta de esas dos imágenes. En particular, en este ejemplo, la imagen panorámica 250c se usa para generar múltiples subimágenes 255a-255c que corresponden a diferentes subconjuntos de la imagen panorámica y que se convierten a un formato plano en perspectiva, tal como la fotografía en perspectiva 255c que corresponde a una dirección vertical hacia arriba (por ejemplo, una dirección Z positiva) desde la ubicación de adquisición de la imagen panorámica, y las fotografías en perspectiva 255a y 255c que corresponden a diferentes direcciones horizontales (por ejemplo, direcciones X o Y)) a partir de la ubicación de adquisición de la imagen panorámica (en este ejemplo, en las direcciones norte y sur): aunque no se ilustra en este ejemplo, se pueden generar de manera similar subimágenes adicionales de este tipo, como una fotografía en perspectiva adicional en una dirección vertical hacia abajo y fotografías en perspectiva adicionales en otras direcciones horizontales (por ejemplo, en las direcciones hacia el este y hacia el oeste). Como se apreciará, esta fotografía en perspectiva de subimagen muestra solo un subconjunto de los datos visuales de la imagen panorámica 250c.

[0077] Las figuras 2E y 2F continúan los ejemplos de las figuras 2A-2D, ilustrando la figura 2E la información 230e para proporcionar un ejemplo visual de cómo alinear la fotografía en perspectiva 250b con un subconjunto de la fotografía en perspectiva 255a de subimagen para la imagen panorámica 250c, como se ilustra en el contorno 220 superpuesto a la fotografía en perspectiva 255a. La figura 2F ilustra información adicional 230f con respecto a la identificación de características visuales coincidentes entre la fotografía en perspectiva 250b y la fotografía en perspectiva 255a de subimagen. En particular, la figura 2F ilustra una variedad de tipos de características coincidentes que pueden ser visibles en los datos visuales de ambas imágenes (por ejemplo, en el área de superposición de 216ac que se muestra en la figura 1B), incluida la visualización de las líneas de visión 211 a desde la ubicación de adquisición 210A y las líneas de visión 211c desde la ubicación de adquisición 210C para determinar la colocación relativa de esas características desde esas ubicaciones de adquisición (por ejemplo, utilizando una orientación determinada del ángulo de visión desde cada ubicación de adquisición hasta las características coincidentes para determinar una rotación y traslación relativas entre las ubicaciones de adquisición 210A y 210C, suponiendo que se disponga de una superposición suficiente en los datos visuales de las dos imágenes). En el ejemplo de la figura 2F, las características coincidentes pueden incluir los elementos 229a, 229b, 229c y 229d ilustrados en la figura 2F, como el borde occidental o la esquina de la ventana 196-1 para la característica 229a, parte o la totalidad del cuadro 194-1 para la característica 229b, uno o más puntos en el centro de la habitación para la característica 229c (por ejemplo, uno o más puntos en el suelo que son visibles y distinguibles de otros puntos del suelo) y uno o más puntos para la característica 229d correspondiente al borde 195-1 entre paredes. Se apreciará que muchas otras características pueden ser visibles en las dos imágenes, incluyendo puntos en elementos estructurales tales como las paredes, el suelo, el techo, ventanas, esquinas, bordes, etc. y puntos en elementos no estructurales tales como muebles. Algunas características pueden ser visibles desde una sola ubicación de adquisición, como en la esquina noreste 195 2, y por lo tanto pueden no usarse para la comparación y el análisis de los datos visuales de las imágenes desde estas dos ubicaciones de adquisición (aunque pueden usarse para la generación de formas estructurales a partir de la imagen capturada en la ubicación de adquisición 210A).

[0079] Después de analizar múltiples de estas características en la sala de estar entre las imágenes de las ubicaciones de adquisición 210A y 210C, se puede determinar diversa información con respecto a las posiciones de las ubicaciones de adquisición 210A y 210C en la habitación. Obsérvese que, en este ejemplo, la ubicación de adquisición 210C está cerca del límite entre la sala de estar y el pasillo, e incluye una cobertura visual de la sala de estar (de modo que una orientación diferente de esa ubicación de adquisición puede incluir datos visuales de múltiples habitaciones y, por lo tanto, puede proporcionar información y asociarse a una o ambas de esas habitaciones); de manera similar, la imagen panorámica adquirida en la ubicación de adquisición 210A puede incluir datos visuales de la sala de estar y una parte del pasillo. Si bien el pasillo puede modelarse como una habitación separada en este ejemplo, en otras realizaciones, dichos pasillos pueden tratarse como parte de una o más habitaciones que conectan con el pasillo o, en cambio, el pasillo puede tratarse como un pasaje de conexión entre habitaciones en lugar de como una habitación separada; de manera similar, las áreas pequeñas, como armarios y/o alcobas/rincones, pueden no analizarse como una habitación separada y, en cambio, tratarse como parte de una habitación de contención más grande (opcionalmente como espacio no mapeado dentro de la habitación), aunque en otras realizaciones tales áreas pequeñas podrían ser representadas por separado (incluyendo opcionalmente tener una o más ubicaciones de adquisición ubicadas dentro de ellos). Si bien se ilustra solo con respecto a la sala de estar y dos ubicaciones de adquisición, se apreciará que se puede realizar un análisis similar para cada una de las ubicaciones de adquisición y con respecto a algunas o todas las habitaciones del edificio, incluso para formar opcionalmente un grupo más grande de imágenes que incluya la fotografía en perspectiva 250a (por ejemplo, basándose, al menos en parte, en las características visuales coincidentes entre la fotografía en perspectiva 250a y la subimagen 255b generada a partir de la imagen panorámica 250c). Además, el análisis de la información de las imágenes se puede utilizar además para determinar información de posición adicional en la habitación para una o más de dichas ubicaciones de adquisición, por ejemplo, para determinar mejor las dimensiones específicas de las distancias desde una ubicación de adquisición hasta una o más paredes cercanas u otras características estructurales de la habitación; la información para dicha determinación de dimensiones se puede determinar en algunas realizaciones utilizando tamaños de objetos conocidos (por ejemplo, marcos de puertas, manijas de puertas, bombillas, etc.) y extrapolando a tamaños correspondientes de otras características y distancias entre ubicaciones. De esta manera, dicho análisis puede proporcionar la posición de cada ubicación de adquisición en una habitación, de las ubicaciones de pasajes que conectan la habitación y, opcionalmente, una estimación de la forma parcial o completa de una habitación utilizando información estructural determinada a partir de una o más imágenes cuyos datos visuales incluyen al menos parte de esa habitación.

[0081] En algunas realizaciones, la determinación automática de una posición dentro de una habitación de una ubicación de adquisición y/o de una forma estimada total o parcial de la habitación puede realizarse además mediante el aprendizaje automático, por ejemplo, a través de una red neuronal de convolución profunda que estima el diseño 2D o 3D de una habitación a partir de una o más imágenes (por ejemplo, una forma rectangular o de “caja” ; formas no rectangulares, etc.). Dicha determinación puede incluir analizar la o las imágenes para alinear los datos visuales de la o las imágenes de modo que el suelo esté nivelado y las paredes verticales (por ejemplo, analizando los puntos de fuga de las imágenes) e identificar y predecir las esquinas y los límites, ajustando la información resultante a una forma 2D y/o 3D (por ejemplo, utilizando parámetros de diseño, como el contorno del suelo, el techo y las paredes en los que se ajusta la información de la imagen). Además, en algunas realizaciones, los seres humanos pueden proporcionar indicaciones manuales de las formas estimadas de las habitaciones a partir de imágenes, que pueden usarse en la generación de un plano de planta correspondiente, así como usarse más adelante para entrenar modelos para su uso en la correspondiente generación automatizada posterior de formas de habitaciones para otras habitaciones a partir de sus imágenes. En algunas realizaciones, se pueden emplear ciertas suposiciones para el análisis automatizado de una o varias imágenes de al menos algunas habitaciones, como una o más de las siguientes: la forma de la habitación debe ser predominantemente rectangular/cuboide; si la forma de la habitación no es predominantemente rectangular/cuboide, se deben usar varias ubicaciones de adquisición dentro de la habitación; la habitación debe tener al menos un número mínimo de esquinas o paredes visibles (por ejemplo, 3, 4, etc.); la habitación debe tener un suelo nivelado y paredes perpendiculares al suelo; las paredes deben ser planas en lugar de curvas; la imagen se adquiere de una cámara a un nivel específico por encima del suelo (por ejemplo, 5 pies, aproximadamente a medio camino entre el suelo y el techo, etc.); la imagen se adquiere de una cámara a una distancia específica de una o más paredes (por ejemplo, 4 pies, 5 pies, 6 pies, 7 pies, 8 pies, 9 pies, 10 pies, etc.); etc. Además, si hay varias estimaciones de la forma de la habitación disponibles para una habitación (por ejemplo, desde múltiples ubicaciones de adquisición dentro de la habitación), se puede seleccionar una para su uso posterior (por ejemplo, en función de las posiciones de las ubicaciones de adquisición dentro de la habitación, (por ejemplo, la más central) o, en su lugar, las estimaciones de múltiples formas se pueden combinar, opcionalmente de forma ponderada. Dicha estimación automatizada de la forma de una habitación puede realizarse además en al menos algunas realizaciones mediante el uso de una o más técnicas tales como sFm (estructura a partir del movimiento), Visual SLAM (localización y mapeo simultáneos), fusión de sensores, etc., si los datos correspondientes están disponibles.

[0083] Las figuras 2G y 2H continúan los ejemplos de las figuras 2A-2F e ilustran información de ejemplo 230g sobre posibles tipos de intercambio de datos de atributo entre el par mapeado de la fotografía en perspectiva 250b y la imagen panorámica 250c; en este ejemplo, se muestra la subimagen 255a de la imagen panorámica 250c en lugar de toda la imagen panorámica 250c, pero el intercambio de información de atributos puede tener lugar entre toda la imagen panorámica 250c en lugar de la subimagen 255a ilustrada. En este ejemplo, se identifican varios datos de atributo de croma (o color) que están asociados con la fotografía en perspectiva 250b, y un ejemplo de una imagen mejorada que puede generarse incluye una imagen panorámica mejorada (no se muestra) en la que la imagen panorámica original 250c se modifica para usar dichos datos de atributo de croma (por ejemplo, solo para la parte 220 de la imagen panorámica 250c), para toda la parte de la imagen panorámica 250c correspondiente a la subimagen 255a, para toda la imagen panorámica 250c, etc.). La figura 2H ilustra información adicional 230h para ilustrar un ejemplo de generación de una imagen panorámica mejorada diferente mediante el uso de datos de color de una fotografía en perspectiva con una cobertura visual superpuesta.

[0085] Además, se puede determinar diversa información estructural 255g de la figura 2G a partir de la imagen panorámica 250c de una manera analizada con mayor detalle en otro lugar, incluyendo en este ejemplo para generar una forma de habitación 2D 239a para la sala de estar que incluya información de posición relativa de las paredes y de elementos estructurales adicionales, como puertas, ventanas y aberturas entre paredes; la información 255g ilustrada ilustra además que otra información estructural puede determinarse de manera similar para otras habitaciones utilizando imágenes adicionales que tengan una cobertura visual de esas habitaciones, como una forma estructural 2D 242b para un primer dormitorio adyacente a la pared sureste de la sala de estar, una forma estructural 2D 242a para otro dormitorio adyacente a la pared noreste de la sala de estar y una forma estructural 2D 238b correspondiente al pasillo, con las diversas formas estructurales colocadas opcionalmente una respecto a la otra; aunque no se ilustran aquí, dichas formas estructurales pueden representarse además de manera 3D en algunas realizaciones y situaciones. Dada dicha información estructural 239a asociada con la imagen panorámica 250c, otro ejemplo de una imagen mejorada que puede generarse a partir de este par de imágenes mapeadas incluye una fotografía en perspectiva mejorada (no se muestra) en la que la fotografía en perspectiva 250b original se modifica para tener datos de información estructural asociados para parte de, o toda la información estructural 239a; en este ejemplo, se determina un subconjunto 239b de la información estructural 239a que corresponde a los datos visuales de la fotografía en perspectiva 250b, y está asociado con la fotografía en perspectiva mejorada, aunque en otras realizaciones toda la información estructural 239a puede asociarse, en cambio, a la fotografía en perspectiva mejorada.

[0086] Además, se puede determinar otra información basándose, al menos en parte, en la fotografía en perspectiva 250b, opcionalmente en combinación con la de otras fotografías en perspectiva, como para conocer las características de las áreas de la casa 198 que son de particular interés. En consecuencia, como otro ejemplo de una o más imágenes mejoradas que pueden generarse a partir de este par de imágenes mapeadas, dichos datos de características aprendidas pueden usarse para analizar la imagen panorámica 250c y para seleccionar uno o más subconjuntos de la imagen panorámica que coincidan con las características aprendidas, siendo los subconjuntos seleccionados los utilizados para generar una o más imágenes mejoradas (no mostradas, y ya sea que se generen como fotografías en perspectiva mejorada o imágenes panorámicas mejoradas), cada una de las cuales incluye los datos visuales de uno de los subconjuntos seleccionados. Como se describe con mayor detalle en otra parte del presente documento, se pueden generar una variedad de tipos adicionales de imágenes mejoradas de otras maneras en otras realizaciones.

[0088] En algunas realizaciones de ejemplo ilustrativas no exclusivas, los tipos de procesamiento descritos con respecto a las figuras 2D-2H pueden incluir además etapas de procesamiento particulares, de la siguiente manera.

[0089] Una primera etapa de este ejemplo consiste en alinear cada fotografía en perspectiva con una de las múltiples imágenes panorámicas, cada una con una cobertura visual de 360° en un formato equirectangular, por ejemplo, para encontrar la imagen panorámica más similar visualmente (incluida la búsqueda de la región de la imagen panorámica más similar a la fotografía en perspectiva); en este ejemplo, la coincidencia implica la transformación equirectangular con la perspectiva, la extracción de características locales y globales y la recuperación y el emparejamiento. En primer lugar, cada una de estas imágenes panorámicas se separa en 6 “recortes” (o subimágenes) en perspectiva que no se superponen, para proporcionar datos útiles para la extracción y recuperación de características, así como para facilitar la búsqueda del recorte más similar a una imagen panorámica determinada. A continuación, se extraen las características profundas de cada recorte de imagen panorámica, así como de cada fotografía en perspectiva, tanto para las características globales (con un solo vector de características que describe toda la subimagen recortada o fotografía en perspectiva respectiva) para ayudar a reducir de manera eficiente los candidatos a la imagen panorámica más similar, como para las características locales (correspondientes a los subconjuntos de la subimagen recortada o fotografía en perspectiva respectiva, y con los descriptores extraídos junto con sus correspondientes ubicaciones 2D en la respectiva subimagen o fotografía en perspectiva recortada) para usar en la selección de la imagen panorámica más similar de los candidatos, incluida la verificación geométrica de esa imagen panorámica y la fotografía en perspectiva. La siguiente etapa de este ejemplo consiste en utilizar las características globales y locales para emparejar cada fotografía en perspectiva con su imagen panorámica más similar. En particular, para cada fotografía en perspectiva, su característica global se usa para encontrar las imágenes panorámicas más similares a esa fotografía en perspectiva determinada. Las características locales se utilizan luego para verificar geométricamente, por ejemplo, las 10 imágenes panorámicas más recuperadas y volver a clasificarlas según el grado de coincidencia (es decir, el grado de similitud visual). El “mejor” recorte de imagen panorámica para cada fotografía en perspectiva (es decir, la subimagen recortada con la clasificación más alta según la coincidencia de características locales) se asocia entonces a la fotografía en perspectiva, en función del número de puntos consistentes en la etapa de verificación geométrica.

[0091] Para realizar un intercambio de transferencia de datos de atributo de croma y/u otros datos de atributo fotométricos (por ejemplo, perfil de color, exposición, etc.) entre dos imágenes de un par, una de las imágenes del par (por ejemplo, la imagen panorámica) se modifica para usar dichos datos de atributo fotométricos de la otra imagen del par (por ejemplo, la fotografía en perspectiva). Dicho intercambio de datos de atributo fotométricos se puede realizar de varias maneras en varias realizaciones, intercambiándose datos de perfil de color en algunas realizaciones utilizando un algoritmo descrito en Reinhard et al., “Color Transfer Between Images”, IEEE Computer Graphics and Applications, 2001, y opcionalmente modificando ese algoritmo o uno similar para permitir que la cantidad de transferencia en el canal de luminancia sea personalizable (por ejemplo, ajustada a cero, para transferir solo los valores de croma o ab). Con respecto a la transferencia de perfiles de color desde fotografías en perspectiva para mejorar las panorámicas, las fotografías en perspectiva a menudo se capturan y editan de forma profesional para que sean visualmente estéticas, y este intercambio de datos de atributo de croma/perfil de color se utiliza para producir una imagen panorámica mejorada con una mayor calidad de los datos visuales (y, en consecuencia, una mayor calidad de la información de mapeo generada resultante).

[0093] Para realizar un intercambio de transferencia de datos de atributo estructurales (por ejemplo, formas estructurales, ubicaciones de elementos estructurales, diseños relativos de múltiples piezas estructurales, etc.) entre dos imágenes de un par, una de las imágenes del par (por ejemplo, la fotografía en perspectiva) se modifica para usar dichos datos de atributo estructurales de la otra imagen del par (por ejemplo, la imagen panorámica). En algunas realizaciones, hacerlo implica alinear los datos de coordenadas entre las dos imágenes, por ejemplo, para empezar con los datos de atributo estructurales en un sistema de coordenadas local utilizado por la imagen panorámica, con un sistema de coordenadas global independiente (o un sistema de coordenadas local diferente utilizado por la fotografía en perspectiva), con información para indicar o para usar para determinar la ubicación de la imagen panorámica en el sistema de coordenadas global (o en el sistema de coordenadas local diferente de la fotografía en perspectiva), y opcionalmente con información para indicar, o para utilizar para determinar, la ubicación de la fotografía en perspectiva en el sistema global de coordenadas: si dicha ubicación de la fotografía en perspectiva también está disponible, se puede usar para posicionar los datos estructurales de la imagen panorámica en el sistema de coordenadas utilizado por la fotografía en perspectiva. El proceso incluye lo siguiente:

[0095] - cada grupo de datos estructurales se genera u obtiene de otro modo con respecto a una imagen panorámica correspondiente, con el centro de esa imagen panorámica representado como el centro del sistema de coordenadas local para esa forma de habitación en particular.

[0097] - convertir la forma de la habitación del sistema de coordenadas local de la imagen panorámica al sistema de coordenadas global y, a continuación, volver al sistema de coordenadas local de la fotografía en perspectiva (o, alternativamente, directamente al sistema de coordenadas local de la fotografía en perspectiva en otras realizaciones). Si no se proporciona la ubicación de la fotografía en perspectiva, se puede estimar utilizando un algoritmo como sFm o cualquier otro método de estimación de pose para localizar una fotografía en perspectiva con respecto a la panorámica y, a continuación, posicionar los datos estructurales de la imagen panorámica para la fotografía en perspectiva en función de esa ubicación.

[0099] Para realizar un intercambio de transferencia de datos de atributo correspondientes a las características de una casa u otro edificio de interés utilizando dos imágenes de un par, una de las imágenes del par (por ejemplo, la imagen panorámica) se modifica de acuerdo con las características identificadas basándose, al menos en parte, en la otra imagen del par (por ejemplo, la fotografía en perspectiva). Por ejemplo, las fotografías en perspectiva a menudo se capturan para reflejar el punto de vista y/o ángulo “mejor” o preferido para una habitación particular y/o edificio en particular, y las características correspondientes pueden identificarse a partir de las fotografías en perspectiva y usarse para seleccionar los subconjuntos correspondientes de una o más imágenes panorámicas, a fin de aprender a crear subimágenes de recorte de imágenes panorámicas con el punto de vista y/o ángulo correspondiente “mejor” o preferido para una habitación y/o edificio en particular. En algunas realizaciones, para grupos de fotografías en perspectiva e imágenes panorámicas correspondientes a muchos otros edificios, las una o más partes del subconjunto de una imagen panorámica que coinciden con una o más fotografías en perspectiva se usan como muestras positivas para entrenar un modelo de aprendizaje automático correspondiente, y las otras áreas de las imágenes panorámicas que coinciden se usan como muestras negativas para dicho entrenamiento. Dadas las muestras positivas y negativas, el modelo de aprendizaje automático puede entrenarse para seleccionar automáticamente las vistas de subconjuntos correspondientes dentro de otras imágenes panorámicas y para crear las imágenes mejoradas correspondientes basadas en subimágenes recortadas para esas vistas. Además, se pueden usar adiciones de redes generativas antagónicas (GAN) y/o técnicas similares para hacer coincidir el estilo de las vistas de imágenes panorámicas seleccionadas con las vistas de fotografías en perspectiva (por ejemplo, con el de una fotografía en perspectiva en un par coincidente con esa imagen panorámica) para mejorar la calidad de la imagen mejorada generada resultante. En algunos casos, tales técnicas pueden permitir que se generen los mismos tipos de información de mapeo para algunos edificios basándose únicamente en un conjunto de imágenes panorámicas de esos edificios, sin ninguna fotografía en perspectiva de esos edificios.

[0101] La figura 2I ilustra además la información 290i para mostrar un ejemplo de arquitectura y flujo de procesamiento de información para realizar algunas o todas las técnicas descritas. En este ejemplo, uno o más dispositivos informáticos 188 ejecutan una realización del sistema IAEMIGM 160 de la figura 1A y, opcionalmente, una realización de un sistema AIC 162 de la figura 1A (y/o el sistema AIC 368 de la figura 3), de manera que se corresponda con los dispositivos informáticos 180 y, opcionalmente, 185 de la figura 1A. La realización del sistema IAEMIGM 160 de la figura 2I funciona para recibir imágenes 283 de múltiples tipos para uno o más edificios relacionados, realizar varios procesamientos 284 de los datos visuales de las imágenes, generar pares 286 de imágenes relacionadas de diferentes tipos, intercambiar datos de atributo 287 entre imágenes de los pares para generar imágenes mejoradas, usar opcionalmente las imágenes mejoradas 288 para generar información de mapeo mejorada y mostrar o proporcionar de otro modo imágenes mejoradas y/u otra información de mapeo generada resultante para el o los edificios). Las imágenes recibidas en la etapa 283 pueden provenir, por ejemplo, de una ubicación de almacenamiento de imágenes 295 (por ejemplo, una base de datos) y/o de la ejecución del sistema AIC. Si el sistema AIC proporciona algunas o todas las imágenes, puede hacerlo capturando y recibiendo 281 imágenes utilizando uno o más sistemas de formación de imágenes 135 y, opcionalmente, recibiendo información adicional de los módulos de sensores IMU 148 y, opcionalmente, realizando el procesamiento 282 para seleccionar un subconjunto de imágenes para su uso (por ejemplo, basándose en atributos de esas imágenes, como la claridad u otras indicaciones de suficiente detalle en los datos visuales de esas imágenes para un análisis posterior) y/o para modificar las imágenes de una o más maneras (por ejemplo, para cambiar el formato de las imágenes, recortar, cambiar el tamaño o modificar de otro modo las imágenes, etc.). Como parte de la etapa 284 para procesar los datos visuales de las imágenes, el sistema IAEMIGM 160 puede realizar operaciones automatizadas para estimar la postura 285a de las imágenes y para determinar las características 285b visibles en los datos visuales de las imágenes, tal como de la manera descrita con mayor detalle en otra parte del presente documento. El procesamiento 284 puede incluir además una o más etapas adicionales relacionadas con la determinación de la información de atributos asociada a imágenes particulares, tal como para determinar la información estructural 285c a partir de los datos visuales de las imágenes, para determinar la información de color 285d a partir de los datos visuales de las imágenes, y/o para identificar las áreas 285e de interés en las imágenes y aprender las características correspondientes para esas áreas, tal como de la manera descrita con mayor detalle en otra parte del presente documento. El procesamiento 284 puede además realizar opcionalmente actividades adicionales, tales como determinar 285f uno o más tipos diferentes de información de atributos a partir de los datos visuales y/u otra información asociada con las imágenes. Los pares de imágenes relacionadas de diferentes tipos pueden determinarse entonces de diversas maneras, tal como basándose al menos en parte en la superposición de las coberturas visuales de esas imágenes y/o usando otros criterios, usando información de uno o más de los procesadores 285a y/o 285b, y tal como de la manera descrita con mayor detalle en otra parte del presente documento. De manera similar, se pueden intercambiar uno o más tipos de datos de atributo entre imágenes de un par para generar una o más imágenes mejoradas, utilizando información de uno o más de los procesadores 285c y/o 285d y/o 285e y/o 285f, y tal como se describe con mayor detalle en otra parte del presente documento. En la realización ilustrada, los uno o más dispositivos informáticos 188 pueden interactuar además con uno o más sistemas diferentes a través de una o más redes informáticas 170, incluidos uno o más sistemas de almacenamiento remoto 180 en los que la información generada por el sistema IAEMIGM puede almacenarse para su uso posterior.

[0103] La figura 2J continúa con los ejemplos de las figuras 2A-2H e ilustra un ejemplo 235j de un plano de planta en 2D para la casa 198, como el que se puede presentar a un usuario final en una GUI, siendo la sala de estar la habitación más hacia el oeste de la casa (como lo refleja el indicador direccional 209); se apreciará que un modelo informático 3D o 2,5D con información sobre la altura de la pared puede generarse y mostrarse de manera similar en algunas realizaciones, ya sea además de o en lugar de un plano de planta 2<d>de este tipo. En este ejemplo, se ilustran múltiples tipos de información en el plano de planta 2D 235j. Por ejemplo, estos tipos de información pueden incluir uno o más de los siguientes: etiquetas de habitación añadidas a algunas o todas las habitaciones (por ejemplo, “sala de estar” para la sala de estar); dimensiones de habitación añadidas para algunas o todas las habitaciones; indicaciones visuales de accesorios o electrodomésticos u otras características integradas añadidas para algunas o todas las habitaciones; indicaciones visuales añadidas para algunas o todas las habitaciones de posiciones de tipos adicionales de información asociada y vinculada (por ejemplo, de imágenes panorámicas y/o fotografías en perspectiva y/o vídeos y/u otros datos visuales que un usuario final puede seleccionar para su posterior visualización) grabaciones de sonido y/o grabaciones que un usuario final puede seleccionar para una presentación posterior, etc.); indicaciones visuales añadidas para algunas o todas las habitaciones de puertas y ventanas; indicaciones visuales de las características integradas (por ejemplo, una isla de cocina); indicaciones visuales de los accesorios o electrodomésticos instalados (por ejemplo, electrodomésticos de cocina, artículos de baño, etc.); indicaciones visuales de la apariencia y otra información de la superficie (por ejemplo, el color y/o el tipo de material y/o la textura de los elementos instalados, como revestimientos de suelos o revestimientos de paredes o superficies) anillos); indicaciones visuales de vistas desde ventanas particulares u otras ubicaciones del edificio y/o de otra información externa al edificio (por ejemplo, un tipo de espacio externo; elementos presentes en un espacio externo; otros edificios o estructuras asociados, como cobertizos, garajes, piscinas, terrazas, patios, pasarelas, jardines, etc.); una clave o leyenda 269 que identifica los indicadores visuales utilizados para uno o más tipos de información; etc. Cuando se muestran como parte de una GUI, alguna o toda la información ilustrada puede ser controles seleccionables por el usuario (o estar asociada a dichos controles) que permiten a un usuario final seleccionar y mostrar parte de, o toda la información asociada (por ejemplo, seleccionar el indicador de imagen panorámica de 360° para la ubicación de adquisición 210A o el indicador de fotografía en perspectiva para las ubicaciones de adquisición 210B o 210C) para ver algunas o todas las imágenes panorámicas o fotografías en perspectiva respectivas (por ejemplo, de una manera similar a la de las figuras 2A-2C). Además, en este ejemplo, se añade un control 228 seleccionable por el usuario para indicar una planta actual que se muestra para el plano de planta y para permitir al usuario final seleccionar una planta diferente para mostrarla; en algunas realizaciones, también se puede realizar un cambio en las plantas u otros niveles directamente desde el plano de planta, por ejemplo, mediante la selección de un pasaje de conexión correspondiente en el plano de planta ilustrado (por ejemplo, las escaleras al piso 2). Se apreciará que pueden añadirse una variedad de otros tipos de información en algunas realizaciones, que algunos de los tipos de información ilustrados pueden no proporcionarse en algunas realizaciones, y que las indicaciones visuales y las selecciones del usuario de la información vinculada y asociada pueden mostrarse y seleccionarse de otras maneras en otras realizaciones.

[0105] Además, como se indica en otra parte del presente documento, en algunas realizaciones se pueden proporcionar una o más GUI correspondientes para permitir que el usuario proporcione la entrada para complementar la información determinada automáticamente por el sistema IAEMIGM, como para conectar subgrafos disjuntos, para editar/eliminar conexiones que el usuario considere incorrectas, para ajustar las posiciones relativas u otra información determinada automáticamente, etc. Además, en al menos algunas realizaciones, la experiencia del usuario puede mejorarse mediante la personalización de las visualizaciones para un usuario en base a información específica del usuario (por ejemplo, el historial del usuario, las preferencias especificadas por el usuario, etc.) y/o predicciones de aprendizaje automático. Además, en algunas realizaciones se puede utilizar la mejora colaborativa del sistema general para otros usuarios, por ejemplo, obteniendo e incorporando imágenes adicionales y/u otros datos visuales (por ejemplo, después de que el sistema IAEMIGM haya realizado determinaciones automatizadas iniciales utilizando un conjunto inicial de imágenes y, opcionalmente, información adicional), en función de las ediciones de cada usuario individual, etc. Se apreciará que se pueden usar tipos adicionales de controles seleccionables por el usuario.

[0107] Se han proporcionado varios detalles con respecto a las Figuras 2A-2J, pero se apreciará que los detalles proporcionados son ejemplos no exclusivos incluidos con fines ilustrativos, y otras realizaciones pueden realizarse de otras maneras sin algunos o todos esos detalles.

[0109] La figura 3 es un diagrama de bloques que ilustra una realización de uno o más sistemas informáticos de servidor 300 que ejecutan una implementación de un sistema IAEMIGM 340 -el o los sistemas informáticos de servidor y el sistema IAEMIGM pueden implementarse usando una pluralidad de componentes de hardware que forman circuitos electrónicos adecuados y configurados para, cuando están en funcionamiento combinado, realizar al menos algunas de las técnicas descritas en el presente documento. En la realización ilustrada, cada sistema informático de servidor 300 incluye una o más unidades de procesamiento central (“CPU”) de hardware u otros procesadores de hardware 305, varios componentes de entrada/salida (“E/S”) 310, almacenamiento 320 y memoria 330, y los componentes de E/S ilustrados incluyen una pantalla 311, una conexión de red 312, una unidad multimedia legible por ordenador 313 y otros dispositivos de E/S 315 (por ejemplo, teclados, ratones u otros dispositivos de puntero, micrófonos, altavoces, receptores GPS, etc.).

[0111] El o los sistemas informáticos del servidor 300 y el sistema IAEMIGM en ejecución 340 pueden comunicarse con otros sistemas y dispositivos informáticos a través de una o más redes 399 (por ejemplo, Internet, una o más redes de telefonía celular, etc.), tales como los dispositivos informáticos de usuario cliente 390 (por ejemplo, utilizados para mostrar o utilizar de otro modo imágenes mejoradas generadas y/u otra información relacionada con el mapeo y, opcionalmente, imágenes u otros datos visuales asociados), los dispositivos informáticos móviles de adquisición de imágenes 360 (por ejemplo, en el que una aplicación 368 del sistema AIC puede opcionalmente ejecutarse para realizar la adquisición de imágenes capturadas 366), opcionalmente, uno o más dispositivos de cámara 385 que realizan la adquisición de imágenes capturadas 386 si los dispositivos de cámara incluyen capacidades de red u otras capacidades de transmisión de datos, opcionalmente, otros dispositivos de almacenamiento 380 (por ejemplo, utilizados para almacenar y proporcionar información adicional relacionada con edificios); utilizados para almacenar y proporcionar imágenes capturadas, como en lugar de o además de los dispositivos 360 y/o 385; utilizados para almacenar y proporcionar imágenes mejoradas generadas y/u otras generadas información de mapeo de edificios, etc.) y, opcionalmente, otros dispositivos navegables 395 que reciben y usan la información generada relacionada con el mapeo con fines de navegación (por ejemplo, para su uso por vehículos u otros dispositivos semiautónomos o totalmente autónomos).

[0113] En la realización ilustrada, una realización del sistema IAEMIGM 340 se ejecuta en la memoria 330 para realizar al menos algunas de las técnicas descritas, tal como usar el procesador o procesadores 305 para ejecutar instrucciones de software del sistema 340 de manera que configure el procesador o procesadores 305 y el sistema informático 300 para realizar operaciones automatizadas que implementen esas técnicas descritas. La realización ilustrada del sistema IAEMIGM puede incluir uno o más componentes, no mostrados, para que cada uno realice partes de la funcionalidad del sistema IAEMIGM, y la memoria puede además ejecutar opcionalmente uno o más programas 335 diferentes; como ejemplo específico, una copia del sistema AIC puede ejecutarse como uno de los otros programas 335 en al menos algunas realizaciones, como en lugar o además del sistema AIC 368 en los dispositivos informáticos 360, y como otro ejemplo específico, una copia de un sistema 345 visor de información de mapeo de edificios puede ser ejecutada para proporcionar representaciones visuales de imágenes mejoradas generadas y/u otra información de mapeo de edificios generada a los usuarios finales (por ejemplo, los usuarios de los dispositivos informáticos cliente 390), aunque en otras realizaciones, dicho sistema visor de información de mapeo puede ejecutarse en uno o más de dichos dispositivos informáticos cliente 390. El sistema IAEMIGM 340 puede además, durante su funcionamiento, almacenar y/o recuperar múltiples tipos de datos en el almacenamiento 320 (por ejemplo, en una o más bases de datos u otras estructuras de datos), como múltiples tipos de información de usuario 322, imagen adquirida y otra información asociada 324 (por ejemplo, datos de IMU de adquisición de imágenes y/u otros metadatos), y por ejemplo para el análisis para generar imágenes mejoradas y/u otra información relacionada con el mapeo de edificios; para proporcionarlos a los usuarios de los dispositivos informáticos del cliente 390 para visualización, etc.), datos de atributo de imagen 325 de uno o más tipos para las imágenes adquiridas, imágenes mejoradas generadas 326, opcionalmente otra información generada relacionada con el mapeo 327 (por ejemplo, gráficos generados y subgráficos de ubicaciones de adquisición enlazadas, planos de planta y/o formas estructurales constituyentes, dimensiones de edificios y habitaciones para su uso con planos de planta asociados, etc.) y/o múltiples tipos de información adicional opcional 329 (por ejemplo, imágenes y/o vídeos adicionales y/u otros datos visuales, datos no visuales capturados en un edificio, información de anotación, varios análisis información relacionada con la presentación u otro uso de uno o más interiores de edificios u otros entornos capturados por un sistema AIC, etc.).

[0115] Algunos o todos los dispositivos informáticos de usuario y cliente 390 (por ejemplo, dispositivos móviles), dispositivos informáticos 360, dispositivos de cámara 385, dispositivos de almacenamiento 380 y otros dispositivos navegables 395 pueden incluir de manera similar algunos o todos los mismos tipos de componentes ilustrados para el sistema informático de servidor 300. Como ejemplo no limitativo, se muestra que cada uno de los dispositivos informáticos 360 incluye una o más CPU de hardware 361, componentes de E/S 362, memoria y/o almacenamiento 367, así como un sistema de formación de imágenes 365 y sensores de hardware IMU 363, y con una realización del sistema AIC 368 en la memoria/almacenamiento 367 y las imágenes capturadas 366 que son generadas por el sistema AIC, así como, opcionalmente, otros programas como un navegador 369. Si bien no se ilustran componentes particulares para los otros dispositivos navegables 395 u otros dispositivos/sistemas 380 y 385 y 390, se apreciará que pueden incluir componentes similares y/o adicionales.

[0117] También se apreciará que el sistema informático 300 y los otros sistemas y dispositivos incluidos en la figura 3 son meramente ilustrativos y no pretenden limitar el alcance de la presente invención. En cambio, cada uno de los sistemas y/o dispositivos puede incluir múltiples sistemas o dispositivos informáticos que interactúan, y pueden conectarse a otros dispositivos que no se ilustran específicamente, incluso mediante comunicación Bluetooth u otra comunicación directa, a través de una o más redes como Internet, a través de la Web o a través de una o más redes privadas (por ejemplo, redes de comunicación móvil, etc.). De manera más general, un dispositivo u otro sistema informático puede comprender cualquier combinación de hardware que pueda interactuar con, y realizar los tipos de funcionalidad descritos, opcionalmente cuando se programa o se configura de otro modo con instrucciones de software y/o estructuras de datos particulares, incluidos, entre otros, ordenadores de escritorio u otros ordenadores (por ejemplo, tabletas, pizarras, etc.), servidores de bases de datos, dispositivos de almacenamiento en red y otros dispositivos de red, teléfonos inteligentes y otros teléfonos móviles, productos electrónicos de consumo, dispositivos portátiles, dispositivos reproductores de música digital, dispositivos ponibles de juego, PDA, teléfonos inalámbricos, aparatos de Internet y varios otros productos de consumo que incluyen las capacidades de comunicación adecuadas. Además, la funcionalidad proporcionada por el sistema IAEMIGM 340 ilustrado puede, en algunas realizaciones, distribuirse en varios componentes, parte de la funcionalidad descrita del sistema IAEMIGM 340 puede no proporcionarse y/o puede proporcionarse otra funcionalidad adicional.

[0119] También se apreciará que, si bien se ilustran varios elementos almacenados en la memoria o en el almacenamiento mientras se utilizan, estos elementos o partes de ellos pueden transferirse entre la memoria y otros dispositivos de almacenamiento con fines de gestión de la memoria e integridad de los datos. Alternativamente, en otras realizaciones, algunos o todos los componentes y/o sistemas de software pueden ejecutarse en la memoria de otro dispositivo y comunicarse con los sistemas informáticos ilustrados a través de una comunicación entre ordenadores. Por lo tanto, en algunas realizaciones, algunas o todas las técnicas descritas pueden realizarse por medios de hardware que incluyen uno o más procesadores y/o memoria y/o almacenamiento cuando se configuran mediante uno o más programas de software (por ejemplo, mediante el sistema IAEMIGM 340 y/o el software AIC 368 que se ejecutan en los sistemas informáticos de servidor 300 y/o los dispositivos informáticos 360) y/o estructuras de datos, tales como mediante la ejecución de instrucciones de software de los uno o más programas de software y/o mediante el almacenamiento de dichas instrucciones de software y/o estructuras de datos, y tales como realizar algoritmos como se describe en los diagramas de flujo y otras divulgaciones del presente documento. Además, en algunas realizaciones, algunos o todos los sistemas y/o componentes pueden implementarse o proporcionarse de otras maneras, por ejemplo, consistiendo en uno o más medios que se implementan parcial o completamente en el firmware y/o el hardware (por ejemplo, en lugar de como un medio implementado total o parcialmente mediante instrucciones de software que configuran una CPU u otro procesador en particular), incluidos, entre otros, uno o más circuitos integrados de aplicación específica (ASIC), circuitos integrados estándar, controladores (p. ej., mediante ejecutar las instrucciones apropiadas (e incluir microcontroladores y/o controladores integrados), matrices de puertas programables en campo (FPGA), dispositivos lógicos programables complejos (CPLD), etc. Algunos o todos los componentes, sistemas y estructuras de datos también pueden almacenarse (por ejemplo, como instrucciones de software o datos estructurados) en un medio de almacenamiento legible por ordenador no transitorio, como un disco duro o una unidad flash u otro dispositivo de almacenamiento no volátil, memoria volátil o no volátil (por ejemplo, RAM o flash RAM), un dispositivo de almacenamiento en red, o un artículo multimedia portátil (p. ej., un disco DVD, un disco CD, un disco óptico, un dispositivo de memoria flash, etc.) para leerlo en una unidad adecuada o mediante una conexión adecuada. Los sistemas, componentes y estructuras de datos también pueden, en algunas realizaciones, transmitirse a través de señales de datos generadas (por ejemplo, como parte de una onda portadora u otra señal propagada analógica o digital) en una variedad de medios de transmisión legibles por ordenador, incluidos los medios inalámbricos y cableados y pueden adoptar una variedad de formas (por ejemplo, como parte de una señal analógica única o multiplexada, o como múltiples paquetes o tramas digitales discretos). Dichos productos de programa informático también pueden adoptar otras formas en otras realizaciones. En consecuencia, las realizaciones de la presente descripción pueden ponerse en práctica con otras configuraciones de sistemas informáticos.

[0121] Las figuras 4A-4B ilustran una realización de ejemplo de un diagrama de flujo para una rutina 400 del sistema gestor de intercambio de atributos de imagen y generación de información de mapeo (IAEMIGM). La rutina puede realizarse, por ejemplo, mediante la ejecución del sistema IAEMIGM 160 de la figura 1A, el sistema IAEMIGM 340 de la figura 3 y/o un sistema IAEMIGM como se describe con respecto a las figuras 2D-2J y en otras partes del presente documento, tal como para generar imágenes mejoradas y/u otra información relacionada con el mapeo (por ejemplo, ubicaciones de adquisición vinculadas e imágenes asociadas, al menos un plano de planta parcial, etc.) para un área definida basada en al menos en parte en imágenes de múltiples tipos del área. En el ejemplo de las figuras 4A-4B, la información de mapeo generada incluye imágenes mejoradas, ubicaciones de adquisición vinculadas e imágenes asociadas, y al menos un plano de planta 2D parcial y un modelo informático 3D de un edificio, tal como una casa, pero en otras realizaciones, pueden determinarse y generarse otros tipos de información de mapeo para otros tipos de edificios y usarse de otras maneras, como se explica en otra parte del presente documento.

[0123] La realización ilustrada de la rutina comienza en el bloque 405, donde se recibe la información o las instrucciones. La rutina continúa hasta el bloque 407 para determinar si las instrucciones recibidas en el bloque 405 indican que actualmente se deben adquirir imágenes de múltiples tipos y, opcionalmente, otros datos relacionados en múltiples ubicaciones de adquisición para un edificio indicado y, en caso afirmativo, la rutina continúa ejecutando el bloque 409 para hacerlo (opcionalmente, esperando a que uno o más usuarios o dispositivos se muevan por el edificio y adquieran las imágenes y, opcionalmente, información adicional en múltiples ubicaciones de adquisición en varias habitaciones del edificio), como se explica con mayor detalle en otra parte del presente documento, donde la figura 7 proporciona una realización de ejemplo de una rutina del sistema AIC (para realizar al menos parte de dicha adquisición de imágenes) y, de lo contrario, continúa hasta el bloque 410 para obtener imágenes previamente adquiridas de múltiples tipos y, opcionalmente, otros datos asociados para múltiples ubicaciones de adquisición del edificio. Después de los bloques 409 o 410, la rutina continúa hasta el bloque 415 para determinar si las instrucciones o la información recibidas en el bloque 405 indican realizar la determinación y/o el intercambio de atributos para imágenes de edificios de múltiples tipos (incluida la generación de una o más imágenes mejoradas basándose en dicho intercambio de datos de atributo) y, en caso afirmativo, continúa realizando el bloque 420 para hacerlo, ilustrando la figura 5 un ejemplo de una rutina para realizar tales actividades.

[0125] Después del bloque 420, o si, por el contrario, se determina en el bloque 415 que las instrucciones u otra información recibida en el bloque 405 no deben realizar una determinación o intercambio de atributos, la rutina continúa en cambio hasta el bloque 430 para determinar si las instrucciones recibidas en el bloque 405 indican generar otros tipos de información de mapeo para un edificio indicado y, en caso afirmativo, la rutina continúa realizando los bloques 435-488 para hacerlo y, de lo contrario, continúa hasta el bloque 480. En particular, en el bloque 435, la rutina obtiene opcionalmente información adicional para el edificio además de las imágenes de los bloques 409 o 410, opcionalmente junto con la información de metadatos relacionada con la adquisición de imágenes y/o el movimiento entre las ubicaciones de adquisición, tal como puede haberse suministrado en algunas situaciones en el bloque 405 junto con las instrucciones correspondientes. Dicha información adicional puede basarse, por ejemplo, en información de anotación adquirida y/o información de una o más fuentes externas (por ejemplo, bases de datos en línea, información proporcionada por uno o más usuarios finales, etc.) y/o información del análisis de imágenes adquiridas (por ejemplo, imágenes iniciales y/o imágenes adicionales, como para imágenes adicionales capturadas en ubicaciones diferentes de las ubicaciones de adquisición de las imágenes iniciales); dicha información adicional obtenida puede incluir, por ejemplo, dimensiones exteriores y/o forma del edificio, información sobre las características integradas (por ejemplo, una isla de cocina), información sobre los accesorios o electrodomésticos instalados (por ejemplo, electrodomésticos de cocina, artículos de baño, etc.); información sobre la apariencia visual de las ubicaciones de interiores de edificios (por ejemplo, el color y/o el tipo de material y/o la textura de los elementos instalados, como revestimientos de suelos o revestimientos de paredes o revestimientos de superficies), información sobre las vistas desde determinadas ventanas u otras ubicaciones del edificio, otra información sobre áreas externas a el edificio (por ejemplo, otros edificios o estructuras asociados, como cobertizos, garajes, piscinas, terrazas, patios, pasarelas, jardines, etc.; un tipo de espacio externo; elementos presentes en un espacio externo; etc.).

[0126] Después del bloque 435, la rutina continúa hasta el bloque 445 para obtener los datos de la forma estructural de las habitaciones generados a partir de imágenes del edificio (por ejemplo, como parte de 420), o para determinar de otro modo dichos datos estructurales de la habitación. Por ejemplo, para cada habitación dentro del edificio con una o más ubicaciones de adquisición e imágenes adquiridas asociadas, se determina la forma de la habitación a partir de los datos de la o las imágenes tomadas dentro de la habitación y, opcionalmente, una posición específica dentro de la habitación de su ubicación o ubicaciones de adquisición, por ejemplo, de manera automatizada. Las operaciones del bloque 445 pueden incluir además el uso de datos visuales en las imágenes y/o los metadatos de adquisición para determinar, para cada habitación del edificio, cualquier pasaje que conecte dentro o fuera de la habitación (por ejemplo, de manera automatizada) y cualquier elemento de pared en la habitación y sus posiciones (por ejemplo, de manera automatizada), tal como para ventanas, bordes entre paredes, etc. Las operaciones del bloque 445 incluyen además el uso de parte de, o toda la otra información determinada en el bloque 445 para determinar las formas de habitación estimadas de las habitaciones. La rutina continúa entonces hasta el bloque 455, donde usa las formas de habitación determinadas para crear un plano de planta 2D inicial, por ejemplo, conectando los pasajes entre habitaciones en sus respectivas habitaciones, colocando opcionalmente las formas de las habitaciones alrededor de determinadas posiciones de ubicación de adquisición de las imágenes (por ejemplo, si las posiciones de ubicación de adquisición están interconectadas) y, opcionalmente, aplicando una o más restricciones u optimizaciones. Dicho plano de planta puede incluir, por ejemplo, información sobre la posición relativa y la forma de las distintas habitaciones sin proporcionar ninguna información de dimensiones reales para las habitaciones individuales o el edificio en su conjunto, y puede incluir además múltiples submapas vinculados o asociados (por ejemplo, para reflejar diferentes pisos, niveles, secciones, etc.) del edificio. La rutina asocia además las posiciones de las puertas, las aberturas de pared y otros elementos de pared identificados en el plano de planta.

[0128] Después del bloque 455, la rutina realiza opcionalmente una o más etapas 460-470 para determinar y asociar información adicional con el plano de planta. En el bloque 460, la rutina estima opcionalmente las dimensiones de algunas o todas las habitaciones, por ejemplo, a partir del análisis de imágenes y/o sus metadatos de adquisición o de la información de dimensiones general obtenida para el exterior del edificio, y asocia las dimensiones estimadas con el plano de planta -se apreciará que si se dispusiera de información de dimensiones suficientemente detallada, se pueden generar dibujos arquitectónicos, planos, etc. a partir del plano de planta. Después del bloque 460, la rutina continúa hasta el bloque 465 para asociar opcionalmente más información con el plano de planta (por ejemplo, con habitaciones particulares u otras ubicaciones dentro del edificio), como imágenes existentes adicionales con posiciones especificadas y/o información de anotación. En el bloque 470, la rutina estima además las alturas de las paredes en algunas o todas las habitaciones, por ejemplo, a partir del análisis de imágenes y, opcionalmente, los tamaños de los objetos conocidos en las imágenes, así como la información de altura sobre una cámara cuando se adquirieron las imágenes, y además utiliza dicha información para generar un plano de planta del edificio en modelo informatizado en 3D, con los planos de planta en 2D y 3D asociados entre sí. Si bien no se ilustra aquí, cualquier información determinada con respecto al bloque 445-470 puede asociarse de manera similar a las imágenes mejoradas generadas correspondientes (por ejemplo, las imágenes mejoradas generadas en el bloque 420). En otra parte del presente documento se incluyen detalles adicionales con respecto a ejemplos de realizaciones para las operaciones de los bloques 435 470. Además, se apreciará que, si bien los bloques 435-470 se ilustran como operaciones separadas en este ejemplo, en algunas realizaciones se puede realizar un único análisis de las imágenes para adquirir o determinar múltiples tipos de información, tales como los analizados con respecto a algunos o todos los bloques 435-470. Después del bloque 470, la rutina continúa hasta el bloque 488 para almacenar la información de mapeo generada y, opcionalmente, otra información generada, y para usar adicionalmente opcionalmente la información de mapeo generada, tal como para proporcionar información relacionada con el mapeo generada a uno o más destinatarios (por ejemplo, para proporcionar esa información generada a otro u otros dispositivos para su uso en la automatización de la navegación de esos dispositivos y/o vehículos asociados u otras entidades).

[0130] Si, por el contrario, en el bloque 430 se determina que la información o las instrucciones recibidas en el bloque 405 no son para generar información de mapeo para un edificio indicado, la rutina continúa en su lugar hasta el bloque 490 para realizar opcionalmente una o más de las operaciones indicadas, según corresponda. Estas otras operaciones pueden incluir, por ejemplo, recibir y responder a solicitudes de modelos informáticos y/o planos de planta generados anteriormente y/o imágenes mejoradas generadas y/u otra información relacionada con el mapeo generada (por ejemplo, solicitudes de dicha información para proporcionarla a uno o más dispositivos para su uso en la navegación automatizada; solicitudes de dicha información para su visualización en uno o más dispositivos de cliente, tal como para alinear dicha información con uno o más criterios de búsqueda especificados; etc.), obtener y almacenar información sobre edificios para su uso en operaciones posteriores (por ejemplo, información sobre dimensiones, números o tipos de habitaciones, pies cuadrados totales, edificios adyacentes o cercanos, vegetación adyacente o cercana, imágenes exteriores, imágenes aéreas, imágenes a nivel de calle, etc.), etc.

[0132] Después de los bloques 488 o 490, la rutina continúa hasta el bloque 495 para determinar si debe continuar, tal como hasta que se reciba una indicación explícita para terminar, o bien solo si se recibe una indicación explícita de continuar. Si se determina continuar, la rutina vuelve al bloque 405 para esperar y recibir instrucciones o información adicionales y, de lo contrario, continúa hasta el bloque 499 y finaliza.

[0134] La figura 5 ilustra una realización de ejemplo de un diagrama de flujo para una rutina 500 de componentes de intercambio de atributos de imagen de IAEMIGM. La rutina puede realizarse, por ejemplo, mediante la ejecución de un componente del sistema IAEMIGM 160 de la figura 1A, del sistema<i>A<e>MIGM 340 de la figura 3 y/o de un sistema IAEMIGM tal como se describe con respecto a las figuras 2D-2J y en otras partes del presente documento, para determinar e intercambiar datos de atributo entre imágenes de múltiples tipos para un edificio con el fin de generar las imágenes mejoradas correspondientes; en al menos algunas realizaciones, se puede invocar la rutina en el bloque 420 de la rutina 400 de las figuras 4A-4B y volver a esa ubicación cuando se haya completado. Si bien la realización ilustrada de la rutina 500 genera tipos particulares de imágenes mejoradas utilizando tipos particulares de datos de atributo compartidos entre tipos particulares de imágenes que se emparejan para un edificio en particular, se apreciará que otras realizaciones de la rutina pueden funcionar de otras maneras, incluido el uso de otros tipos de datos de atributo y/o tipos de imágenes, y/o el uso de grupos de más de dos imágenes coincidentes, e incluso hacerlo con respecto a múltiples edificios (por ejemplo, múltiples edificios relacionados, como en una sola propiedad, varios edificios separados para comparar, etc.).

[0135] La realización ilustrada de la rutina 500 comienza en el bloque 505, donde se reciben instrucciones u otra información, tal como con respecto a un edificio en particular y/o con respecto a un conjunto particular de imágenes de múltiples tipos adquiridas para un edificio en particular. La rutina continúa entonces hasta el bloque 510, donde determina si las instrucciones u otra información recibida en el bloque 505 indican analizar imágenes con respecto a un edificio en particular para determinar la información de atributos para estas y, en caso afirmativo, continúa realizando los bloques 520-535 para determinar la información de atributo correspondiente y, de lo contrario, continúa hasta el bloque 515 para recuperar u obtener de otro modo información de atributos almacenada de uno o más tipos para dichas imágenes de edificios. En el bloque 520, la rutina determina los atributos de color y, opcionalmente, otros atributos visuales de los datos visuales de cada imagen. En el bloque 525, la rutina analiza entonces los datos visuales de las imágenes para, para cada imagen, determinar los datos estructurales de la información visible en la imagen, incluidas las características que corresponden a los elementos de pared y otros elementos estructurales, así como para estimar la postura de cada imagen (tanto una ubicación de adquisición como una orientación de captura) y, opcionalmente, para determinar y asociar adicionalmente las etiquetas semánticas correspondientes con las características identificadas. En el bloque 530, la rutina asocia entonces las imágenes conjuntamente por habitación del edificio y determina, para cada habitación que tenga una o más ubicaciones de adquisición de imágenes (o que tenga una cobertura visual de al menos una parte de la habitación de las imágenes), las formas estructurales de al menos parte de la habitación basándose, al menos en parte, en los datos visuales de esas imágenes y, opcionalmente, determina además una posición dentro de la habitación de esas ubicaciones de adquisición (por ejemplo, en relación con las posiciones de las formas estructurales) y/o determina además un etiqueta semántica de tipo de habitación correspondiente para algunas o todas las habitaciones, y para asociar los datos estructurales determinados y otra información de los bloques 530 y 535 como atributos de las imágenes correspondientes. En el bloque 535, la rutina analiza entonces opcionalmente los datos visuales de cada imagen para generar un vector de incrustación que represente información sobre la misma, tal como para su uso en la comparación de vectores de incrustación de imágenes para determinar imágenes similares.

[0137] Después de los bloques 515 o 535, la rutina continúa hasta el bloque 545, donde determina si las instrucciones u otra información recibida en el bloque 505 indican realizar un intercambio de atributos entre imágenes, tal como con respecto a los datos de atributo recuperados en el bloque 515 o determinados en los bloques 520 535. Si no, la rutina continúa en el bloque 599 y regresa (incluyendo el suministro de cualquier información determinada y generada a partir de la rutina) y, de lo contrario, pasa a los bloques 555-570 para realizar el intercambio de atributos. En particular, en el bloque 555, la rutina determina pares de imágenes de diferentes tipos que tienen una cobertura visual superpuesta, y en el bloque 560, selecciona opcionalmente una imagen de cada par que tiene datos de atributo de color preferidos y, opcionalmente, otros atributos de datos visuales (por ejemplo, una imagen fotográfica en perspectiva) y modifica la otra imagen del par (por ejemplo, una imagen panorámica) para generar una imagen mejorada usando esos atributos de color y, opcionalmente, otros atributos de datos visuales. En el bloque 565, la rutina, entonces, para cada par de imágenes, selecciona opcionalmente una imagen que tenga datos de atributo estructurales preferidos (por ejemplo, una imagen panorámica) y modifica la otra imagen del par (por ejemplo, una imagen fotográfica en perspectiva) para generar una imagen mejorada correspondiente que esté asociada a los datos de atributo estructurales (incluyendo, al menos en algunas realizaciones y situaciones, adaptar los datos estructurales al sistema de coordenadas local de esa otra imagen del par). En el bloque 570, la rutina, entonces, para cada par de imágenes, selecciona opcionalmente una imagen de mayor tamaño o que, si no, tenga la mayor cobertura visual (por ejemplo, una imagen panorámica), obtiene información sobre las características identificadas de los datos visuales de particular interés (por ejemplo, analiza la otra imagen del par, como una fotografía en perspectiva y/u otras imágenes para conocer las características) y usa las características identificadas para generar una o más imágenes mejoradas a partir de la imagen seleccionada que corresponden, cada una , a un subconjunto y representa una imagen mejorada de especial interés. Después del bloque 570, la rutina vuelve al bloque 599, lo que incluye proporcionar cualquier información determinada y generada a partir de la rutina.

[0138] La figura 6 ilustra una realización de ejemplo de un diagrama de flujo para una rutina 600 del sistema visor de información de edificios. La rutina puede realizarse, por ejemplo, mediante la ejecución de un dispositivo informático cliente 175 con visor de información de edificios y su sistema o sistemas de software (no mostrados) de la figura 1 A, el sistema 345 de visor de información de edificios y/o un dispositivo informático cliente 390 de la figura 3, y/o un visor de información de mapeo o sistema de presentación como se describe en otra parte del presente documento, para seleccionar la información de uno o más edificios en función de criterios específicos del usuario (por ejemplo, una o más imágenes mejoradas generadas para un edificio); uno o más grupos de imágenes enlazadas interconectadas que representan cada una parte o la totalidad de un edificio; uno o más planos de planta 2D del edificio y/u otra información de mapeo relacionada, como un modelo informático 3D o un modelo informático 2,5D; información adicional asociada a ubicaciones particulares en el o los planos de planta u otra información de mapeo, como imágenes adicionales y/u otros tipos de datos adquiridos en edificios, etc.), y para recibir y mostrar la información del edificio correspondiente a un usuario final. En el ejemplo de la figura 6, la información de mapeo presentada es, al menos en parte, para el interior de un edificio (tal como una casa), pero en otras realizaciones, pueden presentarse otros tipos de información de mapeo para otros tipos de edificios o entornos y usarse de otras maneras, como se explica en otra parte del presente documento.

[0139] La realización ilustrada de la rutina comienza en el bloque 605, donde se reciben instrucciones o información. Después del bloque 605, la rutina continúa hasta el bloque 650, donde determina si las instrucciones u otra información recibida en el bloque 605 indican la identificación de uno o más edificios objetivo cuya información se va a presentar basándose, al menos en parte, en criterios específicos del usuario y, si no, continúa con el bloque 660 para obtener una indicación del edificio objetivo a usar por parte del usuario final (por ejemplo, en función de una selección de usuario actual, tal como de una lista mostrada u otro mecanismo de selección de usuarios; en base a información recibida en el bloque 605; etc.). De lo contrario, la rutina continúa hasta el bloque 655, donde obtiene indicaciones de uno o más criterios de búsqueda a utilizar (por ejemplo, uno o más edificios iniciales a utilizar para identificar edificios objetivo similares, tal como a partir de selecciones de usuario actuales y/o de selecciones de usuario anteriores u otras actividades de usuario anteriores y/o como se indica en la información o instrucciones recibidas en el bloque 605; uno o más términos de búsqueda explícitos, etc.). A continuación, la rutina obtiene información sobre uno o más edificios objetivo correspondientes, por ejemplo, solicitando la información al sistema IAEMIGM y/o a un sistema de almacenamiento asociado, y selecciona el edificio objetivo que mejor se adapte para su uso posterior inicial si se devuelve información sobre varios edificios objetivo (por ejemplo, el otro edificio devuelto con el índice de similitud más alto con uno o más edificios iniciales o para uno o más criterios de búsqueda especificados), o utilizando otra técnica de selección indicada en las instrucciones u otra información recibida en el bloque 605 o especificada previamente de otro modo, tal como una preferencia para el usuario final). En algunas realizaciones y situaciones, se pueden seleccionar uno o más edificios objetivo en función de uno o más edificios diferentes y de uno o más criterios específicos.

[0140] Después de los bloques 655 o 660, la rutina continúa hasta el bloque 670 para determinar si las instrucciones u otra información recibida en el bloque 605 son para mostrar una o más imágenes mejoradas generadas, por ejemplo, con respecto al edificio objetivo que mejor se adapta del bloque 655 u otro edificio objetivo indicado en el bloque 660, y si es así continúa hasta el bloque 675 para obtener una o más indicaciones de una o más imágenes mejoradas correspondientes (por ejemplo, algunas o todas las imágenes mejoradas asociadas al edificio objetivo), y para mostrar o proporcionar de otro modo información sobre la o las imágenes mejoradas a uno o más usuarios (por ejemplo, proporciona información sobre múltiples imágenes mejoradas disponibles y muestra una o más imágenes mejoradas particulares de este tipo cuando un usuario las selecciona o indica de otro modo). Si bien no se ilustra en este ejemplo de realización, en algunas realizaciones una imagen mejorada que se muestra puede incluir uno o más controles seleccionables por el usuario correspondientes a la información asociada disponible y, en caso afirmativo, la rutina puede realizar además un procesamiento adicional de una manera similar a la descrita con respecto a los bloques 615-622 para permitir al usuario interactuar más con, y recibir, información asociada adicional.

[0142] Después del bloque 675, o si en cambio se determinó en el bloque 670 que las instrucciones u otra información recibida en el bloque 605 no son para mostrar una o más imágenes mejoradas generadas, la rutina continúa hasta el bloque 610 para determinar si las instrucciones u otra información recibida en el bloque 605 son para mostrar o presentar de otro modo otros tipos de información sobre un edificio objetivo (por ejemplo, usando un plano de planta y/o un grupo de imágenes enlazadas interconectadas que incluyen información sobre el interior del edificio objetivo), tal como el objetivo que mejor coincide con el edificio desde el bloque 655 u otro edificio objetivo indicado en el bloque 660 y, de no ser así, continúa hasta el bloque 690. De lo contrario, la rutina pasa al bloque 612 para recuperar la otra información del edificio para el edificio objetivo (incluyendo opcionalmente indicaciones de información asociada o vinculada para el interior del edificio y/o una ubicación circundante, como con imágenes adicionales tomadas dentro o alrededor del edificio), y selecciona una vista inicial de la información recuperada (por ejemplo, una vista del plano de planta, de al menos parte del modelo informático 3D, una imagen del grupo de imágenes vinculadas interconectadas, una vista de visualización de múltiples imágenes vinculadas, etc.). En el bloque 615, la rutina muestra o presenta de otro modo la vista actual de la información recuperada, y espera en el bloque 617 una selección del usuario. Después de una selección de usuario en el bloque 617, si se determina en el bloque 620 que la selección de usuario corresponde a la ubicación actual del edificio objetivo (por ejemplo, para cambiar la vista actual de la información de mapeo mostrada para ese edificio objetivo), la rutina continúa hasta el bloque 622 para actualizar la vista actual de acuerdo con la selección del usuario, y luego vuelve al bloque 615 para actualizar la información mostrada o presentada de otro modo en consecuencia. La selección del usuario y la correspondiente actualización de la vista actual pueden incluir, por ejemplo, mostrar o presentar de otro modo una parte de la información vinculada asociada que el usuario seleccione (por ejemplo, una imagen particular asociada a una indicación visual mostrada de una ubicación de adquisición determinada), cambiar la forma en que se muestra la vista actual (por ejemplo, acercar o alejar la información, si corresponde); seleccionar una nueva parte del plano de planta y/o del modelo informático 3D para mostrarla o presentarla de otro modo, por ejemplo, no estando visible anteriormente parte o la totalidad de la nueva parte, o si no, siendo la nueva parte un subconjunto de la información previamente visible; seleccionar una imagen diferente de un grupo de imágenes enlazadas interconectadas para mostrarla o presentarla de otro modo, tal como para mostrar una vista de subconjunto inicial de esa imagen; etc.). En otras realizaciones y situaciones, la actualización de la vista actual de acuerdo con la selección del usuario puede incluir interactuar con, y recuperar información de otro sistema, tal como del sistema IAEMIGM.

[0144] Si, en cambio, se determina en el bloque 610 que las instrucciones u otra información recibidas en el bloque 605 no son para presentar información que represente el interior de un edificio, la rutina continúa en cambio hasta el bloque 690 para realizar cualquier otra operación indicada, según corresponda, como cualquier tarea de limpieza, para configurar los parámetros que se utilizarán en diversas operaciones del sistema (por ejemplo, basándose, al menos en parte, en la información especificada por un usuario del sistema, como un usuario de un dispositivo móvil que captura uno o más interiores de edificios, un operador usuario de el sistema AIC, etc.), para obtener y almacenar otra información sobre los usuarios de la rutina (por ejemplo, las preferencias de presentación y/o búsqueda de un usuario actual), para responder a las solicitudes de información generada y almacenada, etc.

[0146] Después del bloque 690, o si se determina en el bloque 620 que la selección del usuario no corresponde a la ubicación actual del edificio objetivo, la rutina pasa al bloque 695 para determinar si continuar, por ejemplo, hasta que se reciba una indicación explícita de terminar o, si no, solo si se recibe una indicación explícita de continuar. Si se determina continuar (incluso en situaciones en las que el usuario hizo una selección en el bloque 617 relacionada con una nueva ubicación de edificio objetivo para presentar), la rutina vuelve al bloque 605 para esperar instrucciones o información adicionales (o para continuar en los bloques 605 y 650 anteriores hasta los bloques 670 o 610 si el usuario hizo una selección en el bloque 617 relacionada con una nueva ubicación de edificio a presentar) y, si no, continúa con la etapa 699 y termina. En la realización ilustrada, la rutina del bloque 655 selecciona el edificio objetivo que mejor se adapte a ese bloque para usarlo si varios edificios objetivo candidatos fueran devueltos a ese bloque; en al menos algunas realizaciones, una cola de otros edificios objetivo devueltos que no se seleccionen primero como los más compatibles puede guardarse y usarse posteriormente (por ejemplo, para que el usuario muestre o presente de otro modo de forma consecutiva la información de varios de esos otros edificios), por ejemplo, con la selección del usuario en el bloque 617 que indica opcionalmente: seleccionar y usar otro siguiente edificio devuelto de dicha cola, y/o la información sobre varios edificios que se hizo mostrar juntos (por ejemplo, simultáneamente o sucesivamente, para permitir la comparación de la información de los múltiples edificios).

[0148] La figura 7 ilustra un diagrama de flujo de ejemplo de una realización de una rutina 700 del sistema de captura automatizada de imágenes (AIC). La rutina puede ser realizada, por ejemplo, por la aplicación 368 del sistema AIC de la figura 3, una aplicación 162 del sistema AIC de la figura 1A y/o un sistema AIC tal como se describe de otro modo con respecto a las figuras 2A-2C y en otras partes del presente documento, tal como para capturar imágenes de uno o más tipos en ubicaciones de adquisición dentro de edificios u otras estructuras, tal como para su uso en la generación posterior de planos de planta relacionados y/u otra información de mapeo. Si bien partes de la rutina 700 de ejemplo se analizan con respecto a la adquisición de tipos particulares de imágenes en ubicaciones de adquisición particulares de maneras particulares, se apreciará que esta rutina o una rutina similar se puede usar para adquirir vídeo u otros tipos de datos (por ejemplo, audio), ya sea en lugar, o además de dichas imágenes. Además, aunque la realización ilustrada adquiere y usa información del interior de un edificio objetivo, se apreciará que otras realizaciones pueden realizar técnicas similares para otros tipos de datos, incluso para estructuras que no son edificios y/o para información externa a uno o más edificios objetivo de interés. Además, en algunas realizaciones, parte de la rutina puede ejecutarse en un dispositivo móvil usado por un usuario para adquirir información de imagen, mientras que otra parte de la rutina puede ejecutarse en uno o más dispositivos informáticos diferentes (por ejemplo, mediante un sistema informático de servidor remoto de dicho dispositivo móvil y/o mediante uno o más dispositivos informáticos diferentes en una ubicación del dispositivo móvil, tal como de manera distribuida entre pares utilizando interconexiones locales en esa ubicación).

[0150] La realización ilustrada de la rutina comienza en el bloque 705, donde se reciben instrucciones o información. En el bloque 710, la rutina determina si las instrucciones o la información recibidas indican la adquisición de datos que representan el interior de un edificio y, de no ser así, continúa con el bloque 790. De lo contrario, la rutina pasa al bloque 712 para recibir una indicación (por ejemplo, de un usuario de un dispositivo móvil de adquisición de imágenes) para comenzar el proceso de adquisición de imágenes en una primera ubicación de adquisición. Después del bloque 712, la rutina pasa al bloque 715 para capturar información de imagen (por ejemplo, una o más imágenes fotográficas en perspectiva y/o imágenes panorámicas, tal como el uso de diferentes orientaciones de captura) en la ubicación de adquisición en el interior del edificio objetivo de interés. La rutina 700 también puede capturar opcionalmente información adicional, como anotaciones y/u otra información de un usuario sobre la ubicación de adquisición y/o el entorno circundante de una imagen capturada, datos de IMU y/u otros metadatos de adquisición de imágenes (por ejemplo, con respecto al movimiento del dispositivo informático durante la captura de la imagen), etc. Si bien no se ilustra en la realización ejemplar, la rutina puede además, en algunas realizaciones, determinar y proporcionar una o más señales de orientación correctiva al usuario con respecto a la captura de imágenes, como la correspondiente al movimiento del dispositivo móvil, la calidad de los datos del sensor y/o los datos visuales que se capturan, las condiciones ambientales o de iluminación asociadas, la conveniencia de capturar una o más imágenes adicionales desde la ubicación de adquisición en diferentes orientaciones de captura y cualquier otro aspecto adecuado de la captura de una o más imágenes.

[0152] Una vez completado el bloque 715, la rutina continúa hasta el bloque 720 para determinar si hay más ubicaciones de adquisición en las que adquirir imágenes, por ejemplo, basándose en la información correspondiente proporcionada por el usuario del dispositivo móvil. Si es así, la rutina continúa hasta el bloque 722 para iniciar opcionalmente la captura de información de enlace (tal como datos de aceleración, datos visuales adicionales, etc.) durante el movimiento del dispositivo móvil a lo largo de una trayectoria que se aleja de la ubicación de adquisición actual y hacia la siguiente ubicación de adquisición dentro del interior del edificio. Como se describe en otra parte del presente documento, la información de enlace capturada puede incluir datos de sensores adicionales registrados durante dicho movimiento (por ejemplo, desde una o más IMU, o unidades de medición inercial, en el dispositivo móvil o transportados de otro modo por el usuario, y/o información adicional de imagen o vídeo). El inicio de la captura de dicha información de enlace puede realizarse en respuesta a una indicación explícita de un usuario del dispositivo móvil o basándose en uno o más análisis automatizados de la información registrada desde el dispositivo móvil. Además, la rutina también puede monitorizar opcionalmente el movimiento del dispositivo móvil en algunas realizaciones durante el movimiento a la siguiente ubicación de adquisición, y determinar y proporcionar una o más señales de orientación correctivas al usuario con respecto al movimiento del dispositivo móvil, la calidad de los datos del sensor y/o la información de vídeo que se está capturando, las condiciones ambientales o de iluminación asociadas, la conveniencia de capturar una siguiente ubicación de adquisición y cualquier otro aspecto adecuado de la captura de la información de enlace. De manera similar, la rutina puede obtener opcionalmente una anotación y/u otra información del usuario con respecto a la trayectoria, tal como para su uso posterior en la presentación de información sobre esa trayectoria o un enlace de conexión interpanorámica resultante. En el bloque 724, la rutina determina que el dispositivo móvil ha llegado a la siguiente ubicación de adquisición (por ejemplo, basándose en una indicación del usuario, basándose en el movimiento hacia adelante del usuario que se detiene durante al menos un período de tiempo predefinido, etc.), para su uso como la nueva ubicación de adquisición actual, y vuelve al bloque 715 para realizar las actividades de adquisición de imágenes de la ubicación de adquisición para la nueva ubicación de adquisición actual.

[0154] Si, por el contrario, en el bloque 720 se determina que no hay más ubicaciones de adquisición en las que adquirir información de imagen para el edificio actual u otra estructura, la rutina pasa al bloque 781 para analizar opcionalmente la información de ubicación de adquisición para el edificio u otra estructura, tal como para identificar una posible cobertura adicional (y/u otra información) para adquirir dentro del interior del edificio. Por ejemplo, el sistema AIC puede proporcionar una o más notificaciones al usuario con respecto a la información adquirida durante la captura de imágenes para las múltiples ubicaciones de adquisición y, opcionalmente, a la información de enlace correspondiente, por ejemplo, si determina que una o más piezas o partes de la información grabada son de calidad insuficiente o no deseable, o no parecen proporcionar una cobertura completa del edificio. Después del bloque 781, la rutina continúa hasta el bloque 783 para preprocesar opcionalmente las imágenes adquiridas antes de su uso posterior para generar información de mapeo relacionada, tal como usar un formato específico y/o ser de un tipo definido que presente la información de una manera específica (por ejemplo, usando un formato plano lineal en perspectiva, etc.). Después del bloque 783, la rutina continúa hasta el bloque 788 para almacenar las imágenes y cualquier información asociada generada u obtenida para su uso posterior. Las figuras 4A-4B ilustran un ejemplo de una rutina para generar información relacionada con el mapeo para un edificio a partir de dicha información de imagen capturada.

[0156] En cambio, si se determina en el bloque 710 que las instrucciones u otra información citada en el bloque 705 no son adquirir imágenes u otros datos que representen el interior de un edificio, la rutina pasa en cambio al bloque 790 para realizar cualesquiera otras operaciones indicadas, apropiadas, tal como cualquier tarea de limpieza, para configurar parámetros a utilizar en diversas operaciones del sistema (por ejemplo, en base, por lo menos en parte, a información especificada por un usuario del sistema, tal como un usuario de un dispositivo móvil que captura uno o varios interiores de edificio, un usuario operador del sistema AIC, etc.), para responder a solicitudes para información generada y almacenada (por ejemplo, para identificar una o varias imágenes capturadas que se corresponden con uno o varios criterios de búsqueda especificados, etc.), para obtener y almacenar otra información en torno a usuarios del sistema, etc.

[0158] Después de los bloques 788 o 790, la rutina continúa hasta el bloque 795 para determinar si debe continuar, tal como hasta que se reciba una indicación explícita para terminar, o bien solo si se recibe una indicación explícita de continuar. Si se determina continuar, la rutina vuelve al bloque 705 para esperar instrucciones o información adicionales y, si no, continúa con la etapa 799 y finaliza.

[0160] Las realizaciones de ejemplo ilustrativas no exclusivas descritas en el presente documento se describen con más detalle en los siguientes párrafos.

[0162] Se describen en el presente documento aspectos de la presente descripción haciendo referencia a ilustraciones de diagramas de flujo y/o diagramas de bloque de métodos, aparatos (sistemas/dispositivos), y productos de programa informático, según realizaciones de la presente descripción. Se apreciará que cada bloque de las ilustraciones de diagrama de flujo y/o de los diagramas de bloques, y combinaciones de dichos bloques, pueden ser implementados por instrucciones de programar legibles por ordenador. Se apreciará además que, en algunas implementaciones, la funcionalidad proporcionada por las rutinas analizadas anteriormente puede proporcionarse de formas alternativas, como dividirse entre más rutinas o consolidarse en menos rutinas. De manera similar, en algunas implementaciones, las rutinas ilustradas pueden proporcionar más o menos funcionalidad de la que se describe, tal como cuando otras rutinas ilustradas carecen de, o incluyen dicha funcionalidad respectivamente, o cuando se altera la cantidad de funcionalidad que se proporciona. Además, aunque se pueden ilustrar varias operaciones como realizadas de una manera particular (por ejemplo, en serie o en paralelo, o sincrónicas o asincrónicas) y/o en un orden particular, en otras implementaciones las operaciones pueden realizarse en otros órdenes y de otras maneras. Cualquier estructura de datos descrita anteriormente también puede estructurarse de diferentes maneras, tal como teniendo una única estructura de datos dividida en múltiples estructuras de datos y/o teniendo múltiples estructuras de datos consolidadas en una sola estructura de datos. De manera similar, en algunas implementaciones, las estructuras de datos ilustradas pueden almacenar más o menos información de la descrita, tal como cuando otras estructuras de datos ilustradas carecen de, o incluyen dicha información respectivamente, o cuando se altera la cantidad o los tipos de información que se almacenan.

[0164] De lo anterior se apreciará que, aunque en el presente documento se han descrito realizaciones específicas con fines ilustrativos, se pueden realizar diversas modificaciones sin desviarse del alcance de la invención tal como se define en las reivindicaciones adjuntas. Además, aunque ciertos aspectos de la invención pueden presentarse en determinadas formas de reivindicación en determinados momentos, los inventores contemplan los diversos aspectos de la invención en cualquier forma de reivindicación disponible. Por ejemplo, aunque solo algunos aspectos de la invención pueden citarse como incorporados en un medio legible por ordenador en momentos particulares, otros aspectos también pueden incorporarse de esa manera.

Claims

1. REIVINDICACIONES

1. Un sistema que comprende:

uno o más procesadores de hardware de uno o más sistemas informáticos; y

una o más memorias con instrucciones de software almacenadas que, cuando son ejecutadas por al menos uno de los uno o más procesadores de hardware, hacen que los uno o más sistemas informáticos realicen operaciones automatizadas que incluyen al menos:

obtener una pluralidad de imágenes de múltiples tipos tomadas en una pluralidad de ubicaciones de adquisición asociadas con un edificio, donde la pluralidad de ubicaciones de adquisición incluye, para cada una de las múltiples habitaciones del edificio, al menos una ubicación de adquisición en esa habitación;

determinar múltiples pares de imágenes a partir de la pluralidad de imágenes, donde cada par de imágenes incluye una primera imagen de un primer tipo de los múltiples tipos y una segunda imagen de un segundo tipo distinto de los múltiples tipos, y en el que la primera y la segunda imagen de cada par tienen una cobertura visual superpuesta de al menos una habitación de las múltiples habitaciones, en el que el primer tipo de la pluralidad de imágenes incluye fotografías en formato de perspectiva y que tienen un ángulo de visión inferior a 90 grados, y en el que el segundo tipo de la pluralidad de imágenes incluye imágenes panorámicas en un formato equirrectangular y que tienen un ángulo de visión de al menos 180 grados;

generar, para cada uno de los múltiples pares de imágenes, una imagen mejorada modificando la primera imagen del par para usar los datos asociados con la segunda imagen del par, incluyendo seleccionar al menos un tipo de atributo que esté asociado con la segunda imagen del par y la adición de datos para el al menos un tipo de atributo seleccionado en asociación con la primera imagen modificada;

generar información de mapeo para el edificio para su visualización basándose, al menos en parte, en al menos una imagen mejorada generada y en los datos visuales de la pluralidad de imágenes; y

proporcionar al menos parte de la información de mapeo generada para el edificio para su visualización, en el que al menos parte de la información de mapeo generada proporcionada incluye la al menos una imagen mejorada generada.

2. El sistema de la reivindicación 1, en el que la primera imagen de uno de los pares de imágenes es una imagen panorámica y la segunda imagen del par de imágenes es una fotografía en perspectiva, en el que las operaciones automatizadas incluyen además la determinación de los atributos de croma para la fotografía en perspectiva del par, y en el que la generación de la imagen mejorada para el par incluye generar una imagen panorámica mejorada modificando la imagen panorámica para que el par use los atributos de croma determinados.

3. El sistema de la reivindicación 2, en el que la modificación de la imagen panorámica para que el par utilice los atributos de croma determinados incluye además retener, en la imagen panorámica modificada, los atributos de luminancia de la imagen panorámica para el par.

4. El sistema de la reivindicación 1, en el que la primera imagen de uno de los pares de imágenes es una fotografía en perspectiva y la segunda imagen del par de imágenes es una imagen panorámica, en el que las operaciones automatizadas incluyen además determinar una o más formas estructurales visibles en la imagen panorámica y una o más posiciones en la imagen panorámica de las una o más formas estructurales, y en el que la generación de la imagen mejorada para el par incluye generar una fotografía en perspectiva mejorada modificando la fotografía en perspectiva para asociar al menos una de las una o más formas estructurales en una o más posiciones diferentes en los datos visuales de la fotografía en perspectiva modificada de la al menos una forma estructural.

5. El sistema de la reivindicación 1, en el que la primera imagen de uno de los pares de imágenes es una fotografía en perspectiva y la segunda imagen del par de imágenes es una imagen panorámica, en el que las operaciones automatizadas incluyen además determinar una o más características estructurales de pared visibles en la imagen panorámica para el par y una o más posiciones en la imagen panorámica de las una o más características estructurales de pared, y en el que la generación de la imagen mejorada para el par incluye generar una fotografía en perspectiva mejorada modificando la fotografía en perspectiva para asociar al menos una de las una o más características estructurales de pared en una o más posiciones diferentes en los datos visuales de la fotografía en perspectiva modificada de la al menos una característica estructural de pared.

6. El sistema de la reivindicación 1, en el que la primera imagen de uno de los pares de imágenes es una imagen panorámica y la segunda imagen del par de imágenes es una fotografía en perspectiva, en el que las operaciones automatizadas incluyen además:

analizar, para cada uno de al menos algunos de los múltiples pares de imágenes distintos del par, un subconjunto de una imagen panorámica de ese par que es visible en una fotografía en perspectiva de ese par para determinar las características asociadas con el subconjunto de esa imagen panorámica; y

combinar características determinadas a partir de los al menos algunos pares de imágenes para identificar las características de la imagen asociadas con algunas áreas del edificio,

y en el que la generación de la imagen mejorada para el par incluye el uso de las características de imagen identificadas y los datos visuales de la fotografía en perspectiva del par para seleccionar un subconjunto de la imagen panorámica del par para usarlo como imagen mejorada para el par.

7. El sistema de la reivindicación 1, en el que la generación de la imagen mejorada para uno de los pares de imágenes incluye además seleccionar uno o más atributos de un grupo que incluye al menos el balance de luz y la saturación y la nitidez y el estilo, y añadir datos para cada uno de los uno o más atributos seleccionados de la segunda imagen del par a la primera imagen modificada.

8. El sistema de la reivindicación 1, en el que la generación de la imagen mejorada para uno de los pares de imágenes incluye, además, seleccionar uno o más atributos de un grupo que incluye, por lo menos, anotaciones de usuario y etiquetas semánticas, y añadir datos para cada uno de los uno o más atributos seleccionados desde la segunda imagen del par, en asociación con la primera imagen modificada.

9. El sistema de la reivindicación 1, en el que los múltiples tipos de imágenes incluyen al menos una de las versiones diurna y nocturna de al menos algunas áreas comunes asociadas con el edificio, o datos visuales y datos no visuales de al menos algunas áreas comunes asociadas con el edificio, o versiones adquiridas en diferentes períodos de tiempo de al menos algunas áreas comunes asociadas con el edificio, y en el que la generación de la imagen mejorada para al menos un par de los múltiples pares incluye el intercambio de datos entre al menos una de las versiones diurna y nocturna, o los datos visuales y los datos no visuales, o las versiones adquiridas en diferentes períodos de tiempo.

10. El sistema de la reivindicación 1, en el que la generación de la imagen mejorada para uno de los pares de imágenes incluye además al menos la adición de datos para uno o más atributos de profundidad de la segunda imagen del par en asociación con la primera imagen modificada, o la adición de datos para uno o más atributos de ubicación de la segunda imagen del par en asociación con la primera imagen modificada, y en el que la determinación de uno de los pares de imágenes incluye además al menos el uso de datos para uno o más atributos de profundidad de al menos una de la primera imagen o la segunda imagen del par, o el uso de datos para uno o más atributos de ubicación de al menos una de la primera imagen o la segunda imagen del par.

11. El sistema de la reivindicación 1, en el que la determinación de los múltiples pares de imágenes incluye además:

generar una pluralidad de subimágenes a partir de múltiples imágenes panorámicas de la pluralidad de imágenes, incluyendo, para cada una de las imágenes panorámicas, generar múltiples subimágenes, cada una de las cuales incluye un subconjunto distinto de los datos visuales de esa imagen panorámica y está en un formato de perspectiva;

generar, para cada una de la pluralidad de subimágenes, una o más primeras características globales que describen los datos visuales de esa subimagen en su conjunto, y múltiples primeras características locales que describen partes individuales de los datos visuales de esa subimagen;

generar, para cada una de las múltiples fotografías en el formato de perspectiva de la pluralidad de imágenes, una o más segundas características globales que describen los datos visuales de esa fotografía en el formato de perspectiva en su conjunto, y múltiples segundas características locales que describen partes individuales de los datos visuales de esa fotografía en el formato de perspectiva;

determinar, para cada una de al menos algunas de las múltiples fotografías en el formato de perspectiva, un grupo de la pluralidad de subimágenes que tienen primeras características globales que coinciden con las segundas características globales de esa fotografía en el formato de perspectiva, y seleccionar una subimagen del grupo determinado cuyas múltiples primeras características locales coinciden con las múltiples segundas características locales de esa fotografía en el formato de perspectiva; y

generar, para cada una de las al menos algunas fotografías en el formato de perspectiva, uno de los pares de imágenes que incluye esa fotografía en el formato de perspectiva e incluye la imagen panorámica a partir de la cual se genera la subimagen seleccionada para esa fotografía en el formato de perspectiva.

12. El sistema de la reivindicación 1, en el que las operaciones automatizadas incluyen además al menos una de:

realizar la generación de la imagen mejorada para uno de los múltiples pares de imágenes identificando una o más segundas imágenes adicionales del segundo tipo, cada una de las cuales tiene una cobertura visual superpuesta con la primera imagen del par, y combinando datos para el al menos un tipo de atributo seleccionado de la segunda imagen del par y las una o más segundas imágenes adicionales, y en el que la adición de los datos en asociación con la primera imagen modificada del par usa los datos combinados; o

realizar la generación de la imagen mejorada para uno de los múltiples pares de imágenes usando un perfil de ruido para la segunda imagen del par para aumentar una o más partes de la primera imagen modificada para el par; o

realizar la generación de la al menos alguna información de mapeo, para uno de los múltiples pares de imágenes, asociando la segunda imagen del par con una o más posiciones en la primera imagen modificada para el par como un punto de interés seleccionable por el usuario; o

realizar la generación de la al menos parte de la información de mapeo generando al menos un plano de planta parcial para el edificio utilizando datos visuales de la pluralidad de imágenes y asociando, para uno de los múltiples pares de imágenes, al menos una de la primera imagen del par o la segunda imagen del el par con una o más posiciones en el plano de planta al menos parcial como un punto de interés seleccionable por el usuario; o

actualizar, después de proporcionar la al menos alguna información de mapeo generada, la información de mapeo generada basándose en una o más imágenes adquiridas adicionales en una o más ubicaciones de adquisición adicionales asociadas con el edificio, incluyendo generar una o más imágenes mejoradas adicionales mediante el intercambio de datos de atributo entre imágenes de uno o más pares de imágenes adicionales, cada uno de los cuales incluye al menos una de las imágenes adquiridas adicionales; o

realizar la generación de la al menos alguna información de mapeo generando, para uno de los múltiples pares de imágenes, una imagen mejorada adicional que tiene datos visuales combinados de la primera imagen del par y de la segunda imagen del el par; o

realizar la generación de la al menos alguna información de mapeo generando, para uno de los múltiples pares de imágenes, una imagen mejorada adicional mediante el uso de uno o más modelos de aprendizaje automático y datos visuales de la primera imagen del par y de la segunda imagen del el par para proporcionar un aumento en la resolución aparente para la imagen mejorada adicional.

13. El sistema de la reivindicación 1, que comprende además un dispositivo informático cliente de un usuario, en el que la pluralidad de ubicaciones de adquisición incluye una o más ubicaciones de adquisición externas al edificio, en el que las operaciones automatizadas incluyen generar la información de mapeo para el edificio mediante el uso de datos visuales de la pluralidad de imágenes para generar al menos un plano de planta parcial para el edificio, en el que el suministro de la al menos parte de la información de mapeo generada para el edificio incluye transmitir la al menos parte de la información de mapeo generada para el edificio a través de una o más redes informáticas al dispositivo informático del cliente, y en el que las operaciones automatizadas incluyen además la recepción por parte del dispositivo informático del cliente y la visualización en el dispositivo informático del cliente de al menos parte de la información de mapeo generada, y transmitir, mediante el dispositivo informático del cliente y a los uno o más sistemas informáticos, la información de una interacción del usuario con un control seleccionable por el usuario en el dispositivo informático del cliente para provocar una modificación de la información mostrada en el dispositivo informático del cliente para el edificio.

14. Un método implementado por ordenador que comprende:

obtener, mediante uno o más sistemas informáticos, una pluralidad de imágenes de múltiples tipos tomadas en una pluralidad de ubicaciones de adquisición asociadas a un edificio, donde la pluralidad de imágenes incluye múltiples fotografías en un formato de perspectiva y que tienen un ángulo de visión inferior a 90 grados e incluye además múltiples imágenes panorámicas en un formato equirrectangular y que tienen un ángulo de visión de al menos 180 grados, y en las que la pluralidad de ubicaciones de adquisición incluye, para cada una de las múltiples habitaciones del edificio, al menos una ubicación de adquisición en esa habitación;

determinar, mediante los uno o más sistemas informáticos, múltiples pares de imágenes a partir de la pluralidad de imágenes, donde cada par de imágenes incluye una de las múltiples fotografías en el formato de perspectiva y una de las múltiples imágenes panorámicas en el formato equirrectangular que tienen una cobertura visual superpuesta para al menos una de las múltiples habitaciones;

generar, mediante los uno o más sistemas informáticos y para cada uno de los múltiples pares de imágenes, una imagen mejorada modificando una primera imagen del par para usar los datos asociados con la segunda imagen del par, incluyendo seleccionar al menos un tipo de atributo que esté asociado con la segunda imagen del par y la adición de datos para el al menos un tipo de atributo seleccionado a la primera imagen modificada;

generar, mediante los uno o más sistemas informáticos y usando al menos una imagen mejorada generada, información de mapeo para el edificio basada, al menos en parte, en datos visuales de la pluralidad de imágenes; y

presentar, mediante los uno o más sistemas informáticos, al menos parte de la información de mapeo generada para el edificio.

15. Un medio legible por ordenador, que comprende instrucciones que, cuando son ejecutadas por un ordenador, hacen que el ordenador lleve a cabo las etapas del método de la reivindicación 14.