ES2926681T3 - Sistema de generación de modelos tridimensionales, método de generación de modelos tridimensionales y programa - Google Patents

Abstract

La carga de procesamiento en una computadora se puede reducir mientras se ahorra el trabajo de fotografiar un objeto para estimar el tamaño del objeto. Los medios de adquisición de imágenes fotografiadas (101) de un sistema de generación de modelos 3D (1) adquieren una imagen fotografiada en la que un primer objeto y un segundo objeto están dispuestos en un espacio real. Los medios de generación de imágenes virtuales (105) generan una imagen virtual en la que un primer modelo que representa el primer objeto que tiene un tamaño estándar y un segundo modelo que representa el segundo objeto que no tiene el tamaño estándar están dispuestos en un espacio virtual. Los medios de determinación de parámetros determinan un parámetro de tamaño que indica el tamaño del segundo objeto basándose en el resultado de comparar la imagen fotografiada con la imagen virtual. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema de generación de modelos tridimensionales, método de generación de modelos tridimensionales y programa Campo Técnico

La presente invención se refiere a un sistema de generación de modelos 3D, un método de generación de modelos 3D y un programa.

Antecedentes de la Técnica

Se conocen técnicas para estimar el tamaño de un objeto con base en una imagen fotografiada en la que se captura el objeto dispuesto en el espacio real. Por ejemplo, la literatura distinta de la de patentes 1 describe técnicas para estimar el tamaño de un objeto con base en algunas imágenes fotografiadas en las que el objeto se captura desde diferentes direcciones. La literatura distinta de la de patentes 2 se relaciona con un modelo de contexto 3D de toda la habitación para la comprensión de escenas panorámicas. El documento EP2747034A2 se refiere a un método para la corrección de localización de un modelo virtual de una escena del mundo real, que implica la comparación de características en un objeto virtual con características de un objeto de referencia.

Lista de citas

Documentos que no son patente

Literatura distinta de la de patentes 1:

http://cvg.ethz.ch/mobile/LiveMetric3DReconstructionICCV2013.pdf

Literatura distinta de la de patentes 2: Yinda Zhang y otros: "PanoContext: A Whole-Room 3D Context Model for Panoramic Scene Understanding", Actas de la 13a Conferencia Europea sobre Visión Artificial, ECCV 2014, 6-12 de septiembre de 2014 (2014-09-06), Zúrich, CH, Lecture Notes in Computer Science vol. 8694, Springer Berlín Heidelberg; páginas 1-18.

Resumen de la Invención

Problema Técnico

Sin embargo, en la literatura distinta de la de patentes 1, el objeto debe capturarse desde diferentes direcciones, lo que requiere mucho tiempo de fotografía. Además, en la Literatura distinta de la de patentes 1, es necesario analizar las múltiples imágenes fotografiadas, lo que aumenta la carga de procesamiento en un ordenador.

Una o más modalidades de la presente invención han sido concebidas en vista de lo anterior, y un objeto de la misma es reducir la carga de procesamiento en un ordenador mientras se ahorra el trabajo de fotografiar.

Solución al Problema

Para resolver los problemas descritos anteriormente, se proporcionan un sistema de generación de modelos 3D, un método de generación de modelos 3D y un programa informático de acuerdo con las reivindicaciones adjuntas. Efectos Ventajosos de la Invención

De acuerdo con la presente invención, la carga de procesamiento en un ordenador puede reducirse mientras se ahorra el trabajo de fotografiar un objeto para estimar el tamaño del objeto.

Breve Descripción de los Dibujos

La Figura 1 es un diagrama que ilustra una configuración de hardware de un sistema de generación de modelos 3D;

La Figura 2 es un diagrama de bloques funcional que muestra un ejemplo de funciones implementadas en el sistema de generación de modelos 3D 1 de la modalidad 1;

La Figura 3 es un diagrama que ilustra una vista desde abajo de una habitación a capturar;

La Figura 4 es un diagrama que ilustra una imagen fotografiada de la habitación;

La Figura 5 es un diagrama que ilustra un método para adquirir imágenes mediante una unidad de adquisición de imágenes;

La Figura 6 es un diagrama que ilustra un método para adquirir imágenes mediante una unidad de adquisición de imágenes;

La Figura 7 es un diagrama que ilustra un proceso para generar un modelo parcial;

La Figura 8 es un diagrama que ilustra modelos parciales generados a partir de imágenes respectivas;

La Figura 9 es un diagrama que ilustra un ejemplo de un modelo general;

La Figura 10 es un diagrama de flujo que muestra un ejemplo de procesamiento que se ejecuta en el sistema de generación de modelos 3D;

Sistema de generación de modelos 3D;

La Figura 11 es un diagrama que ilustra una relación entre un parámetro de tamaño y un modelo general;

La Figura 12 es un diagrama de bloques funcional que muestra un ejemplo de funciones implementadas en el sistema de generación de modelos 3D 1 de la modalidad 2;

La Figura 13 es un diagrama que ilustra un ejemplo de almacenamiento de datos en una base de datos de modelos de objetos;

La Figura 14 es un diagrama que ilustra un ejemplo de un espacio virtual en el que se disponen un modelo general y modelos de objetos;

La Figura 15 es un diagrama que ilustra un ejemplo de una imagen virtual;

La Figura 16 es un diagrama que ilustra un mapa de orientación de una imagen fotografiada con objetos enmascarados;

La Figura 17 es un diagrama que ilustra un mapa de orientación de una imagen virtual con modelos de objetos enmascarados;

La Figura 18 es un diagrama que ilustra un espacio virtual visto desde arriba;

La Figura 19 es un diagrama que ilustra el espacio virtual cuando se ajustan los parámetros del modelo;

La Figura 20 es un diagrama que ilustra el espacio virtual cuando se ajustan los parámetros del modelo;

La Figura 21 es un diagrama de flujo que muestra un ejemplo de procesamiento que se ejecuta en el sistema de generación de modelos 3D; y

La Figura 22 es un diagrama de bloques funcional de una variación de la modalidad 1.

Descripción de las Modalidades

[1. Modalidad 1]

Se describirá en detalle un ejemplo de una modalidad del sistema de generación de modelos 3D de la presente invención.

[1-1. Configuración de hardware del sistema de generación de modelos 3D]

La Figura 1 es un diagrama que ilustra una configuración de hardware del sistema de generación de modelos 3D. Como se muestra en la Figura 1, el sistema de generación de modelos 3D 1 incluye un dispositivo de generación de modelos 3D 10 y una cámara 20.

El dispositivo de generación de modelos 3D 10 es un ordenador para generar un modelo 3D, tal como un ordenador personal, un terminal de información móvil (que incluye una tableta) y un teléfono móvil (que incluye un teléfono inteligente). El dispositivo de generación de modelos 3D 10 incluye una unidad de control 11, una unidad de almacenamiento 12, una unidad de comunicación 13, una unidad de operación 14, una unidad de visualización 15 y una unidad de entrada/salida 16.

La unidad de control 11 incluye, por ejemplo, uno o más microprocesadores. La unidad de control 11 ejecuta el procesamiento de acuerdo con programas y datos que se almacenan en la unidad de almacenamiento 12. La unidad de almacenamiento 12 incluye una unidad de almacenamiento principal y una unidad de almacenamiento auxiliar. Por ejemplo, la unidad de almacenamiento principal es una memoria volátil, tal como una RAM, y la unidad de almacenamiento auxiliar es una memoria no volátil, tal como un disco duro y una memoria flash. La unidad de comunicación 13 es una interfaz de comunicación por cable o inalámbrica para comunicaciones de datos a través de una red.

La unidad de operación 14 es un dispositivo de entrada utilizado para la operación del usuario e incluye un dispositivo apuntador, tal como un panel táctil y un ratón, y un teclado. La unidad de operación 14 transmite una operación del usuario a la unidad de control 11. La unidad de visualización 15 es, por ejemplo, una unidad de visualización de cristal líquido o una unidad de visualización EL orgánica. La unidad de visualización 15 visualiza una imagen con base en las instrucciones de la unidad de control 11. La unidad de entrada/salida 16 es una interfaz de entrada/salida, tal como un puerto USB. La unidad de entrada/salida 16 se utiliza para la comunicación de datos con dispositivos externos.

El programa o los datos descritos como almacenados en la unidad de almacenamiento 12 pueden proporcionarse a través de una red. La configuración de hardware del dispositivo de generación de modelos 3D 10 no se limita a los ejemplos anteriores, y se pueden aplicar varios tipos de hardware a la configuración de hardware del dispositivo de generación de modelos 3D 10. Por ejemplo, el dispositivo de generación de modelos 3D 10 puede incluir un lector (por ejemplo, una unidad de disco óptico o una ranura para tarjetas de memoria) para un medio de almacenamiento de información legible por ordenador. Por ejemplo, el programa o los datos almacenados en el medio de almacenamiento de información pueden proporcionarse al dispositivo de generación de modelos 3D 10 a través del lector o la unidad de entrada/salida 16.

La cámara 20 es un dispositivo de formación de imágenes común capaz de capturar imágenes fijas e imágenes en movimiento e incluye, por ejemplo, un dispositivo de detección de imágenes tal como un sensor de imágenes CMOS y un sensor de imágenes CCD. La cámara 20 genera datos de imagen de una imagen capturada por el dispositivo de detección de imágenes y almacena los datos en una memoria. La memoria puede estar incluida en la cámara 20, o una memoria flash desmontable, por ejemplo.

La cámara 20 puede estar provista de un objetivo gran angular o un objetivo ojo de pez, y tener cualquier valor de ángulo de campo y distancia focal. Por ejemplo, la cámara 20 puede ser una cámara omnidireccional o una cámara con múltiples lentes capaz de disparar al menos en una de todas las direcciones horizontales y todas las direcciones verticales. En esta modalidad, la cámara 20 está provista de un objetivo gran angular capaz de disparar en 360 grados horizontales y 180 grados verticales. En otras palabras, la cámara 20 puede generar una imagen fotografiada en la que se captura todo en la dirección horizontal en una toma.

El sistema de generación de modelos 3D 1 de la modalidad 1 divide una imagen panorámica del interior de la habitación capturada por la cámara 20 en múltiples imágenes, genera un modelo 3D que indica una parte de la habitación para cada imagen y organiza los modelos 3D generados en un espacio virtual. De esta forma, el sistema de generación de modelos 3D 1 puede generar el modelo 3D de toda la habitación incluso si la forma de la habitación es complicada. Esta técnica se describirá en detalle a continuación.

[1-2. Funciones que se implementan en la Modalidad 1]

La Figura 2 es un diagrama de bloques funcional que muestra un ejemplo de funciones implementadas en el sistema de generación de modelos 3D 1 de la modalidad 1; Como se muestra en la Figura 2, en esta modalidad, se explica un caso en el que una unidad de almacenamiento de datos 100, una unidad de adquisición de imágenes 101, una unidad de generación de modelos parciales 102 y una unidad de generación de modelos generales 103 se implementan en el dispositivo de generación de modelos 3D 10.

[1-2-1. Unidad de almacenamiento de datos]

La unidad de almacenamiento de datos 100 se implementa principalmente mediante la unidad de almacenamiento 12. La unidad de almacenamiento de datos 100 almacena datos de imágenes fotografiadas que indican imágenes fotografiadas (fotografías) capturadas por la cámara 20. La imagen fotografiada puede tener cualquier relación de aspecto, tamaño y resolución. Los datos de la imagen fotografiada también pueden tener cualquier formato de datos.

En esta modalidad, se toma una imagen panorámica de 360 grados horizontales como ejemplo de una imagen fotografiada. La imagen fotografiada puede capturar un rango predeterminado del espacio real y no necesariamente capturar una imagen de 360 grados horizontales. Por ejemplo, la imagen fotografiada puede incluir el rango de 180 o más y menos de 360 grados horizontales.

En esta modalidad, se explica un caso en el que los datos de la imagen fotografiada se almacenan en la unidad de almacenamiento de datos 100 del dispositivo de generación de modelos 3D 10, aunque los datos de la imagen fotografiada pueden almacenarse en otro dispositivo u ordenador. Por ejemplo, los datos de la imagen fotografiada pueden almacenarse en una memoria de la cámara 20 o en un ordenador del servidor.

[1-2-2. Unidad de adquisición de imágenes]

La unidad de adquisición de imágenes 101 se implementa principalmente por la unidad de control 11. La unidad de adquisición de imágenes 101 adquiere algunas imágenes del espacio rodeado por las superficies en diferentes direcciones.

Las superficies son superficies de objetos para dividir el espacio real e incluyen, por ejemplo, pared, pilar, puerta, ventana, tabique, cerca, piso, piso, techo y tejado. El número de superficies para rodear el espacio puede ser cualquier número mayor que uno. Es decir, vistas desde la cámara 20, las superficies pueden posicionarse en al menos dos direcciones de adelante/atrás, izquierda/derecha y arriba/abajo. Cada superficie puede estar en contacto con otra superficie, o alejada de otra superficie. En esta modalidad, cada superficie es sustancialmente ortogonal a al menos una de las otras superficies. "Sustancialmente ortogonal" significa que se intersecan en ángulos rectos o que se intersecan en ángulos casi rectos (por ejemplo, 80 grados o más). Por ejemplo, se forma una esquina cuando dos o más superficies son sustancialmente ortogonales entre sí.

El espacio es un área que tiene cierta extensión en las direcciones de adelante/atrás, izquierda/derecha y arriba/abajo, y puede posicionarse en el piso o bajo el piso. Por ejemplo, el espacio puede estar rodeado al menos por una superficie inferior y superficies laterales, y puede estar completamente rodeado por superficies delantera y trasera, izquierda y derecha, superior e inferior en el interior, o sin una superficie superior en el exterior. Alternativamente, por ejemplo, incluso si el espacio se posiciona en el interior, el espacio no está necesariamente rodeado por todas las superficies en la dirección horizontal. Es suficiente que el espacio tenga superficies laterales en al menos dos direcciones: frontal, posterior, arriba y abajo (por ejemplo, el espacio que tiene superficies frontal, izquierda y derecha, y no tiene superficie posterior).

En esta modalidad, se toma como ejemplo un espacio interior rodeado de superficies en todas las direcciones frontal, posterior, izquierda, derecha, arriba y abajo. Como tal, la unidad de adquisición de imágenes 101 adquiere una pluralidad de imágenes capturadas dentro de la habitación. Además, una habitación rodeada por seis o más superficies laterales, cada una de las cuales es sustancialmente ortogonal a una superficie adyacente, se describirá como un ejemplo de la habitación. Como tal, la unidad de adquisición de imágenes 101 adquiere una pluralidad de imágenes de la habitación que tiene seis o más superficies laterales que son sustancialmente ortogonales entre sí.

La Figura 3 es una vista desde abajo de una habitación a capturar. En la Figura 3, se omite un techo. Como se muestra en la Figura 3, una habitación S incluye paredes w1 a w6 sustancialmente ortogonales entre sí, y objetos o1 a o8.

A continuación, las paredes w1 a w6 también se describirán colectivamente como paredes W. En otras palabras, puede describirse como pared W={Wi}Nwi=i. Nw es el número total de paredes, y aquí Nw =6. Los objetos o1 a o8 se describen colectivamente como objetos O. En otras palabras, se puede describir como objeto O= {oj}Noj=1. No es el número total de objetos, y aquí No =8.

El objeto puede ser sujeto de la cámara 20. En la Figura 3, los objetos O están posicionados frente a las paredes W vistas desde la cámara 20. En otras palabras, los objetos O son sujetos distintos de las paredes W. Por ejemplo, en un caso de interiores, muebles y electrodomésticos corresponden a los objetos O, y en un caso de exteriores, un automóvil y una bicicleta corresponden a los objetos O. En el ejemplo mostrado en la Figura 3, el objeto o1 es una cama, y los objetos o2 y o3 son aparadores. Los objetos o4 a o6 son sillas, el objeto o7 es un escritorio y el objeto o8 es un televisor.

Una posición de la cámara 20 para capturar una imagen puede ser cualquier posición dentro de la habitación S. Aquí, se explica un caso en el que la habitación S se captura en una posición de captura P donde se puede capturar cada objeto O.

La Figura 4 es un diagrama que ilustra una imagen fotografiada de la habitación S. Como se describió anteriormente, la cámara 20 puede capturar 360 grados horizontalmente. Como se muestra en la Figura 4, la imagen fotografiada I incluye por lo tanto todo en la dirección horizontal vista desde la posición de captura P. En otras palabras, la imagen fotografiada I es una imagen panorámica de 360 grados horizontales capturada desde la posición de captura P.

La imagen fotografiada I incluye ejes de coordenadas 2D (ejes de coordenadas en un sistema de coordenadas de pantalla). Por ejemplo, el vértice superior izquierdo se establece como el origen Os, la dirección horizontal es el eje Xs y la dirección vertical es el eje Y^s. Las posiciones de los píxeles en la imagen fotografiada I se indican mediante una coordenada Xs y una coordenada Ys. Por ejemplo, la coordenada Xs del extremo derecho en la imagen fotografiada I se establece como Xsmáx, y la coordenada Ys del extremo inferior se establece como Ysmáx.

En esta modalidad, la unidad de adquisición de imágenes 101 adquiere una pluralidad de imágenes con base en una imagen fotografiada I en la que se captura un espacio rodeado por las paredes W. Aquí, la unidad de adquisición de imágenes 101 adquiere una pluralidad de imágenes con base en la imagen fotografiada I que captura 360 grados horizontales.

Las Figuras 5 y 6 son diagramas que ilustran un método para adquirir imágenes por la unidad de adquisición de imágenes 101. En la Figura 5, P0 indica un punto de una dirección de un sujeto capturado en un píxel que tiene la coordenada X^s de 0 vista desde la posición de captura P. A medida que aumenta la coordenada X^s de la imagen fotografiada I, la dirección de captura cambia desde el punto P0 en la dirección de las manecillas del reloj (hacia la derecha) con la posición de captura P en el centro. Aquí, con la posición de captura P en el centro, cuando un círculo con el segmento de línea P-P0 como radio se divide en 12 por 30 grados cada uno, los puntos en el círculo se establecen como P1 a P11.

Como se muestra en la Figura 6, la unidad de adquisición de imágenes 101 divide una imagen fotografiada I para generar seis imágenes I1 a I6 que tienen rangos de captura superpuestos. Las imágenes I1 a I6 también se denominan colectivamente como imágenes Ik. Es decir, se puede describir como imagen fotografiada I={Ik}Kk=1. K es el número total de imágenes, y aquí K=6. En la Figura 6, la imagen se divide en 12 en los valores de coordenadas Xs de "0" a "Xsmáx", y los valores de coordenadas Xs respectivos se establecen como "Xs i" a "XS11".

Por ejemplo, la imagen Ii es una parte de los valores de coordenadas X^s de "0" a "X^s3". El rango de captura de la imagen Ii tiene como punto de mirada el punto Qi (Figura 5), que es el punto central de la imagen Ii, y el ángulo de campo de ¿P0PP3 = 90°. La imagen I2 es una parte de los valores de coordenadas X^s de"Xs2" a "X^ss". El rango de captura de la imagen I2 tiene como punto de mirada el punto Q2 (Figura 5), que es el punto central de la imagen I2, y el ángulo de campo de ¿P2PP5 = 90°. La imagen Ii y la imagen I2 tienen el rango de captura superpuesto desde el valor de la coordenada X^s "X^s2" al valor de la coordenada X^s "X^s3" (rango de captura que tiene el ángulo de campo de ZP2PP3 = 30°).

La imagen I3 es una parte del valor de la coordenada X^s de "X^s4" al valor de la coordenada X^s "X^s7". El rango de captura de la imagen I3 tiene como punto de mirada el punto Q3 (Figura 5), que es el punto central de la imagen I3, y el ángulo de campo de ZP4 PP7= 90°. La imagen I2 y la imagen I3 tienen el rango de captura superpuesto desde el valor de la coordenada Xs "Xs4" al valor de la coordenada Xs "Xss" (rango de captura que tiene el ángulo de campo de ¿P4PP5 = 30°). La imagen I4 es una parte del valor de la coordenada X^s "X^s6" al valor de la coordenada X^s "Xsg". El rango de captura de la imagen I4 tiene como punto de mirada el punto Q4 (Figura 5), que es el punto central de la imagen I4, y el ángulo de campo de ¿PaPP9 = 90°. La imagen I3 y la imagen I4 tienen el rango de captura superpuesto desde el valor de la coordenada Xs "Xs6" al valor de la coordenada Xs "Xs7" (rango de captura que tiene el ángulo de campo de zPaPP7 = 30°).

La imagen I5 es una parte del valor de la coordenada Xs "Xs5" al valor de la coordenada Xs "Xsh". El rango de captura de la imagen I5 tiene como punto de mirada el punto Q5 (Figura 5), que es el punto central de la imagen I5, y el ángulo de campo de ¿P8PP11 = 90°. La imagen I4 y la imagen I5 tienen el rango de captura superpuesto desde el valor de la coordenada Xs "Xs5" al valor de la coordenada Xs "Xs9" (rango de captura que tiene el ángulo de campo de ¿P8PP9 = 30°). La imagen Ia combina la parte del valor de la coordenada Xs "XS10" al valor de la coordenada Xs "Xsmáx" y la parte del valor de la coordenada X^s "0" al valor de la coordenada X^s "X^{s i}". El rango de captura de la imagen la tiene el punto Qa (Figura 5), que es el punto central de la imagen la, como punto de mirada, y el ángulo de campo de ¿P10PP1 = 90°. La imagen la y la imagen I1 tienen el rango de captura superpuesto desde el valor de la coordenada Xs "0" al valor de la coordenada Xs "Xs1" (rango de captura que tiene el ángulo de campo de ZP0PP1 = 30°).

Como se describió anteriormente, en esta modalidad, cada imagen lk tiene un rango de captura que se superpone parcialmente a un rango de captura de al menos una de las otras imágenes lk. La porción superpuesta no se limita a tener un ángulo de campo de 30 grados, sino que puede tener cualquier tamaño. Además, se ha explicado el caso en el que todas las porciones superpuestas tienen el mismo tamaño, aunque las porciones superpuestas pueden tener diferentes tamaños para las respectivas imágenes lk. Además, se ha explicado el caso en que los tamaños de las respectivas imágenes lk son iguales, aunque los tamaños pueden ser diferentes entre sí.

La imagen fotografiada l de acuerdo con esta modalidad incluye múltiples direcciones de la habitación S, y por lo tanto la unidad de adquisición de imágenes 101 adquiere múltiples imágenes lk capturando respectivamente diferentes direcciones de la habitación S. Además, la unidad de adquisición de imágenes 101 adquiere las imágenes lk en las cuales diferentes direcciones de la habitación S son capturadas desde un punto en la habitación S. En otras palabras, la unidad de adquisición de imágenes 101 adquiere las imágenes lkque tienen respectivamente diferentes direcciones de captura desde la posición de captura P.

En esta modalidad, se ha explicado el caso en el que se generan una pluralidad de imágenes lk a partir de una sola imagen fotografiada l, aunque se puede generar una pluralidad de imágenes lk capturando imágenes múltiples veces con la cámara 20. En este caso, por ejemplo, cuando la cámara 20 captura una dirección de captura predeterminada desde la posición de captura P, entonces la cámara 20 puede girar un ángulo predeterminado en la posición de captura P para capturar otra imagen. Posteriormente, las rotaciones y la captura de imágenes pueden repetirse para generar una pluralidad de imágenes lk en las que se captura un ángulo predeterminado (por ejemplo, 3a0 grados) desde la posición de captura P en la dirección horizontal.

[1-2-3. Unidad de generación de modelos parciales]

La unidad de generación de modelos parciales 102 se implementa principalmente por la unidad de control 11. La unidad de generación de modelos parciales 102 genera un modelo parcial que representa una parte de las paredes W capturadas en una imagen lk para cada imagen lk. El modelo parcial es un modelo 3D que representa una o más paredes. El modelo 3D es un modelo bidimensional o tridimensional formado por polígonos.

La unidad de generación de modelos parciales 102 especifica una porción plana en la imagen lk y genera un modelo parcial con base en la forma y la orientación de la porción plana. La porción plana puede ser una superficie plana que tenga una forma predeterminada y un tamaño predeterminado. Por ejemplo, la pared W tiene una forma cuadrada y, por lo tanto, la unidad de generación de modelos parciales 102 especifica una superficie cuadrada en la imagen lk. Por ejemplo, la unidad de generación de modelos parciales 102 puede extraer un segmento de línea que indica el contorno de un sujeto en la imagen lk y generar un modelo parcial con base en una relación de posición y dirección del segmento de línea.

Varias técnicas conocidas pueden ser aplicables al método para generar un modelo 3D de un sujeto en una imagen lk. Aquí, como ejemplo, un método que usa un mapa de orientación como se describe en un artículo de revista por Lee, DC, Hebert, M., Kanade, T. titulado "Geometric reasoning for single image structure recovery. En: CVPR." (2009).

La Figura 7 es un diagrama que ilustra un proceso para generar un modelo parcial. Aquí se explica un caso en el que a partir de la imagen h se genera un modelo parcial ith que indica las paredes W1, W2, W3 y wa captadas en una imagen h. Como se muestra en la Figura 7, la unidad de generación de modelos parcial 102 extrae un segmento de línea y un punto de fuga en la imagen h (etapa 1), especifica un área de las paredes W de un mapa de orientación correspondiente a la imagen h (etapa 2), y genera un modelo parcial th con base en el área especificada de las paredes W (etapa 3). Las etapas 1 a 3 se describirán en detalle a continuación.

[Etapa 1]

a

La unidad de generación de modelos parcial 102 especifica un segmento de línea en la imagen Ii realizando un procesamiento de detección de bordes en la imagen h. En el espacio real, incluso una línea recta parece estar curvada a través de un objetivo ojo de pez y, por lo tanto, un segmento de línea a detectar puede ser una línea recta o una línea curva. Varias técnicas conocidas pueden ser aplicables al procesamiento de detección de bordes. Por ejemplo, cuando una diferencia entre un valor de píxel de un píxel objetivo y los valores de píxel de píxeles alrededor del píxel objetivo es un valor umbral o más, la unidad de generación de modelos parcial 102 puede especificar el píxel objetivo como un píxel de borde. La unidad de generación de modelos parcial 102 detecta el píxel de borde en la imagen h y extrae los píxeles formados conectando píxeles de borde adyacentes como un segmento de línea.

En esta modalidad, las paredes W se intersecan entre sí sustancialmente 90 grados y, cuando se ven desde la posición de captura P, las superficies de las paredes W están orientadas en cualquiera de las direcciones delantera y trasera, izquierda y derecha, y arriba y abajo, y los contornos de las paredes W también están orientados en cualquiera de las direcciones delantera y trasera, izquierda y derecha, y arriba y abajo. Como tal, con base en una dirección (inclinación) del segmento de línea extraído, la unidad de generación de modelos parcial 102 clasifica el segmento de línea en cualquiera de las direcciones delantera y trasera, izquierda y derecha, y arriba y abajo.

Por ejemplo, cuando un valor absoluto de una inclinación de un segmento de línea es 0 (dirección del eje Xs) o mayor y menor que un primer valor umbral (por ejemplo, aproximadamente 20 grados), la unidad de generación de modelos parcial 102 clasifica el segmento de línea en la dirección izquierda y derecha. Es decir, si el segmento de línea está orientado en una dirección horizontal en la imagen h, el segmento de línea muestra un contorno en la dirección izquierda y derecha visto desde la posición de captura P y, por lo tanto, el segmento de línea se clasifica en dirección izquierda y derecha.

Cuando un valor absoluto de una inclinación de un segmento de línea es el primer valor umbral o más y menos que un segundo valor umbral (por ejemplo, aproximadamente 70 grados), la unidad de generación de modelos parcial 102 clasifica el segmento de línea en la dirección delantera y trasera. Es decir, si el segmento de línea está orientado en una dirección oblicua en la imagen h, el segmento de línea muestra un contorno en la dirección delantera y trasera visto desde la posición de captura P y, por lo tanto, el segmento de línea se clasifica en dirección delantera y trasera. A este respecto, el primer valor umbral y el segundo valor umbral pueden determinarse en vista del grado de distorsión de la imagen debido a la lente de la cámara 20.

Cuando un valor absoluto de una inclinación de un segmento de línea es el segundo valor umbral o más, la unidad de generación de modelos parcial 102 clasifica el segmento de línea en la dirección hacia arriba y hacia abajo. Es decir, si el segmento de línea está orientado en una dirección vertical en la imagen h, el segmento de línea muestra un contorno en la dirección hacia arriba y hacia abajo visto desde la posición de captura P, el segmento de línea se clasifica en dirección delantera y trasera.

Cuando una dirección de cada segmento de línea se clasifica como se describió anteriormente, la unidad de generación de modelos parcial 102 extiende cada segmento de línea. La unidad de generación de modelos parciales 102 puede extender cada segmento de línea hasta el borde de la imagen h, o hasta que cada segmento de línea se interseque con otro segmento de línea. Una intersección de los segmentos de línea extendida es una candidata de una esquina. Como tal, la unidad de generación de modelos parciales 102 toma un área rodeada por las líneas extendidas como candidata a una pared W. En otras palabras, la unidad de generación de modelos parciales 102 extrae las intersecciones de las líneas extendidas y toma un área rodeada por algunas intersecciones como candidato de una pared W. Los candidatos de paredes W incluyen algo que en realidad no es una pared W. Tal candidato tiene un menor grado de coincidencia con el mapa de orientación como se describe más adelante. Como tal, las áreas de las paredes reales W se pueden reducir utilizando el mapa de orientación.

En esta modalidad, la unidad de generación de modelos parcial 102 utiliza un punto de fuga para adquirir el mapa de orientación. La unidad de generación de modelos parcial 102 adquiere un punto de fuga de la imagen h con base en los segmentos de línea extraídos. El punto de fuga es un punto en el que los objetos orientados en la misma dirección en el espacio real se intersecan entre sí en una imagen y puede describirse como que indica al infinito. Por ejemplo, cuando alguien se para en dos líneas ferroviarias paralelas para capturar las líneas ferroviarias, esas líneas ferroviarias en realidad no se intersecan entre sí, aunque las líneas ferroviarias se capturan de tal manera que se oponen entre sí en la imagen. El punto de intersección de las dos líneas ferroviarias extendidas es un punto de fuga.

En el ejemplo mostrado en la Figura 7, la unidad de generación de modelos parcial 102 adquiere la intersección de los segmentos de línea extendida h e I2, que se clasifican como la dirección delantera y trasera, como un punto de fuga v1 de la dirección delantera y trasera. Además, la unidad de generación de modelos parciales 102 adquiere un punto v2, en el que los segmentos de línea extendidos I3 e I4 clasificados como dirección izquierda y derecha se intersecan entre sí, como un punto de fuga v2 de la dirección izquierda y derecha. En la imagen I1, los segmentos de línea en la dirección hacia arriba y hacia abajo son paralelos entre sí y no se intersecan, y por lo tanto se describe que no se detecta un punto de fuga de la dirección hacia arriba y hacia abajo.

La unidad de generación de modelos parcial 102 genera un mapa de orientación con base en la relación de posición entre los segmentos de línea y los puntos de fuga. El mapa de orientación de la imagen I1 muestra orientaciones de superficies de sujetos en píxeles para cada píxel. En esta modalidad, el mapa de orientación indica en cuál de las direcciones delantera y trasera, izquierda y derecha, y arriba y abajo está orientado cada píxel. Varias técnicas conocidas pueden ser aplicables al método para generar el mapa de orientación. En esta modalidad, como ejemplo, se describirá un método para mover los segmentos de línea al punto de fuga.

Por ejemplo, las superficies del piso y el techo de la habitación S están orientadas hacia arriba y hacia abajo, y los contornos del piso y el techo están indicados por los segmentos de línea en la dirección delantera y trasera y los segmentos de línea en la dirección izquierda y derecha. Como tal, al mover un segmento de línea, que está en la dirección delantera y trasera y colocado en una posición entre los segmentos de línea en la dirección izquierda y derecha, al punto de fuga v2 en la dirección horizontal hasta que el segmento de línea se interseca con otro segmento de línea, la unidad de generación de modelos parcial 102 relaciona la dirección hacia arriba y hacia abajo con los píxeles a través de los cuales pasa el segmento de línea.

Por ejemplo, dado que las superficies de las paredes w1 y w3 están orientadas en la dirección delantera y trasera, los contornos de las paredes w1 y w3 están representados por los segmentos de línea en la dirección izquierda y derecha y los segmentos de línea en la dirección hacia arriba y hacia abajo. Como tal, al mover un segmento de línea, que está en dirección hacia arriba y hacia abajo y colocado en una posición entre los segmentos de línea en la dirección izquierda y derecha, al punto de fuga v2 en dirección horizontal hasta que el segmento de línea se interseca con otro segmento de línea, la unidad de generación de modelos parcial 102 relaciona la dirección delantera y trasera con los píxeles a través de los cuales pasa el segmento de línea.

Por ejemplo, las superficies de las paredes w2 y w6 están orientadas en la dirección izquierda y derecha, los contornos de las paredes w2 y w6 están representados por los segmentos de línea en la dirección delantera y trasera y los segmentos de línea en la dirección hacia arriba y hacia abajo. Como tal, cuando se mueve un segmento de línea, que está en dirección hacia arriba y hacia abajo y se coloca en una posición entre los segmentos de línea en la dirección delantera y trasera, al punto de fuga v2 en dirección horizontal hasta que el segmento de línea se interseca con otro segmento de línea, la unidad de generación de modelos parcial 102 relaciona la dirección izquierda y derecha con los píxeles a través de los cuales pasa el segmento de línea.

[Etapa 2]

Como se describió anteriormente, la unidad de generación de modelos parciales 102 especifica las direcciones de los píxeles respectivos en la imagen Ii y genera el mapa de orientación. La unidad de generación de modelos parciales 102 especifica luego las direcciones de las superficies de los candidatos de las paredes W con base en las direcciones de los segmentos de línea que forman los candidatos usando un método similar para generar el mapa de orientación. La unidad de generación de modelos parciales 102 especifica áreas de las paredes reales W con base en el grado de coincidencia calculado comparando las direcciones de los candidatos de las paredes W con las direcciones indicadas por el mapa de orientación en los candidatos. El grado de coincidencia se puede calcular con base en el número de píxeles que tienen la misma dirección o la tasa de esos píxeles.

En la Figura 7, la unidad de generación de modelos parcial 102 especifica un candidato rodeado por los puntos Ris, R2S, R3^s y R4^s en la imagen Ii como la pared wi. La unidad de generación de modelos parcial 102 especifica un candidato rodeado por los puntos R2S, R^ss, R6^s y R4^s en la imagen Ii como la pared W2. La unidad de generación de modelos parcial 102 especifica un candidato rodeado por los puntos R5S, R6s, R7S y R8s en la imagen Ii como la pared W3. La unidad de generación de modelos parcial 102 especifica un candidato rodeado por los puntos Ris, R3S, R9S y R10S en la imagen Ii como la pared W6.

[Etapa 3]

La unidad de generación de modelos parcial 102 realiza una conversión de coordenadas predeterminada en cada área extraída de la imagen Ii para generar un modelo parcial mi. La conversión de coordenadas es una conversión de matriz para convertir coordenadas 2D en coordenadas 3D. Por ejemplo, la unidad de generación de modelos parciales 102 convierte las coordenadas 2D de los puntos Ris a R10S, que indican vértices de las paredes especificadas en la imagen Ii, en coordenadas 3D en el espacio virtual para obtener los puntos Riw a R10W. En el caso de la conversión en coordenadas 3D, la altura del modelo parcial mi puede ser una altura predeterminada. En otras palabras, el tamaño del modelo parcial mi se puede determinar de antemano en la modalidad 1.

En esta modalidad, como se muestra en la Figura 7, los ejes de coordenadas 3D (ejes de coordenadas en un sistema de coordenadas mundial) se definen en el espacio virtual. Por ejemplo, cualquiera de las posiciones se establece como el origen O^w, y se definen tres ejes de coordenadas del eje X^w -eje Y^w -eje Z^w, que son ortogonales entre sí. Cada posición en el espacio virtual está definida por las coordenadas 3D. La unidad de generación de modelos parcial 102 acopla los puntos Riw a R10W, que se convierten en las coordenadas 3D, para generar el modelo parcial mi. Es decir, los puntos Riw a R10W son vértices del modelo parcial mi.

Con las etapas 1 a 3 descritas anteriormente, se genera el modelo parcial mi a partir de la imagen Ii. Como se ha descrito anteriormente, las etapas 1 a 3 son simplemente un ejemplo del proceso para generar el modelo parcial mi, y varias técnicas conocidas pueden ser aplicables al proceso para generar el modelo parcial mi a partir de la imagen Ii. La unidad de generación de modelos parciales 102 realiza el mismo proceso que el de la imagen Ii sobre las imágenes I2 a Ia para generar modelos parciales correspondientes respectivamente a las imágenes I2 a Ia.

La Figura 8 es un diagrama que ilustra los modelos parciales generados a partir de las respectivas imágenes Ik. Como se muestra en la Figura 8, la unidad de generación de modelos parciales 102 genera modelos parciales mi a ma (en lo sucesivo también denominados colectivamente "modelos parciales mk") que representan las paredes parciales W capturadas en las respectivas imágenes Ik. En esta modalidad, las paredes W son sustancialmente ortogonales entre sí y, como se muestra en la Figura 8, cada esquina representa un ángulo sustancialmente recto en los modelos parciales mk.

En esta modalidad, cada imagen Ik tiene un rango de captura que se superpone parcialmente con un rango de captura de al menos una de las otras imágenes Ik. Como tal, como se muestra en la Figura 8, la unidad de generación de modelos parciales 102 genera un modelo parcial mk que tiene una superficie que se superpone parcialmente con una superficie de al menos uno de los otros modelos parciales mk. Dado que la habitación S se describe como un ejemplo de un espacio, la unidad de generación de modelos parciales 102 genera un modelo parcial que representa una parte de la habitación S. Además, se describe un caso en el que la habitación S tiene seis o más superficies laterales, y por lo tanto la unidad de generación de modelos parciales 102 genera un modelo parcial que representa una parte de seis o más superficies laterales.

[1-2-4. Unidad de generación de modelo general]

La unidad de generación de modelos generales 103 se implementa principalmente por la unidad de control 11. La unidad de generación de modelos generales 103 genera un modelo general que representa todas las paredes W con base en los modelos parciales mk generados por la unidad de generación de modelos parciales 102. La unidad de generación de modelos generales 103 genera un modelo general mediante la disposición de los modelos parciales mk en el espacio virtual de manera que se corresponda con la disposición de las paredes reales W. Los modelos parciales mk pueden disponerse en posiciones y orientaciones especificadas por un usuario, pero aquí, la unidad de generación de modelos global 103 determina las posiciones y orientaciones de los modelos parciales mk de modo que la relación de posición de las paredes reales W corresponda a la relación de posición de los modelos parciales mk. La correspondencia de las relaciones de posición significa que las relaciones de posición coinciden, o que una diferencia entre las relaciones de posición es menor que un valor umbral.

En esta modalidad, para determinar dónde y en qué dirección está dispuesto cada modelo parcial mk, la unidad de generación de modelos generales 103 adquiere información de imagen con respecto a una dirección de captura de cada imagen Ik. Es suficiente que la información de la imagen pueda especificar direcciones de captura, y puede indicar directamente la dirección de captura de manera similar a la información vectorial, o indicar indirectamente la dirección de captura como se describe más adelante.

Por ejemplo, en el caso de que la imagen fotografiada I se divida para adquirir las imágenes Ik, se puede especificar una dirección de captura de cada imagen Ik de acuerdo con la posición de cada imagen Ik en la imagen fotografiada I (es decir, de acuerdo con donde cada imagen Ik se localiza en la imagen fotografiada I). Como tal, en esta modalidad, se explicará un caso en el que una posición de cada imagen Ik en una sola imagen fotografiada I corresponde a la información de la imagen. Específicamente, al tomar como referencia la dirección de captura de la imagen I1 en el borde izquierdo de la imagen fotografiada I (la dirección desde la posición de captura P hasta el punto Q1 de la Figura 5), la dirección de captura de la imagen I2 en el lado derecho de la imagen I1 (la dirección desde la posición de captura P hasta el punto Q2 en la Figura 5) está más hacia la derecha que la dirección de captura de la imagen I1. De manera similar, las direcciones de captura de las respectivas imágenes I3 a Ia en el lado derecho de las imágenes I1 y I2 se obtienen girando las direcciones de captura de las imágenes I1 y I2 hacia la derecha. De esta manera, las direcciones de captura relativas se pueden especificar con base en una posición de cada imagen Ik en la imagen fotografiada I. Como tal, aquí, la unidad de generación de modelos generales 103 se refiere a una posición (por ejemplo, el valor de la coordenada Xs) de cada imagen Ik en la imagen fotografiada I para adquirir la información de la imagen.

La unidad de generación de modelos generales 103 determina las posiciones y orientaciones de los modelos parciales mk correspondientes a las respectivas imágenes Ik con base en la información de imagen de las imágenes Ik y genera el modelo general. En otras palabras, aquí, la unidad de generación de modelos generales 103 determina una posición y una orientación de un modelo parcial mk correspondiente a una imagen Ik con base en la posición de la imagen Ik en la imagen fotografiada I.

Por ejemplo, la unidad de generación de modelos generales 103 determina una posición y una orientación de un modelo parcial mk de modo que una dirección desde un punto de referencia en el espacio virtual al modelo parcial mk corresponde a una dirección de captura de una imagen Ik correspondiente al modelo parcial mk. La correspondencia de las direcciones significa que las direcciones coinciden o que la diferencia entre las direcciones es inferior a un valor umbral. El punto de referencia puede ser cualquier posición en el espacio virtual, y aquí, es una posición de una cámara virtual VP, que corresponde a la posición de captura P de la cámara 20. La cámara virtual VP es un punto de vista virtual para generar una imagen virtual en la que se dibuja el espacio virtual.

La relación entre las posiciones de las imágenes Ik y las posiciones y orientaciones de los modelos parciales mk puede describirse en un código de programa por adelantado, o almacenarse en la unidad de almacenamiento de datos 100 como datos en formato numérico o en formato de tabla. La relación define las posiciones y orientaciones de los modelos parciales mk de manera que el orden de disposición de las imágenes Ik en la imagen fotografiada I coincide con el orden de disposición de los modelos parciales mk vistos desde la cámara virtual VP. La unidad de generación de modelos generales 103 dispone un modelo parcial mk correspondiente a una imagen Ik con base en una posición y una orientación asociadas con la posición de la imagen Ik.

Como se muestra en la Figura 8, la unidad de generación de modelos generales 103 dispone los modelos parciales mk para rodear la cámara virtual VP, que es un punto de referencia, con base en el orden de disposición de las imágenes Ik en la imagen fotografiada I. Más específicamente, la unidad de generación de modelos generales 103 dispone el modelo parcial ith correspondiente a la imagen h en la posición a una distancia predeterminada de la cámara virtual VP en una dirección predeterminada de manera que el modelo parcial ^th se orienta hacia la cámara virtual VP. Posteriormente, la unidad de generación de modelos generales 103 dispone el modelo parcial m2, que corresponde a la imagen I2 adyacente a la imagen I1, en la posición adyacente al modelo parcial ^th de manera que el modelo parcial m2 se orienta hacia la cámara virtual VP. De manera similar, la unidad de generación de modelos generales 103 dispone los modelos parciales m3 a m6 en la dirección de las manecillas del reloj de modo que los modelos parciales m3 a m6 se orienten hacia la cámara virtual VP. De esta forma, la unidad de generación de modelos generales 103 genera un modelo general con base en los modelos parciales mk dispuestos para rodear la cámara virtual VP.

La Figura 9 es un diagrama que ilustra un ejemplo del modelo general. Como se muestra en la Figura 9, la unidad de generación de modelos generales 103 sintetiza las superficies de los modelos parciales mk dispuestos para realizar el ajuste de planos y genera un modelo general M^w. El proceso de ajuste de planos es un proceso para suavizar una superficie, y se puede realizar estableciendo una posición obtenida promediando posiciones en dos superficies a una nueva superficie. Como tal, el modelo general M^w es un modelo 3D que reproduce una forma general de las paredes W.

En esta modalidad, cada modelo parcial mk se superpone al menos a uno de otros modelos parciales mk y, por lo tanto, la unidad de generación de modelos generales 103 posiciona las porciones superpuestas de los modelos parciales mk para generar el modelo general Mw. Además, dado que la habitación S tiene seis o más superficies laterales, la unidad de generación de modelos generales 103 genera el modelo general Mwque representa la totalidad de las seis o más superficies laterales.

[4. Procesamiento que se ejecuta en esta modalidad]

La Figura 10 es un diagrama de flujo que muestra un ejemplo de procesamiento que se ejecuta en el sistema de generación de modelos 3D. El procesamiento mostrado en la Figura 10 se ejecuta cuando la unidad de control 11 funciona de acuerdo con un programa almacenado en la unidad de almacenamiento 12. El procesamiento descrito a continuación es un ejemplo del procesamiento que se ejecuta por el bloque funcional que se muestra en la Figura 2.

Como se muestra en la Figura 10, la unidad de control 11 adquiere datos de imágenes fotografiadas de la habitación S (S1). Los datos de la imagen fotografiada pueden almacenarse en la unidad de almacenamiento 12 o en una memoria de la cámara 20. Alternativamente, los datos de la imagen fotografiada pueden almacenarse en un medio de almacenamiento de información conectado al dispositivo de generación de modelos 3D 10, o en un ordenador del servidor, por ejemplo.

La unidad de control 11 adquiere una pluralidad de imágenes Ik con base en la imagen fotografiada I indicada en los datos de imagen fotografiada adquiridos en S1 (S2). En S2, la unidad de control 11 divide la imagen fotografiada I en posiciones predeterminadas, adquiriendo de esta manera las imágenes Ik. Las posiciones para dividir la imagen se determinan de antemano y la información sobre las posiciones se puede almacenar en la unidad de almacenamiento 12.

La unidad de control 11 genera un modelo parcial mk para cada imagen Ik adquirida en S2 (S3). En S3, la unidad de control 11 puede generar los modelos parciales mk que indican porciones de las paredes W capturadas en las imágenes Ik usando el mapa de orientación como se describió anteriormente, por ejemplo.

La unidad de control 11 dispone los modelos parciales mk generados en S3 en el espacio virtual (S4). En S4, la unidad de control 11 dispone un modelo parcial mk correspondiente a una imagen Ik en el espacio virtual de manera que una posición y una orientación del modelo parcial mk corresponden a la posición de la imagen Ik en la imagen fotografiada I.

La unidad de control 11 genera el modelo general Mw con base en los modelos parciales mk dispuestos en S4 (S5) y finaliza el procesamiento. En S5, la unidad de control 11 sintetiza las porciones superpuestas de los modelos parciales mk para realizar un ajuste de plano en las superficies, generando de esta manera el modelo general Mw.

De acuerdo con el sistema de generación de modelos 3D 1 de la modalidad 1, se genera un modelo parcial mk para cada imagen Ik y un modelo general M^w se genera con base en una pluralidad de modelos parciales mk. Como tal, es posible estimar con precisión no solo una forma simple como un paralelepípedo, sino también un espacio que tiene una forma complicada. Además, el modelo general Mw no se genera a partir de una sola imagen fotografiada I, sino a partir de una pluralidad de imágenes Ik, y por lo tanto, aunque se emplean técnicas convencionales para generar cada modelo parcial mk, es posible estimar un espacio que tiene una forma complicada. Como resultado, el modelo general M^w se puede generar utilizando un procesamiento simple, lo que ayuda a reducir la carga de procesamiento en el ordenador.

El modelo general Mw se genera posicionando las porciones superpuestas de los modelos parciales mk, lo que ayuda a disponer de cerca los modelos parciales mk. Como tal, es posible aumentar la precisión del modelo general Mw.

Las posiciones y orientaciones de los modelos parciales mk se determinan con base en la información de la imagen sobre las direcciones de captura de las imágenes Ik y, por lo tanto, los modelos parciales mk pueden disponerse para que correspondan con la disposición y orientación de las paredes W en el espacio real. Como tal, es posible aumentar la precisión del modelo general Mw. Además, un usuario no necesita especificar las posiciones y orientaciones de los modelos parciales mk, lo que ayuda a reducir las cargas sobre el usuario y generar rápidamente el modelo general Mw.

Las posiciones y orientaciones de los modelos parciales mk se determinan con base en las posiciones de las respectivas imágenes Ik en una sola imagen fotografiada I, y por lo tanto es posible determinar más fácilmente las posiciones y orientaciones del modelo parcial mk. Como resultado, no es necesario ejecutar el procesamiento complicado y, por lo tanto, el modelo general Mw puede generarse rápidamente y la carga de procesamiento en el dispositivo de generación de modelos 3D 10 puede reducirse.

El modelo general Mw se genera con base en una sola imagen fotografiada I capturando 360 grados horizontalmente y, por lo tanto, es posible adquirir la imagen fotografiada I en un solo disparo y se puede reducir el trabajo de fotografiar cuando se genera el modelo general M^w.

Las imágenes Ik capturan diferentes direcciones en el espacio real y, por lo tanto, incluso si las paredes W cubren una amplia gama, es posible generar el modelo general Mw que reproduce la forma de las paredes W.

El modelo general Mw se genera combinando los modelos parciales mk que representan las partes de la habitación S y, por lo tanto, es posible generar un modelo 3D para reproducir la forma de la habitación S incluso si toda la habitación S tiene una forma complicada.

Incluso cuando las paredes W de la habitación S tienen una forma complicada con seis o más paredes W sustancialmente ortogonales entre sí, dado que el modelo general M^w se genera combinando los modelos parciales mk, es posible generar el modelo general M^w que reproduce la habitación S de forma complicada con muchas paredes W.

[2. Modalidad 2]

A continuación, se describirá otra modalidad del sistema de generación de modelos 3D 1. La modalidad 2 que se describe a continuación puede tener la misma configuración de hardware del sistema de generación de modelos 3D 1 que la de la modalidad 1.

[2-1. Descripción general de la modalidad 2]

La habitación S tiene varios tamaños aunque las formas son las mismas y no hay un tamaño estándar en particular. Como tal, cuando el modelo general Mw se genera como se describe en la modalidad 1, a veces no se reproduce el tamaño de la habitación S. En este sentido, los objetos O, tales como una cama, tienen pequeñas diferencias individuales de tamaño, y sus tamaños son fijos en general. Es decir, cada objeto O generalmente tiene un tamaño estándar, y la modalidad 2 utiliza este hecho para estimar el tamaño real de la habitación S y ajustar el tamaño del modelo general Mw.

En la modalidad 2, el modelo general M^w se establece con un parámetro de tamaño A. El tamaño del modelo general Mw se puede cambiar mediante el parámetro de tamaño A. El parámetro de tamaño A puede indicar una ampliación o una reducción del tamaño estándar, o al menos una de una longitud, un ancho y una altura.

La Figura 11 es un diagrama que ilustra una relación entre el parámetro de tamaño A y el modelo general M^w. La relación entre el parámetro de tamaño A y el tamaño del modelo general Mw puede definirse mediante expresiones numéricas descritas en un programa. Como se muestra en la Figura 11, el modelo general M^w tiene el tamaño asociado con el parámetro de tamaño A. Por ejemplo, cuando el parámetro de tamaño A es menor, el modelo general Mw es menor, y cuando el parámetro de tamaño A es mayor, el modelo general Mw es mayor. En el momento en que se genera el modelo general Mw, el parámetro de tamaño A puede tener un valor inicial (por ejemplo, 1,0).

En el ejemplo mostrado en la Figura 11, el parámetro de tamaño A indica la altura del modelo general MW. Por ejemplo, si la altura estándar es L cuando A=1, la altura del modelo general M^w es A*L. Por ejemplo, si L=2,5 m, la altura del modelo general Mw es de 2,0 m cuando A=0,8 y de 2,5 m cuando A=1,2.

En esta modalidad, se explica el caso en el que se cambia el tamaño mientras se mantienen todas las relaciones en el sentido horizontal (largo y ancho) y en el sentido vertical (alto), aunque se puede cambiar el tamaño mientras sólo se mantiene la relación en la dirección horizontal. Cuando solo se mantiene la relación en la dirección horizontal, la altura del modelo general Mw puede ser un valor fijo o cambiar dentro de un rango predeterminado. En otras palabras, el modelo general Mw puede mantener al menos la forma vista desde arriba.

En la modalidad 2, los modelos de objetos que representan objetos O están dispuestos en el modelo general Mw, que se puede cambiar de tamaño como se describió anteriormente. A continuación, se proporciona un modelo de objeto con un número de referencia de M0j. El modelo de objeto Moj no se genera a partir de la imagen Ik como el modelo general Mw, sino un modelo 3D preparado de antemano. El modelo de objetos Moj está registrado en una base de datos de modelos de objetos.

Como se describió anteriormente, los objetos O tienen pequeñas diferencias individuales en tamaño, y un modelo de objeto Moj tiene un tamaño general de un objeto O (por ejemplo, si un objeto O es una cama, el tamaño de una cama doble). Como tal, si el parámetro de tamaño A se ajusta para que los tamaños relativos del modelo general Mw y el modelo de objeto Moj en el espacio virtual sean similares a los tamaños relativos de la pared W y el objeto O en la imagen fotografiada I, es posible hacer que el modelo general Mw parezca del tamaño de la habitación real S.

En la modalidad 2, la posición y la orientación del modelo del objeto Moj se ajustan en el espacio virtual para que sean similares a la posición y la orientación del objeto O en la habitación S. A continuación, el parámetro que indica la posición se proporciona con el número de referencia de pj, y el parámetro que indica la orientación se proporciona con el número de referencia de % La condición del espacio virtual se determina con base en el parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j y, por lo tanto, estos parámetros se denominarán colectivamente parámetros del modelo O.

Como se describió anteriormente, en la modalidad 2, los parámetros del modelo O se ajustan para reproducir la condición de la habitación real S. Aquí, la reproducibilidad de la habitación S se evalúa mediante inferencia bayesiana. La inferencia bayesiana es un método de inferencia estadística en el que la probabilidad de un evento se estima con base en los resultados de las mediciones en el mundo real. Cuando la probabilidad por inferencia bayesiana es mayor, la probabilidad de que el evento a estimar ocurra en la práctica es mayor. Es decir, cuando la probabilidad por inferencia bayesiana es mayor, el espacio virtual estimado es más similar a la habitación real S.

El sistema de generación de modelos 3D 1 determina los parámetros del modelo O para aumentar la probabilidad por inferencia bayesiana. Para aumentar la probabilidad, la modalidad 2 utiliza dos valores de evaluación de un valor de evaluación E^s que indica la diferencia general entre el espacio real y el espacio virtual y un valor de evaluación Eo que indica la diferencia local entre el espacio real y el espacio virtual, por lo que se genera eficientemente un espacio virtual que tiene alta reproducibilidad. A continuación, estas técnicas se describirán en detalle.

[2-2. Funciones implementadas en la modalidad 2]

La Figura 12 es un diagrama de bloques funcional que muestra un ejemplo de funciones implementadas en el sistema de generación de modelos 3D 1 de la modalidad 2. Como se muestra en la Figura 12, en la modalidad 2, se explica un caso en el que una unidad de almacenamiento de datos 100, una unidad de adquisición de imágenes 101, una unidad de disposición de modelos 104, una unidad de generación de imágenes virtuales 105 y una unidad de determinación de parámetros 106 son implementados por el dispositivo de generación de modelos 3D 10.

[2-2-1. Unidad de almacenamiento de datos]

La unidad de almacenamiento de datos 100 de la modalidad 2 almacena los parámetros del modelo O y una base de datos del modelo de objetos además de los datos descritos en la modalidad 1. Los valores de los parámetros del modelo O se cambian por la unidad de determinación de parámetros 106. El parámetro de posición pj puede almacenar coordenadas 3D en el espacio virtual, y el parámetro de orientación 0j puede almacenar un vector 3^d , o representarse por un ángulo de guiñada, un ángulo de cabeceo y un ángulo de balanceo.

La Figura 13 es un diagrama que ilustra un ejemplo de almacenamiento de datos en la base de datos del modelo de objetos. Como se muestra en la Figura 13, la base de datos del modelo de objeto almacena una categoría de un objeto O, un modelo de objeto Moj que indica un modelo 3D del objeto O en la categoría y una orientación del objeto O en asociación entre sí. La base de datos de modelos de objetos puede incluir información de tamaño que indique los tamaños reales de los modelos de objetos Moj.

La categoría es un tipo de objeto O, y un nombre para clasificar un sujeto. La categoría puede ser algo relativamente grande, tal como muebles y electrodomésticos, o algo relativamente pequeño, como una cama y una silla.

El modelo de objeto Moj es un modelo 3D de un objeto O en una forma y tamaño estándar. Es suficiente que la base de datos del modelo de objetos incluya datos que indiquen el modelo de objetos Moj. Por ejemplo, la base de datos del modelo de objeto incluye coordenadas 3D de vértices, información de color e información de textura del modelo de objeto Moj. La modalidad 2 describe el modelo de objeto Moj conformado en tres dimensiones que tiene una profundidad, aunque el modelo de objeto Moj puede ser plano. Si el modelo de objeto Moj es plano, el modelo de objeto Moj puede ser un polígono o polígonos conectados en forma plana. En este caso, se adjunta una imagen de textura del objeto O al modelo de objeto Moj.

Como se muestra en la Figura 13, la base de datos de modelos de objetos almacena los modelos de objetos Moj en múltiples orientaciones (posturas) para cada categoría. Las orientaciones pueden indicarse en todos los ángulos de guiñada, ángulo de cabeceo y ángulo de balanceo, aunque las orientaciones pueden indicarse sólo en ángulo de guiñada y ángulo de cabeceo como se muestra en la Figura 13, porque el ángulo de balanceo de un objeto sobre una superficie horizontal o sobre una superficie horizontal es fijo. A este respecto, en el caso de que el objeto O sea algo sobre la superficie horizontal, tal como una cama, solo se puede indicar un ángulo de guiñada porque también se fija un ángulo de cabeceo. En el caso de que el objeto O sea algo en la superficie vertical, tal como un reloj de pared, solo se puede indicar un ángulo de cabeceo porque se fija un ángulo de guiñada.

En esta modalidad, con el fin de simplificar el procesamiento para detectar un objeto O a partir de la imagen fotografiada I, la base de datos del modelo de objetos almacena una imagen de plantilla para cada orientación del modelo de objetos Moj. La imagen de plantilla indica una forma estándar de un objeto y, por ejemplo, es una imagen que muestra el modelo de objeto Moj visto desde una dirección en la que está orientado el modelo de objeto Moj. La imagen de la plantilla puede almacenarse en otra base de datos o generarse a partir del modelo de objetos Moj.

[2-2-2. Unidad de adquisición de imágenes]

La unidad de adquisición de imágenes 101 puede ser la misma que se describe en la modalidad 1, y adquiere la imagen fotografiada I en la que se capturan un primer objeto y un segundo objeto, cada uno dispuesto en el espacio real.

El primer objeto es un objeto que tiene un tamaño conocido y su modelo 3D se almacena en la base de datos de objetos. En otras palabras, el primer objeto es un objeto con base en el cual se estima el tamaño del segundo objeto. En esta modalidad, los objetos O distintos de las paredes W corresponden al primer objeto. Es decir, se explica un caso en el que el primer objeto es, por ejemplo, un mueble dispuesto en la habitación S. Como tal, el modelo de objeto Moj corresponde a un ejemplo de primer modelo que representa un primer objeto.

El segundo objeto es un objeto que tiene un tamaño desconocido, y su tamaño debe estimarse. En esta modalidad, las paredes W de la habitación S corresponden al segundo objeto. Como tal, el modelo general M^w corresponde a un ejemplo de un segundo modelo que representa el segundo objeto.

[2-2-3. Unidad de disposición de modelos]

La unidad de disposición de modelos 104 se implementa principalmente por la unidad de control 11. La unidad de disposición de modelos 104 dispone los modelos de objeto Moj y el modelo general M^w en el espacio virtual. El modelo general Mw puede generarse de la misma manera que se describe en la modalidad 1, o de forma diferente a la modalidad 1. Por ejemplo, un usuario puede usar un sistema CAD para representar el modelo general M^w de tamaño desconocido por adelantado. Los valores iniciales del parámetro del modelo A pueden ser cualquier valor predeterminado, y aquí, A=1.

Por ejemplo, la unidad de disposición de modelos 104 dispone, en el espacio virtual, el objeto O orientado en la dirección determinada con base en la imagen fotografiada I. En esta modalidad, dado que las imágenes de plantilla están registradas en la base de datos de modelos de objetos, la unidad de disposición de modelos 104 dispone, en el espacio virtual, el modelo de objeto Moj orientado en la dirección determinada con base en un resultado de comparar la imagen fotografiada I con la imagen de plantilla que indica el objeto O orientado en la dirección predeterminada. En este punto, los parámetros del modelo O tienen valores iniciales. Es decir, la unidad de disposición de modelos 104 detecta un objeto O capturado en la imagen fotografiada I, y dispone un modelo de objeto Moj que representa el objeto O detectado en una posición inicial y en una orientación inicial sobre el modelo general Mw en un tamaño inicial.

Más específicamente, la unidad de disposición de modelos 104 detecta un objeto O en la imagen fotografiada I con base en un algoritmo de detección de objetos. Varias técnicas conocidas pueden ser aplicables al algoritmo de detección de objetos y, por ejemplo, puede usarse un método de coincidencia de plantilla con base en las imágenes de plantilla o un grado de similitud entre las cantidades de características que indican las características de forma de los objetos.

Aquí, se describirá un método de coincidencia de plantillas como un ejemplo del algoritmo de detección de objetos. Por ejemplo, la unidad de disposición de modelos 104 calcula una similitud entre cualquier área en la imagen fotografiada I y una imagen de plantilla. La similitud sugiere un grado de similitud entre el contorno de un sujeto en el área y el contorno de un objeto indicado por la imagen de la plantilla. El contorno del sujeto puede detectarse mediante el procesamiento de detección de bordes. La unidad de disposición de modelos 104 determina que el objeto indicado por la imagen de plantilla se captura en el área que tiene una similitud igual o mayor que un valor umbral.

La unidad de disposición de modelos 104 determina los valores iniciales del parámetro de posición pj y el parámetro de orientación 0j del modelo de objetos Moj con base en el resultado de detección del algoritmo de detección de objetos.

Por ejemplo, la unidad de disposición de modelos 104 determina un valor inicial de un parámetro de posición pj de un modelo de objeto Moj que indica un objeto O con base en la posición en la que el objeto O es capturado en la imagen fotografiada I. La unidad de disposición de modelos 104 convierte las coordenadas 2D de la posición en la que se captura el objeto O en coordenadas 3D y establece las coordenadas 3D como un valor inicial del parámetro de posición pj. En otras palabras, la unidad de disposición de modelos 104 determina el valor inicial del parámetro de posición pj de manera que la relación de posición entre la cámara 20 y el objeto O corresponde a la relación de posición entre la cámara virtual VP y el modelo del objeto Moj. "Corresponde" significa que un vector que conecta la cámara 20 y el objeto O es el mismo que un vector que conecta la cámara virtual VP y el modelo de objeto Moj, o una diferencia entre estos vectores es menor que un valor umbral.

Por ejemplo, la unidad de disposición de modelos 104 determina un valor inicial de un parámetro de orientación 0j con base en una orientación asociada con la imagen de plantilla. En esta modalidad, se preparan las imágenes de plantilla orientadas en una pluralidad de direcciones y, por lo tanto, la unidad de disposición de modelos 104 adquiere una orientación asociada con la imagen de plantilla que tiene una similitud igual o mayor que el valor umbral con un área en la imagen fotografiada I.

Como se ha descrito anteriormente, en el espacio virtual, la unidad de disposición de modelos 104 dispone el modelo general Moj del tamaño indicado por el parámetro del modelo de valor inicial A, y dispone, sobre el modelo general M^w, el modelo de objeto Moj orientado en la dirección inicial indicada por el parámetro de orientación de valor inicial 0j en la posición inicial indicada por el parámetro de posición de valor inicial pj.

La Figura 14 es un diagrama que ilustra un ejemplo de un espacio virtual en el que están dispuestos el modelo general M^w y los modelos de objetos Moj. Aquí, se explica un caso en el que los objetos o-i, o4, o5, o6 y o8 son detectados a partir de la imagen fotografiada I, y los objetos o2, o3 y o7 no son detectados. De esta manera, no necesariamente todos los objetos O deben ser detectados en la habitación S, pero los modelos de objetos Moj pueden estar dispuestos en el rango detectado. Como se muestra en la Figura 14, la unidad de disposición de modelos 104 dispone los modelos de objetos Mo1, Mo4, Mo5, Mo6 y Mo8 sobre una superficie de piso del modelo general Mw. Es decir, en esta modalidad, una pluralidad de objetos O son capturados en la imagen fotografiada I, y por lo tanto una pluralidad de modelos de objetos Moj correspondientes respectivamente a los objetos O están dispuestos en el espacio virtual.

En la práctica, el objeto O es similar, pero no igual, a la forma del objeto indicado por la imagen de la plantilla y, por lo tanto, las posiciones y orientaciones de los modelos de objetos Moj pueden coincidir aproximadamente, pero no coincidir con precisión. Además, el parámetro de tamaño A aún no está ajustado, el modelo general Mw puede ser más grande o más pequeño que los modelos de objetos Moj. Como tal, la unidad de determinación de parámetros 106 descrita más adelante ajusta los parámetros del modelo O.

[2-2-4. Unidad de generación de imágenes virtuales]

La unidad de generación de imágenes virtuales 105 se implementa principalmente por la unidad de control 11. La unidad de generación de imágenes virtuales 105 genera una imagen virtual en la que se dispone en un espacio virtual un modelo de objeto Moj que representa un objeto O de un tamaño estándar y un modelo general M^w que representa paredes W de un tamaño que no es estándar. Como se indicó anteriormente, las paredes W tienen grandes diferencias individuales de tamaño y no tienen un tamaño estándar particular. Como tal, existe la posibilidad de que, cuando se genera el modelo general Mw, el tamaño del modelo general Mw no coincida con el de las paredes reales W. La unidad de generación de imágenes virtuales 105 realiza una conversión de coordenadas en los vértices del modelo general Mw y los modelos de objeto Moj en el espacio virtual utilizando un determinante predeterminado, generando de esta manera una imagen virtual. Varias técnicas conocidas pueden ser aplicables a un método para presentar un modelo 3D dispuesto en el espacio virtual como una imagen 2D.

La Figura 15 es un diagrama que ilustra un ejemplo de la imagen virtual. Como se muestra en la Figura 15, la unidad de generación de imágenes virtuales 105 genera una imagen virtual D que muestra un espacio virtual visto desde una cámara virtual. De manera similar a la imagen fotografiada I, aquí, el vértice superior izquierdo de la imagen virtual D se establece como el origen O^s, y se determinan el eje X^s y el eje Y^s. En la imagen fotografiada I mostrada en la Figura 15, las paredes W están parcialmente ocultas por los objetos O y, por lo tanto, el modelo general M^w está parcialmente oculto por los modelos de objetos Moj en la imagen virtual D. En otras palabras, en la imagen fotografiada I, las paredes W están capturadas detrás de los objetos O, y por lo tanto en la imagen virtual D, el modelo general Mw se representa detrás de los modelos de objetos Ow.

La relación de aspecto, el tamaño y la resolución de la imagen virtual D son los mismos que la relación de aspecto, el tamaño y la resolución de la imagen fotografiada I. Como tal, el valor máximo de los valores de las coordenadas Xs en la imagen virtual D es X^smáx, que es el mismo valor que el de la imagen fotografiada I, y el valor máximo de los valores de las coordenadas Y^s en la imagen virtual D es Y^smáx, que es el mismo valor que el de la imagen fotografiada I. El ángulo de campo de la cámara virtual puede determinarse para que sea consistente con el ángulo de campo de la cámara 20. En esta modalidad, los ángulos de campo de la cámara 20 son de 360 grados en dirección horizontal y de 180 grados en dirección vertical y, por lo tanto, la cámara virtual puede tener los mismos ángulos de campo. Como tal, la unidad de generación de imágenes virtuales 105 genera la imagen virtual D en la que todas las direcciones en la dirección horizontal se representan en el espacio virtual de manera similar a la imagen fotografiada I.

[2-2-5. Unidad de determinación de parámetros]

La unidad de determinación de parámetros 106 se implementa principalmente por la unidad de control 11. La unidad de determinación de parámetros 106 determina los parámetros del modelo O. Es decir, la unidad de determinación de parámetros 106 cambia al menos uno de los valores iniciales del parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j.

Por ejemplo, si la unidad de determinación de parámetros 106 cambia el parámetro de tamaño A, las coordenadas de vértice del modelo general MW se cambian al tamaño indicado por el parámetro de tamaño cambiado A. Además, por ejemplo, si la unidad de determinación de parámetros 106 cambia el parámetro de posición pj, el modelo de objeto Moj se mueve a la posición indicada por el parámetro de posición cambiado pj. Además, por ejemplo, si la unidad de determinación de parámetros 106 cambia el parámetro de orientación 0j, la orientación del modelo de objeto Moj se cambia a la orientación indicada por el parámetro de orientación cambiado 0j.

La unidad de determinación de parámetros 106 puede determinar los parámetros del modelo O con base en la imagen fotografiada I y la imagen virtual D. Aquí, como ejemplo, se describirá el procesamiento de estimación de diseño para determinar aproximadamente los parámetros del modelo O utilizando el valor de evaluación Es y el procesamiento de determinación detallada para determinar los parámetros del modelo O en detalle utilizando el valor de evaluación E0.

[Procesamiento de estimación de diseño]

Se discutirá el procesamiento de estimación de diseño de acuerdo con la invención. En el procesamiento de estimación de diseño, los parámetros del modelo O se determinan de manera que el mapa de orientación de la imagen virtual D sea similar al mapa de orientación de la imagen fotografiada I. Aquí, se explica un caso en el que el parámetro de tamaño A y el parámetro de posición pj de los parámetros del modelo O se determinan en el procesamiento de estimación del diseño. Como tal, en el procesamiento de estimación de diseño, el valor inicial puede usarse para el parámetro de orientación 0j.

La unidad de determinación de parámetros 106 genera mapas de orientación de la imagen fotografiada I y la imagen virtual D, respectivamente. El método para generar el mapa de orientación es el mismo que el método descrito en la modalidad 1, y el mapa de orientación se genera con base en la relación de posición entre los segmentos de línea que indican el contorno de un objeto. De acuerdo con la invención, la unidad de determinación de parámetros 106 enmascara una parte que captura el objeto O en el mapa de orientación de la imagen fotografiada I, y enmascara una parte que representa el modelo de objeto Moj en el mapa de orientación de la imagen virtual D. En otras palabras, la unidad de determinación de parámetros 106 utiliza una parte de la pared W, que no está oculta por el objeto O en el mapa de orientación de la imagen fotografiada I, como sujeto de comparación, y utiliza una parte del modelo general Mw, que no está oculta por el modelo de objeto Moj en el mapa de orientación de la imagen virtual D, como sujeto de comparación.

La Figura 16 es un diagrama que ilustra el mapa de orientación de la imagen fotografiada I con los objetos O enmascarados, y la Figura 17 es un diagrama que ilustra el mapa de orientación de la imagen virtual D con los modelos de objeto Moj enmascarados. La unidad de determinación de parámetros 106 calcula un valor de evaluación ES usando la siguiente ecuación 1 con base en el mapa de orientación de la imagen fotografiada I que se muestra en la Figura 16 y el mapa de orientación de la imagen virtual D mostrado en la Figura 17.

Npix en la ecuación 1 es el número total de píxeles en la imagen fotografiada I y la imagen virtual D. Como tal, Npix =X^smáx*Y^smáx. N^c en la ecuación 1 es el número de píxeles que tienen direcciones coincidentes de los mapas de orientación entre la imagen fotografiada I y la imagen virtual D. Específicamente, NC se calcula usando la siguiente ecuación 2.

En la ecuación 2, m significa cualquier píxel, y l(Im) significa una dirección de un píxel m indicada por el mapa de orientación de la imagen fotografiada I. l(Dm) en la ecuación 2 significa una dirección del píxel m indicado por el mapa de orientación de la imagen virtual D. Como tal, el lado derecho de la ecuación 2 significa el número total de píxeles que tienen direcciones coincidentes entre las direcciones indicadas por el mapa de orientación de la imagen fotografiada I y las direcciones indicadas por la orientación mapa de la imagen virtual D.

Como se muestra en la ecuación 1, el valor de evaluación E^s indica coincidencia entre el mapa de orientación de la imagen fotografiada I y el mapa de orientación de la imagen virtual D. Aquí, un valor de evaluación bajo Es sugiere que la coincidencia direccional es alta, y un valor de evaluación alto Es sugiere que la coincidencia direccional es baja. La coincidencia entre los mapas de orientación depende del tamaño del modelo general MW y las posiciones de los modelos de objetos Moj. Como tal, la unidad de determinación de parámetros 106 ajusta el parámetro de tamaño A y el parámetro de posición pj de modo que el valor de evaluación ES sea bajo.

Por ejemplo, cuando el parámetro de tamaño A es demasiado pequeño, una parte del modelo general MW oculta por los modelos de objetos Moj es mayor que la parte oculta real. En este caso, cuando se aumenta el parámetro de tamaño A, se aumenta la coincidencia y se reduce el valor de evaluación ES. Por ejemplo, cuando el parámetro de tamaño A es demasiado grande, una parte del modelo general MW oculta por los modelos de objetos Moj es menor que la parte oculta real. En este caso, cuando se reduce el parámetro de tamaño A, se aumenta la coincidencia y se reduce el valor de evaluación ES. Por ejemplo, si la relación de posición relativa entre el modelo general MWy los modelos de objeto Moj es diferente de la relación real, se reduce el número de píxeles que tienen direcciones coincidentes. En este caso, si el parámetro de posición pi se cambia de modo que las posiciones de los modelos de objetos Moj estén más cerca de las posiciones reales de los objetos O, la coincidencia aumenta y el valor de evaluación ES se reduce.

La unidad de determinación de parámetros 106 ajusta el parámetro de tamaño A y el parámetro de posición pj hasta que el valor de evaluación Es sea menor que el valor umbral. Por ejemplo, la unidad de determinación de parámetros 106 selecciona un valor candidato del parámetro de tamaño A y un valor candidato del parámetro de posición pj con base en el valor inicial del parámetro de tamaño A y el valor inicial del parámetro de posición pj. El valor candidato puede ser cualquier valor que difiera del valor inicial en menos del valor umbral, y se puede seleccionar una pluralidad de valores candidatos.

La unidad de determinación de parámetros 106 genera una imagen virtual D y calcula un valor de evaluación E^s para cada combinación de un valor candidato del parámetro de tamaño A y un valor candidato del parámetro de posición pj. La unidad de determinación de parámetros 106 especifica la combinación de valores candidatos que tienen el valor de evaluación ES más pequeño o el valor de evaluación ES menor que el valor umbral entre las combinaciones de valores candidatos. La unidad de determinación de parámetros 106 actualiza el parámetro de tamaño A y el parámetro de posición pj con base en los valores candidatos especificados. De acuerdo con la invención, el parámetro de tamaño A y el parámetro de posición pj se ajustan aproximadamente mediante el procesamiento de estimación de diseño descrito anteriormente.

[Procesamiento de determinación detallada]

A continuación, se describirá el procesamiento de determinación detallada. En el espacio real, el objeto O no suele disponerse al azar, sino según una regla predeterminada. Por ejemplo, en la habitación S como en esta modalidad, el objeto O, tal como los muebles, se dispone con base en una regla predeterminada para que las personas lo utilicen cómodamente. Por ejemplo, una cama y una silla suelen estar dispuestas en paralelo a la pared, y los objetos O están dispuestos de manera que no se superponen entre sí.

Con el punto descrito anteriormente considerado, los parámetros del modelo O se ajustan en el procesamiento de determinación detallada para que la relación relativa entre las paredes W y los objetos O en el espacio real sea similar a la relación relativa entre el modelo general Mw y los modelos de objetos Moj en el espacio virtual. Aquí, se explica un caso en el que todos los parámetros de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j de los parámetros del modelo O se determinan en el procesamiento de determinación detallada.

Hay dos tipos de valores de evaluación E0: valor de evaluación E0,w para evaluar la relación relativa entre un modelo general MW y un modelo de objeto Moj; y el valor de evaluación Eo,o para evaluar la relación relativa entre modelos de objetos Moj. Aquí, para simplificar el procesamiento, los valores de evaluación E0,w y Eo,o se evalúan usando formas de los modelos de objetos Moj proyectados sobre la superficie del piso del modelo general MW.

La Figura 18 es un diagrama que ilustra el espacio virtual visto desde arriba. Como se muestra en la Figura 18, la unidad de determinación de parámetros 106 proyecta ortogonalmente los modelos de objeto Moj sobre la superficie del piso del modelo general MW desde una dirección superior. Posteriormente, la unidad de determinación de parámetros 106 calcula el valor de evaluación Eo,w usando la siguiente ecuación 3.

En la ecuación 3, p(oj) significa una posición de un modelo de objeto Moj en la proyección ortogonal. p(w¡*®) es la posición de una pared más cercana al modelo de objeto Moj en el modelo general MW. Como tal, el primer término del lado derecho de la ecuación 3 indica una distancia entre el modelo general MWy el modelo de objeto Moj en el espacio virtual. Cuando esta distancia es menor, el valor de evaluación Eo,w(O) es menor. En otras palabras, cuando el modelo de objeto Moj está más cerca del modelo general MW, la reproducibilidad de la habitación S aumenta.

En la ecuación 3, vn es un coeficiente de ponderación. El coeficiente de ponderación puede ser cualquier valor, por ejemplo, alrededor de 0,5. n(oj) es una dirección de un modelo de objeto Moj. n(w¡*®) es una dirección de una pared más cercana al modelo de objeto Moj en el modelo general Mw. Como tal, el segundo término del lado derecho de la ecuación 3 indica una diferencia direccional entre el modelo general Mwy el modelo de objeto Moj en el espacio virtual. Cuando la diferencia direccional es menor, el valor de evaluación E0,w(O) es menor. En otras palabras, cuando el modelo de objeto Moj se orienta en la misma dirección que el modelo casi general MW, la reproducibilidad aumenta.

La unidad de determinación de parámetros 106 calcula un valor de evaluación Eo,o usando la siguiente ecuación 4.

No

EaJ<l>)=1Z A (b (0))nb(o ^{l )) (} 4 ⁾

j ,k = 1

En la ecuación 4, A indica cómo un área b (oj), en la que un modelo de objeto Moj se proyecta ortogonalmente sobre la superficie del piso del modelo general MW, se superpone a un área b (ok), en la que cualquiera de otros modelos de objetos Moj se proyecta ortogonalmente sobre la superficie del piso del modelo general Mw. Como tal, el lado derecho de la ecuación 4 es más alto cuando la porción superpuesta de los modelos de objeto Moj es mayor, y es menor cuando la porción superpuesta de los modelos de objeto Moj es menor. En otras palabras, cuando el modelo de objeto Moj no se superpone con el modelo de objeto cercano Moj, la reproducibilidad aumenta.

La unidad de determinación de parámetros 106 determina los parámetros del modelo O con base en el valor de evaluación Eo,w y el valor de evaluación Eo,o. Por ejemplo, la unidad de determinación de parámetros 106 determina los parámetros del modelo O de modo que tanto el valor de evaluación Eo,w como el valor de evaluación Eo,o sean menores que el valor umbral.

Por ejemplo, de manera similar al procesamiento de estimación de diseño, la unidad de determinación de parámetros 106 selecciona un valor candidato del parámetro de tamaño A, un valor candidato del parámetro de posición pj y un valor candidato del parámetro de orientación 0j. La unidad de determinación de parámetros 106 especifica una combinación de valores candidatos que tienen los valores más pequeños del valor de evaluación E0,w y el valor de evaluación Eo,o entre estos valores candidatos. La unidad de determinación de parámetros 106 actualiza el parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j con base en los valores candidatos especificados.

Las Figuras 19 y 20 son diagramas que ilustran el espacio virtual cuando se ajustan los parámetros del modelo O. Como se muestra en la Figura 19, cuando se ajustan los parámetros del modelo O, la condición del espacio virtual se aproxima a la condición del espacio real. Por ejemplo, como se muestra en la Figura 20, cuando el modelo general MW es demasiado pequeño en relación con los modelos de objetos Moj, el parámetro de tamaño A aumenta para reducir el valor de evaluación ES y el valor de evaluación EO, y el modelo general MW se aproxima al tamaño de la habitación real S. Es decir, el parámetro de tamaño A se determina de modo que la relación relativa entre el tamaño del modelo general MW y los tamaños de los modelos de objetos Moj sea similar a la relación relativa entre el tamaño de la habitación S y los tamaños de los objetos O.

Cuando los modelos de objeto Moj están alejados del modelo general Mw o no están en paralelo con la pared, o cuando los modelos de objeto Moj se superponen entre sí, el valor de evaluación E^o se vuelve grande. En este sentido, la disposición de los objetos O en la habitación real S puede casi obtenerse cambiando el parámetro de posición pj para acercar los modelos de objetos Moj al modelo general MW, cambiando el parámetro de orientación 0j para disponer los modelos de objeto Moj en paralelo con el modelo general MW, o ajustar el parámetro de posición pj y el parámetro de orientación 0j para evitar que los modelos de objeto Moj se superpongan entre sí. Es decir, el parámetro de posición pj y el parámetro de orientación 0j se determinan de modo que las posiciones y orientaciones relativas del modelo general MW y los modelos de objetos Moj sean similares a las posiciones y orientaciones relativas de la habitación S y los objetos O.

Como se describió anteriormente, la unidad de determinación de parámetros 106 determina el parámetro de tamaño A que indica el tamaño del modelo general M^w con base en el resultado de comparar la imagen fotografiada I con la imagen virtual D. Por ejemplo, una unidad de determinación de tamaño 105 determina el parámetro de tamaño A con base en el resultado de comparar píxeles que presentan las paredes W en la imagen fotografiada I con píxeles que representan el modelo general MWen la imagen virtual D. Por ejemplo, la unidad de determinación de parámetros 106 determina el parámetro de tamaño A para que la coincidencia entre los píxeles que presentan las paredes W en la imagen fotografiada I y los píxeles que representan el modelo general MW en la imagen virtual D es igual o superior al valor umbral. Aquí, la coincidencia puede ser la coincidencia de los mapas de orientación como se describió anteriormente, o la coincidencia de los tamaños en las imágenes.

La unidad de determinación de parámetros 106 puede determinar el parámetro de tamaño A con base en el resultado de comparar los píxeles que presentan los objetos O en la imagen fotografiada I con los píxeles que representan los modelos de objetos Moj en la imagen virtual D. En este caso, el parámetro que determina la unidad 106 determina el parámetro de tamaño A para que la coincidencia entre los píxeles que presentan los objetos O en la imagen fotografiada I y los píxeles que representan los modelos de objetos Moj en la imagen virtual D sea igual o superior al valor umbral.

La unidad de determinación de parámetros 106 determina el parámetro de tamaño A con base en el resultado de comparar una parte de las paredes W distinta de la parte oculta por los objetos O (es decir, una parte de las paredes W que no está oculta por los objetos O y capturada en la imagen fotografiada I) con una parte del modelo general Mw distinta de la parte oculta por los modelos de objeto Moj (es decir, un área del modelo general Mw, que no está oculta por los modelos de objeto Moj y representada en la imagen virtual D). Es decir, al determinar el parámetro de tamaño A, la unidad de determinación de parámetros 106 excluye el área de la imagen fotografiada I en la que se captura el objeto O y el área de la imagen virtual D en la que se representa el modelo de objeto Moj del objetivo de comparación.

La unidad de determinación de parámetros 106 determina el parámetro de posición pj que indica las posiciones de los modelos de objetos Moj con base en el resultado de comparar la imagen fotografiada I con la imagen virtual D. Por ejemplo, la unidad de determinación de parámetros 106 determina el parámetro de posición pj con base en el resultado de comparar los píxeles que presentan los objetos O en la imagen fotografiada I con los píxeles que representan los modelos de objetos Moj en la imagen virtual D.

La unidad de determinación de parámetros 106 determina el parámetro de tamaño A con base en el resultado de comparar las orientaciones de los objetos (aquí, las paredes W y los objetos O) capturados en los píxeles de la imagen fotografiada I con las orientaciones de los modelos (aquí, el modelo general Mw y los modelos de objeto Moj) representados en los píxeles de la imagen virtual D. Es decir, la unidad de determinación de parámetros 106 determina el parámetro de tamaño A para que la coincidencia de estas orientaciones sea igual o mayor que el valor umbral.

Se ha explicado el caso en el que el parámetro de tamaño A y el parámetro de posición pj se determinan con base en el valor de evaluación E^s, aunque el parámetro de orientación 0j puede determinarse con base en el valor de evaluación Es. Es decir, la unidad de determinación de parámetros 106 puede determinar el parámetro de orientación 0j que indica las orientaciones de los modelos de objetos Moj con base en el resultado de comparar la imagen fotografiada I con la imagen virtual D. Por ejemplo, la unidad de determinación de parámetros 106 determina la orientación parámetro 0j con base en el resultado de comparar los píxeles que presentan los objetos O en la imagen fotografiada I con los píxeles que representan los modelos de objetos Moj en la imagen virtual D.

La unidad de determinación de parámetros 106 determina el parámetro de tamaño A con base en la relación relativa entre los modelos de objeto Moj y el modelo general M^w en el espacio virtual. Es decir, la unidad de determinación de parámetros 106 determina el parámetro de tamaño A de modo que la coincidencia entre la relación relativa entre los modelos de objeto Moj y el modelo general Mw en el espacio virtual y la relación relativa entre los objetos O y las paredes W en el espacio real es igual o mayor que el valor umbral.

La unidad de determinación de parámetros 106 determina el parámetro de posición pj que indica las posiciones de los modelos de objetos Moj con base en la relación relativa entre los modelos de objetos Moj y el modelo general Mw en el espacio virtual. Es decir, la unidad de determinación de parámetros 106 determina el parámetro de posición pj de modo que la coincidencia entre la relación relativa entre los modelos de objeto Moj y el modelo general Mw en el espacio virtual y la relación relativa entre los objetos O y las paredes W en el espacio real es igual o mayor que el valor umbral. Aquí, la coincidencia puede ser la coincidencia de los mapas de orientación descritos anteriormente, o la coincidencia de tamaños en las imágenes.

La unidad de determinación de parámetros 106 determina el parámetro de orientación 0j que indica las orientaciones de los modelos de objetos Moj con base en la relación relativa entre los modelos de objetos Moj y el modelo general M^w en el espacio virtual. Es decir, la unidad de determinación de parámetros 106 determina el parámetro de orientación 0j de modo que la coincidencia entre la relación relativa entre los modelos de objetos Moj y el modelo general Mw en el espacio virtual y la relación relativa entre los objetos O y las paredes W en el espacio real es igual o mayor que el valor umbral. Aquí, la coincidencia puede ser la coincidencia de los mapas de orientación descritos anteriormente, o la coincidencia de tamaños en las imágenes.

La unidad de determinación de parámetros 106 determina el parámetro de tamaño A con base en la relación relativa entre los objetos O en el espacio virtual. Por ejemplo, la unidad de determinación de parámetros 106 determina el parámetro de tamaño A para que la relación relativa entre los objetos O en el espacio virtual satisfaga una relación predeterminada. La relación predeterminada es una relación que indica que los modelos de objeto Moj no se superponen entre sí. Cuando el parámetro de tamaño A es demasiado pequeño, no hay espacio para disponer los modelos de objeto Moj y, por lo tanto, los modelos de objeto Moj se superponen entre sí. Como tal, se determina el parámetro de tamaño A que tiene una magnitud suficientemente grande para evitar que los modelos de objetos Moj se superpongan entre sí.

La unidad de determinación de parámetros 106 determina el parámetro de posición pj que indica las posiciones respectivas de los modelos generales Mw con base en la relación relativa entre los modelos generales Mw en el espacio virtual. Por ejemplo, la unidad de determinación de parámetros 106 determina el parámetro de posición pj de modo que la relación relativa entre los objetos O en el espacio virtual satisfaga una relación predeterminada. La relación predeterminada es una relación que indica que los modelos de objeto Moj no se superponen entre sí, y el parámetro de posición pj se determina de modo que los modelos de objeto Moj estén en posiciones o en orientaciones en las que los modelos de objeto Moj no se superponen entre sí.

La unidad de determinación de parámetros 106 determina el parámetro de orientación 0j que indica las respectivas orientaciones de los modelos generales M^w con base en la relación relativa entre los modelos generales M^w en el espacio virtual. Por ejemplo, la unidad de determinación de parámetros 106 determina el parámetro de orientación 0j de modo que la relación relativa entre los objetos O en el espacio virtual satisfaga una relación predeterminada. La relación predeterminada es una relación que indica que los modelos de objeto Moj no se superponen entre sí, y el parámetro de orientación 0j se determina de manera que los modelos de objeto Moj están en posiciones o en orientaciones en las que los modelos de objeto Moj no se superponen entre sí.

[2-3. Procesamiento que se ejecuta en esta modalidad]

La Figura 21 es un diagrama de flujo que muestra un ejemplo del procesamiento ejecutado en el sistema de generación de modelos 3D 1. El procesamiento mostrado en la Figura 21 se ejecuta cuando la unidad de control 11 opera de acuerdo con un programa almacenado en la unidad de almacenamiento 12. El procesamiento descrito a continuación es un ejemplo del procesamiento que se ejecuta por el bloque funcional que se muestra en la Figura 12. En un caso en el que el modelo general M^w se genera de la misma manera que se describe en la modalidad 1, el procesamiento que se muestra en la Figura 21 puede ejecutarse después del procesamiento mostrado en la Figura 10.

Como se muestra en la Figura 21, la unidad de control 11 detecta un objeto O capturado en la imagen fotografiada I con base en la base de datos del modelo de objetos (S10). Como se describió anteriormente, en S10, la unidad de control 11 detecta si hay un objeto O en la imagen fotografiada I usando una imagen de plantilla mediante coincidencia de plantillas.

La unidad de control 11 dispone un modelo general M^w en el espacio virtual con base en el parámetro de tamaño predeterminado A (S11) y dispone un modelo de objeto Moj del objeto detectado en S10 en el modelo general Mw con base en el parámetro de posición predeterminado pj y el parámetro de orientación por defecto 0j (S12). En S11, la unidad de control 11 dispone el modelo general Mwde un tamaño indicado por el parámetro de tamaño predeterminado A en el espacio virtual, y dispone un punto de vista virtual VP con base en la imagen fotografiada I. En S12, la unidad de control 11 convierte coordenadas 2D que indican posiciones de objetos O capturadas en la imagen fotografiada I en coordenadas 3D para obtener un valor inicial del parámetro de posición pj, y establece la orientación asociada con la imagen de plantilla como un valor inicial del parámetro de orientación 0j.

La unidad de control 11 genera una imagen virtual D que indica el espacio virtual visto desde la cámara virtual VP (S13). Los parámetros de la cámara virtual VP, tal como un ángulo de campo, se almacenan en la unidad de almacenamiento 12 de antemano para indicar los valores correspondientes a la cámara 20. En S13, la unidad de control 11 convierte las coordenadas 3D de los vértices del modelo general M^w y los modelos de objetos Moj en coordenadas 2D, generando de esta manera la imagen virtual.

La unidad de control 11 ejecuta el procesamiento de estimación de diseño con base en el mapa de orientación de la imagen fotografiada I y el mapa de orientación de la imagen virtual D, y determina el parámetro de tamaño A y el parámetro de posición pj (S14). En S14, la unidad de control 11 calcula el valor de evaluación Es con base en las ecuaciones 1 y 2, y determina el parámetro de tamaño A y el parámetro de posición pj para minimizar el valor de evaluación E^s.

La unidad de control 11 ejecuta el procesamiento de determinación detallada con base en la relación relativa en el espacio virtual y determina el parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j (S15). En S15, la unidad de control 11 calcula el valor de evaluación Eo y determina el parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j para minimizar el valor de evaluación Eo. El procesamiento en S14 y S15 puede repetirse hasta que los valores de evaluación Es y Eo sean suficientemente pequeños.

De acuerdo con el sistema de generación de modelos 3D 1 de la modalidad 2, utilizando el hecho de que los objetos O tienen pequeñas diferencias individuales en tamaño, el parámetro de tamaño A se ajusta con base en la relación relativa entre el modelo general Mwy los modelos de objetos Moj. Como tal, el parámetro de tamaño A se puede estimar con un procesamiento relativamente simple, y la carga de procesamiento en el ordenador se puede reducir mientras se reduce el trabajo de fotografiar cuando se estima el tamaño de la habitación S.

El parámetro de tamaño A se estima con base en el resultado de comparar la imagen fotografiada I enmascarando los objetos O y la imagen virtual D enmascarando los modelos de objetos Moj, y se ajusta al eliminar una porción no confiable para estimar el espacio real. De esta manera, se puede aumentar la precisión del parámetro de tamaño A. Además, no se realiza un procesamiento innecesario en la porción no confiable y, por lo tanto, se puede reducir la carga de procesamiento en el ordenador.

Los modelos de objetos Moj orientados en las direcciones, que se determinan con base en la imagen fotografiada I, se disponen en el espacio virtual. De esta manera, se puede aumentar la precisión de las orientaciones de los modelos de objetos Moj dispuestos en el espacio virtual, y se puede aumentar la reproducibilidad de la sala S. Por ejemplo, al hacer coincidir aproximadamente las orientaciones iniciales de los modelos de objetos Moj con las orientaciones de los objetos reales O, se puede simplificar el ajuste posterior del parámetro de tamaño A y el parámetro de posición pj y, por lo tanto, la carga de procesamiento en el ordenador en el siguiente procesamiento también se puede reducir.

La precisión del parámetro de posición pj y el parámetro de tamaño A se puede aumentar estimando el parámetro de posición pj y el parámetro de tamaño A con el uso del mapa de orientación de la imagen fotografiada I y el mapa de orientación de la imagen virtual D. Como se describió anteriormente, el parámetro de orientación 0j se puede estimar utilizando estos mapas de orientación y, en tal caso, se puede aumentar la precisión del parámetro de orientación 0j.

Además, utilizando el hecho de que los objetos O tienen pequeñas diferencias individuales en tamaño, el parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j se ajustan con base en la relación relativa entre el modelo general Mw y los modelos de objetos Moj. Como tal, estos parámetros se pueden estimar con un procesamiento relativamente fácil, y la carga de procesamiento en el ordenador se puede reducir mientras se reduce el trabajo de fotografiar cuando se estima el tamaño de la habitación S o las posiciones y orientaciones de los objetos O.

Dado que el parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j se ajustan con base en el valor de evaluación Eo,w, es posible reflejar la regla empírica de la relación entre las paredes W y los objetos O en el mundo real. De esta manera, se puede aumentar la precisión del parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j.

Dado que el parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j se ajustan con base en el valor de evaluación Eo,o, es posible reflejar la regla empírica de la relación entre los objetos O en el mundo real. De esta manera, se puede aumentar la precisión del parámetro de tamaño A, el parámetro de posición pj y el parámetro de orientación 0j.

El modelo de objeto Moj se forma en tres dimensiones con una profundidad y, por lo tanto, se puede generar el espacio virtual con un alto grado de reproducibilidad.

Dado que el parámetro de tamaño A se determina con base en los objetos O, que son los muebles dispuestos en la habitación S, se puede reproducir la habitación S en el mundo real.

[3. Variaciones]

La presente invención no se limita a las modalidades descritas anteriormente y puede cambiarse según sea apropiado cuando no se aparte del alcance de las reivindicaciones.

[3-1. Variación respecto a la modalidad 1]

Por ejemplo, la modalidad 1 describe el caso en el que se genera un modelo general Mwde una habitación S, aunque, cuando una pluralidad de habitaciones S están dispuestas en un piso, se pueden generar modelos generales Mw para las respectivas habitaciones S, y estos modelos generales Mw pueden disponerse para reproducir todo el piso en el espacio virtual.

La Figura 22 es un diagrama de bloques funcional de una variación de la modalidad 1. Como se muestra en la Figura 22, en esta variación, se implementa una unidad de generación de modelos de piso además de las funciones descritas en la modalidad 1. La unidad de generación de modelos de piso 107 se implementa principalmente por la unidad de control 11.

La unidad de almacenamiento de datos 100 de acuerdo con esta variación almacena datos de imágenes fotografiadas para cada habitación S en un piso. Es decir, la unidad de almacenamiento de datos 100 almacena datos de imágenes fotografiadas de cada una de una pluralidad de habitaciones S en el piso. Además, la unidad de almacenamiento de datos 100 puede almacenar datos que indican la disposición de las habitaciones S en el piso. En otras palabras, la unidad de almacenamiento de datos 100 puede almacenar datos que indican la relación de posición de las habitaciones S.

La unidad de adquisición de imágenes 101 adquiere imágenes Ik capturadas respectivamente en las habitaciones S en el mismo piso. El método para adquirir las imágenes Ik puede ser el mismo que se describe en la modalidad 1. Por ejemplo, la unidad de adquisición de imágenes 101 puede dividir una imagen fotografiada I de una habitación S para adquirir algunas imágenes Ik.

La unidad de generación de modelos parciales 102 genera modelos parciales mk correspondientes a cada habitación S. La unidad de generación de modelos generales 103 genera un modelo general Mw correspondiente a cada habitación S. El método para generar el modelo parcial mk y el modelo general Mw puede ser el mismo que se describe en la modalidad 1.

La unidad de generación de modelos de piso 107 genera un modelo 3D de todo el piso con base en los modelos generales M^w generados por la unidad de generación de modelos generales 103. La unidad de generación de modelos de piso 107 dispone los modelos totales M^w en una disposición predeterminada en el espacio virtual. Aquí, la unidad de generación de modelos de piso 107 dispone los modelos generales Mw en el espacio virtual con base en los datos que indican la disposición de las habitaciones S en el piso, de modo que los modelos generales Mw se disponen de la misma manera que las habitaciones S, por lo tanto generando el modelo 3D de todo el piso.

De acuerdo con la variación descrita anteriormente, es posible generar un modelo 3D que represente todo el piso con un procesamiento relativamente simple.

La modalidad 1 explica el caso en el que se genera un modelo parcial mk con el uso del mapa de orientación de una imagen Ik, aunque varias técnicas conocidas pueden ser aplicables al método para generar el modelo parcial mk a partir de la imagen Ik. Por ejemplo, la unidad de generación de modelos parciales 102 puede generar el modelo parcial mk utilizando un contexto geométrico que indica una característica geométrica de un objeto. El contexto geométrico es conocido por la precisión de la parte inferior de una imagen Ik (cerca del piso). Como tal, el contexto geométrico puede usarse para la parte inferior de la imagen Ik, y el mapa de orientación puede usarse para la parte superior de la imagen Ik. De esta manera, el modelo parcial mk puede generarse combinando algunos métodos de generación de modelos.

Por ejemplo, se ha explicado el caso en el que los rangos de captura de las imágenes Ik se superponen entre sí, aunque los rangos de captura de las imágenes Ik no necesariamente se superponen entre sí. Por ejemplo, para adquirir las imágenes Ik, la unidad de adquisición de imágenes 101 puede dividir una imagen fotografiada I en un número predeterminado de imágenes de modo que las imágenes no se superpongan entre sí. Por ejemplo, la unidad de adquisición de imágenes 101 puede adquirir las imágenes Ik de la imagen fotografiada I de manera que haya un espacio entre las imágenes Ik. Además, los tamaños y la resolución de las imágenes Ik pueden ser diferentes entre sí.

Por ejemplo, se ha explicado el caso en el que los modelos de objetos Moj orientados en varias direcciones se almacenan en la base de datos de modelos de objetos para estimar el valor inicial del parámetro de orientación 0j, aunque los modelos de objeto Moj en la condición inicial pueden eliminarse utilizando un modelo 3D distribuido por un ordenador del servidor en Internet. En ese momento, un modelo de objeto Moj orientado en una dirección similar a la dirección de un objeto O en la imagen fotografiada I puede buscarse utilizando una distribución de probabilidad condicional, y dicha orientación puede establecerse como el valor inicial del parámetro de orientación 0j.

Por ejemplo, se ha explicado el caso en el que se determina una posición y una orientación de cada modelo parcial mkcon base en una posición de cada imagen Iken la imagen fotografiada I, aunque no se puede obtener cada imagen Ik dividiendo una imagen fotografiada única I. En este caso, una posición y una dirección de cada modelo parcial mk pueden determinarse por otros métodos. Por ejemplo, se puede asociar una dirección de captura con cada imagen Ik, y se pueden determinar una posición y una orientación de un modelo parcial mk con base en la dirección de captura. En este caso, la dirección de captura puede determinarse con base en el orden de adquisición (orden de captura) de las imágenes Ik, o especificado por un usuario.

[3-2. Variación con respecto a la modalidad 2]

Por ejemplo, un objeto O puede estar dispuesto no solo sobre una superficie horizontal, sino también sobre una superficie vertical. En la modalidad 2, el modelo de objeto Moj que representa una cama está dispuesto únicamente en el piso, y el modelo de objeto Moj que representa un reloj de pared está dispuesto únicamente en la pared. Como tal, un rango de movimiento del parámetro de posición pj puede estar restringido de acuerdo con cada objeto O.

La unidad de determinación de parámetros 106 de esta variación puede determinar un rango en el que se puede cambiar el parámetro de posición pj con base en los objetos O capturados en la imagen fotografiada I. Por ejemplo, la relación entre los objetos O y el rango de posibles cambios se almacena en la unidad de almacenamiento de datos 100. El rango de posibles cambios es un rango en el que el modelo de objeto Moj se puede mover y un rango para ser un candidato del parámetro de posición pj.

Por ejemplo, en el caso de un objeto O dispuesto en la superficie horizontal, un área en la superficie horizontal en el espacio virtual es el rango de posibles cambios, y en el caso de un objeto O dispuesto en la superficie vertical, un área en la superficie vertical en el espacio virtual es el rango de posibles cambios. La unidad de determinación de parámetros 106 determina el parámetro de posición pj de manera que el parámetro de posición pj de un modelo de objeto Moj se establece dentro del rango de posibles cambios asociados con un objeto O indicado por el modelo de objeto Moj.

De acuerdo con la variación descrita anteriormente, el modelo de objeto Moj se puede mover dentro del rango de acuerdo con las características del objeto O. Como tal, es posible evitar que el modelo de objeto Moj se disponga en una posición que no es natural en la realidad.

En la modalidad 2, un ejemplo del primer objeto son los objetos O, tales como muebles, y un ejemplo del segundo objeto es la pared W detrás de los muebles, aunque la relación de posición entre el primer objeto y el segundo objeto se puede determinar libremente. El segundo objeto puede estar dispuesto frente al primer objeto, o dispuesto junto al primer objeto. Es decir, basta con que el primer objeto de tamaño conocido y el segundo objeto de tamaño a estimar puedan ser captados en la misma imagen fotografiada I.

[3-3. Otras variaciones]

Por ejemplo, el modelo general Mw puede representar las paredes de un estacionamiento al aire libre y el modelo de objeto Moj puede representar un automóvil y una motocicleta en el estacionamiento. El modelo general Mwy el modelo de objeto Moj pueden ser cualquier tipo de objeto que pueda detectarse en la imagen fotografiada I, y no limitarse a la pared W o al objeto O.

Por ejemplo, el sistema de generación de modelos 3D 1 puede configurarse únicamente con el dispositivo de generación de modelos 3D 10 o incluir otro ordenador. Por ejemplo, el sistema de generación de modelos 3d 1 puede incluir el dispositivo de generación de modelos 3D 10 y un ordenador del servidor. En este caso, la base de datos del modelo de objetos puede almacenarse en el ordenador del servidor.

Claims (14)

REIVINDICACIONES

1. Un sistema de generación de modelos 3D (1) que comprende:

medios de adquisición de imágenes fotografiadas (101) para adquirir una imagen fotografiada (I) en los que se capturan un primer objeto (O) y un segundo objeto (W) dispuestos cada uno en un espacio real, el segundo objeto (W) son las paredes de una habitación en la que se dispone el primer objeto (O);

medios de generación de imágenes virtuales (105) para generar una imagen virtual (D) en los que un primer modelo (M0j) que representa el primer objeto (O) y un segundo modelo (Mw) que representa el segundo objeto (W) están dispuestos en un espacio virtual, el primer objeto (O) es de tamaño estándar, el segundo objeto (W) no es de tamaño estándar, en donde una cámara virtual que adquiere la imagen virtual (D) y una cámara que adquiere la imagen fotografiada (I) tienen parámetros y puntos de vista correspondientes con respecto a, respectivamente, al segundo modelo y al segundo objeto; y

medios de determinación de parámetros (106) para realizar un proceso de determinación para determinar un parámetro de tamaño (A) que indica un tamaño del segundo modelo (M^w), y un parámetro de posición (pj) que indica una posición del primer modelo (M0j), con base en un resultado de comparar la imagen fotografiada (I) con la imagen virtual (D),

en donde el proceso de determinación comprende:

generar un mapa de orientación de la imagen fotografiada (I) y un mapa de orientación de la imagen virtual (D), los mapas de orientación que indican las orientaciones de los objetos capturados en píxeles respectivos de las imágenes respectivas, con base en las relaciones de posición entre los segmentos de línea que indican los contornos de los respectivos objetos capturados en las respectivas imágenes;

enmascarar el primer objeto (O) en el mapa de orientación de la imagen fotografiada para generar un primer mapa de orientación enmascarado;

enmascarar el primer modelo (M0j) en el mapa de orientación de la imagen virtual (D) para generar un segundo mapa de orientación enmascarado; y

realizar un proceso de comparación para comparar el primer mapa de orientación enmascarado con el segundo mapa de orientación enmascarado, y ajustar los valores iniciales del parámetro de tamaño (A) y el parámetro de posición (pj), con base en el proceso de comparación, para aumentar la coincidencia entre el primer mapa de orientación enmascarado y el segundo mapa de orientación enmascarado.

2. El sistema de generación de modelos 3D (1) de acuerdo con la reivindicación 1, que comprende además medios de disposición de modelos (104) para disponer, en el espacio virtual, el primer modelo (M0j) orientado en una dirección que se determina con base en la imagen fotografiada (I).

3. El sistema de generación de modelos 3D (1) de acuerdo con la reivindicación 1 o 2, en donde

los medios de determinación de parámetros (106) determinan un parámetro de orientación (0j) que indica una orientación del primer modelo (M0j) con base en el resultado de comparar la imagen fotografiada (I) con la imagen virtual (D).

4. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 3, en donde los medios de determinación de parámetros (106) determinan el parámetro de tamaño (A) con base en una relación relativa entre el primer modelo (M0j) y el segundo modelo (Mw) en el espacio virtual.

5. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 4, en donde los medios de determinación de parámetros (106) determinan el parámetro de posición (pj) que indica la posición del primer modelo (M0j) con base en la relación relativa entre el primer modelo (M0j) y el segundo modelo (Mw) en el espacio virtual.

6. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 5, en donde los medios de determinación de parámetros (106) determinan un parámetro de orientación (0j) que indica la orientación del primer modelo (M0j) con base en la relación relativa entre el primer modelo (M0j) y el segundo modelo (Mw) en el espacio virtual.

7. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 6, en donde

una pluralidad de primeros objetos (O) son capturados en la imagen fotografiada (I),

una pluralidad de primeros modelos (Moj) correspondientes respectivamente a los primeros objetos (O) están dispuestos en el espacio virtual, y

los medios de determinación de parámetros (106) determinan el parámetro de tamaño (A) con base en una relación relativa entre los primeros objetos (O) en el espacio virtual.

8. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 7, en donde

una pluralidad de primeros objetos (O) son capturados en la imagen fotografiada (I),

una pluralidad de primeros modelos (M0j) correspondientes respectivamente a los primeros objetos (O) están dispuestos en el espacio virtual, y

los medios de determinación de parámetros (106) determinan el parámetro de posición (pj) que indica las posiciones respectivas de los primeros modelos (M0j) con base en una relación relativa entre los primeros modelos (M0j) en el espacio virtual.

9. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 5, 7 u 8, en donde

una pluralidad de primeros objetos (O) son capturados en la imagen fotografiada (I),

una pluralidad de primeros modelos (M0j) correspondientes respectivamente a los primeros objetos (O) están dispuestos en el espacio virtual, y

los medios de determinación de parámetros (106) determinan un parámetro de orientación (0j) que indica las respectivas orientaciones de los primeros modelos (M0j) con base en la relación relativa entre los primeros modelos (M0j) en el espacio virtual.

10. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones anteriores, en donde

los medios de determinación de parámetros (106) determinan un rango en el que el parámetro de posición (pj) se puede cambiar con base en el primer objeto (O) capturado en la imagen fotografiada (I).

11. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 10, en donde el primer modelo (M0j) tiene una forma tridimensional con una profundidad.

12. El sistema de generación de modelos 3D (1) de acuerdo con cualquiera de las reivindicaciones 1 a 11, en donde el primer objeto (O) son muebles dispuestos en la habitación.

13. Un método de generación de modelos 3D que comprende:

una etapa de adquisición de imagen fotografiada para adquirir una imagen fotografiada (I) en la que se capturan un primer objeto (O) y un segundo objeto (W) cada uno dispuesto en un espacio real, el segundo objeto (W) son las paredes de una habitación en la que se dispone el primer objeto (O);

una etapa de generación de imagen virtual para generar una imagen virtual (D) en la que un primer modelo (M0j) que representa el primer objeto (O) y un segundo modelo (M^w) que representa el segundo objeto (W) están dispuestos en un espacio virtual, el primer objeto (O) es de tamaño estándar, el segundo objeto (W) no es de tamaño estándar, en donde una cámara virtual que adquiere la imagen virtual (D) y una cámara que adquiere la imagen fotografiada (I) tienen parámetros correspondientes y puntos de vista con respecto a, respectivamente, al segundo modelo y al segundo objeto; y

una etapa de determinación de parámetros para realizar un proceso de determinación para determinar un parámetro de tamaño (A) que indica un tamaño del segundo modelo (Mw), y un parámetro de posición (pj) que indica una posición del primer modelo (M0j), con base en un resultado de comparar la imagen fotografiada (I) con la imagen virtual (D),

en donde el proceso de determinación comprende:

generar un mapa de orientación de la imagen fotografiada (I) y un mapa de orientación de la imagen virtual (D), los mapas de orientación que indican las orientaciones de los objetos capturados en píxeles respectivos de las imágenes respectivas, con base en las relaciones de posición entre los segmentos de línea que indican los contornos de los respectivos objetos capturados en las respectivas imágenes;

enmascarar el primer objeto (O) en el mapa de orientación de la imagen fotografiada para generar un primer mapa de orientación enmascarado;

enmascarar el primer modelo (M0j) en el mapa de orientación de la imagen virtual (D) para generar un segundo mapa de orientación enmascarado; y

realizar un proceso de comparación para comparar el primer mapa de orientación enmascarado con el segundo mapa de orientación enmascarado, y ajustar los valores iniciales del parámetro de tamaño (A) y el parámetro de posición (pj), con base en el proceso de comparación, para aumentar la coincidencia entre el primer mapa de orientación enmascarado y el segundo mapa de orientación enmascarado.

14. Un programa para hacer que un ordenador funcione como:

medios de adquisición de imágenes fotografiadas (101) para adquirir una imagen fotografiada (I) en los que se capturan un primer objeto (O) y un segundo objeto (W) dispuestos cada uno en un espacio real, el segundo objeto (W) son las paredes de una habitación en la que se dispone el primer objeto (O);

medios de generación de imágenes virtuales (105) para generar una imagen virtual (D) en los que un primer modelo (M0j) que representa el primer objeto (O) y un segundo modelo (Mw) que representa el segundo objeto (W) están dispuestos en un espacio virtual, el primer objeto (O) es de tamaño estándar, el segundo objeto (W) no es de tamaño estándar, en donde una cámara virtual que adquiere la imagen virtual (D) y una cámara que adquiere la imagen fotografiada (I) tienen parámetros y puntos de vista correspondientes con respecto a, respectivamente, al segundo modelo y al segundo objeto; y

medios de determinación de parámetros (106) para realizar un proceso de determinación para determinar un parámetro de tamaño (A) que indica un tamaño del segundo modelo (Mw), y un parámetro de posición (pj) que indica una posición del primer modelo (M0j), con base en un resultado de comparar la imagen fotografiada (I) con la imagen virtual (D),

en donde el proceso de determinación comprende:

generar un mapa de orientación de la imagen fotografiada (I) y un mapa de orientación de la imagen virtual (D), los mapas de orientación que indican las orientaciones de los objetos capturados en píxeles respectivos de las imágenes respectivas, con base en las relaciones de posición entre los segmentos de línea que indican los contornos de los respectivos objetos capturados en las respectivas imágenes;

enmascarar el primer objeto (O) en el mapa de orientación de la imagen fotografiada para generar un primer mapa de orientación enmascarado;

enmascarar el primer modelo (M0j) en el mapa de orientación de la imagen virtual (D) para generar un segundo mapa de orientación enmascarado; y

realizar un proceso de comparación para comparar el primer mapa de orientación enmascarado con el segundo mapa de orientación enmascarado, y ajustar los valores iniciales del parámetro de tamaño (A) y el parámetro de posición (pj), con base en el proceso de comparación, para aumentar la coincidencia entre el primer mapa de orientación enmascarado y el segundo mapa de orientación enmascarado.