ES2818563T3 - Método y aparato de modelado tridimensional - Google Patents

Método y aparato de modelado tridimensional Download PDF

Info

Publication number
ES2818563T3
ES2818563T3 ES16764182T ES16764182T ES2818563T3 ES 2818563 T3 ES2818563 T3 ES 2818563T3 ES 16764182 T ES16764182 T ES 16764182T ES 16764182 T ES16764182 T ES 16764182T ES 2818563 T3 ES2818563 T3 ES 2818563T3
Authority
ES
Spain
Prior art keywords
image
grid
points
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16764182T
Other languages
English (en)
Inventor
Jie Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Application granted granted Critical
Publication of ES2818563T3 publication Critical patent/ES2818563T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Un método para generar un modelo tridimensional de un objeto, caracterizado porque el método comprende: capturar respectivamente una primera imagen de un objeto (S11) desde una primera dirección y una segunda imagen del objeto (S11) desde una segunda dirección; identificar una pluralidad de puntos característicos en la primera imagen (S12), en donde identificar la pluralidad de puntos característicos comprende identificar múltiples puntos característicos iniciales en la primera imagen (S121), asociar la primera imagen con una primera cuadrícula preestablecida que comprende múltiples celdas de cuadrícula (S122), calcular las distancias desde los múltiples puntos característicos iniciales identificados hasta los centros de las celdas de la cuadrícula de la primera cuadrícula en la que se encuentran los puntos característicos iniciales, y determinar, en cada una de las celdas de la cuadrícula de la primera cuadrícula, un punto característico inicial más cercano al centro de una celda de la cuadrícula en la que el punto característico inicial se encuentra como un punto característico, en donde si una celda de la cuadrícula de la primera cuadrícula carece de un punto característico inicial, el centro de la celda de la cuadrícula se determina como un punto característico dentro la celda de la cuadrícula; determinar, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un punto característico coincidente en la segunda imagen que corresponde al punto característico en la pluralidad identificada de puntos característicos en la primera imagen (S13); calcular una pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes, en donde cada valor en la pluralidad calculada de valores representa una similitud entre i) un punto característico respectivo en la pluralidad identificada de puntos característicos en la primera imagen y ii) un punto característico coincidente en la segunda imagen que corresponde al punto característico respectivo; calcular, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un valor de profundidad del punto característico en relación con un plano de visualización, en donde calcular un valor de profundidad de un punto característico comprende combinar valores de profundidad del punto característico en un ángulo de elevación, ángulo de deflexión y ángulo de rotación (S14); realizar cálculos compensados sobre los valores de profundidad de la pluralidad de puntos característicos de acuerdo con la pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes (S15), en donde realizar cálculos compensados sobre los valores de profundidad de la pluralidad de puntos característicos comprende calcular, para cada uno de la pluralidad de puntos característicos, un valor de profundidad compensado, en donde el valor de profundidad compensado comprende el valor de profundidad calculado del punto característico, multiplicado por una suma de valores que representan similitudes de todos los puntos característicos en la pluralidad de puntos característicos excepto el punto característico, y dividido por una suma de valores que representan similitudes de todos los puntos característicos; y generar un modelo tridimensional del objeto basado en los valores de profundidad compensados calculados de la pluralidad de puntos característicos (S16).

Description

DESCRIPCIÓN
Método y aparato de modelado tridimensional
Referencia cruzada a solicitudes relacionadas
La presente solicitud reivindica la prioridad de la Solicitud de Patente China núm. 201510117117.2, presentada el 17 de marzo de 2015 y titulada "THREE-DIMENSIONAL MODELING METHOD AND APPARATUS".
Campo Técnico
La presente solicitud se refiere al campo técnico de los ordenadores y, en particular, a un método y aparato de modelado tridimensional.
Técnica Anterior
En el campo de la visión por ordenador, el modelado tridimensional para un objeto basado en datos de imágenes 2D se ha aplicado ampliamente. La información incluida en una imagen 2D, como corrientes de luz, sombras y textura, puede utilizarse para determinar la profundidad de un objeto, construyendo así un modelo tridimensional. Sin embargo, la cantidad de cálculo para adquirir un valor de profundidad por medio de información, como corrientes de luz, sombras y textura, es extremadamente grande. Tomando un dispositivo móvil como un teléfono móvil como ejemplo, un procesador integrado tiene dificultades para realizar cálculos en tiempo real sobre la información anterior, lo que limita la aplicación de algunos servicios o funciones basados en modelos tridimensionales en el dispositivo móvil como un teléfono móvil.
Por otro lado, si la cantidad de procesamiento de información se reduce para acomodar la capacidad de cálculo del procesador de un dispositivo móvil, como un teléfono móvil, la precisión del modelado tridimensional posiblemente se reducirá.
El documento US 2013/100256 A1 describe métodos y sistemas para generar un mapa de profundidad. El método incluye proyectar un patrón de puntos infrarrojos en una escena, capturar imágenes estéreo de cada una de dos o más cámaras infrarrojas sincronizadas, detectar una cantidad de puntos dentro de las imágenes estéreo, calcular una cantidad de descriptores de características para los puntos en las imágenes estéreo, y calcular un mapa de disparidad entre las imágenes estéreo.
El documento EP 1510 973 A2 describe un aparato y un método para el modelado de cabeza fotorrealista en 3D basado en imágenes. El método incluye: detección de características frontales y de perfil en imágenes de perfil y frontal de entrada; generar un modelo de cabeza en 3D ajustando un modelo genético en 3D utilizando los rasgos faciales detectados; generar una textura realista a partir de las imágenes de perfil y frontal de entrada; y mapear la textura en el modelo de cabeza en 3D.
El documento WO 2014/186970 A1 describe un método para generar un modelo tridimensional (3D).
Resumen de la Invención
La presente invención se define por las reivindicaciones. Las modalidades de la presente solicitud proporcionan un método y aparato para generar un modelo tridimensional de un objeto, con el fin de resolver el problema del modelado tridimensional en la técnica anterior que requiere una gran cantidad de cálculos que no se implementan fácilmente en un dispositivo móvil, como un teléfono móvil.
Se proporciona un método para generar un modelo tridimensional de un objeto en una modalidad de la presente solicitud, que comprende: capturar respectivamente una primera imagen de un objeto desde una primera dirección y una segunda imagen del objeto desde una segunda dirección; identificar una pluralidad de puntos característicos en la primera imagen, en donde identificar la pluralidad de puntos característicos comprende identificar múltiples puntos característicos iniciales en la primera imagen, asociar la primera imagen con una primera cuadrícula preestablecida que comprende múltiples celdas de cuadrícula, calcular distancias los múltiples puntos característicos iniciales identificados hasta los centros de las celdas de la cuadrícula de la primera cuadrícula en la que se encuentran los puntos característicos iniciales, y determinar, en las celdas de la cuadrícula de la primera cuadrícula, un punto característico inicial más cercano al centro de una celda de la cuadrícula donde el punto característico inicial se encuentra como un punto característico, en donde si una celda de la cuadrícula de la primera cuadrícula carece de un punto característico inicial, el centro de la celda de la cuadrícula se determina como un punto característico dentro de la celda de la cuadrícula; determinar, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un punto característico coincidente en la segunda imagen que corresponde al punto característico en la pluralidad identificada de puntos característicos en la primera imagen; calcular una pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes, en donde cada valor en la pluralidad calculada de valores representa una similitud entre i) un punto característico respectivo en la pluralidad identificada de puntos característicos en la primera imagen y ii) un punto característico coincidente en la segunda imagen que corresponde al punto característico respectivo; calcular, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un valor de profundidad del punto característico en relación con un plano de visualización, en donde calcular los valores de profundidad de un punto característico comprende combinar valores de profundidad del punto característico en un ángulo de elevación, ángulo de deflexión y ángulo de rotación; realizar cálculos compensados sobre los valores de profundidad de la pluralidad de puntos característicos de acuerdo con la pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes, en donde realizar cálculos de peso sobre los valores de profundidad de la pluralidad de puntos característicos comprende calcular, para cada uno de la pluralidad de puntos característicos, un valor de profundidad compensado, en donde el valor de profundidad compensado comprende el valor de profundidad calculado del punto característico, multiplicado por una suma de valores que representan similitudes de todos los puntos característicos en la pluralidad de puntos característicos excepto el punto característico y dividido por una suma de valores que representan similitudes de todos los puntos característicos; y generar un modelo tridimensional del objeto basado en los valores de profundidad compensados calculados de la pluralidad de puntos característicos.
En una modalidad de la presente solicitud se proporciona un aparato para generar un modelo tridimensional de un objeto, que comprende múltiples módulos configurados para realizar el método para generar un modelo tridimensional de un objeto descrito anteriormente.
Las modalidades de la presente solicitud proporcionan un método y un aparato de modelado tridimensional. El método implica: capturar imágenes en al menos dos direcciones diferentes de un objeto, adquirir puntos característicos en una de las imágenes y determinar los puntos característicos coincidentes correspondientes en las imágenes en las direcciones restantes, para calcular los valores de profundidad de los diversos puntos característicos; y realizar cálculos compensados sobre los valores de profundidad de los diversos puntos característicos con similitudes entre los puntos característicos y los puntos característicos coincidentes, y realizar un modelado tridimensional en el objeto utilizando los valores de profundidad de los diversos puntos característicos después de haber sido sometido al cálculo compensado, de modo que el método reduce efectivamente la cantidad de cálculo del modelado tridimensional, se implementa fácilmente en un dispositivo móvil, como un teléfono móvil, y tiene una precisión relativamente alta.
Breve Descripción de los Dibujos
Los dibujos descritos en el presente documento se utilizan para proporcionar una mejor comprensión de la presente solicitud, que constituyen una parte de la presente solicitud. Las modalidades ilustrativas de la presente solicitud y la descripción de la misma se usan para explicar la presente solicitud y no constituyen una limitación de la presente solicitud. En los dibujos:
La Figura 1 es un diagrama de flujo esquemático de modelado tridimensional proporcionado en una modalidad de la presente solicitud;
La Figura 2 es un diagrama de flujo de la adquisición de puntos característicos proporcionados en una modalidad de la presente solicitud;
La Figura 3 es un diagrama de flujo para determinar puntos característicos coincidentes en una segunda imagen que corresponden a puntos característicos en una primera imagen proporcionada en una modalidad de la presente solicitud;
La Figura 4 es un diagrama de flujo de cálculo de similitudes entre puntos característicos y puntos característicos coincidentes proporcionados en una modalidad de la presente solicitud;
La Figura 5 es un diagrama esquemático de coordenadas cuando un rostro humano gira en un ángulo a de elevación en el sentido de las agujas del reloj desde el eje Y al eje Z en un plano YZ proporcionado en una modalidad de la presente solicitud;
La Figura 6 es un diagrama esquemático de coordenadas cuando un rostro humano gira en un ángulo p de desviación en sentido antihorario desde el eje X al eje Z en un plano XZ proporcionado en una modalidad de la presente solicitud;
La Figura 7 es un diagrama esquemático de coordenadas cuando un rostro humano gira en un ángulo y de rotación en sentido antihorario desde el eje X al eje Y en un plano XY proporcionado en una modalidad de la presente solicitud;
La Figura 8 es un diagrama esquemático de puntos característicos iniciales adquiridos en una primera imagen proporcionada en una modalidad de la presente solicitud;
La Figura 9 es un diagrama esquemático de la selección de puntos característicos iniciales utilizando una primera cuadrícula proporcionada en una modalidad de la presente solicitud;
La Figura 10 es un diagrama esquemático de búsqueda, en una segunda imagen, de un punto característico coincidente A' correspondiente a un punto característico A en una primera imagen proporcionada en una modalidad de la presente solicitud;
La Figura 11 es un diagrama de flujo esquemático de modelado tridimensional proporcionado en otra modalidad de la presente solicitud;
La Figura 12 es un diagrama esquemático de una imagen de la cara frontal, una imagen de la cara frontal elevada, una imagen de la cara frontal inclinada a la izquierda y una imagen de la cara frontal inclinada a la derecha de un rostro humano capturado utilizando un teléfono móvil proporcionado en otra modalidad de la presente solicitud; y La Figura 13 es un diagrama esquemático de módulos de un aparato de modelado tridimensional proporcionado en una modalidad de la presente solicitud.
Descripción Detallada de las Modalidades
Con el fin de hacer más claros el objeto, la solución técnica y las ventajas de la presente solicitud, la solución técnica de la presente solicitud se describirá clara y completamente junto con las modalidades particulares de la presente solicitud y los dibujos correspondientes a continuación. Obviamente, las modalidades descritas son simplemente algunas modalidades de la presente solicitud en lugar de todas las modalidades. Basándose en las modalidades de la presente solicitud, todas las demás modalidades obtenidas por los expertos en la técnica sin ningún esfuerzo inventivo caen todas dentro del alcance de protección de la presente solicitud.
La Figura 1 es un proceso de modelado tridimensional proporcionado en una modalidad de la presente solicitud, que comprende específicamente los pasos de:
S11: capturar respectivamente una primera imagen en una primera dirección y una segunda imagen en una segunda dirección de un objeto.
En la modalidad de la presente solicitud, el objeto comprende varios objetos que tienen una construcción tridimensional, por ejemplo, un rostro humano. La primera imagen y la segunda imagen pueden tener diferencias específicas en términos de ángulo de elevación, ángulo de desviación y ángulo de rotación entre sí. Tanto la primera imagen como la segunda imagen contienen canales RGB (es decir, la primera imagen y la segunda imagen son imágenes en color) y los píxeles de ambas imágenes están por encima de 392 x 440. Por supuesto, en modalidades sustituidas, la primera imagen y la segunda imagen también pueden ser mapas en escala de grises.
En cooperación con la referencia a las Figuras 5-7, tomando un rostro humano como ejemplo, se explican el ángulo de elevación, el ángulo de deflexión y el ángulo de rotación como se describe en la presente solicitud. Tomando como referencia una imagen de la cara frontal del rostro humano, el eje X se define como un eje horizontal de la cara frontal del rostro humano, el eje Y se define como un eje vertical de la cara frontal del rostro humano, mientras que el eje Z es perpendicular al eje X y al eje Y, y el eje Z indica la profundidad de las características del rostro humano. Como se muestra en la Figura 5, el ángulo a de elevación es un ángulo para que el rostro humano gire en el sentido de las agujas del reloj desde el eje Y al eje Z en el plano YZ; como se muestra en la Figura 6, el ángulo p de deflexión es un ángulo para que el rostro humano gire en sentido antihorario desde el eje X al eje Z en el plano XZ; y como se muestra en la Figura 7, el ángulo y de rotación es un ángulo para que el rostro humano gire en sentido antihorario desde el eje X al eje Y en el plano XY.
S12: adquirir una pluralidad de puntos característicos en la primera imagen.
En la modalidad de la presente solicitud, la adquisición de los puntos característicos puede utilizar el método de detección de bordes, para adquirir puntos con cambios significativos en el brillo en la primera imagen. Al mismo tiempo, la detección del borde de la imagen puede reducir en gran medida la cantidad de procesamiento de datos, al tiempo que conserva importantes atributos estructurales de la imagen, tales como: discontinuidad en profundidad, discontinuidad en la dirección de la superficie, cambio de propiedad del material, cambio de iluminación del escenario.
Con referencia a la Figura 2, se introducen los pasos de adquirir una pluralidad de puntos característicos en la primera imagen en el paso S12, que comprenden:
S121: adquirir varios puntos característicos iniciales en la primera imagen.
Con referencia a la Figura 8, la adquisición de los puntos característicos iniciales (puntos indicados por marcas en cruz en la Figura 8) en el presente documento utiliza el método de detección de bordes, y estos puntos característicos iniciales reflejan perfiles característicos de bordes, cinco órganos de los sentidos en el rostro humano. S122: hacer coincidir la primera imagen con una primera cuadrícula preestablecida.
Con referencia a la Figura 9, en la modalidad de la presente solicitud, las celdas de la cuadrícula en la primera cuadrícula se definen como cuadrados y, por supuesto, las celdas de la cuadrícula de la primera cuadrícula también pueden estar predefinidas como una pluralidad de formas tales como un triángulo o hexágono regular de acuerdo con los requisitos. Por medio de este paso, los varios puntos característicos iniciales de la primera imagen pueden caer respectivamente en varias celdas de la primera cuadrícula. Debe tenerse en cuenta que, en escenarios de aplicación práctica, por ejemplo, en un teléfono móvil, la coincidencia de la primera imagen y la primera cuadrícula se logra mediante el procesamiento operativo de un procesador de datos dentro del teléfono móvil, en lugar de retroalimentarse necesariamente visualmente.
S123: seleccionar los varios puntos característicos iniciales hasta que el número de puntos característicos iniciales retenidos en las celdas de la cuadrícula de la primera cuadrícula sea igual y determinarlos como puntos característicos.
Aun tomando un rostro humano como ejemplo, dado que las características en él no se distribuyen uniformemente, cuando se utiliza la detección de bordes para adquirir los puntos característicos iniciales, la distribución de puntos característicos iniciales en algunas regiones en la primera imagen puede obviamente ser más intensa en relación con las otras regiones. Sin embargo, en aplicaciones de un dispositivo móvil, por ejemplo, un teléfono móvil, realizar un cálculo de profundidad en todos estos puntos característicos iniciales adquiridos es obviamente difícil de lograr e innecesario. La utilización de una primera cuadrícula para seleccionar estos puntos característicos iniciales puede garantizar que los puntos característicos iniciales después de la selección aún puedan reflejar formas básicas del rostro humano, mientras que la cantidad de cálculo de datos se reduce considerablemente.
Debe tenerse en cuenta que, aunque en esta modalidad, el estándar es asegurar que el número de puntos característicos iniciales retenidos en las celdas de la cuadrícula de la primera cuadrícula sea igual para seleccionar los varios puntos característicos iniciales, en algunas modalidades sustituidas, otros estándares de selección también pueden usarse, por ejemplo: establecer que la diferencia entre el número de puntos característicos iniciales en varias celdas de la cuadrícula no sea mayor que un umbral predeterminado.
Con referencia a la Figura 10, en la modalidad de la presente solicitud, el proceso de selección específica para los puntos característicos iniciales es el siguiente: primero, calcular las distancias desde los varios puntos característicos iniciales a los centros de las celdas de la cuadrícula de la primera cuadrícula donde estos puntos se ubican y luego se determina, en las celdas de la cuadrícula de la primera cuadrícula, un punto característico inicial más cercano al centro de la celda de cuadrícula donde este punto se encuentra como el punto característico. En este proceso, puede surgir un caso en el que ciertas celdas de la primera cuadrícula carecen de puntos característicos iniciales y, en este caso, los centros de estas celdas de la cuadrícula (puntos indicados por círculos huecos en la Figura 10) se determinan como puntos característicos en ellas.
Por supuesto, en algunas modalidades sustituidas, los valores promedio de las coordenadas de los puntos característicos iniciales de las diversas celdas de la cuadrícula también pueden resolverse, y los puntos correspondientes a los valores de coordenadas promedio obtenidos se toman como puntos característicos retenidos en las celdas de la cuadrícula correspondientes en la primera cuadrícula.
S13: determinación de puntos característicos coincidentes en la segunda imagen que corresponden a la pluralidad de puntos característicos.
En cooperación con referencia a las Figuras 9 y 10, aun tomando un rostro humano como ejemplo, asumiendo que un punto característico A en la punta de la nariz se adquiere en la primera imagen, entonces el objetivo del paso 13 es buscar la posición donde la punta de la nariz se ubica (es decir, las coordenadas de un punto característico coincidente A') en la segunda imagen, y luego establece una correlación entre una pluralidad de puntos característicos y puntos característicos coincidentes en la primera imagen y la segunda imagen de acuerdo con este método.
Con referencia a la Figura 3, se introducen los pasos específicos para determinar los puntos característicos coincidentes en el paso S13, que comprenden:
S131: determinar, de acuerdo con la información de dirección sobre la primera imagen y la segunda imagen, puntos característicos de coincidencia previa en la segunda imagen que corresponden a la pluralidad de puntos característicos.
La información de dirección sobre la primera imagen y la segunda imagen puede determinarse mediante una pluralidad de medios. Tomando como ejemplo fotografiar a un rostro humano con un teléfono móvil:
En una modalidad, si se utiliza una cámara para capturar continuamente la primera imagen y la segunda imagen, entonces la información de dirección sobre la primera imagen y la segunda imagen puede determinarse directamente por medio de un sensor de movimiento (como un giroscopio, una brújula, un acelerómetro) integrado en el teléfono móvil.
Continuamente haciendo referencia a las Figuras 5-7, en otra modalidad, si se utiliza una cámara para capturar respectivamente la primera imagen y la segunda imagen, la información de dirección sobre la primera imagen y la segunda imagen puede determinarse, por ejemplo, por medio de un algoritmo de medición de la postura. Específicamente, asumiendo que la rotación del rostro humano se determina en base a un supuesto centro de rotación C, mediante el conocimiento de anatomía biológica existente, las coordenadas Cx, Cy y Cz del centro de rotación pueden estimarse aproximadamente, mientras que la distancia r desde el centro de rotación C hasta el centro de los dos ojos del rostro humano puede utilizarse para medir el ángulo a de elevación, el ángulo p de deflexión y el ángulo y de rotación descritos anteriormente. Al mismo tiempo, en base a los siguientes valores que pueden estimarse de forma aproximada: las coordenadas (Ux, Uy) en la primera imagen y las coordenadas (Vx, Vy) en la segunda imagen de la posición del centro de los dos ojos del rostro humano y la profundidad Ez de la posición del centro de los dos ojos cuando el rostro humano es una imagen de la cara frontal, las fórmulas de cálculo para el ángulo a de elevación, el ángulo p de deflexión y el ángulo y de rotación pueden obtenerse de la siguiente manera:
ángulo de elevación a=sen-1 (Vy-Cy^ -sen-1 (Uy-Cy),
Figure imgf000006_0001
ángulo de deflexión p=sen-1 ^Vx~Gx^ -sen-1 ^Ux~Gxj,
Figure imgf000006_0002
S132: hacer coincidir la segunda imagen con una segunda cuadrícula preestablecida.
Con referencia a la Figura 10, similar a la primera cuadrícula, en la modalidad de la presente solicitud, se utilizan cuadrados como celdas de cuadrícula de la segunda cuadrícula. Además, el área de las celdas de la cuadrícula de la segunda cuadrícula se establece como más pequeña que la de las celdas de la cuadrícula de la primera cuadrícula (es decir: en la primera cuadrícula y la segunda cuadrícula de la misma área, más celdas de cuadrícula en relación con la primera cuadrícula se dividen en las segundas celdas de la cuadrícula), para mejorar la precisión de la determinación de los puntos característicos coincidentes en el siguiente paso.
S133: determinación de los centros de las celdas de la cuadrícula de la segunda cuadrícula donde los puntos característicos de coincidencia previa se encuentran como los puntos característicos coincidentes correspondientes. S14: cálculo de similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes y valores de profundidad de la pluralidad de puntos característicos.
Con referencia a la Figura 4, se introducen los pasos específicos de calcular similitudes entre los puntos característicos y los puntos característicos coincidentes en el paso S14, que comprenden:
S141: adquirir valores de color de todos los píxeles dentro de las celdas de la cuadrícula de la primera cuadrícula donde se encuentran la pluralidad de puntos característicos.
S142: adquirir valores de color de todos los píxeles dentro de las celdas de la cuadrícula de la segunda cuadrícula donde se ubica la pluralidad de puntos característicos coincidentes.
Los "valores de color" como se describen en el paso S141 y el paso S142 se refieren a valores de color de píxeles en tres canales, R, G y B.
S143: calcular respectivamente los errores de valor de color promedio entre todos los píxeles dentro de las celdas de la cuadrícula de la primera cuadrícula donde se encuentran la pluralidad de puntos característicos y aquellos dentro de las celdas de la cuadrícula de la segunda cuadrícula donde se encuentran los puntos característicos coincidentes correspondientes, y determinar, de acuerdo con los errores de valor de color medio, las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes. La fórmula de cálculo para el error de valor de color promedio S es la siguiente:
R(Fi j, Si j)+G(Fi j, Si j)+B(Fij, Si j)
3||F||
i j
donde i y j son valores de coordenadas de píxeles dentro de las celdas de la cuadrícula de la primera cuadrícula, F¡j es un punto característico donde un píxel está en una posición de (i, j), S¡j es un punto característico coincidente donde un píxel está en una posición de (i, j), R(Fj, Sj) es un valor absoluto de la diferencia entre los puntos Fj y Sj en el canal R, G(Fj, Sj) es un valor absoluto de la diferencia entre los puntos Fj y Sj en el canal G, B(Fj, Sj) es un valor absoluto de la diferencia entre los puntos Fj y Sj en el canal B, ||F|| es el área de las celdas de la cuadrícula de la primera cuadrícula (es decir: los valores de píxeles contenidos dentro de las celdas de la cuadrícula de la primera cuadrícula), y A es una constante, y la fórmula de cálculo es la siguiente:
Figure imgf000007_0001
|sp.x-fp.x| | |sp.y-fp.y|,
máx X máx Y ’
donde máxX y máxY son los valores de distancia más lejanos (en píxeles) de los puntos característicos correspondientes dentro de una celda de la primera cuadrícula; y fp.x y fp.y son valores de coordenadas de los puntos característicos, y sp.x y sp.y son valores de coordenadas de los puntos característicos coincidentes.
Las similitudes entre los puntos característicos y los puntos característicos coincidentes se determinan de acuerdo con los valores de los errores de valor de color promedio obtenidos a través del cálculo, y cuanto mayor es el error de valor de color promedio, menor es la similitud entre un punto característico y un punto característico coincidente. Los puntos característicos pueden seleccionarse utilizando las similitudes entre los puntos característicos y los puntos característicos coincidentes. Específicamente:
determinar primero un umbral de descarte de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes, y luego seleccionar, de la pluralidad de puntos característicos, los puntos característicos cuyas similitudes con los puntos característicos coincidentes correspondientes son menores que el umbral de descarte. Cuando la similitud entre un punto característico y el punto característico coincidente correspondiente es menor que el umbral de descarte, se indica que el punto característico coincidente en este momento no es un punto que realmente corresponde al punto característico de la segunda imagen, y se determina que la coincidencia de puntos característicos ha fallado en este momento, mientras que estos puntos característicos que han fallado en la coincidencia no participan en el cálculo de modelado tridimensional posterior.
Continuamente haciendo referencia a las Figuras 5-7, el valor de profundidad de un punto característico se obtiene sintetizando las profundidades del punto característico coincidente en un ángulo de elevación, ángulo de deflexión y ángulo de rotación, y realizando cálculos en combinación con los valores de profundidad en estos diferentes ángulos puede permitir que los ángulos tengan una mayor influencia y mejorar la precisión del resultado del cálculo del valor de profundidad. Específicamente,
el valor de profundidad de un punto característico en un ángulo de elevación es
(Vy- Cy) -(Uy- Cy)co sa ,
Za=Czsena
el valor de profundidad de un punto característico en un ángulo de deflexión es
^ (Vx- Cx)-(Ux- c x) cos p y
Zp=CZ senp
el valor de profundidad de un punto característico en un ángulo de rotación es
ZY= UY cosY-UXsen y ; y
la fórmula de cálculo del valor de profundidad Z se obtiene sintetizando Za, Zp y Zy de la siguiente manera:
sena senp senY
Z=Za +Z
sena+senp+senY +z p sena+senp+senY sena+senp+senY
S15: realizar un cálculo compensado de los valores de profundidad de la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes.
Específicamente, una fórmula para realizar cálculos compensados sobre los valores de profundidad de los puntos característicos es la siguiente:
valor de profundidad compensado = valor de profundidad Z x (suma de los errores de valor de color promedio de todos los puntos característicos excepto los puntos característicos que se someterán al cálculo compensado/suma de los errores de valor de color promedio de todos los puntos característicos).
S16: modalidad de modelado tridimensional en el objeto basado en los valores de profundidad de la pluralidad de puntos característicos después de haber sido sometido al cálculo compensado.
En la modalidad de la presente solicitud, el modelado tridimensional adopta una cuadrícula triangular, y los vértices de la cuadrícula triangular son puntos característicos respectivos. Por supuesto, en otras modalidades sustituidas, también puede usarse un método, por ejemplo, modelado de polígonos.
La Figura 11 es un proceso de modelado tridimensional proporcionado en otra modalidad de la presente solicitud, que comprende específicamente los pasos de:
S21: captura de imágenes de un objeto en una pluralidad de direcciones.
S22: adquirir una pluralidad de puntos característicos en una de las pluralidades de imágenes.
S23: determinar respectivamente puntos característicos coincidentes en las imágenes restantes que corresponden a la pluralidad de puntos característicos.
S24: calcular respectivamente similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes en las imágenes restantes y los valores de profundidad de estos puntos característicos coincidentes.
S25: calcular los valores de profundidad de la pluralidad de puntos característicos de acuerdo con la información de dirección sobre la pluralidad de imágenes y los valores de profundidad de los puntos característicos coincidentes. S26: realizar un cálculo compensado de los valores de profundidad de la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes en las imágenes restantes.
S27: modalidad de un modelado tridimensional del objeto en función de los valores de profundidad de la pluralidad de puntos característicos después de haber sido sometido al cálculo compensado.
Con referencia a la Figura 12, aun tomando como ejemplo el uso de un teléfono móvil para realizar modelado tridimensional en un rostro humano, una primera imagen del objeto en una dirección de referencia y una segunda imagen, una tercera imagen y una cuarta imagen se capturan en tres direcciones que se desvían de la dirección de referencia. Además, la primera imagen, la segunda imagen, la tercera imagen y la cuarta imagen son respectivamente una imagen de la cara frontal, una imagen elevada de la cara frontal, una imagen de la cara frontal inclinada hacia la izquierda y una imagen de la cara frontal inclinada hacia la derecha del rostro humano. De esta manera, los puntos característicos coincidentes correspondientes a los puntos característicos capturados en la imagen de la cara frontal del rostro humano pueden encontrarse sustancialmente en al menos una de las imágenes de la cara frontal elevada, la imagen de la cara frontal inclinada hacia la izquierda y la imagen de la cara frontal inclinada hacia la derecha y, por lo tanto, el proceso de cálculo del valor de profundidad de cada punto característico en la imagen de la cara frontal del rostro humano ha sintetizado el factor de ángulos, lo que garantiza que el valor de profundidad obtenido a través del cálculo tenga una mayor precisión.
En esta modalidad, se describe el método de modelado tridimensional de la presente solicitud tomando como ejemplo la captura de cuatro imágenes, pero esto no es una limitación, y de acuerdo con los entornos específicos de aplicación y la diferencia de requisitos de precisión, el número de imágenes capturadas también puede ajustarse de forma adaptativa. Además, dado que esta modalidad no implica mejoras para otras etapas de la última modalidad, esas etapas no se describirán de otra manera en el presente documento, y el método y aparato descritos en detalle en la última modalidad pueden aplicarse en esta modalidad en su totalidad.
La Figura 13 es un diagrama esquemático de módulos de un aparato de modelado tridimensional proporcionado en una modalidad de la presente solicitud, que comprende específicamente:
un módulo de captura de imágenes 31 para capturar respectivamente una primera imagen en una primera dirección y una segunda imagen en una segunda dirección de un objeto;
un módulo de detección de características 32 para adquirir una pluralidad de puntos característicos en la primera imagen;
un módulo de coincidencia 33 para determinar puntos característicos coincidentes en la segunda imagen que corresponden a la pluralidad de puntos característicos;
un módulo de cálculo 34 para calcular similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes y valores de profundidad de la pluralidad de puntos característicos, y realizar cálculos compensados sobre los valores de profundidad de la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes; y
un módulo de generación de modelos 36 para realizar un modelado tridimensional en el objeto en base a los valores de profundidad de la pluralidad de puntos característicos después de haber sido sometidos al cálculo compensado. En la modalidad de la presente solicitud, el módulo de detección de características 32 se usa específicamente para: adquirir varios puntos característicos iniciales en la primera imagen, hacer coincidir la primera imagen con una primera cuadrícula preestablecida y seleccionar los diversos puntos característicos iniciales hasta que los números de los puntos característicos iniciales retenidos en las celdas de la cuadrícula de la primera cuadrícula son iguales, y determinarlos como puntos característicos.
En la modalidad de la presente solicitud, el módulo de detección de características 32 comprende una unidad de cálculo 321, y la unidad de cálculo 321 se usa específicamente para: calcular distancias desde los varios puntos característicos iniciales a los centros de las celdas de la cuadrícula de la primera cuadrícula donde estos puntos están localizados; y el módulo de detección de características 32 se usa específicamente para determinar, en las celdas de la cuadrícula de la primera cuadrícula, un punto característico inicial más cercano al centro de la celda de la cuadrícula donde este punto está ubicado como el punto característico.
En la modalidad de la presente solicitud, el módulo de detección de características 32 se usa además para: cuando una celda de la cuadrícula de la primera cuadrícula está desprovista de los puntos característicos iniciales, determinar el centro de la celda de la cuadrícula como un punto característico dentro de la celda de la cuadrícula. En la modalidad de la presente solicitud, el módulo de coincidencia 33 se usa específicamente para: determinar, de acuerdo con la información de dirección sobre la primera imagen y la segunda imagen, puntos característicos de coincidencia previa en la segunda imagen que corresponden a la pluralidad de puntos característicos, hacer coincidir la segunda imagen con una segunda cuadrícula preestablecida y determinar los centros de las celdas de la cuadrícula de la segunda cuadrícula donde los puntos característicos de coincidencia previa se encuentran como los puntos característicos coincidentes correspondientes.
En la modalidad de la presente solicitud, el módulo de cálculo 34 se usa específicamente para: adquirir valores de color de todos los píxeles dentro de las celdas de la cuadrícula de la primera cuadrícula donde se encuentran la pluralidad de puntos característicos, adquirir valores de color de todos los píxeles dentro de las celdas de la cuadrícula de la segunda cuadrícula donde se ubica la pluralidad de puntos característicos coincidentes, y calculando respectivamente los errores de valor de color promedio entre todos los píxeles dentro de las celdas de la cuadrícula de la primera cuadrícula donde se encuentran la pluralidad de puntos característicos y aquellos dentro de las celdas de la cuadrícula de la segunda cuadrícula donde se ubican los puntos característicos coincidentes correspondientes, y determinar, de acuerdo con los errores de valor de color promedio, las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes.
En la modalidad de la presente solicitud, una fórmula para realizar un cálculo compensado de los valores de profundidad de la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes es la siguiente:
valor de profundidad compensado = valor de profundidad Z x (suma de los errores de valor de color promedio de todos los puntos característicos excepto los puntos característicos que se someterán al cálculo compensado/suma de los errores de valor de color promedio de todos los puntos característicos).
En la modalidad de la presente solicitud, el área de las celdas de la cuadrícula de la segunda cuadrícula es más pequeña que el área de las celdas de la cuadrícula de la primera cuadrícula.
En la modalidad de la presente solicitud, el aparato comprende además un módulo de selección 35 para, antes de realizar el cálculo compensado de los valores de profundidad de la pluralidad de puntos característicos, seleccionar la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de rasgos puntos y los puntos característicos coincidentes correspondientes.
En la modalidad de la presente solicitud, el módulo de selección 35 se usa específicamente para: determinar primero un umbral de descarte de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes, y luego seleccionar, a partir de la pluralidad de puntos característicos, puntos característicos cuyas similitudes con los puntos característicos coincidentes correspondientes son mayores que el umbral de descarte.
En la modalidad de la presente solicitud, el módulo de generación de modelos 36 realiza un modelado tridimensional sobre el objeto adoptando una cuadrícula triangular.
Refiriéndonos continuamente a la Figura 13, en otra modalidad del aparato de modelado tridimensional de la presente solicitud, el aparato comprende:
un módulo 31 de captura de imágenes para capturar imágenes de un objeto en una pluralidad de direcciones; un módulo de detección de características 32 para adquirir una pluralidad de puntos característicos en una de la pluralidad de imágenes;
un módulo de coincidencia 33 para determinar respectivamente puntos característicos coincidentes en las imágenes restantes que corresponden a la pluralidad de puntos característicos;
un módulo de cálculo 34 para calcular respectivamente similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes en las imágenes restantes y los valores de profundidad de los puntos característicos coincidentes, calculando los valores de profundidad de la pluralidad de puntos característicos de acuerdo con la información de dirección sobre la pluralidad de imágenes y los valores de profundidad de los puntos característicos coincidentes, y realizar cálculos compensados sobre los valores de profundidad de la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes en las imágenes restantes; y
un módulo de generación de modelos 36 para realizar un modelado tridimensional en el objeto en base a los valores de profundidad de la pluralidad de puntos característicos después de haber sido sometidos al cálculo compensado. En la modalidad de la presente solicitud, el módulo de captura de imágenes 31 se usa específicamente para: capturar una primera imagen del objeto en una dirección de referencia y una segunda imagen, una tercera imagen y una cuarta imagen en tres direcciones que se desvían de la dirección de referencia.
En la modalidad de la presente solicitud, el objeto comprende: un rostro humano.
En la modalidad de la presente solicitud, la primera imagen, la segunda imagen, la tercera imagen y la cuarta imagen son respectivamente una imagen de la cara frontal, una imagen de la cara frontal elevada, una imagen de la cara frontal inclinada hacia la izquierda y una imagen de la cara frontal inclinada hacia la derecha del rostro humano. Las modalidades de la presente solicitud proporcionan un método y un aparato de modelado tridimensional. El método implica: capturar imágenes en al menos dos direcciones diferentes de un objeto, adquirir puntos característicos en una de las imágenes y determinar los puntos característicos coincidentes correspondientes en las imágenes en las direcciones restantes, para calcular los valores de profundidad de los diversos puntos característicos; y realizar cálculos compensados sobre los valores de profundidad de los diversos puntos característicos con similitudes entre los puntos característicos y los puntos característicos coincidentes, y realizar un modelado tridimensional en el objeto utilizando los valores de profundidad de los diversos puntos característicos después de haber sido sometidos al cálculo compensado, de modo que el método reduce efectivamente la cantidad de cálculo del modelado tridimensional, se implementa fácilmente en un dispositivo móvil, como un teléfono móvil, y tiene una precisión relativamente alta.
Los expertos en la técnica entenderán que las modalidades de la presente invención pueden proporcionarse como métodos, sistemas o productos de programas informáticos. Por lo tanto, la presente invención puede adoptar modalidades solo de hardware, modalidades solo de software o modalidades con una combinación de software y hardware. Además, la presente invención puede adoptar la forma de un producto de programa informático que se implementa en uno o más medios de almacenamiento utilizables por ordenador (incluyendo, pero no limitándose a una memoria de disco, un CD-ROM, una memoria óptica y similares) que incluyen el código de programa utilizable por ordenador.
La presente invención se describe con referencia a los diagramas de flujo y/o diagramas de bloques de los métodos, dispositivos (sistemas) y productos de programas informáticos de acuerdo con las modalidades de la presente invención. Debe entenderse que cada flujo y/o bloque en los diagramas de flujo y/o diagramas de bloques y cualquier combinación de los flujos y/o bloques en los diagramas de flujo y/o diagramas de bloques pueden implementarse con instrucciones de programas informáticos. Estas instrucciones de programas informáticos pueden proporcionarse a un procesador de un ordenador de propósito general, un ordenador de propósito específico, un procesador integrado u otros dispositivos de procesamiento de datos programables para generar una máquina, de modo que las instrucciones ejecutadas por el procesador de un ordenador u otros dispositivos de procesamiento de datos programables generan un medio para implementar las funciones especificadas en uno o más flujos de los diagramas de flujo y/o uno o más bloques de los diagramas de bloques.
Estas instrucciones de programas informáticos también pueden almacenarse en una memoria legible por ordenador que puede guiar a un ordenador u otros dispositivos de procesamiento de datos programares para operar de una manera específica, de modo que las instrucciones almacenadas en la memoria legible por ordenador generen un artículo de fabricación que incluya un medio de instrucción que pueda implementar las funciones especificadas en uno o más flujos de los diagramas de flujo y/o uno o más bloques de los diagramas de bloques.
Estas instrucciones de programas informáticos también pueden cargarse en un ordenador u otros dispositivos de procesamiento de datos programables, de modo que el ordenador u otros dispositivos programables ejecuten una serie de pasos de operación para realizar el procesamiento implementado por ordenador y, por lo tanto, las instrucciones ejecutadas por la ordenador u otros dispositivos programables proporcionan pasos para implementar las funciones especificadas en uno o más flujos de los diagramas de flujo y/o uno o más bloques de los diagramas de bloques.
En una configuración típica, un dispositivo informático incluye uno o más procesadores (CPU), una interfaz de entrada/salida, una interfaz de red y una memoria.
La memoria puede incluir una memoria no permanente, una memoria de acceso aleatorio (RAM) y/o una memoria no volátil (como una memoria de solo lectura (ROM) o una memoria flash (flash RAM)) y así sucesivamente en los medios legibles por ordenador. La memoria es un ejemplo de los medios legibles por ordenador.
Los medios legibles por ordenador comprenden medios permanentes y no permanentes, removibles y no removibles y pueden realizar almacenamiento de información con cualquier método o tecnología. La información puede ser una instrucción legible por ordenador, estructura de datos, módulo de programa u otros datos. Los ejemplos de medios de almacenamiento de ordenadores incluyen pero no se limitan a una memoria de cambio de fase (PRAM), memoria de acceso aleatorio estática (SRAM), memoria de acceso aleatorio dinámica (DRAM), otros tipos de memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), memoria de solo lectura programable y borrable eléctricamente (EEPROM), memoria flash u otras tecnologías de memoria, memoria de solo lectura de disco compacto (CD-ROM), disco versátil digital (DVD) u otro almacenamiento óptico, casete de cinta magnética, cinta magnética y almacenamiento de disco magnético u otros dispositivos de almacenamiento magnético o cualquier otro medio sin transmisión, que pueda usarse para almacenar información a la que pueda acceder un dispositivo informático. De acuerdo con la definición en el presente documento, los medios legibles por ordenador no incluyen medios legibles por ordenador transitorios, tales como señales y portadoras de datos modulados.
También debe tenerse en cuenta que los términos "que comprende", "que incluye" o cualquier otra variación de los mismos están destinados a cubrir la inclusión no exhaustiva, de modo que los procesos, métodos, comerciantes o dispositivos que incluyen una serie de elementos no solo incluyen esos elementos sino también incluyen otros elementos que no se enumeran expresamente o incluyen todos los elementos inherentes de dichos procesos, métodos, comerciantes o dispositivos. Si no se hacen más limitaciones, un elemento limitado por "que comprende un/una..." no excluye otros elementos idénticos existentes en el proceso, el método, el comercio o el dispositivo que incluye el elemento.
Los expertos en la técnica entenderán que las modalidades de la presente solicitud pueden proporcionarse como métodos, sistemas o productos de programas informáticos. Por tanto, la presente solicitud puede adoptar modalidades de hardware completo, modalidades de software completo o modalidades que combinan software y hardware. Además, la presente solicitud puede adoptar una forma de un producto de programa informático que se implementa en uno o más medios de almacenamiento utilizables por ordenador (incluyendo, pero sin limitarse a una memoria de disco, un CD-ROM, una memoria óptica y similares) que incluyen el código de programa utilizable por ordenador.
Lo anterior son simplemente las modalidades de la presente solicitud y no pretende limitar la presente solicitud. Para los expertos en la técnica, pueden realizarse varios cambios y variaciones en la presente solicitud. Las modificaciones, reemplazos equivalentes, mejoras realizadas dentro de los principios de la presente solicitud estarán todos contenidos en el alcance de las reivindicaciones de la presente solicitud.

Claims (1)

  1. REIVINDICACIONES
    Un método para generar un modelo tridimensional de un objeto, caracterizado porque el método comprende: capturar respectivamente una primera imagen de un objeto (S11) desde una primera dirección y una segunda imagen del objeto (S11) desde una segunda dirección;
    identificar una pluralidad de puntos característicos en la primera imagen (S12), en donde identificar la pluralidad de puntos característicos comprende
    identificar múltiples puntos característicos iniciales en la primera imagen (S121),
    asociar la primera imagen con una primera cuadrícula preestablecida que comprende múltiples celdas de cuadrícula (S122),
    calcular las distancias desde los múltiples puntos característicos iniciales identificados hasta los centros de las celdas de la cuadrícula de la primera cuadrícula en la que se encuentran los puntos característicos iniciales, y
    determinar, en cada una de las celdas de la cuadrícula de la primera cuadrícula, un punto característico inicial más cercano al centro de una celda de la cuadrícula en la que
    el punto característico inicial se encuentra como un punto característico, en donde si una celda de la cuadrícula de la primera cuadrícula carece de un punto característico inicial, el centro de la celda de la cuadrícula se determina como un punto característico dentro la celda de la cuadrícula;
    determinar, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un punto característico coincidente en la segunda imagen que corresponde al punto característico en la pluralidad identificada de puntos característicos en la primera imagen (S13);
    calcular una pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes, en donde cada valor en la pluralidad calculada de valores representa una similitud entre i) un punto característico respectivo en la pluralidad identificada de puntos característicos en la primera imagen y ii) un punto característico coincidente en la segunda imagen que corresponde al punto característico respectivo;
    calcular, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un valor de profundidad del punto característico en relación con un plano de visualización, en donde calcular un valor de profundidad de un punto característico comprende combinar valores de profundidad del punto característico en un ángulo de elevación, ángulo de deflexión y ángulo de rotación (S14);
    realizar cálculos compensados sobre los valores de profundidad de la pluralidad de puntos característicos de acuerdo con la pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes (S15), en donde realizar cálculos compensados sobre los valores de profundidad de la pluralidad de puntos característicos comprende calcular, para cada uno de la pluralidad de puntos característicos, un valor de profundidad compensado, en donde el valor de profundidad compensado comprende el valor de profundidad calculado del punto característico, multiplicado por una suma de valores que representan similitudes de todos los puntos característicos en la pluralidad de puntos característicos excepto el punto característico, y dividido por una suma de valores que representan similitudes de todos los puntos característicos; y
    generar un modelo tridimensional del objeto basado en los valores de profundidad compensados calculados de la pluralidad de puntos característicos (S16).
    El método de la reivindicación 1, caracterizado porque determinar, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un punto característico coincidente en la segunda imagen que corresponde al punto característico en la pluralidad identificada de puntos característicos en la primera imagen comprende:
    determinar, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, y de acuerdo con la información de dirección sobre la primera imagen y la segunda imagen, un punto característico precoincidente en la segunda imagen que corresponde al punto característico en la pluralidad identificada de puntos característicos en la primera imagen (S131);
    hacer coincidir la segunda imagen con una segunda cuadrícula preestablecida (S132); y
    determinar, para cada punto característico de coincidencia previa, un centro de una celda de la cuadrícula de la segunda cuadrícula donde el punto característico de coincidencia previa se encuentra como el punto característico de coincidencia correspondiente (S133).
    3. El método de la reivindicación 2, caracterizado porque calcular una pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes comprenden:
    determinar los valores de color de todos los píxeles dentro de las celdas de la cuadrícula de la primera cuadrícula donde se ubica la pluralidad identificada de puntos característicos (S141);
    determinar los valores de color de todos los píxeles dentro de las celdas de la cuadrícula de la segunda cuadrícula donde se ubican los puntos característicos coincidentes determinados (S142); y
    calcular, para cada punto característico en la pluralidad identificada de puntos característicos en la primera imagen, un error de valor de color promedio entre i) todos los píxeles dentro de la celda de la cuadrícula de la primera cuadrícula donde se encuentra el punto característico en la pluralidad identificada de puntos característicos y ii) todos los píxeles dentro de la celda de la cuadrícula de la segunda cuadrícula donde se encuentra el punto característico coincidente que corresponde al punto característico en la pluralidad identificada de puntos característicos; y
    determinar, de acuerdo con los errores de valor de color promedio, la pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes (S143).
    4. El método de la reivindicación 3, caracterizado porque una fórmula para realizar un cálculo compensado sobre un valor de profundidad de un punto característico en la pluralidad identificada de puntos característicos de acuerdo con la pluralidad de valores que representan similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes comprende:
    valor de profundidad compensado = valor de profundidad x (suma de los errores de valor de color promedio de todos los puntos característicos excepto el punto característico que se someterá al cálculo compensado/suma de los errores de valor de color promedio de todos los puntos característicos).
    5. El método de cualquiera de las reivindicaciones 2 a 4, caracterizado porque el área de las celdas de la cuadrícula de la segunda cuadrícula es menor que el área de las celdas de la cuadrícula de la primera cuadrícula.
    6. El método de la reivindicación 1, caracterizado porque el método comprende, además:
    antes de realizar el cálculo compensado sobre los valores de profundidad de la pluralidad de puntos característicos, descartar uno o más puntos característicos en la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes.
    7. El método de la reivindicación 6, caracterizado porque descartar uno o más puntos característicos en la pluralidad de puntos característicos de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes comprende:
    determinar un umbral de descarte de acuerdo con las similitudes entre la pluralidad de puntos característicos y los puntos característicos coincidentes correspondientes; y
    descartar, de la pluralidad de puntos característicos, los puntos característicos cuyas similitudes con los puntos característicos coincidentes correspondientes son menores que el umbral de descarte.
    8. El método de la reivindicación 1, caracterizado porque el método adopta una cuadrícula triangular.
    9. El método de la reivindicación 1, en donde el método se implementa en un dispositivo móvil tal como un teléfono móvil.
    10. Un aparato para generar un modelo tridimensional de un objeto, caracterizado porque el aparato comprende múltiples módulos configurados para realizar el método de cualquiera de las reivindicaciones 1 a 9.
ES16764182T 2015-03-17 2016-03-08 Método y aparato de modelado tridimensional Active ES2818563T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510117117.2A CN106033621B (zh) 2015-03-17 2015-03-17 一种三维建模的方法及装置
PCT/CN2016/075837 WO2016146001A1 (zh) 2015-03-17 2016-03-08 一种三维建模的方法及装置

Publications (1)

Publication Number Publication Date
ES2818563T3 true ES2818563T3 (es) 2021-04-13

Family

ID=56919468

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16764182T Active ES2818563T3 (es) 2015-03-17 2016-03-08 Método y aparato de modelado tridimensional

Country Status (9)

Country Link
US (2) US10410405B2 (es)
EP (1) EP3273412B1 (es)
JP (1) JP6760957B2 (es)
KR (1) KR102113909B1 (es)
CN (1) CN106033621B (es)
ES (1) ES2818563T3 (es)
PL (1) PL3273412T3 (es)
SG (1) SG11201707475WA (es)
WO (1) WO2016146001A1 (es)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033621B (zh) 2015-03-17 2018-08-24 阿里巴巴集团控股有限公司 一种三维建模的方法及装置
CN106683190B (zh) * 2016-12-29 2019-10-22 中国科学院长春光学精密机械与物理研究所 一种三角网格的生成方法和系统
US20180225799A1 (en) * 2017-02-03 2018-08-09 Cognex Corporation System and method for scoring color candidate poses against a color image in a vision system
CN107506559B (zh) * 2017-09-08 2021-03-23 廖海斌 基于人脸相似度分析的明星脸整形化妆推荐方法和装置
CN116385505A (zh) * 2017-10-20 2023-07-04 阿里巴巴集团控股有限公司 数据处理方法、装置、系统和存储介质
WO2019127508A1 (zh) * 2017-12-29 2019-07-04 深圳配天智能技术研究院有限公司 智能终端及其3d成像方法、3d成像系统
US11562505B2 (en) * 2018-03-25 2023-01-24 Cognex Corporation System and method for representing and displaying color accuracy in pattern matching by a vision system
CN108876835A (zh) * 2018-03-28 2018-11-23 北京旷视科技有限公司 深度信息检测方法、装置和系统及存储介质
CN110378993A (zh) * 2018-04-12 2019-10-25 Oppo广东移动通信有限公司 建模方法及相关装置
WO2020024144A1 (zh) * 2018-08-01 2020-02-06 广东朗呈医疗器械科技有限公司 一种三维成像方法、装置及终端设备
WO2020181509A1 (zh) * 2019-03-12 2020-09-17 深圳市大疆创新科技有限公司 一种影像处理方法、装置及系统
EP4118621B1 (en) * 2020-03-09 2023-08-02 Telefonaktiebolaget LM ERICSSON (PUBL) Methods and apparatuses for detecting a change in an area of interest
CN112652070B (zh) * 2020-12-21 2023-01-13 深圳市彬讯科技有限公司 三维模型的减面方法、装置、设备及介质
KR102373606B1 (ko) * 2021-04-19 2022-03-14 주식회사 쓰리디팩토리 영상 형성을 위한 전자 장치 및 방법과, 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1510973A (en) * 1923-08-06 1924-10-07 Behan Thomas Urine conductor
JP4065488B2 (ja) * 2001-12-14 2008-03-26 キヤノン株式会社 ３次元画像生成装置、３次元画像生成方法及び記憶媒体
EP1510973A3 (en) * 2003-08-29 2006-08-16 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
CN100430963C (zh) * 2005-09-29 2008-11-05 中国科学院自动化研究所 基于正交图像的快速个性化人脸建模方法
JP4752433B2 (ja) * 2005-10-03 2011-08-17 コニカミノルタホールディングス株式会社 モデリングシステム、モデリング方法およびプログラム
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
JP5090857B2 (ja) * 2007-10-31 2012-12-05 富士フイルム株式会社 画像処理装置及び画像処理方法並びにプログラム
CN100585637C (zh) * 2008-06-03 2010-01-27 东南大学 一种基于立体匹配的人脸三维模型获取方法
CN101404091B (zh) * 2008-11-07 2011-08-31 重庆邮电大学 基于两步形状建模的三维人脸重建方法和系统
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN101877143B (zh) * 2009-12-09 2012-07-04 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
JP5110138B2 (ja) * 2010-09-22 2012-12-26 カシオ計算機株式会社 Ａｒ処理装置、ａｒ処理方法及びプログラム
JP5792662B2 (ja) * 2011-03-23 2015-10-14 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
JP5766049B2 (ja) * 2011-07-04 2015-08-19 キヤノン株式会社 インクジェット記録装置および該装置におけるインク汚れ検知方法
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
CN102663820B (zh) * 2012-04-28 2014-10-22 清华大学 三维头部模型重建方法
KR101372463B1 (ko) * 2013-01-28 2014-03-10 숭실대학교산학협력단 입체 영상 처리 장치, 휴대용 단말기 및 이를 이용한 입체 영상 시스템
JP2014175702A (ja) * 2013-03-06 2014-09-22 Canon Inc 表示制御装置、その制御方法、および制御プログラム
CN105229703B (zh) * 2013-05-23 2018-02-09 谷歌有限责任公司 用于使用感测的位置数据来生成三维模型的系统和方法
JP6424822B2 (ja) * 2013-08-29 2018-11-21 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
CN106033621B (zh) 2015-03-17 2018-08-24 阿里巴巴集团控股有限公司 一种三维建模的方法及装置

Also Published As

Publication number Publication date
US20200005522A1 (en) 2020-01-02
EP3273412A4 (en) 2018-11-21
JP6760957B2 (ja) 2020-09-23
CN106033621A (zh) 2016-10-19
PL3273412T3 (pl) 2020-11-16
US20180012399A1 (en) 2018-01-11
KR20170131500A (ko) 2017-11-29
US10410405B2 (en) 2019-09-10
US10789767B2 (en) 2020-09-29
SG11201707475WA (en) 2017-10-30
EP3273412B1 (en) 2020-09-02
JP2018511874A (ja) 2018-04-26
EP3273412A1 (en) 2018-01-24
CN106033621B (zh) 2018-08-24
KR102113909B1 (ko) 2020-05-22
WO2016146001A1 (zh) 2016-09-22

Similar Documents

Publication Publication Date Title
ES2818563T3 (es) Método y aparato de modelado tridimensional
CN109816703B (zh) 一种基于相机标定和icp算法的点云配准方法
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
ES2805425T3 (es) Procedimientos y productos de programas informáticos para calibrar sistemas de imagen estéreo mediante el uso de un espejo plano
CN104173054B (zh) 基于双目视觉技术的人体身高测量方法及其装置
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US8917317B1 (en) System and method for camera calibration
CN109559349A (zh) 一种用于标定的方法和装置
WO2013009662A2 (en) Calibration between depth and color sensors for depth cameras
ES2626301T3 (es) Procedimiento y equipo de procesamiento de imágenes para determinar los parámetros de una cámara
US20210158552A1 (en) Systems and methods for enhanced depth determination using projection spots
CN103971404A (zh) 一种高性价比的3d实景复制装置
CN105550992B (zh) 一种三维全脸照相机中高保真全脸纹理融合方法
CN106778660B (zh) 一种人脸姿态校正方法及装置
Andrade et al. Digital preservation of Brazilian indigenous artworks: Generating high quality textures for 3D models
CN106327576B (zh) 一种城市场景重建方法及系统
CN104240294A (zh) 基于双目单视界的三维重建方法
CN110046554A (zh) 一种人脸对齐方法和相机
WO2013142819A1 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
Lin et al. Digitization of free-swimming fish based on binocular stereo vision
CN109544530A (zh) X射线头影测量图像结构特征点自动定位方法及系统
ES2625730T3 (es) Sistema y método de medición estereoscópica
Conen et al. Rectification and robust matching using oriented image triplets for minimally invasive surgery
CN111210476A (zh) 一种同时定位与建图的方法及装置
Li et al. Binocular stereo vision calibration experiment based on essential matrix