ES2954842T3 - Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario - Google Patents
Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario Download PDFInfo
- Publication number
- ES2954842T3 ES2954842T3 ES19305303T ES19305303T ES2954842T3 ES 2954842 T3 ES2954842 T3 ES 2954842T3 ES 19305303 T ES19305303 T ES 19305303T ES 19305303 T ES19305303 T ES 19305303T ES 2954842 T3 ES2954842 T3 ES 2954842T3
- Authority
- ES
- Spain
- Prior art keywords
- user
- makeup
- projector
- depth
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims description 54
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 20
- 230000004044 response Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 239000000047 product Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000002537 cosmetic Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 206010019030 Hair colour changes Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- -1 electrodes Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003716 rejuvenation Effects 0.000 description 1
- 230000036555 skin type Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Analysis (AREA)
Abstract
En una realización, un sistema de aplicación de maquillaje incluye: un proyector 22 configurado para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje sobre la superficie facial del usuario; y una unidad de mapeo dinámico 24; 30 acoplado operativamente al proyector, en el que la unidad de mapeo dinámico está configurada para establecer una correspondencia dinámica entre los píxeles del proyector 22 y las características de la superficie facial del usuario. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario
SUMARIO
El documento SIEGL CHRISTIAN ET AL: "FaceForge: Marckerless Non-Rigid Face Multi-Projection Mapping”, vol. 23, n° 11, páginas 2440-2446, se refiere a la proyección de una imagen que sigue los contornos de la cara de un usuario. Más particularmente, se refiere a una combinación de un sistema de rastreo no rígido sin marcadores con proyección múltiple mixta.
La invención se define por las reivindicaciones adjuntas.
BREVE DESCRIPCIÓN DE LAS FIGURAS
La FIG. 1 es una vista esquemática de un sistema de proyección de contenido digital según una realización de la tecnología inventiva.
La FIG. 2 es una vista esquemática de un sistema de proyección de contenido digital según una realización de la tecnología inventiva.
Las FIGS. 3A-3C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva.
Las FIGS. 4A-4C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva.
Las FIGS. 5A y 5B son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de peinado del cabello según realizaciones de la tecnología inventiva.
La FIG. 6 es una vista en perspectiva de un sistema de proyección de contenido digital según una realización de la tecnología inventiva.
En la siguiente descripción detallada, se hace referencia a los dibujos que se acompañan, que forman una parte de la misma. En los dibujos, símbolos similares identifican típicamente componentes similares, a no ser que el contexto dicte lo contrario.
DESCRIPCIÓN DETALLADA
La FIG. 1 es una vista esquemática de un sistema de proyección de contenido digital 110 según una realización de la tecnología inventiva. En diferentes realizaciones, el sistema 110 (un sistema tutorial de maquillaje) incluye una o más metodologías o tecnologías que se implementan mediante la proyección de contenido de maquillaje digital en la cara del usuario.
En la realización ilustrada, una cámara de profundidad 24 adquiere una imagen resuelta en profundidad de la cara del usuario 10. En diferentes realizaciones, la cámara de profundidad 24 y el software de procesamiento de imágenes apropiado (por ejemplo, transportado por la unidad de procesamiento 30 y/o la propia cámara 24) se denomina unidad de mapeo dinámico. En una realización, la cámara de profundidad 24 incluye un sensor de profundidad y una circuitería configurada para rastrear en tiempo real al menos una representación tridimensional o bidimensional parcial de la cabeza, cara o parte del cuerpo del usuario. La o las imágenes adquiridas por la cámara de profundidad 24 se pueden procesar por una unidad de procesamiento 30 (por ejemplo, ordenador, teléfono inteligente, controlador digital, etc.) para resolver la profundidad y el contorno de la cara del usuario.
La cámara de profundidad 24 establece una calibración geométrica, ya que se crean modelos (por ejemplo, dentro de la unidad de procesamiento 30) para el proyector 22 y la cámara de profundidad 24. Con base en el modelo y mediante la calibración, se pueden estimar los parámetros de estos modelos. Por lo tanto, utilizando la entrada de profundidad en vivo y los parámetros de los modelos, el sistema 110 puede establecer dinámicamente (por ejemplo, para cada fotograma) una correspondencia entre las proyecciones del proyector 22 y los contornos de profundidad adquiridos por la cámara de profundidad 24.
En una realización, un proyector 22 está configurado para generar una proyección de una aplicación cosmética digital sobre la cara del usuario. En funcionamiento, los píxeles del proyector digital 22 pueden rastrear en tiempo real uno o más puntos de referencia/rasgos de la cara del usuario, capturados y resueltos por la cámara de profundidad 24. El proyector 22 también puede conectarse con la unidad de procesamiento 30 para la coordinación con la profundidad y contorno de la cara del usuario obtenidos por la cámara de profundidad 24.
En una realización, el sistema 110 está configurado para calibrar el proyector y la cámara para proyecciones en tiempo real. En una realización, se puede operar un sensor de profundidad para evaluar las posiciones tridimensionales (3D) de los píxeles de la cámara. En una realización, la calibración entre la cámara de profundidad 24 y el proyector 22 se puede lograr usando diferentes soluciones. Por ejemplo, partiendo de un modelo óptico para el proyector y la cámara (que es el mismo pero la dirección de la luz es opuesta), para ajustar los parámetros del modelo óptico se necesita un conjunto de correspondencias entre puntos bidimensionales (2D) en las imágenes del proyector y de la cámara y los puntos 3D en la escena. El principio compartido es que el proyector proyecta cierta información codificada, y la cámara captura y decodifica esta información.
Existen diferentes métodos para codificar esta información (codificada temporal/espacialmente) y diferentes suposiciones sobre la configuración y la cantidad de poses requeridas. Como ejemplos no limitativos, algunos métodos utilizan una diana de calibración sobre la que se proyecta la información codificada, otros simplemente proyectan sobre una escena arbitraria y, en algunos casos, la proyección se puede realizar sobre una superficie plana. El uso de una superficie plana puede proporcionar mejores resultados que la escena arbitraria (que adolece de valores atípicos debido a la decodificación pura en superficies complejas, interreflexiones, etc.), mientras que una proyección en una superficie plana aún puede proporcionar un gran conjunto de puntos robustos.
En una realización, el sistema 110 incluye una unidad de compensación de distorsión dinámica 26. En diferentes realizaciones, la unidad de compensación de distorsión dinámica 26 se ajusta, por ejemplo, para diferentes poses de la cara del usuario, contorsión de la cara, movimiento de los labios, parpadeo del ojo, sacudidas del cabello, etc., de modo que el proyector 22 dé cuenta de estos cambios dinámicos en el usuario 10. En diferentes realizaciones, la unidad de compensación de distorsión dinámica 26 compensa en tiempo real las distorsiones geométricas y de iluminación asociadas con el contenido digital proyectado (posiblemente incluyendo las distorsiones asociadas con el tutorial de la aplicación de maquillaje). En una realización, la compensación de distorsión dinámica puede incluir proyectar puntos, líneas, formas, áreas, etc. en la cara o el cabello del usuario por parte del proyector 22. En algunas realizaciones, la unidad de compensación de distorsión dinámica 26 está acoplada de forma operativa al proyector 22 para compensar, en tiempo real, al menos una de las distorsiones de color y distorsiones geométricas de la superficie facial del usuario. En algunas realizaciones, la unidad de compensación de distorsión dinámica 26 ejecuta correcciones después de mapear la cara (por
ejemplo, mediante la cámara de profundidad 24) para mejorar la experiencia del usuario. Por ejemplo, la compensación fotométrica puede compensar los diferentes colores de la cara del usuario para crear un efecto deseado. Además, la compensación de distorsión se puede aplicar utilizando tanto la cámara de profundidad 24 del sistema 110 como un sistema de óptica coaxial del sistema 120 (mostrado en la FIG. 2).
En algunas realizaciones, un tutorial de maquillaje 28 puede proyectar un contenido de maquillaje de contenido digital (por ejemplo, a través del proyector digital 22) sobre la superficie facial del usuario. Dicho contenido de maquillaje de contenido digital puede incluir contenido mapeado facialmente y generado digitalmente representativo de un procedimiento de aplicación de maquillaje, por ejemplo las instrucciones para aplicar maquillaje o colorear el cabello. En algunas realizaciones, el tutorial de maquillaje se puede proyectar sobre un ojo como guía, mientras que el maquillaje real se aplica sobre el otro ojo. En diferentes realizaciones, se pueden proyectar múltiples escenarios sobre la cara. Por ejemplo, un conjunto de maquillaje para usar durante el día se puede proyectar en un lado de la cara, mientras que otro conjunto de maquillaje para un evento nocturno se puede proyectar en otro lado de la cara.
Durante el funcionamiento, el sistema 110 puede extraer la forma y la topología de la cara del usuario mediante la cámara de profundidad 24, y puede proyectar un tutorial de maquillaje personalizado directamente sobre la cara del usuario mediante el proyector 22. El usuario puede usar un espejo para ver la proyección. En una realización, la rutina de maquillaje se proyecta gradualmente definiendo las zonas de aplicación de cada producto a aplicar. En una realización, el usuario puede aplicar maquillaje real usando estas zonas. En una realización, la aplicación de maquillaje se implementa digitalmente (por ejemplo, el proyector 22 es un proyector digital). En una realización, el usuario 10 interactúa con una interfaz para proceder al siguiente producto o para modificar la experiencia. En una realización, el usuario puede comprobar el éxito de la aplicación de un producto real comparándolo con la zona de aplicación virtual proyectada.
En algunas realizaciones, el usuario interactúa con el sistema a través de una interfaz (tableta, teléfono inteligente, etc.). Para diversas aplicaciones, el usuario puede interactuar con una interfaz para tomar decisiones sobre el contenido proyectado. Por ejemplo, el usuario puede seleccionar una de diversas experiencias propuestas (tutoriales de maquillaje, proyección divertida, narración audiovisual, coloración del cabello, etc.), modificar la experiencia (afinar el maquillaje, etc.), o controlar el procedimiento (ir a u omitir la siguiente etapa, proporcionar comentarios de que terminó la sesión actual, etc.). Esta interfaz se puede conectar al sistema de cámara proyectada mediante WiFi o mediante un cable integrado en un producto final.
Los datos adquiridos por la cámara de profundidad 24, los datos proyectados por el proyector 22, los algoritmos para el procesamiento de datos, los tutoriales de maquillaje, etc., pueden almacenarse en la unidad de procesamiento 30 o en un sistema remoto ("nube de datos”) 50 -colectivamente, sistemas de almacenamiento de datos. Como se describe aquí, los sistemas de almacenamiento de datos pueden ser cualquier dispositivo o dispositivos adecuados configurados para almacenar datos para el acceso mediante un dispositivo informático. Un ejemplo del sistema de almacenamiento de datos es un sistema de gestión de bases de datos relacionales (DBMS) de alta velocidad que se ejecuta en uno o más dispositivos informáticos y al que se puede acceder en la nube de datos 50 a través de una red de alta velocidad. Sin embargo, se pueden usar otras técnicas y/o dispositivos de almacenamiento adecuados capaces de proporcionar los datos almacenados en respuesta a consultas, y se puede acceder localmente al dispositivo informático en lugar de a través de una red, o se puede proporcionar como un servicio basado en la nube. El sistema de almacenamiento en la nube 50 también puede incluir datos almacenados de manera organizada en un medio de almacenamiento legible por ordenador.
Calibración entre proyector y cámara
Para la proyección en tiempo real, es importante una calibración precisa entre el proyector 22 y un sensor de profundidad de la cámara de profundidad 24. Además, la cámara de profundidad 24 proporciona las posiciones 3D de los píxeles de la cámara. En algunas realizaciones, el sensor de profundidad puede configurarse por separado de la cámara de profundidad 24.
Partiendo de un modelo óptico para el proyector 22 y la cámara de profundidad 24 (que puede ser el mismo pero la dirección de la luz es opuesta), para ajustar los parámetros del modelo óptico se necesita un conjunto de correspondencias entre puntos 2D en las imágenes del proyector y de la cámara y los puntos 3D en la escena. El principio compartido es que el proyector 22 proyecta alguna información codificada, y la cámara de profundidad 24 captura y decodifica esta información. Existen diferentes métodos para codificar esta información (codificada temporal/espacialmente) y diferentes suposiciones sobre la configuración y la cantidad de poses requeridas. Algunos métodos usan una diana de calibración sobre la que se proyecta la información codificada, otros simplemente proyectan sobre una superficie 3D arbitraria o una superficie plana. La razón para usar la superficie plana es que da mejores resultados que la escena arbitraria (que adolece de valores atípicos debido a la decodificación pura en superficies
complejas, interreflexiones, etc.), y aún es conveniente de usar, proporcionando un gran conjunto de puntos robustos.
Algunos ejemplos no exclusivos de los sensores de profundidad para la cámara de profundidad 24 son RealSense D415, Intel RealSense, Microsoft Kinect, Qualcomm Depth Sensor y Asus Xtion Pro. Por ejemplo, la primera versión de Microsoft Kinect utiliza sensores de disparidad mediante los cuales se proyecta un patrón de luz estructurado (en longitud de onda infrarroja) y, según el desplazamiento de este patrón, la profundidad se calcula a través de la disparidad. Como otro ejemplo, la segunda versión de Microsoft Kinect usa el tiempo de vuelo (todavía en infrarrojo) para medir el tiempo que la luz proyectada necesita para reflejarse desde los objetos 3D en la escena para estimar la distancia a los objetos. Como otro ejemplo más, la serie Intel Realsense D usa dos sensores (módulo estéreo) para la reconstrucción 3D que se realiza mediante triangulación. Además, una proyección opcional de luz infrarroja punteada proporciona una textura adicional para mejorar la triangulación.
La FIG. 2 es una vista esquemática de un sistema de proyección de contenido digital 120 según una realización de la tecnología inventiva. En algunas realizaciones, el sistema de proyección de contenido digital 120 se denomina configuración de óptica coaxial que tiene un divisor de haz 27. El divisor de haz 27 puede ser capaz de dirigir la imagen del usuario 10 hacia una cámara 23, que puede ser una cámara 2D. El divisor de haz 27 también puede permitir proyecciones digitales desde el proyector 22 (por ejemplo, escenarios de aplicación de maquillaje, escenarios de peinado, tutoriales de maquillaje, etc.) para proyectarlas sobre el usuario 10.
En funcionamiento, se necesita una correspondencia dinámica entre los píxeles del proyector 22 y la cámara 23. En algunas realizaciones, el sistema de óptica coaxial 120 puede pasar por alto la información de profundidad debido a una propiedad de la óptica coaxial de que una correspondencia entre el proyector 22 y la cámara 23 es independiente de la profundidad. Por lo tanto, puede ser suficiente registrar una vez la correspondencia entre el proyector y la cámara, ya que esta correspondencia permanece invariable con las escenas en movimiento. En algunas realizaciones, no es necesario calcular los parámetros del modelo. En cambio, se lleva a cabo un procedimiento de calibración relativamente más simple (por ejemplo, estableciendo la correspondencia entre los píxeles de la cámara 23 y el proyector 24). Usando la cámara de profundidad del sistema 110 de la FIG. 1, se puede establecer una escena 3D, que es útil para determinar, por ejemplo, las características faciales del espacio 3D real. Sin embargo, la óptica coaxial del sistema 120 de la FIG. 2 es generalmente más rápida debido a la menor demora de comunicación en el sistema. Además, en algunas realizaciones, es posible ajustar modelos 3D
en la representación 2D de la cámara 23, haciendo así que el sistema 120 logre casi la misma funcionalidad que el sistema de cámara de profundidad 110.
Las FIGS. 3A-3C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva. En algunas realizaciones, el método puede incluir sólo algunas en las etapas de las FIGS. 3A-3C, o puede incluir etapas adicionales que no se ilustran. En la FIG. 3A, el método 3000A es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. Con el método 3000A ilustrado, se rastrea un grupo de puntos de referencia en la cara del usuario en las imágenes de la cámara. En particular, en el bloque 320, una cámara (por ejemplo, la cámara 24) adquiere una entrada en vivo roja/verde/azul (RGB), escala de grises, o infrarroja. En el bloque 325, un conjunto de puntos de referencia faciales (marcados por los puntos) se identifican y rastrean basándose en la entrada en vivo adquirida por la cámara en el bloque 320. Las características 327 son ejemplos no limitativos de tales puntos de referencia. En el bloque 315, por ejemplo, la cámara 24 adquiere una entrada en vivo de profundidad de la cara y/o del cabello del usuario. En el bloque 310, la cámara y el proyector se calibran mutuamente. En el bloque 330, las entradas de los bloques 310, 315 y 355 se combinan para lograr la transformación de fotograma de cámara a proyector. En el bloque 350, se genera el espacio del proyector que tiene un conjunto de características faciales delineadas y preparadas para definir zonas de interés. En el bloque 355, las zonas de interés se definen en función del espacio del proyector 350. Por ejemplo, uno o más subespacios del espacio del proyector 350 pueden llenarse con la proyección de maquillaje que se muestra sobre la cara del usuario. En el bloque 360, se delinea la proyección de maquillaje. En algunas realizaciones, la proyección de maquillaje 360 puede basarse en un tutorial de maquillaje. En el bloque 370, la proyección de maquillaje 360 se aplica sobre la cara del usuario. En algunas realizaciones, el usuario puede observar la proyección de maquillaje 316 en un espejo, una tableta, o un dispositivo similar. Además, el usuario puede intercambiar diferentes aspectos en el tutorial de maquillaje para, por ejemplo, comprender mejor y decidir entre diferentes opciones.
En la FIG. 3B, el método 3000B es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. Las etapas del método 3000B se basan en una imagen de profundidad obtenida en el bloque 315. En el bloque 325, las características de la cara se detectan y rastrean en función de la imagen de profundidad obtenida en el bloque 315. En algunas realizaciones, las etapas restantes del método 3000B son análogas a las del método 3000A.
En la FIG. 3C, el método 3000C es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. En la realización ilustrada, los puntos de referencia de la cara se detectan y rastrean usando imágenes tanto de la de cámara 2D como de la cámara 3D (bloques 320 y 315, respectivamente). Por lo tanto, la entrada en vivo de profundidad del bloque 315 se alimenta al bloque 325, en el que se ve afectada la detección y el rastreo de puntos de referencia faciales, y al bloque 330, en el que se ve afectada la transformación de fotograma de cámara a proyector.
Las FIGS. 4A-4C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva. En algunas realizaciones, el método puede incluir sólo algunas en las etapas de las FIGS. 4A-4C, o puede incluir etapas adicionales que no se ilustran. En la FIG. 4A, el método 4000A es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. En el bloque 410, se genera un modelo facial 3D (también denominado modelo deformable 3D). En el bloque 325, el modelo facial 3D se ajusta sobre una imagen de la cara del usuario. En el bloque 412, se genera el espacio del proyector que incluye el modelo facial 3D. En el bloque 420, se accede a la base de datos con las texturas de maquillaje, y la textura deseada se superpone sobre una imagen de la cara del usuario. Esta textura deseada se aplica a la proyección de maquillaje del bloque 360 junto con el espacio del proyector del bloque 412. En algunas realizaciones, los puntos de referencia pueden ajustarse opcionalmente antes de ajustar la malla 3D.
En la FIG. 4B, el método 4000B es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. En el bloque 325, se superpone una malla 3D sobre la representación de la cara del usuario obtenida en el bloque 315 (por ejemplo, por la cámara de profundidad 24). En la realización ilustrada, el ajuste y el rastreo de la malla facial 3D se basan en la imagen de profundidad. En algunas realizaciones, los puntos de referencia pueden ajustarse opcionalmente antes de ajustar la malla 3D.
En la FIG. 4C, el método 4000C es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. Con el método 4000C, el ajuste y rastreo de una malla facial 3D incluye tanto la imagen de la cámara como las imágenes de profundidad. Por ejemplo, el bloque 330, que incluye la transformación de fotograma de cámara a proyector, se basa en la entrada en vivo de profundidad del bloque 315, la entrada de cámara del bloque 320, y un modelo deformable 3D del bloque 410.
Las FIGS. 5A y 5B son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de peinado del cabello según ejemplos útiles para entender la invención. En algunos ejemplos, el método puede incluir sólo algunas de las etapas en las FIGS. 5A y 5B, o puede incluir etapas adicionales que no se ilustran. En la FIG. 5A, el método 5000A es un ejemplo para proyectar una aplicación de peinado sobre el cabello del usuario. En el bloque 520, se obtiene una entrada de cámara de la cara y del cabello del usuario. En el bloque 315, por ejemplo, la cámara 24 adquiere una entrada en vivo de profundidad de la cara y/o del cabello del usuario. Esta entrada en vivo se puede proporcionar al bloque 330, en el que se ve afectada la transformación de fotograma de cámara a proyector, y al bloque 525, en el que se ve afectada su segmentación y el rastreo. En el bloque 560, el proyector 22 puede proyectar su contenido sobre el contorno de segmentación y rastreo del cabello del bloque 525. En el bloque 570 se muestra la superposición resultante de la proyección de contenido de cabello sobre el cabello del usuario. En diferentes realizaciones, las proyecciones de contenido de cabello del bloque 560 pueden incluir, por ejemplo, diferentes colores y/o diferentes peinados.
En la FIG. 5B, el método 5000B es un ejemplo para proyectar una aplicación de peinado sobre el cabello del usuario. En el bloque 520, se obtiene una entrada de cámara de la cara y del cabello del usuario. Esta entrada de cámara del bloque 520 puede procesarse en los bloques 525A-525B, sola o junto con la entrada en vivo de profundidad del bloque 315. En el bloque 525A, la entrada de cámara del bloque 520 se convierte en un contorno de segmentación de cabello. En el bloque 525B, se definen los puntos de rastreo (por ejemplo, los puntos de referencia 327). En el bloque 525C, se superpone un modelo facial 3D sobre la entrada de cámara del bloque 520. En diferentes realizaciones, se implementan algunos o todos los bloques 525A-525C. En el bloque 535, se ve afectada una reconstrucción y rastreo del cabello en 3D. En el bloque 545, el contenido se crea en un espacio 3D, y puede alimentarse a la transformación de fotograma de cámara a proyector del bloque 330. En el bloque 560, se crea una proyección de contenido de cabello. En algunas realizaciones, esta proyección de contenido de cabello puede basarse, al menos en parte, en los tutoriales de maquillaje. La aplicación resultante de la proyección de contenido de cabello sobre el cabello del usuario se muestra en el bloque 570.
La FIG. 6 es una vista en perspectiva de un sistema de proyección de contenido digital según una realización de la tecnología inventiva. En algunas realizaciones, el proyector 22 puede proyectar proyecciones de maquillaje sobre, por ejemplo, la mitad de la cara del usuario (370 -R), mientras que la otra mitad de la cara del usuario está libre de proyecciones. El usuario 370 puede observar el efecto de la proyección de maquillaje en el espejo, un ordenador portátil, una unidad de procesamiento 30, u otras unidades de visualización. El usuario puede seleccionar
diferentes realizaciones de maquillaje a proyectar para encontrar una proyección satisfactoria. En algunas realizaciones, se proyecta un tipo del maquillaje (por ejemplo, un maquillaje de noche) en un lado de la cara, y otro tipo del maquillaje (por ejemplo, un maquillaje de día) se proyecta en el otro lado de la cara. En diferentes realizaciones, el usuario puede ejecutar un procedimiento análogo para la cabeza, con diferentes peinados y/o colores testimoniados a través de diferentes imágenes basadas en el tutorial de maquillaje. En otras realizaciones, el usuario puede proyectar maquillaje en la mitad de la cara, y usar la proyección como guía para aplicar el maquillaje en el otro lado de la cara. En las descripciones aquí, la tecnología inventiva puede ser practicada por una persona que no sea el usuario, por ejemplo un cosmetólogo, un maquillador, etc.
Detección/reconstrucción de la cara
La posición precisa de la cara es importante ya que es una superficie no rígida que necesita ser rastreada con cierta frecuencia. Esto se puede hacer usando diferentes métodos dependiendo de los requisitos de las aplicaciones. A continuación se describen algunas realizaciones de dicho rastreo.
En una realización, los puntos de referencia de la cara son detectados directamente por la cámara RGB o por una cámara de infrarrojos. Esta última, si se combina con un filtro en el proyector que corta la proyección infrarroja, proporciona puntos de referencia robustos que no se ven afectados por el contenido proyectado, lo que puede ser útil para algunas aplicaciones.
En otra realización, se puede ajustar un modelo 3D en la cara usando sólo la información RGB o combinando la información RGB y de profundidad. Tal realización tiene un coste de cálculo adicional, pero, si se basa en la profundidad, el enfoque puede ser más robusto frente a variaciones de colores en la cara debido a la proyección.
En otra realización, la superficie de la cara puede reconstruirse usando la imagen del sensor de profundidad y la detección adicional de puntos de referencia en esa superficie.
En una realización, los puntos de referencia pueden detectarse usando como entradas tanto las imágenes de profundidad como de RGB/infrarrojas para hacer que la detección sea más robusta para la proyección. Además, se podría entrenar un algoritmo de aprendizaje profundo en dicho conjunto de datos.
En una realización, la cara de la persona (usuario) puede escanearse, y después rastrearse como una combinación de expresiones (formas combinadas) y orientación de poses.
En una realización, la imagen RGB se usa para la segmentación del cabello, usando, por ejemplo, un algoritmo de aprendizaje profundo. En algunas realizaciones, dicho uso adicional de información de profundidad hace que la segmentación sea más precisa.
Generación de contenido virtual
La generación del contenido virtual depende del escenario de la aplicación y del método usado para la reconstrucción/detección de la cara. Puede basarse simplemente en los puntos de referencia de la cara y crear la textura deseada usando esta topología 2D, o puede ser una textura mapeada en el modelo facial 3D si se calcula este último.
En una realización, durante el funcionamiento, los sistemas 110, 120 proyectan contenido digital sobre el cabello de un usuario para crear la ilusión de un cambio de color de cabello. En una realización, este efecto se combina con la proyección de maquillaje para decidir las combinaciones óptimas. En una realización, el usuario interactúa con los sistemas 110, 120 usando una interfaz con entradas de audio o manual, o cambiando los colores, o modificando la textura (destellos, patrones, etc.). A continuación se describen algunas aplicaciones de los sistemas 110, 120 en uso.
Proyección de maquillaje: aumento de maquillaje para probar fácilmente diversos productos (limitado por las condiciones ambientales). Los productos proyectados pueden modificarse para tener en cuenta el efecto de la aplicación física en el tipo específico de piel.
Narración audiovisual: para eventos especiales, se pueden proponer aumentos extremos, tales como los usados en el escenario en teatros/conciertos para contar una historia sobre un nuevo lanzamiento de una marca o para el factor sorpresa que pueden proporcionar estas experiencias inmersivas.
Simulación de diferentes condiciones de iluminación: se puede simular el efecto de diferentes condiciones de iluminación para visualizar el aspecto del maquillaje en diferentes condiciones (tales como club nocturno, luz diurna, oficina, etc.).
Simulación de envejecimiento/rejuvenecimiento: aumenta y potencia las arrugas o la exposición de la piel para que la persona parezca más vieja. Esto se puede combinar con el tratamiento y diagnóstico del cuidado de la piel. Por otro lado, usando la luz, se pueden compensar las arrugas y la persona puede parecer más joven. Esto puede simular el resultado esperado usando un producto para el cuidado de la piel.
Creación de efectos ópticos: crea y simula diferentes efectos ópticos en la superficie de la cara, tales como aumento del brillo, suavizado de la cara, efecto de perlado, aumento del contraste, transparencia, etc. La dispersión de la subsuperficie se puede modelar y tener en cuenta en dicho sistema para crear efectos más realistas.
Creación de tráfico: en el punto de venta, un sistema de este tipo puede aumentar significativamente el tráfico al atraer a las personas a que entren en la tienda al tener un sistema detrás del escaparate. Se pueden aumentar con algo "divertido” cuando pasan delante de la tienda.
Aumenta no sólo caras sino también otros objetos: aumenta el empaquetamiento de los productos que pueden ser productos reales o grandes maquetas para fines de visualización.
Tutoría! de maquillaje
En una realización, el sistema incluye una unidad de tutorial de maquillaje. En una realización, la unidad de tutorial de maquillaje está configurada para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje sobre la superficie facial del usuario. Por ejemplo, en una realización, la unidad de tutorial de maquillaje incluye un procesador y una circuitería computacional configurada para generar contenido de tutorial de maquillaje proyectable en respuesta a la recepción de uno o más parámetros asociados con una representación digital de la superficie facial del usuario.
En una realización, la unidad de tutorial de maquillaje está configurada para generar una proyección de una aplicación cosmética digital que rastrea en tiempo real al menos una representación tridimensional o bidimensional parcial de la superficie facial del usuario. En una realización, la unidad de tutorial de maquillaje 106 está configurada para generar una proyección de una aplicación cosmética digital que rastrea en tiempo real uno o más puntos de referencia faciales.
En una realización, la unidad de tutorial de maquillaje 106 incluye una pluralidad de fuentes emisoras de luz controlables que funcionan para generar una presentación proyectable. Por ejemplo, en una realización, la unidad de tutorial de maquillaje incluye una pluralidad de fuentes emisoras de luz controlables que funcionan para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario. Tales proyecciones pueden simular una pluralidad de condiciones de iluminación ambiental. En una realización, la unidad de tutorial de maquillaje incluye una pluralidad de fuentes emisoras de luz controlables que funcionan para proyectar al menos un primer objeto virtual y un segundo objeto virtual, indicando el segundo objeto virtual condiciones de iluminación ambiental diferentes del primer objeto virtual.
Los ejemplos no limitativos de fuentes emisoras de luz controlables 108 incluyen uno o más láseres, diodos láser, diodos emisores de luz (LED), diodos emisores de luz orgánicos (OLED), diodos emisores de luz poliméricos, lámparas de arco eléctrico, bombillas de onda continua, o emisores incandescentes, y similares. En una realización, la unidad de tutorial de maquillaje tiene al menos una de una fuente emisora de luz roja que tiene una longitud de onda de emisión máxima promedio que oscila de 610 nanómetros (nm) a 720 nm, una fuente emisora de luz azul que tiene una longitud de onda de emisión máxima promedio que oscila de 430 nm a 500 nm, y una fuente emisora de luz verde que tiene una longitud de onda de emisión máxima promedio que oscila de 500 nm a 570 nm.
En una realización, la unidad de tutorial de maquillaje incluye una pluralidad de diodos láser controlables que funcionan para generar una presentación proyectable. En una realización, la unidad de tutorial de maquillaje incluye al menos uno de un diodo láser rojo que tiene una longitud de onda de emisión máxima promedio que oscila de 610 nm a 720 nm, un diodo láser azul que tiene una longitud de onda de emisión máxima promedio que oscila de 430 nm a 500 nm, y un diodo láser verde que tiene una longitud de onda de emisión máxima promedio que oscila de 500 nm a 570 nm.
En una realización, la unidad de tutorial de maquillaje incluye una pluralidad de fuentes emisoras de luz controlables y un dispositivo de microespejo digital (DMD) que funciona para proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje. En una realización, la unidad de tutorial de maquillaje incluye un conjunto de diodo láser que funciona para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con una representación digital de la superficie facial del usuario. En una realización, la unidad de tutorial de maquillaje incluye al menos uno de un diodo láser, un espejo dicroico, un espejo, una
rueda de fósforo, una rueda de color, un chip de dispositivo de microespejo digital (DMD), un prisma, o un conjunto de lentes de proyección.
En una realización, la unidad de tutorial de maquillaje incluye al menos un proyector de pantalla de cristal líquido (LCD). En una realización, la unidad de tutorial de maquillaje incluye al menos un espejo MEMS de ultraminiatura que funciona para escanear un haz de láser modulado sobre la superficie facial del usuario.
Unidad de compensación de distorsión dinámica
En una realización, la unidad de compensación de distorsión dinámica está acoplada operativamente a la unidad de tutorial de maquillaje, y está configurada para compensar en tiempo real las distorsiones geométricas y de iluminación asociadas con el contenido digital proyectado que incluye el tutorial de aplicación de maquillaje. En una realización, la unidad de compensación de distorsión dinámica incluye un procesador y una circuitería computacional configurada para generar uno o más parámetros de calibración de iluminación o parámetros de calibración geométrica en respuesta a la recepción de una o más entradas indicativas de una distorsión detectada en una proyección de luz estructurada, una proyección de código estructurado, una proyección de patrón codificado espacial o temporalmente, o una proyección de tira de luz. En una realización, la unidad de compensación de distorsión dinámica incluye un procesador y una circuitería computacional configurada para modular una o más imágenes digitales asociadas con el contenido digital proyectado que incluye el tutorial de aplicación de maquillaje en respuesta a la recepción de una o más entradas indicativas de distorsiones de iluminación o distorsiones geométricas detectadas asociadas con el contenido digital proyectado.
Sistemas de imágenes con resolución en profundidad
En una realización, el sistema incluye una unidad de tutorial de maquillaje y una unidad de imagen con resolución en profundidad (por ejemplo, una cámara de profundidad 24 que tiene uno o más sensores de profundidad). En una realización, la unidad de tutorial de maquillaje está configurada para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con una representación digital de la superficie facial del usuario.
En una realización, la unidad de imagen con resolución en profundidad está configurada para generar una representación digital con resolución en profundidad de una superficie facial de un
usuario. En una realización, la unidad de tutorial de maquillaje está acoplada operativamente a la unidad de imagen con resolución en profundidad, y está configurada para proyectar un tutorial de aplicación de maquillaje en la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con la representación digital con resolución en profundidad de la superficie facial del usuario.
En una realización, la unidad de imagen con resolución en profundidad incluye un procesador y una circuitería computacional configurada para generar la representación digital con resolución en profundidad de la superficie facial del usuario en respuesta a la recepción de una o más entradas indicativas de una diferencia detectada entre una señal de luz emitida y una señal de luz reflejada.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un sensor de tiempo de vuelo configurado para detectar diferencias entre una señal de luz emitida y una señal de luz reflejada.
En una realización, la unidad de imagen con resolución en profundidad es al menos un transductor de efecto Doppler.
En una realización, la unidad de imagen con resolución en profundidad incluye un procesador y una circuitería computacional configurada para generar la representación digital con resolución en profundidad de la superficie facial del usuario en respuesta a la recepción de una o más entradas indicativas de un cambio distorsional detectado en un patrón de luz proyectado.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos uno de un iluminador infrarrojo, un sensor infrarrojo, un sensor RGB (rojo, verde, azul), o un sensor monocromático.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un iluminador infrarrojo que funciona para proyectar un patrón de luz infrarroja sobre la superficie facial de un usuario, y al menos un sensor infrarrojo que funciona para detectar cambios distorsionales en el patrón de luz infrarroja proyectado.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un iluminador infrarrojo que funciona para proyectar un patrón de luz infrarroja distanciado sobre la
superficie facial de un usuario, y al menos un sensor infrarrojo que funciona para detectar cambios distorsionales en el patrón de luz infrarroja distanciado proyectado.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un par de cualquiera de sensores RGB (rojo, verde, azul), monocromáticos, infrarrojos, o similares, que funcionan para estimar la profundidad mediante triangulación.
En una realización, la unidad de imagen con resolución en profundidad incluye uno o más sensores de profundidad. Los ejemplos no limitativos de sensores de profundidad incluyen sensores de profundidad de obturador rodante, sensores de profundidad de obturador global, cámaras de detección de profundidad activa, dispositivos de carga acoplada (CCD), semiconductores complementarios de óxido metálico (CMOS), y similares. Otros ejemplos no limitativos de sensores de profundidad incluyen sensores de disparidad, sensores de tiempo de vuelo, sensores estereoscópicos, y similares. Otros ejemplos no limitativos de sensores de profundidad incluyen sensores Intel RealSense, sensores Microsoft Kinect, sensor de profundidad Qualcomm, sensores Asus Xtion Pro, y similares.
En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería configurada para proyectar un patrón de luz estructurado y, según el desplazamiento de este patrón, calcular la profundidad en base a una o más entradas indicativas de disparidad en el patrón de luz estructurado. En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería configurada para detectar el tiempo en que la luz proyectada rebota de los objetos en la escena, y para determinar la distancia desde los objetos. En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería que incluye una pluralidad de sensores (módulo estéreo) configurados para reconstruir la cabeza, cara o parte del cuerpo de un usuario mediante triangulación. En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería configurada para proyectar un patrón de infrarrojos para proporcionar una textura extra para facilitar la triangulación.
En una realización, la unidad de imagen con resolución en profundidad incluye una pluralidad de sensores de profundidad, al menos un sensor RGB (rojo, verde, azul), y al menos un proyector infrarrojo. En una realización, la pluralidad de sensores de profundidad incluye al menos un sensor de profundidad de obturador rodante. En una realización, la pluralidad de sensores de profundidad incluye al menos un sensor de profundidad de obturador global. En una realización, la pluralidad de sensores de profundidad incluye al menos un dispositivo de carga acoplada (CCD). En una realización, la pluralidad de sensores de profundidad incluye al menos un
semiconductor complementario de óxido metálico (CMOS). En una realización, la unidad de imagen con resolución en profundidad incluye al menos una cámara de detección de profundidad activa.
En una realización, la unidad de imagen con resolución en profundidad incluye un procesador y una circuitería computacional configurada para extraer uno o más puntos de referencia faciales de la representación digital con resolución en profundidad de la superficie facial de un usuario, y para rastrear el uno o más de los puntos de referencia faciales extraídos de la representación digital con resolución en profundidad de la superficie facial del usuario.
En una realización, la unidad de imagen con resolución en profundidad está configurada para extraer uno o más puntos de referencia faciales a partir de la representación digital con resolución en profundidad de la superficie facial de un usuario usando al menos un método de las siguientes categorías:
En diferentes realizaciones, las imágenes con resolución en profundidad pueden generarse mediante: métodos holísticos (tales como el modelo de apariencia activa (AAM), algoritmos de ajuste o extensiones), métodos de modelo local restringido (CLM) (tales como el modelo de apariencia general o local, el modelo de forma facial, detección mediante optimización, etc.), y métodos basados en regresión (regresión directa, en cascada, o de aprendizaje profundo).
En una realización, la unidad de imagen con resolución en profundidad está configurada para realizar una reconstrucción 3D de al menos una parte de la superficie facial del usuario a partir de la representación digital con resolución en profundidad de la superficie facial de un usuario.
En una realización, la unidad de imagen con resolución en profundidad está configurada para extraer uno o más puntos de referencia faciales de la superficie facial de un usuario usando cualquiera de las entradas en vivo de profundidad RGB, monocromáticas, infrarrojas.
En una realización, la unidad de imagen con resolución en profundidad está configurada para realizar una reconstrucción 3D de al menos una parte de la superficie facial del usuario usando cualquiera de una entrada en vivo de profundidad RGB, monocromática, infrarroja.
Configuración de óptica coaxial
En una realización, la unidad de tutorial de maquillaje está acoplada operativamente a la unidad de óptica coaxial, y está configurada para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con la diferencia detectada entre el contenido digital proyectado y el contenido digital diana.
En una realización, la unidad de óptica coaxial está configurada para detectar diferencias geométricas y fotométricas entre el contenido digital proyectado y el contenido digital diana.
En una realización, la unidad de óptica coaxial incluye un divisor de haz, una cámara, y un proyector.
En una realización, la unidad de óptica coaxial incluye un divisor de haz, un sensor de imagen, y un proyector de procesamiento de luz digital (DLP).
Rastreo de la posición de la cara del usuario
Detección/reconstrucción de la cara: la posición precisa de la cara es relevante ya que es una superficie no rígida que normalmente se rastrea con una alta frecuencia. Esto se puede hacer usando diferentes métodos. A continuación se enumeran algunos ejemplos de tales métodos.
En algunas realizaciones, los puntos de referencia son detectados en la cara por la cámara RGB, monocromática, infrarroja, o similar. Esta última, si se combina con un filtro en el proyector que corta la proyección infrarroja, proporciona puntos de referencia robustos que no se ven afectados por el contenido proyectado, lo cual es importante para algunas aplicaciones.
En algunas realizaciones, se ajusta un modelo 3D en la cara usando sólo la información RGB (para los puntos de referencia) o combinando la información RGB y de profundidad (obtenida con tecnologías y sensores de profundidad). Esto tiene un coste de cálculo adicional, pero, si se basa en la profundidad, es más robusto frente a variaciones de colores en la cara debido a la proyección.
En algunas realizaciones, una reconstrucción de la superficie de la cara usa la imagen del sensor de profundidad y la detección adicional de puntos de referencia en esa superficie.
En algunas realizaciones, los puntos de referencia se detectan usando como entradas tanto las imágenes de profundidad como de RGB/infrarrojas, para hacer que la detección sea más robusta
para la proyección. En algunas realizaciones, se puede entrenar un algoritmo de aprendizaje profundo en dicho conjunto de datos.
Algunas realizaciones incluyen escanear la cara de la persona y después rastrearla como una combinación de expresiones (formas combinadas) y orientación de poses.
Ciertas realizaciones descritas aquí utilizan circuitería para implementar, por ejemplo, protocolos de proyección, acoplar operativamente dos o más componentes, generar información, determinar condiciones de operación, controlar un dispositivo o método, o similares. Se puede usar circuitería de cualquier tipo. En una realización, la circuitería incluye, entre otros, uno o más dispositivos informáticos tal como un procesador (por ejemplo, un microprocesador), una unidad central de procesamiento (CPU), un procesador de señal digital (DSP), un circuito integrado específico de la aplicación (ASIC), una matriz de puertas programables en campo (FPGA), o similares, o cualesquiera combinaciones de los mismos, y pueden incluir elementos o electrónica de circuitos digitales o analógicos discretos, o combinaciones de los mismos. En una realización, la circuitería incluye uno o más ASIC que tienen una pluralidad de componentes lógicos predefinidos. En una realización, la circuitería incluye una o más FPGA que tienen una pluralidad de componentes lógicos programables.
En una realización, la circuitería incluye uno o más circuitos eléctricos, circuitos impresos, circuitos flexibles, conductores eléctricos, electrodos, resonadores de cavidad, trazas conductoras, electrodos con diseño cerámico, componentes electromecánicos, transductores, y similares.
En una realización, la circuitería incluye uno o más componentes acoplados operativamente (por ejemplo, acoplados de forma comunicativa, electromagnética, magnética, ultrasónica, óptica, inductiva, eléctrica, capacitiva, inalámbrica, y similares) entre sí. En una realización, la circuitería incluye uno o más componentes ubicados remotamente. En una realización, los componentes ubicados remotamente se acoplan operativamente, por ejemplo mediante comunicación inalámbrica. En una realización, los componentes ubicados remotamente se acoplan operativamente, por ejemplo a través de uno o más módulos de comunicación, receptores, transmisores, transceptores, y similares.
En una realización, la circuitería incluye una memoria que, por ejemplo, almacena instrucciones o información. Los ejemplos no limitativos de memoria incluyen memoria volátil (por ejemplo, memoria de acceso aleatorio (RAM), memoria dinámica de acceso aleatorio (DRAM), y
similares), memoria no volátil (por ejemplo, memoria de solo lectura (ROM), memoria de solo lectura programable borrable eléctricamente (EEPROM), memoria de solo lectura de disco compacto (CD-ROM), y similares), memoria persistente, y similares. Otros ejemplos no limitativos de memoria incluyen memoria de sólo lectura programable borrable (EPROM), memoria flash, y similares. En una realización, la memoria está acoplada, por ejemplo, a uno o más dispositivos informáticos mediante uno o más buses de instrucciones, información, o alimentación.
En una realización, la circuitería incluye una o más unidades de medios legibles por ordenador, zócalos de interfaz, puertos Universal Serial Bus (USB), ranuras para tarjetas de memoria, y similares, y uno o más componentes de entrada/salida tales como, por ejemplo, una interfaz de usuario gráfica, una pantalla, un teclado, un teclado numérico, una bola de seguimiento, una palanca de mando, una pantalla táctil, un ratón, un interruptor, un dial, y similares, y cualquier otro dispositivo periférico. En una realización, la circuitería incluye uno o más componentes de entrada/salida de usuario que están acoplados operativamente a al menos un dispositivo informático configurado para controlar (control eléctrico, electromecánico, implementado por software, implementado por firmware, u otro control, o combinaciones de los mismos) al menos un parámetro asociado, por ejemplo, con la determinación de una o más propiedades térmicas del tejido en respuesta a los cambios detectados en el voltaje de encendido.
En una realización, la circuitería incluye una unidad de medios legibles por ordenador o una ranura de memoria que está configurada para aceptar un medio portador de señales (por ejemplo, medios de memoria legibles por ordenador, medios de grabación legibles por ordenador, y similares). En una realización, un programa para hacer que un sistema ejecute cualquiera de los métodos descritos puede almacenarse, por ejemplo, en un medio de grabación legible por ordenador, un medio portador de señales, y similares. Los ejemplos no limitativos de medios portadores de señales incluyen un medio de tipo grabable tal como una cinta magnética, un disquete, una unidad de disco duro, un disco compacto (CD), un disco de video digital (DVD), un disco Blu-Ray, una cinta digital, una memoria de ordenador, y similares, así como un medio de tipo transmisión, tal como un medio de comunicación digital o analógico (por ejemplo, un cable de fibra óptica, una guía de ondas, un enlace de comunicación por cable, un enlace de comunicación inalámbrico (por ejemplo, un receptor, transmisor, transceptor, lógica de transmisión, lógica de recepción, etc.). Otros ejemplos no limitativos de medios portadores de señales incluyen, pero no se limitan a, DVD-ROM, DVD-RAM, DVD+RW, DVD-RW, DVD-R, DVD+R, CD-ROM, Super Audio CD, CD-R, CD+R, CD+RW, CD-RW, Video Compact Disc, Super Video Discs, memoria flash, cinta magnética, disco magnetoóptico, MINIDISC, tarjeta de
memoria no volátil, EEPROM, disco óptico, almacenamiento óptico, RAM, ROM, memoria del sistema, servidor web, y similares.
En una realización, la circuitería incluye transductores acústicos, transductores electroacústicos, transductores electroquímicos, transductores electromagnéticos, transductores electromecánicos, transductores electrostáticos, transductores fotoeléctricos, transductores radioacústicos, transductores termoeléctricos, transductores ultrasónicos, y similares.
En una realización, la circuitería incluye circuitería eléctrica acoplada operativamente con un transductor (por ejemplo, un actuador, un motor, un cristal piezoeléctrico, un sistema microelectromecánico (MEMS), etc.). En una realización, la circuitería incluye circuitería eléctrica que tiene al menos un circuito eléctrico discreto, circuitería eléctrica que tiene al menos un circuito integrado, o circuitería eléctrica que tiene al menos un circuito integrado específico de la aplicación. En una realización, la circuitería incluye circuitería eléctrica que forma un dispositivo informático de propósito general configurado por un programa de ordenador (por ejemplo, un ordenador de propósito general configurado por un programa de ordenador que al menos parcialmente lleva a cabo procesos y/o dispositivos descritos aquí, o un microprocesador configurado por un programa de ordenador que al menos parcialmente lleva a cabo procesos y/o dispositivos descritos aquí), circuitería eléctrica que forma un dispositivo de memoria (por ejemplo, formas de memoria (por ejemplo, acceso aleatorio, flash, solo lectura, etc.)), circuitería eléctrica que forma un dispositivo de comunicación (por ejemplo, un módem, conmutador de comunicación, equipo óptico-eléctrico, etc.), y/o cualquier análogo no eléctrico de los mismos, tales como análogos ópticos u otros.
Claims (9)
1. Un sistema de aplicación de maquillaje, que comprende:
un proyector (22) configurado para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje sobre la superficie facial del usuario; y
una unidad de mapeo dinámico (24; 30) que comprende una cámara de profundidad (24) configurada para determinar dinámicamente un contorno de profundidad de la superficie facial del usuario, acoplándose dicha unidad de mapeo dinámico operativamente al proyector, en el que la unidad de mapeo dinámico está configurada para:
establecer una correspondencia dinámica entre los píxeles del proyector (22) y las características de la superficie facial del usuario, que incluye identificar y rastrear un conjunto de puntos de referencia en la superficie facial del usuario en tiempo real en base a una entrada en vivo de profundidad adquirida por la cámara de profundidad (24), en el que la unidad de mapeo dinámico está configurada además para:
- generar (350) un espacio de proyector con un conjunto de características faciales delineadas y preparadas para definir zonas de interés,
- definir (355) zonas de interés basadas en el espacio del proyector,
- delinear (360) una proyección de maquillaje, incluyendo dicha proyección de maquillaje dicho tutorial de aplicación de maquillaje,
- aplicar (370) la proyección de maquillaje sobre la cara del usuario a través del proyector,
en el que dicho tutorial de aplicación de maquillaje incluye proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje, y
en el que se proyecta gradualmente una rutina de maquillaje definiendo zonas de aplicación de cada producto de maquillaje a aplicar.
2. El sistema según la reivindicación 1, que comprende además:
una unidad de compensación de distorsión dinámica (26) acoplada operativamente al proyector (22), en el que la unidad de compensación de distorsión dinámica (26) está configurada para compensar, en tiempo real, al menos una de distorsiones de color y distorsiones geométricas de la superficie facial del usuario.
3. El sistema según cualquiera de las reivindicaciones anteriores, en el que la correspondencia dinámica entre los píxeles del proyector (22) y las características de la superficie facial del usuario comprende generar una representación digital con resolución en profundidad de al menos una porción de la superficie facial del usuario.
4. El sistema según cualquiera de las reivindicaciones anteriores, en el que la cámara de profundidad (24) comprende un sensor de profundidad y circuitería configurados para rastrear en tiempo real al menos una representación tridimensional parcial de la superficie facial del usuario.
5. El sistema según cualquiera de las reivindicaciones 1 a 4, en el que el contenido digital comprende una primera proyección de maquillaje proyectada a un lado de la superficie facial del usuario y una segunda proyección de maquillaje proyectada a otro lado de la superficie facial del usuario, y en el que la primera proyección de maquillaje es diferente de las segundas proyecciones de maquillaje.
6. Un método para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje en una superficie facial del usuario, que comprende:
- establecer, mediante una unidad de mapeo dinámico (24, 30) que está acoplada operativamente a un proyector (22) y que comprende una cámara de profundidad (24) configurada para determinar dinámicamente un contorno de profundidad de la superficie facial del usuario, una correspondencia dinámica entre los píxeles de un proyector y las características de una superficie facial del usuario, que incluye identificar y rastrear un conjunto de puntos de referencia en la superficie facial del usuario en tiempo real en base a una entrada en vivo de profundidad por la cámara de profundidad (24), y en el que la unidad de mapeo dinámico (24, 30)
- genera un espacio de proyector que tiene un conjunto de características faciales delineadas y preparadas para definir zonas de interés,
- define zonas de interés basadas en el espacio del proyector,
- delinea una proyección de maquillaje, incluyendo dicha proyección de maquillaje dicho tutorial de aplicación de maquillaje,
- aplica la proyección de maquillaje sobre la cara del usuario a través del proyector,
en el que dicho tutorial de aplicación de maquillaje incluye proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje, y en el que una rutina de maquillaje se proyecta gradualmente definiendo zonas de aplicación de cada producto de maquillaje a aplicar.
7. El método según la reivindicación 6, en el que establecer, mediante la unidad de mapeo dinámico, la correspondencia dinámica entre los píxeles del proyector y las características de la superficie facial del usuario incluye proyectar un patrón de luz que comprende una proyección de luz estructurada, una proyección de código estructurado, una proyección de tira de luz, un patrón codificado espacialmente, un patrón codificado temporalmente, o una proyección de imagen de referencia.
8. El método según la reivindicación 6 o 7, en el que establecer, mediante la unidad de mapeo dinámico, la correspondencia dinámica entre los píxeles del proyector y las características de la superficie facial del usuario incluye generar una representación digital con resolución en profundidad de al menos una porción de la superficie facial del usuario.
9. El método según cualquiera de las reivindicaciones anteriores 6 a 8, en el que proyectar contenido digital que incluye el tutorial de aplicación de maquillaje incluye proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19305303.0A EP3709638B1 (en) | 2019-03-13 | 2019-03-13 | System and method for projecting digital content onto user's facial surface |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2954842T3 true ES2954842T3 (es) | 2023-11-27 |
Family
ID=65818495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES19305303T Active ES2954842T3 (es) | 2019-03-13 | 2019-03-13 | Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220183447A1 (es) |
| EP (1) | EP3709638B1 (es) |
| JP (1) | JP7311622B2 (es) |
| CN (1) | CN113574860A (es) |
| ES (1) | ES2954842T3 (es) |
| WO (1) | WO2020182991A1 (es) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2970213T3 (es) * | 2019-03-13 | 2024-05-27 | Loreal | Proyección de color de cabello y tutoriales de color de cabello directamente en el rostro de las personas, y sistemas y métodos asociados |
| FR3125949B1 (fr) * | 2021-08-03 | 2023-08-18 | Oreal | applicateur de dessin cosmétique intÉgrÉ |
| WO2022232404A1 (en) * | 2021-04-30 | 2022-11-03 | L'oreal | Integrated cosmetic design applicator |
| US11544876B2 (en) | 2021-04-30 | 2023-01-03 | L'oreal | Integrated cosmetic design applicator |
| WO2024023889A1 (ja) * | 2022-07-25 | 2024-02-01 | 株式会社コーセー | シミュレーションシステム及びシミュレーション方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3629771A1 (de) * | 1986-09-02 | 1988-03-03 | Demolux | Overhead-projektor |
| US7663640B2 (en) * | 2003-07-02 | 2010-02-16 | The Trustees Of Columbia University In The City Of New York | Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties |
| FR2874229B1 (fr) * | 2004-08-10 | 2006-11-24 | Somfy Sas | Procede de fonctionnement d'un volet roulant commande et alimente par le biais d'une interface de commande filaire |
| US7860280B2 (en) * | 2006-06-09 | 2010-12-28 | Samsung Electronics Co., Ltd. | Facial feature detection method and device |
| WO2009049272A2 (en) * | 2007-10-10 | 2009-04-16 | Gerard Dirk Smits | Image projector with reflected light tracking |
| US8730309B2 (en) * | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
| US9201501B2 (en) * | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| US9946076B2 (en) * | 2010-10-04 | 2018-04-17 | Gerard Dirk Smits | System and method for 3-D projection and enhancements for interactivity |
| JP5212927B2 (ja) * | 2011-01-25 | 2013-06-19 | 株式会社デンソー | 顔撮影システム |
| US8840250B1 (en) * | 2012-01-11 | 2014-09-23 | Rawles Llc | Projection screen qualification and selection |
| EP2939423A1 (en) * | 2012-12-28 | 2015-11-04 | Metaio GmbH | Method of and system for projecting digital information on a real object in a real environment |
| US10368044B2 (en) * | 2013-10-10 | 2019-07-30 | Dolby Laboratories Licensing Corporation | Displaying DCI and other content on an enhanced dynamic range projector |
| JP2015111772A (ja) * | 2013-12-06 | 2015-06-18 | シチズンホールディングス株式会社 | 投影装置 |
| CN103985331A (zh) * | 2014-05-22 | 2014-08-13 | 王利光 | 一种激光投射单元板 |
| US10080004B2 (en) * | 2014-11-06 | 2018-09-18 | Disney Enterprises, Inc. | Method and system for projector calibration |
| US10089778B2 (en) * | 2015-08-07 | 2018-10-02 | Christie Digital Systems Usa, Inc. | System and method for automatic alignment and projection mapping |
| WO2018052831A1 (en) * | 2016-09-15 | 2018-03-22 | Walmart Apollo, Llc | Dynamic projection system |
| US20180121713A1 (en) * | 2016-10-28 | 2018-05-03 | Qualcomm Incorporated | Systems and methods for verifying a face |
| US10025174B1 (en) * | 2017-03-07 | 2018-07-17 | Disney Enterprises, Inc. | Multi-theater light source |
| JP2018195996A (ja) * | 2017-05-18 | 2018-12-06 | 株式会社デジタルハンズ | 画像投影装置、画像投影方法、及び、画像投影プログラム |
-
2019
- 2019-03-13 EP EP19305303.0A patent/EP3709638B1/en active Active
- 2019-03-13 ES ES19305303T patent/ES2954842T3/es active Active
-
2020
- 2020-03-13 JP JP2021554767A patent/JP7311622B2/ja active Active
- 2020-03-13 US US17/438,359 patent/US20220183447A1/en active Pending
- 2020-03-13 WO PCT/EP2020/056887 patent/WO2020182991A1/en active Application Filing
- 2020-03-13 CN CN202080020661.4A patent/CN113574860A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220183447A1 (en) | 2022-06-16 |
| EP3709638A1 (en) | 2020-09-16 |
| WO2020182991A1 (en) | 2020-09-17 |
| JP7311622B2 (ja) | 2023-07-19 |
| JP2022525115A (ja) | 2022-05-11 |
| CN113574860A (zh) | 2021-10-29 |
| EP3709638B1 (en) | 2023-08-30 |
| EP3709638C0 (en) | 2023-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2954842T3 (es) | Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario | |
| ES2937132T3 (es) | Sistema y método para proyectar contenido digital que incluye cambios de color del cabello en la cabeza de un usuario | |
| US11115633B2 (en) | Method and system for projector calibration | |
| US8760499B2 (en) | Three-dimensional imager and projection device | |
| US9047514B2 (en) | Apparatus, system and method for projecting images onto predefined portions of objects | |
| JP2019516261A (ja) | インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ | |
| CN107018392B (zh) | 投影仪优化方法和系统 | |
| CN104919272A (zh) | 集成照明及光学表面拓扑检测系统及其使用方法 | |
| US20160343169A1 (en) | Light-based radar system for augmented reality | |
| US9049369B2 (en) | Apparatus, system and method for projecting images onto predefined portions of objects | |
| CN111083453B (zh) | 一种投影装置、方法及计算机可读存储介质 | |
| US10509125B2 (en) | Method and device for acquiring distance information | |
| KR101248909B1 (ko) | 3ｄ 정보 획득장치 및 이의 광원 구동방법, 그리고, 3ｄ 정보 획득 시스템 | |
| CN113557716B (zh) | 用于将包括毛发颜色变化的数字内容投影到用户的头部，面部或身体上的系统，设备和方法 | |
| US20220065620A1 (en) | Volumetric performance capture with relighting | |
| KR20240040634A (ko) | 스캐너, 데이터 처리 장치 및 데이터 처리 방법 | |
| Cocon et al. | xTrack: A Flexible Real-time 3D Scanner for Home Computing Applications |