ES2954842T3 - Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario - Google Patents

Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario Download PDF

Info

Publication number
ES2954842T3
ES2954842T3 ES19305303T ES19305303T ES2954842T3 ES 2954842 T3 ES2954842 T3 ES 2954842T3 ES 19305303 T ES19305303 T ES 19305303T ES 19305303 T ES19305303 T ES 19305303T ES 2954842 T3 ES2954842 T3 ES 2954842T3
Authority
ES
Spain
Prior art keywords
user
makeup
projector
depth
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19305303T
Other languages
English (en)
Inventor
Panagiotis-Alexandros Bokaris
Michael Haddad
Loic Tran
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOreal SA filed Critical LOreal SA
Application granted granted Critical
Publication of ES2954842T3 publication Critical patent/ES2954842T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Analysis (AREA)

Abstract

En una realización, un sistema de aplicación de maquillaje incluye: un proyector 22 configurado para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje sobre la superficie facial del usuario; y una unidad de mapeo dinámico 24; 30 acoplado operativamente al proyector, en el que la unidad de mapeo dinámico está configurada para establecer una correspondencia dinámica entre los píxeles del proyector 22 y las características de la superficie facial del usuario. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario
SUMARIO
El documento SIEGL CHRISTIAN ET AL: "FaceForge: Marckerless Non-Rigid Face Multi-Projection Mapping”, vol. 23, n° 11, páginas 2440-2446, se refiere a la proyección de una imagen que sigue los contornos de la cara de un usuario. Más particularmente, se refiere a una combinación de un sistema de rastreo no rígido sin marcadores con proyección múltiple mixta.
La invención se define por las reivindicaciones adjuntas.
BREVE DESCRIPCIÓN DE LAS FIGURAS
La FIG. 1 es una vista esquemática de un sistema de proyección de contenido digital según una realización de la tecnología inventiva.
La FIG. 2 es una vista esquemática de un sistema de proyección de contenido digital según una realización de la tecnología inventiva.
Las FIGS. 3A-3C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva.
Las FIGS. 4A-4C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva.
Las FIGS. 5A y 5B son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de peinado del cabello según realizaciones de la tecnología inventiva.
La FIG. 6 es una vista en perspectiva de un sistema de proyección de contenido digital según una realización de la tecnología inventiva.
En la siguiente descripción detallada, se hace referencia a los dibujos que se acompañan, que forman una parte de la misma. En los dibujos, símbolos similares identifican típicamente componentes similares, a no ser que el contexto dicte lo contrario.
DESCRIPCIÓN DETALLADA
La FIG. 1 es una vista esquemática de un sistema de proyección de contenido digital 110 según una realización de la tecnología inventiva. En diferentes realizaciones, el sistema 110 (un sistema tutorial de maquillaje) incluye una o más metodologías o tecnologías que se implementan mediante la proyección de contenido de maquillaje digital en la cara del usuario.
En la realización ilustrada, una cámara de profundidad 24 adquiere una imagen resuelta en profundidad de la cara del usuario 10. En diferentes realizaciones, la cámara de profundidad 24 y el software de procesamiento de imágenes apropiado (por ejemplo, transportado por la unidad de procesamiento 30 y/o la propia cámara 24) se denomina unidad de mapeo dinámico. En una realización, la cámara de profundidad 24 incluye un sensor de profundidad y una circuitería configurada para rastrear en tiempo real al menos una representación tridimensional o bidimensional parcial de la cabeza, cara o parte del cuerpo del usuario. La o las imágenes adquiridas por la cámara de profundidad 24 se pueden procesar por una unidad de procesamiento 30 (por ejemplo, ordenador, teléfono inteligente, controlador digital, etc.) para resolver la profundidad y el contorno de la cara del usuario.
La cámara de profundidad 24 establece una calibración geométrica, ya que se crean modelos (por ejemplo, dentro de la unidad de procesamiento 30) para el proyector 22 y la cámara de profundidad 24. Con base en el modelo y mediante la calibración, se pueden estimar los parámetros de estos modelos. Por lo tanto, utilizando la entrada de profundidad en vivo y los parámetros de los modelos, el sistema 110 puede establecer dinámicamente (por ejemplo, para cada fotograma) una correspondencia entre las proyecciones del proyector 22 y los contornos de profundidad adquiridos por la cámara de profundidad 24.
En una realización, un proyector 22 está configurado para generar una proyección de una aplicación cosmética digital sobre la cara del usuario. En funcionamiento, los píxeles del proyector digital 22 pueden rastrear en tiempo real uno o más puntos de referencia/rasgos de la cara del usuario, capturados y resueltos por la cámara de profundidad 24. El proyector 22 también puede conectarse con la unidad de procesamiento 30 para la coordinación con la profundidad y contorno de la cara del usuario obtenidos por la cámara de profundidad 24.
En una realización, el sistema 110 está configurado para calibrar el proyector y la cámara para proyecciones en tiempo real. En una realización, se puede operar un sensor de profundidad para evaluar las posiciones tridimensionales (3D) de los píxeles de la cámara. En una realización, la calibración entre la cámara de profundidad 24 y el proyector 22 se puede lograr usando diferentes soluciones. Por ejemplo, partiendo de un modelo óptico para el proyector y la cámara (que es el mismo pero la dirección de la luz es opuesta), para ajustar los parámetros del modelo óptico se necesita un conjunto de correspondencias entre puntos bidimensionales (2D) en las imágenes del proyector y de la cámara y los puntos 3D en la escena. El principio compartido es que el proyector proyecta cierta información codificada, y la cámara captura y decodifica esta información.
Existen diferentes métodos para codificar esta información (codificada temporal/espacialmente) y diferentes suposiciones sobre la configuración y la cantidad de poses requeridas. Como ejemplos no limitativos, algunos métodos utilizan una diana de calibración sobre la que se proyecta la información codificada, otros simplemente proyectan sobre una escena arbitraria y, en algunos casos, la proyección se puede realizar sobre una superficie plana. El uso de una superficie plana puede proporcionar mejores resultados que la escena arbitraria (que adolece de valores atípicos debido a la decodificación pura en superficies complejas, interreflexiones, etc.), mientras que una proyección en una superficie plana aún puede proporcionar un gran conjunto de puntos robustos.
En una realización, el sistema 110 incluye una unidad de compensación de distorsión dinámica 26. En diferentes realizaciones, la unidad de compensación de distorsión dinámica 26 se ajusta, por ejemplo, para diferentes poses de la cara del usuario, contorsión de la cara, movimiento de los labios, parpadeo del ojo, sacudidas del cabello, etc., de modo que el proyector 22 dé cuenta de estos cambios dinámicos en el usuario 10. En diferentes realizaciones, la unidad de compensación de distorsión dinámica 26 compensa en tiempo real las distorsiones geométricas y de iluminación asociadas con el contenido digital proyectado (posiblemente incluyendo las distorsiones asociadas con el tutorial de la aplicación de maquillaje). En una realización, la compensación de distorsión dinámica puede incluir proyectar puntos, líneas, formas, áreas, etc. en la cara o el cabello del usuario por parte del proyector 22. En algunas realizaciones, la unidad de compensación de distorsión dinámica 26 está acoplada de forma operativa al proyector 22 para compensar, en tiempo real, al menos una de las distorsiones de color y distorsiones geométricas de la superficie facial del usuario. En algunas realizaciones, la unidad de compensación de distorsión dinámica 26 ejecuta correcciones después de mapear la cara (por ejemplo, mediante la cámara de profundidad 24) para mejorar la experiencia del usuario. Por ejemplo, la compensación fotométrica puede compensar los diferentes colores de la cara del usuario para crear un efecto deseado. Además, la compensación de distorsión se puede aplicar utilizando tanto la cámara de profundidad 24 del sistema 110 como un sistema de óptica coaxial del sistema 120 (mostrado en la FIG. 2).
En algunas realizaciones, un tutorial de maquillaje 28 puede proyectar un contenido de maquillaje de contenido digital (por ejemplo, a través del proyector digital 22) sobre la superficie facial del usuario. Dicho contenido de maquillaje de contenido digital puede incluir contenido mapeado facialmente y generado digitalmente representativo de un procedimiento de aplicación de maquillaje, por ejemplo las instrucciones para aplicar maquillaje o colorear el cabello. En algunas realizaciones, el tutorial de maquillaje se puede proyectar sobre un ojo como guía, mientras que el maquillaje real se aplica sobre el otro ojo. En diferentes realizaciones, se pueden proyectar múltiples escenarios sobre la cara. Por ejemplo, un conjunto de maquillaje para usar durante el día se puede proyectar en un lado de la cara, mientras que otro conjunto de maquillaje para un evento nocturno se puede proyectar en otro lado de la cara.
Durante el funcionamiento, el sistema 110 puede extraer la forma y la topología de la cara del usuario mediante la cámara de profundidad 24, y puede proyectar un tutorial de maquillaje personalizado directamente sobre la cara del usuario mediante el proyector 22. El usuario puede usar un espejo para ver la proyección. En una realización, la rutina de maquillaje se proyecta gradualmente definiendo las zonas de aplicación de cada producto a aplicar. En una realización, el usuario puede aplicar maquillaje real usando estas zonas. En una realización, la aplicación de maquillaje se implementa digitalmente (por ejemplo, el proyector 22 es un proyector digital). En una realización, el usuario 10 interactúa con una interfaz para proceder al siguiente producto o para modificar la experiencia. En una realización, el usuario puede comprobar el éxito de la aplicación de un producto real comparándolo con la zona de aplicación virtual proyectada.
En algunas realizaciones, el usuario interactúa con el sistema a través de una interfaz (tableta, teléfono inteligente, etc.). Para diversas aplicaciones, el usuario puede interactuar con una interfaz para tomar decisiones sobre el contenido proyectado. Por ejemplo, el usuario puede seleccionar una de diversas experiencias propuestas (tutoriales de maquillaje, proyección divertida, narración audiovisual, coloración del cabello, etc.), modificar la experiencia (afinar el maquillaje, etc.), o controlar el procedimiento (ir a u omitir la siguiente etapa, proporcionar comentarios de que terminó la sesión actual, etc.). Esta interfaz se puede conectar al sistema de cámara proyectada mediante WiFi o mediante un cable integrado en un producto final.
Los datos adquiridos por la cámara de profundidad 24, los datos proyectados por el proyector 22, los algoritmos para el procesamiento de datos, los tutoriales de maquillaje, etc., pueden almacenarse en la unidad de procesamiento 30 o en un sistema remoto ("nube de datos”) 50 -colectivamente, sistemas de almacenamiento de datos. Como se describe aquí, los sistemas de almacenamiento de datos pueden ser cualquier dispositivo o dispositivos adecuados configurados para almacenar datos para el acceso mediante un dispositivo informático. Un ejemplo del sistema de almacenamiento de datos es un sistema de gestión de bases de datos relacionales (DBMS) de alta velocidad que se ejecuta en uno o más dispositivos informáticos y al que se puede acceder en la nube de datos 50 a través de una red de alta velocidad. Sin embargo, se pueden usar otras técnicas y/o dispositivos de almacenamiento adecuados capaces de proporcionar los datos almacenados en respuesta a consultas, y se puede acceder localmente al dispositivo informático en lugar de a través de una red, o se puede proporcionar como un servicio basado en la nube. El sistema de almacenamiento en la nube 50 también puede incluir datos almacenados de manera organizada en un medio de almacenamiento legible por ordenador.
Calibración entre proyector y cámara
Para la proyección en tiempo real, es importante una calibración precisa entre el proyector 22 y un sensor de profundidad de la cámara de profundidad 24. Además, la cámara de profundidad 24 proporciona las posiciones 3D de los píxeles de la cámara. En algunas realizaciones, el sensor de profundidad puede configurarse por separado de la cámara de profundidad 24.
Partiendo de un modelo óptico para el proyector 22 y la cámara de profundidad 24 (que puede ser el mismo pero la dirección de la luz es opuesta), para ajustar los parámetros del modelo óptico se necesita un conjunto de correspondencias entre puntos 2D en las imágenes del proyector y de la cámara y los puntos 3D en la escena. El principio compartido es que el proyector 22 proyecta alguna información codificada, y la cámara de profundidad 24 captura y decodifica esta información. Existen diferentes métodos para codificar esta información (codificada temporal/espacialmente) y diferentes suposiciones sobre la configuración y la cantidad de poses requeridas. Algunos métodos usan una diana de calibración sobre la que se proyecta la información codificada, otros simplemente proyectan sobre una superficie 3D arbitraria o una superficie plana. La razón para usar la superficie plana es que da mejores resultados que la escena arbitraria (que adolece de valores atípicos debido a la decodificación pura en superficies complejas, interreflexiones, etc.), y aún es conveniente de usar, proporcionando un gran conjunto de puntos robustos.
Algunos ejemplos no exclusivos de los sensores de profundidad para la cámara de profundidad 24 son RealSense D415, Intel RealSense, Microsoft Kinect, Qualcomm Depth Sensor y Asus Xtion Pro. Por ejemplo, la primera versión de Microsoft Kinect utiliza sensores de disparidad mediante los cuales se proyecta un patrón de luz estructurado (en longitud de onda infrarroja) y, según el desplazamiento de este patrón, la profundidad se calcula a través de la disparidad. Como otro ejemplo, la segunda versión de Microsoft Kinect usa el tiempo de vuelo (todavía en infrarrojo) para medir el tiempo que la luz proyectada necesita para reflejarse desde los objetos 3D en la escena para estimar la distancia a los objetos. Como otro ejemplo más, la serie Intel Realsense D usa dos sensores (módulo estéreo) para la reconstrucción 3D que se realiza mediante triangulación. Además, una proyección opcional de luz infrarroja punteada proporciona una textura adicional para mejorar la triangulación.
La FIG. 2 es una vista esquemática de un sistema de proyección de contenido digital 120 según una realización de la tecnología inventiva. En algunas realizaciones, el sistema de proyección de contenido digital 120 se denomina configuración de óptica coaxial que tiene un divisor de haz 27. El divisor de haz 27 puede ser capaz de dirigir la imagen del usuario 10 hacia una cámara 23, que puede ser una cámara 2D. El divisor de haz 27 también puede permitir proyecciones digitales desde el proyector 22 (por ejemplo, escenarios de aplicación de maquillaje, escenarios de peinado, tutoriales de maquillaje, etc.) para proyectarlas sobre el usuario 10.
En funcionamiento, se necesita una correspondencia dinámica entre los píxeles del proyector 22 y la cámara 23. En algunas realizaciones, el sistema de óptica coaxial 120 puede pasar por alto la información de profundidad debido a una propiedad de la óptica coaxial de que una correspondencia entre el proyector 22 y la cámara 23 es independiente de la profundidad. Por lo tanto, puede ser suficiente registrar una vez la correspondencia entre el proyector y la cámara, ya que esta correspondencia permanece invariable con las escenas en movimiento. En algunas realizaciones, no es necesario calcular los parámetros del modelo. En cambio, se lleva a cabo un procedimiento de calibración relativamente más simple (por ejemplo, estableciendo la correspondencia entre los píxeles de la cámara 23 y el proyector 24). Usando la cámara de profundidad del sistema 110 de la FIG. 1, se puede establecer una escena 3D, que es útil para determinar, por ejemplo, las características faciales del espacio 3D real. Sin embargo, la óptica coaxial del sistema 120 de la FIG. 2 es generalmente más rápida debido a la menor demora de comunicación en el sistema. Además, en algunas realizaciones, es posible ajustar modelos 3D en la representación 2D de la cámara 23, haciendo así que el sistema 120 logre casi la misma funcionalidad que el sistema de cámara de profundidad 110.
Las FIGS. 3A-3C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva. En algunas realizaciones, el método puede incluir sólo algunas en las etapas de las FIGS. 3A-3C, o puede incluir etapas adicionales que no se ilustran. En la FIG. 3A, el método 3000A es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. Con el método 3000A ilustrado, se rastrea un grupo de puntos de referencia en la cara del usuario en las imágenes de la cámara. En particular, en el bloque 320, una cámara (por ejemplo, la cámara 24) adquiere una entrada en vivo roja/verde/azul (RGB), escala de grises, o infrarroja. En el bloque 325, un conjunto de puntos de referencia faciales (marcados por los puntos) se identifican y rastrean basándose en la entrada en vivo adquirida por la cámara en el bloque 320. Las características 327 son ejemplos no limitativos de tales puntos de referencia. En el bloque 315, por ejemplo, la cámara 24 adquiere una entrada en vivo de profundidad de la cara y/o del cabello del usuario. En el bloque 310, la cámara y el proyector se calibran mutuamente. En el bloque 330, las entradas de los bloques 310, 315 y 355 se combinan para lograr la transformación de fotograma de cámara a proyector. En el bloque 350, se genera el espacio del proyector que tiene un conjunto de características faciales delineadas y preparadas para definir zonas de interés. En el bloque 355, las zonas de interés se definen en función del espacio del proyector 350. Por ejemplo, uno o más subespacios del espacio del proyector 350 pueden llenarse con la proyección de maquillaje que se muestra sobre la cara del usuario. En el bloque 360, se delinea la proyección de maquillaje. En algunas realizaciones, la proyección de maquillaje 360 puede basarse en un tutorial de maquillaje. En el bloque 370, la proyección de maquillaje 360 se aplica sobre la cara del usuario. En algunas realizaciones, el usuario puede observar la proyección de maquillaje 316 en un espejo, una tableta, o un dispositivo similar. Además, el usuario puede intercambiar diferentes aspectos en el tutorial de maquillaje para, por ejemplo, comprender mejor y decidir entre diferentes opciones.
En la FIG. 3B, el método 3000B es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. Las etapas del método 3000B se basan en una imagen de profundidad obtenida en el bloque 315. En el bloque 325, las características de la cara se detectan y rastrean en función de la imagen de profundidad obtenida en el bloque 315. En algunas realizaciones, las etapas restantes del método 3000B son análogas a las del método 3000A.
En la FIG. 3C, el método 3000C es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. En la realización ilustrada, los puntos de referencia de la cara se detectan y rastrean usando imágenes tanto de la de cámara 2D como de la cámara 3D (bloques 320 y 315, respectivamente). Por lo tanto, la entrada en vivo de profundidad del bloque 315 se alimenta al bloque 325, en el que se ve afectada la detección y el rastreo de puntos de referencia faciales, y al bloque 330, en el que se ve afectada la transformación de fotograma de cámara a proyector.
Las FIGS. 4A-4C son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de maquillaje según realizaciones de la tecnología inventiva. En algunas realizaciones, el método puede incluir sólo algunas en las etapas de las FIGS. 4A-4C, o puede incluir etapas adicionales que no se ilustran. En la FIG. 4A, el método 4000A es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. En el bloque 410, se genera un modelo facial 3D (también denominado modelo deformable 3D). En el bloque 325, el modelo facial 3D se ajusta sobre una imagen de la cara del usuario. En el bloque 412, se genera el espacio del proyector que incluye el modelo facial 3D. En el bloque 420, se accede a la base de datos con las texturas de maquillaje, y la textura deseada se superpone sobre una imagen de la cara del usuario. Esta textura deseada se aplica a la proyección de maquillaje del bloque 360 junto con el espacio del proyector del bloque 412. En algunas realizaciones, los puntos de referencia pueden ajustarse opcionalmente antes de ajustar la malla 3D.
En la FIG. 4B, el método 4000B es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. En el bloque 325, se superpone una malla 3D sobre la representación de la cara del usuario obtenida en el bloque 315 (por ejemplo, por la cámara de profundidad 24). En la realización ilustrada, el ajuste y el rastreo de la malla facial 3D se basan en la imagen de profundidad. En algunas realizaciones, los puntos de referencia pueden ajustarse opcionalmente antes de ajustar la malla 3D.
En la FIG. 4C, el método 4000C es una realización de la tecnología inventiva para proyectar maquillaje en la cara del usuario. Con el método 4000C, el ajuste y rastreo de una malla facial 3D incluye tanto la imagen de la cámara como las imágenes de profundidad. Por ejemplo, el bloque 330, que incluye la transformación de fotograma de cámara a proyector, se basa en la entrada en vivo de profundidad del bloque 315, la entrada de cámara del bloque 320, y un modelo deformable 3D del bloque 410.
Las FIGS. 5A y 5B son diagramas esquemáticos de métodos de proyección de contenido digital para aplicaciones de peinado del cabello según ejemplos útiles para entender la invención. En algunos ejemplos, el método puede incluir sólo algunas de las etapas en las FIGS. 5A y 5B, o puede incluir etapas adicionales que no se ilustran. En la FIG. 5A, el método 5000A es un ejemplo para proyectar una aplicación de peinado sobre el cabello del usuario. En el bloque 520, se obtiene una entrada de cámara de la cara y del cabello del usuario. En el bloque 315, por ejemplo, la cámara 24 adquiere una entrada en vivo de profundidad de la cara y/o del cabello del usuario. Esta entrada en vivo se puede proporcionar al bloque 330, en el que se ve afectada la transformación de fotograma de cámara a proyector, y al bloque 525, en el que se ve afectada su segmentación y el rastreo. En el bloque 560, el proyector 22 puede proyectar su contenido sobre el contorno de segmentación y rastreo del cabello del bloque 525. En el bloque 570 se muestra la superposición resultante de la proyección de contenido de cabello sobre el cabello del usuario. En diferentes realizaciones, las proyecciones de contenido de cabello del bloque 560 pueden incluir, por ejemplo, diferentes colores y/o diferentes peinados.
En la FIG. 5B, el método 5000B es un ejemplo para proyectar una aplicación de peinado sobre el cabello del usuario. En el bloque 520, se obtiene una entrada de cámara de la cara y del cabello del usuario. Esta entrada de cámara del bloque 520 puede procesarse en los bloques 525A-525B, sola o junto con la entrada en vivo de profundidad del bloque 315. En el bloque 525A, la entrada de cámara del bloque 520 se convierte en un contorno de segmentación de cabello. En el bloque 525B, se definen los puntos de rastreo (por ejemplo, los puntos de referencia 327). En el bloque 525C, se superpone un modelo facial 3D sobre la entrada de cámara del bloque 520. En diferentes realizaciones, se implementan algunos o todos los bloques 525A-525C. En el bloque 535, se ve afectada una reconstrucción y rastreo del cabello en 3D. En el bloque 545, el contenido se crea en un espacio 3D, y puede alimentarse a la transformación de fotograma de cámara a proyector del bloque 330. En el bloque 560, se crea una proyección de contenido de cabello. En algunas realizaciones, esta proyección de contenido de cabello puede basarse, al menos en parte, en los tutoriales de maquillaje. La aplicación resultante de la proyección de contenido de cabello sobre el cabello del usuario se muestra en el bloque 570.
La FIG. 6 es una vista en perspectiva de un sistema de proyección de contenido digital según una realización de la tecnología inventiva. En algunas realizaciones, el proyector 22 puede proyectar proyecciones de maquillaje sobre, por ejemplo, la mitad de la cara del usuario (370 -R), mientras que la otra mitad de la cara del usuario está libre de proyecciones. El usuario 370 puede observar el efecto de la proyección de maquillaje en el espejo, un ordenador portátil, una unidad de procesamiento 30, u otras unidades de visualización. El usuario puede seleccionar diferentes realizaciones de maquillaje a proyectar para encontrar una proyección satisfactoria. En algunas realizaciones, se proyecta un tipo del maquillaje (por ejemplo, un maquillaje de noche) en un lado de la cara, y otro tipo del maquillaje (por ejemplo, un maquillaje de día) se proyecta en el otro lado de la cara. En diferentes realizaciones, el usuario puede ejecutar un procedimiento análogo para la cabeza, con diferentes peinados y/o colores testimoniados a través de diferentes imágenes basadas en el tutorial de maquillaje. En otras realizaciones, el usuario puede proyectar maquillaje en la mitad de la cara, y usar la proyección como guía para aplicar el maquillaje en el otro lado de la cara. En las descripciones aquí, la tecnología inventiva puede ser practicada por una persona que no sea el usuario, por ejemplo un cosmetólogo, un maquillador, etc.
Detección/reconstrucción de la cara
La posición precisa de la cara es importante ya que es una superficie no rígida que necesita ser rastreada con cierta frecuencia. Esto se puede hacer usando diferentes métodos dependiendo de los requisitos de las aplicaciones. A continuación se describen algunas realizaciones de dicho rastreo.
En una realización, los puntos de referencia de la cara son detectados directamente por la cámara RGB o por una cámara de infrarrojos. Esta última, si se combina con un filtro en el proyector que corta la proyección infrarroja, proporciona puntos de referencia robustos que no se ven afectados por el contenido proyectado, lo que puede ser útil para algunas aplicaciones.
En otra realización, se puede ajustar un modelo 3D en la cara usando sólo la información RGB o combinando la información RGB y de profundidad. Tal realización tiene un coste de cálculo adicional, pero, si se basa en la profundidad, el enfoque puede ser más robusto frente a variaciones de colores en la cara debido a la proyección.
En otra realización, la superficie de la cara puede reconstruirse usando la imagen del sensor de profundidad y la detección adicional de puntos de referencia en esa superficie.
En una realización, los puntos de referencia pueden detectarse usando como entradas tanto las imágenes de profundidad como de RGB/infrarrojas para hacer que la detección sea más robusta para la proyección. Además, se podría entrenar un algoritmo de aprendizaje profundo en dicho conjunto de datos.
En una realización, la cara de la persona (usuario) puede escanearse, y después rastrearse como una combinación de expresiones (formas combinadas) y orientación de poses.
En una realización, la imagen RGB se usa para la segmentación del cabello, usando, por ejemplo, un algoritmo de aprendizaje profundo. En algunas realizaciones, dicho uso adicional de información de profundidad hace que la segmentación sea más precisa.
Generación de contenido virtual
La generación del contenido virtual depende del escenario de la aplicación y del método usado para la reconstrucción/detección de la cara. Puede basarse simplemente en los puntos de referencia de la cara y crear la textura deseada usando esta topología 2D, o puede ser una textura mapeada en el modelo facial 3D si se calcula este último.
En una realización, durante el funcionamiento, los sistemas 110, 120 proyectan contenido digital sobre el cabello de un usuario para crear la ilusión de un cambio de color de cabello. En una realización, este efecto se combina con la proyección de maquillaje para decidir las combinaciones óptimas. En una realización, el usuario interactúa con los sistemas 110, 120 usando una interfaz con entradas de audio o manual, o cambiando los colores, o modificando la textura (destellos, patrones, etc.). A continuación se describen algunas aplicaciones de los sistemas 110, 120 en uso.
Proyección de maquillaje: aumento de maquillaje para probar fácilmente diversos productos (limitado por las condiciones ambientales). Los productos proyectados pueden modificarse para tener en cuenta el efecto de la aplicación física en el tipo específico de piel.
Narración audiovisual: para eventos especiales, se pueden proponer aumentos extremos, tales como los usados en el escenario en teatros/conciertos para contar una historia sobre un nuevo lanzamiento de una marca o para el factor sorpresa que pueden proporcionar estas experiencias inmersivas.
Simulación de diferentes condiciones de iluminación: se puede simular el efecto de diferentes condiciones de iluminación para visualizar el aspecto del maquillaje en diferentes condiciones (tales como club nocturno, luz diurna, oficina, etc.).
Simulación de envejecimiento/rejuvenecimiento: aumenta y potencia las arrugas o la exposición de la piel para que la persona parezca más vieja. Esto se puede combinar con el tratamiento y diagnóstico del cuidado de la piel. Por otro lado, usando la luz, se pueden compensar las arrugas y la persona puede parecer más joven. Esto puede simular el resultado esperado usando un producto para el cuidado de la piel.
Creación de efectos ópticos: crea y simula diferentes efectos ópticos en la superficie de la cara, tales como aumento del brillo, suavizado de la cara, efecto de perlado, aumento del contraste, transparencia, etc. La dispersión de la subsuperficie se puede modelar y tener en cuenta en dicho sistema para crear efectos más realistas.
Creación de tráfico: en el punto de venta, un sistema de este tipo puede aumentar significativamente el tráfico al atraer a las personas a que entren en la tienda al tener un sistema detrás del escaparate. Se pueden aumentar con algo "divertido” cuando pasan delante de la tienda.
Aumenta no sólo caras sino también otros objetos: aumenta el empaquetamiento de los productos que pueden ser productos reales o grandes maquetas para fines de visualización.
Tutoría! de maquillaje
En una realización, el sistema incluye una unidad de tutorial de maquillaje. En una realización, la unidad de tutorial de maquillaje está configurada para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje sobre la superficie facial del usuario. Por ejemplo, en una realización, la unidad de tutorial de maquillaje incluye un procesador y una circuitería computacional configurada para generar contenido de tutorial de maquillaje proyectable en respuesta a la recepción de uno o más parámetros asociados con una representación digital de la superficie facial del usuario.
En una realización, la unidad de tutorial de maquillaje está configurada para generar una proyección de una aplicación cosmética digital que rastrea en tiempo real al menos una representación tridimensional o bidimensional parcial de la superficie facial del usuario. En una realización, la unidad de tutorial de maquillaje 106 está configurada para generar una proyección de una aplicación cosmética digital que rastrea en tiempo real uno o más puntos de referencia faciales.
En una realización, la unidad de tutorial de maquillaje 106 incluye una pluralidad de fuentes emisoras de luz controlables que funcionan para generar una presentación proyectable. Por ejemplo, en una realización, la unidad de tutorial de maquillaje incluye una pluralidad de fuentes emisoras de luz controlables que funcionan para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario. Tales proyecciones pueden simular una pluralidad de condiciones de iluminación ambiental. En una realización, la unidad de tutorial de maquillaje incluye una pluralidad de fuentes emisoras de luz controlables que funcionan para proyectar al menos un primer objeto virtual y un segundo objeto virtual, indicando el segundo objeto virtual condiciones de iluminación ambiental diferentes del primer objeto virtual.
Los ejemplos no limitativos de fuentes emisoras de luz controlables 108 incluyen uno o más láseres, diodos láser, diodos emisores de luz (LED), diodos emisores de luz orgánicos (OLED), diodos emisores de luz poliméricos, lámparas de arco eléctrico, bombillas de onda continua, o emisores incandescentes, y similares. En una realización, la unidad de tutorial de maquillaje tiene al menos una de una fuente emisora de luz roja que tiene una longitud de onda de emisión máxima promedio que oscila de 610 nanómetros (nm) a 720 nm, una fuente emisora de luz azul que tiene una longitud de onda de emisión máxima promedio que oscila de 430 nm a 500 nm, y una fuente emisora de luz verde que tiene una longitud de onda de emisión máxima promedio que oscila de 500 nm a 570 nm.
En una realización, la unidad de tutorial de maquillaje incluye una pluralidad de diodos láser controlables que funcionan para generar una presentación proyectable. En una realización, la unidad de tutorial de maquillaje incluye al menos uno de un diodo láser rojo que tiene una longitud de onda de emisión máxima promedio que oscila de 610 nm a 720 nm, un diodo láser azul que tiene una longitud de onda de emisión máxima promedio que oscila de 430 nm a 500 nm, y un diodo láser verde que tiene una longitud de onda de emisión máxima promedio que oscila de 500 nm a 570 nm.
En una realización, la unidad de tutorial de maquillaje incluye una pluralidad de fuentes emisoras de luz controlables y un dispositivo de microespejo digital (DMD) que funciona para proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje. En una realización, la unidad de tutorial de maquillaje incluye un conjunto de diodo láser que funciona para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con una representación digital de la superficie facial del usuario. En una realización, la unidad de tutorial de maquillaje incluye al menos uno de un diodo láser, un espejo dicroico, un espejo, una rueda de fósforo, una rueda de color, un chip de dispositivo de microespejo digital (DMD), un prisma, o un conjunto de lentes de proyección.
En una realización, la unidad de tutorial de maquillaje incluye al menos un proyector de pantalla de cristal líquido (LCD). En una realización, la unidad de tutorial de maquillaje incluye al menos un espejo MEMS de ultraminiatura que funciona para escanear un haz de láser modulado sobre la superficie facial del usuario.
Unidad de compensación de distorsión dinámica
En una realización, la unidad de compensación de distorsión dinámica está acoplada operativamente a la unidad de tutorial de maquillaje, y está configurada para compensar en tiempo real las distorsiones geométricas y de iluminación asociadas con el contenido digital proyectado que incluye el tutorial de aplicación de maquillaje. En una realización, la unidad de compensación de distorsión dinámica incluye un procesador y una circuitería computacional configurada para generar uno o más parámetros de calibración de iluminación o parámetros de calibración geométrica en respuesta a la recepción de una o más entradas indicativas de una distorsión detectada en una proyección de luz estructurada, una proyección de código estructurado, una proyección de patrón codificado espacial o temporalmente, o una proyección de tira de luz. En una realización, la unidad de compensación de distorsión dinámica incluye un procesador y una circuitería computacional configurada para modular una o más imágenes digitales asociadas con el contenido digital proyectado que incluye el tutorial de aplicación de maquillaje en respuesta a la recepción de una o más entradas indicativas de distorsiones de iluminación o distorsiones geométricas detectadas asociadas con el contenido digital proyectado.
Sistemas de imágenes con resolución en profundidad
En una realización, el sistema incluye una unidad de tutorial de maquillaje y una unidad de imagen con resolución en profundidad (por ejemplo, una cámara de profundidad 24 que tiene uno o más sensores de profundidad). En una realización, la unidad de tutorial de maquillaje está configurada para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con una representación digital de la superficie facial del usuario.
En una realización, la unidad de imagen con resolución en profundidad está configurada para generar una representación digital con resolución en profundidad de una superficie facial de un usuario. En una realización, la unidad de tutorial de maquillaje está acoplada operativamente a la unidad de imagen con resolución en profundidad, y está configurada para proyectar un tutorial de aplicación de maquillaje en la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con la representación digital con resolución en profundidad de la superficie facial del usuario.
En una realización, la unidad de imagen con resolución en profundidad incluye un procesador y una circuitería computacional configurada para generar la representación digital con resolución en profundidad de la superficie facial del usuario en respuesta a la recepción de una o más entradas indicativas de una diferencia detectada entre una señal de luz emitida y una señal de luz reflejada.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un sensor de tiempo de vuelo configurado para detectar diferencias entre una señal de luz emitida y una señal de luz reflejada.
En una realización, la unidad de imagen con resolución en profundidad es al menos un transductor de efecto Doppler.
En una realización, la unidad de imagen con resolución en profundidad incluye un procesador y una circuitería computacional configurada para generar la representación digital con resolución en profundidad de la superficie facial del usuario en respuesta a la recepción de una o más entradas indicativas de un cambio distorsional detectado en un patrón de luz proyectado.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos uno de un iluminador infrarrojo, un sensor infrarrojo, un sensor RGB (rojo, verde, azul), o un sensor monocromático.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un iluminador infrarrojo que funciona para proyectar un patrón de luz infrarroja sobre la superficie facial de un usuario, y al menos un sensor infrarrojo que funciona para detectar cambios distorsionales en el patrón de luz infrarroja proyectado.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un iluminador infrarrojo que funciona para proyectar un patrón de luz infrarroja distanciado sobre la superficie facial de un usuario, y al menos un sensor infrarrojo que funciona para detectar cambios distorsionales en el patrón de luz infrarroja distanciado proyectado.
En una realización, la unidad de imagen con resolución en profundidad incluye al menos un par de cualquiera de sensores RGB (rojo, verde, azul), monocromáticos, infrarrojos, o similares, que funcionan para estimar la profundidad mediante triangulación.
En una realización, la unidad de imagen con resolución en profundidad incluye uno o más sensores de profundidad. Los ejemplos no limitativos de sensores de profundidad incluyen sensores de profundidad de obturador rodante, sensores de profundidad de obturador global, cámaras de detección de profundidad activa, dispositivos de carga acoplada (CCD), semiconductores complementarios de óxido metálico (CMOS), y similares. Otros ejemplos no limitativos de sensores de profundidad incluyen sensores de disparidad, sensores de tiempo de vuelo, sensores estereoscópicos, y similares. Otros ejemplos no limitativos de sensores de profundidad incluyen sensores Intel RealSense, sensores Microsoft Kinect, sensor de profundidad Qualcomm, sensores Asus Xtion Pro, y similares.
En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería configurada para proyectar un patrón de luz estructurado y, según el desplazamiento de este patrón, calcular la profundidad en base a una o más entradas indicativas de disparidad en el patrón de luz estructurado. En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería configurada para detectar el tiempo en que la luz proyectada rebota de los objetos en la escena, y para determinar la distancia desde los objetos. En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería que incluye una pluralidad de sensores (módulo estéreo) configurados para reconstruir la cabeza, cara o parte del cuerpo de un usuario mediante triangulación. En una realización, la unidad de imagen con resolución en profundidad incluye una circuitería configurada para proyectar un patrón de infrarrojos para proporcionar una textura extra para facilitar la triangulación.
En una realización, la unidad de imagen con resolución en profundidad incluye una pluralidad de sensores de profundidad, al menos un sensor RGB (rojo, verde, azul), y al menos un proyector infrarrojo. En una realización, la pluralidad de sensores de profundidad incluye al menos un sensor de profundidad de obturador rodante. En una realización, la pluralidad de sensores de profundidad incluye al menos un sensor de profundidad de obturador global. En una realización, la pluralidad de sensores de profundidad incluye al menos un dispositivo de carga acoplada (CCD). En una realización, la pluralidad de sensores de profundidad incluye al menos un semiconductor complementario de óxido metálico (CMOS). En una realización, la unidad de imagen con resolución en profundidad incluye al menos una cámara de detección de profundidad activa.
En una realización, la unidad de imagen con resolución en profundidad incluye un procesador y una circuitería computacional configurada para extraer uno o más puntos de referencia faciales de la representación digital con resolución en profundidad de la superficie facial de un usuario, y para rastrear el uno o más de los puntos de referencia faciales extraídos de la representación digital con resolución en profundidad de la superficie facial del usuario.
En una realización, la unidad de imagen con resolución en profundidad está configurada para extraer uno o más puntos de referencia faciales a partir de la representación digital con resolución en profundidad de la superficie facial de un usuario usando al menos un método de las siguientes categorías:
En diferentes realizaciones, las imágenes con resolución en profundidad pueden generarse mediante: métodos holísticos (tales como el modelo de apariencia activa (AAM), algoritmos de ajuste o extensiones), métodos de modelo local restringido (CLM) (tales como el modelo de apariencia general o local, el modelo de forma facial, detección mediante optimización, etc.), y métodos basados en regresión (regresión directa, en cascada, o de aprendizaje profundo).
En una realización, la unidad de imagen con resolución en profundidad está configurada para realizar una reconstrucción 3D de al menos una parte de la superficie facial del usuario a partir de la representación digital con resolución en profundidad de la superficie facial de un usuario.
En una realización, la unidad de imagen con resolución en profundidad está configurada para extraer uno o más puntos de referencia faciales de la superficie facial de un usuario usando cualquiera de las entradas en vivo de profundidad RGB, monocromáticas, infrarrojas.
En una realización, la unidad de imagen con resolución en profundidad está configurada para realizar una reconstrucción 3D de al menos una parte de la superficie facial del usuario usando cualquiera de una entrada en vivo de profundidad RGB, monocromática, infrarroja.
Configuración de óptica coaxial
En una realización, la unidad de tutorial de maquillaje está acoplada operativamente a la unidad de óptica coaxial, y está configurada para proyectar un tutorial de aplicación de maquillaje sobre la superficie facial del usuario en respuesta a la recepción de uno o más parámetros asociados con la diferencia detectada entre el contenido digital proyectado y el contenido digital diana.
En una realización, la unidad de óptica coaxial está configurada para detectar diferencias geométricas y fotométricas entre el contenido digital proyectado y el contenido digital diana.
En una realización, la unidad de óptica coaxial incluye un divisor de haz, una cámara, y un proyector.
En una realización, la unidad de óptica coaxial incluye un divisor de haz, un sensor de imagen, y un proyector de procesamiento de luz digital (DLP).
Rastreo de la posición de la cara del usuario
Detección/reconstrucción de la cara: la posición precisa de la cara es relevante ya que es una superficie no rígida que normalmente se rastrea con una alta frecuencia. Esto se puede hacer usando diferentes métodos. A continuación se enumeran algunos ejemplos de tales métodos.
En algunas realizaciones, los puntos de referencia son detectados en la cara por la cámara RGB, monocromática, infrarroja, o similar. Esta última, si se combina con un filtro en el proyector que corta la proyección infrarroja, proporciona puntos de referencia robustos que no se ven afectados por el contenido proyectado, lo cual es importante para algunas aplicaciones.
En algunas realizaciones, se ajusta un modelo 3D en la cara usando sólo la información RGB (para los puntos de referencia) o combinando la información RGB y de profundidad (obtenida con tecnologías y sensores de profundidad). Esto tiene un coste de cálculo adicional, pero, si se basa en la profundidad, es más robusto frente a variaciones de colores en la cara debido a la proyección.
En algunas realizaciones, una reconstrucción de la superficie de la cara usa la imagen del sensor de profundidad y la detección adicional de puntos de referencia en esa superficie.
En algunas realizaciones, los puntos de referencia se detectan usando como entradas tanto las imágenes de profundidad como de RGB/infrarrojas, para hacer que la detección sea más robusta para la proyección. En algunas realizaciones, se puede entrenar un algoritmo de aprendizaje profundo en dicho conjunto de datos.
Algunas realizaciones incluyen escanear la cara de la persona y después rastrearla como una combinación de expresiones (formas combinadas) y orientación de poses.
Ciertas realizaciones descritas aquí utilizan circuitería para implementar, por ejemplo, protocolos de proyección, acoplar operativamente dos o más componentes, generar información, determinar condiciones de operación, controlar un dispositivo o método, o similares. Se puede usar circuitería de cualquier tipo. En una realización, la circuitería incluye, entre otros, uno o más dispositivos informáticos tal como un procesador (por ejemplo, un microprocesador), una unidad central de procesamiento (CPU), un procesador de señal digital (DSP), un circuito integrado específico de la aplicación (ASIC), una matriz de puertas programables en campo (FPGA), o similares, o cualesquiera combinaciones de los mismos, y pueden incluir elementos o electrónica de circuitos digitales o analógicos discretos, o combinaciones de los mismos. En una realización, la circuitería incluye uno o más ASIC que tienen una pluralidad de componentes lógicos predefinidos. En una realización, la circuitería incluye una o más FPGA que tienen una pluralidad de componentes lógicos programables.
En una realización, la circuitería incluye uno o más circuitos eléctricos, circuitos impresos, circuitos flexibles, conductores eléctricos, electrodos, resonadores de cavidad, trazas conductoras, electrodos con diseño cerámico, componentes electromecánicos, transductores, y similares.
En una realización, la circuitería incluye uno o más componentes acoplados operativamente (por ejemplo, acoplados de forma comunicativa, electromagnética, magnética, ultrasónica, óptica, inductiva, eléctrica, capacitiva, inalámbrica, y similares) entre sí. En una realización, la circuitería incluye uno o más componentes ubicados remotamente. En una realización, los componentes ubicados remotamente se acoplan operativamente, por ejemplo mediante comunicación inalámbrica. En una realización, los componentes ubicados remotamente se acoplan operativamente, por ejemplo a través de uno o más módulos de comunicación, receptores, transmisores, transceptores, y similares.
En una realización, la circuitería incluye una memoria que, por ejemplo, almacena instrucciones o información. Los ejemplos no limitativos de memoria incluyen memoria volátil (por ejemplo, memoria de acceso aleatorio (RAM), memoria dinámica de acceso aleatorio (DRAM), y similares), memoria no volátil (por ejemplo, memoria de solo lectura (ROM), memoria de solo lectura programable borrable eléctricamente (EEPROM), memoria de solo lectura de disco compacto (CD-ROM), y similares), memoria persistente, y similares. Otros ejemplos no limitativos de memoria incluyen memoria de sólo lectura programable borrable (EPROM), memoria flash, y similares. En una realización, la memoria está acoplada, por ejemplo, a uno o más dispositivos informáticos mediante uno o más buses de instrucciones, información, o alimentación.
En una realización, la circuitería incluye una o más unidades de medios legibles por ordenador, zócalos de interfaz, puertos Universal Serial Bus (USB), ranuras para tarjetas de memoria, y similares, y uno o más componentes de entrada/salida tales como, por ejemplo, una interfaz de usuario gráfica, una pantalla, un teclado, un teclado numérico, una bola de seguimiento, una palanca de mando, una pantalla táctil, un ratón, un interruptor, un dial, y similares, y cualquier otro dispositivo periférico. En una realización, la circuitería incluye uno o más componentes de entrada/salida de usuario que están acoplados operativamente a al menos un dispositivo informático configurado para controlar (control eléctrico, electromecánico, implementado por software, implementado por firmware, u otro control, o combinaciones de los mismos) al menos un parámetro asociado, por ejemplo, con la determinación de una o más propiedades térmicas del tejido en respuesta a los cambios detectados en el voltaje de encendido.
En una realización, la circuitería incluye una unidad de medios legibles por ordenador o una ranura de memoria que está configurada para aceptar un medio portador de señales (por ejemplo, medios de memoria legibles por ordenador, medios de grabación legibles por ordenador, y similares). En una realización, un programa para hacer que un sistema ejecute cualquiera de los métodos descritos puede almacenarse, por ejemplo, en un medio de grabación legible por ordenador, un medio portador de señales, y similares. Los ejemplos no limitativos de medios portadores de señales incluyen un medio de tipo grabable tal como una cinta magnética, un disquete, una unidad de disco duro, un disco compacto (CD), un disco de video digital (DVD), un disco Blu-Ray, una cinta digital, una memoria de ordenador, y similares, así como un medio de tipo transmisión, tal como un medio de comunicación digital o analógico (por ejemplo, un cable de fibra óptica, una guía de ondas, un enlace de comunicación por cable, un enlace de comunicación inalámbrico (por ejemplo, un receptor, transmisor, transceptor, lógica de transmisión, lógica de recepción, etc.). Otros ejemplos no limitativos de medios portadores de señales incluyen, pero no se limitan a, DVD-ROM, DVD-RAM, DVD+RW, DVD-RW, DVD-R, DVD+R, CD-ROM, Super Audio CD, CD-R, CD+R, CD+RW, CD-RW, Video Compact Disc, Super Video Discs, memoria flash, cinta magnética, disco magnetoóptico, MINIDISC, tarjeta de memoria no volátil, EEPROM, disco óptico, almacenamiento óptico, RAM, ROM, memoria del sistema, servidor web, y similares.
En una realización, la circuitería incluye transductores acústicos, transductores electroacústicos, transductores electroquímicos, transductores electromagnéticos, transductores electromecánicos, transductores electrostáticos, transductores fotoeléctricos, transductores radioacústicos, transductores termoeléctricos, transductores ultrasónicos, y similares.
En una realización, la circuitería incluye circuitería eléctrica acoplada operativamente con un transductor (por ejemplo, un actuador, un motor, un cristal piezoeléctrico, un sistema microelectromecánico (MEMS), etc.). En una realización, la circuitería incluye circuitería eléctrica que tiene al menos un circuito eléctrico discreto, circuitería eléctrica que tiene al menos un circuito integrado, o circuitería eléctrica que tiene al menos un circuito integrado específico de la aplicación. En una realización, la circuitería incluye circuitería eléctrica que forma un dispositivo informático de propósito general configurado por un programa de ordenador (por ejemplo, un ordenador de propósito general configurado por un programa de ordenador que al menos parcialmente lleva a cabo procesos y/o dispositivos descritos aquí, o un microprocesador configurado por un programa de ordenador que al menos parcialmente lleva a cabo procesos y/o dispositivos descritos aquí), circuitería eléctrica que forma un dispositivo de memoria (por ejemplo, formas de memoria (por ejemplo, acceso aleatorio, flash, solo lectura, etc.)), circuitería eléctrica que forma un dispositivo de comunicación (por ejemplo, un módem, conmutador de comunicación, equipo óptico-eléctrico, etc.), y/o cualquier análogo no eléctrico de los mismos, tales como análogos ópticos u otros.

Claims (9)

REIVINDICACIONES
1. Un sistema de aplicación de maquillaje, que comprende:
un proyector (22) configurado para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje sobre la superficie facial del usuario; y
una unidad de mapeo dinámico (24; 30) que comprende una cámara de profundidad (24) configurada para determinar dinámicamente un contorno de profundidad de la superficie facial del usuario, acoplándose dicha unidad de mapeo dinámico operativamente al proyector, en el que la unidad de mapeo dinámico está configurada para:
establecer una correspondencia dinámica entre los píxeles del proyector (22) y las características de la superficie facial del usuario, que incluye identificar y rastrear un conjunto de puntos de referencia en la superficie facial del usuario en tiempo real en base a una entrada en vivo de profundidad adquirida por la cámara de profundidad (24), en el que la unidad de mapeo dinámico está configurada además para:
- generar (350) un espacio de proyector con un conjunto de características faciales delineadas y preparadas para definir zonas de interés,
- definir (355) zonas de interés basadas en el espacio del proyector,
- delinear (360) una proyección de maquillaje, incluyendo dicha proyección de maquillaje dicho tutorial de aplicación de maquillaje,
- aplicar (370) la proyección de maquillaje sobre la cara del usuario a través del proyector,
en el que dicho tutorial de aplicación de maquillaje incluye proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje, y
en el que se proyecta gradualmente una rutina de maquillaje definiendo zonas de aplicación de cada producto de maquillaje a aplicar.
2. El sistema según la reivindicación 1, que comprende además:
una unidad de compensación de distorsión dinámica (26) acoplada operativamente al proyector (22), en el que la unidad de compensación de distorsión dinámica (26) está configurada para compensar, en tiempo real, al menos una de distorsiones de color y distorsiones geométricas de la superficie facial del usuario.
3. El sistema según cualquiera de las reivindicaciones anteriores, en el que la correspondencia dinámica entre los píxeles del proyector (22) y las características de la superficie facial del usuario comprende generar una representación digital con resolución en profundidad de al menos una porción de la superficie facial del usuario.
4. El sistema según cualquiera de las reivindicaciones anteriores, en el que la cámara de profundidad (24) comprende un sensor de profundidad y circuitería configurados para rastrear en tiempo real al menos una representación tridimensional parcial de la superficie facial del usuario.
5. El sistema según cualquiera de las reivindicaciones 1 a 4, en el que el contenido digital comprende una primera proyección de maquillaje proyectada a un lado de la superficie facial del usuario y una segunda proyección de maquillaje proyectada a otro lado de la superficie facial del usuario, y en el que la primera proyección de maquillaje es diferente de las segundas proyecciones de maquillaje.
6. Un método para proyectar contenido digital que incluye un tutorial de aplicación de maquillaje en una superficie facial del usuario, que comprende:
- establecer, mediante una unidad de mapeo dinámico (24, 30) que está acoplada operativamente a un proyector (22) y que comprende una cámara de profundidad (24) configurada para determinar dinámicamente un contorno de profundidad de la superficie facial del usuario, una correspondencia dinámica entre los píxeles de un proyector y las características de una superficie facial del usuario, que incluye identificar y rastrear un conjunto de puntos de referencia en la superficie facial del usuario en tiempo real en base a una entrada en vivo de profundidad por la cámara de profundidad (24), y en el que la unidad de mapeo dinámico (24, 30)
- genera un espacio de proyector que tiene un conjunto de características faciales delineadas y preparadas para definir zonas de interés,
- define zonas de interés basadas en el espacio del proyector,
- delinea una proyección de maquillaje, incluyendo dicha proyección de maquillaje dicho tutorial de aplicación de maquillaje,
- aplica la proyección de maquillaje sobre la cara del usuario a través del proyector,
en el que dicho tutorial de aplicación de maquillaje incluye proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje, y en el que una rutina de maquillaje se proyecta gradualmente definiendo zonas de aplicación de cada producto de maquillaje a aplicar.
7. El método según la reivindicación 6, en el que establecer, mediante la unidad de mapeo dinámico, la correspondencia dinámica entre los píxeles del proyector y las características de la superficie facial del usuario incluye proyectar un patrón de luz que comprende una proyección de luz estructurada, una proyección de código estructurado, una proyección de tira de luz, un patrón codificado espacialmente, un patrón codificado temporalmente, o una proyección de imagen de referencia.
8. El método según la reivindicación 6 o 7, en el que establecer, mediante la unidad de mapeo dinámico, la correspondencia dinámica entre los píxeles del proyector y las características de la superficie facial del usuario incluye generar una representación digital con resolución en profundidad de al menos una porción de la superficie facial del usuario.
9. El método según cualquiera de las reivindicaciones anteriores 6 a 8, en el que proyectar contenido digital que incluye el tutorial de aplicación de maquillaje incluye proyectar contenido mapeado facialmente, generado digitalmente, representativo de un procedimiento de aplicación de maquillaje.
ES19305303T 2019-03-13 2019-03-13 Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario Active ES2954842T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP19305303.0A EP3709638B1 (en) 2019-03-13 2019-03-13 System and method for projecting digital content onto user's facial surface

Publications (1)

Publication Number Publication Date
ES2954842T3 true ES2954842T3 (es) 2023-11-27

Family

ID=65818495

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19305303T Active ES2954842T3 (es) 2019-03-13 2019-03-13 Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario

Country Status (6)

Country Link
US (1) US20220183447A1 (es)
EP (1) EP3709638B1 (es)
JP (1) JP7311622B2 (es)
CN (1) CN113574860A (es)
ES (1) ES2954842T3 (es)
WO (1) WO2020182991A1 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2970213T3 (es) * 2019-03-13 2024-05-27 Loreal Proyección de color de cabello y tutoriales de color de cabello directamente en el rostro de las personas, y sistemas y métodos asociados
FR3125949B1 (fr) * 2021-08-03 2023-08-18 Oreal applicateur de dessin cosmétique intÉgrÉ
WO2022232404A1 (en) * 2021-04-30 2022-11-03 L'oreal Integrated cosmetic design applicator
US11544876B2 (en) 2021-04-30 2023-01-03 L'oreal Integrated cosmetic design applicator
WO2024023889A1 (ja) * 2022-07-25 2024-02-01 株式会社コーセー シミュレーションシステム及びシミュレーション方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3629771A1 (de) * 1986-09-02 1988-03-03 Demolux Overhead-projektor
US7663640B2 (en) * 2003-07-02 2010-02-16 The Trustees Of Columbia University In The City Of New York Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties
FR2874229B1 (fr) * 2004-08-10 2006-11-24 Somfy Sas Procede de fonctionnement d'un volet roulant commande et alimente par le biais d'une interface de commande filaire
US7860280B2 (en) * 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
WO2009049272A2 (en) * 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9201501B2 (en) * 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US9946076B2 (en) * 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
JP5212927B2 (ja) * 2011-01-25 2013-06-19 株式会社デンソー 顔撮影システム
US8840250B1 (en) * 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection
EP2939423A1 (en) * 2012-12-28 2015-11-04 Metaio GmbH Method of and system for projecting digital information on a real object in a real environment
US10368044B2 (en) * 2013-10-10 2019-07-30 Dolby Laboratories Licensing Corporation Displaying DCI and other content on an enhanced dynamic range projector
JP2015111772A (ja) * 2013-12-06 2015-06-18 シチズンホールディングス株式会社 投影装置
CN103985331A (zh) * 2014-05-22 2014-08-13 王利光 一种激光投射单元板
US10080004B2 (en) * 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
US10089778B2 (en) * 2015-08-07 2018-10-02 Christie Digital Systems Usa, Inc. System and method for automatic alignment and projection mapping
WO2018052831A1 (en) * 2016-09-15 2018-03-22 Walmart Apollo, Llc Dynamic projection system
US20180121713A1 (en) * 2016-10-28 2018-05-03 Qualcomm Incorporated Systems and methods for verifying a face
US10025174B1 (en) * 2017-03-07 2018-07-17 Disney Enterprises, Inc. Multi-theater light source
JP2018195996A (ja) * 2017-05-18 2018-12-06 株式会社デジタルハンズ 画像投影装置、画像投影方法、及び、画像投影プログラム

Also Published As

Publication number Publication date
US20220183447A1 (en) 2022-06-16
EP3709638A1 (en) 2020-09-16
WO2020182991A1 (en) 2020-09-17
JP7311622B2 (ja) 2023-07-19
JP2022525115A (ja) 2022-05-11
CN113574860A (zh) 2021-10-29
EP3709638B1 (en) 2023-08-30
EP3709638C0 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
ES2954842T3 (es) Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario
ES2937132T3 (es) Sistema y método para proyectar contenido digital que incluye cambios de color del cabello en la cabeza de un usuario
US11115633B2 (en) Method and system for projector calibration
US8760499B2 (en) Three-dimensional imager and projection device
US9047514B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
JP2019516261A (ja) インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
CN107018392B (zh) 投影仪优化方法和系统
CN104919272A (zh) 集成照明及光学表面拓扑检测系统及其使用方法
US20160343169A1 (en) Light-based radar system for augmented reality
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN111083453B (zh) 一种投影装置、方法及计算机可读存储介质
US10509125B2 (en) Method and device for acquiring distance information
KR101248909B1 (ko) 3d 정보 획득장치 및 이의 광원 구동방법, 그리고, 3d 정보 획득 시스템
CN113557716B (zh) 用于将包括毛发颜色变化的数字内容投影到用户的头部,面部或身体上的系统,设备和方法
US20220065620A1 (en) Volumetric performance capture with relighting
KR20240040634A (ko) 스캐너, 데이터 처리 장치 및 데이터 처리 방법
Cocon et al. xTrack: A Flexible Real-time 3D Scanner for Home Computing Applications