ES2938471T3 - Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador - Google Patents

Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador Download PDF

Info

Publication number
ES2938471T3
ES2938471T3 ES19792981T ES19792981T ES2938471T3 ES 2938471 T3 ES2938471 T3 ES 2938471T3 ES 19792981 T ES19792981 T ES 19792981T ES 19792981 T ES19792981 T ES 19792981T ES 2938471 T3 ES2938471 T3 ES 2938471T3
Authority
ES
Spain
Prior art keywords
processing unit
image
bus
projector
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19792981T
Other languages
English (en)
Inventor
Haitao Zhou
Guohui Tan
Ziqing Guo
Xiao Tan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201810401326.3A external-priority patent/CN108833887B/zh
Priority claimed from CN201810402998.6A external-priority patent/CN108810516B/zh
Priority claimed from CN201810402999.0A external-priority patent/CN108696682B/zh
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Application granted granted Critical
Publication of ES2938471T3 publication Critical patent/ES2938471T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/18—Controlling the light source by remote control via data-bus transmission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0011—Arrangements for eliminating or compensation of measuring errors due to temperature or weight
    • G01B5/0014—Arrangements for eliminating or compensation of measuring errors due to temperature or weight due to temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Image Analysis (AREA)

Abstract

Un método de procesamiento de datos, un aparato de procesamiento de datos (80), un dispositivo electrónico (100) y un medio de almacenamiento legible por computadora. El método de procesamiento de datos comprende: (001) cuando una primera unidad de procesamiento (110) recibe un comando de adquisición de imágenes enviado por una segunda unidad de procesamiento (120), controlando al menos una de una luz de inundación (104) y una luz láser (106) para activar y controlar una cámara láser (102) para adquirir una imagen objetivo; y (002) procesar la imagen objetivo por medio de la primera unidad de procesamiento (110) y enviar la imagen objetivo procesada a la segunda unidad de procesamiento (120). (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador
Campo
Las realizaciones de la presente divulgación se refieren a un campo de la tecnología informática y, más particularmente, a un método para procesar datos, un dispositivo electrónico y un medio de almacenamiento legible por ordenador.
Antecedentes
La cara en 3D (tres dimensiones) desempeña un papel importante en diferentes escenarios de aplicación, tal como el reconocimiento de caras, la optimización de imágenes, el modelado en 3D y similares. Un dispositivo electrónico puede emitir láser a través de una luz láser o similares, recopilar una imagen de la cara iluminada por el láser a través de una cámara y estructurar la cara en 3D a través de la luz estructural. De manera convencional, es complicado y tiene un alto coste que el dispositivo electrónico controle un circuito de control tal como el láser, la cámara y similares.
El documento CN107424187A desvela un procesador de cálculo de profundidad. El procesador de cálculo de profundidad incluye al menos dos puertos de entrada para recibir primeros datos de imagen, incluyendo los primeros datos imagen al menos una imagen de luz estructurada recopilada bajo la proyección de luz estructurada; un conmutador de entrada conectado a los puertos de entrada y para el paso de todos o parte de los primeros datos de imagen desde el puerto de entrada; un motor de procesamiento de datos conectado al conmutador de entrada y para el procesamiento de cálculos de los primeros datos de imagen emitidos por el conmutador de entrada para generar segundos datos de imagen que al menos comprenden un mapa de profundidad.
Sumario
Es un objeto de la presente invención proporcionar un método para procesar datos, un dispositivo electrónico y un medio de almacenamiento legible por ordenador con el que se pueden superar los inconvenientes mencionados anteriormente. Este objeto se resuelve mediante la materia objeto de las reivindicaciones independientes.
El método para procesar datos de implementaciones de la presente divulgación incluye: encender al menos uno de un proyector y una luz láser y operar una cámara láser para recopilar una imagen objetivo en respuesta a recibir una primera unidad de procesamiento una instrucción de recopilación de imágenes enviada por un segunda unidad de procesamiento; y realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento, y enviar la imagen objetivo procesada a la segunda unidad de procesamiento.
En una realización, encender al menos uno del proyector y la luz láser y operar la cámara láser para recopilar la imagen objetivo en respuesta a recibir la primera unidad de procesamiento la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento puede incluir: enviar una instrucción de control a un controlador a través de un bus de circuito inter-integrado (I2C) en respuesta a recibir la primera unidad de procesamiento la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento, estando configurada la instrucción de control para encender al menos uno del proyector y la luz láser; y enviar un pulso al controlador a través de un módulo de modulación de anchura de pulso (PWM) para ilustrar el encendido de al menos uno del proyector y la luz láser, y recopilar la imagen objetivo a través de la cámara láser.
En una realización, la primera unidad de procesamiento, el controlador y la cámara láser están acoplados al mismo bus I2C; y la recopilación de la imagen objetivo a través de la cámara láser puede incluir: operar la cámara láser para recopilar la imagen objetivo a través del bus I2C.
En una realización, enviar la instrucción de control al controlador a través del bus I2C puede incluir: determinar un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar, por la primera unidad de procesamiento, una primera instrucción de control al controlador a través del bus I2C cuando el tipo es un primer tipo, estando configurada la primera instrucción de control para instruir al controlador que encienda el proyector; y enviar, por la primera unidad de procesamiento, una segunda instrucción de control al controlador a través del bus I2C cuando el tipo es un segundo tipo, estando configurada la segunda instrucción de control para instruir al controlador que encienda la luz láser.
En una realización, el método también incluye: cuando el tipo comprende el primer tipo y el segundo tipo, enviar, por la primera unidad de procesamiento, la primera instrucción de control al controlador a través del bus I2C, para encender el proyector; y después de que la cámara láser recopila una imagen objetivo correspondiente al primer tipo, enviar la segunda instrucción de control al controlador a través del bus I2C, para encender la luz láser.
En una realización, el método también puede incluir: cuando el tipo comprende el primer tipo y el segundo tipo, enviar, por la primera unidad de procesamiento, la segunda instrucción de control al controlador a través del bus I2C, para encender la luz láser; y después de que la cámara láser recopila una imagen objetivo correspondiente al segundo tipo, enviar la primera instrucción de control al controlador a través del bus I2C, para encender el proyector.
En una realización, un intervalo de tiempo entre un punto de tiempo en el que la primera unidad de procesamiento envía la primera instrucción de control y un punto de tiempo en el que la primera unidad de procesamiento envía la segunda instrucción de procesamiento es menor que un umbral de tiempo.
En una realización, la imagen objetivo comprende una imagen de moteado; y realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento y enviar la imagen objetivo procesada a la segunda unidad de procesamiento puede incluir: obtener una imagen de moteado de referencia almacenada, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma; hacer coincidir la imagen de moteado de referencia con la imagen de moteado, para obtener un resultado coincidente; y generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento y realizar el procesamiento en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento para obtener una imagen de profundidad.
En una realización, el método se aplica a un dispositivo electrónico, en el que el dispositivo electrónico comprende un módulo de cámara, la primera unidad de procesamiento y la segunda unidad de procesamiento, y la primera unidad de procesamiento está acoplada a la segunda unidad de procesamiento y al módulo de cámara, respectivamente; el módulo de cámara comprende la cámara láser, el proyector y la luz láser, en el que la cámara láser, el proyector, la luz láser y la primera unidad de procesamiento están acoplados al mismo bus I2C; y encender al menos uno del proyector y la luz láser y operar la cámara láser para recopilar la imagen objetivo en respuesta a recibir la primera unidad de procesamiento la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento puede incluir: en respuesta a recibir primer procesamiento unidad la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento, operar el al menos uno del proyector y la luz láser para que se encienda a través de un bus I2C; y operar, por la primera unidad de procesamiento, la cámara láser para recopilar la imagen objetivo a través del bus I2C.
En una realización, el dispositivo electrónico incluye además un controlador, el controlador está configurado para controlar el proyector y la luz láser, el controlador está acoplado al bus I2C; y operar el al menos uno del proyector y la luz láser para que se encienda a través del bus I2C puede incluir: determinar un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar, por la primera unidad de procesamiento, una primera instrucción de control al controlador a través del bus I2C cuando el tipo es una imagen de infrarrojos, estando configurada la primera instrucción de control para instruir al controlador que encienda el proyector; y enviar, por la primera unidad de procesamiento, una segunda instrucción de control al controlador a través del bus I2C cuando el tipo es una imagen de moteado o una imagen de profundidad, estando configurada la segunda instrucción de control para instruir al controlador que encienda la luz láser.
En una realización, el método también puede incluir: cuando el tipo comprende la imagen de infrarrojos y la imagen de moteado, o comprende la imagen de infrarrojos y la imagen de profundidad, enviar, por la primera unidad de procesamiento, la primera instrucción de control al controlador a través del bus I2C para encender el proyector, operar la cámara láser para recopilar la imagen de infrarrojos a través del bus I2C, enviar la segunda instrucción de control al controlador a través del bus I2C para encender la luz láser y operar la cámara láser para recopilar la imagen de moteado a través del bus I2C.
En una realización, el método también puede incluir: cuando el tipo comprende la imagen de infrarrojos y la imagen de moteado, o comprende la imagen de infrarrojos y la imagen de profundidad, enviar, por la primera unidad de procesamiento, la segunda instrucción de control al controlador a través del bus I2C para encender la luz láser, operar la cámara láser para recopilar la imagen de moteado a través del bus I2C, enviar la primera instrucción de control al controlador a través del bus I2C para encender el proyector y operar la cámara láser para recopilar la imagen de infrarrojos a través del bus 12C.
En una realización, encender al menos uno del proyector y la luz láser y operar la cámara láser para recopilar la imagen objetivo en respuesta a recibir la primera unidad de procesamiento la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento puede incluir: determinar un tipo de una imagen recopilada de acuerdo con la instrucción de recopilación de imágenes cuando la primera unidad de procesamiento recibe la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento; cuando el tipo es un primer tipo, encender el proyector en un módulo de cámara, enviar un pulso a un primer controlador a través de un primer módulo PWM para iluminar el proyector y recopilar una imagen objetivo correspondiente al primer tipo a través de la cámara láser en el módulo de cámara; y, cuando el tipo es un segundo tipo, encender la luz láser en el módulo de cámara, enviar un pulso a un segundo controlador a través de un segundo módulo PWM para iluminar la luz láser y recopilar una imagen objetivo correspondiente al segundo tipo a través de la cámara láser en el módulo de cámara.
El dispositivo electrónico de implementaciones de la presente divulgación incluye: una primera unidad de procesamiento y una segunda unidad de procesamiento. La primera unidad de procesamiento está configurada para: encender al menos uno de un proyector y una luz láser y operar una cámara láser para recopilar una imagen objetivo en respuesta a recibir la primera unidad de procesamiento una instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento; realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento, y enviar la imagen objetivo procesada a la segunda unidad de procesamiento.
El medio de almacenamiento legible por ordenador de las implementaciones de la presente divulgación tiene un programa informático almacenado en el mismo. El programa informático está configurado para implementar el método para procesar datos descritos anteriormente cuando lo ejecuta un procesador.
Aspectos y ventajas adicionales de la implementación de la presente divulgación se presentarán en parte en la siguiente descripción, en parte se harán evidentes en la siguiente descripción o se apreciarán al poner en práctica la presente divulgación.
Breve descripción de los dibujos
Los aspectos anteriores y otros y las ventajas de la presente divulgación se harán más evidentes y fáciles con referencia a las descripciones de los siguientes dibujos adjuntos de las implementaciones, en los que:
La Figura 1 y la Figura 2 son diagramas de flujo que ilustran métodos para procesar datos de una o más implementaciones de la presente divulgación.
La Figura 3 - la Figura 5 son escenarios de aplicación que ilustran métodos para procesar datos de una o más implementaciones de la presente divulgación.
La Figura 6 - la Figura 13 son diagramas de flujo que ilustran métodos para procesar datos de una o más implementaciones de la presente divulgación.
La Figura 14 - la Figura 15 son escenarios de aplicación que ilustran métodos para procesar datos de una o más implementaciones de la presente divulgación.
La Figura 16 - la Figura 17 son diagramas de flujo que ilustran métodos para procesar datos de una o más implementaciones de la presente divulgación.
La Figura 18 es un diagrama de bloques que ilustra un dispositivo electrónico de una o más implementaciones de la presente divulgación.
La Figura 19 - Figura 22 son diagramas de bloques que ilustran aparatos para procesar datos de una o más implementaciones de la presente divulgación.
Descripción detallada
Para hacer que los objetivos, las soluciones técnicas y las ventajas de la presente divulgación sean más claros y evidentes, la presente divulgación se ilustrará adicionalmente en detalle en combinación con los dibujos adjuntos y las realizaciones a continuación en el presente documento. Debe entenderse que, las realizaciones detalladas descritas en el presente documento pretenden explicar la presente divulgación, que no están limitadas a la presente divulgación.
Debe entenderse que, aunque los términos "primero", "segundo" y similares pueden usarse por la presente divulgación en el presente documento para describir diversos elementos, estos elementos no deben estar limitados por estos términos. Estos términos solo se usan para distinguir un elemento de otro. Por ejemplo, sin apartarse del alcance de la presente divulgación, un primer cliente puede llamarse como un segundo cliente y, de manera similar, el segundo cliente puede llamarse como el primer cliente. Tanto el primer cliente como el segundo cliente son clientes, pero no el mismo cliente.
Por favor, hágase referencia a la Figura 1 y a la Figura 2, la presente divulgación proporciona un método para procesar datos. El método incluye acciones en los siguientes bloques.
En el bloque 001, en respuesta a recibir una primera unidad de procesamiento 110 una instrucción de recopilación de imágenes enviada por una segunda unidad de procesamiento 120, se enciende al menos uno de un proyector 104 y una luz láser 106, y se opera una cámara láser 102 para recopilar una imagen objetivo.
En el bloque 002, la primera unidad de procesamiento 110 procesa la imagen objetivo y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
El método para procesar datos de la presente divulgación se puede aplicar a un dispositivo electrónico 100. El dispositivo electrónico 100 incluye una cámara láser 102, un proyector 104, una luz láser 106, una primera unidad de procesamiento 110 y una segunda unidad de procesamiento 120. La primera unidad de procesamiento 100 está acoplada a la segunda unidad de procesamiento 120.
Por favor, hágase referencia a la Figura 2 - Figura 4, en una realización, en respuesta a recibir la primera unidad de procesamiento 100 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, encender el al menos uno del proyector 104 y la luz láser 106 y operar la cámara láser 102 para recopilar la imagen objetivo en el bloque 001 incluye acciones en el bloque 011 y el bloque 012.
En el bloque 011, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, se envía una instrucción de control a un controlador a través de un bus de circuito inter-integrado (I2C). La instrucción de control está configurada para encender el al menos uno del proyector 104 y la luz láser 106.
Cuando una aplicación en el dispositivo electrónico 100 requiere datos faciales, la aplicación puede enviar una solicitud de obtención de datos a la segunda unidad de procesamiento 120. Los datos faciales pueden incluir, pero sin limitación, datos que necesitan realizar la verificación facial en algunos escenarios, tal como el desbloqueo facial, pago facial y similares, e información de profundidad facial. La segunda unidad de procesamiento 120 puede enviar la instrucción de recopilación de imágenes a la primera unidad de procesamiento 110 después de recibir la solicitud de obtención de datos. La primera unidad de procesamiento 110 puede ser un módulo de unidad de control microprogramada (MCU), y la segunda unidad de procesamiento 120 puede ser un módulo de unidad central de procesamiento (CPU).
El dispositivo electrónico 100 también incluye un controlador 130. El controlador 130 está acoplado respectivamente al proyector 104 y a la luz láser 106. El proyector 104 y la luz láser 106 pueden controlarse a través de un mismo controlador 130. El controlador 130 controla el proyector 104 y la luz láser 106, por ejemplo, controla el encendido del proyector 104 o la luz láser 106, controla la conmutación entre el proyector 104 y la luz láser 106, controla el proyector 104 y la luz láser 106 para emitir potencia y similares. La primera unidad de procesamiento 110 está acoplada al controlador 130 por el bus I2C. El bus I2C puede implementar la transmisión de datos entre dispositivos respectivos conectados al bus I2C a través de una línea de datos y una línea de reloj. La primera unidad de procesamiento 110 envía una instrucción de control al controlador 130 a través del bus I2C en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. El controlador 130 enciende el al menos uno del proyector 104 y la luz láser 106 de acuerdo con la instrucción de control después de recibir la instrucción de control.
En el bloque 012, se envía un pulso al controlador 130 a través de un módulo de modulación de anchura de pulsos (PWM) para ilustrar el encendido de al menos uno del proyector 104 y la luz láser 106, y la imagen objetivo se recopila a través de la cámara láser 102.
La primera unidad de procesamiento 110 está acoplada al controlador 130 a través del módulo PWM 112. La primera unidad de procesamiento 110 puede enviar el pulso al controlador 130 a través del módulo PWM 12 para iluminar el encendido de al menos uno del proyector 104 y la luz láser 106 cuando el al menos uno del proyector 104 y la luz láser 106 necesita ser iluminado. Como alternativa, el módulo PWM 112 puede enviar señales de pulso continuamente al controlador 130 basándose en una cierta amplitud de tensión y un cierto intervalo de tiempo, para iluminar al menos uno del proyector 104 y la luz láser 106.
La primera unidad de procesamiento 110 puede recopilar la imagen objetivo a través de la cámara láser 102. La imagen objetivo puede incluir una imagen de infrarrojos, una imagen de moteado y similares. Cuando se enciende el proyector 104, el módulo PWM 112 puede enviar el pulso al controlador 130 para iluminar el proyector 104. El proyector 104 puede ser una fuente de luz superficial que irradia uniformemente en todas las direcciones. Cuando se ilumina el proyector 104, se puede transmitir luz roja, y la cámara láser 102 puede recopilar la luz roja realimentada a la cara para obtener la imagen de infrarrojos. Cuando se enciende la luz láser 106, el módulo PWM 112 puede enviar el pulso al controlador 130 para iluminar la luz láser 106. Cuando se ilumina la luz láser 106, el láser emitido puede ser difractado por una lente y elementos ópticos difractivos (DOE) para generar una imagen con partículas de moteado. Después de que la imagen con las partículas de moteado se proyecta a la imagen objetivo, la imagen con las partículas de moteado genera desplazamientos de las partículas a medida que las distancias entre los puntos respectivos de la imagen objetivo y el dispositivo electrónico 100 son diferentes, y la cámara láser 102 recopila la imagen después de los desplazamientos de las partículas de moteado, para obtener la imagen de moteado.
En el bloque 002, el procesamiento se realiza en la imagen objetivo a través de la primera unidad de procesamiento 110, y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
La cámara láser 102 envía la imagen objetivo recopilada a la primera unidad de procesamiento 110, y la primera unidad de procesamiento 110 realiza el procesamiento en la imagen objetivo. La imagen objetivo puede incluir la imagen de infrarrojos, la imagen de moteado y similares. Después de que la primera unidad de procesamiento 110 determina un tipo de imagen de acuerdo con la instrucción de recopilación de imágenes, se puede realizar una imagen objetivo correspondiente al tipo de imagen de acuerdo con el tipo de imagen determinado y un procesamiento correspondiente en la imagen objetivo. Puede haber uno o más módulos PWM 112. Cuando hay más módulos PWM 112, los módulos PMW 112 pueden incluir un primer módulo PWM y un segundo módulo PWM. También puede haber uno o más controladores 130. Cuando hay más controladores 130, los controladores 130 pueden incluir un primer controlador y un segundo controlador. Cuando el tipo de la imagen recopilada es una imagen de infrarrojos, la primera unidad de procesamiento 110 puede enviar un pulso al primer controlador 130 a través del primer módulo PWM, para iluminar el proyector 104 y recopilar la imagen de infrarrojos a través de la cámara láser 102. La primera unidad de procesamiento 110 realiza el procesamiento de la imagen de infrarrojos para obtener un mapa de paralaje de infrarrojos. Cuando el tipo de imagen recopilada es la imagen de moteado, la primera unidad de procesamiento 110 puede enviar un pulso al segundo controlador a través del segundo módulo PWM, para iluminar la luz láser 106 y recopilar la imagen de moteado a través de la cámara láser 102. La primera unidad de procesamiento 110 realiza el procesamiento de la imagen de moteado para obtener una imagen de paralaje de moteado. Cuando el tipo de la imagen recopilada es una imagen de profundidad, la primera unidad de procesamiento 110 puede recopilar la imagen de moteado y realizar el procesamiento en la imagen de moteado recopilada para obtener un mapa de paralaje de profundidad.
Además, la primera unidad de procesamiento 110 puede realizar la corrección en la imagen objetivo. Realizar la corrección se refiere a las correcciones de los desplazamientos del contenido de la imagen de la imagen objetivo provocados por los parámetros internos y los parámetros externos de la cámara láser 102 y la cámara 108 de rojo verde azul (RGB), por ejemplo, para los desplazamientos del contenido de la imagen provocados por un ángulo de desviación de la cámara láser 102, y por disposición de posición entre la cámara láser 102 y la cámara RGB 108. La primera unidad de procesamiento 110 puede obtener un mapa de paralaje de la imagen objetivo después de realizar la corrección en la imagen objetivo. Por ejemplo, la corrección se puede realizar en la imagen de infrarrojos para obtener el mapa de paralaje de infrarrojos, y la corrección se puede realizar en la imagen de moteado para obtener el mapa de paralaje de moteado o el mapa de paralaje de profundidad. La primera unidad de procesamiento 110 realiza la corrección en la imagen objetivo y puede evitar una condición en la que una imagen finalmente presentada en la pantalla del dispositivo electrónico 100 aparece borrosa.
La primera unidad de procesamiento 110 realiza el procesamiento de la imagen objetivo y envía la imagen objetivo procesada a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener una imagen requerida basándose en la imagen objetivo procesada, tal como la imagen de infrarrojos, la imagen de moteado, la imagen de profundidad y similares. La segunda unidad de procesamiento 120 puede realizar un procesamiento adicional en la imagen requerida de acuerdo con los requisitos de la aplicación.
Por ejemplo, cuando una aplicación necesita realizar la verificación de la cara, la segunda unidad de procesamiento 120 puede realizar la detección facial en la imagen requerida obtenida, etc. La detección facial puede incluir reconocimiento facial, comparación de caras y detección de cuerpos vivos. El reconocimiento facial se refiere a reconocer si hay una cara en la imagen objetivo. La coincidencia de caras se refiere a hacer coincidir la cara en la imagen objetivo con una cara preestablecida. La detección de cuerpo vivo se refiere a detectar si la cara en la imagen objetivo está biológicamente activa. Cuando la aplicación necesita obtener información de profundidad de la cara, la segunda unidad de procesamiento 120 puede cargar la imagen de profundidad objetivo generada en la aplicación, y la aplicación puede realizar un proceso de optimización de imagen, modelado tridimensional y similares de acuerdo con la imagen de profundidad objetivo recibida.
En el método para procesar datos de la realización ilustrada en la Figura 2, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 envía la instrucción de control al controlador 130 a través del I2C para encender el al menos uno del proyector 104 y la luz láser 106, y envía el pulso al controlador 130 a través del módulo PWM 112 para iluminar el encendido de al menos uno del proyector 104 y la luz láser 106. Después de que se recopila la imagen objetivo, el procesamiento se realiza en la imagen objetivo. Un controlador 130 puede realizar el control tanto del proyector 104 como de la luz láser 106, lo que puede reducir la complejidad para controlar el proyector 104, la luz láser 106 y similares, y ahorrar costes.
La Figura 3 es un escenario de aplicación de un método para procesar datos de la realización ilustrada en la Figura 2. Como se ilustra en la Figura 3, el dispositivo electrónico 100 incluye una cámara láser 102, un proyector 104, una luz láser 106, una primera unidad de procesamiento 110, una segunda unidad de procesamiento 120 y un controlador 130. La primera unidad de procesamiento 110 puede ser un módulo MCU o similar. La segunda unidad de procesamiento 120 puede ser un módulo CPU o similar. La primera unidad de procesamiento 110 está acoplada a la cámara láser 102 y a la segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 está acoplada al controlador 130 a través de un bus I2C. La primera unidad de procesamiento 110 incluye un módulo PWM 112 y está acoplada al controlador 130 a través del módulo PWM 112. El controlador 130 está acoplado respectivamente al proyector 104 y a la luz láser 106.
La primera unidad de procesamiento 110 envía una instrucción de control al controlador 130 a través del bus I2C en respuesta a recibir una instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. La instrucción de control se usa para controlar el encendido de al menos uno del proyector 104 y la luz láser 106. La primera unidad de procesamiento 110 envía un pulso al controlador 130 a través del módulo PWM 112, para iluminar el encendido de al menos uno del proyector 104 y la luz láser 106, y recopilar una imagen objetivo a través de la cámara láser 102. La primera unidad de procesamiento 110 realiza un procesamiento de la imagen objetivo y envía la imagen objetivo procesada a la segunda unidad de procesamiento 120.
La Figura 4 es un escenario de aplicación de un método para procesar datos de la realización ilustrada en la Figura 2. Como se ilustra en la Figura 4, el dispositivo electrónico 100 puede incluir un módulo de cámara 101, una segunda unidad de procesamiento 120 y una primera unidad de procesamiento 110. La segunda unidad de procesamiento 120 puede ser un módulo de CPU. La primera unidad de procesamiento 110 puede ser un módulo MCU o similar. La primera unidad de procesamiento 110 está acoplada entre la segunda unidad de procesamiento 120 y el módulo de cámara 101. La primera unidad de procesamiento 110 puede controlar una cámara láser 102, un proyector 104 y una luz láser 106 en el módulo de cámara 101. La segunda unidad de procesamiento 120 puede controlar una cámara RGB 108 en el módulo de cámara 101.
El módulo de cámara 101 incluye la cámara láser 102, el proyector 104, la cámara RGB 108 y la luz láser 106. La cámara láser 102 puede ser una cámara de infrarrojos y puede configurarse para obtener una imagen de infrarrojos. El proyector 104 puede ser una fuente de luz superficial que puede emitir luz de infrarrojos. La luz láser 106 puede ser una fuente de luz puntual con un patrón que puede emitir luz láser. La cámara láser 102 puede obtener la imagen de infrarrojos de acuerdo con la luz reflejada cuando el proyector 104 emite la luz de infrarrojos. La cámara láser 102 puede obtener una imagen de moteado de acuerdo con la luz reflejada cuando la luz láser 106 emite la luz láser. La imagen de moteado es una imagen con un patrón distorsionado después de que se refleja un láser que forma un patrón y es emitido por la luz láser 106.
La segunda unidad de procesamiento 120 puede incluir un núcleo de CPU que opera bajo un entorno de ejecución confiable (TEE) y un núcleo de CPU que opera bajo un entorno de ejecución enriquecido (REE). Tanto el TEE como el REE son modos de operación de un módulo avanzado de máquinas RISC (ARM). El REE tiene un nivel de seguridad superior. La segunda unidad de procesamiento 120 solo tiene un núcleo de CPU que puede operar bajo el TEE al mismo tiempo. En general, un comportamiento de operación con un alto nivel de seguridad en el dispositivo electrónico 100 necesita ejecutarse en el núcleo de la CPU bajo el TEE. En el núcleo de la CPU bajo el REE se puede ejecutar un comportamiento de operación con un nivel de seguridad bajo.
La primera unidad de procesamiento 110 incluye un módulo de modulación de anchura de pulsos (PWM) 112, una interfaz de la interfaz periférica en serie/circuito inter-integrado (SPI/I2C) 114, un módulo de memoria de acceso aleatorio (RAM) 116 y un motor de profundidad 118. La primera unidad de procesamiento 110 está acoplada al controlador 130 (como se ilustra en la Figura 3) que controla el proyector 104 y la luz láser 106 a través del módulo PWM 112. El controlador 130 está acoplado respectivamente al proyector 104 y a la luz láser 106, para controlar el proyector 104 y la luz láser 106. La primera unidad de procesamiento 110 también está acoplada al controlador 130 a través del bus I2C, para controlar el encendido del proyector 104 o la luz láser 106 a través del bus I2C. El módulo PWM 112 puede emitir pulsos al módulo de cámara 101, para iluminar el encendido del proyector 104 o la luz láser 106. La primera unidad de procesamiento 110 puede recopilar una imagen de infrarrojos o una imagen de moteado a través de la cámara láser 102. La interfaz SPI/I2C 114 puede configurarse para recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. El motor de profundidad 118 puede procesar la imagen de moteado para obtener un mapa de paralaje de profundidad.
En respuesta a recibir la segunda unidad de procesamiento 120 la solicitud de obtención de datos de una aplicación, por ejemplo, cuando la aplicación necesita realizar un desbloqueo facial o un pago facial, la instrucción de recopilación de imágenes puede enviarse a la primera unidad de procesamiento 110 a través del núcleo de la CPU que opera bajo el TEE. Después de que se recibe la instrucción de recopilación de imágenes, la primera unidad de procesamiento 110 envía una instrucción de control al controlador 130 a través del bus I2C, para controlar el encendido del proyector 104 en el módulo de cámara 101, emite pulsos al controlador 130 a través del PWM módulo 112 para iluminar el proyector 104, y controla la cámara láser 102 para recopilar una imagen de infrarrojos a través del bus I2C. Después de que se recibe la instrucción de recopilación de imágenes, la primera unidad de procesamiento 110 también puede enviar una instrucción de control al controlador 130 a través del bus I2C para controlar el encendido de la luz láser 106 en el módulo de cámara 101, emitir pulsos al controlador 130 a través del módulo PWM 112 para iluminar la luz láser 106, y controla la cámara láser 102 para recopilar una imagen de moteado a través del I2C. El módulo de cámara 101 envía la imagen de infrarrojos recopilada y la imagen de moteado recopilada a la primera unidad de procesamiento 110. La primera unidad de procesamiento 110 puede realizar el procesamiento en la imagen de infrarrojos recibida para obtener un mapa de paralaje de infrarrojos y también puede realizar el procesamiento en la imagen de moteado recibida para obtener un mapa de paralaje de moteado o un mapa de paralaje de profundidad. La primera unidad de procesamiento 110 realiza el procesamiento de la imagen de infrarrojos y la imagen de moteado se refiere a realizar la corrección de la imagen de infrarrojos o la imagen de moteado, para eliminar los efectos provocados por los parámetros internos y los parámetros externos en el módulo de cámara 101 en las imágenes recibidas. La primera unidad de procesamiento 110 puede establecerse en diferentes modos, y se emiten diferentes imágenes en diferentes modos. Cuando la primera unidad de procesamiento 110 se establece en un modo de imagen de moteado, la primera unidad de procesamiento 110 procesa la imagen de moteado para obtener el mapa de paralaje de moteado, de acuerdo con el cual se puede obtener una imagen de moteado objetivo. Cuando la primera unidad de procesamiento 110 se establece en un modo de imagen de profundidad, la primera unidad de procesamiento 110 procesa la imagen de profundidad para obtener el mapa de paralaje de moteado, de acuerdo con el cual se puede obtener una imagen de profundidad objetivo. La imagen de profundidad se refiere a una imagen con información de profundidad. La primera unidad de procesamiento 110 puede enviar el mapa de paralaje de infrarrojos y el mapa de paralaje de moteado a la segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 también puede enviar el mapa de paralaje de infrarrojos y el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener la imagen de infrarrojos objetivo de acuerdo con el mapa de paralaje de infrarrojos y obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad. Además, la segunda unidad de procesamiento 120 puede realizar reconocimiento facial, coincidencia de caras y detección de cuerpos vivos, y obtener información de profundidad de la cara detectada de acuerdo con la imagen de infrarrojos objetivo y la imagen de profundidad.
La primera unidad de procesamiento 110 se comunica con la segunda unidad de procesamiento 120 a través de una interfaz de seguridad fija, para garantizar la seguridad de la transmisión de datos. Como se ilustra en la Figura 4, la segunda unidad de procesamiento 120 envía datos a la primera unidad de procesamiento 110 a través de un SPI/I2C SEGURO 130, y la primera unidad de procesamiento 110 envía datos a la segunda unidad de procesamiento 120 a través de una interfaz de procesador industrial móvil (MIPI) SEGURO 140.
Como alternativa, la primera unidad de procesamiento 110 también puede obtener la imagen de infrarrojos objetivo de acuerdo con el mapa de paralaje de infrarrojos, obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad y enviar la imagen de infrarrojos objetivo y la imagen de profundidad a la segunda unidad de procesamiento 120.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 2, en combinación con la Figura 3 y la Figura 4, como alternativa, la recopilación de la imagen objetivo a través de la cámara láser 102 incluye: controlar la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C.
La primera unidad de procesamiento 110 está acoplada a la cámara láser a través del bus I2C y controla la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C acoplado. La primera unidad de procesamiento 110, la cámara láser 102 y el controlador 130 están acoplados a un mismo bus I2C. Después de que se recibe la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 controla el encendido del proyector 104 o la luz láser 106 a través del bus I2C, emite pulsos al controlador 130 a través del módulo PWM 112 para iluminar el encendido del proyector 104 o la luz láser 106 y, a continuación, controlar la cámara láser 102 para recopilar la imagen objetivo tal como la imagen de infrarrojos o la imagen de moteado a través del bus I2C acoplado.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 2, en combinación con la Figura 3 y la Figura 4, como alternativa, la primera unidad de procesamiento 110 puede realizar el direccionamiento en el controlador 130 a través del bus I2C acoplado, enviar una instrucción de control al controlador 130 para controlar el encendido del proyector 104 o la luz láser 106 y, a continuación, realizar el direccionamiento en la cámara láser 102 a través del bus I2C acoplado para operar la cámara láser 102 para recopilar la imagen objetivo, de manera que el mismo bus I2C acoplado se multiplexa en diferentes momentos, ahorrando de esta manera recursos.
La Figura 5 es un diagrama esquemático que ilustra una primera unidad de procesamiento 110, una cámara láser 102 y un controlador 130 que están acoplados a un mismo bus I2C de acuerdo con una realización. Como se ilustra en la Figura 5, un dispositivo electrónico 100 incluye la cámara láser 102, un proyector 104, una luz láser 106, la primera unidad de procesamiento 110, una segunda unidad de procesamiento 120 y el controlador 130. La primera unidad de procesamiento 110 está acoplada a la segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 incluye el módulo PWM 112 y se acopla al controlador 130 a través del módulo PWM 112. El controlador 130 está acoplado al proyector 104 y a la luz láser 106, respectivamente. La cámara láser 102, la primera unidad de procesamiento 110 y el controlador 130 están acoplados al mismo bus I2C. En respuesta a recibir una instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 102, la primera unidad de procesamiento 110 envía una instrucción de control al controlador 130 a través del bus 12C, al proyector 104 o a la luz láser 106 para que se encienda, envía un pulso al controlador 130 a través del módulo PWM para iluminar el encendido del proyector 104 o la luz láser 106 y, a continuación, controla la cámara láser 102 para recopilar una imagen objetivo, tal como una imagen de infrarrojos o una imagen de moteado a través del bus I2C acoplado. Con la realización ilustrada en la Figura 5, el proyector 104, la luz láser 106 y la cámara láser 102 se controlan a través del bus I2C, y el bus I2C está multiplexado, lo que puede reducir la complejidad para controlar un circuito y ahorrar costes.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 2, con referencia a la Figura 3, la Figura 4 y la Figura 6, como alternativa, enviar la instrucción de control al controlador 130 a través del bus I2C incluye los siguientes actos.
En el bloque 0111, se determina un tipo de imagen recopilada basándose en la instrucción de recopilación de imágenes.
En el bloque 0112, cuando el tipo de la imagen recopilada es un primer tipo, la primera unidad de procesamiento 110 envía una primera instrucción de control al controlador 130 a través del bus I2C. La primera instrucción de control está configurada para instruir al controlador 130 que encienda el proyector 104.
La primera unidad de procesamiento 110 recibe la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, y puede determinarse el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes. El tipo de imagen puede ser uno o más tipos de una imagen de infrarrojos, imagen de moteado, imagen de profundidad y similares. El tipo de imagen se puede determinar de acuerdo con los datos faciales requeridos por una aplicación. Después de que la segunda unidad de procesamiento 120 recibe una solicitud de obtención de datos, puede determinarse el tipo de imagen de acuerdo con la solicitud de obtención de datos, y se envía una instrucción de recopilación de imágenes incluida en el tipo de imagen a la primera unidad de procesamiento 110. Por ejemplo, cuando la aplicación requiere que los datos realicen el desbloqueo facial, la segunda unidad de procesamiento 120 puede determinar que el tipo de imagen es la imagen de infrarrojos o la imagen de moteado, y cuando la aplicación requiere información de profundidad facial, se determina además que el tipo de imagen es la imagen de profundidad, lo que no está limitado a lo mismo.
Cuando el tipo de imagen es el primer tipo, en esta realización, el primer tipo puede ser la imagen de infrarrojos, y la primera unidad de procesamiento 110 puede enviar la primera instrucción de control al controlador 130 a través del bus I2C acoplado, y el controlador 130 puede encender el proyector 104 de acuerdo con la primera instrucción de control. La primera unidad de procesamiento 110 puede emitir un pulso al controlador 130 a través del módulo PWM 112, para iluminar el proyector 104. Como alternativa, la primera unidad de procesamiento 110 puede realizar el direccionamiento en el controlador 130 a través del bus I2C y enviar la primera instrucción de control al controlador 130.
En el bloque 0113, cuando el tipo de la imagen recopilada es un segundo tipo, la primera unidad de procesamiento 110 envía una segunda instrucción de control al controlador 130 a través del bus I2C. La segunda instrucción de control está configurada para instruir al controlador 130 que encienda la luz láser 106.
Cuando el tipo de imagen es el segundo tipo, en esta realización, el segundo tipo puede ser la imagen de moteado, la imagen de profundidad o similares, la primera unidad de procesamiento 110 puede enviar la segunda instrucción de control al controlador 130 a través del bus I2C acoplado. El controlador 130 puede encender la luz láser 106 de acuerdo con la segunda instrucción de control. La primera unidad de procesamiento 110 puede enviar un pulso al controlador 130 a través del módulo PWM 112 para iluminar la luz láser 106.
La primera unidad de procesamiento 110 determina el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes. El tipo de la imagen recopilada puede incluir al menos dos clases de tipos. Por ejemplo, los tipos de la imagen recopilada incluyen el primer tipo y el segundo tipo. Cuando el tipo de imagen recopilada incluye la imagen de infrarrojos y la imagen de moteado simultáneamente, o incluye la imagen de moteado y la imagen de profundidad simultáneamente, el módulo de cámara 101 necesita recopilar la imagen de infrarrojos y la imagen de moteado simultáneamente. La primera unidad de procesamiento 110 puede controlar el módulo de cámara 101 para recopilar la imagen de infrarrojos en primer lugar, o para recopilar la imagen de moteado en primer lugar, lo que no limita una secuencia de recopilación. La primera unidad de procesamiento 110 puede enviar la primera instrucción de control al controlador 130 a través del bus I2C, para encender el proyector 104 y enviar el pulso al controlador 130 a través del módulo PWM 112, para iluminar el proyector 104 y a continuación controlar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C. Después de que se controla la cámara láser 102 para recopilar una imagen objetivo correspondiente al primer tipo, la primera unidad de procesamiento 110 envía la segunda instrucción de control al controlador 139 a través del bus I2C para encender la luz láser 106, emite un pulso al controlador 130 a través del módulo PWM para iluminar la luz láser 106 y controla la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C. Como alternativa, cuando el tipo de la imagen recopilada incluye el primer tipo y el segundo tipo simultáneamente, la primera unidad de procesamiento 110 también puede enviar la segunda instrucción al controlador 130 a través del I2C para encender la luz láser 106, emite un pulso al controlador 130 a través del módulo PWM 112 para iluminar la luz láser 106, y controlar la luz láser 102 para recopilar la imagen de moteado a través del bus I2C. Después de que se controla la cámara láser 102 para recopilar una imagen objetivo correspondiente al segundo tipo, la primera unidad de procesamiento 110 envía la primera instrucción de control para encender el proyector 104 a través del bus I2C, emite un pulso al controlador 130 a través del módulo PWM 112 para iluminar el proyector 104 y controla la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C.
Como alternativa, la primera unidad de procesamiento 110 puede enviar la primera instrucción de control y la segunda instrucción de control al controlador 130 en diferentes puntos de tiempo. Un intervalo de tiempo entre un punto de tiempo en el que la primera unidad de procesamiento 110 envía la primera instrucción de control y un punto de tiempo en el que la primera unidad de procesamiento 110 envía la segunda instrucción de procesamiento es menor que un umbral de tiempo. La cámara láser 102 puede recopilar la imagen de moteado en el intervalo de tiempo menor que el umbral de tiempo después de recopilar la imagen de infrarrojos, de modo que el contenido de la imagen de infrarrojos recopilada sea consistente con el contenido de la imagen de moteado recopilada, y el procesamiento posterior, tal como la detección facial, se realice convenientemente. El umbral de tiempo se puede establecer basándose en un requisito real, tal como 20 milisegundos, 30 milisegundos o similar. Se garantiza que el contenido de imagen de la imagen de infrarrojos recopilada sea consistente con el contenido de imagen de la imagen de moteado recopilada, y se puede mejorar la precisión para la detección facial posterior. En esta realización, la conmutación y el control entre el proyector 104 y la luz láser 106 se puede lograr a través del controlador 130, se puede reducir la complejidad para controlar el circuito y se pueden reducir los costes.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 2, con referencia a la Figura 3, la Figura 4 y la Figura 7, como alternativa, realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento 110 y enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120 en el bloque 002 incluye los siguientes actos.
En el bloque 0141, se obtiene una imagen de moteado de referencia almacenada, y la imagen de moteado de referencia tiene información de profundidad de referencia en la misma.
En un sistema de coordenadas de cámara, la línea perpendicular a un plano de formación de imágenes y que pasa a través del centro de un espejo se toma como eje Z. Cuando una coordenada de un objeto en el sistema de coordenadas de la cámara es (X, Y, Z), el valor Z es la información de profundidad del objeto en el plano de formación de imágenes de la cámara. Cuando una aplicación necesita obtener información de profundidad de una cara, se debe recopilar una imagen de profundidad que incluye la información de profundidad de la cara. La primera unidad de procesamiento 110 puede controlar una luz láser 106 para que se encienda a través del bus I2C y controlar la cámara láser 102 para recopilar una imagen de moteado a través del bus I2C. La primera unidad de procesamiento 110 puede almacenar la imagen de moteado de referencia con antelación. La imagen de moteado de referencia puede tener la información de profundidad de referencia. La información de profundidad de los píxeles respectivos incluidos en la imagen de moteado se puede obtener de acuerdo con la imagen de moteado recopilada y la imagen de moteado de referencia.
En el bloque 0142, la imagen de moteado de referencia se compara con la imagen de moteado, para obtener un resultado coincidente.
La primera unidad de procesamiento 110 puede tomar píxeles respectivos incluidos en la imagen de moteado recopilada como el centro sucesivamente, y seleccionar un bloque de píxeles con un tamaño preestablecido, tal como un tamaño de píxel de 31 píxeles * 31 píxeles, y buscar un bloque en la imagen de moteado de referencia que coincide con el bloque de píxeles seleccionado. La primera unidad de procesamiento 110 puede encontrar dos puntos en una misma trayectoria de luz láser respectivamente en la imagen de moteado y la imagen de moteado de referencia del bloque de píxeles seleccionado en la imagen de moteado recopilada y el bloque coincidente en la imagen de moteado de referencia. La información de moteado de los dos puntos en la misma trayectoria de luz láser es consistente. Los dos puntos en la misma trayectoria de luz láser pueden identificarse como píxeles correspondientes. En la imagen de moteado de referencia, se conoce la información de profundidad de los puntos en cada trayectoria de luz láser. La primera unidad de procesamiento 110 puede calcular un desplazamiento entre los dos píxeles correspondientes en la misma trayectoria de luz láser en la imagen de moteado objetivo y la imagen de moteado de referencia, y obtener la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado recopilada de acuerdo con el desplazamiento.
En una realización, la primera unidad de procesamiento 110 calcula el desplazamiento entre la imagen de moteado recopilada y la imagen de moteado de referencia, y obtiene la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado de acuerdo con el desplazamiento mediante la siguiente fórmula (1).
Figure imgf000010_0001
donde Zd representa información de profundidad de un píxel, es decir, un valor de profundidad del píxel. L representa una distancia entre la cámara láser 102 y el láser (es decir, la luz láser 106). f representa una distancia focal de una lente en la cámara láser 102. Z0 representa un valor de profundidad entre un plano de referencia y la cámara láser 102 del dispositivo electrónico 100 cuando se recopila la imagen de moteado de referencia. P representa el desplazamiento entre los píxeles correspondientes en la imagen de moteado recopilada y la imagen de moteado de referencia. P puede obtenerse multiplicando el número de píxeles de desplazamiento entre la imagen de moteado objetivo y la imagen de moteado de referencia por una distancia real de un píxel. Cuando una distancia entre el objeto objetivo y la cámara láser 102 es mayor que la distancia entre el plano de referencia y la cámara láser 102, P es un valor negativo. Cuando la distancia entre el objeto objetivo y la cámara láser 102 es menor que la distancia entre el plano de referencia y la cámara láser 102, P es un valor positivo.
En el bloque 0143, se genera un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, el mapa de paralaje de profundidad se envía a la segunda unidad de procesamiento 120 y el procesamiento se realiza en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento 120 para obtener una imagen de profundidad.
La primera unidad de procesamiento 110 puede realizar la corrección en la imagen de moteado recopilada después de obtener la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado recopilada, para corregir el desplazamiento del contenido de la imagen de la imagen de moteado recopilada provocado por parámetros internos y parámetros externos de la cámara láser 102 y la cámara RGB 108. La primera unidad de procesamiento 110 puede generar el mapa de paralaje de profundidad de acuerdo con la imagen de moteado corregida y los valores de profundidad de los píxeles respectivos en la imagen de moteado, y enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad. La imagen de profundidad puede incluir la información de profundidad de los píxeles respectivos. La segunda unidad de procesamiento 120 puede cargar la imagen de profundidad en la aplicación. La aplicación puede realizar optimización de imágenes, modelado tridimensional y similares de acuerdo con la información de profundidad de la cara en la imagen de profundidad. La segunda unidad de procesamiento 120 también puede realizar la detección de cuerpos vivos de acuerdo con la información de profundidad de la cara en la imagen de profundidad, lo que puede evitar que la cara recopilada sea una cara en una imagen plana.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 2, en combinación con la Figura 3 y la Figura 4, como alternativa, la segunda unidad de procesamiento 120 en el dispositivo electrónico 100 puede incluir dos modos de operación. El primer modo de operación puede ser un TEE. El TEE es un entorno de ejecución confiable, cuyo nivel de seguridad es alto. El segundo modo de operación puede realizarse en el REE. El REE es un entorno de ejecución rico, cuyo nivel de seguridad es bajo. La segunda unidad de procesamiento 120 puede enviar una instrucción de recopilación de imágenes a la primera unidad de recopilación 110 a través del primer modo de operación en respuesta a recibir la solicitud de obtención de datos enviada por la aplicación. Cuando la segunda unidad de procesamiento 120 tiene una CPU de núcleo, el núcleo único puede conmutarse directamente del segundo modo de operación al primer modo de operación. Cuando la segunda unidad de procesamiento 120 tiene múltiples núcleos, un núcleo puede conmutarse del segundo modo de operación al primer modo de operación, otros núcleos aún operan en el segundo modo de operación, y la instrucción de recopilación de imágenes se envía a la primera unidad de procesamiento 110 a través del núcleo que opera en el primer modo de operación.
Después de procesar la imagen objetivo recopilada, la primera unidad de procesamiento 110 envía la imagen objetivo procesada al núcleo que opera en el primer modo de operación, lo que puede garantizar que la primera unidad de procesamiento 110 esté siempre operando en el entorno de ejecución confiable, mejorando la seguridad. La segunda unidad de procesamiento 120 puede estar en el núcleo que opera en el primer modo de operación, obtener una imagen requerida de acuerdo con la imagen objetivo procesada y realizar el procesamiento en la imagen requerida de acuerdo con los requisitos de la aplicación. Por ejemplo, la segunda unidad de procesamiento 120 puede realizar la detección facial en la imagen requerida en el núcleo que opera en el primer modo de operación. La instrucción de recopilación de imágenes se envía a la primera unidad de procesamiento 110 a través de un núcleo con un nivel de seguridad alto donde opera la segunda unidad de procesamiento 120, se puede garantizar que la primera unidad de procesamiento 110 se encuentra en un entorno con un nivel de seguridad alto, lo que puede mejorar la seguridad de los datos.
En una realización, dado que solo hay un núcleo que opera en el primer modo de operación, en respuesta a realizar la segunda unidad de procesamiento 120 la detección facial en la imagen objetivo en el TEE, se puede emplear un modo en serie para realizar el reconocimiento facial, la coincidencia facial, detección de cuerpos vivos y similares secuencialmente en la imagen objetivo. La segunda unidad de procesamiento 120 puede realizar el reconocimiento facial en la imagen requerida en primer lugar. Cuando se reconoce una cara, la segunda unidad de procesamiento 120 hace coincidir la cara incluida en la imagen requerida con una cara previamente almacenada, para determinar si las dos caras son idénticas. Cuando las dos caras son idénticas, la segunda unidad de procesamiento 120 realiza la detección de cuerpos vivos en la cara de acuerdo con la imagen requerida, para evitar que la cara recopilada sea una cara plana. Cuando no se reconoce la cara, no se realiza la coincidencia facial ni la detección de cuerpos vivos, lo que puede reducir la carga del proceso de la segunda unidad de procesamiento 120.
En esta realización, la información de profundidad de la imagen recopilada se puede obtener con precisión a través de la primera unidad de procesamiento 110, se mejora la eficiencia para procesar datos y se mejora la precisión para procesar la imagen.
Por favor, hágase referencia a la Figura 4, Figura 5 y Figura 8, en otra realización, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, encender el al menos uno del proyector 104 y la luz láser 106 a través de un bus I2C y operar la cámara láser 102 para recopilar la imagen objetivo en el bloque 011 incluye actos en el bloque 021 y el bloque 022.
En el bloque 021, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, se enciende el al menos uno del proyector 104 y la luz láser 106 a través del bus I2C.
Cuando una aplicación en el dispositivo electrónico 100 requiere datos faciales, la aplicación puede enviar una solicitud de obtención de datos a la segunda unidad de procesamiento 120. Los datos faciales pueden incluir, pero sin limitación, datos para la verificación facial en un escenario tal como desbloqueo facial, pago facial y similares, e información de profundidad facial. La segunda unidad de procesamiento 120 puede enviar la instrucción de recopilación de imágenes a la primera unidad de procesamiento 110 después de recibir la solicitud de obtención de datos. La primera unidad de procesamiento 110 puede ser un módulo MCU y la segunda unidad de procesamiento puede ser un módulo CPU.
La primera unidad de procesamiento 110 y una cámara láser 102, un proyector 104 y una luz láser 106 en un módulo de cámara 101 pueden acoplarse a un mismo bus I2C. El I2C puede implementar la comunicación de datos entre los respectivos elementos acoplados al bus I2C a través de una línea de datos y una línea de reloj. Después de que se recibe la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 puede enviar simultáneamente instrucciones de control al proyector 104 y/o la luz láser 106 acoplados al bus I2C a través del bus I2C, para controlar el encendido del al menos uno del proyector 104 y la luz láser 106.
En una realización, la primera unidad de procesamiento 110 puede determinar que una luz que necesita ser controlada actualmente es el proyector 104 o la luz láser 106 de acuerdo con la instrucción de recopilación de imágenes después de recibir la instrucción de recopilación de imágenes. Cuando existe la necesidad de controlar el encendido del proyector 104, la primera unidad de procesamiento 110 puede realizar el direccionamiento en el proyector 104 acoplado al bus I2C a través del bus I2C, y enviar una instrucción de control al proyector 104, para controlar el encendido del proyector 104. Cuando existe la necesidad de controlar el encendido de la luz láser 106, la primera unidad de procesamiento 110 puede realizar el direccionamiento en la luz láser 106 acoplada al bus I2C a través del bus I2C, y enviar una instrucción de control a la luz láser 106, para controlar el encendido de la luz láser 106.
En el bloque 022, la primera unidad de procesamiento 110 controla la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C.
La primera unidad de procesamiento 110 controla el encendido del al menos uno del proyector 104 y la luz láser 106 a través del bus I2C, y controla la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C. La imagen objetivo puede incluir una imagen de infrarrojos, una imagen de moteado y similares. La primera unidad de procesamiento 110 puede controlar el encendido del proyector 104 en el módulo de cámara 101 a través del I2C y controlar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C. El proyector 104 puede ser una fuente de luz superficial que irradia uniformemente en todas las direcciones. Los rayos de luz emitidos por el proyector 104 pueden ser luz de infrarrojos. La cámara láser 102 puede recopilar la luz roja realimentada a la cara para obtener la imagen de infrarrojos. La luz láser 106 en el módulo de cámara 102 se controla para encenderse a través del bus I2C, y la cámara láser 102 se controla para recopilar la imagen de moteado y similares a través del bus I2C. Cuando se ilumina la luz láser 106, el láser emitido puede ser difractado por una lente y elementos ópticos difractivos (DOE) para generar una imagen con partículas de moteado. Después de que se proyecta la imagen con las partículas de moteado en la imagen objetivo, la imagen con las partículas de moteado genera desplazamientos de las partículas porque las distancias entre los puntos respectivos de la imagen objetivo y el dispositivo electrónico son diferentes, y la cámara láser 102 recopila la imagen después del desplazamiento de las partículas de moteado, para obtener la imagen de moteado.
En un ejemplo, la primera unidad de procesamiento 110 realiza el direccionamiento en el proyector 104 o la luz láser 106 acoplados al bus I2C a través del bus I2C y envía la instrucción de control al proyector 104 o la luz láser 106. Después de que se controla el encendido del proyector 104 o la luz láser 106, la primera unidad de procesamiento 110 puede realizar el direccionamiento en la cámara láser 102 acoplada al bus I2C a través del bus I2C, y enviar la instrucción de control a la cámara láser 102 para operar la cámara láser 102 para recopilar la imagen de infrarrojos o la imagen de moteado.
En el bloque 002, el procesamiento se realiza en la imagen objetivo a través de la primera unidad de procesamiento 110, y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
La cámara láser 102 puede enviar la imagen objetivo recopilada a la primera unidad de procesamiento 110. La primera unidad de procesamiento 110 puede realizar el procesamiento en la imagen objetivo. La primera unidad de procesamiento 110 puede establecerse en diferentes modos. La primera unidad de procesamiento 110 puede recopilar diferentes primeras imágenes en diferentes modos y realizar diferentes procesos en la imagen objetivo. Cuando la primera unidad de procesamiento 110 está en un modo de infrarrojos, la primera unidad de procesamiento 110 puede controlar el encendido del proyector, operar la cámara láser 102 para recopilar una imagen de infrarrojos a través del bus I2C y procesar la imagen de infrarrojos para obtener una imagen de mapa de paralaje de infrarrojos. Cuando la primera unidad de procesamiento 110 está en un modo de imagen de moteado, la primera unidad de procesamiento 110 puede controlar el encendido de la luz láser 106 a través del bus I2C, operar la cámara láser 102 para recopilar una imagen de moteado a través del bus I2C y procesar la imagen de moteado para obtener un mapa de paralaje de moteado. Cuando la primera unidad de procesamiento 110 está en un modo de imagen de profundidad, la primera unidad de procesamiento 110 puede controlar el encendido de la luz láser 106 a través del bus I2C, operar la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C y procesar la imagen de moteado para obtener un mapa de paralaje de profundidad.
Además, la primera unidad de procesamiento 110 puede realizar la corrección en la imagen objetivo. Realizar la corrección se refiere a corregir el desplazamiento de contenido de imagen de la imagen objetivo provocado por los parámetros internos y los parámetros externos de la cámara láser 102 y la cámara RGB 108, tales como el desplazamiento de contenido de imagen provocado por un ángulo de desviación de la cámara láser 102 y la distribución de posición entre la cámara láser 102 y la cámara RGB 108. Se puede obtener un mapa de paralaje de la imagen objetivo después de realizar la corrección en la imagen objetivo. Por ejemplo, la primera unidad de procesamiento 110 realiza la corrección de la imagen de infrarrojos para obtener el mapa de paralaje de infrarrojos y realiza la corrección de la imagen de moteado para obtener el mapa de paralaje de moteado o el mapa de paralaje de profundidad. La realización de la corrección en la imagen objetivo por la primera unidad de procesamiento 110 puede evitar una condición en la que una imagen finalmente presentada en la pantalla del dispositivo electrónico 100 aparece borrosa.
La primera unidad de procesamiento 110 puede procesar la imagen objetivo y a continuación enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener una imagen requerida de acuerdo con la imagen objetivo procesada, tal como una imagen de infrarrojos, una imagen de moteado, una imagen de profundidad y similares. La segunda unidad de procesamiento 120 puede procesar la imagen requerida de acuerdo con los requisitos de la aplicación.
Por ejemplo, cuando la aplicación necesita realizar la verificación facial, la segunda unidad de procesamiento 120 puede realizar la detección facial de acuerdo con la imagen requerida y similares. La detección facial puede incluir reconocimiento facial, comparación de caras y detección de cuerpos vivos. El reconocimiento facial se refiere a reconocer si hay una cara en la imagen objetivo. La coincidencia de caras se refiere a hacer coincidir la cara en la imagen objetivo con una cara preestablecida. La detección de cuerpo vivo se refiere a detectar si la cara en la imagen objetivo está biológicamente activa. Cuando la aplicación necesita obtener información de profundidad de la cara, la segunda unidad de procesamiento 120 puede cargar la imagen de profundidad objetivo generada en la aplicación. La aplicación puede realizar el proceso de optimización de imágenes, modelado tridimensional y similares de acuerdo con la imagen de profundidad recibida.
En el método para procesar datos de la realización ilustrada en la Figura 8, una cámara láser 102, un proyector 104, una luz láser 106 y la primera unidad de procesamiento 110 están acoplados a un mismo bus I2C. La primera unidad de procesamiento 110 controla el encendido del al menos uno del proyector 104 y la luz láser 106 a través del bus I2C, opera la cámara láser 102 para recopilar una imagen objetivo a través del bus I2C y controla el proyector 104, la luz láser 106 y la cámara láser 102 a través del mismo bus I2C, para realizar la multiplexación en el bus I2C, lo que puede reducir la complejidad para controlar el circuito y reducir los costes.
La Figura 5 es un escenario de aplicación de un método para procesar datos de la realización ilustrada en la Figura 8. Como se ilustra en la Figura 5, el dispositivo electrónico 100 incluye una cámara láser 102, una luz láser 106, un proyector 104, una primera unidad de procesamiento 110, una segunda unidad de procesamiento 120 y un controlador 130. La primera unidad de procesamiento 110 puede ser un módulo MCU o similar. La segunda unidad de procesamiento 120 puede ser un módulo CPU o similar. La primera unidad de procesamiento 110 está acoplada a la cámara láser 102, a la luz láser 106, al proyector 104 y a la segunda unidad de procesamiento 120. El controlador 130 puede acoplarse respectivamente al proyector 104 y a la luz láser 106. El controlador 130 puede controlar la luz láser 106 y el proyector 104. La cámara láser 102, el controlador 130 y la primera unidad de procesamiento 110 están acoplados a un bus I2C.
La primera unidad de procesamiento 110 controla el encendido de al menos uno del proyector 104 y la luz láser 106 a través del bus I2C en respuesta a recibir una instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 envía la instrucción de control al controlador 130 acoplado al bus I2C. El controlador 130 controla el encendido del al menos uno del proyector 104 y la luz láser 106 de acuerdo con una instrucción de control después de recibir la instrucción de control. La primera unidad de procesamiento 110 puede iluminar el proyector 104 y la luz láser 106 a través de un módulo PWM 112. La primera unidad de procesamiento 110 opera la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C. La primera unidad de procesamiento 110 realiza el procesamiento de la imagen objetivo recopilada y envía la imagen objetivo procesada a la segunda unidad de procesamiento 120.
La Figura 4 es otro escenario de aplicación del método para procesar datos de la realización ilustrada en la Figura 8. Como se ilustra en la Figura 4, el dispositivo electrónico 100 incluye un módulo de cámara 101, una segunda unidad de procesamiento 120 y una primera unidad de procesamiento 110. La segunda unidad de procesamiento 120 puede ser el módulo de CPU. La primera unidad de procesamiento 110 puede ser un módulo MCU o similar. La primera unidad de procesamiento 110 está acoplada entre la segunda unidad de procesamiento 120 y el módulo de cámara 101. La primera unidad de procesamiento 110 puede controlar una cámara láser 102, un proyector 104 y una luz láser 106 en el módulo de cámara 101. La segunda unidad de procesamiento 120 puede controlar una cámara RGB 108 en el módulo de cámara 101.
El módulo de cámara 101 incluye la cámara láser 102, el proyector 104, la cámara RGB 108 y la luz láser 106. La cámara láser 102 puede ser una cámara de infrarrojos y puede configurarse para obtener una imagen de infrarrojos. El proyector 104 puede ser una fuente de luz superficial que puede emitir luz de infrarrojos. La luz láser 106 puede ser una fuente de luz puntual con un patrón que puede emitir luz láser. La cámara láser 102 puede obtener la imagen de infrarrojos de acuerdo con la luz reflejada cuando el proyector 104 emite la luz de infrarrojos. La cámara láser 102 puede obtener una imagen de moteado de acuerdo con la luz reflejada cuando la luz láser 106 emite la luz láser. La imagen de moteado es una imagen con un patrón distorsionado después de que se refleja un láser que tiene un patrón y es emitido por la luz láser 106. La cámara láser 102, el proyector 104, la luz láser 106 y la primera unidad de procesamiento 110 están acoplados a un mismo bus I2C.
La segunda unidad de procesamiento 120 puede incluir un núcleo de CPU que opera bajo un entorno de ejecución confiable (TEE) y un núcleo de CPU que opera bajo un entorno de ejecución enriquecido (REE). Tanto el TEE como el REE son modos de operación de un módulo avanzado de máquinas RISC (ARM). El REE tiene un nivel de seguridad superior. La segunda unidad de procesamiento 120 solo tiene un núcleo de CPU que puede operar bajo el TEE al mismo tiempo. En general, un comportamiento de operación con un alto nivel de seguridad en el dispositivo electrónico 100 necesita ejecutarse en el núcleo de la CPU bajo el TEE. En el núcleo de la CPU bajo el REE se puede ejecutar un comportamiento de operación con un nivel de seguridad bajo.
La primera unidad de procesamiento 110 incluye un módulo de modulación de anchura de pulsos (PWM) 112, una interfaz de la interfaz periférica en serie/circuito inter-integrado (SPI/I2C) 114, un módulo de memoria de acceso aleatorio (RAM) 116 y un motor de profundidad 118. La primera unidad de procesamiento 110 controla el proyector 104 o la luz láser 106 a través del bus I2C acoplado. El módulo PWM 112 anterior puede emitir un pulso al módulo de cámara 101, para iluminar el encendido del proyector 104 o la luz láser 106. La primera unidad de procesamiento 110 puede operar la cámara láser 102 para recopilar una imagen de infrarrojos o una imagen de moteado a través del bus I2C. La interfaz SPI/I2C 114 puede configurarse para recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. El motor de profundidad 118 puede procesar la imagen de moteado para obtener un mapa de paralaje de profundidad.
En respuesta a recibir la segunda unidad de procesamiento 120 una solicitud de obtención de datos de una aplicación, por ejemplo, cuando la aplicación necesita realizar un desbloqueo facial o un pago facial, la instrucción de recopilación de imágenes puede enviarse a la primera unidad de procesamiento 110 a través del núcleo de la CPU que opera bajo el TEE. Después de que se recibe la instrucción de recopilación de imágenes, la primera unidad de procesamiento 110 puede controlar el encendido del proyector 104 en el módulo de cámara 101 a través del bus I2C, emite un pulso a través del módulo PWM 112 para iluminar el proyector 104 y opera la cámara láser 102 para recopilar una imagen de infrarrojos a través del bus I2C, y la primera unidad de procesamiento 110 también puede controlar el encendido de la luz láser 106 en el módulo de cámara 101 a través del bus I2C y opera la cámara láser 102 para recopilar una imagen de moteado a través del I2C. El módulo de cámara 101 envía la imagen de infrarrojos recopilada y la imagen de moteado recopilada a la primera unidad de procesamiento 110. La primera unidad de procesamiento 110 puede realizar el procesamiento en la imagen de infrarrojos recibida para obtener un mapa de paralaje de infrarrojos y también puede realizar el procesamiento en la imagen de moteado recibida para obtener un mapa de paralaje de moteado o un mapa de paralaje de profundidad. La primera unidad de procesamiento 110 realiza el procesamiento de la imagen de infrarrojos y la imagen de moteado se refiere a realizar la corrección de la imagen de infrarrojos o la imagen de moteado, para eliminar los efectos provocados por los parámetros internos y los parámetros externos en el módulo de cámara 101 en las imágenes recibidas. La primera unidad de procesamiento 110 puede establecerse en diferentes modos, y se emiten diferentes imágenes en diferentes modos. Cuando la primera unidad de procesamiento 110 se establece en un modo de imagen de moteado, la primera unidad de procesamiento 110 procesa la imagen de moteado para obtener el mapa de paralaje de moteado, de acuerdo con el cual se puede obtener una imagen de moteado objetivo. Cuando la primera unidad de procesamiento 110 se establece en un modo de imagen de profundidad, la primera unidad de procesamiento 110 procesa la imagen de profundidad para obtener el mapa de paralaje de moteado, de acuerdo con el cual se puede obtener una imagen de profundidad objetivo. La imagen de profundidad se refiere a una imagen con información de profundidad. La primera unidad de procesamiento 110 puede enviar el mapa de paralaje de infrarrojos y el mapa de paralaje de moteado a la segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 también puede enviar el mapa de paralaje de infrarrojos y el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener la imagen de infrarrojos objetivo de acuerdo con el mapa de paralaje de infrarrojos y obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad. Además, la segunda unidad de procesamiento 120 puede realizar reconocimiento facial, coincidencia de caras y detección de cuerpos vivos, y obtener información de profundidad de la cara detectada de acuerdo con la imagen de infrarrojos objetivo y la imagen de profundidad.
La primera unidad de procesamiento 110 se comunica con la segunda unidad de procesamiento 120 a través de una interfaz de seguridad fija, para garantizar la seguridad de la transmisión de datos. Como se ilustra en la Figura 4, la segunda unidad de procesamiento 120 envía datos a la primera unidad de procesamiento 110 a través de un SPI/I2C SEGURO 130, y la primera unidad de procesamiento 110 envía datos a la segunda unidad de procesamiento 120 a través de una interfaz de procesador industrial móvil (MIPI) SEGURO 140.
Como alternativa, la primera unidad de procesamiento 110 también puede obtener la imagen de infrarrojos objetivo de acuerdo con el mapa de paralaje de infrarrojos, obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad y enviar la imagen de infrarrojos objetivo y la imagen de profundidad a la segunda unidad de procesamiento 120.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 8, por favor, hágase referencia a la Figura 4, la Figura 5 y la Figura 9 en su conjunto. Como alternativa, controlar el encendido del al menos uno del proyector y la luz láser a través del bus I2C incluye los siguientes actos.
En el bloque 0221, se determina un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes.
La primera unidad de procesamiento 110 recibe una instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, y puede determinarse el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes. El tipo de imagen recopilada puede ser una o más clases de imagen de infrarrojos, imagen de moteado, imagen de profundidad y similares. El tipo de se puede determinar de acuerdo con los datos faciales requeridos por una aplicación. Después de que la segunda unidad de procesamiento 120 recibe una solicitud de obtención de datos, puede determinarse el tipo de acuerdo con la solicitud de obtención de datos, y se envía una instrucción de recopilación de imágenes incluida en el tipo a la primera unidad de procesamiento 110. Por ejemplo, cuando la aplicación requiere datos para realizar el desbloqueo facial, se puede determinar que el tipo de imagen recopilada es la imagen de infrarrojos o la imagen de moteado, y cuando la aplicación requiere información de profundidad facial, se puede determinar que el tipo de imagen recopilada es la imagen de profundidad, lo que no está limitado a lo mismo.
En el bloque 0222, la primera unidad de procesamiento 110 envía una primera instrucción de control al controlador 130 a través del bus I2C cuando el tipo de imagen es una imagen de infrarrojos, y la primera instrucción de control está configurada para instruir al controlador 130 el encendido del proyector 104.
El dispositivo electrónico 100 también puede proporcionarse con un controlador 130. El proyector 104 y la luz láser 106 pueden compartir un mismo controlador 130. El controlador 130 está acoplado al proyector 104 y a la luz láser 106, respectivamente. El controlador 130 está configurado para controlar el proyector 104 y la luz láser 106, lo que puede incluir controlar el encendido del proyector 104 o la luz láser 106, controlar la conmutación entre el proyector 104 y la luz láser 106, y controlar el proyector 104 y la luz láser 106 para emitir energía. El controlador 130, la cámara láser 102 y la primera unidad de procesamiento 110 están acoplados a un mismo bus I2C.
Cuando el tipo de imagen indica que la imagen recopilada es una imagen de infrarrojos, la primera unidad de procesamiento 110 puede enviar una primera instrucción de control al controlador 130 a través del bus I2C acoplado, y el controlador 130 puede controlar el encendido del proyector 104 de acuerdo con la primera instrucción de control. La primera unidad de procesamiento 110 puede emitir un pulso al controlador 130 a través del módulo PWM 112, para iluminar el proyector. Como alternativa, la primera unidad de procesamiento 110 puede realizar el direccionamiento en el controlador 130 a través del I2C y enviar la primera instrucción de control al controlador 130.
En el bloque 0223, la primera unidad de procesamiento 110 envía una segunda instrucción de control al controlador 130 a través del bus 12C cuando el tipo es una imagen de moteado o una imagen de profundidad, y la segunda instrucción de control está configurada para instruir al controlador 130 el encendido de la luz láser.
Cuando la imagen recopilada es una imagen de moteado o una imagen de profundidad, la primera unidad de procesamiento 110 envía la segunda instrucción de control al controlador 130 a través del bus I2C acoplado, y el controlador 130 puede controlar el encendido de la luz láser 106 de acuerdo con la segunda instrucción de control. La primera unidad de procesamiento 110 puede enviar un pulso al controlador 130 a través de un módulo PWM 12 para iluminar la luz láser 106.
Como alternativa, los tipos pueden ser múltiples, lo que puede incluir la imagen de infrarrojos y la imagen de moteado simultáneamente, incluir la imagen de infrarrojos y la imagen de profundidad simultáneamente, o incluir la imagen de infrarrojos, la imagen de moteado y la imagen de profundidad simultáneamente. La primera unidad de procesamiento 110 puede controlar, respectivamente, el encendido del proyector 104 para recopilar la imagen de infrarrojos, y encender la luz láser 106 para recopilar la imagen de moteado. La primera unidad de procesamiento 110 puede operar la cámara láser 102 para recopilar la imagen de infrarrojos en primer lugar, o también puede operar la luz láser 102 para recopilar la imagen de moteado en primer lugar. La secuencia de recopilación no está limitada en el presente documento.
Como alternativa, cuando el tipo de imagen incluye la imagen de infrarrojos y la imagen de moteado, o incluye la imagen de infrarrojos y la imagen de profundidad, la primera unidad de procesamiento 110 puede enviar la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104, operar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C, enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106 y operar la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C.
Como alternativa, cuando el tipo de imagen incluye la imagen de infrarrojos y la imagen de moteado, o incluye la imagen de infrarrojos y la imagen de profundidad, la primera unidad de procesamiento 110 puede enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106, operar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C, enviar la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104 y operar la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C.
De esta manera, la multiplexación por división de tiempo se puede realizar en el mismo bus I2C, lo que puede reducir la complejidad para controlar el circuito y reducir los costes.
En un método para procesar datos de la realización ilustrada en la Figura 9, la primera unidad de procesamiento 110 puede implementar la conmutación y el control entre el proyector 104 y la luz láser 106 a través de un controlador 130, lo que puede reducir aún más la complejidad para controlar el circuito y reducir los costes.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 8, por favor, hágase referencia a la Figura 4, la Figura 5 y la Figura 10 en su conjunto. Como alternativa, realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento 110 y enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120 en el bloque 002 puede incluir acciones en los siguientes bloques.
En el bloque 0241, se obtiene una imagen de moteado de referencia almacenada, y la imagen de moteado de referencia tiene información de profundidad de referencia en la misma.
En un sistema de coordenadas de cámara, una línea perpendicular a un plano de formación de imágenes y que pasa a través del centro de un espejo se toma como eje Z. Cuando una coordenada de un objeto en el sistema de coordenadas de la cámara es (X, Y, Z), el valor Z es la información de profundidad del objeto en el plano de formación de imágenes de la cámara. Cuando una aplicación necesita obtener información de profundidad de una cara, se debe recopilar una imagen de profundidad que incluye la información de profundidad de la cara. La primera unidad de procesamiento 110 puede controlar el encendido de una luz láser 106 a través del bus I2C y operar la cámara láser 102 para recopilar una imagen de moteado a través del bus I2C. La primera unidad de procesamiento 110 puede almacenar la imagen de moteado de referencia con antelación. La imagen de moteado de referencia puede tener la información de profundidad de referencia. La información de profundidad de los píxeles respectivos incluidos en la imagen de moteado se puede obtener de acuerdo con la imagen de moteado recopilada y la imagen de moteado de referencia.
En el bloque 0242, la imagen de moteado de referencia se compara con la imagen de moteado, para obtener un resultado coincidente.
La primera unidad de procesamiento 110 puede tomar píxeles respectivos incluidos en la imagen de moteado recopilada como el centro sucesivamente, y seleccionar un bloque de píxeles con un tamaño preestablecido, tal como un tamaño de píxel de 31 píxeles * 31 píxeles, y buscar un bloque en la imagen de moteado de referencia que coincide con el bloque de píxeles seleccionado. La primera unidad de procesamiento 110 puede encontrar dos puntos en una misma trayectoria de luz láser respectivamente en la imagen de moteado y la imagen de moteado de referencia del bloque de píxeles seleccionado en la imagen de moteado recopilada y el bloque coincidente en la imagen de moteado de referencia. La información de moteado de los dos puntos en la misma trayectoria de luz láser es consistente. Los dos puntos en la misma trayectoria de luz láser pueden identificarse como píxeles correspondientes. En la imagen de moteado de referencia, se conoce la información de profundidad de los puntos en cada trayectoria de luz láser. La primera unidad de procesamiento 110 puede calcular un desplazamiento entre los dos píxeles correspondientes en la misma trayectoria de luz láser en la imagen de moteado objetivo y la imagen de moteado de referencia, y obtener la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado recopilada de acuerdo con el desplazamiento.
En una realización, la primera unidad de procesamiento 110 calcula el desplazamiento entre la imagen de moteado recopilada y la imagen de moteado de referencia, y obtiene la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado de acuerdo con el desplazamiento mediante la siguiente fórmula (2).
Figure imgf000016_0001
donde Zd representa información de profundidad de un píxel, es decir, un valor de profundidad del píxel. L representa una distancia entre la cámara láser 102 y el láser (es decir, la luz láser 106). f representa una distancia focal de una lente en la cámara láser 102. Z0 representa un valor de profundidad entre un plano de referencia y la cámara láser 102 del dispositivo electrónico 100 cuando se recopila la imagen de moteado de referencia. P representa el desplazamiento entre los píxeles correspondientes en la imagen de moteado recopilada y la imagen de moteado de referencia. P puede obtenerse multiplicando el número de píxeles de desplazamiento entre la imagen de moteado objetivo y la imagen de moteado de referencia por una distancia real de un píxel. Cuando una distancia entre el objeto objetivo y la cámara láser 102 es mayor que la distancia entre el plano de referencia y la cámara láser 102, P es un valor negativo. Cuando la distancia entre el objeto objetivo y la cámara láser 102 es menor que la distancia entre el plano de referencia y la cámara láser 102, P es un valor positivo.
En el bloque 0243, se genera un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, el mapa de paralaje de profundidad se envía a la segunda unidad de procesamiento 120 y se procesa el mapa de paralaje de profundidad por la segunda unidad de procesamiento 120 para obtener una imagen de profundidad.
La primera unidad de procesamiento 110 puede realizar la corrección en la imagen de moteado recopilada después de obtener la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado recopilada, para corregir el desplazamiento del contenido de la imagen de la imagen de moteado recopilada provocado por parámetros internos y parámetros externos de la cámara láser 102 y la cámara RGB 108. La primera unidad de procesamiento 110 puede generar el mapa de paralaje de profundidad de acuerdo con la imagen de moteado corregida y los valores de profundidad de los píxeles respectivos en la imagen de moteado, y enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad. La imagen de profundidad puede incluir la información de profundidad de los píxeles respectivos. La segunda unidad de procesamiento 120 puede cargar la imagen de profundidad en la aplicación. La aplicación puede realizar optimización de imágenes, modelado tridimensional y similares de acuerdo con la información de profundidad de la cara en la imagen de profundidad. La segunda unidad de procesamiento 120 también puede realizar la detección de cuerpos vivos de acuerdo con la información de profundidad de la cara en la imagen de profundidad, lo que puede evitar que la cara recopilada sea una cara recopilada sea una cara plana.
Con el método para procesar datos de la realización ilustrada en la Figura 10, la información de profundidad de la imagen se puede recopilar con precisión a través de la primera unidad de procesamiento 110, lo que mejora la eficiencia para procesar datos y mejora la precisión para procesar la imagen.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 8, por favor, hágase referencia a la Figura 4, la Figura 5 y la Figura 11. Como alternativa, antes de obtener la imagen de moteado de referencia almacenada en el bloque 0241, el método para procesar datos incluye además los actos en los siguientes bloques.
En el bloque 0251, se recopila una temperatura de un láser 106 cada período de tiempo de recopilación, y se obtiene una imagen de moteado de referencia correspondiente a la temperatura a través de la segunda unidad de procesamiento 120.
Un dispositivo electrónico 100 puede proporcionarse con un sensor de temperatura además de un láser 106 y recopilar la temperatura de la luz láser 106 y similares a través del sensor de temperatura. La segunda unidad de procesamiento 120 puede obtener la temperatura de la luz láser 106 recopilada por el sensor de temperatura cada período de tiempo de recopilación. El período de tiempo de recopilación se puede establecer de acuerdo con el requisito real, tal como 3 segundos, 4 segundos o similar, lo que no está limitado a lo mismo. A medida que cambia la temperatura de la luz láser 106, un módulo de cámara 101 puede deformarse, afectando a los parámetros internos y externos de la luz láser 106 y la cámara láser 102. Los efectos sobre el módulo de cámara 101 son diferentes bajo diferentes temperaturas. Por lo tanto, las imágenes de puntos de referencia pueden ser diferentes a diferentes temperaturas.
La segunda unidad de procesamiento 120 puede obtener la imagen de moteado de referencia correspondiente a la temperatura y procesar la imagen de moteado recopilada bajo la temperatura de acuerdo con la imagen de moteado de referencia correspondiente a la temperatura, para obtener la imagen de profundidad. Como alternativa, la segunda unidad de procesamiento puede establecer una gran cantidad de intervalos de temperatura diferentes con antelación, tales como 0 °C~30 °C, 30 °C~60 °C, 60 °C~90 °C y similares, lo que no está limitado a lo mismo. Diferentes intervalos de temperatura pueden corresponder a diferentes imágenes de moteado de referencia. Después de recopilar la temperatura, la segunda unidad de procesamiento 120 puede determinar el intervalo de temperatura al que pertenece la temperatura recopilada y obtener la imagen de moteado de referencia correspondiente al intervalo de temperatura.
En el bloque 252, la imagen de moteado de referencia obtenida en el tiempo actual se escribe en la primera unidad de procesamiento 110 a través de la segunda unidad de procesamiento 120 cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110.
La segunda unidad de procesamiento 120 puede determinar si la imagen de moteado de referencia obtenida en el tiempo actual es consistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110 después de obtener la imagen de moteado de referencia correspondiente a la temperatura recopilada. La imagen de moteado de referencia puede tener un identificador de imagen. El identificador de imagen puede combinarse con uno o más de números, letras, caracteres, etc. La segunda unidad de procesamiento 120 puede leer el identificador de imagen de la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110 y comparar el identificador de imagen de la imagen de moteado de referencia obtenida en el tiempo actual con el identificador de imagen leído de la primera unidad de procesamiento 110. Cuando los dos identificadores de imagen son inconsistentes, indica que la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110, y la segunda unidad de procesamiento 120 puede escribir la imagen de moteado de referencia obtenida en el tiempo actual en la primera unidad de procesamiento 110. La primera unidad de procesamiento 110 puede almacenar la imagen de moteado de referencia recién escrita y borrar la imagen de moteado de referencia previamente almacenada.
En el método para procesar datos de la realización ilustrada en la Figura 11, se puede obtener la imagen de moteado de referencia correspondiente a la temperatura de la luz láser 106, lo que reduce el efecto de la temperatura en el mapa de profundidad emitido finalmente, y permite que la información de profundidad obtenida sea más precisa.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 8, por favor, hágase referencia a la Figura 4, la Figura 5 y la Figura 12. Como alternativa, antes de que se realice el acto en el bloque 021, el método para procesar datos incluye además un acto en el bloque 0261, y el envío de la imagen objetivo procesada a la segunda unidad de procesamiento incluye un acto en el bloque 0262.
En el bloque 0261, la instrucción de recopilación de imágenes se envía a la primera unidad de procesamiento 110 a través de un núcleo de la segunda unidad de procesamiento que opera en un primer modo de operación. El primer modo de operación es un entorno de ejecución confiable.
La segunda unidad de procesamiento 120 en el dispositivo electrónico 100 puede incluir dos modos de operación. El primer modo de operación puede ser un TEE. El TEE es el entorno de ejecución confiable, cuyo nivel de seguridad es alto. El segundo modo de operación puede ser un REE. El REE es un entorno de ejecución rico, cuyo nivel de seguridad es bajo. La segunda unidad de procesamiento 120 puede enviar la instrucción de recopilación de imágenes a la primera unidad de procesamiento 110 en el primer modo de operación en respuesta a recibir una solicitud de obtención de datos enviada por la aplicación. Cuando la segunda unidad de procesamiento 120 es una CPU con un núcleo, el núcleo puede conmutarse directamente del segundo modo de operación al primer modo de operación. Cuando la segunda unidad de procesamiento 120 tiene múltiples núcleos, un núcleo puede conmutarse del segundo modo de operación al primer modo de operación, y otros núcleos aún operan en el segundo modo de operación. La instrucción de recopilación de imágenes se envía a la primera unidad de procesamiento 110 a través del núcleo que opera en el primer modo de operación.
En el bloque 0262, la primera unidad de procesamiento 110 envía la imagen objetivo procesada al núcleo de la segunda unidad de procesamiento 120 que opera en el primer modo de operación.
La primera unidad de procesamiento 110 puede enviar la primera imagen procesada al núcleo que opera en el primer modo de operación después de procesar la primera imagen de proceso recopilada, lo que puede garantizar que la primera unidad de procesamiento 110 siempre opere en el entorno de ejecución confiable y mejore la seguridad. La segunda unidad de procesamiento 120 puede obtener la imagen objetivo de acuerdo con la primera imagen procesada en el núcleo que opera en el primer modo de operación y procesar la imagen objetivo de acuerdo con el requisito de la aplicación en el núcleo que opera en el primer modo de operación. Por ejemplo, la segunda unidad de procesamiento 120 puede realizar la detección facial en la imagen objetivo en el núcleo que opera en el primer modo de operación.
En una realización, dado que el núcleo que opera en el primer modo de operación es único, en respuesta a realizar la segunda unidad de procesamiento 120 la detección facial en la imagen objetivo en el TEE, se puede emplear un modo en serie para realizar el reconocimiento facial, la coincidencia facial, detección de cuerpos vivos y similares secuencialmente en la imagen objetivo. La segunda unidad de procesamiento 120 puede realizar el reconocimiento facial en la imagen objetivo en primer lugar. Cuando se reconoce una cara, la segunda unidad de procesamiento 120 hace coincidir la cara incluida en la imagen objetivo con una cara previamente almacenada, para determinar si las dos caras son idénticas. Cuando las dos caras son idénticas, la segunda unidad de procesamiento 120 realiza la detección de cuerpos vivos en la cara de acuerdo con la imagen objetivo, para evitar que la cara recopilada sea una cara plana. Cuando no se reconoce la cara, no se realiza la coincidencia facial ni la detección de cuerpos vivos, lo que puede reducir la carga del proceso de la segunda unidad de procesamiento 120.
Con el método para procesar datos de la realización ilustrada en la Figura 12, la instrucción de recopilación de imágenes se envía a la primera unidad de procesamiento 110 a través del núcleo de la segunda unidad de procesamiento 120 con alta seguridad, lo que puede garantizar que la primera unidad de procesamiento 110 esté en un entorno con alta seguridad y mejorar la seguridad de datos.
Por favor, hágase referencia a la Figura 4, la Figura 13 y la Figura 14 en su conjunto. En otra realización más, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, encender el al menos uno del proyector 104 y la luz láser 106 y operar la cámara láser 102 para recopilar la imagen objetivo en el bloque 011 incluye acciones en el bloque 031, el bloque 032 y el bloque 033.
En el bloque 031, se determina un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120.
Cuando una aplicación en el dispositivo electrónico 100 requiere datos faciales, la aplicación puede enviar una solicitud de obtención de datos a la segunda unidad de procesamiento 120. Los datos faciales pueden incluir, pero sin limitación, datos para la verificación facial en un escenario tal como desbloqueo facial, pago facial y similares, e información de profundidad facial. La segunda unidad de procesamiento 120 puede enviar la instrucción de recopilación de imágenes a la primera unidad de procesamiento 110 después de recibir la solicitud de obtención de datos. La primera unidad de procesamiento 110 puede ser un módulo MCU y la segunda unidad de procesamiento puede ser un módulo CPU.
La primera unidad de procesamiento 110 puede recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120 y determinar el tipo de imagen de acuerdo con la instrucción de recopilación de imágenes. El tipo de imagen puede ser una o más de la imagen de infrarrojos, la imagen de moteado, la imagen de profundidad y similares. El tipo de imagen se puede determinar de acuerdo con los datos faciales requeridos por la aplicación. La segunda unidad de procesamiento 120 puede determinar el tipo de imagen de acuerdo con la solicitud de obtención de datos después de recibir la solicitud de obtención de datos y enviar la instrucción de recopilación de imágenes que incluye el tipo de imagen a la primera unidad de procesamiento 110. Por ejemplo, cuando una aplicación requiere datos para realizar el desbloqueo facial, la segunda unidad de procesamiento 120 puede determinar que el tipo de imagen puede ser la imagen de infrarrojos o la imagen de moteado, y cuando la aplicación requiere la información de profundidad facial, la segunda unidad de procesamiento 120 puede determinar además que el tipo de imagen es la imagen de profundidad o similares, lo que no está limitado en el presente documento.
En el bloque 032, cuando el tipo es un primer tipo, se enciende el proyector en un módulo de cámara 101, se envía un pulso a un primer controlador 131 a través de un primer módulo PWM 1121 para iluminar el proyector 104, y a continuación se recopila una imagen objetivo correspondiente al primer tipo a través de la cámara láser 102 en el módulo de cámara 101.
Cuando el tipo es el primer tipo, en esta realización, el primer tipo puede ser la imagen de infrarrojos, la primera unidad de procesamiento 110 puede enviar una instrucción de control al primer controlador 131. La instrucción puede configurarse para encender el proyector 104 en el módulo de cámara 101. La primera unidad de procesamiento 110 puede enviar una señal de pulso al primer controlador 131 configurado para controlar el proyector 104 a través del primer módulo PWM 1121, para iluminar el proyector 104. Como alternativa, el primer módulo PWM 1121 puede enviar señales de pulso continuamente al proyector 104 basándose en una cierta amplitud de tensión y un cierto intervalo de tiempo, para iluminar el proyector 104. El proyector 104 puede ser una fuente de luz superficial que irradia uniformemente en todas las direcciones. Cuando se ilumina el proyector 104, se puede emitir luz roja, y la cámara láser 102 puede recopilar la luz roja realimentada a la cara para obtener la imagen de infrarrojos.
En el bloque 033, cuando el tipo es un segundo tipo, se enciende la luz láser 106 en el módulo de cámara 102, se envía un pulso a un segundo controlador 132 a través de un segundo módulo PWM 1122 para iluminar la luz láser 106 y, a continuación, se recopila una imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102 en el módulo de cámara 101.
Cuando el tipo es el segundo tipo, en esta realización, el segundo tipo puede ser la imagen de moteado o la imagen de profundidad, la primera unidad de procesamiento 110 puede enviar una instrucción de control al segundo controlador 132. La instrucción de control puede configurarse para encender la luz láser 106 en el módulo de cámara 101. La primera unidad de procesamiento 110 puede enviar una señal de pulso al segundo controlador 132 configurado para controlar la luz láser 106 a través del segundo módulo PWM 1122, para iluminar la luz láser 106. Como alternativa, el segundo módulo PWM 1122 puede enviar señales de pulso continuamente a la luz láser 106 basándose en una cierta amplitud de tensión y un cierto intervalo de tiempo, para iluminar la luz láser 106. Cuando se ilumina la luz láser 106, el láser emitido puede ser difractado por una lente y elementos ópticos difractivos (DOE) para generar una imagen con partículas de moteado. Después de que se proyecta la imagen con las partículas de moteado en la imagen objetivo, la imagen con las partículas de moteado genera desplazamientos de las partículas ya que las distancias entre los puntos respectivos de la imagen objetivo y el dispositivo electrónico 100 son diferentes, y la cámara láser 102 recopila la imagen después del desplazamiento de las partículas de moteado, para obtener la imagen de moteado.
En el bloque 002, la primera unidad de procesamiento 110 procesa la imagen objetivo y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
La cámara láser 102 puede enviar la imagen objetivo recopilada a la primera unidad de procesamiento 110, y la primera unidad de procesamiento 110 puede realizar el procesamiento en la imagen objetivo. La imagen objetivo puede incluir la imagen de infrarrojos, la imagen de moteado y similares. Después de que se determina un tipo de imagen de acuerdo con la instrucción de recopilación de imágenes, la primera unidad de procesamiento 110 puede realizar el procesamiento correspondiente en la imagen objetivo basándose en el tipo determinado de la imagen recopilada y la imagen objetivo correspondiente al tipo. Cuando el tipo de imagen recopilada es una imagen de infrarrojos, la primera unidad de procesamiento 110 puede enviar el pulso al primer controlador 131 a través del primer módulo PWM 1121 para iluminar el proyector 104, recopilar la imagen de infrarrojos a través de la cámara láser 102 y realizar el procesamiento en la imagen de infrarrojos para obtener un mapa de paralaje de infrarrojos. Cuando el tipo de imagen es una imagen de moteado, la primera unidad de procesamiento 110 puede enviar el pulso al segundo controlador 132 a través del segundo módulo PWM para iluminar la luz láser 106, recopilar la imagen de moteado a través de la cámara láser 102 y realizar el procesamiento en la imagen de moteado para obtener una imagen de paralaje de moteado. Cuando el tipo de imagen recopilada es una imagen de profundidad, la primera unidad de procesamiento 110 puede recopilar la imagen de moteado y realizar el procesamiento en la imagen de moteado recopilada para obtener un mapa de paralaje de profundidad.
Además, la primera unidad de procesamiento 110 puede realizar la corrección en la imagen objetivo. La realización de la corrección se refiere al desplazamiento correcto del contenido de la imagen de la imagen objetivo provocado por los parámetros internos y los parámetros externos de la cámara láser 102 y la cámara rojo verde azul (RGB) 108, tal como el desplazamiento del contenido de la imagen provocado por un ángulo de desviación de la cámara láser 102 y la distribución de posición entre la cámara láser 102 y la cámara RGB 108. Se puede obtener un mapa de paralaje de la imagen objetivo después de que la primera unidad de procesamiento 110 realice la corrección en la imagen objetivo. Por ejemplo, la corrección se puede realizar en la imagen de infrarrojos para obtener el mapa de paralaje de infrarrojos, y la corrección se puede realizar en la imagen de moteado para obtener el mapa de paralaje de moteado o el mapa de paralaje de profundidad. La primera unidad de procesamiento 110 realiza la corrección en la imagen objetivo y puede evitar una condición en la que una imagen finalmente presentada en la pantalla del dispositivo electrónico 100 aparece borrosa.
La primera unidad de procesamiento 110 realiza un procesamiento de la imagen objetivo y puede enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener una imagen de requisito basándose en la imagen objetivo procesada, tal como la imagen de infrarrojos, la imagen de moteado, la imagen de profundidad y similares. La segunda unidad de procesamiento 120 puede realizar un procesamiento adicional en la imagen necesaria de acuerdo con los requisitos de la aplicación.
Por ejemplo, cuando una aplicación necesita realizar la verificación de la cara, la segunda unidad de procesamiento 120 puede realizar la detección facial en una imagen requerida obtenida y similares. La detección facial puede incluir reconocimiento facial, comparación de caras y detección de cuerpos vivos. El reconocimiento facial se refiere a reconocer si hay una cara en la imagen objetivo. La coincidencia facial se refiere a hacer coincidir la cara en la imagen requerida con una cara preestablecida. La detección de cuerpo vivo se refiere a detectar si la cara en la imagen objetivo está biológicamente activa. Cuando la aplicación necesita obtener información de profundidad de la cara, la imagen de profundidad objetivo generada puede cargarse en la aplicación. La aplicación puede realizar el proceso de optimización de imágenes, modelado tridimensional y similares de acuerdo con la imagen de profundidad objetivo recibida.
Con el método para procesar datos de la realización ilustrada en la Figura 13, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, el tipo de imagen recopilada se determina de acuerdo con la instrucción de recopilación de imágenes. Cuando el tipo es el primer tipo, el proyector 104 se ilumina a través del primer módulo PWM 1121, y se recopila la imagen objetivo correspondiente al primer tipo a través de la cámara láser 102. Cuando el tipo de imagen es del segundo tipo, el pulso se envía al segundo controlador 132 a través del segundo módulo PWM 1122 para iluminar la luz láser 106, y se recopila la imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102. El proyector 104 y la luz láser 106 se controlan respectivamente a través de dos módulos PWM, que no necesitan conmutarse en tiempo real, pueden reducir la complejidad del procesamiento de datos y reducir la presión del proceso de la primera unidad de procesamiento 110.
La Figura 14 es un escenario de aplicación que ilustra el método para procesar datos de la realización ilustrada en la Figura 13. Como se ilustra en la Figura 14, el método para procesar datos puede aplicarse al dispositivo electrónico 100. El dispositivo electrónico 100 incluye una cámara láser 102, un proyector 104, una luz láser 106, una primera unidad de procesamiento 110, una segunda unidad de procesamiento 120 y un primer controlador 131 y un segundo controlador 132. La primera unidad de procesamiento 110 está acoplada a la cámara láser 102 y a la segunda unidad de procesamiento 120, respectivamente. La primera unidad de procesamiento 110 puede ser un módulo MCU o similar. La segunda unidad de procesamiento 120 puede ser un módulo CPU o similar. El primer controlador 131 puede acoplarse al proyector 104. El segundo controlador 132 puede acoplarse a la luz láser 106. La primera unidad de procesamiento 110 puede incluir un primer módulo PWM 1121 y un segundo módulo PWM 1122. La primera unidad de procesamiento 110 puede acoplarse al primer controlador 131 a través del primer módulo PWM 1121. La primera unidad de procesamiento 110 está acoplada al segundo controlador 132 a través del segundo módulo PWM 1122.
La primera unidad de procesamiento 110 determina el tipo de imagen de acuerdo con una instrucción de recopilación de imágenes en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. Cuando el tipo de imagen es un primer tipo, el proyector 104 se enciende, se envía un pulso al primer controlador 131 a través del primer módulo PWM 1121 para iluminar el proyector 104, y se recopila una imagen objetivo correspondiente al primer tipo a través de la cámara láser 102. Cuando el tipo de imagen es un segundo tipo, la luz láser 106 se enciende, se envía un pulso al segundo controlador 132 a través del segundo módulo PWM 1122 para iluminar la luz láser 106, y se recopila una imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102. La primera unidad de procesamiento 110 realiza el procesamiento de la imagen objetivo recopilada por la cámara láser 102 y envía la imagen objetivo procesada a la segunda unidad de procesamiento 120.
La Figura 4 es un escenario de aplicación que ilustra el método para procesar datos de la realización ilustrada en la Figura 13. Como se ilustra en la Figura 4, el dispositivo electrónico 100 puede incluir un módulo de cámara 101, una segunda unidad de procesamiento 120 y una primera unidad de procesamiento 110. La segunda unidad de procesamiento 120 puede ser un módulo de CPU. La primera unidad de procesamiento 110 puede ser un módulo MCU o similar. La primera unidad de procesamiento 110 está acoplada entre la segunda unidad de procesamiento 120 y el módulo de cámara 101. La primera unidad de procesamiento 110 puede controlar una cámara láser 101, un proyector 104 y una luz láser 106 en el módulo de cámara 101. La segunda unidad de procesamiento 120 puede controlar una cámara RGB 108 en el módulo de cámara 101.
El módulo de cámara 101 incluye una cámara láser 102, un proyector 104, la cámara RGB 108 y una luz láser 106. La cámara láser 102 puede ser una cámara de infrarrojos y puede configurarse para obtener una imagen de infrarrojos. El proyector 104 puede ser una fuente de luz superficial que puede emitir luz de infrarrojos. La luz láser 106 puede ser una fuente de luz puntual con un patrón que puede emitir luz láser. La cámara láser 212 puede obtener la imagen de infrarrojos de acuerdo con la luz reflejada cuando el proyector 104 emite la luz de infrarrojos. La cámara láser 106 puede obtener una imagen de moteado de acuerdo con la luz reflejada cuando la luz láser 106 emite la luz láser. La imagen de moteado es una imagen con un patrón distorsionado después de que se refleja un láser que forma un patrón y es emitido por la luz láser 106.
La segunda unidad de procesamiento 120 puede incluir un núcleo de CPU que opera bajo un entorno de ejecución confiable (TEE) y un núcleo de CPU que opera bajo un entorno de ejecución enriquecido (REE). Tanto el TEE como el REE son modos de operación de un módulo avanzado de máquinas RISC (ARM). El REE tiene un nivel de seguridad superior. La segunda unidad de procesamiento 120 solo tiene un núcleo de CPU que puede operar bajo el TEE al mismo tiempo. En general, un comportamiento de operación con un alto nivel de seguridad en el dispositivo electrónico 100 necesita ejecutarse en el núcleo de la CPU bajo el TEE. En el núcleo de la CPU bajo el REE se puede ejecutar un comportamiento de operación con un nivel de seguridad bajo.
La primera unidad de procesamiento 110 incluye un módulo de modulación de anchura de pulsos (PWM) 112, una interfaz de la interfaz periférica en serie/circuito inter-integrado (SPI/I2C) 114, un módulo de memoria de acceso aleatorio (RAM) 116 y un motor de profundidad 118. El módulo pW m 232 puede incluir un primer módulo PWM y un segundo módulo PWM 1122. El primer módulo PWM 1121 puede acoplarse a un controlador 131 del proyector 104 para controlar el encendido del proyector 104 y emitir un pulso al proyector 104 para iluminar el proyector 104. El segundo módulo PWM 1122 se puede acoplar al controlador 132 de la luz láser 106 para controlar el encendido de la luz láser 106 y emitir un pulso a la luz láser 106 para iluminar la luz láser 106. La interfaz SPI/I2C 114 puede configurarse para recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. El motor de profundidad 118 puede procesar la imagen de moteado para obtener un mapa de paralaje de profundidad.
En respuesta a recibir la segunda unidad de procesamiento 120 una solicitud de obtención de datos de una aplicación, por ejemplo, cuando la aplicación necesita realizar un desbloqueo facial o un pago facial, la instrucción de recopilación de imágenes puede enviarse a la primera unidad de procesamiento 110 a través del núcleo de la CPU que opera bajo el TEE. En respuesta a recibir la instrucción de recopilación de imágenes, la primera unidad de procesamiento 110 puede emitir pulsos para iluminar el proyector 104 a través del primer módulo PWM 1121 en el módulo PWM 112 y recopilar la imagen de infrarrojos a través de la cámara láser 102, y la primera unidad de procesamiento 110 puede emitir pulsos para iluminar la luz láser 106 a través del segundo módulo PWM 1122 en el módulo PWM 112 y recopilar la imagen de moteado a través de la cámara láser 102. El módulo de cámara 101 puede enviar la imagen de infrarrojos recopilada y la imagen de moteado recopilada a la primera unidad de procesamiento 110. La primera unidad de procesamiento 110 puede procesar la imagen de infrarrojos recibida para obtener un mapa de paralaje de infrarrojos y procesar la imagen de moteado recibida para obtener un mapa de paralaje de moteado o un mapa de paralaje de profundidad. La primera unidad de procesamiento 110 procesa la imagen de infrarrojos recibida y la imagen de moteado recibida de la siguiente manera. La primera unidad de procesamiento 110 realiza la corrección en la imagen de infrarrojos recibida o la imagen de moteado recibida, para eliminar los efectos provocados por parámetros internos y parámetros externos en el módulo de cámara 101 en las imágenes recibidas. La primera unidad de procesamiento 110 puede establecerse en diferentes modos, y se emiten diferentes imágenes en diferentes modos. Cuando la primera unidad de procesamiento 110 se establece en un modo de imagen de moteado, la primera unidad de procesamiento 110 procesa la imagen de moteado para obtener el mapa de paralaje de moteado, de acuerdo con el cual se puede obtener una imagen de moteado objetivo. Cuando la primera unidad de procesamiento 110 se establece en un modo de imagen de profundidad, la primera unidad de procesamiento 110 procesa la imagen de profundidad para obtener el mapa de paralaje de moteado, de acuerdo con el cual se puede obtener una imagen de profundidad objetivo. La imagen de profundidad se refiere a una imagen con información de profundidad. La primera unidad de procesamiento 110 puede enviar el mapa de paralaje de infrarrojos y el mapa de paralaje de moteado a la segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 también puede enviar el mapa de paralaje de infrarrojos y el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener la imagen de infrarrojos objetivo de acuerdo con el mapa de paralaje de infrarrojos y obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad. Además, la segunda unidad de procesamiento 120 puede realizar reconocimiento facial, coincidencia de caras y detección de cuerpos vivos, y obtener información de profundidad de la cara detectada de acuerdo con la imagen de infrarrojos objetivo y la imagen de profundidad.
La primera unidad de procesamiento 110 se comunica con la segunda unidad de procesamiento 120 a través de una interfaz de seguridad fija, para garantizar la seguridad de la transmisión de datos. Como se ilustra en la Figura 4, la segunda unidad de procesamiento 120 envía datos a la primera unidad de procesamiento 110 a través de un SPI/I2C SEGURO 130, y la primera unidad de procesamiento 110 envía datos a la segunda unidad de procesamiento 120 a través de una interfaz de procesador industrial móvil (MIPI) SEGURO 140.
Como alternativa, la primera unidad de procesamiento 110 también puede obtener la imagen de infrarrojos objetivo de acuerdo con el mapa de paralaje de infrarrojos, obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad y enviar la imagen de infrarrojos objetivo y la imagen de profundidad a la segunda unidad de procesamiento 120.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 13, en combinación con la Figura 4 y la Figura 14, como alternativa, antes de determinar el tipo de imagen de acuerdo con la instrucción de recopilación de imágenes en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120 en el bloque 031, el método incluye, además: configurar, por la segunda unidad de procesamiento 120, el proyector 104 y la luz láser 106, respectivamente, a través del bus I2C cuando se detecta que el módulo de cámara 101 está activado.
Cuando una aplicación del dispositivo electrónico 100 necesita recopilar datos de imagen requeridos a través del módulo de cámara 101, el módulo de cámara 101 puede activarse y la imagen se recopila a través del módulo de cámara 101. Cuando el dispositivo electrónico 100 detecta que el módulo de cámara 101 está activado, la segunda unidad de procesamiento 120 puede configurar el proyector 104 y la luz láser 106 a través del bus I2C, respectivamente. El bus I2C puede implementar la transmisión de datos entre dispositivos respectivos conectados al bus I2C a través de una línea de datos y una línea de reloj. La segunda unidad de procesamiento 120 puede leer en primer lugar un archivo configurado y realizar la configuración en el proyector 104 y la luz láser 106 de acuerdo con los parámetros incluidos en el archivo configurado. El archivo configurado puede registrar parámetros tales como potencias de emisión, corrientes de emisión y similares del proyector 104 y la luz láser 106, pero no está limitado a lo mismo, y puede haber otros parámetros. La segunda unidad de procesamiento 120 puede establecer los parámetros tales como las potencias de emisión, las corrientes de emisión y similares del proyector 104 y la luz láser 106 de acuerdo con los parámetros del archivo configurado.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 13, como alternativa, la segunda unidad de procesamiento 120 puede acoplarse al proyector 104 y a la luz láser 106, respectivamente, a través de un mismo bus I2C. El proyector 104, la luz láser 106 y la segunda unidad de procesamiento 120 pueden acoplarse al mismo bus I2C. Cuando la configuración se realiza en el proyector 104 y la luz láser 106, la segunda unidad de procesamiento 120 puede realizar el direccionamiento en el proyector 104 a través de I2C y realizar la configuración en el proyector 104 y, a continuación, la segunda unidad de procesamiento 120 puede realizar el direccionamiento en la luz láser 106 a través del bus I2C y realizar la configuración en la luz láser 106. Como alternativa, la segunda unidad de procesamiento 120 también puede realizar el direccionamiento en la luz láser 106 a través del bus I2C en primer lugar y realizar la configuración en la luz láser 106 y, a continuación, la segunda unidad de procesamiento 120 puede realizar el direccionamiento en el proyector 104 a través del bus I2C y realizar la configuración en el proyector 104. La multiplexación por división de tiempo se puede realizar en el mismo bus I2C acoplado, lo que puede reducir la complejidad para controlar el circuito, ahorrar recursos y reducir los costes.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 13, como alternativa, la segunda unidad de procesamiento 120 también puede acoplarse al proyector 104 y a la luz láser 106 a través de dos buses I2C respectivamente. La segunda unidad de procesamiento 120 puede acoplarse al proyector 104 a través de un bus I2C y a la luz láser 106 a través del otro bus I2C. Cuando se realiza la configuración en el proyector 104 y la luz láser 106, la segunda unidad de procesamiento 120 puede realizar el direccionamiento en el proyector 104 a través del bus I2C acoplado al proyector para configurar el proyector 104, y la segunda unidad de procesamiento 120 puede realizar el direccionamiento en la luz láser 106 a través del bus I2C acoplado a la luz láser 106 para configurar la luz láser 106 simultáneamente. El proyector 104 y la luz láser 106 están acoplados, respectivamente, a través de dos buses I2C, y la configuración se puede realizar en el proyector 104 y la luz láser 106 en paralelo, lo que mejora la velocidad de procesamiento de datos.
La Figura 15 es un diagrama esquemático que ilustra una segunda unidad de procesamiento 120 acoplada a un proyector 104 y una luz láser 106 de acuerdo con una realización. Como se ilustra en la Figura 15, en el subgráfico (1), la segunda unidad de procesamiento 120 está acoplada al proyector 104 y a la luz láser 106, respectivamente, a través de un bus I2C. En el subgráfico (2), la segunda unidad de procesamiento 120 está acoplada al proyector 104 y a la luz láser 106, respectivamente, a través de dos buses I2C. La segunda unidad de procesamiento 120 puede acoplarse al proyector 104 a través de un bus I2C y a la luz láser 106 a través del otro bus I2C.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 15, cuando se activa el módulo de cámara 101, la segunda unidad de procesamiento 120 puede realizar la configuración en el proyector 104 y la luz láser 106 a través del bus I2C, que puede controlar la recopilación de imágenes con mayor precisión y mejorar la eficiencia del procesamiento de datos.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 13, como alternativa, por favor, hágase referencia a la Figura 14. Un punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 es diferente de un punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132, y un intervalo de tiempo entre el punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 y el punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132 es menor que un umbral de tiempo.
La primera unidad de procesamiento 110 determina el tipo de imagen de la imagen recopilada de acuerdo con la instrucción de recopilación de imágenes. Puede haber dos tipos de imágenes. Por ejemplo, los tipos de imágenes pueden incluir un primer tipo y un segundo tipo. Cuando el tipo de imagen recopilada incluye la imagen de infrarrojos y la imagen de moteado simultáneamente, o incluye la imagen de moteado y la imagen de profundidad simultáneamente, existe una necesidad de recopilar la imagen de infrarrojos y la imagen de moteado simultáneamente. La primera unidad de procesamiento 110 puede enviar el pulso al primer controlador 131 a través del primer módulo PWM 121 y enviar el pulso al segundo controlador 132 a través del segundo módulo PWM 1122, para iluminar el proyector 104 y la luz láser 106. El punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 puede ser diferente del punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132, iluminando así el proyector 104 y la luz láser. 106 en diferentes puntos de tiempo. La primera unidad de procesamiento 110 puede recopilar la imagen de infrarrojos a través de la cámara láser 102 cuando el primer módulo PWM 1121 envía el pulso al primer controlador 131, y recopilar la imagen de moteado a través de la cámara láser 102 cuando el segundo módulo PWM 1122 envía el pulso al segundo controlador 132.
Como alternativa, el intervalo de tiempo entre el punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 y el punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132 es menor que el umbral de tiempo. La cámara láser 102 puede recopilar la imagen de moteado en el intervalo de tiempo que es menor que el umbral de tiempo después de recopilar la imagen de infrarrojos, de modo que el contenido de la imagen de infrarrojos recopilada sea consistente con el contenido de la imagen de moteado recopilada, y el procesamiento posterior, tal como la detección facial, se realice convenientemente. El umbral de tiempo se puede establecer basándose en un requisito real, tal como 20 milisegundos, 30 milisegundos o similar. En esta realización, la primera unidad de procesamiento 110 puede recopilar la imagen de infrarrojos y la imagen de moteado, respectivamente, a través de la cámara láser 102 en diferentes puntos de tiempo, lo que puede garantizar que el contenido de la imagen de infrarrojos recopilada sea consistente con el contenido de la imagen de moteado recopilada y mejorar la precisión de la detección facial posterior.
Con el método para procesar datos de la realización ilustrada en la Figura 13, en combinación con la Figura 14 y la Figura 16, como alternativa, realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento 110 y enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120 en el bloque 002 incluye las acciones en los siguientes bloques.
En el bloque 0341, se obtiene una imagen de moteado de referencia almacenada, y la imagen de moteado de referencia tiene información de profundidad de referencia en la misma.
En un sistema de coordenadas de cámara, la línea perpendicular a un plano de formación de imágenes y que pasa a través del centro de un espejo se toma como eje Z. Cuando una coordenada de un objeto en el sistema de coordenadas de la cámara es (X, Y, Z), el valor Z es la información de profundidad del objeto en el plano de formación de imágenes de la cámara. Cuando una aplicación necesita obtener información de profundidad de una cara, se debe recopilar una imagen de profundidad que incluye la información de profundidad de la cara. La primera unidad de procesamiento 110 puede controlar una luz láser 106 para que se encienda a través del bus I2C y operar la cámara láser 102 para recopilar una imagen de moteado a través del bus I2C. La primera unidad de procesamiento 110 puede almacenar la imagen de moteado de referencia con antelación. La imagen de moteado de referencia puede tener la información de profundidad de referencia. La información de profundidad de los píxeles respectivos incluidos en la imagen de moteado se puede obtener de acuerdo con la imagen de moteado recopilada y la imagen de moteado de referencia.
En el bloque 0342, la imagen de moteado de referencia se compara con la imagen de moteado, para obtener un resultado coincidente.
La primera unidad de procesamiento 110 puede tomar píxeles respectivos incluidos en la imagen de moteado recopilada como el centro sucesivamente, y seleccionar un bloque de píxeles con un tamaño preestablecido, tal como un tamaño de píxel con 31 píxeles * 31 píxeles, y buscar un bloque en la imagen de moteado de referencia que coincide con el bloque de píxeles seleccionado. La primera unidad de procesamiento 110 puede encontrar dos puntos en una misma trayectoria de luz láser respectivamente en la imagen de moteado y la imagen de moteado de referencia del bloque de píxeles seleccionado en la imagen de moteado recopilada y el bloque coincidente en la imagen de moteado de referencia. La información de moteado de los dos puntos en la misma trayectoria de luz láser es consistente. Los dos puntos en la misma trayectoria de luz láser pueden identificarse como píxeles correspondientes. En la imagen de moteado de referencia, se conoce la información de profundidad de los puntos en cada trayectoria de luz láser. La primera unidad de procesamiento 110 puede calcular el desplazamiento entre los dos píxeles correspondientes en la misma trayectoria de luz láser en la imagen de moteado objetivo y la imagen de moteado de referencia, y obtener la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado recopilada de acuerdo con el desplazamiento.
En una realización, la primera unidad de procesamiento 110 calcula el desplazamiento entre la imagen de moteado recopilada y la imagen de moteado de referencia, y obtiene la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado de acuerdo con el desplazamiento mediante la siguiente fórmula (3).
L X f X Z q
L X / Z 0 X P (3),
donde Zd representa información de profundidad de un píxel, es decir, un valor de profundidad del píxel; L representa una distancia entre la cámara láser 102 y el láser (es decir, la luz láser 106); f representa una distancia focal de una lente en la cámara láser 102; Z representa un valor de profundidad entre un plano de referencia y la cámara láser 102 del dispositivo electrónico 100 cuando se recopila la imagen de moteado de referencia; P representa el desplazamiento entre los píxeles correspondientes en la imagen de moteado recopilada y la imagen de moteado de referencia; P puede obtenerse multiplicando el número de píxeles de desplazamiento entre la imagen de moteado objetivo y la imagen de moteado de referencia por una distancia real de un píxel. Cuando una distancia entre el objeto objetivo y la cámara láser 102 es mayor que la distancia entre el plano de referencia y la cámara láser 102, P es un valor negativo. Cuando la distancia entre el objeto objetivo y la cámara láser 102 es menor que la distancia entre el plano de referencia y la cámara láser 102, P es un valor positivo.
En el bloque 0343, se genera un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, el mapa de paralaje de profundidad se envía a la segunda unidad de procesamiento 120 y el procesamiento se realiza en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento 120 para obtener una imagen de profundidad.
La primera unidad de procesamiento 110 puede realizar la corrección en la imagen de moteado recopilada después de obtener la información de profundidad de los píxeles respectivos incluidos en la imagen de moteado recopilada, para corregir el desplazamiento del contenido de la imagen de la imagen de moteado recopilada provocado por parámetros internos y parámetros externos de la cámara láser 102 y la cámara RGB 108. La primera unidad de procesamiento 110 puede generar el mapa de paralaje de profundidad de acuerdo con la imagen de moteado corregida y los valores de profundidad de los píxeles respectivos en la imagen de moteado, y enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. La segunda unidad de procesamiento 120 puede obtener la imagen de profundidad de acuerdo con el mapa de paralaje de profundidad. La imagen de profundidad puede incluir la información de profundidad de los píxeles respectivos. La segunda unidad de procesamiento 120 puede cargar la imagen de profundidad en la aplicación. La aplicación puede realizar optimización de imágenes, modelado tridimensional y similares de acuerdo con la información de profundidad de la cara en la imagen de profundidad. La segunda unidad de procesamiento 120 también puede realizar la detección de cuerpos vivos de acuerdo con la información de profundidad de la cara en la imagen de profundidad, lo que puede evitar que la cara recopilada sea una cara en una imagen plana.
Con el método para procesar datos de la realización ilustrada en la Figura 16, la información de profundidad de la imagen recopilada puede obtenerse con precisión a través de la primera unidad de procesamiento 110, lo que puede mejorar la eficiencia para procesar datos y mejorar la precisión para procesar la imagen.
Para el método de procesamiento de datos de la realización ilustrada en la Figura 13, por favor, hágase referencia a la Figura 14 y la Figura 17. Como alternativa, antes de obtener la imagen de moteado de referencia almacenada en el bloque 0341, el método para procesar datos incluye además las acciones en los siguientes bloques.
En el bloque 0351, se recopila una temperatura de un láser 106 cada período de tiempo de recopilación, y se obtiene una imagen de moteado de referencia correspondiente a la temperatura a través de la segunda unidad de procesamiento 120.
Un dispositivo electrónico 100 puede proporcionarse con un sensor de temperatura además de una luz láser 104 y recopilar la temperatura de la luz láser 106 y similares a través del sensor de temperatura. La segunda unidad de procesamiento 120 puede obtener la temperatura de la luz láser 106 recopilada por el sensor de temperatura cada período de tiempo de recopilación. El período de tiempo de recopilación se puede establecer de acuerdo con el requisito real, tal como 3 segundos, 4 segundos o similar, lo que no está limitado a lo mismo. A medida que cambia la temperatura de la luz láser 106, un módulo de cámara 101 puede deformarse, afectando a los parámetros internos y externos de la luz láser 106 y la cámara láser 102. Los efectos sobre el módulo de cámara 101 son diferentes bajo diferentes temperaturas. Por lo tanto, las imágenes de puntos de referencia pueden ser diferentes a diferentes temperaturas.
La segunda unidad de procesamiento 120 puede obtener la imagen de moteado de referencia correspondiente a la temperatura y procesar la imagen de moteado recopilada bajo la temperatura de acuerdo con la imagen de moteado de referencia correspondiente a la temperatura, para obtener la imagen de profundidad. Como alternativa, la segunda unidad de procesamiento puede establecer una gran cantidad de intervalos de temperatura diferentes con antelación, tales como 0 °C~30 °C, 30 °C~60 °C, 60 °C~90 °C y similares, lo que no está limitado a lo mismo. Diferentes intervalos de temperatura pueden corresponder a diferentes imágenes de moteado de referencia. Después de recopilar la temperatura, la segunda unidad de procesamiento 120 puede determinar el intervalo de temperatura al que pertenece la temperatura recopilada y obtener la imagen de moteado de referencia correspondiente al intervalo de temperatura.
En el bloque 0252, la segunda unidad de procesamiento 120 escribe la imagen de moteado de referencia obtenida en el tiempo actual en la primera unidad de procesamiento 110 cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110.
La segunda unidad de procesamiento 120 puede determinar si la imagen de moteado de referencia obtenida en el tiempo actual es consistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110 después de obtener la imagen de moteado de referencia correspondiente a la temperatura recopilada. La imagen de moteado de referencia puede tener un identificador de imagen. El identificador de imagen puede combinarse con uno o más de números, letras, caracteres, etc. La segunda unidad de procesamiento 120 puede leer el identificador de imagen de la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110 y comparar el identificador de imagen de la imagen de moteado de referencia obtenida en el tiempo actual con el identificador de imagen leído de la primera unidad de procesamiento 110. Cuando los dos identificadores de imagen son inconsistentes, indica que la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110 y, a continuación, la segunda unidad de procesamiento 120 puede escribir la imagen de moteado de referencia obtenida en el tiempo actual en la primera unidad de procesamiento 110. La primera unidad de procesamiento 110 puede almacenar la imagen de moteado de referencia recién escrita y borrar la imagen de moteado de referencia previamente almacenada.
Con el método para procesar datos de la realización ilustrada en la Figura 17, la imagen de moteado de referencia correspondiente a la temperatura puede obtenerse de acuerdo con la luz láser 106, lo que puede reducir el efecto de la temperatura en el mapa de profundidad emitido finalmente y permitir que la información de profundidad obtenida sea más precisa.
El método para procesar datos proporcionado en la presente divulgación incluye los siguientes actos.
En el bloque 001, en respuesta a recibir una primera unidad de procesamiento 110 una instrucción de recopilación de imágenes enviada por una segunda unidad de procesamiento 120, se enciende al menos uno de un proyector 104 y una luz láser 106, y se opera una cámara láser 102 para recopilar una imagen objetivo.
En el bloque 002: el procesamiento se realiza en la imagen objetivo a través de la primera unidad de procesamiento 110, y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
En una realización, el acto en el bloque 001 incluye actos en los bloques 011 y 012. En el bloque 011, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, se envía una instrucción de control a un controlador 130 a través de un bus de circuito inter-integrado (I2C). La instrucción de control está configurada para encender el al menos uno del proyector 104 y la luz láser 106.
Como alternativa, el acto en el bloque 001 incluye: determinar un tipo de una imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar, por la primera unidad de procesamiento 110, una primera instrucción de control al controlador 130 a través del bus I2C cuando el tipo es un primer tipo, estando configurada la primera instrucción de control para instruir al controlador 130 que encienda el proyector 104; y enviar, por la primera unidad de procesamiento 110, una segunda instrucción de control al controlador 130 a través del bus I2C cuando el tipo es un segundo tipo, estando configurada la segunda instrucción de control para instruir al controlador 130 que encienda la luz láser 106.
Como alternativa, después de determinar el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes, el método para procesar datos incluye, además: cuando el tipo incluye el primer tipo y el segundo tipo, enviar, por la primera unidad de procesamiento 110, la primera instrucción de control al controlador 130 a través del bus I2C, para encender el proyector 104; y después de que la cámara láser 102 recopile una imagen objetivo correspondiente al primer tipo, envíe la segunda instrucción de control al controlador 130 a través del bus I2C, para encender la luz láser 106.
Como alternativa, después de determinar el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes, el método para procesar datos incluye, además: cuando el tipo incluye el primer tipo y el segundo tipo, enviar, por la primera unidad de procesamiento 110, la segunda instrucción de control al controlador 130 a través del bus I2C, para encender la luz láser 106; y después de que la cámara láser 102 recopile una imagen objetivo correspondiente al segundo tipo, envíe la primera instrucción de control al controlador 130 a través del bus I2C, para encender el proyector 104.
Como alternativa, un intervalo de tiempo entre un punto de tiempo en el que la primera unidad de procesamiento 110 envía la primera instrucción de control y un punto de tiempo en el que la primera unidad de procesamiento 110 envía la segunda instrucción de procesamiento es menor que un umbral de tiempo.
En el bloque 012, se envía un pulso al controlador 130 a través de un módulo de modulación de anchura de pulsos (PWM) 112 para ilustrar el encendido de al menos uno del proyector 104 y la luz láser 106, y la imagen objetivo se recopila a través de la cámara láser 102.
Como alternativa, la primera unidad de procesamiento 110, el controlador 130 y la cámara láser 102 están acoplados al mismo bus I2C. El acto de recopilar la imagen objetivo por la cámara láser incluye: la cámara láser 102 se opera para recopilar la imagen objetivo a través del bus I2C.
En el bloque 002, el procesamiento se realiza en la imagen objetivo a través de la primera unidad de procesamiento 110, y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
Como alternativa, la imagen objetivo incluye una imagen de moteado. El acto en el bloque 002 incluye: obtener una imagen de moteado de referencia almacenada, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma; hacer coincidir la imagen de moteado de referencia con la imagen de moteado, para obtener un resultado coincidente; y generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento y realizar el procesamiento en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento para obtener una imagen de profundidad.
En esta realización, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 envía la instrucción de control al controlador 130 a través del bus I2C para controlar el encendido del al menos uno del proyector 104 y la luz láser 106, envía el pulso al controlador 130 a través del módulo PWM 112 para iluminar el al menos uno del proyector 104 y la luz láser 106, y realiza el procesamiento en la imagen objetivo después de recopilar la imagen objetivo, controlando de esta manera el proyector 104 y la luz láser 106 a través del controlador 130, lo que puede reducir la complejidad para controlar el proyector 104, la luz láser 106 y similares, y ahorrar costes.
En otra realización, la etapa 001 incluye actos en los bloques 021 y 022. El método para procesar datos de esta realización se puede aplicar a un dispositivo electrónico 100. El dispositivo electrónico 100 incluye un módulo de cámara 101, una primera unidad de procesamiento 110 y una segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 está acoplada a la segunda unidad de procesamiento 120 y al módulo de cámara 101 respectivamente. El módulo de cámara 101 incluye una cámara láser 102, un proyector 104 y una luz láser 106. La cámara láser 102, el proyector 104, la luz láser 106 y la primera unidad de procesamiento 110 están acoplados a un mismo bus I2C.
En el bloque 021, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, se enciende el al menos uno del proyector 104 y la luz láser 106 a través de un bus I2C.
Como alternativa, el dispositivo electrónico 100 incluye además un controlador 130. El controlador 130 está configurado para controlar el proyector 104 y la luz láser 106, y el controlador 130 está acoplado al bus I2C. La etapa 021 incluye: determinar un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar, por la primera unidad de procesamiento 110, una primera instrucción de control al controlador 130 a través del bus I2C cuando el tipo es una imagen de infrarrojos, estando configurada la primera instrucción de control para instruir al controlador 130 que encienda el proyector 104; y enviar, por la primera unidad de procesamiento 110, una segunda instrucción de control al controlador 130 a través del bus I2C cuando el tipo es una imagen de moteado o una imagen de profundidad, en la que la segunda instrucción de control está configurada para instruir al controlador 130 que encienda la luz láser 106.
Como alternativa, después de determinar el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes, el método para procesar datos incluye además: cuando el tipo incluye la imagen de infrarrojos y la imagen de moteado, o incluye la imagen de infrarrojos y la imagen de profundidad, enviar, por la primera unidad de procesamiento 110, la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104, controlar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C, enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106 y operar la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C.
Como alternativa, después de determinar el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes, el método para procesar datos incluye además: cuando el tipo incluye la imagen de infrarrojos y la imagen de moteado, o incluye la imagen de infrarrojos y la imagen de profundidad, enviar, por la primera unidad de procesamiento 110, la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106, operar la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C, enviar la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104 y operar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C.
En el bloque 022, la primera unidad de procesamiento 110 opera la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C.
En el bloque 002, el procesamiento se realiza en la imagen objetivo a través de la primera unidad de procesamiento 110, y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
Como alternativa, el acto en el bloque 002 incluye: obtener una imagen de moteado de referencia almacenada, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma; hacer coincidir la imagen de moteado de referencia con la imagen de moteado, para obtener un resultado coincidente; y generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120 y realizar el procesamiento en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento 120 para obtener una imagen de profundidad.
Como alternativa, antes de obtener la imagen de moteado de referencia almacenada, el método para procesar datos incluye, además: recopilar una temperatura de la luz láser 106 en un intervalo de tiempo de recopilación, y obtener una imagen de moteado de referencia correspondiente a la temperatura por la segunda unidad de procesamiento 120; y escribir la imagen de moteado de referencia obtenida en el tiempo actual en la primera unidad de procesamiento 110 a través de la segunda unidad 120 de procesamiento cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110.
Como alternativa, antes de que se realice el acto en el bloque 021, el método para procesar datos incluye, además: enviar la instrucción de recopilación de imágenes a la primera unidad de procesamiento 110 a través de un núcleo en la segunda unidad de procesamiento 120 que opera en un primer modo de operación, siendo el primer modo de operación un entorno de ejecución confiable. El paso 002 incluye: enviar, por la primera unidad de procesamiento 110, la imagen objetivo procesada al núcleo en la segunda unidad de procesamiento 120 que opera en el primer modo de operación.
En esta realización, la cámara láser 102, el proyector 104, la cámara láser 106 y la primera unidad de procesamiento 110 están acoplados al mismo bus I2C. La primera unidad de procesamiento 110 controla el encendido del al menos uno del proyector 104 y la luz láser 106 a través del bus I2C, opera la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C y controla el proyector 104, la luz láser 106 y la cámara láser 102 a través del mismo bus I2C. De esta forma, el bus I2C puede multiplexarse, lo que puede reducir la complejidad del circuito de control y reducir los costes.
En una realización, el acto en el bloque 001 incluye actos en los bloques 031,032 y 023.
En el bloque 031, se determina un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120.
Como alternativa, la segunda unidad de procesamiento 120 está acoplada al proyector 104 y a la luz láser 106, respectivamente, a través de un bus I2C; y antes de que se realice el acto en el bloque 031, el método incluye, además: configurar, por la segunda unidad de procesamiento 120, el proyector 104 y la luz láser 106, respectivamente, a través del bus I2C cuando se detecta que se arranca el módulo de cámara 101.
Como alternativa, la segunda unidad de procesamiento 120 está acoplada al proyector 104 y a la luz láser 106, respectivamente, a través del mismo bus I2C.
Como alternativa, la segunda unidad de procesamiento 120 está acoplada al proyector 104 a través de un bus I2C y se acopla a la luz láser 106 a través de otro bus I2C.
En el bloque 032, cuando el tipo es un primer tipo, se enciende el proyector 104 en un módulo de cámara 101, se envía un pulso a un primer controlador 131 a través de un primer módulo PWM 1121 para iluminar el proyector 104, y se recopila una imagen objetivo correspondiente al primer tipo a través de la cámara láser 102 en el módulo de cámara 101.
En el bloque 032, cuando el tipo es un segundo tipo, se enciende la luz láser 106 en el módulo de cámara 101, se envía un pulso a un segundo controlador 132 a través de un segundo módulo PWM 1122 para iluminar la luz láser 106 y se recopila una imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102 en el módulo de cámara 101.
Como alternativa, un punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 es diferente de un punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132, y un intervalo de tiempo entre el punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 y el punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132 es menor que un umbral de tiempo.
En el bloque 002, la primera unidad de procesamiento 110 procesa la imagen objetivo, y la imagen objetivo procesada se envía a la segunda unidad de procesamiento 120.
Como alternativa, la imagen objetivo incluye una imagen de moteado. El acto en el bloque 002 incluye: obtener una imagen de moteado de referencia almacenada, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma; hacer coincidir la imagen de moteado de referencia con la imagen de moteado, para obtener un resultado coincidente; y generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120 y realizar el procesamiento en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento 120 para obtener una imagen de profundidad.
Como alternativa, antes de obtener la imagen de moteado de referencia almacenada, el método para procesar datos incluye, además: recopilar una temperatura de la luz láser 106 en un intervalo de tiempo de recopilación, y obtener una imagen de moteado de referencia correspondiente a la temperatura por la segunda unidad de procesamiento 120; y escribir la imagen de moteado de referencia obtenida en el tiempo actual en la primera unidad de procesamiento 110 a través de la segunda unidad 120 de procesamiento cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110.
En esta realización, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 determina el tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes. Cuando el tipo de la imagen recopilada es el primer tipo, el proyector 104 se ilumina a través del primer módulo PWM 1121, y se recopila la imagen objetivo correspondiente al primer tipo a través de la cámara láser 102. Cuando el tipo de la imagen recopilada es el segundo tipo, el pulso se envía al segundo controlador 132 a través del segundo módulo PWM 1122 para iluminar la luz láser 106, y se recopila la imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102. El proyector 104 y la luz láser 106 se pueden controlar respectivamente a través de los dos módulos PWM, no hay necesidad de conmutar en tiempo real, se puede reducir la complejidad del procesamiento de datos y se reduce la presión del proceso de la primera unidad de procesamiento 110.
Debe entenderse que, aunque las etapas respectivas en los diagramas de flujo respectivos se muestran secuencialmente como se indica por las flechas, estas etapas no se realizan necesariamente en el orden indicado por las flechas. A menos que se indique expresamente en la presente divulgación, no existe un orden estricto para la ejecución de estas etapas, y estas etapas pueden realizarse en otros órdenes. Además, al menos partes de las etapas en los diversos diagramas de flujo anteriores pueden incluir múltiples subetapas o múltiples etapas. Tales subetapas o etapas no se realizan necesariamente al mismo tiempo, sino que pueden ejecutarse en tiempos diferentes. Estas subetapas o etapas no se realizan necesariamente de forma secuencial, sino que se pueden realizar a su vez o, como alternativa, con al menos una porción de otras etapas o subetapas o fases de otras etapas.
La Figura 18 es un diagrama de bloques que ilustra un dispositivo electrónico 100 en una realización. Como se ilustra en la Figura 18, el dispositivo electrónico 100 incluye un procesador 20, una memoria 30, una pantalla 40 y un aparato de entrada 50 acoplados a través de un bus de sistema 60. La memoria 30 puede incluir un medio de almacenamiento no volátil 32 y una memoria interna 30. El medio de almacenamiento no volátil 32 del dispositivo electrónico 100 tiene un sistema operativo y un programa informático almacenado en el mismo. El programa informático está configurado para implementar un método para procesar datos proporcionados de acuerdo con una cualquiera de las realizaciones de la presente divulgación cuando se ejecuta por el procesador 20. El procesador 20 está configurado para proporcionar capacidad informática y de control para soportar la operación de todo el dispositivo electrónico 100. La memoria interna 30 en el dispositivo electrónico 100 proporciona un entorno para ejecutar el programa informático en el medio de almacenamiento no volátil 32. La pantalla 40 del dispositivo electrónico 100 puede ser una pantalla de cristal líquido, una pantalla de tinta electrónica o similar. El aparato de entrada 50 puede ser una capa táctil en la pantalla 40, un teclado numérico, una bola de mando o un panel táctil proporcionado en el alojamiento del dispositivo electrónico 100, o un teclado externo, un panel táctil, un ratón o similar. El dispositivo electrónico 100 puede ser un teléfono, una tableta, un asistente digital personal, un dispositivo llevable o similar. Los expertos en la materia deberían entender que la estructura ilustrada en la Figura 18 es simplemente un diagrama de bloques de una parte del dispositivo electrónico relacionado con la solución técnica de la presente divulgación, que no pretende limitar el dispositivo electrónico 100 al que se aplica la solución técnica de la presente divulgación. Un dispositivo electrónico 100 detallado puede incluir más o menos componentes que los que se muestran en la Figura 18, o algunos componentes pueden combinarse, o los componentes pueden disponerse de manera diferente.
Por favor, hágase referencia a la Figura 4, la presente divulgación proporciona además un dispositivo electrónico 100. El dispositivo electrónico 100 incluye una primera unidad de procesamiento 110 y una segunda unidad de procesamiento 120. La primera unidad de procesamiento 100 está configurada para: en respuesta a recibir la primera unidad de procesamiento 100 una instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, encender al menos uno de un proyector 104 y una luz láser 106, y operar una cámara láser 102 para recopilar una imagen objetivo; y realizar el procesamiento en la imagen objetivo, y enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120.
Por favor, hágase referencia a la Figura 3 y a la Figura 4. En una realización, el dispositivo electrónico 100 incluye un módulo de cámara 101, una primera unidad de procesamiento 110, una segunda unidad de procesamiento 120 y un controlador 130. La primera unidad de procesamiento 110 está acoplada a la segunda unidad de procesamiento 120 y al módulo de cámara 101 respectivamente. La primera unidad de procesamiento 110 está acoplada al controlador 130 a través del bus I2C. El módulo de cámara 101 incluye una cámara láser 101, un proyector 104 y una luz láser 106. El proyector 104 y la luz láser 106 están respectivamente acoplados al controlador 130. La primera unidad de procesamiento 110 incluye un módulo PWM 12. La primera unidad de procesamiento 110 está acoplada al controlador 130 a través del módulo PWM. La primera unidad de procesamiento 110 está además configurada, además, para: en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, enviar una instrucción de control al controlador 130 a través del bus I2C, estando configurada la instrucción de control para encender el al menos uno del proyector 104 y la luz láser 106; enviar un pulso al controlador 130 a través del módulo PWM para ilustrar el encendido del al menos uno del proyector 104 y la luz láser 106, y recopilar la imagen objetivo a través de la cámara láser 102; y realizar el procesamiento en la imagen objetivo y enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120.
Como alternativa, la primera unidad de procesamiento 110, el controlador 130 y la cámara láser 102 están acoplados al mismo bus I2C. La primera unidad de procesamiento 110 está además configurada para operar la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C. De esta forma, el proyector 104, la luz láser 106 y la cámara láser 102 se controlan a través del mismo bus I2C, el bus I2C puede multiplexarse, la complejidad para controlar el circuito puede reducirse y los costes pueden reducirse.
Como alternativa, la primera unidad de procesamiento 110 está además configurada para: determinar un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar, por la primera unidad de procesamiento 110, una primera instrucción de control al controlador 130 a través del bus I2C cuando el tipo es un primer tipo, estando configurada la primera instrucción de control para instruir al controlador 130 que encienda el proyector 104; y enviar, por la primera unidad de procesamiento 110, una segunda instrucción de control al controlador 130 a través del bus 12C cuando el tipo es un segundo tipo, estando configurada la segunda instrucción de control para instruir al controlador 130 que encienda la luz láser 106.
Como alternativa, cuando el tipo incluye el primer tipo y el segundo tipo, la primera unidad de procesamiento 110 envía la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104; y envía la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106 después de que la cámara láser 102 recopila la imagen objetivo correspondiente al primer tipo.
Como alternativa, cuando el tipo incluye el primer tipo y el segundo tipo, la primera unidad de procesamiento 110 envía la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106; y envía la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104 después de que la cámara láser 102 recopila la imagen objetivo correspondiente al segundo tipo.
Como alternativa, un intervalo de tiempo entre un punto de tiempo en el que la primera unidad de procesamiento 110 envía la primera instrucción de control y un punto de tiempo en el que la primera unidad de procesamiento 110 envía la segunda instrucción de procesamiento es menor que un umbral de tiempo. De esta forma, la conmutación y el control entre el proyector 104 y la luz láser 106 pueden implementarse a través de un controlador 130, puede reducirse la complejidad para controlar el circuito y pueden reducirse los costes.
Como alternativa, la imagen objetivo incluye una imagen de moteado. La primera unidad de procesamiento 110 está además configurada para: obtener una imagen de moteado de referencia almacenada; hacer coincidir la imagen de moteado de referencia con la imagen de moteado para obtener un resultado coincidente, generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, y enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma. La segunda unidad de procesamiento 120 está además configurada para realizar el procesamiento en el mapa de paralaje de profundidad para obtener una imagen de profundidad. De esta manera, la información de profundidad de la imagen recopilada se puede obtener con precisión a través de la primera unidad de procesamiento 110, se mejora la eficiencia para procesar datos y se mejora la precisión para procesar la imagen.
En esta realización, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 envía la instrucción de control al controlador 130 a través del bus I2C, para encender el al menos uno del proyector 104 y la luz láser 106, envía el pulso al controlador 130 a través del módulo PWM 112 para iluminar el al menos uno del proyector 104 y la luz láser 106, realiza el procesamiento en la imagen objetivo después de recopilar la imagen objetivo, y controla el proyector 104 y la luz láser 106 a través del controlador 130, lo que puede reducir la complejidad para controlar el proyector 104, la luz láser 106 y similares, y ahorrar costes.
Por favor, Figura 3 y Figura 4. En una realización, el dispositivo electrónico 100 incluye un módulo de cámara 101, una primera unidad de procesamiento 110 y una segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 está acoplada respectivamente a la segunda unidad de procesamiento 120 y al módulo de cámara 101. El módulo de cámara 101 puede incluir la cámara láser 102, el proyector 104, la luz láser 106 y similares. La cámara láser 102, el proyector 104, la luz láser 106 y la primera unidad de procesamiento 110 están acoplados al mismo bus I2C. La primera unidad de procesamiento 110 está además configurada para, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, encender el al menos uno del proyector 104 y la luz láser 106 a través de un bus I2C; operar la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C; procesar la imagen objetivo y enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120.
Como alternativa, el dispositivo electrónico 100 incluye además un controlador 130. El controlador 130 está acoplado al proyector 104 y a la luz láser 106, respectivamente. El controlador 130 está configurado para controlar el proyector 104 y la luz láser 106. El controlador 130 está acoplado al bus I2C. La primera unidad de procesamiento 110 está además configurada para determinar un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar una primera instrucción de control al controlador 130 a través del bus 12C cuando el tipo es una imagen de infrarrojos, estando configurada la primera instrucción de control para instruir al controlador 130 que encienda el proyector 104; y enviar una segunda instrucción de control al controlador 130 a través del bus I2C cuando el tipo de imagen es una imagen de moteado o una imagen de profundidad, estando configurada la segunda instrucción de control para instruir al controlador 130 que encienda la luz láser 106.
Como alternativa, la primera unidad de procesamiento 110 está además configurada para determinar un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar una primera instrucción de control al controlador 130 a través del bus I2C cuando el tipo es una imagen de infrarrojos, estando configurada la primera instrucción de control para instruir al controlador 130 que encienda el proyector 104; y enviar una segunda instrucción de control al controlador 130 a través del bus I2C cuando el tipo es una imagen de moteado o una imagen de profundidad, estando configurada la segunda instrucción de control para instruir al controlador 130 que encienda la luz láser 106.
Como alternativa, la primera unidad de procesamiento 110 está además configurada para: cuando el tipo incluye la imagen de infrarrojos y la imagen de moteado, o incluye la imagen de infrarrojos y la imagen de profundidad, enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106, opere la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C, enviar la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104 y operar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C. De esta forma, la conmutación y el control entre el proyector 104 y la luz láser 106 pueden implementarse a través de un controlador 130, la complejidad para controlar el circuito puede reducirse adicionalmente y los costes pueden reducirse.
Como alternativa, la primera unidad de procesamiento 110 está además configurada para obtener una imagen de moteado de referencia almacenada; hacer coincidir la imagen de moteado de referencia con la imagen de moteado para obtener un resultado coincidente; generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, y enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma. La segunda unidad de procesamiento 120 está además configurada para realizar el procesamiento en el mapa de paralaje de profundidad para obtener una imagen de profundidad. De esta manera, la información de profundidad de la imagen recopilada se puede obtener con precisión a través de la primera unidad de procesamiento 110, se mejora la eficiencia para procesar datos y se mejora la precisión para procesar la imagen.
Como alternativa, la segunda unidad de procesamiento 120 está configurada además para recopilar una temperatura de la luz láser 106 en un intervalo de tiempo de recopilación y para obtener una imagen de moteado de referencia correspondiente a la temperatura; y para escribir la imagen de moteado de referencia obtenida en un tiempo actual en la primera unidad de procesamiento 110 cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110. De esta forma, la imagen de moteado de referencia correspondiente a la temperatura puede obtenerse de acuerdo con la temperatura de la luz láser 106, pueden reducirse los efectos de la temperatura en la imagen de profundidad emitida finalmente y la información de profundidad obtenida es más precisa.
Como alternativa, la segunda unidad de procesamiento 120 está además configurada para enviar la instrucción de recopilación de imágenes a la primera unidad de procesamiento 110 a través de un núcleo en la segunda unidad de procesamiento que opera en un primer modo de operación. El primer modo de operación es un entorno de ejecución confiable. La primera unidad de procesamiento 110 está además configurada para enviar la imagen objetivo procesada al núcleo en la segunda unidad de procesamiento 120 que opera en el primer modo de operación. De esta manera, la instrucción de recopilación de imágenes se envía a la primera unidad de procesamiento a través del núcleo con alta seguridad de la segunda unidad de procesamiento 120, lo que puede garantizar que la primera unidad de procesamiento 110 esté en un entorno de alta seguridad y mejorar la seguridad de datos.
En una realización, la cámara láser 102, el proyector 104, la luz láser 106 y la primera unidad de procesamiento 110 están acoplados al mismo bus I2C. La primera unidad de procesamiento 110 controla el al menos uno del proyector 104 y la luz láser 106 a través del bus I2C, opera la cámara láser 102 para recopilar la imagen objetivo a través del bus 12C, controla el proyector 104, la luz láser 106 y la cámara láser 102 a través del mismo bus I2C, que puede multiplexar el bus I2C, reducir la complejidad para controlar el circuito y reducir los costes.
Por favor, en combinación con la Figura 4 y la Figura 14. En una realización, el dispositivo electrónico 100 incluye un módulo de cámara 101, una primera unidad de procesamiento 110 y una segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 está acoplada a la segunda unidad de procesamiento 120 y al módulo de cámara 101 respectivamente. El módulo de cámara 101 incluye la cámara láser 102, el proyector 104 y la luz láser 106. El proyector 104 está acoplado a un primer controlador 131. La luz láser 106 está acoplada a un segundo controlador 132. La primera unidad de procesamiento 110 incluye un primer módulo PWM 1121 y un segundo módulo PWM 1122. La primera unidad de procesamiento 110 está acoplada al primer controlador 131 a través del primer módulo PWM 1121, y la primera unidad de procesamiento 110 está acoplada al segundo controlador 132 a través del segundo módulo PWM 1122. La primera unidad de procesamiento 110 está además configurada para: determinar un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120; cuando el tipo es un primer tipo, encender el proyector 104 en un módulo de cámara 101, enviar un pulso a un primer controlador 131 a través de un primer módulo PWM 1121 para iluminar el proyector 104 y recopilar una imagen objetivo correspondiente al primer tipo a través de la cámara láser 102 en el módulo de cámara 101; cuando el tipo es un segundo tipo, encender la luz láser 106 en el módulo de cámara 101, enviar un pulso a un segundo controlador 132 a través de un segundo módulo PWM 1122 para iluminar la luz láser 106 y recopilar una imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102 en el módulo de cámara 101; y realizar el procesamiento en la imagen objetivo y enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120.
Como alternativa, la segunda unidad de procesamiento 120 está acoplada al proyector 104 y a la luz láser 106, respectivamente, a través de un bus I2C. La segunda unidad de procesamiento 120 está además configurada para configurar el proyector 104 y la luz láser 106, respectivamente, a través del bus I2C cuando se detecta que se arranca el módulo de cámara 101.
Como alternativa, la segunda unidad de procesamiento 120 está acoplada al proyector 104 y a la luz láser 106, respectivamente, a través del mismo bus I2C. O, la segunda unidad de procesamiento 120 está acoplada al proyector 104 a través de un bus I2C y acoplada a la luz láser 106 a través de otro bus I2C. De esta forma, la segunda unidad de procesamiento 120 puede configurar el proyector 104 y la luz láser 106 a través del bus I2C cuando se arranca el módulo de cámara 101, lo que puede controlar la recopilación de imágenes con mayor precisión y mejorar la eficiencia para procesar datos.
Como alternativa, un punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 es diferente de un punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132, y un intervalo de tiempo entre el punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 y el punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132 es menor que un umbral de tiempo. De esta manera, la primera unidad de procesamiento 110 puede recopilar la imagen de infrarrojos y la imagen de moteado a través de la cámara láser 102 en diferentes puntos de tiempo, respectivamente, lo que puede garantizar que el contenido de la imagen de infrarrojos recopilada sea consistente con el contenido de la imagen de moteado recopilada y mejora la precisión de la detección facial posterior.
Como alternativa, la primera unidad de procesamiento 110 está además configurada para obtener una imagen de moteado de referencia almacenada; hacer coincidir la imagen de moteado de referencia con la imagen de moteado para obtener un resultado coincidente; generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, y enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma. La segunda unidad de procesamiento 120 está además configurada para realizar el procesamiento en el mapa de paralaje de profundidad para obtener una imagen de profundidad. De esta forma, la información de profundidad de la imagen recopilada se puede obtener con precisión a través de la primera unidad de procesamiento, se puede mejorar la eficiencia para procesar datos y se puede mejorar la precisión para procesar la imagen.
Como alternativa, la segunda unidad de procesamiento 120 está configurada además para recopilar una temperatura de la luz láser 106 en un intervalo de tiempo de recopilación y para obtener una imagen de moteado de referencia correspondiente a la temperatura a través de la segunda unidad de procesamiento 120; y para escribir la imagen de moteado de referencia obtenida en un tiempo actual en la primera unidad de procesamiento 110 cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110. De esta forma, la imagen de moteado de referencia correspondiente a la temperatura puede obtenerse de acuerdo con la temperatura de la luz láser 106, pueden reducirse los efectos de la temperatura en la imagen de profundidad emitida finalmente, la información de profundidad obtenida es más precisa.
En esta realización, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 determina el tipo de imagen de acuerdo con la instrucción de recopilación de imágenes. Cuando el tipo es el primer tipo, la primera unidad de procesamiento 110 ilumina el proyector 104 a través del primer módulo PWM 1121 y recopila la imagen objetivo correspondiente al primer tipo a través de la cámara láser 102. Cuando el tipo es del segundo tipo, la primera unidad de procesamiento 110 envía el pulso al segundo controlador 132 para iluminar la luz láser 106 a través del segundo módulo PWM 1122 y recopila la imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102. El proyector 104 y la luz láser 106 se controlan respectivamente a través de dos módulos PWM, que no necesitan conmutarse en tiempo real, pueden reducir la complejidad del procesamiento de datos y reducir la presión del proceso de la primera unidad de procesamiento 110.
Por favor, hágase referencia a la Figura 4 y a la Figura 19. La presente divulgación proporciona un aparato 80 para procesar datos. El aparato 80 para procesar datos incluye un módulo de control 801 y un módulo de procesamiento 802. El módulo de control 801 está configurado para, en respuesta a recibir una primera unidad de procesamiento 110 una instrucción de recopilación de imágenes enviada por una segunda unidad de procesamiento 120, encender al menos uno de un proyector 104 y una luz láser 106, y operar una cámara láser 102 para recopilar una imagen objetivo. El módulo de procesamiento 802 está configurado para realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento 110 y para enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120.
Por favor, hágase referencia a la Figura 4, la Figura 5 y la Figura 20. En una realización, el módulo de control 801 incluye: una unidad de envío de instrucciones 811 y una unidad de envío de pulsos 812. La unidad de envío de instrucciones 811 está configurada para, en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, enviar una instrucción de control a un controlador 130 a través de un bus I2C. La instrucción de control está configurada para encender el al menos uno del proyector 104 y la luz láser 106. La unidad de envío de pulsos 812 está configurada para enviar un pulso al controlador 130 a través de un módulo PWM 112 para iluminar el encendido del al menos uno del proyector 104 y la luz láser 106, y para recopilar la imagen objetivo a través de la cámara láser 102. El módulo de procesamiento 802 está configurado para realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento 110 y para enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120.
Como alternativa, la primera unidad de procesamiento 110, el controlador 130 y la cámara láser 102 están acoplados a un mismo bus I2C. La unidad de envío de pulsos 811 está además configurada para operar la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C. De esta forma, el proyector 104, la luz láser 106 y la cámara láser 102 se controlan a través del mismo bus I2C, y el bus I2C está multiplexado, lo que puede reducir la complejidad para controlar el circuito y reducir los costes.
Como alternativa, la unidad de envío de instrucciones 811 incluye una primera subunidad de determinación de tipo, una primera subunidad de envío y una segunda subunidad de envío. La primera subunidad de determinación de tipo está configurada para determinar un tipo de una imagen recopilada de acuerdo con la instrucción de recopilación de imágenes. La primera subunidad de envío está configurada para enviar una primera instrucción de control al controlador 130 a través del bus I2C cuando el tipo es un primer tipo. La primera instrucción de control está configurada para instruir al controlador 130 que encienda el proyector 104. La segunda subunidad de envío está configurada para enviar una segunda instrucción de control al controlador 130 a través del bus I2C cuando el tipo es un segundo tipo. La segunda instrucción de control está configurada para instruir al controlador 130 que encienda la luz láser 106.
Como alternativa, cuando el tipo incluye el primer tipo y el segundo tipo, la primera subunidad de envío 110 está configurada para enviar la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104. La segunda subunidad de envío está configurada además para enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106 después de que la cámara láser 102 recopile una imagen objetivo correspondiente al primer tipo.
Como alternativa, cuando el tipo incluye el primer tipo y el segundo tipo, la segunda subunidad de envío está configurada además para enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106.
La primera subunidad de envío está configurada además para enviar la primera instrucción de control 110 al controlador 130 para encender el proyector 104 después de que se recopila la imagen objetivo del segundo tipo a través de la cámara láser 102.
Como alternativa, un intervalo de tiempo entre un punto de tiempo en el que la primera unidad de procesamiento envía la primera instrucción de control y un punto de tiempo en el que la primera unidad de procesamiento envía la segunda instrucción de procesamiento es menor que un umbral de tiempo. De esta forma, la conmutación y el control entre el proyector 104 y la luz láser 106 pueden controlarse a través de un controlador 130, lo que puede reducir la complejidad para controlar el circuito y reducir los costes.
Como alternativa, el módulo de procesamiento 802 incluye una primera unidad de obtención de imágenes, una primera unidad de coincidencia y una primera unidad de generación. La primera unidad de obtención de imágenes está configurada para obtener una imagen de moteado de referencia almacenada. La imagen de moteado de referencia tiene información de profundidad de referencia en la misma. La primera unidad de coincidencia está configurada para hacer coincidir la imagen de moteado de referencia con la imagen de moteado para obtener un resultado coincidente. La primera unidad generadora está configurada para generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, y enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. El procesamiento se realiza en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento 120 para obtener una imagen de profundidad. De esta forma, la información de profundidad de la imagen recopilada se puede obtener con precisión a través de la primera unidad de procesamiento 110, se puede mejorar la eficiencia para procesar datos y se puede mejorar la precisión para procesar la imagen.
En esta realización, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, la primera unidad de procesamiento 110 envía una instrucción de control al controlador 130 a través del bus I2C, para controlar el encendido de al menos uno del proyector 104 y la luz láser 106, envía un pulso al controlador 130 a través de un módulo PWM 112 para iluminar el al menos uno del proyector 104 y la luz láser 106, realiza el procesamiento en la imagen objetivo después de recopilar la imagen objetivo, y controla el proyector 104 y la luz láser 106 a través del controlador 130, lo que puede reducir la complejidad para controlar el proyector 104, la luz láser 106 y similares, y ahorrar costes.
Por favor, hágase referencia a la Figura 4 y a la Figura 21. En una realización, el módulo de control 81 incluye una primera unidad de control 821 y una segunda unidad de control 822. El aparato para procesar datos en esta realización se aplica a un dispositivo electrónico 100. El dispositivo electrónico 100 incluye un módulo de cámara 101, una primera unidad de procesamiento 110 y una segunda unidad de procesamiento 120. La primera unidad de procesamiento 110 está acoplada respectivamente a la segunda unidad de procesamiento 120 y al módulo de cámara 101. El módulo de cámara 101 incluye la cámara láser 102, el proyector 104 y la luz láser 106. La cámara láser 102, el proyector 104, la luz láser 106 y la primera unidad de procesamiento 110 están acoplados al mismo bus I2C. La primera unidad de procesamiento 821 está además configurada para, en respuesta a recibir la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120, encender el al menos uno del proyector 104 y la luz láser 106 a través de un bus I2C. La segunda unidad de control 822 está configurada para operar la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C. La unidad de procesamiento 802 está configurada para realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento 110 y para enviar la imagen objetivo procesada a la segunda unidad de procesamiento 120.
Como alternativa, el dispositivo electrónico 100 incluye además un controlador 130. El controlador 130 está configurado para controlar el proyector 104 y la luz láser 106, y el controlador 130 está acoplado al bus I2C. La primera unidad de control 821 incluye una segunda subunidad de determinación de tipo y una subunidad de envío de instrucciones. La segunda subunidad de determinación de tipo está configurada para determinar un tipo de una imagen recopilada de acuerdo con la instrucción de recopilación de imágenes. La subunidad de envío de instrucciones está configurada para enviar una primera instrucción de control al controlador 130 a través del bus I2C cuando el tipo es una imagen de infrarrojos. La primera instrucción de control está configurada para instruir al controlador 130 que encienda el proyector 104. La subunidad de envío de instrucciones está configurada además para enviar una segunda instrucción de control al controlador 130 a través del bus I2C cuando el tipo de imagen es una imagen de moteado o una imagen de profundidad. La segunda instrucción de control está configurada para instruir al controlador 130 que encienda la luz láser 106.
Como alternativa, la primera unidad de control 821 está configurada además para: cuando el tipo incluye la imagen de infrarrojos y la imagen de moteado, o incluye la imagen de infrarrojos y la imagen de profundidad, enviar la primera instrucción de control al controlador 130 a través del bus 12C para encender el proyector 104, operar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C, enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106 y operar la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C. O, la primera unidad de control 821 está además configurada para: cuando el tipo incluye la imagen de infrarrojos y la imagen de moteado, o incluye la imagen de infrarrojos y la imagen de profundidad, enviar la segunda instrucción de control al controlador 130 a través del bus I2C para encender la luz láser 106, operar la cámara láser 102 para recopilar la imagen de moteado a través del bus I2C, enviar la primera instrucción de control al controlador 130 a través del bus I2C para encender el proyector 104 y operar la cámara láser 102 para recopilar la imagen de infrarrojos a través del bus I2C. De esta forma, la conmutación y el control entre el proyector 104 y la luz láser 106 pueden implementarse a través de un controlador 130, lo que puede reducir aún más la complejidad para controlar el circuito y reducir los costes.
Como alternativa, el módulo de procesamiento 802 incluye una segunda unidad de obtención de imágenes, una segunda unidad de coincidencia y una segunda unidad de generación. La segunda unidad de obtención de imágenes está configurada para obtener una imagen de moteado de referencia almacenada. La imagen de moteado de referencia tiene información de profundidad de referencia en la misma. La segunda unidad de coincidencia está configurada para hacer coincidir la imagen de moteado de referencia con la imagen de moteado para obtener un resultado coincidente. La segunda unidad generadora está configurada para generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, y para enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. El procesamiento se realiza en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento para obtener una imagen de profundidad. De esta forma, la información de profundidad de la imagen recopilada se puede obtener con precisión a través de la primera unidad de procesamiento 110, se puede mejorar la eficiencia para procesar datos y se puede mejorar la precisión para procesar la imagen.
Como alternativa, el aparato 80 para procesar datos de esta realización no solo incluye el módulo de control 801 y el módulo de procesamiento 802, sino que también incluye un primer módulo de recopilación de temperatura y un primer módulo de escritura. El primer módulo de recopilación de temperatura está configurado para recopilar una temperatura de la luz láser 106 en un intervalo de tiempo de recopilación y para obtener una imagen de moteado de referencia correspondiente a la temperatura por la segunda unidad de procesamiento 120. El primer módulo de escritura está configurado para escribir la imagen de moteado de referencia obtenida en el tiempo actual en la primera unidad de procesamiento 110 a través de la segunda unidad 120 de procesamiento cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110. De esta forma, la imagen de moteado de referencia correspondiente a la temperatura puede obtenerse de acuerdo con la temperatura de la luz láser 106, pueden reducirse los efectos de la temperatura en la imagen de profundidad emitida finalmente y la información de profundidad obtenida puede ser más precisa.
Como alternativa, el aparato 80 para procesar datos en esta realización no solo incluye el módulo de control 801, el módulo de procesamiento 802, el primer módulo de recopilación de temperatura y el primer módulo de escritura, sino que también incluye un primer módulo de envío. El primer módulo de envío está configurado para enviar la instrucción de recopilación de imágenes a la primera unidad de procesamiento 110 a través de un núcleo en la segunda unidad de procesamiento 120 que opera en un primer modo de operación. El primer modo de operación es un entorno de ejecución confiable.
El módulo de procesamiento 802 está configurado además para enviar la imagen objetivo procesada a través de la primera unidad de procesamiento 110 al núcleo en la segunda unidad de procesamiento 120 que opera en el primer modo de operación. De esta manera, la instrucción de recopilación de imágenes se envía a la primera unidad de procesamiento 110 a través del núcleo con alta seguridad de la segunda unidad de procesamiento 120, lo que puede garantizar que la primera unidad de procesamiento esté en un entorno de alta seguridad y mejorar la seguridad de datos.
En esta realización, la cámara láser 102, el proyector 104, la luz láser 106 y la primera unidad de procesamiento 110 están acoplados al mismo bus I2C. La primera unidad de procesamiento 110 controla al menos uno del proyector 104 y la luz láser 106 a través del bus I2C y opera la cámara láser 102 para recopilar la imagen objetivo a través del bus I2C. El proyector 104, la luz láser 106 y la cámara láser 102 se controlan a través del mismo bus I2C, y el bus I2C está multiplexado, lo que puede reducir la complejidad para controlar el circuito y ahorrar costes.
Por favor, hágase referencia a la Figura 4, la Figura 14 y la Figura 22. En una realización, el módulo de control 801 incluye una unidad de determinación de tipo 831, una segunda unidad de envío de pulsos 832 y una tercera unidad de envío de pulsos 833. La unidad de determinación de tipo 831 está configurada para determinar un tipo de una imagen recopilada de acuerdo con la instrucción de recopilación de imágenes en respuesta a recibir la primera unidad de procesamiento 110 la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. La segunda unidad de envío de pulsos 832 está configurada para: cuando el tipo es un primer tipo, encender el proyector 104 en un módulo de cámara 101, enviar un pulso a un primer controlador 131 a través de un primer módulo PWM 1121 para iluminar el proyector 104 y recopilar una imagen objetivo correspondiente al primer tipo a través de la cámara láser 102 en el módulo de cámara 101. La tercera unidad de envío de pulsos 833 está configurada para: cuando el tipo es un segundo tipo, encender la luz láser 106 en el módulo de cámara 101, enviar un pulso a un segundo controlador 132 a través de un segundo módulo PWM 1122 para iluminar la luz láser 106 y recopilar una imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102 en el módulo de cámara 101. El módulo de procesamiento 802 está configurado para realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento 110 y para enviar la imagen objetivo procesada a la segunda unidad de procesamiento.
En esta realización, se determina un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes cuando la primera unidad de procesamiento 110 recibe la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento 120. Cuando el tipo es un primer tipo, la primera unidad de procesamiento 110 ilumina el proyector 104 a través del primer módulo PWM 1121 y recopila una imagen objetivo correspondiente al primer tipo a través de la cámara láser 102. Cuando el tipo es un segundo tipo, la primera unidad de procesamiento envía el pulso al segundo controlador 132 para iluminar la luz láser 106 a través del segundo módulo PWM 1122 y recopila una imagen objetivo correspondiente al segundo tipo a través de la cámara láser 102. El proyector 104 y la luz láser 106 se controlan respectivamente a través de dos módulos PWM, que no necesitan conmutar en tiempo real, reducen la complejidad del procesamiento de datos y reducen la presión de procesamiento de la primera unidad de procesamiento 110.
Como alternativa, la segunda unidad de procesamiento 120 está acoplada al proyector 104 y la luz láser 106 respectivamente a través de un bus I2C. El aparato 80 para procesar datos en esta realización no solo incluye el módulo de control 801 y la unidad de procesamiento 802, sino que también incluye un módulo de configuración. El módulo de configuración está configurado para configurar el proyector 104 y la luz láser 106 respectivamente a través del bus I2C cuando se detecta que el módulo de cámara 101 está activado.
Como alternativa, la segunda unidad de procesamiento 120 está acoplada al proyector 104 y a la luz láser 106, respectivamente, a través del mismo bus I2C. O, la segunda unidad de procesamiento 120 está acoplada al proyector 104 a través de un bus I2C y acoplada a la luz láser 106 a través de otro bus I2C. De esta forma, la segunda unidad de procesamiento 120 puede configurar el proyector 104 y la luz láser 106 a través del bus I2C cuando se arranca el módulo de cámara 101, que puede operar para recopilar la imagen con mayor precisión y mejorar la eficiencia para procesar datos.
Como alternativa, un punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 es diferente de un punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132, y un intervalo de tiempo entre el punto de tiempo en el que el primer módulo PWM 1121 envía el pulso al primer controlador 131 y el punto de tiempo en el que el segundo módulo PWM 1122 envía el pulso al segundo controlador 132 es menor que un umbral de tiempo. De esta forma, la primera unidad de procesamiento 110 puede recopilar una imagen de infrarrojos y una imagen de moteado en diferentes puntos de tiempo a través de la cámara láser 102, lo que puede garantizar que el contenido de la imagen de la imagen de infrarrojos recopilada sea consistente con el contenido de la imagen de la imagen de moteado recopilada y mejorar la precisión para la posterior detección facial.
Como alternativa, la unidad de procesamiento 802 incluye una tercera unidad de obtención de imágenes, una tercera unidad de coincidencia y una tercera unidad de generación. La tercera unidad de obtención de imágenes está configurada para obtener una imagen de moteado de referencia almacenada. La imagen de moteado de referencia tiene información de profundidad de referencia en la misma. La tercera unidad de coincidencia está configurada para hacer coincidir la imagen de moteado de referencia con la imagen de moteado para obtener un resultado coincidente. La tercera unidad generadora está configurada para generar un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, y para enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento 120. El procesamiento se realiza en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento 120 para obtener una imagen de profundidad. De esta forma, la información de profundidad de la imagen recopilada se puede obtener con precisión a través de la primera unidad de procesamiento 110, se puede mejorar la eficiencia para procesar datos y se puede mejorar la precisión para procesar la imagen.
Como alternativa, el aparato 80 para procesar datos en esta realización no solo incluye el módulo de control 801, el módulo de procesamiento 802 y el módulo de configuración, sino que también incluye un segundo módulo de recopilación de temperatura y un segundo módulo de escritura.
El segundo módulo de recopilación de temperatura está configurado para recopilar una temperatura de la luz láser 106 en un intervalo de tiempo de recopilación y para obtener una imagen de moteado de referencia correspondiente a la temperatura a través de la segunda unidad de procesamiento 120. El segundo módulo de escritura está configurado para escribir la imagen de moteado de referencia obtenida en el tiempo actual en la primera unidad de procesamiento 110 a través de la segunda unidad 120 de procesamiento cuando la imagen de moteado de referencia obtenida en el tiempo actual es inconsistente con la imagen de moteado de referencia almacenada en la primera unidad de procesamiento 110. De esta forma, la imagen de moteado de referencia correspondiente a la temperatura puede obtenerse de acuerdo con la luz láser 106, lo que puede reducir los efectos de la temperatura en la imagen de profundidad emitida finalmente y permitir que la información de profundidad sea más precisa.
La presente divulgación proporciona además un medio de almacenamiento legible por ordenador que tiene un programa informático almacenado en el mismo. El programa informático está configurado para implementar el método para procesar datos de acuerdo con una cualquiera de las realizaciones descritas anteriormente cuando se ejecuta por un procesador.
La presente divulgación proporciona además un producto de programa informático que incluye un programa informático. Cuando el programa informático se opera en un dispositivo informático, se hace que el dispositivo informático implemente el método para procesar datos de acuerdo con una cualquiera de las realizaciones descritas anteriormente.
Los expertos en la materia pueden comprender que todas o algunas etapas de las realizaciones anteriores pueden completarse mediante el hardware pertinente instruido por un programa informático. El programa puede almacenarse en un medio de almacenamiento legible por ordenador no volátil. El programa puede incluir procedimientos de realizaciones de cada método descrito anteriormente cuando se ejecuta. El medio de almacenamiento puede ser un disco magnético, un disco compacto de memoria de sólo lectura (CD-ROM), una memoria de sólo lectura (ROM) y similares.
Cualquier referencia a una memoria, un medio de almacenamiento, una base de datos u otro medio como se usa en el presente documento puede incluir memoria no volátil y/o volátil. Una memoria no volátil adecuada puede incluir una ROM, una memoria de solo lectura programable (PROM), una memoria de solo lectura programable eléctricamente (EPROM), una memoria de solo lectura programable borrable eléctricamente (EEPROM) o una memoria flash. La memoria volátil puede incluir una memoria de acceso aleatorio (RAM) que puede actuar como una memoria caché externa. A modo de ilustración y no de limitación, la RAM está disponible en muchas formas, tal como una RAM estática (SRAM), una RAM dinámica (DRAM), una DRAM síncrona (s DRAM), una SDRAM de doble tasa de datos (DDR SDRAM), una SDRAM mejorada (ESd Ra M), una DRAM de enlace sincronizado (SLDRAM), una RAM Rambus directa (DRRa M), una RAM dinámica Rambus directa (DRDRAM) y una RAM dinámica Rambus (RDRAM).
Las características técnicas de las realizaciones anteriores se pueden combinar de cualquier manera. Para una descripción clara y detallada, no se describen todas las combinaciones posibles de las diversas características técnicas en las realizaciones anteriores. Sin embargo, siempre que no haya contradicción en la combinación de estas características técnicas, debe considerarse dentro del alcance de la presente divulgación.
Las realizaciones anteriores solo expresan diversas implementaciones de la presente solicitud, y su descripción es relativamente específica y detallada, pero no puede interpretarse como una limitación del alcance de la presente solicitud. Cabe señalar que, para el personal técnico convencional en este campo, se pueden realizar ciertas deformaciones y mejoras bajo la premisa de no desviarse del concepto de la presente solicitud, las cuales todas pertenecen al ámbito de protección de la presente solicitud. Por tanto, el ámbito de protección de la presente solicitud estará sujeto a las reivindicaciones adjuntas.

Claims (13)

REIVINDICACIONES
1. Un método para realizar el procesamiento de imágenes, que comprende:
enviar (011) una instrucción de control a un controlador a través de un bus de circuito inter-integrado, I2C, en respuesta a recibir una primera unidad de procesamiento (110) una instrucción de recopilación de imágenes enviada por una segunda unidad de procesamiento (120), estando configurada la instrucción de control para encender al menos uno de un proyector y una luz láser; y
enviar (012) un pulso al controlador a través de un módulo de modulación de anchura de pulsos (PWM) de la primera unidad de procesamiento (110) para ilustrar el encendido del al menos uno del proyector y la luz láser, y operar la cámara láser para recopilar una imagen objetivo a través del bus I2C en respuesta a recibir la primera unidad de procesamiento (100) la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento (120), en donde la primera unidad de procesamiento (110), el controlador y la cámara láser están acoplados al mismo bus I2C; y
realizar (002) el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento (110), y enviar la imagen objetivo procesada a la segunda unidad de procesamiento (120).
2. El método de la reivindicación 1, en donde enviar (011) la instrucción de control al controlador a través del bus I2C comprende:
determinar (0111) un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar (0112), por la primera unidad de procesamiento (110), una primera instrucción de control al controlador a través del bus I2C cuando el tipo es un primer tipo, estando configurada la primera instrucción de control para instruir al controlador que encienda el proyector; y
enviar (0113), por la primera unidad de procesamiento (110), una segunda instrucción de control al controlador a través del bus I2C cuando el tipo es un segundo tipo, estando configurada la segunda instrucción de control para instruir al controlador que encienda la luz láser.
3. El método de la reivindicación 2, que comprende, además:
cuando el tipo comprende el primer tipo y el segundo tipo, enviar, por la primera unidad de procesamiento (110), la primera instrucción de control al controlador a través del bus I2C, para encender el proyector; y
después de que la cámara láser recopila una imagen objetivo correspondiente al primer tipo, enviar la segunda instrucción de control al controlador a través del bus I2C, para encender la luz láser.
4. El método de la reivindicación 2, que comprende, además:
cuando el tipo comprende el primer tipo y el segundo tipo, enviar, por la primera unidad de procesamiento (110), la segunda instrucción de control al controlador a través del bus I2C, para encender la luz láser; y
después de que la cámara láser recopila una imagen objetivo correspondiente al segundo tipo, enviar la primera instrucción de control al controlador a través del bus I2C, para encender el proyector.
5. El método de la reivindicación 3 o 4, en donde un intervalo de tiempo entre un punto de tiempo en el que la primera unidad de procesamiento (110) envía la primera instrucción de control y un punto de tiempo en el que la primera unidad de procesamiento (110) envía la segunda instrucción de procesamiento es menor que un umbral de tiempo.
6. El método de la reivindicación 1, en donde la imagen objetivo comprende una imagen de moteado; y realizar (002) el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento (110) y enviar la imagen objetivo procesada a la segunda unidad de procesamiento (120) comprende:
obtener (0141) una imagen de moteado de referencia almacenada, teniendo la imagen de moteado de referencia información de profundidad de referencia en la misma;
hacer coincidir (0142) la imagen de moteado de referencia con la imagen de moteado, para obtener un resultado coincidente; y
generar (0143) un mapa de paralaje de profundidad de acuerdo con la información de profundidad de referencia y el resultado coincidente, enviar el mapa de paralaje de profundidad a la segunda unidad de procesamiento (120) y realizar el procesamiento en el mapa de paralaje de profundidad a través de la segunda unidad de procesamiento (120) para obtener una imagen de profundidad.
7. El método de la reivindicación 1, aplicado a un dispositivo electrónico, en donde el dispositivo electrónico comprende un módulo de cámara, la primera unidad de procesamiento (110) y la segunda unidad de procesamiento (120), y la primera unidad de procesamiento (110) está acoplada a la segunda unidad de procesamiento (120) y el módulo de cámara respectivamente; el módulo de cámara comprende la cámara láser, el proyector y la luz láser, en el que la cámara láser, el proyector, la luz láser y la primera unidad de procesamiento (110) están acoplados al mismo bus I2C; y encender (001) al menos uno del proyector y la luz láser y operar la cámara láser para recopilar la imagen objetivo en respuesta a recibir la primera unidad de procesamiento (110) la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento (120) comprende:
en respuesta a recibir la primera unidad de procesamiento (110) la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento (120), operar (021) el al menos uno del proyector y la luz láser para que se encienda a través del bus I2C; y
operar (022), por la primera unidad de procesamiento (110), la cámara láser para recopilar la imagen objetivo a través del bus I2C.
8. El método de la reivindicación 7, en donde el dispositivo electrónico comprende además un controlador, el controlador está configurado para controlar el proyector y la luz láser, el controlador está acoplado al bus I2C; y operar (021) el al menos uno del proyector y la luz láser para que se enciendan a través del bus I2C comprende:
determinar (0221) un tipo de imagen recopilada de acuerdo con la instrucción de recopilación de imágenes; enviar (0222), por la primera unidad de procesamiento (110), una primera instrucción de control al controlador a través del bus I2C cuando el tipo es una imagen de infrarrojos, estando configurada la primera instrucción de control para instruir al controlador que encienda el proyector; y
enviar (0223), por la primera unidad de procesamiento (110), una segunda instrucción de control al controlador a través del bus I2C cuando el tipo es una imagen de moteado o una imagen de profundidad, estando configurada la segunda instrucción de control para instruir al controlador que encienda la luz láser.
9. El método de la reivindicación 8, que comprende, además:
cuando el tipo comprende la imagen de infrarrojos y la imagen de moteado, o comprende la imagen de infrarrojos y la imagen de profundidad, enviar, por la primera unidad de procesamiento (110), la primera instrucción de control al controlador a través del bus I2C para encender el proyector, operar la cámara láser para recopilar la imagen de infrarrojos a través del bus I2C, enviar la segunda instrucción de control al controlador a través del bus I2C para encender la luz láser y operar la cámara láser para recopilar la imagen de moteado a través del bus I2C.
10. El método de la reivindicación 8, que comprende, además:
cuando el tipo comprende la imagen de infrarrojos y la imagen de moteado, o comprende la imagen de infrarrojos y la imagen de profundidad, enviar, por la primera unidad de procesamiento (110), la segunda instrucción de control al controlador a través del bus I2C para encender la luz láser, operar la cámara láser para recopilar la imagen de moteado a través del bus I2C, enviar la primera instrucción de control al controlador a través del bus I2C para encender el proyector y operar la cámara láser para recopilar la imagen de infrarrojos a través del bus I2C.
11. El método de la reivindicación 1, en donde, encender (001) al menos uno del proyector y la luz láser y operar la cámara láser para recopilar la imagen objetivo en respuesta a recibir la primera unidad de procesamiento (110) la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento (120) comprende:
determinar (031) un tipo de una imagen recopilada de acuerdo con la instrucción de recopilación de imágenes cuando la primera unidad de procesamiento (110) recibe la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento (120);
cuando el tipo es un primer tipo, encender (032) el proyector en un módulo de cámara, enviar un pulso a un primer controlador a través de un primer módulo PWM para iluminar el proyector y recopilar una imagen objetivo correspondiente al primer tipo a través de la cámara láser en el módulo de cámara; y
cuando el tipo es un segundo tipo, encender (033) la luz láser en el módulo de cámara, enviar un pulso a un segundo controlador a través de un segundo módulo PWM para iluminar la luz láser y recopilar una imagen objetivo correspondiente al segundo tipo a través de la cámara láser en el módulo de cámara.
12. Un dispositivo electrónico, que comprende una primera unidad de procesamiento (110) que incluye un módulo de modulación de anchura de pulsos (PWM), una segunda unidad de procesamiento (120), un proyector (104), una luz láser (106) y una cámara láser (102), en donde, la primera unidad de procesamiento (110) está configurada para: encender al menos uno de un proyector (104) y una luz láser (106) y operar una cámara láser (102) para recopilar una imagen objetivo en respuesta a recibir la primera unidad de procesamiento una instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento realizando los actos de:
enviar una instrucción de control a un controlador a través de un bus de circuito inter-integrado (I2C) en respuesta a recibir la primera unidad de procesamiento (110) la instrucción de recopilación de imágenes enviada por la segunda unidad de procesamiento (120), estando configurada la instrucción de control para encender al menos uno del proyector y la luz láser; y
enviar un pulso al controlador a través del módulo de modulación de anchura de pulsos (PWM) para ilustrar el encendido del al menos uno del proyector y la luz láser, y operar la cámara láser para recopilar la imagen objetivo a través del bus I2C, en donde la primera unidad de procesamiento (110), el controlador y la cámara láser están acoplados al mismo bus I2C; y
realizar el procesamiento en la imagen objetivo a través de la primera unidad de procesamiento, y enviar la imagen objetivo procesada a la segunda unidad de procesamiento.
13. Un medio de almacenamiento legible por ordenador que tiene un programa informático almacenado en el mismo, en donde el programa informático está configurado para hacer que el dispositivo electrónico de la reivindicación 12 implemente el método para realizar el procesamiento de imágenes de acuerdo con una cualquiera de las reivindicaciones 1 a 11 cuando se ejecuta por un procesador.
ES19792981T 2018-04-28 2019-04-23 Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador Active ES2938471T3 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201810401326.3A CN108833887B (zh) 2018-04-28 2018-04-28 数据处理方法、装置、电子设备及计算机可读存储介质
CN201810402998.6A CN108810516B (zh) 2018-04-28 2018-04-28 数据处理方法、装置、电子设备及计算机可读存储介质
CN201810402999.0A CN108696682B (zh) 2018-04-28 2018-04-28 数据处理方法、装置、电子设备及计算机可读存储介质
PCT/CN2019/083854 WO2019206129A1 (zh) 2018-04-28 2019-04-23 数据处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
ES2938471T3 true ES2938471T3 (es) 2023-04-11

Family

ID=68293796

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19792981T Active ES2938471T3 (es) 2018-04-28 2019-04-23 Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador

Country Status (4)

Country Link
US (1) US11050918B2 (es)
EP (1) EP3672223B1 (es)
ES (1) ES2938471T3 (es)
WO (1) WO2019206129A1 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111239729B (zh) * 2020-01-17 2022-04-05 西安交通大学 融合散斑和泛光投射的ToF深度传感器及其测距方法
CN111815695B (zh) * 2020-07-09 2024-03-15 Oppo广东移动通信有限公司 深度图像获取方法、装置、移动终端及存储介质
CN112543285A (zh) * 2020-12-02 2021-03-23 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
US20220394221A1 (en) * 2021-06-08 2022-12-08 Himax Technologies Limited Structured-light scanning system with thermal compensation
CN113936050B (zh) * 2021-10-21 2022-08-12 合肥的卢深视科技有限公司 散斑图像生成方法、电子设备及存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050757A (ja) * 2001-08-08 2003-02-21 Toshiba Corp 通信アプリケーションの環境設定情報の提供方法
JP2009262344A (ja) 2008-04-22 2009-11-12 Ricoh Co Ltd 画像形成装置、及び画像補正方法
US9019503B2 (en) * 2010-04-19 2015-04-28 The United States Of America, As Represented By The Secretary Of The Navy MEMS microdisplay optical imaging and sensor systems for underwater and other scattering environments
US10456209B2 (en) * 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
CN102438111A (zh) 2011-09-20 2012-05-02 天津大学 一种基于双阵列图像传感器的三维测量芯片及系统
CN103139331B (zh) 2011-12-02 2015-05-27 青岛海信移动通信技术股份有限公司 一种手机拍照电路及具有拍照电路的移动终端
CN102622591B (zh) 2012-01-12 2013-09-25 北京理工大学 3d人体姿态捕捉模仿系统
CN102970548B (zh) * 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
CN103971405A (zh) 2014-05-06 2014-08-06 重庆大学 一种激光散斑结构光及深度信息的三维重建方法
US20160240057A1 (en) * 2015-02-13 2016-08-18 IPVideo Corporation System and method for providing alerts regarding occupancy conditions
JP6531823B2 (ja) * 2015-04-02 2019-06-19 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
EP3286916A1 (en) * 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
CN107534764B (zh) * 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
US20170034456A1 (en) 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
CN105407610B (zh) * 2015-12-09 2018-07-06 深圳天珑无线科技有限公司 一种控制双闪光灯的方法及装置
CN105513221B (zh) 2015-12-30 2018-08-14 四川川大智胜软件股份有限公司 一种基于三维人脸识别的atm机防欺诈装置及系统
DE112017001209T5 (de) * 2016-03-10 2018-12-13 Hamamatsu Photonics K.K. Laserlicht-Bestrahlungsvorrichtung und Laserlicht-Bestrahlungsverfahren
CN106331453A (zh) 2016-08-24 2017-01-11 深圳奥比中光科技有限公司 多图像采集系统及图像采集方法
US10089738B2 (en) * 2016-08-30 2018-10-02 Microsoft Technology Licensing, Llc Temperature compensation for structured light depth imaging system
CN106454287B (zh) 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN106973251B (zh) 2017-03-23 2020-11-03 移康智能科技（上海）股份有限公司 图像数据传输方法及装置
CN107424187B (zh) * 2017-04-17 2023-10-24 奥比中光科技集团股份有限公司 深度计算处理器、数据处理方法以及3d图像设备
CN107105217B (zh) 2017-04-17 2018-11-30 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN106851927B (zh) 2017-04-19 2018-06-12 慈溪锐恩电子科技有限公司 一种语音识别的多路调光调色led驱动电路
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别
CN107169483A (zh) 2017-07-12 2017-09-15 深圳奥比中光科技有限公司 基于人脸识别的任务执行
CN107450591A (zh) 2017-08-23 2017-12-08 浙江工业大学 基于英伟达tx2处理器的无人机运动跟踪系统
CN107370966B (zh) 2017-08-24 2018-05-04 珠海安联锐视科技股份有限公司 一种智能红外控制电路及其控制方法
CN107371017A (zh) 2017-08-29 2017-11-21 深圳市度信科技有限公司 一种mipi摄像头信号长距离传输系统及方法
CN107749949B (zh) 2017-11-02 2020-08-18 奇酷互联网络科技（深圳）有限公司 摄像头自适应方法、摄像头自适应装置和电子设备
CN107944422B (zh) 2017-12-08 2020-05-12 业成科技（成都）有限公司 三维摄像装置、三维摄像方法及人脸识别方法
CN108573170B (zh) * 2018-04-12 2020-06-12 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN108564032B (zh) * 2018-04-12 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN108810516B (zh) * 2018-04-28 2020-06-12 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN108833887B (zh) * 2018-04-28 2021-05-18 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN110191266B (zh) * 2018-04-28 2021-08-31 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3672223A4 (en) 2020-10-14
EP3672223A1 (en) 2020-06-24
EP3672223B1 (en) 2022-12-28
US20200154033A1 (en) 2020-05-14
US11050918B2 (en) 2021-06-29
WO2019206129A1 (zh) 2019-10-31

Similar Documents

Publication Publication Date Title
ES2938471T3 (es) Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador
US11073908B2 (en) Eye-tracking enabled wearable devices
CN110248111B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
US9905147B2 (en) Display device
EP3627827B1 (en) Method for controlling photographing, electronic device, and computer readable storage medium
EP3621293A1 (en) Image processing method, apparatus, computer-readable storage medium, and electronic device
ES2788854T3 (es) Método y dispositivo de procesamiento de imágenes
CN110191266B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US11244158B2 (en) Image acquisition method, apparatus, system, and electronic device
CN109712192A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN108833887B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN107396000B (zh) 一种相机拍摄的补光方法和装置
CN108399634B (zh) 基于云端计算的rgb-d数据生成方法及装置
ES2814201T3 (es) Oculómetro que tiene un tramo prolongado de distancias de funcionamiento
EP3621294B1 (en) Method and device for image capture, computer readable storage medium and electronic device
CN108810516B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US20180365840A1 (en) Optical module and a method for objects' tracking under poor light conditions
WO2018233099A1 (zh) 一种移动终端显示方法、移动终端及存储介质
ES2847232T3 (es) Método y dispositivo para procesar imágenes y dispositivo electrónico
JP6370168B2 (ja) 照明撮像装置及びそれを備えた視線検出装置
CN113128270B (zh) 虹膜识别装置、方法和设备
US20220358680A1 (en) Full-automatic calibration method and apparatus oriented to structured light 3d vision system
CN116524073A (zh) 对象同步方法、装置、设备及存储介质
CN114627235A (zh) 一种应用于自动驾驶车辆的动态点云染色方法及系统
CN109756670A (zh) 图像处理系统及图像处理方法