ES2690270T3 - Sincronización automática de múltiples cámaras de profundidad mediante el uso compartido del tiempo - Google Patents

Sincronización automática de múltiples cámaras de profundidad mediante el uso compartido del tiempo Download PDF

Info

Publication number
ES2690270T3
ES2690270T3 ES15730595.4T ES15730595T ES2690270T3 ES 2690270 T3 ES2690270 T3 ES 2690270T3 ES 15730595 T ES15730595 T ES 15730595T ES 2690270 T3 ES2690270 T3 ES 2690270T3
Authority
ES
Spain
Prior art keywords
light
scene
transmitter
receiver
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15730595.4T
Other languages
English (en)
Inventor
Sergiu Radu GOMA
Kalin Mitkov ATANASSOV
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Application granted granted Critical
Publication of ES2690270T3 publication Critical patent/ES2690270T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H04N5/40—Modulation circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stroboscope Apparatuses (AREA)
  • Shutters For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

Un dispositivo de detección de profundidad (100a-d) para capturar una imagen que contiene información de profundidad de una escena, que comprende: un transmisor (200) capaz de proyectar luz sobre una escena, comprendiendo el transmisor un láser (210) capaz de producir un haz de luz (230) que incluye una serie de pulsos láser, teniendo cada pulso una longitud de pulso y la serie de pulsos producidos en una frecuencia de pulso, y un receptor (300) acoplado al transmisor (200) en una orientación relativa conocida, comprendiendo el receptor un obturador y un conjunto de sensores (315) capaz de producir una imagen basándose en la luz de detección proyectada por el transmisor (200) y reflejada desde la escena; y un controlador que comprende un procesador (350), el controlador acoplado al transmisor (200) y el receptor (300), con el controlador configurado para: determinar, basándose en una primera imagen del receptor (300), que la luz indicativa de al menos otro dispositivo de detección de profundidad (100a-d) está presente en la escena; en respuesta a la determinación de que la luz está presente en la escena basándose en la primera imagen: i) controlar la longitud de pulso de la serie de pulsos láser para evitar interferir con la luz que se determina que está presente en la escena, ii) ajustar un período de exposición del obturador para sincronizar con la longitud de pulso controlada, iii) determinar, basándose en una próxima imagen del receptor (300), si la luz todavía está presente en la escena, iv) en respuesta a determinar que la luz todavía está presente en la escena, retardar el inicio de una ventana de exposición y continuar determinando, basándose en una próxima imagen de la pluralidad de imágenes del receptor, si la luz todavía está presente en la escena; y en respuesta a determinar que la luz no está presente en la escena, iniciar la ventana de exposición, con la ventana de exposición que comprende producir un pulso láser de la serie de pulsos láser a la longitud de pulso controlada y activar el obturador durante el período de exposición de modo que el receptor (300) detecte el pulso láser reflejado desde la escena.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Sincronización automática de múltiples cámaras de profundidad mediante el uso compartido del tiempo CAMPO TÉCNICO
[0001] La presente divulgación se refiere a sistemas y procedimientos de formación de imágenes que incluyen cámaras de profundidad. En particular, la divulgación se refiere a sistemas y procedimientos que permiten el uso simultáneo de múltiples cámaras de profundidad sin interferencia.
ANTECEDENTES
[0002] La detección activa se puede utilizar para determinar modelos tridimensionales. Los sistemas de detección activa incluyen, por ejemplo, sistemas de tiempo de vuelo y sistemas de luz estructurada. Para extraer un modelo tridimensional (3D) de un objeto, se pueden usar múltiples dispositivos de detección activa. Algunos modos de realización de un sistema de detección de profundidad (también denominado cámaras de profundidad) usan un transmisor de infrarrojos (IR) para proyectar un patrón de luz estructurada IR invisible en el ambiente y en un objeto. La radiación IR reflejada desde el objeto y detectada por un sensor de IR o cámara del sistema de detección de profundidad. Los objetos dentro del entorno causan distorsiones en el patrón de luz estructurada visto por la cámara, que está fuera del eje en comparación con la fuente de luz y estas distorsiones se pueden utilizar para resolver la información de profundidad sobre la escena.
[0003] Un sistema de detección de profundidad, que tiene una sola cámara tiene un campo de visión limitado y proporciona información de profundidad desde un único punto de vista de modo que un objeto que está cerca de la cámara de profundidad puede ocluir una gran parte del medio ambiente. Una solución que extiende el área del entorno que se puede asignar es usar más de una cámara de profundidad de IR. Esto proporciona vistas de la escena desde diferentes perspectivas y permite formar un modelo de 360 grados de un objeto. Sin embargo, en ciertas configuraciones, los múltiples dispositivos utilizados en la detección activa pueden interferir entre sí. Además, cuando los patrones de luz estructurada se superponen, la precisión de cada cámara de profundidad de IR se degrada.
[0004] Por consiguiente, sería ventajoso disponer de sistemas de detección de profundidad que superen estos problemas. Los modos de realización descritos en la sección de "sumario de la invención" y a continuación no están limitados a implementaciones que resuelven cualquiera o todas las desventajas de los sistemas conocidos de cámaras de profundidad de IR.
[0005] En el documento US 2012/0194650 A1 de Izadi y otros, se describen los sistemas y procedimientos para reducir la interferencia entre las cámaras de profundidad de infrarrojos múltiples; en un modo de realización, el sistema comprende múltiples fuentes de infrarrojos, de las cuales cada una proyecta un patrón de luz estructurada en el medio ambiente, y se utiliza un controlador para controlar las fuentes con el fin de reducir la interferencia causada por la superposición de patrones de luz.
SUMARIO DE LA INVENCIÓN
[0006] La detección de profundidad se realiza típicamente a resoluciones más bajas de formación de imágenes. Sin embargo, cuanto mayor sea el número de dispositivos formación de imágenes (fuente/receptor de luz) que se utilizan en una aplicación de imágenes, en general, mejor será la posible calidad del modelo 3D reconstruido. Para las tecnologías utilizadas para la detección de profundidad (por ejemplo, luz estructurada o tiempo de vuelo (TOF)), cuando se utilizan múltiples dispositivos de formación de imágenes de profundidad (por ejemplo, incluyendo cada dispositivo una fuente de luz (por ejemplo, un láser) y un dispositivo de formación de imágenes (para ejemplo, una cámara)) el dispositivo de formación de imágenes de profundidad individual puede interferir entre sí, por ejemplo, si las cámaras son todas idénticas. En una innovación, un láser en una fuente de luz puede controlarse para producir luz pulsada (patrones). Las longitudes de pulso se pueden ajustar basándose, por ejemplo, en la potencia máxima del láser. Si se desea una frecuencia de trama particular, las cámaras múltiples pueden compartir la cantidad de tiempo de, por ejemplo, 1/frecuencia de trama transmitiendo y recibiendo simultáneamente en una pequeña fracción de trama completa. A continuación pueden producirse las imágenes para hacer un modelo 3D de un objeto sin interferencia entre los múltiples dispositivos de formación de imágenes de profundidad.
[0007] Las reivindicaciones independientes que se acompañan, a las que se dirige la atención del lector, definen aspectos de la invención.
[0008] Una innovación incluye un dispositivo de detección de profundidad para la captura de una imagen que contiene información de profundidad de una escena y para su uso en un sistema de detección de profundidad, que incluye al menos otro dispositivo de detección profundidad. El dispositivo de detección de profundidad incluye un transmisor capaz de proyectar luz sobre una escena, comprendiendo el transmisor un láser capaz de producir un haz de luz que incluye una serie de pulsos láser, teniendo cada pulso una longitud de pulso y la serie de pulsos
5
10
15
20
25
30
35
40
45
50
55
60
65
producidos a una frecuencia de pulso, un receptor acoplado al transmisor en una orientación relativa conocida, comprendiendo el receptor un obturador y un conjunto sensor capaz de producir una imagen basada en la luz de detección proyectada por el transmisor y reflejada desde la escena. El sistema de detección de profundidad incluye además un controlador que comprende un procesador, estando el controlador acoplado al transmisor y el receptor, estando el controlador configurado para determinar la presencia de luz en la escena usando el receptor, controlar la longitud de pulso de la serie de pulsos láser, controlar cuándo comienza una ventana de exposición durante la cual el transmisor se activa para proyectar luz en la escena y activar el receptor para comenzar a percibir la luz reflejada desde la escena, el comienzo de la ventana de exposición y la longitud de pulso controlada basándose en la presencia determinada de la luz en la escena del al menos otro dispositivo de detección de profundidad de modo que la ventana de exposición es temporalmente diferente de cuando cualquier otro de los al menos otro dispositivo de detección de profundidad en el sistema ilumina la escena. En un aspecto, el láser es capaz de producir un haz de luz infrarroja cercana (NIR), el transmisor incluye además un elemento óptico posicionado para recibir el haz de luz NIR emitido desde el láser, incluyendo el elemento óptico una pluralidad de características configuradas para producir una patrón de luz estructurada conocido cuando el haz de luz NIR se propaga a través del elemento óptico, y el controlador se configura adicionalmente para determinar la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena usando el receptor NIR. En otro aspecto, en el que el controlador se configura adicionalmente activar el transmisor para proyectar un patrón de luz estructurada en la escena y ajustar el obturador a sincronizar con la longitud de pulso del haz de luz NIR si el controlador determina que no hay luz NIR indicativa de un patrón de luz estructurada presente en la escena. En otro aspecto, el controlador se configura adicionalmente para retardar el transmisor para producir un haz de luz NIR durante un período de retardo si el controlador determina la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena, y al final del período de retardo comprobar nuevamente la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena.
[0009] En otro aspecto, la pluralidad de características incluye una pluralidad de características ópticas difractivas. En otro aspecto, el transmisor comprende un transmisor de tiempo de vuelo (TOF). En otro aspecto, el obturador comprende un obturador basculante, y en el que, durante el tiempo de exposición, el controlador activa el obturador basculante para escanear a través de la escena cuando la escena se ilumina por la luz proyectada por el transmisor. En otro aspecto, el controlador está configurado para determinar una ventana de exposición sin comunicarse con el al menos otro dispositivo u otro sistema de sincronización. En otro aspecto, el controlador se configura adicionalmente para ajustar la frecuencia del pulso basándose en la presencia determinada de luz en la escena, de modo que el transmisor proyecta luz sobre la escena durante una ventana de exposición que es temporalmente diferente que cuando cualquier otro de los al menos un dispositivo de detección de profundidad está iluminando la escena.
[0010] Otra innovación incluye una operativa de procedimiento en un dispositivo de detección de profundidad para la captura de una imagen que contiene información de profundidad de una escena en un sistema de detección de profundidad, que incluye al menos dos dispositivos de detección de profundidad, comprendiendo el procedimiento la detección de la luz reflejada de una escena utilizando un sensor, siendo la luz indicativa de que la escena está iluminada por un dispositivo de detección de profundidad. Si no se detecta luz de la escena, el procedimiento puede activar un transmisor del dispositivo de detección de profundidad para proyectar luz sobre la escena durante una ventana de exposición y activar un obturador del dispositivo de detección de profundidad para capturar información del reflejo de la luz durante el tiempo de exposición, con la luz proyectada que incluye una serie de pulsos que tienen una longitud de pulso y una frecuencia de pulso. Si se detecta luz de la escena, el procedimiento puede ajustar un obturador del dispositivo de detección de profundidad a una longitud de pulso láser detectada, y nuevamente detectar la luz de la escena. Si nuevamente se detecta luz, el procedimiento puede retardar el inicio de una ventana de exposición durante la cual el transmisor del dispositivo de detección de profundidad proyecta luz sobre la escena y el obturador del dispositivo de detección de profundidad captura información del reflejo de la luz de la escena, y repetir repetidamente la detección si hay luz en la escena y retardar el inicio de una ventana de exposición hasta que no se detecte la luz. Si no se detecta luz de la escena, el procedimiento puede activar el transmisor y el receptor para la ventana de exposición, proyectando luz en la escena en una serie de pulsos, con la serie de pulsos teniendo una frecuencia de pulso y cada pulso teniendo una longitud de pulso, y detectar la luz proyectada de la escena usando el receptor. En un aspecto del procedimiento, el transmisor produce un haz de luz de infrarrojo cercano (NIR), el transmisor comprende un elemento óptico colocado para recibir el haz de luz NIR emitido desde el láser, incluyendo el elemento óptico una pluralidad de características configuradas para producir un patrón de luz estructurada conocido cuando el haz de luz NIR se propaga a través del elemento óptico, y la detección de luz de la escena incluye la detección de la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena que utiliza el receptor. En un aspecto del procedimiento, un controlador determina la ventana de exposición sin comunicarse con el al menos otro dispositivo u otro sistema de sincronización. En otro aspecto, el procedimiento puede ajustar la frecuencia del pulso basándose en la presencia determinada de luz en la escena, de modo que el transmisor proyecta luz sobre la escena durante una ventana de exposición que es temporalmente diferente que cuando cualquier otro del al menos un dispositivo de detección de profundidad está iluminando la escena.
[0011] Otra innovación incluye un dispositivo de detección de profundidad de infrarrojo cercano (NIR) para la captura de una imagen que contiene información de profundidad de una escena y para su uso en un sistema de detección de profundidad, que incluye al menos otro dispositivo de detección de profundidad. El dispositivo de detección de
5
10
15
20
25
30
35
40
45
50
55
60
65
profundidad incluye un transmisor NIR capaz de proyectar un patrón de luz estructurada NIR en una escena, incluyendo el transmisor NIR un láser capaz de producir un haz de luz NIR con longitud de pulso y un elemento óptico posicionado para recibir el haz de luz NIR emitido desde el láser, incluyendo el elemento óptico una pluralidad de características configuradas para producir un patrón de luz estructurada conocido cuando el haz de luz NIR se propaga a través del elemento óptico. El dispositivo de detección de profundidad también puede incluir un receptor NIR acoplado al transmisor NIR en una orientación relativa conocida, con el receptor NIR que comprende un obturador y un conjunto de sensores capaz de producir una imagen desde un patrón de luz estructurada NIR detectado en la escena y un controlador que comprende un procesador, con el controlador acoplado al transmisor NIR y el receptor NIR, el controlador configurado para determinar la presencia de luz NIR usando el receptor NIR, el controlador además configurado para determinar un tiempo para activar el transmisor NIR e iluminar la escena con el patrón de luz estructurada y para activar el obturador durante un tiempo de exposición para capturar información del reflejo del patrón de luz estructurada de la escena, con el tiempo para activar el transmisor y activar el obturador basándose en la presencia determinada de la luz NIR en la escena de modo que el transmisor y el obturador se activan durante un período de tiempo que es diferente de cuando cualquier otro del al menos otro dispositivo de detección de profundidad en el sistema está iluminando la escena con luz NIR. En algunos modos de realización, el controlador está además configurado para activar el transmisor para proyectar un patrón de luz estructurada y ajustar el obturador a sincronizar con la longitud de pulso de la luz NIR si el controlador determina que no hay luz NIR presente en la escena. En algunos modos de realización, el controlador está además configurado para retardar en el transmisor NIR la producción de un haz de luz NIR durante un período de retardo si el controlador determina la presencia de luz NIR (indicativa de un patrón de luz estructurada en la escena) y al final del período de retardo comprobar nuevamente si hay presencia de luz NIR que indique un patrón de luz estructurada en la escena.
[0012] Otra innovación incluye un dispositivo de detección de profundidad para la captura de una imagen que contiene información de profundidad de una escena y para su uso en un sistema de detección de profundidad, que incluye al menos otro dispositivo de detección de profundidad. En algunos modos de realización, el dispositivo de detección de profundidad incluye medios para proyectar luz sobre una escena, con los medios de proyección de luz configurados para producir un haz de luz láser que incluye una serie de pulsos láser, teniendo cada pulso una longitud de pulso y con la serie de pulsos producida a una frecuencia de pulso, y medios para recibir luz acoplados a los medios de proyección en una orientación relativa conocida, con los medios de recepción de luz configurados para producir una imagen basándose en la detección de luz proyectada por los medios de proyección de luz y reflejada desde la escena. El dispositivo también puede incluir medios para controlar acoplados a los medios de proyección y los medios de recepción de luz, con los medios de control configurados para determinar la presencia de luz en la escena usando los medios de recepción de luz y controlar la longitud de pulso de la serie de pulsos láser, controlar cuándo comienza una ventana de exposición durante la cual se activan los medios de proyección de luz para proyectar luz sobre la escena y activar los medios de recepción de luz para comenzar a percibir la luz reflejada desde la escena, con el comienzo de la ventana de exposición y la longitud de pulso controlados basándose en la presencia determinada de la luz en la escena desde al menos otro dispositivo de detección de profundidad, de modo que la ventana de exposición es temporalmente diferente de cuando cualquier otro de los al menos otro dispositivo de detección de profundidad en el sistema ilumina la escena.
[0013] Varias otras características también se pueden incluir en diferentes implementaciones. En algunos modos de realización del dispositivo de detección de profundidad, el medio de proyección de luz comprende un transmisor que incluye un láser. Los medios de recepción de luz pueden incluir un receptor que incluye un obturador y un conjunto de sensores capaz de producir una imagen basándose en la detección de luz proyectada por los medios de proyección de luz y reflejada desde la escena. Los medios de control pueden incluir al menos un procesador. En diversos modos de realización, el láser es capaz de emitir un haz de luz de infrarrojo cercano (NIR), comprendiendo el medio de proyección de luz un transmisor que comprende un elemento óptico posicionado para ser iluminado por el haz de luz NIR emitido desde el láser, incluyendo el elemento óptico una pluralidad de características configuradas para producir un patrón de luz estructurada conocido cuando el haz de luz NIR se propaga a través del elemento óptico, y los medios de control comprenden un controlador configurado para determinar la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena usando el receptor NIR. La pluralidad de características puede incluir una pluralidad de características ópticas difractivas. El transmisor puede incluir un transmisor de tiempo de vuelo (TOF). El controlador puede configurarse adicionalmente para activar el transmisor para proyectar un patrón de luz estructurada en la escena y ajustar el obturador para que se sincronice con la longitud de pulso del haz de luz NIR si el controlador determina que no hay luz NIR indicativa de un patrón de luz estructurada presente en la escena. El controlador puede configurarse adicionalmente para retardar en el transmisor la producción de un rayo de luz NIR durante un período de retardo si el controlador determina la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena, y al final del período de retardo, comprobar nuevamente para la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena. Los medios para recibir pueden incluir un obturador basculante, y durante el tiempo de exposición, el controlador activa el obturador basculante para escanear a través de la escena cuando la escena es iluminada mediante la luz proyectada por el transmisor. Los medios de control pueden configurarse para determinar una ventana de exposición sin comunicarse con el al menos otro dispositivo u otro sistema de sincronización. El controlador puede configurarse adicionalmente para ajustar la frecuencia del pulso basándose en la presencia determinada de luz en la escena de modo que el transmisor proyecte luz sobre la escena durante una ventana de exposición que es temporalmente diferente que cuando cualquier otro de los al menos un dispositivo de detección de profundidad está iluminando la escena.
5
10
15
20
25
30
35
40
45
50
55
60
65
[0014] Otra innovación incluye un medio legible por ordenador que contiene instrucciones no transitorias que controlan al menos un procesador para ejecutar las instrucciones, incluyendo el procedimiento detectar la luz reflejada de una escena utilizando un sensor, siendo la luz indicativa de la escena que se está iluminado mediante un dispositivo de detección de profundidad, si no se detecta luz de la escena, activar un transmisor del dispositivo de detección de profundidad para proyectar luz sobre la escena durante una ventana de exposición, y activar un obturador del dispositivo de detección de profundidad para capturar información del reflejo de la luz durante el tiempo de exposición, incluyendo la luz proyectada una serie de pulsos que tienen una longitud de pulso y una frecuencia de pulso, si se detecta luz de la escena, ajustar un obturador del dispositivo de detección de profundidad a una longitud de pulso láser detectada, y nuevamente detectar luz de la escena, si se detecta nuevamente la luz, retardar el inicio de una ventana de exposición durante la cual el transmisor del dispositivo de detección de profundidad proyecta luz en la escena, capturar el obturador del dispositivo de detección de profundidad información del reflejo de la luz de la escena, y repetir iterativamente la detección si hay luz en la escena y retardar el inicio de una ventana de exposición hasta que no se detecte luz, y si la luz de la escena no se detecta, activar el transmisor y el receptor para la ventana de exposición, proyectar luz en la escena en una serie de pulsos, teniendo la serie de pulsos una frecuencia de pulso y teniendo cada pulso una longitud de pulso, y detectar luz proyectada de la escena usando el receptor. En algunos modos de realización donde el transmisor produce un haz de luz infrarroja cercana (NIR), el transmisor comprende un elemento óptico posicionado para recibir el haz de luz NIR emitido desde el láser, incluyendo el elemento óptico una pluralidad de características configuradas para producir un patrón de luz estructurada conocido cuando el haz de luz NIR se propaga a través del elemento óptico, y la detección de luz desde la escena comprende detectar la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena que utiliza el receptor.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0015] A continuación se describirán los aspectos divulgados en conjunción con los dibujos y apéndices adjuntas, proporcionados para ilustrar y no para limitar los aspectos divulgados, en el que las mismas designaciones denotan los mismos elementos.
La figura 1 es un diagrama que ilustra un ejemplo de un sistema que incluye múltiples sistemas para detección de luz activa para detectar la profundidad, por ejemplo, la topografía tridimensional (3D) de un objeto.
La figura 2 es un diagrama que ilustra un ejemplo de un transmisor de luz estructurada, que puede ser, por ejemplo, el transmisor de luz estructurada ilustrado en la figura 1.
La figura 3 es un diagrama que ilustra un ejemplo de una cámara, que también se puede denominar "receptor de radiación", "sensor" o simplemente "receptor".
La figura 4 es un diagrama que ilustra un ejemplo de tres dispositivos de formación de imágenes de fuente de luz/cámara que están configurados para tener una salida de luz pulsada y una ventana de exposición de cámara (por ejemplo, un período de tiempo para exponer un sensor a radiación), con la salida de luz pulsada y las ventanas de exposición de cámara de cada dispositivo produciéndose en un momento diferente que la salida de luz pulsada y la ventana de exposición de cámara de los otros dispositivos.
La figura 5 ilustra un ejemplo de tres dispositivos de fuente de luz/cámara, cada uno de los cuales está configurado para tener una salida de luz pulsada y una ventana de exposición de cámara (duración), donde una o más de las cámaras no tienen un obturador global (para ejemplo, una cámara de obturador basculante) y la cámara todavía puede conmutarse, o controlarse (por ejemplo, con una frecuencia de trama más baja).
La figura 6 es un diagrama de flujo de proceso para agregar un dispositivo de detección de profundidad para interactuar con al menos otro dispositivo de detección de profundidad en la producción de imágenes para generar un modelo 3D de un objeto, y que puede realizarse, por ejemplo, mediante uno o más de los dispositivos divulgados en el presente documento.
La figura 7 es un diagrama de flujo de proceso que ilustra un procedimiento para coordinar múltiples cámaras de detección de profundidad que puede ser realizado por uno o más de los sistemas descritos en el presente documento, u otros sistemas.
DESCRIPCIÓN DETALLADA
[0016] En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión exhaustiva de los ejemplos. Sin embargo, los ejemplos pueden practicarse sin estos detalles específicos, y pueden incluir más características o menos características que los ejemplos descritos mientras que permanecen en el alcance de los modos de realización descritos y reivindicados en el presente documento.
5
10
15
20
25
30
35
40
45
50
55
60
65
[0017] Las implementaciones divulgadas en el presente documento proporcionan sistemas, procedimientos y aparatos para generar imágenes que pueden usarse para formar un modelo 3D de un objeto. El uso de detección activa para generar tales imágenes se ha vuelto muy común en los últimos años. Para extraer un modelo 3D de objetos, se han utilizado múltiples dispositivos/sistemas de detección activa, por ejemplo, en una disposición que rodea un objeto o escena de forma tal que las imágenes producidas por los múltiples dispositivos de detección activa, en resumen, incluyen información de profundidad del toda la escena u objeto. Para determinar un modelo 3D de un objeto, se recopilan varias imágenes con diferentes puntos de vista del objeto. El post-procesamiento de las imágenes múltiples puede producir el modelo 3D. El post-procesamiento puede ser casi en tiempo real si se utilizan ordenadores y técnicas lo suficientemente rápidos para el post-procesamiento de las imágenes múltiples. Debido a que las imágenes de detección de profundidad pueden realizarse a una resolución relativamente más baja, cuanto mayor sea el número de dispositivos que se utilizan para producir imágenes con información de profundidad, mejor será la calidad del modelo 3D reconstruido que se realiza con las imágenes. En consecuencia, puede ser deseable usar múltiples sistemas de imágenes.
[0018] Los ejemplos de sistemas de detección activa (profundidad) incluyen, pero no se limitan a, sistemas de luz estructurada y sistemas de tiempo de vuelo (TOF). Los sistemas de imágenes 3D de luz estructurada (a veces denominados en el presente documento "cámaras") pueden proyectar un patrón de luz sobre un objeto y observar la deformación del patrón en el objeto. Es decir, incluyen un componente de proyección (o un transmisor) y un componente de receptor. Se proyecta un patrón sobre el objeto usando una fuente de luz estable. Un sistema de formación de imágenes (por ejemplo, una cámara) se desplaza ligeramente desde el proyector patrón y, teniendo conocimiento del patrón, recibe luz del patrón proyectado y determina, a partir de la forma del patrón, la distancia de los puntos en el campo de visión. Un sistema tOf (o cámara) es un sistema de formación de imágenes de rango que resuelve la distancia basándose en la velocidad conocida de la luz, midiendo el tiempo de vuelo de una señal luminosa entre la cámara y la escena/objeto, y de vuelta a la cámara, para puntos de imagen. Varios sistemas TOF pueden usar luz ultravioleta, visible o infrarroja cercana (NIR) para iluminar una escena u objeto, y se puede usar con una amplia variedad de materiales; las transmisiones de las cámaras de profundidad individuales pueden interferir entre sí.
[0019] Por eficiencia, puede ser ventajoso para recopilar las imágenes múltiples simultáneamente. Sin embargo, independientemente de si la tecnología para detección de profundidad es luz estructurada, TOF u otra tecnología, el uso de transmisores múltiples puede causar interferencia entre los sistemas, causando aberraciones en las imágenes producidas por las cámaras, porque cada sistema emite luz que otro sistema puede recibir. En algunos sistemas, una fuente de luz láser utilizada para producir un patrón de luz está emitiendo constantemente. Como se describe a continuación, en los sistemas que utilizan pares de transmisor/receptor múltiples, cada sistema de detección de profundidad (por ejemplo, un par de transmisor/receptor) puede configurarse de manera que el láser sea pulsado y la longitud de pulso pueda ajustarse (por ejemplo, basándose en la potencia máxima del láser) de manera que los múltiples pares transmisor/receptor tengan diferentes tiempos de exposición de cámara/luz pulsada. Si se desea una frecuencia de trama particular, las cámaras múltiples pueden compartir la cantidad de tiempo de 1/frame_rate como se ilustra a continuación (para este ejemplo en particular, se consideran cámaras de obturación globales). Una fuente de luz del sistema de detección de profundidad (las fuentes de luz referidas colectivamente como un "láser") puede emitir luz constantemente cuando se acciona. En algunos modos de realización, el láser puede controlarse para emitir pulsos de luz de un cierto ancho y en un cierto tiempo. La ventana de exposición de cámara se puede controlar correspondientemente para recibir radiación durante el período del pulso láser. Como se describe con más detalle a continuación, cuando se utilizan conjuntamente múltiples sistemas de detección de profundidad, los pulsos de los láseres en cada sistema de detección de profundidad se pueden controlar para producir pulsos en diferentes momentos. La cámara asociada en cada sistema de detección de profundidad puede controlarse de manera correspondiente para tener una ventana de exposición durante el tiempo del pulso del láser.
[0020] Algunas de las ventajas de los modos de realización descritos en el presente documento incluyen que el mismo tipo de dispositivo se puede utilizar para la detección de dispositivo de cámara de profundidad única y múltiple, no hay cambios en el hardware del dispositivo (por ejemplo, cámara o transmisor), sincronización transmisor-cámara fácil de implementar, sincronización transparente entre cámaras de usuario y se puede agregar un número arbitrario de cámaras. En algunos modos de realización que usan pares transmisor/receptor múltiples para recopilar información de profundidad de un objeto, cada par de transmisor/receptor puede configurarse para proyectar un patrón y recibir luz de una frecuencia de portadora diferente, lo cual minimizará o evitará la interferencia entre las cámaras.
[0021] La figura 1 es un diagrama que ilustra un ejemplo de un sistema que incluye múltiples sistemas para detección de luz activa para detectar la profundidad, por ejemplo, la topografía tridimensional (3D), de una escena que incluye uno o más objetos. En el modo de realización ilustrado en la figura 1, el sistema incluye cuatro sistemas de detección de profundidad (por ejemplo, sistemas de transmisor 100a-d/receptor 200a-d) apuntados hacia el objeto 135 para iluminar el objeto 135 con radiación IR desde diferentes puntos de vista, por ejemplo, rodear un objeto de interés (objeto) 135 e iluminar y recibir luz de todas las superficies de un objeto 135. En algunos modos de realización, se pueden usar más de cuatro pares transmisor/receptor, o se pueden usar menos. Por ejemplo, el sistema de detección de profundidad 100a proporciona luz estructurada 105a para iluminar el objeto 135 y a continuación detecta luz estructurada 110 (reflejada) desde el objeto 135. En algunos modos de realización, se
5
10
15
20
25
30
35
40
45
50
55
60
65
pueden usar más de cuatro pares transmisor/receptor, o se pueden usar menos. En este modo de realización, cada sistema de detección de profundidad (o cámara) 100a-d incluye un transmisor de luz estructurada 200. Un ejemplo del transmisor 200 se describe adicionalmente con referencia a la figura 2. Cada sistema de detección de profundidad 100a-d también puede incluir un receptor 300. Un ejemplo del receptor 300 se describe con más detalle en referencia a la figura 3.
[0022] Pueden utilizarse varios sistemas de detección de profundidad. Cada uno de los dispositivos de detección de profundidad en la disposición puede incluir un transmisor de luz estructurada, un transmisor de tiempo de vuelo (TOF) u otra fuente de iluminación. En diversos modos de realización, la fuente de iluminación de cada dispositivo de detección de profundidad puede configurarse para producir iluminación ultravioleta, visible o infrarroja (IR) o infrarroja cercana (NIR). En algunos modos de realización, cada sistema de detección de profundidad 100a-d puede incluir un láser que produce un haz de luz de infrarroja cercana (NIR) que se manipula ópticamente para producir un patrón de luz, y el patrón de luz se proyecta sobre el objeto 135. En general, la luz infrarroja cercana es la luz que está por encima de 700 nanómetros a aproximadamente 1 mm. El sistema de detección de profundidad 100 puede configurarse para producir un haz NIR en un espectro muy estrecho de longitudes de onda, por ejemplo, dentro de un rango estrecho de aproximadamente 1-5 nanómetros de longitudes de onda. En algunos modos de realización, cada uno de los sistemas de transmisor/receptor proyecta y recibe una frecuencia de portadora NIR diferente (o un rango muy estrecho de frecuencias portadoras NIR) de manera que los múltiples dispositivos no interfieren entre sí, y en cada configuración cada uno de los dispositivos emparejados puede transmitir y recibir una frecuencia de portadora NIR diferente.
[0023] Una ventaja del sistema descrito anteriormente incluye el diseño más sencillo de múltiples sistemas de cámaras de profundidad. Se puede lograr una interferencia insignificante (o ninguna) mediante este modo de realización. Además, con tales sistemas es relativamente fácil controlar la interferencia frente al ruido manipulando el ancho de banda del filtro de paso de banda. Además, escalar el sistema para diseñar sistemas con N cámaras es sencillo, solo necesita definir diferentes frecuencias de portadora. En algunos modos de realización, tanto el transmisor como el receptor son ajustables, y en tales sistemas, los transmisores y receptores pueden diseñarse todos de la misma manera, lo cual puede reducir los costes y permitir un mantenimiento y una reparación más fáciles.
[0024] El sistema de detección de profundidad 100 puede incluir un controlador que controla el láser para emitir pulsos de luz de acuerdo con ciertos criterios de temporización, para emitir luz de una cierta anchura de pulso y/o una determinada frecuencia. Además, el transmisor puede incluir un módulo de comunicación que puede incluir un procesador. El módulo de comunicación (por ejemplo, el procesador) puede configurarse para comunicar información con otros dispositivos para coordinar la longitud de un ancho de pulso, la frecuencia del ancho del pulso y cuándo emitir el pulso de luz. Tales componentes de un sistema de detección de profundidad 100 y otros componentes se describen con más detalle en referencia a la figura 2 (transmisor) y a la figura 3 (receptor).
[0025] La figura 2 es un diagrama que ilustra un ejemplo de un transmisor de luz estructurada 200, que puede ser, por ejemplo, el transmisor de luz estructurada ilustrado en la figura 1. El transmisor de luz estructurada 200 puede estar contenido dentro de un alojamiento del sistema de detección de profundidad 100, como se ilustra en el modo de realización en la figura 1. En algunos modos de realización, el transmisor de luz estructurada 200 está alojado con un receptor 300 en el sistema de detección de profundidad. En algunos modos de realización, el transmisor de luz estructurada 200 y el receptor 300 están alojados por separado, pero se colocan muy juntos para realizar la misma funcionalidad que un sistema de detección de profundidad en el que están alojados juntos.
[0026] El transmisor 200 incluye un láser 210 que produce radiación que tiene una longitud de onda estrecha. En este ejemplo, el láser 210 produce un haz de luz infrarroja cercana (NIR) 130. El transmisor 200 también incluye una lente de colimación 215 y un elemento óptico difractivo (o máscara) 220 alineado de manera que el haz de luz 230 pasa a través de la lente de colimación 215 y luego a través del elemento óptico de difracción 220. Las características de difracción 225 en el elemento óptico difractivo 220 producen un patrón de luz que se proyecta sobre un objeto 135.
[0027] La figura 3 es un diagrama que ilustra un ejemplo de una cámara 300 (o un receptor), de acuerdo con algunos modos de realización. El receptor 300 puede estar alojado con un transmisor (por ejemplo, el transmisor 200, figura 2) en un dispositivo de detección de profundidad. En algunos modos de realización, uno o más de los componentes descritos en referencia a la figura 3 pueden acoplarse y controlar la funcionalidad de un transmisor, por ejemplo, la longitud de un pulso láser generado por el transmisor, cuando emiten un pulso láser desde el transmisor, o la frecuencia para emitir un pulso láser desde el transmisor. En algunos modos de realización, el dispositivo 300 puede ser un dispositivo de detección configurado deliberadamente para la detección de la profundidad de luz estructurada. En algunos otros modos de realización, el dispositivo 300 puede configurarse como un sistema de tiempo de vuelo (TOF). Varios modos de realización pueden tener componentes adicionales o menores que los componentes ilustrados en la figura 3, o diferentes componentes.
[0028] La figura 3 representa un diagrama de bloques de alto nivel de un dispositivo 300 (dispositivo de captura de imágenes) que tiene un conjunto de componentes que incluye un procesador de imagen 320 vinculado a un conjunto
5
10
15
20
25
30
35
40
45
50
55
60
65
de sensores de imagen 315, y un transceptor 355. El procesador de imagen 320 también está en comunicación con una memoria de trabajo 305, una memoria 330 y un procesador de dispositivo 350, que a su vez está en comunicación con el almacenamiento 310 y la pantalla electrónica 325. En algunos modos de realización, el dispositivo 300 puede ser un teléfono celular, una cámara digital, una tablet, un asistente digital personal, o una cámara de gama alta o sistemas de formación de imágenes hechos específicamente para detección de profundidad. El dispositivo 300 puede incluir aplicaciones para aplicaciones fotográficas y de vídeo tradicionales, formación de imágenes de alto rango dinámico, fotos y vídeos panorámicos, o formación imágenes estereoscópicas tales como imágenes 3D o vídeo 3D.
[0029] En el ejemplo ilustrado en la figura 3, el dispositivo de captura de imágenes 300 incluye el conjunto de sensores de imagen 315 para la captura de imágenes externas. El conjunto de sensores de imagen 315 puede incluir un sensor, un conjunto de lente y una superficie refractiva o reflectora principal y secundaria para redirigir una parte de una imagen objetivo a cada sensor. Algunos modos de realización pueden tener más de un sensor. El conjunto de sensores de imagen puede estar acoplado al procesador de imagen 320 para transmitir la imagen capturada al procesador de imagen.
[0030] El procesador de imagen 320 puede estar configurado para realizar varias operaciones de procesamiento sobre los datos de imagen recibidos que comprenden todo o partes de una escena en la que los datos de imagen incluyen información de profundidad. El procesador de imagen 320 puede ser una unidad de procesamiento de propósito general o un procesador especialmente diseñado para aplicaciones de formación de imágenes. Entre los ejemplos de operaciones de procesamiento de imagen se incluyen recorte, escalado (por ejemplo, a una resolución diferente), unión de imagen, conversión de formato de imagen, interpolación de color, procesamiento de color, filtrado de imagen (por ejemplo, filtrado de imagen espacial), artefacto de lente o corrección de defecto, etc. El procesador de imagen 320 puede, en algunos modos de realización, comprender una pluralidad de procesadores. Ciertos modos de realización pueden tener un procesador dedicado a cada sensor de imagen. El procesador de imagen 320 puede ser uno o más procesadores de señal de imagen (ISP) dedicados o una implementación de software de un procesador.
[0031] Como se muestra en el ejemplo en la figura 3, el procesador de imagen 320 está conectado a una memoria 330 y una memoria de trabajo 305. En el modo de realización ilustrado, la memoria 330 almacena el módulo de control de captura 335, el módulo de sensor 340 y el sistema operativo 345. Estos módulos incluyen instrucciones que configuran el procesador de imagen 320 del procesador de dispositivos 350 para realizar diversos procesamientos de imágenes para determinar la información de profundidad de una o más imágenes y tareas de gestión de dispositivos. La memoria de trabajo 305 puede ser utilizada por el procesador de imagen 320 para almacenar un conjunto funcional de instrucciones de procesador contenidas en los módulos de la memoria 330. De forma alternativa, la memoria de trabajo 305 también puede ser utilizada por el procesador de imagen 320 para almacenar datos dinámicos creados durante el funcionamiento del dispositivo 300.
[0032] El dispositivo 300 también puede incluir un filtro de paso de banda 360 que está sintonizado (o configurado) para permitir el paso de una cierta frecuencia portadora, por ejemplo, una frecuencia portadora producida por el transmisor 100 de la figura 1. En algunos modos de realización, el filtro de paso de banda puede ser sintonizado y controlado, por ejemplo, por el módulo de control de captura 335, para permitir que una de varias frecuencias pase a través del conjunto de sensores 315. Esto permitiría que el dispositivo 300 se sintonice a una frecuencia portadora que corresponde a la frecuencia utilizada por un transmisor, lo cual facilitaría múltiples aplicaciones del sistema de formación de imágenes donde cada par transmisor/dispositivo de captura de imágenes (receptor) proyecta y recibe una frecuencia portadora diferente de luz NIR.
[0033] Como se mencionó anteriormente, el procesador de imagen 320 está configurado por varios módulos almacenados en las memorias. El módulo de control de captura 335 puede incluir instrucciones que configuran el procesador de imagen 320 para ajustar la posición de enfoque del conjunto de sensores de imagen 315. El módulo de control de captura 335 puede incluir además instrucciones que controlan las funciones generales de captura de imágenes del dispositivo 300 que incluyen funciones relacionadas con la captura de imágenes que tienen información de profundidad. Por ejemplo, el módulo de control de captura 335 puede incluir instrucciones que controlan un obturador del conjunto de sensores para aumentar o disminuir el tiempo de exposición, o ajustar el tiempo de inicio o fin de una ventana de exposición. El módulo de captura 335, solo o colectivamente con el módulo de control de sensor 340, puede acceder a subrutinas para configurar el procesador de imagen 320 para capturar imágenes de detección de profundidad de una escena usando el conjunto de sensores 315. El módulo de control de captura 335 también puede incluir la funcionalidad para controlar un transmisor de un dispositivo de detección de profundidad. El módulo de control de captura 335 también puede controlar el conjunto de sensores para capturar una imagen, por ejemplo, en coordinación con el transmisor que emite el pulso láser y en coordinación con otros dispositivos de captura de imágenes.
[0034] El módulo de control de sensor 340 puede comprender instrucciones que configuran el procesador de imagen 320 para realizar técnicas de unión y recorte en datos de imágenes capturadas. La generación de imágenes de destino puede ocurrir a través de técnicas de unión de imágenes conocidas.
5
10
15
20
25
30
35
40
45
50
55
60
65
[0035] El módulo del sistema operativo 345 configura el procesador de imagen 320 para gestionar la memoria de trabajo 305 y los recursos de procesamiento de dispositivo 300. Por ejemplo, el módulo de sistema operativo 345 puede incluir controladores de dispositivo para gestionar recursos de hardware tales como el conjunto de sensores de formación de imágenes 315. Por lo tanto, en algunos modos de realización, las instrucciones contenidas en los módulos de procesamiento de imágenes analizados anteriormente pueden no interactuar directamente con estos recursos de hardware, sino que, en lugar de eso, interactúan a través de API o subrutinas estándar ubicadas en el componente 370 del sistema operativo. Las instrucciones dentro del sistema operativo 345 pueden entonces interactuar directamente con estos componentes de hardware. El módulo de sistema operativo 345 puede configurar además el procesador de imagen 320 para compartir información con el procesador de dispositivo 350.
[0036] El procesador de dispositivo 350 puede estar configurado para controlar la visualización 325 para visualizar la imagen capturada, o una vista previa de la imagen capturada, a un usuario. La pantalla 325 puede ser externa al dispositivo de formación de imágenes 300 o puede ser parte del dispositivo de formación de imágenes 300. La pantalla 325 también puede configurarse para proporcionar un buscador de vistas que visualiza una imagen de vista previa para su uso antes de capturar una imagen, o puede configurarse para visualizar una imagen capturada almacenada en la memoria o recientemente capturada por el usuario. La pantalla 325 puede comprender una pantalla LCD o LED, y puede implementar tecnologías sensibles al tacto.
[0037] El procesador del dispositivo 350 puede escribir datos en el módulo de almacenamiento 310, por ejemplo, datos que representan las imágenes capturadas. Mientras que el módulo de almacenamiento 310 se representa gráficamente como un dispositivo de disco tradicional, los expertos en la materia entenderán que el módulo de almacenamiento 310 se puede configurar como cualquier dispositivo de almacenamiento. Por ejemplo, el módulo de almacenamiento 310 puede incluir una unidad de disco, tal como una unidad de disco flexible, una unidad de disco duro, una unidad de disco óptico o una unidad de disco magneto-óptico, o una memoria de estado sólido tal como una memoria FLASH, RAM, ROM y/o EEPROM. El módulo de almacenamiento 310 también puede incluir múltiples unidades de memoria, y cualquiera de las unidades de memoria puede configurarse para estar dentro del dispositivo de captura de imágenes 300, o puede ser externo al dispositivo de captura de imágenes 300. Por ejemplo, el módulo de almacenamiento 310 puede incluir una memoria ROM que contiene instrucciones del programa del sistema almacenadas dentro del dispositivo de captura de imágenes 300. El módulo de almacenamiento 310 también puede incluir tarjetas de memoria o memorias de alta velocidad configuradas para almacenar imágenes capturadas que pueden ser extraíbles de la cámara. El transceptor 355 se puede configurar para comunicar información con otros dispositivos de captura de imágenes para determinar que cada dispositivo debe capturar una imagen.
[0038] Aunque la figura 3 representa un dispositivo que tiene componentes separados para incluir un procesador, un sensor de imagen, y la memoria, un experto en la materia reconocerá que estos componentes separados se pueden combinar en una variedad de maneras para lograr los objetivos de diseño particulares. Por ejemplo, en un modo de realización alternativo, los componentes de memoria pueden combinarse con componentes de procesador para ahorrar costes y mejorar el rendimiento.
[0039] Además, aunque la figura 3 ilustra dos componentes de memoria, incluyendo el componente de memoria 330 que comprende varios módulos y una memoria independiente 305 que comprende una memoria de trabajo, un experto en la materia reconocería varios modos de realización que utilizan diferentes arquitecturas de memoria. Por ejemplo, un diseño puede utilizar ROM o memoria RAM estática para el almacenamiento de instrucciones del procesador que implementan los módulos contenidos en la memoria 330. Las instrucciones del procesador pueden cargarse en la RAM para facilitar la ejecución mediante el procesador de imagen 320. Por ejemplo, la memoria de trabajo 305 puede comprender memoria RAM, con instrucciones cargadas en la memoria de trabajo 305 antes de la ejecución mediante el procesador 320.
[0040] La figura 4 es un diagrama que ilustra un ejemplo de tres dispositivos de formación de imágenes de fuente de luz/cámara (sistemas de detección de profundidad) 405, 410 y 415, cada uno de los cuales está configurado para tener una salida de luz pulsada (por ejemplo, 406a, 411a y 416a, respectivamente) y una ventana de exposición (por ejemplo, 407a, 412a y 417a, respectivamente). La salida de luz pulsada puede definirse en general como una duración de tiempo cuando ocurre un pulso láser que ilumina una escena. La ventana de exposición puede definirse en general como una duración de tiempo para exponer un sensor en el dispositivo de formación de imágenes a una escena para detectar la radiación de la escena. La figura 4 ilustra un ejemplo en el que las salidas de luz pulsada 406a, 411a y 416a para cada dispositivo de formación de imágenes se producen en un momento diferente al de los otros dispositivos. La figura 4 también ilustra que las ventanas de exposición 407a, 412a y 417a para cada dispositivo de formación de imágenes se producen en un momento diferente que los otros dispositivos de formación de imágenes.
[0041] Por ejemplo, la figura 4 ilustra tres sistemas de detección de profundidad 405, 410 y 415, e ilustra un modo de realización donde diferentes sistemas de detección de profundidad producen un pulso láser y tienen un tiempo de exposición de cámara correspondiente que es diferente para cada sistema. El sistema de detección de profundidad 405 produce un pulso láser 406a, 406b para un período de tiempo de ancho de pulso 1a, 1b, ... y un período de tiempo de cámara correspondiente (ventana de exposición) igual (o casi igual) 407a, 407b cuando se adquiere una imagen. El sistema de detección de profundidad 410 produce un pulso láser 411a, 411b o un período de tiempo de
5
10
15
20
25
30
35
40
45
50
55
60
65
ancho de pulso 2a, 2b, ... y el período de tiempo de cámara correspondiente (ventana de exposición) igual (o casi igual) 412a, 412b cuando se adquiere una imagen (por ejemplo, exposición de cámara). El sistema de detección de profundidad 415 produce un pulso láser 416a, 416b o un período de tiempo de ancho de pulso 3a, 3b, ... y un período de tiempo de cámara (ventana de exposición) correspondiente igual (o casi igual) 417a, 417b cuando se adquiere una imagen.
[0042] En algunos modos de realización de los dispositivos de formación de imágenes, el láser puede estar emitiendo constantemente, o a una frecuencia de trama particular. Para evitar la interferencia entre los dispositivos de formación de imágenes, el láser puede funcionar para producir un pulso láser periódico o no periódico de una cierta frecuencia de trama, y la longitud de pulso del láser puede ajustarse. Si se desea una frecuencia de trama particular para iluminar la escena para todos los dispositivos de detección de profundidad, los dispositivos de formación de imágenes múltiples pueden compartir el tiempo de 1/frecuencia de trama. Por ejemplo, si hay cuatro dispositivos de detección de profundidad en una disposición para representar una escena (u objeto) y la frecuencia de trama de cada dispositivo de detección de profundidad es de un (1) trama por segundo, cada uno de los dispositivos de detección de profundidad puede producir una longitud de pulso de % de segundo y aun así lograr la (1) trama por segundo deseada. En este ejemplo, un dispositivo de detección de profundidad está configurado para retardar el inicio de sus emisiones de iluminación de pulso basándose en la detección iterativa de que la escena está siendo iluminada por otro dispositivo y puede autocoordinarse (es decir, sin comunicación con los otros dispositivos de detección de profundidad) para determinar un tiempo para producir un pulso láser de % de segundo y tener una ventana de exposición correspondiente que logre la frecuencia de trama deseada de una (1) trama por segundo. Dichos procesos pueden implementarse para configuraciones que tienen dispositivos de formación de imágenes con obturadores globales (como se ilustra en la figura 4) u obturadores basculantes (como se ilustra en la figura 5).
[0043] Por consiguiente, en diversos modos de realización, múltiples cámaras pueden compartir el tiempo de exposición total que está disponible sin interferir entre sí. Por ejemplo, en algunos modos de realización, un sistema de detección de profundidad puede configurarse para detectar cuándo la escena no está siendo iluminada por una fuente de luz (por ejemplo, desde uno de los otros sistemas de detección de profundidad) que causará interferencia con su propia detección de profundidad, y de no ser así, iluminar el sistema (por ejemplo, utilizando luz estructurada o tecnología TOF) y detectar la radiación proyectada. Si el sistema de detección de profundidad detecta que la escena incluye luz que puede interferir con su propio proceso de detección de profundidad, el sistema de detección de profundidad puede retardar la proyección de su iluminación y luego volver a detectar si la escena incluye luz que puede interferir con su propio proceso de detección de profundidad. Esto puede repetirse hasta que el sistema de detección de profundidad determine que la escena no incluye luz que interfiera con su proceso de detección de profundidad, y luego proceder a iluminar la escena y detectar la radiación proyectada. En algunos ejemplos, el retardo es para un cierto período de retardo, que puede o no estar predeterminado. Tener un período de retardo constante puede facilitar la resolución más fácil de las interferencias de múltiples dispositivos. Por ejemplo, como se ilustra en la figura 4, los sistemas de detección de profundidad 405 producen consistentemente un pulso de iluminación a una cierta frecuencia de trama durante el período de tiempo 1a, 2a, etc. Si el sistema de detección de profundidad 410 se retarda para evitar un primer pulso láser 406a y luego se ilumina a la misma frecuencia de trama que el sistema de detección de profundidad 405 durante el período de tiempo 2a, su pulso subsiguiente 411b iluminará la escena durante el período de tiempo 2b, evitando el pulso láser 406b producido durante el período de tiempo 1b. Tal proceso de retardo también puede realizarse mediante el sistema de detección de profundidad 415 y cualquier otro sistema de detección de profundidad adicional involucrado en la formación de imágenes de la escena. De esta forma, múltiples dispositivos de detección de profundidad pueden coordinar su iluminación/detección de la escena con otros dispositivos sin que se produzca ninguna comunicación entre los dispositivos, o sin dicha coordinación dirigida por otro dispositivo de control, por ejemplo, un dispositivo de red en comunicación con cada sistema de detección de profundidad para controlar cuándo cada uno de ellos forma una imagen de la escena.
[0044] En otros ejemplos, pueden usarse múltiples retardos de diferente duración, y que pueden o no ser predeterminados. Por ejemplo, el uso de diferentes retardos múltiples con duraciones puede evitar la interferencia de dos sistemas que intentan ambos proceder con una acción de detección de profundidad a la misma frecuencia de trama o similar y que tienen el mismo o similar tiempo de inicio. En algunos ejemplos, el retardo se determina dinámicamente, por ejemplo, se puede determinar al azar para intentar evitar interferencias repetitivas. Las duraciones de retardo pueden estar completamente determinadas por cada sistema de imagen por sí mismo sin comunicación entre los múltiples sistemas de detección de profundidad en una disposición.
[0045] La figura 5 ilustra un ejemplo de tres dispositivos de formación de imágenes de fuente de luz/cámara (dispositivos de detección de profundidad), cada uno de los cuales está configurado para tener una salida de luz pulsada y una ventana de exposición de cámara (duración de tiempo), donde los dispositivos de detección de profundidad tienen obturadores basculantes en lugar de obturadores globales (la salida de luz pulsada se puede denominar en el presente documento un pulso de iluminación). En algunos modos de realización donde uno o más de los dispositivos de detección de profundidad no tienen un obturador global (por ejemplo, en su lugar tienen un obturador basculante), los dispositivos de detección de profundidad pueden usarse en el mismo sistema y configurarse y accionarse para no interferir entre ellos Por ejemplo, en algunos modos de realización, las cámaras de detección de profundidad pueden configurarse para ajustar el tiempo cuando comienzan a emitir uno o más pulsos de iluminación, y/o pueden configurarse para ajustar la duración de un pulso de iluminación, y/o pueden ser
5
10
15
20
25
30
35
40
45
50
55
60
65
configurado para ajustar la frecuencia de trama de pulso de iluminación. Por ejemplo, en algunos modos de realización y cada uno de los dispositivos de detección de profundidad puede controlar que el tiempo sea conmutado en el tiempo, o controlado, (por ejemplo, con una frecuencia de trama inferior). En particular, los dispositivos de detección de profundidad 505, 510 y 515 están configurados para tener una salida de luz pulsada (por ejemplo, 506a y 506b, 511a y 511b, y 516a y 516b respectivamente) y una ventana de exposición (por ejemplo, 507a y 507b, 512a y 512b, y 517a 517b respectivamente).
[0046] Las salidas de luz pulsada 506a, 511a y 516a de cada dispositivo de detección de profundidad, 505, 510 y 515, respectivamente, se producen en un momento distinto que los otros dispositivos de detección de profundidad. Debido a que los dispositivos de detección de profundidad tienen obturadores basculantes que exponen partes de la escena a la vez (por ejemplo, un segmento horizontal de la escena que corresponde a una fila de un sensor en el sistema de detección de profundidad, por ejemplo, el conjunto sensor 315 en figura 3) las ventanas de exposición son diferentes para diferentes partes de la escena, como se ilustra en las ventanas de exposición trapezoidal. Con referencia al dispositivo de detección de profundidad 505, de manera similar al modo de realización ilustrado en la figura 4 para modos de realización de obturador global, el pulso láser ilumina una escena o un objeto durante un período de tiempo la y la ventana de exposición también es durante el período de tiempo 1a. Como apreciará un experto en la materia, dado que el obturador basculante solo expone una parte del sensor en cualquier momento, la duración total de la ventana de exposición en general será más larga, si todas las demás condiciones son iguales. Esto puede dar como resultado el uso de una frecuencia de trama global más baja para una cierta cantidad de dispositivos, o el uso de menos dispositivos y el mantenimiento de una determinada frecuencia de trama. Sin embargo, el ajuste de la longitud de pulso y el retardo de la emisión del pulso para iluminar la escena se puede realizar como se describe con referencia a la figura 4, y como se describe en otra parte de este documento.
[0047] La figura 6 es un diagrama de flujo que ilustra un ejemplo de un proceso 600 para agregar un dispositivo de detección de profundidad para interactuar junto con al menos otro dispositivo detector de profundidad en una disposición para producir imágenes para generar un modelo 3D de una escena, por ejemplo, un objeto. Aunque esto se analiza en el contexto de dos o más dispositivos de detección de profundidad que trabajan conjuntamente para que no interfieran entre sí mientras funcionan para producir imágenes que contienen información de profundidad, los dispositivos de detección de profundidad no necesitan comunicarse entre sí, directa ni indirectamente, para que este proceso funcione. En cambio, cada dispositivo de detección de profundidad puede configurarse para ajustar el tiempo que emite un pulso de iluminación, ajustar la duración de un pulso de iluminación, y/o ajustar la frecuencia de emisión de un pulso de iluminación. El proceso 600 puede realizarse, por ejemplo, mediante uno o más de los dispositivos divulgados en el presente documento. Por ejemplo, puede ser realizado por uno o más componentes del dispositivo de detección de profundidad 300 (figura 3). En algunos modos de realización, el procesador 350 (que también se puede denominar controlador) se puede configurar con instrucciones que se almacenan en la memoria (por ejemplo, la memoria de trabajo 305) para realizar el proceso de agregar dispositivo.
[0048] El proceso 600 comienza en el bloque 605 donde un dispositivo de detección de profundidad puede colocarse en una disposición con uno o más de otros dispositivos de detección de profundidad para recopilar imágenes que incluyen información de profundidad de una escena. En la figura 1 se ilustra una disposición de ejemplo que tiene cuatro dispositivos de detección de profundidad. El proceso 600 puede realizarse en cada uno de los dispositivos de detección de profundidad que se agregan a una disposición de dispositivos, y se describe en el contexto del dispositivo que se agregará. En el bloque 610, el proceso 600 activa una cámara (o un sensor) del sistema de detección de profundidad y detecta la iluminación de al menos una parte de la escena. En algunos modos de realización, la cámara funciona para detectar radiación en toda la escena. Por ejemplo, la cámara funciona para detectar la radiación que es similar a la radiación que se utilizará para ese dispositivo de detección de profundidad en particular (por ejemplo, IR, NIR, UV o visible). Active la cámara del dispositivo - obturador de trama completo.
[0049] En el bloque 615 proceso 600 determina si la cámara detecta la radiación relevante, en este ejemplo, luz NIR, indicando la presencia de otro dispositivo de detección de profundidad activo en la disposición. El proceso 600 es igualmente aplicable a los tipos de radiación que no sean NIR.
[0050] En el bloque 625, si no se detecta la radiación, el proceso 600 se convierte en el transmisor y ajusta el obturador, por ejemplo, a la longitud de pulso. El proceso 600 continúa hasta el bloque 645, lo cual indica que el dispositivo se ha agregado. Esto ejemplifica que un primer dispositivo de detección de profundidad agregado a una disposición puede no hacer ningún ajuste cuando se agrega por primera vez, pero puede realizar ajustes posteriormente a medida que se agregan dispositivos adicionales de detección de profundidad.
[0051] En el bloque 620, si se detecta la radiación, el obturador de la cámara se ajusta a la longitud de pulso láser. Esto puede hacerse, por ejemplo, colectivamente, mediante el módulo de control de captura 335 y el procesador 350 ilustrado en la figura 3.
[0052] El proceso 600 entonces continúa hasta el bloque 630 donde la cámara determina de nuevo si potencialmente hay radiación de interferencia (por ejemplo, NIR) en la escena. Si hay radiación en la escena, el
5
10
15
20
25
30
35
40
45
50
55
60
65
proceso 600 continúa hasta el bloque 635. Si no se detecta radiación potencialmente interferente, el proceso 600 continúa hasta el bloque 640.
[0053] En el bloque 635, el proceso cambia en el tiempo el comienzo de la trama, es decir, cuándo va a enviar su pulso de iluminación y su ventana de exposición de modo que no interfiera con la radiación en la escena, indicativo de otro dispositivo en el proceso de iluminar la escena. El proceso 600 continúa luego al bloque 630 donde nuevamente determina si la cámara detecta la potencia NIR en la escena.
[0054] En el bloque 640, que ahora ha detectado que no hay radiación potencialmente interferente en la escena, proceso 600 activa el transmisor 640 e ilumina la escena. En este punto, el dispositivo puede continuar iluminando la escena a una cierta frecuencia de trama y con una determinada longitud de pulso láser. El proceso puede a continuación proceder con otro proceso donde ilumina la escena y detecta información de profundidad. En algunos modos de realización en los que la frecuencia de trama puede variar, el dispositivo de detección de profundidad puede detectar la escena para la radiación potencialmente interferente antes de que ilumine la escena. Esto puede hacerse cada vez, o periódicamente, o de acuerdo con otro programa de detección.
[0055] En el bloque 645, el proceso 600 para agregar un dispositivo finaliza.
[0056] La figura 7 es un diagrama de flujo del proceso que ilustra un ejemplo de un procedimiento 700 para coordinar múltiples cámaras de detección de profundidad que pueden ser realizadas por uno o más de los sistemas divulgados en el presente documento u otros sistemas. El procedimiento 700 puede ser operativo en un dispositivo de detección de profundidad para capturar una imagen que contiene información de profundidad de una escena en un sistema de detección de profundidad que incluye al menos dos dispositivos de detección de profundidad. En algunos modos de realización, el dispositivo ilustrado en la figura 3 puede realizar el procedimiento ilustrado.
[0057] En el bloque 705, el procedimiento 700 detecta la luz reflejada de una escena utilizando un sensor, con la luz indicativa de la escena que está siendo iluminada por un dispositivo de detección de profundidad. En el bloque de decisión 708, la luz detectada se evalúa para determinar si se detectó luz (indicativa de otro dispositivo de detección de profundidad) en la escena.
[0058] En el bloque 710 si se detecta la luz de la escena, el procedimiento 700 ajusta un obturador (por ejemplo, el tiempo que el obturador está abierto) del dispositivo de detección de profundidad, a una longitud de pulso láser detectada, y de nuevo detecta la luz de la escena y procede al bloque 715. Esto puede tener el efecto de ajustar el obturador a un período suficientemente pequeño para evitar recibir luz proyectada desde otro dispositivo y permitir que ambos dispositivos funcionen para formar mapas de detección de profundidad dentro del mismo marco de tiempo general, es decir, sin tener un dispositivo funcionando primero, a continuación desactivarlo completo y a continuación hacer funcionar un segundo dispositivo.
[0059] En el bloque 720 si no se detecta la luz de la escena, el procedimiento 700 activa un disparador del dispositivo de detección de profundidad para capturar información de la reflexión de la luz durante la ventana de exposición y procede al bloque 730.
[0060] En el bloque 715, el procedimiento 700 determina si se detecta luz de la escena. Si ahora no se detecta luz, el procedimiento procede al bloque 720. Si se detecta ganancia de luz, el procedimiento procede al bloque 725 donde se pueden realizar ajustes adicionales al inicio de la ventana de exposición y/o el tiempo que el obturador está abierto para capturar la luz. Una vez que se realiza un ajuste adicional (por ejemplo, para retardar el inicio de la ventana de exposición, el procedimiento procede desde el bloque 725 al bloque 715 donde nuevamente determina si se detecta luz de la escena, siendo la luz indicativa de otro sistema de detección de profundidad funcionando y proyectando luz en la escena. El procedimiento 700 repite iterativamente la detección si hay luz presente en la escena y retarda el inicio de una ventana de exposición y/o puede ajustar la ventana del obturador hasta que no se detecte la luz.
[0061] En el bloque 730, el procedimiento 700 activa el transmisor y el receptor para la ventana de exposición, proyectando luz en la escena en una serie de pulsos, teniendo la serie de pulsos una frecuencia de pulso y teniendo cada pulso una longitud de pulso, y detectando luz proyectada desde la escena usando el receptor, transmisor del dispositivo de detección de profundidad para proyectar luz sobre la escena durante una ventana de exposición. Esto incluye activar el obturador del dispositivo de detección de profundidad para capturar información del reflejo de la luz durante la ventana de exposición, incluyendo la luz proyectada una serie de pulsos que tienen una longitud de pulso y una frecuencia de pulso.
Implementación de sistemas y terminología
[0062] Las implementaciones divulgadas en el presente documento proporcionan sistemas, procedimientos y aparatos para cámaras de matriz de apertura múltiple libres de distorsiones de paralaje e inclinación. Un experto en la materia reconocerá que estos modos de realización pueden implementarse en hardware, software, firmware o cualquier combinación de los mismos.
5
10
15
20
25
30
35
40
45
50
55
60
65
[0063] En algunos modos de realización, circuitos, los procesos y sistemas analizados anteriormente pueden utilizarse en un dispositivo de comunicación inalámbrica. El dispositivo de comunicación inalámbrica puede ser un tipo de dispositivo electrónico utilizado para comunicarse de forma inalámbrica con otros dispositivos electrónicos. Entre los ejemplos de dispositivos de comunicación inalámbrica se incluyen teléfonos celulares, teléfonos inteligentes, asistentes digitales personales (PDA), lectores electrónicos, sistemas de juegos, reproductores de música, netbooks, módems inalámbricos, ordenadores portátiles, dispositivos de tablet, etc.
[0064] El dispositivo de comunicación inalámbrica puede incluir uno o más sensores de imagen, dos o más procesadores de señal de imagen, una memoria que incluye instrucciones o módulos para llevar a cabo el proceso de CNR analizado anteriormente. El dispositivo también puede tener datos, instrucciones de carga del procesador y/o datos de la memoria, una o más interfaces de comunicación, uno o más dispositivos de entrada, uno o más dispositivos de salida tales como un dispositivo de visualización y una interfaz / fuente de alimentación. El dispositivo de comunicación inalámbrica puede incluir adicionalmente un transmisor y un receptor. El transmisor y el receptor se pueden denominar conjuntamente un transceptor. El transceptor puede estar acoplado a una o más antenas para transmitir y/o recibir señales inalámbricas.
[0065] El dispositivo de comunicación inalámbrica puede conectarse de forma inalámbrica a otro dispositivo electrónico (por ejemplo, estación base). Un dispositivo de comunicación inalámbrica puede denominarse de forma alternativa un dispositivo móvil, una estación móvil, una estación de abonado, un equipo de usuario (UE), una estación remota, un terminal de acceso, un terminal móvil, un terminal, un terminal de usuario, una unidad de abonado, etc. Entre los ejemplos de dispositivos de comunicación inalámbrica se incluyen ordenadores portátiles o de escritorio, teléfonos celulares, teléfonos inteligentes, módems inalámbricos, lectores electrónicos, tablets, sistemas de juegos, etc. Los dispositivos de comunicación inalámbrica pueden funcionar de acuerdo con uno o más estándares de la industria tales como el Proyecto de Asociación de Tercera Generación (3GPP). Por lo tanto, la expresión general "dispositivo de comunicación inalámbrica" puede incluir dispositivos de comunicación inalámbrica descritos con nomenclaturas variables de acuerdo con las normas de la industria (por ejemplo, terminal de acceso, equipo de usuario (EU), terminal remoto, etc.).
[0066] Las funciones descritas en el presente documento pueden almacenarse en forma de una o más instrucciones en un medio legible por procesador o legible por ordenador. La expresión "medio legible por ordenador" se refiere a cualquier medio disponible al que se pueda acceder por un ordenador o un procesador. A modo de ejemplo, y no de manera limitativa, tal medio puede comprender una RAM, ROM, EEPROM, memoria flash, CD-ROM u otro almacenamiento de disco óptico, almacenamiento de disco magnético u otros dispositivos de almacenamiento magnéticos, o cualquier otro medio que pueda usarse para almacenar código de programa deseado en forma de instrucciones o estructuras de datos y al que se pueda acceder por un ordenador. Los discos, tal y como se usan en el presente documento, incluyen el disco compacto (CD), el disco de láser, el disco óptico, el disco versátil digital (DVD), el disco flexible y el disco Blu-ray®, donde algunos discos habitualmente reproducen datos de manera magnética, mientras que otros discos reproducen datos de manera óptica con láser. Ha de apreciarse que un medio legible por ordenador puede ser tangible y no transitorio. La expresión "producto de programa informático" se refiere a un dispositivo o procesador de computación junto con un código o instrucciones (por ejemplo, un "programa") que puede ejecutarse, procesarse o computarse mediante el dispositivo o procesador de computación. Como se usa en el presente documento, el término "código" puede referirse a software, instrucciones, código o datos que son ejecutables por un dispositivo o procesador de computación.
[0067] El software o las instrucciones pueden transmitirse también a través de un medio de transmisión. Por ejemplo, si el software se transmite desde un sitio web, un servidor u otro origen remoto usando un cable coaxial, un cable de fibra óptica, un par trenzado, una línea de abonado digital (DSL) o tecnologías inalámbricas tales como infrarrojos, radio y microondas, entonces el cable coaxial, el cable de fibra óptica, el par trenzado, la DSL o las tecnologías inalámbricas tales como infrarrojos, radio y microondas se incluyen en la definición de medio de transmisión.
[0068] Los procedimientos divulgados en el presente documento comprenden una o más etapas o acciones para lograr el procedimiento descrito. Las etapas y/o acciones del procedimiento se pueden intercambiar entre sí sin apartarse del alcance de las reivindicaciones. En otras palabras, a menos que se requiera un orden específico de los pasos o acciones para una operación apropiada del procedimiento que se describe, el orden y/o el uso de pasos y/o acciones específicos puede modificarse sin apartarse del alcance de las reivindicaciones.
[0069] Hay que señalar que los términos "par", "acoplamiento", "acoplado" u otras variaciones de la palabra par, como se usa en el presente documento, puede indicar o bien una conexión indirecta o una conexión directa. Por ejemplo, si un primer componente está "acoplado" a un segundo componente, el primer componente puede estar indirectamente conectado al segundo componente o conectado directamente al segundo componente. Como se usa en el presente documento, el término "pluralidad" denota dos o más. Por ejemplo, una pluralidad de componentes indica dos o más componentes.
5
10
15
20
25
30
35
[0070] El término "determinación" incluye una amplia variedad de acciones y, por lo tanto, "determinación" puede incluir el cálculo, la computación, el procesamiento, la obtención, la investigación, la consulta (por ejemplo, la consulta en una tabla, en una base de datos o en otra estructura de datos), la verificación y similares. Además, "determinar" puede incluir recibir (por ejemplo, recibir información), acceder, (por ejemplo, acceder a datos de una memoria) y similares. Asimismo, "determinar" puede incluir resolver, seleccionar, elegir, establecer y similares.
[0071] La expresión "basado en" no significa "basado únicamente en", a menos que se especifique expresamente lo contrario. En otras palabras, la frase "basándose en" describe tanto "basándose únicamente en" como "basándose al menos en".
[0072] En la descripción anterior, se dan detalles específicos para proporcionar una comprensión completa de los ejemplos. Sin embargo, un experto en la materia entenderá que pueden llevarse a la práctica los ejemplos sin estos detalles específicos. Por ejemplo, los componentes eléctricos/dispositivos pueden mostrarse en diagramas de bloques para no oscurecer los ejemplos con detalles innecesarios. En otros casos, dichos componentes, otras estructuras y técnicas se pueden mostrar en detalle para explicar mejor los ejemplos.
[0073] Los títulos se incluyen en el presente documento para referencia y para facilitar la localización de varias secciones. Estas cabeceras no pretenden limitar el alcance de los conceptos descritos con respecto a los mismos. Tales conceptos pueden tener aplicabilidad a lo largo de toda la memoria descriptiva.
[0074] Además, debe observarse que los ejemplos pueden describirse como un proceso que se representa como un organigrama, un diagrama de flujo, un diagrama de estados finitos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o simultáneamente, y el proceso puede repetirse. Además, el orden de las operaciones puede reorganizarse. Un proceso se termina cuando sus operaciones se completan. Un proceso puede corresponder a un procedimiento, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso se corresponde con una función de software, su finalización corresponde al retorno de la función a la función de llamada o la función principal.
[0075] La anterior descripción de las implementaciones divulgadas se proporciona para permitir que cualquier experto en la materia realice o use la presente invención. Diversas modificaciones de estas implementaciones resultarán fácilmente evidentes a los expertos en la materia, y los principios genéricos definidos en el presente documento pueden aplicarse a otros modos de realización sin apartarse del espíritu o el alcance de la invención. Por tanto, la presente invención no pretende limitarse a las implementaciones mostradas en el presente documento, sino que se le concede el alcance más amplio compatible con los principios y características novedosas divulgados en el presente documento.

Claims (15)

10
15
20
25
30
35
40
2.
45
50
3.
55
4.
5.
60
REIVINDICACIONES
Un dispositivo de detección de profundidad (100a-d) para capturar una imagen que contiene información de profundidad de una escena, que comprende:
un transmisor (200) capaz de proyectar luz sobre una escena, comprendiendo el transmisor un láser (210) capaz de producir un haz de luz (230) que incluye una serie de pulsos láser, teniendo cada pulso una longitud de pulso y la serie de pulsos producidos en una frecuencia de pulso, y
un receptor (300) acoplado al transmisor (200) en una orientación relativa conocida, comprendiendo el receptor un obturador y un conjunto de sensores (315) capaz de producir una imagen basándose en la luz de detección proyectada por el transmisor (200) y reflejada desde la escena; y
un controlador que comprende un procesador (350), el controlador acoplado al transmisor (200) y el receptor (300), con el controlador configurado para:
determinar, basándose en una primera imagen del receptor (300), que la luz indicativa de al menos otro dispositivo de detección de profundidad (100a-d) está presente en la escena;
en respuesta a la determinación de que la luz está presente en la escena basándose en la primera imagen:
i) controlar la longitud de pulso de la serie de pulsos láser para evitar interferir con la luz que se determina que está presente en la escena,
ii) ajustar un período de exposición del obturador para sincronizar con la longitud de pulso controlada,
iii) determinar, basándose en una próxima imagen del receptor (300), si la luz todavía está presente en la escena,
iv) en respuesta a determinar que la luz todavía está presente en la escena, retardar el inicio de una ventana de exposición y continuar determinando, basándose en una próxima imagen de la pluralidad de imágenes del receptor, si la luz todavía está presente en la escena; y
en respuesta a determinar que la luz no está presente en la escena, iniciar la ventana de exposición, con la ventana de exposición que comprende producir un pulso láser de la serie de pulsos láser a la longitud de pulso controlada y activar el obturador durante el período de exposición de modo que el receptor (300) detecte el pulso láser reflejado desde la escena.
El dispositivo de detección de profundidad según la reivindicación 1, en el que
el láser (210) es capaz de producir un haz de luz infrarroja cercana, NIR (230),
el transmisor comprende además un elemento óptico (220) posicionado para recibir el haz de luz NIR (230) emitido desde el láser (210), incluyendo el elemento óptico (220) una pluralidad de características (225) configuradas para producir un patrón de luz estructurada conocido cuando el haz de luz NIR (230) se propaga a través del elemento óptico (220), y
el controlador está configurado además para determinar la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena que utiliza el receptor.
El sistema de detección de profundidad según la reivindicación 2, en el que la pluralidad de características (225) incluye una pluralidad de características ópticas difractivas.
El dispositivo de detección de profundidad según la reivindicación 1, en el que el transmisor (200) comprende un transmisor de tiempo de vuelo, TOF.
El dispositivo de detección de profundidad según la reivindicación 2, en el que el controlador está configurado además para activar el transmisor (200) para proyectar un patrón de luz estructurada en la escena y ajustar el obturador para sincronizarse con la longitud de pulso del haz de luz NIR si el controlador determina que no hay luz NIR indicativa de un patrón de luz estructurada presente en la escena.
El dispositivo de detección de profundidad según la reivindicación 5, en el que el controlador está configurado además para retardar la producción por parte del transmisor (200) de un haz de luz NIR (230) durante un período de retardo si el controlador determina la presencia de luz NIR indicativa de un patrón de luz
5
10
15
20
25
30
35
40
45
50
55
60
65
estructurada en la escena, y al final del período de retardo, comprobar nuevamente la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena.
7. El sistema de detección de profundidad según la reivindicación 1, en el que el obturador comprende un obturador basculante, y en el que durante el tiempo de exposición el controlador activa el obturador basculante para escanear la escena cuando la escena es iluminada por la luz proyectada por el transmisor.
8. El sistema de detección de profundidad según la reivindicación 1, en el que el controlador está configurado para determinar una ventana de exposición sin comunicarse con el al menos otro dispositivo de detección de profundidad u otro sistema de sincronización.
9. El sistema de detección de profundidad según la reivindicación 1, en el que el controlador está configurado además para ajustar la frecuencia de pulso basándose en la presencia determinada de luz en la escena, de modo que el transmisor proyecta luz sobre la escena durante una ventana de exposición que es temporalmente diferente de cuando cualquier otro del al menos un dispositivo de detección de profundidad está iluminando la escena.
10. Un procedimiento operativo en un dispositivo de detección de profundidad (100a-d) para capturar una imagen que contiene información de profundidad de una escena, comprendiendo el procedimiento:
detectar, basándose en una primera imagen recibida de un sensor (315), que la luz indicativa de al menos otro dispositivo de detección de profundidad (100a-d) está presente en una escena;
en respuesta a detectar que la luz no está presente en la escena basándose en la primera imagen, activar un transmisor (200) del dispositivo de detección de profundidad para proyectar luz sobre la escena durante una ventana de exposición y activar un obturador del dispositivo de detección de profundidad para capturar información del reflejo de la luz durante la ventana de exposición, incluyendo el transmisor (200) un láser (210), incluyendo la luz proyectada un haz de luz (230) del láser (210), incluyendo el haz de luz (230) una serie de pulsos que tienen una longitud de pulso y una frecuencia de pulso;
en respuesta a la detección de que la luz está presente en la escena basándose en la primera imagen:
i) ajustar el obturador del dispositivo de detección de profundidad a una longitud de pulso láser detectada;
ii) controlar la longitud de pulso de la serie de pulsos láser sincronizados con el obturador ajustado para evitar interferir con la luz detectada en la escena;
iii) detectar, basándose en una imagen siguiente de la pluralidad de imágenes del receptor, si la luz todavía está presente en la escena;
iv) en respuesta a detectar que la luz todavía está presente en la escena, retardar el inicio de una ventana de exposición ajustada y continuar con la determinación, basándose en una próxima imagen de la pluralidad de imágenes del receptor, si la luz todavía está presente en la escena; y
en respuesta a determinar que la luz no está presente en la escena, iniciar la ventana de exposición ajustada, comprendiendo la ventana de exposición ajustada producir un pulso láser de la serie de pulsos láser a la longitud de pulso controlada y activar el obturador durante el período de exposición de modo que el receptor detecte el pulso láser reflejado en la escena.
11. El procedimiento según la reivindicación 10, en el que
el transmisor (200) produce un haz de luz infrarroja cercana, NIR (230),
el transmisor (200) comprende un elemento óptico (220) posicionado para recibir el haz de luz NIR (230) emitido desde el láser (210), incluyendo el elemento óptico (220) una pluralidad de características (225) configuradas para producir un patrón de luz estructurada conocida cuando el haz de luz NIR (230) se propaga a través del elemento óptico (220), y
en el que la detección de luz desde la escena comprende detectar la presencia de luz NIR indicativa de un patrón de luz estructurada en la escena usando el receptor (300),
en el que la pluralidad de características (225) incluye preferentemente una pluralidad de características ópticas difractivas.
12.
El procedimiento según la reivindicación 10, en el que el transmisor (200) comprende un transmisor de tiempo de vuelo, TOF.
13. 5
El procedimiento según la reivindicación 10, en el que el obturador comprende un obturador basculante, y en el que durante la ventana de exposición el controlador activa el obturador basculante para escanear la escena cuando la escena es iluminada por la luz proyectada por el transmisor (200).
14.
El procedimiento según la reivindicación 10, en el que un controlador determina la ventana de exposición sin comunicarse con el al menos otro dispositivo de detección de profundidad u otro sistema de sincronización.
10 15.
El procedimiento según la reivindicación 10, que comprende además ajustar la frecuencia de pulso basándose en la presencia determinada de luz en la escena de modo que el transmisor proyecta luz sobre la escena durante una ventana de exposición que es temporalmente diferente que cuando cualquier otro de los al menos un dispositivo de detección de profundidad está iluminando la escena.
15 16.
Un medio legible por ordenador que contiene instrucciones no transitorias que, cuando son ejecutadas por uno o más procesadores de un dispositivo de detección de profundidad (100a-d), hacen que el dispositivo de detección de profundidad realice un procedimiento de acuerdo con cualquiera de las reivindicaciones 10 a 15.
ES15730595.4T 2014-06-20 2015-06-02 Sincronización automática de múltiples cámaras de profundidad mediante el uso compartido del tiempo Active ES2690270T3 (es)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462015358P 2014-06-20 2014-06-20
US201462015232P 2014-06-20 2014-06-20
US201462015232P 2014-06-20
US201462015358P 2014-06-20
US14/599,248 US10419703B2 (en) 2014-06-20 2015-01-16 Automatic multiple depth cameras synchronization using time sharing
US201514599248 2015-01-16
PCT/US2015/033695 WO2015195318A1 (en) 2014-06-20 2015-06-02 Automatic multiple depth cameras synchronization using time sharing

Publications (1)

Publication Number Publication Date
ES2690270T3 true ES2690270T3 (es) 2018-11-20

Family

ID=54870855

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15730595.4T Active ES2690270T3 (es) 2014-06-20 2015-06-02 Sincronización automática de múltiples cámaras de profundidad mediante el uso compartido del tiempo

Country Status (10)

Country Link
US (1) US10419703B2 (es)
EP (1) EP3158286B1 (es)
JP (1) JP6517244B2 (es)
KR (1) KR102376285B1 (es)
CN (1) CN106461783B (es)
BR (1) BR112016029603A2 (es)
CA (1) CA2951461A1 (es)
ES (1) ES2690270T3 (es)
HU (1) HUE039700T2 (es)
WO (1) WO2015195318A1 (es)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953428B2 (en) * 2015-03-03 2018-04-24 Microsoft Technology Licensing, Llc Digital camera unit with simultaneous structured and unstructured illumination
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
WO2017178711A1 (en) * 2016-04-13 2017-10-19 Oulun Yliopisto Distance measuring device and transmitter, receiver and method thereof
KR102728197B1 (ko) 2016-07-11 2024-11-11 삼성전자주식회사 영상의 초점을 제어하는 전자 장치와 이의 동작 방법
US10627494B2 (en) * 2016-09-16 2020-04-21 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
CA3037058C (en) * 2016-09-30 2024-04-02 Magic Leap, Inc. Projector with spatial light modulation
TWI678121B (zh) * 2016-10-20 2019-11-21 宏達國際電子股份有限公司 用於一燈塔定位系統之輔助裝置
US10033988B2 (en) * 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
KR102748710B1 (ko) * 2016-12-08 2025-01-02 삼성전자주식회사 무인비행체를 제어하는 전자 장치 및 그 제어 방법
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US20180295338A1 (en) * 2017-04-10 2018-10-11 Eys3D Microelectronics, Co. Depth processing system capable of capturing depth information from multiple viewing points
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10627492B2 (en) * 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
EP3474541A1 (en) * 2017-10-17 2019-04-24 ams AG 3d camera system with rolling-shutter image sensor and array of addressable light sources
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN107911575B (zh) * 2017-11-02 2018-10-26 中国矿业大学 一种高精度低功耗多相机同步触发系统
CN108802746B (zh) * 2017-11-30 2024-02-13 北醒（北京）光子科技有限公司 一种抗干扰的测距方法及装置
US10809363B2 (en) * 2017-11-30 2020-10-20 Benewake (Beijing) Co., Ltd. Anti-interference ranging method and apparatus
CN108124466B (zh) * 2017-12-11 2021-12-17 达闼机器人有限公司 激光探测方法及系统
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
WO2019129544A1 (en) 2017-12-26 2019-07-04 Robert Bosch Gmbh Single-chip rgb-d camera
CN109996057B (zh) * 2017-12-29 2021-06-18 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN108174180B (zh) * 2018-01-02 2019-07-30 京东方科技集团股份有限公司 一种显示装置、显示系统及三维显示方法
EP3514574A1 (en) 2018-01-19 2019-07-24 Koninklijke Philips N.V. Time-of-flight imaging system for autonomous movable objects
CN110072065B (zh) * 2018-01-23 2021-04-27 舜宇光学（浙江）研究院有限公司 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用
KR102597197B1 (ko) * 2018-01-24 2023-11-01 사이버옵틱스 코포레이션 거울 표면을 위한 구조화 광의 투영
CN108333859B (zh) * 2018-02-08 2024-03-12 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
DE102018203584B4 (de) * 2018-03-09 2024-06-13 Robert Bosch Gmbh Betriebsverfahren für ein LiDAR-System, Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
KR102549434B1 (ko) * 2018-04-02 2023-06-28 엘지전자 주식회사 깊이 센서 제어 시스템
US10330789B1 (en) * 2018-04-10 2019-06-25 Facebook Technologies, Llc Proximity sensor system with an infrared optical element
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN108955641B (zh) * 2018-04-23 2020-11-17 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN108563084B (zh) * 2018-05-25 2020-10-23 深圳新亮智能技术有限公司 多结构光图案三维传感系统
CN109459738A (zh) * 2018-06-06 2019-03-12 杭州艾芯智能科技有限公司 一种多台tof相机相互避免干扰的方法及系统
CN108897000B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 一种串扰抑制方法、装置、电子设备和计算机可读介质
US10708484B2 (en) * 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
JP7123163B6 (ja) 2018-06-28 2022-10-03 オッポ広東移動通信有限公司 深度プロセッサ及び３次元画像機器
CN118836845A (zh) 2018-07-13 2024-10-25 拉布拉多系统公司 能够在不同环境照明条件下操作的移动设备的视觉导航
US10969668B2 (en) * 2018-07-24 2021-04-06 Qualcomm Incorporated Adjustable light distribution for active depth sensing systems
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
KR102473494B1 (ko) 2018-08-17 2022-12-02 삼성전자주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
US10812731B2 (en) * 2018-08-22 2020-10-20 Qualcomm Incorporated Adjustable receiver exposure times for active depth sensing systems
CN109104583B (zh) * 2018-08-22 2021-01-15 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
CN108965732B (zh) * 2018-08-22 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
EP4250753A3 (en) * 2018-08-30 2023-11-01 Veo Robotics, Inc. Depth-sensing computer vision system
US11237256B2 (en) 2018-09-19 2022-02-01 Waymo Llc Methods and systems for dithering active sensor pulse emissions
US10732285B2 (en) 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788195B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660731B (zh) * 2019-01-04 2021-04-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587303B (zh) * 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
WO2020149981A1 (en) * 2019-01-17 2020-07-23 Gentex Corporation Alignment system
WO2020167338A1 (en) 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
CA3129916C (en) * 2019-02-15 2022-10-18 Appharvest Technology, Inc. Depth and vision sensors for challenging agricultural environments
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
US20220225958A1 (en) * 2019-05-30 2022-07-21 Koninklijke Philips N.V. Encoded synchronized medical intervention image signals and sensor signals
CN110198409B (zh) * 2019-05-30 2021-07-09 Oppo广东移动通信有限公司 终端的控制方法及控制装置、终端及计算机可读存储介质
US11561085B2 (en) * 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
US12306307B2 (en) 2019-06-10 2025-05-20 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
CN110266394B (zh) * 2019-06-10 2021-08-31 Oppo广东移动通信有限公司 调节方法、终端及计算机可读存储介质
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11438486B2 (en) 2019-08-26 2022-09-06 Qualcomm Incorporated 3D active depth sensing with laser pulse train bursts and a gated sensor
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
CN110850426B (zh) * 2019-11-20 2022-02-11 浙江光珀智能科技有限公司 一种tof深度相机
US11733359B2 (en) * 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
CN113447954B (zh) * 2020-03-25 2024-06-04 深圳市光鉴科技有限公司 场景深度测量方法、系统、设备及存储介质
US11277551B2 (en) * 2020-04-03 2022-03-15 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
JP2022018229A (ja) * 2020-07-15 2022-01-27 富士通株式会社 距離測定装置、距離測定方法及びプログラム
JP7494625B2 (ja) * 2020-07-29 2024-06-04 株式会社Ｊｖｃケンウッド 赤外線撮像装置
JP7000511B1 (ja) 2020-07-31 2022-01-19 株式会社東芝 レーダ装置および電波干渉低減方法
JP7260513B2 (ja) * 2020-08-20 2023-04-18 京セラ株式会社 測距装置、車両及び測距方法
CN112098979A (zh) * 2020-09-16 2020-12-18 青岛维感科技有限公司 一种多台tof相机联合工作防干扰方法、tof相机及电子设备
CN116324487A (zh) * 2020-10-13 2023-06-23 索尼半导体解决方案公司 传感器控制系统和传感器
CN112729114A (zh) * 2020-12-29 2021-04-30 广州艾目易科技有限公司 一种具有多通讯方式的光学定位方法及系统
US12442926B2 (en) 2021-02-04 2025-10-14 Apple Inc. Time-of-flight depth sensing with improved linearity
WO2022173517A1 (en) 2021-02-09 2022-08-18 Verily Life Sciences Llc Pulsed light imaging using rolling shutter image sensors
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US12196860B2 (en) 2021-03-02 2025-01-14 Apple Inc. Depth sensor calibration using internal reflections
JP7676827B2 (ja) * 2021-03-10 2025-05-15 オムロン株式会社 物体検出システム
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN114643580B (zh) * 2022-03-29 2023-10-27 杭州海康机器人股份有限公司 一种机器人控制方法、装置及设备
CN116939370A (zh) * 2022-04-01 2023-10-24 北京字跳网络技术有限公司 一种多设备的拍摄控制方法及vr头显设备
CN118330673B (zh) * 2024-06-17 2024-10-15 欧菲微电子(南昌)有限公司 深度成像模组、深度成像方法及电子装置
CN119437311B (zh) * 2024-11-08 2025-11-04 中国工程物理研究院激光聚变研究中心 基于结构光编码和瞬态光栅快门的单发成像装置及方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
EP1262751B1 (de) * 2001-06-01 2011-04-06 Ivoclar Vivadent AG Vorrichtung und Verfahren zur Lichtanalyse
WO2005022900A2 (en) 2003-08-26 2005-03-10 Redshift Systems Corporation Infrared camera system
ATE367587T1 (de) * 2003-10-29 2007-08-15 Fraunhofer Ges Forschung Abstandssensor und verfahren zur abstandserfassung
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
CN101453662B (zh) 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110273379A1 (en) * 2010-05-05 2011-11-10 Google Inc. Directional pad on touchscreen
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
HRP20231180T1 (hr) * 2011-06-30 2024-01-05 Microsoft Technology Licensing, Llc Smanjenje latencije u kodiranju i dekodiranju videozapisa
TWI450156B (zh) 2011-07-15 2014-08-21 Wistron Corp 光學影像式觸控裝置與觸控影像處理方法
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US8523076B2 (en) * 2012-01-10 2013-09-03 Metrologic Instruments, Inc. Omnidirectional laser scanning bar code symbol reader generating a laser scanning pattern with a highly non-uniform scan density with respect to line orientation
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
US10477184B2 (en) 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
US9207070B2 (en) * 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
US9161019B2 (en) 2012-09-10 2015-10-13 Aemass, Inc. Multi-dimensional data capture of an environment using plural devices
US9625994B2 (en) * 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor

Also Published As

Publication number Publication date
US10419703B2 (en) 2019-09-17
EP3158286B1 (en) 2018-07-18
CA2951461A1 (en) 2015-12-23
BR112016029603A2 (pt) 2017-08-22
JP2017527777A (ja) 2017-09-21
WO2015195318A1 (en) 2015-12-23
KR20170017927A (ko) 2017-02-15
HUE039700T2 (hu) 2019-01-28
US20150373322A1 (en) 2015-12-24
JP6517244B2 (ja) 2019-05-22
KR102376285B1 (ko) 2022-03-17
CN106461783B (zh) 2019-10-25
CN106461783A (zh) 2017-02-22
EP3158286A1 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
KR102376285B1 (ko) 시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화
US10325376B2 (en) Machine vision for ego-motion, segmenting, and classifying objects
JP7329444B2 (ja) 機械知覚のためのシステム及び方法
CN110073243B (zh) 利用动态体素探测的快速扫描激光雷达
CN113556528B (zh) 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
US11785200B1 (en) Stage studio for immersive 3-D video capture
US10049458B2 (en) Reducing interference between multiple infra-red depth cameras
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US10962764B2 (en) Laser projector and camera
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN112739980B (zh) 多阶段有源光深度系统
WO2013052781A1 (en) Method and apparatus to determine depth information for a scene of interest
CN108885264A (zh) 对象的实时位置感测
CN109425306A (zh) 深度测量组件
CN104145276A (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
CN114793272B (zh) 用于具有多个图像传感器的成像系统的照明控制
TW201945759A (zh) 具有改變的發射場之飛行時間測距
JP2024507706A (ja) 高解像度飛行時間深度画像化
CN119318155A (zh) 用于多视图图像捕获的照明控制
Wei Computational Imaging across Simultaneous Timescales
WO2024081491A1 (en) Active depth sensing
TW202115364A (zh) 利用雷射脈衝列叢發和閘控感測器的3d主動深度感測