BR112017027969B1 - Métodos e aparelhos para a realização da estimativa de exposição utilizando de um sensor de tempo de voo - Google Patents

Métodos e aparelhos para a realização da estimativa de exposição utilizando de um sensor de tempo de voo Download PDF

Info

Publication number
BR112017027969B1
BR112017027969B1 BR112017027969-0A BR112017027969A BR112017027969B1 BR 112017027969 B1 BR112017027969 B1 BR 112017027969B1 BR 112017027969 A BR112017027969 A BR 112017027969A BR 112017027969 B1 BR112017027969 B1 BR 112017027969B1
Authority
BR
Brazil
Prior art keywords
target object
exposure
flash
image
distance
Prior art date
Application number
BR112017027969-0A
Other languages
English (en)
Other versions
BR112017027969A2 (pt
Inventor
Ying Chen Lou
Hengzhou Ding
Ruben Manuel Velarde
Original Assignee
Qualcomm Incorporated
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Incorporated filed Critical Qualcomm Incorporated
Publication of BR112017027969A2 publication Critical patent/BR112017027969A2/pt
Publication of BR112017027969B1 publication Critical patent/BR112017027969B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Stroboscope Apparatuses (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

MÉTODOS E APARELHOS PARA A REALIZAÇÃO DA ESTIMATIVA DE EXPOSIÇÃO UTILIZANDO DE UM SENSOR DE TEMPO DE VOO . Esta aplicação refere-se à captura de uma imagem de um objeto alvo utilizando informação a partir de um sensor de tempo de vôo. Em um aspecto, um método pode incluir um tempo de vôo (TOF) sistema configurado para emitir luz e perceber uma reflexão da luz emitida e pode determinar uma energia de retorno com base na reflexão da luz emitida. O método pode medir um tempo entre quando a luz é emitida e quando a reflexão é detectada e pode determinar uma distância entre o objeto alvo e o sistema TOF com base naquele tempo. O método também pode identificar uma refletância do objeto alvo com base na energia de retorno e pode determinar um nível de exposição com base em uma distância entre o objeto alvo e uma refletância do objeto alvo.

Description

ANTECEDENTES Campo
[001] A presente invenção refere-se, de modo geral, à obtenção de controle automático de exposição em dispositivos fotográficos e/ou outros dispositivos de captura de imagem. Mais especificamente, esta descrição refere-se à determinação de uma exposição de um objeto alvo usando informação a partir de um sensor de tempo de voo.
Descrição da Técnica Relacionada
[002] Os usuários frequentemente experimentam eventos em que gostariam de capturar uma cena, em fotografias ou vídeo, e ver em uma data e/ou hora posterior, por exemplo, os primeiros passos ou palavras de uma criança, formatura, ou um casamento. Frequentemente, estes eventos podem ser quase estáticos e sua ocorrência é geralmente previsível (por exemplo, um casamento, uma formatura, uma paisagem serena, ou um retrato) e pode ser facilmente capturada usando um sistema de formação de imagem, por exemplo, uma câmera, gravador de vídeo, ou telefone inteligente. Para tais momentos, pode haver tempo suficiente para o sistema de formação de imagem determinar e ajustar configurações de exposição adequadas para capturar o momento do evento. Entretanto, às vezes capturar cenas de movimento rápido com a exposição adequada pode apresentar um desafio, especialmente se a cena for temporária (por exemplo, a cena contém objetos móveis ou o sistema de formação de imagem é submetido a uma rápida varredura através de uma cena dotada de vários níveis de brilho)
[003] Mesmo quando o usuário do equipamento capta uma imagem de uma cena no momento apropriado ou utiliza um sistema de múltiplos disparos, o usuário deve estar ciente quando o evento pode ocorrer e levar em conta um retardo do sistema de formação de imagem para determinar o foco e a exposição. Portanto, o usuário deve estar atento para prever quando tais momentos ocorrerão e planejar de acordo. Isso pode ser difícil. Frequentemente, pelo menos alguma porção do momento ou evento pode ter passado sem ser adequadamente captada. Consequentemente, sistemas e métodos para acelerar o cálculo e ajuste da exposição de um sistema de formação de imagem seriam benéficos.
SUMÁRIO
[004] Os sistemas, métodos e dispositivos da invenção têm, individualmente, diversos aspectos, nenhum dos quais é exclusivamente responsável por seus atributos desejáveis. Sem limitar o escopo desta invenção conforme expresso pelas reivindicações que se seguem, algumas características serão agora discutidas brevemente. Após considerar esta discussão, e particularmente após a leitura da seção intitulada “Descrição Detalhada”, será entendido como as características das várias modalidades desta invenção proporcionam vantagens que incluem uma determinação mais rápida de parâmetros de exposição para um sistema de formação de imagem.
[005] Um aspecto da matéria em questão descrita na revelação fornece um aparelho para captar uma cena. O aparelho pode incluir um sistema de tempo de voo (TOF) que compreende um emissor configurado para emitir um sinal de luz e um sistema de detecção configurado para detectar uma reflexão do sinal de luz emitido a partir de um objeto alvo e determinar uma energia de retorno com base na reflexão do sinal de luz emitido. O aparelho inclui ainda um relógio acoplado ao sistema TOF, o relógio configurado para medir um tempo entre quando o sinal de luz é emitido e quando o sinal de luz é detectado é detectado pelo sistema de detecção e um processador em comunicação com o sistema TOF, o relógio e a câmera. O processador é configurado para determinar uma distância entre o objeto alvo e o sistema TOF com base no tempo medido, identificar uma refletância do objeto alvo com base na energia de retorno do sinal de luz emitido, e determinar um nível de exposição com base na distância até o objeto alvo e a refletância do objeto alvo.
[006] Outro aspecto da matéria em questão descrita na revelação fornece um método para capturar uma imagem. O método inclui emitir um sinal de luz através de um sistema de tempo de voo (TOF) e detectar uma reflexão do sinal de luz emitido a partir de um objeto alvo através do sistema TOF. O método inclui ainda a determinação de uma energia de retorno com base na reflexão do sinal de luz emitido e a medição de um tempo entre quando o sinal de luz é emitido e quando o sinal de luz emitido é detectado. O método também inclui determinar uma distância entre o objeto alvo e o sistema TOF com base no tempo medido, identificar uma refletância do objeto alvo com base na energia de retorno do sinal de luz emitido e determinar um nível de exposição com base na distância até o objeto alvo e a refletância do objeto alvo.
[007] Um aspecto adicional da matéria em questão descrita na revelação proporciona um aparelho adicional para a captura de uma cena. O aparelho de formação de imagem compreende meios para identificar um tempo de voo (TOF) de um sinal de luz, compreendendo meios para emitir o sinal de luz, meios para detectar uma reflexão do sinal de luz emitido a partir de um objeto alvo; e meios para determinar uma energia de retorno com base na reflexão do sinal de luz emitido. O aparelho inclui ainda meios para medir um tempo entre quando o sinal de luz é emitido e quando o sinal de luz emitido é detectado; e meios para determinar uma distância entre o objeto alvo e o sistema TOF com base no tempo medido. O aparelho também inclui meios para identificar uma refletância do objeto alvo com base na energia de retorno do sinal de luz emitido; e meios para determinar um nível de exposição com base na distância até o objeto alvo e a refletância do objeto alvo.
[008] Outro aspecto da matéria exposta na descrição proporciona um produto de programa de computador que compreende um meio de armazenamento legível por computador codificado nele com instruções que, quando executadas, fazem com que um aparelho execute um método de captura de uma imagem. Método, caracterizado pelo fato de compreender a geração e emissão de um sinal de luz através de um sistema de tempo de voo (TOF) e detecção de uma reflexão do sinal de luz emitido a partir de um objeto alvo através do sistema TOF. O método inclui ainda a determinação de uma energia de retorno com base na reflexão do sinal de luz emitido e a medição de um tempo entre quando o sinal de luz é emitido e quando o sinal de luz emitido é detectado. O método também inclui determinar uma distância entre o objeto alvo e o sistema TOF com base no tempo medido, identificar uma refletância do objeto alvo com base na energia de retorno do sinal de luz emitido e determinar um nível de exposição com base na distância até o objeto alvo e a refletância do objeto alvo.
BREVE DESCRIÇÃO DOS DESENHOS
[009] Os aspectos acima mencionados, bem como outras características, aspectos, e vantagens da presente tecnologia serão agora descritos em conexão com várias modalidades, com referência aos desenhos em anexo. As modalidades ilustradas, entretanto, são meramente exemplos e não pretendem ser limitadoras. Em todos os desenhos, os símbolos similares identificam tipicamente componentes similares, a menos que o contexto indique de outro modo. Observar que as dimensões relativas das figuras a seguir podem não ser desenhadas em escala.
[0010] A figura 1A ilustra um exemplo de um diagrama de temporização de um sistema automático de controle de exposição de acordo com algumas modalidades.
[0011] A figura 1B ilustra três exemplos de diagramas de temporização de sistemas de controle automático de exposição de acordo com três implementações exemplares.
[0012] A figura 2 é um diagrama que ilustra o uso de um sensor (por exemplo, uma câmera) para identificar uma distância até um objeto alvo e uma refletância do objeto alvo, de acordo com uma implementação exemplar.
[0013] A figura 3 é um diagrama de blocos que ilustra um exemplo de uma modalidade de um dispositivo de captura de imagem para determinar a correção automática de exposição e a focalização automática.
[0014] A figura 4A é um gráfico que ilustra a relação entre a distância entre um objeto alvo e um dispositivo de formação de imagem, e a exposição.
[0015] A figura 4B é um gráfico que é associado com o gráfico mostrado na Figura 4A, e ilustra exemplos de informação relacionada à distância, informação relacionada ao controle de exposição, e informação relacionada aos dados de sensor TOF.
[0016] A figura 4C ilustra um gráfico que ilustra a exposição de pré-flash versus Relação de Sinal/Ruído, ilustrando a exposição de pré-flash do objeto alvo, a uma dada distância, tendo valores de refletância variáveis, de acordo com uma modalidade exemplar.
[0017] A figura 4D é uma tabela que ilustra a informação associada à Figura 4C.
[0018] A figura 5A é um diagrama de blocos que ilustra um exemplo de um processo para a estimativa de uma exposição de flash com base na correção de exposição automática de LED
[0019] A figura 5B é um diagrama de blocos que ilustra um exemplo de um processo para estimar uma exposição de flash com base em uma distância identificada, e refletância do objeto alvo por uma câmera utilizando um sensor TOF ou a laser em conjunto com um módulo AEC.
[0020] A figura 6 é um fluxograma que ilustra um exemplo de um método para determinar a exposição, de acordo com algumas modalidades.
DESCRIÇÃO DETALHADA
[0021] Vários aspectos dos novos sistemas, aparelhos e métodos são descritos mais completamente a seguir com referência aos desenhos anexos. Esta descrição pode, no entanto, ser concretizada em muitas formas diferentes e não deve ser interpretada como limitada a qualquer estrutura ou função específica apresentada por toda esta descrição. Em vez disso, estes aspectos são providos de modo que esta descrição possa ser completa e minuciosa, e possa transmitir completamente o escopo da descrição àqueles versados na técnica. O escopo da invenção destina-se a cobrir aspectos dos sistemas, aparelhos e métodos aqui descritos, seja implementada independentemente, ou combinada com qualquer outro aspecto da invenção. Por exemplo, um aparelho pode ser implementado ou um método pode ser praticado usando qualquer número dos aspectos expostos aqui. Além disso, o escopo das modalidades da invenção, incluindo aqueles aqui descritos, destina-se a cobrir tal aparelho ou método que seja praticado utilizando-se outra estrutura, funcionalidade, ou estrutura e funcionalidade além dos vários aspectos das modalidades apresentadas aqui. Deve ser entendido que qualquer aspecto aqui revelado pode ser incorporado por um ou mais elementos de uma reivindicação.
[0022] Embora aspectos específicos sejam aqui descritos, muitas variações e permutações destes aspectos caem dentro do escopo da invenção. Embora alguns benefícios e vantagens dos aspectos preferidos sejam mencionados, o escopo da invenção não se destina a ser limitado a benefícios, usos ou objetivos específicos. Em vez disso, os aspectos da descrição devem ser amplamente aplicáveis a várias tecnologias de formação de imagem e fotográficas, configurações de sistema, sistemas computacionais, sistemas de flash, e sistemas de determinação de exposição. A Descrição Detalhada e os desenhos pretendem ser ilustrativos da descrição das modalidades da invenção, ao invés de limitadores.
[0023] Em fotografia, quando um usuário está utilizando um sistema de formação de imagem (ou câmera) em um modo manual, o usuário pode controlar ativamente o que o sistema de formação de imagem está focalizando e pode selecionar várias características (por exemplo, abertura, velocidade de obturador, velocidade de “filme”) que controla a exposição. Isto permite que o sistema de formação de imagem capture uma imagem quase que instantaneamente quando o usuário ativa uma interface de controle para capturar uma imagem. Entretanto, quando um sistema de formação de imagem é usado em foco automático (“foco automático”) e um modo de exposição automática, antes de uma imagem ser capturada o sistema de formação de imagem é configurado para determinar uma exposição correta e realizar um processo de focalização automática. A determinação automática da exposição para uma imagem que será capturada usando um flash pode envolver a combinação de uma informação determinada a partir de uma exposição não flash de um objeto alvo (ou cena, aqui utilizado de forma intercambiável com “objeto alvo” a menos que de outra forma indicado) com informações determinadas a partir de uma exposição de pré-flash do objeto alvo, antes de a imagem real ser capturada. Consequentemente, um processo de exposição automática leva tempo para realizar e resulta em um atraso na captura de uma imagem.
[0024] Um “período de não flash” é uma frase ampla que é usada aqui para se referir geralmente a um período de tempo quando um sistema de formação de imagem pode determinar e ajustar um nível de exposição com base no brilho do objeto alvo somente com iluminação ambiente (por exemplo, luz solar ou outra luz que não seja proveniente do flash de sistema de formação de imagem. Durante o período de não-flash, um flash do sistema de formação de imagem não iluminará a cena e pode estar em um modo de espera ou desligado. O período de não flash pode existir em qualquer momento em que o sistema de formação de imagem estiver ativo, mas não foi ativado para capturar uma imagem.
[0025] Um “período de pré-flash” é uma frase ampla que é usada aqui para se referir geralmente a um período de tempo durante o qual um sistema de formação de imagem pode ativar um flash em um nível de potência que é menor do que a energia total para determinar e ajustar os parâmetros de exposição do sistema de formação de imagem. Em algumas modalidades, o flash produz iluminação de um objeto alvo em dois ou mais níveis de iluminação. Entretanto, como este processo não pode ser executado até que o usuário ative o sistema de formação de imagem para capturar a imagem, o tempo necessário para o sistema de formação de imagem executar a exposição de pré-flash retarda a captura da imagem. Adicionalmente, como um flash é frequentemente de potência limitada, um objeto alvo em uma distância distante (por exemplo, 8-15 + metros) do sistema de formação de imagem pode não ser iluminado adequadamente durante um período de pré-flash. Isto pode fazer com que o sistema de formação de imagem gere uma exposição de flash imprópria ou leve um período prolongado de tempo para determinar a exposição.
[0026] Uma solução exemplar para acelerar a captura da imagem desejada pode incluir a utilização de sensores alternativos ou adicionais para a determinação da exposição do sistema de formação de imagem, por exemplo, sensores configurados para determinar a distância e a refletância do objeto alvo.
[0027] A figura 1A ilustra uma representação gráfica de um exemplo de um diagrama de temporização 100 para um sistema de controle automático de exposição (AEC). O diagrama de temporização 100 mostra um exemplo de um nível de exposição de um sensor e um nível de saída de flash para um sistema de formação de imagem capturando uma imagem quando um flash é usado. No diagrama de temporização 100, o tempo aumenta ao longo do eixo-x da esquerda para a direita. Potência de saída de flash relativa (da luz emitida) associada com o sistema de formação de imagem aumenta ao longo do eixo y, isto é, um nível de saída de flash baixo próximo de zero do eixo y até um nível de saída de flash mais alto que aumenta ao longo do eixo y. O diagrama de temporização 100 também indica uma quantidade relativa de exposição, aumentando ao longo do eixo y, isto é, uma baixa quantidade de exposição próxima a zero do eixo y até uma quantidade maior de exposição que aumenta ao longo do eixo y. A linha de flash 102 indica o nível da luz emitida por um flash do sistema de formação de imagem (referido neste exemplo como uma câmera), enquanto a linha de exposição 104 indica a exposição conforme determinado e ajustado por um processo AEC ou sistema do sistema de formação de imagem. O diagrama de temporização 100 inclui ainda pontos específicos no tempo ao longo do eixo x.
[0028] Conforme ilustrado na Figura 1A, a linha de flash 102 começa em ou próximo ao período de não flash 151 de zero, indicando que um flash não está emitindo luz, por exemplo, quando a câmera está desligada ou quando a câmera está sendo usada para visualizar uma cena, mas ainda não foi instruída para capturar uma imagem. Durante este período (ao longo do eixo x antes do tempo t0), a linha de exposição 104 está em um nível de exposição de não flash, indicando um ajuste de exposição da câmera que pode ser maior do que em momentos quando a câmera está usando o flash. Em um momento antes do t0, a câmera pode identificar uma exposição de não flash, por exemplo, o nível de brilho do objeto alvo e o nível de luz natural na cena e/ou no ambiente sem o flash da câmera. A câmera é configurada com um processo AEC que pode ser usado para determinar a exposição.
[0029] No tempo t0, a linha de flash 102 aumenta para uma constante, pré-flash durante um período de pré- flash 152. O nível de pré-flash pode ser quando o flash é carregado para um nível de potência que é mais baixo do que seu nível de potência total, ou controlado para emitir somente luz em um nível que é mais baixo do que a luz que ele emite em seu nível de potência total. Em algumas modalidades, o nível de pré-flash pode ser um nível de iluminação constante ou um nível de iluminação variável que não aumenta além de um dado limite de iluminação. Conforme mostrado no diagrama de temporização 100, o nível de pré- flash da modalidade descrita é mantido no nível de iluminação constante durante o período de pré-flash 152. Durante este período de pré-flash, o processo AEC pode ajustar a exposição para o alvo objeto com base no brilho do objeto alvo como iluminado pelo pré-flash, conforme indicado pela linha de exposição 104, diminuindo na seção 106 até atingir um nível de exposição 108. No tempo t1, o período de pré-flash termina, conforme indicado pela linha de flash 102, diminuindo de volta para um nível baixo 153, próximo ou em um valor zero.
[0030] O tempo que uma câmera gasta ajustando a exposição durante o período de pré-flash pode ser afetado, por exemplo, por um ou mais de brilho do ambiente, distância do objeto alvo da câmera, e refletância do objeto alvo. Por exemplo, o tempo para determinar a exposição pode ser menor quando o objeto alvo está longe da câmera ou quando o objeto alvo tem uma baixa refletância porque a luz proveniente do flash da câmera não aumentaria grandemente o brilho do objeto alvo devido à distância e/ou à baixa refletância do objeto alvo, de modo que não é necessário determinar uma exposição de flash apropriada.
[0031] No tempo t2, enquanto a linha de flash 102 diminuiu de volta para perto ou no valor zero, o processo AEC ajusta a exposição ao nível de exposição de flash estimado 110. O nível de exposição de flash estimado 110 pode ser calculado usando uma exposição não flash (antes de t0) do objeto alvo e das exposições medidas e ajustadas identificadas durante o período de pré-flash (entre t0 e t1). O processo AEC pode calcular o brilho de quadro do quadro iluminado durante o período de pré-flash utilizando informação coletada a partir de uma ou mais imagens coletadas durante o período de pré-flash. O processo AEC pode também calcular o brilho do objeto alvo já que ele seria iluminado durante o flash principal, que utiliza o flash iluminado durante o período de pré-flash, mas em um nível de potência mais alto, desse modo identificando a exposição da câmera para capturar uma imagem. O brilho do objeto alvo pode ser usado para determinar a exposição apropriada para capturar uma imagem com o flash principal, e o processo AEC pode ajustar a exposição ao nível de exposição de flash estimado 110 no tempo t2.
[0032] No tempo t3, o flash principal é ativado no nível de potência mais alto durante o período de flash principal 154 por um período de tempo, isto é, até o tempo t4, durante o qual uma imagem é capturada. Em t5, após a imagem ser capturada, o processo AEC pode reajustar a exposição da câmera ao ajuste de exposição de não flash 115 e o flash pode ser desligado para o nível quase zero durante um período de não flash 155.
[0033] Com o processo acima descrito, o ajuste e cálculo da exposição necessária para o objeto alvo desejado pode durar tanto quanto quinze (15) ou mais quadros. Em muitas modalidades, todo o processo pode durar a metade de um segundo ou mais. Como pode ser visto no diagrama de temporização 100, uma maior parte do tempo pode ser gasta esperando pela exposição da câmera a ser ajustada durante o período de pré-flash. Consequentemente, a captura de uma imagem utilizando o processo AEC descrito acima pode introduzir latências significativas no processo de capturar uma imagem do objeto alvo.
[0034] Vários processos podem ser usados para determinar a exposição correta utilizando um processo de pré-flash, cada um causando um atraso no tempo entre quando uma câmera recebe um comando de usuário para tirar uma foto e quando a foto é realmente tirada. A figura 1B mostra três exemplos de diagramas de temporização de flash (gráficos) que podem ser usados em uma câmera, e ilustra atrasos potenciais que são causados por sistemas AEC e esquemas de ajuste de exposição. Os três gráficos (diagramas de temporização similares aos da Figura 1) 150, 160 e 170, respectivamente, são ilustrados com “tempo” aumentando ao longo do eixo x da esquerda para a direita e “intensidade de luz” aumentando ao longo do eixo y a partir de baixo para cima. Os diagramas de temporização 150, 160 e 170 mostrados incluem rótulos correspondentes ao diagrama de temporização de flash da Figura 1A, de modo que períodos similares da Figura 1A são mostrados nos diagramas de temporização da Figura 1B. Por exemplo, cada diagrama de temporização 150, 160 e 170 tem um período de não flash 151, um período de pré-flash 152, um período de flash principal 154, e outro período de não flash 155 após o período de flash principal 154. Esses exemplos ilustram atrasos significativos em um processo de formação de imagem. Para o exemplo ilustrado no diagrama de temporização 150, o tempo total para realizar um processo de determinação de exposição de pré-flash é de aproximadamente 1,2 segundos. Para o diagrama de temporização 160, o tempo total é de aproximadamente 4 segundos. Para o diagrama de temporização 170, o tempo total é de aproximadamente 1,8 segundos.
[0035] Em algumas modalidades, o sistema de foco automático pode se basear em problemas de temporização similares do sistema AEC descrito acima. Consequentemente, o sistema de foco automático pode sofrer de muitas deficiências descritas acima. Por exemplo, se o ambiente for muito escuro ou iluminado, o sistema de foco automático pode não trabalhar adequadamente porque o ambiente é muito escuro. Consequentemente, o sistema de foco automático pode usar o flash da câmera para auxiliar na focalização da câmera, que pode ser lenta e causar atrasos a partir do momento quando a câmera é comandada para capturar uma imagem até o momento em que a câmera realmente captura a imagem, similar aos atrasos descritos acima em relação à exposição. O foco automático pode ser adicionalmente diminuído dependendo da posição inicial da lente e do tipo de algoritmo de focalização usado para focalizar a câmera.
[0036] Sistemas de formação de imagem podem incorporar sensores de laser e/ou sistemas de tempo de voo (TOF). Esses sistemas TOF podem ser usados para auxiliar a exposição e focalização das câmeras, e reduzir significativamente o processo de determinação de exposição. Em várias modalidades, os sistemas TOF podem ser usados para: medir a distância, medir a energia retornada ou refletida, e/ou identificar as razões de sinal/ruído. Os sistemas TOF podem incluir um emissor de luz e um sensor de luz. O emissor de luz pode ser configurado para emitir luz, enquanto o sistema sensor de luz pode ser configurado para detectar uma porção da luz emitida pela luz que reflete do objeto alvo e retorna ao sensor de luz. O tempo que leva para a luz emitida pelo emissor de luz refletir de um objeto alvo para o sensor de luz pode ser usado para identificar a distância do objeto alvo a partir do sistema TOF. Um sistema TOF também pode ser configurado para determinar a quantidade de energia da luz detectada (refletida do objeto alvo) e isto pode ser usado para determinar a refletância do objeto alvo e informação de exposição. Em algumas modalidades, a diferença de fase da luz emitida e da luz detectada pode ser usada para determinar a distância.
[0037] A figura 2 é um diagrama que ilustra um exemplo de um dispositivo de captura de imagem 202, de acordo com algumas modalidades da invenção. Neste exemplo, o dispositivo de captura de imagem 202 é uma câmera que inclui um sistema de tempo de voo (TOF) 214, embora o dispositivo de captura de imagem 202 possa ser qualquer dispositivo capaz de capturar uma imagem parada ou móvel, independente do formato (digital, filme, etc.) ou tipo (câmera de vídeo, câmera estática, câmera de rede, etc.) O dispositivo de captura de imagem 202 é configurado para determinar uma distância até uma cena alvo ou um objeto alvo, e para determinar a exposição (por exemplo, pelo menos um parâmetro de exposição) de uma cena alvo ou um objeto alvo utilizando o sistema TOF 214. Para maior clareza da descrição, tanto uma cena alvo quanto um objeto alvo serão referidos como um “objeto alvo” no contexto de ser o assunto de focalização da câmera. Um parâmetro de exposição pode ser qualquer um dos vários parâmetros que podem determinar uma exposição ou afetar a exposição. Um exemplo de um parâmetro de exposição é um parâmetro indicativo de uma abertura ou pupila de entrada através da qual a luz se propaga através de uma lente em direção a uma passagem de sensor (por exemplo, um tamanho de abertura física ou f/#). Outro exemplo de um parâmetro de exposição é uma duração de tempo em que um obturador da câmera fica aberto para deixar passar a luz para um sensor da câmera (que pode ser referido como a “velocidade de obturador”). Outro exemplo de um parâmetro de exposição é um parâmetro para controlar a operação de um sensor da câmera para perceber a luz e capturar uma imagem, por exemplo, a “velocidade do filme” - um termo que os versados na técnica entenderão que é uma configuração que afeta a sensibilidade do sensor (um termo de informe de fotografia de filme, cada filme tendo sua sensibilidade classificada em escala relativa conforme indicado por sua ISO) Outro exemplo de um parâmetro de exposição é um parâmetro indicativo da luz ambiente sendo refletida pelo objeto alvo, e que pode ser usado para determinar a exposição usada para capturar uma imagem do objeto alvo. Outro exemplo de um parâmetro de exposição é um parâmetro indicativo de luz a partir de uma fonte de luz refletida pelo objeto alvo. Por exemplo, a luz (de uma fonte de luz) pode ser luz produzida por um emissor de luz 212 do sistema TOF 214. O emissor de luz 212 do sistema TOF pode ser incorporado no dispositivo de captura de imagem 202 ou acoplado ao dispositivo de captura de imagem 202. Em algumas modalidades, o emissor de luz 212 é separado do dispositivo de captura de imagem 202, ou seja, ele não é incorporado em ou estruturalmente fixado ao dispositivo de captura de imagem 202.
[0038] A modalidade da Figura 2 ilustra a luz emitida 204 a partir de um emissor de luz 212 que se propaga ao longo de um trajeto de luz 206 que representa o caminho de luz do emissor de luz 212 para um objeto alvo 210. A figura 2 também ilustra uma luz refletida 208 que pode representar a luz ou o caminho refletido da luz que ilumina o objeto alvo 210 (por exemplo, do emissor de luz 212) e reflete do objeto alvo 210 para um sensor de luz 220 do sistema TOF 214. Em algumas modalidades, o dispositivo de captura de imagem 202 pode incluir um relógio, um temporizador, ou algum outro meio para determinar a quantidade de tempo entre quando a luz emitida 204 é emitida pelo emissor de luz 212 para iluminar o objeto alvo 210 e quando a luz emitida 204, refletida a partir do objeto alvo 210, é detectada pelo sensor de luz 220. Em algumas modalidades, o emissor de luz 212 e o sensor de luz 220 podem ser dois componentes que são configurados para operar juntos, em vez de ser parte de um sistema TOF de componente único 214. Enquanto o emissor de luz 212 e o sensor de luz 220 podem ser dois componentes e/ou sistemas distintos, para os propósitos desta descrição, eles serão discutidos como formando um sistema TOF 214. Em algumas modalidades, o sistema TOF 214 pode ser um sistema TOF integrado, onde o emissor de luz 212 e o sensor de luz 220 fazem parte de um único sistema integrado.
[0039] Em um exemplo de sua operação, o emissor de luz 212 pode emitir uma luz infravermelha (IR) pulsada. Essa luz emitida 204, que pode ser caracterizada (e referida aqui) como um sinal(is) de luz ou como incluindo uma pluralidade de fótons, ilumina o objeto alvo 210 e reflete a partir do objeto alvo para o sensor de luz 220. Um relógio ou temporizador do sistema TOF 214, ou outro componente do dispositivo de captura de imagem 202, pode determinar o tempo que leva entre a emissão da luz emitida 204 e a detecção da luz refletida 208 no sensor de luz 220. Utilização dessa quantidade de tempo e da velocidade conhecida de luz, uma distância que a luz se desloca do emissor de luz 212 para o objeto alvo 210 e de volta para o sensor de luz 220 pode ser calculada usando a Equação 1. Distância percorrida = (Tempo de Deslocamento de Luz) x (Velocidade da Luz) (1) A distância até o objeto alvo é metade da distância percorrida. Consequentemente, um objeto alvo 210 que esteja em um local mais afastado da câmera, comparado com objetos alvo que estão mais próximos da câmera, requererá mais tempo para que a luz emitida 204 se desloque do emissor de luz 212 para o objeto alvo 210 e de volta para o sensor de luz 220.
[0040] O sistema TOF 214 pode ser configurado para identificar uma energia retornada a partir do objeto alvo. A energia retornada identifica a quantidade de energia que a luz emitida tem após refletir o objeto alvo. Quanto maior a quantidade de energia da luz emitida quando detectada pelo sensor de luz do sistema TOF 214 após refletir o objeto alvo, quanto maior a refletância do objeto alvo. A refletância de objeto alvo pode ser associada diretamente com quão brilhante ou escuro um objeto alvo parece. Consequentemente, para uma dada condição e distância de luz, quanto menor a quantidade de energia da luz quando detectada no sensor de luz 220, quanto mais escura a aparência de um objeto alvo.
[0041] O sistema TOF pode ser configurado para gerar um sinal para ruído (relação de sinal/ruído ou SNR) que indica a intensidade do sinal de retorno (luz) no sistema TOF depois que o sinal de retorno reflete do objeto alvo. Por exemplo, quando o sinal de retorno recebido é forte (em relação ao ruído de fundo ou ruído introduzido pelo ambiente), a SNR é maior. Alternativamente, se o sinal de retorno recebido é mais fraco (em relação ao ruído de fundo), então a SNR pode ser menor. Com relação à reflexão do sinal de retorno do objeto alvo, uma SNR mais alta pode indicar que o objeto alvo tem uma refletância mais alta (por exemplo, que o objeto alvo pode ser de uma cor ou material que reflete a luz), enquanto uma SNR inferior indica que o objeto alvo tem uma refletância mais baixa (por exemplo, que o objeto alvo pode ser de uma cor ou material que absorve mais luz). A discussão acima pode se aplicar a cenários quando a SNR é medida quando a reflexão é recebida do objeto alvo na mesma distância. Entretanto, a SNR também pode variar dependendo da distância do objeto alvo do Sistema TOF. Consequentemente, o mesmo objeto alvo pode gerar diferentes valores de SNR com base na distância do objeto alvo do sistema TOF. À medida que o objeto alvo se movimenta além do sistema TOF (por exemplo, a distância é maior), a SNR se tornará mais baixa.
[0042] A figura 3 ilustra um diagrama de blocos de alto nível de uma modalidade de um dispositivo de captura de imagem 302 (similar ao dispositivo de captura de imagem 202 da Figura 2) tendo um conjunto de componentes incluindo um processador de imagem 320 ligado a uma câmera 315, a um flash (ou outra fonte de luz) 316, a um sistema TOF 317, e aos módulos para determinar a correção de exposição automática (módulo AEC 360 e módulo de focalização automática (AF) 365). O processador de imagem 320 pode também estar em comunicação com uma memória de trabalho 305, uma memória 330, e um processador de dispositivo 350, que por sua vez pode estar em comunicação com o módulo de armazenamento eletrônico 310, um dispositivo de exibição 325 (por exemplo, um monitor eletrônico ou tela sensível ao toque) e um módulo de distância/refletância 340. Em algumas modalidades, um único processador pode compreender tanto o processador de imagem 320 como o processador de dispositivo 350 em vez de dois processadores separados como ilustrado na Figura 3. Em algumas modalidades, um ou ambos de processador de imagem 320 e o processador de dispositivo 350 podem compreender um relógio 351, mostrado na Figura 3 como integrado dentro do processador de dispositivo 350. Algumas modalidades podem incluir três ou mais processadores. Em algumas modalidades, alguns dos componentes descritos acima podem não ser incluídos no dispositivo de captura de imagem 302 ou componentes adicionais não descritos acima podem ser incluídos no dispositivo de captura de imagem 302. Em algumas modalidades, um ou mais dos componentes descritos acima ou descritos como sendo incluídos no dispositivo de captura de imagem 302 podem ser combinados ou integrados em qualquer outro componente do dispositivo de captura de imagem 302.
[0043] O dispositivo de captura de imagem 302 pode ser, ou pode ser parte de, um telefone celular, uma câmera digital, um computador de mesa, um assistente digital pessoal, computador laptop, câmera pessoal, câmera de ação, câmera montada, câmera conectada, dispositivo útil, automóvel, drone, ou similar. O dispositivo de captura de imagem 302 também pode ser um dispositivo de computação estacionário ou qualquer dispositivo no qual o sistema TOF 317 seria vantajoso. Uma pluralidade de aplicações pode estar disponível para o usuário no dispositivo de captura de imagem 302. Essas aplicações podem incluir aplicações de vídeo e fotográficas tradicionais, formação de imagem de alto alcance dinâmico, foto e vídeo panorâmico, ou formação de imagem estereoscópica, tal como imagens 3D ou vídeo 3D.
[0044] Ainda com referência à Figura 3, o dispositivo de captura de imagem 302 inclui a câmera/lente (“câmera”) 315 para capturar imagens de objetos alvos e/ou cenas. A câmera 315 pode incluir pelo menos um sensor, pelo menos um componente óptico de formação de imagem que focaliza a luz recebida a partir do campo de visão (FOV) do dispositivo de captura de imagem 302 (por exemplo, o FOV da câmera 315) para o pelo menos um sensor (por exemplo, um sensor CMOS ou CCD), o módulo AF 365 acoplado ao pelo menos um componente de formação de imagem óptico, e o módulo AEC 360 acoplado ao pelo menos um componente de formação de imagem ótica. Em algumas modalidades, o dispositivo de captura de imagem 302 pode incluir mais de uma câmera. A câmera 315 pode ser acoplada ao processador de imagem 320 para transmitir uma imagem capturada para o processador de imagem 320. Nesta modalidade, os sinais para e da câmera 315 são comunicados através do processador de imagem 320.
[0045] O dispositivo de captura de imagem pode incluir o flash 316. Em algumas modalidades, o dispositivo de captura de imagem 302 pode incluir pelo menos dois flashes. O separador 316 pode incluir, por exemplo, um bulbo de flash, um refletor, um gerador de padrão geométrico de luz, ou um flash de LED. O processador de imagem 320 pode ser configurado para receber e transmitir sinais do flash 316 para controlar o flash.
[0046] O processador de imagem 320 pode ser adicionalmente acoplado ao sistema TOF 317. Em algumas modalidades, o sistema TOF 317 pode incluir dois componentes, conforme descrito acima. Em algumas modalidades, o sistema TOF 317 pode incluir um emissor de luz 318 e um sensor de luz 319. O emissor de luz 318 pode ser configurado para emitir radiação (por exemplo, luz) do sistema TOF 317. Para facilidade de descrição, qualquer radiação emitida pelo sistema TOF 317 será referida como “luz” incluindo radiação visível e não visível. A luz é direcionada ao objeto alvo do dispositivo de captura de imagem 302. O sensor de luz 319 é configurado para perceber a luz emitida pelo emissor de luz 318 após a luz ser refletida de um objeto. Em algumas modalidades, o sensor de luz 319 pode ser configurado para perceber a luz refletida a partir de múltiplos objetos alvo de uma cena.
[0047] Conforme ilustrado na Figura 3, o processador de imagem 320 é conectado à memória 330 e à memória de trabalho 305. Na modalidade ilustrada, a memória 330 pode ser configurada para armazenar o módulo de controle de captura 335, o módulo de distância/refletância 340, o sistema operacional 345, o módulo de tempo de voo (TOF) 355, o módulo AEC 360, e o módulo AF 365. Módulos adicionais podem ser incluídos em algumas modalidades, ou menos módulos podem ser incluídos em algumas modalidades. Esses módulos podem incluir instruções que configuram o processador de imagem 320 para executar várias tarefas de processamento de imagem e gerenciamento de dispositivo. A memória de trabalho 305 pode ser usada pelo processador de imagem 320 para armazenar um conjunto de trabalho de instruções de processador ou funções contidas em um ou mais dos módulos da memória 330. A memória de trabalho 305 pode ser usada pelo processador de imagem 320 para armazenar dados dinâmicos criados durante a operação do dispositivo de captura de imagem 302 (por exemplo, uma ou mais medições de distância objeto alvo ou disposições de medição de distância FOV, a refletância de um ou mais objetos alvo ou arranjos de medição de refletância FOV, estimativas de exposição, estimativas de foco, etc.). Embora módulos ou conexões adicionais aos dispositivos externos ou hardware possam não ser mostrados nesta figura, podem existir para fornecer outras opções ou ações de ajuste e estimativa de foco e de exposição.
[0048] Como mencionado acima, o processador de imagem 320 pode ser configurado por ou pode ser configurado para operar em conjunto com vários módulos armazenados na memória 330. O módulo de controle de captura 335 pode incluir instruções que controlam as funções globais de captura de imagem do dispositivo de captura de imagem 302. Por exemplo, o módulo de controle de captura 335 pode incluir instruções que configuram o processador de imagem 320 para capturar os dados de imagem brutos do objeto alvo utilizando a câmera 315. O módulo de controle de captura 335 também pode ser configurado para ativar o flash 316, quando da captura dos dados de imagem brutos. Em algumas modalidades, o módulo de controle de captura 335 pode ser configurado para armazenar os dados de imagem brutos capturados no módulo de armazenamento eletrônico 310 ou para exibir os dados de imagem brutos capturados no dispositivo de exibição 325. Em algumas modalidades, o módulo de controle de captura 335 pode direcionar os dados de imagem brutos capturados a serem armazenados na memória de trabalho 305. Em algumas modalidades, o módulo de controle de captura 335 pode chamar um ou mais dos outros módulos na memória 330, por exemplo, o módulo de distância/refletância 340, o módulo TOF 355, o módulo AEC 360, ou o módulo AF 365.
[0049] O módulo de distância/refletância 340 pode compreender instruções que permitem que o processador de imagem 320, ou o processador de dispositivo 350, calcule, estime, ou de outro modo determine a distância e a refletância do objeto-alvo ou FOV do dispositivo de captura de imagem 302. O módulo de distância/refletância 340 pode incluir instruções para usar o sistema TOF 317, a câmera 315, e o relógio 351 para identificar a distância do objeto alvo. Ao identificar a distância e refletância do objeto alvo, o módulo de distância/refletância 340 pode ser configurado para determinar a distância até o objeto alvo. Consequentemente, o módulo de distância/refletância 340 pode compreender as instruções para emitir um sinal de luz através do emissor de luz 318 e detectar uma reflexão do sinal de luz do objeto alvo através do sensor de luz 319. As instruções também podem instruir o relógio 351 para medir o tempo entre a emissão do sinal de luz e a detecção da reflexão do sinal de luz. Com base na quantidade de tempo que passa entre quando o sinal de luz é emitido pelo emissor de luz 318 e quando a reflexão de sinal de luz é detectada pelo sensor de luz 319, o módulo de distância/refletância 340 pode compreender instruções para determinar a distância que o sinal de luz viajou, por exemplo, usando a Equação 1 acima. O módulo de distância/refletância 340 pode ainda compreender instruções para determinar as distâncias de múltiplos pontos no FOV do dispositivo de captura de imagem 302 e para formar um conjunto de distâncias. As instruções contidas nele podem incluir a identificação de distâncias (conforme descrito acima para o objeto alvo) para cada um de uma pluralidade de pontos ou posições dentro do FOV do dispositivo de captura de imagem 302, e armazenar o arranjo em um dentre a memória de trabalho 305 ou o módulo de armazenamento eletrônico 310, por exemplo.
[0050] Adicionalmente, o módulo de distância/refletância 340 pode compreender instruções para determinar a refletância do objeto alvo ou um conjunto de pontos dentro do FOV do dispositivo de captura de imagem 302. Conforme descrito acima em relação às instruções de distância, o módulo de distância/refletância 340 pode adicionalmente compreender instruções para emitir o sinal de luz através do emissor de luz 318 do sistema TOF 317 e detectar o sinal de luz refletida através do sensor de luz 319. Baseado na energia da luz refletida fora do objeto alvo, o módulo de distância/refletância 340 pode identificar a refletância do objeto alvo. Adicionalmente, as instruções contidas no mesmo podem direcionar o módulo de distância/refletância 340 para identificar a refletância de cada um da pluralidade de pontos ou localizações dentro do FOV do dispositivo de captura de imagem 302, e pode prover o armazenamento ou exibição dos valores de refletância identificados.
[0051] Em algumas modalidades, o módulo de distância/refletância 340 pode ainda compreender instruções para a geração dos dados de configuração fora de linha descritos abaixo com referência à Figura 5B.
[0052] O módulo AEC 360 pode compreender instruções que permitem que o processador de imagem 320 ou o processador de dispositivo 350 calcule, estime, ou ajuste a exposição da câmera 315 e assim do dispositivo de captura de imagem 302. O módulo AEC 360 pode incluir as instruções que permitem as estimativas de exposição descritas acima com referência à Figura 1 e abaixo com referência às Figuras 5A e 5B. Consequentemente, o módulo AEC 360 pode compreender instruções para utilizar o sistema TOF 317 (incluindo tanto o emissor de luz 318 como o sensor de luz 319), a câmera 315, o relógio 351, e o flash 316 para identificar e/ou estimar a exposição não flash, a exposição de pré-flash, e a exposição de flash. Adicionalmente, o módulo AEC 360 pode incluir instruções para ajustar a exposição da câmera 315 para pelo menos uma de exposição de não flash, a exposição de pré-flash, e a exposição de flash. Em algumas modalidades, o módulo AEC pode ainda compreender instruções para iluminar o flash em uma das células sem flash, pré-flash e níveis de iluminação principais de iluminação.
[0053] Como o brilho do objeto alvo capturado pelo dispositivo de captura de imagem 302 está relacionado diretamente à exposição do dispositivo de captura de imagem 302, a exposição de não flash do dispositivo de captura de imagem 302 pode ser identificada a qualquer momento quando o flash não estiver iluminado, mas o dispositivo de captura de imagem 302 estiver ligado. Assim sendo, em algumas modalidades, o módulo AEC 360 pode ser configurado para monitorar constantemente a exposição do dispositivo de captura de imagem 302 com base no brilho do objeto alvo. O módulo AEC 360 pode ser integrado ou de outro modo se comunicar com um ou mais do módulo de controle de captura 335 e do sistema operacional 345, e ao invés capturar uma imagem de acordo com a metodologia descrita acima. Entretanto, conforme descrito acima, o uso do flash 316 com o módulo AEC 360 pode introduzir atrasos desnecessários na captura de uma imagem.
[0054] Alternativamente, o sistema TOF 317 pode fornecer informações de profundidade e SNR para diferentes partes do FOV em vez de apenas um único ponto. O módulo AF 365 e o módulo AEC 360 podem utilizar essa informação do sistema TOF 317 e empregar certas estratégias e métodos para obter exposição ótima e foco para objetos alvo em vários locais no FOV. Por exemplo, se um retrato de uma pessoa foi tirado, e a pessoa não estava em pé no centro da imagem, mas, ao invés disso, fora do centro, tal como na terça parte esquerda do FOV, o sistema TOF 317 pode detectar precisamente a localização da pessoa, (supondo que a pessoa é o objeto mais próximo da câmera). Consequentemente, o módulo AF 365 e o módulo AEC 360 podem escolher focalizar e expor o objeto mais próximo, neste caso, a pessoa.
[0055] Ainda com referência à Figura 3, o sistema operacional 345 pode configurar o processador de imagem 320 para gerenciar a memória de trabalho 305 e os recursos de processamento do dispositivo de captura de imagem 302. Por exemplo, o sistema operacional 345 pode incluir acionadores de dispositivo para gerenciar recursos de hardware tais como a câmera 315, o flash 316, e o sistema TOF 317. Portanto, em algumas modalidades, as instruções contidas nos módulos de processamento discutidas acima e abaixo podem não interagir com estes recursos de hardware diretamente, mas, ao invés disso, interagir com esse hardware através de sub-rotinas padrão ou APIs localizadas no sistema operacional 345. Instruções dentro do sistema operacional 345 podem então interagir diretamente com esses componentes de hardware. O sistema operacional 345 pode adicionalmente configurar o processador de imagem 320 para compartilhar informações com o processador de dispositivo 350. O sistema operacional 345 também pode incluir instruções que permitem o compartilhamento de informação e recursos entre os vários módulos de processamento do dispositivo de captura de imagem.
[0056] O módulo AF 365 pode incluir instruções que configuram o processador de imagem 320 para ajustar a posição de foco da câmera 315. O módulo AF 365 pode incluir instruções que configuram o processador de imagem 320 para executar análises de foco e determinar automaticamente parâmetros de foco em algumas modalidades, e pode incluir instruções que configuram o processador de imagem 320 para responder aos comandos de foco de entrada de usuário em algumas modalidades. Em algumas modalidades, o módulo AF 365 pode usar informação a partir do emissor de luz 318 e do sensor de luz 319 para determinar o objeto alvo (ou um ou mais pontos ou posições dentro do FOV do dispositivo de captura de imagem) que esteja em uma distância específica e foco apropriado. Em algumas modalidades, o módulo AF 365 pode incluir instruções para identificar e determinar ajuste do foco da câmera 315 com base na luz emitida pelo flash 316 e recebida no sensor de luz 319 do objeto alvo ou um ou mais pontos ou posições dentro do FOV. Em algumas modalidades, o módulo AF 365 pode ser configurado para receber um comando do módulo de controle de captura 335, o módulo de distância/refletância 340, o módulo AEC 360, o módulo TOF 355, ou de um dentre o processador de imagem 320 ou o processador de dispositivo 350.
[0057] O módulo AF 365 pode ser configurado para executar um algoritmo de busca somente durante o período de pré-flash e pode não executar quaisquer funções durante o período não-flash. Consequentemente, se a informação do sistema TOF 317 for provida para o módulo AF 365, uma quantidade de tempo usado pelo módulo AF 365 para realizar as funções de focalização automática pode ser reduzida.
[0058] Na Figura 3, o processador de dispositivo 350 pode ser configurado para controlar o dispositivo de exibição 325 para exibir a imagem capturada, ou uma pré- visualização da imagem capturada incluindo ajustes de exposição e foco estimados, a um usuário. O dispositivo de exibição 325 pode ser externo ao dispositivo de captura de imagem 302 ou pode ser parte do dispositivo de captura de imagem 302. O dispositivo de exibição 325 também pode ser configurado para fornecer um dispositivo de exibição que exibe a imagem de pré-visualização para o usuário antes de capturar a imagem do objeto alvo, ou pode ser configurado para exibir uma imagem capturada armazenada na memória de trabalho 305 ou no módulo de armazenamento eletrônico 310 ou recentemente capturada pelo usuário. O dispositivo de exibição 325 pode incluir um dispositivo de exibição de painel, por exemplo, um dispositivo de exibição LCD, dispositivo de exibição LED, ou outras tecnologias de exibição, e podem implementar tecnologias sensíveis ao toque. O processador de dispositivo 350 também pode ser configurado para receber uma entrada do usuário. Por exemplo, o dispositivo de exibição 325 também pode ser configurado para ser uma tela sensível ao toque, e assim pode ser configurado para receber uma entrada do usuário. O usuário pode usar o dispositivo de exibição 325 para introduzir informação que o processador pode fornecer ao módulo de distância/refletância 340 ou o módulo TOF 355 ou o módulo AEC 360 ou o módulo AF 365. Por exemplo, o usuário pode usar a tela sensível ao toque para selecionar o objeto alvo a partir do FOV mostrado no dispositivo de exibição 325 ou ajustar ou estabelecer níveis de exposição e ajustes de foco do dispositivo de captura de imagem 302. O processador de dispositivo 350 pode receber essa entrada e fornecer o mesmo ao módulo apropriado, que pode usar a entrada para selecionar as instruções executadas no mesmo (por exemplo, determinar a distância ou refletância da imagem alvo no módulo de distância/refletância 340, determinar o foco da imagem alvo no módulo AF 365, etc.).
[0059] Em algumas modalidades, o processador de dispositivo 350 pode ser configurado para controlar um ou mais dos módulos de processamento na memória 330 ou para receber entradas de um ou mais dos módulos de processamento na memória 3302. O Módulo TOF 355 pode ser configurado para interagir com o sistema TOF 317. O módulo TOF 355 pode compreender instruções para aplicar as equações 1 e 2, conforme descrito aqui, para determinar vários parâmetros e valores com base em medições e ações realizadas pelo sistema TOF 317. Por exemplo, o módulo TOF 355 pode incluir as equações para determinar a distância percorrida pelo sinal emitido pelo emissor de luz 318 ou incluindo software para interagir com e/ou controlar o sistema TOF 317 e o emissor de luz 318 e o sensor de luz 319. Em algumas modalidades, o módulo TOF 355 pode ser configurado para armazenar ou adquirir a informação de configuração fora de linha descrita abaixo. Em algumas modalidades, o processador de dispositivo 350 ou o módulo TOF 355 pode selecionar múltiplas equações para uso com o sistema TOF 317 e pode determinar usar uma ou mais das equações para identificar um parâmetro desejado com base nos sinais de luz emitidos e detectados.
[0060] O processador de dispositivo 350 pode escrever dados no módulo de armazenamento eletrônico 310, por exemplo, dados representando imagens capturadas. Enquanto o módulo de armazenamento eletrônico 310 é representado graficamente como um dispositivo de disco tradicional, em algumas modalidades, o módulo de armazenamento eletrônico 310 pode ser configurado como qualquer dispositivo de mídia de armazenamento. Por exemplo, o módulo de armazenamento eletrônico 310 pode incluir uma unidade de disco, tal como uma unidade de disco flexível, unidade de disco rígido, unidade de disco ótico ou unidade de disco magneto-ótico, ou uma memória de estado sólido tal como uma memória FLASH, RAM, ROM E/ou EEPROM. O módulo de armazenamento eletrônico 310 também pode incluir múltiplas unidades de memória, e qualquer uma das unidades de memória pode ser configurada para estar dentro do dispositivo de captura de imagem 302, ou pode ser externa ao dispositivo de captura de imagem 302. Por exemplo, o módulo de armazenamento eletrônico 310 pode incluir uma memória ROM contendo instruções de programa de sistema armazenadas no dispositivo de captura de imagem 302. O módulo de armazenamento eletrônico 310 também pode incluir cartões de memória ou memórias de alta velocidade configuradas para armazenar imagens capturadas que podem ser removíveis da câmera.
[0061] Embora a Figura 3 mostre um dispositivo 300 que tem componentes separados para incluir um processador, um sensor de formação de imagem e uma memória, em algumas modalidades, estes componentes separados podem ser combinados em uma variedade de modos para se obter objetivos específicos de projeto. Por exemplo, em uma modalidade alternativa, os componentes de memória podem ser combinados com componentes de processador para economizar custos e melhorar o desempenho.
[0062] Adicionalmente, embora a Figura 3 ilustre um número de componentes de memória, incluindo a memória 330 compreendendo vários módulos de processamento e uma memória separada compreendendo uma memória de trabalho 305, em algumas modalidades, diferentes arquiteturas de memória podem ser utilizadas. Por exemplo, um projeto pode utilizar ROM ou memória RAM estática para o armazenamento de instruções de processador implementando os módulos contidos na memória 330. As instruções do processador podem ser carregadas em RAM para facilitar a execução pelo processador de imagem 320. Por exemplo, a memória de trabalho 305 pode compreender memória RAM, com instruções carregadas na memória de trabalho 305 antes da execução pelo mesmo processador de imagem 320. Em algumas modalidades, um ou mais dos módulos de processamento podem ser software armazenados na memória 330 ou podem compreender um sistema de hardware combinado com os componentes de software. Além disso, as funções associadas acima com um dentre o processador de imagem 320 e o dispositivo processador 350 podem ser executadas pelo outro dentre o processador de imagem 320 e o processador de dispositivo 350 ou ambos o processador de imagem 320 e o processador de dispositivo 350, embora não descritos como tal acima.
[0063] Em algumas modalidades, o processador de imagem 320 pode ser ainda configurado para participar em uma ou mais operações de processamento antes de capturar uma imagem, enquanto capturar uma imagem, e após capturar uma imagem. Por exemplo, antes de capturar a imagem, o processador de imagem 320 pode ser configurado para executar um ou mais dos processos descritos acima (por exemplo, estimar e ajustar a exposição e o foco da câmera 315). Em algumas modalidades, o processador de imagem 320 pode ser configurado para, em conjunto com um ou mais dentre o LED flash, o sistema TOF 317, o módulo de distância/refletância 340, o módulo TOF 355, o módulo AEC 360, e o módulo AF 365, ajustar a exposição e o foco do dispositivo de captura de imagem 302 (especificamente a câmera 315). O processador de imagem 320 pode assim ser configurado para permitir que o dispositivo de captura de imagem 302 capture uma imagem do objeto alvo ou FOV Com ajustes adequados (exposição e foco) conforme desejado pelo usuário.
[0064] Em algumas modalidades, o processador de imagem 320 pode estar envolvido e/ou controlar o ajuste e a estimativa da exposição e foco da câmera 315. O processador de imagem 320 pode ser configurado para controlar o flash 316, a câmera 315, o módulo AEC 360, o módulo de distância/refletância 340 para estabelecer uma exposição de flash estimada (conforme descrito em relação à Figura 1A acima). Consequentemente, o processador de imagem 320 pode monitorar o brilho do objeto alvo antes de qualquer iluminação a partir do flash 316 (monitorar o brilho do objeto alvo 210, conforme referenciado na Figura 2, pode incluir o uso da câmera 315 para ver o objeto-alvo e detectar ou parar identificar o brilho do objeto alvo ou o ambiente sem a luz proveniente do flash 316). O processador de imagem 320 pode então controlar o flash 316 para emitir um nível de luz pré-flash e ajustar a exposição do dispositivo de captura de imagem 302 com base em comandos e entradas recebidas do módulo AEC 360. Uma vez que seja atingida uma exposição de pré-flash, o processador de imagem 320 pode desligar o flash 316 e ajustar a exposição do dispositivo de captura de imagem 302 para a exposição de flash estimada conforme calculado pelo módulo AEC 360. Então, o processador de imagem 320 pode ativar o flash 316 no nível de luz instantânea principal e capturar a imagem do objeto alvo 210.
[0065] Alternativamente, ou adicionalmente, o processador de imagem 320 pode ser configurado para gerar uma exposição de pré-flash estimado antes da realização das etapas discutidas acima. Por exemplo, o processador de imagem 320 pode ser configurado, por meio de um ou mais do módulo TOF 355, do sistema TOF 317, e o módulo de distância/refletância 340, para realizar uma estimativa de distância e reflexão do objeto alvo ou o arranjo de pontos ou posições dentro do FOV. Como descrito aqui, a estimativa de distância e reflexão pode ser baseada na quantidade de tempo que transcorre entre quando a luz (ou sinal de luz) é emitida pelo emissor de luz 318 e quando o sinal de luz de retorno (após refletir o objeto alvo ou os pontos ou posições dentro do FOV) é recebido pelo sensor de luz 319. Antes, enquanto ou após a refletância de TOF e a estimativa é realizada, o processador de imagem 320 pode também estar monitorando o brilho do objeto alvo antes de qualquer iluminação do flash 316, conforme discutido acima em relação ao período de não flash, que pode envolver monitorar os níveis de brilho conforme recebido pela câmera 315 sem qualquer iluminação a partir do flash 316 para identificar uma exposição de não flash do dispositivo de captura de imagem 302 (somente luz ambiental). O processador de imagem 320 pode então combinar as informações recebidas do sistema TOF 317 (distância e refletância) com a exposição não flash para gerar uma estimativa de exposição de pré-flash. Em algumas modalidades, a estimativa de exposição de pré-flash pode envolver a referência de valores de pré-calibração fora de linha, que será descrito em maiores detalhes abaixo. Em algumas modalidades, a estimativa de exposição de pré-flash pode ser precisa o suficiente para que o processador de imagem 320 salte o ajuste de exposição de pré-flash descrito acima e prossegue diretamente para estimar a exposição de flash para uso durante a captura de imagem. Em algumas modalidades, a estimativa de distância TOF pode ser combinada com o ajuste de exposição de pré-flash antes de estimar a exposição de flash para uso durante a captura de imagem com o flash principal.
[0066] Em algumas modalidades, o processador de imagem 320 pode usar as estimativas de distância TOF fornecidas pelo sistema TOF 317, o módulo TOF 355, e o módulo de distância/refletância 340 para melhorar as estimativas do foco do dispositivo de captura de imagem 302 e reduzir o tempo necessário para ajustar o foco do dispositivo de captura de imagem 302 (especificamente, a câmera/lente (“câmera”)315) em resposta ao flash 316 durante um período de pré-flash onde o foco da câmera 315 pode ser ajustado em resposta ao brilho do objeto alvo como visto pela câmera 315. Similarmente como descrito acima para a estimativa de exposição, o processador de imagem 320 pode ser configurado para estimar um foco de pré-flash da câmera 315, e pode usar aquela estimativa em conjunto com um ajuste de foco de pré-flash e período de estimativa reduzido ou em vez do período de ajuste e estimativa de foco pré-flash.
[0067] Alternativamente, ou adicionalmente, o processador de imagem 320 pode somente agir em resposta a instruções de um ou mais de outros componentes ou módulos do dispositivo de captura de imagem 302. Por exemplo, o módulo AEC 360 ou o módulo AF 365 pode emitir instruções para outros componentes do dispositivo de captura de imagem 302 para permitir que o módulo AEC 360 calcule a imagem estimada com base em qualquer um dos métodos descritos acima (com ou sem as entradas do sistema TOF) ou para permitir que o módulo AF 365 calcular o foco estimado como descrito acima. Adicionalmente, as estatísticas podem ser coletadas utilizando vários hardwares (tal como um processador de sinais de imagem (ISP)) com base nos dados de imagem do sensor em tempo real. Por exemplo, as estatísticas coletadas podem ser somas e médias de todas as regiões em uma determinada grade de tamanho, tal como 64x48. As estatísticas coletadas também podem incluir histogramas dos dados de imagem.
[0068] A figura 4A é um gráfico 400 que ilustra a relação entre a distância entre um objeto alvo e um dispositivo de formação de imagem e exposição. O eixo x do gráfico 400 indica a distância entre o objeto alvo e a câmera em centímetros (cm), enquanto o eixo y do gráfico 400 representa o nível de exposição “correto” (relativo) determinado para a câmera. Por exemplo, o gráfico 400 mostra exemplos da informação de exposição de pré-flash em função da distância de um objeto alvo. A figura 4B é um gráfico 425 que é associado com o gráfico 400 e ilustra exemplos de informação referente à distância 426, exemplos de informações relativas à exposição 427, e exemplos de informações relativas a dados de sensor TOF, tal como a relação sinal/ruído (SNR) 431. O gráfico 400 e o gráfico 425 compreendem dados experimentais identificados a partir de testes e comparações de vários aspectos descritos. O gráfico 425 inclui várias colunas: a distância 426 inclui a distância entre o objeto alvo e a câmera, três colunas correspondendo aos dados de estimação de LED AEC, incluindo a exposição 427 representando a exposição de pré-flash para o objeto alvo, luma 428 representando a luma de pré-flash do objeto alvo, e a coluna de tempo de pré-flash 429 incluindo a quantidade de tempo que dura o período de pré- flash, em segundos (por exemplo, o tempo que leva para a câmera alcançar a exposição da exposição 427). O gráfico 425 também inclui colunas compreendendo dados de sistema TOF, incluindo uma distância medida 430, incluindo a distância entre o objeto alvo e a câmera conforme medido pelo sistema TOF (em milímetros) e a SNR 431 indicando a relação sinal-ruído (SNR) conforme identificado pelo sistema TOF. O gráfico 425 também tem quatro fileiras correspondendo a diferentes distâncias (em centímetros) As distâncias incluem 10 cm, 17 cm, 27 cm e 43 cm.
[0069] Conforme mostrado no gráfico 400, quando a distância entre o objeto alvo e a câmera é pequena, a exposição de pré-flash é menor porque quando o objeto alvo está próximo da câmera, a luz do flash tem um impacto maior sobre o brilho do objeto alvo conforme visto pela câmera, e o nível de exposição de pré-flash é menor. Correspondentemente, à medida que a distância entre a câmera e o objeto alvo aumenta, os níveis de exposição aumentam porque a luz do flash tem um impacto menor sobre o brilho do objeto alvo conforme visto pela câmera, e o nível de exposição deve ser mais alto para capturar a imagem em um dado nível de brilho. Assim, conforme mostrado no gráfico 400 e no gráfico 425, quando o objeto alvo é uma distância de 10 cm da câmera, a exposição de pré-flash da câmera pode ser 249. Quando o objeto alvo é uma distância de 17 cm da câmara, a exposição de pré-flash da câmera pode ser 279. Similarmente, quando a distância é de 27 cm, a exposição de pré-flash pode ser 302, e quando a distância é de 43 cm, a exposição de pré-flash pode ser 340. A luma (brilho) 428 do gráfico 425 indica o brilho do objeto alvo como visto pela câmera dados os níveis de exposição de pré- flash da exposição 427 a uma dada distância. A luma é a luma final no final do processo de pré-flash, e corresponde ao índice de exposição de pré-flash. Por exemplo, a luma de pré-flash para o objeto alvo na distância de 10 cm é 58, enquanto a luma de pré-flash para o objeto alvo na distância de 17 cm é 55, na distância de 27 cm é 49, e na distância de 43 cm está em 62. Assim, conforme descrito acima, à medida que o objeto alvo é ainda da câmera, a exposição de pré-flash resultante pode ser maior para obter os mesmos ou similares níveis de brilho.
[0070] A coluna de tempo de pré-flash 429 proporciona o tempo decorrido enquanto o sistema AEC ajusta a exposição da câmera ao nível de exposição de pré-flash. Conforme visto pela comparação dos valores da coluna de tempo de pré-flash 429 à medida que elas correspondem às várias distâncias, o tempo diminui à medida que a exposição de pré-flash aumenta. Por exemplo, o tempo é de 0,675 segundos quando a distância do objeto alvo é de 10 cm e a exposição de pré-flash se 249, mas apenas 0,447 segundos quando o objeto alvo está a 43 cm da câmera e a exposição de pré-flash é 340. Isso mostra que o tempo perdido para o ajuste de exposição de pré-flash é associado diretamente com a quantidade de ajuste de exposição realizado.
[0071] A distância medida 430 indica a distância entre o objeto alvo e a câmera, conforme determinado pelo sistema TOF. Ao comparar a distância medida 430 com a distância 426, vê-se que a TOF provê uma medição precisa da distância entre o objeto alvo e a câmera. Neste dado, o valor medido por meio do sistema TOF é desligado por minuto centímetro (27 cm da distância 426 versus 261,5 mm a partir da distância de medida 430). Finalmente, a SNR 431 representa a SNR como identificada pelo sistema TOF. A SNR diminui de 60,8 a 10 cm de distância entre a câmera e o objeto alvo a 1,7 a 43 cm de distância entre a câmera e o objeto alvo.
[0072] A figura 4C ilustra um gráfico 450 que ilustra a exposição de pré-flash versus relação de sinal/ruído, ilustrando a exposição de pré-flash do objeto alvo, a uma dada distância, tendo valores de refletância variáveis, de acordo com uma modalidade exemplar. O eixo x do gráfico 450 indica cores (ou valores de refletância) dos objetos alvo, enquanto o eixo y do gráfico 450 representa o nível de exposição da câmera. A figura 4D é uma tabela 475 que ilustra a informação associada à Figura 4C. O gráfico 450 e o gráfico 475 compreendem dados experimentais identificados a partir de testes e comparações de vários aspectos descritos. O gráfico 450 representa a exposição de pré-flash versus refletância de um objeto alvo. O gráfico 475 inclui várias colunas: o objeto 476 inclui a cor (refletância) do objeto alvo, três colunas correspondendo aos dados de estimativa de AEC De LED, incluindo a exposição de pré-flash 477 representando a informação de exposição de pré-flash para o objeto alvo, luma 478 representando a informação de luma pré-flash do objeto alvo, e tempo de pré-flash 479 incluindo informação da quantidade de tempo que o período de pré-flash dura, em segundos (por exemplo, o tempo que leva para a câmera alcançar a exposição, da exposição de pré-flash 477). O gráfico 475 também inclui colunas compreendendo dados de sistema TOF, incluindo uma distância medida 480, incluindo a distância entre o objeto alvo e a câmera conforme medido pelo sistema TOF (em milímetros) e relação sinal-ruído (SNR) 481 indicando a relação sinal-ruído (SNR) como identificado pelo sistema TOF. O gráfico 475 também tem três fileiras correspondendo a diferentes cores de objetos alvo tendo diferentes valores de refletância (em centímetros) As cores incluem branco, cinza e preto.
[0073] Conforme mostrado no gráfico 450, quando a relação de sinal para ruído do objeto alvo é maior, o valor de exposição de pré-flash é menor. Isto pode ser porque, conforme descrito acima, quando o objeto alvo tem uma refletância mais alta, o sinal de retorno refletindo o objeto alvo é mais alto, e o objeto alvo com uma refletância mais alta tipicamente necessita menos exposição do que aqueles com menor refletância. Isto corresponde à descrição acima que quando o objeto alvo é mais refletivo (por exemplo, tem uma refletância mais alta), o flash pode afetar a exposição da câmera.
[0074] Conforme mostrado no gráfico 450 e na tabela 475, a exposição de pré-flash 477 corresponde à exposição (ou cor/material) do objeto alvo no objeto 476. Por exemplo, o objeto branco (tendo uma refletância mais alta do que os objetos alvo cinza ou preto) tem um valor de exposição mais baixo de 249, enquanto os objetos alvo cinza e preto têm valores de exposição de 313 e 343, respectivamente. Estes valores se conformam à discussão aqui que objetos alvo com valores de refletância mais altos podem usar valores de exposição mais baixos do que os objetos alvo com valores de refletância mais baixos. Adicionalmente, os valores de luma (brilho) da luma 478 indicam a quantidade de brilho do objeto alvo (s) conforme visto pela câmera. Como mostrado, o objeto alvo branco, o objeto alvo preto, e o objeto alvo cinza são todos em valores comparáveis (58, 17, 78, respectivamente). Em algumas modalidades, um algoritmo pode ser usado para manipular a luma dentro de uma faixa razoável. Por exemplo, os valores luma dos objetos alvo branco, preto e cinza (58, 17, e 78, respectivamente) podem ser, individualmente, considerados valores razoáveis. Adicionalmente, no gráfico 475, quando o brilho pré-flash da luma 478 aumenta, o tempo de pré-flash 479 diminui. Adicionalmente, conforme mostrado no gráfico 450, a SNR de cada um dos objetos alvo na SNR 481 reduz à medida que aumentam os níveis de exposição da exposição de pré-flash 477 (o nível de exposição de 249 tem uma SNR de 60,8, enquanto as exposições de 313 e 344 têm SNRs de 40,4 e 21,2, respectivamente). Conforme mostrado na Figura 4D, a SNR pode se correlacionar com a refletância do objeto alvo (por exemplo, o objeto alvo branco tem uma SNR mais alta do que o objeto alvo cinza, que tem uma SNR mais alta do que o objeto alvo preto em aproximadamente as mesmas distâncias). Conforme mostrado na Figura 4D, os valores de tempo de luma e pré-flash podem ter menos correlação com a exposição de pré-flash do que a SNR.
[0075] A distância medida 480 indica a distância entre o objeto alvo e a câmera, conforme determinado pelo sistema TOF. Conforme mostrado na distância medida 480, os objetos alvos do objeto 476 estão todos dentro de 1 cm um do outro (branco é medido a 100,6 mm, cinza a 102,3 mm, e preto a 106,1 mm) finalmente, a SNR 481 ilustra a SNR como identificada pelo sistema TOF. A SNR diminui de 60,8 para o objeto alvo branco para 21,2 para o objeto alvo preto.
[0076] A figura 5A ilustra um diagrama de blocos que ilustra um processo 500, que um dispositivo de formação de imagem pode ser configurado para implementar, para estimar uma exposição de flash com base na correção de exposição automática de flash de LED usando-se uma câmera não utilizando um sensor TOF ou de laser, conforme descrito acima. Conforme representado, o processo 500 inclui quatro blocos envolvidos na identificação da exposição de flash estimada, descrita acima. O processo 500 começa com uma determinação de uma exposição não flash no bloco 505. A exposição não flash do bloco 505 pode corresponder à discussão acima da identificação da exposição da câmera quando o flash não está ativo em qualquer nível. Por exemplo, isto pode ocorrer quando a câmera é ligada, mas não emitindo luz a partir do flash 316. A exposição de não flash pode ser identificada e armazenada para uso posterior. Uma vez que a exposição não flash é determinada no bloco 505, o processo 500 prossegue para os blocos 510 e 515, que podem operar simultaneamente
[0077] O bloco 510 inclui ativar o flash da câmera em um nível de pré-flash. Isto pode incluir, por exemplo, controlar o flash para iluminar um objeto alvo em menos de um nível de flash total. Enquanto o flash é ativado no nível de pré-flash, o bloco 515 ajusta a exposição da câmera a um nível de exposição de pré-flash. Em algumas modalidades, o nível de exposição de pré-flash pode ser ajustado de modo que a luma esteja dentro de uma faixa especificada (por exemplo, conforme descrito acima, cada um dos 58, 17 e 78 pode estar dentro da faixa especificada). Em algumas modalidades, a refletância, a distância do objeto alvo, e o nível de exposição de pré- flash pode ser ajustado para trazer o valor de luma dentro da faixa especificada. Tal ajuste pode ser realizado pelo módulo AEC descrito acima, ou por qualquer outro módulo configurado para controlar a exposição da câmera. Durante os blocos 510 e 515, a câmera não pode capturar quaisquer imagens. Em vez disso, a câmera pode simplesmente monitorar o brilho do objeto alvo e/ou do ambiente e ajustar a sua exposição de acordo com o brilho monitorado até um nível de exposição alvo. Adicionalmente, a exposição de pré-flash pode ser armazenada para uso posterior. Por exemplo, o módulo AEC 360 pode usar um pré-flash e uma razão de brilho de flash principal (algum valor pré-definido/determinado) junto com o nível de exposição de pré-flash armazenado para estimar um nível de exposição desejado na imagem instantânea final. Em algumas modalidades, o flash principal pode ser mais brilhante do que o pré-flash (razão de brilho >1), de modo que o módulo AEC 360 adicionalmente abaixará o nível de exposição do nível de exposição de pré- flash de modo que a imagem final possa ser exposta corretamente. Em algumas modalidades, o ajuste da exposição da câmera pode ser executado por um algoritmo de exposição. Uma vez que a exposição de pré-flash é determinada no bloco 515, o processo 500 prossegue para o bloco 520.
[0078] O bloco 520 inclui a estimativa da exposição da câmera para a iluminação instantânea principal. Isto pode ser realizado pelo algoritmo de exposição ou o módulo AEC descrito acima. O algoritmo de exposição pode ser configurado para, utilizando a informação de não-flash adquirida no bloco 505 e a informação de exposição de pré-flash, adquirida no bloco 515, computar o brilho do objeto alvo (especificamente, o brilho da estrutura incluindo o objeto alvo, conforme visto pela câmera enquanto iluminado pelo LED) através das informações de estatística coletadas descritas acima. O algoritmo de exposição pode adicionalmente extrapolar o brilho do objeto alvo e a cena quando iluminado pela corrente de acionamento instantânea principal (substancialmente maior do que a corrente de acionamento de pré-flash (s)). Esse brilho extrapolado pode representar um nível de brilho estimado para o objeto ou cena alvo que é esperado quando o flash principal é iluminado sob corrente total (por exemplo, a corrente de acionamento de flash principal). O brilho extrapolado pode então ser usado para regular a exposição da câmera a um nível apropriado tal que o alvo ou cena não está sobre ou sob exposto (por exemplo, de modo que o alvo ou cena de captura esteja no brilho apropriado) uma vez que a exposição de flash estimada é determinada, o processo 500 termina. Em algumas modalidades, o brilho e/ou a exposição identificados podem ser armazenados para uso posterior.
[0079] A figura 5B é um diagrama de blocos que ilustra um processo 550, que um dispositivo de formação de imagem pode ser configurado para implementar, para estimar uma exposição de flash com base em uma distância determinada e refletância do objeto alvo por uma câmera que utiliza um sistema TOF ou sensor de laser em conjunto com um módulo AEC, por exemplo, conforme descrito acima. Conforme representado, o processo 550 inclui quatro blocos envolvidos na identificação de pré-flash estimada, embora um quinto bloco opcional possa ser incluído (embora não mostrado aqui) O processo 550 começa com os blocos 555 e 560 operando simultaneamente. O bloco 555 inclui estimar uma distância até o objeto alvo usando o sistema TOF.
[0080] Em algumas modalidades, a determinação da distância do objeto alvo pode incluir apenas uma estimativa de distância única com base no centro do objeto alvo ou no centro do FOV da câmera. Em algumas modalidades, a distância do objeto alvo pode ser determinada usando-se um conjunto de informações de distância para vários pontos distribuídos através do FOV da câmera. Por exemplo, o sistema TOF pode emitir para e perceber a luz a partir de vários locais em torno do FOV para gerar o conjunto de informação de distância. Em algumas modalidades, a câmera pode então calcular a informação de distância do arranjo para determinar uma distância da imagem. Em algumas modalidades, a câmera pode identificar a imagem de distância para o objeto alvo em um local específico dentro do FOV (conforme selecionado pelo usuário, por exemplo, ao selecionar um ponto de foco, etc. 0 Com base na informação de distância a partir do conjunto em um ponto no conjunto correspondente à localização do objeto alvo dentro do FOV.
[0081] Um dispositivo de formação de imagem pode ser configurado para determinar a refletância de um objeto alvo utilizando o sistema TOF. A refletância pode ser determinada com base na energia retornada da luz emitida por um emissor TOF e recebida por um sensor TOF. Quanto maior a energia retornada, maior a refletância do objeto alvo, conforme descrito acima Similar à informação de distância acima, uma determinação da refletância pode incluir a determinação de uma refletância de um arranjo do FOV, onde a refletância de múltiplos locais dentro do FOV pode ser determinada e/ou calculada.
[0082] Estimativa de distância de sistema TOF, uma câmera pode ser configurada para identificar a exposição de não flash no bloco 560. A exposição de não flash no bloco 560 pode ser similar ou idêntica à exposição não flash no bloco 505 descrita acima em relação à Figura 5A. A exposição não flash do bloco 560 pode ser determinada simultaneamente com a estimativa de distância TOF do bloco 555 porque o sistema TOF não utiliza luz que efetua o brilho do objeto alvo ou FOV. Consequentemente, luz (por exemplo, luz IV) emitida pelo sistema TOF não afeta o brilho do objeto alvo ou FOV, conforme visto pela câmera durante a detecção de exposição, e assim a detecção de exposição não flash pode ser realizada simultaneamente com a estimativa de distância do sistema TOF. Em algumas modalidades, as medições de exposição pela câmera podem ser realizadas simultaneamente com qualquer estimativa de sistema TOF. Uma vez que os blocos 555 e 560 estejam completos, o processo 550 prossegue para o bloco 565
[0083] A câmera da Figura 5B estima a exposição de pré-flash no bloco 565. A Câmera pode usar a estimativa de distância TOF identificada no bloco 555 com a exposição de não flash do bloco 560 para calcular uma pré-exposição inicial exposição de flash antes do período de pré-flash, conforme descrito acima. A aplicação da exposição de pré- flash inicial estimada antes de entrar no período de pré- flash pode reduzir a quantidade de tempo que a câmera pode gastar no período de pré-flash, como a exposição da câmera estará em um nível mais próximo à exposição de pré-flash apropriada, reduzindo assim o ajuste de exposição necessário durante o período de pré-flash. Como descrito acima, quando a câmera utiliza o período de pré-flash para ajustar uma exposição de não flash para alcançar uma exposição de pré-flash, a câmera pode ajustar a exposição de uma grande quantidade dependente de pelo menos a iluminação ambiental, a distância entre o objeto alvo e a câmera, e a refletância do objeto alvo. Entretanto, uma vez que os blocos 555 e 560 proporcionam a distância e a refletância do objeto alvo, o bloco 565 pode prover uma estimativa mais precisa da exposição da câmera necessária para capturar a imagem do dispositivo alvo no nível de brilho desejado, e a exposição da câmera deve precisar ser ajustada menos do nível de estimativa de exposição de pré- flash.
[0084] Em algumas modalidades, a estimativa de exposição de pré-flash do bloco 565 pode ser pré-calibrada. Em algumas modalidades, a pré-calibração fora de linha pode envolver a identificação da exposição da câmera ao capturar o objeto alvo em várias distâncias, assim construir uma biblioteca de valores de exposição para um objeto alvo em várias distâncias. Em algumas modalidades, a pré-calibração off-line pode compreender a identificação dos valores de exposição da câmera quando capturar vários objetos alvos tendo uma refletância variável na mesma distância, assim construir uma biblioteca de valores de exposição para uma distância com valores de refletância variáveis. Em algumas modalidades, a pré-calibração pode fornecer informação que ajuda a pré-calibração a estimativa de exposição de flash do bloco 565 desenvolve estimativas mais precisas da exposição de pré-flash. Em algumas modalidades, uma biblioteca ou outra base de dados pode ser gerada pela captura de objetos alvos a várias distâncias com vários valores de refletância. A biblioteca ou banco de dados pode cobrir todos os cenários e pode permitir que o algoritmo identifique precisamente o nível de exposição correto na biblioteca ou banco de dados, dada distância de entrada e refletância ou SNR. Por exemplo, a informação de pré- calibração pode permitir que o bloco 565 estime melhor a exposição de pré-flash quando provida com a estimativa de distância TOF, como o bloco 565 pode revisar os valores de exposição na informação de calibração para a distância estimada e a refletância de estimativa. A melhor estimativa pode permitir a estimativa de exposição de pré-flash do bloco 565 para estimar mais precisamente o valor de exposição de pré-flash, assim, reduzindo ainda mais a quantidade de tempo que a câmera pode gastar no período de pré-flash.
[0085] Quando o bloco 565 completa a estimativa de exposição de pré-flash, o processo 550 prossegue para o bloco 570, onde a câmera entra no período de pré-flash descrito acima (por exemplo, entra nos blocos 510 e 515 do processo 500). Em algumas modalidades (não mostradas nesta figura), a estimativa de exposição de pré-flash do bloco 565 pode prover uma estimativa de exposição de pré-flash precisa. Consequentemente, o processo 550 pode saltar o período de ajuste de exposição de pré-flash e prosseguir diretamente para a captura de imagem durante o período de flash principal. Assim, em algumas modalidades, a estimativa de exposição de pré-flash do bloco 565 pode compreender o bloco de estimativa de exposição de flash principal que utiliza a distância de TOF e a estimativa de reflexão e a exposição não flash dos blocos 555 e 560, respectivamente. Tal eliminação do período de pré-flash pode reduzir grandemente as latências introduzidas pelo processo AEC descrito acima quando não utilizado com o Sistema TOF.
[0086] Em algumas modalidades, a câmera pode usar a estimativa de distância TOF de bloco 555 para melhor estimativa de um foco de pré-flash. Por exemplo, quando uma câmera está preparando para capturar uma imagem, a câmera pode usar informação a partir da estimativa de distância TOF para gerar uma estimativa de foco pré-flash mais precisa que reduz a quantidade de tempo que a câmera gasta focalizando no objeto alvo, mas a câmera pode ainda prosseguir para o período de pré-flash.
[0087] A figura 6 é um fluxograma que ilustra um exemplo de um método 600 para determinar a exposição, de acordo com algumas modalidades. O método 600 pode começar no bloco 602 e prosseguir para o bloco 604. No bloco 604, o método 600 pode emitir um sinal de luz em direção a um objeto alvo através de um sistema TOF. O sistema TOF pode compreender o sistema TOF 214/317 (incluindo tanto o emissor de luz como o sensor de luz), conforme descrito acima em relação às Figuras 2 e 3. Em algumas modalidades, o sistema TOF pode ser parte de um dispositivo de captura de imagem, tais como os dispositivos de captura de imagem 202 e 302 mostrados nas Figuras 2 e 3, respectivamente. O sistema TOF pode ser controlado através de um processador (por exemplo, um de processador de imagem 320 ou processador de dispositivo 350) ou através de qualquer um dos módulos descritos acima em relação à Figura 3. Quando o sinal de luz tiver sido gerado e emitido para o objeto alvo, o método 600 prossegue para o bloco 606.
[0088] No bloco 606, o método 600 detecta uma reflexão do sinal de luz emitido do objeto alvo através do sensor de luz, por exemplo, o sensor de luz 220/318, conforme referido nas Figuras 2 e 3, respectivamente. Em algumas modalidades, o sensor de luz do sistema TOF pode comunicar informações relativas à reflexão recebida para o processador do dispositivo de captura de imagem ou pode armazenar a informação em uma memória, tal como a memória de trabalho 305 ou o módulo de armazenamento eletrônico 310. Alternativamente, a informação do sensor de luz pode ser comunicada a qualquer um dos módulos no dispositivo de captura de imagem 302, conforme mostrado na Figura 3. Quando a luz refletida é detectada pelo sensor de luz do sistema TOF, o método 600 progride para o bloco 608.
[0089] No bloco 608, o método 600 determina uma energia de retorno com base na reflexão do sinal de luz emitido conforme detectado pelo sensor de luz. A energia de retorno pode ser determinada pelo próprio sensor de luz ou pode ser determinada por um dos processadores. Alternativamente, ou adicionalmente, a energia de retorno pode ser determinada com base na reflexão do sinal de luz emitido por um ou mais dos módulos do dispositivo de captura de imagem 302 da Figura 3, tal como o módulo de distância/refletância 340 ou o módulo TOF 355, por exemplo. Quando o método 600 determina uma energia refletida com base na reflexão do sinal de luz emitido, o método 600 prossegue para o bloco 610. No bloco 610, o método 600 mede um tempo entre quando o sinal de luz é emitido pelo emissor de luz do sistema TOF e quando o sensor de luz do sistema TOF detecta a reflexão do sinal de luz emitido fora do objeto alvo. Em algumas modalidades, a medição do tempo pode ser realizada pelo processador ou por um dos módulos do dispositivo de captura de imagem 302 da Figura 3, por exemplo, o módulo de distância/refletância 340 ou o módulo TOF 355. Em algumas modalidades, a medição do tempo pode envolver o relógio 351. Em algumas modalidades, os resultados da medição podem ser armazenados na memória ou comunicados aos processadores ou qualquer um dos módulos associados. Quando o tempo tiver sido medido, o método 600 progride para o bloco 612.
[0090] No bloco 612, o método 600 determina uma distância entre o objeto alvo e o sistema TOF com base no tempo medido. Em algumas modalidades, essa determinação pode ser realizada pelo próprio sistema TOF ou um dos processadores. Em algumas modalidades, a determinação pode ser feita pelo módulo de distância/refletância 340 do dispositivo de captura de imagem 302. Em algumas modalidades, a distância determinada pode ser armazenada em uma das memórias ou pode ser imediatamente usada por um dos módulos ou os processadores. Quando o bloco 612 estiver completo, o método 600 prossegue para o bloco 614. No bloco 614, o método 600 identifica uma refletância do objeto alvo com base na energia retornada. Em algumas modalidades, a refletância pode ser identificada pelo módulo de distância/refletância 340 ou no sistema TOF Em algumas modalidades, um dos processadores ou um dos outros módulos pode ser configurado para identificar o sistema a refletância do objeto alvo com base na reflexão detectada e na iluminação ambiente ou de não flash identificada. Em algumas modalidades, a refletância pode ser determinada com base na energia retornada conforme detectada pelo sensor de luz. Em algumas modalidades, a identificação da refletância pode também incorporar uma ou mais de outros parâmetros medidos, identificados, ou determinados (tal como a exposição à luz ambiente, etc.). Quando a refletância é determinada no bloco 614, o método 600 prossegue para o bloco 616.
[0091] No bloco 616, o método 600 determina um nível de exposição do objeto alvo com base na distância determinada e na refletância identificada. Em algumas modalidades, a determinação do nível de exposição pode ser realizada pelo módulo AEC 360 ou um dos processadores ou um dos outros módulos da Figura 3. Em algumas modalidades, o nível de exposição pode ser determinado pelo sensor de luz. Em algumas modalidades, o nível de exposição pode ser armazenado em uma das memórias ou pode ser imediatamente comunicado a um dos módulos do dispositivo de captura de imagem 302 da Figura 3. Quando o nível de exposição é determinado, o método 600 termina no bloco 618.
[0092] Em algumas modalidades, os valores ou quantidades determinados, identificados, medidos, ou gerados descritos acima podem ser exibidos, por exemplo, no dispositivo de exibição 325, conforme referenciado pela Figura 3, ou armazenado na memória de trabalho 305 ou no módulo de armazenamento eletrônico 310 ou processado por um dos processadores.
[0093] Como usado aqui, o termo “determinação” abrange uma ampla variedade de ações. Por exemplo, “determinação” pode incluir cálculo, computação, processamento, derivação, investigação, procura (por exemplo, consulta em uma tabela, uma base de dados ou outra estrutura de dados), verificação e similares. Além disso, “determinar” pode incluir receber (por exemplo, receber informação), acessar (por exemplo, acessar dados em uma memória) e semelhantes. Além disso, “determinar” pode incluir resolver, selecionar, escolher, estabelecer e similar. Além disso, uma “largura de canal” como usada aqui pode abranger ou também pode ser referida como uma largura de banda em certos aspectos.
[0094] Como usado aqui, uma frase se referindo a “pelo menos um de” uma lista de itens refere-se a qualquer combinação desses itens, incluindo membros simples. Como um exemplo, “pelo menos um de: a, b ou c” destina-se a cobrir: a, b, c, a-b, a-c, b-c e a-b-c.
[0095] As várias operações dos métodos descritos acima podem ser realizadas por qualquer meio adequado capaz de realizar as operações, tal como vários componentes de hardware e/ou software (s), circuitos e/ou módulo (s). Geralmente, quaisquer operações ilustradas nas Figuras podem ser executadas por meios funcionais correspondentes capazes de executar as operações.
[0096] Como usado aqui, o termo interface pode se referir a hardware ou a software configurado para conectar, em conjunto, dois ou mais dispositivos. Por exemplo, uma interface pode ser uma parte de um processador ou um barramento e pode ser configurado para permitir a comunicação de informações ou dados entre os dispositivos. A interface pode ser integrada em um chip ou outro dispositivo. Por exemplo, em algumas modalidades, uma interface pode compreender um receptor configurado para receber informação ou comunicações de um dispositivo em outro dispositivo. Interface (por exemplo, de um processador ou um barramento) pode receber informações ou dados processados por uma extremidade frontal ou outro dispositivo ou podem processar informação recebida. Em algumas modalidades, uma interface pode compreender um transmissor configurado para transmitir ou comunicar informações ou dados para outro dispositivo. Assim, a interface pode transmitir informação ou dados ou pode preparar informação ou dados para saída para transmissão (por exemplo, através de um barramento).
[0097] Os vários blocos lógicos ilustrativos, módulos e circuitos descritos em conexão com a presente invenção podem ser implementados ou executados com um processador de finalidade geral, um processador de sinal digital (DSP), um circuito integrado de aplicação específica (ASIC), um sinal de arranjo de porta programável em campo (FPGA) ou outro dispositivo lógico programável (PLD), porta discreta ou lógica de transistor, componentes físicos discretos ou qualquer combinação dos mesmos, projetada para executar as funções descritas aqui. Um processador de uso geral pode ser um microprocessador, mas na alternativa, o processador pode ser qualquer processador, controlador, microcontrolador ou máquina de estado, disponíveis comercialmente. Um processador também pode ser implementado como uma combinação de dispositivos de computação, por exemplo, uma combinação de um DSP e um microprocessador, uma pluralidade de microprocessadores, um ou mais microprocessadores em conjunto com um núcleo DSP, ou qualquer outra tal configuração.
[0098] Em um ou mais aspectos, as funções descritas podem ser implementadas em hardware, software, firmware, ou qualquer combinação dos mesmos. Se implementado em software, as funções podem ser armazenadas ou transmitidas como uma ou mais instruções ou código em um meio legível por computador. Mídia legível por computador inclui ambos meios de armazenamento de computador e meios de comunicação incluindo qualquer meio que facilita a transferência de um programa de computador de um lugar para outro Um meio de armazenamento pode ser qualquer meio disponível que possa ser acessado por um computador. A título de exemplo, e não de limitação, tais meios legíveis por computador podem compreender RAM, ROM, EEPROM, CD-ROM ou outro armazenamento de disco ótico, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético, ou qualquer outro meio que possa ser usado para carregar ou processar armazenar o código de programa desejado na forma de instruções ou estruturas de dados e que pode ser acessado por um computador. Também, qualquer conexão é apropriadamente denominada um meio legível por computador. Por exemplo, se o software for transmitido a partir de um sítio de rede, servidor, ou outra fonte remota usando um cabo coaxial, cabo de fibra óptica, par torcido, linha de assinante digital (DSL), ou tecnologias sem fio tais como infravermelho, rádio e microondas, então o cabo coaxial, cabo de fibra óptica, par torcido, DSL, ou tecnologias sem fio tais como infravermelho, rádio e microondas são incluídas na definição de meio. Disco e disco, conforme usado aqui inclui disco compacto (CD), disco de laser, disco ótico, disco versátil digital (DVD), disco flexível e disco Blu-ray onde discos usualmente reproduzem dados magneticamente, enquanto discos reproduzem dados opticamente com lasers. Assim, em alguns aspectos o meio legível por computador pode compreender meio legível por computador não transitório (por exemplo, meio tangível) Além disso, em alguns aspectos, o meio legível por computador pode compreender um meio legível por computador transitório (por exemplo, um sinal) combinações do acima também devem ser incluídas no escopo de meios passíveis de leitura por computador.
[0099] Os métodos aqui descritos compreendem uma ou mais etapas ou ações para a obtenção do método descrito. As etapas e/ou ações do método podem ser permutadas umas com as outras sem se afastar do escopo das reivindicações. Em outras palavras, a menos que uma ordem específica de etapas ou ações seja especificada, a ordem e/ou o uso de etapas e/ou ações específicas podem ser modificados sem se afastar do escopo das reivindicações.
[00100] As funções descritas podem ser implementadas em hardware, software, firmware ou qualquer combinação dos mesmos. Se implementado em software, as funções podem ser armazenadas como uma ou mais instruções em um meio legível por computador. Um meio de armazenamento pode ser qualquer meio disponível que possa ser acessado por um computador. A título de exemplo, e não de limitação, tais meios passíveis de leitura por computador podem compreender RAM, ROM, EEPROM, CD-ROM ou outro armazenamento de disco óptico, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético, ou qualquer outro meio que possa ser usado para carregar ou armazenar o código de programa desejado na forma de instruções ou estruturas de dados e que pode ser acessado por um computador. Disco e disco, conforme aqui usado, incluem disco compacto (CD), disco de laser, disco ótico, disco versátil digital (DVD), disco flexível, e disco Blu-ray ® onde os discos usualmente reproduzem dados magneticamente, enquanto discos reproduzem dados opticamente com lasers.
[00101] Assim, certos aspectos podem compreender um produto de programa de computador para a realização das operações aqui apresentadas. Por exemplo, tal produto de programa de computador pode compreender um meio legível por computador tendo instruções armazenadas (e/ou codificadas) no mesmo, as instruções sendo executáveis por um ou mais processadores para realizar as operações descritas aqui. Para determinados aspectos, o produto de programa de computador pode incluir material de embalagem.
[00102] Além disso, deve-se considerar que os módulos e/ou outros meios apropriados para a realização dos métodos e método as técnicas aqui descritas podem ser descarregadas e/ou de outra forma obtidas por um terminal de usuário e/ou estação base conforme aplicável. Por exemplo, tal dispositivo pode ser acoplado a um servidor para facilitar a transferência de meios para realizar os métodos aqui descritos. Alternativamente, vários métodos descritos aqui podem ser providos por meio de meios de armazenamento (por exemplo, RAM, ROM, um meio físico de armazenamento tal como um disco compacto (CD) ou disco flexível, etc. 0), de modo que um terminal de usuário e/ou estação base possa obter os vários métodos mediante acoplamento ou fornecimento do meio de armazenamento para o dispositivo. Além disso, qualquer outra técnica adequada para fornecer os métodos e técnicas aqui descritas a um dispositivo pode ser utilizada.
[00103] Deve ser entendido que as reivindicações não estão limitadas à configuração e componentes precisos ilustrados acima. Várias modificações, mudanças e variações podem ser feitas na disposição, operação e detalhes dos métodos e aparelhos descritos acima sem se afastar do escopo das reivindicações.
[00104] Embora o precedente seja dirigido a aspectos da presente descrição, outros aspectos e aspectos adicionais da invenção podem ser projetados sem se afastar do escopo básico do mesmo, e o escopo da mesma é determinado pelas reivindicações que se seguem.

Claims (14)

1. Aparelho de formação de imagem, caracterizado pelo fato de que compreende: uma câmera (315) para capturar uma imagem de um objeto alvo; um sistema de tempo de voo, TOF, (317), o sistema de tempo de voo (317) compreendendo: meios (318) para emitir um sinal de luz; e meios (319) para detectar uma reflexão do sinal de luz emitido a partir de um objeto alvo; meios para determinar uma energia de retorno com base na reflexão do sinal de luz emitido; meios para medir um tempo entre quando o sinal de luz é emitido e quando o sinal de luz emitido é detectado; meios (340) para determinar uma distância entre o objeto alvo e o sistema TOF (317) com base no tempo medido; meios (340) para identificar uma refletância do objeto alvo com base na energia de retorno do sinal de luz emitido; um módulo de controle de exposição automática para: determinar um primeiro nível de exposição com base na distância até o objeto alvo e a refletância do objeto alvo; controlar um flash (316) para emitir um pré- flash, em que a câmera (315) captura uma primeira imagem do objeto alvo quando iluminado pelo pré-flash em uma exposição com base no primeiro nível de exposição; determinar um segundo nível de exposição com base na primeira imagem; e meios para controlar o flash (316) para emitir um flash principal; e meios para controlar a câmera (315) para capturar uma segunda imagem do objeto alvo enquanto o objeto alvo é iluminado pelo flash principal em uma exposição com base no segundo nível de exposição.
2. Aparelho de formação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que os meios para identificar uma refletância são adicionalmente configurados para identificar uma relação de sinal para ruído, SNR, do objeto alvo com base na energia de retorno, em que a SNR corresponde à refletância do objeto alvo.
3. Aparelho de formação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a câmera (315) é configurada adicionalmente para determinar um nível de brilho do objeto alvo sob condições de luz ambiente.
4. Aparelho de formação de imagem, de acordo com a reivindicação 3, caracterizado pelo fato de que os meios para determinar um primeiro nível de exposição são configurados adicionalmente para determinar o primeiro nível de exposição com base no brilho do objeto alvo sob condições de luz ambiente.
5. Aparelho de formação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente meios (365) para ajustar um foco dos meios para capturar uma imagem (315).
6. Aparelho de formação de imagem, de acordo com a reivindicação 5, caracterizado pelo fato de que compreende adicionalmente meios para focalizar automaticamente, AF, os meios para capturar uma imagem (315) através dos meios (365) para ajustar o foco com base no nível de exposição determinado, em que os meios (365) para ajustar o foco usam o nível de exposição determinado para ajustar o foco dos meios para capturar uma imagem (315) para um nível de foco de captura de imagem.
7. Aparelho de formação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que os meios para identificar uma refletância são adicionalmente configurados para derivar uma escuridão do objeto alvo com base na distância identificada entre o objeto alvo e os meios para gerar, emitir e detectar, a refletância identificada do objeto alvo, e condições de iluminação externa de um ambiente do objeto alvo.
8. Aparelho de formação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que os meios para determinar um nível de exposição são configurados para determinar o nível de exposição com base em informação de calibragem, em que a informação de calibragem compreende informação relacionada aos níveis de exposição de um primeiro objeto capturado em uma pluralidade de distâncias ou informação relacionada aos níveis de exposição de uma pluralidade de objetos a uma distância fixa, cada um dentre a pluralidade de objetos tendo uma refletância diferente.
9. Aparelho de formação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que os meios para identificar um sistema TOF são configurados para gerar informação de distância e informação de energia de retorno para um arranjo de pontos ou posições através de um campo de visão, FOV.
10. Aparelho de formação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o sistema TOF é configurado para detectar uma posição espacial para um ou mais itens através de um campo de visão, FOV.
11. Método para capturar uma imagem, caracterizado pelo fato de que compreende: emitir um sinal de luz através de um sistema de tempo de voo, TOF; detectar uma reflexão do sinal de luz emitido a partir de um objeto alvo através do sistema TOF; determinar uma energia de retorno com base na reflexão do sinal de luz emitido; medir de um tempo entre quando o sinal de luz é emitido e quando o sinal de luz emitido é detectado; determinar uma distância entre o objeto alvo e o sistema TOF com base no tempo medido; identificar uma refletância do objeto alvo com base na energia de retorno do sinal de luz emitido; determinar um primeiro nível de exposição com base na distância até o objeto alvo e a refletância do objeto alvo; emitir um pré-flash; capturar uma primeira imagem do objeto alvo iluminado pelo pré-flash em uma exposição com base no primeiro nível de exposição; determinar um segundo nível de exposição com base na primeira imagem; emitir um flash principal em um nível de saída para iluminar o objeto alvo; e capturar uma segunda imagem do objeto alvo iluminado pelo flash principal com base em uma exposição no segundo nível de exposição.
12. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente identificar uma relação de sinal para ruído, SNR, do objeto alvo com base na energia de retorno, em que a SNR corresponde à refletância do objeto alvo.
13. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente determinar um nível de brilho, através de uma câmera, do objeto alvo sob condições de luz ambiente.
14. Memória caracterizada pelo fato de que compreende instruções armazenadas na mesma que, quando executadas, fazem com que um aparelho realize um método conforme definido em qualquer uma das reivindicações 11 a 13.
BR112017027969-0A 2015-06-25 2016-04-26 Métodos e aparelhos para a realização da estimativa de exposição utilizando de um sensor de tempo de voo BR112017027969B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/750,209 US9638791B2 (en) 2015-06-25 2015-06-25 Methods and apparatus for performing exposure estimation using a time-of-flight sensor
US14/750,209 2015-06-25
PCT/US2016/029345 WO2016209359A1 (en) 2015-06-25 2016-04-26 Methods and apparatus for performing exposure estimation using a time-of-flight sensor

Publications (2)

Publication Number Publication Date
BR112017027969A2 BR112017027969A2 (pt) 2018-08-28
BR112017027969B1 true BR112017027969B1 (pt) 2023-04-18

Family

ID=56069202

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112017027969-0A BR112017027969B1 (pt) 2015-06-25 2016-04-26 Métodos e aparelhos para a realização da estimativa de exposição utilizando de um sensor de tempo de voo

Country Status (7)

Country Link
US (1) US9638791B2 (pt)
EP (1) EP3314299A1 (pt)
JP (1) JP6756747B2 (pt)
KR (1) KR102604336B1 (pt)
CN (1) CN107743590B (pt)
BR (1) BR112017027969B1 (pt)
WO (1) WO2016209359A1 (pt)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置
US9912861B1 (en) * 2016-03-02 2018-03-06 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
KR101946941B1 (ko) * 2016-06-13 2019-04-29 엘지전자 주식회사 야간 영상표시 장치
US10904448B2 (en) * 2017-07-13 2021-01-26 Motorola Mobility Llc Controlling flash behavior during capture of image data
DE102018105301B4 (de) * 2018-03-08 2021-03-18 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
US11019274B2 (en) * 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN111372005B (zh) * 2018-12-25 2023-03-24 浙江舜宇智能光学技术有限公司 Tof摄像模组自动曝光补偿方法及其系统
KR20200091197A (ko) * 2019-01-22 2020-07-30 엘지이노텍 주식회사 카메라 장치 및 그의 오토포커싱 방법
EP3936884A4 (en) * 2019-03-28 2022-03-16 Huawei Technologies Co., Ltd. RADAR POWER CONTROL METHOD AND DEVICE
JP6805448B2 (ja) * 2019-04-23 2020-12-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、移動体、制御方法、及びプログラム
CN110346780A (zh) * 2019-07-31 2019-10-18 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其局部检测精度调整方法
JP7120181B2 (ja) * 2019-08-22 2022-08-17 トヨタ自動車株式会社 物体認識装置
WO2021046768A1 (zh) * 2019-09-11 2021-03-18 华为技术有限公司 一种目标物的反射率计算方法、装置及相关设备
US11070738B2 (en) * 2019-10-02 2021-07-20 Qualcomm Incorporated Infrared-assisted pre-flash
US11159737B2 (en) 2019-10-14 2021-10-26 Google Llc Exposure change control in low light environments
CN111679289B (zh) * 2020-05-13 2023-05-05 奥比中光科技集团股份有限公司 一种深度计算系统、方法及计算机可读存储介质
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
CN114697560A (zh) * 2020-12-31 2022-07-01 浙江舜宇智能光学技术有限公司 基于tof成像系统的主动曝光方法及曝光时间的计算方法
US11630211B1 (en) * 2022-06-09 2023-04-18 Illuscio, Inc. Systems and methods for LiDAR-based camera metering, exposure adjustment, and image postprocessing

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4357083A (en) 1980-10-06 1982-11-02 Polaroid Corporation Method and apparatus using weighted range signal for controlling photographic functions
US5440369A (en) 1992-11-30 1995-08-08 Asahi Kogakuogyo Kabushiki Kaisha Compact camera with automatic focal length dependent exposure adjustments
JPH10512954A (ja) 1995-01-19 1998-12-08 レイザー・テクノロジー・インコーポレーテッド レーザ測距装置
JP3627111B2 (ja) * 1995-05-26 2005-03-09 フジノン株式会社 ストロボ内蔵カメラ
JP2000347237A (ja) * 1999-03-31 2000-12-15 Seiko Precision Inc 露光制御装置および測距装置
AUPR301401A0 (en) * 2001-02-09 2001-03-08 Commonwealth Scientific And Industrial Research Organisation Lidar system and method
JP4389546B2 (ja) 2003-10-23 2009-12-24 株式会社ニコン カメラシステム
JP4466366B2 (ja) * 2004-12-27 2010-05-26 パナソニック電工株式会社 距離画像を用いた人体検知方法および人体検知装置
US20070280673A1 (en) * 2006-05-31 2007-12-06 Kazuo Mikami Lens-interchangeable digital camera
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
CA2670214A1 (en) * 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US7586077B2 (en) 2007-07-18 2009-09-08 Mesa Imaging Ag Reference pixel array with varying sensitivities for time of flight (TOF) sensor
WO2009072070A1 (en) 2007-12-05 2009-06-11 Nxp B.V. Flash light compensation system for digital camera system
EP2107446A1 (en) 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
JP4604112B2 (ja) * 2008-06-16 2010-12-22 アキュートロジック株式会社 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置
JP2011024003A (ja) * 2009-07-16 2011-02-03 Fujifilm Corp 立体動画記録方法および装置、動画ファイル変換方法および装置
EP2510504A4 (en) * 2009-12-07 2013-08-14 Photon X Inc 3D VISUALIZATION SYSTEM
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
JP5760938B2 (ja) * 2011-10-14 2015-08-12 オムロン株式会社 光学式センサ
US8483557B1 (en) 2012-01-31 2013-07-09 Hewlett-Packard Development Company, L.P. Camera flash filter
JP6303304B2 (ja) * 2013-07-03 2018-04-04 リコーイメージング株式会社 カメラ
US10063844B2 (en) 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging

Also Published As

Publication number Publication date
EP3314299A1 (en) 2018-05-02
BR112017027969A2 (pt) 2018-08-28
KR20180019606A (ko) 2018-02-26
JP2018528633A (ja) 2018-09-27
US9638791B2 (en) 2017-05-02
US20160377708A1 (en) 2016-12-29
KR102604336B1 (ko) 2023-11-20
WO2016209359A1 (en) 2016-12-29
CN107743590A (zh) 2018-02-27
JP6756747B2 (ja) 2020-09-16
CN107743590B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
BR112017027969B1 (pt) Métodos e aparelhos para a realização da estimativa de exposição utilizando de um sensor de tempo de voo
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US10477087B2 (en) System, method, and computer program for capturing a flash image based on ambient and flash metering
US20180309919A1 (en) Methods and apparatus for controlling exposure and synchronization of image sensors
EP3686625A1 (en) Active illumination management through contextual information
KR102233419B1 (ko) 확률적 tof 이미징
WO2018161758A1 (zh) 曝光控制方法、曝光控制装置及电子装置
WO2016000330A1 (zh) 一种焦距调节方法、装置和终端、计算机存储介质
WO2016086549A1 (zh) 闪光灯控制方法及装置
JP6460829B2 (ja) 撮像装置、電子機器及び光量変化特性の算出方法
US20180213141A1 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
US9459351B2 (en) Image system
CN110456380B (zh) 飞行时间传感相机及其深度检测方法
WO2016197494A1 (zh) 对焦区域调整方法和装置
JP2013242441A (ja) 撮像装置、及び照明光量決定方法
US20170118395A1 (en) Auto-focus control in a camera to prevent oscillation
JP2004354851A (ja) 電子閃光装置、カメラ、およびカメラシステム
JP6089486B2 (ja) 発光制御装置、発光制御プログラム
US6304331B1 (en) Exposure control device and distance measuring device
JP2017097288A (ja) 撮像装置、その制御方法、および制御プログラム
JP2008310233A (ja) 撮像装置および測光領域特定方法
CN106254730A (zh) 具有两个测光单元的摄像装置及其控制方法
JP2015004728A5 (pt)
TW201204018A (en) Method for adjusting photo-sensitiveness of digital camera

Legal Events

Date Code Title Description
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 26/04/2016, OBSERVADAS AS CONDICOES LEGAIS