BR112019011021A2 - sistemas e métodos para melhorar o sensor de profundidade - Google Patents

Abstract

métodos e sistemas divulgados fornecem sensor de profundidade melhorado para um dispositivo de imagiologia. em alguns aspectos, uma pluralidade de transmissores incluindo um primeiro transmissor são configurados para gerar um padrão de luz estruturado com uma primeira profundidade de campo em uma primeira resolução e um segundo padrão de luz estruturado com uma segunda profundidade de campo na primeira resolução, em que a segunda profundidade de campo é mais ampla do que a primeira profundidade de campo. um receptor, tal como um sensor de imagiologia, é configurado para se concentrar dentro da primeira profundidade de campo para receber o primeiro padrão de luz estruturado e capturar uma primeira imagem que representa o primeiro padrão de luz estruturado e para se concentrar dentro da segunda profundidade de campo para receber o segundo padrão de luz estruturado e capturar uma segunda imagem que representa o segundo padrão de luz estruturado. um processador de hardware eletrônico é configurado para gerar um mapa de profundidade da cena com base na primeira imagem e na segunda imagem.

Description

SISTEMAS E MÉTODOS PARA MELHORAR O SENSOR DE PROFUNDIDADE

FUNDAMENTOS

Campo [001] Esta tecnologia refere-se a sensor de profundidade ativo, e mais especificamente, para gerar um mapa de profundidade de uma cena para facilitar o refinamento de parâmetros de captura de imagem e o processamento de imagem pós-captura.

Descrição da Técnica Relacionada [002] Os dispositivos de imagiologia gue são sistemas sensores ativos de luz estruturados incluem um transmissor e um receptor configurados para transmitir e receber padrões correspondentes para códigos espaciais (ou palavras código) para gerar um mapa de profundidade que indica a distância de um ou mais objetos em uma cena a partir do dispositivo de imagiologia. Quanto mais distante um objeto em uma cena está do transmissor e do receptor, o mais perto uma palavra código recebida refletida a partir do objeto está de sua posição original (em comparação com a palavra código transmitida) porque uma via de propagação da palavra código de saida e da palavra código de entrada refletidas são mais paralelas. Por outro lado, quanto mais perto o objeto estiver do transmissor e do receptor, o mais distante a palavra código recebida está de sua posição original na palavra código transmitida. Consequentemente, a diferença entre a posição de uma palavra código recebida e a palavra código correspondente transmitida pode ser usada para determinar a profundidade de um objeto em uma cena. Os sistemas sensores ativos de luz estruturados podem usar essas profundidades determinadas para gerar um mapa de

Petição 870190050321, de 29/05/2019, pág. 6/70

2/41 profundidade de uma cena, que pode ser uma representação tridimensional da cena. Muitas aplicações podem se beneficiar da determinação de um mapa de profundidade de uma cena, incluindo o aperfeiçoamento da qualidade de imagem e técnicas de visão computacionais.

[003] Em alguns aspectos, gerar um mapa de profundidade pode incluir detectar palavras código. Em alguns aspectos, as palavras código podem incluir uma matriz de símbolos. Os filtros de decodificação podem identificar fronteiras espaciais para palavras código e símbolos, e classificar símbolos como, por exemplo, 0 ou 1 com base em seus valores de intensidade. Os filtros de decodificação podem usar filtros combinados, correspondentes ao conjunto de funções de base harmônicas usado para definir o conjunto de palavras código possíveis, para classificar funções de base de entrada. Portanto, a precisão do mapa de profundidade depende em símbolos de recepção precisos, palavras código, e/ou funções de base.

[004] Se a fonte de luz usada para projetar um padrão (por exemplo, um laser) for muito baixa, em seguida, pontos correspondentes a símbolos mais brilhantes podem estar muito escuros para serem diferenciados de símbolos mais escuros. Consequentemente, há uma necessidade para métodos e sistemas para melhorar a geração de mapa de profundidade para aplicações de imagiologia digitais.

SUMÁRIO [005] Os sistemas, métodos e dispositivos da invenção cada um têm vários aspectos, nenhum dos quais é o único responsável pelos seus atributos desejáveis. Sem limitar o escopo desta invenção como expressado pelas

Petição 870190050321, de 29/05/2019, pág. 7/70

3/41 reivindicações que seguem, algumas características serão agora discutidas brevemente. Depois de considerar esse debate, e particularmente depois da leitura da seção intitulada Descrição Detalhada, entenderemos como as características desta invenção fornecem vantagens que incluem geração de mapa de profundidade melhorada.

[006] Uma modalidade divulgada é um dispositivo de imagiologia. O dispositivo de imagiologia inclui uma pluralidade de transmissores incluindo um primeiro transmissor configurado para gerar um padrão de luz estruturado com uma primeira profundidade de campo em uma primeira resolução e um segundo padrão de luz estruturado com uma segunda profundidade de campo na primeira resolução, em que a segunda profundidade de campo é mais ampla do que a primeira profundidade de campo, um receptor configurado para se concentrar dentro da primeira profundidade de campo para receber o primeiro padrão de luz estruturado e capturar uma primeira imagem que representa o primeiro padrão de luz estruturado e para se concentrar dentro da segunda profundidade de campo para receber o segundo padrão de luz estruturado e capturar uma segunda imagem que representa o segundo padrão de luz estruturado; e um processador de hardware eletrônico configurado para gerar um mapa de profundidade da cena com base no primeira imagem e na segunda imagem.

[007] Em alguns aspectos, o processador de hardware eletrônico é ainda configurado para ajustar os parâmetros de captura de imagem de uma terceira imagem com base no mapa de profundidade gerado, e para capturar a terceira imagem usando os parâmetros de captura de imagem.

Petição 870190050321, de 29/05/2019, pág. 8/70

4/41

Em alguns aspectos, o processador de hardware eletrônico é configurado para ajustar um ou mais de um parâmetro de abertura, velocidade do obturador ou iluminação da terceira imagem com base no mapa de profundidade. Em alguns aspectos, o processador de hardware eletrônico é ainda configurado para armazenar um ou mais do mapa de profundidade e a terceira imagem para um armazenamento estável. Em alguns aspectos, o primeiro transmissor é configurado para gerar o primeiro padrão de luz estruturado para ter uma primeira resolução máxima em uma primeira distância a partir do dispositivo de imagiologia e o segundo transmissor é configurado para gerar o segundo padrão de luz estruturado para ter uma segunda resolução máxima mais baixa do que o primeiro padrão de luz estruturado em uma segunda distância a partir do dispositivo de imagiologia. Em alguns aspectos, a primeira distância e a segunda distância são equivalentes. Em alguns aspectos, a primeira distância é diferente da segunda distância. Em alguns aspectos, o primeiro transmissor é configurado para gerar a primeira profundidade de campo para se sobrepor com a segunda profundidade de campo. Em alguns aspectos, o primeiro transmissor é configurado para gerar a primeira profundidade de campo a ser contida dentro da segunda profundidade de campo.

[008] Um outro aspecto divulgado é um método de capturar uma imagem com um dispositivo de imagiologia. O método inclui gerar, usando um primeiro emissor de luz, um primeiro padrão de luz estruturado com uma primeira profundidade de campo em uma primeira resolução em uma cena, concentrando, através de um processador de hardware

Petição 870190050321, de 29/05/2019, pág. 9/70

5/41 eletrônico um sensor de imagiologia dentro da primeira profundidade de campo para capturar uma primeira imagem que representa a cena iluminada pelo primeiro padrão de luz estruturado, gerar, usando um segundo emissor de luz, um segundo padrão de luz estruturado com uma segunda profundidade de campo na primeira resolução, em que a segunda profundidade de campo é mais ampla do que a primeira profundidade de campo, concentrando o sensor de imagiologia dentro da segunda profundidade de campo para capturar uma segunda imagem que representa a cena iluminada pelo segundo padrão de luz estruturado, gerar, usando o processador de hardware eletrônico, um mapa de profundidade da cena com base na primeira imagem e na segunda imagem, determinar os parâmetros de captura de imagem com base no mapa de profundidade, capturar, usando o sensor de imagiologia, uma terceira imagem da cena com base nos parâmetros de captura de imagem; e armazenar a terceira imagem a um armazenamento estável. Em alguns aspectos, o método inclui ajustar um ou mais de um parâmetro de abertura, velocidade do obturador ou iluminação da terceira imagem com base no mapa de profundidade. Em alguns aspectos, o método inclui armazenar o mapa de profundidade ao armazenamento estável. Em alguns aspectos, o método inclui gerar o primeiro padrão de luz estruturado para ter uma primeira resolução máxima em uma primeira distância a partir do dispositivo de imagiologia e o segundo transmissor é configurado para gerar o segundo padrão de luz estruturado para ter uma segunda resolução máxima mais baixa do que o primeiro padrão de luz estruturado em uma segunda distância a partir do dispositivo de imagiologia.

Petição 870190050321, de 29/05/2019, pág. 10/70

6/41

Em alguns aspectos, a primeira distância e a segunda distância são equivalentes. Em alguns aspectos, a primeira distância é diferente da segunda distância. Em alguns aspectos, o método inclui gerar a primeira profundidade de campo para se sobrepor com a segunda profundidade de campo. Em alguns aspectos, o método inclui gerar a primeira profundidade de campo a ser contida dentro da segunda profundidade de campo.

[009] Um outro aspecto divulgado é um meio de armazenamento legível por computador não transitório que compreende instruções que quando executadas fazem com que um processador realize um método de capturar uma imagem com um dispositivo de imagiologia. O método inclui gerar, usando um primeiro emissor de luz, um primeiro padrão de luz estruturado com uma primeira profundidade de campo em uma primeira resolução em uma cena, concentrando, através de um processador de hardware eletrônico um sensor de imagiologia dentro da primeira profundidade de campo para capturar uma primeira imagem que representa a cena iluminada pelo primeiro padrão de luz estruturado, gerar, usando um segundo emissor de luz, um segundo padrão de luz estruturado com uma segunda profundidade de campo na primeira resolução, em que a segunda profundidade de campo é mais ampla do que a primeira profundidade de campo, concentrando o sensor de imagiologia dentro da segunda profundidade de campo para capturar uma segunda imagem que representa a cena iluminada pelo segundo padrão de luz estruturado, gerar, usando o processador de hardware eletrônico, um mapa de profundidade da cena com base na primeira imagem e na segunda imagem, determinar os

Petição 870190050321, de 29/05/2019, pág. 11/70

7/41 parâmetros de captura de imagem com base no mapa de profundidade, capturar, usando o sensor de imagiologia, uma terceira imagem da cena com base nos parâmetros de captura de imagem; e armazenar a terceira imagem a um armazenamento estável.

[0010] Em alguns aspectos, o método do meio de armazenamento legível por computador não transitório inclui gerar o primeiro padrão de luz estruturado para ter uma primeira resolução máxima em uma primeira distância a partir do dispositivo de imagiologia e o segundo transmissor é configurado para gerar o segundo padrão de luz estruturado para ter uma segunda resolução máxima mais baixa do que o primeiro padrão de luz estruturado em uma segunda distância a partir do dispositivo de imagiologia. Em alguns aspectos, a primeira distância e a segunda distância são equivalentes.

BREVE DESCRIÇÃO DOS DESENHOS [0011] As várias características ilustradas nos desenhos podem não ser projetadas em escala. Consequentemente, as dimensões das várias características podem ser arbitrariamente expandidas ou reduzidas para clareza. Além disso, as linhas pontilhadas ou as tracejadas e os objetos podem indicar características opcionais ou serem usadas para mostrar a organização de componentes. Além disso, alguns dos desenhos podem não representar todos dos componentes de um dado sistema, método ou dispositivo. Finalmente, os numerais de referência semelhantes podem ser usados para denotar características semelhantes ao longo do relatório descritivo e das Figuras.

[0012] A Figura 1 mostra um transmissor de luz

Petição 870190050321, de 29/05/2019, pág. 12/70

8/41 estruturado e receptor.

[0013] A Figura 2A mostra um receptor incluindo uma lente e um sensor de imagiologia.

[0014] A Figura 2B mostra um gráfico que demonstra como a largura de banda de luz refletida por um objeto e recebida pelo receptor é afetada pela distância dos objetos.

[0015] A Figura 3A mostra um transmissor que utiliza um elemento óptico difrativo.

[0016] A Figura 3B é um gráfico que demonstra como a largura de banda do transmissor pode variar com a

distância	devido	aos	efeitos	descritos	acima em relação à
Figura 3A.	[0017]	A	Figura	4A mostra	como dois emissores
de luz podem ser	combinados	em um úni	co dispositivo para

fornecer uma faixa mais ampla de cobertura para padrões de luz estruturados.

[0018] A Figura 4B mostra uma faixa de recepção de um dispositivo de imagiologia equipado com os dois emissores de luz da Figura 4A.

[0019] A Figura 5A mostra uma configuração exemplificativa de um receptor e três transmissores ou emissores de luz.

[0020] A Figura 5B mostra uma outra configuração exemplificativa de um receptor e dois transmissores ou emissores de luz.

[0021] A Figura 5C mostra uma outra configuração exemplificativa de um receptor e dois transmissores.

[0022] A Figura 6 ilustra um exemplo de como a

Petição 870190050321, de 29/05/2019, pág. 13/70

9/41 profundidade pode ser sentida para um ou mais objetos em uma cena.

[0023] A Figura 7 é um gráfico que mostra desempenho de imagiologia para projetos alternativos de um elemento óptico difrativo.

[0024] A Figura 8 é um gráfico que mostra o desempenho de imagiologia para projetos alternativos de um elemento óptico difrativo.

[0025] A Figura 9 é uma ilustração de um dispositivo de imagiologia que inclui uma pluralidade de transmissores de luz estruturados.

[0026] A Figura 10 é uma segunda ilustração de um dispositivo de imagiologia que inclui uma pluralidade de emissores.

[0027] A Figura 11 é uma terceira ilustração de um dispositivo de imagiologia que inclui uma pluralidade de emissores.

[0028] A Figura 12 é uma quarta ilustração de um dispositivo de imagiologia que inclui uma pluralidade de emissores.

[0029] A Figura 13 é um diagrama de bloco de um dispositivo exemplificativo que implementa as modalidades divulgadas.

[0030] A Figura 14 é um fluxograma de um método exemplificativo de gerar um mapa de profundidade.

DESCRIÇÃO DETALHADA [0031] Vários aspectos dos sistemas, aparelhos e métodos novos são descritos mais completamente em seguida com referência aos desenhos anexos. A divulgação de ensinamentos pode, entretanto, ser incorporada em muitas

Petição 870190050321, de 29/05/2019, pág. 14/70

10/41 diferentes formas e não deve ser interpretada como limitado a qualquer estrutura ou função específica apresentada ao longo desta divulgação. Pelo contrário, estes aspectos são fornecidos de modo que essa divulgação será minuciosa e completa, e transmitirá completamente o escopo da divulgação para a pessoa versada na técnica. Com base nos ensinamentos aqui uma pessoa versada na técnica deveria compreender que o escopo da divulgação é intencionado a cobrir qualquer aspecto dos sistemas, aparelhos e métodos novos divulgados aqui, se implementados independentemente ou combinados com qualquer outro aspecto da divulgação. Por exemplo, um aparelho pode ser implementado ou um método pode ser praticado usando qualquer número dos aspectos apresentados aqui. Além disso, o escopo da divulgação é intencionado a cobrir um tal aparelho ou método que é praticado usando outra estrutura, funcionalidade, ou estrutura e funcionalidade além de ou exceto os vários aspectos da divulgação apresentados aqui. Deve ser entendido que qualquer aspecto divulgado aqui pode ser incorporado por um ou mais elementos de uma reivindicação.

[0032] Além disso, embora aspectos particulares sejam descritos aqui, muitas variações e permutações destes aspectos caem dentro do escopo da divulgação. Além disso, o escopo da divulgação não é intencionado a ser limitado aos benefícios, usos, ou objetivos particulares divulgados aqui. Pelo contrário, os aspectos da divulgação são intencionados a serem de forma ampla aplicável às diferentes tecnologias com fios e sem fios, configurações de sistema, redes, e protocolos de transmissão, alguns dos quais são ilustrados por via de

Petição 870190050321, de 29/05/2019, pág. 15/70

11/41 exemplo nas figuras e na seguinte descrição dos aspectos preferidos. A descrição detalhada e desenhos são meramente ilustrativos da divulgação em vez disso limitam, o escopo da divulgação sendo definido pelas reivindicações anexas e equivalentes dos mesmos.

[0033] A Figura 1 mostra um transmissor de luz estruturado 102 e receptor 104. O sensor ativo pode projetar padrões únicos (ou códigos) a partir do transmissor 102 em uma cena e receber reflexões desses padrões no receptor 104. O tamanho dos padrões ou código projetado pelo transmissor 102 influencia o menor objeto detectável. Adicionalmente, tanto o transmissor 102 quanto o receptor 104 são sintonizados em banda em um certo plano de profundidade e tornam-se limitados em banda como a profundidade na cena se afasta daquele plano.

[0034] Em alguns aspectos, o transmissor pode ser configurado para transmitir um padrão de luz estruturado 105 que é concentrado em uma profundidade particular, por exemplo, qualquer uma das profundidades representadas por 106a-b. O transmissor pode produzir um padrão de luz estruturado que tem um campo de visão 108 nas várias profundidades 106a-b.

[0035] O receptor pode ser sintonizado para receber o padrão de luz estruturado 105 em uma ou mais das várias profundidades 106a-b. Dependendo da profundidade recebida pelo receptor 104, da informação codificada no padrão de luz estruturado 105 pode ser recebida por um sensor de imagiologia 108 no receptor em uma variedade de posições no sensor de imagiologia 108, como mostrado pelas posições 110a e 110b.

Petição 870190050321, de 29/05/2019, pág. 16/70

12/41 [0036] A Figura 2A mostra um receptor que inclui uma lente e um sensor de imagiologia. A Figura 2A demonstra que o sensor de imagiologia 202 pode receber informação de luz através da lente 204 que é refletida de uma pluralidade de objetos em diferentes profundidades, mostradas como objetos 210a-c. Dependendo da profundidade dos objetos 210a-c, a qualidade da luz refletida no sensor de imagiologia pode variar. Por exemplo, a luz refletida a partir do objeto 210b é mostrada bem concentrada na superfície do sensor de imagiologia 202 como ponto 212a. Ao contrário, a luz refletida a partir do objeto 210a, mostrada como 212a, pode ser concentrada um pouco à frente do sensor de imagiologia 202, e a luz refletida a partir do objeto 210c, mostrada como 212c, pode ser concentrada atrás do sensor de imagiologia 202. Isso pode resultar em uma largura de banda reduzida de luz sendo disponível para detectar os objetos 210a e 210c como em comparação com o objeto 210b.

[0037] A Figura 2B mostra um gráfico 250 que demonstra como a largura de banda de luz refletida por um objeto e recebida pelo receptor é afetada pela distância dos objetos. Isso pode resultar em um receptor, tal como uma câmera de um dispositivo de imagiologia, tendo dificuldade de detectar pequenos objetos que são posicionados afastados de um plano focal da câmera.

[0038] A Figura 3A mostra um transmissor que utiliza um elemento óptico difrativo. A Figura 3A mostra que a luz pode ser emitida de múltiplos locais 304a-c de uma superfície de transmissão. Como a luz passa através de um elemento óptico difrativo 302, pode ser concentrada em

Petição 870190050321, de 29/05/2019, pág. 17/70

13/41 um plano focal, mostrado pelo ponto 306b. Entretanto, o transmissor pode ser habilitado para fornecer a mesma luz concentrada em diferentes profundidades dentro de uma cena, mostrada pelas profundidades 306a e 306c.

[0039] A Figura 3B é um gráfico 350 que demonstra como a largura de banda do transmissor pode variar com a distância devido aos efeitos descritos acima em relação à Figura 3A.

[0040] A Figura 4A mostra como dois emissores de luz podem ser combinados em um único dispositivo para fornecer uma faixa mais ampla de cobertura para padrões de luz estruturados. A Figura 4A mostra o emissor de luz 402a e o 402b, que pode ser incluído em um único dispositivo de imagiologia. Os dois emissores de luz 402a-b incluem um elemento óptico difrativo 404a-b respectivamente. Os dois emissores de luz 402a-b são sintonizados para diferentes distâncias focais, mostrado como 406a-b respectivamente. Os resultados de uma tal configuração são mostrados na Figura 4B, discutidos abaixo.

[0041] A Figura 4B mostra uma faixa de recepção de um dispositivo de imagiologia equipado com os dois emissores de luz 402a-b da Figura 4A. Como mostrado, a faixa de recepção 450 inclui uma primeira zona de sensor de profundidade 452a, fornecida pelo emissor de luz 402a, e uma segunda zona de sensor de profundidade 452b, fornecida pelo emissor de luz 402b.

[0042] A Figura 5A mostra uma configuração exemplificativa de um receptor e três transmissores ou emissores de luz. Na configuração exemplificativa da Figura 5A, os três transmissores 504a-c são todos localizados no

Petição 870190050321, de 29/05/2019, pág. 18/70

14/41 mesmo lado horizontal do receptor 502, mas cada transmissor 504a-c está em uma distância diferente do receptor 502. Como tal, os transmissores 504a-c geram um padrão de luz estruturado combinado mostrado por 506a-c. As reflexões dos objetos em uma cena de cada padrão de luz estruturado 506ac pode ter diferentes níveis de oclusão com base nas diferentes posições dos três transmissores 405a-c. A cobertura sobreposta fornecida pelos três padrões de luz estruturados 506a-c podem fornecer para melhorar sensor de profundidade quando em comparação com dispositivos que utilizam outras configurações de transmissor.

[0043] A Figura 5B mostra uma outra configuração exemplificativa de um receptor e dois transmissores ou emissores de luz. Na configuração exemplificativa da Figura 5B, os dois transmissores são projetados para fornecer padrões de luz estruturados são profundidades focais diferentes. Como mostrado pelos padrões de luz estruturados 546a-b, o transmissor 544a é projetado para fornecer uma profundidade focal mais longa que resulta em um campo mais amplo de visão para o padrão de luz estruturado 546a. Ao contrário, o transmissor 544b é projetado para fornecer uma profundidade focal mais curta, que resulta em maior resolução e um menor campo de visão para o padrão de luz estruturado 546b. A cobertura complementar fornecida pelos dois padrões de luz estruturados 546a-b pode fornecer um melhor sensor de profundidade quando em comparação com dispositivos que utiliza outro configurações de transmissor.

[0044] A Figura 5C mostra uma outra configuração exemplificativa de um receptor e dois

Petição 870190050321, de 29/05/2019, pág. 19/70

15/41 transmissores. Na configuração 560, os transmissores 544a-b são posicionados em qualquer lado do receptor 562. Assim, os padrões de luz estruturados emitidos pelos dois transmissores 544a-b podem fornecer um mapa de profundidade que é gerado a partir da informação de profundidade que sofreu degradação mínima de oclusão. Por exemplo, na medida em que um lado particular de um objeto é ocluído do transmissor 544a, o transmissor 544b pode estar em uma posição para iluminar esse lado do objeto, e fornecer informação de profundidade para o receptor 562.

[0045] A Figura 6 ilustra um exemplo de como a profundidade pode ser sentida para um ou mais objetos em uma cena. A descrição em relação à Figura 6 pode ser usada por qualquer uma das modalidades divulgadas para determinar uma ou mais profundidades de uma imagem cena que utiliza luz estruturada. A Figura 6 mostra um dispositivo 600 que inclui um transmissor 102 e um receptor 104. O dispositivo está iluminando dois objetos 606 e 608 com luz estruturada emitida do transmissor 102 como projeção de palavra código 610. A projeção de palavra código 610 reflete a partir dos objetos 606 e/ou 608 e é recebida como um palavra código refletida 611 pelo receptor 104 no plano de sensor 607.

[0046] No aspecto ilustrado, o transmissor 102 está no mesmo plano de referência (por exemplo, plano de lente 605) como o receptor 104. O transmissor 102 projeta a projeção de palavra código 610 nos objetos 606 e 608 através de uma abertura 613.

[0047] A projeção de palavra código 610 ilumina o objeto 606 como segmento projetado 612', e ilumina o objeto 608 como segmento projetado 612. Quando o

Petição 870190050321, de 29/05/2019, pág. 20/70

16/41 segmento projetado 612' e o 612 são recebidos pelo receptor 104 através de abertura do receptor 615, a palavra código refletida 111 pode mostrar reflexões geradas a partir do objeto 608 em uma primeira distância dl e as reflexões geradas a partir do objeto 106 em uma segunda distância d2.

[0048] Como mostrado pela Figura 6, visto que o objeto 606 é localizado mais perto do transmissor 102 (por exemplo, uma primeira distância a partir do dispositivo de transmissor) o segmento projetado 612' aparece a uma distância d2 de sua localização inicial. Ao contrário, visto que o objeto 608 é localizado mais afastado (por exemplo, uma segunda distância a partir do transmissor 102), o segmento projetado 612 aparece a uma distância dl de sua localização inicial (onde dl < d2) . Isto é, quanto mais afastado um objeto está a partir do transmissor/receptor, mais perto o segmento projetado/porção/janela recebido está de sua posição original no receptor 104 (por exemplo, a projeção de saida e a projeção de entrada são mais paralelas) . Por outro lado, quanto mais perto um objeto é a partir do transmissor/receptor, mais o segmento projetado/porção/janela recebido está de sua posição original no receptor 104. Assim, a diferença entre a posição de palavra código transmitida e a recebida pode ser usada como um indicador da profundidade de um objeto. Em um exemplo, tal profundidade (por exemplo, profundidade relativa) pode fornecer um valor de profundidade para objetos representados por cada pixel ou pixels agrupados (por exemplo, regiões de dois ou mais pixels) em uma

Petição 870190050321, de 29/05/2019, pág. 21/70

17/41 imagem.

[0049] Vários tipos de esquemas de modulação e codificação podem ser usados para gerar uma projeção de palavra código ou máscara de código. Estes esquemas de modulação e codificação incluem codificação temporal, codificação espacial, e codificação direta.

[0050] Na codificação temporal, os padrões são sucessivamente projetados na superfície de medição (por exemplo, com o passar do tempo) . Essa técnica tem alta precisão e resolução mas é menos adequada para cenas dinâmicas.

[0051] Na codificação espacial, a informação é codificada em uma vizinhança local com base em formatos e padrões. Os códigos pseudoaleatórios podem ser com base em De-Bruijn ou matrizes M definem o livro-código (por exemplo, intensidade m-aria ou modulação de cor) . A segmentação padrão pode não ser facilmente obtida, por exemplo, onde os formatos e padrões são distorcidos.

[0052] Na codificação direta, tanto as coordenadas de pixel horizontal quanto a vertical são codificadas. A modulação pode ser por uma fase monotônica ou uma forma de onda de intensidade. Entretanto, este esquema pode utilizar um livro-código que é maior do que o livro-código utilizado para outros métodos. Na maioria dos métodos, as palavras código recebidas podem ser correlacionadas contra um conjunto definido de palavras código possíveis (por exemplo, em um livro-código). Assim, o uso de um conjunto pequeno de palavras código (por exemplo, livro-código pequeno) pode fornecer melhor desempenho do que um livro-código maior. Também, visto que

Petição 870190050321, de 29/05/2019, pág. 22/70

18/41 um livro-código maior resulta em menores distâncias entre palavras código, erros adicionais podem ser experimentados por implementações usando livros-código maiores.

Códigos Exemplificativos para Sensor de Profundidade Ativo [0053] Os padrões de luz estruturados podem ser projetados em uma cena por luz brilhante através de uma máscara código. A luz projetada através da máscara código pode conter uma ou mais primitiva de código tesselada. Cada primitiva de máscara código pode conter uma matriz de códigos espaciais. Um livro-código ou estrutura de dados pode incluir o conjunto de códigos. Os códigos espaciais, a máscara código, e as primitivas de máscaras código podem ser geradas usando as funções de base. As periocidades das funções de base podem ser escolhidas para atender os requisitos para o padrão agregado de simetria Hermitiana (para eliminar imagens fantasmas e simplificar a fabricação), ciclo de serviço mínimo (para garantir uma energia mínima por palavra código), propriedade de janela perfeita (para melhor resolução de contorno e embalagem codificada para alta resolução), e deslocamento aleatório (para melhorar a detecção em fronteiras de objeto). Um receptor pode fazer uso do livro-código e/ou dos atributos do projeto intencionado a conformar-se às restrições quando desmodular, decodificar, e corrigir erros em padrões recebidos.

[0054] O tamanho e a resolução correspondente dos códigos espaciais correspondem a uma extensão espacial física de um código espacial em uma máscara código. O tamanho pode corresponder ao número de linhas e colunas em uma matriz que representa cada palavra código. Quanto menor

Petição 870190050321, de 29/05/2019, pág. 23/70

19/41 uma palavra código, menor um objeto que pode ser detectado. Por exemplo, para detectar e determinar uma profundidade diferença entre um botão em uma camisa e o tecido de camisa, a palavra código não deve ser maior do que o tamanho do botão. Em uma modalidade, cada código espacial pode ocupar quatro linhas e quatro colunas. Em uma modalidade, os códigos podem ocupar mais ou menos linhas e colunas (linhas x colunas), ocupar, por exemplo, linhas e colunas 3x3, 4x4, 4x5, 5x5, 6x4 ou 10x10.

[0055] A representação espacial de códigos espaciais corresponde como cada elemento de palavra código é padronizado na máscara código e, em seguida, projetado em uma cena. Por exemplo, cada elemento de palavra código pode ser representado usando um ou mais pontos, um ou mais segmento de linha, uma ou mais grades, algum outro formato, ou alguma combinação dos mesmos.

[0056] O ciclo de serviço de códigos espaciais corresponde a uma razão de vários bits ou porções assertidos (por exemplo, is) para vários bits ou porções não assertidos (por exemplo, Os) na palavra código. Quando um padrão de luz codificado incluindo a palavra código é projetado em uma cena, cada bit ou porção que tem um valor de 1 pode ter energia (por exemplo, energia de luz), mas cada bit tendo um valor de 0 pode ser desprovido de energia. Para uma palavra código ser facilmente detectável, a palavra código deve ter energia suficiente. As palavras código de baixa energia podem ser mais difícil para detectar e podem ser mais suscetíveis ao ruído. Por exemplo, uma palavra código 4x4 tem um ciclo de serviço de 50 % ou mais se 8 ou mais dos bits na palavra

Petição 870190050321, de 29/05/2019, pág. 24/70

20/41 código forem 1. Pode haver restrições de ciclo de serviço mínimas (ou máximas) para palavras código individuais, ou restrições de ciclo de serviço, por exemplo, um ciclo de serviço médio para o conjunto de códigos no livro-código.

[0057] A característica de resolução de contorno ou janela perfeita de códigos indica que quando uma palavra código é deslocada por uma quantidade, por exemplo, uma rotação de um bit, os dados resultantes representam uma outra palavra código. Uma quantidade que a palavra código é deslocada pode ser denominada como uma quantidade de deslocamento. Os códigos com alta resolução de contorno podem permitir que o sistema de sensor de profundidade de luz estruturada reconheça fronteiras de objeto relativamente pequenas e forneça continuidade de reconhecimento para diferentes objetos. Uma quantidade de deslocamento de 1 na dimensão da linha e 2 na dimensão da coluna pode corresponder a um deslocamento por posições de bit para a direita ao longo da dimensão da linha, e duas posições de bit para baixo ao longo da dimensão da coluna. Conjuntos de alta resolução de contorno de palavras código tornam possível mover uma janela em uma imagem recebida uma linha ou uma coluna de cada vez, e determinar a profundidade em cada posição de janela. Isso permite a determinação de profundidade usando uma janela 5x5 em um ponto de início centralizado na terceira linha e na terceira coluna de uma imagem recebida, e mover a janela 5x5 para cada localização de linha, coluna a partir da terceira linha para a terceira última linha, e a terceira coluna para a terceira última coluna. Como as palavras código se sobrepõem, a janela pode ser classificada com

Petição 870190050321, de 29/05/2019, pág. 25/70

21/41 base nas profundidades de resolução do objeto a serem determinadas (por exemplo, um botão em uma camisa).

[0058] A simetria de códigos pode indicar que a máscara de código ou primitiva de livro-código tem simetria Hermitiana, que pode fornecer vários benefícios como em comparação com o uso de primitivas de livro-código ou padrões de simetria não Hermitiana. Os padrões com simetrias Hermitiana são invertidos ou simétricos, ao longo de ambos os eixos X e Y (linha e coluna).

[0059] A característica de aliasing de máscaras código ou primitivas de máscaras código correspondem a uma distância entre duas palavras código que são as mesmas. Quando um padrão óptico inclui uma primitiva de livro-código tesselada, e quando cada livro-código na primitiva é único, a distância de aliasing pode ser com base no tamanho da primitiva de livro-código. A distância de aliasing pode, assim, representar um critério único que indica que cada palavra código da primitiva de livro-código deve ser diferente de cada uma da outra palavra código da primitiva de livro-código, e que a primitiva de livrocódigo é única como um todo. A distância de aliasing pode ser conhecida a um ou mais dispositivos de receptor, e usada para evitar aliasing durante a desmodulação da palavra código. A cardinalidade de uma máscara código corresponde a vários códigos únicos em uma primitiva de livro-código.

[0060] A Figura 7 é um gráfico que mostra o desempenho de imagiologia para projetos alternativos de um elemento óptico difrativo. O gráfico 740 mostra quatro gráficos 742a-d que representam desempenho óptico de quatro

Petição 870190050321, de 29/05/2019, pág. 26/70

22/41 projetos hipotéticos de um elemento óptico difrativo. Um primeiro projeto fornece a melhor resolução 744a a uma distância de aproximadamente 70 cm. Um segundo projeto fornece a melhor resolução 744b a uma distância de aproximadamente 100 cm. Um terceiro projeto fornece a melhor resolução 744c a uma distância de aproximadamente 150 cm. Um quarto projeto fornece a melhor resolução 744d a uma distância de aproximadamente 200 cm.

[0061] O desempenho óptico de cada um dos projetos mostrados na Figura 1B também pode ser comparado com uma resolução de referência 746 de, por exemplo, 7. A resolução de referência pode ser explicado como a seguir; em alguns aspectos, quando uma melhor concentração é obtida por um projeto particular, um ponto no espaço de uma cena sendo representado visualmente produzirá um círculo na lente do projeto. Esse círculo é com base pelo menos parcialmente no limite de difração. A resolução de referência (máxima) é l/círculo_diâmetro; como o ponto se desvia a partir da concentração ideal, o círculo torna-se maior devido à falta de concentração assim diminuindo a resolução. Na redução arbitrária selecionada, digamos 0,7, dizemos a imagem não está mais na concentração.

[0062] O primeiro desempenho óptico do projeto, representado pelo gráfico 742a fornece uma profundidade de campo de uma primeira profundidade 748a na resolução de referência. O segundo desempenho óptico do projeto, representado pelo gráfico 742b, fornece uma profundidade de campo na resolução de referência de uma segunda profundidade 748b, que é maior do que a primeira profundidade de campo 748a. Note que a segunda profundidade

Petição 870190050321, de 29/05/2019, pág. 27/70

23/41 de campo do projeto 748b também está em uma distância diferente a partir do dispositivo de imagiologia do que a primeira profundidade de campo do projeto 748a. 0 terceiro desempenho óptico do projeto, representado pelo gráfico 742c, fornece uma profundidade de campo na resolução de referência de uma terceira profundidade 748c, que é maior do que ambas a primeira e a segundas profundidades de campo 748a-b. A terceira profundidade de campo 748c também é fornecida em uma distância diferente a partir do dispositivo de imagiologia. Note também que a terceira profundidade de campo 748c se sobrepõe um pouco com a segunda profundidade de campo 748b. 0 quarto desempenho óptico do projeto, representado pelo gráfico 742d, fornece uma profundidade de campo na resolução de referência de uma quarta profundidade 748d, que é maior do que qualquer uma da primeira, segunda, ou terceiras profundidades de campo 748a-c. A quarta profundidade de campo também é fornecida em uma distância diferente a partir do dispositivo de imagiologia do que a primeira, segunda ou terceiras profundidades de campo 748a-c, embora a quarta profundidade de campo 748d se sobrepõe com a terceira profundidade de campo 748c.

[0063] A Figura 8 é um gráfico que mostra o desempenho de imagiologia para projetos alternativos de um elemento óptico difrativo. Considerando-se que os projetos mostrados na Figura 7 obtidos resoluções equivalentes em diferentes distâncias a partir do dispositivo de imagiologia, os dois projetos mostrado na Figura 8 ambos obtém sua melhor resolução na mesma distância (150 cm) a partir do dispositivo de imagiologia. Entretanto, um

Petição 870190050321, de 29/05/2019, pág. 28/70

24/41 primeiro projeto, mostrado pelo gráfico 862a, alcança uma resolução substancialmente maior do que um segundo projeto, mostrado pelo gráfico 862b.

[0064] Entretanto, o segundo projeto, com desempenho óptico mostrado pelo gráfico 862b, fornece uma maior profundidade de campo 868b em uma resolução de referência 866 do que o primeiro desempenho óptico do projeto 862a com uma profundidade de campo 868a.

[0065] A Figura 9 é uma ilustração de um dispositivo de imagiologia que inclui uma pluralidade de transmissores de luz estruturados. A Figura 9 mostra o dispositivo de imagiologia 905 e dois transmissores de luz estruturados 908a-b. Cada um dos transmissores de luz estruturados 908a-b transmitem um padrão de luz estruturado 910a-b respectivamente. Cada um dos padrões de luz estruturados 910a-b são concentrados em diferentes distâncias 920a-b respectivamente.

[0066] Um receptor 912 pode receber a informação padrão de cada um dos padrões de luz estruturados 910a-b. Em alguns aspectos, o receptor 912 pode incluir uma lente com uma distância focal variável. Em alguns aspectos, o dispositivo de imagiologia 905 pode ser configurado para emitir o primeiro padrão de luz estruturado 210a quando o receptor 912 é ajustada para a distância focal 920a. O receptor pode, em seguida, ser configurado para capturar uma primeira imagem com base na iluminação da cena pelo primeiro padrão de luz estruturado 910a. 0 dispositivo de imagiologia 205 pode ser configurado para em seguida, gerar o segundo padrão de luz estruturado 910b depois do receptor 912 ser ajustado para a distância

Petição 870190050321, de 29/05/2019, pág. 29/70

25/41 focal diferente 920b. 0 receptor pode, em seguida, ser configurado para capturar uma segunda imagem enquanto a cena é iluminada pela segunda imagem de luz estruturada.

[0067] O dispositivo de imagiologia 905 pode ser configurado para gerar informação de profundidade a partir da primeira imagem e da segunda imagem. Porque cada uma da primeira imagem de luz estruturada 910a e da segunda imagem de luz estruturada 910b são concentradas em diferentes distâncias 920a- b a partir do dispositivo de imagiologia, a informação de profundidade gerada pode ser mais completa e/ou exata do que se a informação de profundidade tivesse sido gerada de apenas um padrão de luz estruturado, tal como qualquer um dos padrões de luz estruturados 910a-b.

[0068] A Figura 10 é uma segunda ilustração de um dispositivo de imagiologia que inclui uma pluralidade de emissores. O dispositivo de imagiologia 1055 da Figura 10 inclui emissores de luz 1058a-b. O emissor de luz 1058a é configurado para gerar um padrão de luz estruturado 1060a em uma distância média a partir do dispositivo de imagiologia 1055 de 1070a. O primeiro padrão de luz estruturado 1060a é gerado pelo emissor 1058a para ter uma profundidade de campo indicada como 1072a. O segundo emissor 1058b é configurado para gerar padrão de luz estruturado 1060b. O padrão de luz estruturado 1060b tem uma profundidade de campo de 272b. A profundidade de padrão de luz estruturada 1060b de campo 272b está substancialmente dentro da profundidade de campo 272a do primeiro padrão de luz estruturado 1060a gerado pelo emissor de luz 1058a.

Petição 870190050321, de 29/05/2019, pág. 30/70

26/41 [0069] Em alguns aspectos, o padrão de luz estruturado 1060a pode ser gerado em uma primeira resolução, e o segundo padrão de luz estruturado 1072b pode ser gerado em uma segunda resolução que é maior do que a primeira resolução.

[0070] Um receptor 1062 pode receber a informação de cada um dos padrões de luz estruturados 1060a-b. Em alguns aspectos, o receptor 1062 pode incluir uma lente com uma distância focal variável. Em alguns aspectos, o dispositivo de imagiologia 1055 pode ser configurado para emitir o primeiro padrão de luz estruturado 1058a quando o receptor 1062 é ajustado para a distância focal 270a. O receptor pode, em seguida, ser configurado para capturar uma primeira imagem com base na iluminação da cena pelo primeiro padrão de luz estruturado 1060a. O dispositivo de imagiologia 1055 pode ser configurado para em seguida, gerar o segundo padrão de luz estruturado 1060b depois do receptor 1062 ser ajustado para a distância focal diferente 1070b. O receptor pode, em seguida, ser configurado para capturar uma segunda imagem enquanto a cena é iluminada pela segunda imagem de luz estruturada.

[0071] A Figura 11 é uma terceira ilustração de um dispositivo de imagiologia que inclui uma pluralidade de emissores. O dispositivo de imagiologia 1105 da Figura 11 inclui emissores de luz 1108a-b. O emissor de luz 1108a é configurado para gerar um padrão de luz estruturado 1110 em uma distância média a partir do dispositivo de imagiologia 1105 de 1120a. O primeiro padrão de luz estruturado 1110a é gerado pelo emissor 1108a para ter uma

Petição 870190050321, de 29/05/2019, pág. 31/70

27/41 profundidade de campo indicada como 1122a. 0 segundo emissor 308b é configurado para gerar padrão de luz estruturado 1110b. O padrão de luz estruturado 1110b tem uma profundidade de campo de 1122b. A profundidade de padrão de luz estruturado 1110b de campo 1122b é mais estreita do que a profundidade de campo 1122a do primeiro padrão de luz estruturado 310a gerado pelo emissor de luz 1108a. Além disso, ao contrário as profundidade de campo 1022a-b da Figura 10, a profundidade de campo dos dois padrões de luz estruturados lllOa-b na Figura 11 substancialmente não se sobrepõem.

[0072] Em alguns aspectos, o padrão de luz estruturado 1110a pode ser gerado em uma primeira resolução, e o segundo padrão de luz estruturado 1122b pode ser gerado em uma segunda resolução que é maior do que a primeira resolução.

[0073] Um receptor 1112 pode receber a informação padrão de cada um dos padrões de luz estruturados lllOa-b. Em alguns aspectos, o receptor 1112 pode incluir uma lente com uma distância focal variável. Em alguns aspectos, o dispositivo de imagiologia 1105 pode ser configurado para emitir o primeiro padrão de luz estruturado 1108a quando o receptor 1112 é ajustado para a distância focal 1120a. O receptor pode, em seguida, ser configurado para capturar uma primeira imagem com base na iluminação da cena pelo primeiro padrão de luz estruturado 1110a. O dispositivo de imagiologia 305 pode ser configurado para em seguida, gerar o segundo padrão de luz estruturado 1110b depois do receptor 1112 ser ajustado para a distância focal diferente 1120b. O receptor pode, em

Petição 870190050321, de 29/05/2019, pág. 32/70

28/41 seguida, ser configurado para capturar uma segunda imagem enquanto a cena é iluminada pela segunda imagem de luz estruturada.

[0074] Em alguns aspectos, o dispositivo 1105 pode incluir três ou mais emissores. Por exemplo, em alguns aspectos, um primeiro emissor pode gerar um padrão de luz estruturado com uma profundidade de campo de 50 centímetros a 4 metros do dispositivo de imagiologia 1105. Um segundo emissor de luz pode ser configurado para gerar um segundo padrão de luz estruturado com uma profundidade de campo de 30 cm a 50 cm do dispositivo de imagiologia 1105. Um terceiro emissor de luz pode ser configurado para gerar um terceiro padrão de luz estruturado com uma profundidade de campo de 20 cm a 30 cm do dispositivo de imagiologia 1105.

[0075] A Figura 12 é uma quarta ilustração de um dispositivo de imagiologia que inclui uma pluralidade de emissores. O dispositivo de imagiologia 1205 da Figura 12 inclui emissores de luz 1208a-c. Ao contrário, os emissores 908a-b, 1008a-b, e 1108a-b mostrados nas Figuras 9 a 11 respectivamente, os emissores de luz 1208a-c são posicionados no mesmo lado mas com diferentes distâncias de um receptor 1214.

[0076] O emissor de luz 1208a é configurado para gerar um padrão de luz estruturado 1210a em uma distância média focal a partir do dispositivo de imagiologia 1205 de 1220a. O segundo emissor 308b é configurado para gerar o padrão de luz estruturado 1210b na distância focal média 1220a. O emissor de luz 1208c é configurado para gerar o padrão de luz estruturado 1210c na distância focal média 1220a. Em alguns aspectos, gerando-se

Petição 870190050321, de 29/05/2019, pág. 33/70

29/41 os padrões de luz estruturados 1210a-c de emissores 1208a-c que estão em diferentes distâncias a partir do receptor 1214, objetos na cena 1201 podem ter diferentes níveis de oclusão para cada um dos padrões de luz estruturados 1210ac. Como tal, o dispositivo de imagiologia 1205 pode ser capaz de derivar informação de profundidade melhorada para a cena 1201 quando em comparação com um dispositivo de imagiologia usando, por exemplo, menos emissores de luz para iluminar a cena 1201.

[0077] Um receptor 1212 pode receber a informação padrão de cada um dos padrões de luz estruturados 1210a-c. Em alguns aspectos, o dispositivo de imagiologia 305 pode ser configurado para emitir o primeiro padrão de luz estruturado 1208a. O receptor 1212 pode, em seguida, ser configurado para capturar uma primeira imagem com base na iluminação da cena pelo primeiro padrão de luz estruturado 1210a. O dispositivo de imagiologia 1205 pode ser configurado para em seguida, gerar o segundo padrão de luz estruturado 1210b. O receptor 1212 pode, em seguida, ser configurado para capturar uma segunda imagem enquanto a cena é iluminada pelo segundo padrão de luz estruturado 1210b. O dispositivo de imagiologia 1205 pode ser configurado para em seguida, gerar o terceiro padrão de luz estruturado 1210c. O receptor 1212 pode, em seguida, ser configurado para capturar uma terceira imagem enquanto a cena é iluminada pelo terceiro padrão de luz estruturado 1210c.

[0078] O dispositivo de imagiologia 1205 pode ser configurado para combinar informação a partir da primeira, segunda, e terceira imagens para gerar um mapa de

Petição 870190050321, de 29/05/2019, pág. 34/70

30/41 profundidade. O mapa de profundidade pode incluir informação de profundidade mais completa e/ou informação de profundidade mais exata para a cena 1201.

[0079] A Figura 13 é um diagrama de bloco de um dispositivo exemplificativo que implementa as modalidades divulgadas. O dispositivo 1300 pode ser uma modalidade de qualquer um dos dispositivos 1005, 1055, 1105, ou 1205, mostrados acima em relação às Figuras 10 a 12. O dispositivo 1300 inclui pelo menos dois emissores de luz 1308a-b e um sensor de imagiologia 1312. Os dois emissores de luz 1308a-b podem representar qualquer um dos emissores de luz 208a-b, 1058a-b, 308a-b, 408-a-b discutidos acima em relação às Figuras 10 a 12. O sensor de imagiologia 1312 pode representar qualquer um dos sensores de imagiologia 912, 1062, 1112, 1312, ou 1212, discutidos acima.

[0080] O dispositivo 1300 também inclui um processador de hardware eletrônico 1340, uma memória de hardware eletrônica 1345 de maneira operável acoplados ao processador 1340, um display eletrônico 1350 de maneira operável acoplado ao processador 1340, e um armazenamento 1360 de maneira operável acoplado ao processador 1340. A memória 1345 armazena instruções que configuram o processador para realizar uma ou mais funções discutidas aqui. Em alguns aspectos, as instruções pode ser organizadas em módulos para facilitar debate de sua funcionalidade. Por exemplo, as instruções do dispositivo 1300 da Figura 13 são organizadas em um módulo de luz estruturada 1346a, módulo de mapa de profundidade 1346b, e um módulo de captura de imagem 1346c.

Petição 870190050321, de 29/05/2019, pág. 35/70

31/41 [0081] A Figura 14 é um fluxograma de um método exemplificativo de gerar um mapa de profundidade. Em alguns aspectos, o processo 1400 pode ser realizado pelo dispositivo 1300 discutido acima em relação à Figura 13. Alternativamente, o processo 1400 pode ser realizado por qualquer um dos dispositivos de imagiologia e/ou usando qualquer uma das configurações de imagiologia mostradas nas Figuras 1, 4A-C, 5A-C ou 9 a 12.

[0082] O processo 1400 pode fornecer sensor de profundidade melhorado. Como discutido acima, projetos existentes para sensor ativo pode se basear em projetar e detectar padrões únicos ou códigos. O tamanho do padrão pode determinar o menor objeto detectável. Tanto um transmissor de luz estruturado quanto um receptor podem ser sintonizados em banda para certos planos de profundidade e podem ser banda limitada quanto mais afastado do plano de profundidade um objeto em uma cena sendo representada visualmente cai. Sob estas circunstâncias, um dispositivo emissor de luz pode ser desafiado para projetar códigos de luz estruturada tanto mas afastado do plano focal que um objeto se encontra.

[0083] Alguns aspectos de processo 1400 podem utilizar uma câmera de foco automático como um receptor de luz estruturada e deslocar uma faixa de concentração com base na cena sendo representada visualmente. Múltiplos transmissores de luz estruturados, concentrados em diferentes profundidades podem ser utilizados. Um subconjunto dos transmissores pode, em seguida, ser selecionado dependendo das características de cena e possivelmente outras considerações.

Petição 870190050321, de 29/05/2019, pág. 36/70

32/41 [0084] No bloco 1405, um primeiro padrão de luz estruturado é gerado em uma cena. Em alguns aspectos, o primeiro padrão de luz estruturado pode ser gerado por, por exemplo, um dos emissores de luz 1308a-b. Em alguns aspectos, o primeiro padrão de luz estruturado pode ser gerado por um laser projetado através de um elemento óptico difrativo como descrito acima. Nestes aspectos, o elemento óptico difrativo usado para gerar o primeiro padrão de luz estruturado é configurado para fornecer o primeiro padrão de luz estruturado com uma primeira profundidade de campo. Em alguns aspectos, o emissor de luz para gerar o primeiro padrão de luz estruturado é uma primeira distância de um receptor ou sensor de imagiologia que é configurado para capturar o primeiro padrão de luz estruturado.

[0085] No bloco 1410, uma lente é ajustada de modo a ser concentrada dentro da primeira profundidade de campo. Por exemplo, em alguns aspectos, a lente pode ser parte de um sensor de imagiologia, tal como sensor de imagiologia 1312 discutido acima em relação ao dispositivo 1300 .

[0086] No bloco 1415, uma primeira imagem é capturada com a lente enquanto é concentrada dentro da primeira profundidade de campo. Assim, a primeira imagem representa o primeiro padrão de luz estruturado como projetado na cena. Em alguns aspectos, a primeira imagem é capturada usando o sensor de imagiologia 1312 discutido acima em relação ao dispositivo exemplificativo 1300.

[0087] No bloco 1420, um segundo padrão de luz estruturado é gerado na cena. Em alguns aspectos, o segundo padrão de luz estruturado pode ser gerado usando um

Petição 870190050321, de 29/05/2019, pág. 37/70

33/41 diferente emissor de luz do que foi usado para gerar o primeiro padrão de luz estruturado. Em alguns aspectos, o segundo padrão de luz estruturado pode ser gerado por um dos emissores de luz 1308-b. 0 segundo padrão de luz estruturado pode ser gerado iluminando-se um fonte de luz a laser e projetando a fonte de luz através de um segundo elemento óptico difrativo (DOE) como discutido acima. Nestes aspectos, o segundo DOE pode ser configurado para gerar o segundo padrão de luz estruturado de modo a ter uma segunda profundidade de campo diferente do que a primeira profundidade de campo do primeiro padrão de luz estruturado. Em alguns aspectos, as profundidades de campo podem ser diferentes em que estão presentes em diferentes distâncias a partir do sensor de imagiologia ou receber a captura dos padrões de luz estruturados. Em alguns aspectos, as profundidades de campo podem ser diferentes em que são de diferentes larguras. Em outras palavras, uma profundidade de campo pode ser, por exemplo, 20 cm de profundidade, enquanto a segunda profundidade de campo pode ser 50 cm de profundidade. Como discutido acima, em alguns aspectos, as duas profundidades de campo podem se sobrepor completa ou parcialmente, ou podem não se sobrepor dependendo da configuração de modalidade.

[0088] Em alguns aspectos, o segundo emissor de luz pode ser uma segunda distância diferente a partir do sensor de imagiologia 1312 ou um receptor configurado para capturar o primeiro e o segundo padrões de luz estruturados. Em alguns aspectos, o segundo emissor de luz pode estar em um lado horizontal equivalente do sensor de imagiologia para capturar o primeiro e o segundo padrão de

Petição 870190050321, de 29/05/2019, pág. 38/70

34/41 luz estruturado, ou pode estar em um lado horizontal oposto do sensor de imagiologia. Em alguns aspectos, o primeiro DOE pode ser configurado para gerar o primeiro padrão de luz estruturado usando uma primeira resolução máxima, enquanto o segundo DOE é configurado para gerar o segundo padrão de luz estruturado para ter uma segunda resolução máxima diferente (maior ou menos do que) da primeira resolução. Em alguns aspectos, o primeiro e segundo padrões de luz estruturados podem ser configurados para fornecer sua resolução máxima em diferentes (ou equivalentes) distâncias de um receptor ou sensor de imagiologia para capturar os padrões de luz estruturados.

[0089] No bloco 1425, a lente é ajustada de modo a ser concentrada dentro da segunda profundidade de campo. No bloco 1430, uma segunda imagem é capturada com a lente enquanto é concentrada dentro da segunda profundidade de campo. Assim, a segunda imagem representa o segundo padrão de luz estruturado como projetado na cena. Em alguns aspectos, a segunda imagem pode ser capturada pelo sensor de imagiologia 1312.

[0090] No bloco 1435, um mapa de profundidade é gerado com base na primeira e/ou segunda imagens. Por exemplo, os objetos incluídos na cena em uma profundidade dentro da primeira profundidade de campo podem ser representados no mapa de profundidade com base na primeira imagem, enquanto os objetos dentro da cena em uma profundidade dentro da segunda profundidade de campo podem ser representados no mapa de profundidade com base em dados derivados a partir da segunda imagem.

[0091] Em alguns aspectos, apenas a primeira

Petição 870190050321, de 29/05/2019, pág. 39/70

35/41 ou a segunda imagem pode ser utilizada para gerar o mapa de profundidade. Por exemplo, em alguns aspectos, a primeiro ou a segunda imagem pode ser utilizada com base em características da cena sendo representadas visualmente. Em alguns aspectos, um nível de qualidade de informação de profundidade fornecido nas imagens pode ser avaliado, com a imagem incluindo a informação de profundidade de qualidade mais alta usada para gerar o mapa de profundidade. 0 nível de qualidade pode ser com base em uma quantidade de informação de profundidade ou uma quantidade de informação de profundidade corrompida ou ausente. Por exemplo, uma imagem tendo a menor quantidade de informação de profundidade ausente pode ser utilizada para gerar o mapa de profundidade em alguns aspectos.

[0092] O processo 1400 também pode incluir a gravação do mapa de profundidade gerado para um armazenamento estável (ou meio de armazenamento). Em alguns aspectos, um ou mais parâmetros de captura de imagem de uma terceira imagem podem ser ajustados com base no mapa de profundidade. Por exemplo, em alguns aspectos, um tempo de exposição ou ajuste de iluminação do flash (tal como intensidade do flash e/ou se um flash é usado) pode ser modificado com base no mapa de profundidade. A terceira imagem pode, em seguida, ser capturada usando o um ou mais parâmetros de captura de imagem. A terceira imagem também pode ser gravada para um armazenamento estável ou outro dispositivo de E/S depois da captura.

[0093] A Tabela 1 abaixo mostra uma variedade de configurações de elementos ópticos difrativos que pode ser combinada para fornecer várias vantagens quando gerar

Petição 870190050321, de 29/05/2019, pág. 40/70

36/41 um mapa de profundidade. Em várias modalidades, o processo 1400 pode utilizar qualquer uma das configurações exemplificativas mostradas abaixo para gerar um mapa de profundidade. O processo 1400 também pode utilizar qualquer uma das configurações exemplificativas mostradas acima em qualquer uma das Figuras 4A-C, 5A-C e 7 a 12.

[0094] Tabela 1

Configuração Exemplifreativa	Primeiro Padrão de Luz Estruturado	Segundo Padrão de Luz Estruturado
	DOE na Res . de ref.	Res. Máx	Distância do Sensor de imagiologia	DOE na Res . de ref.	Res. Máx	Distância. do Sensor de imagiologia
1	50cm- 4 m	A pon tos por rad.		Nenhum
2			D 1			D2 (não Igual a Dl)
3	50cml· m	A pon tos por rad.		1 metro- 4 metros	A pon tos por rad.
4	20cm- 50 cm	A pon tos por rad.		5 0 cml· m	A pontos por rad.
5	50cm- 4 m	A pontos por radiano		7 0cm- 90 cm	4A pontos por radiano

[0095] Na Tabela 1, as células em branco correspondentes para o primeiro e o segundo padrões de luz estruturados podem ser equivalentes através de uma única configuração.

[0096] Como usado aqui, o termo determinar abrange uma ampla variedade de ações. Por exemplo, determinar pode incluir calcular, computar, processar,

Petição 870190050321, de 29/05/2019, pág. 41/70

37/41 derivar, investigar, pesquisar (por exemplo, pesquisar em uma tabela, uma base de dados ou uma outra estrutura de dados), averiguar e semelhantes. Também, determinar pode incluir receber (por exemplo, receber informação), acessar (por exemplo, acessar dados em uma memória) e semelhantes. Também, determinar pode incluir resolver, selecionar, escolher, estabelecer e semelhantes. Além disso, uma largura de canal como usada aqui pode abranger ou também pode ser denominada como uma largura de banda em certos aspectos.

[0097]

Como usado aqui, uma frase denominada como pelo menos um de uma lista de itens refere-se a qualquer combinação daqueles itens, incluindo membros únicos. Como um exemplo, pelo menos um de: a, b, ou c é intencionado a cobrir: a, b, c, a-b, a-c, b-c e a-b-c.

[0098]

As várias operações de métodos descritos acima podem ser realizadas por quaisquer meios adequados capazes de realizar as operações, tais como vários componentes (componentes) de hardware e/ou software, circuitos, e/ou módulo (módulos). Geralmente, quaisquer operações ilustradas nas Figuras podem ser realizadas por meios correspondentes funcionais capazes de realizar as operações.

[0099]

Os vários blocos lógicos módulos e circuitos ilustrativos descritos em relação à presente divulgação podem ser implementados ou realizados com um processador de uso geral, um processador de sinal digital (DSP), um circuito integrado de aplicação específica (ASIC), um sinal de matriz de porta programável em campo (FPGA) ou outro dispositivo de lógica programável (PLD),

Petição 870190050321, de 29/05/2019, pág. 42/70

38/41 porta discreta ou lógica de transistor, componentes de hardware discretos ou qualquer combinação destes projetados para realizar as funções descritas aqui. Um processador de uso geral pode ser um microprocessor, mas na alternativa, o processador pode ser qualquer processador, controlador, microcontrolador ou máquina de estado comercialmente disponível. Um processador também pode ser implementado como uma combinação de dispositivos de computação, por exemplo, uma combinação de um DSP e um microprocessor, uma pluralidade de microprocessadores, um ou mais microprocessadores em conjunto com um núcleo DSP, ou qualquer outra tal configuração.

[00100] Em um ou mais aspectos, as funções descritas podem ser implementadas em hardware, software, firmware, ou qualquer combinação destes. Se implementadas em software, as funções podem ser armazenadas em ou transmitidos como uma ou mais instruções ou código em um meio legível por computador. A mídia legível por computador inclui tanto mídia de armazenamento por computador quanto mídia de comunicação incluindo qualquer meio que facilite a transferência de um programa de computador de um lugar para um outro. Uma mídia de armazenamento pode ser qualquer mídia de disponível que possa ser acessada por um computador. Por via de exemplo, e não limitação, tal mídia legível por computador pode compreender RAM, ROM, EEPROM, CD- ROM ou outro armazenamento de disco ótico, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético, ou qualquer outro meio que possa ser usado para transportar ou armazenar código de programa desejado na forma de instruções ou estruturas de dados e

Petição 870190050321, de 29/05/2019, pág. 43/70

39/41 que pode ser acessada por um computador. Também, qualquer conexão é devidamente denominado um meio legível por computador. Por exemplo, se o software for transmitido a partir de um website, servidor, ou outra fonte remota usando um cabo coaxial, cabo de fibra óptica, par trançado, linha de assinante digital (DSL), ou tecnologias sem fios tais como infravermelho, rádio, e micro-ondas, em seguida, o cabo coaxial, cabo de fibra óptica, par trançado, DSL, ou tecnologias sem fios tais como infravermelho, rádio, e micro-ondas são incluídos na definição de meio. Disquete e disco, como usados aqui, incluem disco compacto (CD), disco laser, disco óptico, disco versátil digital (DVD), disquete e disco Blu-ray onde os disquetes usualmente reproduzem dados magneticamente, enquanto os discos reproduzem dados opticamente com lasers. Assim, em alguns aspectos meio legível por computador pode compreender meio legível por computador não transitório (por exemplo, mídia tangível). Além disso, em alguns aspectos o meio legível por computador pode compreender meio legível por computador transitório (por exemplo, um sinal). As combinações dos itens acima devem também ser incluídas dentro do escopo de mídia legível por computador.

[00101] Os métodos divulgados aqui compreendem uma ou mais etapas ou ações para alcançar o método descrito. As etapas e/ou ações do método podem ser trocadas umas com as outras sem se afastar a partir do escopo das reivindicações. Em outras palavras, a menos que uma ordem específica de etapas ou ações seja especificada, a ordem e/ou uso de etapas e/ou ações específicas pode ser modificada sem se afastar a partir do escopo das

Petição 870190050321, de 29/05/2019, pág. 44/70

40/41 reivindicações . [00102] As funções descritas podem ser implementadas em hardware, software, firmware ou qualquer combinação destes. Se implementadas em software, as funções podem ser armazenadas como uma ou mais instruções em um meio legível por computador. Uma mídia de armazenamento pode ser qualquer mídia de disponível que possa ser acessada por um computador. Por via de exemplo, e não limitação, tal mídia legível por computador pode compreender RAM, ROM, EEPROM, CD- ROM ou outro armazenamento de disco ótico, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético, ou qualquer outro meio que possa ser usado para transportar ou armazenar código de programa desejado na forma de instruções ou estruturas de dados e que podem ser acessadas por um computador. Disquete e disco, como usados aqui, incluem disco compacto (CD), disco laser, disco óptico, disco versátil digital (DVD), disquete, e disco Blu-ray® onde disquetes usualmente reproduzem dados magneticamente, enquanto os discos reproduzem dados opticamente com lasers.

[00103] Assim, certos aspectos podem compreender um produto de programa de computador para realizar as operações apresentadas aqui. Por exemplo, um tal produto de programa de computador pode compreender um meio legível por computador tendo instruções armazenadas (e/ou codificadas) nele, as instruções sendo executáveis por um ou mais processadores para realizar as operações descritas aqui. Para certos aspectos, o produto de programa de computador pode incluir material de empacotamento.

Petição 870190050321, de 29/05/2019, pág. 45/70

41/41 [00104] Além disso, deve ser avaliado que os módulos e/ou outros meios apropriados para realizar os métodos e as técnicas descritos aqui podem ser transferidos por download e/ou de outro modo obtidos por um usuário terminal e/ou estação base como aplicável. Por exemplo, um tal dispositivo pode ser acoplado a um servidor para facilitar a transferência de meios para realizar os métodos descritos aqui. Alternativamente, vários métodos descritos aqui podem ser fornecidos através de meios de armazenamento (por exemplo, RAM, ROM, um meio de armazenamento fisico tal como um disco compacto (CD) ou disquete, etc.), tal que um usuário terminal e/ou estação base podem obter os vários métodos após o acoplamento ou fornecimento dos meios de armazenamento para o dispositivo. Além disso, qualquer outra técnica adequada para fornecer os métodos e técnicas descritas aqui para um dispositivo podem ser utilizados.

[00105] Deve ser entendido que as reivindicações não são limitadas à configuração precisa e componentes ilustrados acima. Várias modificações, mudanças e variações podem ser feitas na disposição, operação e detalhes dos métodos e aparelhos descritos acima sem se afastar a partir do escopo das reivindicações.

[00106] Enquanto o anterior é dirigido a aspectos da presente divulgação, outros e aspectos adicionais da divulgação podem ser divididos sem se afastar a partir do escopo básico do mesmo, e o escopo do mesmo é determinado pelas reivindicações que seguem.

Claims (6)

1. Dispositivo de imagiologia que compreende:

uma pluralidade de transmissores incluindo um primeiro transmissor configurado para gerar um padrão de luz estruturado com uma primeira profundidade de campo em uma primeira resolução e um segundo padrão de luz estruturado com uma segunda profundidade de campo na primeira resolução, em que a segunda profundidade de campo é mais ampla do que a primeira profundidade de campo;

um receptor configurado para se concentrar dentro da primeira profundidade de campo para receber o primeiro padrão de luz estruturado e capturar uma primeira imagem que representa o primeiro padrão de luz estruturado e para se concentrar dentro da segunda profundidade de campo para receber o segundo padrão de luz estruturado e capturar uma segunda imagem que representa o segundo padrão de luz estruturado; e um processador de hardware eletrônico configurado para gerar um mapa de profundidade da cena com base na primeira imagem e na segunda imagem.

2. Dispositivo de imagiologia, de acordo com a reivindicação 1, em que o processador de hardware eletrônico é ainda configurado para ajustar os parâmetros de captura de imagem de uma terceira imagem com base no mapa de profundidade gerado, e capturar a terceira imagem usando os parâmetros de captura de imagem.

3. Dispositivo de imagiologia, de acordo com a reivindicação 2, em que o processador de hardware eletrônico é configurado para ajustar um ou mais de um parâmetro de abertura, velocidade do obturador ou

Petição 870190050321, de 29/05/2019, pág. 47/70

2/6 iluminação da terceira imagem com base no mapa de profundidade.

4. Dispositivo de imagiologia, de acordo com a reivindicação 2, em que o processador de hardware eletrônico é ainda configurado para armazenar um ou mais do mapa de profundidade e a terceira imagem a um armazenamento estável.

5. Dispositivo de imagiologia, de acordo com a reivindicação 1, em que o primeiro transmissor é configurado para gerar o primeiro padrão de luz estruturado para ter uma primeira resolução máxima em uma primeira distância a partir do dispositivo de imagiologia e o segundo transmissor é configurado para gerar o segundo padrão de luz estruturado para ter uma segunda resolução máxima mais baixa do que o primeiro padrão de luz estruturado em uma segunda distância a partir do dispositivo de imagiologia.

6. Dispositivo de imagiologia, de acordo com a reivindicação 5, em que a primeira distância e a segunda distância são equivalentes. 7. Dispositivo de imagiologia, de acordo com a reivindicação 5, em que a primeira distância é diferente da

segunda distância.

8. Dispositivo de imagiologia, de acordo com a reivindicação 1, em que o primeiro transmissor é

configurado para gerar a primeira profundidade de campo para se sobrepor com a segunda profundidade de campo.

9. Dispositivo de imagiologia, de acordo com a reivindicação 8, em que o primeiro transmissor é configurado para gerar a primeira profundidade de campo a

Petição 870190050321, de 29/05/2019, pág. 48/70

3/6 ser contida dentro da segunda profundidade de campo.

10. Método de capturar uma imagem com um dispositivo de imagiologia, que compreende:

gerar, usando um primeiro emissor de luz, um primeiro padrão de luz estruturado com uma primeira profundidade de campo em uma primeira resolução em uma cena;

concentrar, através de um processador de hardware eletrônico, um sensor de imagiologia dentro da primeira profundidade de campo para capturar uma primeira imagem que representa a cena iluminada pelo primeiro padrão de luz estruturado;

gerar, usando um segundo emissor de luz, um

segundo padrão de luz estruturado com u ma segunda profundidade de campo na primeira resolução, em que a segunda profundidade de campo é mais ampla do que a primeira profundidade concentrar de o campo; sensor de imagiologia dentro da segunda profundidade de campo para capturar uma segunda

imagem que representa a cena iluminada pelo segundo padrão de luz estruturado;

gerar, usando o processador de hardware eletrônico, um mapa de profundidade da cena com base na primeira imagem e na segunda imagem;

determinar os parâmetros de captura de imagem com base no mapa de profundidade;

capturar, usando o sensor de imagiologia, uma terceira imagem da cena com base nos parâmetros de captura de imagem; e armazenar a terceira imagem a um armazenamento

Petição 870190050321, de 29/05/2019, pág. 49/70

4/6 estável.

11. Método, de acordo com a reivindicação 10, que compreende ainda ajustar um ou mais de um parâmetro de abertura, velocidade do obturador ou iluminação da terceira imagem com base no mapa de profundidade.

12. Método, de acordo com a reivindicação 10, que compreende ainda armazenar o mapa de profundidade ao armazenamento estável.

13. Método, de acordo com a reivindicação 10, que compreende ainda gerar o primeiro padrão de luz estruturado para ter uma primeira resolução máxima em uma primeira distância a partir do dispositivo de imagiologia e o segundo transmissor é configurado para gerar o segundo padrão de luz estruturado para ter uma segunda resolução máxima mais baixa do que o primeiro padrão de luz estruturado em uma segunda distância a partir do dispositivo de imagiologia.

14. Método, de acordo com a reivindicação 13, em que a primeira distância e a segunda distância são equivalentes.

15. Método, de acordo com a reivindicação 13, em que a primeira distância é diferente da segunda distância.

16. Método, de acordo com a reivindicação 13, que compreende ainda gerar a primeira profundidade de campo para se sobrepor com a segunda profundidade de campo.

17. Método, de acordo com a reivindicação 16, que compreende ainda gerar a primeira profundidade de campo a ser contida dentro da segunda profundidade de campo.

18. Meio de armazenamento legível por computador não transitório que compreende instruções que quando

Petição 870190050321, de 29/05/2019, pág. 50/70

5/6 executadas fazem com que um processador realize um método de capturar uma imagem com um dispositivo de imagiologia, o método que compreende:

gerar, usando um primeiro emissor de luz, um primeiro padrão de luz estruturado com uma primeira profundidade de campo em uma primeira resolução em uma cena;

concentrar, através de um processador de hardware eletrônico um sensor de imagiologia dentro da primeira profundidade de campo para capturar uma primeira imagem que representa a cena iluminada pelo primeiro padrão de luz estruturado;

gerar, usando um segundo emissor de luz, um

segundo padrão de luz estruturado com u ma segunda profundidade de campo na primeira resolução, em que a segunda profundidade de campo é mais ampla do que a primeira profundidade concentrar de o campo; sensor de imagiologia dentro da segunda profundidade de campo para capturar uma segunda

imagem que representa a cena iluminada pelo segundo padrão de luz estruturado;

gerar, usando o processador de hardware eletrônico, um mapa de profundidade da cena com base na primeira imagem e na segunda imagem;

determinar os parâmetros de captura de imagem com base no mapa de profundidade;

capturar, usando o sensor de imagiologia, uma terceira imagem da cena com base nos parâmetros de captura de imagem; e armazenar a terceira imagem a um armazenamento

Petição 870190050321, de 29/05/2019, pág. 51/70

6/6 estável.

19. Meio de armazenamento legível por computador não transitório, de acordo com a reivindicação 18, o método que compreende ainda gerar o primeiro padrão de luz estruturado para ter uma primeira resolução máxima em uma primeira distância a partir do dispositivo de imagiologia e o segundo transmissor é configurado para gerar o segundo padrão de luz estruturado para ter uma segunda resolução máxima mais baixa do que o primeiro padrão de luz estruturado em uma segunda distância a partir do dispositivo de imagiologia.

20. Meio de armazenamento legível por computador transitório, de acordo com a reivindicação 19, em que a primeira distância e a segunda distância são equivalentes.