BRPI0719084B1

BRPI0719084B1 - Equipamento de ajuda para ajuste de enfoque de imagem e métodos de provimento de indicação de grau de enfoque e de retroalimentação para permitir a focalização de imagem em tempo real

Info

Publication number: BRPI0719084B1
Application number: BRPI0719084-0A
Authority: BR
Inventors: Graeme Nattress Thomas
Original assignee: Red.Com, Llc
Priority date: 2006-11-20
Filing date: 2007-10-24
Publication date: 2018-08-07
Also published as: CN101558355A; US20080116353A1; US20130177254A1; ES2389987T3; JP2010510543A; CN101558355B; KR101417169B1; US8927916B2; RU2009119259A; AU2007324081B2; MX2009005190A; KR20090090333A; CA2669580A1; TW200833094A; RU2466438C2; US8274026B2; HK1137518A1; EP2100188B1; US9692958B2; TWI416943B

Description

(54) Título: EQUIPAMENTO DE AJUDA PARA AJUSTE DE ENFOQUE DE IMAGEM E MÉTODOS DE PROVIMENTO DE INDICAÇÃO DE GRAU DE ENFOQUE E DE RETROALIMENTAÇÃO PARA PERMITIR A FOCALIZAÇÃO DE IMAGEM EM TEMPO REAL (51) Int.CI.: G03B 13/00 (30) Prioridade Unionista: 20/11/2006 US 11/561,785 (73) Titular(es): RED.COM, LLC (72) Inventor(es): THOMAS GRAEME NATTRESS (85) Data do Início da Fase Nacional: 18/05/2009

1/19 “Equipamento de Ajuda Para Ajuste de Enfoque de Imagem e

Métodos de Provimento de Indicação de Grau de Enfoque e de Retroalimentação

Para Permitir a Focalização de Imagem em Tempo Real”

Relatório Descritivo

Antecedentes

Campo da Invenção

A invenção relaciona-se com o suprimento de informações de enfoque de imagens.

Descrição da Técnica Correlata

Existem dois métodos básicos de focalização de uma câmara ou instrumento ótico.

Num sistema de autofoco, a câmara fixa o nível de enfoque com pequena ou nenhuma intervenção do usuário. A câmara coleta dados sobre o nível de enfoque relativo de objetos na lente da câmara. Usa um algoritmo para interpretar aqueles dados e configurar um nível de enfoque ótimo. Contudo, este algoritmo não necessariamente executa as intenções do fotógrafo. Muitos algoritmos de autofoco priorizam objetos que estão perto do centro da moldura ou que estão brilhantemente iluminados. Se o objeto do interesse do fotógrafo estiver fora do centro ou vagamente iluminado, o algoritmo de autofoco pode calibrar um nível de enfoque baseado em objetos em que o fotógrafo não tem nenhum interesse.

As câmaras de enfoque manuais exigem mais esforço do usuário. Mas, também dão ao fotógrafo mais controle sobre o nível de

2/19 enfoque. Como as câmaras de enfoque manual respondem melhor aos desejos do usuário e são potencialmente mais precisas, os profissionais frequentemente usam câmaras de enfoque manual.

Qualquer sistema que uma câmara use - autofoco ou 5 enfoque manual - a capacidade do sistema de produzir resultados desejáveis depende da capacidade do usuário de confirmar que os objetos estão dentro ou fora de foco. Num sistema de autofoco, se ficar obscuro quais objetos estão dentro ou fora de foco, o usuário não consegue confirmar que o algoritmo de autofoco identificou os objetos primários de interesse do usuário e ajustar o nível de enfoque de acordo. Num sistema de enfoque manual, se um usuário não puder confirmar que os objetos estão dentro ou fora do foco, o usuário não consegue confirmar a precisão dos ajustes de enfoque.

As telas de câmara podem ser muito pequenas ou impreci15 sas para transferir de modo confiável ao usuário se sim ou não um objeto está no foco ou fora de foco, exatamente quanto fora de foco. Eles freqüentemente não permitem que o usuário distinga entre graduações no nível de enfoque ou equilibre o nível de enfoque entre objetos múltiplos no visor.

Sumário

Uma lente ótica tendo um comprimento de focal variável é usada para detectar uma imagem. A lente enfoca a imagem num sensor e sensor captura as informações correspondentes a elementos de imagens individuais (píxeis). Uma tela mostra a imagem detectada.

A fim de ajudar o usuário ajustar o enfoque da imagem, uma forma de onda indica um grau de enfoque. A forma de onda pode ser sobreposta à imagem ou pode ser exibida adjacente à imagem. Alternativamente, a forma de onda pode ser exibida numa tela separada. A forma de onda é atualizada em tempo real, permitindo que o

3/19 usuário ajuste o enfoque ao mesmo tempo. A exibição do grau de enfoque poderia ser usada, por exemplo, ainda por câmaras e câmaras para imegens em movimento.

O sensor ótico converte a imagem a partir da lente num 5 conjunto ordenado digitais bidimensional, de píxeis, com o conjunto ordenado de píxeis disposto em filas e colunas. Numa modalidade, um processador opera sobre uma fila de píxeis para determinar dados de nível de enfoque para uma pluralidade de píxeis naquela fila.

A forma de onda pode indicar o grau de enfoque através de 10 variações de cor, variações de intensidade, variações de densidade, variações de amplitude ou outros indícios visuais. Pode ser usada uma combinação de tipos diferentes de indícios.

Os dados de nível de enfoque podem ser determinados, por exemplo, com um algoritmo de detecção de extremidade. Numa moda15 lidade, os dados de nível de enfoque são determinados comparando pelo menos uma parte do conjunto ordenado digital de píxeis com uma versão desfocada da mesma parte do conjunto ordenado.

Numa modalidade, uma imagem é detectada usando um conjunto ordenado bidimensional de sensores óticos. A imagem detec20 tada é convertida numa estrutura de dados que representa a imagem detectada como um conjunto ordenado bidimensional de valores de pixel, em que os valores de pixel são representativos de uma quantidade de luz detectada pelos sensores óticos. Uma imagem desfocada é gerada combinando um valor de pixel selecionado com uma pluralidade de valores de pixel das imediações do valor de pixel selecionado. O grau de enfoque é, então, determinado comparando o valor de pixel selecionado com um valor de pixel de imagem desfocada correspondente. Um sintoma visual do grau de enfoque é, então, provido. Numa modalidade, a indicação visual do grau de enfoque pode ser sobreposta a uma

4/19 representação da imagem detectada. Noutra modalidade, a indicação visual do grau de enfoque é adjacente a uma representação da imagem detectada. Prover a indicação visual do grau de enfoque pode compreender exibir uma forma de onda correspondendo ao grau de enfoque.

Um ponto na forma de onda pode corresponder a um grau médio de enfoque para uma pluralidade de píxeis verticalmente alinhados. Em outra modalidade, um ponto na forma de onda pode corresponder a um grau médio de enfoque para uma pluralidade de píxeis horizontalmente alinhados. Ainda noutra modalidade, um ponto na forma de onda pode corresponder a um grau médio de enfoque para uma pluralidade de píxeis num bloco. Numa modalidade adicional, um ponto na forma de onda corresponde a um grau médio de enfoque para uma pluralidade de píxeis não adjacentes.

Numa modalidade, um método de proporcionar a retroali15 mentação para permitir a focalização de uma imagem em tempo real compreende usar um algoritmo programado para determinar um grau de enfoque de uma pluralidade de regiões e proporcionar um sintoma visual do grau de enfoque de cada região. A indicação visual pode tomar uma variedade de formatos, tal como, por exemplo, uma forma de onda, variando o relevo de uma região ou uma indicação de enfoque por uma figura geométrica. A região pode ser, por exemplo, uma linha ou um padrão geométrico regular. Numa modalidade, o grau de enfoque de uma região pode ser indicado variando a cor da região. Noutra modalidade, o grau de enfoque de uma região pode ser indicado varian25 do o brilho da região. As regiões podem ser descritas por detecção de extremidade e o grau de enfoque de cada região pode ser indicado por variando, por exemplo, o brilho ou cor de uma extremidade.

Breve Descrição dos Desenhos

Estas e outras características serão, agora, descritas com referência aos desenhos sumarizados abaixo. Estes desenhos e a

5/19 descrição associada são proporcionados para ilustrar uma modalidade preferida da invenção e não para limitar o escopo da invenção.

A Figura 1 mostra um gráfico de linha horizontal de transferência de dados de nível de enfoque.

A Figura 2 mostra um gráfico de linha vertical de transferência de dados de nível de enfoque.

A Figura 3 mostra um gráfico de linha horizontal de transferência de dados de nível de enfoque com três linhas separadas.

A Figura 4 mostra uma grade sobreposta numa imagem, 10 pela qual os dados de nível de enfoque podem ser calculados ou exibidos.

A Figura 5 mostre destaques ao redor de objetos, destaques esses que transferem dados de nível de enfoque.

A Figura 6 mostra um diagrama de nível alto do sistema de 15 ajuda de enfoque.

A Figura 7 mostra um gráfico de linha horizontal transferindo dados de nível de enfoque de uma linha de varredura horizontal.

A Figura 8 mostra um gráfico de linha horizontal transferindo dados de nível de enfoque a partir de uma linha de varredura, em que os dados de nível de enfoque foram calculados usando um algoritmo de detecção de extremidade.

A Figura 9 mostra um gráfico de linha vertical transferindo dados de nível de enfoque a partir de uma linha de varredura vertical.

A Figura 10 mostra gráficos de linha horizontal e vertical 25 transferindo dados de nível de enfoque a partir de linhas de varredura

6/19 horizontal e vertical, respectivamente.

A Figura 11 mostra um gráfico de linha horizontal transferindo dados de nível de enfoque a partir de uma linha de varredura em declive.

A Figura 12 mostra um gráfico de linha horizontal transferindo médias de dados de nível de enfoque a partir de três linhas de varredura.

A Figura 13 mostra um gráfico de linha horizontal transferindo médias de dados de nível de enfoque a partir de uma linha de varredura maior do que uma largura de pixel.

A Figura 14 mostra um gráfico de linha horizontal transferindo dados de nível de enfoque com três linhas separadas, correspondendo cada uma das linhas a uma linha de varredura horizontal diferente.

Descrição Detalhada

A descrição seguinte de implementações diferentes foi apresentada somente por via de exemplo e não deve ser lida num sentido limitativo. O escopo da presente invenção é definido apenas pelas Reivindicações.

Numa modalidade, uma câmara exibe dados de nível de enfoque para um usuário. Os dados de nível de enfoque podem ser sobrepostos na tela do visor primário ou podem ser exibidos numa tela secundária. Vários sistemas de tratamento de imagens óticas - tais como a câmara de imagens em movimento ou a câmara de fotografia — poderiam gerar e exibir dados de nível de enfoque. Contudo, a invenção não é limitada a câmaras. Qualquer sistema de tratamento de imagens ótico pode exibir informações de nível de enfoque para o usuário. Os

7/19 exemplos incluem microscópios de luz, telescópios ou binóculos.

De modo semelhante, instrumentos não óticos que produzam uma imagem podem também exibir informações de nível de enfoque para o usuário. Um exemplo é um microscópio eletrônico. Além disso, um algoritmo pode gerar e exibir dados de nível de enfoque para o usuário para imagens ou vídeos depois que foram registrados.

Uma ampla variedade de técnicas de exibição diferentes transfere dados de nível de enfoque para o usuário. Por exemplo, a Figura 1 mostra um gráfico de linha 300 orientado abaixo da imagem

302. Alternativamente a câmara ou a tela poderíam mostrar o gráfico da linha sobreposto à imagem. O gráfico de linha 300 exibe valores mais altos 304 para objetos em enfoque maior 306. Ele exibe valores inferiores 308 para objetos menos bem enfocados 310. O eixo dos xx 312 representa um nível de linha de base de enfoque, abaixo do qual nenhum dado de nível de enfoque é exibido. O limite 312 do eixo dos xx pode ser configurado de acordo com vários critérios diferentes. Poderia refletir algum valor de número absoluto - relacionado com o declive do gradiente - sendo o gradiente calculado por um algoritmo de detecção de extremidade como explicado abaixo. Ou o limite poderia ser amarra20 do dinamicamente a um nível de enfoque médio da imagem inteira. Então, o limite poderia ser configurado para 150% ou 200% do nível de enfoque médio. Este mecanismo poderia ser usado para eliminar valores baixos, de “ruído” a partir da tela ou para exibir dados apenas para aqueles objetos de exibição considerados estarem em enfoque ou relativamente em enfoque.

Numa modalidade, os dados de nível de enfoque exibidos no gráfico de linha 300 cobrem uma faixa contínua de valores de nível de enfoque - ou pelo menos contínua num sentido discreto, digital, limitado por píxeis e taxa de amostragem. Isto não significa necessariamente que os valores no gráfico de linha 300 correspondam um a um ao valor

8/19 do nível de enfoque num ponto dado na imagem 302. O gráfico da linha 300 pode ser contínuo e ainda representa uma função ajustada dos dados brutos de nível de enfoque que são mais bem vistos pelo usuário.

Um gráfico de linha única, horizontal 300 como um da 5 Figura 1 não poderia transferir com precisão informações de nível de enfoque para objetos orientados verticalmente na imagem. Como o gráfico de linha exibe apenas um valor para cada ponto horizontal, poderia obscurecer diferentes níveis de enfoque orientados verticalmente com respeito àquele ponto.

A Figura 2 mostra uma tela de gráfico de linha vertical 400.

Ela exibe informações de nível de enfoque mais precisas para objetos verticalmente orientados, mas poderia obscurecer níveis de enfoque diferentes para objetos horizontalmente orientados. Outra tela poderia combinar gráficos de linha horizontal vertical. Essa tela supera algu15 mas das desvantagens dos gráficos, quer apenas horizontais, quer verticais. Mas, dependendo de como os dados são apresentados, podem exigir que o usuário olhe em duas posições diferentes para obter informações de nível de enfoque para o que pode ser uma imagem passageira.

A Figura 3 mostra outro gráfico de linha horizontal. Contudo, este gráfico de linha horizontal compreende várias linhas. Cada linha representa informações de nível de enfoque para uma área diferente da imagem 302. Por exemplo, uma ou mais linhas 3001 representam informações de nível de enfoque para o topo da imagem 302.

Uma ou mais linhas 3002 representam informações de nível de enfoque para o meio da imagem 302. Uma ou mais linhas 3003 representam informações de nível de enfoque para a parte inferior da imagem 302. No caso em que o nível de enfoque é bem parecido ao nível superior, ao meio e à parte inferior da imagem, as linhas começam a sobrepor-se e intensificam-se.

9/19

Outras modalidades não usam uma tela de gráfico. Por exemplo, a Figura 4 mostra uma grade 712 sobreposta à imagem 302. A grade 712 propriamente não precisa ser visível para o usuário. Mas, as regiões da grade 714 indicam cada uma um nível de enfoque. Um método de indicar o nível de enfoque é um matiz de cor na região 714. Então, uma região muito bem enfocada 714 podería ter uma primeira cor como um matiz vermelho. Uma região muito mal enfocada 714 podería ter uma segunda cor como um matiz violeta. As regiões 714 com níveis de enfoque nem muito bem nem muito mal enfocados podem transportar um matiz ao longo do espectro de cor, que corresponda aos níveis de enfoque respectivos.

Outro método de indicar o nível de enfoque dentro de uma região de grade 714 é variar o nível de brilho de cada região 714. Uma região muito bem enfocada 714 podería ter um primeiro brilho relativamente alto. Uma região muito mal enfocada 714 podería ter um segundo brilho relativamente baixo (escuro). As regiões 714 com níveis de enfoque intermediários podem portar um nível de brilho correspondendo aos níveis de enfoque respectivos.

Outras modalidades de tela destacam os objetos eles mesmos em vez de usarem grades ou gráficos para exibir dados de nível de enfoque para uma área geral. Na Figura 5, o objeto mais enfocado 306 tem um destaque brilhante 818 que rastreia a extremidade do objeto. Os objetos menos enfocados 310 têm um destque muito escuro 822. O brilho do destaque varia com o nível de enfoque do objeto.

De modo alternativo, a tela podería desenhar um matiz de cor em torno das extremidades de objetos para indicar os níveis de enfoque respectivos. Por exemplo, objetos que são enfocados muito bem 306 teriam uma primeira cor como um matiz vermelho na sua extremidade. Os objetos muito mal enfocados 310 têm uma segunda cor como um matiz violeta na sua extremidade. Os objetos que não são

10/19 nem muito bem nem muito mal enfocados portariam um matiz junto à sua extremidade correspondendo aos níveis de enfoque respectivos.

Em lugar de meramente destacar ao redor de cada objeto, uma modalidade eleva o relevo de um objeto inteiro, quando estiver em enfoque. Os objetos que estão fora de foco 310 aparecem planos ou num relevo negativo. Os objetos enfocados 306 elevam-se a partir da imagem, enquanto os objetos não enfocados 310 retrocedem. O relevo de cada objeto corresponde ao seu nível de enfoque. Esta implementação tem a vantagem de que o usuário pode concentrar-se nos objetos no visor para respigar os dados de nível de enfoque. Como esta modalidade é altamente intuitiva, o usuário não precisa interpretar muitos dados de tela para determinar os níveis de enfoque relativos de objetos na tela.

A Figura 6 mostra uma modalidade da arquitetura de uma câmara. A câmara coleta dados visuais 924 a partir da lente da câmara 926. A câmara registra os dados visuais 924 e exibe uma representação dos dados visuais 924 no visor 930. A câmara envia também os dados visuais 924 para um processador 928. O processador usa um algoritmo para computar dados de nível de enfoque 932 para os dados visuais 924. O processador envia aqueles dados de nível de enfoque 932 para o visor, onde o usuário 934 os vê sobrepostos aos dados visuais 924. O visor 930 mostra os dados de nível de enfoque 932 do processador 928 e os dados visuais 924 da lente 926 ao mesmo tempo.

Numa modalidade alternativa (não mostrada), numa câmara de autofoco, o processador que aceita os dados visuais e computa os dados de nível de enfoque também é o processador que computa os dados de nível de enfoque para o sistema de autofoco. Um sistema de autofoco gera automaticamente dados de nível de enfoque para determinar o ajuste do nível de enfoque adequado. Nesta modalidade, aqueles dados são reutilizados. Não apenas a câmara usa os dados de nível de enfoque para alcançar um ajuste de enfoque favorável, mas os

11/19 dados também são enviados para o usuário através do visor. O usuário pode, então, confirmar que o sistema de autofoco identificou e configurou o nível de enfoque para o objeto ou objetos em que o usuário está interessado.

O processador usa um algoritmo para calcular os dados de nível de enfoque exibido para o usuário.

Numa modalidade, o processador desfoca os dados de imagem para criar uma imagem de comparação. Por exemplo, o processador poderia usar uma aproximação Gaussiana ou de desenfoque de caixa rápido ou convolar a imagem. A imagem desfocada difere da imagem original principalmente nas extremidades de objetos enfocados 306. Com objetos enfocados 306, o processo de desenfoque lava o contraste aguçado entre a extremidade do objeto 306 e as suas cercanias. O processo de desenfoque cria menos mudança nas extremidades de objetos não focados 310. O contraste suave entre um objeto não focado 310 e as suas cercanias permanece um contraste suave na imagem de comparação desfocada. Como as extremidades são tipicamente compostas dos píxeis que mudam mais durante o processo de desfocagem, é possível encontrar as extremidades de objetos enfocados.

Vários algoritmos alternativos existem para detectar se ou não uma imagem está focada. Muitos destes são algoritmos de “detecção de extremidade”. Os exemplos de algoritmos de detecção de extremidade podem ser encontrados em Fundamentais of Digital Image Processing por Anil K. Jain, cuja totalidade do mesmo é aqui incorpora25 da por referência.

Um algoritmo usa operadores de gradiente para detectar as extremidades. Os operadores de gradiente são máscaras ou matrizes simples, usadas para gerar um mapa de gradientes. Os operadores de gradientes, quando convolados com píxeis numa imagem, produzem um

12/19 mapa de gradientes em duas direções ortogonais. De modo semelhante, os operadores de compasso produzem um mapa de gradientes num número selecionado de direções que correspondem a direções de compasso. Uma vez que o gradiente tenha sido calculado, uma extre5 midade é identificada buscando por aqueles pontos em que o gradiente excede um limite. O nível de enfoque corresponde, geralmente, à severidade do gradiente.

Outros algoritmos de detecção de extremidade aplicam um derivado de segunda ordem para a imagem. O derivado detecta taxas de mudança na intensidade de pixel através da imagem. De novo, o algoritmo normalmente convolve a imagem com um operador. As extremidades são identificadas por posições em que o gradiente excede algum limite ou, mais comumente, buscando os pontos em que a segunda forma de onda da segunda derivada cruza o zero. Embora os cruzamentos com o zero sejam úteis para detectar as extremidades, eles apenas retornam a um valor binário e, portanto, não transferem dados de nível de enfoque precisos. Aqui de novo, o nível de enfoque geralmente corresponde à severidade do gradiente nas extremidades dos objetos.

O gradiente mede as mudanças na intensidade de píxeis adjacentes. A intensidade pode ser medida de acordo com um ou mais dentre vários elementos diferentes de cada pixel. A intensidade pode referir-se ao conteúdo vermelho, verde ou azul de um pixel ou qualquer combinação dos mesmos. Em sistemas de YCbCr, pode-se referir ao componente luma ou croma de cada pixel ou uma combinação dos mesmos. Em sistemas de HSV, pode se referir ao tom, à saturação ou aos componentes de brilho do pixel ou qualquer combinação dos mesmos. Dependendo do espaço de cor de processamento e dos sistemas de exibição, o processador pode usar quaisquer componentes do valor dos píxeis que obtêm o mapa de gradiente favorável ou dados de nível de enfoque favoráveis.

13/19

Uma maneira de usar um algoritmo de detecção de extremidade para derivar dados de nível de enfoque para uma imagem inteira - em lugar de apenas as suas extremidades - é usar a extração de limites. Conectando as extremidades, os limites definem a forma de um objeto. Supondo que um objeto inteiro está em enfoque se suas extremidades estiverem focadas, a câmara pode usar a detecção de limites para determinar a forma do objeto e imputar o nível de enfoque na extremidade do objeto para o resto da forma.

Um algoritmo seguinte de contorno é um algoritmo de 10 extração de limites que usa uma série de etapas horizontais ou verticais escolhidas por tentativa e erro. A etapa correta é determinada por a etapa chegar dentro ou fora de um limite.

Outro algoritmo de extração de limites usa o princípio da ciência da computação da programação dinâmica. Com a programação dinâmica, a solução para um grande problema é uma função das soluções para os seus subproblemas. No contexto da extração de limites, isso significa que subtrajetos ótimos conduzirão para o limite ótimo.

O algoritmo de detecção de nível de enfoque mede o nível de enfoque para uma seleção de píxeis. O número e a localização dos píxeis para que o algoritmo calcula os dados de nível de enfoque são uma função da velocidade de computação, do detalhe de dados de nível de enfoque e do tipo de dados de enfoque pretendidos serem exibidos ao usuário.

Numa modalidade, o algoritmo de nível de enfoque calcula os dados de nível de enfoque para uma ou mais “linhas de varredura”. O exemplo mais simples da modalidade da linha de varredura está representado na Figura 7. Naquela Figura, uma linha de varredura única 1144 estende-se horizontalmente através da imagem 302. A

14/19 linha de varredura 1144 não precisa estar verticalmente centralizada. O usuário pode ajustar a posição da linha de varredura 1144. O algoritmo de nível de enfoque calcula um valor de nível de enfoque para cada pixel ao longo da linha de varredura 1144 e exibe-o como um ponto ao longo do gráfico de linha 300. Noutra modalidade, para economizar o tempo de processamento, o algoritmo de nível de enfoque poderia medir não mais do que cerca de 50% ou não mais do que aproximadamente 25% dos píxeis, tal como medindo apenas um pixel sim um pixel não ou apenas um de cada vários píxeis na linha de varredura 1144. O gráfico de linha 300 mostra como a tela de nível de enfoque corresponde ao nível de enfoque medido em cada pixel ao longo da linha de varredura 1144.

Na Figura 8, a linha de varredura 1144 e a técnica de exibição são idênticas àquela da Figura 11. Mas, em vez de uma forma de onda suave, o gráfico de linha 300 tem picos. Esta forma de onda eriçada representa os dados produzidos por um algoritmo de detecção de extremidade. Os dados de nível de enfoque são mais precisos nas extremidades de objetos. Nas extremidades de barras que são enfocadas 306, o gráfico 300 mostra um valor alto. Igualmente, nas extremi20 dades de barras que não são enfocadas 310, o gráfico 300 mostra valores baixos. Mas, o gráfico 300 não mostra valores altos ou baixos para as partes medianas de objetos. Nas partes medianas de objetos, a correspondência entre o contraste elevado - sobre que os algoritmos de detecção aguçados confiam - e o enfoque alto é menos confiável. Isto é porque as partes medianas de objetos têm menor probabilidade de terem valores de contraste elevados, estejam em enfoque ou não.

A linha de varredura 1344 poderia estar verticalmente orientada, como na Figura 9, em lugar de horizontalmente orientada. Uma linha de varredura vertical 1344 dá dados de nível de enfoque melhores para uma série de objetos orientados verticalmente no visor. Como o mapa horizontal para uma linha de varredura horizontal, um

15/19 mapa vertical 400 exibe dados de nível de enfoque para uma linha de varredura vertical. Outra modalidade, mais detalhada, representada na Figura 10, empregos tanto linhas de varredura verticais 1344 como horizontal 1144 e tanto gráficos verticais 400 como horizontais 300.

A linha de varredura não precisa correr com precisa correr com precisão horizontalmente (ou verticalmente) através da imagem. A linha de varredura 1144 poderia correr em declive, como na Figura 11.

Na Figura 12, a tela consiste novamente num gráfico de linha única 300. E o algoritmo novamente usa linhas de varredura para identificar os píxeis para os quais calculará dados de nível de enfoque. Mas, em vez de usar apenas uma linha de varredura única, o algoritmo calcula as médias de dados a partir das linhas de varredura múltiplas 1144, tais como pelo menos duas, em algumas modalidades pelo menos cinco e, em outras modalidades, pelo menos 10 linhas de varredura. Dependendo da localização das linhas de varredura e de objetos na imagem, esta técnica pode melhorar a precisão da exibição do nível de enfoque. Quanto mais linhas de varredura 1144 o processador empregar, tantos mais dados de nível de enfoque coleta e mais precisos serão. Mas, quanto mais linhas de varredura 1144 o proces20 sador emprega, tanto mais computações deve executar e mais lentamente gerará dados de nível de enfoque. Novamente, a câmara poderia usar linhas de varredura vertical 1344 em vez ou junto com as linhas de varredura horizontal 1144 para esta ou qualquer técnica de linha de varredura.

A Figura 13 mostra ainda outra modalidade baseada na linha de varredura. Contudo, nesta modalidade, a linha de varredura 1144 é de largura maior do que um pixel. A largura da linha de varredura 1746 pode ser configurada para tantos ou tão poucos píxeis quanto desejado. De fato, isto é uma variação na modalidade da linha de varredura múltipla representada na Figura 12. Uma linha de

16/19 varredura 1144 de vários píxeis de largura 1746 é o mesmo que aquele mesmo número de linhas de varredura adjacentes, cada uma de um pixel de largura. Por exemplo, o nível de enfoque médio de uma linha de varredura 1144 de cinco píxeis de largura 1746 é idêntico ao nível de enfoque médio de 5 linhas de varredura 1144, cada uma adjacente à próxima. Para limitar o consumo de energia ou diminuir o tempo computacional, o processador poderia calcular dados de nível de enfoque apenas para cada outra linha de varredura adjacente 1144 ou uma dentre várias de todas as linhas de varredura adjacentes 1144.

O processador não precisa gerar um nível de enfoque médio para as linhas de varredura múltipla. A Figura 14 mostra uma tela de gráfico com uma linha de gráfico 3001-03 correspondente a cada linha de varredura 1144. Alternativamente, cada linha de gráfico poderia transferir dados médios do nível de enfoque das linhas de varredura múltipla como uma ajuda para o usuário.

Além disso, o processador 928 poderia aplicar um algoritmo de filtração secundário aos dados de nível de enfoque a partir de uma ou mais linhas de varredura. Por exemplo, o processador 928 poderia aplicar um algoritmo que zerasse todos os valores de nível de enfoque abaixo de certo limite. Esse algoritmo poderia ser usado para eliminar o ruído a partir da tela, para evitar distrair o usuário. O limite pode ou não ser configurado no mesmo ponto em que o eixo dos xx da linha de base 312 na tela, dependendo da altura desejada do gráfico da linha 300 na tela. Na realidade, a câmara poderia permitir que o usuário configurasse o limite. Como a linha de base 312 do eixo dos xx, este limite algorítmico poderia ser configurado de acordo com um valor absoluto relacionado ao declive do gradiente, conforme calculado por um algoritmo de detecção de extremidade. Ou poderia ser uma função do nível médio de enfoque da imagem. Por exemplo, o algoritmo poderia eliminar valores de nível de enfoque para objetos que têm menos do que um limite tal como mais ou menos 150% do nível de enfoque médio da

17/19 imagem. Um algoritmo secundário poderia também ser usado para suavizar os dados de nível de enfoque, novamente para apresentar uma forma de onda simplificada, facilmente vista pelo usuário. Esta técnica poderia ser útil com algoritmos de detecção de extremidade, que tendem a produzir picos.

Em resumo, as modalidades da linha de varredura não são limitadas por nenhumas linhas de varredura ou escolha particular de píxeis dentro daquelas linhas de varredura. Em vez disso, as linhas de varredura poderíam ser implementadas em qualquer permutação que satisfizesse um equilíbrio desejado entre a velocidade computacional, os detalhe das informações e o método de exibição para o usuário.

As linhas de varredura são meramente um método de aplicação de um algoritmo de detecção de nível de enfoque. O algoritmo poderia computar informações de nível de enfoque para a imagem inteira ou para algum subconjunto alternativo daquela imagem. Aquele subconjunto alternativo pode ser uma área geométrica. A área geométrica poderia ser definida pelo usuário ou poderia ser configurada por um algoritmo, por exemplo, para localizar um objeto em deslocamento no visor. O subconjunto alternativo poderia também ser um padrão de píxeis, projetados como uma amostragem representativa da imagem, mas, num nível mais baixo de detalhe e, portanto, exigindo menos computações.

A fim de enfocar os dados do nível de enfoque no padrão de uma grade, o algoritmo deve calcular os dados de nível de enfoque para pelo menos uma parte de cada região dentro da grade. O algoritmo deve calcular dados de nível de enfoque apenas para um pixel dentro de cada região. O algoritmo poderia calcular dados de nível de enfoque para a região inteira e calcular a média dos dados para exibir uma indicaçãop do nível de enfoque.

18/19

Se o algoritmo calcular dados suficientes do nível de enfoque - pelo menos suficientes para uma amostragem representativa da imagem - é possível exibir para o usuário informações de nível de enfoque baseadas em extremidades sobrepostas na imagem. Como um algoritmo de detecção de extremidades retorna dados que correspondem às extremidades de cada objeto, a tela poderia usar esses dados para destacar as extremidades de objetos no visor em tempo real. Isto poderia ser feito variando o brilho das extremidades de objetos ou desenhando uma cor ao redor de objetos, cuja tonalidade ou largura ₁₀ corresponderíam ao grau de enfoque.

Os algoritmos que geram dados de níveis de enfoque confiáveis para objetos inteiros ativam outras técnicas de exibição. Uma exibição varia o relevo de um objeto de acordo com o seu nível de enfoque. Então, no foco, os objetos inchariam para fora da imagem e ₁₅ tornar-se-iam mais proeminentes do que objetos não focados. De modo semelhante, outra tela torna os objetos em três dimensões, quando eles estão focados. Quanto mais fora de foco o objeto estiver, mais nivelado ele se torna na tela.

Deve ficar entendido que as modalidades aqui descritas podem ser implementadas segundo uma variedade de modos. Outras modalidades que são evidentes para aquelas pessoas de capacidade ordinária na técnica, incluindo modalidades que não proporcionem todos os benefícios e características aqui descritos, também estão dentro do escopo desta invenção. Por exemplo, a câmara poderia interfacear com um dispositivo de processamento de imagens fisicamente separado, tal como um computador, ou as capacidades de processamento de imagens poderiam ser implementadas dentro da câmara. Além disso, podem ser implementados algoritmos numa variedade de modos, como em hardware, software ou uma combinação de hardware e ₃₀ software. Embora algumas das modalidades aqui descritas proporcio19/19 nem detalhes específicos para implementação, pretende-se que o escopo da revelação seja amplo e não limitado às modalidades específicas descritas. Conseqüentemente, detalhes descritos no Relatório Descritivo não devem ser interpretados como limitações da invenção reivindicada. Ao contrário, o escopo das Reivindicações deve ser averiguado a partir da linguagem das Reivindicações.

1/5

Claims

REIVINDICAÇÕES

1 - Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, caracterizado por que compreende:

uma lente (926) tendo comprimento de foco variável, produzindo a referida uma imagem de dados visuais a partir da luz que entra na lente;

um ajuste de enfoque que ajusta o comprimento focal da lente;

um sensor ótico que converte uma imagem de dados visuais a partir da lente num conjunto ordenado de píxeis, bidimensional, digitais, sendo o conjunto ordenado de píxeis disposto em filas e colunas;

um processador (928) configurado para determinar dados (932) do nível de enfoque para uma pluralidade de píxeis na matriz de pixels; e uma tela (930), controlado pelo processador, em que a tela mostra a imagem visual de dados da lente caracterizada por que o processador é configurado para determinar um grau de foco respectivo de cada uma de uma pluralidade de regiões de imagem, cada região de imagem correspondendo a um objeto na referida imagem de dados visuais, calculando dados de nível de foco para pelo menos um pixel dentro de cada região de imagem, e em que o processador é configurado de tal forma que o visor mostra pelo menos uma forma de onda (300,400), atualizada ao mesmo tempo com a imagem, em que pontos na forma de onda fornecem uma correlação gráfica daquela determinada pelos dados de nível de enfoque para pelo menos um pixel correspondente, associando visualmente à tela, cada região de imagem

Petição 870180037057, de 04/05/2018, pág. 7/83
2/5 (306,310,714) de uma pluralidade de regiões de imagem com uma indicação visual (304,308,818,822) do grau de enfoque das regiões de imagem proporcionadas pela referida, pelo menos, uma forma de onda (300,400).

2 - Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, de acordo com a Reivindicação 1, caracterizado por que o equipamento é incorporado numa câmara de imagens em movimento.
3 - Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, de acordo com a Reivindicação 1, caracterizado por que pelo menos uma forma de onda tem cor variável de um ponto na forma de onda, com as variações de cor sendo indicativas de dados de nível de enfoque para pelo menos um pixel correspondente na matriz de pixels.
4 - Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, de acordo com a Reivindicação 1, caracterizado por que pelo menos uma forma de onda tem intensidade variável de um ponto na forma de onda, com as variações de intensidade sendo indicativasde dados de nível de enfoque para pelo menos um pixel correspondente na matriz de pixels.
5- Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, de acordo com a Reivindicação 1, caracterizado por que pelo menos uma forma de onda tem densidade variável, com as variações de densidade sendo indicativas de dados de nível de enfoque para pelo menos um pixel correspondente na matriz de pixels.
6 - Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, de acordo com a Reivindicação 1, caracterizado por que pelo menos uma forma de onda tem amplitude variável de um ponto na forma de onda, com variações de amplitude sendo indicativas de dados de nível de enfoque para pelo menos um pixel correspondente na matriz de pixels.

Petição 870180037057, de 04/05/2018, pág. 8/83

3/5
7 - Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, de acordo com a Reivindicação 1, caracterizado por que é usado um algoritmo de detecção de extremidade para determinar dados de nível de enfoque.
8 - Equipamento de Ajuda Para Ajuste de Enfoque de Imagem, de acordo com a Reivindicação 1, caracterizado por que os dados de nível de enfoque são determinados comparando pelo menos uma parte do conjunto ordenado digital de píxeis com uma versão desfocada da mesma parte do conjunto ordenado.
9 - Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, compreendendo as etapas de:

detectar uma imagem usando um conjunto ordenado bidimensional de sensores óticos;

converter os sinais de imagem detectados numa estrutura de dados que representa a imagem detectada como um conjunto ordenado bidimensional de valores de píxel, em que os valores de píxel são representativos de uma quantidade de luz detectada pelos sensores óticos caracterizado por que compreende as etapas de:

utilizar um algoritmo programado para determinar um respectivo grau de enfoque de cada uma de uma pluralidade de regiões de imagem, calculando dados de nível de enfoque para pelo menos um pixel dentro de cada região de imagem; e associar visualmente à uma tela, cada região de imagem (306,310,714) da pluralidade de regiões de imagem com uma indicação visual (304,308,818,822) do grau de enfoque daquela região de imagem, na forma de pelo menos uma forma de onda.

Petição 870180037057, de 04/05/2018, pág. 9/83

4/5
10 - Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, de acordo com a Reivindicação 9, caracterizado por que a etapa de usar um algoritmo programado para determinar um grau de enfoque de uma pluralidade de regiões compreende as etapas de:

gerar uma imagem desfocada combinando um valor de píxel selecionado com uma pluralidade de valores de píxel das imediações do valor de píxel selecionado; e comparar o valor de píxel selecionado com um valor de píxel de imagem desfocada correspondente para determinar um grau de enfoque.
11 - Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, de acordo com a Reivindicação 9, caracterizado por que pelo menos uma das formas de onda tem intensidade variável.
12 - Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, de acordo com a Reivindicação 9, caracterizado por que pelo menos uma forma de onda é sobreposta a uma imagem.
13. Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, de acordo com a Reivindicação 9, caracterizado por que o grau de enfoque de uma região é indicado pela variação de relevo daquela região.
14. Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, de acordo com a Reivindicação 9, caracterizado por que cada região compreende pelo menos um pixel.

Petição 870180037057, de 04/05/2018, pág. 10/83

5/5
15. Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, de acordo com a Reivindicação 9, caracterizado por que cada região compreende pelo menos uma linha.
16. Método de Provimento de Feedback para Permitir o Enfoque de Imagem em Tempo Real, de acordo com a Reivindicação 9, caracterizado por que um ponto na forma de onda corresponde a uma média de grau de enfoque para uma pluralidade de pixels alinhados verticalmente.

Petição 870180037057, de 04/05/2018, pág. 11/83

1/14

30?

300 (

3/2