BR112016001479B1

BR112016001479B1 - Aparelho de processamento de imagem e método para codificar um descritor de imagem com base em um histograma de gradiente

Info

Publication number: BR112016001479B1
Application number: BR112016001479-0A
Authority: BR
Inventors: Stavros Paschalakis
Original assignee: New Luck Global Limited
Priority date: 2013-07-24
Filing date: 2014-07-16
Publication date: 2022-07-19
Also published as: RU2698765C2; DK3025274T3; CN105493106A; CN110365979A; RU2678668C2; BR112016001479A2; ES2776196T3; JP6745939B2; JP6514200B2; EP3025274B1; US9779320B2; PT3025274T; TWI576770B; RU2019125322A; ITTO20130629A1; EP3025274A1; RU2019101654A; RU2016105699A; EP3633547A1; US20160162749A1

Abstract

APARELHO DE PROCESSAMENTO DE IMAGEM E MÉTODO PARA CODIFICAR UM DESCRITOR DE IMAGEM COM BASE EM UM HISTOGRAMA DE GRADIENTE. Trata-se de um método para codificar um descritor de imagem (H) com base nos histogramas de gradiente (hp) para um descritor transformado (V) que compreende subdescritores transformados (vp), em que cada histograma de gradiente (hp) compreende uma pluralidade de bins de histograma (hi) e cada subdescritor (vp) compreende um conjunto de valores (vj), caracterizado pelo fato de que os ditos subdescritores (vp) são gerados de acordo com uma lista de ordem de utilização de elemento que especifica um índice de subdescritor (p) do dito conjunto de subdescritores (vp) e um índice de elemento (j) do dito conjunto de valores (vj).

Description

DESCRIÇÃO

[001] A presente invenção refere-se a um método para efetivamente codificar, transcodificar, decodificar e processar descritores de imagem computados em regiões locais ao redor de pontos-chave de interesse de imagem e a um dispositivo de processamento de imagem que compreende meios para codificar, transcodificar, decodificar e processar tais descritores.

[002] Tais descritores de imagem encontraram ampla aplicabilidade em muitas aplicações visuais de computador, que incluem reconhecimento de objeto, recuperação de imagem baseada em conteúdo e registro de imagem, para citar alguns.

[003] As abordagens existentes para a codificação de tais descritores exibem determinadas desvantagens.

[004] Por exemplo, as abordagens de codificação existentes resultam em descritores que exigem a análise de todos os descritores para realizar a transcodificação, por meio da qual um descritor de um dado comprimento de descritor é convertido em um descritor de um comprimento de descritor diferente ou, para realizar decodificação e comparação de descritores de comprimentos diferentes.

[005] Como outro exemplo, as abordagens de codificação existentes são ineficientes em termos de complexidade de codificação devido ao fato de que as mesmas ignoram as associações e redundâncias nas operações que necessárias para produzir descritores de imagem de comprimento variável.

[006] O pedido de patente italiana ainda não publicado n° TO2012A000602 depositado pelo próprio Depositante descreve a codificação de descritores de imagem locais, por meio dos quais os descritores de imagem sólidos, discriminativos, escalonáveis e compactos são computados a partir dos descritores de imagem que empregam histogramas de gradientes baseados na transformação dos ditos histogramas de gradientes, em que a dita transformação captura as informações notáveis e sólidas contidas na mesma na forma do formato das distribuições e na relação entre seus valores de bin.

[007] No dito pedido de patente italiana ainda não publicado, métodos de codificação dos ditos descritores são revelados, os quais são mais eficientes do que os métodos da técnica anterior em termos de produzir facilmente fluxos de bit escalonáveis.

[008] Tais descritores são revelados no pedido de patente italiana ainda não publicado n° TO2012A000602, que revela a computação de descritores de imagem sólidos, discriminativos, escalonáveis e compactos a partir de descritores de imagem que empregam histogramas de gradientes com base na transformação dos ditos histogramas de gradientes, em que a dita transformação captura as informações notáveis e sólidas contidas na forma do formato das distribuições e da relação dentre seus valores de bin.

[009] Os aspectos importantes da computação de descritores de imagem sólidos, discriminativos, escalonáveis e compactos a partir de descritores de imagem que empregam histogramas de gradientes, em particular, um descritor de imagem SIFT, de acordo com o pedido de patente italiana ainda não publicado n° TO2012A000602, são descritos no presente documento abaixo.

[010] Brevemente, com o método SIFT, os descritores de imagem locais são formados conforme segue: primeiro, uma pesquisa através de diversas escalas e locais de imagens é realizada para identificar e localizar os pontos-chave de imagem estáveis que são invariantes para a escala e a orientação; então, para cada ponto- chave, uma ou mais orientações dominantes são determinadas com base em gradientes de imagem locais, o que permite que a computação de descritor local subsequente seja realizada em relação a orientação, escala e local atribuídos de cada ponto-chave, alcançando, assim, a invariância dessas transformações. Então, os descritores de imagem locais ao redor dos pontos-chave são formados conforme segue: primeiro, as informações de grandeza e orientação de gradiente são calculadas em pontos de amostra de imagem em uma região ao redor do ponto- chave; então, essas amostras são acumuladas em histogramas de orientação que resumem os conteúdos sobre sub-regiões nxn.

[011] Por meio de ilustração apenas, um exemplo de um descritor de ponto- chave SIFT é mostrado nas Figuras 1a e 1b, em que a Figura 1a mostra uma subdivisão de uma região local R em sub-regiões SR 4x4 e a Figura 1b mostra uma subdivisão da faixa de orientações de 360° em oito bins para cada histograma de orientação, com o comprimento de cada seta correspondendo à grandeza dessa entrada de histograma. Assim, um descritor de imagem local conforme ilustrado na Figura 1 tem 4x4x8 = 128 elementos. Mais detalhes da técnica SIFT podem ser encontrados no documento David G. Lowe, "Distinctive image features from scaleinvariant keypoints", International Journal of Computer Vision, 60, 2 (2004), páginas 91 a 110.

[012] De acordo com o pedido de patente italiana ainda não publicado n° TO2012A000602, um descritor de imagem sólido, discriminativo, escalonável e compacto pode ser calculado a partir de um descritor SIFT conforme segue.

[013] Na descrição a seguir, H em um descritor SIFT integral que compreende 16 histogramas de gradientes h, cada um com oito bins h, enquanto V é um descritor local integral de acordo a presente invenção que compreende 16 subdescritores v, cada um com oito elementos v.

[014] Deixa-se H denotar um descritor de imagem local SIFT que compreende 16 histogramas de gradientes ho - h15, conforme mostrado na Figura 2a, sendo que cada histograma compreende oito valores de bin ho - h7, conforme mostrado na Figura 2b. Um descritor de imagem mais sólido, discriminativo, escalonável e compacto pode ser computado transformando-se cada um dentre h0 a h15 de H e, então, realizando-se a quantização escalar nos valores transformados resultantes. Mais especificamente, cada um dentre h0 a h15 é transformado de acordo com a Transformada A ou Transformada B, conforme mostrado abaixo, de acordo com as informação de utilização de transformada da Figura 3, isto é, a Transformada A é aplicada a h0, h2, h5, h7, h8, h10, h13, h15, e a Transformada B é aplicada a h1, h3, h4, h6, h9, h11, h12, h14, dotando o descritor transformado V de subdescritores v0 a v15, o que corresponde a h0 a h15 respectivamente, e sendo que cada um compreende elementos v0 a v7, dando um total de 128 elementos.

[015] Então, cada elemento é submetido à quantização escalar grosseira, por exemplo, quantização ternária (3 níveis), com os limites de quantização selecionados de modo a alcançar uma distribuição de probabilidade de ocorrência específico dentre os bins de quantização para cada elemento. Essa quantização escalar produz o descritor quantizado V,~ com subdescritores v,~o - v,~is, cada um compreendendo elementos v,"0-v~7, novamente com um total de 128 elementos. Esse descritor compacto captura as informações mais discriminativas e sólidas contidas nos histogramas de gradientes originais, na forma do formato das distribuições e da relação dentre seus valores de bin.

[016] Uma vantagem chave de descritor V~, assim como sua versão quantizada V, é que é altamente escalonável, e sua dimensionalidade pode ser facilmente reduzida, se necessário, por exigências de armazenamento da aplicação ou características do canal de transmissão eliminando-se simplesmente um ou mais de seus elementos. Por questão de simplicidade, na descrição que segue serão descritos aspectos importantes da invenção em termos da codificação do descritor pré-quantizado V com subdescritores v0 a v15, cada um compreendendo elementos v0a v7 e, a menos que seja estabelecido de outro modo, deve-se compreender que a codificação do descritor quantizado V prossegue de uma maneira semelhante.

[017] As Figuras 4a a 4e mostram conjuntos exemplificativos de elementos, os quais se constatou que produzem excelentes potência discriminativa e solidez para cinco comprimentos de descritor alvo, a partir de comprimento de descritor 0 (DLO), sendo que o mais curto comprimento de descritor utiliza apenas 20 elementos de descritor, para o comprimento de descritor 4 (DL4), sendo que o mais longo comprimento de descritor utiliza todos os 128 elementos. Mais especificamente, a Figura 4a mostra um conjunto exemplificativo de elementos para o comprimento de descritor DLO que compreende 20 elementos, a Figura 4b mostra um conjunto exemplificativo de elementos para o comprimento de descritor

[018] DL1 que compreende 40 elementos, a Figura 4c mostra um conjunto exemplificativo de elementos para o comprimento de descritor DL2 que compreende 64 elementos, a Figura 4d mostra um conjunto exemplificativo de elementos para o comprimento de descritor DL3 que compreende 80 elementos e a Figura 4e mostra um conjunto exemplificativo de elementos para o comprimento de descritor DL4 que compreende todos os 128 elementos. Assim, para cada comprimento de descritor, cada elemento de cada subdescritor será ou não codificado de acordo com os conjuntos de utilização de elemento da Figura 4a a 4e.

[019] A chave para essa propriedade de escalabilidade é que o conjunto de elementos utilizados para cada comprimento de descritor deve ser o mesmo ou um subconjunto do conjunto de elementos utilizado para todos os comprimentos maiores de descritor, conforme ilustrado nas Figuras 4a a 4e. Isso permite a transcodificação e a comparação de descritores de diferentes comprimentos através da simples eliminação dos elementos em excesso do descritor com o maior comprimento de descritor de modo que seja reduzido para o mesmo conjunto de elementos que o descritor com o menor comprimento de descritor.

[020] Um método de codificação direta desse descritor compreende calcular e codificar os elementos em uma ordem "por subdescritor", isto é, no caso geral como v0,0, v0,1, ..., v0,7, v1,0, v1,1, ..., v1,7, ..., v15,0, v15,1, ..., v15,7 em que vi,j denota o elemento vij do subdescritor vi. Isso significa codificar elementos v0, v1, ..., v7 para o subdescritor transformado v0, então, codificar elementos v0, v1, ..., v7 para subdescritor transformado v1, etc., com o uso das transformadas adequadas, por exemplo, conforme ilustrado na Figura 3, e também com o uso de conjuntos de utilização de elemento adequados para o comprimento de descritor desejado, por exemplo, conforme ilustrado na Figura 4, para decidir quais elementos devem ser codificados.

[021] Essa codificação resulta, por exemplo, para um comprimento de descritor DL0, em um descritor v0,0, v1,0, v2,0, v3,0, v4,0, v5,0, v5,6, v6,0, v6,6, v7,0, v8,0, v9,0, v9,6, v10,0, v10,6, v11,0, v12,0, v13,0, v14,0, v15,0 e para um comprimento de descritor DL1 para um descritor v0,0, v0,1, v1,0, v1,1, v2,0, v2,1, v3,0, v3,1, v4,0, v4,1, v5,0, v5,1, v5,2, v5,6, v6,0, v6,1, v6,2, v6,6, v7,0, v7,1, v8,0, v8,1, v9,0, v9,1, v9,2, v9,6, v10,0, v10,1, v10,2, v10,6, v11,0, v11,1, v12,0, v12,1, v13,0, v13,1, v14,0, v14,1, v15,0, v15,1.

[022] A Figura 5 ilustra a operação de tal codificador direto como uma sequência de etapas. Na descrição a seguir, também nas descrições subsequentes de uma operação do codificador, a menos que seja especificado de outro modo, tal sequência de etapas corresponde a etapas que são conceituais e não correspondem ao hardware específico de implantações, componentes e instruções de software, mas são representativas da operação geral do codificador. Mais especificamente, a Figura 5 ilustra a operação de um codificador para um comprimento de descritor DLk c, por exemplo, que corresponde a um dos comprimentos de descritor ilustrados na Figura 4. Na etapa S100 da Figura 5, a codificação do descritor começa no primeiro subdescritor, isto é, v0. Na etapa S110, a transformada adequada é selecionada para o subdescritor que é processado, por exemplo, de acordo com a utilização de transformada da Figura 3. Deve-se notar que a computação do descritor V a partir do descritor H de acordo com duas transformadas diferentes conforme descrito no presente documento é só um exemplo. A computação de descritor V do descritor H também pode ser realizada de acordo com uma única transformada, por exemplo, apenas Transformada A ou apenas Transformada B, tornando a etapa S110 desnecessária, ou de acordo com mais de duas transformadas. Na etapa S120, a codificação do subdescritor que é processado começa no primeiro elemento de subdescritor, isto é, V0. Então, na etapa S130, o uso ou não do elemento específico do subdescritor específico, isto é, v0,0, é verificado contra as informações de utilização de elemento para o comprimento de descritor DL c, por exemplo, com o uso dos conjuntos de utilização da Figura 4. Se o elemento não estiver em uso, então, o processamento passa para a etapa S150. Se o elemento estiver em uso para o comprimento de descritor DLk, então, sua codificação ocorre na etapa S140. No presente documento, assim como nas descrições subsequentes de uma operação do codificador, a menos que seja especificado o contrário, a palavra "codificação" significa uma ou mais ações, ou combinação das mesmas, que tornam o elemento v0,0 parte do descritor de imagem local, sendo que as ditas ações incluem, a título de exemplo e sem limitação, o cálculo de acordo com a função de transformada adequada de (1) ou (2) vista anteriormente, a seleção do elemento para a inclusão no descritor de imagem local, no caso de todos os elementos serem pré-calculados sem conhecimento de quais elementos serão finalmente usados no descritor, a quantização do valor de elemento, o armazenamento do elemento em memória volátil ou não volátil e a transmissão do elemento ao longo de um canal de transmissão. Após a etapa S140, ou se fosse decidido que o elemento não está em uso para o comprimento de descritor DL/c na etapa S130, o processamento passa para a etapa S150. Na etapa S150, se o elemento atual não for o último elemento do subdescritor, o processamento passa para o próximo elemento do subdescritor, de outro modo, o processamento passa para a etapa S160. Na etapa S160, se o subdescritor atual não for o último subdescritor do descritor de imagem local, o processamento passa para o próximo subdescritor do descritor de imagem local, de outro modo, o processamento acaba. Assim, fica claro que as etapas S100, S120, S150 e S160 se referem à ordem na qual o processamento é realizado, enquanto as etapas S110, S130 e S140 se referem à codificação real do descritor de imagem local.

[023] Um outro método de codificação direta desse descritor compreende calcular e codificar os elementos em uma ordem "por elemento", isto é, no caso geral como v0,0, v1,0, ..., v15,0, v0,1, v1,1, ..., v15,1, ..., v0,7, v1,7, ..., v15,7, isto é, o elemento de codificação v0 para subdescritores v0, v1,..., v15, então, elemento de codificação v1 para subdescritores v0, v1,..., v15, etc., novamente com o uso das transformadas adequadas, por exemplo, conforme ilustrado na Figura 3, e também com o uso de conjuntos de utilização de elemento adequados para o comprimento de descritor desejado, por exemplo, conforme ilustrado na Figura 4, para decidir quais elementos devem ser codificados. Tal codificador pode operar de uma maneira análoga ao codificador da Figura 5, com a reordenação adequada das etapas. Em geral, nenhum dos dois mencionados anteriormente oferece uma vantagem sobre o outro método. Para fins de transcodificação, decodificação e processamento, o decodificador também deve conhecer o processo de codificação, e os conjuntos de ordenação e utilização de elemento devem ter a capacidade de processar e comparar os descritores, possivelmente, de comprimentos diferentes, para os fins das aplicações de visão de computador relacionadas. Assim, os conjuntos de utilização de elemento devem ser permanentemente fixados ou armazenados/ transmitidos juntamente com os descritores. Nesse sentido, o processo de codificação direta é desvantajoso.

[024] Mais especificamente, tal codificação ignora a importância relativa entre diferentes elementos na ordem de codificação. Consequentemente, em termos de transcodificação, por meio da qual um descritor de um dado comprimento de descritor é convertido em um descritor de um comprimento diferente de descritor, ou em termos de decodificação e comparação de descritores de comprimentos diferentes comparando-se os elementos correspondentes entre os dois descritores, tal codificação necessita da análise dos descritores para alcançar o resultado desejado.

[025] Ademais, tal codificação ignora os padrões de redundância na importância relativa entre elementos diferentes e é desnecessariamente complexa em relação ao fato de decidir se os elementos específicos devem ser codificados ou não.

[026] É, portanto, um objetivo da presente invenção revelar um método para codificar um descritor de imagem com base em um histograma de gradiente, e aparelho de processamento de imagem relativo, que é mais eficiente em relação aos métodos da técnica anterior.

[027] É, portanto, um objetivo adicional da presente invenção revelar um método para codificar um descritor de imagem com base em um histograma de gradiente, e aparelho de processamento de imagem relativo, que é mais flexível.

[028] É, portanto, um objetivo adicional da presente invenção revelar um método para codificar um descritor de imagem com base em um histograma de gradiente, e aparelho de processamento de imagem relativo, o qual permite alcançar uma implantação de codificador otimizada.

[029] É, portanto, um objetivo adicional da presente invenção revelar um método para codificar um descritor de imagem com base em um histograma de gradiente, e aparelho de processamento de imagem relativo, o qual permite obter descritores de imagem de qualquer comprimento. Esses e outros objetivos da invenção são alcançados através de um método para codificar um descritor de imagem com base em um histograma de gradiente, e aparelho de processamento de imagem relativo, conforme reivindicado nas reivindicações em anexo, que são uma parte integral da presente descrição.

[030] Brevemente, revela-se um método para codificar eficientemente descritores de imagem como aqueles descritos acima codificando-se os mesmos de acordo com uma ordem de utilização de elemento, resultando em descritores escalonáveis que podem ser convertidos em comprimentos inferiores de descritor através do simples truncamento de descritor em vez da análise. A codificação é realizada de acordo com os grupos de subdescritores, formados de acordo com os padrões de redundância na importância relativa entre os elementos correspondentes dos ditos grupos de subdescritores.

[031] Mais especificamente, o dito agrupamento é realizado agrupando-se subdescritores cujos elementos correspondentes têm uma importância semelhante em uma ordenação de todos os elementos do descritor de acordo com sua importância relativa em termos de alcançar o alto desempenho de reconhecimento, mais especificamente, agrupando-se subdescritores de acordo com sua distância a partir do centro de descritor e, adicionalmente, agrupando-se os subdescritores de acordo com a distância entre os mesmos e/ou adicionalmente ordenando-se os subdescritores de um grupo de acordo com as características correspondentes de codificação e/ou, adicionalmente, ordenando-se os subdescritores de um grupo de acordo com a distância entre os mesmos.

[032] O método de codificação de acordo com a invenção é vantajosamente mais eficiente que aqueles da técnica anterior em termos de eficiência, de complexidade computacional e/ou da quantidade de informações necessárias para gerar fluxos de bit escalonáveis.

[033] Os recursos adicionais da invenção são estabelecidos nas reivindicações anexas, as quais são destinadas como uma parte integral da presente descrição.

[034] Os objetivos acima se tornarão evidentes a partir da descrição detalhada a seguir do método para codificar um descritor de imagem com base em um histograma de gradiente, e o aparelho de processamento de imagem relativo, com referência específica aos desenhos anexos, em que:

[035] - a Figura 1a e 1b mostram um exemplo de um descritor de ponto-chave da técnica anterior;

[036] - as Figuras 2a e 2b mostram histogramas de gradientes do descritor de ponto-chave da Figura 1 e valores de bin relacionados a um dos ditos histogramas de gradiente, respectivamente;

[037] - a Figura 3 mostra transformadas exemplificativas a serem aplicadas aos histogramas de gradientes da Figura 2;

[038] - as Figuras 4a a 4e mostram conjuntos exemplificativos de elementos para cinco respectivos comprimentos de descritor alvo;

[039] - a Figura 5 representa um fluxograma que ilustra a operação de um codificador com o uso dos conjuntos de elementos da Figura 4;

[040] - a Figura 6 mostra uma ordem de utilização de elemento usada por um método de acordo a presente invenção;

[041] - a Figura 7 ilustra a operação de um codificador com o uso da ordem de utilização de elemento da Figura 6;

[042] - a Figura 8 mostra os centros de uma região e de uma sub-região de um descritor de imagem local;

[043] - a Figura 9 mostra um primeiro agrupamento de subdescritores de um descritor de imagem local de acordo com uma primeira modalidade ou uma quarta modalidade de um método de acordo com a invenção;

[044] - as Figuras 12 e 14 mostram segundo e terceiro agrupamentos exemplificativos, respectivamente, de subdescritores de um descritor de imagem local de acordo com a primeira modalidade de um método de acordo com a invenção;

[045] - as Figuras 10, 13 e 15 mostram primeira, segunda e terceira ordens de utilização de elemento de grupo relacionadas aos agrupamentos das Figuras 9, 12, 14 e 17, respectivamente;

[046] - a Figura 11 ilustra a operação de um codificador de acordo com uma primeira, segunda ou quarta modalidade de um método de acordo com a invenção;

[047] - a Figura 16 mostra um quarto agrupamento exemplificativo de acordo com uma primeira modalidade de um método de acordo com a invenção;

[048] - a Figura 17 mostra um quinto agrupamento exemplificativo de subdescritores de um descritor de imagem local de acordo com a segunda e a terceira modalidade modalidades de um método de acordo com a invenção;

[049] - a Figura 18 ilustra a operação de um codificador com o uso da ordem de utilização de elemento da Figura 17, de acordo com a terceira modalidade de um método de acordo com a invenção;

[050] - a Figura 19 ilustra a operação de um codificador de acordo com uma quarta modalidade de um método de acordo com a invenção;

[051] - a Figura 20 mostra um agrupamento exemplificativo de subdescritores de um descritor de imagem local de acordo com a quinta modalidade de um método de acordo com a invenção;

[052] - as Figuras 21a a 21e mostram conjuntos exemplificativos de elementos de acordo com o agrupamento da Figura 20;

[053] - as Figuras 22a a 22e mostram os conjuntos de elementos das Figuras 21a a 21e, respectivamente, quando convertidos em conjuntos de utilização de elemento de grupo;

[054] - a Figura 23 ilustra a operação de um codificador para a codificação de um descritor para fornecer os conjuntos de elementos convertidos das Figuras 22a a 22e;

[055] - a Figura 24 ilustra um dispositivo de processamento de imagem adequado para realizar o método de acordo a presente invenção.

[056] De acordo com a invenção, em vez da codificação de acordo com conjuntos de utilização de elemento para comprimentos diferentes de descritor, um codificador mais eficiente pode operar de acordo com uma ordem de utilização de elemento, produzindo um descritor cujos elementos são ordenados de acordo com a ordem de utilização de elemento e que podem ser convertidos em comprimentos menores de descritor através do simples truncamento de descritor. Tal ordem de utilização de elemento pode tomar a forma de uma lista ordenada de 128 elementos, que pode ser codificada em 112 bytes, sendo que cada entrada de lista especifica um índice de subdescritor e um índice de elemento, conforme ilustrado na Figura 6. Então, por exemplo, a Figura 6 mostra uma lista de prioridade de elemento por meio da qual o elemento v5,0 recebe a mais alta prioridade, o elemento v9,0 recebe a segunda mais alta prioridade, etc. Portanto, tal codificador de ordem de utilização de elemento pode produzir um descritor de comprimento Z codificando-se os elementos Z superiores na lista.

[057] A Figura 7 ilustra a operação de tal codificador com o uso da ordem de utilização de elemento da Figura 6. Com o codificador da Figura 7, a codificação do descritor começa com o elemento com a prioridade superior (Prioridade 1) na ordem de utilização de elemento, isto é, o elemento v0 de subdescritor s. Na etapa S200, a transformada adequada é selecionada de acordo com o subdescritor ao qual esse elemento pertence, por exemplo, de acordo com a utilização de transformada da Figura 3. Deve-se notar que a computação do descritor V a partir do descritor H de acordo com duas transformadas diferentes, conforme descrito no presente documento, é só um exemplo. Em modalidades diferentes, a computação de descritor V do descritor H também pode ser realizada de acordo com uma única transformada, por exemplo, apenas Transformada A ou apenas Transformada B, tornando a etapa S200 desnecessária, ou de acordo com mais de duas transformadas. Então, a codificação do elemento, isto é, v5,0, ocorre na etapa S210. Então, na etapa S220, se um número desejado de elementos Z do descritor ainda não tiver sido codificado, o processamento passa para o elemento com a próxima mais alta prioridade na ordem de utilização de elemento, de outro modo, o processamento acaba. Assim, a etapa S220 se refere ao controle de quantos elementos codificar, enquanto as etapas S200 e S210 se referem à codificação real do descritor de imagem local. Assim, o codificador da Figura 7, com o uso de uma ordem de utilização de elemento conforme na Figura 6, produz descritores cujos elementos são ordenados de acordo com a ordem de utilização de elemento e que podem ser convertidos em comprimentos menores de descritor através do simples truncamento de descritor, isto é, eliminando os últimos elementos do descritor, e é mais flexível do que o codificador da Figura 5 que usa conjuntos de utilização de elemento como na Figura 4.

[058] O número de elementos Z no descritor pode ser armazenado/transmitido juntamente com o descritor, possivelmente, no nível da imagem. Para fins de transcodificação, decodificação e processamento, o decodificador também sabe que a ordenação de elemento tem capacidade de processamento para fins das aplicações de visão de computador relacionadas. Assim, as ordens de utilização de elemento devem ser permanentemente fixadas ou armazenadas/ transmitidas juntamente com os descritores.

[059] Na prática, no entanto, a eficiência do codificador da Figura 7 pode ser aprimorada. Isso é devido ao fato de a ordem de utilização de elemento ilustrada na Figura 6 conter uma quantidade significativa de redundância e não ser, até certo ponto, prática para a geração e o uso.

[060] A razão para isso é que o conjunto completo de 128 elementos de V não corresponde a um único descritor cujos elementos podem ser ordenados de acordo com uma única lista de prioridade, mas a 16 subdescritores de 8 elementos diferentes, cada subdescritor extraído de um histograma diferente de gradientes de acordo com uma transformada específica e para que os elementos correspondentes entre todos os subdescritores capturem a relação entre bins com a mesma separação angular.

[061] Assim, concluiu-se que, em termos de alcançar um alto desempenho de reconhecimento com um conjunto limitado de elementos, um descritor precisa atingir um equilíbrio entre uma distribuição de elemento uniforme, isto é, selecionar elemento(s) a partir de tantos subdescritores quanto possível, e a distância a partir do centro de descritor, isto é, dar a mais alta prioridade para os subdescritores que estão mais próximos do centro de descritor. Ao mesmo tempo, concluiu-se também que a importância de elementos correspondentes de diferentes subdescritores é aproximadamente a mesma quando a distância dos subdescritores até o centro de descritor for a mesma, enquanto a importância de elementos correspondentes dos diferentes subdescritores aumenta à medida que a distância dos subdescritores até o centro de descritor diminui.

[062] Nesse contexto, a distância de um subdescritor v até o centro de descritor se refere à distância entre o centro da sub-região que corresponde ao histograma de gradientes h que origina o subdescritor v e o centro da região que compreende as sub-regiões, conforme ilustrado na Figura 8. Embora seja possível se referir novamente às dimensões da região de imagem e às sub-regiões para computar as ditas distâncias, isso não é necessário, uma vez que só há interesse na comparação das ditas distâncias. Portanto, as ditas distâncias podem ser computadas supondo- se que cada lado de cada sub-região tenha, por exemplo, um comprimento unitário. Ademais, nessa descrição, as ditas distâncias são distâncias euclidianas, embora outras medidas de distância adequadas também possam ser usadas.

[063] Consequentemente, é observado que, para fins da codificação eficaz de um descritor de imagem, seus subdescritores podem ser agrupados de modo que os elementos correspondentes de descritor para os subdescritores de cada grupo sejam atribuídos com uma importância comum na ordem de utilização e sejam codificados juntamente.

PRIMEIRA MODALIDADE

[064] Em uma primeira modalidade da invenção, os subdescritores são agrupados de acordo com sua distância a partir do centro de descritor.

[065] Por exemplo, um tal agrupamento é ilustrado na Figura 9, em que há três grupos, ou seja g0 = {v0, v3, v12, v15}, que contém subdescritores com a maior distância até o centro de descritor, g1 = {v1, v2, v4, v7, v8, v11, v13, v14} que contém os subdescritores com a segunda maior distância até o centro de descritor, e g2 = {v5, v6, v9, v10}, que contém os subdescritores com a menor distância até o centro de descritor. Dentro de cada grupo, os subdescritores são ordenados em ordem de índice de subdescritor crescente, embora isso não seja restritivo e outras ordens possam ser usadas, como começando no sentido horário a partir do subdescritor mais esquerdo e mais superior no grupo. Dentro de cada grupo, os elementos correspondentes dos subdescritores do grupo são todos atribuídos com a mesma prioridade de codificação.

[066] Com base nesse agrupamento, uma ordem de utilização de elemento de grupo pode ser gerada, a qual pode tomar a forma de uma lista ordenada de 24 elementos, que pode ser codificada em 15 bytes, sendo que entrada de lista especifica um grupo de subdescritores e um índice de elemento, conforme ilustrado na Figura 10. Deve-se notar que a ordem de utilização de elemento de grupo da Figura 10 é meramente um exemplo, e diferentes ordens de utilização de elemento de grupo podem ser geradas alterando-se as propriedades das entradas na lista. Assim, a ordem de utilização de elemento de grupo da Figura 10 é muito mais econômica do que a ordem de utilização de elemento da Figura 6, em termos de comprimento e tamanho de codificação. Então, por exemplo, a Figura 10 mostra uma lista de prioridade de elemento de grupo por meio da qual o elemento v0 de grupo g2 recebe a mais alta prioridade, instruindo o codificador de que os primeiros quatro elementos para codificar são v5,0, v6,0, v9,0 e v10,0, elemento v0 do grupo g1 recebem a segunda mais alta prioridade, instruindo o codificador de que os próximos oito elementos para codificar são v1,0, v2,0, v4,0, v7,0, v8,0, v11,0, v13,0 e v14,0, etc.

[067] A Figura 11 ilustra a operação de tal codificador com o uso da ordem de utilização de elemento de grupo da Figura 10 e configurado para codificar os m grupos de elementos superiores na dita ordem de utilização de elemento de grupo. Com o codificador da Figura 11, a codificação do descritor começa com o grupo de elementos com a prioridade superior (Prioridade 1) na ordem de utilização de elemento de grupo, isto é, elemento v0 do grupo g2 que compreende subdescritores v5, v6, v9, e v10. Na etapa S300, a codificação do descritor começa no primeiro subdescritor do grupo, isto é, V5. Na etapa S310, a transformada adequada é selecionada para o subdescritor, por exemplo, de acordo com a utilização de transformada da Figura 3. Deve-se notar que a computação do descritor V a partir do descritor H de acordo com duas transformadas diferentes conforme descrito no presente documento é só um exemplo. Em modalidades diferentes, a computação de descritor V do descritor H também pode ser realizada de acordo com uma única transformada, por exemplo, apenas Transformada A ou apenas Transformada B, tornando a etapa S310 desnecessária, ou de acordo com mais de duas transformadas. Então, a codificação do elemento, isto é, v5,0, ocorre na etapa S320. Na etapa S330, se o subdescritor atual não for o último subdescritor no grupo, o processamento passa para o próximo subdescritor, de outro modo, o processamento passa para a etapa S340. Então, na etapa S340, se o número desejado de m grupo tiver sido codificado, o processamento passa para o grupo de elementos com a próxima mais alta prioridade na ordem de utilização de elemento, de outro modo, o processamento acaba. Assim, as etapas S300, S330 e S340 se referem à ordem na qual o processamento é realizado e ao controle de quantos grupos de elementos codificar, enquanto as etapas S310 e S320 se referem à codificação real do descritor de imagem local.

[068] O número de grupos m ou número correspondente de elementos Z no descritor pode ser armazenado/transmitido juntamente com o descritor, possivelmente, no nível da imagem.

[069] O fato de que a ordem de utilização de elemento de grupo da Figura 10 é mais econômica do que a ordem de utilização de elemento da Figura 6 resulta em um codificador mais eficiente e econômico. Ademais, conforme visto anteriormente, para fins de transcodificação, decodificação e processamento, o decodificador também deve conhecer o processo de codificação e a ordem de utilização de elemento para ter a capacidade de processar e comparar os descritores para fins das aplicações de visão de computador relacionadas, o que significa que a ordem de utilização de elemento deve ser fixada ou transmitida juntamente com os descritores. As diferentes aplicações podem precisar alterar a ordem de utilização de elemento, possivelmente, na imagem ou no nível de subimagem, por exemplo, dando-se a maior prioridade aos subdescritores mais próximos do centro de descritor, ou dando-se maior prioridade a uma classe específica de elementos, por exemplo, v7 em oposição a v2, a fim de alcançar alto desempenho de reconhecimento com um conjunto limitado de elementos. Nesse caso, a ordem de utilização de elemento deve ser armazenada ou transmitida juntamente com os descritores. Considerando que os descritores de taxa de bit baixa têm, tipicamente, algumas centenas de bytes de tamanho, a ordem de utilização de elemento de grupo da Figura 10 representa uma sobrecarga muito menor do que a ordem de utilização de elemento da Figura 6. Ademais, o agrupamento de subdescritor pode ser fixado e conhecido tanto pelo codificador quanto pelo decodificador, ou pode ser transmitido juntamente com os descritores. Por exemplo, para o agrupamento considerado bem distante, o número de grupos e o tamanho da composição de cada grupo podem ser codificados em menos de 10 bytes.

[070] Um outro exemplo de acordo com uma primeira modalidade da invenção, um agrupamento diferente é ilustrado na Figura 12, em que há dois grupos, ou seja, g0 = {v0, v1, v2, v3, v4, v7, v8, v11, v12, v13, v14, v15}, que contém todos os subdescritores periféricos, e g1 = {v5, v6, v9, v10}, que contém os subdescritores com a menor distância até o centro de descritor, isto é, todos os subdescritores centrais. Assim, com esse exemplo, o grupo g1 contém subdescritores de distâncias variantes até o centro de descritor, mas sempre mais distantes do centro do que o subdescritores do grupo g0. Dentro de cada grupo, os elementos correspondentes dos subdescritores do grupo são todos atribuídos com a mesma prioridade de codificação. Com base nesse agrupamento, uma ordem de utilização de elemento de grupo pode ser gerada, a qual pode tomar a forma de uma lista ordenada de 16 elementos, que pode ser codificada em 8 bytes, sendo que cada entrada de lista especifica um grupo de subdescritores e um índice de elemento, conforme ilustrado na Figura 13. O codificador da Figura 11 pode, então, ser usado novamente para codificar um descritor de acordo com a ordem de utilização de elemento de grupo da Figura 13. Deve-se notar que a ordem de utilização de elemento de grupo da Figura 13 é meramente um exemplo, e diferentes ordens de utilização de elemento de grupo podem ser geradas alterando-se as propriedades das entradas na lista.

[071] Como outro exemplo de acordo com uma primeira modalidade da invenção, um agrupamento diferente é ilustrado na Figura 14, em que há quatro grupos, ou seja, g0 = {v0, v3, v12, v15}, que contém os subdescritores com a maior distância até o centro de descritor, g1 = {v1, v2, v4, v7}, que contém um conjunto de quatro subdescritores com a segunda maior distância até o centro de descritor, g2 = {v8, v11, v13, v14}, que contém um conjunto de quatro subdescritores diferentes novamente com a segunda maior distância até o centro de descritor, e g3 = {v5, v6, v9, v10}, que contém os subdescritores com a menor distância até o centro de descritor. Assim, com esse exemplo, os subdescritores dos grupos g1 e g2 estão à mesma distância a partir do centro do descritor. Esse agrupamento é obtido a partir do agrupamento da Figura 9, subdivivindo-se o grupo original g1 em novos grupos g1 e g2. A vantagem disso é que resulta em grupos com o mesmo número de subdescritores, o que é desejável em implantações de codificador otimizadas. Dentro de cada grupo, os elementos correspondentes dos subdescritores do grupo são todos atribuídos com a mesma prioridade de codificação. Com base nesse agrupamento, uma ordem de utilização de elemento de grupo pode ser gerada, a qual pode tomar a forma de uma lista ordenada de 32 elementos, que pode ser codificada em 20 bytes, sendo que cada entrada de lista especifica um grupo de subdescritores e um índice de elemento, conforme ilustrado na Figura 15. O codificador da Figura 11 pode, então, ser usado novamente para codificar um descritor de acordo com a ordem de utilização de elemento de grupo da Figura 15. Deve-se notar que a ordem de utilização de elemento de grupo da Figura 15 é meramente um exemplo, e diferentes ordens de utilização de elemento de grupo podem ser geradas alterando-se as propriedades das entradas na lista.

[072] Claramente, o agrupamento da Figura 14 em quatro grupos não é exclusivo. Por exemplo, um agrupamento alternativo é mostrado na Figura 16, que contém os grupos g0 = {v0, v3, v12, v15}, g1 = {v1, v2, v13, v14}, g2 = {v4, v7, v8, v11} e g3 = {v5, v6, v9, v10}. Assim, na Figura 16, os grupos g0 e g3 são idênticos àqueles da Figura 14, mas os subdescritores de g1 e g2 foram trocados em comparação com a Figura 14 para modo que cada um desses dois grupos contenha um subdescritor da parte esquerda superior, direita superior, esquerda inferior e direita inferior da grade de subdescritor.

[073] Uma diferença entre o codificador da Figura 7 e o codificador da Figura 11 é que, ao contrário do anterior, que produz descritores de qualquer comprimento, o último permite a codificação de descritores cujo comprimento tem uma granularidade decidida pelos grupos de subdescritores. Na prática, o último pode ser configurado para produzir descritores de qualquer comprimento, conforme será demonstrado posteriormente.

SEGUNDA MODALIDADE

[074] Em uma segunda modalidade da invenção, os subdescritores são agrupados, em primeiro lugar, de acordo com sua distância a partir do centro (primeira condição) e, em segundo lugar, de acordo com suas distâncias recíprocas (segunda condição).

[075] Nesse contexto, a distância entre os subdescritores pode assumir novamente a forma de uma distância euclidiana ou outras medidas de distância adequadas, como uma distância de Manhattan.

[076] A segunda condição pode ser, por exemplo, que um grupo não deve conter subdescritores cuja distância entre si está abaixo de um limite predeterminado. Assim, o limite predeterminado pode ser definido para impedir, por exemplo, o agrupamento de subdescritores vizinhos.

[077] O objetivo da condição secundária é garantir que os subdescritores de diferentes grupos sejam, sempre que possível, deslocados de posições relativamente distantes da grade de subdescritor, aumentando, desse modo, o conteúdo de informações de descritores de números de recursos baixíssimos. Deve- se notar que a condição secundária pode nem sempre ser satisfeita, por exemplo, não é possível satisfazer isso para um grupo que contém todos os subdescritores centrais, v5, v6, v9, e v10. Por exemplo, um tal agrupamento é ilustrado na Figura 17, em que há quatro grupos, ou seja, g0 = {v0, v3, v12, v15}, que contém os subdescritores com a maior distância até o centro de descritor, g1 = {v1, v7, v8, v14}, que contém um conjunto de quatro subdescritores com a segunda maior distância até o centro de descritor, g2 = {v2, v4, v11, v13} que contém um conjunto de quatro subdescritores diferentes novamente com a segunda maior distância até o centro de descritor, e g3 = {v5, v6, v9, v10} que contém os subdescritores com a menor distância até o centro de descritor. Assim, com esse exemplo, os subdescritores dos grupos g0, g1 e g2 satisfazem a condição de que os mesmos não contêm subdescritores vizinhos. Dentro de cada grupo, os elementos correspondentes dos subdescritores do grupo são todos atribuídos com a mesma prioridade de codificação. Com base nesse agrupamento, uma ordem de utilização de elemento de grupo como aquela ilustrada na Figura 15 pode ser gerada, e um codificador como aquele ilustrado na Figura 11 pode, então, ser usado novamente para codificar um descritor de acordo com a ordem de utilização de elemento de grupo da Figura 15.

[078] Claramente, as condições alternativas com base na distância de subdescritores dentro de um grupo também podem ser empregadas, como maximizar a distância total entre os subdescritores, etc.

TERCEIRA MODALIDADE

[079] Em uma terceira modalidade da invenção, os subdescritores são agrupados de acordo com sua distância a partir do centro, e os subdescritores de cada grupo são codificados em uma sequência definida de acordo com suas características correspondentes de codificação, como suas transformadas correspondentes.

[080] Por exemplo, considerando o agrupamento da Figura 17 da segunda modalidade da invenção em conjunto com o padrão de implantação de transformada da Figura 3, pode-se ver que, dentro de cada grupo, dois subdescritores são transformados de acordo com a transformada A e dois subdescritores são transformados de acordo com a transformada B. Portanto, é possível definir uma condição de sequência de codificação comum que, para cada grupo, a sequência de utilização de transformada deve ser "A A B B", isto é, uma sequência de codificação por meio da qual, para cada grupo de subdescritores, a transformada do primeiro subdescritor no grupo é a transformada A, a transformada do segundo subdescritor no grupo também é a transformada A, a transformada do terceiro subdescritor no grupo é a transformada B, e a transformada do quarto subdescritor no grupo também é a transformada B. Assim, há grupos g0 = {v0, v15, v3, v12} que contêm os subdescritores com a maior distância até o centro de descritor, g1 = {v7, v8, v1, v14} que contém um conjunto de quatro subdescritores com a segunda maior distância até o centro de descritor, g2 = {v2, v13, v4, v11} que contém um conjunto de quatro subdescritores diferentes novamente com a segunda maior distância até o centro de descritor, e g3 = {v5, v10, v6, v9}, que contém os subdescritores com a menor distância até o centro de descritor. Dentro de cada grupo, os elementos correspondentes dos subdescritores do grupo são todos atribuídos com a mesma prioridade de codificação. Ademais, dentro de cada grupo, as informações de utilização de transformada para os quatro subdescritores no grupo é sempre "A A B B", o que significa que uma implantação de codificador eficiente não precisa identificar a transformada aplicável de cada subdescritor.

[081] A Figura 18 ilustra a operação de tal codificador com o uso da ordem de utilização de elemento de grupo da Figura 15 e configurado para codificar os m grupos de elementos superiores na dita ordem de utilização de elemento de grupo. Com o codificador da Figura 18, a codificação do descritor começa com o grupo de elementos com a prioridade superior (Prioridade 1) na ordem de utilização de elemento de grupo, isto é, elemento v0 do grupo g2 que compreende subdescritores v5, v10, v6, e v9. Na etapa S400, a codificação do descritor começa no primeiro subdescritor do grupo, isto é, v5. Dado que todos os grupos têm uma ordem de utilização de transformada fixa e comum, o processamento passa para a etapa S410, em que a codificação do elemento, isto é, v5,0, ocorre. Na etapa S420, se o subdescritor atual não for o último subdescritor no grupo, o processamento passa para o próximo subdescritor, de outro modo, o processamento passa para a etapa S430. Então, na etapa S430, se o número desejado de m grupo tiver sido codificado, o processamento passa para o grupo de elementos com a próxima mais alta prioridade na ordem de utilização de elemento, de outro modo, o processamento acaba. Assim, as etapas S400, S420 e S430 se referem à ordem na qual o processamento é realizado e ao controle de quantos grupos de elementos codificar, enquanto apenas a etapa S410 se refere à codificação real do descritor de imagem local.

[082] Na descrição acima, a condição de sequência de codificação comum é definida nas transformadas que são utilizadas dentro de cada grupo, mas essa condição também pode ser definida em outras características de codificação, como o tipo e o nível de quantização ou combinações dos mesmos.

[083] Claramente, se necessário, diferentes condições de sequência de codificação podem ser aplicadas a diferentes grupos de subdescritores. Por exemplo, na primeira modalidade da invenção, o agrupamento de acordo com Figura 9 resulta em três grupos, ou seja, g0, que contém os quatro subdescritores com a maior distância até o centro de descritor, g1, que contém os oito subdescritores com a segunda maior distância até o centro de descritor, e g2, que contém os quatro subdescritores com a menor distância até o centro de descritor. Nesse caso, devido ao tamanho de grupo diferente, uma condição de sequência de codificação de modo que a sequência de utilização de transformada seja "A A B B" pode ser aplicada aos grupos g0 e g2, e uma condição de sequência de codificação diferente de que a sequência de utilização de transformada seja "A A A A B B B B" pode ser aplicada ao grupo g1.

QUARTA MODALIDADE

[084] Em uma quarta modalidade da invenção, os subdescritores são agrupados de acordo com sua distância a partir do centro, e os subdescritores de cada grupo são ordenados de acordo com suas distâncias entre os mesmos.

[085] A condição de ordenação pode ser, por exemplo, que a distância entre os subdescritores consecutivos dentro de um grupo não deve estar abaixo de um limite predeterminado. Assim, o limite predeterminado pode ser definido para impedir, por exemplo, subdescritores vizinhos consecutivos dentro de um grupo. Uma condição de ordenação diferente pode ser, por exemplo, que a distância entre os subdescritores consecutivos dentro de um grupo não é maximizada.

[086] Esse ordenamento é particularmente útil quando se emprega grandes grupos de subdescritores, para reduzir o tamanho da ordem de utilização de elemento de grupo, e a codificação de grupo parcial, conforme explicado abaixo. Deve-se notar que esse tipo de ordenação pode nem sempre ser possível, por exemplo, não é possível não ter descritores vizinhos consecutivos para um grupo que contém todos os subdescritores centrais, v5, v6, v9, and v10.

[087] Por exemplo, considerando o agrupamento ilustrado na Figura 9, pode-se ver que os subdescritores dentro de cada grupo podem ser ordenados para maximizar a distância entre subdescritores consecutivos, começando do subdescritor com o mais baixo índice dentro do grupo, o que resulta em grupos g0 = {v0, v15, v3, v12}, g1 = {v1, v14, v2, v13, v7, v8, v11, v4}, e g2 = {v5, v10, v6, v9}. Dentro de cada grupo, os elementos correspondentes dos subdescritores do grupo são todos atribuídos com a mesma prioridade de codificação.

[088] Com base nesse agrupamento e na ordenação de subdescritores dentro de cada grupo, uma ordem de utilização de elemento de grupo como aquela ilustrada na Figura 10 pode ser gerada, e um codificador como aquele ilustrado na Figura 11 pode, então, ser usado novamente para codificar um descritor de acordo com a ordem de utilização de elemento de grupo da Figura 10. Alternativamente, um codificador como aquele ilustrado na Figura 19 pode ser empregado.

[089] Mais especificamente, uma diferença entre o codificador da Figura 7 e os codificadores da Figura 11 e da Figura 18 é que, ao contrário do anterior, que produz descritores de qualquer comprimento, o último permite a codificação de descritores cujo comprimento tem uma granularidade decidida pelos grupos de subdescritores. Na prática, no entanto, cada um dos codificadores das Figuras 11 e 18 pode ser facilmente configurado para codificar os descritores de qualquer comprimento através da codificação parcial do último grupo de elementos quando o comprimento de descritor desejado tiver sido alcançado. Nesse contexto, a Figura 19 mostra tal modificação do codificador da Figura 11. Em essência, o codificador da Figura 19 é obtido simplesmente através das etapas de troca S330 e S340 do codificador da Figura 11, que permitem que o codificador da Figura 19 termine a codificação de um grupo assim que o número desejado de elementos tiver sido codificado. Claramente, uma modificação análoga também é aplicável ao codificador da Figura 18.

[090] Nesse contexto, a ordenação dos subdescritores dentro de um grupo de acordo com as distâncias entre os mesmos é altamente vantajosa, uma vez que resulta em elementos consecutivos que são deslocados de posições relativamente distantes da grade de subdescritor que, no evento da codificação parcial de um grupo, aumenta o conteúdo de informações de descritores com um baixo número de recursos.

QUINTA MODALIDADE

[091] As modalidades anteriores da invenção demonstram a codificação eficaz de descritores de imagem de acordo com uma ordem de utilização de elemento de grupo que resulta do agrupamento de subdescritores em grupos de subdescritores com base em suas distâncias a partir do centro de descritor e/ou suas distâncias entre si.

[092] Em uma modalidade alternativa da invenção, os subdescritores podem ser agrupados de modo que cada subdescritor dentro de um grupo tenha um conjunto de utilização de elemento idêntico a todos os outros subdescritores dentro de um grupo.

[093] Por exemplo, considera-se o agrupamento da Figura 20, em que há quatro grupos, ou seja, g0 = {v5, v6, v9, v10}, g1 = {v1, v7, v8, v14}, g2 = {v2, v4, v11, v13}, e g3 = {v0, v3, v12, v15}. Esse é o mesmo agrupamento que na Figura 17, mas com índices de grupo reatribuídos (isto é, g0 e g3 foram trocados) de modo que os grupos com índices mais baixos contenham subdescritores que estão mais perto do centro de descritor. A combinação desse agrupamento com os conjuntos de utilização de elemento da Figura 4a a 4e leva aos conjuntos de utilização de elemento de grupo da Figura 21a a 21e.

[094] Uma vez que o conjunto de elementos utilizados para cada comprimento de descritor deve ser o mesmo que ou um subconjunto do conjunto de elementos utilizados para todos os comprimentos maiores de descritor, os conjuntos de utilização de elemento de grupo da Figura 21a a 21e podem ser convertido em conjuntos de utilização de elemento de grupo incrementais conforme ilustrado na Figura 22a a 22e em que, para cada comprimento de descritor (por exemplo, DL2 da Figura 22c), o conjunto de utilização de elemento correspondente mostra apenas os elementos adicionais que constituem o descritor do dito comprimento de descritor em comparação com o comprimento imediatamente menor de descritor (por exemplo, DL1 da Figura 22b).

[095] Com base nos conjuntos de utilização de elemento de grupo incrementais da Figura 22a a 22e, um codificador pode gerar descritores que podem ser convertidos em comprimentos menores de descritor através do simples truncamento de descritor.

[096] A Figura 23 ilustra a operação de tal codificador para a codificação de um descritor de comprimento DLk. Mais especificamente, na etapa S600, o processamento começa codificando-se um descritor do comprimento menor de descritor, isto é, DL0. Na etapa S610, a codificação do descritor DL0 começa com a codificação do primeiro grupo de subdescritores, isto é, g0, e na etapa S620, a codificação do primeiro grupo de subdescritores começa com a codificação do primeiro elemento, isto é, v0. Na etapa S630, se o elemento v0 não estiver em uso para o g0 no comprimento de descritor DL0 de acordo com os conjuntos de utilização de elemento de grupo incrementais da Figura 22, o processamento passa para a etapa S680, de outro modo, o processamento passa para a etapa S640. Na etapa S640, o primeiro subdescritor do grupo g0 é selecionado, isto é, v5, e na etapa S650 a função de transformada adequada é selecionada, por exemplo, de acordo com a Figura 3. Deve-se notar que a computação do descritor V a partir do descritor H de acordo com duas transformadas diferentes, conforme descrito no presente documento, é só um exemplo. Em modalidades diferentes, a computação de descritor V do descritor H também pode ser realizada de acordo com uma única transformada, por exemplo, apenas Transformada A ou apenas Transformada B, tornando a etapa S650 desnecessária, ou de acordo com mais de duas transformadas. Então, na etapa 660, a codificação do elemento v5,0 ocorre. Na etapa S670, se o subdescritor atual não for o último subdescritor no grupo, o processamento passa para o próximo subdescritor no grupo, de outro modo, o processamento passa para a etapa S680. Na etapa S680, se o elemento atual não for o último elemento, isto é, v1, o processamento passa para o próximo elemento, de outro modo, o processamento passa para a etapa S690. Na etapa S690, se o subdescritor atual não for o último grupo de subdescritor, o processamento passa para o próximo grupo de subdescritor, de outro modo, o processamento passa para a etapa S695. Na etapa S695, se o comprimento de subdescritor atual não for o comprimento de subdescritor alvo, o processamento passa para o próximo comprimento de subdescritor, codificando os elementos adicionais especificados pelos conjuntos de utilização de elemento de grupo incrementais. De outro modo, o processamento acaba.

[097] Embora aspectos e modalidades da presente invenção sejam apresentados em detalhes para a computação de descritores de imagem sólidos, discriminativos, escalonáveis e compactos a partir de um descritor de imagem SIFT, a invenção é aplicável a outros descritores de imagem baseados em histogramas de gradientes, conforme esboçado no pedido de patente italiana ainda não publicado n° TO2012A000602.

[098] Por meio de exemplo apenas, a Figura 24 ilustra um aparelho de processamento de imagem conceitual para realizar o método de acordo a presente invenção. Mais especificamente, o aparelho de processamento 1100 recebe entrada, que pode compreender dados visuais, como dados de imagem ou vídeo, descritores pré-calculados baseados em histogramas de gradientes, descritores compactos pré- calculados de acordo com o método da presente invenção, instruções de programação, ou entrada de usuário, a partir do aparelho de entrada 1000, que pode assumir a forma de um aparelho de entrada de usuário, um leitor de mídia ou um receptor de sinais transmitidos. O aparelho de processamento 1100 compreende os blocos de processamento principais de uma unidade de processamento central 1110 que controla as operações dos outros blocos de processamento, memória volátil 1120, memória não volátil 1130, opcionalmente, um bloco de extrator de descritor 1140 configurado para gerar descritores baseados em histogramas de gradientes, um bloco de codificador de descritor compacto 1150 configurado para realizar o método de acordo a presente invenção e, opcionalmente, um bloco de processador de descritor compacto 1160 configurado para processar os ditos descritores compactos, por exemplo, para estabelecer ou verificar correspondências visuais. O aparelho de processamento 1100 é conectado ao aparelho de saída 1900, que pode assumir a forma de uma unidade de exibição visual, um escritor de mídia, ou um transmissor de sinais, que fornece saída que pode compreender dados visuais anotados, como dados de imagem ou de vídeo, informações de processamento, como correspondências visuais estabelecidas ou verificadas, ou descritores compactos de acordo com o método da presente invenção. Deve-se compreender que os blocos de processamento e a arquitetura mostrados na Figura 24 são apenas conceituais, e podem não corresponder exatamente a todo aparelho que implanta o método de acordo com a invenção.

[099] O método para codificar um descritor de imagem com base em um histograma de gradiente e um aparelho de processamento de imagem relativo descrito no presente documento por meio de exemplo pode ser submetido a muitas variações possíveis sem se afastar do espírito de inovação da ideia inventiva; também fica claro que, na implantação prática da invenção, os detalhes ilustrados podem ter formatos diferentes ou podem ser substituídos por outros elementos tecnicamente equivalentes.

[100] Portanto, pode ser facilmente compreendido que a presente invenção não se limita a um método para codificar um descritor de imagem com base em um histograma de gradiente e um aparelho de processamento de imagem relativo, mas pode ser submetida a muitas modificações, aprimoramentos ou substituições de partes e elementos equivalentes sem se afastar da ideia inventiva, conforme claramente especificado nas reivindicações a seguir.

Claims

1. Método para codificar um descritor de imagem (H) baseado em histogramas de gradiente (hp) para um descritor transformado (V) que compreende subdescritores transformados (vp), em que cada histograma de gradiente (hp) compreende uma pluralidade de bins de histograma (hi) e cada subdescritor (vp) compreende um conjunto de valores (vj), caracterizado pelo fato de que os ditos subdescritores (vp) são gerados de acordo com uma lista de ordem de utilização de elemento que especifica um índice de subdescritor (p) do dito conjunto de subdescritores (vp) e um índice de elemento (j) do dito conjunto de valores (vj), em que os ditos subdescritores (vp) são agrupados em grupos de subdescritores de acordo com sua distância a partir de um centro de descritor de imagem e em que, dentro de cada grupo de subdescritores, os valores correspondentes (vj) de um grupo de subdescritores são todos atribuídos a uma mesma prioridade de codificação na dita lista de ordem de utilização de elemento.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os ditos subdescritores (vp) são agrupados em um primeiro grupo que contém todos os subdescritores com a menor distância até o centro de descritor de imagem e um segundo grupo que contém todos os subdescritores restantes.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de os ditos subdescritores (vp) são agrupados em um primeiro grupo que contém os subdescritores com a maior distância a partir do centro de descritor, um segundo grupo que contém um primeiro conjunto de subdescritores com a segunda maior distância até o centro de descritor, um terceiro grupo que contém um segundo conjunto de subdescritores com a segunda maior distância até o centro de descritor, e um quarto grupo que contém os subdescritores com a menor distância até o centro de descritor.

4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que os ditos primeiro, segundo, terceiro e quarto grupos contêm o mesmo número de subdescritores.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os ditos subdescritores (vp) são agrupados em grupos de subdescritores de acordo com sua distância a partir de um centro de descritor de imagem e de acordo com suas distâncias recíprocas.

6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que os ditos subdescritores (vp) são agrupados em um primeiro grupo que contém os subdescritores com a maior distância a partir do centro de descritor, um segundo grupo que contém um primeiro conjunto de subdescritores com a segunda maior distância até o centro de descritor, um terceiro grupo que contém um segundo conjunto de subdescritores com a segunda maior distância até o centro de descritor, e um quarto grupo que contém os subdescritores com a menor distância até o centro de descritor.

7. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que um grupo de subdescritores não contém subdescritores cuja distância entre si está abaixo de um limite predeterminado.

8. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que as ditas distâncias recíprocas compreendem maximizar a distância total entre os subdescritores.

9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os ditos subdescritores (vp) são agrupados em grupos de subdescritores de acordo com sua distância a partir de um centro de descritor de imagem e são ordenados de acordo com suas distâncias recíprocas.

10. Método, de acordo com a reivindicação 9, caracterizado pelo fato de que um grupo de subdescritores não contém subdescritores consecutivos cuja distância está abaixo de um limite predeterminado.

11. Método, de acordo com a reivindicação 9, caracterizado pelo fato de que as ditas distâncias recíprocas compreendem maximizar a distância entre os subdescritores consecutivos.

12. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os subdescritores de cada grupo são codificados em uma sequência definida de acordo com suas características de codificação correspondentes.

13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que as ditas características de codificação são transformadas correspondentes.

14. Método, de acordo com a reivindicação 13, caracterizado pelo fato de que, para cada grupo de subdescritores, a transformada de um primeiro subdescritor no grupo é um primeiro tipo de transformada (A), a transformada de um segundo subdescritor no grupo é o dito primeiro tipo de transformada (A), a transformada de um terceiro subdescritor no grupo é um segundo tipo de transformada (B) e a transformada de um quarto subdescritor no grupo é o dito segundo tipo de transformada (B).

15. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que as ditas características de codificação são o tipo e o nível de quantização ou combinações dos mesmos.

16. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a maior prioridade é dada a uma classe específica de valores.

17. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a maior prioridade é dada aos grupos de subdescritores mais próximos do centro de descritor.

18. Método, de acordo com as reivindicações 1 a 17, caracterizado pelo fato de que a dita lista de utilização de elemento é armazenada ou transmitida juntamente com o descritor de imagem.

19. Método para codificar um descritor de imagem (H), de acordo com as reivindicações 1 a 18, caracterizado pelo fato de que o dito descritor de imagem é convertido em um descritor que tem um comprimento reduzido truncando-se um ou mais últimos elementos do dito descritor.

20. Método para codificar um descritor de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a dita ordem de utilização de elemento assume a forma de uma lista ordenada de 16 ou 24 ou 32 ou 128 elementos.

21. Aparelho de processamento de imagem caracterizado pelo fato de que compreende meios para realizar o método, conforme definido em qualquer uma das reivindicações 1 a 20.