BRPI0610739A2 - comparação de imagem por inclusão métrica - Google Patents

comparação de imagem por inclusão métrica Download PDF

Info

Publication number
BRPI0610739A2
BRPI0610739A2 BRPI0610739-7A BRPI0610739A BRPI0610739A2 BR PI0610739 A2 BRPI0610739 A2 BR PI0610739A2 BR PI0610739 A BRPI0610739 A BR PI0610739A BR PI0610739 A2 BRPI0610739 A2 BR PI0610739A2
Authority
BR
Brazil
Prior art keywords
image
tree
engine
family
images
Prior art date
Application number
BRPI0610739-7A
Other languages
English (en)
Inventor
Ramarathnam Venkatesan
Matt Cary
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of BRPI0610739A2 publication Critical patent/BRPI0610739A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988Graph matching

Abstract

Sistemas e métodos são apresentados para comparação de imagens pela inclusão de métricas. Em uma implementação, um gráfico é criado a partir de cada imagem a ser comparada. As métricas gráficas são então embutidas em famílias de árvores para cada imagem. As diferenças mínimas entre as respectivas famílias de árvores para diferentes imagens são compiladas em uma matriz, de onde uma medida de similaridade é obtida para comparação de imagem.

Description

"COMPARAÇÃO DE IMAGEM POR INCLUSÃO MÉTRICA"
Fundamentos
Para se buscar texto, imagens, idéias, sitios narede, etc, na Internet ou em um dispositivo de computação,um teclado de texto pode ser utilizado para se iniciar abusca. De forma convencional, a busca por uma imagem em umambiente de computação está limitada ao registro em um te-clado de texto que resume a imagem ou o registro de textoque resume um objeto visual ou característica visual da ima-gem. De forma convencional, tem sido dificil se buscar umaimagem sem se traduzir uma parte chave da busca em texto.
Dessa forma, as buscas convencionais de imagem são na verda-de buscas de texto.
A dificuldade da realização de buscas de imagembem sucedidas se encontra nas imagens propriamente ditas.
Uma imagem é muito mais complexa do que uma palavra. Issoporque uma imagem pode ser modificada de forma que a imagemmodificada seja matematicamente diferente da original, porémpara o sistema visual humano as duas imagens são visualmenteiguais uma à outra. Dessa forma, se um usuário clarear ouescurecer uma imagem, mudar o contraste, a sintonia fina dascores, ou comprimir a imagem, etc, então os parâmetros quequantificam a imagem terão sido alterados de forma signifi-cativa, apesar de a imagem parecer a mesma. Para se evitaressa complexidade, tem sido mais fácil apenas se resumir aimagem com palavras e então realizar uma busca de palavrapara a imagem.
0 que se precisa é de uma forma de capturar umaimagem matematicamente - por informação - de modo que umabusca por imagem possa ser iniciada pelo registro da imagempropriamente dita, e concluída com sucesso encontrando-se asversões coincidentes da imagem que foram modificadas de mui-tas formas diferentes, por exemplo, pelo software de ediçãode imagem.
Sumário
Sistemas e métodos são apresentados para compara-ção de imagem pela inclusão de métricas, isso é, em uma for-ma através da qual as comparações podem ser realizadas digi-talmente sem se basear diretamente nos aspectos visuais dasimagens sendo comparadas. Em uma implementação, um gráfico,tal como um gráfico não direcionado possuindo vértices ebordas, é criado a partir de cada imagem a ser comparada.Várias características de pixels podem ser utilizadas parase criar o gráfico. A criação de um gráfico a partir de umaimagem pode ser realizada em parte por uma técnica de trans-formação de wavelet para obtenção de valores de vetor de co-eficiente. Os processos de redução de ruido podem ser adi-cionados para a produção de gráficos confiáveis para compa-ração. Por exemplo, depois de um processo de transformaçãode wavelet, valores insignificantes podem ser zerados e aimagem ou gráfico pode ser reduzido.
As métricas de gráfico são então embutidas em ár-vores, tal como uma familia de árvores hierárquicas bem es-palhadas (HSTs) para cada imagem. As HSTs para uma imagempodem ser agrupadas de forma recursiva até que o gráfico querepresenta uma imagem seja dividido.As famílias de árvores que possuem a informação degráfico embutida são diferenciadas para obtenção de uma me-dição de similaridade para as imagens que representam. Emuma implementação, visto que a família de árvores que repre-senta uma imagem é criada de forma recursiva, a técnica dediferenciação de árvore é aplicada de forma interativa àsHSTs raiz, e suas árvores crianças relacionadas. Em uma im-plementação, a diferenciação inclui a compilação de uma ma-triz de diferenças mínimas entre as imagens e a vetorizaçãoda matriz de forma que um processo de normalização possa en-contrar uma média que resuma as diferenças mínimas entre asimagens com uma única medição de similaridade.
Breve Descrição dos Desenhos
A Figura 1 é um diagrama de um gráfico ilustrativorepresentando uma imagem.
A Figura 2 é um diagrama de comparação de imagemilustrativa através da diferenciação de famílias de árvoresembutidas com métricas gráficas.
A Figura 3 é um diagrama de um sistema de compara-ção de imagem ilustrativo.
A Figura 4 é um diagrama em bloco de um motor decomparação de imagem ilustrativo.
A Figura 5 é um diagrama de comparação ilustrativode imagens através da comparação interativa de conjuntos denós criança.
A Figura 6 é um fluxograma de um método ilustrati-vo para comparação de imagem.Descrição Detalhada
Os sistemas e métodos descritos aqui fornecem téc-nicas de comparação de imagem. Essas técnicas de comparaçãode imagem podem ser utilizadas para realizar buscas por ima-gem na Internet ou para identificar uma versão modificada deuma imagem fonte de dentro de um conjunto de imagens, etc.
Por exemplo, um usuário pode modificar uma imagem fonte pormeio de um software de edição de fotografia ou por recortare compressão da imagem fonte em preparação para a inclusãoda imagem em uma mensagem de correio eletrônico. Os sistemase o método descritos aqui fornecem uma forma de se buscar eencontrar tal imagem modificada dentre outras imagens.
A Figura 1 ilustra uma implementação ilustrativade um método de comparação de imagem no qual os valores depixel de uma imagem 100 são representados por um gráfico nãodirecionado 102. Cada vértice no gráfico não direcionado 102representa um pixel correspondente na imagem. Em uma imple-mentação, um estágio de pré-processamento de imagem que for-ma o gráfico 102 inclui a aplicação de uma transformação dewavelet que estabelece os valores de vetor de coeficiente,reduzindo os valores que devem ser pequenos - abaixo de umlimite selecionado. As bordas entre os vértices no gráficonão direcionado 102 podem ser ponderadas de acordo com a di-ferença no valor entre o par de pixels em qualquer extremi-dade de uma borda. A característica de pixel a ser utilizadopara determinação da ponderação das bordas pode ser selecio-nada dentre muitos tipos diferentes de características depixel, tal como intensidade, energia, etc. O gráfico não di-recionado resultante 102 pode então ser reduzido para econo-mizar energia de processamento e reduzir o ruido. Tal gráfi-co não direcionado 102 pode ser referido aqui como uma ima-gem pré-processada, visto que o processamento adicional se-gue o processo de formação de gráfico.
Uma família de árvores 104, tal como árvores hie-rárquicas bem separadas embutidas com métricas gráficas podeser derivada do gráfico não direcionado 102 criado no está-gio de pré-processamento de imagem acima. A familia de árvo-res 104 é estabelecida por um método de agrupamento que fazrecursão de um agrupamento inicial através de interações su-ficientes para dividir a imagem pré-processada em árvoresbem separadas. Uma familia tipica de árvores 104 para essemétodo inclui aproximadamente dez (parentes e crianças) árvores.
Como ilustrado na figura 2, para se encontrar umaimagem dentre um grupo de imagens, uma técnica de diferenci-ação encontra uma medida de similaridade entre uma familiade árvores 104 para a imagem fonte e cada familia de árvores(por exemplo, 204, 204', 204", 204'") para múltiplas outrasimagens a serem comparadas. A imagem com a maior medição desimilaridade com a imagem fonte 100 é selecionada como sendoa melhor combinação.
Em uma implementação, a técnica de diferenciaçãorecém introduzida funciona pela designação de vetores deformato para cada nó de cada árvore, e a adição dos valoresde medida de similaridade que resultam na diferença minimaentre os nós correspondentes para diferentes imagens sendocomparadas. Isso é, através das árvores nas duas famílias deárvores que representam duas imagens, uma matriz de diferen-ças é agregada. Essa matriz recebe um vetor e então compo-nentes do vetor são ponderados ou de outra forma normaliza-dos para se estabelecer uma marca de similaridade. Dessaforma, para se encontrar uma cópia de uma imagem ou uma ver-são modificada da imagem dentre o conjunto de imagens, asmarcações de similaridade podem ser comparadas para revelara provável combinação.
Sistema Ilustrativo
A Figura 3 ilustra um sistema ilustrativo 300 paracomparação de imagens. Um dispositivo de computação 302 éacoplado de forma comunicativa à Internet 304. O dispositivode computação 302 hospeda um motor de comparação de imagem306. Esse tipo de ambiente de computação em rede é ilustradoapenas para fins de exemplo. Outros tipos de ambientes emrede e de computação também podem hospedar o presente assun-to. O motor de comparação de imagem 306 torna uma busca deimagem 308 possível. Uma imagem alvo ou "fonte" 301 pode serselecionada por um usuário ou por um componente do sistema300. O motor de comparação de imagem 306 compara a imagemfonte 310 com outras imagens, por exemplo, encontradas naInternet 304, e retorna uma medida de similaridade para cadacomparação. O motor de comparação de imagem 306 pode desig-nar a melhor combinação entre uma imagem fonte 310 e elemen-tos de um conjunto de imagens candidatas.
Ao invés da busca por um conjunto de imagens daInternet 304, o motor de comparação de imagem 306 tambémbusca um conjunto de imagens em um diretório de arquivo, emuma base de dados, ou armazenadas como anexos às mensagensde correio eletrônico em uma pasta, etc.
Motor Ilustrativo
A Figura 4 ilustra o motor de comparação de imagemilustrativo 306 da figura 3 em maiores detalhes. 0 motor decomparação de imagem 306 da figura 4 fornece uma disposiçãoilustrativa para fins de visão geral. Muitas outras disposi-ções dos componentes ilustrados, ou componentes similares,são possíveis. Tal motor de comparação de imagem 306 podeser executado em hardware, software, ou combinações de hard-ware, software, firmware, etc.
A disposição ilustrativa ilustrada de um motor decomparação de imagem 306 inclui um motor de criação gráficaad imagem 402 e um comparador de imagem 404. O motor de cri-ação gráfica de imagem 402 produz gráficos e famílias de ár-vores 104 que representam imagens, enquanto o comparador deimagem 404 encontra as medidas de similaridade entre as fa-mílias de árvores 104 a fim de tentar combinar uma imagemcandidata com uma imagem fonte 100.
0 motor de criação gráfica de imagem 402 incluiadicionalmente componentes de pré-processamento de imagem:um elemento de escala cinza 406, um motor de transformaçãode wavelet 408, um redutor 410. Esses componentes produzemuma imagem pré-processada 412, isso é, um gráfico do qualuma familia de árvores 104 pode ser produzida para represen-tar a imagem 100 e permitir a comparação das imagens. O mo-tor de criação gráfica de imagem 402 inclui adicionalmenteum motor de criação de árvore 414. 0 motor de criação de ár-vore 414 inclui adicionalmente um recursor de agrupamento416, um aparadar de árvore 418 e um filtro de reutilização420. Esses produzem várias famílias de árvores (por exemplo,104, 104') embutidas com métricas gráficas para representa-ção de imagens diferentes.
O comparador de imagem 404 introduzido acima in-clui adicionalmente um motor de diferenciação de árvore 422e um agregador 424. O motor de diferenciação de árvore 422inclui adicionalmente um motor de diferença minima 426, queinclui adicionalmente um comparador de topologia de árvore428 e um comparador de topologia de agrupamento 430. O agre-gador 424 inclui adicionalmente uma matriz de diferenças432; além de um motor de vetor 434 e um elemento de normali-zação 436 que produz uma medida de similaridade 438 quanti-ficando a similaridade entre um par de imagens.
Motor de Criação Gráfica de Imagem
Nos componentes de pré-processamento de imagem domotor de criação gráfica de imagem 402, o elemento de escalacinza 406 pode receber uma entrada de imagem colorida RGB econverter a entrada em escala cinza, por exemplo, pela normaL2 dos valores RGB.
Em uma implementação, o motor de transformação dewavelet 408 realiza uma transformação de wavelet Haar de ni-vel três. Valores pequenos nos vetores de coeficiente resul-tantes podem ser limitados a zero, isso é, coeficientes me-nores em valor absoluto do que um limite, por exemplo, 0,15são alterados para zero. Um procedimento de reconstrução dewavelet é então aplicado a esses vetores de coeficiente, e oredutor 410 reduz os resultados a aproximadamente 70 pixelsem largura para produzir a imagem pré-processada 412.
O motor de criação de árvore 414 produz k árvoreshierárquicas bem separadas (HSTs) a partir da imagem pré-processada 412. Tipicamente, k = 10. Essas HSTs podem serproduzidas por uma decomposição de agrupamento hierárquicorecursiva. O motor de criação de árvore 414 começa pela con-figuração de um agrupamento inicial de nós gráficos Co igualà imagem pré-processada 412. Um parâmetro de tamanho de a-grupamento é então designado por r e o número de pixels naimagem pré-processada 412 é designado por N. Os valores tí-picos para r estão entre aproximadamente 1 e aproximadamente-2. Alguma sintonia do parâmetro r pode aperfeiçoar os re-sultados.
O recursor de agrupamento 416 seleciona um agrupa-mento Ci e escolhe um ponto aleatório x e Ci. Se todos ospontos de Ci estiverem dentro de uma distância r (log N) dex, nenhum processamento adicional é necessário e Ci é retor-nado como árvore. Do contrário, um raio d é então escolhidoa partir de uma distribuição tipo invertida. Isso é, se aimagem pré-processada 412 contiver N pixels, então para umvalor de parâmetro r determinado, o recursor de agrupamento416 seleciona um valor x uniformemente [0,1] e configurad=r(log N)(log x).
O recursor de agrupamento 416 então configura Ci+i= B(x, d), de forma que uma esfera seja centralizada em umnovo x no raio d, a partir do x anterior, e constrói de for-ma recursiva uma árvore em Ci+i e configura C1 =Cí/Cí+i. Esseprocedimento é repetido substituindo C por Ci. As árvoresrecursivas construídas dessa forma formam crianças de Ci atéque Ci seja dividida. As árvores resultantes são uma famíliade árvores HST 104 com métricas embutidas da imagem pré-processada 412.
O aparadar de árvore 418 reduz os efeitos de ruidonas comparações de imagem aparar os nós cujos agrupamentoscorrespondentes contêm menos do que um determinado númerolimite de pixels, tipicamente 100 pixels. Deve-se notar queC(í+d=B{x, d}nCi, isso é, o agrupamento não é idêntico à es-fera mas é o conjunto de pixels contido dentro da esfera. Umconjunto de pixels geralmente não é muito esférico, de formaque os vetores de formato descritos abaixo assumem um signi-ficado adicional. Em uma implementação, o aparadar de árvore418 pode eliminar a etapa inicial de garantir que o tamanhode um agrupamento seja no máximo de r(log N) por aparar denós pequenos no final da criação de árvore.
Da mesma forma, o filtro de reutilização 420 reduzo ruido pela nova realização de todo o processo de criação eárvore se uma árvore resultante possuir menos que um númerolimite de nós, por exemplo, menos de seis nós. Em outras pa-lavras, uma árvore pequena é uma indicação de um agrupamentoruim e a árvore deve ser recriada com diferentes parâmetrosde agrupamento.
Comparador de Imagem
No exemplo ilustrado de um comparador de imagem404, o motor de diferenciação de árvore 422 recebe uma árvo-re, tal como uma HST, da família de árvores 104 para uma i-magem fonte 100. O motor de diferenciação de árvore 422 re-cebe da mesma forma uma árvore da familia de árvores 104' deuma imagem candidata.
De acordo com essas duas árvores - por exemplo,HSTs - o motor de diferenciação de árvore 422 possui um mo-tor de diferença minima 426 que produz uma medida de dife-rença entre os mesmos. Em uma implementação, o comparador detopologia de árvore 428 leva em consideração a topologia dasárvores enquanto o comparador de topologia de agrupamento430 leva em consideração a topologia dos agrupamentos asso-ciados com os nós de árvore. Com uma HST criança, o motor dediferença minima 426 escalona o peso de cada borda, por e-xemplo, com o diâmetro da árvore mãe. Para cada nó v o motorde diferença minima 426 designa um vetor aveD4 pela concate-nação da localização do agrupamento em v com dois parâmetrosde formato dmin e dmax- Os mesmos são encontrados pela compu-tação do casco convexo H do agrupamento em Vi e configuraçãode dmax para ser a distância máxima entre quaisquer dois pon-tos em H, e também dnu.n=minXeH max y e H p(x,y), onde p(x,y) éa distância de x para y no gráfico de imagem.
Como ilustrado na figura 5, com duas HSTs T 502 eU 502', o motor de diferenciação de árvore 422 computa deforma recursiva uma função de diferenciação de árvore "tree-diff(T,U)", e mapeia entre os conjuntos de nós criança. Ascrianças das raizes de T 502 e U 502' são determinados res-pectivamente, para {ti}kri=i e {u-j} kUj=i. O motor de diferencia-ção de árvore 422 deixa Síj= | | otii-Ouj i i, onde Oy é o vetor deformato em □ descrito acima. 0 motor de diferença minima426 então deixa si ser o par (i,j) que minimiza ôi-,; S2 o parque minimiza ôij com a fileira e coluna de Si removida, etc.Essa seqüência de Si descreve uma combinação entre as crian-ças da raiz de T 502 e das da raiz de U 502'. Se kT * k0,então várias árvores criança não combinarão.
O motor de diferenciação de árvore 422 computa eforma recursiva a função treediff nas crianças combinadas(por exemplo, um nivel superior de crianças combinadas (504,504'); (506, 506'); (508, 508'); e niveis sucessivos de cri-anças combinadas, tal como (510, 510'), etc, produzindo dido par de s±. Para Sdi, o motor de diferenciação de árvore422 então adiciona a diferença dos pesos de borda de cadapar combinado, e a diferença dos vetores av. Se houver qual-quer criança não combinada de T ou U, o motor de diferencia-ção de árvore 422 adiciona o peso de borda total dessas sub-árvores (mas não utiliza os vetores <xv) . O motor de diferen-ciação de árvore 422 obtém o total resultante, que é o valorda função treediff para T e U.
Em uma implementação, em adição às crianças combi-nadas pelos minimos do vetor de formato, o motor de diferen-ciação de árvore 422 realiza vários niveis de busca exausti-va também. Em algumas circunstâncias isso pode fornecer me-lhores resultados. Se treediff (T, U, 0) for a função de di-ferenciação descrita acima, então treediff(T, U, d) tem porobjetivo produzir todas as possíveis combinações entre ascrianças de T e U. Dessa forma, a partir de um nivel superi-or, o motor de diferenciação de árvore 422 chamada tree-dif f (T, U, d-1) para cada par em cada combinação, e retornao minimo matemático, através de todas as combinações, do va-lor total da combinação. Visto que o aparadar de árvore 418descrito acima otimiza geralmente as árvores por aparar dosnós cujos agrupamentos correspondentes contêm menos de umdeterminado número limite de pixels, o número de crianças deT e U não é grande. A produção de uma combinação exaustiva épossível visto que os valores tipicos para d em uma chamadade nivel superior para treediff(T, U, d) são apenas 2 ou 3.
No contexto de uma comparação de duas imagens (porexemplo, G e H) para obter uma medida de similaridade, o mo-tor de criação gráfica de imagem 402 descrito acima computak HSTs a partir de cada imagem (tipicamente k = 10). A famí-lia de árvores (104, 104') para cada imagem é {Ti} e {Ui},respectivamente, onde 1 < i ^ k. O agregador 424 formaAij=treedif f (/ti, Ui) como a matriz das diferenças 432. O mo-tor de vetor 434 forma um vetor d por di=minjAij. Em algumasimplementações, essa operação minima não é simétrica, dessaforma Aij < Ají. O normalizador 436 então agrega os resulta-dos da função treediff: A(G, H)=mean(d) ou A(G,H)=median(d). O último, agregação por mediano, pode fornecermelhores resultados em algumas implementações, talvez porqueé menos sensivel a valores extremo (similar a um filtro me-diano X um filtro de realização de média utilizado para umaimagem com ruido).
Em uma variação, um detector de borda (não ilus-trado) é utilizado para agrupamento no motor de criação deárvore 414. Dessa forma, depois do efeito de passa baixa domotor de transformação de wavelet 408, imagens podem serprocessadas através de um filtro de borda Canny (não ilus-trado) , e as árvores resultantes agrupadas. Visto que o fil-tro de borda Canny não garante que os objetos sejam cercadospor uma curva de borda fechada, o gráfico de imagem utiliza-do para a HST nesse caso pode ser criado utilizando-se a mé-dia Gaussiana para computar as diferenças de valor de pixel.Isso tem o efeito de desencorajar que o agrupamento cruzepequenos espaços entre os pontos finais da borda. Quando omotor de diferenciação de árvore 422 aplica o filtro de bor-da Canny dessa maneira, as HSTs resultantes produzem resul-tados favoráveis em muitas circunstâncias.
Métodos Ilustrativos
A Figura 6 apresenta um método ilustrativo 600 pa-ra comparação de imagem. No fluxograma, as operações são re-sumidas em blocos individuais. O método ilustrativo 600 podeser realizado por hardware, software ou combinações de am-bos, por' exemplo, por componentes do motor de comparação deimagem ilustrativo 306.
No bloco 602 um gráfico é criado a partir de cadaimagem a ser comparada. A representação de uma imagem por umgráfico, de forma que a imagem possa ser digitalmente compa-rada por similaridade ou diferença com outras imagens, en-volve a quantificação da confiabilidade dos pixels que criamuma imagem, por exemplo, pela ponderação das bordas de grá-fico com os valores das diferenças de pixels adjacentes naimagem. Se a imagem for colorida, então os componentes decor dos pixels podem ser utilizados para criar o gráfico, oua imagem colorida pode ser colocada em escala cinza e váriasoutras características não relacionadas com cor dos pixelspõem ser utilizadas para criar o gráfico. Um motor pode cri-ar um gráfico a partir de uma imagem, por exemplo, o motorde comparação de imagem ilustrativo 306, pode incluir outroscomponentes de pré-processamento para tornar o gráfico umindicador confiável da imagem para fins de comparação.
A criação de um gráfico de uma imagem pode ser fa-cilitada por uma transformação de wavelet para obtenção devalores de vetor de coeficiente. Um dos fatores principaisna produção de um gráfico confiável para fins de comparaçãode imagens é a eliminação do ruido irrelevante do gráfico.
Dessa forma, depois da transformação de wavelet, valores in-significantes podem ser zerados, reduzindo, assim, a quanti-dade total de informação com a qual o método precisa lidar.
A criação de um gráfico também pode se beneficiar da reduçãoda imagem e/ou gráfico para um tamanho eficiente.
No bloco 604, uma família de árvores é criada paracada gráfico. Nessa parte do método ilustrativo 600, os grá-ficos que representam as imagens a serem comparadas, enquan-to quantificam as imagens, ainda não prestam facilmente paraas técnicas de comparação matemática que podem ser realiza-das digitalmente. Dessa forma, ao invés de se tentar compa-rar os gráficos diretamente, as métricas de cada gráfico sãoembutidas em uma familia de árvores. As árvores bem separa-das hierárquicas (HSTs), por exemplo, tem boa utilização nastécnicas de comparação matemática que podem ser realizadasdigitalmente com eficiência. Dessa forma, a imagem se tornaum gráfico, que, por sua vez, se torna uma familia de árvo-res relacionadas. Agrupamentos e nós de árvores permitem queas imagens sejam comparadas matematicamente, isso é, em umaforma que possa ser manipulada digitalmente e não se baseiediretamente nas qualidades visuais das imagens, para fins decomparação.
No bloco 606, as famílias de árvores para duas i-magens a serem comparadas são diferenciadas uma da outra pa-ra obter uma medição de similaridade. Em outras palavras, asfamilias de árvores que possuem a informação gráfica embuti-da são comparadas para obter uma medição de similaridade pa-ra as imagens que representam. Em uma implementação, vistoque a familia de árvores que representa uma imagem é criadade forma recursiva, a técnica de diferenciação de árvore éaplicada de forma interativa às HSTs raiz e suas árvorescriança relacionadas. Em uma implementação, a diferenciaçãoinclui a compilação de uma matriz de diferenças e vetoriza-ção da matriz de modo que um processo de realização de média(ou descoberta de um mediano) possa resumir as diferençascom uma única medição de similaridade.
Os sistemas em métodos descritos aqui podem embu-tir métricas gráficas nas métricas de árvore com distorçãobaixa. De acordo com um gráfico geral definindo uma métrica,uma inclusão em uma métrica de árvore tem Q(n) distorção(onde n é o número de pontos em G) . No entanto, com um grá-fico G, uma familia de métricas de árvore {Ti} juntamentecom as inclusões G-^Ti (de forma que, de acordo com quais-quer dois pontos, x, y e G) a distorção esperada de x, yTi através de uma escolha aleatória de Ti é 0 (log n) .
Conclusão
0 assunto descrito acima pode ser implementado emhardware, software, firmware, etc, ou combinações dos mes-mos. Em determinadas implementações, o assunto pode ser des-crito no contexto geral das instruções executáveis por com-putador, tal como módulos de programa, sendo executados porum dispositivo de computação ou dispositivo de comunicações.Geralmente, os módulos de programa incluem rotinas, progra-mas, objetos, componentes, estruturas de dados, etc. que re-alizam tarefas particulares ou implementem tipos de dadosabstratos particulares. 0 assunto também pode ser praticadoem ambientes de comunicações distribuídos onde as tarefassão realizadas através da comunicação sem fio pelos disposi-tivos de processamento remoto que são conectados através deuma rede de comunicações. Em uma rede sem fio, os módulos deprograma podem ser localizados em ambas as midias de armaze-namento de dispositivo de comunicações local e remota inclu-indo os dispositivos de armazenamento em memória.
A discussão acima descreve os sistemas e métodosilustrativos para comparação de imagem. Apesar de o assuntoter sido descrito em linguagem especifica de característicasestruturais e/ou atos metodológicos, deve-se compreender queo presente assunto definido nas reivindicações em anexo nãodeve ser necessariamente limitado às características ou atosespecíficos descritos acima. Ao invés disso, as caracterís-ticas e atos específicos descritos acima são descritos comoformas ilustrativas da implementação das reivindicações.

Claims (20)

1. Método, CARACTERIZADO pelo fato de compreender:a representação de uma primeira imagem como umprimeiro gráfico e uma segunda imagem como um segundo gráfi-co, onde cada vértice nos primeiro e segundo gráficos cor-responde a um pixel nas imagens respectivas;a designação de um peso para cada borda entre osvértices em cada gráfico não direcionado, onde o peso cor-responde a uma diferença entre os valores de pixel adjacentes;a derivação de uma primeira familia de árvores apartir do primeiro gráfico e de uma segunda familia de árvo-res do segundo gráfico, onde as métricas de gráfico são em-butidas nas famílias de árvores; ea determinação de uma medição de diferença para asprimeira e segunda imagens com base em uma medição de dife-rença entre as primeira e segunda familias de árvores.
2. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a representação das primeira esegunda imagens como primeiro e segundo gráficos incluir oprocessamento de cada imagem com uma transformação de wavelet.
3. Método, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de a transformação de wavelet com-preender uma transformação de wavelet Haar de nivel três.
4. Método, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de compreender adicionalmente a re-dução de cada imagem para reduzir o ruído resultando em umaimagem pré-processada.
5. Método, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de compreender adicionalmente a re-dução de cada imagem para aproximadamente 70 pixels na lar-gura para formar uma imagem pré-processada.
6. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a derivação de uma familia de ár-vores compreender a derivação de uma familia de árvores hie-rárquicas bem separadas pela decomposição de agrupamento hi-erárquico recursiva de uma imagem.
7. Método, de acordo com a reivindicação 6,CARACTERIZADO pelo fato de a decomposição de agrupamento hi-erárquico recursivo incluir:a seleção de um agrupamento de pixels a partir daimagem pré-processada, uma localização de pixel randômica xno agrupamento de pixels, um tamanho de agrupamento r, e umraio d igual a -r(log N)(log x) onde N é um número de pixelsna imagem pré-processada, ea geração de agrupamentos criança do agrupamentode pixels até que o agrupamento de pixels seja dividido, on-de a geração inclui a construção recursiva de agrupamentoscriança nos raios sucessivos de x, onde cada agrupamentocriança é configurado para a razão do agrupamento obtidopreviamente dividido pelo agrupamento no raio atual.
8. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a determinação de uma diferençaentre a primeira familia de árvores e a segunda familia deárvores incluir a comparação de uma topologia da primeirafamília de árvores e a segunda família de árvores e a compa-ração de uma topologia de agrupamentos associados com nós deárvore das primeira e segunda famílias.
9. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a determinação de uma diferençaentre a primeira família de árvores e a segunda família deárvores incluir a computação de um casco convexo de uma a-grupamento associado com cada nó da primeira família de ár-vores e segunda família de árvores para obtenção dos parâme-tros de formato para esse nó, designando um vetor de formatopara cada nó pela concatenação da localização do agrupamentoassociado com o nó com os parâmetros de formato, e encon-trando uma medida de diferença que minimize a diferença en-tre os vetores de formato para os conjuntos respectivos denós criança das primeira e segunda famílias de árvore.
10. Método, de acordo com a reivindicação 19,CARACTERIZADO pelo fato de compreender adicionalmente a a-gregação de diferenças através dos nós de árvores pela for-mação de um vetor das diferenças minimizadas dos vetores deformato e normalizando os componentes do vetor.
11. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo - fato de compreender adicionalmente a re-petição sucessiva do método para a primeira imagem e elemen-tos de um conjunto de imagens, para encontrar o elemento doconjunto com maior similaridade com a primeira imagem.
12. Meio de armazenamento, CARACTERIZADO pelo fatode compreender uma pluralidade de instruções executáveisque, quando executada por um dispositivo de computação, im-plementa um método, de acordo com a reivindicação 1.
13. Motor de comparação de imagem, CARACTERIZADOpelo fato de compreender:um motor de criação de gráficos de imagem para de-rivar os gráficos não direcionados a partir de imagens cor-respondentes, onde os vértices dos gráficos não direcionadoscorrespondem aos pixels nas imagens;um motor de criação de árvore para derivar uma fa-mília de árvores de cada gráfico não direcionado;um motor de diferenciação de árvore para determi-nar uma diferença mínima entre os nós correspondentes de fa-mílias de árvores;um agregador para compilar uma matriz de diferen-ças entre famílias de árvores; eum motor de vetor para derivar uma medição de si-milaridade para duas imagens a partir da matriz de diferenças.
14. Motor de comparação de imagem, de acordo com areivindicação 13, CARACTERIZADO pelo fato de o motor de cri-ação gráfica de imagem incluir um elemento de escala cinzapara pré-processar imagens coloridas, um motor de transfor-mação de wavelet para determinar os valores de vetor de coe-ficiente de pixel, e um redutor para reduzir o tamanho daimagem e para reduzir o ruído.
15. Motor de comparação de imagem, de acordo com areivindicação 13, CARACTERIZADO pelo fato de o motor de cri-ação de árvore incluir adicionalmente um recursor de agrupa-mento para dividir uma imagem representada por um gráficonão direcionado para dentro dos agrupamentos bem separados.
16. Motor de comparação de imagem, de acordo com areivindicação 13, CARACTERIZADO pelo fato de o motor de cri-ação de árvore incluir adicionalmente um aparadar de árvorepara remover nós de árvore associados com os agrupamentoscorrespondentes que possuem um número de nós abaixo de umlimite.
17. Motor de comparação de imagem, de acordo com areivindicação 13, CARACTERIZADO pelo fato de o motor de cri-ação de árvore incluir adicionalmente um filtro de reutili-zação para reiniciar uma imagem no elemento de criação grá-fica de imagem se uma árvore possuir um número de nós abaixode um limite.
18. Motor de comparação de imagem, de acordo com areivindicação 13, CARACTERIZADO pelo fato de o motor de di-ferenciação de árvore incluir adicionalmente um motor de di-ferença minima incluindo um comparador de topologia de árvo-re e um comparador de topologia de agrupamento.
19. Sistema, CARACTERIZADO pelo fato de compreender :meios para derivar gráficos a partir de imagenscorrespondentes;meios para derivar uma familia de árvores de cadagráfico; emeios para determinar uma diferença minima entreas famílias de árvores de duas imagens diferentes.
20. Sistema, de acordo com a reivindicação 19,CARACTERIZADO pelo fato de compreender adicionalmente meiospara selecionar uma imagem e meios para encontrar uma imagemmais similar à imagem selecionada a partir de um conjunto deimagens, com base nas diferenças minimas entre famílias deárvores.
BRPI0610739-7A 2005-05-31 2006-04-27 comparação de imagem por inclusão métrica BRPI0610739A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/141.362 2005-05-31
US11/141,362 US7536064B2 (en) 2005-05-31 2005-05-31 Image comparison by metric embeddings
PCT/US2006/016609 WO2006130292A2 (en) 2005-05-31 2006-04-27 Image comparison by metric embeddings

Publications (1)

Publication Number Publication Date
BRPI0610739A2 true BRPI0610739A2 (pt) 2010-07-20

Family

ID=37463452

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0610739-7A BRPI0610739A2 (pt) 2005-05-31 2006-04-27 comparação de imagem por inclusão métrica

Country Status (9)

Country Link
US (1) US7536064B2 (pt)
EP (1) EP1886256A2 (pt)
JP (1) JP2008542911A (pt)
KR (1) KR101183391B1 (pt)
CN (1) CN101194272A (pt)
BR (1) BRPI0610739A2 (pt)
IL (1) IL186757A0 (pt)
RU (1) RU2007144501A (pt)
WO (1) WO2006130292A2 (pt)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008053493A2 (en) * 2006-11-02 2008-05-08 Famillion Ltd. Method and system for computerized management of related data records
US8452108B2 (en) * 2008-06-25 2013-05-28 Gannon Technologies Group Llc Systems and methods for image recognition using graph-based pattern matching
JP2011517358A (ja) * 2009-04-22 2011-06-02 ペキン ユニバーシティ 対話型多ラベル付け画像分割のための連結性類似度に基づくグラフ学習法
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8488873B2 (en) * 2009-10-07 2013-07-16 Apple Inc. Method of computing global-to-local metrics for recognition
US8630509B2 (en) * 2009-11-03 2014-01-14 Samsung Electronics Co., Ltd. Structured grids for label propagation on a finite number of layers
US8731261B2 (en) 2010-02-23 2014-05-20 Loma Linda University Method of analyzing a medical image
CN101882305B (zh) * 2010-06-30 2014-02-05 中山大学 一种图像增强处理的方法
KR101348904B1 (ko) * 2012-01-20 2014-01-09 한국과학기술원 고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체
US20130155327A1 (en) * 2012-02-01 2013-06-20 Geoffrey Louis Barrows Method to Process Image Sequences with Sub-Pixel Displacements
CN103559705B (zh) * 2013-10-23 2017-02-22 浙江工业大学 一种比较不同植物形态相似度的计算机方法
US9830567B2 (en) 2013-10-25 2017-11-28 Location Labs, Inc. Task management system and method
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
US10762283B2 (en) * 2015-11-20 2020-09-01 Adobe Inc. Multimedia document summarization
US11064219B2 (en) * 2018-12-03 2021-07-13 Cloudinary Ltd. Image format, systems and methods of implementation thereof, and image processing
CN111814781A (zh) * 2019-04-11 2020-10-23 富士通株式会社 用于对图像块识别结果进行校正的方法、设备和存储介质
US11295483B1 (en) * 2020-10-01 2022-04-05 Bank Of America Corporation System for immersive deep learning in a virtual reality environment

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3141004B2 (ja) * 1998-08-31 2001-03-05 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 動画中のオブジェクトを分類する方法
US6400846B1 (en) * 1999-06-04 2002-06-04 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to search for object surfaces
US6636849B1 (en) * 1999-11-23 2003-10-21 Genmetrics, Inc. Data search employing metric spaces, multigrid indexes, and B-grid trees
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US7298931B2 (en) 2002-10-14 2007-11-20 Samsung Electronics Co., Ltd. Image retrieval method and apparatus using iterative matching
GB0226787D0 (en) * 2002-11-18 2002-12-24 Qinetiq Ltd Measurement of mitotic activity

Also Published As

Publication number Publication date
KR20080021592A (ko) 2008-03-07
JP2008542911A (ja) 2008-11-27
EP1886256A2 (en) 2008-02-13
WO2006130292A2 (en) 2006-12-07
RU2007144501A (ru) 2009-06-10
US7536064B2 (en) 2009-05-19
KR101183391B1 (ko) 2012-09-14
US20060269167A1 (en) 2006-11-30
WO2006130292A3 (en) 2007-12-21
IL186757A0 (en) 2008-04-13
CN101194272A (zh) 2008-06-04

Similar Documents

Publication Publication Date Title
BRPI0610739A2 (pt) comparação de imagem por inclusão métrica
CN107644006B (zh) 一种基于深度神经网络的手写体中文字库自动生成方法
US7933451B2 (en) Feature extraction using pixel-level and object-level analysis
US10489914B2 (en) Method and apparatus for parsing and processing three-dimensional CAD model
CN110827213A (zh) 一种基于生成式对抗网络的超分辨率图像修复方法
CN109920021B (zh) 一种基于正则化宽度学习网络的人脸素描合成方法
US20220327657A1 (en) Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks
Yoon et al. Surface and normal ensembles for surface reconstruction
US20230267686A1 (en) Subdividing a three-dimensional mesh utilizing a neural network
JP2006260401A (ja) 画像処理装置、方法、およびプログラム
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN115565019A (zh) 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
US6674907B1 (en) Color image quantization using a hierarchical color perception model
López-Rubio Probabilistic self-organizing maps for qualitative data
CN113208641A (zh) 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
KR20200133424A (ko) 자기조직 생성망 학습 방법 및 시스템
US20220180016A1 (en) Determining 3D Structure Features From DSM Data
US20230267652A1 (en) Generating artistic content from a text prompt or a style image utilizing a neural network model
Sulema et al. Vector image retrieval methods based on fuzzy patterns
CN114359603A (zh) 一种多模态遥感图像领域自适应无监督匹配方法
CN114219701A (zh) 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质
CN113610125B (zh) 一种基于编码器-解码器图神经网络的高光谱分类方法
US20230061244A1 (en) Continuous curve textures

Legal Events

Date Code Title Description
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE AS 5A E 6A ANUIDADES.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2161 DE 05/06/2012.