BRPI0712728A2 - recuperaÇço de imagem baseado em conteédo - Google Patents

recuperaÇço de imagem baseado em conteédo Download PDF

Info

Publication number
BRPI0712728A2
BRPI0712728A2 BRPI0712728-6A BRPI0712728A BRPI0712728A2 BR PI0712728 A2 BRPI0712728 A2 BR PI0712728A2 BR PI0712728 A BRPI0712728 A BR PI0712728A BR PI0712728 A2 BRPI0712728 A2 BR PI0712728A2
Authority
BR
Brazil
Prior art keywords
images
query
image set
trace
image
Prior art date
Application number
BRPI0712728-6A
Other languages
English (en)
Inventor
Philip Ogunbona
Lei Ye
Original Assignee
Univ Wollongong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2006902880A external-priority patent/AU2006902880A0/en
Application filed by Univ Wollongong filed Critical Univ Wollongong
Publication of BRPI0712728A2 publication Critical patent/BRPI0712728A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

RECUPERAÇçO DE IMAGEM BASEADA EM CONTEéDO Um sistema de recuperação de imagem baseado em conteúdo que extrai imagens a partir de um banco de dados de imagens pela construção de um conjunto de consulta de traços e pela exibição das imagens que têm uma métrica de dissimilaridade mínima a partir das imagens no banco de dados. A métrica de dissimilaridade é uma soma ponderada de distâncias entre traços no conjunto de consulta e traços das imagens no banco de dados. O método é útil para busca de imagem, tal como recuperação de imagem baseada na web e reconhecimento facial.

Description

RECUPERAÇÃO DE IMAGEM BASEADA EM CONTEÚDO
Esta invenção se refere a uma ferramenta de busca para a recuperação de imagens. Em particular, ela se refere a um método de recuperação de imagens com base no conteúdo das imagens.
ANTECEDENTES DA INVENÇÃO
Um dos desafios mais significativos encontrados na era da informação é o problema de identificação de uma informação requerida a partir da vasta quantidade de informação que está acessível, particularmente através da rede mundial. Numerosos agentes de busca baseados em texto foram desenvolvidos e empregados. Os mais bem conhecidos destes são agentes de busca populares que usam busca por palavra chave para a recuperação de páginas a partir da rede mundial. Estes agentes incluem Google® e Yahoo®.
Embora tenha sido dito que uma imagem vale mais do que mil palavras, não pode ser dito que a tecnologia de recuperação de imagem está tão desenvolvida quanto a tecnologia de recuperação baseada em texto. A recuperação
2 0 de imagens a partir de uma grande coleção de imagens
permanece um problema significativo. Não é mais prático que um usuário navegue por uma coleção de miniaturas para a seleção de uma imagem desejada. Por exemplo, uma busca tão simples quando "Sydney Opera House" resulta em 26000 acertos em uma busca no Google® Imagens no momento da escrita deste.
As soluções existentes para a recuperação de uma imagem em particular a partir de um grande corpus de imagens envolvem três problemas relacionados. Em primeiro
3 0 lugar, as imagens devem ser indexadas de alguma forma, em segundo lugar, uma consulta deve ser construída e, em terceiro lugar, os resultados da consulta devem ser apresentados de uma forma relevante. Tradicionalmente, as imagens têm sido indexadas e buscadas usando-se palavras chaves com os resultados sendo apresentados usando alguma forma de métrica relevante. Uma abordagem como essa é repleta de dificuldades, uma vez que uma alocação de palavra chave geralmente requer uma etiquetagem humana, o que é um processo de tempo intensivo, e muitas imagens podem ser descritas por múltiplas palavras chaves.
Uma abordagem alternativa é usar métodos de classificação semântica, conforme descrito por Wang et al. em "SIMPLIcity: Semantics-Sensitive Integrated Matching for Picture Libraries" publicado em IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, N0 9, setembro de 2001. 0 artigo descreve um sistema de recuperação baseado em região que caracteriza regiões por cor, textura, formato e localização. 0 sistema classifica as imagens em categorias semânticas, tais como texturizadas - não texturizadas, gráficos - fotografias. As imagens então são recuperadas pela construção de uma medida de similaridade com base em um esquema de combinação de região que integra propriedades de todas as regiões nas imagens. O artigo de Wang também inclui um sumário útil de tecnologias conhecidas de recuperação de imagem baseadas em conteúdo.
Uma outra abordagem é descrita por Jacobs et al. em "Fast Multiresolution Image Querying", publicado em Proceedings of SIGGRAPH 95, In Computer Graphics Proceedings, Annual Conference Series, 1995, ACM SIGGRAPH, Nova York, 1995. Jacobs et al. descrevem uma abordagem pré- processamento que constrói assinaturas para cada imagem em um banco de dados usando uma decomposição de ondulação. Uma assinatura para uma imagem de consulta é obtida usando-se o mesmo processo. A assinatura de consulta então é usada para acesso às assinaturas do banco de dados de imagem e uma métrica construída para a seleção de imagens com assinaturas similares. 0 problema com esta abordagem é a necessidade de pré-processar todas as imagens buscáveis de modo a se derivar uma assinatura. Iqbal e Aggarwal investigam o impacto de integração de
traço na acurácia de recuperação no seu artigo "Feature Integration, Multi-image Queries and Relevance Feedback in Image Retrieval" apresentado na 6th International Conference on Visual Information Systems, Miami, Flórida, 24 a 26 de setembro de 2003, pp. 467-474. Eles extraíram traços de estrutura, cor e textura de imagens em um banco de dados de 10221 imagens. Então, eles mediram a performance de recuperação usando estrutura apenas, cor apenas, textura apenas, cor e textura, e estrutura, cor e textura. Para recuperação de imagens, eles usaram o CIRES (Sistema de Recuperação de Imagem Baseado em Conteúdo) desenvolvido pela Universidade do Texas - Austin. Talvez surpreendentemente, eles descobriram que uma recuperação de imagem era mais efetiva quando estrutura, cor e textura foram usadas. Eles também descobriram que o uso de múltiplas imagens de consulta resultou em uma recuperação de imagem mais efetiva.
Mais ainda, Iqbal e Aggarwal investigaram o benefício de interação de usuário através de um feedback de relevância. 0 feedback de relevância permite a um usuário indicar imagens positivas, negativas e não seguras a partir da coleção, se imagens tiverem retornado por uma consulta inicial. A consulta é modificada pelo feedback de usuário e rodada de novo. Eles encontram um melhoramento significativo na recuperação de imagem com um feedback de usuário.
Embora a técnica anterior recente para recuperação de imagem tenha uma orientação em direção ao problema de recuperação de imagens a partir da rede, será apreciado por pessoas versadas na técnica que o problema não é dependente da natureza do armazenamento de dados. A mesma técnica anterior é relevante para a seleção de uma imagem a partir de um armazenamento local de imagens em um computador pessoal. OBJETIVO DA INVENÇÃO
É um objetivo da presente invenção prover um método de busca para estimativa de recuperação de imagem baseada em conteúdo.
Outros objetivos serão evidentes a partir da descrição a seguir.
EXPOSIÇÃO DA INVENÇÃO
Em termos amplos, a invenção reside em um método de extração de imagens a partir de um conjunto de imagens, incluindo as etapas de: construção de um conjunto de consulta pela extração de
um conjunto de traços de uma ou mais imagens selecionadas;
construção de uma métrica de dissimilaridade como uma soma ponderada de distâncias entre os traços no conjunto de consulta e traços de imagens no conjunto de imagens; e 3 0 exibição das imagens tendo uma métrica de diξsimilaridade mínima.
Preferencialmente, a soma ponderada usa pesos derivados do conjunto de consulta.
Adequadamente, a invenção ainda inclui a etapa de classificação da ordem de exibição das imagens exibidas. As imagens poderiam ser exibidas em ordem de menos dissimilar pelo aumento da dissimilaridade, embora outros esquemas de classificação, tais como tamanho, idade, nome de arquivo também fossem possíveis. BREVES DETALHES DOS DESENHOS
Para ajudar no entendimento da invenção, as modalidades preferidas serão descritas, agora, com referência às figuras a seguir, nas quais:
a FIG. 1 é um fluxograma que exibe as etapas principais em um método de recuperação de imagem baseado em conteúdo;
a FIG. 2 exibe um instantâneo de tela que exemplifica uma busca inicial como um ponto de partida para uma primeira aplicação da invenção; a FIG. 3 exibe um instantâneo de tela que exemplifica
um conjunto de imagens a partir da busca inicial;
a FIG. 4 exibe o instantâneo de tela da FIG. 3 com três imagens selecionadas para a formação do conjunto de consulta;
a FIG. 5 exibe um instantâneo de tela dos resultados
de recuperação de imagem baseado em conteúdo de acordo com a invenção;
a FIG. 6 exibe um instantâneo de tela miniaturas de imagem em um diretório; e a FIG. 7 exibe o instantâneo de tela da FIG. 6 com três imagens selecionadas para a formação de um conjunto de consulta.
DESCRIÇÃO DETALHADA DOS DESENHOS
Na descrição de diferentes modalidades da presente invenção, números de referência comuns são usados para a descrição de recursos similares.
A meta do método é a recuperação de imagens com base no conteúdo de traço de imagens e em um conceito de consulta de usuário. 0 conceito de consulta de usuário é automaticamente derivado de exemplos de imagem supridos ou selecionados pelo usuário. Ele alcança a meta com um método inovador para extração de importância perceptiva de traços visuais de imagens e uma métrica de dissimilaridade linear ponderada computacionalmente eficiente que produz resultados de recuperação rápidos e acurados.
Em sistemas de consulta de imagem múltipla, uma consulta é um conjunto de imagens de exemplo Q = {Iqi, Iq2, ..., IqQ} . 0 conjunto de imagens de exemplo pode ser qualquer número de imagens, incluindo um. Muito da técnica anterior constrói uma consulta baseada em uma única imagem de consulta, mas a abordagem preferida desta invenção é que um usuário proveja pelo menos duas e, preferencialmente, três imagens. As imagens supridas por usuário podem ser selecionadas diretamente a partir de um banco de dados ou podem ser identificadas através de uma busca de imagem convencional, tal como mencionado acima, usando-se Google® Images.
Para a descrição a seguir, o conjunto de imagem alvo, às vezes denominado o banco de dados de imagem, é definido como T = {lm : m = 1, 2, M} . 0 critério de consulta é expresso como uma medida de similaridade S (Q, Ij) entre o conjunto de consulta Q e uma imagem Ij no conjunto de imagem alvo. Um sistema de consulta Q(Q, S, T) é um mapeamento do conjunto de consulta Q para uma permutação Tp do conjunto de imagem alvo T, de acordo com a similaridade S (Q, Ij), onde Tp = {Im e T : m = l, 2, ..., M} éum conjunto parcialmente ordenado, de modo que S (Q, Im) > S (Q, Im+i) · A principio, as permutações são aquelas do banco de dados inteiro, na prática apenas as imagens de saída classificadas no topo sendo avaliadas.
0 método de recuperação de imagem baseado em conteúdo é resumido na FIG. 1 e explicado em maiores detalhes abaixo. 0 método começa com o conjunto de consulta 1. O processo de extração de traço 2 extrai um conjunto de traços usando um conjunto de ferramenta de traço 3, o qual pode ser qualquer um de uma faixa de ferramentas de traço de terceiros, incluindo aquelas mencionadas acima. Uma consulta então é formada 4 a partir dos traços extraídos .
A consulta pode ser pensada como uma imagem idealizada construída para ser representativa das imagens no conjunto de consulta.
Um aspecto chave da invenção é o cálculo de uma métrica de dissimilaridade 5, a qual é aplicada ao conjunto de imagem alvo 6 para a identificação de imagens que sejam similares ao conjunto de traços que formam a consulta. As imagens então são classificadas 7 e apresentadas para o usuário 8 . Extração de Traço
O processo de extração de traço se baseia na consulta em descrições estruturais de nível baixo de imagens. Um objeto de imagem I pode ser descrito por um conjunto de traços X = {xn : η = 1, 2, ..., Ν} . Cada traço é representado por um vetor de kn dimensões xn = {xi, X2, ...xkn}, onde Xriii e Lo, bn-iJ cz Rj R é o número real. A enésima extração de traço é um mapeamento a partir da imagem I para o vetor de traço como:
*„=/«(') (1)
A invenção não está limitada ã extração de qualquer conjunto em particular de traços. Uma variedade de traços visuais, tais como cor, textura ou traços faciais, pode ser usada. Ferramentas de extração de traço visual de terceiros podem ser conectadas ao sistema.
Por exemplo, as ferramentas visuais de MPEG-7 populares são adequadas, o Descritor de Layout de Cor (CLD) de MPEG-7 sendo uma representação muito compacta e invariante para resolução de cor, o que é adequado para uma recuperação de imagem à alta velocidade. Ele usa apenas 12 coeficientes de DCT 8x8 para a descrição do conteúdo a partir de três conjuntos (seis para luminância e três para cada crominância), conforme expresso como se segue:
*<:/.„ .......Y^ChlXb7,Cb^CrsSyi,Cr^ (2)
0 Descritor de Histograma de Borda (EHD) de MPEG-7 usa
80 intervalos de classe de histograma para descrição do
conteúdo a partir de 16 subimagens, conforme expresso como se segue. xkHu = (^Λ>·"Λο)
Embora o conjunto de ferramentas de MPEG-7 seja útil, 3 0 a invenção não está limitada a este conjunto de ferramentas de extração. Conforme é evidente a partir da técnica anterior em que há uma faixa de ferramentas de extração de traço que caracterizam imagens de acordo com traços tais como cor, tom, luminância, estrutura, textura, localização, etc.
Conforme mencionado acima, a invenção pode ser aplicada a um conjunto de traços faciais para a identificação de uma face a partir de um banco de dados de faces. 0 processo de extração de traço pode extrair traços faciais tais como distância entre os olhos, cor dos olhos, largura do nariz, tamanho da boca, etc. Formação de Traço de Consulta
O conceito de consulta do Patente U.S. N0 é implicado pelas imagens de exemplo selecionadas pelo usuário. O módulo de formação de traço de consulta gera um conjunto de traço de imagem de consulta virtual que é derivado a partir das imagens de exemplo.
A fusão de traços formando uma imagem pode ser representada por: 2 0 χ1 =(x; ®x; ©....©a-;,) (4)
Para um conjunto de imagens de consulta, a fusão de traços é:
x =(x'er©....e/) (5)
A formação de traço de consulta implica em uma imagem idealizada, a qual é construída pela atribuição de peso a cada traço no conjunto de traço usado na etapa de extração de traço. O peso aplicado ao iésimo traço Xi é:
j"' / I I l » * . -m „m „"> i /K X
A imagem idealizada I0 construída a partir do conjunto de imagens de consulta Q então poderia ser considerada como sendo a soma ponderada de traços Xi no conjunto de traço:
1O=Xw^ (7)
Computação de Dissimilaridade
O espaço de métrica de traço Xn é um subconjunto convexo fechado delimitado do espaço vetorial de dimensão kn Rkn. Portanto, uma média, ou intervalo, de vetores de traço é um vetor de traço no conjunto de traço. Esta é a
base para um movimento de ponto de consulta e algoritmos de protótipo de consulta. Contudo, o vetor de traço médio pode não ser um bom representante de outros vetores de traço. Por exemplo, a cor cinza pode não ser um bom representante das cores branco e preto.
No caso de uma consulta de imagem múltipla, a
distância é medida entre o conjunto de imagens de consulta Q= {lql, Iq2, ..., Iq0} e uma imagem Ij e T1 como:
φ,/^ΜΙνν····7**7,) (8)
A invenção usa uma função de distância expressa como
uma soma ponderada de distâncias de traço individuais, conforme se segue:
.'-I
Esta equação calcula uma medida, a qual é a soma
ponderada de uma métrica de distância d entre um traço de consulta xq e o traço consultado xn.
Os pesos Wi são atualizados de acordo com o conjunto de consulta usando-se a equação (6). Por exemplo, o usuário
3 0 pode estar buscando encontrar imagens de carros de cor brilhante. As buscas baseadas em texto convencionais não podem ajudar, uma vez que a consulta 'carro' recuperará todos os carros de qualquer cor e uma busca sobre iCarros brilhantes' apenas recuperará imagens as quais tenham sido descritas com estas palavras, o que é improvável. Contudo, uma busca textual inicial sobre carros recuperará uma faixa de carros de vários tipos e cores. Quando o usuário selecionar um conjunto de consulta de imagens que sejam brilhantes, a formação de traço de consulta proporcionará maior peso ao traço de luminância do que, digamos, à cor ou textura. Por outro lado, se o usuário estiver procurando carros azuis, o conjunto de consulta será selecionado a partir de apenas carros azuis. A formação de traço de consulta proporcionará maior peso ao traço de cor e ao tom azul do que à luminância ou textura.
Em cada caso, a computação de dissimilaridade está determinando um valor de similaridade que é baseado nos traços do conjunto de consulta selecionado pelo usuário, sem ser requerido que o usuário defina o conjunto em particular de traços sendo buscados. Será apreciado que isto é uma abordagem de busca de imagem bem mais intuitiva do que o que está disponível no estado da técnica. Classificação de Resultado
As imagens extraídas a partir do conjunto de imagem usando o conjunto de consulta são convenientemente exibidas de acordo com uma classificação de relevância. Há várias formas de classificação das imagens de saída, e a invenção não está limitada a qualquer processo específico. Uma forma conveniente é usar a medida de dissimilaridade descrita acima. Isto é, as imagens menos dissimilares (mais similares) são exibidas primeiramente, seguida pelas imagens mais dissimilares, até algum número de imagens. Tipicamente, as vinte imagens menos dissimilares poderiam ser exibidas.
Então, a distância entre o conjunto de imagem de
consulta e uma imagem alvo no banco de dados é definida como se segue, conforme é usualmente definido em um espaço métrico.
rf(£,/>min{rf(jr,,*J (10)
10
A medida de (10) tem a vantagem de as imagens classificadas no topo serem similares a uma das imagens de exemplo, o que é altamente esperado em um sistema de recuperação, enquanto, no caso da consulta de protótipo, as
imagens classificadas no topo serão similares a uma imagem de traços médios, o que não é muito similar a qualquer uma das imagens de exemplo. A primeira proporcionará uma experiência melhor ao usuário na maioria das aplicações. Exemplo 1
Uma implementação de demonstração da invenção foi
implementada usando-se as tecnologias de páginas de Java Servlet e JavaServer suportadas pelo servidor de aplicativo da web Apache Tomcat®. Ele busca as imagens com base em um conteúdo de imagem na Internet através de serviços de busca
de imagem comerciais baseados em palavra chave como Google® ou Yahoo®. A implementação atual pode ser acessada usando-se quaisquer navegadores da web, tais como Internet Explorer ou Mozilla / Firefox, e consiste em um processo em três etapas para a busca de imagens a partir da Internet.
3 0 De modo a se demonstrar a operação da invenção, ela foi aplicada ao exemplo de encontrar uma imagem da Sidney Opera House usando Google® Images, o qual foi mencionado acima.
1) Primeira etapa: uma busca baseada em palavra chave, conforme mostrado na FIG. 2. Usar palavras chaves para a recuperação de imagens a partir da Internet através de serviços de busca de imagem baseados em texto para a formação de um conjunto de imagem inicial, conforme mostrado na FIG. 3.
2) Segunda etapa: selecionar imagens de exemplo a
partir dos resultados de busca iniciais, conforme mostrado na FIG. 4. Selecionar exemplos de imagem que o usuário pretende buscar ao clicar em caixas de verificação de imagem apresentadas para o usuário a partir dos resultados
de busca baseados em palavra chave.
3) Terceira etapa: conduzir uma busca de todas as imagens usando a consulta construída a partir das imagens de amostra. Os resultados são apresentados em uma seqüência classificada de acordo com a métrica de similaridade,
2 0 conforme mostrado na FIG. 5.
Conforme pode ser visto a partir do exemplo, as imagens do conjunto de resultado mostrado na FIG. 5 são todas relevantes, ao passo que as imagens mostradas na FIG. 3 incluem imagens de relevância duvidosa.
2 5 Exemplo 2
A invenção pode ser integrada em gerenciadores de arquivo de área de trabalho, tais como Windows Explorer® ou Mac OS X Finder®, ambos os quais atualmente tendo a capacidade de navegar por arquivos de imagens e classificá-
3 0 Ios de acordo com nomes de arquivo de imagem e outros atributos de arquivo, tais como tamanho, tipo de arquivo, etc. Uma pasta típica de imagens é mostrada na FIG. 6 como miniaturas. 0 usuário seleciona várias imagens para a construção do conjunto de consulta ao destacar as imagens que sejam mais próximas da imagem desejada. No exemplo da FIG. 7, o usuário selecionou imagens que têm a Fonte da Baía de Sidney como um fundo para a Sydney Opera House.
O usuário então roda o programa de recuperação de imagem, o qual é convenientemente implementado como um plug-in. Na FIG. 6 e na FIG. 7, a invenção é ativada ao se clicar no ícone de confirmação (marca em V) 9 na barra de ferramentas. Conclusão
0 método de recuperação de imagem baseado em conteúdo descrito acima tem várias vantagens, se comparado com os sistemas da técnica anterior, incluindo:
• A importância perceptiva é derivada automaticamente a partir de exemplos de usuário;
• 0 processo de busca é intuitivo;
· Não é requerido que o usuário selecione traços ou
pesos para traços;
• Uma métrica de dissimilaridade linear ponderada é genérica, aplicável a todos os traços;
• As fórmulas de geração de peso e dissimilaridade são eficientes computacionalmente e produzem resultados de
recuperação muito rápidos;
• As ferramentas de extração de traço são plugáveis - os traços padronizados e de terceiros podem ser integrados na arquitetura;
· Os usuários não precisam suprir exemplos negativos. Por todo o relatório descritivo, o objetivo foi descrever a invenção, sem limitação da invenção a qualquer combinação em particular de recursos alternativos.

Claims (16)

1. Método de identificação de uma ou mais imagens a partir de um conjunto de imagem alvo (T) , o método realizado em pelo menos um sistema de processamento e caracterizado por incluir as etapas de: identificação de duas ou mais imagens como um conjunto de imagem de consulta (Q) ; uma de duas ou mais imagens que formam o conjunto de imagem de consulta (Q) e obtenção de traços de consulta (xqi) a derivação de pesos (wj para cada um dos traços de consulta (xqi) ; construção de uma métrica de dissimilaridade (D) como a soma de distâncias de traço (dj entre os traços de consulta (xqi) e traços alvos correspondentes (xni) extraídos a partir das imagens individuais (Ij) no conjunto de imagem alvo (T), onde as distâncias de traço (di) têm pesos atribuídos pelos pesos (Wi) ; seleção de uma ou mais imagens identificadas a partir do conjunto de imagem alvo (T) , com base na métrica de dissimilaridade (D) ; e caracterizado pelo fato da métrica de dissimilaridade (D) extração de conjuntos de traços (xl) a partir de cada partir dos conjuntos extraídos de traços (x1) ; exibição de uma ou mais imagens identificadas.
2. Método, de acordo com a reivindicação 1 ser:
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato dos conjuntos de traços (x1) serem extraídos usando-se ura conjunto de ferramenta de traço.
4. Método, de acordo com a reivindicação 1, caracterizado pelo fato dos conjuntos de traços (xL) serem extraídos usando-se descrições estruturais de nível baixo do conjunto de imagem de consulta (Q).
5. Método, de acordo com a reivindicação 1, caracterizado pelo fato dos traços serem selecionados a partir do grupo que consiste em cor, textura, tom, luminância, estrutura, localização e traços faciais.
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato da imagem de consulta idealizada (Iq) ser provida pela aplicação de pesos (Wi) a cada um dos traços de consulta (xqi) .
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato da imagem de consulta idealizada ser: <formula>formula see original document page 18</formula> onde Xi é um traço de consulta e Wi é o peso aplicado ao traço de consulta.
8. Método, de acordo com a reivindicação 1, caracterizado pelo fato da soma ponderada de distâncias de traço (dj) usar pesos derivados a partir das duas ou mais imagens formando o conjunto de imagem de consulta (Q).
9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de não ser requerido que o usuário defina os traços.
10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de um número pré-definido de imagens identificadas ser selecionado e exibido com base em imagens identificadas que têm uma métrica de dissimilaridade mínima (D).
11. Método, de acordo com a reivindicação 1, caracterizado por incluir ainda a etapa de classificação da ordem de exibição de uma ou mais imagens identificadas.
12. Método, de acordo com a reivindicação 11, caracterizado pelo fato da classificação ser em ordem de similaridade.
13. Método, de acordo com a reivindicação 11, caracterizado pelo fato da classificação ser ordenada por métrica de dissimilaridade mínima (D).
14. Método, de acordo com a reivindicação 1, caracterizado pelo fato de duas ou mais imagens serem selecionadas por um usuário e uma ou mais imagens identificadas serem selecionadas sem qualquer entrada de usuário adicional.
15. Produto de programa de computador para a extração de imagens a partir de um conjunto de imagem alvo, o produto de programa de computador caracterizado por ser configurado para: receber uma seleção para duas ou mais imagens para a formação de um conjunto de imagem de consulta; extrair um conjunto de características de cada uma das duas ou mais imagens formando um conjunto de imagem de consulta; derivar uma atribuição de peso para cada uma das características a partir de um conjunto de imagem de consulta; construção de uma métrica de dissimilaridade como a soma das distâncias entre os traços ponderados no conjunto de imagem de consulta e traços de imagens no conjunto de imagem alvo; e exibição das imagens extraídas a partir do conjunto de imagem alvo tendo uma métrica de dissimilaridade mínima.
16. Produto de programa de computador, de acordo com a reivindicação 15, caracterizado por ser ainda configurado para a classificação das imagens extraídas em ordem de similaridade.
BRPI0712728-6A 2006-05-29 2007-05-29 recuperaÇço de imagem baseado em conteédo BRPI0712728A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2006902880 2006-05-29
AU2006902880A AU2006902880A0 (en) 2006-05-29 Content based image retrieval
PCT/AU2007/000746 WO2007137352A1 (en) 2006-05-29 2007-05-29 Content based image retrieval

Publications (1)

Publication Number Publication Date
BRPI0712728A2 true BRPI0712728A2 (pt) 2013-01-08

Family

ID=38778013

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0712728-6A BRPI0712728A2 (pt) 2006-05-29 2007-05-29 recuperaÇço de imagem baseado em conteédo

Country Status (15)

Country Link
US (1) US20100017389A1 (pt)
EP (1) EP2030128A4 (pt)
JP (1) JP2009539152A (pt)
KR (1) KR20090035486A (pt)
CN (1) CN101460947A (pt)
AU (1) AU2007266331A1 (pt)
BR (1) BRPI0712728A2 (pt)
CA (1) CA2652714A1 (pt)
IL (1) IL195401A0 (pt)
MX (1) MX2008015175A (pt)
NO (1) NO20085305L (pt)
RU (1) RU2008152075A (pt)
TW (1) TW200818058A (pt)
WO (1) WO2007137352A1 (pt)
ZA (1) ZA200810005B (pt)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100970121B1 (ko) * 2009-12-24 2010-07-13 (주)올라웍스 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
JP2011221606A (ja) * 2010-04-05 2011-11-04 Sony Corp 情報処理方法及びグラフィカルユーザインタフェース
US9652462B2 (en) 2010-04-29 2017-05-16 Google Inc. Identifying responsive resources across still images and videos
US9047319B2 (en) 2010-12-17 2015-06-02 Microsoft Technology Licensing, Llc Tag association with image regions
US9229956B2 (en) 2011-01-10 2016-01-05 Microsoft Technology Licensing, Llc Image retrieval using discriminative visual features
US8589410B2 (en) * 2011-10-18 2013-11-19 Microsoft Corporation Visual search using multiple visual input modalities
CN102368266B (zh) * 2011-10-21 2013-03-20 浙江大学 一种用于网络搜索的无标注图片的排序方法
CN102682084A (zh) * 2012-04-11 2012-09-19 中国科学院上海光学精密机械研究所 基于htm算法的图像检索系统及其图像检索方法
US9274678B2 (en) * 2012-09-13 2016-03-01 Google Inc. Identifying a thumbnail image to represent a video
US9081822B2 (en) * 2013-03-15 2015-07-14 Sony Corporation Discriminative distance weighting for content-based retrieval of digital pathology images
JP5866064B2 (ja) * 2013-04-09 2016-02-17 株式会社日立国際電気 画像検索装置、画像検索方法、および記録媒体
CN104283842B (zh) * 2013-07-02 2019-06-25 中兴通讯股份有限公司 主题管理方法及系统
CN103440646B (zh) * 2013-08-19 2016-08-10 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法
JP6027065B2 (ja) * 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
JP6491581B2 (ja) * 2015-10-06 2019-03-27 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US10650046B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Many task computing with distributed file system
US10346476B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Sketch entry and interpretation of graphical user interface design
US10650045B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
US10642896B2 (en) 2016-02-05 2020-05-05 Sas Institute Inc. Handling of data sets during execution of task routines of multiple languages
US10795935B2 (en) 2016-02-05 2020-10-06 Sas Institute Inc. Automated generation of job flow definitions
WO2018017059A1 (en) 2016-07-19 2018-01-25 Hewlett-Packard Development Company, L.P. Image recognition and retrieval
US10176202B1 (en) * 2018-03-06 2019-01-08 Xanadu Big Data, Llc Methods and systems for content-based image retrieval
EP3776571A1 (en) 2018-03-29 2021-02-17 Google LLC Similar medical image search
US10191921B1 (en) 2018-04-03 2019-01-29 Sas Institute Inc. System for expanding image search using attributes and associations
JP7157232B2 (ja) 2018-07-11 2022-10-19 グーグル エルエルシー 放射線医学のための類似画像の検索
US11126649B2 (en) 2018-07-11 2021-09-21 Google Llc Similar image search for radiology
US11921831B2 (en) * 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US6463432B1 (en) * 1998-08-03 2002-10-08 Minolta Co., Ltd. Apparatus for and method of retrieving images
US7016916B1 (en) * 1999-02-01 2006-03-21 Lg Electronics Inc. Method of searching multimedia data
US6606623B1 (en) * 1999-04-09 2003-08-12 Industrial Technology Research Institute Method and apparatus for content-based image retrieval with learning function
US6859802B1 (en) * 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
US6748398B2 (en) * 2001-03-30 2004-06-08 Microsoft Corporation Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
US6834288B2 (en) * 2001-04-13 2004-12-21 Industrial Technology Research Institute Content-based similarity retrieval system for image data
US6901411B2 (en) * 2002-02-11 2005-05-31 Microsoft Corporation Statistical bigram correlation model for image retrieval
US7065521B2 (en) * 2003-03-07 2006-06-20 Motorola, Inc. Method for fuzzy logic rule based multimedia information retrival with text and perceptual features

Also Published As

Publication number Publication date
EP2030128A4 (en) 2010-01-13
CA2652714A1 (en) 2007-12-06
AU2007266331A1 (en) 2007-12-06
NO20085305L (no) 2009-02-20
EP2030128A1 (en) 2009-03-04
CN101460947A (zh) 2009-06-17
US20100017389A1 (en) 2010-01-21
MX2008015175A (es) 2009-04-23
IL195401A0 (en) 2009-08-03
RU2008152075A (ru) 2010-07-10
JP2009539152A (ja) 2009-11-12
WO2007137352A1 (en) 2007-12-06
TW200818058A (en) 2008-04-16
KR20090035486A (ko) 2009-04-09
ZA200810005B (en) 2009-07-29

Similar Documents

Publication Publication Date Title
BRPI0712728A2 (pt) recuperaÇço de imagem baseado em conteédo
Kherfi et al. Image retrieval from the world wide web: Issues, techniques, and systems
Hua et al. Clickage: Towards bridging semantic and intent gaps via mining click logs of search engines
JP5309155B2 (ja) イメージ検索における対話型概念学習
Gupta et al. Nonnegative shared subspace learning and its application to social media retrieval
US9239967B2 (en) Incremental image clustering
KR101387147B1 (ko) 얼굴 인식을 이용한 이미지 식별
CN102549603B (zh) 基于相关性的图像选择
US7430566B2 (en) Statistical bigram correlation model for image retrieval
US20110188713A1 (en) Facial image recognition and retrieval
US8498455B2 (en) Scalable face image retrieval
US20150178321A1 (en) Image-based 3d model search and retrieval
US20110196859A1 (en) Visual Search Reranking
CN103559191B (zh) 基于隐空间学习和双向排序学习的跨媒体排序方法
US20100125568A1 (en) Dynamic feature weighting
US8527564B2 (en) Image object retrieval based on aggregation of visual annotations
US9977816B1 (en) Link-based ranking of objects that do not include explicitly defined links
US20130246416A1 (en) Grouping search results into a profile page
US8885981B2 (en) Image retrieval using texture data
Lin et al. Association rule mining with a correlation-based interestingness measure for video semantic concept detection
Nguyen et al. A feature-word-topic model for image annotation
Mironică et al. Hierarchical clustering relevance feedback for content-based image retrieval
Zhang et al. Hyperlink-aware object retrieval
Nuray-Turan et al. Exploiting web querying for web people search in weps2
Su et al. Cross-modality based celebrity face naming for news image collections

Legal Events

Date Code Title Description
B11A Dismissal acc. art.33 of ipl - examination not requested within 36 months of filing
B11Y Definitive dismissal - extension of time limit for request of examination expired [chapter 11.1.1 patent gazette]