BRPI0712728A2 - recuperaÇço de imagem baseado em conteédo - Google Patents
recuperaÇço de imagem baseado em conteédo Download PDFInfo
- Publication number
- BRPI0712728A2 BRPI0712728A2 BRPI0712728-6A BRPI0712728A BRPI0712728A2 BR PI0712728 A2 BRPI0712728 A2 BR PI0712728A2 BR PI0712728 A BRPI0712728 A BR PI0712728A BR PI0712728 A2 BRPI0712728 A2 BR PI0712728A2
- Authority
- BR
- Brazil
- Prior art keywords
- images
- query
- image set
- trace
- image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
RECUPERAÇçO DE IMAGEM BASEADA EM CONTEéDO Um sistema de recuperação de imagem baseado em conteúdo que extrai imagens a partir de um banco de dados de imagens pela construção de um conjunto de consulta de traços e pela exibição das imagens que têm uma métrica de dissimilaridade mínima a partir das imagens no banco de dados. A métrica de dissimilaridade é uma soma ponderada de distâncias entre traços no conjunto de consulta e traços das imagens no banco de dados. O método é útil para busca de imagem, tal como recuperação de imagem baseada na web e reconhecimento facial.
Description
RECUPERAÇÃO DE IMAGEM BASEADA EM CONTEÚDO
Esta invenção se refere a uma ferramenta de busca para a recuperação de imagens. Em particular, ela se refere a um método de recuperação de imagens com base no conteúdo das imagens.
ANTECEDENTES DA INVENÇÃO
Um dos desafios mais significativos encontrados na era da informação é o problema de identificação de uma informação requerida a partir da vasta quantidade de informação que está acessível, particularmente através da rede mundial. Numerosos agentes de busca baseados em texto foram desenvolvidos e empregados. Os mais bem conhecidos destes são agentes de busca populares que usam busca por palavra chave para a recuperação de páginas a partir da rede mundial. Estes agentes incluem Google® e Yahoo®.
Embora tenha sido dito que uma imagem vale mais do que mil palavras, não pode ser dito que a tecnologia de recuperação de imagem está tão desenvolvida quanto a tecnologia de recuperação baseada em texto. A recuperação
2 0 de imagens a partir de uma grande coleção de imagens
permanece um problema significativo. Não é mais prático que um usuário navegue por uma coleção de miniaturas para a seleção de uma imagem desejada. Por exemplo, uma busca tão simples quando "Sydney Opera House" resulta em 26000 acertos em uma busca no Google® Imagens no momento da escrita deste.
As soluções existentes para a recuperação de uma imagem em particular a partir de um grande corpus de imagens envolvem três problemas relacionados. Em primeiro
3 0 lugar, as imagens devem ser indexadas de alguma forma, em segundo lugar, uma consulta deve ser construída e, em terceiro lugar, os resultados da consulta devem ser apresentados de uma forma relevante. Tradicionalmente, as imagens têm sido indexadas e buscadas usando-se palavras chaves com os resultados sendo apresentados usando alguma forma de métrica relevante. Uma abordagem como essa é repleta de dificuldades, uma vez que uma alocação de palavra chave geralmente requer uma etiquetagem humana, o que é um processo de tempo intensivo, e muitas imagens podem ser descritas por múltiplas palavras chaves.
Uma abordagem alternativa é usar métodos de classificação semântica, conforme descrito por Wang et al. em "SIMPLIcity: Semantics-Sensitive Integrated Matching for Picture Libraries" publicado em IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, N0 9, setembro de 2001. 0 artigo descreve um sistema de recuperação baseado em região que caracteriza regiões por cor, textura, formato e localização. 0 sistema classifica as imagens em categorias semânticas, tais como texturizadas - não texturizadas, gráficos - fotografias. As imagens então são recuperadas pela construção de uma medida de similaridade com base em um esquema de combinação de região que integra propriedades de todas as regiões nas imagens. O artigo de Wang também inclui um sumário útil de tecnologias conhecidas de recuperação de imagem baseadas em conteúdo.
Uma outra abordagem é descrita por Jacobs et al. em "Fast Multiresolution Image Querying", publicado em Proceedings of SIGGRAPH 95, In Computer Graphics Proceedings, Annual Conference Series, 1995, ACM SIGGRAPH, Nova York, 1995. Jacobs et al. descrevem uma abordagem pré- processamento que constrói assinaturas para cada imagem em um banco de dados usando uma decomposição de ondulação. Uma assinatura para uma imagem de consulta é obtida usando-se o mesmo processo. A assinatura de consulta então é usada para acesso às assinaturas do banco de dados de imagem e uma métrica construída para a seleção de imagens com assinaturas similares. 0 problema com esta abordagem é a necessidade de pré-processar todas as imagens buscáveis de modo a se derivar uma assinatura. Iqbal e Aggarwal investigam o impacto de integração de
traço na acurácia de recuperação no seu artigo "Feature Integration, Multi-image Queries and Relevance Feedback in Image Retrieval" apresentado na 6th International Conference on Visual Information Systems, Miami, Flórida, 24 a 26 de setembro de 2003, pp. 467-474. Eles extraíram traços de estrutura, cor e textura de imagens em um banco de dados de 10221 imagens. Então, eles mediram a performance de recuperação usando estrutura apenas, cor apenas, textura apenas, cor e textura, e estrutura, cor e textura. Para recuperação de imagens, eles usaram o CIRES (Sistema de Recuperação de Imagem Baseado em Conteúdo) desenvolvido pela Universidade do Texas - Austin. Talvez surpreendentemente, eles descobriram que uma recuperação de imagem era mais efetiva quando estrutura, cor e textura foram usadas. Eles também descobriram que o uso de múltiplas imagens de consulta resultou em uma recuperação de imagem mais efetiva.
Mais ainda, Iqbal e Aggarwal investigaram o benefício de interação de usuário através de um feedback de relevância. 0 feedback de relevância permite a um usuário indicar imagens positivas, negativas e não seguras a partir da coleção, se imagens tiverem retornado por uma consulta inicial. A consulta é modificada pelo feedback de usuário e rodada de novo. Eles encontram um melhoramento significativo na recuperação de imagem com um feedback de usuário.
Embora a técnica anterior recente para recuperação de imagem tenha uma orientação em direção ao problema de recuperação de imagens a partir da rede, será apreciado por pessoas versadas na técnica que o problema não é dependente da natureza do armazenamento de dados. A mesma técnica anterior é relevante para a seleção de uma imagem a partir de um armazenamento local de imagens em um computador pessoal. OBJETIVO DA INVENÇÃO
É um objetivo da presente invenção prover um método de busca para estimativa de recuperação de imagem baseada em conteúdo.
Outros objetivos serão evidentes a partir da descrição a seguir.
EXPOSIÇÃO DA INVENÇÃO
Em termos amplos, a invenção reside em um método de extração de imagens a partir de um conjunto de imagens, incluindo as etapas de: construção de um conjunto de consulta pela extração de
um conjunto de traços de uma ou mais imagens selecionadas;
construção de uma métrica de dissimilaridade como uma soma ponderada de distâncias entre os traços no conjunto de consulta e traços de imagens no conjunto de imagens; e 3 0 exibição das imagens tendo uma métrica de diξsimilaridade mínima.
Preferencialmente, a soma ponderada usa pesos derivados do conjunto de consulta.
Adequadamente, a invenção ainda inclui a etapa de classificação da ordem de exibição das imagens exibidas. As imagens poderiam ser exibidas em ordem de menos dissimilar pelo aumento da dissimilaridade, embora outros esquemas de classificação, tais como tamanho, idade, nome de arquivo também fossem possíveis. BREVES DETALHES DOS DESENHOS
Para ajudar no entendimento da invenção, as modalidades preferidas serão descritas, agora, com referência às figuras a seguir, nas quais:
a FIG. 1 é um fluxograma que exibe as etapas principais em um método de recuperação de imagem baseado em conteúdo;
a FIG. 2 exibe um instantâneo de tela que exemplifica uma busca inicial como um ponto de partida para uma primeira aplicação da invenção; a FIG. 3 exibe um instantâneo de tela que exemplifica
um conjunto de imagens a partir da busca inicial;
a FIG. 4 exibe o instantâneo de tela da FIG. 3 com três imagens selecionadas para a formação do conjunto de consulta;
a FIG. 5 exibe um instantâneo de tela dos resultados
de recuperação de imagem baseado em conteúdo de acordo com a invenção;
a FIG. 6 exibe um instantâneo de tela miniaturas de imagem em um diretório; e a FIG. 7 exibe o instantâneo de tela da FIG. 6 com três imagens selecionadas para a formação de um conjunto de consulta.
DESCRIÇÃO DETALHADA DOS DESENHOS
Na descrição de diferentes modalidades da presente invenção, números de referência comuns são usados para a descrição de recursos similares.
A meta do método é a recuperação de imagens com base no conteúdo de traço de imagens e em um conceito de consulta de usuário. 0 conceito de consulta de usuário é automaticamente derivado de exemplos de imagem supridos ou selecionados pelo usuário. Ele alcança a meta com um método inovador para extração de importância perceptiva de traços visuais de imagens e uma métrica de dissimilaridade linear ponderada computacionalmente eficiente que produz resultados de recuperação rápidos e acurados.
Em sistemas de consulta de imagem múltipla, uma consulta é um conjunto de imagens de exemplo Q = {Iqi, Iq2, ..., IqQ} . 0 conjunto de imagens de exemplo pode ser qualquer número de imagens, incluindo um. Muito da técnica anterior constrói uma consulta baseada em uma única imagem de consulta, mas a abordagem preferida desta invenção é que um usuário proveja pelo menos duas e, preferencialmente, três imagens. As imagens supridas por usuário podem ser selecionadas diretamente a partir de um banco de dados ou podem ser identificadas através de uma busca de imagem convencional, tal como mencionado acima, usando-se Google® Images.
Para a descrição a seguir, o conjunto de imagem alvo, às vezes denominado o banco de dados de imagem, é definido como T = {lm : m = 1, 2, M} . 0 critério de consulta é expresso como uma medida de similaridade S (Q, Ij) entre o conjunto de consulta Q e uma imagem Ij no conjunto de imagem alvo. Um sistema de consulta Q(Q, S, T) é um mapeamento do conjunto de consulta Q para uma permutação Tp do conjunto de imagem alvo T, de acordo com a similaridade S (Q, Ij), onde Tp = {Im e T : m = l, 2, ..., M} éum conjunto parcialmente ordenado, de modo que S (Q, Im) > S (Q, Im+i) · A principio, as permutações são aquelas do banco de dados inteiro, na prática apenas as imagens de saída classificadas no topo sendo avaliadas.
0 método de recuperação de imagem baseado em conteúdo é resumido na FIG. 1 e explicado em maiores detalhes abaixo. 0 método começa com o conjunto de consulta 1. O processo de extração de traço 2 extrai um conjunto de traços usando um conjunto de ferramenta de traço 3, o qual pode ser qualquer um de uma faixa de ferramentas de traço de terceiros, incluindo aquelas mencionadas acima. Uma consulta então é formada 4 a partir dos traços extraídos .
A consulta pode ser pensada como uma imagem idealizada construída para ser representativa das imagens no conjunto de consulta.
Um aspecto chave da invenção é o cálculo de uma métrica de dissimilaridade 5, a qual é aplicada ao conjunto de imagem alvo 6 para a identificação de imagens que sejam similares ao conjunto de traços que formam a consulta. As imagens então são classificadas 7 e apresentadas para o usuário 8 . Extração de Traço
O processo de extração de traço se baseia na consulta em descrições estruturais de nível baixo de imagens. Um objeto de imagem I pode ser descrito por um conjunto de traços X = {xn : η = 1, 2, ..., Ν} . Cada traço é representado por um vetor de kn dimensões xn = {xi, X2, ...xkn}, onde Xriii e Lo, bn-iJ cz Rj R é o número real. A enésima extração de traço é um mapeamento a partir da imagem I para o vetor de traço como:
*„=/«(') (1)
A invenção não está limitada ã extração de qualquer conjunto em particular de traços. Uma variedade de traços visuais, tais como cor, textura ou traços faciais, pode ser usada. Ferramentas de extração de traço visual de terceiros podem ser conectadas ao sistema.
Por exemplo, as ferramentas visuais de MPEG-7 populares são adequadas, o Descritor de Layout de Cor (CLD) de MPEG-7 sendo uma representação muito compacta e invariante para resolução de cor, o que é adequado para uma recuperação de imagem à alta velocidade. Ele usa apenas 12 coeficientes de DCT 8x8 para a descrição do conteúdo a partir de três conjuntos (seis para luminância e três para cada crominância), conforme expresso como se segue:
*<:/.„ .......Y^ChlXb7,Cb^CrsSyi,Cr^ (2)
0 Descritor de Histograma de Borda (EHD) de MPEG-7 usa
80 intervalos de classe de histograma para descrição do
conteúdo a partir de 16 subimagens, conforme expresso como se segue. xkHu = (^Λ>·"Λο)
Embora o conjunto de ferramentas de MPEG-7 seja útil, 3 0 a invenção não está limitada a este conjunto de ferramentas de extração. Conforme é evidente a partir da técnica anterior em que há uma faixa de ferramentas de extração de traço que caracterizam imagens de acordo com traços tais como cor, tom, luminância, estrutura, textura, localização, etc.
Conforme mencionado acima, a invenção pode ser aplicada a um conjunto de traços faciais para a identificação de uma face a partir de um banco de dados de faces. 0 processo de extração de traço pode extrair traços faciais tais como distância entre os olhos, cor dos olhos, largura do nariz, tamanho da boca, etc. Formação de Traço de Consulta
O conceito de consulta do Patente U.S. N0 é implicado pelas imagens de exemplo selecionadas pelo usuário. O módulo de formação de traço de consulta gera um conjunto de traço de imagem de consulta virtual que é derivado a partir das imagens de exemplo.
A fusão de traços formando uma imagem pode ser representada por: 2 0 χ1 =(x; ®x; ©....©a-;,) (4)
Para um conjunto de imagens de consulta, a fusão de traços é:
x =(x'er©....e/) (5)
A formação de traço de consulta implica em uma imagem idealizada, a qual é construída pela atribuição de peso a cada traço no conjunto de traço usado na etapa de extração de traço. O peso aplicado ao iésimo traço Xi é:
j"' / I I l » * . -m „m „"> i /K X
A imagem idealizada I0 construída a partir do conjunto de imagens de consulta Q então poderia ser considerada como sendo a soma ponderada de traços Xi no conjunto de traço:
1O=Xw^ (7)
Computação de Dissimilaridade
O espaço de métrica de traço Xn é um subconjunto convexo fechado delimitado do espaço vetorial de dimensão kn Rkn. Portanto, uma média, ou intervalo, de vetores de traço é um vetor de traço no conjunto de traço. Esta é a
base para um movimento de ponto de consulta e algoritmos de protótipo de consulta. Contudo, o vetor de traço médio pode não ser um bom representante de outros vetores de traço. Por exemplo, a cor cinza pode não ser um bom representante das cores branco e preto.
No caso de uma consulta de imagem múltipla, a
distância é medida entre o conjunto de imagens de consulta Q= {lql, Iq2, ..., Iq0} e uma imagem Ij e T1 como:
φ,/^ΜΙνν····7**7,) (8)
A invenção usa uma função de distância expressa como
uma soma ponderada de distâncias de traço individuais, conforme se segue:
.'-I
Esta equação calcula uma medida, a qual é a soma
ponderada de uma métrica de distância d entre um traço de consulta xq e o traço consultado xn.
Os pesos Wi são atualizados de acordo com o conjunto de consulta usando-se a equação (6). Por exemplo, o usuário
3 0 pode estar buscando encontrar imagens de carros de cor brilhante. As buscas baseadas em texto convencionais não podem ajudar, uma vez que a consulta 'carro' recuperará todos os carros de qualquer cor e uma busca sobre iCarros brilhantes' apenas recuperará imagens as quais tenham sido descritas com estas palavras, o que é improvável. Contudo, uma busca textual inicial sobre carros recuperará uma faixa de carros de vários tipos e cores. Quando o usuário selecionar um conjunto de consulta de imagens que sejam brilhantes, a formação de traço de consulta proporcionará maior peso ao traço de luminância do que, digamos, à cor ou textura. Por outro lado, se o usuário estiver procurando carros azuis, o conjunto de consulta será selecionado a partir de apenas carros azuis. A formação de traço de consulta proporcionará maior peso ao traço de cor e ao tom azul do que à luminância ou textura.
Em cada caso, a computação de dissimilaridade está determinando um valor de similaridade que é baseado nos traços do conjunto de consulta selecionado pelo usuário, sem ser requerido que o usuário defina o conjunto em particular de traços sendo buscados. Será apreciado que isto é uma abordagem de busca de imagem bem mais intuitiva do que o que está disponível no estado da técnica. Classificação de Resultado
As imagens extraídas a partir do conjunto de imagem usando o conjunto de consulta são convenientemente exibidas de acordo com uma classificação de relevância. Há várias formas de classificação das imagens de saída, e a invenção não está limitada a qualquer processo específico. Uma forma conveniente é usar a medida de dissimilaridade descrita acima. Isto é, as imagens menos dissimilares (mais similares) são exibidas primeiramente, seguida pelas imagens mais dissimilares, até algum número de imagens. Tipicamente, as vinte imagens menos dissimilares poderiam ser exibidas.
Então, a distância entre o conjunto de imagem de
consulta e uma imagem alvo no banco de dados é definida como se segue, conforme é usualmente definido em um espaço métrico.
rf(£,/>min{rf(jr,,*J (10)
10
A medida de (10) tem a vantagem de as imagens classificadas no topo serem similares a uma das imagens de exemplo, o que é altamente esperado em um sistema de recuperação, enquanto, no caso da consulta de protótipo, as
imagens classificadas no topo serão similares a uma imagem de traços médios, o que não é muito similar a qualquer uma das imagens de exemplo. A primeira proporcionará uma experiência melhor ao usuário na maioria das aplicações. Exemplo 1
Uma implementação de demonstração da invenção foi
implementada usando-se as tecnologias de páginas de Java Servlet e JavaServer suportadas pelo servidor de aplicativo da web Apache Tomcat®. Ele busca as imagens com base em um conteúdo de imagem na Internet através de serviços de busca
de imagem comerciais baseados em palavra chave como Google® ou Yahoo®. A implementação atual pode ser acessada usando-se quaisquer navegadores da web, tais como Internet Explorer ou Mozilla / Firefox, e consiste em um processo em três etapas para a busca de imagens a partir da Internet.
3 0 De modo a se demonstrar a operação da invenção, ela foi aplicada ao exemplo de encontrar uma imagem da Sidney Opera House usando Google® Images, o qual foi mencionado acima.
1) Primeira etapa: uma busca baseada em palavra chave, conforme mostrado na FIG. 2. Usar palavras chaves para a recuperação de imagens a partir da Internet através de serviços de busca de imagem baseados em texto para a formação de um conjunto de imagem inicial, conforme mostrado na FIG. 3.
2) Segunda etapa: selecionar imagens de exemplo a
partir dos resultados de busca iniciais, conforme mostrado na FIG. 4. Selecionar exemplos de imagem que o usuário pretende buscar ao clicar em caixas de verificação de imagem apresentadas para o usuário a partir dos resultados
de busca baseados em palavra chave.
3) Terceira etapa: conduzir uma busca de todas as imagens usando a consulta construída a partir das imagens de amostra. Os resultados são apresentados em uma seqüência classificada de acordo com a métrica de similaridade,
2 0 conforme mostrado na FIG. 5.
Conforme pode ser visto a partir do exemplo, as imagens do conjunto de resultado mostrado na FIG. 5 são todas relevantes, ao passo que as imagens mostradas na FIG. 3 incluem imagens de relevância duvidosa.
2 5 Exemplo 2
A invenção pode ser integrada em gerenciadores de arquivo de área de trabalho, tais como Windows Explorer® ou Mac OS X Finder®, ambos os quais atualmente tendo a capacidade de navegar por arquivos de imagens e classificá-
3 0 Ios de acordo com nomes de arquivo de imagem e outros atributos de arquivo, tais como tamanho, tipo de arquivo, etc. Uma pasta típica de imagens é mostrada na FIG. 6 como miniaturas. 0 usuário seleciona várias imagens para a construção do conjunto de consulta ao destacar as imagens que sejam mais próximas da imagem desejada. No exemplo da FIG. 7, o usuário selecionou imagens que têm a Fonte da Baía de Sidney como um fundo para a Sydney Opera House.
O usuário então roda o programa de recuperação de imagem, o qual é convenientemente implementado como um plug-in. Na FIG. 6 e na FIG. 7, a invenção é ativada ao se clicar no ícone de confirmação (marca em V) 9 na barra de ferramentas. Conclusão
0 método de recuperação de imagem baseado em conteúdo descrito acima tem várias vantagens, se comparado com os sistemas da técnica anterior, incluindo:
• A importância perceptiva é derivada automaticamente a partir de exemplos de usuário;
• 0 processo de busca é intuitivo;
· Não é requerido que o usuário selecione traços ou
pesos para traços;
• Uma métrica de dissimilaridade linear ponderada é genérica, aplicável a todos os traços;
• As fórmulas de geração de peso e dissimilaridade são eficientes computacionalmente e produzem resultados de
recuperação muito rápidos;
• As ferramentas de extração de traço são plugáveis - os traços padronizados e de terceiros podem ser integrados na arquitetura;
· Os usuários não precisam suprir exemplos negativos. Por todo o relatório descritivo, o objetivo foi descrever a invenção, sem limitação da invenção a qualquer combinação em particular de recursos alternativos.
Claims (16)
1. Método de identificação de uma ou mais imagens a partir de um conjunto de imagem alvo (T) , o método realizado em pelo menos um sistema de processamento e caracterizado por incluir as etapas de: identificação de duas ou mais imagens como um conjunto de imagem de consulta (Q) ; uma de duas ou mais imagens que formam o conjunto de imagem de consulta (Q) e obtenção de traços de consulta (xqi) a derivação de pesos (wj para cada um dos traços de consulta (xqi) ; construção de uma métrica de dissimilaridade (D) como a soma de distâncias de traço (dj entre os traços de consulta (xqi) e traços alvos correspondentes (xni) extraídos a partir das imagens individuais (Ij) no conjunto de imagem alvo (T), onde as distâncias de traço (di) têm pesos atribuídos pelos pesos (Wi) ; seleção de uma ou mais imagens identificadas a partir do conjunto de imagem alvo (T) , com base na métrica de dissimilaridade (D) ; e caracterizado pelo fato da métrica de dissimilaridade (D) extração de conjuntos de traços (xl) a partir de cada partir dos conjuntos extraídos de traços (x1) ; exibição de uma ou mais imagens identificadas.
2. Método, de acordo com a reivindicação 1 ser:
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato dos conjuntos de traços (x1) serem extraídos usando-se ura conjunto de ferramenta de traço.
4. Método, de acordo com a reivindicação 1, caracterizado pelo fato dos conjuntos de traços (xL) serem extraídos usando-se descrições estruturais de nível baixo do conjunto de imagem de consulta (Q).
5. Método, de acordo com a reivindicação 1, caracterizado pelo fato dos traços serem selecionados a partir do grupo que consiste em cor, textura, tom, luminância, estrutura, localização e traços faciais.
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato da imagem de consulta idealizada (Iq) ser provida pela aplicação de pesos (Wi) a cada um dos traços de consulta (xqi) .
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato da imagem de consulta idealizada ser: <formula>formula see original document page 18</formula> onde Xi é um traço de consulta e Wi é o peso aplicado ao traço de consulta.
8. Método, de acordo com a reivindicação 1, caracterizado pelo fato da soma ponderada de distâncias de traço (dj) usar pesos derivados a partir das duas ou mais imagens formando o conjunto de imagem de consulta (Q).
9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de não ser requerido que o usuário defina os traços.
10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de um número pré-definido de imagens identificadas ser selecionado e exibido com base em imagens identificadas que têm uma métrica de dissimilaridade mínima (D).
11. Método, de acordo com a reivindicação 1, caracterizado por incluir ainda a etapa de classificação da ordem de exibição de uma ou mais imagens identificadas.
12. Método, de acordo com a reivindicação 11, caracterizado pelo fato da classificação ser em ordem de similaridade.
13. Método, de acordo com a reivindicação 11, caracterizado pelo fato da classificação ser ordenada por métrica de dissimilaridade mínima (D).
14. Método, de acordo com a reivindicação 1, caracterizado pelo fato de duas ou mais imagens serem selecionadas por um usuário e uma ou mais imagens identificadas serem selecionadas sem qualquer entrada de usuário adicional.
15. Produto de programa de computador para a extração de imagens a partir de um conjunto de imagem alvo, o produto de programa de computador caracterizado por ser configurado para: receber uma seleção para duas ou mais imagens para a formação de um conjunto de imagem de consulta; extrair um conjunto de características de cada uma das duas ou mais imagens formando um conjunto de imagem de consulta; derivar uma atribuição de peso para cada uma das características a partir de um conjunto de imagem de consulta; construção de uma métrica de dissimilaridade como a soma das distâncias entre os traços ponderados no conjunto de imagem de consulta e traços de imagens no conjunto de imagem alvo; e exibição das imagens extraídas a partir do conjunto de imagem alvo tendo uma métrica de dissimilaridade mínima.
16. Produto de programa de computador, de acordo com a reivindicação 15, caracterizado por ser ainda configurado para a classificação das imagens extraídas em ordem de similaridade.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2006902880 | 2006-05-29 | ||
AU2006902880A AU2006902880A0 (en) | 2006-05-29 | Content based image retrieval | |
PCT/AU2007/000746 WO2007137352A1 (en) | 2006-05-29 | 2007-05-29 | Content based image retrieval |
Publications (1)
Publication Number | Publication Date |
---|---|
BRPI0712728A2 true BRPI0712728A2 (pt) | 2013-01-08 |
Family
ID=38778013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BRPI0712728-6A BRPI0712728A2 (pt) | 2006-05-29 | 2007-05-29 | recuperaÇço de imagem baseado em conteédo |
Country Status (15)
Country | Link |
---|---|
US (1) | US20100017389A1 (pt) |
EP (1) | EP2030128A4 (pt) |
JP (1) | JP2009539152A (pt) |
KR (1) | KR20090035486A (pt) |
CN (1) | CN101460947A (pt) |
AU (1) | AU2007266331A1 (pt) |
BR (1) | BRPI0712728A2 (pt) |
CA (1) | CA2652714A1 (pt) |
IL (1) | IL195401A0 (pt) |
MX (1) | MX2008015175A (pt) |
NO (1) | NO20085305L (pt) |
RU (1) | RU2008152075A (pt) |
TW (1) | TW200818058A (pt) |
WO (1) | WO2007137352A1 (pt) |
ZA (1) | ZA200810005B (pt) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100970121B1 (ko) * | 2009-12-24 | 2010-07-13 | (주)올라웍스 | 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체 |
JP2011221606A (ja) * | 2010-04-05 | 2011-11-04 | Sony Corp | 情報処理方法及びグラフィカルユーザインタフェース |
US9652462B2 (en) | 2010-04-29 | 2017-05-16 | Google Inc. | Identifying responsive resources across still images and videos |
US9047319B2 (en) | 2010-12-17 | 2015-06-02 | Microsoft Technology Licensing, Llc | Tag association with image regions |
US9229956B2 (en) | 2011-01-10 | 2016-01-05 | Microsoft Technology Licensing, Llc | Image retrieval using discriminative visual features |
US8589410B2 (en) * | 2011-10-18 | 2013-11-19 | Microsoft Corporation | Visual search using multiple visual input modalities |
CN102368266B (zh) * | 2011-10-21 | 2013-03-20 | 浙江大学 | 一种用于网络搜索的无标注图片的排序方法 |
CN102682084A (zh) * | 2012-04-11 | 2012-09-19 | 中国科学院上海光学精密机械研究所 | 基于htm算法的图像检索系统及其图像检索方法 |
US9274678B2 (en) * | 2012-09-13 | 2016-03-01 | Google Inc. | Identifying a thumbnail image to represent a video |
US9081822B2 (en) * | 2013-03-15 | 2015-07-14 | Sony Corporation | Discriminative distance weighting for content-based retrieval of digital pathology images |
JP5866064B2 (ja) * | 2013-04-09 | 2016-02-17 | 株式会社日立国際電気 | 画像検索装置、画像検索方法、および記録媒体 |
CN104283842B (zh) * | 2013-07-02 | 2019-06-25 | 中兴通讯股份有限公司 | 主题管理方法及系统 |
CN103440646B (zh) * | 2013-08-19 | 2016-08-10 | 成都品果科技有限公司 | 用于颜色分布和纹理分布图像检索的相似度获取方法 |
JP6027065B2 (ja) * | 2014-08-21 | 2016-11-16 | 富士フイルム株式会社 | 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム |
JP6491581B2 (ja) * | 2015-10-06 | 2019-03-27 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
US10650046B2 (en) | 2016-02-05 | 2020-05-12 | Sas Institute Inc. | Many task computing with distributed file system |
US10346476B2 (en) | 2016-02-05 | 2019-07-09 | Sas Institute Inc. | Sketch entry and interpretation of graphical user interface design |
US10650045B2 (en) | 2016-02-05 | 2020-05-12 | Sas Institute Inc. | Staged training of neural networks for improved time series prediction performance |
US10642896B2 (en) | 2016-02-05 | 2020-05-05 | Sas Institute Inc. | Handling of data sets during execution of task routines of multiple languages |
US10795935B2 (en) | 2016-02-05 | 2020-10-06 | Sas Institute Inc. | Automated generation of job flow definitions |
WO2018017059A1 (en) | 2016-07-19 | 2018-01-25 | Hewlett-Packard Development Company, L.P. | Image recognition and retrieval |
US10176202B1 (en) * | 2018-03-06 | 2019-01-08 | Xanadu Big Data, Llc | Methods and systems for content-based image retrieval |
EP3776571A1 (en) | 2018-03-29 | 2021-02-17 | Google LLC | Similar medical image search |
US10191921B1 (en) | 2018-04-03 | 2019-01-29 | Sas Institute Inc. | System for expanding image search using attributes and associations |
JP7157232B2 (ja) | 2018-07-11 | 2022-10-19 | グーグル エルエルシー | 放射線医学のための類似画像の検索 |
US11126649B2 (en) | 2018-07-11 | 2021-09-21 | Google Llc | Similar image search for radiology |
US11921831B2 (en) * | 2021-03-12 | 2024-03-05 | Intellivision Technologies Corp | Enrollment system with continuous learning and confirmation |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
US5893095A (en) * | 1996-03-29 | 1999-04-06 | Virage, Inc. | Similarity engine for content-based retrieval of images |
US6463432B1 (en) * | 1998-08-03 | 2002-10-08 | Minolta Co., Ltd. | Apparatus for and method of retrieving images |
US7016916B1 (en) * | 1999-02-01 | 2006-03-21 | Lg Electronics Inc. | Method of searching multimedia data |
US6606623B1 (en) * | 1999-04-09 | 2003-08-12 | Industrial Technology Research Institute | Method and apparatus for content-based image retrieval with learning function |
US6859802B1 (en) * | 1999-09-13 | 2005-02-22 | Microsoft Corporation | Image retrieval based on relevance feedback |
US6748398B2 (en) * | 2001-03-30 | 2004-06-08 | Microsoft Corporation | Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR) |
US6834288B2 (en) * | 2001-04-13 | 2004-12-21 | Industrial Technology Research Institute | Content-based similarity retrieval system for image data |
US6901411B2 (en) * | 2002-02-11 | 2005-05-31 | Microsoft Corporation | Statistical bigram correlation model for image retrieval |
US7065521B2 (en) * | 2003-03-07 | 2006-06-20 | Motorola, Inc. | Method for fuzzy logic rule based multimedia information retrival with text and perceptual features |
-
2007
- 2007-05-29 TW TW096119050A patent/TW200818058A/zh unknown
- 2007-05-29 AU AU2007266331A patent/AU2007266331A1/en not_active Abandoned
- 2007-05-29 CA CA002652714A patent/CA2652714A1/en not_active Abandoned
- 2007-05-29 MX MX2008015175A patent/MX2008015175A/es not_active Application Discontinuation
- 2007-05-29 KR KR1020087030853A patent/KR20090035486A/ko not_active Application Discontinuation
- 2007-05-29 EP EP07718991A patent/EP2030128A4/en not_active Withdrawn
- 2007-05-29 US US12/302,182 patent/US20100017389A1/en not_active Abandoned
- 2007-05-29 BR BRPI0712728-6A patent/BRPI0712728A2/pt not_active Application Discontinuation
- 2007-05-29 CN CNA2007800196299A patent/CN101460947A/zh active Pending
- 2007-05-29 JP JP2009512370A patent/JP2009539152A/ja not_active Withdrawn
- 2007-05-29 WO PCT/AU2007/000746 patent/WO2007137352A1/en active Application Filing
- 2007-05-29 RU RU2008152075/09A patent/RU2008152075A/ru not_active Application Discontinuation
-
2008
- 2008-11-20 IL IL195401A patent/IL195401A0/en unknown
- 2008-11-25 ZA ZA200801005A patent/ZA200810005B/xx unknown
- 2008-12-18 NO NO20085305A patent/NO20085305L/no not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
EP2030128A4 (en) | 2010-01-13 |
CA2652714A1 (en) | 2007-12-06 |
AU2007266331A1 (en) | 2007-12-06 |
NO20085305L (no) | 2009-02-20 |
EP2030128A1 (en) | 2009-03-04 |
CN101460947A (zh) | 2009-06-17 |
US20100017389A1 (en) | 2010-01-21 |
MX2008015175A (es) | 2009-04-23 |
IL195401A0 (en) | 2009-08-03 |
RU2008152075A (ru) | 2010-07-10 |
JP2009539152A (ja) | 2009-11-12 |
WO2007137352A1 (en) | 2007-12-06 |
TW200818058A (en) | 2008-04-16 |
KR20090035486A (ko) | 2009-04-09 |
ZA200810005B (en) | 2009-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BRPI0712728A2 (pt) | recuperaÇço de imagem baseado em conteédo | |
Kherfi et al. | Image retrieval from the world wide web: Issues, techniques, and systems | |
Hua et al. | Clickage: Towards bridging semantic and intent gaps via mining click logs of search engines | |
JP5309155B2 (ja) | イメージ検索における対話型概念学習 | |
Gupta et al. | Nonnegative shared subspace learning and its application to social media retrieval | |
US9239967B2 (en) | Incremental image clustering | |
KR101387147B1 (ko) | 얼굴 인식을 이용한 이미지 식별 | |
CN102549603B (zh) | 基于相关性的图像选择 | |
US7430566B2 (en) | Statistical bigram correlation model for image retrieval | |
US20110188713A1 (en) | Facial image recognition and retrieval | |
US8498455B2 (en) | Scalable face image retrieval | |
US20150178321A1 (en) | Image-based 3d model search and retrieval | |
US20110196859A1 (en) | Visual Search Reranking | |
CN103559191B (zh) | 基于隐空间学习和双向排序学习的跨媒体排序方法 | |
US20100125568A1 (en) | Dynamic feature weighting | |
US8527564B2 (en) | Image object retrieval based on aggregation of visual annotations | |
US9977816B1 (en) | Link-based ranking of objects that do not include explicitly defined links | |
US20130246416A1 (en) | Grouping search results into a profile page | |
US8885981B2 (en) | Image retrieval using texture data | |
Lin et al. | Association rule mining with a correlation-based interestingness measure for video semantic concept detection | |
Nguyen et al. | A feature-word-topic model for image annotation | |
Mironică et al. | Hierarchical clustering relevance feedback for content-based image retrieval | |
Zhang et al. | Hyperlink-aware object retrieval | |
Nuray-Turan et al. | Exploiting web querying for web people search in weps2 | |
Su et al. | Cross-modality based celebrity face naming for news image collections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B11A | Dismissal acc. art.33 of ipl - examination not requested within 36 months of filing | ||
B11Y | Definitive dismissal - extension of time limit for request of examination expired [chapter 11.1.1 patent gazette] |