BR102015012437A2 - método de construção de uma base de imagens, método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos - Google Patents

método de construção de uma base de imagens, método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos Download PDF

Info

Publication number
BR102015012437A2
BR102015012437A2 BR102015012437A BR102015012437A BR102015012437A2 BR 102015012437 A2 BR102015012437 A2 BR 102015012437A2 BR 102015012437 A BR102015012437 A BR 102015012437A BR 102015012437 A BR102015012437 A BR 102015012437A BR 102015012437 A2 BR102015012437 A2 BR 102015012437A2
Authority
BR
Brazil
Prior art keywords
image
characteristic points
images
database
pairs
Prior art date
Application number
BR102015012437A
Other languages
English (en)
Other versions
BR102015012437A8 (pt
BR102015012437B1 (pt
Inventor
Pedrini Hélio
Mario De Martino José
Ricardo Soares Lobo Renan
Original Assignee
Squadra Tecnologia S/A
Univ Estadual De Campinas - Unicamp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Squadra Tecnologia S/A, Univ Estadual De Campinas - Unicamp filed Critical Squadra Tecnologia S/A
Priority to BR102015012437-6A priority Critical patent/BR102015012437B1/pt
Priority claimed from BR102015012437-6A external-priority patent/BR102015012437B1/pt
Priority to PCT/BR2016/000017 priority patent/WO2016187681A1/pt
Publication of BR102015012437A2 publication Critical patent/BR102015012437A2/pt
Publication of BR102015012437A8 publication Critical patent/BR102015012437A8/pt
Publication of BR102015012437B1 publication Critical patent/BR102015012437B1/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

método de construção de uma base de imagens, método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos. a presente invenção se refere a um método de construção de uma base de imagens, a um método de reconhecimento de imagens, a um sistema de reconhecimento de imagens e a seus usos. ela se insere no campo da tecnologia da informação, mais especificamente nas áreas de computação gráfica, visão computacional, processamento e reconhecimento de imagens, tendo aplicação na identificação e no reconhecimento automático de locais de interesse a partir de sua representação visual.

Description

MÉTODO DE CONSTRUÇÃO DE UMA BASE DE IMAGENS, MÉTODO DE RECONHECIMENTO DE IMAGENS, SISTEMA DE RECONHECIMENTO DE IMAGENS E SEUS USOS.
CAMPO DA INVENÇÃO
[1] A presente invenção se refere a um método de construção de uma base de imagens, um método de reconhecimento de imagens, um sistema de reconhecimento de imagens e seus usos.
[2] Ela se insere no campo da tecnologia da informação, mais especificamente nas áreas de computação gráfica, visão computacional, processamento e reconhecimento de imagens, tendo aplicação na identificação e no reconhecimento automático de locais de interesse a partir de sua representação visual.
FUNDAMENTOS DA INVENÇÃO E ESTADO DA TÉCNICA
[3] 0 turismo é uma indústria bilionária e fonte principal de recursos em muitos países. Em geral, a atividade do turista envolve a exploração do local visitado, com ênfase nos chamados pontos turísticos locais que, por uma questão histórica, geográfica ou de lazer, caracterizam o local visitado. Por estar fora de seu ambiente, muitas vezes o turista tem dificuldade em reconhecer determinado ponto, além de que desconhece informações detalhadas sobre aquele local.
[4] Neste sentido, muitas iniciativas foram pensadas no sentido de conferir ao turista (ou em termos gerais, um usuário em vias de conhecer uma nova localidade) ferramentas que promovam essa identificação, sem necessidade de guias externos, e preferencialmente utilizando o aparato tecnológico disponível, principalmente utilizando dispositivos móveis, tais como smartphones ou tablets, com conexão à Internet.
[5] 0 documento US 2011/0176734 Al é voltado ao reconhecimento de áreas específicas de uma imagem, principalmente áreas que contêm prédios e construções. Contudo, a tecnologia em questão adota a estratégia de grupamento de pontos característicos para realizar a identificação, o que acaba sendo um processo de filtragem que reduz a capacidade de reconhecer detalhes da imagem, bem como utiliza estimativa de poses, o que leva a incertezas e comprometem a eficácia do reconhecimento. Os trabalhos científicos de Liu (2014} e Hu (2006) também têm aplicação similar no reconhecimento de fachadas de construções, porém restritos a este tipo de estrutura.
[6] O documento US 2009/7565139 B2 apresenta uma proposta para fornecer a descrição de uma imagem, a partir da combinação de reconhecimento ótico de caracteres, de objetos rígidos e de faces. Contudo, sua aplicação é restrita à descrição de imagens (e seus componentes), e não se propõe a realizar a identificação do local fotografado.
[7] Algumas tecnologias, por sua vez, se valem de dados de geolocalização do dispositivo em questão para encontrar a correspondência de imagens ou fotografias em uma coleção de imagens, como coordenadas de latitude/longitude ou a orientação do dispositivo. É o caso das patentes US 2008/0147730, US 2012/8189964 B2, US 2013/0198176 Al e US 8467810, e de trabalhos científicos realizados por Chen (2013), Zheng (2009), Abe (2010), Kim (2012) e Byungsoo (2009) .
[8] Ainda, alternativas para reconhecimento de locais são tratadas na patente US 8483715 e nos trabalhos por Knopp (2010), e Chen (2009), que utilizam imagens disponíveis na Internet, em grandes bases como Panoramio, Google Street View, Flickr, entre outras, associando ao processo de reconhecimento informações de geolocalização ou de etiquetas produzidas pelos autores destas imagens.
[9] De modo geral, as tecnologias encontradas não estabelecem um protocolo bem definido para a aquisição das imagens de referência nem para a construção da base de dados, e baseiam-se principalmente em princípios como etiquetas de localização ou informações de geolocalização de dispositivos móveis (smartphones, tablets). Estas soluções, contudo, apresentam como ponto crítico o fato de estarem apoiadas em etiquetas de informação de geolocalização que não permitem identificar para qual direção a câmera está apontando. Tal situação pode levar a identificação errônea de um local de interesse que, por exemplo, esteja atrás do usuário e não a sua frente. Adicionalmente, etiquetas de geolocalização exigem a necessidade de um dispositivo GPS tanto para a formação da base de imagens quanto no dispositivo do usuário. Tais características tornam estas soluções menos robustas.
[10] Não há, ainda, nenhuma tecnologia que descreva a criação estruturada de uma base de imagens, que preveja a referência de um local de interesse em diferentes condições de iluminação e pontos de vista, e que promova a eficiência do processamento e confiabilidade do sistema. Além disso, a presente invenção estabelece um método robusto para a identificação dos locais de interesse a partir de imagens, baseado na identificação de pontos característicos das imagens, critério para a aceitação ou não dos pontos característicos encontrados e critério para a identificação da imagem a partir dos pontos característicos confirmados.
[11] Conclui-se, portanto, que nenhum dos métodos descritos no estado da técnica contempla o diferencial proporcionado pela presente invenção, uma vez que não resolvem o problema da correta identificação de locais de interesse com confiabilidade, principalmente considerando diferentes condições de registro da fotografia a ser identificada, como iluminação ou direção.
BREVE DESCRIÇÃO DA INVENÇÃO
[12] A presente invenção se refere a um método de construção de uma base de imagens, a um método de reconhecimento de imagens, a um sistema de reconhecimento de imagens e a seus usos.
[13] 0 método de construção de uma base de imagens compreende as etapas de: (a) Aquisição das imagens de referência a partir de posições diferentes a uma distância suficiente para o seu enquadramento, preferencialmente dispostas em um circulo ao redor da referência e igualmente espaçadas, e em diferentes condições de iluminação, conforme o horário do dia e a condição atmosférica. (b) Pré-processamento das imagens; (c) Extração dos pontos característicos da imagem; e (d) Armazenamento na base de dados dos pontos característicos de cada local.
[14] 0 método de reconhecimento de imagens é responsável pela identificação e reconhecimento de uma imagem de entrada por meio da comparação eficiente com os registros na base de dados. Suas etapas são: (a) Recebimento de uma imagem de entrada a ser identificada; (b) Pré-processamento da imagem; (c) Extração dos pontos característicos; (d) Comparação dos pontos característicos extraídos com pontos característicos da base de dados; (e) Identificação do local fotografado.
[15] Ainda, o sistema de reconhecimento de imagens compreende a aplicação dos métodos citados acima, em conjunto com os equipamentos de aquisição e processamento das imagens, a saber, pelo menos um dispositivo móvel com câmera fotográfica e conexão com a Internet, e ainda um servidor para processamento remoto.
[16] Por fim, são ainda considerados objetos da presente invenção seus diversos usos, como reconhecimento de pontos turísticos, fachadas de construções, paisagens, regiões e construções por fotografias aéreas, além do uso em ambientes de realidade aumentada. A invenção não se limita às aplicações apresentadas, podendo ser utilizada no reconhecimento de fotografias e representações visuais em geral.
BREVE DESCRIÇÃO DAS FIGURAS - A figura 1 ilustra as etapas do método de construção da base de imagens. - A figura 2 ilustra a disposição espacial dos pontos de vista das fotografias de referência. - A figura 3 ilustra as diferentes condições de registro das imagens nas diversas condições de direção, ponto de vista, horário, condição atmosférica e modelo de câmera. - A figura 4 ilustra as etapas do método de reconhecimento de imagens. - A figura 5 ilustra o critério de exclusão de pares de pontos característicos encontrados em função do seu desvio em relação aos outros pares. - A figura 6 ilustra o sistema de reconhecimento de imagens e seu funcionamento. - A figura 7 ilustra a comparação de duas imagens com os pontos característicos marcados e as retas que os unem. - A figura 8 ilustra a comparação das duas imagens a partir de outro ângulo com os pares de pontos característicos unidos por retas, porém com a presença de duas retas altamente divergentes das demais. - A figura 9 ilustra a situação de que o ponto turístico em questão é fotografado a partir do ângulo oposto às situações anteriores.
DESCRIÇÃO DETALHADA DA INVENÇÃO
[17] A presente invenção se refere a um método de construção de uma base de imagens, a um método de reconhecimento de imagens, a um sistema de reconhecimento de imagens e a seus usos.
[18] 0 método de construção de uma base de imagens compreende as etapas de: (a) Aquisição das imagens de referência a partir de posições diferentes a uma distância suficiente para o seu enquadramento, preferencialmente dispostas em um círculo ao redor da referência e igualmente espaçadas, e em diferentes condições de iluminação, conforme o horário do dia e a condição atmosférica. {b} Pré-processamento das imagens; {c} Extração dos pontos característicos da imagem; (d) Armazenamento na base de dados dos pontos característicos de cada local.
[19] A figura 1 ilustra as etapas do método de construção da base de imagens, a partir da aquisição de imagens de referência de um local de interesse (101). A construção da base de dados e definição dos mecanismos de indexação e busca é realizada por meio do pré-processamento destas imagens (102), extração dos seus pontos característicos (103) e armazenamento na base de dados dos pontos característicos de cada local (104).
[20] A etapa de aquisição das imagens (101) segue um protocolo bem definido, ilustrado pelas figuras 2 e 3. Cada local de interesse ou referência a ser empregada na construção da base de imagens deve ser fotografada a partir de posições diferentes, preferencialmente dispostas em um círculo ao redor da referência, igualmente espaçadas e a uma distância suficiente para o seu enquadramento. Opcionalmente, as fotografias podem ser feitas também no sentido oposto ao local de interesse, associando o seu entorno e conferindo robustez à base de imagens (figura 2).
[21] Este procedimento deve ser repetido para diferentes condições de iluminação, levando em conta o horário do dia (manhã, tarde e noite) e a condição atmosférica (céu limpo ou nublado). Opcionalmente, diferentes modelos de câmeras fotográficas e resoluções podem ser utilizadas para aumentar a variabilidade das imagens de referência geradas (figura 3) - [22] É importante notar que cada local de referência pode requerer um procedimento especifico, sendo o protocolo de aquisição de imagens personalizável. Quanto maior a quantidade de imagens adquiridas de um local de interesse, maior será a probabilidade de uma foto desse local ser associada a uma imagem da base de imagens. Locais de interesse com acesso ou posições de visualização restritos em determinados ângulos não exigem que sejam utilizados o total de 8 posições para a aquisição das imagens, sendo necessários somente fotos a partir das posições sem impedimento de acesso.
[23] O pré-processamento destas imagens (102} consiste em promover o redimensionamento de cada imagem de forma a garantir que o maior lado de todas as imagens apresente a mesma dimensão. Esse redimensionamento ocorre de forma a manter a razão de aspecto (largura dividida pela altura} original da imagem. Em realizações desta invenção, foram utilizadas dimensões entre 300 a 1000 pixels.
[24] Sobre a imagem redimensionada, aplica-se um algoritmo de detecção e extração de pontos característicos (103), que são transformados em uma representação de dados a ser gravada na base de dados. Esta representação contém toda a informação necessária para o funcionamento do método de reconhecimento, não sendo mais necessário manter a imagem original armazenada.
[25] Em uma implementação desta invenção, foi utilizado o algoritmo SURF (Speeded Up Robust Features) com a finalidade de extração de pontos característicos da imagem, e o formato JSON para representação dos dados no banco de dados. O algoritmo SIFT (Scale-Invariant Feature Transform) pode ser utilizado como alternativa ao SURF, porém, sendo menos eficiente em relação a desempenho e menos robusto quando aplicado a imagens com diferentes transformações. Outro formato de representação de dados adequado também pode ser utilizado sem comprometer a essência da invenção.
[26] Ao final deste método, é criada uma estrutura de dados para manter as associações entre as representações de dados dos locais de interesses correspondentes a uma fotografia e o nome do local de interesse associado àquela fotografia (104), resultando na base de imagens em si.
[27] 0 método de reconhecimento de imagens, responsável pela identificação e pelo reconhecimento de uma imagem de entrada por meio da comparação eficiente com os registros na base de dados, é ilustrado na figura 4, e pode ser descrito conforme suas etapas principais: (a) Recebimento de uma imagem de entrada (401) a ser identificada; (b) Pré-processamento da imagem (402); (c) Extração dos pontos característicos (403); (d) Comparação dos pontos extraídos com pontos da base de dados (404); (e) Identificação do local fotografado (409 ou 410).
[28] O método de reconhecimento tem seu funcionamento a partir do recebimento de uma imagem de entrada a ser identificada (401), que também deve passar por uma etapa de pré-processamento (402), onde ocorre seu redimensionamento mantendo a razão de aspecto, e a extração dos seus pontos característicos (403), que também pode se utilizar do algoritmo SURF e da representação de dados JSON, em uma das implementações desta invenção.
[29] Em seguida, o método percorre a base de dados e compara os pontos característicos da imagem de entrada com os pontos característicos das imagens de referência que compõem a base, buscando por similaridades (404). Esta etapa procura encontrar correspondências ou pontos característicos comuns nas duas imagens, então gerando uma lista com os pares de pontos que contemplaram o requisito de similaridade proposto.
[30] Então é calculada a mediana dos ângulos entre as retas formadas por cada par de pontos desta lista, excluindo-se os pares cujo ângulo de reta diverge da mediana dos ângulos. Em uma implementação da invenção foram desconsiderados pares de pontos com ângulo de reta divergindo mais do que 25° em relação à mediana dos ângulos. Na figura 5, observa-se que a reta tracejada (formada por um par correspondente) entre pontos da foto de entrada (501) e da foto da base de dados (502) diverge do padrão encontrado para as outras retas, de modo que o seu par de pontos associado é excluído da análise.
[31] Grupos de pares de pontos característicos que possuam o mesmo ponto característico na imagem de entrada e diferentes pontos característicos na imagem de referência também são descartados. O mesmo ocorre para a situação inversa. Após este processo, é contabilizado o número final de pares de pontos característicos (405), que se encontrando acima do limiar definido previamente, é considerada uma associação positiva de imagens referentes a um mesmo local, identificando a entrada (410).
[32] 0 valor do limiar influencia a robustez da solução. Um valor pequeno de limiar resulta em um processo de reconhecimento menos exigente, podendo levar a falsos reconhecimentos. Um valor demasiadamente alto é restritivo, podendo levar ao não reconhecimento do ponto de interesse.
[33] Este limiar pode variar entre 10 pares para imagens menores (maior lado próximo de 300 pixels) até 20 pares para imagens maiores (acima de 1000 pixels), e os valores foram determinados a partir da comparação entre várias imagens de diferentes resoluções e verificando o resultado das comparações para diferentes valores de limiar.
[34] O valor de 15 pares demonstrou-se empiricamente adequado para ser usado como limiar para qualquer par de imagens sem prejuízos significativos ao processamento e à confiabilidade do método.
[35] Em uma implementação desta invenção, foi utilizado um valor para limiar de 15 pares de pontos, e a associação positiva encontrada foi obtida com 100% de credibilidade. Usando como limiar valores cada vez maiores, o algoritmo fica mais restritivo. Para valores cada vez menores, o algoritmo fica mais relaxado. Para valores entre 10 e 20 pares como limiar, observou-se os melhores resultados.
[36] Caso o número de pares encontrados esteja abaixo do limiar definido (406), a melhor associação (com maior número de pares) encontrada (4C7) que possua pelo menos 2 pares de pontos característicos é considerada a solução correta após toda a varredura do banco de imagens de referência (408), obtendo o resultado mais próximo (409), mas com confiabilidade reduzida.
[37] O processo acima pode ser realizado utilizando threads para paralelizar o processo de comparação com a base de dados, aumentando sua velocidade, sendo que cada thread fica responsável por comparar a imagem de entrada com uma parte do banco de dados. Pode ser definido ainda um critério adicional de parada baseado em tempo de processamento para evitar uma busca muito demorada. Além disso, a confiabilidade e rapidez do processo podem ser ainda melhoradas a partir da utilização de metadados associados à imagem, como dados de GPS, horário do registro da foto, direção do dispositivo etc., que eventualmente podem estar disponíveis no caso de ter sido utilizado um dispositivo móvel, com um smartphone ou tablet, por exemplo. Nestes casos, o dispositivo utilizado envia ao servidor a imagem a ser identificada e outros metadados disponíveis (horário da foto, latitude e longitude, direção do dispositivo, etc) . Esses metadados são então utilizados pelo servidor para orientar a busca das imagens do banco de dados que devem ser primeiro comparadas com a imagem de entrada, permitindo acelerar o processo de identificação da imagem de entrada pela redução do número de comparações necessárias até se encontrar uma correspondência satisfatória. Para otimizar a varredura do banco de dados, recebem prioridade maior na comparação com a imagem de entrada os registros do banco de dados que correspondem a imagens com metadados que possuem um maior grau de similaridade com os metadados associados à imagem de entrada.
[38] Ainda, o sistema de reconhecimento de imagens compreende a aplicação dos métodos citados acima, em conjunto com os equipamentos de aquisição e processamento das imagens, a saber, pelo menos um dispositivo móvel com câmera fotográfica e conexão com a Internet, e ainda um servidor para processamento remoto. Seu funcionamento geral ilustrado na figura 6 e consiste em um usuário portador de dispositivo móvel de fotografia identificar um local de interesse (1), registrar o local por meio de uma fotografia (2) e enviar a sua foto para um servidor (3) , que remotamente analisa a foto e, no caso de uma associação positiva identificada, retorna com o nome, outra informação de identificação, do local de interesse identificado e informações adicionais cadastradas na base de dados (4).
[39] Por fim, são ainda considerados objetos da presente invenção seus diversos usos, como reconhecimento de pontos turísticos, fachadas de construções, paisagens, regiões e construções por fotografias aéreas, além do uso em ambientes de realidade aumentada. A invenção não se limita às aplicações apresentadas, podendo ser utilizada no reconhecimento de fotografias e representações visuais em geral.
EXEMPLOS DE CONCRETIZAÇÃO
[40] As figuras 7, 8 e 9 ilustram a aplicação da invenção em questão para a identificação da Igreja São Francisco de Assis da Pampulha, em Belo Horizonte.
[41] A figura 7 ilustra a comparação entre a imagem a ser identificada (7b) e a imagem do banco de dados (7a), com os pontos característicos marcados, assim como as retas que unem pares de pontos característicos semelhantes nas duas imagens.
[42] A figura 8, cuja imagem a ser identificada (8b) é tomada por outro ângulo, e comparada à imagem do banco de dados (8a), também ilustra os pares de pontos característicos unidos por retas. Nesta situação, observam-se duas retas com ângulos muito diferentes da mediana dos ângulos das retas de todos os pares de pontos característicos encontrados. Os pares de pontos dessas duas retas são descartados pelo critério de aceitação de ângulos de retas do algoritmo.
[43] A figura 9, por sua vez, ilustra a situação de que o ponto turístico em questão é fotografado a partir de sua outra extremidade, evidenciando a importância do protocolo de captura no que se refere à montagem de uma base de imagens com vários ângulos para um determinado local de interesse. No par de imagens superior, a imagem sendo identificada (9b) não é associada à imagem da base de dados (9a). Já no par de imagens na parte de baixo da figura, onde os ângulos de captura são semelhantes tanto na imagem da base de dados (9c) quanto na imagem a ser identificada (9b), ocorre uma identificação positiva do local de interesse.
Referências: - Fei Liu and Stefan Seipel. Detection of Façade Regions in Street View Images from Split-and-Merge of Perspective Patches Journal of Image and Graphics, Vol. 2, No. 1, pp. 8-14, June 2014. - Jingjing Hu, Joshua Sawyer, and Jean-Yves Herve Building Detection and Recognition for an Automated Tour Guide. Systems, Man and Cybernetics, 2006. SMC '06. IEEE International Conference on (Volume 1) 2006. pp. 2 6 3-2·-"·,'. - Shio-Wen Chen, Yi-Hao Chung, Hsin-Fu Chien and Chueh-Wei Chang A SURF Feature Based Building Recognition System for Distinctive Architectures, Information Technology Convergence. Lecture Notes in Electrical Engineering Volume 253, 2013, pp 111-119 - Yan-Tao Zheng, Ming Zhao, Yang Song, Hartwig Adam Ulnch Buddemeier, Alessandro Bissacco, Fernando Brucher Tat-Seng Chua, and Hartmut Neven, Tour the World: building a web- scale landmark recognition engíne, Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. 2009. pp 1065 - 1092 - Naoyuki Abe, Wataru Oogami, Atsushi Shimada, Hajime Nagahara, Rin-ichiro Taniguchi. Clickable Real World: Interaction with Real-world Landmarks using Mobile Phone Camera TENCON 2010 - 2010 IEEE Region 10 Conference 21-24 Nov. 2010. 914 - 917 - Daehoon Kim and Eenjun Hwang, Seungmin Rho, Location-based large-scale landmark image recognition scheme for mobile devices, Mobile, Ubiquitous, and Intelligent Computing (MUSIC), 2012 Third FTRA International Conference on. 2012. pp 47 - 52 - Byungsoo Lim and Jocnoo Kim. 2009. Efficient database reduction method of building recognition using global positioning System on mobile device. In Proceedings of the 4th International conference on Wireless pervasive computing (ISWPC'09). IEEE Press, Piscataway, NJ, USA, 168- 172 . - Jan Knopp, Josef Sivic, and Tomas Pajdla. 2010. Avoiding confusing features in place recognition. In Proceedings of the llth European conference on Computer visíon: Part I (ECCV'10), Kostas Daniilidis, Petros Maragos, and Nikos Paragios (Eds.), Springer-Verlag, Berlin, Heidelberg, 748761.
- Tao Chen, Zhen Li, Kim-Hui Yap, Kui Wu, Lap-Pui Chau A
Multi-scale Learning Approach for Landmark Recognition Using Mobile Devices. Information, Communications and Signal Processing, 2009. ICICS 2009. 7th International Conference on, 8-10 Dec. 2009, 1-4.
REIVINDICAÇÕES

Claims (27)

1. Método de construção de uma base de imagens caracterizado por compreender as etapas de: (a) Aquisição das imagens de referência a partir de posições diferentes a uma distância suficiente para o seu enquadramento, preferencialmente dispostas em um circulo ao redor da referência e igualmente espaçadas, e em diferentes condições de iluminação, conforme o horário do dia e a condição atmosférica. (b) Pré-processamento das imagens; (c) Extração dos pontos característicos da imagem; (d) Armazenamento na base de dados dos pontos característicos de cada local.
2. Método, de acordo com a reivindicação 1, caracterizado pela etapa (a) opcionalmente ser realizada também no sentido oposto ao local de interesse.
3. Método, de acordo com a reivindicação 1, caracterizado por a etapa (a) se repetir utilizando diferentes resoluções de imagens.
4. Método, de acordo com a reivindicação 1, caracterizado pela etapa (a) ser realizada pelo menos a partir de 8 (oito) posições diferentes no sentido direto ao local de interesse, em pelo menos 2 (duas) condições de luminosidade diferentes, e utilizando pelo menos 1 (uma) resolução.
5. Método, de acordo com a reivindicação 1, caracterizado pela etapa (b) compreender o redimensionamento de cada imagem e igualar o maior lado de todas as imagens, mantendo sua razão de aspecto original.
6. Método, de acordo com a reivindicação 1, caracterizado pela etapa (c) compreender a detecção e extração de pontos característicos .
7. Método, de acordo com a reivindicação 1, caracterizado pela etapa {c) ser realizada preferencialmente pelo algoritmo SURF {Speeded Up Robust Features) ou o SIFT (Scale-Invariant Feature Transform) para a extração dos pontos caraterísticos.
8. Método, de acordo com a reivindicação 1, caracterizado pela a etapa (d) compreender a transformação dos pontos característicos em uma representação de dados e seu registro em uma base de dados.
9. Método, de acordo com a reivindicação 1, caracterizado pela etapa (d) utilizar preferencialmente o formato JSON para representação dos dados no banco de dados.
10. Método, de acordo com a reivindicação 1, caracterizado por obter uma estrutura de dados que mantém as associações entre as representações de dados dos locais de interesses correspondentes a uma fotografia e o nome do local de interesse associado àquela fotografia.
11. Método de reconhecimento de imagens caracterizado por compreender as etapas de: (a) Recebimento de uma imagem de entrada a ser identificada; (b) Pré-processamento da imagem; (c) Extração dos pontos característicos; (d) Comparação dos pontos característicos extraídos com pontos característicos da base de dados; (e) Identificação do local fotografado.
12. Método, de acordo com a reivindicação 11, caracterizado pela etapa (b) compreender o redimensionamento da imagem a ser identificada mantendo a sua razão de aspecto.
13. Método, de acordo com a reivindicação 11, caracterizado pela etapa (c) compreender a extração dos seus pontos característicos e a sua representação de dados.
14. Método, de acordo com a reivindicação 11, caracterizado pela etapa (d) compreender a inspeção da base de dados e comparação os pontos característicos da imagem de entrada com os pontos característicos das imagens de referência que compõem a base.
15. Método, de acordo com a reivindicação 11, caracterizado pela etapa (d) buscar correspondências ou pontos característicos comuns nas duas imagens, e então gerar uma lista com os pares de pontos que contemplarem o requisito de similaridade proposto.
16. Método, de acordo com a reivindicação 11, caracterizado pela etapa (e) compreender o cálculo da mediana dos ângulos entre as retas formadas por cada par de pontos desta lista, e posteriormente excluir os pares cujo ângulo de reta diverge da mediana dos ângulos.
17. Método, de acordo com a reivindicação 11, caracterizado pela etapa (e) excluir grupos de pares de pontos característicos que possuam o mesmo ponto característico na imagem de entrada e diferentes pontos característicos na imagem de referência, e vice-versa.
18. Método, de acordo com a reivindicação 11, caracterizado pelo limiar para uma associação positiva ser compreendido entre 10 a 20 pares, preferencialmente 15.
19. Método, de acordo com a reivindicação 11, caracterizado pela etapa (e) contabilizar o número final de pares de pontos característicos, e caso este número esteja acima de um limiar definido, considerar uma associação positiva de imagens referentes a um mesmo local e identificar a entrada.
20. Método, de acordo com a reivindicação 11, caracterizado pela etapa (e), caso nenhuma imagem atinja o valor limiar definido após toda a varredura do banco de imagens de referência, escolher a melhor associação (com maior número de pares) encontrada e que possua pelo menos 2 pares de pontos característicos como solução correta.
21. Método, de acordo com a reivindicação 11, caracterizado por alternativamente utilizar metadados associados à imagem, como dados de GPS, horário do registro da foto, direção do dispositivo etc.,
22. Método, de acordo com a reivindicação 11, caracterizado pelos metadados priorizarem a comparação os registros do banco de dados em função da similaridade com os metadados associados à imagem de entrada.
23. Sistema de reconhecimento de imagens caracterizado por compreender a aplicação dos métodos conforme descritos de 1 a 21 em conjunto a pelo menos um dispositivo móvel com câmera fotográfica e conexão com a Internet, e um servidor para processamento remoto.
24. Sistema, de acordo com a reivindicação 23, caracterizado por preferencialmente ter o processamento paralelizado por threads.
25. Sistema, de acordo com a reivindicação 23, caracterizado por compreender um critério de parada baseado em tempo de processamento.
26. Uso do sistema conforme definido nas reivindicações de 23 a 25 caracterizado por ser para reconhecimento de pontos turísticos, fachadas de construções, paisagens, regiões e construções por fotografias aéreas.
27. Uso do sistema conforme definido nas reivindicações de 23 a 25 caracterizado por ser para ambientes de realidade aumentada, reconhecimento de fotografias e representações visuais em geral.
BR102015012437-6A 2015-05-28 2015-05-28 Método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos BR102015012437B1 (pt)

Priority Applications (2)

Application Number Priority Date Filing Date Title
BR102015012437-6A BR102015012437B1 (pt) 2015-05-28 Método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos
PCT/BR2016/000017 WO2016187681A1 (pt) 2015-05-28 2016-02-22 Método de construção de uma base de imagens, método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
BR102015012437-6A BR102015012437B1 (pt) 2015-05-28 Método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos

Publications (3)

Publication Number Publication Date
BR102015012437A2 true BR102015012437A2 (pt) 2017-04-25
BR102015012437A8 BR102015012437A8 (pt) 2022-09-20
BR102015012437B1 BR102015012437B1 (pt) 2023-09-19

Family

ID=

Also Published As

Publication number Publication date
BR102015012437A8 (pt) 2022-09-20
WO2016187681A1 (pt) 2016-12-01

Similar Documents

Publication Publication Date Title
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Chen et al. City-scale landmark identification on mobile devices
Lim et al. Real-time image-based 6-dof localization in large-scale environments
US9142011B2 (en) Shadow detection method and device
WO2018014828A1 (zh) 识别二维码位置的方法及其系统
WO2019042426A1 (zh) 增强现实场景的处理方法、设备及计算机存储介质
US9524432B1 (en) Fast interest point extraction for augmented reality
Maffra et al. Real-time wide-baseline place recognition using depth completion
JP2014523015A (ja) ロケーションを利用した認識
Wolff et al. Regularity-driven facade matching between aerial and street views
KR101742115B1 (ko) 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법
Mousavian et al. Semantic image based geolocation given a map
Pei et al. IVPR: An instant visual place recognition approach based on structural lines in Manhattan world
CN103488966A (zh) 一种能够识别实名制车票信息的智能手机
US11651288B2 (en) Learning data generation apparatus, change area detection method and computer program
Tarrit et al. Vanishing point detection for visual surveillance systems in railway platform environments
Sadeghi et al. Ocrapose: An indoor positioning system using smartphone/tablet cameras and OCR-aided stereo feature matching
CN111383286A (zh) 定位方法、装置、电子设备及可读存储介质
Maffra et al. Loop-closure detection in urban scenes for autonomous robot navigation
Fornaciari et al. Very fast ellipse detection for embedded vision applications
BR102015012437A2 (pt) método de construção de uma base de imagens, método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos
Djahel et al. Towards efficient indoor/outdoor registration using planar polygons
Nowicki et al. Experimental evaluation of visual place recognition algorithms for personal indoor localization
Lowry et al. Logos: Local geometric support for high-outlier spatial verification
Tu et al. Automatic recognition of civil infrastructure objects in mobile mapping imagery using a markov random field model

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: G06K 9/46 , G06K 9/68 , G06F 17/30

Ipc: G06V 10/40 (2022.01), G06V 10/75 (2022.01), G06F 1

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B08E Application fees: payment of additional fee required [chapter 8.5 patent gazette]

Free format text: COMPLEMENTAR 3A, 4A, 5A, 6A E 7A ANUIDADE(S), DE ACORDO COM TABELA VIGENTE, REFERENTE A(S) GUIA(S) DE RECOLHIMENTO 221705446536, 29409161806989360, 29409161907083340, 29409161920432832 E 29409161936589116, RESPECTIVAMENTE, UMA VEZ QUE, EM CONSULTA AO SITE DA RECEITA FEDERAL, UM DOS DEPOSITANTES CONSTA COM O PORTE "DEMAIS", NAO SE ENQUADRANDO NO ROL DE BENEFICIARIOS QUE FAZEM JUS A REDUCAO DE RETRIBUICAO CONFORME O DISPOSTO NA RESOLUCAO 251, DE 02/10/2019.O DEPOSITANTE DEVERA, DENTRO DE 60 DIAS CONTADOS DA PUBLICACAO DA PRESENTE EXIGENCIA, PROTOCOLAR GRU COD. 207, REFERENTE AO CUMPRIMENTO DA PRESENTE EXIGENCIA, ACOMPANHADA DAS 5 (CINCO) GRUS COD. 800, REFERENTES AS COMPLEMENTACOES DAS ANUIDA

B08G Application fees: restoration [chapter 8.7 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 28/05/2015, OBSERVADAS AS CONDICOES LEGAIS