WO2013068619A1 - Método y sistema de recuperación de información de imágenes en dispositivos móviles usando metadatos - Google Patents

Método y sistema de recuperación de información de imágenes en dispositivos móviles usando metadatos Download PDF

Info

Publication number
WO2013068619A1
WO2013068619A1 PCT/ES2012/070743 ES2012070743W WO2013068619A1 WO 2013068619 A1 WO2013068619 A1 WO 2013068619A1 ES 2012070743 W ES2012070743 W ES 2012070743W WO 2013068619 A1 WO2013068619 A1 WO 2013068619A1
Authority
WO
WIPO (PCT)
Prior art keywords
metadata
information
image
remote server
region
Prior art date
Application number
PCT/ES2012/070743
Other languages
English (en)
French (fr)
Inventor
Antonio PERTUSA IBÁÑEZ
Original Assignee
Universidad De Alicante
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad De Alicante filed Critical Universidad De Alicante
Publication of WO2013068619A1 publication Critical patent/WO2013068619A1/es

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present invention relates to a method based on a client / server architecture for retrieving information from images obtained by mobile devices.
  • Goggles [described in US20100260373], which is capable of recognizing wine brands, books, works of art, monuments and commercial logos.
  • Metadata such as date or GPS location can facilitate the identification of the scene or object by reducing the search space. For example, using only camera metadata, good results can be obtained to discriminate between indoor and outdoor scenes [US2005 / 0105776].
  • the present invention has a number of differentiating characteristics.
  • the first is the inclusion of a plurality of new metadata to improve the search, within a multimodal scheme.
  • Another distinguishing feature is that it is an interactive system, in which the user selects the region of interest around the object and also validates the response given by the system, so that it can improve in future consultations.
  • the method of retrieving image information on mobile devices using metadata employs mobile devices that comprise means for capturing images, as well as means for transmitting said captured images together with a plurality of metadata to a remote server.
  • the method is characterized in that it comprises a step of capturing an image by means of the mobile device, as well as the selection of a region within the image itself by the user of said mobile device; where in that region there is an object from which you want to obtain some information.
  • the selected region of the image is sent together with a plurality of metadata. After that, it is identified on the remote server and the identified object is classified, sending said information to the mobile device.
  • the response of the remote server on the mobile device is validated by the user, indicating when that information is correct and, otherwise, labeling the object for return and storage in a database of the remote server.
  • FIG i Schematically shows the recovery system and method of Image information on mobile devices using metadata.
  • the general scheme can be seen in the attached figure.
  • the user can take a picture using the mobile device (loo) and select the region corresponding to the object from which information is to be obtained (106).
  • the image included in this region is sent by network to the remote server (102) together with the metadata described below.
  • the remote server (102) subsequently identifies or classifies the object and returns the information to the user, who can validate the response.
  • the user can validate the answer, indicating if it is correct and, otherwise, specifying the type or class of object.
  • the system may indicate that the answer is not correct to add the tagged image to the server database.
  • a gyroscope can provide information about the angles of Tait-Bryan. These represent the axes of pitch, direction and warping, from which more metadata can be obtained as the angle with respect to the horizontal.
  • GPS position The coordinates at the time of the shot can be used to, for example, choose only those objects close to the location of the device.
  • the true potential of the GPS position can be revealed by reverse geo-coding.
  • Acceleration Data Using an accelerometer you can obtain the acceleration with respect to each of the axes at the time of the shot. This data provides an indication of the stability of the device, and this information can be used to select the most stable images as representative of a class.
  • Date It is more likely, for example, to take a picture of a flower in spring, or a snowman in winter, or a pool in summer. Information about the date can be useful for discerning between certain types of objects or scenes.
  • the time it was made can also provide relevant information. It can be used, for example, to narrow the search on those objects that have been photographed at that time, thus comparing images with similar lighting conditions.
  • Camera parameters Data such as shutter speed, aperture, exposure time, focal length, ISO, or flash mode are also relevant for this task.
  • Focal length is a representative parameter of the distance of photographed objects, but currently the cameras of advanced mobile devices usually have fixed focal lengths.
  • Audio metadata The decibel level at the time of taking or at a time interval around it can indicate whether the user is in a noisy environment (such as a shopping center) or quiet (such as a rural area).
  • Network data If there is a nearby WiFi network, it is most likely that the mobile device is in a populated area.
  • the density or quantity of wireless networks detected at the time of the capture can be used as an indication to obtain data about the environment.
  • the same user tends to take photographs of similar objects (animals, office objects, etc.) and to repeat searches on objects already photographed. Therefore, it is possible to prioritize the categories of images previously taken by the user. Size of the region of interest. The height and width of the region of interest selected by the user can help to know if the object is elongated or compact.
  • a series of additional metadata can be derived that reveal the true potential of mobile devices for this Angle with respect to the horizontal. This information is relevant to know the size of the photographed object or, for example, to discern between objects located on the floor or placed on a wall.
  • the angles of Tait-Bryan obtained by a gyroscope can be combined with the orientation of the mobile device to calculate the angle with respect to the ground at the time of the shot.
  • Degree of exterior brightness From the date, time and GPS latitude, it can be calculated if it is day, night, or if it is sunrise or sunset. This data can be used, for example, to deduce that if the shot has been taken at night and without a flash, an indoor scene is more likely to be treated than outside.
  • Metadata obtained by reverse geocoding can be obtained from a location, such as:
  • Weather conditions Data relating to temperature, relative humidity or if it is raining or sunny can also be extracted from the GPS position, locating the nearest weather station and obtaining its information through systems such as simplegeo or geonames. This data can be relevant to know if the shot has been exterior or interior, if snow may appear in the image, etc.
  • the invention allows the use of any existing system of classification or identification of images. Normally, this task is done in three steps: feature extraction, information grouping and classification or identification. Depending on the problem, the selected characteristics can be both points of interest (SIFT, SURF, Harris, etc.) and descriptors of color, texture, shape, etc.
  • SIFT points of interest
  • SURF SURF
  • Harris Harris
  • the characteristics are usually grouped using "bag of words", histograms, principal component analysis, etc. to reduce the computational cost and improve the results of the classification.
  • geometric verification can be used to check the spatial coherence of the characteristics.
  • the grouped characteristics of an image are compared with those of all images in a tagged database (or with a subset of them) to obtain a ranking of similar images.
  • the labels of the most similar images provide information about the class of the object.
  • the comparison can be made by calculating the nearest neighbors, given a defined distance or using learning techniques to classify the sample, such as "support vector machines", Bayes networks, neural networks, etc.
  • Metadata can complement image information to improve classification. Integration can be done in different ways:
  • Joint classification linking image characteristics with metadata In all three cases, machine learning techniques can be used, and in the event that there is interactivity with the user, these should be incremental. Information can be integrated using a Bayesian network or other statistical classification techniques.
  • information about it is sent to the mobile device (100).
  • This information includes the type of object so that the user can validate it (optionally) and additional information. For example, if the system identifies a particular painting by an artist, it can provide information about the author or similar works. This information can be textual, visual or audible (for example, for an audio guide).
  • the tagged sample is incorporated into the database (i05). The user validates the server response, indicating whether the class is correct or not. If so, the new image is added to the database with the label obtained. In case the answer is not correct, the user can indicate the correct answer and this will be added to the database with its new label to improve future queries.

Abstract

Método y sistema de recuperación de información de imágenes en dispositivos móviles usando metadatos que comprende el empleo de un teléfono móvil y un servidor remoto, y en donde esencialmente, se emplean una pluralidad de metadatos como el giro del dispositivo, la aceleración en el momento de la toma, metadatos de audio, datos de red, precisión y cobertura GPS, tamaño de la región de interés, ángulo respecto a la horizontal, grado de luminosidad exterior, metadatos obtenidos mediante geocodificación inversa, altura sobre el suelo y condiciones climatológicas para la mejora interactiva de la identificación del objeto previamente seleccionado por el usuario.

Description

MÉTODO Y SISTEMA DE RECUPERACIÓN DE INFORMACIÓN DE IMÁGENES EN DISPOSITIVOS MÓVILES USANDO METADATOS
DESCRIPCIÓN
La presente invención está referida a un método basado en una arquitectura cliente/servidor para la recuperación de información a partir de imágenes obtenidas mediante dispositivos móviles. Estado de la técnica anterior
La búsqueda de información sobre un objeto a partir de su fotografía es útil en aquellos problemas donde es más sencillo describir la consulta mediante una imagen que mediante una descripción textual.
En la actualidad, existen multitud de sistemas de recuperación de información a partir de imágenes. Esta tarea, en la que destacan sistemas como Google images [http://images.google.com], es conocida como content-based image retrieval. Para llevarla a cabo, normalmente se extraen una serie de características de la imagen (locales o globales), se procesan usando técnicas de agrupación de la información, y finalmente se obtiene un ranking de imágenes similares a la consulta presentes en una base de datos de referencia. Se puede identificar o clasificar el objeto consultando, por ejemplo, la categoría de la primera imagen del ranking (para ello es imprescindible que la base de datos esté etiquetada).
La principal ventaja de los dispositivos móviles avanzados es la toma de fotografías desde cualquier punto y su envío a través de internet. La recuperación de información de imágenes obtenidas mediante estos dispositivos es un problema de reciente estudio. Actualmente, la aplicación más conocida que aborda este problema es Google
Goggles [descrito en US20100260373], que es capaz de reconocer marcas de vino, libros, obras de arte, monumentos y logos comerciales.
A pesar de que reconocer cualquier tipo de imagen en general es un problema extremadamente complicado, este puede simplificarse en parte usando dispositivos móviles, ya que estos proporcionan datos adicionales (metadatos) sobre la localización espacio/temporal, información sobre el usuario y datos aportados por los sensores para complementar la información de la imagen.
Estos metadatos pueden ser útiles para restringir la búsqueda. Por ejemplo, si tomamos una foto de un objeto en un exterior y conocemos la hora de la toma, podríamos mejorar el reconocimiento seleccionando sólo las imágenes que se han tomado alrededor de dicha hora, ya que las condiciones de iluminación serán similares.
Podemos encontrar en la literatura diversas técnicas de extracción de características, tanto locales (SIFT, SURF, etc.) como globales (color, textura, etc.). Tras obtener las características de la imagen, se pueden aplicar métricas basadas en distancias, agrupamiento en clusters o histogramas, o usar técnicas de aprendizaje, como vecinos más cercanos, support vector machines, o boosting, para obtener la clase de la imagen, o la imagen con mayor similitud.
Para mejorar los resultados en la búsqueda de imágenes, conviene restringir el número de objetos con los que comparar la imagen de la consulta. Metadatos como la fecha o la localización GPS pueden facilitar la identificación de la escena o del objeto reduciendo el espacio de búsqueda. Por ejemplo, usando únicamente metadatos de la cámara se pueden obtener buenos resultados para discriminar entre escenas de interior y de exterior [US2005/0105776].
En la literatura se ha estudiado el aporte de los metadatos aportados por las cámaras fotográficas [US2005/0105776], o por los dispositivos móviles, aunque de una manera básica [US20100260373].
Explicación de la invención
La presente invención tiene una serie de características diferenciadoras. La primera es la inclusión de una pluralidad de nuevos metadatos para mejorar la búsqueda, dentro de un esquema multimodal. Otra característica diferenciadora es que se trata de un sistema interactivo, en el que el usuario selecciona la región de interés alrededor del objeto y además valida la respuesta dada por el sistema, de tal forma que pueda mejorar en futuras consultas.
Más concretamente, el método de recuperación de información de imágenes en dispositivos móviles usando metadatos emplea dispositivos móviles que comprenden medios para la captura de imágenes, así como medios de transmisión de dichas imágenes capturadas junto con una pluralidad de metadatos a un servidor remoto.
El método se caracteriza porque comprende una etapa de captura de una imagen mediante el dispositivo móvil, así como la selección de una región dentro de la propia imagen por parte del usuario de dicho dispositivo móvil; en donde en dicha región se encuentra un objeto del cual se quiere obtener alguna información.
Posteriormente, se produce el envío de la región seleccionada de la imagen junto con una pluralidad de metadatos. Tras ello, se identifica en el servidor remoto y se clasifica el objeto identificado, remitiendo dicha información al dispositivo móvil.
Por último, se valida la respuesta del servidor remoto en el dispositivo móvil por parte del usuario, indicando cuando esa información es correcta y, en caso contrario, etiquetando el objeto para su devolución y almacenamiento en una base de datos del servidor remoto.
En un segundo aspecto de la invención, se reivindica el sistema que implementa el método anteriormente descrito.
Como se puede observar, se trata de un sistema y un método personalizable, en el sentido de que se pretende que el usuario decida qué tipos de objeto desea clasificar, y colaborativo, en el sentido de que las imágenes que vaya añadiendo un usuario se podrán usar para mejorar las consultas de otros usuarios.
A lo largo de la descripción y las reivindicaciones la palabra "comprende" y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención. Los siguientes ejemplos y dibujos se proporcionan a modo de ilustración, y no se pretende que sean limitativos de la presente invención. Además, la presente invención cubre todas las posibles combinaciones de realizaciones particulares y preferidas aquí indicadas. Breve descripción de los dibujos
FIG i. Muestra de forma esquemática el sistema y método de recuperación de información de imágenes en dispositivos móviles usando metadatos.
Exposición detallada de un modo de realización El esquema general se puede observar en la figura adjunta. El usuario puede tomar una fotografía mediante el dispositivo móvil (loo) y seleccionar la región correspondiente al objeto del cual se quiere obtener información (106). La imagen comprendida en esta región se envía por red al servidor remoto (102) junto con los metadatos descritos a continuación. El servidor remoto (102) posteriormente identifica o clasifica el objeto y devuelve la información al usuario, que puede validar la respuesta. El usuario puede validar la respuesta, indicando si es correcta y, en caso contrario, especificando el tipo o la clase de objeto.
Por ejemplo, si el sistema identifica que se le está haciendo una foto a una motocicleta pero se trata de una bicicleta, el usuario podrá indicar que la respuesta no es correcta para añadir la imagen etiquetada a la base de datos del servidor.
Se propone usar los metadatos que se describen a continuación, extraídos a partir de los sensores que poseen algunos dispositivos móviles:
Giro del dispositivo. Un giroscopio puede proporcionar información sobre los ángulos de Tait-Bryan. Estos representan los ejes de cabeceo, dirección y alabeo, a partir de los cuales se pueden obtener más metadatos como el ángulo respecto a la horizontal.
- Orientación. Si el dispositivo móvil es rectangular, existen cuatro orientaciones posibles. Este dato es de relevancia para rotar la imagen al enviarla al servidor, y también para calcular el ángulo respecto a la horizontal. Posición GPS. Las coordenadas en el momento de la toma pueden usarse para, por ejemplo, escoger sólo aquellos objetos cercanos a la localización del dispositivo. El verdadero potencial de la posición GPS se puede revelar mediante geo-codificación inversa.
Datos de aceleración. Usando un acelerómetro se puede obtener la aceleración respecto cada uno de los ejes en el momento de la toma. Estos datos proporcionan una indicación sobre la estabilidad del dispositivo, y esta información puede usarse para seleccionar las imágenes más estables como representativas de una clase.
Fecha. Es más probable, por ejemplo, realizar una fotografía de una flor en primavera, o de un muñeco de nieve en invierno, o de una piscina en verano. La información sobre la fecha puede ser de utilidad para discernir entre ciertos tipos de objetos o escenas.
Hora. La hora en la que se ha realizado también puede proporcionar información de relevancia. Se puede usar, por ejemplo, para restringir la búsqueda en aquellos objetos que se han fotografiado a esa hora, comparando así imágenes con condiciones de iluminación similares.
Parámetros de la cámara. Datos como la velocidad de obturación, la apertura, el tiempo de exposición, la distancia focal, la ISO, o el modo de flash son también relevantes para esta tarea. La distancia focal es un parámetro representativo de la distancia de los objetos fotografiados, pero actualmente las cámaras de los dispositivos móviles avanzados suelen tener distancias focales fijas.
Metadatos de audio. El nivel de decibelios en el momento de la toma o en un intervalo de tiempo alrededor de la misma puede indicar si el usuario se encuentra en un entorno ruidoso (como un centro comercial) o silencioso (como una zona rural).
Datos de red. Si existe una red WiFi cercana, lo más probable es que el dispositivo móvil se encuentre en una zona poblada. La densidad o cantidad de redes inalámbricas que se detectan en el momento de la toma puede usarse como un indicio para obtener datos sobre el entorno.
Precisión y cobertura GPS. Por regla general, siempre se detecta al menos un satélite en localizaciones exteriores, pero en zonas interiores no se detectan debido a que techos y paredes impiden que la señal alcance el dispositivo. Por tanto, la precisión de la posición GPS (en metros) o la cobertura (en número de satélites detectados) también son datos relevantes para esta tarea, y pueden indicar si la escena es de interior o de exterior.
Identificación del usuario. Un mismo usuario tiende a realizar fotografías de objetos similares (animales, objetos de oficina, etc.) y a repetir búsquedas sobre objetos ya fotografiados. Por tanto, es posible dar prioridad en la clasificación a las categorías de imágenes tomadas previamente por el usuario. Tamaño de la región de interés. La altura y anchura de la región de interés seleccionada por el usuario puede ayudar a conocer si el objeto es alargado o compacto.
A partir de los metadatos anteriores, se pueden derivar una serie de metadatos adicionales que revelan el auténtico potencial de los dispositivos móviles para esta Ángulo respecto a la horizontal. Esta información es de relevancia para conocer el tamaño del objeto fotografiado o, por ejemplo, para discernir entre los objetos situados en el suelo o colocados en una pared. Los ángulos de Tait- Bryan obtenidos mediante un giroscopio se pueden combinar con la orientación del dispositivo móvil para calcular el ángulo respecto al suelo en el momento de la toma.
Grado de luminosidad exterior. A partir de la fecha, hora y latitud GPS, se puede calcular si es de día, de noche, o si está amaneciendo o anocheciendo. Este dato se puede usar, por ejemplo, para deducir que si la toma se ha hecho de noche y sin flash, es más probable que se trate una escena de interior que de exterior.
Metadatos obtenidos mediante geocodificación inversa. Usando sistemas como simplegeo, google, geonames, etc., se pueden obtener datos relevantes a partir de una localización, tales como:
o El tipo de lugar donde se ha realizado la toma (zoo, universidad, bosque, ciudad, playa, etc.)
o El código postal de la zona
o La ciudad, pueblo o región
o El país
o La densidad demográfica en la zona
Estas características son de interés para restringir la clasificación de determinados objetos. Por ejemplo, es muy improbable encontrar un elefante en una ciudad, pero sí se puede encontrar en un zoo.
Altura sobre el suelo. Mediante geocodificación inversa se puede obtener la altitud sobre el mar en una determinada zona. Comparando esta altitud con la altitud obtenida mediante GPS, se puede deducir (con un cierto margen de error) si la toma se ha realizado desde, por ejemplo, un edificio de varias plantas o a nivel del suelo.
Condiciones climatológicas. Los datos relativos a la temperatura, la humedad relativa o si está lloviendo o soleado también se pueden extraer a partir de la posición GPS, localizando la estación meteorológica más cercana y obteniendo su información mediante sistemas como simplegeo o geonames. Estos datos pueden ser de relevancia para conocer si la toma ha sido exterior o interior, si puede aparecer nieve en la imagen, etc.
Orientación de la vista sobre el mapa. Los ángulos de Tait-Bryan en combinación con la posición GPS permiten conocer el punto hacia el cual se ha hecho la fotografía. Por ejemplo, en una zona con cuatro puntos de interés, si la foto se ha tomado en el lugar central de los mismos se podrían usar estos ángulos para determinar a qué punto se está haciendo referencia.
- Metadatos adicionales a partir de los metadatos sobre la cámara. Por ejemplo, a partir del tiempo de exposición y del valor de apertura se puede obtener la energía de la escena, que está directamente correlacionada con el tipo de escena y los diferentes grados de luminosidad. En la clasificación e identificación de la imagen (103) la invención permite el uso de cualquier sistema existente de clasificación o identificación de imágenes. Normalmente, esta tarea se realiza en tres pasos: extracción de características, agrupación de la información y clasificación o identificación. En función del problema, las características seleccionadas pueden ser tanto puntos de interés (SIFT, SURF, Harris, etc.) como descriptores de color, textura, forma, etc.
Posteriormente, se suelen agrupar las características empleando "bag of words", histogramas, análisis de componentes principales, etc. para reducir el coste computacional y mejorar los resultados de la clasificación. Opcionalmente, se puede usar verificación geométrica para comprobar la coherencia espacial de las características.
Por último, se comparan las características agrupadas de una imagen con los de todas las imágenes de una base de datos etiquetada (o con un subconjunto de las misma) para obtener un ranking de imágenes similares. Las etiquetas de las imágenes más similares proporcionan la información sobre la clase del objeto. La comparación se puede realizar calculando los vecinos más cercanos, dada una distancia definida o usando técnicas de aprendizaje para clasificar la muestra, tales como "support vector machines", redes de Bayes, redes neuronales, etc.
Los metadatos pueden complementar la información de la imagen para mejorar la clasificación. La integración se puede realizar de distintas formas:
Clasificación con características de imagen y filtrado posterior usando metadatos.
- Filtrado inicial con los metadatos y posterior clasificación con características de imagen.
Clasificación conjunta uniendo características de imagen con metadatos. En los tres casos se pueden emplear técnicas de aprendizaje automático, y en el caso de que haya interactividad con el usuario, estas deben ser increméntales. La información puede integrarse usando una red Bayesiana u otras técnicas de clasificación estadística.
En la generación de información (104), una vez el servidor remoto (102) haya identificado o clasificado el objeto, se envía información sobre el mismo al dispositivo móvil (100). Esta información incluye el tipo de objeto para que el usuario pueda validarlo (opcionalmente) e información adicional. Por ejemplo, si el sistema identifica un cuadro determinado de un artista, puede proporcionar información sobre el autor o sobre obras similares. Esta información puede ser textual, visual o sonora (por ejemplo, para una audioguía). Finalmente, se incorpora la muestra etiquetada a la base de datos (i05).El usuario valida la respuesta del servidor, indicando si la clase es correcta o no. En caso afirmativo, se añade la nueva imagen a la base de datos con la etiqueta obtenida. En caso de que la respuesta no sea correcta, el usuario puede indicar la respuesta correcta y esta se añadirá a la base de datos con su nueva etiqueta para mejorar futuras consultas.

Claims

REIVINDICACIONES
1. - Método de recuperación de información de imágenes en dispositivos móviles usando metadatos; en donde dichos dispositivos móviles (loo) comprenden medios para la captura de imágenes y medios de transmisión de dichas imágenes capturadas más una pluralidad de metadatos a un servidor remoto (102);
que se caracteriza porque
(i) la captura de una imagen mediante un dispositivo móvil (100) y la selección por parte del usuario de dicho dispositivo móvil (100) de una determinada región dentro de la propia imagen, en donde dicha región se corresponde con un objeto del cual se quiere obtener alguna información (106);
(ii) el envío de la región seleccionada de la imagen junto con una pluralidad de metadatos;
(iii) la identificación (103) en el servidor remoto (102) y clasificación del objeto identificado, remitiendo dicha información (104) al dispositivo móvil (100); y
(iv) la validación de la respuesta del servidor remoto (102) en el dispositivo móvil (100) por parte del usuario, indicando cuando esa información es correcta y, en caso contrario, etiquetando el objeto para su devolución y almacenamiento en una base de datos del servidor remoto (102).
2. - Método de acuerdo con la reivindicación 1 en donde los metadatos comprenden al menos el giro del dispositivo, la aceleración en el momento de la toma, metadatos de audio, datos de red, precisión y cobertura GPS, tamaño de la región de interés, ángulo respecto a la horizontal, grado de luminosidad exterior, metadatos obtenidos mediante geocodificación inversa, altura sobre el suelo y condiciones climatológicas.
3. - Método de acuerdo con las reivindicaciones 1 y 2 en donde la información remitida por el servidor remoto (102) comprende el tipo de objeto e información adicional respecto a ese objeto.
4. - Sistema de recuperación de de información de imágenes en dispositivos móviles usando metadatos; en donde dichos dispositivos móviles (100) comprenden medios para la captura de imágenes y medios de transmisión de dichas imágenes capturadas más una pluralidad de metadatos a un servidor remoto (102);
que se caracteriza porque implementa medios configurados para la ejecución del método de las reivindicaciones i a 3 y que consisten en medios para la selección por parte del usuario de dicho dispositivo móvil (100) de una región dentro de la propia imagen, que se corresponde con un objeto del cual se quiere obtener alguna información (106); medios configurados para el envío de la región seleccionada de la imagen junto con una pluralidad de metadatos, comprendiendo al menos el giro del dispositivo, la aceleración en el momento de la toma, metadatos de audio, datos de red, precisión y cobertura GPS, tamaño de la región de interés, ángulo respecto a la horizontal, grado de luminosidad exterior, metadatos obtenidos mediante geocodificación inversa, altura sobre el suelo y condiciones climatológicas; y medios para la identificación en el servidor remoto (102) y clasificación del objeto identificado, remitiendo dicha información (104) al dispositivo móvil (100).
PCT/ES2012/070743 2011-11-07 2012-10-24 Método y sistema de recuperación de información de imágenes en dispositivos móviles usando metadatos WO2013068619A1 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES201101196A ES2407105B1 (es) 2011-11-07 2011-11-07 Metodo y sistema de recuperacion de informacion de imagenes en dispositivos moviles usando metadatos.
ESP201101196 2011-11-07

Publications (1)

Publication Number Publication Date
WO2013068619A1 true WO2013068619A1 (es) 2013-05-16

Family

ID=48288576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2012/070743 WO2013068619A1 (es) 2011-11-07 2012-10-24 Método y sistema de recuperación de información de imágenes en dispositivos móviles usando metadatos

Country Status (2)

Country Link
ES (1) ES2407105B1 (es)
WO (1) WO2013068619A1 (es)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
EP2899962A1 (en) * 2014-01-24 2015-07-29 Nokia Technologies OY Method and apparatus for producing an enhanced image
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9560425B2 (en) 2008-11-26 2017-01-31 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010102515A1 (en) * 2009-03-11 2010-09-16 Hong Kong Baptist University Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
WO2010120901A1 (en) * 2009-04-14 2010-10-21 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US20100309225A1 (en) * 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010102515A1 (en) * 2009-03-11 2010-09-16 Hong Kong Baptist University Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
WO2010120901A1 (en) * 2009-04-14 2010-10-21 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US20100309225A1 (en) * 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838758B2 (en) 2008-11-26 2017-12-05 David Harrison Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10986141B2 (en) 2008-11-26 2021-04-20 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9848250B2 (en) 2008-11-26 2017-12-19 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9167419B2 (en) 2008-11-26 2015-10-20 Free Stream Media Corp. Discovery and launch system and method
US9854330B2 (en) 2008-11-26 2017-12-26 David Harrison Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9560425B2 (en) 2008-11-26 2017-01-31 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9576473B2 (en) 2008-11-26 2017-02-21 Free Stream Media Corp. Annotation of metadata through capture infrastructure
US9591381B2 (en) 2008-11-26 2017-03-07 Free Stream Media Corp. Automated discovery and launch of an application on a network enabled device
US9589456B2 (en) 2008-11-26 2017-03-07 Free Stream Media Corp. Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9686596B2 (en) 2008-11-26 2017-06-20 Free Stream Media Corp. Advertisement targeting through embedded scripts in supply-side and demand-side platforms
US9706265B2 (en) 2008-11-26 2017-07-11 Free Stream Media Corp. Automatic communications between networked devices such as televisions and mobile devices
US9703947B2 (en) 2008-11-26 2017-07-11 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9716736B2 (en) 2008-11-26 2017-07-25 Free Stream Media Corp. System and method of discovery and launch associated with a networked media device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10791152B2 (en) 2008-11-26 2020-09-29 Free Stream Media Corp. Automatic communications between networked devices such as televisions and mobile devices
US9258383B2 (en) 2008-11-26 2016-02-09 Free Stream Media Corp. Monetization of television audience data across muliple screens of a user watching television
US9866925B2 (en) 2008-11-26 2018-01-09 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9967295B2 (en) 2008-11-26 2018-05-08 David Harrison Automated discovery and launch of an application on a network enabled device
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10032191B2 (en) 2008-11-26 2018-07-24 Free Stream Media Corp. Advertisement targeting through embedded scripts in supply-side and demand-side platforms
US10074108B2 (en) 2008-11-26 2018-09-11 Free Stream Media Corp. Annotation of metadata through capture infrastructure
US10142377B2 (en) 2008-11-26 2018-11-27 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10425675B2 (en) 2008-11-26 2019-09-24 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10771525B2 (en) 2008-11-26 2020-09-08 Free Stream Media Corp. System and method of discovery and launch associated with a networked media device
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
EP2899962A1 (en) * 2014-01-24 2015-07-29 Nokia Technologies OY Method and apparatus for producing an enhanced image
WO2015110700A1 (en) * 2014-01-24 2015-07-30 Nokia Corporation Method and apparatus for producing an enhanced image

Also Published As

Publication number Publication date
ES2407105B1 (es) 2014-04-29
ES2407105A1 (es) 2013-06-11

Similar Documents

Publication Publication Date Title
ES2407105B1 (es) Metodo y sistema de recuperacion de informacion de imagenes en dispositivos moviles usando metadatos.
US10664708B2 (en) Image location through large object detection
US9405981B2 (en) Optimizing the detection of objects in images
US8483519B2 (en) Mobile image search and indexing system and method
Brejcha et al. State-of-the-art in visual geo-localization
US8055081B2 (en) Image classification using capture-location-sequence information
US20120251011A1 (en) Event Determination From Photos
CN101479741B (zh) 基于照片位置对图像区域分类
CN104331509A (zh) 照片管理方法及装置
CN109588060A (zh) 需求敏感型图像和位置捕获系统及方法
CN105516929B (zh) 建立室内地图数据的方法、室内定位方法及对应装置
JP2015501982A (ja) 画像コンテンツに基づいた自動タグ生成
US20090324058A1 (en) Use of geographic coordinates to identify objects in images
CN103827634A (zh) 用于室内定位的徽标检测
JP2010509668A (ja) デジタル画像により取得されたオブジェクトを識別する方法及び装置
WO2010078455A1 (en) Mobile image search and indexing system and method
CN102456132A (zh) 定位方法及应用该方法的电子装置
WO2021117543A1 (ja) 情報処理装置、情報処理方法、プログラム
US20160171004A1 (en) Method and system for improving the location precision of an object taken in a geo-tagged photo
CN108932275A (zh) 用于地理空间对象/特性检测的贝叶斯方法
AU2020254128A1 (en) System and method for determining location and orientation of an object in a space
Christodoulakis et al. Picture Context Capturing for Mobile Databases.
US20150379040A1 (en) Generating automated tours of geographic-location related features
US11480438B2 (en) Identifying and displaying smooth and demarked paths
Tutzauer et al. Processing of crawled urban imagery for building use classification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12847481

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12847481

Country of ref document: EP

Kind code of ref document: A1