ES2371895B1 - Método de detección de la opción seleccionada en un menú de aplicación multimedia. - Google Patents

Método de detección de la opción seleccionada en un menú de aplicación multimedia. Download PDF

Info

Publication number
ES2371895B1
ES2371895B1 ES200900407A ES200900407A ES2371895B1 ES 2371895 B1 ES2371895 B1 ES 2371895B1 ES 200900407 A ES200900407 A ES 200900407A ES 200900407 A ES200900407 A ES 200900407A ES 2371895 B1 ES2371895 B1 ES 2371895B1
Authority
ES
Spain
Prior art keywords
application
image
area
areas
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
ES200900407A
Other languages
English (en)
Other versions
ES2371895A1 (es
Inventor
Julio Germán Rojas Peláez
Susana Martín Esteban
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonica SA
Original Assignee
Telefonica SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonica SA filed Critical Telefonica SA
Priority to ES200900407A priority Critical patent/ES2371895B1/es
Publication of ES2371895A1 publication Critical patent/ES2371895A1/es
Application granted granted Critical
Publication of ES2371895B1 publication Critical patent/ES2371895B1/es
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G06K9/38—
    • G06T7/0048—
    • G06T7/0097—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Se divulga un método de detección de la opción seleccionada en un menú de aplicación multimedia dotado de una interfaz humana, cuando esa opción seleccionada está delimitada por un área de color plano cuya posición y/o contenido varía a través de un elemento de interfaz humana asociado al dispositivo de visualización, donde la detección se efectúa a través de un análisis del video mostrado en el dispositivo de visualización.

Description

Método de detección de la opción seleccionada en un menú de aplicación multimedia.
Sector de la técnica
La presente invención está relacionada con el tratamiento de la señal de vídeo en dispositivos electrónicos de visualización.
Específicamente, esta invención tiene su aplicación en el campo de los servicios multimedia móviles, domésticos y corporativos, en los que existen menús textuales o icónicos navegables a través de cualquier tipo de interfaz humana.
Estado de la técnica
Los recientes avances tecnológicos han conducido a la creación de un nuevo medio interactivo, el sistema interactivo de visualización de una imagen de vídeo. Estos sistemas permiten la interacción humana en tiempo real con los dispositivos de presentación de vídeo.
La identificación del foco (área seleccionada por el usuario en una aplicación multimedia), surge como un paso necesario para la automatización de acciones que se aplican sobre el dispositivo de visualización. Actualmente no se han encontrado referencias a métodos que identifiquen la situación del foco (área seleccionada en una aplicación multimedia) en una aplicación de usuario, a partir del vídeo mostrado por el dispositivo de visualización de la aplicación.
Sin embargo, el método utilizado en la presente invención implementa algoritmos de tratamiento y análisis de vídeo (HSV color segmentation (Hue, Saturation, Value)) de los que sí existen referencias en las patentes que se citan a continuación, aunque el objetivo de todas ellas difiere sustancialmente del objetivo de la presente invención.
Patentes relacionadas:
Patente Internacional WO 2005 041579 -Method and system for processing captured image information in an interactive video display system.-La imagen capturada por una cámara es comparada con una imagen modelo de fondo, y es comparada también con una segunda imagen modelo de fondo, donde el segundo modelo de fondo es asimilado a una velocidad mayor que la del modelo de fondo normal. La comparación de la imagen capturada de la cámara con el modelo de fondo normal genera una primera imagen de salida, y la comparación de la imagen capturada de la cámara con la segunda imagen modelo de fondo genera una segunda imagen de salida. En un modo de realización, la primera imagen de salida y la segunda imagen de salida generan son imágenes en blanco y negro que identifican una parte del primer plano y una parte del fondo de la imagen capturada por la cámara.
Patente de Estados Unidos núm. 6681043 -Interactive video object processing environment which visually distinguishes segmented video object.-En esta invención, un entorno de proceso para el tratamiento de vídeo incluye un interfaz de usuario y una cubierta de proceso desde la cual se ejecutan diversos programas “plug-in” de proceso. El interfaz de usuario permite a un operador cargar una secuencia de vídeo, definir y visualizar uno o más objetos de vídeo, en uno o más de los cuadros de la secuencia de vídeo, editar segmentaciones de objetos de vídeo existentes, visualizar objetos de vídeo a través de una serie de cuadros de vídeo, y codificar objetos de vídeo entre una secuencia de vídeo en un formato deseado. Se pueden ajustar diversos parámetros que permiten al operado observar la secuencia de vídeo codificada con diversos ajustes de los parámetros. En este entorno de proceso, un operador es capaz de realizar segmentaciones automáticas a través de una secuencia de cuadros de vídeo, en lugar de las largas segmentaciones manuales de cada cuadro de vídeo.
Patente de Estados Unidos núm. 6724933 -Media segmentation system and related methods. Describe un método que recibe un contenido multimedia y analiza uno o más atributos de escenas sucesivas. Basándose en el análisis de estos atributos, genera una puntuación para cada una de las escenas sucesivas, donde la segmentación de escenas se realiza para agruparlas semánticamente. En esta invención se utilizan algoritmos de histogramas de color donde la cuantificación del espacio de color es HSV.
Patente de Estados Unidos núm. 7177470 -Method of and system for detecting uniform color segments. Describe un método de detección de bordes para una serie de cuadros sucesivos en una secuencia de vídeo. El método incluye los pasos para la adquisición de la información de color de cada cuadro, los cálculos el histograma de color y la aplicación de técnicas de detección de bordes.
Patente de Estados Unidos núm. 5933524 -Method for segmentation of digital color images. Método para la segmentación de imágenes con color digitales con un sistema de procesamiento de datos electrónico.
Problema técnico planteado
El problema técnico que se plantea es identificar el lugar de la pantalla donde está situado el foco, en una aplicación de usuario, a partir del vídeo mostrado por el dispositivo de visualización de la aplicación.
A medida que las aplicaciones multimedia van aumentando su complejidad, surge la necesidad de analizar y/o automatizar tareas sin que en muchos casos exista una interfaz programática sobre ellas, pudiendo únicamente interactuar con la aplicación en modo usuario. Por tanto, sólo estaría disponible para análisis el vídeo y el audio que muestra la aplicación en el dispositivo de uso, cuyo sistema de interfaz humana (mando a distancia, teclado, joystick, sensor de movimiento...) es la única vía de interacción con la aplicación.
Uno de los problemas que se encuentran al abordar este tema es la necesidad de determinar, en los menús asociados a la aplicación, el área de texto que el sistema considera seleccionada, y cuyo valor (texto, icono o una combinación de ambos), informa al usuario sobre el destino de la aplicación cuando solicite la ejecución de la selección (Botón OK, clic izquierdo del ratón, o cualquier otro elemento habitual de selección).
Solución propuesta: Objeto de la invención
La solución propuesta soluciona el problema planteado de la siguiente forma:
Se detecta el área seleccionada en una aplicación multimedia, cuando ésta se encuentra delimitada por una zona de color plano, a través del análisis del vídeo mostrado en el dispositivo de visualización utilizando, como medio de interacción con tal dispositivo, la interfaz humana asociada con el mismo.
Es decir, haciendo uso de las facilidades de una interfaz humana. En particular, la invención facilita que un programa de aplicación, “vea” evolucionar los menús como respuesta a los comandos que el propio programa envía de manera equivalente a la visión por parte del usuario de la interfaz humana.
El problema que resuelve la invención, es permitir que un programa de aplicación actúe sobre la navegabilidad del sistema. El programa, haciendo uso de la invención, adquiere la capacidad de “ver” la evolución de los menús, de manera equivalente a como lo vería un usuario.
Breve descripción de los dibujos
Para completar la descripción y con objeto de ayudar a una mejor comprensión de las características del presente método, se acompaña como parte integrante de dicha descripción, un juego de figuras donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
La figura 1 representa el algoritmo permite determinar cuál es el área de foco inicial y cual es el área de foco final emparejando la acción solicitada al dispositivo de interfaz humana con las coordenadas de los dos objetos.
La figura 2 representa el análisis de la imagen en el modelo HSV, apagando los píxeles que no se encuentren en un entorno configurable del color HSV0.
La figura 3 muestra una aplicación multimedia típica, con ventanas de vídeo y de publicidad con imágenes secuenciales.
La figura 4 muestra el área seleccionada cuya localización persigue el método (por encima del identificador 1).
La figura 5 muestra las áreas de movimiento espontáneo (sin intervención del usuario), numeradas del 2 al 4.
La figura 6 muestra un ejemplo típico de la imagen de máscara obtenida para anular los movimientos espontáneos.
La figura 7 muestra la diferencia entre dos imágenes en escala de grises (representada con línea de trazos), con un cambio de selección entre ellas, y tras aplicar la máscara.
La figura 8 muestra el elemento seleccionado buscado.
Descripción de la invención
El presente método de análisis permite identificar el área vinculada al elemento seleccionado en un menú mostrado en cualquier dispositivo multimedia a través del análisis de la imagen de vídeo mostrada en el dispositivo.
El vídeo podrá ser obtenido bien a través de dispositivos que permiten recibir la imagen en uso por el dispositivo multimedia (salida de vídeo de STB, teléfono móvil de nueva generación, imagen de navegador para una aplicación basada en Web), bien a través de la visualización directa de la pantalla multimedia del dispositivo, empleando para ello una cámara que permita la adecuada digitalización de la pantalla.
El método es aplicable a cualquier tipo de menú en que se presentan en pantalla parcial o totalmente las opciones disponibles para el usuario, siendo estas representadas de forma icónica o textual. En estos menús existirá una única opción seleccionada, identificada por un área de color plano que la rodea, y que irá cambiando de una opción a otra según deseo del operador humano a través del correspondiente dispositivo de interfaz asociado al dispositivo multimedia. La propia aplicación multimedia irá mostrando las opciones no visibles en pantalla inicialmente a medida que vayan siendo necesitadas.
El paso inicial del método es la determinación de áreas en las que la imagen cambia deforma espontánea, esto es, sin intervención del usuario, lo que se corresponde con áreas de vídeo en forma de ventanas, zonas de información publicitaria, o cualquier otro tipo de información concurrente con el menú que se desea analizar.
Este análisis se realiza acumulando la diferencia entre dos imágenes consecutivas de la emisión de televisión, convertidas a gris, y con un valor de diferencia umbral mínima (para evitar falsos movimientos debido a ruido en la imagen, brillos o cualquier efecto que no se desea incluir en el cálculo de movimiento).
Siendo x,y la coordenada del píxel a analizar, Y(x,y) la luminancia del píxel x,y en la imagen final, y Y1(x,y), Y2 (x,y) los valores de luminancia del píxel en las imágenes consecutivas, y δel valor umbral que se ha configurado:
Y(x,y) = (ABS(Y1(x,y) -Y2(x,y)) >δ) ? 255:0
De esta manera se obtiene una imagen del mismo tamaño que la original, que presenta puntos iluminados en las zonas de movimiento. Estas imágenes se acumulan, haciendo actuar el operando OR sobre la imagen acumulada y la nueva imagen de movimiento para obtener las zonas de movimiento.
Siendo Ymsk(x,y) la luminancia en la imagen acumulada (máscara) y Y(x,y) el valor obtenido anteriormente:
Ymsk(x,y) = Ymsk(x,y) OR Y(x,y)
Con esta secuencia de pasos se ha obtenido una imagen, Imgmsk a utilizar como máscara para excluir las áreas donde no se desea localizar movimiento.
El siguiente paso consiste en obtener la diferencia entre dos imágenes tras la utilización del mando correspondiente que hace cambiar la opción seleccionada de la imagen, aplicando Imgmsk como máscara para eliminar los movimientos no deseados. En detalle, tras reducir a escalas de grises (representación con trazos en los dibujos) las dos imágenes que se diferencian en la opción seleccionada (junto con posibles cambios espontáneos), se aplica la mascara con el operando OR, y se obtiene la diferencia entre las dos Imgdif, requiriendo un umbral mínimo (con el objetivo de evitar falsos positivos debido a ruido indeseado, cuyo valor puede ser el mismo que en el paso anterior o no) en la diferencia.
Siendo Ydif(x,y) la luminancia de Img en el punto x,y, Ya(x,y) la luminancia de la primera imagen y Yb(x,y) la de la segunda imagen en el punto x,y, y θel umbral de ruido:
YI(x,y) = Ya(x,y) OR Ymsk(x,y)
YII(x,y) = Yb(x,y) OR Ymsk(x,y)
Ydif(x,y) = (YI(x,y) -YII(x,y) >θ) ? YI(x,y) -YII(x,y):0
No es necesario reajustar el rango de luminancia puesto que sólo estamos interesados en localizar la zona de interés.
La imagen Imgdif presentará dos áreas de interés correspondientes a la zona donde inicialmente se localizaba el foco y la zona a donde se ha desplazado, de coordenadas conocidas.
La separación de zonas se realizará siguiendo modelos de conectividad. Se analizan dos filas consecutivas, construyendo un modelo de objetos visibles individualmente, basado en 1a continuidad de la luminancia de los píxeles. A medida que se va progresando cada fila, se unifican los objetos en caso de encontrarse conectividad entre ellos en las filas inferiores.
Para evitar el reconocimiento de objetos generados por efecto de ruidos, se discrimina por área, quedando con los dos objetos con área mayor.
Un algoritmo permite determinar cuál es el área de foco inicial y cual es el área de foco final emparejando la acción solicitada al dispositivo de interfaz humana con las coordenadas de los dos objetos. Suponiendo un dispositivo de interfaz humano con cuatro flechas de desplazamiento, con opciones ordenadas en rejilla, tal algoritmo resultaría como el representado en la figura 1.
Conociendo el valor de la tecla pulsada, el resultado sería la imagen asociada a ese subíndice.
Así pues, se ha obtenido el área distintiva que rodea el elemento seleccionado. El siguiente paso del método es determinar cual es el color predominante en dicha área, para poder ser utilizado para localizar el área seleccionada sin necesidad de generar movimiento por parte del usuario. Para ello se analizará el histograma de la imagen en el modelo HSV. Dicho histograma presentará un máximo muy acusado en torno a un determinado valor HSV0(Hue0, Sat0, Val0), correspondiente a lo que un usuario humano denominaría color del foco.
Este color de foco HSV0 podrá ser utilizado para localizar fácilmente el elemento seleccionado sin necesidad de utilizar patrones de movimiento. Este método se basa en las características necesarias de las aplicaciones multimedia en que los elementos seleccionados deben ser fácilmente localizables para un usuario que puede no estar familiarizado con estos elementos. Por ello se encuentra universalmente que el área seleccionada estará rodeada de un área de texto plano, que no se encontrará de forma extensa en ninguna otra parte de la pantalla para evitar la distracción del usuario.
Para ello se analiza la imagen en el modelo HSV, apagando los píxeles que no se encuentren en un entorno configurable del color HSV0. Siendo λ, σ, ξ valores de umbral de permisividad configurados para cada uno de los componentes en el modelo de color HSV, tendremos lo que se representa en la figura 2.
De la imagen así obtenida se obtiene el área de interés reproduciendo el análisis descrito anteriormente durante la descripción de la separación de los dos objetos de transición de foco. Con ello se obtiene el área de selección en una aplicación multimedia cuando esta área está delimitada por un área de texto plano, que es el problema que el presente método resuelve.
Descripción de un modo de realización preferido: Aplicación industrial de la invención
La invención proporciona una herramienta que permite verificar el correcto funcionamiento de aplicaciones que ofrecen servicios multimedia a través del TV, mediante la ejecución automática y desatendida de casos de prueba. Concretamente, la aplicación sobre la que se realizan las pruebas es la interfaz de la plataforma IPTV Imagenio de Telefónica que ofrece servicios de televisión y videoclub a los usuarios.
La prestación de los servicios se ofrece al usuario a través de un dispositivo localizado en dependencias del cliente y que, genéricamente, se denomina Set Top Box. El usuario accede a la oferta de servicios y contenidos desde una pantalla de inicio en el TV y a través del mando a distancia (emisor infrarrojo), el usuario navega por la aplicación accediendo a todos los servicios.
El autómata implementado suplanta al usuario e interactúa con la aplicación multimedia de TV, a través de un emisor de infrarrojo para verificar el correcto funcionamiento de todas y cada una de las pantallas y menús que componen la aplicación.
La invención se emplea en esta implementación industrial para detectar cual es la opción determinar las acciones necesarias (código infrarrojo) para acceder al menú o pantalla seleccionada o foco de la aplicación Imagenio en cada momento para, después, deseada. Por ejemplo, si el foco está en la opción de menú “Cine” (véase la Figura 3, Pantalla Principal de Imagenio) y es preciso probar el acceso al menú “Series”, la secuencia de comandos que el autómata debería ejecutar sería: “Pulsar Tecla Abajo”, “Pulsar Tecla Abajo” y “Pulsar Tecla OK”.
Si el foco estuviera localizado en otra posición, la secuencia de comandos que debería ejecutar el autómata sería diferente.
Con este método se permite la implementación de un autómata que es capaz de interactuar con el Set Top Box y recorrer de forma completa la aplicación sin intervención humana y conseguir el objetivo del sistema que es la verificación y certificación de la aplicación de usuario del servicio Imagenio de Telefónica.
Otra posible aplicación de la invención es:
Herramientas automáticas externas que adaptan la interacción con aplicaciones multimedia a personas discapacitadas, a través de interfaces accesibles.

Claims (4)

  1. REIVINDICACIONES
    1. Método de detección de la opción seleccionada en un menú de aplicación multimedia, dotado de una interfaz humana o interfaz de usuario que permite a un operador cargar una secuencia de vídeo y definir y visualizar uno o más objetos de vídeo, en uno o más de los cuadros de la secuencia de vídeo, siendo el método aplicable cuando dicha opción seleccionada está delimitada por un área de color plano cuya posición y/o contenido varía a través de un elemento de interfaz humana asociado a un dispositivo de visualización, caracterizado por detectar un área seleccionada o zona de interés de dicha aplicación multimedia a través del análisis del vídeo mostrado en el dispositivo de visualización, utilizando como medio de interacción con dicho dispositivo de visualización la interfaz humana asociada con el mismo, comprendiendo los pasos siguientes
    a.
    determinar las áreas en las que la imagen de dicha aplicación multimedia cambia de forma espontánea, acumulando las diferencias entre dos imágenes consecutivas y obteniendo una imagen que se utiliza como máscara para excluir las zonas donde no se desea localizar el movimiento;
    b.
    obtener la diferencia entre dos imágenes tras la utilización del mando correspondiente por parte de dicho operador que hace cambiar la opción seleccionada de la imagen, aplicando dicha imagen que se utiliza como máscara, para eliminar los movimientos no deseados y proporcionando dicha diferencia entre dos imágenes dos áreas de interés correspondientes a la zona donde inicialmente se localizaba el foco y la zona a donde se ha desplazado, de coordenadas conocidas;
    c.
    determinar mediante un algoritmo cuál es el área de foco inicial y cual es el área de foco final emparejando la acción solicitada al dispositivo de interfaz humana con las coordenadas de dichas dos áreas de interés y permitiendo obtener un área distintiva que rodea al elemento seleccionado; y
    d.
    determinar cual es el color predominante en dicha área distintiva, para poder ser utilizado en la localización del área seleccionada, sin necesidad de generar movimiento por parte del usuario, analizando el histograma de la imagen en el modelo HSV.
  2. 2. Método según la reivindicación 1, caracterizado porque dichas dos áreas de interés de la etapa b) se separan en zonas siguiendo modelos de conectividad y construyendo un modelo de objetos visibles individualmente basado en la continuidad de la luminancia de los píxeles.
  3. 3. Método, según la reivindicación 2, caracterizado porque para realizar dicha etapa d) comprende:
    -
    analizar el histograma de la imagen en un modelo HSV;
    -
    localizar en el citado histograma un máximo en torno a un determinado valor HSV0 (Hue0, Sat0, Val0), correspondiente a lo que un usuario humano denominaría color del foco; y
    -
    utilizar este valor HSV0 o color de foco para localizar fácilmente el elemento seleccionado sin necesidad de utilizar patrones de movimiento.
    OFICINA ESPAÑOLA DE PATENTES Y MARCAS
    N.º solicitud: 200900407
    ESPAÑA
    Fecha de presentación de la solicitud: 13.02.2009
    Fecha de prioridad:
    INFORME SOBRE EL ESTADO DE LA TECNICA
    51 Int. Cl. : Ver Hoja Adicional
    DOCUMENTOS RELEVANTES
    Categoría
    Documentos citados Reivindicaciones afectadas
    A
    JP 2007180932 A (SECOM CO LTD) 12.07.2007, resumen. 1-3
    A
    US 6681043 B1 (LAU CHRISTOPHER et al.) 20.01.2004, todo el documento. 1-3
    A
    EP 0817448 A1 (NOKIA MOBILE PHONES LTD) 07.01.1998, todo el documento. 1-3
    A
    US 6724933 B1 (LIN TONG et al.) 20.04.2004, todo el documento. 1-3
    Categoría de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoría A: refleja el estado de la técnica O: referido a divulgación no escrita P: publicado entre la fecha de prioridad y la de presentación de la solicitud E: documento anterior, pero publicado después de la fecha de presentación de la solicitud
    El presente informe ha sido realizado • para todas las reivindicaciones • para las reivindicaciones nº:
    Fecha de realización del informe 22.12.2011
    Examinador J. Santaella Vallejo Página 1/4
    INFORME DEL ESTADO DE LA TÉCNICA
    Nº de solicitud: 200900407
    CLASIFICACIÓN OBJETO DE LA SOLICITUD G06T7/00 (2006.01)
    G06K9/38 (2006.01) G06F17/30 (2006.01) Documentación mínima buscada (sistema de clasificación seguido de los símbolos de clasificación)
    G06T, G06K, G06F
    Bases de datos electrónicas consultadas durante la búsqueda (nombre de la base de datos y, si es posible, términos de búsqueda utilizados) INVENES, EPODOC, WPI, INTERNET
    Informe del Estado de la Técnica Página 2/4
    OPINIÓN ESCRITA
    Nº de solicitud: 200900407
    Fecha de Realización de la Opinión Escrita: 22.12.2011
    Declaración
    Novedad (Art. 6.1 LP 11/1986)
    Reivindicaciones Reivindicaciones 1-3 SI NO
    Actividad inventiva (Art. 8.1 LP11/1986)
    Reivindicaciones Reivindicaciones 1-3 SI NO
    Se considera que la solicitud cumple con el requisito de aplicación industrial. Este requisito fue evaluado durante la fase de examen formal y técnico de la solicitud (Artículo 31.2 Ley 11/1986).
    Base de la Opinión.-
    La presente opinión se ha realizado sobre la base de la solicitud de patente tal y como se publica.
    Informe del Estado de la Técnica Página 3/4
    OPINIÓN ESCRITA
    Nº de solicitud: 200900407
    1. Documentos considerados.-
    A continuación se relacionan los documentos pertenecientes al estado de la técnica tomados en consideración para la realización de esta opinión.
    Documento
    Número Publicación o Identificación Fecha Publicación
    D01
    JP 2007180932 A (SECOM CO LTD) 12.07.2007
    D02
    US 6681043 B1 (LAU CHRISTOPHER et al.) 20.01.2004
    D03
    EP 0817448 A1 (NOKIA MOBILE PHONES LTD) 07.01.1998
    D04
    US 6724933 B1 (LIN TONG et al.) 20.04.2004
  4. 2. Declaración motivada según los artículos 29.6 y 29.7 del Reglamento de ejecución de la Ley 11/1986, de 20 de marzo, de Patentes sobre la novedad y la actividad inventiva; citas y explicaciones en apoyo de esta declaración
    Para la realización de esta opinión escrita se han utilizado las reivindicaciones contenidas en la solicitud.
    La invención reivindicada presenta un método de detección de la opción seleccionada en un menú de aplicación multimedia, dotado de una interfaz de usuario que permite a un operador cargar una secuencia de vídeo en uno o más de los cuadros de la secuencia de vídeo. Para ello el método consta de las siguientes etapas:
    a.
    determinar las áreas en las que la imagen de dicha aplicación multimedia cambia de forma espontánea, acumulando las diferencias entre dos imágenes consecutivas y obteniendo una imagen que se utiliza como máscara para excluir las zonas donde no se desea localizar el movimiento;
    b.
    obtener la diferencia entre dos imágenes tras la utilización del mando correspondiente por parte de dicho operador que hace cambiar la opción seleccionada de la imagen, aplicando dicha imagen que se utiliza como máscara, para eliminar los movimientos no deseados y proporcionando dicha diferencia entre dos imágenes dos áreas de interés correspondientes a la zona donde inicialmente se localizaba el foco y la zona a donde se ha desplazado, de coordenadas conocidas;
    c.
    determinar mediante un algoritmo cuál es el área de foco inicial y cuál es el área de foco final emparejando la acción solicitada al dispositivo de interfaz humana con las coordenadas de dichas dos áreas de interés y permitiendo obtener un área distintiva que rodea al elemento seleccionado; y
    d.
    determinar cuál es el color predominante en dicha área distintiva, para poder ser utilizado en la localización del área seleccionada, sin necesidad de generar movimiento por parte del usuario, analizando el histograma de la imagen en el modelo HSV.
    El documento más próximo a la invención es D01 se trata de un sensor de imagen para la detección de intrusos sospechosos, utiliza la unidad para detectar intrusos en la zona variación es superior al valor de referencia con la sensibilidad de la detección de objeto de destino.
    La principal diferencia entre el documento base y la solicitud se encuentra en el campo de aplicación ya que en la solicitud es un método de detección de la opción seleccionada en un menú de aplicación multimedia mientras que en D01 es un sensor de imagen para la detección de intrusos. El modo de funcionamiento es similar ya que se basa en obtener la diferencia entre “frame” pero el campo de aplicación difiere. Otra diferencia que aparece entre la solicitud y D01 es el paso ‘a’ del método, es que no se aprecia que se determine las áreas en las que la imagen de dicha aplicación multimedia cambia de forma espontánea.
    El documento D02 divulga un procedimiento y aparato para el procesamiento de vídeo que permite la segmentación de objeto de vídeo, el seguimiento y la codificación en este caso tampoco se trata de un procedimiento para seleccionar un menú de programas multimedia.
    El documento D03 presenta una interfaz de usuario para un teléfono móvil donde la selección se produce en el menú a través de un controlador de tiempo. A diferencia de la solicitud en este caso no aparece un reconocimiento óptico de la opción seleccionada si no por el tiempo de la selección.
    El documento D04 es un método de segmentación para el tratamiento y análisis de vídeo basado en HSV a diferencia de la solicitud no especifica que se pueda utilizar detección de la opción seleccionada en un menú de aplicación multimedia y ni la utilización para mascaras de movimiento.
    Se concluye que no sería obvio para una persona experta en la materia aplicar las características de los documentos citados D01-D04 y llegar a la invención como se revela en las reivindicaciones 1-3. Por lo tanto, el objeto de estas reivindicaciones cumple los requisitos de novedad y actividad inventiva de acuerdo a los artículos 6 y 8 de la Ley de Patentes.
    Informe del Estado de la Técnica Página 4/4
ES200900407A 2009-02-13 2009-02-13 Método de detección de la opción seleccionada en un menú de aplicación multimedia. Expired - Fee Related ES2371895B1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ES200900407A ES2371895B1 (es) 2009-02-13 2009-02-13 Método de detección de la opción seleccionada en un menú de aplicación multimedia.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES200900407A ES2371895B1 (es) 2009-02-13 2009-02-13 Método de detección de la opción seleccionada en un menú de aplicación multimedia.

Publications (2)

Publication Number Publication Date
ES2371895A1 ES2371895A1 (es) 2012-01-11
ES2371895B1 true ES2371895B1 (es) 2012-09-07

Family

ID=45374457

Family Applications (1)

Application Number Title Priority Date Filing Date
ES200900407A Expired - Fee Related ES2371895B1 (es) 2009-02-13 2009-02-13 Método de detección de la opción seleccionada en un menú de aplicación multimedia.

Country Status (1)

Country Link
ES (1) ES2371895B1 (es)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2314726B (en) * 1996-06-28 2000-07-12 Nokia Mobile Phones Ltd User interface
US6681043B1 (en) * 1999-08-16 2004-01-20 University Of Washington Interactive video object processing environment which visually distinguishes segmented video object
US6724933B1 (en) * 2000-07-28 2004-04-20 Microsoft Corporation Media segmentation system and related methods
JP4865328B2 (ja) * 2005-12-28 2012-02-01 セコム株式会社 画像センサ

Also Published As

Publication number Publication date
ES2371895A1 (es) 2012-01-11

Similar Documents

Publication Publication Date Title
EP3520081B1 (en) Techniques for incorporating a text-containing image into a digital image
CN106254933B (zh) 字幕提取方法及装置
TWI605712B (zh) 互動式媒體系統
CN109800386A (zh) 突出显示文档内文本的关键部分
KR100999056B1 (ko) 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
US9269009B1 (en) Using a front-facing camera to improve OCR with a rear-facing camera
US20130258198A1 (en) Video search system and method
CN109816745A (zh) 人体热力图展示方法及相关产品
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN102165404A (zh) 物体检测与用户设置
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
CN112633313B (zh) 一种网络终端的不良信息识别方法及局域网终端设备
JP2005500590A (ja) カメラビュー内の制御可能なディスプレイの可視点のロバスト決定方法
KR102606435B1 (ko) 디스플레이 장치 및 디스플레이 장치의 텍스트 인식 방법
US20210117040A1 (en) System, method, and apparatus for an interactive container
US9262689B1 (en) Optimizing pre-processing times for faster response
CN111259757A (zh) 一种基于图像的活体识别方法、装置及设备
CN111125433A (zh) 一种弹窗管理方法、装置、电子设备及可读存储介质
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20130105322A (ko) 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체
CN107967689A (zh) 一种图像边界检测方法及设备
WO2023131111A9 (zh) 图像处理方法及装置和系统、存储介质
US9697608B1 (en) Approaches for scene-based object tracking
ES2371895B1 (es) Método de detección de la opción seleccionada en un menú de aplicación multimedia.
JP2006301534A (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2371895

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20120907

FD2A Announcement of lapse in spain

Effective date: 20190610