ES2424117T3 - Interacción entre un usuario y un contenido multimedia - Google Patents

Interacción entre un usuario y un contenido multimedia Download PDF

Info

Publication number
ES2424117T3
ES2424117T3 ES10305251T ES10305251T ES2424117T3 ES 2424117 T3 ES2424117 T3 ES 2424117T3 ES 10305251 T ES10305251 T ES 10305251T ES 10305251 T ES10305251 T ES 10305251T ES 2424117 T3 ES2424117 T3 ES 2424117T3
Authority
ES
Spain
Prior art keywords
multimedia content
user
interface
intensity
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES10305251T
Other languages
English (en)
Inventor
Grégoire LEFEBVRE
Agnès Gimeno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA, Orange SA filed Critical France Telecom SA
Application granted granted Critical
Publication of ES2424117T3 publication Critical patent/ES2424117T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Procedimiento de interacción entre un usuario y un contenido multimedia por una interfaz táctil, caracterizadoporque incluye las siguientes etapas: - visualización (E2) en dicha interfaz de al menos una representación de metadatos relativos a la integralidad delcontenido multimedia, comprendiendo dicha representación al menos una curva de intensidad de dos dimensiones,representando una de sus dimensiones una progresión en el contenido multimedia y representando la otra de susdimensiones una intensidad, estando dicha curva definida respecto de los criterios predefinidos e incluyendo picosque corresponden a informaciones útiles para el usuario y huecos que corresponden a informaciones de menorutilidad para el usuario, - cuando el usuario establece un contacto con la interfaz en al menos dos puntos, determinación de al menos un picode la al menos una curva de intensidad en función de la localización de estos al menos dos puntos en la interfaz yselección de al menos una parte del contenido multimedia que corresponde a este al menos un pico (E33).

Description

Interacción entre un usuario y un contenido multimedia
5 La presente invención se refiere a la interacción entre un usuario y un contenido multimedia por una interfaz. La invención se refiere más en particular al acceso a o a la selección de al menos una parte de un contenido multimedia.
Un contenido multimedia puede ser texto, sonido (o audio), imágenes, vídeo o también cualquier combinación de estos diferentes elementos.
El crecimiento de las capacidades de almacenamiento de los terminales y de las tasas de transmisión en las redes de telecomunicaciones facilita el acceso de los usuarios a contenidos multimedia. En paralelo, el volumen de contenidos multimedia accesibles no cesa de crecer.
15 En este contexto, acceder a o seleccionar información útil se convierte en un reto importante para el usuario en el ámbito de la interacción entre un usuario y un contenido multimedia.
La creación automática de capítulos, la determinación del tema presentado, el resumen de un contenido multimedia, etc. son algunos ejemplos que permiten ilustrar respuestas aportadas a este desafío.
Otra manera de responder a este reto es facilitar la navegación del usuario en un contenido multimedia.
Para esto, el usuario dispone de funcionalidades de base como acceder al inicio o al final del contenido multimedia,
25 recorrerlo o también hacer una pausa. Por ejemplo, para un vídeo o un sonido, estas funcionalidades son denominadas respectivamente: avance rápido, retorno rápido, lectura y pausa. Las mismas funcionalidades están disponibles para texto o una imagen.
Estas funcionalidades son limitadas. Aparte del acceso al inicio o al final del contenido multimedia, no hay acceso directo a una parte de este contenido sin recorrer de manera lineal e integral todo lo que antecede (avance rápido) o sigue (retorno rápido) a esta partida.
Cuando el contenido multimedia es accesible por el usuario por una interfaz táctil, la interacción entre el usuario y el contenido multimedia requiere el uso de gestos táctiles específicos.
35 Por ejemplo, un golpe breve (equivalente a un flick gesture en inglés) permite acceder al contenido multimedio que sigue o antecede, un gesto de desplazamiento (por scroll gesture en inglés) permite el desplazamiento por una lista de datos.
Otros gestos específicos permiten la selección de una parte de un contenido multimedia. Estos gestos pueden ejecutarse a partir de un punto o de dos puntos de contacto que el usuario establece con la interfaz táctil.
Cuando se establece un solo punto de contacto, el inicio de la selección está determinado por una presión sostenida ejercida en el punto de contacto, seguido por un desplazamiento continuo del punto de contacto sobre la parte que
45 se ha de seleccionar y a continuación por una liberación de la presión para especificar el final de la selección.
Cuando se establecen dos puntos de contacto, la parte del contenido multimedia comprendida entre estos dos puntos de contacto constituye la selección.
El gesto ejecutado para la selección necesita una precisión en la elección del inicio y del final de la selección, precisión que no es siempre fácil de obtener en especial cuando la interfaz táctil es de dimensión reducida.
Estos dos modos de selección solo permiten la selección continua de una sola parte de un contenido multimedia. Para seleccionar varias partes, es necesario repetir la operación de selección.
55 Además, es el usuario el que tiene que elegir las informaciones útiles para realizar la selección.
El documento EP 1377047 A2 describe una interfaz de usuario que permite que un usuario interaccione con una pluralidad de secuencia de vídeo cortas o “clipetes” visualizados en forma de un mosaico. Cuando selecciona un “clipete” del mosaico, metadatos relativos a este “clipete” se visualizan en una zona próxima a la pantalla.
El documento US 7.362.946 B1 describe un sistema de edición automática de una secuencia de vídeo a partir de una serie de clips, que ayuda a un usuario para crear un montaje a partir de clips que ha rodado. Define reglas para cortar un clip y guardar solo las escenas más interesantes. Describe también el hecho de analizar la pista de audio
65 de un clip o de una colección de clips para identificar zonas de interés a partir de los picos de audio de un perfil visualizado en la pantalla de un terminal.
El documento US 2007/0266322 A1 se refiere a un sistema de consulta de vídeos almacenados en un terminal. Tal sistema comprende una interfaz de usuario que visualiza una representación estática de los vídeos almacenados en el terminal en forma, por ejemplo, de una imagen elegida como representativa o clave de cada uno de los vídeos (cf.
5 [0026]) y/o una representación dinámica de este vídeo seleccionada (key frames). Cuando el usuario selecciona mediante la interfaz bien la representación estática (una imagen clave fija), bien la representación dinámica (el diaporama de imágenes clave), se representa al menos una parte del vídeo
Uno de los objetos de la invención es remediar los inconvenientes de la técnica anterior mencionada anteriormente.
De este modo, la presente invención se refiere, según un primer aspecto, a un procedimiento de interacción entre un usuario y un contenido multimedia por una interfaz que incluye una etapa de visualización en dicha interfaz de al menos una representación de metadatos relativos a la integralidad del contenido multimedia, correspondiendo dichos metadatos a informaciones útiles presentes en el contenido multimedia y determinados respecto de criterios
15 predefinidos,
-
por detección de un contacto establecido por el usuario con la interfaz en al menos un punto de la representación de metadatos, selección (E31, E32) de al menos una parte del contenido multimedia que corresponde a dicho al menos un punto de la representación de metadatos.
La visualización de al menos una representación de metadatos relativos a la integralidad del contenido multimedia permite que el usuario visualice muy rápidamente donde se sitúa la información útil en el contenido multimedia.
Según una característica preferida, la al menos una representación es una curva de intensidad, es una curva de dos
25 dimensiones, representando una de estas dimensiones una progresión en el contenido multimedia y representando la otra de estas dimensiones una intensidad, dicha curva de intensidad presenta picos de intensidad.
De este modo la curva de intensidad permite que el usuario, mediante picos, conozca la posición de la información útil en la integralidad del contenido multimedia.
Según una característica preferida, dicha al menos una representación es un punto clave y cuando el usuario establece un contacto con la interfaz en un punto clave, se le notifica una indicación y/o una reacción de retorno permitiéndole acceder a la parte del contenido multimedia situada al nivel de este punto clave.
35 Un punto clave permite que el usuario acceda a la parte del contenido multimedia que corresponde a la posición de este punto clave.
Los puntos claves y las curvas de intensidad pueden estar determinados a partir de los mismos criterios predefinidos
o a partir de criterios diferentes que permiten de este modo una mayor flexibilidad para identificar la información útil en el contenido multimedia.
Los puntos clave y las curvas de intensidad pueden ser visualizados al mismo tiempo. Pueden además, ser determinados a partir de los mismos criterios predefinidos o a partir de criterios diferentes que permiten de este modo una mayor flexibilidad para identificar la información útil presente en el contenido multimedia.
45 Según una característica preferida, cuando el usuario establece un contacto con la interfaz en al menos dos puntos, al menos un pico de la al menos una curva de intensidad está determinado en función de la localización de estos al menos dos puntos en la interfaz y se selecciona al menos una parte del contenido multimedia que corresponde a este al menos un pico.
La presencia de picos en la curva de intensidad permite una selección directa por el usuario de las partes portadoras de información útil que corresponde a estos picos. El usuario no necesita recorrer el contenido multimedia en su conjunto. Esta selección se efectúa por lo tanto de manera muy rápida, en una sola operación de selección.
55 Según una característica preferida, cuando el usuario establece un contacto con la interfaz en dos puntos situados en un eje paralelo a la dimensión que representan una progresión en el contenido multimedia, la parte del contenido multimedia comprende entre las intersecciones de la al menos una curva de intensidad con los ejes que pasan respectivamente por estos puntos de contacto y paralelos a la dimensión que representa la intensidad es seleccionada.
De este modo, mediante puntos de contacto elegidos, el usuario puede seleccionar una parte continua del contenido multimedia sin tener en cuenta los picos de intensidad de una curva de intensidad.
Según una característica preferida, cuando el usuario establece un contacto en un punto de la interfaz que no es un
65 punto clave, accede a la parte del contenido multimedia situada al nivel de la intersección de la al menos una curva de intensidad con un eje que pasa por este punto de contacto y paralelo a la dimensión que representa la intensidad.
El usuario puede de este modo acceder a una parte continua del contenido multimedia teniendo encuentra los picos de intensidad.
5 Según una característica preferida, el usuario puede seleccionar al menos una parte del contenido multimedia que corresponde a una dimensión predefinida estableciendo contactos en un número cualquiera de puntos posicionados en la interfaz y a continuación haciendo variar el número y el posicionamiento de estos puntos de contacto hasta obtener una parte del contenido multimedia de la dimensión predefinida.
De este modo, el usuario puede seleccionar una parte del contenido multimedia de una dimensión predefinida.
Según una característica preferida, cuando el usuario recorre la al menos una curva de intensidad, el recorrido está acompañado por un retorno cuya potencia permite identificar los picos de la al menos una curva.
15 De este modo, un retorno apropiado hace posible una identificación no visual de los picos de la curva de intensidad.
La invención se refiere también a un sistema de interacción entre un usuario y un contenido multimedia por una interfaz que incluye un módulo de visualización en una interfaz de una representación de metadatos relativas a la integralidad del contenido multimedia, que corresponde a informaciones útiles presentes en el contenido multimedia y determinadas respecto de los criterios predefinidos y un módulo de acceso a al menos una parte del contenido multimedia, capaz de ser ejecutado por detección de un contacto establecido por el usuario con la interfaz en al menos un punto de la representación de metadatos, correspondiendo dicha parte del contenido multimedia a dicho al menos un punto de la representación de metadatos.
25 La invención se refiere a un producto de programa de ordenador que comprende instrucciones de código de programa grabadas en o transmitidas por un soporte legible por ordenador, para ejecutar las etapas del procedimiento descrito anteriormente cuando dicho programa es ejecutado en ordenador.
La invención se refiere asimismo a un terminal capaz de recibir un sistema tal se ha descrito anteriormente.
Otras características y ventajas de la presente invención se pondrán de manifiesto en la siguiente descripción de modos de realización preferidos descritos con referencia a las figuras en las que:
-
la figura 1 representa un modo de realización de un procedimiento de interacción entre un usuario y un contenido 35 multimedia por una interfaz,
-
las figuras 2a, 2b, 2c y 2d ilustran una visualización de metadatos y un contenido multimedia que corresponde, respectivamente a texto, audio, imagen y vídeo,
-
la figura 3 ilustra un ejemplo de acceso a una parte de un contenido multimedia mediante una curva de intensidad,
-
las figuras 4 a 8 ilustran ejemplos de selección de al menos una parte de un contenido multimedia,
-
la figura 9 representa un modo de realización de un sistema capaz de ejecutar el procedimiento de la figura 1.
45 La figura 1 representa un modo de realización de un procedimiento de interacción entre un usuario y un contenido multimedia por una interfaz.
La etapa E1 es una etapa de indexación de un contenido multimedia.
A lo largo de esta etapa, se determinan metadatos a partir del contenido multimedia considerado. Estos metadatos están determinados en función de informaciones útiles para el usuario presentes en el contenido multimedia y respecto de criterios predefinidos.
55 Estos metadatos pueden representarse por puntos clave y/o curvas de intensidad.
Un punto clave corresponde a una parte del contenido multimedia portadora de información útil para el usuario. Los puntos claves de un contenido multimedia están definidos respecto de los criterios predefinidos.
Una curva de intensidad es una curva de dos dimensiones, representando una de estas dimensiones la progresión en el contenido multimedia y representando la otra dimensión una intensidad (por ejemplo, sonora, cinemática, emocional, etc.). Esta curva incluye picos que corresponden a informaciones útiles y huecos que corresponden a informaciones de menor utilidad para el usuario. Se define una curva de intensidad respecto de los criterios predefinidos.
65 Los criterios predefinidos que permiten determinar los puntos clave de un contenido multimedia pueden ser los mismos o diferentes de los que permiten determinar una curva de intensidad para este contenido multimedia. Varias curvas de intensidad pueden determinarse para un contenido multimedia a partir de criterios predefinidos diferentes.
Los puntos clave y las curvas de intensidad son dos modos de representación de metadatos determinados en 5 función de la información útil presente en el contenido multimedia considerado y a partir de criterios predefinidos.
A modo ilustrativo, se proporcionan ejemplos de puntos clave y de curvas de intensidad en lo sucesivo según la naturaleza del contenido multimedia. Estos ejemplos no pueden ser considerados como limitativos de la invención.
Cuando el contenido multimedia es un texto, los puntos clave pueden ser, por ejemplo, palabras claves. La curva de intensidad puede ilustrar la estructura del documento (por ejemplo, introducción, capítulo, párrafo, anexo, etc.), una variación de importancia de cada párrafo según un tema predefinido, etc.
Cuando el contenido multimedia corresponde a sonido, los puntos clave pueden ser sonoridades, acordes, notas, 15 palabras pronunciadas, etc. La curva de intensidad puede, por ejemplo, ilustrar un volumen sonoro.
Cuando el contenido multimedia es una imagen, los puntos clave pueden ser, por ejemplo, puntos de interés en la imagen. La curva de intensidad puede ilustrar un histograma colorimétrico de los píxeles de la imagen, una probabilidad de presencia o de ausencia de un objeto en la imagen, etc.
Cuando el contenido multimedia es un vídeo, los puntos clave pueden ser palabras pronunciadas, sonoridades, etc. La curva de intensidad puede, por ejemplo, ilustrar una intensidad emocional que corresponde a una acción descrita en el vídeo. La intensidad emocional puede ser descrita por un volumen sonoro, latidos cardiacos, un seguimiento de objetos en movimiento en el vídeo, etc.
25 La determinación de puntos clave y de curvas de intensidad utiliza técnicas conocidas para el contenido multimedia considerado. Por ejemplo, cuando el contenido multimedia es un vídeo o sonido y que los puntos clave son palabras pronunciadas, la determinación de estos puntos clave descansa en una técnica de reconocimiento de palabras en un fichero de sonido, también denominado word spotting en inglés.
Esta etapa de indexación del contenido multimedia puede ser totalmente automática. En una variante, el usuario puede intervenir en la etapa de indexación del contenido multimedia para aportar correcciones o identificar nuevas informaciones útiles respecto del contenido multimedia considerado.
35 Los metadatos obtenidos a lo largo de la etapa E1 son grabados en una base de datos.
La siguiente etapa E2 es una etapa de visualización de metadatos.
Los metadatos determinados a lo largo de la etapa anterior E1 y el contenido multimedia correspondiente o una representación del mismo están visualizados en una misma interfaz.
La interfaz permite a un usuario visualizar el contenido multimedia considerado o una representación del mismo y los metadatos representados en forma de puntos clave y/o de curvas de intensidad. A modo de ejemplo no limitativo de la invención, los metadatos se visualizan en transparencia y superpuestos al contenido multimedia.
45 La visualización de los metadatos puede ser realizada por defecto en el momento en que el usuario accede al contenido multimedia o ser realizada en cualquier momento a petición del usuario, por ejemplo, mediante un menú, por un gesto táctil específico, etc.
El usuario puede actuar sobre los metadatos por la interfaz. A modo de ejemplo no limitativo de la invención, la interfaz puede ser una interfaz táctil sobre el que el usuario actúa mediante uno o varios dedos, uno o varios lápices, etc.
Las figuras 2a, 2b, 2c y 2d ilustran una visualización de metadatos y un contenido multimedia correspondiente, 55 respectivamente texto, audio, imagen y vídeo.
Cabe recordar que los metadatos están representados por los puntos clave y/o curvas de intensidad.
Los puntos clave, representados por círculos negros, y/o las curvas de intensidad, representados por curvas negras, así como el contenido multimedia aparecen en la interfaz.
Por ejemplo, en la figura 2a que corresponde a un contenido multimedia de texto, se cuentan cuatro puntos clave K11, K12, K13 y K14 que pueden corresponder, por ejemplo, a cuatro ocurrencias de una palabra clave y dos curvas de intensidad C11 y C12.
65 Las curvas de intensidad, representadas por curvas negras, representan la evolución de una intensidad en función de la progresión del contenido multimedia.
En la figura 2b, que corresponde a un contenido multimedia de sonido, se cuentan dos puntos clave K21 y K22 y dos curvas de intensidad C21 y C22.
5 En la figura 2c, que corresponde a un contenido multimedia de imagen, se cuentan tres puntos clave K31, K32 y K33 y una curva de intensidad C31.
En la figura 2d que corresponde a un contenido multimedia de tipo vídeo, se cuentan cuatro puntos clave K41, K42, K43 y K44 y una curva de intensidad C41.
Los puntos clave y/o las curvas de intensidad visualizados representan todo el contenido multimedia mientras que en transparencia solo es una parte del mismo que aparece (por ejemplo, una página de un documento de texto, una imagen de un vídeo, etc.).
15 La siguiente etapa E3 es una etapa de acceso a y/o de selección de al menos una parte de un contenido multimedia.
Esta etapa E3 incluye tres operaciones E31, E32 y E33 que ilustran cada una un modo de acceso a y/o de selección de al menos una parte del contenido multimedia considerado.
La operación E31 es un acceso a una parte de un contenido multimedia mediante un punto clave.
Tal como se ha descrito en la etapa anterior E2, los puntos clave y el contenido multimedia están visualizados en una misma superficie.
25 El usuario puede actuar sobre los puntos clave visualizados, por ejemplo estableciendo un contacto con la interfaz al nivel del punto clave considerado. Tal acción puede, por ejemplo, corresponder a una activación o a una inhibición de un punto clave.
De retorno a esta acción, una indicación (visual, sonora, táctil, etc.) puede emitirse y/o una reacción puede producirse con destino al usuario en procedencia del punto clave en el que el usuario ha actuado.
La indicación emitida y/o la reacción producida permiten al usuario acceder a la parte del contenido multimedia que corresponde al punto clave sobre el que ha actuado.
35 Los ejemplos posteriores de indicación y/o de reacción con destino al usuario en procedencia de un punto clave son proporcionados a modo ilustrativo y no puede ser considerados como limitativos de la invención.
Cuando el contenido multimedia es de texto, la reacción producida y/o la indicación emitida puede ser respectivamente una proposición de recentrado del texto alrededor del punto clave y/o la visualización de una definición de la palabra clave correspondiente, de una dirección web.
En el caso de un contenido multimedia de tipo sonido (o vídeo), se puede visualizar un comentario (textual, sonoro u otro) que corresponde a una sonoridad detectada. La lectura del sonido (o del vídeo) también se puede posicionar
45 en el momento que corresponde a la aparición de la sonoridad en el contenido multimedia considerado.
Para una imagen, la reacción y la indicación pueden ser respectivamente una ampliación en una región de interés identificada por la presencia de un punto clave y la visualización de un comentario.
La operación E32 es un acceso a una parte de un contenido multimedia mediante una curva de intensidad.
Tal como se ha descrito en la etapa E2, la curva de intensidad y el contenido multimedia se visualizan en una misma interfaz.
55 La curva de intensidad permite al usuario, a partir de los picos que incluye, acceder a la parte del contenido multimedia que corresponde a estos picos. Estos picos corresponden a información útil presente en el contenido multimedia. El usuario también puede acceder a partes de menor interés, a partir de los huecos u otras partes de la curva de intensidad.
Este acceso es más directo, más fácil y más rápido que un acceso lineal recorriendo el contenido multimedia. Cabe recordar que actualmente la navegación en un contenido multimedia tal como sonido o vídeo es lineal y ofrece las funcionalidades de avance rápido, retorno rápido, lectura y pausa.
La figura 3 ilustra un ejemplo de acceso a una parte de un contenido multimedia mediante una curva de intensidad.
65 Las convenciones de notación consideradas para describir a continuación la figura 3, lo son asimismo para las siguientes figuras.
Se define un hito máximo tmáx para el contenido multimedia considerado que define la dimensión del mismo. Este hito está definido en función de la naturaleza del contenido multimedia. Este hito tmáx está posicionado en un eje t 5 que corresponde a la progresión del contenido multimedia.
Por ejemplo, cuando el contenido multimedia es sonido o un vídeo, este hito máximo puede corresponder a la duración de este contenido. Por ejemplo asimismo, cuando el contenido multimedia es texto, este hito máximo puede ser la dimensión del texto expresado en número de caracteres, palabras, etc. Por ejemplo asimismo, cuando el
10 contenido multimedia es una imagen, este hito máximo puede ser la altura o la anchura de la imagen. Estos ejemplos se proporcionan modo ilustrativo y no pueden ser considerados como limitativos de la invención.
Se definen dos ejes x e y en el sentido respectivamente de la anchura y de la altura de la interfaz en la que están visualizados el contenido multimedia, los puntos claves y la curva de intensidad. La anchura y la altura de la interfaz 15 están definidas respectivamente por xint e yint.
Se considera que el usuario puede entrar en contacto con la interfaz en N puntos.
Con referencia a la figura 3, el usuario entra en contacto con la interfaz en un punto P11 de coordenadas (x11, y11) 20 respecto de los ejes respectivos x e y en el sentido de la anchura y de la altura de la interfaz.
La correspondencia entre la abscisa X11 y un hito t11 en la progresión del contenido está definida por:
donde:
-
t11 es un hito en la progresión del contenido multimedia, de igual tipo que tmáx (tiempo, número de palabras, etc.) e
inferior o igual a tmáx. 30
-
xint es la anchura de la interfaz.
Este contacto permite acceder directamente a la parte del contenido multimedia al nivel del hito t11 así obtenido y posicionar el desarrollo del contenido multimedia al nivel de este hito t11.
35 En una variante, varias curvas de intensidad, cada una determinada a partir de criterios predefinidos pueden utilizarse para acceder a una parte del contenido multimedia.
En una variante, el usuario puede asimismo tener la posibilidad de recorrer la curva de intensidad mediante un punto 40 de contacto con la interfaz.
Durante este recorrido, un retorno visual (por ejemplo, un cambio de color de la curva), un retorno visual (por ejemplo, una melodía), un retorno táctil (por ejemplo, una modulación de vibración), etc. puede operarse con destino al usuario. La potencia de este retorno (por ejemplo, el nivel sonoro, la amplitud de la vibración, etc.) puede permitir
45 al usuario identificar los picos de la curva de intensidad.
Por ejemplo, si el usuario es un deficiente visual y si el recorrido de la curva está acompañado por un retorno sonoro
o táctil, este usuario puede identificar con facilidad los picos de la curva de intensidad.
50 La operación E33 es una selección de al menos una parte de un contenido multimedia. La selección de al menos una parte de un contenido multimedia se efectúa a partir de la curva de intensidad. A partir de esta selección, una o varias partes del contenido multimedia pueden ser extraídas permitiendo la
55 realización, por ejemplo, de los cortes, un resumen, etc. de este contenido. Las figuras 4 a 8 ilustran ejemplos de selección de al menos una parte de un contenido multimedia. Las convenciones de notación consideradas para describir las figuras 4 a 8 son las mismas que las descritas
60 anteriormente para la figura 3. Con referencia a las figuras 4, 5 y 6, el usuario establece un contacto con la interfaz en dos puntos.
En la figura 4, los dos puntos de contacto P21 y P22 de coordenadas respectivas (x21, y21) y (x22, y22) están situados en un eje paralelo al eje de las abscisas x. Este eje es asimismo paralelo al eje t de desarrollo del contenido multimedia.
5 Estos dos puntos de contacto permiten seleccionar la parte del contenido multimedia situada en el interior de dos ejes paralelos al eje de las y, pasando uno por x21 y pasando el otro por x22.
La parte del contenido multimedia seleccionada corresponde al intervalo [t21, t22] delimitado por los hitos correspondientes.
En la figura 5, los dos puntos de contacto P’21 y P’22 de coordenadas respectivas (x’21, y’21) y (x’22, y’22) están situados en un eje paralelo al eje de las ordenadas y.
Estos dos puntos de contacto permiten seleccionar la parte o las partes del contenido multimedia que corresponden
15 a los picos de la curva de intensidad situados por debajo de un eje paralelo al eje de las x y que pasa por y21 y por encima de un eje paralelo de las x y que pasa por y22. Estos picos están representados por las partes sombreadas de la figura 5.
La parte del contenido multimedia seleccionada corresponde a los intervalos [t’21, t’22], [t’23, t’24] y [t’25, t’26] delimitados por los hitos correspondientes.
En la figura 6, los dos puntos de contacto P”21 y P”22 de coordenadas respectivas (x”21, y”21) y (x”22, y”22) son puntos cualesquiera.
25 Estos dos puntos de contacto permiten seleccionar la parte o las partes del contenido multimedia que corresponden a los picos de la curva de intensidad situados en el interior de dos ejes paralelos al eje de las y, pasando uno por x”21 y pasando el otro por x”22 y en el exterior de dos ejes paralelos al eje de las x, pasando uno por y”21 y pasando el otro por y”22. Estos picos están representados por las partes sombreadas de la figura 6.
La parte del contenido multimedia seleccionada corresponde al intervalo [t”21, t”22] delimitado por los hitos correspondientes.
Con referencia a la figura 7, el usuario entra en contacto con la interfaz en tres puntos de contacto P31, P32 y P33 de coordenadas respectivas (x31, y31), (x32, y32) y (x33, y33).
35 Estos tres puntos de contacto permiten seleccionar la parte o las partes del contenido multimedia que corresponden a los picos de la curva de intensidad situados en el interior de dos ejes paralelos al eje de las y, pasando uno por x31 y pasando el otro por x33 y en el exterior de dos ejes paralelos al eje de las x, pasando uno por y32 y pasando el otro por y31. Estos picos están representados por las partes sombreadas de la figura 7.
La parte del contenido multimedia seleccionada corresponde a los intervalos [t31, t32] y [t33, t34] delimitados por los hitos correspondientes.
Con referencia a la figura 8, el usuario entra en contacto con la interfaz en cuatro puntos de contacto P41, P42, P43 y 45 P44 de coordenadas respectivas (x41, y41), (x42, y42), (x43, y43) y (x44, y44).
Estos cuatro puntos de contacto permiten seleccionar la parte o las partes del contenido multimedia que corresponden a los picos de la curva de intensidad situados en el interior de dos ejes paralelos al eje de las y, pasando uno por x41 y pasando el otro por x44 y en el exterior de dos ejes paralelos al eje de las x, pasando uno por y42 y pasando el otro por y43. Estos picos están representados por las partes sombreadas de la figura 8.
La parte del contenido multimedia seleccionada corresponde a los intervalos [t41, t42], [t43, t44] y [t45, t46] delimitados por los hitos correspondientes.
55 Por analogía, es posible extender la demostración a N puntos de contacto con N superior a 4.
Estos N puntos de contacto permiten seleccionar la parte o las partes del contenido multimedia que corresponden a los picos de la curva de intensidad situados en el interior de un rectángulo definido por cuatro puntos entre los N puntos. Estos cuatro puntos corresponden por una parte al punto más próximo y al punto más alejado del eje de las abscisas x y por otra parte al punto más próximo y al punto más alejado del eje de las ordenadas y.
El usuario puede asimismo elegir seleccionar una parte o partes del contenido multimedia que corresponden a una dimensión DSelección predefinida.
65 La dimensión puede expresarse en tiempo, en número de caracteres, etc. en función de la naturaleza del contenido multimedia considerado. Por ejemplo, para un contenido multimedia de tipo vídeo, el usuario puede querer seleccionar 5 minutos de este vídeo.
Para esto, el usuario establece un contacto con la interfaz en un número N cualquiera y variable de puntos. La dimensión de la parte del contenido multimedia se visualiza entonces en la interfaz. El usuario hace a continuación 5 variar el número y el posicionamiento de los puntos de contacto hasta que la dimensión seleccionada visualizada sea igual a la dimensión DSelección predefinida.
De este modo, la selección de una parte o de partes del contenido multimedia que corresponden a una dimensión DSelección predefinida incluye la determinación de N puntos al nivel de los cuales el usuario debe entrar en contacto 10 con la interfaz.
En primer lugar, se determinan dos ejes paralelos al eje de las abscisas x tales como los picos de la curva de intensidad presentes más allá de estos ejes están delimitados por hitos tk y tk+1, formando intervalos [tk, tk+1] tales como:
Los dos ejes paralelos al eje de las x son dos rectas definidas por las ecuaciones y = y1 e y = y2.
20 A continuación, se determinan las m abscisas xj (variando i de 1 a m, siendo m un número entero) de los puntos de intersección entre la curva de intensidad que se conviene notar y = f(x) con las dos rectas definidas anteriormente.
Se considera
como el conjunto de los intervalos formados por los hitos que satisfacen las condiciones expuestas anteriormente. 25 Se considera E = {xi}, variando i de 1 a m, satisfaciendo el conjunto de las abscisas anterior.
Se pueden entonces determinar los N puntos de contacto, de coordenadas (xj, yj), variando j de 1 a N, que el usuario debe establecer con la interfaz para seleccionar una parte o partes del contenido multimedia que corresponden a 30 una dimensión Dselección predefinida. Estos puntos son tales que una de las rectas definidas por las ecuaciones y = y1 e y2 pasa por el punto más próximo al eje de las x y la otra recta pasa por el punto más alejado del eje de las x.
Se obtiene entonces:
donde:
-
tmáx corresponde a la dimensión del contenido multimedia considerado, 40
-
xint es la anchura de la interfaz
-
xj, yj, variando j de 1 a N son las coordenadas de los N puntos de contacto.
45 En una variante, varias curvas de intensidad, cada una determinada a partir de criterios predefinidos pueden utilizarse para seleccionar al menos una parte de un contenido multimedia.
La figura 9 representa un modo de realización de un sistema capaz de ejecutar un procedimiento de interacción entre un usuario y un contenido multimedia por una interfaz tal como se ha descrito anteriormente. 50
El sistema incluye un módulo M1 de indexación de un contenido multimedia tal como se ha descrito en la etapa E1 anterior.
Tal módulo permite obtener a partir del contenido multimedia considerado puntos claves y/o curvas de intensidad.
5 Con referencia a la etapa E2, el sistema incluye un módulo M2 que permite la visualización en una interfaz de puntos clave y/o de curvas de intensidad obtenidos gracias al módulo M1.
Con referencia a la operación E31, el sistema comprende un módulo M3 de acceso a una parte de un contenido 10 multimedia mediante un punto clave.
Con referencia a la operación E32, el sistema comprende asimismo un módulo M4 de acceso a una parte de un contenido multimedia mediante una curva de intensidad.
15 El sistema comprende asimismo un módulo M5 de selección de al menos una parte de un contenido multimedia tal como se ha descrito por la operación E33.
El sistema comprende además una unidad central de control, no representada, conectada a cada uno de los módulos M1 a M5 y adaptada para controlar su funcionamiento.
20 Los módulos M1 a M5 pueden ser módulos de software que forman un programa de ordenador. La invención se refiere por lo tanto a un programa de ordenador para un sistema de interacción entre un usuario y un contenido multimedia por una interfaz que comprende instrucciones de código de programa para hacer ejecutar el procedimiento descrito anteriormente por el sistema.
25 Los diferentes módulos de software pueden ser almacenados en o transmitidos por un soporte de datos. Este último puede ser un soporte material de almacenamiento, por ejemplo un CD-ROM, un disquete magnético o un disco duro,
o bien un soporte transmisible tal como una señal eléctrica, óptica o de radio.
30 La invención se refiere asimismo a un terminal capaz de recibir un sistema tal como se ha descrito anteriormente.
La presente invención encuentra aplicaciones en la búsqueda de información en contenidos multimedia, en especial contenidos audiovisuales, en la gestión de colección de vídeo para necesidades individuales o industriales, en el corte-montaje de películas facilitado por la interacción gestual, etc.
35 Encuentra asimismo aplicaciones en el ámbito del vídeo interactivo, los juegos, los telemandos táctiles, etc.

Claims (6)

  1. REIVINDICACIONES
    1.- Procedimiento de interacción entre un usuario y un contenido multimedia por una interfaz táctil, caracterizado porque incluye las siguientes etapas: 5
    -
    visualización (E2) en dicha interfaz de al menos una representación de metadatos relativos a la integralidad del contenido multimedia, comprendiendo dicha representación al menos una curva de intensidad de dos dimensiones, representando una de sus dimensiones una progresión en el contenido multimedia y representando la otra de sus dimensiones una intensidad, estando dicha curva definida respecto de los criterios predefinidos e incluyendo picos
    10 que corresponden a informaciones útiles para el usuario y huecos que corresponden a informaciones de menor utilidad para el usuario,
    -
    cuando el usuario establece un contacto con la interfaz en al menos dos puntos, determinación de al menos un pico
    de la al menos una curva de intensidad en función de la localización de estos al menos dos puntos en la interfaz y 15 selección de al menos una parte del contenido multimedia que corresponde a este al menos un pico (E33).
  2. 2.- Procedimiento según la reivindicación 1, caracterizado porque, cuando el usuario establece un contacto con la interfaz en dos puntos situados en un eje paralelo a la dimensión que representa una progresión en el contenido multimedia, se selecciona la parte del contenido multimedia comprendida entre las intersecciones de la al menos una
    20 curva de intensidad con los ejes que pasan respectivamente por estos puntos de contacto y paralelos a la dimensión que representa la intensidad.
  3. 3.- Procedimiento según la reivindicación 1, caracterizado porque, cuando el usuario establece un contacto en un punto de la interfaz que no es un punto de la al menos una curva de intensidad, accede a la parte del contenido
    25 multimedia situada al nivel de la intersección de la al menos una curva de intensidad con un eje que pasa por este punto de contacto y paralelo a la dimensión que representa la intensidad.
  4. 4.- Procedimiento según la reivindicación 1, caracterizado porque el usuario puede seleccionar al menos una parte del contenido multimedia que corresponde a una dimensión predefinida estableciendo contactos en un número
    30 cualquiera de puntos posicionados en la interfaz variando a continuación el número y el posicionamiento de estos puntos de contacto hasta obtener una parte del contenido multimedia de la dimensión predefinida.
  5. 5.- Procedimiento según la reivindicación 1, caracterizado porque, cuando el usuario recorre la al menos una curva de intensidad, el recorrido está acompañado por un retorno cuya potencia permite identificar los picos de la al menos
    35 una curva.
  6. 6.- Sistema de interacción entre un usuario y un contenido multimedia por una interfaz, caracterizado porque incluye los siguientes módulos:
    40 - visualización (M2) en una interfaz de una representación de metadatos relativos a la integralidad del contenido multimedia, comprendiendo dicha representación al menos una curva de intensidad de dos dimensiones, representando una de sus dimensiones una progresión en el contenido multimedia y representando la otra de sus dimensiones una intensidad, incluyendo dicha curva picos que corresponden a informaciones útiles para el usuario presentes en el contenido multimedia y determinadas respecto de criterios predefinidos,
    -
    selección (M5) de al menos una parte del contenido multimedia que corresponde a al menos un pico de la al menos una curva de intensidad, estando dicho al menos un pico determinado en función de la localización de estos al menos dos puntos en la interfaz, siendo dicho módulo capaz de ejecutarse cuando el usuario establece un contacto con la interfaz en al menos dos puntos.
    50 7.- Producto de programa de ordenador que comprende instrucciones de código de programa grabadas en o transmitidas por un soporte legible por un ordenador, para ejecutar las etapas del procedimiento según la reivindicación 1 cuando dicho programa se ejecuta por un ordenador.
ES10305251T 2009-03-13 2010-03-12 Interacción entre un usuario y un contenido multimedia Active ES2424117T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0951617 2009-03-13
FR0951617 2009-03-13

Publications (1)

Publication Number Publication Date
ES2424117T3 true ES2424117T3 (es) 2013-09-27

Family

ID=41055289

Family Applications (1)

Application Number Title Priority Date Filing Date
ES10305251T Active ES2424117T3 (es) 2009-03-13 2010-03-12 Interacción entre un usuario y un contenido multimedia

Country Status (3)

Country Link
EP (1) EP2239740B1 (es)
ES (1) ES2424117T3 (es)
PL (1) PL2239740T3 (es)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998023089A1 (fr) * 1996-11-22 1998-05-28 Sony Corporation Editeur, et systeme et procede d'edition
US7362946B1 (en) * 1999-04-12 2008-04-22 Canon Kabushiki Kaisha Automated visual image editing system
US7383508B2 (en) * 2002-06-19 2008-06-03 Microsoft Corporation Computer user interface for interacting with video cliplets generated from digital video
US20070266322A1 (en) * 2006-05-12 2007-11-15 Tretter Daniel R Video browsing user interface

Also Published As

Publication number Publication date
PL2239740T3 (pl) 2013-09-30
EP2239740A1 (fr) 2010-10-13
EP2239740B1 (fr) 2013-05-08

Similar Documents

Publication Publication Date Title
RU2637415C2 (ru) Альтернативные семантики для операций масштабирования в масштабируемой сцене
JP4653097B2 (ja) 小さな表示画面上での大きなオブジェクトの改善された表示方法
US9304651B2 (en) Method of real-time incremental zooming
US10055428B2 (en) Spatially driven content presentation in a cellular environment
KR101616591B1 (ko) 데이터의 공간의 주요 치수를 항해하기 위한 제어 시스템
KR102059913B1 (ko) 태그 정보 저장 방법 및 장치와 태그 정보를 이용한 이미지 검색 방법 및 장치
KR101380854B1 (ko) 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
JP5324714B2 (ja) 端末装置の視野に含まれていない客体に関する情報を提供するための方法、端末装置及びコンピュータプログラム
JP6526105B2 (ja) イメージの内容に基づく地図イメージ検索方法、地図イメージ検索システム及びコンピュータプログラム
JP5990180B2 (ja) 関連画像検索結果集合のブラウジング
EP2565583B1 (en) Navigation device, method of outputting a map, and method of generating a database
KR20200121357A (ko) 물리적 조작을 사용한 오브젝트 생성
CN110199240B (zh) 用于可穿戴显示器的基于上下文的内容导航
KR101716807B1 (ko) 웹 상에 3차원 정보를 갖는 html 요소를 나타내기 위한 장치 및 방법
Karnick et al. Route visualization using detail lenses
US20150052425A1 (en) Method of searching for page using three-dimensional manner in portable device and portable device for the same
KR101747299B1 (ko) 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체
US10437884B2 (en) Navigation of computer-navigable physical feature graph
ES2424117T3 (es) Interacción entre un usuario y un contenido multimedia
KR100563085B1 (ko) 수치지도와 사진영상의 복합 디스플레이 방법
US9230366B1 (en) Identification of dynamic objects based on depth data
US10606814B2 (en) Computer-aided tracking of physical entities
Mulloni et al. Enhancing handheld navigation systems with augmented reality
US20200302970A1 (en) Automatic narration of signal segment
JPWO2009069239A1 (ja) 地図情報処理装置