ES2794500T3 - Sistema y método para control multiusuario y difusión en continuo de medios a un visualizador compartido - Google Patents

Sistema y método para control multiusuario y difusión en continuo de medios a un visualizador compartido Download PDF

Info

Publication number
ES2794500T3
ES2794500T3 ES14756426T ES14756426T ES2794500T3 ES 2794500 T3 ES2794500 T3 ES 2794500T3 ES 14756426 T ES14756426 T ES 14756426T ES 14756426 T ES14756426 T ES 14756426T ES 2794500 T3 ES2794500 T3 ES 2794500T3
Authority
ES
Spain
Prior art keywords
media
display
client
shared
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14756426T
Other languages
English (en)
Inventor
Christopher O Jaynes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mersive Technologies Inc
Original Assignee
Mersive Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51387727&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2794500(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mersive Technologies Inc filed Critical Mersive Technologies Inc
Application granted granted Critical
Publication of ES2794500T3 publication Critical patent/ES2794500T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

Un método para visualizar simultáneamente, en un visualizador compartido (102), al menos una fuente de medios desde cada uno de al menos dos de una pluralidad de dispositivos de cliente (106), estando el visualizador compartido (102) remoto de los dispositivos de cliente (106), comprendiendo el método: a) conectar inalámbricamente dos o más de los dispositivos de cliente (106) al visualizador compartido (102); b) seleccionar, a través de cada uno de los dispositivos de cliente (106), una respectiva fuente de medios en el que la fuente de medios comprende al menos uno de un archivo de medios almacenado en el respectivo dispositivo de cliente, una aplicación almacenada en el respectivo dispositivo de cliente y un área de pantalla del respectivo dispositivo de cliente; y c) recibir, desde cualquiera de los dispositivos de cliente (106), una transformación, que indica magnitud y escala de traslación basándose en ajustes de un dispositivo de entrada de usuario, para cualquiera de las fuentes de medios, indicando la ubicación y tamaño, en el visualizador compartido (102), de cada dicha fuente de medios; d) transmitir cada una de las fuentes de medios seleccionada al visualizador compartido (102) como un respectivo flujo de medios en vivo; en el que el flujo de medios en vivo comprende tramas de medios que resulta de la decodificación del archivo de medios o de la captura de píxeles que corresponde al área de pantalla o salida de aplicación; y e) presentar simultáneamente, en el visualizador compartido (102), cada uno de los flujos de medios en vivo transmitidos, usando la transformación para determinar un estado geométrico actual de cada una de las respectivas fuentes de medios; y en el que es posible para al menos un primer dispositivo de cliente seleccionar otra fuente de medios, distinta de la primera fuente de medios seleccionada a través de dicho primer dispositivo, y realizar las etapas c) a e) del método actual.

Description

DESCRIPCIÓN
Sistema y método para control multiusuario y difusión en continuo de medios a un visualizador compartido
Solicitudes relacionadas
Esta aplicación reivindica prioridad sobre la solicitud de patente provisional de Estados Unidos con N.° de serie 61/769.609 presentada el 26 de febrero de 2013.
Existen aproximadamente 12 millones de salas de conferencia en todo el mundo; la mayoría están insuficientemente servidas por su solución de visualización de información actual. Los cables de vídeo son capaces de transportar una única fuente desde un dispositivo a un visualizador y, aparte de conectar y desconectar físicamente el cable de vídeo, existe poco control en cuanto a qué se visualiza desde ese dispositivo y cuándo. Hardware de conmutación de vídeo supera parte de este problema permitiendo que diferentes clientes visualicen a una única pantalla simultáneamente, pero este hardware está restringido por normas de transmisión de vídeo que deja poco control a los usuarios de cada dispositivo. Finalmente, software de compartición de pantalla ofrece alguna capacidad para que usuarios envíen imágenes de sus dispositivos a un visualizador, pero estos enfoques hacen poco más que sustituir el cable físico con software y, potencialmente, redes basadas en IP. Lo que se necesita es un sistema que permita interacción simultánea para colaboración entre múltiples usuarios, con la capacidad de múltiples fuentes, potencialmente desde un único dispositivo, publicándose simultáneamente a un dispositivo de visualización común que puede controlarse desde cualquiera de los dispositivos conectados sin restricción.
El documento US2010/169791A1 divulga un servidor de Protocolo de Visualización Remota (RDP), tal como un dispositivo móvil de mano, que puede controlar diversos aspectos de un cliente de RDP, tal como un visualizador grande. Por ejemplo, si un usuario desea usar un sistema de RDP para proyectar el visualizador de su ordenador portátil en una gran pantalla montada en una sala de conferencias, realizaciones de la invención permitirían que el usuario controle aspectos del cliente remoto tal como ubicación y tamaño.
El documento US2009/217177A1 divulga un método que incluye visualizar una pieza movible en la pantalla de ordenador de un usuario, pudiéndose colocar la pieza en la pantalla de ordenador para identificar datos visualizados en la pantalla de ordenador del usuario y seleccionarse para compartir con uno o más usuarios remotos. El método incluye adicionalmente transmitir datos identificados por una posición de la pieza en la pantalla de ordenador del usuario a los usuarios remotos, recibir datos compartidos desde uno de los usuarios remotos y visualizar los datos compartidos en la pantalla de ordenador del usuario.
El documento CN102868916A divulga un método en el que un terminal móvil puede compartir información con un terminal de televisión digital de tal forma que un archivo multimedia puede buscarse o reproducirse en el terminal de televisión digital y pueden evitarse los inconvenientes provocados por conexiones de cable.
Solución/Sumario
La presente invención proporciona un método de acuerdo con la reivindicación 1. Características adicionales, opcionales, del método se exponen en las reivindicaciones dependientes.
Realizaciones del presente sistema comprenden software que transforma hardware de visualización de consumo y un dispositivo de cálculo convencional conectado a ese visualizador en un entorno de colaboración y presentación compartida y gestionada. Proporcionando un sistema de gestión, presentación y comunicaciones común, el visualizador puede actuar como parte de una infraestructura pública, permitiendo que usuarios móviles se conecten para publicar medios, compartir con colaboradores y comunicarse mejor. Por lo tanto, el presente método permite que se usen y gestionen dispositivos de visualización como otros aspectos de una infraestructura de IT típica, tal como almacenamiento compartido, impresoras, cálculo basado en la nube.
Realizaciones del presente sistema también implican software que se instala en una diversidad de dispositivos que les permite conectarse a esta infraestructura de visualización. El software proporciona interconexión de muchos dispositivos de visualización de usuario y medios asociados a un único visualizador compartido. Los usuarios pueden utilizar el mismo visualizador al mismo tiempo permitiendo muchos dispositivos diferentes, con potencialmente conjuntos de datos dispares para compararse visualmente en el mismo visualizador. Tales realizaciones del presente sistema usan un sistema de gestión de estado y control sofisticado centralizado para habilitar este tipo de publicación de medios simultánea sin que cada dispositivo de visualización de usuario tenga interacción de gestión.
En las realizaciones del presente sistema, además de publicar selectivamente medios desde cada dispositivo de visualización de usuario a cualquier visualizador gestionado, usuarios pueden controlar simultáneamente cada elemento de medios que se ha publicado en el visualizador compartido. Debido a que el software de visualización transmite actualizaciones de estado a todos los usuarios conectados, cada dispositivo de visualización puede proporcionar la capacidad de que individuos seleccionen y controlen medios que pueden o no haberse publicado por ese usuario. Realizaciones del presente sistema, por lo tanto, permiten que múltiples usuarios compartan medios, colaboren y se comuniquen libremente sin restricciones impuestas por conmutadores de vídeo más tradicionales, cableado de vídeo directo de cada dispositivo o simples aplicaciones de compartición de pantalla.
Como un ejemplo del tipo de colaboración que el presente sistema hace posible, considérese una sala de conferencias con un único visualizador que se conecta a un PC de consumo. Tres usuarios tienen cada uno ordenadores portátiles que se conectan a una red inalámbrica que se comparte por el PC de consumo. El presente sistema proporciona los siguientes comportamientos:
• Ejecutando el dispositivo software y seleccionando conectar a través de una interfaz de usuario, cada usuario puede establecer conexión al visualizador independientemente de la discordancia de resolución de visualización, la ausencia de un cable de vídeo correcto de conector físico.
• Un usuario puede publicar selectivamente la salida en vivo de una aplicación ejecutándose en su dispositivo de visualización. La imagen en vivo de esa aplicación se publica en la pantalla.
• Un segundo usuario puede seleccionar esa imagen y usando controles interactivos de forma libre escalar, recolocar e incluso borrar esa imagen del visualizador compartido.
• Un tercer usuario puede seleccionar un archivo de vídeo de su dispositivo y este aparecerá en el visualizador. • Al mismo tiempo el segundo usuario puede seleccionar dos ventanas de aplicación diferentes y publicar las mismas en el visualizador. Basándose en control de usuario de diseño de presentación, las tres imágenes pueden mostrarse en vivo al mismo tiempo, compartiendo el espacio de pantalla de visualización apropiadamente.
En distinción a sistemas de conmutación de vídeo existentes, cada dispositivo conectado es tanto capaz de publicar imágenes al visualizador compartido como controlar el visualizador compartido simultáneamente con otros dispositivos. Sistemas de conmutación de vídeo tradicionales proporcionan entradas de vídeo distintas (habitualmente basándose en normas de vídeo existentes) que capturan, encaminan y visualizan diversas señales de vídeo. Estas fuentes, porque se ha pasado a través de un cable de vídeo tradicional, no transportan información de control extensiva y, por lo tanto, fuentes de vídeo no son capaces de controlar el visualizador. En distinción a conmutadores de vídeo, el presente sistema intercambia medios (vídeo, imágenes, píxeles de ventana de aplicación), información de control y otros metadatos (información de usuario, ubicación de fuente, etc.).
En distinción a aplicaciones de compartición de pantalla basadas en software, el presente sistema es capaz de proporcionar control de grupo a través de todos medios publicados y compartidos simultáneamente.
En una realización, un conjunto de visualizadores con capacidad inalámbrica se embeben o conectan a un dispositivo de cálculo general que contiene el módulo de software visualización. Módulos de software de cliente, instalados en al menos dos dispositivos diferentes permiten que esos dispositivos se conecten inalámbricamente al módulo de visualización. El módulo de visualización puede opcionalmente visualizar información de presencia y metadatos acerca de usuarios conectados basándose en la señal de conexión entrante de los dos dispositivos. Cada uno de los usuarios de los dispositivos puede identificar selectivamente, a continuación, una fuente de medios a transmitirse al visualizador para presentar. El módulo de visualización recibe flujos de medios en vivo y simultáneamente presenta los flujos en una posición, escala y con efectos visuales en los dispositivos de visualización físicos que se controlan por cada uno de los usuarios conectados.
Breve descripción de los dibujos
La Figura 1 es un diagrama que ilustra componentes ilustrativos del presente sistema;
La Figura 2 es un diagrama que ilustra componentes ilustrativos del presente software de visualización anfitrión;
La Figura 3 es un diagrama que ilustra componentes ilustrativos del presente software de cliente;
La Figura 4 es un diagrama que ilustra un dispositivo de visualización de cliente ilustrativo;
La Figura 5A es un diagrama ilustrativo que ilustra ciertas relaciones entre ventanas de aplicación en dispositivos de visualización de cliente y sus correspondientes imágenes en un dispositivo de visualización compartida; La Figura 5B es un diagrama ilustrativo de una realización alternativa que ilustra ciertas relaciones entre ventanas de aplicación en dispositivos de visualización de cliente y sus correspondientes imágenes en un dispositivo de visualización compartida;
La Figura 6 es un diagrama de flujo que muestra un conjunto ilustrativo de etapas realizadas por el presente sistema en la conexión a un visualizador compartido;
La Figura 7A es un diagrama de flujo que muestra un conjunto ilustrativo de etapas realizadas por el presente sistema en la publicación a un visualizador compartido; y
La Figura 7B es un diagrama de flujo que muestra un conjunto ilustrativo de etapas realizadas por el presente sistema en una realización alternativa, en la manipulación de ventanas de aplicación en un visualizador compartido 102.
Descripción detallada
La Figura 1 es un diagrama que ilustra componentes ilustrativos del presente sistema 100. Como se muestra en la Figura 1, en una realización ilustrativa, el presente sistema comprende uno o más dispositivos de visualización compartida 102 (únicamente se muestran dos dispositivos 102(1) y 102(2) en la figura) controlados por un controlador anfitrión 104 que incluye software de visualización 105. El controlador anfitrión 104 es un ordenador, tal como a PC, interconectado, a través de uno o más servidores 115, con uno o más ordenadores anfitriones de cliente 116, cada software de cliente en ejecución 107 para controlar un visualizador local 108 y para controlar también visualizador de imagen en el dispositivo de visualización compartida 102.
Los anfitriones de cliente 116 incluyen memoria local 111 para almacenar temporalmente aplicaciones, contexto y otra información actual y puede conectarse a una base de datos local u otro repositorio de archivos de medios 109. Habitualmente, un anfitrión de cliente se integra con un PC, portátil, o un dispositivo de mano tal como un teléfono inteligente o tableta. Este anfitrión de cliente integrado 116 y visualizador 108 se denominan en lo sucesivo como "dispositivo de visualización de cliente" o simplemente "cliente" 106. La línea discontinua 120 indica una interconexión de red entre clientes 106 y visualizador compartido anfitrión 102, que puede ser inalámbrico o por cable.
La Figura 2 es un diagrama que ilustra componentes ilustrativos de software de visualización anfitrión 105, que controla operación del presente sistema 100. Como se muestra en la Figura 2, en una realización ilustrativa, software de visualización 105 incluye el software de red 204, software de gestión de estado y control 205, gestor de gráfico de escena y visualización 208 y motor de presentación 209.
El software de red 204 proporciona control de conexión y recepción/suministro de paquetes de información enviada entre el controlador anfitrión 104 y los clientes 106. El software de red 204 recibe paquetes originados por cliente 212 desde, y envía paquetes originados por sistema 211 a, el software de cliente en ejecución 107 del anfitrión de cliente 116. El codificador/decodificador de vídeo 206 codifica/decodifica información de vídeo transmitida/recibida en paquetes.
El software de gestión de estado y control 205 mantiene el estado global del visualizador compartido que incluye flujos de medios que se han creado por usuarios y cada uno de sus identificadores únicos, metadatos 122 acerca de cada usuario tal como su posición geoespacial de clase de usuario y nombre de usuario, y qué usuarios están expresando en la actualidad comandos de control. Mensajes desde usuarios recurren a actualizaciones al módulo de gestión de estado y control para garantizar un estado consistente en todo momento. Además, este estado se comparte periódicamente con todos usuarios conectados. Al hacer esto, cada cliente conectado es capaz de ver información acerca de todos los medios que se han compartido al visualizador (por ejemplo, una lista de todas las publicaciones de medios mantenidas como miniaturas) e incluso seleccionar y controlar medios que se originan desde otros dispositivos.
El gestor de gráfico de escena y visualización 208 mantiene un estado geométrico 3D de todos los elementos visuales visualizados en la pantalla 510 de dispositivo de visualización 102 (mostrado en la Figura 5A). Esto incluye la posición (en 2 o 3 dimensiones), escala y aspecto de cada elemento de medios publicado en el visualizador. Datos de píxeles reales, procedentes del decodificador de vídeo 206 asociado con cada uno de estos elementos, puede componerse a continuación en la posición visual correcta de la correspondiente publicación de medios basándose en información almacenada en el gráfico de escena 117. El gestor de gráfico de escena y visualización 208 puede modificarse mediante paquetes de control de metadatos 122 (de clientes 106) que incluyen comandos de traslación, escala e indicios de efectos visuales (por ejemplo, girar un fotograma de medios para visualizar metadatos acerca de ese fotograma en lugar del vídeo en vivo de ese fotograma).
Control de diseño y otros comandos de cliente se usan para añadir o eliminar elementos de medios publicados particulares del gráfico de escena 117. Por ejemplo, un comando de modo de 'presentación' crea un gráfico de escena 117 que incluye únicamente un único elemento cuya posición y escala es tan grande como permiten los límites físicos de la pantalla 510. El gráfico de escena 117 comprende indicios del diseño de las publicaciones de medios actualmente conectados 408 en la pantalla 510 de dispositivo de visualización 102. El modo de 'forma libre' crea un gráfico de escena 117, en el que todos los medios publicados se colocan basándose en la colocación individual de cada elemento y desplazamientos de escala que pueden controlarse por usuarios.
El motor de presentación 209 toma vídeo decodificado (del decodificador 206) e interpreta el gráfico de escena 117 actual en una visualización compuesta completa que se presenta como una imagen de vídeo compuesta 210, que acciona uno o más dispositivos de visualización compartida 102.
La Figura 3 es un diagrama que ilustra componentes ilustrativos del presente software de cliente 107, que se usa por un dispositivo remoto que contiene su propio visualizador, tal como un ordenador de tableta, ordenador portátil, teléfono inteligente, PC o similar, para controlar una vista del usuario en local visualizador 108, así como el formato de la información de vídeo visualizada en el visualizador compartido 102.
Como se muestra en la Figura 3, en una realización ilustrativa, el software de cliente 107 incluye un módulo de archivo de medios 320 para cargar y publicar archivos de medios, tal como imágenes, videos y documentos. El software de cliente 107 incluye adicionalmente un módulo de captura de píxeles de escritorio 321 para capturar píxeles de escritorio en visualizador 108, y módulo de píxeles de captura de aplicación 322 para capturar píxeles de ventana de aplicación en visualizador compartido 102. El módulo de captura de píxeles 323 puede, como alternativa, integrarse en el controlador gráfico del cliente sistema operativo. De esta manera, los píxeles generados se "ramifican" al módulo de captura directamente y el motor de representación genera píxeles directamente en un segmento apropiado de memoria.
Los archivos de medios 109 se codifican y decodifican a través de codificador/decodificador de vídeo 306 y publican por el software de cliente 107, a uno o más visualizadores 102.
La interfaz de usuario 308 presenta opciones de control y estado global del sistema a un usuario que está viendo un visualizador de cliente local 108. Por ejemplo, se presentan botones para seleccionar diversos diseños del visualizador compartido, y para publicar selectivamente nuevos medios. Además, actualizaciones para el estado global (cuando un segundo usuario publica un nuevo elemento de medios, por ejemplo) se extraen por la interfaz de usuario para alertar al usuario del cambio y para proporcionar control sobre el elemento recientemente publicado.
La capa de interconexión 302 recibe paquetes originados por sistema 211 desde, y envía paquetes originados por cliente 212 a, el software de cliente en ejecución 107 del anfitrión de cliente 106.
La Figura 4 es un diagrama que ilustra una interfaz de usuario ilustrativa presentada en un visualizador de cliente 108, potencialmente en conjunto con otras aplicaciones en el dispositivo de visualización de cliente 106, que puede ser un dispositivo portátil tal como un teléfono inteligente o tableta, o un portátil u ordenador personal (PC). Como se muestra en la Figura 4, en una realización ilustrativa, el dispositivo de visualización de cliente 108 incluye una ventana de aplicación 409 en la que se visualizan unas publicaciones de medios seleccionadas 408, y un área de visualización circundante (o parcialmente circundante) en la que se visualizan diversos botones virtuales 401-405, 413, 414 y 421­ 425. En una realización ilustrativa, se incluyen botones para conectar a una lista de visualizadores compartidos [botón 401], compartir (publicar) una ventana de aplicación [botón 402], compartir toda la ventana de visualización de cliente 450 [botón 403], compartir un archivo de medios de cliente [botón 404] y desconectar del sistema anfitrión [botón 405], y también para señalizar el software de visualización para cambiar el aspecto y diseño del visualizador compartido [botones 421-425],
Seleccionado los botones 421-425, por ejemplo, el cliente puede modificar cómo se visualizan juntas las diferentes (potencialmente muchas) publicaciones de medios. El botón de modo de presentación 421 ordena al visualizador compartido que visualice únicamente las publicaciones de medios seleccionadas 408 y que oculte todas las otras publicaciones de medios. El botón de modo cuádruple 422 ordena al servidor que visualice el elemento seleccionado y sus tres vecinos (como se muestra en la lista de botones 411 en una cuadrícula regular, siendo cada elemento del mismo tamaño). El botón de modo mostrar todo 423 ordena al servidor que visualice todos los elementos en una cuadrícula cilíndrica en 3D en un tamaño que permite que cada publicación se ajuste en la pantalla. El botón de modelo de folioscopio 424 ordena al software de visualización que muestre el elemento seleccionado en el primer plano del visualizador en un tamaño que toma una gran porción de la pantalla, mientras otras publicaciones de medios se giran en un modo en perspectiva y presentan como una pila que precede y sigue al elemento seleccionado. El botón de modo de recorrido libre 425 sitúa todos los medios en su última posición y escala definidas por todos los usuarios que son capaces de colocar y escalar cada elemento individualmente usando el controlador de palanca de mando 430.
En una realización ilustrativa, la sección inferior de visualizador de cliente 108 incluye una barra de previsualización de medios 440 que visualiza miniaturas de publicaciones de medios enviados desde el software de visualización a clientes para permitir que cada cliente vea, seleccione y actualice el estado de sistema compartido para todos los medios publicados (incluyendo medios generados por otros clientes). Cada una de las cajas sombreadas de medios 412 indica publicaciones de medios publicadas en la actualidad en el visualizador compartido 102 basándose en ajustes de diseño y visualización, es decir, basándose en señales/vídeo procedentes del servidor que alertarán al cliente, por ejemplo, que el diseño ha cambiado a vista cuádruple (4 artículos en la pantalla). Publicaciones que no están cubiertas en la actualidad por la caja compartida 412 no están visibles en la pantalla basándose en los ajustes de diseño actuales, pero siguen siendo parte de la sesión de visualización compartida, continúan actualizándose en vivo, y pueden ponerse a la vista en el visualizador compartido a través de selección y control de usuario. Los botones 413 y 414 permiten que un usuario se desplace a través de las entradas de medios publicadas en la barra de previsualización de medios 440, poniendo potencialmente cada una de las publicaciones de medios que corresponde a las miniaturas a la vista en el visualizador compartido.
Por ejemplo, en el modo de presentación únicamente se visualiza un elemento en la pantalla compartida en cualquier momento dado, en este caso, la caja 412 cubre únicamente un único elemento (publicación de medios). Usando las flechas 414 y 413 para girar las ventanas de previsualización de la miniatura de los diversos elementos publicados, los elementos 'se deslizan' en el área 412 y se transmite un mensaje al software de visualización para modificar lo que se está visualizando para corresponder a la nueva miniatura que está ahora en el área 412.
En una realización ilustrativa, la barra de previsualización de medios 440 también permite que usuarios seleccionen cualquier publicación de medios compartida haciendo clic izquierdo en la miniatura correspondiente. El elemento de medios seleccionado se extrae a continuación como una gran previsualización en la ventana 409 y puede controlarse a través de un dispositivo de entrada de usuario, tal como una palanca de mando 430. La palanca de mando 430 ('virtual') de forma libre es una imagen generada por software que actúa como un dispositivo de entrada de usuario que permite que un usuario coloque y escale medios y otros tipos de imágenes visualizadas en la ventana de aplicación 409.
La Figura 5A es un diagrama ilustrativo de una realización alternativa que ilustra ciertas relaciones entre las ventanas de aplicación 409 en los dispositivos de visualización de cliente 106(*) [donde hay un indicador comodín que representa cualquier miembro de una clase de artículos relacionados] y sus correspondientes imágenes en el dispositivo de visualización compartida 102. Como se muestra en el ejemplo de la Figura 5A, inicialmente (como se indica en el fotograma 1 en la parte superior de la Figura), el dispositivo de visualización 106(1) para el cliente 1 está visualizando publicación de medios 408(1), etiquetada "A", el dispositivo de visualización 106(2) está visualizando la publicación de medios "C" 408(2) y el dispositivo de visualización 106(3) está visualizando la publicación de medios "D" 408(3), como se indica mediante las flechas 501-503. En la presente realización, los usuarios de los dispositivos 106(1)-106(3) son locales al dispositivo de visualización 102 y pueden ver la pantalla 510.
Como se indica en la mitad izquierda del fotograma 2, el cliente 1, que usa el dispositivo 106(1) puede, por ejemplo, (1) mover la publicación de medios A debajo de la ventana B (como se indica mediante la flecha 521) y, como se indica mediante la flecha 511, (2) redimensionar la ventana A, y también (3) agrandar o 'ampliar' la ventana A, manipulando la ventana A en dispositivo de cliente 106(1). Como se indica en la mitad derecha del fotograma 2, un usuario del dispositivo 106(1) puede mover (flecha 521) y, como se indica mediante la flecha 512, puede redimensionar o ampliar la ventana de otro cliente, observando que la ventana D se publicó (publicó) por el cliente 3 a través de dispositivo 106(3). Cualquiera de las acciones anteriores por diferentes usuarios puede producirse simultáneamente.
Los iconos 501(1) - 501(2) presentados en el dispositivo de visualización 102 representan clientes/usuarios conectados en la actualidad.
La Figura 5B es un diagrama ilustrativo de una realización alternativa que ilustra ciertas relaciones entre ventanas de aplicación mostradas en un dispositivo de visualización compartida 102 y correspondientes imágenes en local y dispositivos de visualización de cliente remoto 106(*). Como se muestra en el ejemplo de la Figura 5B, inicialmente (como se indica en el fotograma 1 en la parte superior de la Figura), el dispositivo de visualización compartida 102 está visualizando publicaciones de medios del cliente remoto 106(1) y también del cliente local 106(2) (clientes 1 y 2). Las publicaciones de medios A y B se publicaron por el cliente 1 y la publicación de medios C se publicó por el cliente 2.
Como se muestra en el fotograma 1 de la Figura 5B, el dispositivo de cliente local 106(2) visualiza únicamente la ventana C, mientras que el dispositivo de cliente remoto 106(1) visualiza una imagen de toda la pantalla de visualización compartida 510 en la ventana de aplicación 409, que es la aplicación publicada en la actualidad por el cliente 2. Por lo tanto, dispositivo de visualización 106(1) para el cliente 1 está visualizando las publicaciones de medios 408, etiquetadas "A", "B" y "C", en el mismo formato como se visualiza en el visualizador 102. En la presente realización, un usuario "remoto" de unos dispositivos 106(*) se conecta habitualmente al servidor 115 a través de la Internet (o una red privada) y puede estar lo suficientemente remoto del dispositivo de visualización 102, de tal forma que el usuario no puede ver la pantalla 510 del visualizador 102.
Como se indica en el fotograma 2, cliente 1, usando el dispositivo 106(1) puede, por ejemplo, (1) mover la publicación de medios A debajo de la ventana B (como se indica mediante la flecha 531), (2) redimensionar la ventana A, como se indica mediante la flecha 532, y también (3) agrandar o 'ampliar' la ventana A, manipulando la ventana A en dispositivo de cliente 106(1), como se ha descrito anteriormente.
La Figura 6 es un diagrama de flujo que muestra un conjunto ilustrativo de etapas realizadas por el presente sistema en la conexión a un visualizador compartido. Como se muestra en la Figura 6, en la etapa 630, el software de visualización anfitrión 105 transmite paquetes de identidad 651 que contienen información de acceso acerca del visualizador 102 y su configuración en la red local. En una realización ilustrativa, los paquetes de identidad 651 contienen información acerca del servidor que habilita el establecimiento de conexión (número de puerto, dirección IP, etc.) así como metadatos 123 opcionales que incluyen nombre de servidor, número de usuarios conectados, tiempo de reposo e información de seguridad y autenticación (por ejemplo, si se requiere una contraseña, qué clase de usuario puede conectarse).
En la etapa 610, un cliente 106(*) inicia descubrimiento de visualizador detectando paquetes de identidad 651 y examinando los datos de paquete para determinar qué servidores 115 y correspondientes visualizadores 102 están disponibles en la red. En la etapa 615, un usuario selecciona un visualizador compartido 102 de una lista de servidores/visualizadores anfitriones disponibles en la red local.
En la etapa 620, el cliente al servidor seleccionado 115 transmite un paquete de petición de conexión 652 que contiene información de acceso de usuario. Como se indica mediante el bloque 632, después de un retardo predeterminado, el servidor anfitrión 115 continúa comprobando un paquete de petición de conexión 652 del cliente 106, en la etapa 635.
Cuando se recibe el paquete de petición 652, el servidor 115 responde con un paquete que indica que se concede acceso, o en el caso en el que el servidor se configuró para acceso con contraseña, responde con un paquete que solicita una contraseña. Se producen conexiones de proceso entre el servidor 115 y clientes 106 en un proceso separado y paralelo de modo que pueden publicarse múltiples peticiones de conexión al mismo tiempo.
En la etapa 640, la presente conexión se procesa para acceso a visualización actualizando el módulo de gestión de estado y control de software de visualización 205 para reflejar que el visualizador ha aceptado un nuevo usuario. En la etapa 645, se genera un ID de usuario único (UID) 646 y se actualiza la información visual acerca de ese usuario, por ejemplo, se selecciona un color e icono de identificación único que refleja información acerca de ese usuario incluyendo tipo de hardware de anfitrión de cliente, ubicación física y tipo de conexión. Esta información puede presentarse al visualizador para notificar visualmente a otros usuarios próximos al visualizador. El UID 646 se envía a continuación al cliente 106. En la etapa 650, el visualizador 102 se actualiza gráficamente para reflejar datos de vídeo publicados por el cliente 108 en el visualizador.
La Figura 7A es un diagrama de flujo que muestra un conjunto ilustrativo de etapas realizadas por el presente sistema en la publicación a un visualizador compartido 102. Como se muestra en la Figura 7A, en la etapa 710, cliente 106(*) inicia un comando de publicación clicando una entrada en la barra de previsualización de medios 440 para seleccionar o bien (1) un nuevo archivo de fuente de medios o aplicación almacenada en archivos de medios 109, una región de pantalla o toda la pantalla; o bien (2) una publicación ya publicada para controlar en el visualizador 102.
Si se seleccionó un comando de publicación, a continuación en la etapa 718, el cliente 106 envía una petición de (publicar) publicación de medios nueva 792 al servidor 115. En la etapa 720, se captura un fotograma de medios 726 por el módulo de captura de píxeles de cliente 323 decodificando medios en disco o capturando píxeles de pantalla que corresponden a la fuente (medios, aplicación, área de pantalla) que se está publicando. En la etapa 725, el fotograma de vídeo actualizado 726 se envía al servidor 115 y anfitrión 104, siempre que la conexión se mantenga establecida (etapa 730). Si se pierde la conexión cliente-anfitrión, a continuación se termina la captura de píxeles y se envía un mensaje al anfitrión 104 indicando que las publicaciones de medios del presente cliente tienen que borrarse, en la etapa 735.
Si un comando de control de medios se seleccionó en la etapa 710, a continuación en la etapa 712, el cliente 106 inicia control de una publicación de medios publicada en la actualidad por cualquier cliente 106(*). El flujo de control continúa como se muestra en la Figura 7B, en la etapa 713, descrita a continuación.
En la etapa 750, el servidor 115 recibe el paquete de petición de publicación de medios 792. En la etapa 755, el software de visualización 105 crea un identificador único (UID) 646 que asocia con la ventana recientemente creada 408. En la etapa 765, el servidor 115 crea un flujo de vídeo decodificado 766 para actualizaciones. En la etapa 770, el servidor anfitrión 115 envía al cliente 106 una actualización 794 que incluye información de estado de visualización adicional, incluyendo los flujos de medios (y sus UID) que se han publicado y el número de usuarios conectados.
En la etapa 645 (por la Figura 6), servidor 115 envía el UID 646 al cliente 106 para confirmar la creación de una publicación de medios nueva. En la etapa 775, el servidor anfitrión 115 recibe el flujo de vídeo 726 desde el cliente 106 a través de la capa de interconexión y, basándose en este tipo, decodifica los datos a través de módulo de codificador/decodificador de vídeo 206 para crear un fotograma de datos de píxeles 776.
En la etapa 780, software de visualización extrae el fotograma de datos de píxeles en la posición actual, escala, desplazamiento de la publicación de medios (como se indica por gráfico de escena 117) para crear un fotograma visible en el visualizador 102 que corresponde a la vista de aplicación que se capturó en dispositivo de cliente 106.
En la etapa 740, el cliente 106 recibe la actualización que incluye la información de estado de visualización adicional y actualiza/almacena la información en la etapa 742.
En este punto, el cliente 106 vuelve a la etapa 710, y puede o bien publicar otra ventana (y continuar con el conjunto anterior de etapas) o bien mover la palanca de mando (u otro dispositivo de entrada de usuario) 430, en la etapa 712, y continuar como se indica a continuación en la descripción de la Figura 7B.
Las etapas en el área sombreada 701 (etapas 720, 725, 730, 775, 780, 785) se realizan asincrónicamente. Mensajes continuados desde un cliente 106 que contienen un flujo de vídeo también se reciben en paralelo por la capa de interconexión y se decodifican por el módulo de decodificador de vídeo 206 para crear actualizaciones de píxeles que se extraen en la nueva posición de la publicación de medios compartida en el visualizador 102. Si una publicación de medios cesa de estar activa (etapa 785), a continuación la publicación de medios se borra del visualizador 102, en la etapa 790.
Ejemplo 1: en este ejemplo, dos usuarios, A y B, usan el presente método para controlar simultáneamente y controlar un visualizador compartido 102. En este ejemplo, el software de visualización anfitrión 105 se ejecuta en un PC 104 conectado al visualizador compartido. El PC está en una red local con dispositivos de cliente 106 A y B.
[Etapa 710] El usuario A [que usa el visualizador de cliente 106(1)] selecciona una opción de control de publicación de medios, y selecciona una aplicación o medios para publicar en un visualizador anfitrión.
[Etapa 718] El usuario A selecciona "publicar" desde su panel de control de interfaz y transmite una petición al anfitrión para añadir una publicación de medios nueva (es decir, publica) al visualizador compartido.
[Etapas 720 - 725] El cliente A comienza a transmitir un flujo de vídeo 726 que corresponde a los datos codificados para la publicación de medios.
[Etapa 750] El servidor recibe una petición de publicar.
[Etapa 755] El software de visualización compartida crea un identificador único (UID 646) que asocia con la ventana recientemente creada, y [etapa 645] a continuación envía este UID al usuario A para confirmar la creación de una publicación de medios nueva.
[Etapa 775] El servidor anfitrión 115 recibe el flujo de vídeo desde el cliente A a través de la capa de interconexión y, basándose en este tipo, decodifica los datos a través de módulo de codificador/decodificador de vídeo 206 para crear un fotograma de datos de píxeles 776.
[Etapa 780] El fotograma de datos de píxeles se extrae a continuación en la posición actual, escala, desplazamiento de la publicación de medios para crear un fotograma visible en el visualizador 510 que corresponde a la vista de aplicación que se capturó en el cliente A.
[Etapa 770] El servidor anfitrión 115 envía al cliente A y otros clientes conectados una actualización que incluye información de estado de visualización adicional, incluyendo nuevos flujos de medios (y sus UID 646) que se han publicado y el número de usuarios conectados.
[Etapa 740] El cliente A recibe la actualización que incluye la información de estado de visualización adicional y actualiza/almacena la información [Etapa 742].
En este punto, el cliente A vuelve a la etapa 710, y puede o bien publicar otra ventana (y continuar con el conjunto anterior de etapas) o bien mover la palanca de mando (u otro dispositivo de entrada de usuario) 430, en la etapa 712, y continuar como se indica a continuación. El cliente B se conecta al visualizador compartido usando un conjunto similar de etapas como se ha descrito anteriormente para el cliente A.
[Etapa 740] El cliente B recibe la actualización a la interfaz de usuario a través de paquetes de actualización de estado que ahora contienen información que incluye los UID de publicación de medios 646 y correspondientes fotogramas de vídeo que se muestran en el visualizador anfitrión 102 (desde la etapa 770).
[Etapa 710 con selección diferente] El usuario B selecciona un UID de publicación de medios 646 clicando una entrada en la barra de previsualización de medios 440.
[Etapa 712] Arrastrar la palanca de mando inicia un mensaje, enviado al servidor 115, [en la etapa 713] que incluye:
(1) una transformación (es decir, traslación) y
(2) el identificador único [UID 646] de la publicación de medios que se está manipulando.
[Etapa 714] El servidor recibe este paquete y decodifica el mismo usando el módulo de gestión de estado y control 205. El estado del servidor (almacenado en este módulo) se actualiza para reflejar el movimiento que se acaba de aplicar a un UID particular 646.
[Etapa 715] El gráfico de escena 117 se actualiza para representar gráficamente el estado nuevo.
[Etapa 780] El motor de presentación 209 extrae a continuación la nueva escena de acuerdo con el nuevo estado gráfico de medios.
La Figura 7B es un diagrama de flujo que muestra un conjunto ilustrativo de etapas realizadas por el presente sistema en una realización alternativa, en la manipulación de publicaciones de medios en un visualizador compartido 102. Como se muestra en la Figura 7B, en la etapa 713, como se indica mediante la flecha 723, arrastrar la palanca de mando 430 (u otro dispositivo de entrada) inicia un mensaje, enviado al servidor 115, que incluye un paquete 723 que contiene (1) una transformación (es decir, magnitud y dirección de traslación basándose en el movimiento de la entrada de usuario palanca de mando) y (2) el identificador único [UID] 646 de la publicación de medios que se está manipulando.
En la etapa 714, el anfitrión 104 recibe el paquete 723 desde el cliente 106, decodifica el paquete y aplica la transformación al estado de aspecto visual y geométrico actual del elemento de medios correcto. En este ejemplo, un elemento de medios se traslada aplicando la traslación a la posición actual, almacenada en el gestor de estado y control 205 para ese elemento. En la etapa 715, se actualiza el gráfico de escena 117 para representar gráficamente el estado nuevo del visualizador 102. Finalmente, el motor de presentación 209 interpreta todo el gráfico de escena 117 que mantiene información acerca del aspecto visual de todos los elementos de medios, incluyendo el que se acaba de actualizar, y crea una imagen compuesta 210 para el visualizador 102. El control se reanuda en la etapa 780 en la Figura 7A.
Ejemplo 2 : dos usuarios, A y B, usando el presente método para conectar y compartir simultáneamente y controlar un visualizador:
El software de visualización anfitrión se ejecuta en un PC conectado al visualizador compartido. El PC está en una red local con los dispositivos de cliente A y B. El software de visualización anfitrión comienza a transmitir paquetes de descubrimiento que contienen información de acceso acerca del visualizador y su configuración en la red local.
1. El cliente A se conecta al software de visualización anfitrión detectando los paquetes de descubrimiento que están disponibles en la red y presentando los mismos para que un usuario los seleccione. El usuario A selecciona el visualizador compartido de una lista de visualizadores anfitrión disponibles en la red local.
2. Un paquete de conexión se transmite al software de visualización conteniendo información de acceso de usuario.
3. El servidor 115 recibe ese paquete y responde con acceso garantizado -o- en el caso de que el servidor se configuró para acceso con contraseña, un paquete que solicita una contraseña.
4. El servidor envía al cliente A una actualización que incluye información adicional acerca del estado del visualizador, incluyendo los flujos de medios (y su UID) que se han publicado, y cuántos usuarios se conectan.
5. El cliente A recibe [y almacena] el acceso concedido y la actualización que incluye la información de estado de visualización adicional.
6. El cliente A actualiza su interfaz de usuario para reflejar el estado del visualizador compartido.
7. El usuario A selecciona "publicar" de un panel de control de interfaz y posteriormente selecciona una publicación de medios para publicar en el visualizador.
8. El usuario A transmite un mensaje al visualizador para añadir una publicación de medios nueva al visualizador compartido que se dimensiona inicialmente basándose en el tamaño de ventana de aplicación.
9. El visualizador compartido software crea un identificador único (UID) que asocia con esta ventana recientemente creada.
10. El visualizador compartido a continuación transmite este identificador único al usuario A para confirmar la creación de una publicación de medios nueva.
11. El cliente A, a continuación, fija un mecanismo de captura de píxeles a las publicaciones de medios seleccionadas y comienza a capturar datos de píxeles, que se pasan al motor de codificación de vídeo.
12. El cliente A envía un mensaje al visualizador que asocia un tipo de "flujo de vídeo" con el UID.
13. El cliente A comienza a transmitir un flujo de vídeo que corresponde a los datos codificados para la publicación de medios.
14. El servidor 115 recibe el flujo de vídeo a través de la capa de interconexión y, basándose en este tipo, decodifica los datos a través del módulo de decodificador de vídeo para crear un fotograma de datos de píxeles.
15. El fotograma de datos de píxeles se extrae a continuación en la posición actual, escala, desplazamiento de la publicación de medios para crear un fotograma visible que corresponde a la vista de aplicación que se capturó en el cliente A. Esta publicación de medios nueva se extrae en una posición, escala, desplazamiento y con otros efectos especiales (borde, sin borde) basándose en el diseño de visualización actual y otras reglas de acuerdo con el gráfico de escena y estado actual.
16. El cliente B se conecta al visualizador compartido usando un conjunto similar de etapas como se ha descrito anteriormente para el cliente A.
17. El cliente B recibe la actualización a la interfaz de usuario a través de paquetes de actualización de estado que ahora contienen información acerca del UID de publicación de medios y un correspondiente fotograma vídeo que se está mostrando en el servidor.
18. El usuario B selecciona el UID de publicación de medios clicando una entrada en la barra de previsualización de medios en la parte inferior de la interfaz de usuario.
19. El usuario B selecciona la palanca de mando para controlar la posición/escala del UID de publicación de medios.
20. Arrastrando la palanca de mando, se envía un mensaje al servidor que contiene:
a. Una transformación (es decir, magnitud y dirección de traslación de palanca de mando basándose en el movimiento de la entrada de usuario palanca de mando), y
b. El identificador único [UID] de la publicación de medios que se está manipulando.
21. El servidor 115 recibe este paquete y decodifica el mismo usando el módulo de gestión de estado y control 205. El estado del servidor (almacenado en este módulo) se actualiza para reflejar el movimiento que se acaba de aplicar a un UID particular.
22. El gráfico de escena se actualiza para representar gráficamente el estado nuevo de las diversas publicaciones de medios/diseño seleccionado, para extraer la publicación de medios en una posición y escala, con efectos como se indican por el nuevo estado.
23. El motor de presentación 209 a continuación extrae la nueva escena de acuerdo con el nuevo estado gráfico de medios UID.
La anterior descripción de ciertas realizaciones de la invención no se concibe para ser exhaustiva o para limitar la invención a las formas precisas divulgadas. Los términos usados en las reivindicaciones no deberían interpretarse para limitar la invención a las realizaciones específicas divulgadas en la memoria descriptiva, en su lugar, el alcance de la invención se determinará por las siguientes reivindicaciones.

Claims (6)

REIVINDICACIONES
1. Un método para visualizar simultáneamente, en un visualizador compartido (102), al menos una fuente de medios desde cada uno de al menos dos de una pluralidad de dispositivos de cliente (106), estando el visualizador compartido (102) remoto de los dispositivos de cliente (106), comprendiendo el método:
a) conectar inalámbricamente dos o más de los dispositivos de cliente (106) al visualizador compartido (102); b) seleccionar, a través de cada uno de los dispositivos de cliente (106), una respectiva fuente de medios en el que la fuente de medios comprende al menos uno de un archivo de medios almacenado en el respectivo dispositivo de cliente, una aplicación almacenada en el respectivo dispositivo de cliente y un área de pantalla del respectivo dispositivo de cliente; y
c) recibir, desde cualquiera de los dispositivos de cliente (106), una transformación, que indica magnitud y escala de traslación basándose en ajustes de un dispositivo de entrada de usuario, para cualquiera de las fuentes de medios, indicando la ubicación y tamaño, en el visualizador compartido (102), de cada dicha fuente de medios; d) transmitir cada una de las fuentes de medios seleccionada al visualizador compartido (102) como un respectivo flujo de medios en vivo;
en el que el flujo de medios en vivo comprende tramas de medios que resulta de la decodificación del archivo de medios o de la captura de píxeles que corresponde al área de pantalla o salida de aplicación; y
e) presentar simultáneamente, en el visualizador compartido (102), cada uno de los flujos de medios en vivo transmitidos, usando la transformación para determinar un estado geométrico actual de cada una de las respectivas fuentes de medios; y
en el que es posible para al menos un primer dispositivo de cliente seleccionar otra fuente de medios, distinta de la primera fuente de medios seleccionada a través de dicho primer dispositivo, y realizar las etapas c) a e) del método actual.
2. El método de la reivindicación 1, en el que el archivo de medios es un archivo de imagen.
3. El método de la reivindicación 1, en el que el archivo de medios es uno o más archivos de datos.
4. El método de la reivindicación 1, en el que los dispositivos de cliente (106) conectados al visualizador transmiten información al visualizador incluyendo identidad de usuario y ubicación de medios en el visualizador.
5. El método de la reivindicación 1, incluyendo el flujo de medios en vivo información de estado del visualizador compartido (102).
6. El método de la reivindicación 1, incluyendo la transformación una manipulación del flujo de medios en vivo del visualizador compartido (102) en el dispositivo de cliente (106).
ES14756426T 2013-02-26 2014-02-26 Sistema y método para control multiusuario y difusión en continuo de medios a un visualizador compartido Active ES2794500T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361769609P 2013-02-26 2013-02-26
PCT/US2014/018526 WO2014134107A2 (en) 2013-02-26 2014-02-26 System and method for multi-user control and media streaming to a shared display

Publications (1)

Publication Number Publication Date
ES2794500T3 true ES2794500T3 (es) 2020-11-18

Family

ID=51387727

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14756426T Active ES2794500T3 (es) 2013-02-26 2014-02-26 Sistema y método para control multiusuario y difusión en continuo de medios a un visualizador compartido

Country Status (9)

Country Link
US (1) US20140240445A1 (es)
EP (2) EP3657824A3 (es)
JP (1) JP2016511603A (es)
CN (1) CN105210394B (es)
DK (1) DK2962478T3 (es)
ES (1) ES2794500T3 (es)
PL (1) PL2962478T3 (es)
PT (1) PT2962478T (es)
WO (1) WO2014134107A2 (es)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906594B2 (en) * 2012-02-21 2018-02-27 Prysm, Inc. Techniques for shaping real-time content between multiple endpoints
US9641570B2 (en) 2013-02-28 2017-05-02 Ricoh Company, Ltd. Electronic information collaboration system
US20140245185A1 (en) * 2013-02-28 2014-08-28 Ricoh Company, Ltd. Electronic Information Collaboration System
US10126927B1 (en) * 2013-03-15 2018-11-13 Study Social, Inc. Collaborative, social online education and whiteboard techniques
KR102066226B1 (ko) * 2013-11-01 2020-01-14 엘지전자 주식회사 전자기기 및 이를 구비하는 통신 시스템
JP2016053773A (ja) * 2014-09-03 2016-04-14 コニカミノルタ株式会社 共有表示システム及び共有表示制御プログラム並びに共有表示制御方法
US20170318334A1 (en) * 2014-10-27 2017-11-02 Huawei Technologies Co., Ltd. Image Display Method, User Terminal, and Video Receiving Device
US9628530B2 (en) 2015-02-24 2017-04-18 Mersive Technologies, Inc. System and method for moderated and on-demand visual file distribution
DE112016001140T5 (de) * 2015-03-09 2017-11-30 Sensory Technologies LLC Interaktives Mehrbenutzer-Anzeigesystem und Verfahren
WO2016154426A1 (en) * 2015-03-26 2016-09-29 Wal-Mart Stores, Inc. System and methods for a multi-display collaboration environment
CN106155646B (zh) * 2015-03-31 2020-01-07 阿里巴巴集团控股有限公司 一种限制外部应用程序调用服务的方法及装置
US9705936B2 (en) * 2015-04-24 2017-07-11 Mersive Technologies, Inc. System and method for interactive and real-time visualization of distributed media
US20160320936A1 (en) 2015-05-01 2016-11-03 Prysm, Inc. Techniques for displaying shared digital assets consistently across different displays
US20170019473A1 (en) * 2015-07-16 2017-01-19 Promethean Limited Multi-network mirroring systems and methods
US20230046864A1 (en) * 2015-07-16 2023-02-16 Promethean Limited Multi-network computing device integration systems and methods
PL3329670T3 (pl) 2015-07-28 2023-04-11 Mersive Technologies, Inc. System wirtualnego mostka sterownika wideo do współpracy z wieloma źródłami w obrębie systemu konferencji internetowych
CN105262974A (zh) * 2015-08-12 2016-01-20 北京恒泰实达科技股份有限公司 一种实现多人屏幕无线共享的方法
US20170242648A1 (en) * 2016-02-19 2017-08-24 RAPC Systems, Inc. Combined Function Control And Display And System For Displaying And Controlling Multiple Functions
US10616633B2 (en) 2016-02-29 2020-04-07 T1V, Inc. System for connecting a mobile device and a common display
US11095694B2 (en) * 2016-06-03 2021-08-17 T1V, Inc. Cross network sharing system
US10742812B1 (en) 2016-10-14 2020-08-11 Allstate Insurance Company Bilateral communication in a login-free environment
US11463654B1 (en) 2016-10-14 2022-10-04 Allstate Insurance Company Bilateral communication in a login-free environment
US10657599B2 (en) 2016-10-14 2020-05-19 Allstate Insurance Company Virtual collaboration
US10264213B1 (en) * 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
US10321092B2 (en) * 2016-12-28 2019-06-11 Facebook, Inc. Context-based media effect application
US10085064B2 (en) 2016-12-28 2018-09-25 Facebook, Inc. Aggregation of media effects
US11178528B2 (en) * 2017-02-06 2021-11-16 Hewlett-Packard Development Company, L.P. Media content control of source devices on sink devices
CN107291412B (zh) * 2017-05-19 2020-09-22 广州视源电子科技股份有限公司 无线传屏方法及系统
CN107846609B (zh) * 2017-10-19 2020-09-04 威创集团股份有限公司 控制室数据实时传输方法、装置和系统
USD844652S1 (en) * 2017-11-26 2019-04-02 Jan Magnus Edman Display screen with graphical user interface
USD851668S1 (en) * 2017-11-27 2019-06-18 Allstate Insurance Company Display screen with graphical user interface
US10579163B2 (en) * 2018-06-02 2020-03-03 Mersive Technologies, Inc. System and method of annotation of a shared display using a mobile device
FI20185601A1 (en) * 2018-06-29 2019-12-30 Genera Oy PUBLIC DISPLAY MANAGEMENT
CN113439436B (zh) 2019-02-16 2024-08-27 三星电子株式会社 用于控制视频接收的方法和设备
CN110389736A (zh) 2019-06-05 2019-10-29 华为技术有限公司 一种投屏显示方法及电子设备
WO2021044851A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 情報処理装置、及び情報処理方法
TWI740208B (zh) * 2019-09-17 2021-09-21 圓展科技股份有限公司 影像傳輸裝置、具有遠端畫面擷取功能的影像顯示系統及遠端畫面影像擷取方法
US11818181B1 (en) * 2020-07-27 2023-11-14 Rgb Spectrum Systems, methods, and devices for a persistent content sharing platform
CN112333527A (zh) * 2020-08-21 2021-02-05 深圳Tcl新技术有限公司 智能设备显示方法、装置、设备及计算机存储介质
CN114173184B (zh) * 2020-09-10 2024-10-18 华为终端有限公司 投屏方法和电子设备
CN115623158A (zh) * 2020-12-18 2023-01-17 北京字跳网络技术有限公司 展示方法、装置和电子设备
CN113766303B (zh) * 2021-05-08 2023-04-28 北京字节跳动网络技术有限公司 多屏互动方法、装置、设备及存储介质
US11330026B1 (en) * 2021-07-31 2022-05-10 Zoom Video Communications, Inc. Concurrent screen sharing by multiple users within a communication session
US11877024B2 (en) * 2022-04-28 2024-01-16 Dish Network L.L.C. Devices, systems, and methods for multi-user screen sharing
US20240114206A1 (en) * 2022-09-30 2024-04-04 Motorola Mobility Llc Variable Concurrent Access to Content of a Device by Multiple Devices

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088005A (en) 1996-01-11 2000-07-11 Hewlett-Packard Company Design and method for a large, virtual workspace
US7149549B1 (en) * 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US6917362B2 (en) 2002-01-25 2005-07-12 Hewlett-Packard Development Company, L.P. System and method for managing context data in a single logical screen graphics environment
US7385615B2 (en) * 2002-10-21 2008-06-10 Microsoft Corporation System and method for scaling images to fit a screen on a mobile device according to a non-linear scale factor
US20060031779A1 (en) * 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
US20060026502A1 (en) * 2004-07-28 2006-02-02 Koushik Dutta Document collaboration system
US8639812B2 (en) * 2005-04-12 2014-01-28 Belkin International, Inc. Apparatus and system for managing multiple computers
US20080109725A1 (en) 2005-08-05 2008-05-08 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multiple screens
US20080034038A1 (en) * 2006-08-04 2008-02-07 Jean-Pierre Ciudad Sharing Application Output In Chat Environment
US8054241B2 (en) 2006-09-14 2011-11-08 Citrix Systems, Inc. Systems and methods for multiple display support in remote access software
US7821510B2 (en) * 2007-04-13 2010-10-26 International Business Machines Corporation Dynamic conference table display system
US7941828B2 (en) * 2007-08-24 2011-05-10 The Boeing Company Method and apparatus for simultaneous viewing of two isolated data sources
US8473851B2 (en) 2008-02-27 2013-06-25 Cisco Technology, Inc. Multi-party virtual desktop
US20090234983A1 (en) * 2008-03-17 2009-09-17 Golden Signals, Inc. Methods and apparatus for sharing a computer display screen
US8289368B2 (en) 2008-12-15 2012-10-16 Avaya Inc. Intelligent grouping and synchronized group switching for multimedia conferencing
US20100169791A1 (en) * 2008-12-31 2010-07-01 Trevor Pering Remote display remote control
US9288242B2 (en) * 2009-01-15 2016-03-15 Social Communications Company Bridging physical and virtual spaces
JP2010181978A (ja) * 2009-02-03 2010-08-19 Seiko Epson Corp 共同作業装置及び共同作業の制御方法
EP2309688B1 (en) * 2009-10-07 2012-10-24 Research In Motion Limited System and method for providing time zone as instant messaging presence
CA2722460A1 (en) * 2010-11-26 2012-05-26 Centre De Recherche Informatique De Montreal Screen sharing and video conferencing system and method
US20120173622A1 (en) * 2011-01-04 2012-07-05 Samsung Electronics Co., Ltd. Social screen casting
US20150201193A1 (en) * 2012-01-10 2015-07-16 Google Inc. Encoding and decoding techniques for remote screen sharing of media content using video source and display parameters
WO2013190144A1 (en) 2012-06-22 2013-12-27 Universitaet Des Saarlandes Method and system for displaying pixels on display devices
CN102868916B (zh) 2012-08-27 2016-03-02 腾讯科技（深圳）有限公司 一种向数字电视终端共享信息的方法、终端及系统
KR101698951B1 (ko) * 2013-01-17 2017-01-23 후아웨이 테크놀러지 컴퍼니 리미티드 복수의 시각적 요소를 가지는 스크린을 공유하는 시스템, 장치, 및 방법

Also Published As

Publication number Publication date
EP3657824A3 (en) 2020-09-16
CN105210394A (zh) 2015-12-30
CN105210394B (zh) 2019-05-17
EP3657824A2 (en) 2020-05-27
PL2962478T3 (pl) 2020-11-16
JP2016511603A (ja) 2016-04-14
EP2962478A2 (en) 2016-01-06
EP2962478B1 (en) 2020-01-15
WO2014134107A2 (en) 2014-09-04
DK2962478T3 (da) 2020-04-20
US20140240445A1 (en) 2014-08-28
WO2014134107A3 (en) 2014-10-23
PT2962478T (pt) 2020-04-22
EP2962478A4 (en) 2017-01-04

Similar Documents

Publication Publication Date Title
ES2794500T3 (es) Sistema y método para control multiusuario y difusión en continuo de medios a un visualizador compartido
KR102492565B1 (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
EP2839604B1 (en) Electronic tool and methods for meetings
ES2752737T3 (es) Servicios de escritorio virtual
US10320865B2 (en) Graphical indicator of presence, identity, and action for media sharing on a display
EP2756667B1 (en) Electronic tool and methods for meetings
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
US20170150218A1 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, program, and information processing system
US20220156030A1 (en) Interactive display synchronisation
CN104380335A (zh) 添加保留照片背景的社交评论
US20150089395A1 (en) Electronic tool and methods for meetings
US10965480B2 (en) Electronic tool and methods for recording a meeting
US20150170327A1 (en) Multimedia system and associated methods
US11900530B1 (en) Multi-user data presentation in AR/VR
KR102257132B1 (ko) 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들
US10255024B2 (en) Method and system for displaying a sequence of images
JP2013074598A (ja) 画像通信装置、画像通信方法、プログラム、および画像通信システム
JP2017147572A (ja) 映像監視装置およびこれを備えた映像監視システム
KR102674102B1 (ko) 비주얼 네트워크 서비스 처리 방법 및 장치
WO2022094492A1 (en) System and method for arrangements of visual information in user-configurable format
Patel et al. Remote Control of Android Phones Using VNC
TH69771B (th) ระบบรองรับทางการแพทย์และกรรมวิธีของระบบรับรองทางการแพทย์