ES2658073T3 - Sincronización de flujos de medios través de múltiples dispositivos - Google Patents

Sincronización de flujos de medios través de múltiples dispositivos Download PDF

Info

Publication number
ES2658073T3
ES2658073T3 ES07843265.5T ES07843265T ES2658073T3 ES 2658073 T3 ES2658073 T3 ES 2658073T3 ES 07843265 T ES07843265 T ES 07843265T ES 2658073 T3 ES2658073 T3 ES 2658073T3
Authority
ES
Spain
Prior art keywords
computing device
incoming
stream
audio
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES07843265.5T
Other languages
English (en)
Inventor
Anton Krantz
Niraj Khanchandani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Application granted granted Critical
Publication of ES2658073T3 publication Critical patent/ES2658073T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q3/00—Selecting arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q3/00—Selecting arrangements
    • H04Q3/0016—Arrangements providing connection between exchanges
    • H04Q3/0025—Provisions for signalling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W80/00—Wireless network protocols or protocol adaptations to wireless operation
    • H04W80/04—Network layer protocols, e.g. mobile IP [Internet Protocol]

Abstract

Un procedimiento de sincronización de flujos de audio y video entrantes en una sesión multimedios de red, en el que el flujo de audio entrante es recibido en un primer dispositivo informático (106) y el flujo de vídeo entrante es recibido en un segundo dispositivo informático (102), comprendiendo el procedimiento establecer un primer canal de comunicación directa (114) entre el primer dispositivo informático (106) y un teléfono IP (110) para habilitar la comunicación directa del flujo de audio sobre el primer canal de comunicación directa (114) sin ser enrutado a través de un ordenador (104) que sirve como controlador de sesión; establecer un segundo canal de comunicación directa (116) entre el segundo dispositivo informático (102) y un dispositivo de vídeo autónomo (112) para habilitar la comunicación del flujo de vídeo sobre el segundo canal de comunicación directa (116) sin ser enrutado a través del ordenador (104) que sirve como el controlador de sesión; establecer, por medio de una rutina de sincronización (200), la sesión multimedios en la red mediante el intercambio de información de control entre el primer dispositivo informático (106), el segundo dispositivo informático (102), el teléfono IP (110) y el dispositivo de vídeo autónomo (112 ); iniciar, por medio de la rutina de sincronización (200), la transmisión de los flujos de audio y vídeo, y a continuación, observar, por medio de la rutina de sincronización (200), las condiciones de la primera red y las condiciones de la segunda red, y recoger, por medio de la rutina de sincronización (200), primeras estadísticas y segundas estadísticas que describen las primeras condiciones de la red y las segundas condiciones de la red del primer canal de comunicación directa y del segundo canal de comunicación directa, respectivamente; recibir, por medio del primer dispositivo informático, un paquete de datos que describe las condiciones de red actuales en el primer dispositivo informático (106), y calcular, por medio de la rutina de sincronización (200) un retraso esperado en la transmisión de la secuencia de audio en el primer dispositivo informático (106) ; reportar al ordenador (104) que sirve como el controlador de sesión, un conjunto de datos, incluyendo el retraso esperado en el flujo de audio y hacer que la representación del flujo de vídeo se retrase para que coincida con el flujo de audio, en el que el retraso del flujo de vídeo sincroniza una presentación del flujo de audio y el flujo de vídeo.

Description

5
10
15
20
25
30
35
40
45
50
55
DESCRIPCION
Sincronización de flujos de medios través de múltiples dispositivos Antecedentes
Las redes modernas han revolucionado las formas con las que las personas obtienen información. En este sentido, las redes de datos IP desarrolladas para Internet ofrecen una oportunidad para que los usuarios interactúen utilizando las comunicaciones multimedios. Por ejemplo, un dispositivo informático con el hardware y el software apropiados habilita a un usuario enviar / recibir vídeo, audio, mensajes instantáneos (por ejemplo, texto), y otros similares entre otros dispositivos informáticos de red. Los datos transmitidos a través de la red de datos IP son procesados en una secuencia de bloques de datos, llamados paquetes, que se adhieren a protocolos IP capaces de comunicar una variedad de tipos de medios. Con un ordenador personal, como por ejemplo un ordenador de sobremesa o portátil, los usuarios pueden establecer sesiones de red multimedios en las que diferentes tipos de medios son comunicados concurrentemente.
Crecientemente, se están desarrollando los dispositivos informáticos específicos de medios que están configurados para transmitir un flujo de medios directamente sobre una red de datos IP. Por ejemplo, un teléfono IP implementa funcionalidad para digitalizar las señales de teléfono analógicas, la partición de la señal digitalizada en paquetes, y la transmisión de los paquetes a otro dispositivo informático de red IP. En este ejemplo, los datos de audio pueden ser empaquetados de acuerdo con el Protocolo de Voz sobre de Internet ( "VoIP").
En una sesión multimedios de red, los flujos de medios (por ejemplo, vídeo y audio) pueden ser transmitidos entre usuarios remotos. Los expertos en la técnica y otros reconocerán que los sistemas se han desarrollado para sincronizar flujos de medios cuando un usuario emplea un único dispositivo informático para participar en la sesión de red. Sin embargo, con el desarrollo de dispositivos informáticos específicos de medios tales como teléfonos IP, un usuario puede emplear múltiples dispositivos informáticos para participar en una sesión de red. Por ejemplo, un usuario puede emplear una configuración de sistema en la que un ordenador de sobremesa está estrechamente asociado a un teléfono IP. Las preferencias del usuario pueden determinar que los datos de audio se envíen / se reciban usando el teléfono IP mientras los datos de vídeo se envíen / se reciban usando el ordenador de escritorio. En este sentido, los sistemas existentes no son capaces de sincronizar de forma fiable los flujos de medios que se comunican a través de múltiples dispositivos informáticos.
El documento de patente de EE.UU. US 7.084.898 B1 desvela un sistema para proporcionar sincronización de videoconferencia que incluye un mezclador de audio en un primer dispositivo operable para recibir uno o más flujos de audio entrantes, teniendo cada uno de ellos una marca de tiempo asociada. El mezclador de audio genera un flujo de audio mezclado de los flujos de audio entrantes y determina las diferencias en bases de tiempo entre el uno o más flujos de audio entrantes y el flujo de audio mezclado. El mezclador de audio genera parámetros de mapeo asociados con las diferencias determinadas, y los parámetros de mapeo se envían a un mezclador de vídeo con el fin de transformar apropiadamente las marcas de tiempo de uno o más flujos de vídeo entrantes en marcas de tiempo de salida de un flujo de vídeo mezclado y de esta manera sincronizar la mezcla de audio y de vídeo durante la videoconferencia.
El documento US 2005/0078170 A1 desvela un procedimiento para ejecutar una videoconferencia que incluye la recepción de uno o más flujos de audio asociados con una videoconferencia desde uno o más puntos finales y la determinación de un altavoz activo asociado con uno de los puntos finales. La información de audio asociada con el altavoz activo puede ser recibida en uno o más conmutadores de medios. Todos los flujos de video pueden ser suprimidos a excepción de un flujo de vídeo seleccionado asociado con el altavoz activo, propagándose el flujo de vídeo seleccionado a uno o más de los conmutadores de medios durante la videoconferencia. El flujo de vídeo seleccionado puede ser replicado de tal manera que pueda ser comunicado a uno o más de los puntos finales asociados a un conmutador de medios seleccionado de los conmutadores de medios.
Sumario
Se proporciona este sumario para introducir una selección de conceptos en una forma simplificada que se describe más adelante en la Descripción detallada. Este sumario no pretende identificar las características clave de la materia reivindicada, ni pretende ser utilizado como una ayuda para determinar el ámbito de la materia reivindicada.
Aspectos de la presente invención están dirigidos a establecer una sesión multimedios de red en la que se sincroniza la transmisión de flujos de medios a través de múltiples dispositivos informáticos. En una realización, se proporciona un procedimiento para sincronizar los flujos de audio y vídeo entrantes. Más específicamente, el procedimiento incluye establecer un canal de comunicación entre un primer dispositivo informático que está recibiendo un flujo de audio entrante con el segundo dispositivo informático que está recibiendo un flujo de vídeo entrante. Una vez establecido el canal de comunicación, las condiciones de red actuales que describen atributos de flujo de audio entrante son obtenidas por medio del primer dispositivo informático. A continuación, se calcula el retraso en el flujo de audio
5
10
15
20
25
30
35
40
45
50
55
entrante. Cuando se conoce el retraso, el procedimiento hace que el flujo de vídeo entrante se retrase para que coincida con el retraso en el flujo de audio entrante. Como resultado, a pesar de que se estén utilizando múltiples dispositivos para participar en la sesión multimedios de red, la representación de los diferentes flujos de medios es sincronizada. La invención se define mediante un procedimiento de acuerdo con la reivindicación 1 y un medio de almacenamiento legible por ordenador que contiene instrucciones legibles por ordenador que realizan el procedimiento de acuerdo con la reivindicación 7. Otras realizaciones están definidas por las reivindicaciones dependientes.
Descripción de los dibujos
Los aspectos anteriores y muchas de las ventajas acompañantes de esta invención serán más fácilmente apreciados cuando la misma se entienda mejor por referencia a la descripción detallada que sigue, cuando se toma en conjunto con los dibujos que se acompañan, en los que:
la figura 1 ilustra un entorno de red en el que se pueden implementar aspectos de la presente invención;
la figura 2 ilustra una rutina que sincroniza los flujos de medios que se transmiten a través de múltiples dispositivos informáticos; y
la figura 3 ilustra un intercambio de información de control ejemplar que se produce cuando se sincronizan
los flujos de medios.
Descripción detallada
La presente invención se puede describir en el contexto general de instrucciones ejecutables por ordenador, tales como módulos de programa, que están siendo ejecutados por un ordenador. Descrito, de manera general, los módulos de programa incluyen rutinas, programas, aplicaciones, widgets, objetos, componentes, estructuras de datos y otros elementos similares que realizan tareas particulares o implementan tipos de datos abstractos particulares. La presente invención será practicada típicamente en entornos informáticos distribuidos en los que las tareas son realizadas por dispositivos de procesamiento remoto que están enlazados a través de una red de comunicaciones. En un entorno informático distribuido, los módulos de programas pueden estar situados en medios de almacenamiento de ordenador locales y / o remotos.
Aunque principalmente se describirán aspectos de la presente invención en el contexto de la sincronización de flujos de medios cuando se emplean múltiples dispositivos para participar en una sesión multimedios de red, los expertos en la técnica relevante y otros reconocerán que los aspectos de la invención son aplicables también a otras áreas diferentes a las descritas. En cualquier caso, la descripción que sigue en primer lugar proporciona una descripción general de un entorno en el que se pueden implementar aspectos de la invención. A continuación, se describe una rutina que implementa aspectos de la invención. Sin embargo, los ejemplos ilustrativos proporcionados en la presente memoria descriptiva no pretenden ser exhaustivos o limitar la materia reivindicada a las formas precisas desveladas. Del mismo modo, los pasos descritos en la presente memoria descriptiva pueden ser intercambiables con otros pasos o combinaciones de pasos con el fin de lograr el mismo resultado.
La figura 1 y la explicación que sigue pretenden proporcionar una breve descripción general de un entorno de red 100 en el que se pueden implementar aspectos de la presente invención. Como se ilustra en la figura 1, el entorno de red 100 está compuesto por los ordenadores 102 - 104 que están conectados de manera comunicativa a través de la red 101. En este ejemplo, los ordenadores 102 - 104 incluyen un sistema de software que funciona como un controlador de sesión 105 para gestionar la información de control de cambios en una sesión multimedios de red. A modo de ejemplo solamente, los ordenadores 102 - 104 pueden ser ordenadores de sobremesa, ordenadores portátiles, ordenadores mini y mainframe, ordenadores servidores, dispositivos informáticos de mano tales como asistentes y tabletas digitales personales, basados en microprocesador y / o la electrónica de consumo programable incluyendo los sistemas de medios, decodificadores, sistemas de juego, o cualquier otro dispositivo informático que pueda servir como un controlador de sesión. Los expertos en la materia y otros reconocerán que la red 101 puede ser implementada como una red de área local ( "LAN"), red de área extendida ( "WAN"), red celular, IEEE 802.11, redes inalámbricas Bluetooth, y otras similares. Por lo general, la red 101 será la red mundial conocida como Internet o la World Wide Web ( "WWW"). Sin embargo, los expertos en la técnica reconocerán que la invención también puede ser utilizada en otros entornos interactivos, tales como redes de área local o extendida o cualquier otras redes de datos que se comunican mediante protocolos IP.
Como se ilustra adicionalmente en la figura 1, el ordenador 102 está asociado con el teléfono IP 106 y con la cámara web 108. Además, el ordenador 104 está asociado con el teléfono IP 110 y el dispositivo de vídeo autónomo 112. En este sentido, el dispositivo de vídeo autónomo 112 puede ser cualquier dispositivo que pueda recibir y producir una secuencia de imágenes en tiempo real. A modo de ejemplo, el dispositivo de vídeo autónomo 112 puede ser un ordenador que está asociada con una cámara web, un televisor, un sistema de entretenimiento, un sistema de juego, etc. En este ejemplo de realización, la cámara web 108 comunica con el ordenador 102 sobre un enlace de comunicación directa. Cuando se proporciona un enlace de comunicación directa entre la cámara web 108 y el ordenador
5
10
15
20
25
30
35
40
45
50
55
102, se puede usar uno cualquiera de la serie de protocolos para facilitar la comunicación, incluyendo, pero no limitado a, Bus Serie Universal ( "USB"), FireWire (también conocido como " IEEE 1394" o "iLink"), y otros similares. El teléfono IP 106 se comunica con el ordenador 102 utilizando sistemas de redes informáticas desarrollados para redes de área local. De manera similar, el teléfono IP 110 y el dispositivo de medios autónomo 112 también se pueden comunicar con el ordenador 104 usando sistemas de redes informáticas desarrolladas para redes de área local. A modo de ejemplo solamente, estos sistemas para la comunicación entre dispositivos locales pueden incluir tecnologías de red Ethernet desarrollados de acuerdo con el estándar IEEE 802.3. Sin embargo, los expertos en la técnica y otros reconocerán que otras tecnologías de redes de área local (tales como los sistemas de Wi - Fi que se adhieren a la norma estándar 802.11 IEEE) también pueden ser utilizados.
A través de las conexiones de red locales, los datos pueden ser transmitidos desde el teléfono IP 106 al ordenador 102. Además, los expertos en la técnica y otros reconocerán que las conexiones de red locales se pueden usar para transmitir datos directamente a través de la red 101. También debe ser señalado que, aunque la presente invención se describe generalmente en términos de operar en conjunto con tipos específicos de dispositivos y redes de ordenadores, esto es para fines de ilustración solamente y no se debe interpretar como limitante.
Para establecer una sesión multimedios de red, la información de control se intercambia entre diferentes dispositivos informáticos. En este sentido, el Protocolo de Inicio de Sesión ( "SIP") es un protocolo ejemplar para iniciar, modificar y finalizar una sesión de red que involucra flujos multimedios tales como vídeo y audio. Sin embargo, los expertos en la técnica y otros reconocerán que otros protocolos se pueden utilizar para intercambiar información de control. En este sentido, y a modo de ejemplo, la información de control puede ser intercambiada utilizando SIP o el Protocolo de Control de Pasarela de Medios (MGCP), Megaco / H.248, Protocolo de Acceso a Objeto Simple (SOAP), Protocolo de Mensajería y Presencia Extensible ("XMPP" ), y otros similares.
En la realización que se ilustra en la figura 1, los usuarios emplean una pluralidad de dispositivos informáticos para enviar / recibir diferentes flujos de medios durante una sesión multimedios de red. A este respecto, los canales directos se establecen entre los dispositivos informáticos que son preferidos para la comunicación de un flujo de medios en particular. Como se ilustra en la figura 1, la información de control se intercambia, lo cual habilita a los teléfonos IP 106 y 110 comunicar directamente datos de audio por el canal de comunicación directa 114. Con respecto a los datos de vídeo, el canal de comunicación directa 116 se establece entre el ordenador 102 y el dispositivo de vídeo autónomo 112. una vez que los canales de comunicación directa se han establecido, los flujos de medios pueden ser comunicados entre los dispositivos preferidos sin ser enrutados a través de un ordenador que sirve como el controlador de sesión.
Tradicionalmente, los usuarios no han podido emplear múltiples dispositivos informáticos para participar en una sesión multimedios de red. En su lugar, sólo los dispositivos de E / S (cámara web, auriculares, micrófono, etc.) conectados directamente a un dispositivo informático han estado disponibles para participar en una sesión multimedios de red. Como resultado, los sistemas para la sincronización de los flujos de medios a través de múltiples dispositivos informáticos no eran necesarias. Sin embargo, los usuarios ya no se limitan a los dispositivos de E / S asociados con un dispositivo informático único para participar en una sesión multimedios de red. En lugar de ello, se han desarrollado sistemas que habilitan a los usuarios emplear múltiples dispositivos informáticos para transmitir flujos de medios en una sesión de red multimedios. Por ejemplo, en el ejemplo que se representa en la figura 1, un usuario puede emplear una configuración de sistema en la que el teléfono IP 106 se utiliza para enviar / recibir datos de audio mientras el ordenador 102 envía / recibe datos de vídeo. Otro usuario puede emplear una configuración de sistema en el que el teléfono IP 110 se utiliza para enviar / recibir datos de audio mientras que el dispositivo de vídeo autónomo 112 envía / recibe datos de vídeo. En este caso, el ordenador 104 sólo sirve como un controlador de sesión que gestiona el intercambio de información de control.
Descrito de manera general, aspectos de la presente invención sincronizan los flujos de medios cuando los dispositivos informáticos múltiples están siendo utilizados para participar en una sesión de red. Por ejemplo, durante una sesión multimedios de red, un flujo de audio puede ser transmitido sobre el canal de comunicación directa 114, mientras que el flujo de vídeo es transmitido sobre el canal de comunicación directa 116. A pesar de que múltiples dispositivos informáticos están siendo empleados para participar en la sesión multimedios de red, los diferentes flujos de medios están sincronizados cuando son presentados al usuario.
Con referencia a continuación a la figura 2, se describirá un diagrama de flujo ilustrativo de una rutina de sincronización 200. De modo general, la rutina de sincronización 200 realiza el procesamiento que sincroniza el flujo de medios que se transmite a través de múltiples dispositivos informáticos. A este respecto, el procesamiento realizado por la rutina de sincronización 200 extiende la funcionalidad de una arquitectura de red de manera que los flujos de medios transmitidos en distintos canales están sincronizados. Como se ha mencionado más arriba, los aspectos de la presente invención pueden ser implementados en diferentes tipos de redes, incluyendo redes de área extendida y locales que utilizan una variedad de protocolos. En este sentido, una sesión multimedios de red se puede establecer entre los dispositivos y redes que mantienen diferentes configuraciones. Por ejemplo, un usuario puede emplear un equipo que sirve como un controlador de sesión para transmitir un flujo de medios. Además, uno o más dispositivos específicos de medios se pueden utilizar para transmitir un flujo de medios durante la misma sesión de red.
5
10
15
20
25
30
35
40
45
50
55
Como se ilustra en la figura 2, la rutina de sincronización 200 comienza en el bloque 202 cuando se establece una sesión multimedios de red en la que los flujos de medios son transmitidos a través de múltiples dispositivos. Como se ha mencionado más arriba, el Protocolo de Inicio de Sesión ( "SIP") es un protocolo ejemplar para iniciar, modificar y finalizar una sesión de red que involucra flujos de medios, tales como el vídeo y el audio. De acuerdo con una realización, el SIP se utiliza para el intercambio de información de control entre los dispositivos remotos de manera que se pueda establecer la sesión multimedios de red, en el bloque 202. Sin embargo, puesto que el establecimiento de la sesión multimedios de red puede ser realizado usando sistemas fuera del ámbito de la presente invención, estos sistemas no se describirán en detalle en la presente memoria descriptiva.
En el bloque 204, se inicia la transmisión de los flujos de medios entre los dispositivos asociados con usuarios remotos. Como se ha mencionado más arriba, los flujos de medios se transmiten sobre canales de comunicación directa sin ser enrutados a través de un ordenador que sirve como un controlador de sesión. En una realización, los datos en un flujo de medios pueden ser empaquetados y transmitidos de acuerdo con los estándares dictados por el protocolo de transporte en tiempo real ("rTp"). En este sentido, el RTP es un protocolo estándar de Internet ejemplar que puede ser utilizado para transmitir datos en tiempo real, incluyendo video y audio. Sin embargo, los expertos en la técnica y otros reconocerán que un flujo de medios puede ser transmitido usando otros protocolos de capa de transporte de medios, sin apartarse del ámbito de la materia reivindicada.
Una vez que se inicia la transmisión de los flujos de medios, se observan las condiciones de la red y se recogen las estadísticas que describen las condiciones de red, en el bloque 206. A este respecto, se observan las condiciones de red y las estadísticas recogidas para cada uno de los canales de comunicación se utilizan para transmitir un flujo de medios. Por ejemplo, en el entorno de red 100 que se representa en la figura 1, se recogen las estadísticas que describen la transmisión de datos a través de cada uno de los canales de comunicación directa 114-116.
Como se ha mencionado más arriba, el RTP puede ser utilizado como protocolo de transporte de medios en la transmisión de diferentes tipos de flujos de medios. Cuando se utiliza el RTP como protocolo de transporte de medios, el protocolo de control en tiempo real ( "RTCP") puede ser utilizado para intercambiar mensajes y distribuir estadísticas que describen condiciones de la red. Estas estadísticas describen una serie de diferentes variables de la red en lo que se refiere a la transmisión de datos. Más específicamente, se recogen variables de red incluyendo las tasas de pérdida de paquetes y la fluctuaciones de fase que afectan al retraso en la transmisión del flujo de medios. Estas condiciones de la red pueden ser reportadas periódicamente a los dispositivos que están enviando / recibiendo un flujo de medios. Típicamente, estos datos se ha utilizado para ajustar las propiedades del flujo de medios para tener en cuenta de manera más apropiada las condiciones de la red. Sin embargo, como se describe en más detalle a continuación, los aspectos de la presente invención utilizan esta información para sincronizar flujos de medios que se transmiten a través de múltiples dispositivos.
En el bloque 208, un dispositivo informático que está enviando / recibiendo un flujo de audio recibe un paquete de datos que describe las condiciones actuales de la red. Para fines ilustrativos, la sincronización de la rutina 200 se describe en el contexto de la sincronización de audio y vídeo que se transmiten al teléfono IP 106 y al ordenador 102, respectivamente. En este sentido, los expertos en la técnica y otros reconocerán que los paquetes RTCP pueden ser transmitidos periódicamente entre los dispositivos informáticos que están participando en una sesión multimedios de red. En algunos sistemas, los paquetes RTCP reportan estadísticas que describen las condiciones actuales de la red cada cinco (5) segundos. En el ejemplo que se representa en la figura 1, un paquete de RTCP se puede transmitir sobre el canal 114 desde el teléfono IP 110 al teléfono IP 106. Cuando se recibe el paquete, el teléfono IP 106 obtiene los datos que describen las condiciones actuales de red. Además, otros dispositivos informáticos que participan en la sesión multimedios de red también pueden recibir periódicamente datos que describen las condiciones de la red en sus respectivos canales. Por ejemplo, el ordenador 102 puede recibir periódicamente paquetes RTCP que describen la transmisión de un flujo de vídeo en el canal de comunicaciones 116.
Como se ilustra en la figura 2, en el bloque 210 se calcula el retraso esperado en la transmisión de la secuencia de audio. En este ejemplo, el procesamiento ejecutado en el teléfono IP 106 por aspectos de la presente invención calcula el retraso esperado en la presentación del flujo de audio a un usuario. Más específicamente, los datos en el paquete de RTCP recibidos en el bloque 208 que incluye la tasa de pérdida de paquetes y la fluctuaciones de fase pueden ser utilizados para calcular el retraso esperado en el flujo de audio. En la realización de este cálculo, se identifica un valor numérico (por ejemplo, dos segundos) que representa el retraso esperado en el flujo de audio.
En el bloque 212, un conjunto de datos que incluye el retraso esperado en el flujo de audio se informa a un ordenador que sirve como controlador de sesión. En una realización, el procesamiento se realiza para dispositivos de "emparejado" que están siendo empleados por un usuario para participar en una sesión multimedios de red. Más específicamente, el teléfono IP 106 y el ordenador 102 pueden ser emparejados cuando se establece la sesión multimedios de red. Una vez emparejados, estos dispositivos pueden intercambiar libremente información de control que se relaciona con la sesión multimedios de red. En el ejemplo que se representa en la figura 1, el teléfono IP 106 informa del conjunto de datos que incluye el retraso esperado en el sistema de audio en el ordenador 102, en el bloque 212, utilizando un canal establecido con anterioridad. Más específicamente, el teléfono IP 106 transmite un mensaje de información basado en SIP al ordenador 102, en el bloque 212, con argumentos que informan el conjunto de datos
5
10
15
20
25
30
35
40
45
50
55
que incluye el retraso esperado en el flujo de audio. Por otra parte, el conjunto de datos transmitido en el bloque 212 incluye información de temporización correspondiente al teléfono IP 106. Los expertos en la técnica y otros reconocerán que el paquete RTCP recibido por el teléfono IP 106, en el bloque 208, contiene tanto información de temporización relativa que se presenta como un tiempo RTP así como un tiempo absoluto que se reporta como un tiempo NTP ( "Protocolo de Tiempo de Red"). Al proporcionar el tiempo RTP y el tiempo NTP correspondiente al teléfono IP 106, el procesamiento puede ser realizado en el ordenador 102 para identificar un tiempo "real" en el que se recibieron los paquetes en el flujo de audio. La identificación de un tiempo real en el que se recibieron los paquetes en el flujo de audio proporciona al ordenador 102 la información necesaria para sincronizar el flujo de vídeo con el flujo de audio.
Como se ilustra adicionalmente en la figura 2, en el bloque 214, la rutina de sincronización 200 hace que la representación del flujo de vídeo se retrase para que coincida con el flujo de audio. Como se ha descrito con anterioridad, un ordenador que sirve como un controlador de sesión también puede ser responsable de la transmisión de un flujo de medios. Por ejemplo, el teléfono IP 106 recibe un flujo de audio durante una sesión multimedios de la red, mientras que el equipo emparejado 102 recibe un flujo de vídeo. En este ejemplo, los datos que pueden ser utilizados para calcular el retraso en un flujo de vídeo se transmiten periódicamente desde el dispositivo de vídeo autónomo 112 al ordenador 102. Además, un conjunto de datos que incluye el retraso esperado en la secuencia de audio se informa en una información desde el teléfono IP 106 al ordenador 102, en el bloque 212. Como se ha mencionado más arriba, cuando se recibe el conjunto de datos en el mensaje de información, el ordenador 102 puede identificar un tiempo "real" en el que los paquetes en el flujo de audio fueron recibidos por el teléfono IP 106. Cuando el tiempo "real" que corresponde a la secuencia de audio y el retraso tanto en los flujos de video como de audio se conoce, la medida en la que los flujos de los medios se encuentran "fuera de sincronización" puede ser identificada fácilmente. En una realización, las tramas en una secuencia de vídeo se almacenan en la memoria tampón del ordenador 102, de manera que el retraso en la presentación de la secuencia de vídeo coincide con el retraso en el flujo de audio. Como resultado de retrasar el flujo de vídeo de esta manera, la representación de los flujos de audio y vídeo se sincroniza cuando se le presenta al usuario.
En una realización alternativa, un dispositivo informático específico de medios puede retrasar la representación de un flujo de medios. En el ejemplo que se representa en la figura 1, el ordenador 106 no es responsable de enviar / recibir un flujo de medios y sólo sirve como un controlador de sesión. En este caso, el ordenador 106 pueden recibir un mensaje de información desde el teléfono IP 110 con un conjunto de datos que incluye el retraso esperado en el flujo de audio. A continuación, otro mensaje de información basado en SIP con argumentos que informan el conjunto de datos que incluye el retraso esperado en la secuencia de audio puede ser transmitido al dispositivo de vídeo autónomo 112. Cuando es recibido, el procesamiento realizado en el dispositivo de vídeo autónomo 112 provoca que cuadros en una secuencia de vídeo sean almacenados en la memoria tampón para que coincida con el retraso en el flujo de audio.
En el bloque de decisión 215, se realiza una determinación con respecto a si la sesión multimedios de red ha terminado. Si la sesión multimedios de red terminó, la rutina de sincronización 200 prosigue al bloque 216, en el que termina. Por el contrario, si la sesión multimedios de red no ha terminado, la rutina de sincronización 200 retorna al bloque 206, y los bloques 206 a 215 se repiten hasta que la sesión multimedios de la red haya terminado.
La rutina de sincronización 200 que se ha descrito más arriba con referencia a la figura 2 se debe interpretar como ejemplar y no limitante. En este sentido, más o menos pasos se pueden realizar cuando se sincronizan los flujos de medios a través de múltiples dispositivos informáticos. Por otra parte, los pasos se pueden realizar en un orden diferente al descrito. Por ejemplo, mientras que la rutina de sincronización 200 que se ha descrito más arriba con referencia a la figura 2 hace que un flujo de vídeo se retrase con el fin de que coincida con un flujo de audio, esto es meramente ejemplar, como el que un flujo de audio se retrase para que coincida con el flujo de vídeo. También, mientras los ejemplos anteriores se proporcionan en el contexto de los flujos de audio y vídeo, aspectos de la presente invención se pueden implementar para sincronizar otros tipos de flujos de medios.
Para fines ilustrativos, un intercambio de información de control ejemplar entre los dispositivos informáticos en el entorno de red 100 (figura 1) se representa en la figura 3. El intercambio de información de control habilita que los flujos de medios que se transmiten a través de múltiples dispositivos estén sincronizados. Como se ha mencionado más arriba, una sesión multimedios de red se establece para que los teléfonos IP 106 y 110 puedan comunicar directamente audio a través de un canal de comunicación directa. Además, los datos de vídeo se transmite directamente entre el ordenador 102 y el dispositivo de vídeo autónomo 112.
Como se ilustra en la figura 3, un paquete de RTCP es transmitido desde el teléfono IP 110 al teléfono IP 106, en el evento 300. De igual manera, un paquete de RTCP se transmite desde el teléfono IP 106 al teléfono IP 110, en el evento 302. Como se ha mencionado con anterioridad, un paquete de RTCP puede ser transmitido periódicamente entre dispositivos que están intercambiando uno o más flujos de medios. En este sentido, las tasas de pérdida de paquetes y fluctuaciones de fase reportadas en estos paquetes RTCP se pueden usar para calcular el retraso esperado en un flujo de medios entrante.
En la realización que se ilustra en la figura 3, el procesamiento ejecutado en el teléfono IP 106 identifica el retraso esperado en el flujo de audio entrante. A continuación, el teléfono IP 106 transmite un mensaje de información basado en SIP con argumentos que informan de un conjunto de datos que incluye el retraso esperado al ordenador 102, en el evento 304. Como se ha descrito más arriba, el procesamiento ejecutado por los aspectos de la 5 presente invención en el ordenador 102 puede hacer que el flujo de vídeo sea almacenado en la memoria tampón. Como resultado, la representación del flujo de vídeo se puede retrasar para que coincida con el flujo de audio. Cuando el teléfono IP 106 recibe cada RTCP posterior, un mensaje de información se transmite al ordenador 102 que informa de un conjunto de datos que incluye la demora estimada del flujo de audio entrante. Como resultado, los flujos de vídeo y de audio que se están transmitiendo en varios dispositivos pueden ser sincronizados continuamente 10 durante la sesión multimedios de red.
Como se ilustra adicionalmente en la figura 3, cuando el teléfono IP 110 recibe el paquete RTCP, en el evento 302, se calcula el conjunto de datos que incluye el retraso esperado en el flujo de audio entrante. Entonces, de manera similar a la descripción que se ha proporcionado más arriba, el teléfono IP 110 transmite un mensaje de información basado en SIP con argumentos que informan el conjunto de datos que incluye el retraso esperado en el flujo de 15 audio al ordenador 104, en el evento 306. Puesto que el ordenador 104 no envía / recibe un flujo de medios, el mensaje de información que informa el retraso esperado en el flujo de audio se envía al dispositivo de medios autónomo 112, en el evento 308. Como se ha descrito más arriba, el procesamiento realizado en el dispositivo de vídeo autónomo 112 puede causar que marcos de la secuencia de vídeo entrante sean almacenados para que coincidan con el retraso en el flujo de audio entrante. Como resultado, cada uno de los flujos de medios puede ser sin- 20 cronizado a pesar de que los flujos de medios se transmiten a través de diferentes dispositivos.

Claims (12)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    REIVINDICACIONES
    1. Un procedimiento de sincronización de flujos de audio y video entrantes en una sesión multimedios de red, en el que el flujo de audio entrante es recibido en un primer dispositivo informático (106) y el flujo de vídeo entrante es recibido en un segundo dispositivo informático (102), comprendiendo el procedimiento establecer un primer canal de comunicación directa (114) entre el primer dispositivo informático (106) y un teléfono IP (110) para habilitar la comunicación directa del flujo de audio sobre el primer canal de comunicación directa (114) sin ser enrutado a través de un ordenador (104) que sirve como controlador de sesión;
    establecer un segundo canal de comunicación directa (116) entre el segundo dispositivo informático (102) y un dispositivo de vídeo autónomo (112) para habilitar la comunicación del flujo de vídeo sobre el segundo canal de comunicación directa (116) sin ser enrutado a través del ordenador (104) que sirve como el controlador de sesión; establecer, por medio de una rutina de sincronización (200), la sesión multimedios en la red mediante el intercambio de información de control entre el primer dispositivo informático (106), el segundo dispositivo informático (102), el teléfono IP (110) y el dispositivo de vídeo autónomo (112 ); iniciar, por medio de la rutina de sincronización (200), la transmisión de los flujos de audio y vídeo, y a continuación, observar, por medio de la rutina de sincronización (200), las condiciones de la primera red y las condiciones de la segunda red, y recoger, por medio de la rutina de sincronización (200), primeras estadísticas y segundas estadísticas que describen las primeras condiciones de la red y las segundas condiciones de la red del primer canal de comunicación directa y del segundo canal de comunicación directa, respectivamente;
    recibir, por medio del primer dispositivo informático, un paquete de datos que describe las condiciones de red actuales en el primer dispositivo informático (106), y calcular, por medio de la rutina de sincronización (200) un retraso esperado en la transmisión de la secuencia de audio en el primer dispositivo informático (106) ;
    reportar al ordenador (104) que sirve como el controlador de sesión, un conjunto de datos, incluyendo el retraso esperado en el flujo de audio y hacer que la representación del flujo de vídeo se retrase para que coincida con el flujo de audio, en el que el retraso del flujo de vídeo sincroniza una presentación del flujo de audio y el flujo de vídeo.
  2. 2. El procedimiento según la reivindicación 1, en el que la recepción de las condiciones actuales de la red, incluye:
    recibir periódicamente un paquete de protocolo de control en tiempo real; y
    en el que el paquete de protocolo de control en tiempo real incluye datos que describen la tasa de pérdida de paquetes y la fluctuaciones de fase del flujo de audio entrante.
  3. 3. El procedimiento según la reivindicación 1, en el que el retraso de la presentación del flujo de vídeo entrante para que coincida con el retraso en el flujo de audio entrante incluye la identificación de un tiempo real en el que los paquetes en el flujo de audio entrante se recibieron de la información de tiempo del RTP y del NTP correspondiente al primer dispositivo informático (106).
  4. 4. El procedimiento según la reivindicación 1, en el que el retraso de la presentación del flujo de vídeo entrante para que coincida con el retraso en el flujo de audio entrante, incluye:
    crear un mensaje de información basado en SIP con argumentos que identifica el retraso en el flujo de au- dio; y
    notificar el mensaje de información basado en SIP al segundo dispositivo informático (102) que sirve como un controlador de sesión (105).
  5. 5. El procedimiento según la reivindicación 4, que comprende además:
    determinar si el segundo dispositivo informático (102) que sirve como el controlador de sesión (105) está recibiendo el flujo de video entrante; y
    si el segundo dispositivo informático (102) no está recibiendo el flujo de vídeo entrante, enviar el mensaje de información basado en SIP a un dispositivo informático que recibe el flujo de vídeo entrante.
  6. 6. El procedimiento según la reivindicación 1, en el que el retraso de la presentación del flujo de vídeo entrante para que coincida con el retraso en el flujo de audio entrante, incluye:
    identificar la cantidad de tiempo que los flujos de audio y vídeo entrantes están fuera de sincronización; y
    disponer en la memoria tampón del flujo de vídeo la cantidad de tiempo identificada que los flujos de audio y vídeo entrantes están fuera de sincronización; y / o
    5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    en el que el segundo dispositivo informático (102) que sirve como un controlador de sesión (105) también recibe el flujo de vídeo entrante.
  7. 7. Un medio de almacenamiento legible por ordenador que contiene instrucciones legibles por ordenador que realizan un procedimiento de sincronización de audio y vídeo entrantes en una sesión multimedios en red, en el que el flujo de audio entrante es recibido en un primer dispositivo informático (106) y el flujo de vídeo entrante es recibido en un segundo dispositivo informático (102), comprendiendo el procedimiento el establecimiento de un primer canal de comunicación directa (114) entre el primer dispositivo informático (106) y un teléfono IP (110) para habilitar la comunicación directa del flujo de audio sobre el primer canal de comunicación directa ( 114) sin ser enrutado a través de un ordenador (104) que sirve como un controlador de sesión;
    establecer un segundo canal de comunicación directa (116) entre el segundo dispositivo informático (102) y un dispositivo de vídeo autónomo (112) para habilitar la comunicación del flujo de vídeo sobre el segundo canal de comunicación directa (116) sin ser enrutado a través del ordenador (104) que sirve como el controlador de sesión; establecer, mediante una rutina de sincronización (200), la sesión multimedios en la red mediante el intercambio de información de control entre el primer dispositivo informático (106), el segundo dispositivo informático (102), el teléfono IP (110) y el dispositivo de vídeo autónomo (112 ); iniciar, por medio de la rutina de sincronización (200), la transmisión de los flujos de audio y vídeo, y a continuación observar, por medio de la rutina de sincronización (200), las primeras condiciones de la red y las segundas condiciones de red, y la recogida, por medio de la rutina de sincronización (200), de primeras estadísticas y de segundas estadísticas que describen las primeras condiciones de la red y las segundas condiciones de la red del primer canal de comunicación directa y del segundo canal de comunicación directa, respectivamente;
    recibir, por medio del primer dispositivo informático, un paquete de datos que describe las condiciones de red actuales en el primer dispositivo informático (106), y calcular, por medio de la rutina de sincronización (200) un retraso esperado en la transmisión de la secuencia de audio en el primer dispositivo informático (106) ;
    notificar al ordenador (104) que sirve como el controlador de sesión, un conjunto de datos, incluyendo el retraso esperado en el flujo de audio y hacer que la representación del flujo de vídeo se retrase para que coincida con el flujo de audio, en el que el retraso del flujo de vídeo sincroniza una presentación del flujo de audio y el flujo de vídeo.
  8. 8. El medio de almacenamiento legible por ordenador según la reivindicación 7, en el que la recepción de las condiciones actuales de la red, incluye:
    recibir periódicamente un paquete de protocolo de control en tiempo real; y
    en el que el paquete de protocolo de control en tiempo real incluye datos que describen la tasa de pérdida de paquetes y la fluctuaciones de fase para el flujo de audio entrante.
  9. 9. El medio de almacenamiento legible por ordenador según la reivindicación 7, en el que el retraso de la presentación de la secuencia de vídeo entrante para que coincida con el retraso en el flujo de audio entrante incluye la identificación de un tiempo real en el que los paquetes en el flujo de audio entrante se recibieron, por medio de la información de tiempo del RTP y del NTP correspondiente al primer dispositivo informático (106).
  10. 10. El medio de almacenamiento legible por ordenador según la reivindicación 7, en el que el retraso de la presentación del flujo de vídeo entrante para que coincida con el retraso en el flujo de audio entrante, incluye:
    crear un mensaje de información basado en SIP con argumentos que identifica el retraso en el flujo de au- dio; y
    notificar la información del mensaje basado en SIP al segundo dispositivo informático (102) que sirve como un controlador de sesión (105).
  11. 11. El medio de almacenamiento legible por ordenador según la reivindicación 10, que comprende además:
    determinar si el segundo dispositivo informático (102) que sirve como el controlador de sesión (105) está recibiendo el flujo de video entrante; y
    si el segundo dispositivo informático (102) no está recibiendo el flujo de vídeo entrante, enviar el mensaje de información basado en SIP a un dispositivo informático que recibe el flujo de vídeo entrante.
  12. 12. El medio de almacenamiento legible por ordenador según la reivindicación 7, en el que el retraso de la presentación del flujo de vídeo entrante para que coincida con el retraso en el flujo de audio entrante, incluye:
    identificar la cantidad de tiempo que los flujos de audio y vídeo entrantes están fuera de sincronización; y
    disponer en la memoria tampón del flujo de vídeo la cantidad de tiempo que los flujos de audio y vídeo entrantes están fuera de sincronización; y / o
    en el que el segundo dispositivo informático (102) que sirve como un controlador de sesión (105) también recibe el flujo de vídeo entrante.
ES07843265.5T 2006-12-08 2007-09-26 Sincronización de flujos de medios través de múltiples dispositivos Active ES2658073T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US608714 2006-12-08
US11/608,714 US7953118B2 (en) 2006-12-08 2006-12-08 Synchronizing media streams across multiple devices
PCT/US2007/079596 WO2008070253A1 (en) 2006-12-08 2007-09-26 Synchronizing media streams across multiple devices

Publications (1)

Publication Number Publication Date
ES2658073T3 true ES2658073T3 (es) 2018-03-08

Family

ID=39492578

Family Applications (1)

Application Number Title Priority Date Filing Date
ES07843265.5T Active ES2658073T3 (es) 2006-12-08 2007-09-26 Sincronización de flujos de medios través de múltiples dispositivos

Country Status (6)

Country Link
US (1) US7953118B2 (es)
EP (1) EP2103040B1 (es)
JP (1) JP5270567B2 (es)
KR (1) KR101354793B1 (es)
ES (1) ES2658073T3 (es)
WO (1) WO2008070253A1 (es)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209210A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Automatic audio and video synchronization
US7764713B2 (en) * 2005-09-28 2010-07-27 Avaya Inc. Synchronization watermarking in multimedia streams
CN101370026B (zh) * 2007-08-17 2011-05-18 华为技术有限公司 多媒体会话的媒体流增加方法和用户设备及应用服务器
EP2043323A1 (en) * 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
EP2301220A1 (en) * 2008-06-27 2011-03-30 Alcatel Lucent Capability grabbing peer device fuctionality in sip
US8601139B2 (en) * 2008-11-26 2013-12-03 Cavium, Inc. Multiple core session initiation protocol (SIP)
US9077784B2 (en) * 2009-02-06 2015-07-07 Empire Technology Development Llc Media file synchronization
ES2801698T3 (es) 2009-03-16 2021-01-12 Koninklijke Kpn Nv Sincronización de flujo modificado
US9197684B2 (en) 2010-05-27 2015-11-24 Ineoquest Technologies, Inc. Streaming media delivery composite
US10712771B2 (en) * 2010-08-13 2020-07-14 Netflix, Inc. System and method for synchronized playback of streaming digital content
US8849900B2 (en) 2011-03-04 2014-09-30 Telcordia Technologies, Inc. Method and system supporting mobile coalitions
FR2972587B1 (fr) * 2011-03-10 2015-10-30 Streamwide Dispositif et procede de mixage reparti de flux de donnees
US8774043B2 (en) 2011-06-08 2014-07-08 Citrix Systems, Inc. Methods and apparatus for using a layered gear to analyze and manage real-time network quality of service transmission for mobile devices on public networks
WO2012170968A1 (en) * 2011-06-08 2012-12-13 Framehawk, Inc. Methods and apparatus for using a layered gear to analyze and manage real-time network quality of service transmission for mobile devices on public networks
US8997169B2 (en) 2012-03-23 2015-03-31 Sony Corporation System, method, and infrastructure for synchronized streaming of content
US9565475B2 (en) * 2012-10-11 2017-02-07 Netflix, Inc. System and method for managing playback of streaming digital content
US9727321B2 (en) 2012-10-11 2017-08-08 Netflix, Inc. System and method for managing playback of streaming digital content
US10547713B2 (en) 2012-11-20 2020-01-28 Nvidia Corporation Method and system of transmitting state based input over a network
US9936335B2 (en) * 2012-12-13 2018-04-03 Microsoft Technology Licensing, Llc Mobile computing device application sharing
US20140195594A1 (en) * 2013-01-04 2014-07-10 Nvidia Corporation Method and system for distributed processing, rendering, and displaying of content
US20140214961A1 (en) * 2013-01-31 2014-07-31 Lance Gordon Douglas Methods and systems for continuous compilation of non-interactive video with supplemental renderings of interactive content to produce real-time, personalized video for individuals and/or groups in a shared experience
EP3132613A1 (en) * 2014-04-15 2017-02-22 Telefonaktiebolaget LM Ericsson (publ) Synchronised social tv
US11027199B2 (en) 2015-11-12 2021-06-08 Nvidia Corporation System and method for network coupled gaming
US10630773B2 (en) 2015-11-12 2020-04-21 Nvidia Corporation System and method for network coupled cloud gaming
USD808799S1 (en) 2015-11-17 2018-01-30 Hunter Fan Company Carton with color striping
CN106953706A (zh) * 2017-02-17 2017-07-14 北京汽车集团有限公司 基于以太网的音视频系统同步方法、装置和系统
US10715344B2 (en) * 2017-05-26 2020-07-14 Shirley Shiu Ling Cheung Method of establishing a video call using multiple mobile communication devices
JP2019004401A (ja) * 2017-06-19 2019-01-10 セイコーエプソン株式会社 プロジェクションシステム、プロジェクター及びプロジェクションシステムの制御方法
US11161038B2 (en) * 2018-08-06 2021-11-02 Amazon Technologies, Inc. Systems and devices for controlling network applications
US10747495B1 (en) 2019-05-31 2020-08-18 Microsoft Technology Licensing, Llc Device aggregation representing multiple endpoints as one
US10884973B2 (en) 2019-05-31 2021-01-05 Microsoft Technology Licensing, Llc Synchronization of audio across multiple devices
US11170800B2 (en) 2020-02-27 2021-11-09 Microsoft Technology Licensing, Llc Adjusting user experience for multiuser sessions based on vocal-characteristic models
CN115208864B (zh) * 2022-08-12 2024-02-06 阿波罗智联(北京)科技有限公司 数据传输方法、装置、设备、车辆及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570372A (en) 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
DE19754296A1 (de) 1997-12-08 1999-06-10 Thomson Brandt Gmbh Synchronisationseinrichtung
DE60016347T2 (de) * 1999-09-22 2005-12-01 Ntt Docomo Inc. Gateway und Datenübertragungsverfahren zur Verzögerungsjitterreduktion
JP3769468B2 (ja) * 2001-03-21 2006-04-26 株式会社エヌ・ティ・ティ・ドコモ 通信品質制御方法、通信品質制御システム、パケット解析装置及びデータ送信端末装置
CA2480663A1 (en) 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Synchronisation in multi-modal interfaces
US6956871B2 (en) 2002-04-19 2005-10-18 Thomson Licensing Apparatus and method for synchronization of audio and video streams
US7024575B2 (en) 2002-11-14 2006-04-04 Intel Corporation Apparatus and method for time synchronization of a plurality of multimedia streams
US20040119814A1 (en) * 2002-12-20 2004-06-24 Clisham Allister B. Video conferencing system and method
US20040128342A1 (en) 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
KR100934460B1 (ko) 2003-02-14 2009-12-30 톰슨 라이센싱 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
US7084898B1 (en) 2003-11-18 2006-08-01 Cisco Technology, Inc. System and method for providing video conferencing synchronization
US7263095B1 (en) * 2004-02-12 2007-08-28 Cingular Wireless Ii Llc Method and apparatus for providing quality of service through multiple carrier IP networks
US7701884B2 (en) * 2004-04-19 2010-04-20 Insors Integrated Communications Network communications bandwidth control
US20050254440A1 (en) 2004-05-05 2005-11-17 Sorrell John D Private multimedia network
EP2214412A3 (en) 2004-05-13 2012-11-14 Qualcomm Incorporated Delivery of information over a communication channel
KR100565333B1 (ko) 2004-06-22 2006-03-30 엘지전자 주식회사 휴대단말기의 비디오 오디오 동기장치 및 방법
KR100693049B1 (ko) 2004-12-28 2007-03-12 삼성전자주식회사 화상통화를 위한 통신단말 간의 커플링제어시스템 및 그방법
US20060171378A1 (en) * 2005-01-04 2006-08-03 Harris John C IP video telephone
CN1855910B (zh) 2005-04-27 2010-12-15 国际商业机器公司 基于Web的统一通信系统和方法以及Web通信管理器

Also Published As

Publication number Publication date
US7953118B2 (en) 2011-05-31
EP2103040A1 (en) 2009-09-23
EP2103040A4 (en) 2014-05-14
EP2103040B1 (en) 2017-12-06
KR20090095643A (ko) 2009-09-09
JP5270567B2 (ja) 2013-08-21
WO2008070253A1 (en) 2008-06-12
US20080137690A1 (en) 2008-06-12
JP2010512688A (ja) 2010-04-22
KR101354793B1 (ko) 2014-01-22

Similar Documents

Publication Publication Date Title
ES2658073T3 (es) Sincronización de flujos de medios través de múltiples dispositivos
TWI568230B (zh) 用於在媒體中繼會談中同步化音訊及視訊串流之方法及系統
US9641576B2 (en) Dynamic locale based aggregation of full duplex media streams
JP6640359B2 (ja) ワイヤレスオーディオ同期
US9742820B2 (en) Latency differential mitigation for real time data streams
JP5284534B2 (ja) 変更されたストリーム同期
US9900356B2 (en) Method and apparatus for transferring active communication session streams between devices
US8385233B2 (en) Active speaker identification
EP3078182B1 (en) Wireless media sharing from multiple sources to a single sink
EP1398931A1 (en) Synchronous play-out of media data packets
JP2010512688A5 (es)
US20080259966A1 (en) Synchronization of one or more source RTP streams at multiple receiver destinations
US20030023672A1 (en) Voice over IP conferencing server system with resource selection based on quality of service
JP2011509543A (ja) 端末の出力を同期させる方法およびシステム
JP5074834B2 (ja) 音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末
AU2007219142A1 (en) Audio and video communication
JP2008167351A (ja) 端末装置
EP2695389B1 (en) Processing media streams for synchronised output at multiple end points
WO2014169570A1 (zh) 播放方法及装置
Lauri et al. Synchronization of streamed audio between multiple playback devices over an unmanaged IP network
Malmgren et al. Synchronization of streamed audio between multiple playback devices over an unmanaged IP network
Audinate et al. RTP Clock Source Signalling draft-ietf-avtcore-clksrc-05
Ejzak Internet-Draft Alcatel-Lucent Intended status: Informational July 10, 2012 Expires: January 11, 2013