ES2738548T3

ES2738548T3 - Videollamada

Info

Publication number: ES2738548T3
Application number: ES13751542T
Authority: ES
Inventors: Jonathan Rosenberg
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2012-02-24
Filing date: 2013-02-24
Publication date: 2020-01-23
Anticipated expiration: 2033-02-24
Also published as: CN103220489B; US20130222419A1; EP2798837A1; EP2798837A4; US8917307B2; EP2798837B1; WO2013126857A1; CN103220489A

Abstract

Un método de realizar una videollamada entre un primer terminal (104) y un segundo terminal (110), incluyendo el método: capturar datos vídeo, para la videollamada, con una cámara (228) del primer terminal (104); transmitir los datos vídeo capturados en tiempo real al segundo terminal (110) para uso en la videollamada suficientes para producir salida de los datos vídeo capturados en tiempo real en una pantalla del segundo terminal (110) en la videollamada; recibir una entrada de mantenimiento vídeo de un usuario (102) en el primer terminal (104) para iniciar un estado de mantenimiento vídeo en el primer terminal (104) y transmitir un mensaje de mantenimiento vídeo al segundo terminal (110), donde, en respuesta a recibir el mensaje de mantenimiento vídeo, los datos de mantenimiento vídeo son enviados a la pantalla del segundo terminal (110) en el estado de mantenimiento vídeo en lugar de enviar datos vídeo capturados por dicha cámara (228) del primer terminal (104) en tiempo real; y caracterizado porque el método incluye, durante el estado de mantenimiento vídeo, capturar datos vídeo en el primer terminal (104) y transmitir los datos vídeo capturados al segundo terminal (110).

Description

DESCRIPCIÓN

Videollamada

Campo de la invención

La presente invención se refiere a videollamada. En particular, la presente invención se refiere a realizar una videollamada entre un primer terminal y un segundo terminal.

Antecedentes

Los sistemas de comunicaciones permiten al usuario de un terminal o dispositivo, tal como un ordenador personal o teléfono móvil, comunicarse con otros usuarios a través de una red de ordenadores, tal como Internet. Los sistemas de comunicaciones, tales como los sistemas de comunicaciones basados en paquetes (incluyendo sistemas de comunicaciones de protocolo vídeo por Internet (IP)), permiten a los usuarios intercambiar flujos vídeo en directo por Internet, facilitando por ello la realización de videollamadas por el sistema de comunicación. Los sistemas de comunicaciones basados en paquetes pueden ser beneficiosos para el usuario puesto que a menudo son de costo significativamente más bajo que los sistemas de comunicaciones que usan redes línea fija o móvil. Éste puede ser en especial el caso de la comunicación a larga distancia. Para usar un sistema de vídeo por IP para videollamada, el usuario instala y ejecuta software de cliente en su terminal. El software de cliente realiza las conexiones de vídeo IP, así como otras funciones, tales como registro y autenticación. Además de comunicación vídeo, el cliente también puede proporcionar otras características tales como audio, mensajería instantánea (“MI”), mensajes SMS y buzón de voz.

Para participar en una videollamada, un usuario tiene una cámara, tal como una webcam, que se usa para capturar datos vídeo del usuario. Los datos vídeo capturados son transmitidos al terminal de extremo lejano de la videollamada por el sistema de comunicación, donde pueden ser enviados en tiempo real para visualizar por ello los datos vídeo para un usuario del terminal de extremo lejano en la videollamada. Igualmente, los datos vídeo del usuario del terminal de extremo lejano pueden ser capturados y transmitidos al dispositivo de extremo próximo por el sistema de comunicación para envío al usuario del terminal de extremo próximo en tiempo real en la videollamada. Además de transmitir los datos vídeo entre los usuarios en la videollamada, los datos audio pueden ser recibidos (por ejemplo, usando micrófonos) y transmitidos entre los usuarios de la videollamada, permitiendo por ello que los usuarios comuniquen entre sí de forma visual y audible en la videollamada. La salida de datos vídeo en una videollamada puede mejorar la experiencia del usuario de la llamada puesto que permite al usuario percibir datos visuales, en combinación con datos audio recibidos del otro usuario que participa en la llamada.

US 2008/0136895 describe una función de silencio que permite al usuario silenciar una aplicación vídeo sin alertar a otros participantes de la silenciación.

US 5751722 describe un aparato o sistema de comunicación multimedia capaz de visualizar una imagen no perturbada si la transmisión de imagen es suspendida durante la comunicación audiovisual.

Resumen

El autor de la invención ha observado que, aunque la experiencia del usuario de una videollamada puede mejorarse recibiendo datos vídeo del otro usuario en la videollamada, el usuario puede sentirse menos cómodo con la transmisión de datos vídeo propios al otro usuario en la videollamada. Por ejemplo, el usuario puede considerar intrusivo y/o restrictivo que sus propios datos vídeo sean transmitidos al otro usuario en una videollamada, y esto puede evitar que el usuario realice acciones que desea realizar mientras participa en la videollamada. Además, el usuario puede no desear que el otro usuario separa que está realizando acciones concretas durante una videollamada, por ejemplo, el usuario puede sentir la necesidad de estornudar, pero no desea hacerlo delante de la cámara en la videollamada. Sin embargo, el usuario puede no querer privar al otro usuario de la videollamada de recibir datos vídeo durante la videollamada.

La invención se refiere a un método, como se define mejor en la reivindicación 1, un terminal, como se define mejor en la reivindicación 8, y un producto de programa de ordenador, como se define mejor en la reivindicación 11, para realizar una videollamada entre un primer terminal y un segundo terminal.

Breve descripción de los dibujos

Para una mejor comprensión de la presente invención y para mostrar cómo se puede poner en práctica, ahora se hará referencia, a modo de ejemplo, a los dibujos siguientes, en los que:

La figura 1 representa un sistema de comunicación según una realización preferida.

La figura 2 representa una vista esquemática de un terminal según una realización preferida.

Y la figura 3 es un diagrama de flujo para un proceso de realizar una videollamada entre un primer terminal y un segundo terminal según una realización preferida.

Descripción detallada de realizaciones preferidas

Ahora se describirán realizaciones preferidas de la invención a modo de ejemplo solamente.

La figura 1 representa un sistema de comunicación incluyendo un primer usuario (“Usuario A”) 102 que tiene un primer terminal de usuario asociado 104 y un segundo usuario (“Usuario B”) 108 que tiene un segundo terminal de usuario asociado 110. En otras realizaciones, el sistema de comunicación puede incluir cualquier número de usuarios y terminales de usuario asociados. Los terminales de usuario 104 y 110 pueden comunicar uno con otro, por ejemplo, por una red (que puede, por ejemplo, ser Internet o una red telefónica tal como PSTN o una red telefónica móvil) en el sistema de comunicación, permitiendo por ello que los usuarios 102 y 108 comuniquen entre sí. En la realización preferida, el sistema de comunicación es un sistema de comunicación a base de paquetes (por ejemplo, un sistema de comunicación entre iguales (P2P)), pero también se podrían usar otros tipos de sistema de comunicación, tales como sistemas no P2P o VoIP. El terminal de usuario 104 puede ser, por ejemplo, un teléfono móvil, un televisor, un asistente digital personal (“PDA”), un ordenador personal (“PC”) (incluyendo, por ejemplo, PCs Windows™, Mac OS™ y Linux™), un dispositivo de juegos, una tableta u otro dispositivo incrustado capaz de conectar con la red para comunicación por el sistema de comunicación. El terminal de usuario 104 está dispuesto para recibir información y enviar información al usuario 102 del terminal de usuario 104. En una realización preferida de la invención, el terminal de usuario 104 incluye un dispositivo de visualización, tal como una pantalla, una cámara para capturar (es decir, recibir) datos visuales, y un dispositivo de entrada tal como un teclado, ratón, pantalla táctil, teclado y/o joystick.

El terminal de usuario 104 ejecuta un cliente de comunicación 106, proporcionado por un proveedor de software asociado con el sistema de comunicación. El cliente de comunicación 106 es un programa de software ejecutado en un procesador local en el terminal de usuario 104. El cliente 106 realiza el procesamiento requerido en el terminal de usuario 104 para que el terminal de usuario 104 transmita y reciba datos por el sistema de comunicación. Como es conocido en la técnica, el cliente 106 puede ser autenticado para comunicar por el sistema de comunicación a través de la presentación de certificados digitales (por ejemplo, para demostrar que el Usuario A 102 es un abonado auténtico del sistema de comunicación, descrito con más detalle en WO 2005/009019).

El terminal de usuario 110 corresponde al terminal de usuario 104. El terminal de usuario 110 ejecuta, en un procesador local, un cliente de comunicación 112 que corresponde al cliente de comunicación 106. El cliente 112 realiza el procesamiento requerido para que el usuario 108 pueda comunicar por la red de la misma forma que el cliente 106 realiza el procesamiento requerido para que el usuario 102 pueda comunicar por la red. Los terminales de usuario 104 y 110 son puntos de extremo en el sistema de comunicación. La figura 1 representa solamente dos usuarios (102 y 108) para claridad, pero muchos más usuarios pueden estar conectados al sistema de comunicación, y pueden comunicar por el sistema de comunicación usando respectivos clientes de comunicación ejecutados en respectivos puntos de extremo del sistema de comunicación, como es conocido en la técnica.

La figura 2 ilustra una vista detallada del terminal de usuario 104 en el que el cliente 106 es ejecutado. El terminal de usuario 104 incluye una unidad central de procesamiento (“CPU”) 202, a la que está conectada una pantalla 204 tal como una pantalla, dispositivos de entrada tal como un teclado (o un teclado numérico) 206 y un dispositivo puntero tal como un ratón 208. La pantalla 204 puede incluir una pantalla táctil para introducir datos en la CPU 202. Un dispositivo de salida audio 210 (por ejemplo, un altavoz) y un dispositivo de entrada audio 212 (por ejemplo, un micrófono) están conectados a la CPU 202. El terminal de usuario 104 también incluye una cámara 228 para recibir datos visuales del entorno del terminal de usuario 104. Por ejemplo, la cámara 228 puede recibir datos visuales del usuario 102. La cámara 228 está conectada a la CPU 202. La pantalla 204, el teclado 206, el ratón 208, el dispositivo de salida audio 210, el dispositivo de entrada audio 212 y la cámara 228 están integrados en el terminal de usuario 104. En terminales de usuario alternativos, uno o varios de la pantalla 204, el teclado 206, el ratón 208, el dispositivo de salida audio 210, el dispositivo de entrada audio 212 y la cámara 228 pueden no estar integrados en el terminal de usuario 104 y pueden estar conectados a la CPU 202 mediante respectivas interfaces. Un ejemplo de tal interfaz es una interfaz USB. La CPU 202 está conectada a una interfaz de red 224 tal como un módem para comunicación con la red (por ejemplo, Internet) del sistema de comunicación. La interfaz de red 224 puede estar integrada en el terminal de usuario 104 como se representa en la figura 2. En terminales de usuario alternativos, la interfaz de red 224 no está integrada en el terminal de usuario 104. El terminal de usuario 104 también incluye una memoria 226 para almacenar datos como es conocido en la técnica.

La figura 2 también ilustra un sistema operativo (“OS”) 214 ejecutado en la CPU 202. Encima del OS 214 hay una pila de software 216 para el cliente 106. La pila de software representa una capa de protocolo de cliente 218, una capa de motor de cliente 220 y una capa de interfaz de usuario cliente (“UI”) 222. Cada capa es responsable de funciones específicas. Dado que cada capa comunica generalmente con otras dos capas, se considera que están dispuestas en una pila, como se representa en la figura 2. El sistema operativo 214 gestiona los recursos de hardware del ordenador y maneja datos que son transmitidos a y de la red mediante la interfaz de red 224. La capa de protocolo de cliente 218 del software de cliente comunica con el sistema operativo 214 y gestiona las conexiones por el sistema de comunicación. Los procesos que precisan procesamiento de nivel superior son pasados a la capa de motor de cliente 220. El motor de cliente 220 también comunica con la capa de interfaz de usuario cliente 222. El motor de cliente 220 se puede disponer para controlar la capa de interfaz de usuario cliente 222 para presentar información al usuario 102 mediante la interfaz de usuario del cliente y para recibir información del usuario 102 mediante la interfaz de usuario.

El terminal de usuario 110 se implementa de la misma forma que el terminal de usuario 104, como se ha descrito anteriormente, donde el terminal de usuario 110 puede tener elementos correspondientes a los aquí descritos en relación al terminal de usuario 104.

Con referencia a la figura 3, ahora se describe un método de realizar una videollamada entre los usuarios 102 y 108. Una videollamada es iniciada entre los terminales 104 y 110 como es conocido en la técnica. El usuario 102 puede iniciar la videollamada usando el terminal 104 para llamar al terminal 110 por el sistema de comunicación, y el usuario 108 puede aceptar entonces la llamada para establecer por ello la videollamada entre los terminales 104 y 110 como es conocido en la técnica. Alternativamente, el usuario 108 puede iniciar la videollamada usando el terminal 110 para llamar al terminal 104 por el sistema de comunicación, y el usuario 102 puede aceptar entonces la llamada estableciendo por ello la videollamada entre los terminales 104 y 110 como es conocido en la técnica. Se inicia la videollamada y, en el paso S302, se capturan datos vídeo para la videollamada usando la cámara 228 del terminal 104. Como es conocido en la técnica, los datos vídeo incluyen una secuencia de cuadros. El usuario 102 puede poner y/o dirigir la cámara 228, o el usuario puede ajustar controles operativos de la cámara tal como resolución, contraste, brillo y/o tasa de cuadros, con el fin de controlar las imágenes que son capturadas por la cámara 228. Por ejemplo, el usuario 102 puede controlar la cámara 228 de tal manera que la cámara capture imágenes del usuario 102 para uso como los datos vídeo que han de ser transmitidos al terminal 110 en la videollamada con el usuario 108.

En el paso S304, los datos vídeo que son capturados en el paso S302 son transmitidos desde el terminal 104 al terminal 110 por el sistema de comunicación. La transmisión de datos vídeo en el paso S304 se realiza según técnicas conocidas en la técnica. Por ejemplo, los datos vídeo pueden ser transmitidos usando un protocolo de vídeo por IP y pueden ser transmitidos por Internet desde el terminal 104 al terminal 110. Por ejemplo, los datos vídeo pueden ser paquetizados y ser enviados como paquetes de datos discretos desde el terminal 104 al terminal 110. Además, por ejemplo, los datos vídeo pueden codificarse usando cualquier técnica de codificación vídeo antes de ser transmitidos desde el terminal 104 al terminal 110, donde los datos vídeo codificados son descodificados en el terminal 110 de manera que sean enviados a la pantalla del terminal 110.

En el paso S306, los datos vídeo recibidos del terminal 104 son enviados a la pantalla del terminal 110, permitiendo por ello que el usuario 108 vea los datos vídeo. Los datos vídeo son enviados al terminal 110 en tiempo real durante la videollamada. Por ejemplo, el retardo de tiempo total entre la captura de los datos vídeo en el terminal 104 en el paso S302 y el envío de los datos vídeo al terminal 110 en el paso S306 deberá ser suficientemente corto para que la comunicación fluya suavemente en la videollamada entre los usuarios 102 y 108 (es decir, los datos vídeo deben ser transmitidos y enviados en tiempo real). Por ejemplo, el retardo de tiempo no deberá ser más de un segundo. Los pasos S302 a S306 permiten que los datos vídeo sean capturados en el terminal 104, transmitidos al terminal 110 y enviados al terminal 110 en la videollamada. De manera similar, los datos vídeo pueden ser capturados en el terminal 110, transmitidos al terminal 104 y enviados al terminal 104 en la videollamada para permitir por ello que los datos vídeo del usuario 108 sean visualizados para el usuario 102 en la videollamada. Los pasos S302 a s 306 se realizan de forma continua cuando la videollamada opera en un estado normal (en contraposición a cuando la videollamada opera en un estado de mantenimiento vídeo, descrito con más detalle más adelante).

En el paso S308, el cliente 106 que ejecuta el terminal 104 puede determinar si una entrada de mantenimiento vídeo ha sido recibida del usuario 102. La entrada de mantenimiento vídeo permite al usuario 102 indicar que le gustaría iniciar un estado de mantenimiento vídeo. Si el usuario 102 no ha proporcionado una entrada de mantenimiento vídeo en el terminal 104, entonces el método continúa realizando los pasos S302 a S306 de tal manera que la videollamada continúe en un estado normal, siendo capturados los datos vídeo en el terminal 104 y transmitidos al terminal 110 para ser enviados al usuario 108.

El usuario 102 puede decidir entonces que le gustaría iniciar el estado de mantenimiento vídeo. En el estado de mantenimiento vídeo, la cámara 228 no captura datos vídeo en vivo, estos no son transmitidos al terminal 110 ni enviados al usuario 108 del terminal 110 en tiempo real en la videollamada. El usuario 102 puede proporcionar una entrada de mantenimiento vídeo al cliente 106 (por ejemplo, usando la interfaz de usuario 222) para indicar que al usuario 102 se gustaría iniciar el estado de mantenimiento vídeo. Esto lo puede hacer, por ejemplo, el usuario pulsando un botón en el terminal 104, clicando en un icono visualizado en la pantalla 204 o tocando una zona concreta de una pantalla táctil del terminal 104, o emitiendo una orden por voz que es recibida en un módulo de reconocimiento de voz mediante el micrófono 212. El usuario 102 puede interactuar con el terminal 104 de cualquier otra forma adecuada para proporcionar la entrada de mantenimiento vídeo. Cuando el usuario 102 ha proporcionado la entrada de mantenimiento vídeo, el cliente 106 del terminal 104 determinará en el paso S308 que la entrada de mantenimiento vídeo ha sido recibida, y el método pasará entonces al paso S310.

En el paso S310, los datos de mantenimiento vídeo se determinan en respuesta a la entrada de mantenimiento vídeo que se recibe en el terminal 104. El paso S310 puede ser realizado en el terminal 104 (por ejemplo, por el cliente 106) y, a continuación, los datos de mantenimiento vídeo determinados pueden ser transmitidos al terminal 110 para ser enviados a la pantalla del terminal 110.

Alternativamente, el paso S310, de determinación de los datos de mantenimiento vídeo, puede ser realizado en el terminal 110. En este caso, se transmite un mensaje de mantenimiento vídeo desde el terminal 104 al terminal 110 en respuesta a que el usuario 104 proporciona la entrada de mantenimiento vídeo, donde el mensaje de mantenimiento vídeo indica que el estado de mantenimiento vídeo ha sido iniciado. En respuesta a recibir el mensaje de mantenimiento vídeo en el terminal 110, el cliente 112 del terminal 110 determina los datos de mantenimiento vídeo que han de ser enviados a la pantalla del terminal 110 en el estado de mantenimiento vídeo. En el paso S312, los datos de mantenimiento vídeo determinados son enviados a la pantalla del terminal 110 en lugar de enviar datos vídeo capturados por la cámara 228 del terminal 104 en tiempo real. De esta forma, en el estado de mantenimiento vídeo, los datos de mantenimiento vídeo son enviados a la pantalla del terminal 110 en la videollamada. Esto quiere decir que, mientras está en el estado de mantenimiento vídeo, el usuario 102 puede realizar algunas acciones sin que dichas acciones sean capturadas por la cámara 228, transmitidas al terminal 110 y enviadas al usuario 108 en la videollamada.

Los datos de mantenimiento vídeo continúan siendo enviados a la pantalla del terminal 110 en el estado de mantenimiento vídeo. En el paso S314 se determina (por ejemplo, por el cliente 106 del terminal 104) si se ha recibido del usuario 102 una entrada de anulación de mantenimiento vídeo. La entrada de anulación de mantenimiento vídeo permite al usuario 102 indicar que le gustaría finalizar el estado de mantenimiento vídeo, y por ello volver al estado normal de la videollamada. Si el usuario 102 no ha proporcionado una entrada de anulación de mantenimiento vídeo en el terminal 104, entonces el método continúa realizando el paso S312 de tal manera que los datos de mantenimiento vídeo sigan siendo enviados al terminal 110 al usuario 108 en la videollamada.

El usuario 102 puede decidir entonces que le gustaría terminar el estado de mantenimiento vídeo. El usuario 102 puede proporcionar una entrada de anulación de mantenimiento vídeo al cliente 106 (por ejemplo, usando la interfaz de usuario 222) para indicar que al usuario 102 desearía finalizar el estado de mantenimiento vídeo. Esto lo puede hacer, por ejemplo, el usuario pulsando un botón en el terminal 104, clicando en un icono visualizado en la pantalla 204 o tocando una zona concreta de una pantalla táctil del terminal 104, o emitiendo una orden por voz que se recibe en un módulo de reconocimiento de voz mediante el micrófono 212. El usuario 102 puede interactuar con el terminal 104 de cualquier otra forma adecuada para proporcionar la entrada de anulación de mantenimiento vídeo. Cuando el usuario 102 ha proporcionado la entrada de anulación de mantenimiento vídeo, el cliente 106 en el terminal 104 determinará en el paso S314 que la entrada de anulación de mantenimiento vídeo ha sido recibida y entonces el método volverá al paso S302 de modo que la videollamada pueda continuar en el estado normal descrito anteriormente. Cuando el estado de mantenimiento vídeo finaliza, puede enviarse un mensaje de anulación de mantenimiento vídeo desde el terminal 104 al terminal 110 indicando al terminal 110 que el estado de mantenimiento vídeo ha terminado de modo que el terminal 110 conoce que la videollamada ha de continuar en el estado normal más bien que en el estado de mantenimiento vídeo.

Cuando la videollamada está operando en el estado de mantenimiento vídeo, la cámara 228 puede, o no, seguir capturando datos vídeo en el terminal 104. Sin embargo, puede ser ventajoso que la cámara 228 deje de capturar datos vídeo en el estado de mantenimiento vídeo porque los datos vídeo no serán usados en la videollamada, y así la parada de la captura de los datos vídeo reducirá los recursos de procesamiento usados en el terminal 104 sin afectar negativamente a la videollamada. Igualmente, cuando la videollamada está operando en el estado de mantenimiento vídeo, los datos vídeo pueden, o no, continuar siendo transmitidos desde el terminal 104 al terminal 110. Sin embargo, puede ser ventajoso dejar de transmitir datos vídeo desde el terminal 104 al terminal 110 en el estado de mantenimiento vídeo para reducir por ello los recursos de procesamiento usados en el terminal 104 y para reducir por ello la cantidad de datos que son transmitidos por la red en el sistema de comunicación. Sin embargo, en algunas realizaciones puede ser ventajoso seguir capturando datos vídeo en el terminal 104 y transmitir los datos vídeo capturados al terminal 110 en el estado de mantenimiento vídeo, por ejemplo, para evitar la necesidad de regular la operación de la cámara 228 y el procesamiento de los datos vídeo capturados en el terminal 104. En todas las realizaciones, en el estado de mantenimiento vídeo (iniciado por el usuario 102), no se capturan datos vídeo en la cámara 228 ni son enviados al terminal 110 en tiempo real en la videollamada.

Puede ser ventajoso que los datos vídeo sean transmitidos desde el terminal 104 al terminal 110 en el estado de mantenimiento vídeo, pero donde estos datos vídeo transmitidos no son capturados por la cámara 228, sino que, en cambio, son generados por algoritmos ejecutados en el terminal 104 que intenta simular la imagen del usuario 102 sentado delante de la cámara 228. Por ejemplo, puede realizarse un reconocimiento de la cabeza del usuario 102 en imágenes capturadas por la cámara 228 en el terminal de usuario 104 antes de la iniciación del estado de mantenimiento vídeo. Cuando el usuario 102 pulsa mantener (iniciando por ello el estado de mantenimiento vídeo), el cliente ejecutado en el terminal de usuario 104 genera datos de mantenimiento vídeo que se basan en la imagen de la cabeza del usuario, pero pueden incluir algunas imágenes en movimiento superpuestas. Por ejemplo, los datos de mantenimiento vídeo generados pueden tener la cabeza del usuario ligeramente inclinada (dado que el usuario 108 percibe como claramente artificial una imagen perfectamente fija). Igualmente, el cliente ejecutado en el terminal de usuario 104 puede detectar los ojos del usuario 102 en las imágenes e insertar parpadeo en los datos de mantenimiento vídeo. Las imágenes en movimiento, como éstas, que pueden ser superpuestas sobre una imagen del usuario 102 hacen que el estado de mantenimiento vídeo sea menos detectable para el usuario 108 que ve los datos de mantenimiento vídeo en el terminal de usuario 110. Puede ser deseable que el usuario 108 en el terminal 110 no sea capaz de observar la diferencia entre vídeo normal de la videollamada y los datos de mantenimiento vídeo que son enviados al terminal 110 durante el estado de mantenimiento vídeo. El cliente ejecutado en el terminal 110 en este ejemplo recibiría los datos de mantenimiento vídeo y los procesaría de la misma forma que los datos vídeo normales que son procesados durante la videollamada. De hecho, el cliente ejecutado en el terminal 110 puede no ser capaz de decir que la videollamada se ha mantenido, puesto que el descodificador en el terminal 110 sigue operando de forma normal para descodificar los datos vídeo recibidos del terminal de usuario 104 en la videollamada.

Cuando el usuario 102 inicia el estado de mantenimiento vídeo, por ejemplo, clicando “mantener vídeo” en la interfaz de usuario 222 del cliente 106, el usuario 108 todavía ve una imagen (o imágenes) visualizadas en la pantalla del terminal 110. La imagen o las imágenes son los datos de mantenimiento vídeo visualizados en el terminal 110 como si fuesen datos vídeo capturados por la cámara 228 en el terminal 104 en tiempo real en la videollamada. En realizaciones preferidas, los datos de mantenimiento vídeo se basan en datos vídeo capturados por la cámara 228 antes de la iniciación del estado de mantenimiento vídeo. Los datos de mantenimiento vídeo se usan para hacer que parezca que el usuario 102 todavía está allí, enviando datos vídeo capturados en tiempo real al terminal 110 en la videollamada, incluso aunque no esté.

Los datos de mantenimiento vídeo pueden ser una imagen fija. Una porción de la imagen fija puede incluir una imagen del usuario 102, de modo que el usuario 108 puede ver una imagen del usuario 102 en la videollamada en el estado de mantenimiento vídeo. La imagen fija puede ser un cuadro de datos vídeo capturados por la cámara 228 antes de la iniciación del estado de mantenimiento vídeo. Por ejemplo, la imagen fija puede ser el último cuadro de datos vídeo capturados por la cámara 228 (o un cuadro recientemente capturado) antes de que el estado de mantenimiento vídeo sea iniciado por el usuario 102. De esta forma, la imagen fija puede ser representativa de al menos parte de una imagen capturada por la cámara (por ejemplo, el fondo actual del usuario) cuando se inicia el estado de mantenimiento vídeo. En este sentido, se puede considerar que los datos de mantenimiento vídeo son una imagen congelada de los datos vídeo transmitidos al terminal 110 inmediatamente antes de la iniciación del estado de mantenimiento vídeo por el usuario 102. De esta forma, cuando el usuario 102 realiza la acción de “mantener vídeo” en el terminal 104, el vídeo visualizado en la pantalla del terminal 110 se congela. Alternativamente, el usuario 102 puede ser capaz de seleccionar una imagen (por ejemplo, de cuadros vídeo recientemente capturados por la cámara 228) a usar como los datos de mantenimiento vídeo. Cuando el usuario 102 realiza una acción de “no mantener vídeo”, el vídeo visualizado en la pantalla del terminal 110 se reanuda.

Los datos de mantenimiento vídeo pueden incluir una imagen fija como se ha descrito anteriormente pero que se superpone con imágenes en movimiento que son enviadas (por ejemplo, en un bucle o aleatoriamente o con alguna temporización pseudoaleatoria) a la pantalla del terminal 110 en el estado de mantenimiento vídeo. Cuando la imagen fija incluye una imagen del usuario 102, las imágenes en movimiento que se superponen sobre la imagen fija se pueden basar en reconocimiento de características aplicado a los datos vídeo del usuario 102 capturados por la cámara 228 antes de la iniciación del estado de mantenimiento vídeo. Por ejemplo, los ojos del usuario 102 podrían ser identificados y superpuestos en la posición correcta en la imagen fija usando reconocimiento de características. Por ejemplo, los datos de mantenimiento vídeo pueden incluir el último cuadro capturado por la cámara 228 (u otro cuadro recientemente capturado) antes de la iniciación del estado de mantenimiento vídeo, o un cuadro seleccionado por el usuario 102, pero ahora interpolado con movimientos, tal como inclinaciones de la cabeza o parpadeo de los ojos del usuario 102 en la imagen. Las imágenes en movimiento pueden representar cualquier movimiento del usuario 102, tal como una inclinación de la cabeza o un parpadeo de los ojos como se ha descrito anteriormente que hacer que parezca que el usuario 102 todavía está allí, enviando datos vídeo, incluso aunque no esté. Las imágenes en movimiento superpuestas (por ejemplo, inclinaciones de la cabeza y parpadeos) tienen lugar preferiblemente a intervalos espaciados algo aleatoriamente para que parezcan naturales, en vez de estar simplemente en bucle dado que el vídeo con bucle es fácilmente detectado por humanos como artificial. Además, los cambios de los datos de mantenimiento vídeo pueden implementarse haciendo que los datos de mantenimiento vídeo parezcan perceptiblemente más similares (al usuario 108) a los datos vídeo reales de la videollamada que son capturados y transmitidos en tiempo real desde el terminal 104 cuando la videollamada no esté en el estado de mantenimiento vídeo. Por ejemplo, pueden implementarse cambios en la iluminación de los datos de mantenimiento vídeo (que pueden cambiar el fondo de las imágenes de los datos de mantenimiento vídeo) y/o puede insertarse errores en los datos de mantenimiento vídeo para simular problemas de red que pueda experimentar la videollamada. Por ejemplo, cuando los datos de mantenimiento vídeo son generados en el receptor, el cliente receptor podría usar mediciones extremo a extremo (eae) en pérdida de paquetes para inyectar pérdida artificial de paquetes en el flujo de datos de mantenimiento vídeo, como si hubiesen sido transmitidos por la red y visto dicha cantidad de pérdida de paquetes. Sin embargo, cuando los datos de mantenimiento vídeo sean enviados desde el llamante al llamado, parecerán automáticamente naturales en términos de pérdida de paquetes, porque la pérdida de paquetes se aplica a los datos de mantenimiento vídeo como sucedería con captura vídeo del usuario real. De esta forma, la transición entre un estado de mantenimiento no vídeo y el estado de mantenimiento vídeo de la videollamada puede ser menos observable para el usuario 110.

Los datos de mantenimiento vídeo pueden incluir múltiples cuadros vídeo capturados por la cámara 228 antes de la iniciación del estado de mantenimiento vídeo donde los múltiples cuadros vídeo son enviados (por ejemplo, en un bucle) a la pantalla del terminal 110 en el estado de mantenimiento vídeo. Por ejemplo, los datos de mantenimiento vídeo pueden ser una copia de los últimos cuadros de datos vídeo capturados por la cámara 228 (u otros cuadros recientemente capturados) antes de que se iniciase el estado de mantenimiento vídeo. Alternativamente, los múltiples cuadros pueden ser seleccionados por el usuario 102 (por ejemplo, a partir de cuadros vídeo recientemente capturados por la cámara 228). La duración de los datos de mantenimiento vídeo puede ser, por ejemplo, 2 segundos o 10 segundos, o cualquier otra duración adecuada en la que los datos vídeo pueden ser enviados en la videollamada en el estado de mantenimiento vídeo.

En realizaciones preferidas, una finalidad es que el usuario 108 no sepa que el usuario 102 ha iniciado el estado de mantenimiento vídeo en la videollamada. Sin embargo, en algunas situaciones, puede ser beneficioso informar al usuario 108 de que la videollamada ha sido puesta en mantenimiento, por ejemplo, con el fin de asegurar que el usuario 108 no perciba un problema de la salida vídeo en el terminal 110. Por ejemplo, una indicación de que el vídeo ha sido puesto en mantenimiento puede ser visualizado en la pantalla del terminal 110 conjuntamente con los datos de mantenimiento vídeo cuando la videollamada está operando en el estado de mantenimiento vídeo. La indicación podría ser una indicación en texto con un mensaje para el usuario 108, diciendo “el vídeo está en mantenimiento”, o análogos. La indicación podría ser un símbolo que se visualice en la pantalla del terminal 110 o un sonido que sea enviado por los altavoces en el terminal 110 que el usuario 108 reconozca como indicativo de que la videollamada está operando en el estado de mantenimiento vídeo. La indicación podría ser enviada al terminal 110 del usuario 108 de cualquier otra manera adecuada.

Si el usuario 102 apagase, o desconectase, la cámara 228 durante la videollamada con el usuario 108, entonces no se enviarían datos vídeo a la pantalla del terminal 110 del usuario 108 en la videollamada. En este caso, el usuario 108 puede percibirlo como un problema de la videollamada, tal como una llamada cortada. Sin embargo, con los métodos aquí descritos, en los que el usuario 102 puede iniciar el estado de mantenimiento vídeo en el que datos de mantenimiento vídeo son enviados al terminal 110 en el estado de mantenimiento vídeo, entonces el usuario 108 no piensa que la videollamada ha caído y no percibe una falta de continuidad en la videollamada.

Ventajosamente, como se ha descrito anteriormente, el uso del estado de mantenimiento vídeo permite al usuario 102 participar en la videollamada mientras realiza alguna acción, sin que la acción sea capturada por la cámara 228 y enviada al usuario 108 en la videollamada.

Los pasos del método descrito anteriormente y representado en la figura 3 pueden ser realizados con módulos en los terminales 104 y 110 en software (por ejemplo, por los clientes 106 y 112) o en hardware. Por ejemplo, un módulo de transmisión puede implementarse en el terminal 104 (por ejemplo, usando el cliente 106) para transmitir datos, tal como los datos vídeo capturados por la cámara 228 y el mensaje de mantenimiento vídeo descrito anteriormente, al terminal 110 en la videollamada. Como otro ejemplo, un módulo receptor puede implementarse en el terminal 110 (por ejemplo, usando el cliente 112) para recibir datos, tal como los datos vídeo capturados por la cámara 228 y el mensaje de mantenimiento vídeo descrito anteriormente, desde el terminal 104 en la videollamada. Como otro ejemplo, un módulo de determinación puede implementarse en el terminal 104 (por ejemplo, usando el cliente 106) y/o en el terminal 110 (por ejemplo, usando el cliente 112) para determinar los datos de mantenimiento vídeo como se ha descrito anteriormente.

Los clientes 106 y 112 descritos anteriormente pueden proporcionarse como productos de programa de ordenador realizados en medios no transitorios legibles por ordenador y pueden estar configurados para ejecución en las CPUs de los terminales 104 y 110 para realizar los métodos aquí descritos.

En las realizaciones descritas anteriormente, es el usuario 102 quien inicia el estado de mantenimiento vídeo. Sin embargo, en otras realizaciones puede ser el usuario 108 quien inicie un estado de mantenimiento vídeo equivalente usando el terminal 108 de tal manera que los datos de mantenimiento vídeo sean enviados a la pantalla 204 del terminal 104 en lugar de enviar datos vídeo capturados en el terminal 110 en tiempo real. Esto puede implementarse de la misma forma que el usuario 102 puede iniciar el estado de mantenimiento vídeo como se ha descrito anteriormente.

Claims

REIVINDICACIONES

1. Un método de realizar una videollamada entre un primer terminal (104) y un segundo terminal (110), incluyendo el método:

capturar datos vídeo, para la videollamada, con una cámara (228) del primer terminal (104);

transmitir los datos vídeo capturados en tiempo real al segundo terminal (110) para uso en la videollamada suficientes para producir salida de los datos vídeo capturados en tiempo real en una pantalla del segundo terminal (110) en la videollamada;

recibir una entrada de mantenimiento vídeo de un usuario (102) en el primer terminal (104) para iniciar un estado de mantenimiento vídeo en el primer terminal (104) y transmitir un mensaje de mantenimiento vídeo al segundo terminal (110), donde, en respuesta a recibir el mensaje de mantenimiento vídeo, los datos de mantenimiento vídeo son enviados a la pantalla del segundo terminal (110) en el estado de mantenimiento vídeo en lugar de enviar datos vídeo capturados por dicha cámara (228) del primer terminal (104) en tiempo real; y caracterizado porque el método incluye,

durante el estado de mantenimiento vídeo, capturar datos vídeo en el primer terminal (104) y transmitir los datos vídeo capturados al segundo terminal (110).

2. El método de la reivindicación 1, incluyendo determinar dichos datos de mantenimiento vídeo en el primer terminal (104) y transmitir los datos de mantenimiento vídeo determinados al segundo terminal (110) efectivos para hacer que los datos de mantenimiento vídeo determinados sean enviados a la pantalla del segundo terminal (110) durante el estado de mantenimiento vídeo.

3. El método de la reivindicación 1, incluyendo, en respuesta a recibir la entrada de mantenimiento vídeo en el primer terminal (104), transmitir un mensaje de mantenimiento vídeo al segundo terminal (110) indicando que el estado de mantenimiento vídeo ha sido iniciado.

4. El método de la reivindicación 1, donde dichos datos de mantenimiento vídeo incluyen cualquiera de:

datos vídeo capturados con la cámara (228) del primer terminal (104) antes de recibir la entrada de mantenimiento vídeo en el primer terminal (104);

una sola imagen; y

una sola imagen que se superpone a imágenes en movimiento que se hace que sean enviadas a la pantalla del segundo terminal (110) por el estado de mantenimiento vídeo.

5. El método de la reivindicación 4, donde dichos datos de mantenimiento vídeo incluyen una sola imagen que se superpone con imágenes en movimiento, donde la única imagen incluye una imagen del usuario (102), incluyendo además el método generar dichas imágenes en movimiento aplicando una técnica de reconocimiento de características a dicha imagen del usuario (102).

6. El método de la reivindicación 5, donde dichas imágenes en movimiento representan movimientos de la cabeza u ojos del usuario (102) representados en dicha imagen del usuario (102).

7. El método de la reivindicación 4, donde la única imagen incluye uno de: un cuadro de los datos vídeo capturados por la cámara (228) del primer terminal (104); y una representación de al menos una parte de una imagen capturada por la cámara (228) después de la recepción de la entrada de mantenimiento vídeo.

8. Un terminal (104) configurado para participar en una videollamada con otro terminal (110), incluyendo el terminal (104):

una cámara (228) configurada para capturar datos vídeo para la videollamada;

un módulo de transmisión configurado para transmitir los datos vídeo capturados al terminal adicional (110) para hacer en tiempo real que los datos vídeo capturados sean enviados a una pantalla del terminal adicional (110) en la videollamada y para transmitir un mensaje de mantenimiento vídeo al terminal adicional (110); y

una interfaz de usuario (222) configurada para recibir una entrada de mantenimiento vídeo de un usuario (102) para iniciar un estado de mantenimiento vídeo en el terminal (104), donde, en respuesta a recibir el mensaje de mantenimiento vídeo en el terminal adicional (110), los datos de mantenimiento vídeo son enviados a la pantalla del terminal adicional (110) en el estado de mantenimiento vídeo en lugar de enviar datos vídeo capturados por dicha cámara (228) del terminal (104) en tiempo real, caracterizado porque

el módulo de transmisión está configurado, durante el estado de mantenimiento vídeo, para transmitir al terminal adicional (110) datos vídeo capturados con dicha cámara (228) del terminal (104).

9. El terminal (104) de la reivindicación 8, configurado para determinar dichos datos de mantenimiento vídeo en el terminal (104) y donde el módulo de transmisión está configurado para transmitir los datos de mantenimiento vídeo determinados al terminal adicional (110) efectivos para hacer que los datos de mantenimiento vídeo determinados sean enviados a la pantalla del terminal adicional (110) durante el estado de mantenimiento vídeo.

10. El terminal (104) de la reivindicación 8, donde, en respuesta a recibir la entrada de mantenimiento vídeo en la interfaz de usuario (222), el módulo de transmisión está configurado para transmitir un mensaje de mantenimiento vídeo al terminal adicional (110) indicando que el estado de mantenimiento vídeo ha sido iniciado.

11. Un producto de programa de ordenador, realizado en un medio no transitorio legible por ordenador y configurado de modo que, cuando sea ejecutado en un procesador de un primer terminal (104), haga que el primer terminal realice el método de cualquiera de las reivindicaciones 1 a 7.