CN105144673A - 延迟减少的服务器干预式音频-视频通信 - Google Patents
延迟减少的服务器干预式音频-视频通信 Download PDFInfo
- Publication number
- CN105144673A CN105144673A CN201380072948.1A CN201380072948A CN105144673A CN 105144673 A CN105144673 A CN 105144673A CN 201380072948 A CN201380072948 A CN 201380072948A CN 105144673 A CN105144673 A CN 105144673A
- Authority
- CN
- China
- Prior art keywords
- client
- video
- recipient
- messaging
- transmitter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/226—Delivery according to priorities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
- H04M3/5307—Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components
- H04M3/5315—Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components where the non-audio components are still images or video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
- H04M3/537—Arrangements for indicating the presence of a recorded message, whereby the presence information might include a preview or summary of the message
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
在被配置为发送和接收视频内容的多个计算机系统之间的视频通信。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为向视频服务器发送或记录视频消息。视频消息由视频服务器存档。当在视频消息的传输开始期间客户端接收方不可用且在视频消息的传输期间稍后客户端接收方可用时,客户端接收方能够在视频消息的传输仍然继续进行的同时,从视频消息的开始处显示视频消息。
Description
背景技术
1.技术领域
本发明的领域涉及通信,更具体地,涉及用于音频-视频通信的平台。
2.相关技术描述
诸如SKYPETM之类的互联网服务实现了在两个或更多个用户之间的音频或音频-视频对话。使用服务器来发起对话以及对媒体类型的协商。用户之间的实际音频流或视频流在对等会话中传递而无需进一步的服务器干预。
在诸如SKYPETM之类的服务中,建立对等会话,以避免由于业务对服务器造成的过载所导致的瓶颈,且避免通过服务器引入延迟。
iMessageTM是一种允许用户发送文本、图片、视频、联系信息和组消息的服务。
AOLInstantMessager(AIM)是一种允许用户实时通信的服务。
WhatsAppTMMessager是一种用于智能电话的私有的、跨平台即时消息服务。除了文本消息之外,用户还能够向彼此发送图像、视频和语音媒体消息。
传统的无线频率半双工通信系统提供了从单个发射机到一个或多个接收机的通信。在一个时间仅有一个发射方可以进行广播,因为相同的物理信道被共享来用于向所有接收方进行广播。一旦接收机开始接收信号,由于物理信道不可用,接收方在答复之前就需要等待发射机停止发射。
发明内容
本文公开了各种数据通信系统,用于在被配置为客户端计算机系统的多个计算机系统之间的视频通信。所述客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机,所述客户端计算机系统中的一个(或多个)在进行接收或消费时是客户端接收方。客户端发射机能够发送或记录视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接,并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。如果在视频消息的传输开始期间客户端接收方不可用而在视频消息的传输期间稍后客户端接收方可用,则客户端接收方能够在视频消息的传输仍然继续进行的同时,从视频消息的开始处显示视频消息。
客户端计算机系统可以被配置为交替作为客户端发射机和客户端接收机,并且交替地发送和接收视频内容。
管理服务器适于从客户端发射机接收包含对客户端接收方的参考的第一字符串,并作为响应,向客户端接收方发送包含对客户端发射机的参考的第二字符串。响应于第二字符串,客户端接收方被配置为向视频服务器发送第三字符串。第三字符串参考所述视频消息,并且一旦视频服务器接收到第三字符串,视频服务器就将所述视频消息发送到客户端接收方。
当客户端接收方不可用时,客户端接收方可以适于:在客户端接收方稍后可用时,从视频服务器的消息存档中取回视频消息。被配置为客户端发射机的多个客户端计算机系统可以同时地向所述客户端接收方发送各自的视频消息。
各种客户端计算机系统和/或其软件应用可以被配置为在数据通信网络中使用。客户端计算机系统和/或软件应用可以包括发射机模块,发射机模块被配置为:与视频服务器建立连接,向视频服务器发送第一视频消息,以及向管理服务器发送第一字符串。客户端计算机系统和/或软件应用可以包括接收机模块,接收机模块被配置为:向视频服务器发送第二字符串,接收第二视频消息,并且显示第二视频消息。
各种客户端计算机系统和/或者其软件应用可以被配置为在数据通信网络中使用。管理服务器可以包括:管理接收机模块,适于从客户端发射机接收第一字符串;以及管理发射机模块,适于向客户端接收方发送第二字符串。
各种视频服务器可以被配置为在数据通信网络中使用。视频服务器包括:网络适配器,配置为建立与客户端发射机的连接,并接收视频消息;以及视频数据存储设备,适于对视频消息进行存档。网络适配器被配置为接收第三字符串,并响应于第三字符串向客户端接收方发送视频消息。
本文公开了各种方法用来管理在多个计算机系统之间的视频通信。所述客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机,所述客户端计算机系统中的一个或多个在进行接收或消费时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接,并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。当在视频消息的传输开始期间客户端接收方不可用而在视频消息的传输期间稍后客户端接收方可用时,客户端接收方能够在视频消息向视频服务器的传输期间,从视频消息的开始处显示视频消息。
视频消息可以由客户端接收方接收并显示。
客户端计算机系统可以被配置为交替作为客户端发射机和客户端接收机,并且交替地分别进行发送和接收。
客户端接收方可以被选择用来:在视频消息正在向视频服务器发送的同时,接收或消费视频消息。可以自主地建立所述连接,而无需客户端发射机用户的干预。可以响应于先前安装在客户端发射机中的程序,通过监视客户端发射机用户的动作,来建立所述连接,并且可以基于用户的所述被监视动作来建立所述连接。可以在无需预先通知客户端接收方用户的情况下,执行由客户端接收方对第二字符串向视频服务器的传输。
通过在从客户端发射机向视频服务器发送视频消息的同时从视频服务器向客户端接收方发送视频消息,从而减少延迟。
可以用处理指令来编码各种计算机可读媒体,所述处理指令用于使得客户端计算机系统的处理器和/或视频服务器的处理器和/或管理服务器的处理器执行本文公开的方法。
通过结合附图考虑以下详细描述,上述各个方面和/或其他方面将会变得更为清楚。
附图说明
在本文中以非限定性方式,借助于实例并仅参考附图来描述本发明,在附图中:
图1图示了根据本发明的特征的移动计算机系统的简化框图。
图2示出了根据本发明的特征的系统的简化框图。
图3a、3b和4示出了根据本发明的特征的方法的流程图。
图5图示了根据本发明的特征,当客户端接收方可用时可以执行的子过程。
图6图示了根据本发明的特征,当在视频消息的发送的初始时刻客户端接收方不可用时可以执行的子过程。
图7图示了根据本发明的特征,客户端发射机向客户端接收方发送两个消息的简化时序图。
图8图示了根据本发明的特征,在组线程的客户端之间传送的消息的时序图。
通过结合附图考虑以下详细描述,上述各个方面和/或其他方面将会变得更为清楚。
具体实施方式
现在将详细地参考本发明的实施例,在附图中图示了本发明的实例,其中,类似的参考数字在整个附图中指代类似的元素。以下通过参考附图描述了实施例,来解释本发明。
作为介绍,本发明的实施例旨在提供一种视频通信系统和方法,其用户体验类似于无线电频率通信中公知的半双工通信(有时称为“对讲(walkie-talkie)”或“一键通(push-to-talk)”)。使用诸如SkypeTM之类服务的“全双工”会话的平均长度可以超过10分钟。根据所使用的网络和实现方式,已有技术使用现有技术的视频服务来发起视频流所需要的初始化时间范围可以在10到30秒之间。该初始化时间在诸如SkypeTM之类的现有技术的视频服务中是可接受的。例如,假设10分钟的视频会话,30秒的初始化时间对于10分钟的会话而言仅是4.76%的开销。本发明的实施例旨在适应平均长度为20到30秒的音频和/或视频消息或突发。用来传送25秒的音频和/或视频消息的30秒初始化时间将会是54.5%的开销,这将是不接受的。因此,本发明的实施例中要解决的技术问题之一是:提供“半双工”通信系统的用户体验,同时最小化初始化时间和其他时间延迟,从而使得用户体验接近实时消息传送。
总之,本发明的实施例旨在一种音频-视频消息发送通信平台,其适于包含短音频-视频消息突发(例如10-30秒长)的对话,并具有小于3到5秒的减少的初始化时间和总体延迟。在初始化传输之后的1到2秒内,用户正在记录的视频内容已经正在服务器中进行存档,并且对于共享通信线程的所有用户而言是可用的,或者正在由其进行消费。本发明的实施例的用户可以参与其他用户来接近实时地共享视频内容。如果该用户不可用,例如不在线,则可以通过从存档中流传输(streaming),来稍后消费视频内容和消息。如果用户是目标接收方,并且在传输开始时不可用而在随后变得可用并由此进入通信线程较晚,则用户可以从视频内容的传输开始时的线程开始处消费视频内容,并参与到线程中,而不会丢失该线程的开始。从存档中进行流传输使得多个用户能够同时向相同的接收方发送,并且该接收方可以从全部用户接收并消费全部视频内容,例如,按照传输顺序。
在详细解释本发明的实施例之前,要理解的是,本发明在其应用方面并不局限于设计细节和在随后的描述中所阐述的或附图中所图示的组件的排列。本发明能够使用其他实施例,或者能够以各种方式实现或实施。此外,要理解的是,本文所用到的措辞和术语是为了说明的目的,而不应被视为对本发明的限定。
现在参考附图,图1图示了根据本发明的特征的移动计算机系统100的简化方框图。移动计算机系统100可以通过蜂窝基站119连接到蜂窝网络121。蜂窝通信模块117将处理器110连接到蜂窝网络121。移动计算机系统100还可以通过数据通信网络106连接到服务器205以及连接到服务器206。移动计算机系统100包括处理器110,其连接到本地数据存储设备101。数据通信模块104可操作地将处理器110连接到数据通信网络106。音频-视频编码器202和音频-视频解码器204分别用于编码和解码从移动计算机系统100发送和由移动计算机系统100接收的音频-视频内容。音频-视频编码器202和音频-视频解码器204的音频-视频内容可以包括音频或视频,其包括多个通道,例如,立体视频或立体声,其每一个包括左右音频通道。移动计算机系统100可以包括外围辅助设备,诸如显示器109、全球定位系统(GPS)接收机107、相机105、麦克风111、扬声器113、振动器115、加速计/重力传感器(未示出)、近场通信(NFC)(未示出)、射频标签(RFID)(未示出)、BluetoothTM(未示出)和IR传感器(未示出)。
现在参考图2,图2示出了根据本发明的特征的系统20的简化方框图。系统20可以包括充当客户端发射机100T的第一移动计算机系统100以及充当客户端接收方100R的第二移动计算机系统100。视频数据系统206包括视频服务器206a、视频数据库206b和视频数据存储设备206c,视频数据系统206与客户端发射机100T和客户端接收方100R连接。管理数据系统205包括管理服务器205a和管理数据库205b,管理数据系统205与客户端发射机100T和客户端接收方100R连接。音频-视频消息250被显示为正在从客户端发射机100T向视频数据系统206发送。可以使用相机105实时地记录消息250,并同时发送消息250,或者消息250可以是预先记录的且存储在本地存储设备101中。例如,视频数据系统206和管理数据系统205可以共同配置在同一安装过程中或者甚至在同一硬件单元中,并且同时操作共享同一电源。视频数据系统206和管理数据系统205可以在多线程处理器中的不同线程中实施。
现在参考图3a和3b,其示出了根据本发明的特征的各方法301和300的流程图。方法301和300图示了在系统20中的如下过程:客户端发射机100T连接到视频数据系统206并向视频数据系统206进行发送,以允许用户向其他用户发送视频消息250。方法301(图3a)图示了客户端发射机100T所执行的过程步骤,而方法300(图3b)图示了视频数据系统206所执行的过程步骤。
现在参考系统20以及方法301和300,根据本发明的实施例的发射机应用预先被安装并存储在客户端发射机100T的存储器101中。客户端发射机100T的发射机应用可以连接(步骤302)到视频数据系统206以及连接到视频服务器206a,且尚未接收到关于发送视频消息250的明确用户指令。具体而言,客户端发射机100T的发射机应用可以基于先前的用户动作或预先的编程,打开预计向视频数据存储设备206c发送的下一个视频消息250的URL。并行地,视频数据系统206的视频服务器206a接收该连接(步骤306)。在步骤307中,客户端发射机应用开始发送视频消息250,并且在步骤308中,并行地,视频消息250由视频数据系统206存档在视频数据存储设备206c中。在使用相机105记录视频消息250的同时,可以执行视频压缩。在步骤304中,可以向用户通知一个或多个视频消息将会被准备进行传输。并行地,在视频数据系统206处可以完成视频数据消息的存档(步骤310)。客户端发射机100T应用可以选择(步骤305)一个或多个接收方,或者客户端发射机100T的用户可以选择(步骤305)一个或多个接收方。在步骤309中,将文本消息发送到管理数据系统205中的管理服务器205a,该文本消息包括包含对所述一个(或多个)接收方的参考的URI、字符串或消息块。步骤309通常并不要求来自管理服务器205a的确认。参考音频-视频消息250的URI旨在被中继到所述一个(或多个)接收方以期待该音频-视频消息,并且针对即将对音频-视频消息250的接收而准备客户端接收方100R。
有几个选项可用于将消息块从管理数据系统205传递到客户端接收方100R。所述消息块可以包括:参考视频消息250的URI,针对客户端100的关于期待视频消息的命令、针对客户端100的关于准备播放视频消息250的命令。可替换地,所述消息块可以仅包括参考消息250的URI。客户端接收方100R被编程以使得一旦其接收到URI,就期待视频消息250,并且客户端接收方100R准备播放视频消息250。在本发明的可替换实施例中,可以避免管理服务器205,并可以通过在移动计算机系统100之间的网格网络来传送消息块。
在方法301中,如果基于先前的用户交互或先前的编程,发射机应用认为用户具有关于他/她即将使用相机105记录一个或多个视频消息250且即将在接下来的几秒内进行发送的高可能性,则可以减少传输延迟。在向用户通知正在发送视频消息250或者已经发送了视频消息250(步骤304)之前并且在选择接收方(步骤305)之前,发射机应用可以相应地对客户端发射机100T进行准备(步骤303)和/或可以开始发送(步骤307)。
再次参考图1,准备发送(步骤303)可以包括诸如以下的步骤:开启相机105的应用并打开相机105的快门,在存储器101中为视频消息250分配空间、开始记录以及由编码器204对视频消息250进行编码。准备发送(步骤303)可以包括:打开存储设备101中的文件夹,该文件夹包括图像、音频-视频剪辑、或先前尚未接收和存档的其他多媒体消息,(步骤308),以及开始发送(步骤307)该文件夹的内容。
现在参考图4,其图示了根据本发明的特征的方法320的流程图。方法320用来在客户端接收方100R可用时接收音频-视频消息,和/或例如当客户端接收方100R不可用时,或者客户端接收方100R在自客户端发射机100T的最初传输过程中不可用时的后续音频-视频消息取回。在判断块311中,如果在传输开始期间或其后很短时间(几秒)内客户端接收方100R是可用的(步骤307),则该流程进行到子过程501,如图5所示。如果在判断块311中,如果在传输开始期间或其后很短时间内客户端接收方100R不可用,则该流程进行到子过程701,如图7所示。
现在参考图5,其图示了根据本发明的特征,当客户端接收方100R可用时可以执行的子过程501。在步骤503中,客户端接收方100R接收包括URI的字符串,所述URI包含对音频-视频消息250的参考。将字符串从客户端接收方100R发送(步骤505)到视频数据系统206,并且在接收到参考视频消息250的该字符串时,视频数据系统206从视频存储设备206c读出视频消息250并将视频消息250发送给客户端接收方100R。同时,在步骤506中,客户端接收方100R准备播放和接收视频消息250。在步骤407中,视频消息250由客户端接收方100R接收并播放。可替换地,当客户端接收方100R可用时,可以在从客户端发射机100T进行传输期间由视频数据系统206对视频消息250进行复制并中继到客户端接收方100R,从而客户端接收方100R并不从存档206c接收消息250.
根据本发明的特征,当在开始从客户端发射机100T传输视频消息250之后客户端接收方100R才变得可用时,视频数据系统206可以从消息的开始处发送视频消息250。在消息线程的剩余部分期间,可以减少从传输开始时刻到客户端接收方100R变得可用的时刻之间的时间延迟。在客户端发射机100T与客户端接收方100R之间的后续交换期间,客户端接收方最终将会赶上对话中的其他参与者。
现在参考图6,其图示了当在视频消息250的最初传输(图3,步骤307)时客户端接收方100R不可用时,可以执行的子过程701。当在不确定的稍后时刻客户端接收方100R可用(判断块702)时,客户端接收方100R将消息历史与管理数据库205b同步(步骤703)。在步骤705中,向客户端接收方100R的用户通知所丢失的消息,例如视频消息250。同时,客户端接收方100R可以向视频数据系统206发送包括URI的字符串(步骤505),该URI参考所丢失的消息中的一个或多个,客户端接收方100R应用可以预测用户的选择,并向视频数据系统206发送字符串(步骤505),同时在步骤705中接收对关于所丢失的消息的查询的应答。该字符串在视频数据系统206中接收,并且在步骤406中,从存档206c中取回视频消息250,并且视频消息250正在由客户端接收方100R接收。在步骤706中,客户端接收方100R可以基于先前的用户动作来准备播放,即打开媒体播放器应用。在客户端接收方100R上运行的应用可以认为很有可能用户即将选择观看已经正在接收的视频消息250。如果在判断块707中用户选择播放视频消息250,则客户端接收方100R已经准备好播放正在接收的或已经接收的消息250,并且可以以较低的总体延迟来执行步骤407中对入站的视频消息250的接收和播放。
与现有技术的服务相比,系统20的延迟
以下三个等式总结了以下过程的通信时间,在该过程中:用户A发送视频消息,用户B倾听或显示由用户A发送的视频消息,用户B创建一个视频消息来作为应答,并且用户A接收、显示、倾听或观看该应答:
内容时间=消息A的内容的传递时间+消息B的传递时间
总时间=从该过程开始到该过程结束的时间
延迟=总时间-内容时间
对于诸如WhatsAppTM、iMessageTM、WindowsTMMessager、AOLTMInstantMessager之类的服务,可以使用以下公式来计算总通信时间T:
T=RA1+CA1+UA1+DB1+VB1+RB2+CB2+UB2+DA2+VA2
该过程需要大约150秒:用户A向用户B发送30秒的视频,且随后用户B观看该视频并向用户A发回30秒的应答,且用户A观看该应答。对于60秒的内容,需要150秒来传送和观看该内容。在一个实例中,使用现有技术的服务的通信针对150秒的总通信时间T,具有90秒的延迟,60秒的内容,其中,延迟占总通信时间的71%。
与之对照,使用系统20和方法300、301和501,消息250实时地由用户A发送并由用户B接收,其中,点对点总通信时间是大约2秒。结果是:几乎在用户发射机开始记录消息的同时,用户接收方已经完成了对入站消息的观看。使用方法300、301和501,使用本发明的实施例的总通信时间TI可以简化为如下:
BR=发送时间
TI=用户间的通信时间
TI=BRA1+LA1+BRB2+LB2
使用本发明的实施例的通信过程需要64秒,在该过程中:用户A向用户B发送持续时间为30秒的视频消息250,用户B观看视频消息250并作为响应向用户A发送视频消息应答250,并且用户A观看视频消息应答250。因此,使用本发明的实施例,观看60秒的内容需要大约64秒来进行传送和显示。使用本发明的实施例的过程具有的延迟时间是总通信时间TI的6.25%。
用户体验
在本发明的实施例中,两个或更多个用户无需可用来参与对话,因为每个视频消息250都在服务器视频数据系统206处进行存档(步骤308)。用户可以被添加到一个组中,并且可以观看在添加该新用户之前所发送的全部先前视频消息250。
在本发明的实施例中,可以在相机105中记录消息250的同时,发送(步骤307)和压缩视频消息250,以便减少压缩和传输的延迟时间。
一个(或多个)用户接收方可以在用户发射机开始发送(步骤307)的几秒内开始流传输(步骤407)接收到的消息250以便观看,减少了延迟时间。总之,根据本发明的所实现的低延迟性能相对于现有技术的系统在用户体验方面产生了重大改变。
在线程中对消息进行排队
根据本发明的实施例的视频通信系统20使得客户端计算机系统100的用户能够按照单播(一对一)或多播(一对多),来交替地发送和接收消息250。
在以接近实时的方式播放入站的消息250的系统20中,可以连续地观看多个入站的消息250,尽管在实时地发送时消息250可能交叠。
在接近实时的流传输视频消息系统20中,根据本发明的实施例,视频消息250具有向视频数据系统206进行流传输的传输开始时间、直到在客户端接收方100R处开始消费消息20为止的延迟时间、以及在客户端接收方100R处接收到消息250的流传输结束时的结束时间。
根据本发明的特征,客户端100可以在任何时刻接收/消费或记录/发送视频消息250,但是客户端100可能无法同时对内容进行消费和发送。客户端100可能被迫停止一个交互以便开始另一个,例如,停止消费内容以便创建内容,或者反之亦然。
当客户端接收方100R检测到入站的消息250时,可以发生各种动作。在一个实例中,客户端接收方100R正在播放另一个视频消息250。可以使用视频消息、音频消息和/或使用振动器115的震动作为通知,向用户呈现一个关于入站的消息250的通知。用户可以在客户端接收方100R上通过轻击(tap)或重击(swipe)来选择该通知,其导致当前正在播放的视频消息250停止或暂停,并且与该通知相关的视频消息250开始播放。
在另一实例中,当客户端接收方100R当前并未播放视频消息250时,客户端接收方100R可以被配置为在无需用户的任何交互的情况下播放入站的消息250。
现在参考图7,其图示了(用户A的)客户端100的简化时序图801,其中客户端100向用户Z的另一客户端100发送两个消息250(1)和250(2)。通过从图901的顶部到图901的底部来表示时间的推移。
1.用户A向用户Z发送消息250(1)。
2.用户Z以几秒的延迟来接收消息250(1),并开始观看消息250(1)。
3.在用户A完成消息250(1)的发送之后经过一个时间量,该时间量小于在用户A对消息250(1)的发送与用户Z对消息250(1)的播放之间的延迟。
4.用户A开始向用户Z发送消息250(2)。
5.用户Z不能开始观看消息250(2),因为用户Z仍在观看先前的消息250(1)。
6.系统20基于用户与用户间的线程识别出消息250(1)和消息250(2)是内容相关的,并创建一个队列,一旦用户Z完成了消息250(1)的观看后则该队列播放消息250(2)。
现在参考图8,其图示了根据本发明的特征,在组线程的客户端100之间传送的消息250的时序图801。通过从图801的顶部到图801的底部来表示时间的推移。
1.用户Z加入具有用户A、B和C的一个组线程中。
2.用户Z创建消息250TZ。
3.在用户Z正在记录并发送消息250TZ时,同一组线程的成员用户A创建消息250TA。
4.消息250TA实时流传输至包括用户Z在内的该组线程中的其他成员。
5.用户Z不能立即实时观看入站消息250T,因为用户Z的客户端100仍然在记录并发送出站消息250TZ。
6.在用户A的客户端100正在发送消息250TA时,用户B的客户端100开始发送消息250TB。
7.在用户B的客户端100正在发送消息250TB时,用户C的客户端100开始发送消息250TC。
8.消息由视频数据系统206实时存档,并且向用户Z的客户端100通知入站消息250RA、250RB和250RC。
9.用户Z的客户端100形成队列,并对入站消息250RA、250RB和250RC的播放进行时间偏移。
10.典型地按照发送的时间顺序,连续地播放消息250RA、250RB和250RC。
以上参考图8所列出的步骤1-10的结果是:用户Z体验在时间上交叠地发送的多个消息250,就好像是发送这些消息的线程的每个用户在创建并发送各自的视频消息250TA、250TB和250TC之前进行等待,直到队列被清空为止。
可以向用户Z通知或不通知他/她正在消费经过时间偏移的视频消息250RA、250RB和250RC。
在传输期间对次优化网络条件的补偿
可能存在次最优网络条件,在客户端计算机系统100的用户发送视频消息250时,次最优网络条件会导致视频消息250的高延迟或信息损失。根据本发明的特征,客户端发射机100T可以检测本地网络质量。如果存在次最优网络质量,则为了保持低延迟的准实时消息发送,可以在对视频消息250进行记录过程中之前或之后减少消息250的信息内容。减少消息250的信息内容可以包括:例如,降低视频消息250的视频帧率、降低颜色分辨率或者甚至转换为单色视频消息250、和/或减少视频帧大小。降低质量的视频消息250可以被发送并存储在数据存储设备206c上,并可用于由客户端接收方100R消费或接收。
为了随后恢复原始的高质量消息250,可以将原始的降低质量的消息250或至少其所丢掉的消息存储在客户端发射机100T本地或可连接到客户端发射机100T的另一设备中,例如可移动磁盘。可以上传高质量消息250来替换先前存储在视频数据存储设备206c中的较低质量版本,从而客户机接收方100R可以在原始的较低质量传输之后消费或下载具有较高质量的视频消息250。可替换地,可以使用所丢掉的信息来修复在客户端发射机100T上、视频数据系统206上或客户端接收方100R上的原始消息250。因此,即使是在次最优的网络条件下,也可以使用视频质量降低来保持准实时低延迟的消息发送,同时允许随后消费具有原始质量的相同消息。一个实例是:用户A向用户B发送视频消息250。用户A所处网络小于全质量视频所需带宽,从而客户端发射机100T向用户B发送降低质量的视频消息250。
在用户B在传输的同时进行观看的情况下,用户B接收/消费用户A的视频消息250的减少质量的视频。
在从用户A发送了降低质量的视频消息250之后,客户端发射机100T可以向用户B发送用户A的视频消息250的降低质量的视频中的所丢掉的信息。随后可以使用所丢掉的信息来填充原始发送的视频消息250的降低质量的视频中的丢失的视频信息。从而,在用户B不能观看实时传输并选择稍后进行观看,或者在用户B已经在广播的同时观看了该消息并随后回来重新观看视频消息250的情况中,用户B可以观看视频消息250的全质量视频。
多功能按钮
系统20可以使用智能电话100来实现,例如配有触摸屏109的iPhone。当将客户端应用安装在智能电话100上以便执行方法301、501和/或701时,可以在触摸屏109上实现虚拟按钮。可替换地或作为补充,可以在智能电话100中设计具有与虚拟按钮类似功能的非虚拟或物理按钮。
虚拟或物理的按钮可以包括以下功能模式:
1)视频-音频操作:可以轻击该按钮,例如小于1秒的持续时间,并且开始使用相机205和麦克风111进行视频记录,并且同时开始视频记录的传输(步骤307)。第二次轻击停止记录并停止传输且使能接收(步骤407)。可以通过相继地轻击按钮,来执行在记录/传输与使能接收(步骤407)的状态之间的切换。
2)音频-视频(“Push-to-talk”):按钮被按下或触摸一定时间段,例如2秒。如同模式1一样,开始使用相机205和麦克风111进行视频记录,并且同时开始视频记录的传输(步骤307)。释放按钮则结束记录/传输并使能视频内容的接收(步骤407)。
3)仅音频:按钮被滑上并立即释放,并且使用麦克风111的音频记录(没有从相机205捕获的实时图像)和传输(步骤307)开始。当按钮被滑回其原始位置时,停止音频的记录/传输并使能接收(步骤407)。可以在滑上位置中将按钮按下一个时间段,例如2秒,并且按钮表现为与以上模式2相同,但是仅是音频的记录/传输。在滑上位置中释放按钮则停止视频记录和传输。
实例:计算机控制下的客户端100
根据本发明的其他实施例,一个或多个客户端计算机系统100可以自主地操作,而无需(人类)用户的干预。连接到计算机系统100的处理器110和/或另一处理器可以被编程为,控制客户端计算机系统100的操作。处理器110可以被配置为,在例如两个独立的消息线程中同时地接收和发送消息250。处理器110可以被编程为,分析、处理和/或解析正在接收的仅音频和/或音频-视频消息250,并且通过向与所接收的消息250相关的线程的其他用户发送消息250来进行相应的应答。处理器110可以被编程为,用包含与线程的用户所共享的音频和/或视频内容相关的教育性或广告性内容的消息250进行应答。例如,正在购物的用户可以在消息中发送他/她希望接收其更多信息的产品的图像。接收消息250的客户端100可以处理消息250中的图像,并识别该产品,例如使用光学字符识别或条码。客户端100可以用包含广告性或其他信息,诸如价格和/或服务信息的消息250来应答。
实例:相机安保系统
处于处理器控制下的客户端100根据本发明的实施例的另一实例是相机安保系统。可以将多个安保相机独立地连接到客户端发射机100T,并且被编程为通过单播或广播来向一个或多个客户端接收方100R进行发送。用户,例如安保人员可以观看客户端发射机100T的显示器,来发现在客户端发射机100T的任意位置或全部位置处的可疑活动。一个或多个客户端接收方100R可以是固定的,或者是移动计算机系统。可以基于时间间隔或本地图像处理,例如在不同图像的图像帧之间的不同图像中的显著特征,来预先编程发送决定(判断块304)。可替换地,也可以在网络106的其它地方执行图像处理。客户端接收方100R可以以例如轮询或随机的方式来接收视频消息250。如果基于其中一个消息250,发生了重要事件,例如可疑活动,可以由其中一个客户端发射机100T通过管理服务器205a、视频服务器206、由其中一个客户端接收方100R的用户通过管理服务器205a、或者由管理服务器205基于正在进行的图像处理,来通知对轮询的中断。按照在安保系统中提供证据的要求,在视频数据系统206中保持全部视频消息的集中存档。
字符串的实例:
由客户端发射机100T发送的字符串实例为:
定义
本发明的实施例可以包括包含各种计算机硬件组件的通用或专用计算机系统,这些组件将会在以下更为详细地论述。本发明的范围内的各个实施例还包括用于携带或具有存储在其上的计算机可执行指令、计算机可读指令或数据结构的计算机可读媒体。所述计算机可读媒体可以是可由通用或专用计算机系统访问的任何可用媒体。作为实例而非限定,所述计算机可读媒体可以包括诸如以下之类的物理存储媒体:RAM、ROM、EPROM、快闪盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储设备、或能够用来携带或存储采用计算机可执行指令、计算机可读指令或数据结构的形式且可由通用或专用计算机系统访问的期望的程序代码方式的任何其他媒体。
在说明书和所附权利要求中,“计算机系统”被定义为一起工作来对电子数据执行操作的一个或多个软件模块、一个或多个硬件模块、或其组合。例如,计算机系统的定义包括个人计算机的硬件组件,以及软件模块,诸如个人计算机的操作系统。所述模块的物理布局并不重要。计算机系统可以包括通过计算机网络耦合的一个或多个计算机。类似地,计算机系统可以包括单个物理设备(诸如电话或个人数字助理PDA),其中,内部模块(诸如存储器和处理器)一起工作来对电子数据执行操作。虽然任何计算机系统可以是移动的,但是术语“移动计算机系统”特别包括膝上型计算机、笔记本计算机、蜂窝电话、智能电话、无线电话、个人数字助理、具有触摸屏的便携式计算机等等。
在说明书和所附权利要求中,“网络”被定义为其中两个或更多个计算机系统可以交换数据的任何架构。术语“网络”可以包括广域网、因特网局域网、内部网、诸如“Wi-fi”之类的无线网、虚拟私有网、使用接入点名(APN)的移动接入网和因特网。所交换的数据可以是对于所述两个或更多个计算机系统有意义的电信号形式。当在网络上或到计算机系统或计算机设备的另一通信连接(硬连线、无线、或硬连线或无线二者)上传送或提供数据时,该连接被适当地视为计算机可读媒体。因此,任何此类连接都被适当地命名为瞬态计算机可读媒体。上述各项的组合也应包含在计算机可读媒体的范围内。计算机可执行指令包括:例如,导致通用计算机系统或专用计算机系统执行特定功能或功能组的指令和数据。本文所使用的术语“服务器”指的是包括处理器、数据存储设备和网络适配器并通常被配置为在计算机网络上提供服务的计算机系统。本文所使用的术语“客户端”是接收服务器所提供的服务的计算机系统。
术语“视频”指的是可选地按照时序对图像或一个以上图像的捕获和显示。在根据用于组合视频和音频信息的任何已知技术而存在伴随所述图像或一个以上图像的声音时,术语“视频”包括音频。术语“视频”和“音频-视频”在本文中可交换地使用。术语“视频”和“音频-视频”可以包括多个信号,诸如与视频组合的立体声音频和/或与音频组合的三维视频。
本文所使用的术语“消息”指的是音频-视频内容或伴随有由相机实时捕获的一个或多个图像或伴随有先前捕获的图像或视频的音频。
本文所使用的术语“多播”是在单个传输中从源或发射端计算机系统将音频-视频消息同时地传递给一组目的地计算机系统。
本文所使用的术语“单播”指的是向单个指定计算机系统发送音频-视频消息。
本文所使用的术语“广播”指的是向全部可能的目的地发送音频-视频消息。
本文所使用的术语“上传”指的是数据文件先前在本地存储在客户端计算机系统上的本地存储设备中并被复制到服务器中的存储设备。
本文所使用的术语“下载”指的是数据文件先前存储在服务器上并被复制到客户机计算机系统中的本地存储设备。
本文所使用的术语“统一资源标识符”或“URI”指的是用于标识名称或源的字符串,并能够实现在使用特定协议的网络(通常为万维网)上与源的表示进行交互。指定具体语法的方案和相关协议定义了每个URI。URI可以分类为统一资源定位符(URL)和/或统一资源名称(URN)。
本文所使用的术语“字符串”或“消息块”包括网络资源(例如音频消息)的名称和/或位置的标识符,和/或针对一个或多个客户端接收方的标识符。字符串或消息块可以包括URI、URN和URL或其部分。“字符串”可以编码到二进制码中发送,以二进制码的形式被接收,并在接收机处进行解码以确定接收方的标识符和视频消息。
本文所使用的术语“客户端发射机”和“客户端接收方”指的是其实例被示出为图1中的移动计算机系统100的客户端计算机系统。指代单路通信的发射机和接收方的角色是可颠倒的。
在发送和接收视频消息的上下文中的术语“交替地”指的是计算机系统被配置为或者发送视频内容或者接收视频内容,但不能在同一时间同时地发射和接收视频内容。
本文所使用的术语“流传输(streaming)”指的是消费视频内容,同时可选地使用客户端存储设备101作为临时高速缓冲存储设备,同时避免在客户端计算机系统100中的存储设备101中的本地文件中存储视频内容的可访问副本。
在视频和/或音频内容的上下文中的术语“消费”指的是向用户显示包括伴随的音频的视频内容,或者在音频内容的情况中,向用户播放音频内容。术语“消费”、“播放”和“显示”在本文中可互换地使用。
本文中在接收视频消息和/或视频内容的上下文中所使用的数据“接收”在本发明的不同实施例中包括:流传输并消费视频内容;和/或将视频内容复制到本地存储设备101中并随后从存储设备101中消费视频内容。
本文所使用的术语“延迟”指的是在客户端发射机开始发送视频消息的时刻到在客户端接收方可用时通过将视频消息流传输到客户端接收方来接收并显示的时刻之间的时间。
术语“减少的延迟”或“低延迟”在本文中可互换地使用,并在不同实施例中指的是小于6秒或小于5秒或小于4秒或小于3秒或小于2秒的延迟。
术语“可用”使得是连接到本发明的实施例可在其上操作的数据通信网络且具有用于执行方法301的客户端应用的客户端计算机系统。
术语“不可用”使得是客户端计算机系统未连接到本发明的实施例可在其上操作的数据通信网络,或者连接到数据通信网络20但具有用于执行在背景中运行的方法301的客户端应用或并未安装客户端应用或客户端应用被无效的。
本文所使用的术语“对话”指的是在两个或更多个人之间共享网络上的一个或多个消息。
在消息的上下文中,术语“线程”在本文中用于指代在两个或更多个客户端计算机系统100之间发送和接收的多个消息,同时可选地保持这些消息的传输的时间顺序。
在本文中使用的不定冠词“a”、“an”,诸如“连接(aconnection)”、“服务器(aserver)”、“消息(amessage)”具有一个或多个的含义,即“一个或多个连接”、“一个或多个服务器”和“一个或多个消息”。
本发明的其他实施例
可以在客户端计算机系统上安装各种按钮,以便根据本文公开的方法来控制客户端计算机系统。按钮可以包括如下模式:当该按钮被以小于1秒的持续时间轻击时,则视频记录开始,并且同时视频记录的传输开始。第二次轻击可以停止记录,并且由此停止传输并使能接收。可以通过相继地间断地轻击按钮,来执行在记录/传输状态与使能接收状态之间的切换。
按钮还可以包括如下模式:其中,将按钮保持或触摸预定时间段,例如2秒。可以开始视频记录并且开始视频记录的同时传输。对按钮的释放可以结束记录/传输并使能视频内容的接收。在另一模式中,按照先前定义的方向滑动按钮,并在先前定义的时间段内立即释放。音频记录(并不同时捕获图像)和传输可以开始。当按钮被滑回其原始位置时,可以停止音频记录/传输,并使能接收。针对仅音频的记录/传输,可以将按钮在滑动位置处按下一个时间段,例如2秒。在滑动位置处释放按钮则停止音频记录和传输。
本文公开了各种数据通信系统,在多个计算机系统之间的视频通信被配置为发送和接收视频内容。客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机,客户端计算机系统中的一个(或多个)在进行接收时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接,并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。第一客户端计算机系统可以向第二客户端计算机系统发送多个消息。该多个消息包括第一消息和第二消息。在由客户端发射机进行发送时,从第一消息的开始到第二消息的结束之间的时间间隔TTX可以大于在由客户端接收方进行接收时从第一消息的开始到第二消息的结束之间的时间间隔TRX,从而客户端接收方连续地接收第一和第二消息,同时在所述多个消息中的至少一个消息的传输正在进行。
本文公开了各种数据通信系统,在多个计算机系统之间的视频通信被配置为发送和接收视频内容。客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机,客户端计算机系统中的一个(或多个)在进行接收时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接,并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。在从多个客户端发射机分别发送多个消息期间,旨在发往同一客户端接收方的所述多个消息在时间上至少部分地重叠。所述多个消息在该客户端接收方连续地接收且上时间上偏移,同时从客户端发射机中的至少一个对所述消息中的至少一个的发送正在进行。
本文公开了各种数据通信系统,在多个计算机系统之间的视频通信被配置为发送和接收视频内容。客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机,客户端计算机系统中的一个(或多个)在进行接收时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接,并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。客户端计算机系统中的一个或多个可由处理器控制,所述处理器被配置为通过从视频服务器进行流传输来接收消息,处理所接收的消息,并响应于所接收的消息,向共享同一线程的其他客户端计算机系统发送应答消息。如果客户端发射机检测到或知道次最优网络状况,可以将视频消息减小为具有减少的信息内容的视频消息,从而可以在从视频消息的客户端发射机的传输仍在进行的同时,接收/消费第二视频消息。在该具有减少的信息内容的视频消息的初始传输之后,可以重新存储或替换具有较高质量的原始视频消息以便客户端接收方的后续接收/消费。
本文公开了各种数据通信系统,包括在被配置为发送和接收视频内容的多个客户端计算机系统之间的视频通信。客户端计算机系统被配置为建立与视频服务器的连接,将发送视频消息发送到视频服务器,并从视频服务器接收接收视频消息。视频服务器对所述发送视频消息和所述接收视频消息进行存档。如果在正在发送所述发送视频消息的同时开始接收所述接收消息,则将所述接收消息在本地至少部分地存储在客户端计算机系统中的本地存储设备中,以便在所述发送视频消息的传输之后显示给客户端计算机系统的用户。否则,如果所述接收的消息的接收并未与所述发送消息的发送交叠,则将所述接收消息作为来自视频服务器的流显示给用户,同时避免将所述接收消息存储在客户端计算机系统中的本地存储设备中。
本文提供了客户端计算机系统的用户接口,其可连接到数据通信系统。用户接口允许用户选择性地体验以下之一:发送发送视频消息或消费接收视频消息。所述发送视频消息可以包括在传输期间同时地捕获的图像帧。如果在图像帧的捕获期间或所述发送消息的传输/记录期间正在消费接收消息,则可以将所述接收消息至少部分地存储在连接到客户端计算机系统的本地存储设备中。当所述发送消息的传输完成时可以通过从本地存储设备中取回所述接收消息来将所述接收消息显示给用户。如果正在消费入站消息,则通过从本地存储设备取回发送消息,来同时在客户端计算机系统的背景中发送所述发送消息。
尽管已经示出并描述本发明的所选择的实施例,但是要理解本发明并不局限于所描述的实施例。
Claims (22)
1.一种用于在被配置为客户端计算机系统的多个计算机系统之间的视频通信的数据通信网络,其中,所述客户端计算机系统中的至少一个在进行发送时是客户端发射机,并且其中,所述客户端计算机系统中的至少一个在进行接收或消费时是客户端接收方,其中,所述客户端发射机能够发送或记录视频消息以用于在客户端接收方上显示,所述数据通信网络包括:
视频服务器,其中,所述客户端发射机被配置为建立与所述视频服务器的连接,并将所述视频消息发送到所述视频服务器,并且其中,所述视频服务器被配置为对所述视频消息进行存档,并且其中,所述视频服务器被配置为将所述视频消息发送给所述客户端接收方;
如果在所述视频消息的传输开始期间所述客户端接收方不可用,并且其中在所述视频消息的传输期间稍后所述客户端接收方可用,则所述客户端接收方能够从所述视频消息的开始处显示所述视频消息,同时所述视频消息的传输正在进行。
2.如权利要求1所述的数据通信网络,其中,所述客户端计算机系统被配置为交替作为客户端发射机和客户端接收机,并且交替地发送和接收视频内容。
3.如权利要求1所述的数据通信网络,还包括:
管理服务器,适于从所述客户端发射机接收第一字符串,并作为响应,向所述客户端接收方发送包含对所述客户端发射机的参考的第二字符串;并且
响应于接收到所述第二字符串,所述客户端接收方被配置为向所述视频服务器发送第三字符串,其中,所述第三字符串参考所述视频消息,并且一旦所述视频服务器接收到所述第三字符串,所述视频服务器就将所述视频消息发送给所述客户端接收方。
4.能够在权利要求3所述的数据通信网络中使用的所述管理服务器,所述管理服务器包括:
管理接收机模块,适于从所述客户端发射机接收第一字符串;以及
管理发射机模块,适于向所述客户端接收方发送所述第二字符串。
5.如权利要求1所述的数据通信网络,其中,当客户端接收方不可用时,所述客户端接收方适于:在所述客户端接收方稍后可用时,从所述视频服务器的消息存档中取回所述视频消息。
6.如权利要求1所述的数据通信网络,其中,被配置为客户端发射机的至少两个所述客户端计算机系统能够同时地向相同的客户端接收方发送各自的视频消息。
7.被配置为在如权利要求1所述的数据通信网络中使用的所述客户端计算机系统。
8.如权利要求7所述的客户端计算机系统,包括:
相机,适于记录第一视频消息;
发射机模块,被配置为:
与所述视频服务器建立连接,
向所述视频服务器发送所述第一视频消息;
接收机模块,被配置为:
接收第二视频消息,并且
显示所述第二视频消息。
9.能够在权利要求1所述的数据通信网络中使用的所述视频服务器,所述视频服务器包括:
网络适配器,被配置为建立与所述客户端发射机的连接,并接收所述视频消息;
视频数据存储设备,适于对所述视频消息进行存档,其中,所述网络适配器被配置为向所述客户端接收方发送所述视频消息。
10.一种在多个客户端计算机系统之间视频通信的方法,其中,所述客户端计算机系统中的至少一个在进行发送时是客户端发射机,并且其中,所述客户端计算机系统中的至少一个在进行接收或消费时是客户端接收方,其中,所述视频通信可以在包括视频服务器的数据通信网络上执行,所述方法包括使能以下步骤:
所述客户端发射机建立与所述视频服务器的连接,并将视频消息发送到所述视频服务器;
所述视频服务器对所述视频消息进行存档;
所述视频服务器将所述视频消息发送给所述客户端接收方;并且
其中如果在所述视频消息的传输开始期间所述客户端接收方不可用,并且其中在所述视频消息的传输期间稍后所述客户端接收方可用,则在所述视频消息向所述视频服务器的所述发送期间,所述客户端接收方从所述视频消息的开始处显示所述视频消息。
11.如权利要求10所述的方法,其中所述客户端计算机系统被配置为交替作为客户端发射机和客户端接收机,并且交替地发送和接收视频内容。
12.如权利要求10所述的方法,还包括:
所述客户端接收方接收所述视频消息;以及
在所述客户端接收方上显示所述视频消息。
13.如权利要求10所述的方法,还包括使能以下步骤:
选择所述客户端接收方,在所述视频消息正在向所述视频服务器发送的同时,用于所述接收或消费所述视频消息。
14.如权利要求10所述的方法,其中,自主地执行建立所述连接,而无需所述客户端发射机的用户的干预。
15.如权利要求10所述的方法,其中,响应于先前安装在所述客户端发射机中的程序,执行建立所述连接。
16.如权利要求10所述的方法,还包括使能以下步骤:
监视所述客户端发射机的用户的动作,其中,基于监视所述用户的所述动作,执行建立所述连接。
17.如权利要求10所述的方法,还包括:
通过在从所述客户端发射机向所述视频服务器发送所述视频消息的同时从所述视频服务器向所述客户端接收方发送所述视频消息,来减少延迟。
18.如权利要求10所述的方法,还包括:
所述客户端发射机向管理服务器发送包含对所述客户端接收方的参考的第一字符串;
一旦所述管理服务器接收到所述第一字符串,
所述管理服务器向所述客户端接收方发送第二字符串;其中,所述第二字符串基于所述第一字符串,
一旦接收到所述第二字符串,所述客户端接收方向所述视频服务器发送第三字符串,其中,所述第三字符串基于所述第二字符串;
一旦接收到所述第三字符串,所述视频服务器执行所述发送。
19.如权利要求18所述的方法,其中,在无需向所述客户端接收方的用户预先通知的情况下,执行所述客户端接收方将第三字符串向所述视频服务器的所述发送。
20.一种编码有处理指令的计算机可读媒体,所述处理指令导致客户端计算机系统的处理器执行权利要求10所述的方法步骤。
21.一种编码有处理指令的计算机可读媒体,所述处理指令导致视频服务器的处理器执行权利要求10所述的方法步骤。
22.一种编码有处理指令的计算机可读媒体,所述处理指令导致管理服务器的处理器执行权利要求10所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011300695.7A CN112291500B (zh) | 2012-12-28 | 2013-12-24 | 用于双模式多媒体消息收发的方法和装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1223468.8A GB2509323B (en) | 2012-12-28 | 2012-12-28 | Reduced latency server-mediated audio-video communication |
GB1223468.8 | 2012-12-28 | ||
PCT/IB2013/061311 WO2014102720A1 (en) | 2012-12-28 | 2013-12-24 | Reduced latency server- mediated audio-video communication |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011300695.7A Division CN112291500B (zh) | 2012-12-28 | 2013-12-24 | 用于双模式多媒体消息收发的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105144673A true CN105144673A (zh) | 2015-12-09 |
CN105144673B CN105144673B (zh) | 2020-12-08 |
Family
ID=47716251
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011300695.7A Active CN112291500B (zh) | 2012-12-28 | 2013-12-24 | 用于双模式多媒体消息收发的方法和装置 |
CN201380072948.1A Active CN105144673B (zh) | 2012-12-28 | 2013-12-24 | 延迟减少的服务器干预式音频-视频通信 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011300695.7A Active CN112291500B (zh) | 2012-12-28 | 2013-12-24 | 用于双模式多媒体消息收发的方法和装置 |
Country Status (16)
Country | Link |
---|---|
US (5) | US10739933B2 (zh) |
EP (1) | EP2939406A1 (zh) |
JP (1) | JP2016511949A (zh) |
KR (1) | KR20150103118A (zh) |
CN (2) | CN112291500B (zh) |
AU (5) | AU2013368906B2 (zh) |
BR (1) | BR112015015455A2 (zh) |
CA (1) | CA2896281A1 (zh) |
DE (1) | DE202013012652U1 (zh) |
GB (1) | GB2509323B (zh) |
HK (1) | HK1216804A1 (zh) |
IL (4) | IL239559B (zh) |
MX (1) | MX2015008185A (zh) |
RU (1) | RU2015126358A (zh) |
SG (2) | SG11201504981RA (zh) |
WO (1) | WO2014102720A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109144642A (zh) * | 2018-08-14 | 2019-01-04 | Oppo广东移动通信有限公司 | 显示控制方法、装置、电子设备及存储介质 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180029B2 (en) | 2007-06-28 | 2012-05-15 | Voxer Ip Llc | Telecommunication and multimedia management method and apparatus |
US9178916B2 (en) | 2007-06-28 | 2015-11-03 | Voxer Ip Llc | Real-time messaging method and apparatus |
US11095583B2 (en) | 2007-06-28 | 2021-08-17 | Voxer Ip Llc | Real-time messaging method and apparatus |
US20110019662A1 (en) | 2007-06-28 | 2011-01-27 | Rebelvox Llc | Method for downloading and using a communication application through a web browser |
GB2509323B (en) | 2012-12-28 | 2015-01-07 | Glide Talk Ltd | Reduced latency server-mediated audio-video communication |
US10284813B2 (en) * | 2014-03-17 | 2019-05-07 | Microsoft Technology Licensing, Llc | Automatic camera selection |
US9888207B2 (en) | 2014-03-17 | 2018-02-06 | Microsoft Technology Licensing, Llc | Automatic camera selection |
US20150264307A1 (en) * | 2014-03-17 | 2015-09-17 | Microsoft Corporation | Stop Recording and Send Using a Single Action |
US9749585B2 (en) | 2014-03-17 | 2017-08-29 | Microsoft Technology Licensing, Llc | Highlighting unread messages |
US10178346B2 (en) * | 2014-03-17 | 2019-01-08 | Microsoft Technology Licensing, Llc | Highlighting unread messages |
US9948580B2 (en) * | 2015-06-19 | 2018-04-17 | Whatsapp Inc. | Techniques to replicate data using uploads from messaging clients |
US20190007355A1 (en) * | 2017-06-29 | 2019-01-03 | Salesforce.Com, Inc. | Communicating with client devices using over-the-top communication channels |
CN107426088A (zh) * | 2017-07-20 | 2017-12-01 | 北京小米移动软件有限公司 | 图片信息处理方法及装置 |
US20190324776A1 (en) * | 2018-04-18 | 2019-10-24 | Microsoft Technology Licensing, Llc | Dynamic management of interface elements based on bound control flow |
US10944801B1 (en) * | 2019-02-25 | 2021-03-09 | Amazon Technologies, Inc. | Serverless signaling in peer-to-peer session initialization |
US10904193B1 (en) * | 2019-03-28 | 2021-01-26 | Snap Inc. | Modular chat in a content sharing platform |
US20200387217A1 (en) * | 2019-06-07 | 2020-12-10 | Eyetech Digital Systems, Inc. | Devices and Methods For Reducing Computational and Transmission Latencies In Cloud Based Eye Tracking Systems |
CN112738639B (zh) * | 2020-12-25 | 2023-08-18 | 北京百度网讯科技有限公司 | 视频切换方法及装置、电子设备、计算机可读介质 |
US12010360B1 (en) * | 2021-02-08 | 2024-06-11 | Amazon Technologies, Inc. | Techniques for recreating outputting of content |
WO2023153786A1 (en) * | 2022-02-09 | 2023-08-17 | Samsung Electronics Co., Ltd. | Method of managing media communication in mission critical (mc) system, mc server, and receiver thereof |
US12002290B2 (en) | 2022-02-25 | 2024-06-04 | Eyetech Digital Systems, Inc. | Systems and methods for hybrid edge/cloud processing of eye-tracking image data |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1393090A (zh) * | 2000-08-02 | 2003-01-22 | 诺基亚有限公司 | 形成多媒体流式传输对话的方法 |
CN101505317A (zh) * | 2008-02-08 | 2009-08-12 | 埃森哲环球服务有限公司 | 流式媒体中断与恢复系统 |
US20110276637A1 (en) * | 2010-05-06 | 2011-11-10 | Microsoft Corporation | Techniques to share media files through messaging |
Family Cites Families (183)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61157138A (ja) | 1984-12-28 | 1986-07-16 | Sony Corp | 留守番電話装置 |
US5524137A (en) | 1993-10-04 | 1996-06-04 | At&T Corp. | Multi-media messaging system |
US5673205A (en) | 1996-04-08 | 1997-09-30 | Lucent Technologies Inc. | Accessing a video message via video snapshots |
US6212550B1 (en) | 1997-01-21 | 2001-04-03 | Motorola, Inc. | Method and system in a client-server for automatically converting messages from a first format to a second format compatible with a message retrieving device |
JP3772502B2 (ja) | 1997-12-22 | 2006-05-10 | ソニー株式会社 | 受信装置および情報処理装置 |
JP3988102B2 (ja) | 1998-11-06 | 2007-10-10 | 富士フイルム株式会社 | 腕装着型カメラ |
US6501502B1 (en) | 2000-06-29 | 2002-12-31 | Kuo-Cheng Chen | Automatic detector for starting security cameras |
US8120625B2 (en) | 2000-07-17 | 2012-02-21 | Microsoft Corporation | Method and apparatus using multiple sensors in a device with a display |
US6894714B2 (en) * | 2000-12-05 | 2005-05-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for predicting events in video conferencing and other applications |
US20030043042A1 (en) | 2001-08-21 | 2003-03-06 | Tabula Rasa, Inc. | Method and apparatus for facilitating personal attention via wireless networks |
US8825812B2 (en) | 2001-10-11 | 2014-09-02 | Oren Asher | Method and system for peer-to-peer image streaming |
US20030079039A1 (en) | 2001-10-16 | 2003-04-24 | Forkner Damien R. | Web server utilizing a state machine and user token |
JP4313560B2 (ja) | 2001-10-31 | 2009-08-12 | パナソニック株式会社 | 携帯電話 |
US7640293B2 (en) | 2002-07-17 | 2009-12-29 | Research In Motion Limited | Method, system and apparatus for messaging between wireless mobile terminals and networked computers |
WO2004034674A1 (en) | 2002-09-30 | 2004-04-22 | Popwire.Com | Dynamic transferring software/protocol |
WO2004036852A1 (de) | 2002-10-15 | 2004-04-29 | Web.De Ag | Zugriffsbenachrichtigung eines absenders einer elektronischen nachricht |
US7613773B2 (en) | 2002-12-31 | 2009-11-03 | Rensselaer Polytechnic Institute | Asynchronous network audio/visual collaboration system |
US7185285B2 (en) | 2003-02-19 | 2007-02-27 | Microsoft Corporation | User interface and content enhancements for real-time communication |
US8161116B2 (en) | 2003-05-23 | 2012-04-17 | Kirusa, Inc. | Method and system for communicating a data file over a network |
JP2004364227A (ja) * | 2003-06-09 | 2004-12-24 | Sony Corp | 受信装置および選局方法、ならびに、ストリーム配信システム |
US7283644B2 (en) | 2003-06-27 | 2007-10-16 | International Business Machines Corporation | System and method for enhancing security applications |
JP2005191642A (ja) * | 2003-12-24 | 2005-07-14 | Ricoh Co Ltd | 仮想オフィス空間提供プログラム、仮想オフィス空間提供装置、仮想オフィス空間提供方法、仮想オフィス空間提供システム、及び仮想オフィス空間提供プログラムを記憶する記憶媒体 |
US8081586B2 (en) | 2004-04-07 | 2011-12-20 | Nokia Corporation | Method and apparatus to convey a URI for content indirection use in SIP |
JP2005348073A (ja) * | 2004-06-02 | 2005-12-15 | Canon Inc | 映像配信サーバ及び映像配信方法、並びにプログラム及び記憶媒体 |
KR100916274B1 (ko) | 2004-06-07 | 2009-09-10 | 슬링 미디어 인코퍼레이티드 | 퍼스널 미디어 브로드캐스팅 시스템 |
US20050276164A1 (en) | 2004-06-12 | 2005-12-15 | Scott Amron | Watch adapted to rotate a displayed image so as to appear in a substantially constant upright orientation |
US7409205B2 (en) | 2004-06-29 | 2008-08-05 | Nokia Corporation | Virtual radio |
US7826831B2 (en) | 2004-06-30 | 2010-11-02 | Bettis Sonny R | Video based interfaces for video message systems and services |
US20060015799A1 (en) | 2004-07-13 | 2006-01-19 | Sung Chih-Ta S | Proxy-based error tracking for real-time video transmission in mobile environments |
US20060055771A1 (en) * | 2004-08-24 | 2006-03-16 | Kies Jonathan K | System and method for optimizing audio and video data transmission in a wireless system |
EP1643744A1 (en) | 2004-10-04 | 2006-04-05 | Alcatel | Method for transfering video data to several users in an MMS-network |
US20060098624A1 (en) * | 2004-11-10 | 2006-05-11 | Morgan David P | Using session initiation protocol |
US20060114314A1 (en) * | 2004-11-19 | 2006-06-01 | Sony Ericsson Mobile Communications Ab | Picture/video telephony for a push-to-talk wireless communications device |
DE602005004507T2 (de) * | 2005-03-08 | 2009-01-29 | Alcatel Lucent | Drücken-zum-Sprechen Verfahren und Server |
US20060210027A1 (en) * | 2005-03-16 | 2006-09-21 | Oded Kafri | Method and system for storing and sending multimedia messaging service (MMS) messages |
JP2008546301A (ja) * | 2005-06-02 | 2008-12-18 | サムスン エレクトロニクス カンパニー リミテッド | PoCネットワークにおいて中断されたメディア伝送権の回復方法及びシステム |
JP4341616B2 (ja) * | 2005-12-02 | 2009-10-07 | ソニー株式会社 | ネットワークカメラシステムおよびネットワークカメラ制御プログラム |
KR20070075637A (ko) | 2006-01-13 | 2007-07-24 | 케이티하이텔 주식회사 | 예약전송이 가능한 메신저 서비스 시스템 및 방법 |
US20070174425A1 (en) * | 2006-01-20 | 2007-07-26 | Jean-Philippe Gousse | Method and apparatus for communicating with a user using video |
US8224366B2 (en) * | 2006-02-17 | 2012-07-17 | Qualcomm Incorporated | System and method for multiple simultaneous communication groups in a wireless system |
US7817987B2 (en) | 2006-03-07 | 2010-10-19 | Motorola, Inc. | Apparatus and method for handling messaging service message adaptation |
US7937417B2 (en) | 2006-04-11 | 2011-05-03 | Nokia Corporation | Mobile communication terminal and method |
US20070282905A1 (en) | 2006-06-06 | 2007-12-06 | Sony Ericsson Mobile Communications Ab | Communication terminals and methods for prioritizing the playback of distributed multimedia files |
CN102427557B (zh) | 2006-06-15 | 2016-08-17 | 索尼株式会社 | 信息处理装置以及信息处理方法 |
NO325064B1 (no) * | 2006-07-06 | 2008-01-28 | Tandberg Telecom As | Kommunikasjonsklient |
EP1879347B1 (en) * | 2006-07-14 | 2012-05-30 | Sony Europe Limited | System and method of audio/video streaming |
US7961212B2 (en) * | 2006-08-14 | 2011-06-14 | Verizon Data Services Llc | Video messaging system |
US8260263B2 (en) | 2006-10-13 | 2012-09-04 | Dialogic Corporation | Dynamic video messaging |
US7733808B2 (en) | 2006-11-10 | 2010-06-08 | Microsoft Corporation | Peer-to-peer aided live video sharing system |
US20080133669A1 (en) * | 2006-11-30 | 2008-06-05 | Li Ge | Sending and receiving electronic mail using group headers |
US9762861B2 (en) * | 2006-12-05 | 2017-09-12 | Excalibur Ip, Llc | Telepresence via wireless streaming multicast |
US20080151786A1 (en) * | 2006-12-21 | 2008-06-26 | Motorola, Inc. | Method and apparatus for hybrid audio-visual communication |
CN101079835A (zh) | 2006-12-21 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 一种基于即时通信软件实现离线多媒体留言的方法及系统 |
EP1940097B1 (en) * | 2006-12-28 | 2010-04-28 | Ericsson AB | Messaging method and server |
WO2008085201A2 (en) * | 2006-12-29 | 2008-07-17 | Prodea Systems, Inc. | Managed file backup and restore at remote storage locations through multi-services gateway device at user premises |
US8019055B2 (en) | 2007-01-19 | 2011-09-13 | Nokia Corporation | Media instant messaging for mobile device |
KR101356490B1 (ko) * | 2007-02-06 | 2014-01-29 | 엘지전자 주식회사 | 수신기 및 이 수신기에서 단말기와 데이터 통신을 수행하는방법 |
GB0703276D0 (en) | 2007-02-20 | 2007-03-28 | Skype Ltd | Instant messaging activity notification |
TW200842686A (en) | 2007-04-30 | 2008-11-01 | High Tech Comp Corp | A method for displaying and organizing messages received from or sent to communication devices and a portable messaging device |
CN101299829B (zh) * | 2007-04-30 | 2012-04-04 | 华为技术有限公司 | 一种实现统一存储中管理媒体内容的方法和消息系统 |
US7578168B2 (en) * | 2007-06-27 | 2009-08-25 | Asml Holding N.V. | Increasing gas gauge pressure sensitivity using nozzle-face surface roughness |
US8533611B2 (en) * | 2009-08-10 | 2013-09-10 | Voxer Ip Llc | Browser enabled communication device for conducting conversations in either a real-time mode, a time-shifted mode, and with the ability to seamlessly shift the conversation between the two modes |
US8180029B2 (en) * | 2007-06-28 | 2012-05-15 | Voxer Ip Llc | Telecommunication and multimedia management method and apparatus |
GB0712879D0 (en) * | 2007-07-03 | 2007-08-08 | Skype Ltd | Video communication system and method |
US20090037826A1 (en) | 2007-07-31 | 2009-02-05 | Christopher Lee Bennetts | Video conferencing system |
DE102007036035A1 (de) * | 2007-08-01 | 2009-02-05 | Siemens Ag | Steuervorrichtung zur Steuerung eines Bestrahlungsvorgangs, Partikeltherapieanlage sowie Verfahren zur Bestrahlung eines Zielvolumens |
US20090046838A1 (en) * | 2007-08-15 | 2009-02-19 | Sony Ericsson Mobile Communications Ab | System, Method, and Device for Playing Music During Conversation Suspension |
US8869181B2 (en) * | 2007-09-28 | 2014-10-21 | At&T Intellectual Property I, L.P. | Method and system for message notification |
US9060094B2 (en) | 2007-09-30 | 2015-06-16 | Optical Fusion, Inc. | Individual adjustment of audio and video properties in network conferencing |
EP2048853A1 (en) | 2007-10-11 | 2009-04-15 | Nextlead GmbH | System and user terminal for storing, managing and displaying image, audio or video files |
US8090867B2 (en) * | 2007-10-19 | 2012-01-03 | Voxer Ip Llc | Telecommunication and multimedia management method and apparatus |
CN101150538A (zh) | 2007-10-23 | 2008-03-26 | 中兴通讯股份有限公司 | 一种收发即时多媒体信息的方法和装置 |
WO2009070841A1 (en) | 2007-12-05 | 2009-06-11 | It Au0801806Rsity Of Technology | Social multimedia management |
US9054912B2 (en) * | 2008-02-08 | 2015-06-09 | Voxer Ip Llc | Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode |
US8542804B2 (en) * | 2008-02-08 | 2013-09-24 | Voxer Ip Llc | Voice and text mail application for communication devices |
US8321582B2 (en) * | 2008-02-08 | 2012-11-27 | Voxer Ip Llc | Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode |
US20090228808A1 (en) * | 2008-03-05 | 2009-09-10 | The Nasdaq Omx Group, Inc. | Web Conferencing |
JP2009239697A (ja) * | 2008-03-27 | 2009-10-15 | Sumitomo Electric Ind Ltd | ゲートウェイ装置 |
US8819741B2 (en) | 2008-04-03 | 2014-08-26 | Microsoft Corporation | Streaming video over a wireless network |
US8401582B2 (en) | 2008-04-11 | 2013-03-19 | Voxer Ip Llc | Time-shifting for push to talk voice communication systems |
US9003051B2 (en) | 2008-04-11 | 2015-04-07 | Mobitv, Inc. | Content server media stream management |
US8499323B2 (en) | 2008-04-16 | 2013-07-30 | Nvidia Corporation | Method and apparatus for outputting media content |
US20090265429A1 (en) | 2008-04-22 | 2009-10-22 | Amivox Limited | Communications framework using hand held devices |
US8166119B2 (en) | 2008-04-25 | 2012-04-24 | T-Mobile Usa, Inc. | Messaging device for delivering messages to recipients based on availability and preferences of recipients |
US8269817B2 (en) * | 2008-07-16 | 2012-09-18 | Cisco Technology, Inc. | Floor control in multi-point conference systems |
KR101380482B1 (ko) | 2008-08-28 | 2014-04-01 | 쿄세라 코포레이션 | 통신 기기 |
RU2011120258A (ru) | 2008-10-30 | 2012-12-10 | Нокиа Корпорейшн | Способ и устройство для перемежения блока данных |
US9178842B2 (en) | 2008-11-05 | 2015-11-03 | Commvault Systems, Inc. | Systems and methods for monitoring messaging applications for compliance with a policy |
US8788977B2 (en) | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
US8700072B2 (en) | 2008-12-23 | 2014-04-15 | At&T Mobility Ii Llc | Scalable message fidelity |
US20100158232A1 (en) * | 2008-12-23 | 2010-06-24 | Nortel Networks Limited | Accessing recorded conference content |
CN101466034A (zh) | 2008-12-25 | 2009-06-24 | 华为技术有限公司 | 发送、播放流媒体数据的方法和装置及流媒体点播系统 |
US8767081B2 (en) * | 2009-02-23 | 2014-07-01 | Microsoft Corporation | Sharing video data associated with the same event |
US8259816B2 (en) | 2009-03-12 | 2012-09-04 | MIST Innovations, Inc. | System and method for streaming video to a mobile device |
US8520736B2 (en) | 2009-04-14 | 2013-08-27 | Fastvdo, Llc | Real-time superresolution and video transmission |
US9135363B2 (en) * | 2009-06-09 | 2015-09-15 | Gvoto (Hong Kong) Ltd. | Methods and systems for automatic content retrieval and organization |
US20100333155A1 (en) | 2009-06-30 | 2010-12-30 | Philip David Royall | Selectively using local non-volatile storage in conjunction with transmission of content |
GB0912507D0 (en) | 2009-07-17 | 2009-08-26 | Skype Ltd | Reducing processing resources incurred by a user interface |
KR20110011517A (ko) | 2009-07-28 | 2011-02-08 | 엘지전자 주식회사 | 다중반송파 지원 광대역 무선 통신 시스템에서의 반송파 관리 절차 수행 방법 및 장치 |
US7974233B2 (en) | 2009-07-29 | 2011-07-05 | Wiviu Technology Inc. | Systems and methods for transmitting and receiving data streams with feedback information over a lossy network |
JP5397081B2 (ja) | 2009-08-12 | 2014-01-22 | 富士通モバイルコミュニケーションズ株式会社 | 携帯端末 |
US20110063440A1 (en) | 2009-09-11 | 2011-03-17 | Neustaedter Carman G | Time shifted video communications |
US8510383B2 (en) * | 2009-09-14 | 2013-08-13 | Clixtr, Inc. | Method for providing event based media streams |
US8862762B1 (en) * | 2009-10-01 | 2014-10-14 | Skype | Real-time consumption of a live video stream transmitted from a mobile device |
CN101697549B (zh) | 2009-10-23 | 2013-12-04 | 中兴通讯股份有限公司 | 流媒体的展示方法、系统以及流媒体管理服务器 |
JP5478197B2 (ja) | 2009-11-02 | 2014-04-23 | 日立コンシューマエレクトロニクス株式会社 | 無線映像送信装置および無線映像受信装置 |
JP2013513313A (ja) * | 2009-12-02 | 2013-04-18 | ヴィディオ・インコーポレーテッド | インスタントメッセージングシステムおよび映像通信システムを結合するシステムおよび方法 |
US8862173B2 (en) | 2009-12-10 | 2014-10-14 | Motorola Solutions, Inc. | Method for selecting media for delivery to users at an incident |
US8913661B2 (en) | 2010-02-19 | 2014-12-16 | Skype | Motion estimation using block matching indexing |
US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
US20110264751A1 (en) | 2010-04-21 | 2011-10-27 | Jans Lucas A | System and method for a video emailing service |
WO2011161874A1 (ja) | 2010-06-23 | 2011-12-29 | 三菱電機株式会社 | 映像再現システム |
WO2012007597A1 (es) * | 2010-07-12 | 2012-01-19 | Telefonica, S.A. | Sistema de intercambio de mensajes ptt para multivideoconferencias breves |
CA2748060A1 (en) * | 2010-08-04 | 2012-02-04 | Iwatchlife Inc. | Method and system for making video calls |
US8572196B2 (en) | 2010-08-12 | 2013-10-29 | Netbriefings, Inc. | Systems and methods for video messaging and confirmation |
US8838696B2 (en) | 2010-09-15 | 2014-09-16 | Syniverse Technologies, Llc | Method and apparatus to provide an ecosystem for mobile video |
US9237305B2 (en) * | 2010-10-18 | 2016-01-12 | Apple Inc. | Overlay for a video conferencing application |
US20120109979A1 (en) | 2010-11-01 | 2012-05-03 | Research In Motion Limited | Apparatus, and associated method, for establishing a prioritized media-file playlist at media device |
KR20120062551A (ko) | 2010-12-06 | 2012-06-14 | 한국전자통신연구원 | 디지털 비디오 송신 장치 및 방법, 디지털 비디오 수신 장치 및 방법, 디지털 비디오 송수신 시스템 |
US8510398B2 (en) | 2010-12-10 | 2013-08-13 | At&T Intellectual Property I, Lp | Apparatus and method for managing message communication |
US20120162350A1 (en) | 2010-12-17 | 2012-06-28 | Voxer Ip Llc | Audiocons |
US20120182384A1 (en) | 2011-01-17 | 2012-07-19 | Anderson Eric C | System and method for interactive video conferencing |
US20120188376A1 (en) | 2011-01-25 | 2012-07-26 | Flyvie, Inc. | System and method for activating camera systems and self broadcasting |
EP3734406A1 (en) * | 2011-02-10 | 2020-11-04 | Samsung Electronics Co., Ltd. | Portable device comprising a touch-screen display, and method for controlling same |
US9336512B2 (en) | 2011-02-11 | 2016-05-10 | Glenn Outerbridge | Digital media and social networking system and method |
CN102145683A (zh) | 2011-03-11 | 2011-08-10 | 广东铁将军防盗设备有限公司 | 车辆视频记录仪 |
WO2012131708A2 (en) | 2011-03-25 | 2012-10-04 | Sisa Communication Pvt. Ltd | Video messaging and mailing service |
US20120275444A1 (en) * | 2011-04-28 | 2012-11-01 | Salah Shahsavari | Push-to-multimedia method and system for sharing multimedia information |
WO2012153167A1 (en) | 2011-05-09 | 2012-11-15 | Talkbox Limited | System and method for real-time transmission of multimedia messages |
US8943149B2 (en) * | 2011-05-16 | 2015-01-27 | International Business Machines Corporation | Sender motivated optimization of URI rendering in instant messaging |
US8594464B2 (en) | 2011-05-26 | 2013-11-26 | Microsoft Corporation | Adaptive super resolution for video enhancement |
US8635293B2 (en) | 2011-06-13 | 2014-01-21 | Microsoft Corporation | Asynchronous video threads |
US8984422B2 (en) | 2011-06-24 | 2015-03-17 | Google Inc. | Group conversation between a plurality of participants |
US9191431B2 (en) * | 2011-07-05 | 2015-11-17 | Verizon Patent And Licensing Inc. | Systems and methods for sharing media content between users |
US8804036B1 (en) | 2011-07-29 | 2014-08-12 | Pixelworks, Inc. | Encoding for super resolution playback |
US9088661B2 (en) | 2011-08-02 | 2015-07-21 | Genesys Telecommunications Laboratories, Inc. | Hands-free voice/video session initiation using face detection |
US9596084B2 (en) | 2011-09-09 | 2017-03-14 | Facebook, Inc. | Initializing camera subsystem for face detection based on sensor inputs |
CN103023742A (zh) | 2011-09-20 | 2013-04-03 | 佳都新太科技股份有限公司 | 一种在视频监控中利用即时通讯工具进行交互的新方法 |
US8824645B2 (en) | 2011-09-30 | 2014-09-02 | Verizon Patent And Licensing Inc. | Video messaging systems and methods |
US8279716B1 (en) | 2011-10-26 | 2012-10-02 | Google Inc. | Smart-watch including flip up display |
CN102378012A (zh) | 2011-11-26 | 2012-03-14 | 南京邮电大学 | 基于数据隐藏的h·264视频传输误码恢复方法 |
KR101891786B1 (ko) | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
CN102497600A (zh) | 2011-12-26 | 2012-06-13 | 深圳Tcl新技术有限公司 | 网络视频终端待机状态呼叫提醒方法、终端及服务器 |
US8947382B2 (en) | 2012-02-28 | 2015-02-03 | Motorola Mobility Llc | Wearable display device, corresponding systems, and method for presenting output on the same |
US8931011B1 (en) * | 2012-03-13 | 2015-01-06 | Amazon Technologies, Inc. | Systems and methods for streaming media content |
US9503683B2 (en) * | 2012-03-27 | 2016-11-22 | Google Inc. | Providing users access to applications during video communications |
US8566867B1 (en) * | 2012-04-03 | 2013-10-22 | Google Inc. | Pre-fetch ads while serving ads in live stream |
US8752112B2 (en) * | 2012-04-12 | 2014-06-10 | Google Inc. | Live streaming video processing |
US20130271655A1 (en) * | 2012-04-12 | 2013-10-17 | Google Inc. | System, apparatus and method to facilitate live video streaming |
US20130283330A1 (en) | 2012-04-18 | 2013-10-24 | Harris Corporation | Architecture and system for group video distribution |
US20130300821A1 (en) * | 2012-05-10 | 2013-11-14 | Qualcomm Incorporated | Selectively combining a plurality of video feeds for a group communication session |
US8718728B2 (en) * | 2012-05-31 | 2014-05-06 | Voxer Ip Llc | Smart case for mobile communication devices |
US8291041B1 (en) * | 2012-05-31 | 2012-10-16 | Google Inc. | Systems and methods for disseminating content to remote devices |
US8957973B2 (en) | 2012-06-11 | 2015-02-17 | Omnivision Technologies, Inc. | Shutter release using secondary camera |
US8863208B2 (en) | 2012-06-18 | 2014-10-14 | Micropower Technologies, Inc. | Synchronizing the storing of streaming video |
US9584834B1 (en) * | 2012-06-25 | 2017-02-28 | Google Inc. | Video broadcasting with geolocation |
CN103546437A (zh) | 2012-07-16 | 2014-01-29 | 中兴通讯股份有限公司 | 一种ims中实现离线消息收发的方法、ue及as |
EP2698686B1 (en) | 2012-07-27 | 2018-10-10 | LG Electronics Inc. | Wrist-wearable terminal and control method thereof |
CA2822215A1 (en) * | 2012-08-02 | 2014-02-02 | Iwatchlife Inc. | Collective broadcasting based on geo-localized video streaming |
CN103337110B (zh) | 2012-08-15 | 2015-06-24 | 上海达速物联网科技发展有限公司 | 采用储物柜系统进行存取货物的方法 |
US9699485B2 (en) | 2012-08-31 | 2017-07-04 | Facebook, Inc. | Sharing television and video programming through social networking |
US8560004B1 (en) | 2012-08-31 | 2013-10-15 | Google Inc. | Sensor-based activation of an input device |
US8782158B2 (en) | 2012-10-02 | 2014-07-15 | Tanner Cropper | System for sharing and tracking review of rich content, and methods associated therewith |
US20140101551A1 (en) | 2012-10-05 | 2014-04-10 | Google Inc. | Stitching videos into an aggregate video |
US20150241962A1 (en) | 2012-10-22 | 2015-08-27 | Vid Scale, Inc. | User presence detection in mobile devices |
US9191618B2 (en) * | 2012-10-26 | 2015-11-17 | Speedcast, Inc. | Method and system for producing and viewing video-based group conversations |
US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
GB2509323B (en) | 2012-12-28 | 2015-01-07 | Glide Talk Ltd | Reduced latency server-mediated audio-video communication |
KR101988279B1 (ko) | 2013-01-07 | 2019-06-12 | 삼성전자 주식회사 | 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
US20140197922A1 (en) | 2013-01-16 | 2014-07-17 | Cygnus Broadband, Inc. | System and method for positive identification on a mobile device |
US9565226B2 (en) | 2013-02-13 | 2017-02-07 | Guy Ravine | Message capturing and seamless message sharing and navigation |
US9921648B2 (en) | 2013-02-22 | 2018-03-20 | University Of Seoul Industry Cooperation Foundation | Apparatuses, methods and recording medium for control portable communication terminal and its smart watch |
JP6167577B2 (ja) | 2013-03-13 | 2017-07-26 | カシオ計算機株式会社 | リスト端末装置、通信端末装置及びプログラム |
US9245100B2 (en) | 2013-03-14 | 2016-01-26 | Google Technology Holdings LLC | Method and apparatus for unlocking a user portable wireless electronic communication device feature |
CN103197351B (zh) | 2013-04-01 | 2015-04-22 | 吴建堂 | 人体接近自动控制装置 |
JP2014230087A (ja) | 2013-05-22 | 2014-12-08 | オリンパス株式会社 | 撮像制御端末、撮像端末、撮像システム、撮像方法、及びプログラム |
KR20140139840A (ko) | 2013-05-28 | 2014-12-08 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
US9391940B2 (en) | 2013-06-25 | 2016-07-12 | Cellco Partnership | Typing indicator for IMAP messaging |
US8725842B1 (en) | 2013-07-11 | 2014-05-13 | Khalid Al-Nasser | Smart watch |
CN103680025A (zh) | 2013-12-01 | 2014-03-26 | 深圳市福田区青少年科技教育协会 | 移动式防盗报警器 |
CN203793284U (zh) | 2014-04-28 | 2014-08-27 | 鼎兴联通(北京)网络科技有限公司 | 一种车内视频监控设备 |
GB2511983A (en) | 2014-06-24 | 2014-09-17 | Andersen Cheng | System and method for management of group based communications |
US20160373388A1 (en) * | 2015-06-19 | 2016-12-22 | Voxer Ip Llc | Messaging application for recording and inserting a video message into a chat |
-
2012
- 2012-12-28 GB GB1223468.8A patent/GB2509323B/en active Active
-
2013
- 2013-12-24 CN CN202011300695.7A patent/CN112291500B/zh active Active
- 2013-12-24 EP EP13827044.2A patent/EP2939406A1/en not_active Ceased
- 2013-12-24 US US14/758,040 patent/US10739933B2/en active Active
- 2013-12-24 BR BR112015015455A patent/BR112015015455A2/pt not_active IP Right Cessation
- 2013-12-24 JP JP2015550190A patent/JP2016511949A/ja active Pending
- 2013-12-24 DE DE202013012652.3U patent/DE202013012652U1/de not_active Expired - Lifetime
- 2013-12-24 CA CA2896281A patent/CA2896281A1/en not_active Abandoned
- 2013-12-24 MX MX2015008185A patent/MX2015008185A/es unknown
- 2013-12-24 RU RU2015126358A patent/RU2015126358A/ru not_active Application Discontinuation
- 2013-12-24 SG SG11201504981RA patent/SG11201504981RA/en unknown
- 2013-12-24 KR KR1020157020231A patent/KR20150103118A/ko not_active Application Discontinuation
- 2013-12-24 WO PCT/IB2013/061311 patent/WO2014102720A1/en active Application Filing
- 2013-12-24 AU AU2013368906A patent/AU2013368906B2/en active Active
- 2013-12-24 SG SG10201702010PA patent/SG10201702010PA/en unknown
- 2013-12-24 CN CN201380072948.1A patent/CN105144673B/zh active Active
-
2015
- 2015-06-21 IL IL239559A patent/IL239559B/en active IP Right Grant
-
2016
- 2016-04-01 US US15/089,080 patent/US10678393B2/en active Active
- 2016-04-01 US US15/089,052 patent/US10599280B2/en active Active
- 2016-04-01 US US15/089,107 patent/US10579202B2/en active Active
- 2016-04-21 HK HK16104627.5A patent/HK1216804A1/zh unknown
-
2017
- 2017-11-06 AU AU2017254981A patent/AU2017254981B2/en active Active
-
2018
- 2018-12-19 IL IL263814A patent/IL263814B/en active IP Right Grant
-
2019
- 2019-09-30 AU AU2019240571A patent/AU2019240571B2/en active Active
- 2019-12-11 IL IL271333A patent/IL271333B/en active IP Right Grant
-
2020
- 2020-07-02 US US16/919,816 patent/US11144171B2/en active Active
- 2020-07-23 IL IL276256A patent/IL276256B/en active IP Right Grant
-
2021
- 2021-01-29 AU AU2021200559A patent/AU2021200559B2/en active Active
- 2021-03-31 AU AU2021202017A patent/AU2021202017B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1393090A (zh) * | 2000-08-02 | 2003-01-22 | 诺基亚有限公司 | 形成多媒体流式传输对话的方法 |
CN101505317A (zh) * | 2008-02-08 | 2009-08-12 | 埃森哲环球服务有限公司 | 流式媒体中断与恢复系统 |
US20110276637A1 (en) * | 2010-05-06 | 2011-11-10 | Microsoft Corporation | Techniques to share media files through messaging |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109144642A (zh) * | 2018-08-14 | 2019-01-04 | Oppo广东移动通信有限公司 | 显示控制方法、装置、电子设备及存储介质 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021200559B2 (en) | Reduced latency server-mediated audio-video communication | |
US11463490B2 (en) | Synchronous delivery of media content in a collaborative environment | |
US8537740B2 (en) | Mobile communication device and system supporting media flow control | |
US20140213227A1 (en) | Mobile device capable of substantially synchronized sharing of streaming media, calls and other content with other devices | |
US20080209075A1 (en) | Synchronous delivery of media content and real-time communication for online dating | |
WO2016049987A1 (zh) | 一种数据处理方法、装置及相关服务器 | |
CN112019792A (zh) | 会议控制方法、装置、终端设备和存储介质 | |
WO2011091421A1 (en) | Data communication system and method | |
US20140375746A1 (en) | Platform, device and method for enabling micro video communication | |
WO2017096789A1 (zh) | 信息共享方法及装置 | |
CN118250421A (zh) | 视频会议系统、会议采集终端、云平台及视频会议方法 | |
CN115442349A (zh) | 优化与不同的参与者的会议中的媒体体验 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |