CN112291500A - 用于双模式多媒体消息收发的方法和装置 - Google Patents

用于双模式多媒体消息收发的方法和装置 Download PDF

Info

Publication number
CN112291500A
CN112291500A CN202011300695.7A CN202011300695A CN112291500A CN 112291500 A CN112291500 A CN 112291500A CN 202011300695 A CN202011300695 A CN 202011300695A CN 112291500 A CN112291500 A CN 112291500A
Authority
CN
China
Prior art keywords
message
video
client
communication device
mobile communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011300695.7A
Other languages
English (en)
Other versions
CN112291500B (zh
Inventor
J·卡拉斯
A·科布尔
Y·苏肯尼克
R·吉纳特
L·M·赫兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GLIDE TALK Ltd
Original Assignee
GLIDE TALK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GLIDE TALK Ltd filed Critical GLIDE TALK Ltd
Priority to CN202011300695.7A priority Critical patent/CN112291500B/zh
Publication of CN112291500A publication Critical patent/CN112291500A/zh
Application granted granted Critical
Publication of CN112291500B publication Critical patent/CN112291500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/226—Delivery according to priorities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/5307—Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components
    • H04M3/5315—Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components where the non-audio components are still images or video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/537—Arrangements for indicating the presence of a recorded message, whereby the presence information might include a preview or summary of the message

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请的实施例涉及用于双模式多媒体消息收发的方法和装置。根据示例性实施例，涉及在被配置为发送和接收视频内容的多个计算机系统之间的视频通信。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为向视频服务器发送或记录视频消息。视频消息由视频服务器存档。当在视频消息的传输开始期间客户端接收方不可用且在视频消息的传输期间稍后客户端接收方可用时，客户端接收方能够在视频消息的传输仍然继续进行的同时，从视频消息的开始处显示视频消息。

Description

用于双模式多媒体消息收发的方法和装置
本申请是2013年12月24日申请的申请号为201380072948.1、发明名称为“延迟减少的服务器干预式音频-视频通信”的专利申请的分案申请。
背景技术
1.技术领域
本发明的领域涉及通信，更具体地，涉及用于音频-视频通信的平台。
2.相关技术描述
诸如SKYPETM之类的互联网服务实现了在两个或更多个用户之间的音频或音频-视频对话。使用服务器来发起对话以及对媒体类型的协商。用户之间的实际音频流或视频流在对等会话中传递而无需进一步的服务器干预。
在诸如SKYPETM之类的服务中，建立对等会话，以避免由于业务对服务器造成的过载所导致的瓶颈，且避免通过服务器引入延迟。
iMessageTM是一种允许用户发送文本、图片、视频、联系信息和组消息的服务。
AOL Instant Messager(AIM)是一种允许用户实时通信的服务。
WhatsAppTM Messager是一种用于智能电话的私有的、跨平台即时消息服务。除了文本消息之外，用户还能够向彼此发送图像、视频和语音媒体消息。
传统的无线频率半双工通信系统提供了从单个发射机到一个或多个接收机的通信。在一个时间仅有一个发射方可以进行广播，因为相同的物理信道被共享来用于向所有接收方进行广播。一旦接收机开始接收信号，由于物理信道不可用，接收方在答复之前就需要等待发射机停止发射。
发明内容
本文公开了各种数据通信系统，用于在被配置为客户端计算机系统的多个计算机系统之间的视频通信。所述客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机，所述客户端计算机系统中的一个(或多个)在进行接收或消费时是客户端接收方。客户端发射机能够发送或记录视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接，并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。如果在视频消息的传输开始期间客户端接收方不可用而在视频消息的传输期间稍后客户端接收方可用，则客户端接收方能够在视频消息的传输仍然继续进行的同时，从视频消息的开始处显示视频消息。
客户端计算机系统可以被配置为交替作为客户端发射机和客户端接收机，并且交替地发送和接收视频内容。
管理服务器适于从客户端发射机接收包含对客户端接收方的参考的第一字符串，并作为响应，向客户端接收方发送包含对客户端发射机的参考的第二字符串。响应于第二字符串，客户端接收方被配置为向视频服务器发送第三字符串。第三字符串参考所述视频消息，并且一旦视频服务器接收到第三字符串，视频服务器就将所述视频消息发送到客户端接收方。
当客户端接收方不可用时，客户端接收方可以适于：在客户端接收方稍后可用时，从视频服务器的消息存档中取回视频消息。被配置为客户端发射机的多个客户端计算机系统可以同时地向所述客户端接收方发送各自的视频消息。
各种客户端计算机系统和/或其软件应用可以被配置为在数据通信网络中使用。客户端计算机系统和/或软件应用可以包括发射机模块，发射机模块被配置为：与视频服务器建立连接，向视频服务器发送第一视频消息，以及向管理服务器发送第一字符串。客户端计算机系统和/或软件应用可以包括接收机模块，接收机模块被配置为：向视频服务器发送第二字符串，接收第二视频消息，并且显示第二视频消息。
各种客户端计算机系统和/或者其软件应用可以被配置为在数据通信网络中使用。管理服务器可以包括：管理接收机模块，适于从客户端发射机接收第一字符串；以及管理发射机模块，适于向客户端接收方发送第二字符串。
各种视频服务器可以被配置为在数据通信网络中使用。视频服务器包括：网络适配器，配置为建立与客户端发射机的连接，并接收视频消息；以及视频数据存储设备，适于对视频消息进行存档。网络适配器被配置为接收第三字符串，并响应于第三字符串向客户端接收方发送视频消息。
本文公开了各种方法用来管理在多个计算机系统之间的视频通信。所述客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机，所述客户端计算机系统中的一个或多个在进行接收或消费时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接，并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。当在视频消息的传输开始期间客户端接收方不可用而在视频消息的传输期间稍后客户端接收方可用时，客户端接收方能够在视频消息向视频服务器的传输期间，从视频消息的开始处显示视频消息。
视频消息可以由客户端接收方接收并显示。
客户端计算机系统可以被配置为交替作为客户端发射机和客户端接收机，并且交替地分别进行发送和接收。
客户端接收方可以被选择用来：在视频消息正在向视频服务器发送的同时，接收或消费视频消息。可以自主地建立所述连接，而无需客户端发射机用户的干预。可以响应于先前安装在客户端发射机中的程序，通过监视客户端发射机用户的动作，来建立所述连接，并且可以基于用户的所述被监视动作来建立所述连接。可以在无需预先通知客户端接收方用户的情况下，执行由客户端接收方对第二字符串向视频服务器的传输。
通过在从客户端发射机向视频服务器发送视频消息的同时从视频服务器向客户端接收方发送视频消息，从而减少延迟。
可以用处理指令来编码各种计算机可读媒体，所述处理指令用于使得客户端计算机系统的处理器和/或视频服务器的处理器和/或管理服务器的处理器执行本文公开的方法。
通过结合附图考虑以下详细描述，上述各个方面和/或其他方面将会变得更为清楚。
附图说明
在本文中以非限定性方式，借助于实例并仅参考附图来描述本发明，在附图中：
图1图示了根据本发明的特征的移动计算机系统的简化框图。
图2示出了根据本发明的特征的系统的简化框图。
图3a、3b和4示出了根据本发明的特征的方法的流程图。
图5图示了根据本发明的特征，当客户端接收方可用时可以执行的子过程。
图6图示了根据本发明的特征，当在视频消息的发送的初始时刻客户端接收方不可用时可以执行的子过程。
图7图示了根据本发明的特征，客户端发射机向客户端接收方发送两个消息的简化时序图。
图8图示了根据本发明的特征，在组线程的客户端之间传送的消息的时序图。
通过结合附图考虑以下详细描述，上述各个方面和/或其他方面将会变得更为清楚。
具体实施方式
现在将详细地参考本发明的实施例，在附图中图示了本发明的实例，其中，类似的参考数字在整个附图中指代类似的元素。以下通过参考附图描述了实施例，来解释本发明。
作为介绍，本发明的实施例旨在提供一种视频通信系统和方法，其用户体验类似于无线电频率通信中公知的半双工通信(有时称为“对讲(walkie-talkie)”或“一键通(push-to-talk)”)。使用诸如SkypeTM之类服务的“全双工”会话的平均长度可以超过10分钟。根据所使用的网络和实现方式，已有技术使用现有技术的视频服务来发起视频流所需要的初始化时间范围可以在10到30秒之间。该初始化时间在诸如SkypeTM之类的现有技术的视频服务中是可接受的。例如，假设10分钟的视频会话，30秒的初始化时间对于10分钟的会话而言仅是4.76％的开销。本发明的实施例旨在适应平均长度为20到30秒的音频和/或视频消息或突发。用来传送25秒的音频和/或视频消息的30秒初始化时间将会是54.5％的开销，这将是不接受的。因此，本发明的实施例中要解决的技术问题之一是：提供“半双工”通信系统的用户体验，同时最小化初始化时间和其他时间延迟，从而使得用户体验接近实时消息传送。
总之，本发明的实施例旨在一种音频-视频消息发送通信平台，其适于包含短音频-视频消息突发(例如10-30秒长)的对话，并具有小于3到5秒的减少的初始化时间和总体延迟。在初始化传输之后的1到2秒内，用户正在记录的视频内容已经正在服务器中进行存档，并且对于共享通信线程的所有用户而言是可用的，或者正在由其进行消费。本发明的实施例的用户可以参与其他用户来接近实时地共享视频内容。如果该用户不可用，例如不在线，则可以通过从存档中流传输(streaming)，来稍后消费视频内容和消息。如果用户是目标接收方，并且在传输开始时不可用而在随后变得可用并由此进入通信线程较晚，则用户可以从视频内容的传输开始时的线程开始处消费视频内容，并参与到线程中，而不会丢失该线程的开始。从存档中进行流传输使得多个用户能够同时向相同的接收方发送，并且该接收方可以从全部用户接收并消费全部视频内容，例如，按照传输顺序。
在详细解释本发明的实施例之前，要理解的是，本发明在其应用方面并不局限于设计细节和在随后的描述中所阐述的或附图中所图示的组件的排列。本发明能够使用其他实施例，或者能够以各种方式实现或实施。此外，要理解的是，本文所用到的措辞和术语是为了说明的目的，而不应被视为对本发明的限定。
现在参考附图，图1图示了根据本发明的特征的移动计算机系统100的简化方框图。移动计算机系统100可以通过蜂窝基站119连接到蜂窝网络121。蜂窝通信模块117将处理器110连接到蜂窝网络121。移动计算机系统100还可以通过数据通信网络106连接到服务器205以及连接到服务器206。移动计算机系统100包括处理器110，其连接到本地数据存储设备101。数据通信模块104可操作地将处理器110连接到数据通信网络106。音频-视频编码器202和音频-视频解码器204分别用于编码和解码从移动计算机系统100发送和由移动计算机系统100接收的音频-视频内容。音频-视频编码器202和音频-视频解码器204的音频-视频内容可以包括音频或视频，其包括多个通道，例如，立体视频或立体声，其每一个包括左右音频通道。移动计算机系统100可以包括外围辅助设备，诸如显示器109、全球定位系统(GPS)接收机107、相机105、麦克风111、扬声器113、振动器115、加速计/重力传感器(未示出)、近场通信(NFC)(未示出)、射频标签(RFID)(未示出)、BluetoothTM(未示出)和IR传感器(未示出)。
现在参考图2，图2示出了根据本发明的特征的系统20的简化方框图。系统20可以包括充当客户端发射机100T的第一移动计算机系统100以及充当客户端接收方100R的第二移动计算机系统100。视频数据系统206包括视频服务器206a、视频数据库206b和视频数据存储设备206c，视频数据系统206与客户端发射机100T和客户端接收方100R连接。管理数据系统205包括管理服务器205a和管理数据库205b，管理数据系统205与客户端发射机100T和客户端接收方100R连接。音频-视频消息250被显示为正在从客户端发射机100T向视频数据系统206发送。可以使用相机105实时地记录消息250，并同时发送消息250，或者消息250可以是预先记录的且存储在本地存储设备101中。例如，视频数据系统206和管理数据系统205可以共同配置在同一安装过程中或者甚至在同一硬件单元中，并且同时操作共享同一电源。视频数据系统206和管理数据系统205可以在多线程处理器中的不同线程中实施。
现在参考图3a和3b，其示出了根据本发明的特征的各方法301和300的流程图。方法301和300图示了在系统20中的如下过程：客户端发射机100T连接到视频数据系统206并向视频数据系统206进行发送，以允许用户向其他用户发送视频消息250。方法301(图3a)图示了客户端发射机100T所执行的过程步骤，而方法300(图3b)图示了视频数据系统206所执行的过程步骤。
现在参考系统20以及方法301和300，根据本发明的实施例的发射机应用预先被安装并存储在客户端发射机100T的存储器101中。客户端发射机100T的发射机应用可以连接(步骤302)到视频数据系统206以及连接到视频服务器206a，且尚未接收到关于发送视频消息250的明确用户指令。具体而言，客户端发射机100T的发射机应用可以基于先前的用户动作或预先的编程，打开预计向视频数据存储设备206c发送的下一个视频消息250的URL。并行地，视频数据系统206的视频服务器206a接收该连接(步骤306)。在步骤307中，客户端发射机应用开始发送视频消息250，并且在步骤308中，并行地，视频消息250由视频数据系统206存档在视频数据存储设备206c中。在使用相机105记录视频消息250的同时，可以执行视频压缩。在步骤304中，可以向用户通知一个或多个视频消息将会被准备进行传输。并行地，在视频数据系统206处可以完成视频数据消息的存档(步骤310)。客户端发射机100T应用可以选择(步骤305)一个或多个接收方，或者客户端发射机100T的用户可以选择(步骤305)一个或多个接收方。在步骤309中，将文本消息发送到管理数据系统205中的管理服务器205a，该文本消息包括包含对所述一个(或多个)接收方的参考的URI、字符串或消息块。步骤309通常并不要求来自管理服务器205a的确认。参考音频-视频消息250的URI旨在被中继到所述一个(或多个)接收方以期待该音频-视频消息，并且针对即将对音频-视频消息250的接收而准备客户端接收方100R。
有几个选项可用于将消息块从管理数据系统205传递到客户端接收方100R。所述消息块可以包括：参考视频消息250的URI，针对客户端100的关于期待视频消息的命令、针对客户端100的关于准备播放视频消息250的命令。可替换地，所述消息块可以仅包括参考消息250的URI。客户端接收方100R被编程以使得一旦其接收到URI，就期待视频消息250，并且客户端接收方100R准备播放视频消息250。在本发明的可替换实施例中，可以避免管理服务器205，并可以通过在移动计算机系统100之间的网格网络来传送消息块。
在方法301中，如果基于先前的用户交互或先前的编程，发射机应用认为用户具有关于他/她即将使用相机105记录一个或多个视频消息250且即将在接下来的几秒内进行发送的高可能性，则可以减少传输延迟。在向用户通知正在发送视频消息250或者已经发送了视频消息250(步骤304)之前并且在选择接收方(步骤305)之前，发射机应用可以相应地对客户端发射机100T进行准备(步骤303)和/或可以开始发送(步骤307)。
再次参考图1，准备发送(步骤303)可以包括诸如以下的步骤：开启相机105的应用并打开相机105的快门，在存储器101中为视频消息250分配空间、开始记录以及由编码器204对视频消息250进行编码。准备发送(步骤303)可以包括：打开存储设备101中的文件夹，该文件夹包括图像、音频-视频剪辑、或先前尚未接收和存档的其他多媒体消息，(步骤308)，以及开始发送(步骤307)该文件夹的内容。
现在参考图4，其图示了根据本发明的特征的方法320的流程图。方法320用来在客户端接收方100R可用时接收音频-视频消息，和/或例如当客户端接收方100R不可用时，或者客户端接收方100R在自客户端发射机100T的最初传输过程中不可用时的后续音频-视频消息取回。在判断块311中，如果在传输开始期间或其后很短时间(几秒)内客户端接收方100R是可用的(步骤307)，则该流程进行到子过程501，如图5所示。如果在判断块311中，如果在传输开始期间或其后很短时间内客户端接收方100R不可用，则该流程进行到子过程701，如图7所示。
现在参考图5，其图示了根据本发明的特征，当客户端接收方100R可用时可以执行的子过程501。在步骤503中，客户端接收方100R接收包括URI的字符串，所述URI包含对音频-视频消息250的参考。将字符串从客户端接收方100R发送(步骤505)到视频数据系统206，并且在接收到参考视频消息250的该字符串时，视频数据系统206从视频存储设备206c读出视频消息250并将视频消息250发送给客户端接收方100R。同时，在步骤506中，客户端接收方100R准备播放和接收视频消息250。在步骤407中，视频消息250由客户端接收方100R接收并播放。可替换地，当客户端接收方100R可用时，可以在从客户端发射机100T进行传输期间由视频数据系统206对视频消息250进行复制并中继到客户端接收方100R，从而客户端接收方100R并不从存档206c接收消息250.
根据本发明的特征，当在开始从客户端发射机100T传输视频消息250之后客户端接收方100R才变得可用时，视频数据系统206可以从消息的开始处发送视频消息250。在消息线程的剩余部分期间，可以减少从传输开始时刻到客户端接收方100R变得可用的时刻之间的时间延迟。在客户端发射机100T与客户端接收方100R之间的后续交换期间，客户端接收方最终将会赶上对话中的其他参与者。
现在参考图6，其图示了当在视频消息250的最初传输(图3，步骤307)时客户端接收方100R不可用时，可以执行的子过程701。当在不确定的稍后时刻客户端接收方100R可用(判断块702)时，客户端接收方100R将消息历史与管理数据库205b同步(步骤703)。在步骤705中，向客户端接收方100R的用户通知所丢失的消息，例如视频消息250。同时，客户端接收方100R可以向视频数据系统206发送包括URI的字符串(步骤505)，该URI参考所丢失的消息中的一个或多个，客户端接收方100R应用可以预测用户的选择，并向视频数据系统206发送字符串(步骤505)，同时在步骤705中接收对关于所丢失的消息的查询的应答。该字符串在视频数据系统206中接收，并且在步骤406中，从存档206c中取回视频消息250，并且视频消息250正在由客户端接收方100R接收。在步骤706中，客户端接收方100R可以基于先前的用户动作来准备播放，即打开媒体播放器应用。在客户端接收方100R上运行的应用可以认为很有可能用户即将选择观看已经正在接收的视频消息250。如果在判断块707中用户选择播放视频消息250，则客户端接收方100R已经准备好播放正在接收的或已经接收的消息250，并且可以以较低的总体延迟来执行步骤407中对入站的视频消息250的接收和播放。
与现有技术的服务相比，系统20的延迟
以下三个等式总结了以下过程的通信时间，在该过程中：用户A发送视频消息，用户B倾听或显示由用户A发送的视频消息，用户B创建一个视频消息来作为应答，并且用户A接收、显示、倾听或观看该应答：
内容时间＝消息A的内容的传递时间+消息B的传递时间
总时间＝从该过程开始到该过程结束的时间
延迟＝总时间-内容时间
对于诸如WhatsAppTM、iMessageTM、WindowsTM Messager、AOLTM Instant Messager之类的服务，可以使用以下公式来计算总通信时间T：
T＝RA1+CA1+UA1+DB1+VB1+RB2+CB2+UB2+DA2+VA2
Figure BDA0002786722790000101
该过程需要大约150秒：用户A向用户B发送30秒的视频，且随后用户B观看该视频并向用户A发回30秒的应答，且用户A观看该应答。对于60秒的内容，需要150秒来传送和观看该内容。在一个实例中，使用现有技术的服务的通信针对150秒的总通信时间T，具有90秒的延迟，60秒的内容，其中，延迟占总通信时间的71％。
与之对照，使用系统20和方法300、301和501，消息250实时地由用户A发送并由用户B接收，其中，点对点总通信时间是大约2秒。结果是：几乎在用户发射机开始记录消息的同时，用户接收方已经完成了对入站消息的观看。使用方法300、301和501，使用本发明的实施例的总通信时间TI可以简化为如下：
BR＝发送时间
TI＝用户间的通信时间
TI＝BRA1+LA1+BRB2+LB2
Figure BDA0002786722790000111
使用本发明的实施例的通信过程需要64秒，在该过程中：用户A向用户B发送持续时间为30秒的视频消息250，用户B观看视频消息250并作为响应向用户A发送视频消息应答250，并且用户A观看视频消息应答250。因此，使用本发明的实施例，观看60秒的内容需要大约64秒来进行传送和显示。使用本发明的实施例的过程具有的延迟时间是总通信时间TI的6.25％。
用户体验
在本发明的实施例中，两个或更多个用户无需可用来参与对话，因为每个视频消息250都在服务器视频数据系统206处进行存档(步骤308)。用户可以被添加到一个组中，并且可以观看在添加该新用户之前所发送的全部先前视频消息250。
在本发明的实施例中，可以在相机105中记录消息250的同时，发送(步骤307)和压缩视频消息250，以便减少压缩和传输的延迟时间。
一个(或多个)用户接收方可以在用户发射机开始发送(步骤307)的几秒内开始流传输(步骤407)接收到的消息250以便观看，减少了延迟时间。总之，根据本发明的所实现的低延迟性能相对于现有技术的系统在用户体验方面产生了重大改变。
在线程中对消息进行排队
根据本发明的实施例的视频通信系统20使得客户端计算机系统100的用户能够按照单播(一对一)或多播(一对多)，来交替地发送和接收消息250。
在以接近实时的方式播放入站的消息250的系统20中，可以连续地观看多个入站的消息250，尽管在实时地发送时消息250可能交叠。
在接近实时的流传输视频消息系统20中，根据本发明的实施例，视频消息250具有向视频数据系统206进行流传输的传输开始时间、直到在客户端接收方100R处开始消费消息20为止的延迟时间、以及在客户端接收方100R处接收到消息250的流传输结束时的结束时间。
根据本发明的特征，客户端100可以在任何时刻接收/消费或记录/发送视频消息250，但是客户端100可能无法同时对内容进行消费和发送。客户端100可能被迫停止一个交互以便开始另一个，例如，停止消费内容以便创建内容，或者反之亦然。
当客户端接收方100R检测到入站的消息250时，可以发生各种动作。在一个实例中，客户端接收方100R正在播放另一个视频消息250。可以使用视频消息、音频消息和/或使用振动器115的震动作为通知，向用户呈现一个关于入站的消息250的通知。用户可以在客户端接收方100R上通过轻击(tap)或重击(swipe)来选择该通知，其导致当前正在播放的视频消息250停止或暂停，并且与该通知相关的视频消息250开始播放。
在另一实例中，当客户端接收方100R当前并未播放视频消息250时，客户端接收方100R可以被配置为在无需用户的任何交互的情况下播放入站的消息250。
现在参考图7，其图示了(用户A的)客户端100的简化时序图801，其中客户端100向用户Z的另一客户端100发送两个消息250(1)和250(2)。通过从图901的顶部到图901的底部来表示时间的推移。
1.用户A向用户Z发送消息250(1)。
2.用户Z以几秒的延迟来接收消息250(1)，并开始观看消息250(1)。
3.在用户A完成消息250(1)的发送之后经过一个时间量，该时间量小于在用户A对消息250(1)的发送与用户Z对消息250(1)的播放之间的延迟。
4.用户A开始向用户Z发送消息250(2)。
5.用户Z不能开始观看消息250(2)，因为用户Z仍在观看先前的消息250(1)。
6.系统20基于用户与用户间的线程识别出消息250(1)和消息250(2)是内容相关的，并创建一个队列，一旦用户Z完成了消息250(1)的观看后则该队列播放消息250(2)。
现在参考图8，其图示了根据本发明的特征，在组线程的客户端100之间传送的消息250的时序图801。通过从图801的顶部到图801的底部来表示时间的推移。
1.用户Z加入具有用户A、B和C的一个组线程中。
2.用户Z创建消息250T Z。
3.在用户Z正在记录并发送消息250T Z时，同一组线程的成员用户A创建消息250TA。
4.消息250T A实时流传输至包括用户Z在内的该组线程中的其他成员。
5.用户Z不能立即实时观看入站消息250T，因为用户Z的客户端100仍然在记录并发送出站消息250T Z。
6.在用户A的客户端100正在发送消息250T A时，用户B的客户端100开始发送消息250T B。
7.在用户B的客户端100正在发送消息250T B时，用户C的客户端100开始发送消息250T C。
8.消息由视频数据系统206实时存档，并且向用户Z的客户端100通知入站消息250R A、250R B和250R C。
9.用户Z的客户端100形成队列，并对入站消息250R A、250R B和250R C的播放进行时间偏移。
10.典型地按照发送的时间顺序，连续地播放消息250R A、250R B和250R C。
以上参考图8所列出的步骤1-10的结果是：用户Z体验在时间上交叠地发送的多个消息250，就好像是发送这些消息的线程的每个用户在创建并发送各自的视频消息250T A、250T B和250T C之前进行等待，直到队列被清空为止。
可以向用户Z通知或不通知他/她正在消费经过时间偏移的视频消息250R A、250RB和250R C。
在传输期间对次优化网络条件的补偿
可能存在次最优网络条件，在客户端计算机系统100的用户发送视频消息250时，次最优网络条件会导致视频消息250的高延迟或信息损失。根据本发明的特征，客户端发射机100T可以检测本地网络质量。如果存在次最优网络质量，则为了保持低延迟的准实时消息发送，可以在对视频消息250进行记录过程中之前或之后减少消息250的信息内容。减少消息250的信息内容可以包括：例如，降低视频消息250的视频帧率、降低颜色分辨率或者甚至转换为单色视频消息250、和/或减少视频帧大小。降低质量的视频消息250可以被发送并存储在数据存储设备206c上，并可用于由客户端接收方100R消费或接收。
为了随后恢复原始的高质量消息250，可以将原始的降低质量的消息250或至少其所丢掉的消息存储在客户端发射机100T本地或可连接到客户端发射机100T的另一设备中，例如可移动磁盘。可以上传高质量消息250来替换先前存储在视频数据存储设备206c中的较低质量版本，从而客户机接收方100R可以在原始的较低质量传输之后消费或下载具有较高质量的视频消息250。可替换地，可以使用所丢掉的信息来修复在客户端发射机100T上、视频数据系统206上或客户端接收方100R上的原始消息250。因此，即使是在次最优的网络条件下，也可以使用视频质量降低来保持准实时低延迟的消息发送，同时允许随后消费具有原始质量的相同消息。一个实例是：用户A向用户B发送视频消息250。用户A所处网络小于全质量视频所需带宽，从而客户端发射机100T向用户B发送降低质量的视频消息250。
在用户B在传输的同时进行观看的情况下，用户B接收/消费用户A的视频消息250的减少质量的视频。
在从用户A发送了降低质量的视频消息250之后，客户端发射机100T可以向用户B发送用户A的视频消息250的降低质量的视频中的所丢掉的信息。随后可以使用所丢掉的信息来填充原始发送的视频消息250的降低质量的视频中的丢失的视频信息。从而，在用户B不能观看实时传输并选择稍后进行观看，或者在用户B已经在广播的同时观看了该消息并随后回来重新观看视频消息250的情况中，用户B可以观看视频消息250的全质量视频。
多功能按钮
系统20可以使用智能电话100来实现，例如配有触摸屏109的iPhone。当将客户端应用安装在智能电话100上以便执行方法301、501和/或701时，可以在触摸屏109上实现虚拟按钮。可替换地或作为补充，可以在智能电话100中设计具有与虚拟按钮类似功能的非虚拟或物理按钮。
虚拟或物理的按钮可以包括以下功能模式：
1)视频-音频操作：可以轻击该按钮，例如小于1秒的持续时间，并且开始使用相机205和麦克风111进行视频记录，并且同时开始视频记录的传输(步骤307)。第二次轻击停止记录并停止传输且使能接收(步骤407)。可以通过相继地轻击按钮，来执行在记录/传输与使能接收(步骤407)的状态之间的切换。
2)音频-视频(“Push-to-talk”)：按钮被按下或触摸一定时间段，例如2秒。如同模式1一样，开始使用相机205和麦克风111进行视频记录，并且同时开始视频记录的传输(步骤307)。释放按钮则结束记录/传输并使能视频内容的接收(步骤407)。
3)仅音频：按钮被滑上并立即释放，并且使用麦克风111的音频记录(没有从相机205捕获的实时图像)和传输(步骤307)开始。当按钮被滑回其原始位置时，停止音频的记录/传输并使能接收(步骤407)。可以在滑上位置中将按钮按下一个时间段，例如2秒，并且按钮表现为与以上模式2相同，但是仅是音频的记录/传输。在滑上位置中释放按钮则停止视频记录和传输。
实例：计算机控制下的客户端100
根据本发明的其他实施例，一个或多个客户端计算机系统100可以自主地操作，而无需(人类)用户的干预。连接到计算机系统100的处理器110和/或另一处理器可以被编程为，控制客户端计算机系统100的操作。处理器110可以被配置为，在例如两个独立的消息线程中同时地接收和发送消息250。处理器110可以被编程为，分析、处理和/或解析正在接收的仅音频和/或音频-视频消息250，并且通过向与所接收的消息250相关的线程的其他用户发送消息250来进行相应的应答。处理器110可以被编程为，用包含与线程的用户所共享的音频和/或视频内容相关的教育性或广告性内容的消息250进行应答。例如，正在购物的用户可以在消息中发送他/她希望接收其更多信息的产品的图像。接收消息250的客户端100可以处理消息250中的图像，并识别该产品，例如使用光学字符识别或条码。客户端100可以用包含广告性或其他信息，诸如价格和/或服务信息的消息250来应答。
实例：相机安保系统
处于处理器控制下的客户端100根据本发明的实施例的另一实例是相机安保系统。可以将多个安保相机独立地连接到客户端发射机100T，并且被编程为通过单播或广播来向一个或多个客户端接收方100R进行发送。用户，例如安保人员可以观看客户端发射机100T的显示器，来发现在客户端发射机100T的任意位置或全部位置处的可疑活动。一个或多个客户端接收方100R可以是固定的，或者是移动计算机系统。可以基于时间间隔或本地图像处理，例如在不同图像的图像帧之间的不同图像中的显著特征，来预先编程发送决定(判断块304)。可替换地，也可以在网络106的其它地方执行图像处理。客户端接收方100R可以以例如轮询或随机的方式来接收视频消息250。如果基于其中一个消息250，发生了重要事件，例如可疑活动，可以由其中一个客户端发射机100T通过管理服务器205a、视频服务器206、由其中一个客户端接收方100R的用户通过管理服务器205a、或者由管理服务器205基于正在进行的图像处理，来通知对轮询的中断。按照在安保系统中提供证据的要求，在视频数据系统206中保持全部视频消息的集中存档。
字符串的实例：
由客户端发射机100T发送的字符串实例为：
type:"video"
videoUrl:"testvsrv.video.glidetalk.com；83；6744802_www.video.glidetalk.com_vs00002.video.glidetalk.com_89026060_vl；90；44100；l"
thumbUrl:"http://testvsrv.video.glidetalk.com:83/getthumb？
sid＝6744802_www.video.glidetalk.com_vs00002.video.glidetalk.com_89026060_vl&Size＝2"
threadld:"50aa977de43be50200000126"
客户端发射机100T将参考视频消息250的字符串的一部分发送到管理数据系统205。
videoUrl:"89026060_v 1；90；44100；1"
作为响应，视频数据系统206可以接收参考视频消息250的以下字符串。
{
"videoUrl":"89026060_vl；90；44100；l"
}
由客户端接收方100R接收的字符串的实例
Figure BDA0002786722790000181
Figure BDA0002786722790000191
定义
本发明的实施例可以包括包含各种计算机硬件组件的通用或专用计算机系统，这些组件将会在以下更为详细地论述。本发明的范围内的各个实施例还包括用于携带或具有存储在其上的计算机可执行指令、计算机可读指令或数据结构的计算机可读媒体。所述计算机可读媒体可以是可由通用或专用计算机系统访问的任何可用媒体。作为实例而非限定，所述计算机可读媒体可以包括诸如以下之类的物理存储媒体：RAM、ROM、EPROM、快闪盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储设备、或能够用来携带或存储采用计算机可执行指令、计算机可读指令或数据结构的形式且可由通用或专用计算机系统访问的期望的程序代码方式的任何其他媒体。
在说明书和所附权利要求中，“计算机系统”被定义为一起工作来对电子数据执行操作的一个或多个软件模块、一个或多个硬件模块、或其组合。例如，计算机系统的定义包括个人计算机的硬件组件，以及软件模块，诸如个人计算机的操作系统。所述模块的物理布局并不重要。计算机系统可以包括通过计算机网络耦合的一个或多个计算机。类似地，计算机系统可以包括单个物理设备(诸如电话或个人数字助理PDA)，其中，内部模块(诸如存储器和处理器)一起工作来对电子数据执行操作。虽然任何计算机系统可以是移动的，但是术语“移动计算机系统”特别包括膝上型计算机、笔记本计算机、蜂窝电话、智能电话、无线电话、个人数字助理、具有触摸屏的便携式计算机等等。
在说明书和所附权利要求中，“网络”被定义为其中两个或更多个计算机系统可以交换数据的任何架构。术语“网络”可以包括广域网、因特网局域网、内部网、诸如“Wi-fi”之类的无线网、虚拟私有网、使用接入点名(APN)的移动接入网和因特网。所交换的数据可以是对于所述两个或更多个计算机系统有意义的电信号形式。当在网络上或到计算机系统或计算机设备的另一通信连接(硬连线、无线、或硬连线或无线二者)上传送或提供数据时，该连接被适当地视为计算机可读媒体。因此，任何此类连接都被适当地命名为瞬态计算机可读媒体。上述各项的组合也应包含在计算机可读媒体的范围内。计算机可执行指令包括：例如，导致通用计算机系统或专用计算机系统执行特定功能或功能组的指令和数据。本文所使用的术语“服务器”指的是包括处理器、数据存储设备和网络适配器并通常被配置为在计算机网络上提供服务的计算机系统。本文所使用的术语“客户端”是接收服务器所提供的服务的计算机系统。
术语“视频”指的是可选地按照时序对图像或一个以上图像的捕获和显示。在根据用于组合视频和音频信息的任何已知技术而存在伴随所述图像或一个以上图像的声音时，术语“视频”包括音频。术语“视频”和“音频-视频”在本文中可交换地使用。术语“视频”和“音频-视频”可以包括多个信号，诸如与视频组合的立体声音频和/或与音频组合的三维视频。
本文所使用的术语“消息”指的是音频-视频内容或伴随有由相机实时捕获的一个或多个图像或伴随有先前捕获的图像或视频的音频。
本文所使用的术语“多播”是在单个传输中从源或发射端计算机系统将音频-视频消息同时地传递给一组目的地计算机系统。
本文所使用的术语“单播”指的是向单个指定计算机系统发送音频-视频消息。
本文所使用的术语“广播”指的是向全部可能的目的地发送音频-视频消息。
本文所使用的术语“上传”指的是数据文件先前在本地存储在客户端计算机系统上的本地存储设备中并被复制到服务器中的存储设备。
本文所使用的术语“下载”指的是数据文件先前存储在服务器上并被复制到客户机计算机系统中的本地存储设备。
本文所使用的术语“统一资源标识符”或“URI”指的是用于标识名称或源的字符串，并能够实现在使用特定协议的网络(通常为万维网)上与源的表示进行交互。指定具体语法的方案和相关协议定义了每个URI。URI可以分类为统一资源定位符(URL)和/或统一资源名称(URN)。
本文所使用的术语“字符串”或“消息块”包括网络资源(例如音频消息)的名称和/或位置的标识符，和/或针对一个或多个客户端接收方的标识符。字符串或消息块可以包括URI、URN和URL或其部分。“字符串”可以编码到二进制码中发送，以二进制码的形式被接收，并在接收机处进行解码以确定接收方的标识符和视频消息。
本文所使用的术语“客户端发射机”和“客户端接收方”指的是其实例被示出为图1中的移动计算机系统100的客户端计算机系统。指代单路通信的发射机和接收方的角色是可颠倒的。
在发送和接收视频消息的上下文中的术语“交替地”指的是计算机系统被配置为或者发送视频内容或者接收视频内容，但不能在同一时间同时地发射和接收视频内容。
本文所使用的术语“流传输(streaming)”指的是消费视频内容，同时可选地使用客户端存储设备101作为临时高速缓冲存储设备，同时避免在客户端计算机系统100中的存储设备101中的本地文件中存储视频内容的可访问副本。
在视频和/或音频内容的上下文中的术语“消费”指的是向用户显示包括伴随的音频的视频内容，或者在音频内容的情况中，向用户播放音频内容。术语“消费”、“播放”和“显示”在本文中可互换地使用。
本文中在接收视频消息和/或视频内容的上下文中所使用的数据“接收”在本发明的不同实施例中包括：流传输并消费视频内容；和/或将视频内容复制到本地存储设备101中并随后从存储设备101中消费视频内容。
本文所使用的术语“延迟”指的是在客户端发射机开始发送视频消息的时刻到在客户端接收方可用时通过将视频消息流传输到客户端接收方来接收并显示的时刻之间的时间。
术语“减少的延迟”或“低延迟”在本文中可互换地使用，并在不同实施例中指的是小于6秒或小于5秒或小于4秒或小于3秒或小于2秒的延迟。
术语“可用”使得是连接到本发明的实施例可在其上操作的数据通信网络且具有用于执行方法301的客户端应用的客户端计算机系统。
术语“不可用”使得是客户端计算机系统未连接到本发明的实施例可在其上操作的数据通信网络，或者连接到数据通信网络20但具有用于执行在背景中运行的方法301的客户端应用或并未安装客户端应用或客户端应用被无效的。
本文所使用的术语“对话”指的是在两个或更多个人之间共享网络上的一个或多个消息。
在消息的上下文中，术语“线程”在本文中用于指代在两个或更多个客户端计算机系统100之间发送和接收的多个消息，同时可选地保持这些消息的传输的时间顺序。
在本文中使用的不定冠词“a”、“an”，诸如“连接(a connection)”、“服务器(aserver)”、“消息(a message)”具有一个或多个的含义，即“一个或多个连接”、“一个或多个服务器”和“一个或多个消息”。
本发明的其他实施例
可以在客户端计算机系统上安装各种按钮，以便根据本文公开的方法来控制客户端计算机系统。按钮可以包括如下模式：当该按钮被以小于1秒的持续时间轻击时，则视频记录开始，并且同时视频记录的传输开始。第二次轻击可以停止记录，并且由此停止传输并使能接收。可以通过相继地间断地轻击按钮，来执行在记录/传输状态与使能接收状态之间的切换。
按钮还可以包括如下模式：其中，将按钮保持或触摸预定时间段，例如2秒。可以开始视频记录并且开始视频记录的同时传输。对按钮的释放可以结束记录/传输并使能视频内容的接收。在另一模式中，按照先前定义的方向滑动按钮，并在先前定义的时间段内立即释放。音频记录(并不同时捕获图像)和传输可以开始。当按钮被滑回其原始位置时，可以停止音频记录/传输，并使能接收。针对仅音频的记录/传输，可以将按钮在滑动位置处按下一个时间段，例如2秒。在滑动位置处释放按钮则停止音频记录和传输。
本文公开了各种数据通信系统，在多个计算机系统之间的视频通信被配置为发送和接收视频内容。客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机，客户端计算机系统中的一个(或多个)在进行接收时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接，并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。第一客户端计算机系统可以向第二客户端计算机系统发送多个消息。该多个消息包括第一消息和第二消息。在由客户端发射机进行发送时，从第一消息的开始到第二消息的结束之间的时间间隔TTX可以大于在由客户端接收方进行接收时从第一消息的开始到第二消息的结束之间的时间间隔TRX，从而客户端接收方连续地接收第一和第二消息，同时在所述多个消息中的至少一个消息的传输正在进行。
本文公开了各种数据通信系统，在多个计算机系统之间的视频通信被配置为发送和接收视频内容。客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机，客户端计算机系统中的一个(或多个)在进行接收时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接，并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。在从多个客户端发射机分别发送多个消息期间，旨在发往同一客户端接收方的所述多个消息在时间上至少部分地重叠。所述多个消息在该客户端接收方连续地接收且上时间上偏移，同时从客户端发射机中的至少一个对所述消息中的至少一个的发送正在进行。
本文公开了各种数据通信系统，在多个计算机系统之间的视频通信被配置为发送和接收视频内容。客户端计算机系统中的一个(或多个)在进行发送时是客户端发射机，客户端计算机系统中的一个(或多个)在进行接收时是客户端接收方。客户端发射机能够发送视频消息以用于在客户端接收方上显示。客户端发射机被配置为建立与视频服务器的连接，并将视频消息发送到视频服务器。视频服务器对视频消息进行存档。客户端计算机系统中的一个或多个可由处理器控制，所述处理器被配置为通过从视频服务器进行流传输来接收消息，处理所接收的消息，并响应于所接收的消息，向共享同一线程的其他客户端计算机系统发送应答消息。如果客户端发射机检测到或知道次最优网络状况，可以将视频消息减小为具有减少的信息内容的视频消息，从而可以在从视频消息的客户端发射机的传输仍在进行的同时，接收/消费第二视频消息。在该具有减少的信息内容的视频消息的初始传输之后，可以重新存储或替换具有较高质量的原始视频消息以便客户端接收方的后续接收/消费。
本文公开了各种数据通信系统，包括在被配置为发送和接收视频内容的多个客户端计算机系统之间的视频通信。客户端计算机系统被配置为建立与视频服务器的连接，将发送视频消息发送到视频服务器，并从视频服务器接收接收视频消息。视频服务器对所述发送视频消息和所述接收视频消息进行存档。如果在正在发送所述发送视频消息的同时开始接收所述接收消息，则将所述接收消息在本地至少部分地存储在客户端计算机系统中的本地存储设备中，以便在所述发送视频消息的传输之后显示给客户端计算机系统的用户。否则，如果所述接收的消息的接收并未与所述发送消息的发送交叠，则将所述接收消息作为来自视频服务器的流显示给用户，同时避免将所述接收消息存储在客户端计算机系统中的本地存储设备中。
本文提供了客户端计算机系统的用户接口，其可连接到数据通信系统。用户接口允许用户选择性地体验以下之一：发送发送视频消息或消费接收视频消息。所述发送视频消息可以包括在传输期间同时地捕获的图像帧。如果在图像帧的捕获期间或所述发送消息的传输/记录期间正在消费接收消息，则可以将所述接收消息至少部分地存储在连接到客户端计算机系统的本地存储设备中。当所述发送消息的传输完成时可以通过从本地存储设备中取回所述接收消息来将所述接收消息显示给用户。如果正在消费入站消息，则通过从本地存储设备取回发送消息，来同时在客户端计算机系统的背景中发送所述发送消息。
尽管已经示出并描述本发明的所选择的实施例，但是要理解本发明并不局限于所描述的实施例。

Claims (7)

1.一种非暂时性计算机可读介质，其包括指令，当所述指令由至少一个处理器执行时，使得所述至少一个处理器实施包括以下操作：
在移动通信设备上执行多媒体消息收发应用，以便交替地在视频发送模式和视频接收模式下操作所述移动通信设备；以及
响应于与所述移动通信设备的单个虚拟控件的交互，在所述视频发送模式和所述视频接收模式之间进行切换；
其中：
当在所述视频发送模式下时，所述操作包括：
在第一时间间隔期间捕获连续流传输多媒体数据的第一消息；以及
在所述第一消息的捕获结束之前，在所述第一时间间隔期间开始向网络中的中介接收存储位置发送所捕获的第一消息；以及
当在所述视频接收模式下时，所述操作包括：
从所述网络中的中介发送存储位置接收连续流传输多媒体数据的第二消息；以及
在所述第二消息的接收结束之前，在第二时间间隔期间开始在所述移动通信设备上显示所接收的第二消息；
其中，当在所述视频接收模式下接收和显示所述第二消息时，所述切换包括：中断所述第二消息的显示，切换到在所述视频发送模式下操作以捕获所述第一消息，以及返回到所述视频接收模式以恢复所述第二消息的显示，其中，所述第二消息的剩余部分被排队以便在完成对所述第一消息的捕获之后进行显示。
2.根据权利要求1所述的非暂时性计算机可读介质，其中，与所述单个虚拟控件的交互包括以下中的至少一个：所述虚拟控件的单次点击、所述虚拟控件的单次划过、虚拟按钮的单次滑动，以及所述移动通信设备的触敏显示器上的所述单个虚拟控件的释放。
3.根据权利要求1所述的非暂时性计算机可读介质，其中，响应于接收到连续流传输多媒体数据的所述第二消息，所述操作进一步包括：
确定所述移动通信设备在以所述视频发送模式捕获连续流传输多媒体数据的所述第一消息；以及
将接收到的所述第二消息进行排队，以便在完成对所述第一消息的捕获之后进行显示。
4.一种被配置用于双模式多媒体消息收发的移动通信设备，所述移动通信设备包括：
至少一个处理器，其被配置为在所述移动通信设备上操作多媒体消息收发应用，以便交替地在视频发送模式和视频接收模式下操作所述移动通信设备，以及响应于与所述移动通信设备的单个虚拟控件的交互，在所述视频发送模式和所述视频接收模式之间进行切换；
其中：
当在所述视频发送模式下时，所述至少一个处理器被配置为：
在第一时间间隔期间捕获连续流传输多媒体数据的第一消息；以及
在所述第一消息的捕获结束之前，在所述第一时间间隔期间开始向网络中的中介接收存储位置发送所捕获的第一消息；以及
当在所述视频接收模式下时，所述至少一个处理器被配置为：
从所述网络中的中介发送存储位置接收连续流传输多媒体数据的第二消息；以及
在所述第二消息的接收结束之前，在第二时间间隔期间开始在所述移动通信设备上显示所接收的第二消息；
其中，当在所述视频接收模式下接收和显示所述第二消息时，所述切换包括：中断所述第二消息的显示，切换到在所述视频发送模式下操作以捕获所述第一消息，以及返回到所述视频接收模式以恢复所述第二消息的显示，其中，所述第二消息的剩余部分被排队以便在完成对所述第一消息的捕获之后进行显示。
5.根据权利要求4所述的移动通信设备，其进一步包括触敏显示器，并且其中，所述至少一个处理器被配置为：响应于与所述移动通信设备的所述单个虚拟控件的交互而在所述视频发送模式和所述视频接收模式之间进行切换，其中与所述移动通信设备的所述单个虚拟控件的交互包括以下中的至少一个：所述虚拟控件的单次点击、所述虚拟控件的单次划过、虚拟按钮的单次滑动，以及所述移动通信设备的触敏显示器上的所述单个虚拟控件的释放。
6.根据权利要求5所述的移动通信设备，其中，响应于接收到连续流传输多媒体数据的所述第二消息，所述至少一个处理器被配置为：
确定所述移动通信设备在以所述视频发送模式捕获连续流传输多媒体数据的所述第一消息；以及
将接收到的所述第二消息进行排队，以便在完成对所述第一消息的捕获之后进行显示。
7.一种计算机实现的双模式多媒体消息收发的方法，所述方法包括：
在移动通信设备上执行多媒体消息收发应用，以便交替地在视频发送模式和视频接收模式下操作所述移动通信设备；以及
响应于与所述移动通信设备的单个虚拟控件的交互，在所述视频发送模式和所述视频接收模式之间进行切换；
其中：
当在所述视频发送模式下时，所述方法包括：
在第一时间间隔期间捕获连续流传输多媒体数据的第一消息；以及
在所述第一消息的捕获结束之前，在所述第一时间间隔期间开始向网络中的中介接收存储位置发送所捕获的第一消息；以及
当在所述视频接收模式下时，所述方法包括：
从所述网络中的中介发送存储位置接收连续流传输多媒体数据的第二消息；以及
在所述第二消息的接收结束之前，在第二时间间隔期间开始在所述移动通信设备上显示所接收的第二消息；
其中，当在所述视频接收模式下接收和显示所述第二消息时，所述切换包括：中断所述第二消息的显示，切换到在所述视频发送模式下操作以捕获所述第一消息，以及返回到所述视频接收模式以恢复所述第二消息的显示，其中，所述第二消息的剩余部分被排队以便在完成对所述第一消息的捕获之后进行显示。
CN202011300695.7A 2012-12-28 2013-12-24 用于双模式多媒体消息收发的方法和装置 Active CN112291500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011300695.7A CN112291500B (zh) 2012-12-28 2013-12-24 用于双模式多媒体消息收发的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1223468.8 2012-12-28
GB1223468.8A GB2509323B (en) 2012-12-28 2012-12-28 Reduced latency server-mediated audio-video communication
PCT/IB2013/061311 WO2014102720A1 (en) 2012-12-28 2013-12-24 Reduced latency server- mediated audio-video communication
CN201380072948.1A CN105144673B (zh) 2012-12-28 2013-12-24 延迟减少的服务器干预式音频-视频通信
CN202011300695.7A CN112291500B (zh) 2012-12-28 2013-12-24 用于双模式多媒体消息收发的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380072948.1A Division CN105144673B (zh) 2012-12-28 2013-12-24 延迟减少的服务器干预式音频-视频通信

Publications (2)

Publication Number Publication Date
CN112291500A true CN112291500A (zh) 2021-01-29
CN112291500B CN112291500B (zh) 2023-04-28

Family

ID=47716251

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011300695.7A Active CN112291500B (zh) 2012-12-28 2013-12-24 用于双模式多媒体消息收发的方法和装置
CN201380072948.1A Active CN105144673B (zh) 2012-12-28 2013-12-24 延迟减少的服务器干预式音频-视频通信

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380072948.1A Active CN105144673B (zh) 2012-12-28 2013-12-24 延迟减少的服务器干预式音频-视频通信

Country Status (16)

Country Link
US (5) US10739933B2 (zh)
EP (1) EP2939406A1 (zh)
JP (1) JP2016511949A (zh)
KR (1) KR20150103118A (zh)
CN (2) CN112291500B (zh)
AU (5) AU2013368906B2 (zh)
BR (1) BR112015015455A2 (zh)
CA (1) CA2896281A1 (zh)
DE (1) DE202013012652U1 (zh)
GB (1) GB2509323B (zh)
HK (1) HK1216804A1 (zh)
IL (4) IL239559B (zh)
MX (1) MX2015008185A (zh)
RU (1) RU2015126358A (zh)
SG (2) SG10201702010PA (zh)
WO (1) WO2014102720A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US11095583B2 (en) 2007-06-28 2021-08-17 Voxer Ip Llc Real-time messaging method and apparatus
US20110019662A1 (en) 2007-06-28 2011-01-27 Rebelvox Llc Method for downloading and using a communication application through a web browser
US9178916B2 (en) 2007-06-28 2015-11-03 Voxer Ip Llc Real-time messaging method and apparatus
GB2509323B (en) 2012-12-28 2015-01-07 Glide Talk Ltd Reduced latency server-mediated audio-video communication
US20150264307A1 (en) * 2014-03-17 2015-09-17 Microsoft Corporation Stop Recording and Send Using a Single Action
US10178346B2 (en) * 2014-03-17 2019-01-08 Microsoft Technology Licensing, Llc Highlighting unread messages
US10284813B2 (en) * 2014-03-17 2019-05-07 Microsoft Technology Licensing, Llc Automatic camera selection
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US9749585B2 (en) 2014-03-17 2017-08-29 Microsoft Technology Licensing, Llc Highlighting unread messages
US9948580B2 (en) * 2015-06-19 2018-04-17 Whatsapp Inc. Techniques to replicate data using uploads from messaging clients
US20190007355A1 (en) * 2017-06-29 2019-01-03 Salesforce.Com, Inc. Communicating with client devices using over-the-top communication channels
CN107426088A (zh) * 2017-07-20 2017-12-01 北京小米移动软件有限公司 图片信息处理方法及装置
US10936343B2 (en) 2018-04-18 2021-03-02 Microsoft Technology Licensing, Llc In-context event orchestration of physical and cyber resources
CN109144642B (zh) * 2018-08-14 2022-02-18 Oppo广东移动通信有限公司 显示控制方法、装置、电子设备及存储介质
US10944801B1 (en) * 2019-02-25 2021-03-09 Amazon Technologies, Inc. Serverless signaling in peer-to-peer session initialization
US10904193B1 (en) * 2019-03-28 2021-01-26 Snap Inc. Modular chat in a content sharing platform
US20200387217A1 (en) * 2019-06-07 2020-12-10 Eyetech Digital Systems, Inc. Devices and Methods For Reducing Computational and Transmission Latencies In Cloud Based Eye Tracking Systems
CN112738639B (zh) * 2020-12-25 2023-08-18 北京百度网讯科技有限公司 视频切换方法及装置、电子设备、计算机可读介质
WO2023153786A1 (en) * 2022-02-09 2023-08-17 Samsung Electronics Co., Ltd. Method of managing media communication in mission critical (mc) system, mc server, and receiver thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1698378A (zh) * 2003-06-09 2005-11-16 索尼株式会社 接收设备、选台方法和流发布系统
JP2005348073A (ja) * 2004-06-02 2005-12-15 Canon Inc 映像配信サーバ及び映像配信方法、並びにプログラム及び記憶媒体
CN1976447A (zh) * 2005-12-02 2007-06-06 索尼株式会社 网络相机系统和网络相机控制程序
CN101150717A (zh) * 2006-07-14 2008-03-26 索尼服务中心(欧洲)股份有限公司 用于音频/视频流送的系统和方法
CN101790878A (zh) * 2007-08-15 2010-07-28 索尼爱立信移动通讯股份有限公司 用于在会话暂停期间播放音乐的系统、方法和设备
US20100325652A1 (en) * 2007-02-06 2010-12-23 Shim Hong Lee Method of performing data communication with terminal and receiver using the same
US20110276637A1 (en) * 2010-05-06 2011-11-10 Microsoft Corporation Techniques to share media files through messaging

Family Cites Families (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61157138A (ja) 1984-12-28 1986-07-16 Sony Corp 留守番電話装置
US5524137A (en) 1993-10-04 1996-06-04 At&T Corp. Multi-media messaging system
US5673205A (en) 1996-04-08 1997-09-30 Lucent Technologies Inc. Accessing a video message via video snapshots
US6212550B1 (en) 1997-01-21 2001-04-03 Motorola, Inc. Method and system in a client-server for automatically converting messages from a first format to a second format compatible with a message retrieving device
JP3772502B2 (ja) 1997-12-22 2006-05-10 ソニー株式会社 受信装置および情報処理装置
JP3988102B2 (ja) 1998-11-06 2007-10-10 富士フイルム株式会社 腕装着型カメラ
US6501502B1 (en) 2000-06-29 2002-12-31 Kuo-Cheng Chen Automatic detector for starting security cameras
US8120625B2 (en) 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
FI112307B (fi) * 2000-08-02 2003-11-14 Nokia Corp Viestintäpalvelu
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
US20030043042A1 (en) 2001-08-21 2003-03-06 Tabula Rasa, Inc. Method and apparatus for facilitating personal attention via wireless networks
US8825812B2 (en) 2001-10-11 2014-09-02 Oren Asher Method and system for peer-to-peer image streaming
US20030079039A1 (en) 2001-10-16 2003-04-24 Forkner Damien R. Web server utilizing a state machine and user token
JP4313560B2 (ja) 2001-10-31 2009-08-12 パナソニック株式会社 携帯電話
US7640293B2 (en) 2002-07-17 2009-12-29 Research In Motion Limited Method, system and apparatus for messaging between wireless mobile terminals and networked computers
WO2004034674A1 (en) 2002-09-30 2004-04-22 Popwire.Com Dynamic transferring software/protocol
AU2003282029A1 (en) 2002-10-15 2004-05-04 Web.De Ag Notification of access for a sender of an electronic message
US7613773B2 (en) 2002-12-31 2009-11-03 Rensselaer Polytechnic Institute Asynchronous network audio/visual collaboration system
US7185285B2 (en) 2003-02-19 2007-02-27 Microsoft Corporation User interface and content enhancements for real-time communication
US8161116B2 (en) 2003-05-23 2012-04-17 Kirusa, Inc. Method and system for communicating a data file over a network
US7283644B2 (en) 2003-06-27 2007-10-16 International Business Machines Corporation System and method for enhancing security applications
JP2005191642A (ja) * 2003-12-24 2005-07-14 Ricoh Co Ltd 仮想オフィス空間提供プログラム、仮想オフィス空間提供装置、仮想オフィス空間提供方法、仮想オフィス空間提供システム、及び仮想オフィス空間提供プログラムを記憶する記憶媒体
US8081586B2 (en) 2004-04-07 2011-12-20 Nokia Corporation Method and apparatus to convey a URI for content indirection use in SIP
WO2005122025A2 (en) 2004-06-07 2005-12-22 Sling Media, Inc. Personal media broadcasting system
US20050276164A1 (en) 2004-06-12 2005-12-15 Scott Amron Watch adapted to rotate a displayed image so as to appear in a substantially constant upright orientation
US7409205B2 (en) 2004-06-29 2008-08-05 Nokia Corporation Virtual radio
US7826831B2 (en) 2004-06-30 2010-11-02 Bettis Sonny R Video based interfaces for video message systems and services
US20060015799A1 (en) 2004-07-13 2006-01-19 Sung Chih-Ta S Proxy-based error tracking for real-time video transmission in mobile environments
US20060055771A1 (en) * 2004-08-24 2006-03-16 Kies Jonathan K System and method for optimizing audio and video data transmission in a wireless system
EP1643744A1 (en) 2004-10-04 2006-04-05 Alcatel Method for transfering video data to several users in an MMS-network
US20060098624A1 (en) * 2004-11-10 2006-05-11 Morgan David P Using session initiation protocol
US20060114314A1 (en) * 2004-11-19 2006-06-01 Sony Ericsson Mobile Communications Ab Picture/video telephony for a push-to-talk wireless communications device
EP1703712B1 (en) * 2005-03-08 2008-01-23 Alcatel Lucent Method and server for a push-to-talk service
US20060210027A1 (en) * 2005-03-16 2006-09-21 Oded Kafri Method and system for storing and sending multimedia messaging service (MMS) messages
KR101275915B1 (ko) * 2005-06-02 2013-06-17 삼성전자주식회사 미디어 전송의 중단을 위한 방법
KR20070075637A (ko) 2006-01-13 2007-07-24 케이티하이텔 주식회사 예약전송이 가능한 메신저 서비스 시스템 및 방법
US20070174425A1 (en) * 2006-01-20 2007-07-26 Jean-Philippe Gousse Method and apparatus for communicating with a user using video
US8224366B2 (en) * 2006-02-17 2012-07-17 Qualcomm Incorporated System and method for multiple simultaneous communication groups in a wireless system
US7817987B2 (en) 2006-03-07 2010-10-19 Motorola, Inc. Apparatus and method for handling messaging service message adaptation
US7937417B2 (en) 2006-04-11 2011-05-03 Nokia Corporation Mobile communication terminal and method
US20070282905A1 (en) 2006-06-06 2007-12-06 Sony Ericsson Mobile Communications Ab Communication terminals and methods for prioritizing the playback of distributed multimedia files
CN102427557B (zh) 2006-06-15 2016-08-17 索尼株式会社 信息处理装置以及信息处理方法
NO325064B1 (no) * 2006-07-06 2008-01-28 Tandberg Telecom As Kommunikasjonsklient
US7961212B2 (en) * 2006-08-14 2011-06-14 Verizon Data Services Llc Video messaging system
WO2008048848A2 (en) 2006-10-13 2008-04-24 Nms Communications Corporation Dynamic video messaging
US7733808B2 (en) 2006-11-10 2010-06-08 Microsoft Corporation Peer-to-peer aided live video sharing system
US20080133669A1 (en) * 2006-11-30 2008-06-05 Li Ge Sending and receiving electronic mail using group headers
US9762861B2 (en) * 2006-12-05 2017-09-12 Excalibur Ip, Llc Telepresence via wireless streaming multicast
CN101079835A (zh) 2006-12-21 2007-11-28 腾讯科技（深圳）有限公司 一种基于即时通信软件实现离线多媒体留言的方法及系统
US20080151786A1 (en) * 2006-12-21 2008-06-26 Motorola, Inc. Method and apparatus for hybrid audio-visual communication
EP1940097B1 (en) * 2006-12-28 2010-04-28 Ericsson AB Messaging method and server
US8078688B2 (en) * 2006-12-29 2011-12-13 Prodea Systems, Inc. File sharing through multi-services gateway device at user premises
US8019055B2 (en) 2007-01-19 2011-09-13 Nokia Corporation Media instant messaging for mobile device
GB0703276D0 (en) 2007-02-20 2007-03-28 Skype Ltd Instant messaging activity notification
CN101299829B (zh) * 2007-04-30 2012-04-04 华为技术有限公司 一种实现统一存储中管理媒体内容的方法和消息系统
TW200842686A (en) 2007-04-30 2008-11-01 High Tech Comp Corp A method for displaying and organizing messages received from or sent to communication devices and a portable messaging device
US7578168B2 (en) * 2007-06-27 2009-08-25 Asml Holding N.V. Increasing gas gauge pressure sensitivity using nozzle-face surface roughness
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8533611B2 (en) * 2009-08-10 2013-09-10 Voxer Ip Llc Browser enabled communication device for conducting conversations in either a real-time mode, a time-shifted mode, and with the ability to seamlessly shift the conversation between the two modes
GB0712879D0 (en) * 2007-07-03 2007-08-08 Skype Ltd Video communication system and method
US20090037826A1 (en) 2007-07-31 2009-02-05 Christopher Lee Bennetts Video conferencing system
DE102007036035A1 (de) * 2007-08-01 2009-02-05 Siemens Ag Steuervorrichtung zur Steuerung eines Bestrahlungsvorgangs, Partikeltherapieanlage sowie Verfahren zur Bestrahlung eines Zielvolumens
US8869181B2 (en) * 2007-09-28 2014-10-21 At&T Intellectual Property I, L.P. Method and system for message notification
US9060094B2 (en) 2007-09-30 2015-06-16 Optical Fusion, Inc. Individual adjustment of audio and video properties in network conferencing
EP2048853A1 (en) 2007-10-11 2009-04-15 Nextlead GmbH System and user terminal for storing, managing and displaying image, audio or video files
US8090867B2 (en) * 2007-10-19 2012-01-03 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
CN101150538A (zh) 2007-10-23 2008-03-26 中兴通讯股份有限公司 一种收发即时多媒体信息的方法和装置
WO2009070841A1 (en) 2007-12-05 2009-06-11 It Au0801806Rsity Of Technology Social multimedia management
EP2088751B1 (en) * 2008-02-08 2013-07-03 Accenture Global Services Limited Streaming media interruption and resumption system
US8542804B2 (en) * 2008-02-08 2013-09-24 Voxer Ip Llc Voice and text mail application for communication devices
US9054912B2 (en) * 2008-02-08 2015-06-09 Voxer Ip Llc Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode
US8321582B2 (en) * 2008-02-08 2012-11-27 Voxer Ip Llc Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode
US20090228808A1 (en) * 2008-03-05 2009-09-10 The Nasdaq Omx Group, Inc. Web Conferencing
JP2009239697A (ja) * 2008-03-27 2009-10-15 Sumitomo Electric Ind Ltd ゲートウェイ装置
US8819741B2 (en) 2008-04-03 2014-08-26 Microsoft Corporation Streaming video over a wireless network
US9003051B2 (en) 2008-04-11 2015-04-07 Mobitv, Inc. Content server media stream management
US8401582B2 (en) 2008-04-11 2013-03-19 Voxer Ip Llc Time-shifting for push to talk voice communication systems
US8499323B2 (en) 2008-04-16 2013-07-30 Nvidia Corporation Method and apparatus for outputting media content
US20090265429A1 (en) 2008-04-22 2009-10-22 Amivox Limited Communications framework using hand held devices
US8166119B2 (en) 2008-04-25 2012-04-24 T-Mobile Usa, Inc. Messaging device for delivering messages to recipients based on availability and preferences of recipients
US8269817B2 (en) * 2008-07-16 2012-09-18 Cisco Technology, Inc. Floor control in multi-point conference systems
KR101380482B1 (ko) 2008-08-28 2014-04-01 쿄세라 코포레이션 통신 기기
KR101374452B1 (ko) 2008-10-30 2014-03-17 노키아 코포레이션 데이터 블록을 인터리빙하기 위한 방법 및 장치
US9178842B2 (en) 2008-11-05 2015-11-03 Commvault Systems, Inc. Systems and methods for monitoring messaging applications for compliance with a policy
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US20100158232A1 (en) * 2008-12-23 2010-06-24 Nortel Networks Limited Accessing recorded conference content
US8700072B2 (en) 2008-12-23 2014-04-15 At&T Mobility Ii Llc Scalable message fidelity
CN101466034A (zh) 2008-12-25 2009-06-24 华为技术有限公司 发送、播放流媒体数据的方法和装置及流媒体点播系统
US8767081B2 (en) * 2009-02-23 2014-07-01 Microsoft Corporation Sharing video data associated with the same event
US8259816B2 (en) 2009-03-12 2012-09-04 MIST Innovations, Inc. System and method for streaming video to a mobile device
US8520736B2 (en) 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
US9135363B2 (en) * 2009-06-09 2015-09-15 Gvoto (Hong Kong) Ltd. Methods and systems for automatic content retrieval and organization
US20100333155A1 (en) 2009-06-30 2010-12-30 Philip David Royall Selectively using local non-volatile storage in conjunction with transmission of content
GB0912507D0 (en) 2009-07-17 2009-08-26 Skype Ltd Reducing processing resources incurred by a user interface
KR101707867B1 (ko) 2009-07-28 2017-02-17 엘지전자 주식회사 다중반송파 지원 광대역 무선 통신 시스템에서의 반송파 관리 절차 수행 방법 및 장치
US7974233B2 (en) 2009-07-29 2011-07-05 Wiviu Technology Inc. Systems and methods for transmitting and receiving data streams with feedback information over a lossy network
JP5397081B2 (ja) 2009-08-12 2014-01-22 富士通モバイルコミュニケーションズ株式会社 携帯端末
US20110063440A1 (en) 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications
US8510383B2 (en) * 2009-09-14 2013-08-13 Clixtr, Inc. Method for providing event based media streams
US8862762B1 (en) * 2009-10-01 2014-10-14 Skype Real-time consumption of a live video stream transmitted from a mobile device
CN101697549B (zh) 2009-10-23 2013-12-04 中兴通讯股份有限公司 流媒体的展示方法、系统以及流媒体管理服务器
JP5478197B2 (ja) 2009-11-02 2014-04-23 日立コンシューマエレクトロニクス株式会社 無線映像送信装置および無線映像受信装置
AU2010325968C1 (en) * 2009-12-02 2015-04-23 Vidyo, Inc. System and method for combining instant messaging and video communication systems
US8862173B2 (en) 2009-12-10 2014-10-14 Motorola Solutions, Inc. Method for selecting media for delivery to users at an incident
US20110206132A1 (en) 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110264751A1 (en) 2010-04-21 2011-10-27 Jans Lucas A System and method for a video emailing service
JP5562418B2 (ja) 2010-06-23 2014-07-30 三菱電機株式会社 映像再現システム、受信端末、ホームゲートウェイ装置及び品質管理システム
US20130335510A1 (en) * 2010-07-12 2013-12-19 Telefonica S.A. System for exchanging ptt messages for brief multi video conferences
CA2748060A1 (en) * 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for making video calls
WO2012021418A1 (en) 2010-08-12 2012-02-16 Gary Anderson Systems and methods for video messaging and confirmation
US8838696B2 (en) 2010-09-15 2014-09-16 Syniverse Technologies, Llc Method and apparatus to provide an ecosystem for mobile video
US9237305B2 (en) * 2010-10-18 2016-01-12 Apple Inc. Overlay for a video conferencing application
US20120109979A1 (en) 2010-11-01 2012-05-03 Research In Motion Limited Apparatus, and associated method, for establishing a prioritized media-file playlist at media device
KR20120062551A (ko) 2010-12-06 2012-06-14 한국전자통신연구원 디지털 비디오 송신 장치 및 방법, 디지털 비디오 수신 장치 및 방법, 디지털 비디오 송수신 시스템
US8510398B2 (en) 2010-12-10 2013-08-13 At&T Intellectual Property I, Lp Apparatus and method for managing message communication
US20120162350A1 (en) 2010-12-17 2012-06-28 Voxer Ip Llc Audiocons
US20120182384A1 (en) 2011-01-17 2012-07-19 Anderson Eric C System and method for interactive video conferencing
US20120188376A1 (en) 2011-01-25 2012-07-26 Flyvie, Inc. System and method for activating camera systems and self broadcasting
CN103593009A (zh) * 2011-02-10 2014-02-19 三星电子株式会社 包含触摸屏显示器的便携式设备以及控制它的方法
US9336512B2 (en) 2011-02-11 2016-05-10 Glenn Outerbridge Digital media and social networking system and method
CN102145683A (zh) 2011-03-11 2011-08-10 广东铁将军防盗设备有限公司 车辆视频记录仪
WO2012131708A2 (en) 2011-03-25 2012-10-04 Sisa Communication Pvt. Ltd Video messaging and mailing service
US20120275444A1 (en) * 2011-04-28 2012-11-01 Salah Shahsavari Push-to-multimedia method and system for sharing multimedia information
WO2012153167A1 (en) 2011-05-09 2012-11-15 Talkbox Limited System and method for real-time transmission of multimedia messages
US8943149B2 (en) * 2011-05-16 2015-01-27 International Business Machines Corporation Sender motivated optimization of URI rendering in instant messaging
US8594464B2 (en) 2011-05-26 2013-11-26 Microsoft Corporation Adaptive super resolution for video enhancement
US8635293B2 (en) 2011-06-13 2014-01-21 Microsoft Corporation Asynchronous video threads
US8984422B2 (en) 2011-06-24 2015-03-17 Google Inc. Group conversation between a plurality of participants
US9191431B2 (en) * 2011-07-05 2015-11-17 Verizon Patent And Licensing Inc. Systems and methods for sharing media content between users
US8804036B1 (en) 2011-07-29 2014-08-12 Pixelworks, Inc. Encoding for super resolution playback
US9088661B2 (en) 2011-08-02 2015-07-21 Genesys Telecommunications Laboratories, Inc. Hands-free voice/video session initiation using face detection
US9596084B2 (en) 2011-09-09 2017-03-14 Facebook, Inc. Initializing camera subsystem for face detection based on sensor inputs
CN103023742A (zh) 2011-09-20 2013-04-03 佳都新太科技股份有限公司 一种在视频监控中利用即时通讯工具进行交互的新方法
US8824645B2 (en) 2011-09-30 2014-09-02 Verizon Patent And Licensing Inc. Video messaging systems and methods
US8279716B1 (en) 2011-10-26 2012-10-02 Google Inc. Smart-watch including flip up display
CN102378012A (zh) 2011-11-26 2012-03-14 南京邮电大学 基于数据隐藏的h·264视频传输误码恢复方法
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
CN102497600A (zh) 2011-12-26 2012-06-13 深圳Tcl新技术有限公司 网络视频终端待机状态呼叫提醒方法、终端及服务器
US8947382B2 (en) 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US8931011B1 (en) * 2012-03-13 2015-01-06 Amazon Technologies, Inc. Systems and methods for streaming media content
US9503683B2 (en) * 2012-03-27 2016-11-22 Google Inc. Providing users access to applications during video communications
US8566867B1 (en) * 2012-04-03 2013-10-22 Google Inc. Pre-fetch ads while serving ads in live stream
US20130271655A1 (en) * 2012-04-12 2013-10-17 Google Inc. System, apparatus and method to facilitate live video streaming
US8752112B2 (en) * 2012-04-12 2014-06-10 Google Inc. Live streaming video processing
US20130283330A1 (en) 2012-04-18 2013-10-24 Harris Corporation Architecture and system for group video distribution
US20130300821A1 (en) * 2012-05-10 2013-11-14 Qualcomm Incorporated Selectively combining a plurality of video feeds for a group communication session
US8718728B2 (en) * 2012-05-31 2014-05-06 Voxer Ip Llc Smart case for mobile communication devices
US8291041B1 (en) * 2012-05-31 2012-10-16 Google Inc. Systems and methods for disseminating content to remote devices
US8957973B2 (en) 2012-06-11 2015-02-17 Omnivision Technologies, Inc. Shutter release using secondary camera
US8863208B2 (en) 2012-06-18 2014-10-14 Micropower Technologies, Inc. Synchronizing the storing of streaming video
US9584834B1 (en) * 2012-06-25 2017-02-28 Google Inc. Video broadcasting with geolocation
CN103546437A (zh) 2012-07-16 2014-01-29 中兴通讯股份有限公司 一种ims中实现离线消息收发的方法、ue及as
EP2698686B1 (en) 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
CA2822215A1 (en) * 2012-08-02 2014-02-02 Iwatchlife Inc. Collective broadcasting based on geo-localized video streaming
CN103337110B (zh) 2012-08-15 2015-06-24 上海达速物联网科技发展有限公司 采用储物柜系统进行存取货物的方法
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US8560004B1 (en) 2012-08-31 2013-10-15 Google Inc. Sensor-based activation of an input device
US8782158B2 (en) 2012-10-02 2014-07-15 Tanner Cropper System for sharing and tracking review of rich content, and methods associated therewith
US20140101551A1 (en) 2012-10-05 2014-04-10 Google Inc. Stitching videos into an aggregate video
CN105027029A (zh) 2012-10-22 2015-11-04 Vid拓展公司 移动设备中的用户存在检测
US9191618B2 (en) * 2012-10-26 2015-11-17 Speedcast, Inc. Method and system for producing and viewing video-based group conversations
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
GB2509323B (en) 2012-12-28 2015-01-07 Glide Talk Ltd Reduced latency server-mediated audio-video communication
KR101988279B1 (ko) 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US20140197922A1 (en) 2013-01-16 2014-07-17 Cygnus Broadband, Inc. System and method for positive identification on a mobile device
US9565226B2 (en) 2013-02-13 2017-02-07 Guy Ravine Message capturing and seamless message sharing and navigation
US9921648B2 (en) 2013-02-22 2018-03-20 University Of Seoul Industry Cooperation Foundation Apparatuses, methods and recording medium for control portable communication terminal and its smart watch
JP6167577B2 (ja) 2013-03-13 2017-07-26 カシオ計算機株式会社 リスト端末装置、通信端末装置及びプログラム
US9245100B2 (en) 2013-03-14 2016-01-26 Google Technology Holdings LLC Method and apparatus for unlocking a user portable wireless electronic communication device feature
CN103197351B (zh) 2013-04-01 2015-04-22 吴建堂 人体接近自动控制装置
JP2014230087A (ja) 2013-05-22 2014-12-08 オリンパス株式会社 撮像制御端末、撮像端末、撮像システム、撮像方法、及びプログラム
KR20140139840A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
US9391940B2 (en) 2013-06-25 2016-07-12 Cellco Partnership Typing indicator for IMAP messaging
US8725842B1 (en) 2013-07-11 2014-05-13 Khalid Al-Nasser Smart watch
CN103680025A (zh) 2013-12-01 2014-03-26 深圳市福田区青少年科技教育协会 移动式防盗报警器
CN203793284U (zh) 2014-04-28 2014-08-27 鼎兴联通（北京）网络科技有限公司 一种车内视频监控设备
GB2511983A (en) 2014-06-24 2014-09-17 Andersen Cheng System and method for management of group based communications
US20160373388A1 (en) * 2015-06-19 2016-12-22 Voxer Ip Llc Messaging application for recording and inserting a video message into a chat

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1698378A (zh) * 2003-06-09 2005-11-16 索尼株式会社 接收设备、选台方法和流发布系统
JP2005348073A (ja) * 2004-06-02 2005-12-15 Canon Inc 映像配信サーバ及び映像配信方法、並びにプログラム及び記憶媒体
CN1976447A (zh) * 2005-12-02 2007-06-06 索尼株式会社 网络相机系统和网络相机控制程序
CN101150717A (zh) * 2006-07-14 2008-03-26 索尼服务中心(欧洲)股份有限公司 用于音频/视频流送的系统和方法
US20100325652A1 (en) * 2007-02-06 2010-12-23 Shim Hong Lee Method of performing data communication with terminal and receiver using the same
CN101790878A (zh) * 2007-08-15 2010-07-28 索尼爱立信移动通讯股份有限公司 用于在会话暂停期间播放音乐的系统、方法和设备
US20110276637A1 (en) * 2010-05-06 2011-11-10 Microsoft Corporation Techniques to share media files through messaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张倩等: "基于AVS视频流媒体传输系统的设计与实现", 《计算机工程与设计》 *

Also Published As

Publication number Publication date
IL276256A (en) 2020-09-30
US20150350270A1 (en) 2015-12-03
WO2014102720A1 (en) 2014-07-03
US11144171B2 (en) 2021-10-12
US20200333924A1 (en) 2020-10-22
AU2021202017A1 (en) 2021-04-29
US10739933B2 (en) 2020-08-11
EP2939406A1 (en) 2015-11-04
DE202013012652U1 (de) 2018-03-09
IL239559B (en) 2019-01-31
GB2509323A (en) 2014-07-02
IL271333A (en) 2020-01-30
AU2013368906B2 (en) 2017-12-07
GB2509323B (en) 2015-01-07
IL263814A (en) 2019-01-31
CA2896281A1 (en) 2014-07-03
CN112291500B (zh) 2023-04-28
IL276256B (en) 2021-04-29
US10579202B2 (en) 2020-03-03
AU2021202017B2 (en) 2022-04-28
CN105144673B (zh) 2020-12-08
AU2019240571B2 (en) 2021-02-25
AU2017254981B2 (en) 2019-07-18
RU2015126358A (ru) 2017-01-16
IL263814B (en) 2019-12-31
IL239559A0 (en) 2015-08-31
BR112015015455A2 (pt) 2017-07-11
AU2017254981A1 (en) 2017-11-30
AU2021200559B2 (en) 2021-04-01
GB201223468D0 (en) 2013-02-13
AU2013368906A2 (en) 2016-02-18
IL271333B (en) 2020-08-31
AU2013368906A1 (en) 2015-07-16
MX2015008185A (es) 2016-04-25
CN105144673A (zh) 2015-12-09
SG10201702010PA (en) 2017-05-30
US20160219007A1 (en) 2016-07-28
JP2016511949A (ja) 2016-04-21
US20160224193A1 (en) 2016-08-04
US10599280B2 (en) 2020-03-24
KR20150103118A (ko) 2015-09-09
US10678393B2 (en) 2020-06-09
US20160219249A1 (en) 2016-07-28
HK1216804A1 (zh) 2016-12-02
SG11201504981RA (en) 2015-07-30
AU2021200559A1 (en) 2021-03-04
AU2019240571A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
AU2021200559B2 (en) Reduced latency server-mediated audio-video communication
US9979690B2 (en) Method and apparatus for social network communication over a media network
US20120233644A1 (en) Mobile device capable of substantially synchronized sharing of streaming media with other devices
EP1561346A1 (en) Media communications method and apparatus
US11930049B2 (en) Data communication system and method
WO2021155702A1 (zh) 通信处理方法、装置、终端、服务器及存储介质
CN112203126A (zh) 投屏方法、投屏装置及存储介质
JP2010004136A (ja) 通信端末装置、通信制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043430

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant