CN114731449A - 仅音频的内容 - Google Patents

仅音频的内容 Download PDF

Info

Publication number
CN114731449A
CN114731449A CN201980091794.8A CN201980091794A CN114731449A CN 114731449 A CN114731449 A CN 114731449A CN 201980091794 A CN201980091794 A CN 201980091794A CN 114731449 A CN114731449 A CN 114731449A
Authority
CN
China
Prior art keywords
video
data
content
user device
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980091794.8A
Other languages
English (en)
Inventor
F·伊尔迪兹
C·恩瓦利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Twitter Inc
Original Assignee
Twitter Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Twitter Inc filed Critical Twitter Inc
Publication of CN114731449A publication Critical patent/CN114731449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于请求针对视频内容的仅音频数据。方法中的一种方法包括从网络上的主机服务器接收多个内容项，其中多个内容项中的内容项引用视频内容。如果设备条件、网络条件、或两者指示内容项所引用的视频内容的视频数据不应当在用户设备上被播放，则用户设备仅请求内容项所引用的视频内容的音频数据，并且在用户设备上仅播放音频数据。

Description

仅音频的内容
背景技术
本说明书涉及社交消息接发平台，并且特别地涉及当系统确定视频流不应当在用户设备上被播放时请求来自社交消息接发平台的音频流的系统。
社交消息接发平台和网络连接的个人计算设备允许用户跨多个设备实时地创建和共享内容。
诸如智能电话和平板计算机的精密移动计算设备使得使用社交联网消息接发平台和应用对个人、公司和其他实体容易并且方便。流行的社交消息接发平台通常向用户提供功能性以既有同步地也有异步地向其他用户起草和发布消息。其他常见的特征包括发布消息的能力，该消息对平台的一个或多个被标识的用户可见，或者甚至是在没有由创作用户的具体指定的情况中公开地对平台的任何用户可见，流行的社交消息接发平台包括Facebook、Pinterest和Twitter。(“Facebook”是Facebook，Inc.的商标，“Pinterest”是Pinterest，Inc.的商标，“Twitter”是Twitter，Inc.的商标)。
发明内容
本说明书涉及社交消息接发平台，并且特别地涉及以下系统：当该系统确定视频内容的视频数据不应当在用户设备上被播放时，该系统请求并且仅呈现来自社交消息接发平台的音频数据。
在本说明书中，视频内容广义地指允许具有静止或移动的图像和音频的视频被呈现在用户设备上的一个或多个资源的集合。因此，视频内容具有表示静止或移动图像的视频数据、以及表示音频的音频数据两者。
在本说明书中，内容项指的是从社交消息接发平台所接收的如下数据：用户设备可以将该数据显示为用户应用的独特用户界面元素。因此，内容项可以是用户创作的消息、公告或广告，仅举几个示例。本说明中所描述的内容项特别地具有引用视频内容的能力——意味着在一些情况下，视频数据可以在用户界面中、内容项呈现的边界内被显示在用户设备上。如在下面将被更详细描述的，在一些情形中，在内容项内显示视频数据可能是不期望的。代替地，用户设备可以仅呈现内容项所引用的视频内容的音频数据。在音频数据正在被呈现的同时，用户设备可以或可以不显示内容项内的任何图像数据。例如，用户设备可以显示音频呈现用户界面、空白内容项或静止图像。
本说明书中所描述的主题可以在特定实施例中被实现，以便实现以下优点中的一个或多个优点。当设备条件、网络条件、或两者都使得在用户设备上播放视频数据不可能或不切实际时，本文所描述的系统可以请求对应的音频数据，使得用户仍然可以部分地体验视频内容。通过自动地并且动态地确定设备和网络条件何时是适合用于播放视频数据的，系统可以确保用户在不同的网络条件下接收视频内容的最优格式，即，音频数据或视频数据。这可以提高对内容项和平台本身两者的用户满意度和用户参与(engagement)。
本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。该主题的其他特征、方面以及优势将从描述、附图和权利要求书变得明显。
附图说明
图1描绘了具有与社交消息接发平台通信的用户设备的示例系统。
图2是用于从社交消息接发平台仅请求针对内容项所引用的视频内容的音频数据的示例过程的流程图。
图3是用于基于设备和网络条件来确定视频数据是否不应当在用户设备上被播放的示例过程的流程图。
图4是用于在初始地仅呈现音频数据之后请求音频数据和视频数据两者的示例过程的流程图。
各个附图中相同的附图标记和标志指示相同的元素。
具体实施方式
图1图示了示例在线社交消息接发平台100和示例用户设备104a-104n，示例用户设备104a-104n被配置为通过一个或多个数据通信网络120与该平台100通信。如将被描述的，该平台、用户设备或两者被配置为实现或执行本说明书中所描述的创新技术中的一项或多项创新技术。
平台100被实现在一个或多个平台服务器110a-110m上，该平台服务器110a-110m可以是例如计算机集群的部分。每个平台服务器110a-m被实现在一个或多个计算机上，例如，该一个或多个计算机可以是被托管在数据中心中的虚拟机或物理机。
平台的用户102a-102n可以使用在其上安装了客户端软件106a-106n的用户设备104a-104n来使用平台100。用户可以使用他们的相应的用户设备上相应的客户端软件与社交消息接发平台交互。
用户可以是平台上账户的账户持有者，或者账户的经授权的用户。平台可以具有个成百万的个人、企业或其他实体的账户，例如，假名账户、创新账户等。
在一些实现中，平台允许由不是账户持有者或者未登录到该平台的账户的用户使用该平台。如果平台允许由这样的用户使用，则该平台可以通过将用户与暂时的账户或标识符相关联来允许这样的用户发布消息或者使用该平台的其他功能性。
用户设备可以是任何互联网连接的设备，例如，膝上型计算机或台式计算机、智能电话、或者电子平板计算机。用户设备可以通过移动网络、通过互联网服务供应商(ISP)、或者以其他方式被连接到互联网。
每个用户设备被配置为具有软件，该软件被称为客户端或者客户端软件106a-106n，其在操作时可以访问平台，以使得用户可以发布和接收消息、查看和编策用户的流、以及查看内容项的列表并且与之交互。在任何特定的用户设备上，客户端可以是web浏览器或者由web浏览器绘出的HTML(超文本标记语言)文档。或者客户端可以是JavaScript代码或Java代码。或者客户端也可以是专用软件，例如，被特别设计来与平台一起工作的被安装的app或者被安装的应用。或者客户端可以是或者包括例如短消息接发服务(SMS)接口、即时消息接发接口、基于电子邮件的接口、或者基于API功能的接口。
客户端软件106a包括模块，例如，仅音频模块108a，该模块被配置为基于设备条件、网络条件、或两者来确定用户设备是否应当播放由相应消息、流或内容项引用的视频数据。仅音频模块108a可以是客户端软件106a内的功能。仅音频模块108a还可以是被配置为与客户端软件106a和平台100交互的单独的应用。在一些情况下，平台100可以响应于用户在客户端软件106a中发起的请求，向用户设备104a提供仅音频模块108a。
响应于确定用户设备104a不应当播放视频数据，仅音频模块108a可以从社交消息接发平台100仅请求所引用的视频内容的音频数据。即，模块108a请求平台提供视频内容的音频数据，但不是视频内容的视频数据的对应帧。
社交消息接发平台100在一个或多个位置中的一个或多个计算机上被实现，这些计算机作为一个或多个服务器而操作，该一个或多个服务器支持通过有线或无线网络120到许多不同种类的用户设备的连接。该平台可以在任何给定时刻，在客户端与平台之间具有数十万至数万个连接可以被建立或者在使用中。
网络120可以包括有线或无线网络的任何适当组合。无线网络可以包括Wi-Fi网络，其是针对符合IEEE 802.11无线标准的无线网络的简称。Wi-Fi网络一般支持用户设备和接入点之间的具有100米或更少的可使用范围的短程通信。网络120还可以包括非Wi-Fi蜂窝网络，其包括比Wi-Fi支持更长范围的无线网络，例如超过100米。非Wi-Fi蜂窝网络的例子包括码分多址(CDMA)网络、全球移动通信系统(GSM)网络和长期演进(LTE)网络等，仅举几个示例。一般地，Wi-Fi网络比非Wi-Fi网络提供更高的带宽和更短的范围，尽管这些相对特性在某些情况下可能重叠和被逆转。另一差异是，非Wi-Fi蜂窝网络的提供方通常计量数据消耗并且施加数据配额，而Wi-Fi网络上的数据消耗是不计量的。因此，在仅音频内容的情境中，由于对应的数据配额，用户设备104a-n可以被配置为当在非Wi-Fi蜂窝网络上与平台100通信时仅请求音频数据。
平台支持实时通信。平台和客户端软件被配置为使用户能够使用平台将消息122发布到平台并且使用平台来接收由其他用户发布的消息124。
在一些实现中，平台为用户提供设施以供用户直接向平台的一个或多个其他用户发送消息，从而允许发送方和接收方维持消息的私密交换。
平台被配置为在主页馈送(home feed)消息流中向用户提供内容，通常是消息。该消息一般将是来自用户正在追随(follow)的账户的消息，这意味着接收方已经注册以接收由被追随账户发布的消息，以及可选地，这样的账户已经参与的内容，例如，已拥护(endorse)。可选地，平台被配置为在接收方用户的主页馈送消息流中包括平台确定接收方很可能感兴趣的消息，例如，关于特定的当前兴趣的话题的消息，如由平台用户发布的关于该话题的消息的数目表示的，或者关于接收方明显感兴趣的话题而被发布的消息，如由接收方已经发布或者参与的消息表示的，以及经选择的广告、公共服务声明、宣传内容等。
平台被配置为使用户能够实时交换消息，即，具有最小的延迟。平台还被配置为使用户能够响应更早被发布的消息，大约数小时或数天甚至更长。该平台被配置为在短时间内向一个或多个其他用户显示被发布的消息，以便促进用户之间的本质上的直播对话。
因此，平台的基本消息接发功能性至少包括：发布新消息；根据客户端请求提供消息流；管理账户；管理账户、消息和流之间的连接；以及从参与消息的客户端接收参与数据。平台还对内容项以及访问数据编索引，并且可以向账户持有者提供经索引的数据。
在平台的一些实现中，消息包含表示由消息的作者提供的内容的数据。消息可以是存储内容数据的容器数据类型。可以被存储在消息中的数据的内容包括例如文本、图形、图像、音频、视频以及计算机代码(例如，统一资源定位符(URL))。在一些情况下，当用户在客户端软件中查看消息时，这些消息中的视频自动播放。然而，一些用户可能会被数据限制或网络带宽所约束，并且可能更喜欢视频不自动地播放。其他用户可能更喜欢平台仅在某些情况下传递视频数据，例如，当他们尚未达到其数据限制时，以及当网络带宽足以流式传输(stream)高质量视频时。仅音频模块108a可以处理这些和其他因素，并且请求平台提供对应的音频数据而不是视频数据。
消息还可以包括可以协助分类或者将消息联系到话题的关键短语(例如，哈希标签)。取决于实现，消息还可以包括可以或不可以由创作的账户持有者可编辑的元数据。消息元数据的示例包括著作时间和日期以及当用户设备提交消息时其地理位置。在一些实现中，客户端向平台提供什么元数据通过由隐私设置确定，该隐私设置由用户或账户持有者控制。
由一个账户持有者创作的消息可以引用其他账户、其他消息或两者。例如，作为对由另一账户创作的另一消息的和回复，消息可以被创作。消息也可以由用户创作作为对最初由该用户发布的消息的回复。消息还可以是对由另一账户创作并从另一账户被接收的消息的重新发表。通常，在消息中被引用的账户可以作为消息中可见的内容(例如，账户的名称)出现，并且也可以作为消息中的元数据出现。作为结果，被引用的账户在平台中可以是交互式的。例如，用户可以与出现在其消息流中的账户名称交互，以导航到那些账户的消息流。平台还允许消息是私密的；私密的消息将仅在创作的账户和接收方账户的消息流中出现。
在一些实现中，消息是微博客发布，其不同于电子邮件消息，例如，微博客发布的作者不一定需要指定、或者甚至知晓谁将是将是消息的接收方。
流是平台上满足一个或多个消息标准的消息的流。流可以由流标准定义，以包括由一个或多个账户发布的消息。例如，针对请求的账户持有者的流的内容可以包括以下一项或多项：(i)由该账户持有者创作的消息；(ii)由所请求的账户持有者追随的其他账户创作的消息；(iii)由引用所请求的账户持有者的其他账户创作的消息；或者(iv)由第三方赞助以包括在账户持有者的消息流中的消息。流的消息可以根据著作的时间和日期按时间顺序被排序，也可以按反向时间顺序排列。流还可以按照其他方式被排序，例如，根据计算性地被预测的与账户持有者的相关性，或者根据时间和相关性得分的某种组合。
流可以潜在地包括大量消息，为处理效率和请求的账户持有人的查看方便两者起见，账户通常标识一旦流被生成就将向请求的客户端发送的满足流标准的消息的子集。流中的消息的剩余被维持在流存储库中，并且可以根据客户端请求而被访问。
在一些实现中，平台跟踪与消息的参与。在一些实现中，平台在消息存储库中维持描述每条消息以及与每条消息的参与的数据。
参与数据可以包括描述与平台的参与账户的消息有关的用户活动的任何类型的信息。用户的参与的示例包括，例如，转发消息、标记消息以指示它是用户收藏的、喜欢或拥护的，对消息响应，以及提到或引用消息。
平台的服务器执行多个不同的服务，这些服务由在服务器上被安装和运行的软件实现。服务将被描述为由软件模块执行。在一些情况中，特定的服务器可专用于执行一个或几个特定的服务，并且仅已经安装该特定服务所需要的软件模块的那些组件。一些模块将通常被安装在平台的非专用服务器中的大多数非专用服务器或者所有的非专用服务器上。可以按照任何方便的形式来实现每个模块的软件，并且模块的部分可以跨多个计算机而被分布，使得模块的操作由多个计算机执行，该多个计算机彼此合作运行执行操作的软件。在一些实现中，模块的操作中的一些操作由专用硬件执行。
客户端软件允许接收流的账户持有者参与流中的消息，例如，与流中的消息交互、评论或转发该消息。参与模块接收这些参与并且将它们存储在参与存储库中。参与的类型包括为了有关该消息的更多信息而选择消息、选择消息中的URL(通用资源标识符)或话题标签、转发消息、或收藏消息。其他示例参与类型包括，打开附加于消息的“卡片”，该卡片呈现附加内容，该附加内容是消息中的链接的目标，或者链接到已安装在用户设备上的应用。账户持有者还可以参与附加内容，例如，通过播放视频数据或音频数据、或者通过投票表决。
除了通过明确地被接收的用户设备输入来记录与消息的主动交互之外，参与模块还可以记录与消息的被动交互。当客户端在用户设备上呈现消息的内容时，印象发生。印象参与包括印象发生的纯粹事实以及其他信息，例如，流中的消息是否出现在用户设备的显示器上，以及消息在显示器上出现多长时间。
被存储在参与存储库中的任何参与可以引用参与中所涉及的消息、账户和/或流。
参与也可以超越它们的类型而被分类。示例分类包括表达关于消息的积极情绪的参与(“积极参与”)，表达关于消息的消极情绪的参与(“消极参与”)，允许广告商账户接收货币报酬的参与(“可货币化(monetizable)参与”)、预期引起附加未来参与的参与(“表现参与”)，或者可能引起一个账户持有者追随另一账户的连接参与(“连接参与”)。消极参与分类包括例如，关闭消息或举报消息为攻击性的参与，而积极参与分类通常包括不在消极参与分类中的参与。示例表现参与包括在消息中选择URL(统一资源定位符)或拓展卡片。示例可货币化参与包括例如引起最终购买或在用户设备上安装软件应用的参与。一般地，分类和类型不是范围完全一致的；给定类型的参与可以落入多于一个的分类中并且反之亦然。
图2是用于从社交消息接发平台仅请求针对内容项所引用的视频内容的音频数据的示例过程的流程图。为方便起见，该过程将被描述为由具有一个或多个计算机的用户设备来执行。例如，图1的用户设备104a可以执行该过程。
设备从社交消息接发平台的主机服务器接收引用视频内容的内容项(210)。视频内容可以包括流式的视频，例如，直播视频或点播视频，或者之前已记录的视频内容。
系统确定视频内容的视频数据是否应当在用户设备上被播放(220)。大多数视频流要求接近400Kbps的网络带宽。然而，全世界多于50％的地区、以及印度多于80％的地区在蜂窝设备上仅具有128Kbps的带宽。但是，取决于音频质量，仅音频流可以以低至64Kbps、48Kbps或36Kbps的带宽被传递。因此，即使当条件不保证播放视频数据时，播放音频数据仍然可以是有优势的。
系统可以使用设备条件、网络条件、或两者，来确定用户设备是否应当由播放内容项引用的视频内容的视频数据。
设备条件是特定于系统运行在其上的用户设备的条件。一个设备条件是用户设备的显示屏幕的状态，例如开、关、休眠或被锁定。第二设备条件是客户端软件的状态，例如，在前台运行、在后台运行或未运行。第三设备条件是在用户设备的数据计划中的剩余数据量。第四设备条件是用户设备是否连接到Wi-Fi网络。上面所描述的设备条件仅是示例，并且系统可以使用其他设备条件以确定用户设备是否不应当播放视频。
网络条件是与用户设备和主机服务器之间的网络连接的速度或强度有关的条件。一个网络条件是从主机服务器到用户设备的成功数据传送的平均速率，即网络带宽。系统可以通过测量相应的视频文件的第一部分被接收的时间与视频文件的最后的部分被接收的时间之间的差来测量网络带宽。系统然后可以将视频的大小(如果已知)除以所测量的时间差，来计算以每秒比特的网络带宽。
设备可以单独或组合地使用任何适当的设备或网络条件来确定视频不应当在用户设备上被播放。
例如，设备可以通过确定网络带宽不足以以特定质量来流式传输视频数据而确定视频数据不应当在用户设备上被播放。
作为另一示例，设备可以通过确定客户端软件正在用户设备的后台运行而确定视频数据不应当在用户设备上被播放。换而言之，设备可以确定客户端软件正在运行，但是客户端软件的用户界面没有被显示在用户设备的显示屏幕上。在这样的情况下，当用户不能观看视频时，请求并且播放视频数据可能会不必要地浪费数据和网络带宽。
作为另一示例，设备可以通过确定用户设备的显示屏幕是休眠的或被锁定而确定视频数据不应当在用户设备上被播放。例如，当屏幕被锁定时，请求并且播放视频数据会不必要地浪费数据和网络带宽。
作为另一示例，由于视频内容被社交消息接发平台标记为不适合用于仅音频内容，设备可以确定视频数据应当被请求。例如，视频内容的创建者可以与社交消息接发平台进行交互以设置标志，该标志指定社交消息接发平台不应当提供针对视频内容的单独的音频数据。例如，视频内容的创建者可以在确定视频内容作为仅音频数据不能有效地被传送之后设置标志。例如，视频内容的创建者可以确定网球比赛不能作为仅音频数据而有效地被传达。因此，社交消息接发平台可以拒绝针对该视频内容分割视频数据和音频数据。
在一些实现中，社交消息接发平台可以基于先前的用户参与数据来自动地设置无仅音频(no-audio-only)标志。例如，系统可以在被提供视频数据和音频数据两者时、以及单独地当视频内容以仅音频数据被提供时，来分析视频内容的用户参与。如果用户参与数据指示当仅有音频数据被提供时用户参与严重下降，则系统可以自动地设置无仅音频标志。在一些实现中，无仅音频标志可以被包括为内容项本身中或视频内容本身中的元数据。
以下参考图3详细描述了用于确定视频数据是否应当在用户设备处被播放的示例过程。
如果设备确定视频数据应当被播放(220)，则设备请求视频内容的视频数据和音频数据两者(分支到230)。例如，社交消息接发平台可以将视频内容存储在针对视频数据和音频数据的单独的文件中。社交消息接发平台还可以将视频数据和音频数据重新格式化为具有不同格式和不同质量等级的文件，用于在质量较低的网络之上分发。社交消息接发平台可以使用任何适当的视频编码格式(例如，MPEG-4、H.264或VP9)来压缩视频数据。社交消息接发平台还可以将已编码的视频数据与音频数据一起捆绑在任何适当的多媒体容器中，例如AVI、MP4或FLV。
设备然后播放内容项所引用的视频内容的视频数据和音频数据两者(240)。换而言之，设备可以在用户设备的显示设备上呈现视频数据，并且可以使用连接到用户设备的集成或外部扬声器来呈现音频数据。
设备可以在播放视频内容之前请求视频数据、音频数据或两者的整个文件。备选地或附加地，设备可以持续地接收并且呈现流式的视频内容。例如，用户设备可以随着流式的视频数据从主机服务器被接收来显示该流式的视频数据。换而言之，在显示部分的视频内容之前，用户设备不需要接收视频内容的所有视频数据或音频数据。服务器可以使用网络协议(例如实时流协议(RSTP)、实时传输协议(RTP)或实时传输控制协议(RTCP))来将多媒体容器作为比特流传递。这些协议限定了用于同步主机服务器和用户设备之间多媒体通信的规则，包括错误恢复方法。
如果设备确定视频数据不应当在用户设备上被播放，则设备从主机服务器仅请求音频数据(分支到250)。换而言之，即使内容项具体引用视频内容，用户设备也可以仅请求视频内容的音频数据。
社交消息接发平台可以传递从视频内容所提取的预先准备的音频文件。备选地或附加地，社交消息接发平台可以在接收到针对仅音频数据的请求后，将音频数据与视频内容分离。
设备仅播放内容项所引用的视频内容的音频数据(260)。换而言之，用户设备可以在用户设备处播放音频数据，而不用接收并且不用显示视频内容的视频数据。在一些实现中，用户设备接收一些图像数据，例如，用户设备可以显示视频数据的位置的图像文件。在一些实现中，用户设备可以呈现提供一些音频控制(例如，播放、暂停、倒带和快进，仅举几个示例)的音频接口。
在一些情况下，用户设备继续在后台播放音频数据，例如在关闭或最小化呈现内容项的应用(例如web浏览器或专用社交消息接发平台应用)之后。换而言之，在用户设备在用户设备操作系统的前台运行另一应用程序的同时，用户设备可以继续播放音频数据。
图3是用于基于设备和网络条件来确定视频数据是否不应当在用户设备上被播放的示例过程的流程图。示例过程可以由与社交消息接发平台通信的任何适当的用户设备执行。为方便起见，过程将被描述为由具有一个或多个计算机的设备执行。
设备确定它是否连接到Wi-Fi网络(310)。如上所述，Wi-Fi网络一般具有高于非Wi-Fi蜂窝网络带宽的带宽和无计量的连接。因此，如果用户设备被连接到Wi-Fi网络，则用户设备请求音频数据和视频数据两者(分支到340)。
如果设备没有连接到Wi-Fi网络(310)，则设备确定剩余数据配额是否满足阈值(320)。一些用户设备维持数据配额或者具有对数据配额的访问，数据配额指的是由设备消耗的非Wi-Fi数据的总大小，这意味着通过非WiFi无线网络(例如蜂窝通信网络)被发送给设备的数据、在设备处接收的数据或两者。数据配额可以指在最近时间段内消耗的数据，例如上一天、周或月，或者当前时间段内消耗的数据，例如当前一天、周或月。该设备可以在本地计算这样的信息，或者从为用户设备的蜂窝服务运营商维持使用统计的远程服务器请求这样的信息。
被安装在用户设备上的软件然后可以从设备本身本地获取数据配额信息，例如通过使用底层操作系统的API，或者通过从蜂窝服务运营商的服务器直接请求该信息。在一些实现中，用户需要在该功能被启用之前向客户端软件授予适当的权限。
阈值可以是数据配额的任何适当分数，例如50％、80％或100％。例如，如果用户设备已经使用了超过80％的数据配额，则设备可以确定阈值被满足。在这种情况下，设备可以确定视频数据不应当被播放，以节省剩余的数据配额。
因此，如果剩余数据配额不满足阈值，则设备仅请求音频数据(分支到350)。换而言之，当呈现引用视频内容的内容项时，设备将从社交消息接发平台仅请求视频内容的音频数据。
如果剩余数据配额确实满足阈值(320)，则设备确定网络带宽是否满足阈值(分支到330)。如果网络带宽太低，无法可靠地支持传输视频数据，则设备可以通过仅请求所引用的视频内容的音频数据来减轻这样的带宽约束。设备可以使用针对网络带宽的任何适当的值，例如500kbps、1Mbps或10Mbps，仅举几个示例。
因此，如果网络带宽不满足阈值(330)，则设备仅请求音频数据(350)。
另一方面，如果网络带宽确实满足阈值(330)，则设备请求针对所引用的视频内容的音频数据和视频数据两者(分支到340)。
图4是用于在最初仅呈现音频数据之后请求音频数据和视频数据两者的示例过程的流程图。示例过程可以由与社交消息接发平台通信的任何适当的用户设备执行。为方便起见，该过程将被描述为由具有一个或多个计算机的设备执行。
该设备呈现针对引用视频内容的内容项的音频数据(410)。换而言之，针对引用具有视频数据和音频数据两者的视频内容的内容项，设备仅请求音频数据，而不请求视频数据。如上所述，代替于呈现视频数据，设备可以在内容项内显示空白空间或者在内容项内显示静止图像。
设备检测网络带宽的增加(420)。设备定期测量由设备接收的数据的下载速率。设备可以测量总体网络带宽或来自社交消息接发平台的特定网络带宽。
某些环境条件可以使网络带宽增加。例如，设备可以移动到更靠近蜂窝服务塔的位置，从而增加提供音频数据的蜂窝信号的强度。或者天气条件可以改善，使得大气干扰被减轻，从而也改善蜂窝信号的强度。或者设备可以移动到由不同蜂窝服务塔或完全不同的网络上的塔服务的位置。
设备确定已增加的网络带宽足以请求视频数据(430)。设备可以将已增加的网络带宽与总体带宽阈值相比较。如果网络带宽增加到高于阈值，则针对内容项中所引用的视频内容，设备可以连同音频视频一起请求视频数据。设备还可以使用时间阈值以确保已增加的网络带宽不是瞬态的，并且持续至少是时间阈值的持续时间。
设备的客户端软件还可以维持多个阈值，一个阈值与视频质量的多个不同级别中的每个级别对应。如上所述，服务器系统可以预先生成视频内容的多个不同版本，每个版本与不同的质量级别对应，并且因此与网络带宽的级别对应。然后，如果网络带宽增加到高于针对视频的不同版本中的每个版本所维持的阈值中的任何阈值，则设备可以确定已增加的网络带宽满足阈值。
设备请求针对视频内容的视频数据(440)。该设备可以修改对社交消息接发平台的请求，以在除了当前正在被呈现的音频数据之外也呈现针对所引用的视频内容的视频数据。如果系统维持视频内容的多个版本，则设备可以增加的网络带宽能够支持的最高质量的版本，并且可以请求该最高质量的版本。
在一些实现中，请求包括表示标记，该标记表示视频内容中的与多少音频数据已经被呈现对应的位置。系统然后可以以在由标记表示的位置处开始的视频数据来响应。例如，如果设备已经呈现了针对一半视频内容的音频数据，则设备可以向社交消息接发平台提供表示50％的视频内容已经被呈现为仅音频数据的标记。然后，当社交消息接发平台以视频数据来响应时，该平台可以提供开始于视频内容的50％处或50％左右的视频数据。
设备从仅呈现音频数据过渡到呈现针对所引用视频内容的音频数据和视频数据(450)。例如，设备可以从显示空白内容项或者在内容项中显示静止图像过渡到显示与所呈现的音频数据中的位置对应的视频数据。值得注意的是，设备不需要停止并且从头重新开始播放视频内容。而是，设备可以也在视频内容中的当前定位处发起显示视频数据的同时，无缝地呈现音频数据而不中断。
如果网络带宽再次降至低于阈值，设备可以进行类似的过渡，返回到仅呈现音频数据。换而言之，设备不需要停止音频数据的呈现，而是可以维持音频数据的呈现，同时停止请求和接收针对所引用的视频内容的视频数据。
说明书结合系统、设备和计算机程序组件使用术语“被配置为”。针对一个或多个计算机的系统，被配置为执行特定的操作或动作意味着该系统在其上已经安装了软件、固件、硬件或它们的组合，这些软件、固件、硬件或它们的组合在操作中使系统执行这些操作或动作。针对一个或多个计算机程序，被配置为执行特定的操作或动作意味着该一个或多个程序包括指令，当该指令由数据处理设备执行时，使设备执行这些操作或动作。针对专用逻辑电路装置，被配置为执行特定的操作或动作意味着该电路装置具有执行这些操作或动作的电子逻辑。
本说明书中所描述的主题的实施例以及动作和操作可以被实现在数字电子电路中、有形地体现的计算机软件或固件中、计算机硬件中，包括在本说明书中所公开的结构及其结构性等效体，或者其中的一个或多个的组合中。本说明书中所描述的主题的实施例可以被实现为一个或多个计算机程序，即，用于由数据处理装置执行或者控制数据处理装置的操作的、被编码在有形的非瞬态存储介质上的计算机程序指令的一个或多个模块。备选地或附加地，程序指令可以被编码在人工生成的传播的信号上，例如，机器生成的电、光或电磁信号，该信号被生成以编码信息以供传输到合适的接收器装置来由数据处理装置执行。该计算机存储介质可以是以下或者以下的部分：机器可读存储设备、机器可读存储基板、随机或串行访问存储器设备、或者其中的一个或多个的组合。计算机存储介质不是传播的信号。
术语“数据处理装置”涵盖用于处理数据的所有种类的设备、装置和机器，例如包括可编程处理器、计算机、或者多个处理器或计算机。数据处理装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)、ASIC(专用集成电路)或GPU(图形处理单元)。除了硬件之外，该装置还可以包括创建用于计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或者其中的一个或多个的组合的代码。
计算机程序，也可以被称为或被描述为程序、软件、软件应用程序、app、模块、软件模块、引擎、脚本或代码，可以按照任何形式的编程语言来编写，包括经编译的或经解译的语言、或者声明性或过程性语言；并且其可以按照任何形式被部署，包括作为独立程序或者作为适合用于在计算环境中执行的模块、组件、引擎、子例程或者其他单元，该环境可以包括一个或多个位置中的通过数据通信网络被互连的一个或多个计算机。
计算机程序可以、但是不必对应于文件系统中的文件。计算机程序可以被存储在持有其他程序或数据的文件的部分中，例如，被存储在标记语言文档中的一个或多个脚本、专用于问题中的程序的单个文件中、或者多个经协调的文件中，例如，存储一个或多个模块、子程序或代码的部分的文件。
本说明书中所描述的过程和逻辑流可以由一个或多个计算机执行，该一个或多计算机执行一个或多个计算机程序，以通过在输入数据上操作并且生成输出来执行操作。这些过程和逻辑流还可以由专用逻辑电路(例如，FPGA、ASIC或GPU)、或者由专用逻辑电路和一个或多个经编程的计算机的组合执行。
适合用于执行计算机程序的计算机可以基于通用或专用微处理器或者两者，或者基于任何其他种类的中央处理器。通常，中央处理单元将从只读存储器或者随机存取存储器或者两者接收指令和数据。计算机的基本元件是用于执行指令的中央处理单元和用于存储指令和数据的一个或多个存储设备。中央处理单元和存储器可以由专用逻辑电路补充或者并入专用逻辑电路中。
通常，计算机还将包括、或者可操作地耦合，以从一个或多个大容量存储设备接收数据或者向一个或多个大容量存储设备传输数据。大容量存储设备可以是例如磁盘、磁光盘或光盘，或者固态驱动。但是，计算机不必具有这样的设备。此外，计算机可以被嵌入到另一设备中，例如，仅举几例，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器、或者便携式存储设备(例如通用串行总线(USB)闪存驱动)。
为了提供与用户的交互，本说明书中所描述的主题的实施例可以在以下计算机上被实现或者被配置为与该计算机通信：该计算机具有显示设备(例如LCD(液晶显示器)监视器)以向用户显示信息，以及输入设备(例如键盘和指点设备，例如鼠标、轨迹球或触摸板)，用户可通过该输入设备向计算机提供输入。其他种类的设备也可以被用于提供与用户的交互，例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以按照任何形式被接收，包括声学、语音或触觉输入。另外，计算机可以通过向由用户使用的设备发送文档和从由用户使用的设备接收文档来与用户交互，例如，通过响应于从用户设备上的web浏览器所接收的请求向该web浏览器发送请求，或者通过与用户设备(例如，智能电话或电子平板)上运行的app交互。同样，计算机可以通过向个人设备(例如，运行消息接发应用的智能电话)文本消息或其他形式的消息并且作为回报从用户接收响应的消息来与用户交互。
本说明书中所描述的主题的实施例可以在包括后端组件(例如，作为数据服务器)、或包括中间件组件(例如，应用服务器)的计算系统中、或包括前端组件(例如，具有图形用户界面的客户端计算机、web浏览器、或者用户可以通过其与本说明书中所描述的主题的实现交互的app)的计算系统中被实现、或者在一个或多个这样的后端、中间件、或前端组件的任何组合中被实现。系统的组件可以通过数字数据通信的任何形式或介质(例如，通信网络)而被互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如因特网。
该计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络交互。客户端和服务器之间的关系是凭借在相应的计算机上运行并且与彼此具有客户端-服务器关系的计算机程序产生的。在一些实施例中，服务器向用户设备传输数据(例如，HTML页面)，例如，用于向与充当客户端的与该设备交互的用户显示数据并且从该用户接收用户输入的目的。在用户设备处生成的数据(例如，用户交互的结果)可以从该设备在服务器从被接受。
除了上述实施例之外，以下实施例也是创新的:
实施例1是一种方法，包括:
从网络上的主机服务器接收多个内容项，其中多个内容项中的内容项引用视频内容，并且其中主机服务器将内容项引用的视频内容存储为视频数据和与视频数据分离的音频数据；
基于设备条件、网络条件、或两者，确定内容项所引用的视频内容的视频数据不应当在用户设备上被播放；
作为响应，由用户设备、从主机服务器仅请求内容项所引用的视频内容的音频数据；以及
接收音频数据并且在用户设备上播放音频数据。
实施例2是实施例1的方法，在用户设备上播放音频数据包括：在不呈现内容项所引用的视频内容的视频数据的情况下，播放视频内容的音频数据。
实施例3是实施例1-2中的任一实施例的方法，其中，基于设备条件、网络条件、或两者，确定内容项所引用的视频内容不应当在用户设备上被播放包括：
确定主机服务器与用户设备之间的非Wi-Fi网络的网络带宽的测量不满足阈值。
实施例4是实施例1-3中的任一实施例的方法，其中操作还包括：
由用户设备在不呈现内容项所引用的视频内容的视频数据的情况下，呈现内容项所引用的视频内容的音频数据；
由用户设备检测网络带宽的增加；
确定已增加的网络带宽足以流式传输内容项所引用的视频内容的视频数据的版本；
作为响应，由用户设备、从主机服务器请求针对内容项所引用的视频内容的视频数据；以及
从仅呈现视频内容的音频数据过渡到呈现内容项所引用的视频内容的音频数据和视频数据。
实施例5是实施例4的方法，其中从仅呈现视频内容的音频数据过渡到呈现内容项所引用的视频内容的音频数据和视频数据包括：在不重新开始内容项所引用的视频内容的情况下，发起视频数据的呈现。
实施例6是实施例5的方法，其中，由用户设备、从主机服务器请求针对内容项所引用的视频内容的视频数据包括：
计算视频内容中的位置，位置与多少仅音频数据已经在用户设备上被呈现对应；以及
提供所计算的位置作为请求的部分，
其中，在不重新开始内容项所引用的视频内容的情况下，发起视频数据的呈现，包括：在所计算的位置处或者在所计算的位置之后，发起视频数据的呈现。
实施例7是实施例4的方法，，其中，主机服务器存储视频数据的多个版本，其中，每个版本具有不同的相应所需带宽，并且其中，从主机服务器由用户设备请求针对内容项所引用的视频内容的视频数据包括：请求对应于已增加的网络带宽的视频数据的版本。
实施例8是实施例1-7中的任一实施例的方法，其中，基于设备条件、网络条件、或两者，确定视频内容不应当在用户设备上被播放包括：
确定用户设备的屏幕是休眠的或被锁定。
实施例9是实施例1-8中的任一实施例的方法，其中，基于设备条件、网络条件、或两者，确定视频内容不应当在用户设备上被播放包括：
确定使用户设备显示视频内容的应用的用户界面是关闭的。
实施例10是实施例1-9中的任一实施例的方法，其中操作还包括：从主机服务器接收具有第二视频内容的第二内容项，第二视频内容具有无仅音频标志，无仅音频标志指示第二视频内容不应当以仅音频数据被呈现；以及
基于无仅音频标志，确定第二视频内容应当以视频数据被呈现而不论设备条件、网络条件或两者；以及
作为响应，请求第二视频内容的视频数据和音频数据两者。
实施例11是实施例10的方法，其中，无仅音频标志由视频内容的创建者设置。
实施例12是实施例10的方法，其中，无仅音频标志由主机服务器基于与内容项的先前用户参与数据来设置。
实施例13是一种系统，包括：一个或多个计算机和存储可操作的指令的一个或多个存储设备，该指令当由一个或多个计算机执行时，使该一个或多个计算机执行实施例1至12中的任一实施例的方法。
实施例14是被编码具有计算机程序的一个或多个计算机存储介质，该程序包括可操作的指令，该指令当由数据处理装置执行时，使该数据处理装置执行实施例1至12中的任一实施例的方法。
尽管本说明书包含许多特定的实现细节，但是这些细节不应被解释为对任何发明范围或者所要求保护的范围的限制，而是对可能特定于具体发明的具体实施例的特征的描述。本说明书中在单独的实施例的上下文中所描述的某些特征也可以在单个实施例中组合地被实现。相反，在单个实施例的上下文中所描述的各种特征也可以分别在多个实施例中被实现或者以任何合适的子组合而被实现。此外，尽管以上可以将特征描述为以某些组合行动并且甚至最初是这样要求保护的，但是在一些情况中所要求保护的组合一个或多个特征可以从组合中被切除，并且权利要求可以针对子组合或子组合的变型。
类似地，虽然在附图中描绘了操作并且以具体次序在权利要求中叙述了这些操作，但是这不应被理解为达到期望的结果要求以所示出的具体次序或者以顺序次序来执行这样的操作，或者执行所有所说明的操作。在某些情况中，多任务和并行处理可能是有优势的。此外，以上所描述的实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都要求这种分离，并且应理解，所描述的程序组件和系统通常可以一起被集成在单个软件产品中，或者被打包成多个软件产品。
已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中所叙述的动作可以按照不同的次序被执行并且仍然达成期望的结果。作为一个示例，附图中所描绘的过程不一定需要所示出的具体次序或者顺序次序来实现期望的结果。在某些情况中，多任务处理和并行处理可能是有优势的。

Claims (20)

1.一种用户设备，包括一个或多个计算机和一个或多个存储设备，所述一个或多个存储设备存储可操作的指令，所述指令当由所述一个或多个计算机执行时，使所述一个或多个计算机执行操作，所述操作包括：
从网络上的主机服务器接收多个内容项，其中所述多个内容项中的内容项引用视频内容，并且其中所述主机服务器将所述内容项所引用的所述视频内容存储为视频数据和与所述视频数据分离的音频数据；
基于设备条件、网络条件或两者，确定所述内容项所引用的所述视频内容的视频数据不应当在所述用户设备上被播放；
作为响应，由所述用户设备从所述主机服务器仅请求所述内容项所引用的所述视频内容的所述音频数据；以及
接收所述音频数据并且在所述用户设备上播放所述音频数据。
2.根据权利要求1所述的用户设备，其中，在所述用户设备上播放所述音频数据包括：在不呈现所述内容项所引用的所述视频内容的视频数据的情况下，播放所述视频内容的所述音频数据。
3.根据权利要求1所述的用户设备，其中，基于设备条件、网络条件或两者确定所述内容项所引用的所述视频内容不应当在所述用户设备上被播放包括：
确定所述主机服务器和所述用户设备之间的非Wi-Fi网络的网络带宽的测量不满足阈值。
4.根据权利要求1所述的用户设备，其中所述操作还包括：
由所述用户设备在不呈现所述内容项所引用的所述视频内容的视频数据的情况下，呈现所述内容项所引用的所述视频内容的音频数据；
由所述用户设备检测网络带宽的增加；
确定已增加的所述网络带宽足以流式传输所述内容项所引用的所述视频内容的视频数据的版本；
作为响应，由所述用户设备从所述主机服务器请求针对所述内容项所引用的所述视频内容的视频数据；以及
从仅呈现所述视频内容的音频数据转换到呈现所述内容项所引用的所述视频内容的音频数据和视频数据。
5.根据权利要求4所述的用户设备，其中，从仅呈现所述视频内容的音频数据转换到呈现所述内容项所引用的所述视频内容的音频数据和视频数据包括：在不重新开始所述内容项所引用的所述视频内容的情况下，发起所述视频数据的呈现。
6.根据权利要求5所述的用户设备，其中，由所述用户设备从所述主机服务器请求针对所述内容项所引用的所述视频内容的视频数据包括：
计算所述视频内容中的位置，所述位置对应于多少仅音频数据已经在所述用户设备上被呈现；以及
提供所计算的所述位置作为所述请求的部分，
其中，在不重新开始所述内容项所引用的所述视频内容的情况下发起所述视频数据的呈现包括：在所计算的所述位置处或者在所计算的所述位置之后，发起所述视频数据的呈现。
7.根据权利要求4所述的用户设备，其中所述主机服务器存储所述视频数据的多个版本，其中每个版本具有不同的相应需求带宽，并且其中由所述用户设备从所述主机服务器请求针对所述内容项所引用的所述视频内容的视频数据包括：请求与已增加的所述网络带宽对应的所述视频数据的版本。
8.根据权利要求1所述的用户设备，其中，基于设备条件、网络条件或两者确定所述视频内容不应当在所述用户设备上被播放包括：
确定所述用户设备的屏幕是休眠或被锁定。
9.根据权利要求1所述的用户设备，其中基于设备条件、网络条件或两者确定所述视频内容不应当在用户设备上被播放包括：
确定使所述用户设备显示所述视频内容的应用的用户界面是关闭的。
10.根据权利要求1所述的用户设备，其中所述操作还包括：从所述主机服务器接收具有第二视频内容的第二内容项，所述第二视频内容具有无仅音频标志，所述无仅音频标志指示所述第二视频内容不应当以仅音频数据被呈现；以及
基于所述无仅音频标志，确定所述第二视频内容应当以视频数据被呈现而不论设备条件、网络条件或两者；以及
作为响应，请求所述第二视频内容的视频数据和音频数据两者。
11.根据权利要求10所述的用户设备，其中，所述无仅音频标志由所述视频内容的创建者设置。
12.根据权利要求10所述的用户设备，其中，所述无仅音频标志由所述主机服务器基于与所述内容项的先前用户参与数据来设置。
13.一种计算机实现的方法，包括：
从网络上的主机服务器接收多个内容项，其中所述多个内容项中的内容项引用视频内容，并且其中所述主机服务器将所述内容项所引用的所述视频内容存储为视频数据和与所述视频数据分离的音频数据；
基于设备条件、网络条件或两者，确定所述内容项所引用的所述视频内容的视频数据不应当在用户设备上被播放；
作为响应，由所述用户设备从所述主机服务器仅请求所述内容项所引用的所述视频内容的所述音频数据；以及
接收所述音频数据并且在所述用户设备上播放所述音频数据。
14.根据权利要求13所述的方法，其中，在所述用户设备上播放所述音频数据包括：在不呈现所述内容项所引用的所述视频内容的视频数据的情况下，播放所述视频内容的所述音频数据。
15.根据权利要求13所述的方法，其中，基于设备条件、网络条件或两者确定所述内容项所引用的所述视频内容不应当在所述用户设备上被播放包括：
确定所述主机服务器与所述用户设备之间的非Wi-Fi网络的网络带宽的测量不满足阈值。
16.根据权利要求13所述的方法，其中所述操作还包括：
在不呈现所述内容项所引用的所述视频内容的视频数据的情况下，由所述用户设备呈现所述内容项所引用的所述视频内容的音频数据；
由所述用户设备检测网络带宽的增加；
确定已增加的所述网络带宽足以流式传输所述内容项所引用的所述视频内容的视频数据的版本；
作为响应，由所述用户设备从所述主机服务器请求针对所述内容项所引用的所述视频内容的视频数据；以及
从仅呈现所述视频内容的音频数据转换到呈现所述内容项所引用的所述视频内容的音频数据和视频数据。
17.根据权利要求16所述的方法，其中从仅呈现所述视频内容的音频数据转换到呈现所述内容项所引用的所述视频内容的音频数据和视频数据包括：在不重新开始所述内容项所引用的所述视频内容的情况下，发起所述视频数据的呈现。
18.根据权利要求17所述的方法，其中，由所述用户设备从所述主机服务器请求针对所述内容项所引用的所述视频内容的视频数据包括：
计算所述视频内容中的位置，所述位置对应于多少仅音频数据已经在所述用户设备上被呈现；以及
提供所计算的所述位置作为所述请求的部分，
其中，在不重新开始所述内容项所引用的所述视频内容的情况下发起所述视频数据的呈现包括：在所计算的所述位置处或者在所计算的所述位置之后，发起所述视频数据的呈现。
19.根据权利要求16所述的方法，其中所述主机服务器存储所述视频数据的多个版本，其中每个版本具有不同的相应需求带宽，并且其中由所述用户设备从所述主机服务器请求针对所述内容项所引用的所述视频内容的视频数据包括：请求与已增加的所述网络带宽对应的所述视频数据的版本。
20.一种或多种非瞬态计算机存储介质，编码有计算机程序指令，所述计算机程序指令当由一个或多个计算机执行时，使所述一个或多个计算机执行操作，所述操作包括：
从网络上的主机服务器接收多个内容项，其中所述多个内容项中的内容项引用视频内容，并且其中所述主机服务器将所述内容项所引用的所述视频内容存储为视频数据和与所述视频数据分离的音频数据；
基于设备条件、网络条件或两者，确定所述内容项所引用的所述视频内容的视频数据不应当在用户设备上被播放；
作为响应，由所述用户设备从所述主机服务器仅请求所述内容项所引用的所述视频内容的所述音频数据；以及
接收所述音频数据并且在所述用户设备上播放所述音频数据。
CN201980091794.8A 2018-12-28 2019-12-30 仅音频的内容 Pending CN114731449A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/235,794 2018-12-28
US16/235,794 US11297380B2 (en) 2018-12-28 2018-12-28 Audio only content
PCT/US2019/068987 WO2020140124A1 (en) 2018-12-28 2019-12-30 Audio only content

Publications (1)

Publication Number Publication Date
CN114731449A true CN114731449A (zh) 2022-07-08

Family

ID=71124324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091794.8A Pending CN114731449A (zh) 2018-12-28 2019-12-30 仅音频的内容

Country Status (4)

Country Link
US (1) US11297380B2 (zh)
JP (1) JP2022516893A (zh)
CN (1) CN114731449A (zh)
WO (1) WO2020140124A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392347B2 (en) * 2020-06-17 2022-07-19 Twitter, Inc. Audio messaging interface on messaging platform

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020144276A1 (en) * 2001-03-30 2002-10-03 Jim Radford Method for streamed data delivery over a communications network
JP2004312560A (ja) * 2003-04-09 2004-11-04 Ntt Docomo Inc ストリーミング受信端末、ストリーミング配信装置
JP2008125025A (ja) * 2006-11-15 2008-05-29 Sharp Corp 切替装置、切替方法、切替装置制御プログラム、記録媒体、および通信装置
US20140258747A1 (en) * 2013-03-11 2014-09-11 Ravish Karki Narayan Techniques for multimedia playback
US9094735B1 (en) * 2014-06-27 2015-07-28 Google Inc. Re-presentation of previously presented content
CN108012584A (zh) * 2015-08-06 2018-05-08 谷歌有限责任公司 提供适合于仅音频回放的视频内容的方法、系统和介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832119C1 (en) * 1993-11-18 2002-03-05 Digimarc Corp Methods for controlling systems using control signals embedded in empirical data
GB0306296D0 (en) * 2003-03-19 2003-04-23 British Telecomm Data transmission
US7653719B1 (en) 2004-02-02 2010-01-26 Apple Inc. Automatic detection of channel bandwidth
US7499719B2 (en) * 2005-06-22 2009-03-03 Mototola, Inc. Method and apparatus for mixed mode multimedia conferencing
US8347341B2 (en) * 2006-03-16 2013-01-01 Time Warner Cable Inc. Methods and apparatus for centralized content and data delivery
JP4722028B2 (ja) * 2006-12-26 2011-07-13 富士通株式会社 データ転送システム、接近通知システム、およびデータ転送方法
US20100042826A1 (en) 2008-08-15 2010-02-18 Apple Inc. Dynamic Control of Device State Based on Detected Environment
US10033779B2 (en) * 2009-07-08 2018-07-24 Dejero Labs Inc. Multipath data streaming over multiple wireless networks
US8868649B2 (en) * 2010-05-18 2014-10-21 Verizon Patent And Licensing Inc. Broadcasting events affecting public safety
US9131326B2 (en) * 2010-10-26 2015-09-08 Bose Corporation Audio signal processing
GB2486002A (en) * 2010-11-30 2012-06-06 Youview Tv Ltd Media Content Provision
US8495236B1 (en) 2012-02-29 2013-07-23 ExXothermic, Inc. Interaction of user devices and servers in an environment
US9113317B2 (en) * 2012-12-19 2015-08-18 Verizon Patent And Licensing Inc. Intelligent streaming to a mobile device
US10469624B2 (en) 2013-10-07 2019-11-05 Bose Corporation User interface control in a networked audio system
CN112019882B (zh) * 2014-03-18 2022-11-04 皇家飞利浦有限公司 为视听内容项生成音频信号的方法和设备
US20150269658A1 (en) * 2014-03-19 2015-09-24 Edward C. DeFeudis Audio-only file provisioning from internet video
CA2945957C (en) * 2014-04-14 2023-03-14 Sirius Xm Radio Inc. Systems, methods and applications for using and enhancing vehicle to vehicle communications, including synergies and interoperation with satellite radio
US20160105388A1 (en) * 2014-10-09 2016-04-14 Footspot, Inc. System and method for digital media capture and related social networking
US20160381414A1 (en) 2015-06-24 2016-12-29 Ati Technologies Ulc Power saving audio-video playback
CA2937627C (en) * 2015-08-03 2020-02-18 Arris Enterprises Llc Contextual information for audio-only streams in adaptive bitrate streaming
US10754911B2 (en) * 2015-10-02 2020-08-25 Facebook, Inc. Systems and method for content presentation
US10372410B2 (en) * 2015-12-21 2019-08-06 Facebook, Inc. Systems and methods to optimize music play in a scrolling news feed
KR102408267B1 (ko) * 2016-10-21 2022-06-14 소니그룹주식회사 수신 장치, 송신 장치 및 데이터 처리 방법
US10425694B2 (en) * 2016-12-30 2019-09-24 Facebook, Inc. Live broadcast on an online social network
WO2018179880A1 (ja) * 2017-03-28 2018-10-04 日本電気株式会社 動画コンテンツ制御システム、方法およびプログラム
US10362357B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for resuming media in different modes of playback based on attributes of a physical environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020144276A1 (en) * 2001-03-30 2002-10-03 Jim Radford Method for streamed data delivery over a communications network
JP2004312560A (ja) * 2003-04-09 2004-11-04 Ntt Docomo Inc ストリーミング受信端末、ストリーミング配信装置
JP2008125025A (ja) * 2006-11-15 2008-05-29 Sharp Corp 切替装置、切替方法、切替装置制御プログラム、記録媒体、および通信装置
US20140258747A1 (en) * 2013-03-11 2014-09-11 Ravish Karki Narayan Techniques for multimedia playback
US9094735B1 (en) * 2014-06-27 2015-07-28 Google Inc. Re-presentation of previously presented content
CN108012584A (zh) * 2015-08-06 2018-05-08 谷歌有限责任公司 提供适合于仅音频回放的视频内容的方法、系统和介质

Also Published As

Publication number Publication date
US11297380B2 (en) 2022-04-05
JP2022516893A (ja) 2022-03-03
US20200213661A1 (en) 2020-07-02
WO2020140124A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
US11968413B2 (en) Methods and apparatus to measure exposure to streaming media
CN107979762B (zh) 将直播流作为广告供应
US10846751B2 (en) Generating data to predict user affinity for a component to be included in a content item optimized for an online system user
KR101806983B1 (ko) 배터리 및 데이터 사용의 절약
CN111210251B (zh) 报告移动应用的动作
US20130263182A1 (en) Customizing additional content provided with video advertisements
KR20150103179A (ko) 소식 컨텐츠의 재-순위화
AU2014331927A1 (en) Methods and apparatus to measure exposure to streaming media
US11108725B1 (en) Social media message composition
US20130218680A1 (en) Location sensitive advertisement delivery and presentation
US9785976B2 (en) Simplified creation of advertisements for objects maintained by a social networking system
KR20160046332A (ko) 페이스파일 통합형 통신
US20170109796A1 (en) Presenting content selected by an online system via content presented by an application along with additional content presented by the application
US11716513B2 (en) Prioritizing encoding of video data received by an online system to maximize visual quality while accounting for fixed computing capacity
US11070499B1 (en) Analysis of content sharing in a messaging platform
US20080177819A1 (en) System and method for contextual call-for-actions
CN114731449A (zh) 仅音频的内容
US20150363827A1 (en) Selecting content for presentation to a social networking system user based on whether the user is traveling
KR20220006504A (ko) 미디어 콘텐츠 캡처 및 프레젠테이션
US20170193549A1 (en) Selecting additional content for inclusion in video data presented to users via an online system
US11206374B1 (en) Low-bandwidth avatar animation
US20140229574A1 (en) Unified Media Broadcasting and Communication System and Method
US11438399B1 (en) Fast loading and display of image previews
US11748663B1 (en) Adjusting a value associated with presenting an online system user with a link that initiates a conversation with an entity via a messaging application
US20230281662A1 (en) Service data processing method and apparatus, electronic device, computer-readable storage medium and computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination