CN108702364A - 基于接收器处的环境来调适流数据 - Google Patents

Abstract

本文描述了一种装置。该装置包括环境条件捕获机构、控制器和接收器。环境条件捕获机构获得环境信息。控制器基于环境信息来控制流数据。接收器接收基于环境信息进行调适的流数据，并且流数据的量由于对流数据进行调适而减少。

Description

基于接收器处的环境来调适流数据

相关申请的交叉引用

本申请要求Bertrand等人于2016年3月22日递交的序列号为15/076,944、题为“Adaptation of Streaming Data Based on the Environment at a Receiver(基于接收器处的环境来调适流数据)”的美国专利申请的申请日的权益，其通过引用合并于此。

背景技术

音频、视频、文本和图像通常被流送到移动设备。这些设备可以在本地或在远程显示器上渲染流送的内容。渲染的内容可以被从单个内容提供商发送到位于各个位置处的多个设备。

附图说明

图1是能够基于接收器处的环境来远程调适流数据的示例性系统的框图；

图2是描述颜色补偿方法的处理流程图；

图3是使得能够基于接收器处的环境来远程调适实时流数据的系统的图示；

图4是使得能够基于接收器处的环境来远程调适预先记录的流数据的系统的图示；

图5是用于基于接收器处的环境来远程调适流数据的方法的处理流程图；并且

图6是示出包括用于基于用户输入的环境条件捕获的逻辑的介质的框图。

本公开和附图通篇使用相同的数字来引用类似的组件和特征。100系列中的标号指的是最初在图1中找到的特征；200系列中的标号指的是最初在图2中找到的特征；以此类推。

具体实施方式

流媒体包括由内容提供商递送的、由设备接收的、并且呈现给用户的各种内容形式。设备使得用户能够连接到网络(例如，互联网)以及流音乐、电影、电视节目、图像和其他媒体。在实施例中，流送指示内容形式由内容提供商连续递送，并且内容形式在由内容提供商连续递送的同时由设备接收并且呈现给用户。虽然流送不断地将内容递送到设备，但是流送不同于其中数据被传送并且被存储以供稍后使用的下载。如本文所使用的，“存储以供稍后”使用可以指不同于可以与流送一起发生的临时存储(例如，缓冲、将流数据放置在队列中等)的存储。

在实施例中，流视频数据包括诸如与流视频会话相关联的图像、文本、视频、音频和动画之类的内容。流视频数据还可以包括实时流数据，其中实时内容通过网络被递送。如本文所使用的，实时流是指实时捕获的并且随着内容在源处被持续捕获而随后被流送到设备的内容。无论流数据的类型如何，通常在不考虑环境条件的情况下渲染流数据。在一些情况下，鉴于渲染数据的设备所处的环境条件，渲染的数据质量很差。本文描述的实施例使得能够基于接收器处的环境来远程调适流数据。在实施例中，本技术使得能够基于接收器处的环境光来实现流视频的远程彩色调适。

一些实施例可以在硬件、固件和软件之一或其组合中实现。此外，一些实施例还可以被实现为存储在机器可读介质上的指令，该指令可以由计算平台读取和执行以执行本文描述的操作。机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或发送信息的任意机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；或电的、光的、声的或其他形式的传播信号(例如，载波、红外信号、数字信号)或发送和/或接收信号的接口等。

实施例是实现方式或示例。说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”、或“其他实施例”的提及意味着结合实施例描述的特定特征、结构、或特性被包括在本技术的至少一些实施例中，但不一定被包括在所有实施例中。“实施例”、“一个实施例”、或“一些实施例”的各种出现不一定都指代相同的实施例。来自实施例的要素或方面可以与另一实施例的要素或方面组合。

并非本文所描述和示出的所有组件、特征、结构、特性等都需要被包括在特定的一个或多个实施例中。例如，如果说明书陈述组件、特征、结构、特性“可”、“可以”、“能够”或“可能”被包括，则不要求包括该特定组件、特征、结构、特性。如果说明书或权利要求书提及“一”或“一个”元件，则这并不表示仅存在一个该元件。如果说明书或权利要求书提及“一个额外”元件，则这并不排除存在不止一个该额外元件。

应当注意，虽然已经参考特定实现方式描述了一些实施例，但是根据一些实施例，其他实现方式也是可能的。此外，附图中示出的和/或本文描述的电路元件或其他特征的布置和/或顺序不需要以所示出和描述的特定方式来布置。根据一些实施例，许多其他布置是可能的。

在附图所示的每个系统中，一些情况下的要素可以各自具有相同的附图标记或不同的附图标记以指示所表示的要素可以是不同的和/或类似的。然而，要素可以是足够灵活的以具有不同的实现方式，并与本文示出或描述的一些或全部系统一起工作。附图所示的各种要素可以是相同的或不同的。哪个要素被称为第一要素并且哪个要素被称为第二要素是任意的。

图1是使得能够基于接收器处的环境来远程调适流数据的示例性系统的框图。电子设备100可以是例如膝上型计算机、平板计算机、移动电话、智能电话、或可穿戴设备等。电子设备100可以用于接收流数据，并且可以被称为接收器。电子设备100可以包括被配置为执行所存储的指令的中央处理单元(CPU)102，以及存储可以由CPU 102执行的指令的存储器设备104。CPU可以通过总线106被耦合到存储器设备104。CPU可以通过总线106耦合到存储器设备104。此外，CPU 102可以是单核处理器、多核处理器、计算集群、或任意数量的其他配置。此外，电子设备100可以包括不止一个CPU 102。存储器设备104可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、或任意其他适当的存储器系统。例如，存储器设备104可以包括动态随机存取存储器(DRAM)。

电子设备100还包括图形处理单元(GPU)108。如图所示，CPU 102可以通过总线106耦合到GPU 108。GPU 108可以被配置为在电子设备100内执行任意数量的图形操作。例如，GPU 108可以被配置为渲染或操作要被渲染或显示给电子设备100的用户的图形图像、图形帧、视频、流数据等。在一些实施例中，GPU 108包括多个图形引擎，其中每个图形引擎被配置为执行特定图形任务，或执行特定类型的工作负载。

CPU 102可以通过总线106链接到显示接口110，显示接口110被配置为将电子设备100连接到一个或多个显示设备112A。显示设备112可以包括作为电子设备100的内置组件的显示屏。在实施例中，显示接口110跨网络132经由任意联网技术(例如，蜂窝硬件124、WiFi硬件126、或Bluetooth(蓝牙)接口128)与显示设备112B耦合。显示设备112B还可以包括外部连接到电子设备100的计算机监视器、电视机或投影仪等。

CPU 102还可以通过总线106连接到输入/输出(I/O)设备接口114，该I/O设备接口114被配置为将电子设备100连接到一个或多个I/O设备116A。I/O设备116A可以包括例如键盘和指点设备，其中指点设备可以包括触摸板或触摸屏等。I/O设备116A可以是电子设备100的内置组件，或可以是外部连接到电子设备100的设备。因此，在实施例中，I/O设备接口114跨网络132经由任意联网技术(例如，蜂窝硬件124、Wifi硬件126、或蓝牙接口128)与I/O设备116B相耦合。I/O设备116B还可以包括外部连接到电子设备100的任意I/O设备。

电子设备100还包括环境条件捕获单元118。环境条件捕获单元118捕获描述电子设备100周围的环境条件的数据。环境捕获单元118可以包括例如用于获得环境条件的多个传感器。传感器可以包括光传感器、温度传感器、湿度传感器、运动传感器等。

除了传感器之外，图像捕获设备120可以用于获得环境信息。图像捕获设备可以是相机或图像传感器。可以分析由图像捕获设备120捕获的图像以确定环境条件，例如，周围空间的光和色温。麦克风阵列122可以用于捕获音频环境信息。

存储设备124是物理存储器，例如，硬盘驱动器、光盘驱动器、闪存驱动器、驱动器阵列、或它们的任意组合。存储设备124可以存储用户数据，例如，音频文件、视频文件、音频/视频文件、和图片文件等。存储设备124还可以存储编程代码，例如，设备驱动程序、软件应用程序、操作系统等。存储到存储设备124的编程代码可以由CPU 102、GPU 108、或可以包括在电子设备100中的任意其他处理器执行。

CPU 102可以通过总线106链接到蜂窝硬件126。蜂窝硬件126可以是任意蜂窝技术，例如，4G标准(由国际电信联盟-无线电通信部门(ITU-R)颁布的国际移动电信高级(IMT-高级)标准)。以这种方式，电子设备100可以访问任意网络132而不被拴系(tether)或配对到另一设备，其中蜂窝硬件126允许访问网络132。

CPU 102还可以通过总线106链接到WiFi硬件128。WiFi硬件128是根据WiFi标准(作为电气和电子工程师协会(IEEE)802.11标准颁布的标准)的硬件。WiFi硬件128使得电子设备100能够使用传输控制协议和互联网协议(TCP/IP)连接到互联网。因此，电子设备100可以通过根据TCP/IP协议寻址、路由、发送、和接收数据来实现与互联网的端到端连接，而不需要使用另一设备。此外，蓝牙接口130可以通过总线106耦合到CPU 102。蓝牙接口130是根据蓝牙网络的接口(基于由蓝牙特别兴趣小组颁布的蓝牙标准)。蓝牙接口130使得电子设备100能够通过个人区域网络(PAN)与其他启用蓝牙的设备配对。因此，网络132可以是PAN。启用蓝牙的设备的示例包括膝上型计算机、台式计算机、超极本、平板计算机、移动设备、或服务器等。

网络132可以用于从内容提供商134获得流数据。内容提供商134可以是向电子设备100提供流数据的任意源。内容提供商134可以是基于云的，并且可以包括服务器。移动设备(例如，电子设备100)的用户将源自内容提供商134的内容流送到他们各自的移动设备。用户经常在极端环境(无论环境是室内还是室外)中观看流数据。为促进在任意环境中渲染流数据，内容提供商134包括补偿单元136，该补偿单元136基于由接收流数据的电子设备100的环境条件捕获机构捕获的环境信息来调整流数据的各种参数。以这种方式，流视频内容提供商(例如，内容提供商134(视频点播(VOD)或用户生成的内容(UGC)或多媒体广播多播服务(eMBMS)内容提供商))不向所有最终用户提供相同的视频流，并且具体的视频流取决于最终用户所处的环境。

以这种方式，所提供的视频的彩色内容被适当地渲染以适合在户外在明亮的阳光下观看流视频的最终用户的眼睛、或在室内在蓝色LED灯下观看流视频的最终用户的眼睛。如果没有这种彩色补偿，在极端光线环境中在显示器上渲染的整体颜色可能看起来褪色，并且最终用户体验可能远非最佳。此外，用户可能倾向于不查看没有来自内容提供商的彩色补偿的流内容，因为流内容由于用户的环境而渲染不良。

图1的框图不旨在指示电子设备100将包括图1中示出的所有组件。而是，计算系统100可以包括更少的组件或图1中未示出的附加组件(例如，传感器、电源管理集成电路、附加网络接口等)。取决于具体实现方式的细节，电子设备100可以包括图1中未示出的任何数量的附加组件。此外，CPU 102任何功能可以部分地或完全地在硬件和/或处理器中实现。例如，功能可以用专用集成电路、在处理器中实现的逻辑中、在专用图形处理单元中实现的逻辑中、或在任何其他设备中实现。

在实施例中，在设备/接收器位置处捕获的光环境信息被用于控制由远程VOD/UGC/eMBMS服务器流送的视频内容的颜色色度。移动设备/接收器可以在将观看视频流服务的位置处捕获本地环境光。然后，移动设备/接收器与远程VOD/UGC/eMBMS服务提供商共享捕获的本地环境光。然后，网络托管的VOD/UGC/eMBMS服务提供商使用由设备发送的环境光信息，并且通过向本地设备/接收器发送经彩色补偿的VOD/UGC/eMBMS流视频来提升其本地设备/接收器上的最终用户视频回放体验。关于最终用户的光环境的信息可以用于动态即时地(on the fly)生成经彩色补偿的流视频(在通过VOD或eMBMS重新传输直播赛事的情况下)，或用于从存储在内容提供商处的经彩色补偿的流视频的库中选择最佳流视频(或视频片段)。

图2是描述颜色补偿方法200的处理流程图。颜色补偿方法可以由补偿单元136(图1)执行。在实施例中，颜色补偿方法200是应用于数据流的云托管颜色补偿。数据可以存储在云中，或数据可以源自远程设备。为了便于描述，使用红色、蓝色和绿色(RGB)颜色空间来描述本技术。但是，可以使用任意颜色空间。通常，在202处，发生颜色空间转换，从而产生RGB数据。在框206处，将环境信息204应用于RBG数据以用于颜色补偿。在框208处，执行第二颜色空间转换以准备用于编码和流送的数据。在框210处，对数据进行编码。

具体地，在框212处，输入数据被输入到颜色补偿单元。输入数据可以是在直播赛事的情况下由相机捕获的图像流，或是由电影的播放产生的图像流。在框202处，可以通过与针对亮度信息相比针对色度信息实现更低的分辨率来对RGB输入数据进行色度子采样。该子采样可以通过YUV族颜色空间来执行，其中Y分量确定颜色的亮度，称为照度或亮度。U和V分量确定颜色本身，即，色度。例如，U可以表示蓝色差分色度分量，并且V可以表示红色差分色度分量。在实施例中，色度子采样是YUV4:2:0子采样比率。YUV族颜色空间描述了RGB信息是如何编码和解码的，并且采样率描述了将如何利用人类视觉系统对于色差比对于亮度低的敏锐度、通过与针对亮度信息相比针对色度信息实现更低的分辨率来解码数据。子采样数据可以被放置在RGB像素缓冲器中。矩阵214示出了在颜色空间转换202处进行子采样之后的像素数据。

在框206处，基于外部光环境参数执行彩色补偿。可以从环境信息204获得外部光环境参数。具体地，环境信息204可以与彩色补偿查找表(LUT)216结合使用。彩色补偿LUT216可被用于将一系列输入数据转换为要应用于流数据的另一系列参数。如框218所示，可以通过基于环境信息确定最佳补偿参数来配置LUT。在实施例中，补偿参数用于取消任意不期望的渲染参数，以有利于将正确地进行渲染的参数，以使得特定环境中的用户可以查看视频。彩色补偿LUT 216然后可以存储在环境条件与彩色补偿LUT 216中的那些参数相匹配时要应用的那些参数。在实施例中，参数被存储为颜色补偿矩阵。

例如，针对图像中的每个RGBin像素，使用彩色补偿矩阵220来计算新RGBout像素值。得到的经补偿数据是RGBin矩阵214的函数，使得RGBout矩阵222是RGBout＝(Rout，Gout，Bout)，其中Rout＝f(Rin，Gin，Bin)、Gout＝f(Rin，Gin，Bin)、Bout＝f(Rin，Gin，Bin)，其中f是捕获RGB光环境信息的补偿矩阵220，并且RGBin是将应用补偿的像素数据。在实施例中，颜色补偿矩阵220包括由RGB传感器或相机在接收器处测量的光环境值。

在颜色空间转换208中，可以使用YUV 4:2:0的色度子采样比率来编码RGBout矩阵222。如上所述，色度采样比率描述了将如何利用人类视觉系统对于色差比对于亮度低的敏锐度、通过与针对亮度信息相比针对色度信息实现更低的分辨率来解码数据。在实施例中，根据色度子采样比率对经调适的视频进行编码实现可以用与原始的未经调适的视频相同的方式压缩的视频流。此外，本技术不增加经调适的视频的大小，因为典型的编码包括色度子采样，该色度子采样针对色度信息实现比针对亮度信息低的分辨率。在调适流数据时，可以根据本技术调适色度信息。已经以YUV4:2:0的比率进行了色度子采样的新RGBout像素缓冲被发送到视频编码器210，以进一步处理和编码以供传输。在实施例中，视频编码器210是“真实的(genuine)”视频编码器，其将YUV420(典型地)视频流作为输入，并且输出经压缩的比特流。

如上所述的颜色补偿可以应用于实时流数据以及预编码的流数据。在实施例中，为了提升在不同光环境中将视频流送到设备时的整体最终用户体验，云服务器可以用至少两种不同方式使用颜色彩色处理链以用于与实时流数据和预编码流数据中的每个一起使用。具体地，云服务器可以选择具有先前调适的颜色的视频流以进行传输，或云服务器可以转换要传输的实时视频流中的颜色。

在与向接收器发送未经颜色补偿的流相比时，发送具有经先前调适以适合接收器处的色彩条件的颜色的已编码的视频流、或经颜色转换的实时流，使得向接收器发送的信息量的整体减少。信息量的减少是由于在经颜色补偿的视频中仅向接收器发送相关彩色内容。相关彩色内容是经过颜色补偿的彩色数据，并且还可以包括相关联的亮度信息。最终用户的眼睛在当前环境光下可见的彩色内容被发送到设备，而不是传统上将整个彩色内容的范围发送到接收器。这样，与在没有如本文所述的彩色预过滤的情况下必须编码的信息量相比，减少了由服务器侧的视频编码器编码的信息量。

例如，如果接收器处于红色环境中，则服务器将广播具有减少的红色内容的流。人工增强的绿色和蓝色可以用于补偿接收器处的红色环境。色度值中的这种变化可以使得发送到接收器的总体数据较少。在另一示例中，在编码之前对实时流进行颜色转换，以便通过人工增强所有非红色来减少红色内容的量，如在前面的示例中那样。蓝色和绿色增强的YUV4:2:0颜色流被发送到编码器，编码器将对其进行编码并且将其流送到接收器。以这种方式，接收器将接收具有较少红色和更多蓝色和绿色内容的流。当在红色环境中显示时，观看体验将得到增强，因为整体视频内容将看起来不褪色，如果蓝色和绿色内容没有被提升的话，则整体视频内容看起来将褪色。

图3是使得能够基于接收器处的环境来远程调适实时流数据的系统300的图示。服务器302可以是内容提供商134(图1)。接收器302可以是电子设备100(图1)。如图所示，接收器304可以控制306由服务器302捕获的实时VOD/eMBMS原始视频流。接收器还可以向服务器302发送环境数据308A。

在服务器302处，在框312处捕获实时VOD/eMBMS原始视频流。在框314处，将彩色补偿应用于原始图像流。具体地，如框308B所示，将校正因子应用于图像流。校正因子可以基于由接收器捕获的环境信息。在实施例中，如关于图2描述的那样执行颜色补偿。在框316处，编码和分组化经颜色补偿的数据流以进行传输。在参考标号310处，发送流数据。在接收器304处，如参考标号318所示，解分组化和解码流数据。在框320处，渲染经补偿的流数据。以这种方式，将彩色处理链应用于实时图像流。生成特定于设备的经彩色补偿的流视频。这生成高质量的直播赛事流视频或eMBMS流。

图4是使得能够基于接收器处的环境来远程调适预先记录的流数据的系统400的图示。服务器402可以是内容提供商134(图1)的组件。接收器402可以是电子设备100(图1)。如图所示，接收器404可以控制406由服务器402捕获和/或存储的VOD/UGC视频流。接收器还可以向服务器402发送环境数据408A。

在服务器402处，在框412处捕获和/或存储VOD/UGC原始图像流。在框414处，向原始图像流应用彩色补偿。如框408B所示，将一组典型的校正因子应用于图像流。校正因子是典型的，因为其被配置为应用于接收器可能位于的代表性的一系列光环境。在实施例中，如关于图2描述的那样执行颜色补偿。在框416处，编码和分组化经颜色补偿的数据流以进行传输，并且经颜色补偿的数据流在数据库中通过其校正因子来索引。因此，每个视频可以以采用了多个校正因子的多个版本来保存在数据库中。被选择以进行传输的视频可以是数据库中与接收器位置处的光环境匹配的最佳经彩色补偿视频流。具体地，最佳匹配被描述为在数据库索引与接收器位置处的光环境之间具有最小距离的一个匹配。换句话说，最佳匹配可以是具有最接近地匹配接收器位置处的预期光环境的校正因子的视频。在框418处，对选择的视频进行分组化。在参考标号410处，发送流数据。在接收器404处，如参考标号420所示，解分组化和解码流数据。在框422处，渲染经补偿的流数据。在这种方式中，彩色处理链是离线的，并且特定于设备的光环境信息被用于控制要被流送到接收器的预编码视频。

图5是用于基于接收器处的环境来远程调适流数据的方法500的处理流程图。本技术基于视频将要被渲染/消费的位置处的环境光色温来解决流视频内容的远程彩色补偿。如本文所使用的，接收器是将要在其中渲染视频的最终用户设备。此外，如本文所使用的，服务器是典型的基于云的服务，其中视频被发送到接收器。在框502处，捕获环境信息。在实施例中，在移动设备/移动接收器处定期捕获环境信息。环境信息可以包括将要渲染流视频的位置处的环境光(或色温)。此外，在实施例中，可以使用多个传感器(例如，相机传感器或RGB传感器)来捕获环境信息。RGB传感器提供针对每个RGB分量的环境光水平。在实施例中，使用RGB传感器具有优于相机感测的显著优点，因为其也是非常低功耗的(并且是低成本的硬件组件)。

在框504处，向内容提供商发送环境信息。在实施例中，定期向内容提供商发送环境信息。可以使用可用的任意可用的IP连接(例如，WLAN或蜂窝)向网络托管服务器或远程流视频提供商(VOD/UGC提供商)发送环境信息。在框506处，基于环境信息来调适内容。具体地，在接收到在设备水平处捕获的环境信息时，或在接收到在设备水平处捕获的与先前接收和存储的消息相比显示出显著退化的环境信息时，网络托管服务器将决定调适其要发送的流媒体视频的彩色内容。以这种方式，所发送的内容适合于接收器位置处的光环境。例如，当接收器光环境是蓝色(B)时(如在一些LED光下的情况)，可以使彩色内容看起来更黄(R+G)。由于内容已经被调适以适合于环境条件，因为在移动设备上不执行附加处理，所以可以在移动设备处实现功率节省。此外，可以动态即时地或基于库或经预补偿的视频片段来实现调适。

如上所述，视频的调适可以在网络或云托管服务器处发生。在实施例中，还可以根据本文描述的技术在设备处调适视频。在这种情景下，环境信息由设备捕获，并且应用于在设备处接收到的流数据。设备可以包括缓冲器，用于在设备处进行调适之前存储流数据。在实施例中，设备中的缓冲器是先进先出缓冲器。此外，在实施例中，云流服务器接收视频流送请求和环境信息，并且使用该信息来编码针对接收器动态即时地进行调适的视频内容，或从存储库中取回适当的经彩色补偿的视频(或视频片段)，并且然后使用典型的流送协议(例如，经IP的实时传输协议(RTP))向接收器发送视频。

因此，本技术使用最终用户报告的信息来控制流视频的彩色调适，从而优化整体最终用户体验。在示例中，颜色内容被调适以使得当在蓝色光环境(典型的是一些LED光)中的设备上渲染视频回放时流视频看起来不会“褪色”。在这样的示例中，目标可以是相对于蓝色来增强红色和绿色内容以实现本文描述的补偿。在另一示例中，颜色内容被调适以使得当在红色光环境(典型的是日落环境)中的设备上渲染视频回放时流视频看起来不会“褪色”。在该示例中，目标可以是相对于红色来增强蓝色和绿色内容以实现本文描述的补偿。

在广告商或第三方内容提供商的用例中，确保所渲染的视频在任何环境中都是可最佳观看的，能够在一群电子设备用户件实现更高的观看数量。在实施例中，在云提供的视频在被流送到接收器之前使用在接收器位置处捕获的光环境信息对其进行补偿。在实施例中，彩色补偿可以针对实时视频内容(例如，通过VOD或eMBMS的体育赛事的实时重传)动态即时地完成，或针对UGC内容或电影VOD离线完成。

图6是示出包括用于基于用户输入的环境条件捕获的逻辑的介质600的框图。介质600可以是计算机可读介质，包括存储可由处理器602通过计算机总线604访问的代码的非暂态介质。例如，计算机可读介质600可以是易失性或非易失性数据存储设备。介质600也可以是逻辑单元，例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或在一个或多个集成电路中实现的逻辑门的布置。

介质600可以包括被配置为执行本文描述的技术的模块606-610。例如，信息捕获模块606可以被配置为捕获电子设备处的环境条件。信息捕获模块还可以用于配置包括颜色补偿矩阵的查找表。在实施例中，最终用户向视频流服务器(VOD/UGC/eMBMS)发送对视频流递送的请求。在实施例中，流服务器是基于云的服务器。可以使用诸如经互联网协议(IP)的超文本传输协议(HTTP)之类的传输协议来发送对视频流送的请求。该请求可能引起环境信息的捕获。因此，在一些实施例中，最终用户设备可以定期发送关于接收器所处于的光环境的信息。关于接收器所处于的光环境的信息通常也使用经IP的HTTP来发送，并且可以通过相机传感器或通过简单的RGB传感器(提供针对每个RGB分量的环境光水平)来捕获。在实施例中，当与相机感测进行比较时，使用RGB传感器具有显著优点，因为它也是非常低功耗的并且是低成本的硬件组件。

调适模块608可以被配置为将环境信息应用于流数据。在实施例中，云流送服务器接收视频流送请求和光环境信息两者，并且使用该信息来编码针对接收器动态即时地调适的视频内容，或从存储库中取出适当的经彩色补偿的视频(或视频片段)，并且然后使用典型的流送协议(例如，经IP的实时传输协议(RTP))向接收器发送视频。

流送模块610可以被配置为流送经调适的数据。在实施例中，云流送服务器定期接收在接收器位置处完成的新的光环境测量，并且调整其编码参数，或向接收器发送更适当的视频(或视频片段)。在一些实施例中，模块606-610可以是被配置为指导处理器602的操作的计算机代码的模块。

图6的框图不旨在指示介质600将包括图6中示出的所有组件。此外，取决于具体实现方式的细节，介质600可以包括图6中未示出的任意数量的附加组件。

通过在云中或在服务器端而不是在设备上托管彩色视频处理，可以实现若干运营商/视频服务提供商的益处。首先，可以增大技术延伸范围，因为它不需要设备水平的专用处理能力/HW加速器。此外，可以在渲染设备上本地地完成彩色补偿，该渲染设备是包括用于颜色补偿的硬件或软件的设备。内容提供商的颜色补偿可以分配足够的CPU处理能力以在软件中运行处理。

在实施例中，本地彩色补偿可以取决于足够强大的最终设备或包括合适的硬件的最终设备。在云中/服务器上运行色彩补偿意味着解决方案可被部署到更广泛的设备，即使是那些既没有足够的CPU能力也没有专用的硬件加速来在本地运行彩色补偿的设备。

此外，本技术增大了技术延伸范围，因为服务器到设备流送所需的带宽减少了。在实施例中，服务器可以使用(由设备本地的RGB传感器感测并且定期上传到服务器的)关于设备水平处的环境光的RGB信息，来在传输之前预处理视频，因此仅有最终用户的眼睛在当前环境光下可见的彩色内容被发送到设备。由于在编码过程期间更有效的比特分配，在服务器上完成的颜色彩色处理可以产生更优化的视频流。此外，颜色彩色处理可以产生以较低比特率编码的流。此外，因为最终用户的眼睛可以看到有限的彩色视频内容，所以不需要以相同的质量水平对源视频的所有彩色内容进行编码；服务器托管的视频编码器可以分配较少的比特来编码最终用户几乎不可见的彩色内容，因此当与在没有彩色预处理的情况下进行编码的视频流进行比较时，服务器托管的编码器可以产生较小的经编码视频文件或较小的经编码视频片段。

示例1是一种装置。该装置包括：环境条件捕获机构，用于从接收器获得环境信息；控制器，用于基于环境信息来控制流数据，其中，接收器接收基于环境信息进行调适的流数据，并且流数据的量由于对流数据进行调适而减少。

示例2包括示例1的装置，包括或排除可选特征。在该示例中，环境信息是环境光信息。

示例3包括示例1至2中任一项的装置，包括或排除可选特征。在该示例中，环境条件捕获机构是多个传感器。

示例4包括示例1至3中任一项的装置，包括或排除可选特征。在该示例中，环境条件捕获机构是相机、RGB传感器、或它们的任意组合。

示例5包括示例1至4中任一项的装置，包括或排除可选特征。在该示例中，控制流数据包括基于环境条件来操纵数据。

示例6包括示例1至5中任一项的装置，包括或排除可选特征。在该示例中，减少流数据的量是由于仅向接收器发送相关彩色内容。

示例7包括示例1至6中任一项的装置，包括或排除可选特征。在该示例中，对流数据进行调适包括基于环境条件来补偿流数据的颜色。

示例8包括示例1至7中任一项的装置，包括或排除可选特征。在该示例中，对流数据进行调适包括将颜色补偿矩阵应用于像素缓冲器中的流数据。

示例9包括示例1至8中任一项的装置，包括或排除可选特征。在该示例中，经调适的流数据被存储在存储库中以供稍后发送到接收器。

示例10包括示例1至9中任一项的装置，包括或排除可选特征。在该示例中，流数据是动态即时地捕获的。

示例11包括示例1至10中任一项的装置，包括或排除可选特征。在该示例中，流数据是从数据存储库获得的。

示例12包括示例1至11中任一项的装置，包括或排除可选特征。在该示例中，环境信息是环境噪声。

示例13包括示例1至12中任一项的装置，包括或排除可选特征。在该示例中，对流数据进行调适包括基于环境信息来补偿流数据的音量。

示例14是一种方法。该方法包括：从接收器获得环境信息；获得流数据；基于环境信息来修改流数据；以及向接收器发送经修改的流数据，其中，流数据的量由于对流数据的修改而减少。

示例15包括示例14的方法，包括或排除可选特征。在该示例中，环境信息是环境光信息。

示例16包括示例14至15中任一项的方法，包括或排除可选特征。在该示例中，环境信息是通过多个传感器获得的。

示例17包括示例14至16中任一项的方法，包括或排除可选特征。在该示例中，环境信息是通过相机、RGB传感器、或它们的任意组合获得的。

示例18包括示例14至17中任一项的方法，包括或排除可选特征。在该示例中，流数据是在内容提供商处捕获的。

示例19包括示例14至18中任一项的方法，包括或排除可选特征。在该示例中，减小流数据的量是由于仅向接收器发送相关彩色内容。

示例20包括示例14至19中任一项的方法，包括或排除可选特征。在该示例中，修改流数据包括基于环境条件来补偿流数据的颜色。

示例21包括示例14至20中任一项的方法，包括或排除可选特征。在该示例中，修改流数据包括将颜色补偿矩阵应用于像素缓冲器中的流数据。

示例22包括示例14至21中任一项的方法，包括或排除可选特征。在该示例中，经修改的流数据被存储在存储库中以供稍后发送到接收器。

示例23包括示例14至22中任一项的方法，包括或排除可选特征。在该示例中，流数据被动态即时地捕获、修改、并且动态即时地发送到接收器。

示例24是一种系统。该系统包括：显示器；无线电设备；存储器，用于存储指令并且通信地耦合到显示器；处理器，通信地耦合到无线电设备和存储器，其中，在处理器执行指令时，处理器：捕获环境信息；向内容提供商发送环境信息；从内容提供商获得基于环境信息修改的接收流数据，其中，流数据的量由于对流数据的修改而减少；以及在接收器处渲染经修改的流数据。

示例25包括示例24的系统，包括或排除可选特征。在该示例中，减小的流数据的量是由于仅向接收器发送相关彩色内容。

示例26包括示例24至25中任一项的系统，包括或排除可选特征。在该示例中，环境信息是环境光信息。

示例27包括示例24至26中任一项的系统，包括或排除可选特征。在该示例中，环境条件是通过多个传感器捕获的。

示例28包括示例24至27中任一项的系统，包括或排除可选特征。在该示例中，环境条件是通过相机、RGB传感器、或它们的任意组合捕获的。

示例29包括示例24至28中任一项的系统，包括或排除可选特征。在该示例中，经修改的流数据是通过基于环境条件来操纵流数据进行修改的。

示例30包括示例24至29中任一项的系统，包括或排除可选特征。在该示例中，经修改的流数据是通过基于环境条件来补偿流数据的颜色进行修改的。

示例31包括示例24至30中任一项的系统，包括或排除可选特征。在该示例中，经修改的流数据是通过将颜色补偿矩阵应用于像素缓冲器中的流数据进行修改的。

示例32包括示例24至31中任一项的系统，包括或排除可选特征。在该示例中，经修改的流数据被存储在存储库中以供稍后发送到接收器。

示例33包括示例24至32中任一项的系统，包括或排除可选特征。在该示例中，流数据是动态即时地捕获的。

示例34包括示例24至33中任一项的系统，包括或排除可选特征。在该示例中，流数据是从数据存储库获得的。

示例35包括示例24至34中任一项的系统，包括或排除可选特征。在该示例中，环境信息是环境噪声。

示例36包括示例24至35中任一项的系统，包括或排除可选特征。在该示例中，对流数据进行调适包括基于环境信息来补偿流数据的音量。

示例37是一种计算机可读介质。该计算机可读介质包括指令，这些指令指导处理器：从接收器获得环境信息；获取流数据；基于环境信息来修改流数据；并且向接收器发送经修改的流数据，其中，流数据的量由于对流数据的修改而减少。

示例38包括示例37的计算机可读介质，包括或排除可选特征。在该示例中，环境信息是环境光信息。

示例39包括示例37至38中任一项的计算机可读介质，包括或排除可选特征。在该示例中，环境信息是通过多个传感器获得的。

示例40包括示例37至39中任一项的计算机可读介质，包括或排除可选特征。在该示例中，环境信息是通过相机、RGB传感器、或它们的任意组合获得的。

示例41包括示例37至40中任一项的计算机可读介质，包括或排除可选特征。在该示例中，流数据是在内容提供商处捕获的。

示例42包括示例37至41中任一项的计算机可读介质，包括或排除可选特征。在该示例中，减少流数据的量是由于仅向接收器发送相关彩色内容。

示例43包括示例37至42中任一项的计算机可读介质，包括或排除可选特征。在该示例中，修改流数据包括基于环境条件来补偿流数据的颜色。

示例44包括示例37至43中任一项的计算机可读介质，包括或排除可选特征。在该示例中，修改流数据包括将颜色补偿矩阵应用于像素缓冲器中的流数据。

示例45包括示例37至44中任一项的计算机可读介质，包括或排除可选特征。在该示例中，经修改的流数据被存储在存储库中以供稍后发送到接收器。

示例46包括示例37至45中任一项的计算机可读介质，包括或排除可选特征。在该示例中，流数据被动态即时地捕获、修改、并且动态即时地发送到接收器。

示例47是一种设备。该设备包括：环境条件捕获机构，用于从接收器获得环境信息；用于基于环境信息来控制到接收器的流数据的装置，其中，接收器接收基于环境信息进行调适的流数据，并且流数据的量由于对流数据的调适而减少。

示例48包括示例47的设备，包括或排除可选特征。在该示例中，环境信息是环境光信息。

示例49包括示例47至48中任一项的设备，包括或排除可选特征。在该示例中，环境条件捕获机构是多个传感器。

示例50包括示例47至49中任一项的设备，包括或排除可选特征。在该示例中，环境条件捕获机构是相机、RGB传感器、或它们的任意组合。

示例51包括示例47至50中任一项的设备，包括或排除可选特征。在该示例中，用于控制流数据的装置基于环境条件来操纵数据。

示例52包括示例47至51中任一项的设备，包括或排除可选特征。在该示例中，减少流数据的量是由于仅向接收器发送相关彩色内容。

示例53包括示例47至52中任一项的设备，包括或排除可选特征。在该示例中，对流数据进行调适包括基于环境条件来补偿流数据的颜色。

示例54包括示例47至53中任一项的设备，包括或排除可选特征。在该示例中，对流数据进行调适包括将颜色补偿矩阵应用于像素缓冲器中的流数据。

示例55包括示例47至54中任一项的设备，包括或排除可选特征。在该示例中，经调适的流数据被存储在存储库中以供稍后发送到接收器。

示例56包括示例47至55中任一项的设备，包括或排除可选特征。在此示例中，流数据是动态即时地捕获的。

示例57包括示例47至56中任一项的设备，包括或排除可选特征。在该示例中，流数据是从数据存储库获得的。

示例58包括示例47至57中任一项的设备，包括或排除可选特征。在该示例中，环境信息是环境噪声。

示例59包括示例47至58中任一项的设备，包括或排除可选特征。在该示例中，对流数据进行调适包括基于环境信息来补偿流数据的音量。

应当理解，前述示例中的细节可以用于一个或多个实施例中的任意地方。例如，上面描述的计算设备的所有可选特征也可以针对本文描述的方法或计算机可读介质中的任一个来实现。此外，虽然本文可能已经使用流程图和/或状态图来描述实施例，但是这些技术不限于本文的那些图示或相应的描述。例如，流程不需要穿过每个示出的框或状态，或不需要以与本文示出和描述的完全相同的顺序移动。

本技术不受限于本文列出的具体细节。实际上，受益于本公，本领域技术人员将理解，可以在本技术的范围内进行上述描述和附图的许多其他变型。因此，所附权利要求包括限定本技术的范围的任意修改。

Claims (25)

1.一种装置，包括：

环境条件捕获机构，用于从接收器获得环境信息；

控制器，用于基于所述环境信息来控制流数据，其中，所述接收器接收基于所述环境信息进行调适的流数据，并且所述流数据的量由于对所述流数据进行调试而减少。

2.根据权利要求1所述的装置，其中，所述环境信息是环境光信息。

3.根据权利要求1所述的装置，其中，所述环境条件捕获机构是多个传感器。

4.根据权利要求1所述的装置，其中，所述环境条件捕获机构是相机、RGB传感器、或相机和RGB传感器的任意组合。

5.根据权利要求1所述的装置，其中，控制所述流数据包括基于环境条件来操纵所述数据。

6.一种方法，包括：

从接收器获得环境信息；

获得流数据；

基于所述环境信息来修改所述流数据；以及

将经修改的流数据发送到所述接收器，其中，所述流数据的量由于对所述流数据的修改而减少。

7.根据权利要求6所述的方法，其中，所述环境信息是环境光信息。

8.根据权利要求6所述的方法，其中，所述环境信息是通过多个传感器获得的。

9.根据权利要求6所述的方法，其中，所述环境信息是通过相机、RGB传感器、或相机和RGB传感器的任意组合获得的。

10.根据权利要求6所述的方法，其中，所述流数据是在内容提供商处捕获的。

11.一种系统，包括：

显示器；

无线电设备；

存储器，用于存储指令并且通信地耦合到所述显示器；

处理器，通信地耦合到所述无线电设备和所述存储器，其中，在所述处理器执行所述指令时，所述处理器：

捕获环境信息；

向内容提供商发送所述环境信息；

从所述内容提供商获得基于所述环境信息而被修改的流数据，其中，所述流数据的量由于对所述流数据的修改而减少；以及

在所述接收器处渲染经修改的流数据。

12.根据权利要求11所述的系统，其中，经修改的流数据是通过基于环境条件补偿所述流数据的颜色来修改的。

13.根据权利要求11所述的系统，其中，经修改的流数据是通过向像素缓冲器中的流数据应用颜色补偿矩阵来修改的。

14.根据权利要求11所述的系统，其中，经修改的流数据被存储在存储库中以供稍后发送到所述接收器。

15.根据权利要求11所述的系统，其中，所述流数据是动态即时地捕获的。

16.一种计算机可读介质，包括指令，所述指令在由处理器执行时，指导所述处理器：

从接收器获得环境信息；

获得流数据；

基于所述环境信息来修改所述流数据；以及

将经修改的流数据发送到所述接收器，其中，所述流数据的量由于对所述流数据的修改而减少。

17.根据权利要求16所述的计算机可读介质，其中，所述环境信息是环境光信息。

18.根据权利要求16所述的计算机可读介质，其中，所述环境信息是通过多个传感器获得的。

19.根据权利要求16所述的计算机可读介质，其中，所述环境信息是通过相机、RGB传感器、或相机和RGB传感器的任意组合获得的。

20.根据权利要求16所述的计算机可读介质，其中，所述流数据是在内容提供商处获得的。

21.一种设备，包括：

环境条件捕获机构，用于从接收器获得环境信息；

用于基于所述环境信息来控制到所述接收器的流数据的装置，其中，所述接收器接收基于所述环境信息进行调适的流数据，并且所述流数据的量由于对所述流数据的调适而减少。

22.根据权利要求21所述的设备，其中，减小所述流数据的量是由于仅向所述接收器发送相关彩色内容。

23.根据权利要求21所述的设备，其中，对所述流数据进行调适包括基于所述环境条件来补偿所述流数据的颜色。

24.根据权利要求21所述的设备，其中，对所述流数据进行调适包括将向像素缓冲器中的流数据应用颜色补偿矩阵。

25.根据权利要求21所述的设备，其中，经调适的流数据被存储在存储库中以供稍后发送到所述接收器。