CN104935926A - 用于估计压缩的动态视频质量的技术 - Google Patents

用于估计压缩的动态视频质量的技术 Download PDF

Info

Publication number
CN104935926A
CN104935926A CN201510082328.7A CN201510082328A CN104935926A CN 104935926 A CN104935926 A CN 104935926A CN 201510082328 A CN201510082328 A CN 201510082328A CN 104935926 A CN104935926 A CN 104935926A
Authority
CN
China
Prior art keywords
equipment
condensed frame
video
dynamic video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510082328.7A
Other languages
English (en)
Other versions
CN104935926B (zh
Inventor
L·K·崔
Y·廖
B·欧马奥尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104935926A publication Critical patent/CN104935926A/zh
Application granted granted Critical
Publication of CN104935926B publication Critical patent/CN104935926B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6543Transmission by server directed to the client for forcing some client operations, e.g. recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明为用于估计压缩的动态视频质量的技术。各种实施例目的概括而言在于用于估计动态视频的压缩版本的视频质量以选择所述动态视频的压缩帧而不访问未压缩的版本的技术。用于发送动态视频的设备包括:设备评分部件,其基于第一压缩视频数据的第一压缩帧的时间复杂度来从使时间复杂度值与系数的集合相关的矢量中选择系数的集合,所述矢量是从与观看设备的至少一个观看特征相关联的意见分数得到;以及选择部件,其基于从所选择的系数的集合中得到的视频质量的度量来选择第一压缩帧或第二压缩数据的第二压缩帧中的一个以发送到观看设备,所述第一压缩数据和第二压缩数据表示动态视频。描述和要求保护其它实施例。

Description

用于估计压缩的动态视频质量的技术
背景技术
经由基于分组的网络(例如,互联网)的动态视频的传输变得日益普遍。在这样的传输中,通常使用各种形式的视频压缩中的任一种来压缩动态视频,所述各种形式的视频压缩包括由瑞士日内瓦的国际标准化组织公布的动态图像专家组(MPEG)规范和同样由瑞士日内瓦的国际电报联盟(ITU)公布的H.26x系列规范。视频压缩的这样的形式一般使用有损技术,所述有损技术利用在动态视频的很多片段中通常观察到的各种特征和人类视觉系统(HVS)的各种限制。
虽然这样的网络继续扩展它们的位速率容量,但是对它们在发送动态视频中的使用和动态视频的分辨率的要求二者也在增长,使得在任何给定的时间用于发送任何一个动态视频的可用的位速率容量继续受到限制。因此,尽管在这样的网络中有相当大的技术提高,但是仍然必须选择在视频质量和发送每一个动态视频所需的位速率之间的平衡。已经设计了各种技术来估计动态视频的压缩版本的视频质量以帮助选择这样的平衡,但这些技术一般需要以原始未压缩的形式来访问动态视频。不幸的是,由于诸如保护知识产权(例如,动态视频中的版权)的原因,网络访问提供者和动态视频流服务提供者常常不能访问动态视频的这样的未压缩版本。
附图说明
图1示出了视频处理系统的实施例。
图2示出了视频处理系统的可选实施例。
图3示出了实施例的一部分。
图4示出了图3的该部分的数据结构的实施例。
图5A和5B示出了另一实施例的部分。
图6A和6B示出了又一实施例的部分。
图7-图9的每一个示出了根据实施例的逻辑流程。
图10示出了根据实施例的处理体系结构。
图11示出了图形处理系统的另一可选实施例。
图12示出了设备的实施例。
具体实施方式
各种实施例概括而言旨在用于估计动态视频的一个或多个压缩版本的视频质量作为输入,以在不访问以未压缩形式的动态视频的情况下选择该动态视频的压缩帧以用于传输的技术。基于时间复杂度的对动态视频的图像质量的度量和与在观看动态视频的选定集合时观看设备的选定的观看特征相关联的图像质量的意见度量相组合。时间复杂度是基于由于人类视觉系统(HVS)相对可能对物体的运动敏感而引起的在动态视频的帧之间的内容中的改变的。使用意见度量来解释的观看设备的选定观看特征包括显示尺寸、显示分辨率和相关联的观看距离中的一个或多个。对压缩的帧的选择可以是从来自动态视频的压缩帧的不同集合当中的选择,其中压缩帧的每一个集合被压缩到不同的程度。
在训练阶段期间,动态视频的训练集合的很多动态视频视觉地呈现在具有选定的观看特征的观看设备的显示器上,并且原始数据是收集的视觉呈现向其进行表现的人的意见。在一些实施例中,原始数据可以由表示由那些人判断的图像质量的数值构成,并且数值的范围可以从1到5,以与广泛已知和使用的平均意见分数(MOS)估计技术一致。可以针对其时间复杂度来选择训练集合的动态视频以提供具有期望范围(例如,范围宽到足以包括各种各样类型的视频内容的时间复杂度,各种各样类型的视频内容例如计算机生成的、自然室外景色、建筑室内景色、近距离面部特征等)和/或时间复杂度值的分布(例如,平均分布、钟曲线分布等)的训练集合。然后使用非线性拟合技术来分析原始数据,以得到定义在时间复杂度和来自原始数据的意见分数之间的关系的第一和第二数学模型。第一和第二数学模型可以分别由第一和第二非线性系数来表示。
对于每一个训练集合的动态视频,将其时间复杂度的度量与第一非线性系数一起使用,以得到相对应的系数的第一集合,并且然后将那些时间复杂度和相对应的系数的第一集合的对进行组合以形成第一矢量。相对应地,将训练集合的动态视频的每一个的时间复杂度的度量与第二非线性系数一起使用,以得到相对应的系数的第二集合,并且然后将那些时间复杂度和相对应的系数的第二集合的对进行组合以形成第二矢量。共同地,第一和第二矢量将时间复杂度的范围与指示意见度量的系数的集合相关,其中,所述意见度量与具有选定的观看特征的观看设备相关联。
在稍后的传输阶段期间,估计另一动态视频的一个或多个压缩版本的视频质量。当发送动态视频或准备到具有类似的观看特征的观看设备的这样的传输时,可以发生所述估计。可以使用各种有损动态视频压缩算法中的任一种来生成动态视频的压缩版本。在一些实施例中,压缩算法可以是MPEG的各种版本中的一个。分析动态视频的一个或多个压缩版本,以得到每一个帧的各种参数,包括在压缩它时采用的量化参数、它的数据尺寸(例如,以位或字节为单位的其尺寸)、它的帧类型、它的分辨率和它的位速率中的一个或多个。然后采用每一个帧的所得到的参数来计算每一个帧的时间复杂度。然后每一个帧的所得到的时间复杂度在分别从第一和第二矢量中选择第一和第二线性系数中的一个中采用。
在一些实施例中,然后采用用于每一个帧的系数的选定的第一和第二集合连同位速率一起,以得到用于每一个帧的相对应的估计的MOS(有时被称为“时间MOS分数”)。用于每一个帧的估计的MOS的值的范围可能受到将用于每一个帧的估计的MOS维持在数值的预定范围内的限制。在这样的实施例中,该范围可以再次从1到5。在其它实施例中,然后采用用于每一个帧的系数的选定的第一和第二集合连同期望的MOS一起,以得到相对应的估计的位速率。用于每一个帧的估计的位速率的值的范围可能受到限制,例如,能够被支持用于传输的位速率的上限,或与期望的目标位速率相关联的可接受的位速率的范围。
不考虑是否基于给定的位速率将MOS估计为所达到的或将位速率估计为需要达到期望的MOS,可以采用所得到的估计的MOS或位速率来选择动态视频的多于一个的可用的压缩版本的压缩帧,以发送到观看设备来实现在视频质量和位速率之间的可接受的平衡。可选地或此外,可以采用所得到的估计的MOS或估计的位速率来确定表示由观看设备呈现的动态视频的压缩视频数据的缓冲的所需水平,以实现在视频质量和位速率之间的可接受的平衡。
作为在传输帧中的每帧分析的可选方案,实施例是可能的,在实施例中在每个动态视频执行分析。因此,分析另一动态视频的一个或多个压缩版本以得到每一个帧的各种参数。然而,聚集(例如,经由平均值、加权平均值等)并且采用每一个帧的所得到的参数,以计算整个动态视频的时间复杂度,并且然后分别在从第一和第二矢量中选择第一和第二线性系数中的一个中采用所得到的时间复杂度。
然后采用系数的选定的第一和第二集合连同用于整个动态视频的位速率一起,以得到用于整个动态视频的相对应的估计的MOS(有时被称为“总MOS分数”)。用于动态视频的估计的MOS的值的范围可能受到将它维持在数值的预定范围(例如,从1到5)内的限制。在其它实施例中,然后采用系数的选定的第一和第二集合连同用于动态视频的期望的MOS一起,以得到用于整个动态视频的相对应的估计的位速率。同样,用于每一个帧的估计的位速率的值的范围可能受到限制。
可以采用所得到的估计的MOS或估计的位速率来选择动态视频的压缩版本中的一个以发送到观看设备,来实现在视频质量和位速率之间的可接受的平衡。可选地或此外,可以采用所得到的估计的MOS或估计的位速率来确定表示由观看设备呈现的动态视频的压缩视频数据的缓冲的所需水平,以实现在视频质量和位速率之间的可接受的平衡。
一般参考本文使用的概念和术语,可以按照在计算机或计算机的网络上执行的程序过程来呈现接下来的具体实施方式的部分。这些过程描述和表示由本领域中的技术人员使用来将他们的工作的实质最有效地传达给本领域中的其他技术人员。过程在这里并且通常被设想为引起期望结果的操作的前后一致的序列。这些操作是需要对物理量的物理操纵的那些操作。通常,虽然不是必须,这些量采取能够被存储、传送、组合、比较和另外操纵的电、磁或光信号的形式。主要出于公共使用的原因,将这些信号称为位、值、元件、符号、字符、项目、数字等有时被证明是方便的。然而应注意,这些和类似项目的全部应与适当的物理量相关联,并且仅是应用于那些量的方便标签。
此外,这些操纵常常以例如添加或比较的形式被提到,其通常与由操作人员执行的智力操作相关联。然而,在大部分情况中、在形成一个或多个实施例的部分的本文描述的任何操作中,操作人员的这样的能力并不是必须的或合乎需要的。更确切地,这些操作是机器操作。用于执行各种实施例的操作的有用的机器包括通用数字计算机,所述通用数字计算机如由在其内存储根据本文的教导编写的计算机程序选择性地启动或配置,和/或包括为了所需目的而特别构造的装置。各种实施例还涉及用于执行这些操作的装置或系统。这些装置可以为了所需目的而特别构造或可以包括通用计算机。用于各种所述机器的所需结构将从给出的描述中变得显而易见。
现在参考附图,其中,在全文中相似的附图标记用于始终表示相似的元件。在下面的描述中,出于解释的目的,阐述了很多具体的细节,以便提供对下面的描述的彻底理解。然而显然的是,新颖的实施例可以在没有这些特定细节的情况下被实施。在其它示例中,公知的结构和设备以框图的形式示出,以便有助于其描述。本发明涵盖在权利要求的范围内的所有修改、等效形式和可选形式。
图1示出了包括训练设备100、源设备300、计算设备500和观看设备700中的一个或多个的视频处理系统1000的实施例的框图。在视频处理系统1000中的训练阶段期间,训练设备100生成使动态视频的时间复杂度的范围与指示具有选定的观看特征的观看设备的意见度量的系数的集合相关的设备矢量数据134。训练设备100然后向计算设备500提供设备矢量数据134,用于以后在选择用于使用具有类似的选定特征的观看设备来观看的动态视频的压缩帧时使用。在稍后的传输阶段期间,计算设备500基于哪些压缩帧实现了在视频质量和传输位速率之间的可接受的平衡来选择动态视频830的压缩帧以发送到观看设备700。计算设备500可以从源设备300至少接收压缩视频数据330a和330b,其中每一个压缩视频数据以压缩的形式表示动态视频830,但每一个压缩视频数据被压缩到不同的程度。观看设备700具有类似于与设备矢量数据134相关联的观看特征的观看特征。计算设备500采用基于以压缩形式的动态视频中的物体的运动的视频质量的度量和与矢量数据134相关联的意见度量的组合来选择至少压缩数据330a和330b中的一个或多个的压缩帧以发送到观看设备700。因此,观看设备700接收以压缩形式的动态视频830,动态视频830由被选择以考虑与观看设备700的观看特征类似的观看特征的压缩帧构成。这些计算设备中的每一个可以是各种类型的计算设备中的任一种,包括但不限于桌上型计算机系统、数据输入终端、膝上型计算机、上网本计算机、平板计算机、手持个人数字助理、智能电话、智能眼镜、智能腕表、数字照相机、合并到衣服中的身体佩戴的计算设备、集成到车辆(例如,汽车、自行车、轮椅等)中的计算设备、服务器、服务器的群集、服务器农场等。
如所描绘的,这些计算设备100、300、500和700通过网络999交换在表示动态视频的压缩数据和/或与动态视频压缩的视频质量有关的数据处传送的信号。然而,这些计算设备中的一个或多个可以经由网络999与彼此和/或与又一些其它计算设备(未示出)交换完全与动态视频或视频质量无关的其它数据。在各种实施例中,网络可以是可能被限制到在单个建筑物或其它相对有限的区域内延伸的单个网络、可能延伸到相当大的距离的所连接的网络的组合,和/或可以包括互联网。因此,网络999可以基于各种通信技术中的任一种,其中通过这些通信技术可以交换信号,所述各种通信技术包括但不限于,使用电和/或光传导电缆的有线技术,和使用红外线、射频或其它形式的无线传输的无线技术。
在各种实施例中,训练设备100包括处理器部件150、存储装置160、控件120、显示器180和将训练设备100耦合到网络999的接口190中的一个或多个。存储装置160存储控制例程140、训练视频数据131、原始训练数据132、拟合训练数据133和设备矢量数据134中的一个或多个。训练视频数据131由表示在一起形成动态视频的训练集合的多个动态视频的数据段构成。在一些实施例中,训练视频数据131可以表示动态视频的数据库的至少一部分。训练集合的动态视频可以针对其时间复杂度进行选择,以使训练集合覆盖时间复杂度的选定范围和/或将时间复杂度的选定分布告知训练集合(例如,平均分布、钟曲线分布等)。
控制例程140包括在处理器部件150上操作的指令的序列,处理器部件150起到训练设备100的主处理部件的作用以实现执行各种功能的逻辑。在训练阶段期间执行控制例程140,处理器部件150可以将来自训练视频数据131的动态视频发送或另外提供到具有选定观看特征的观看设备,以由该观看设备视觉地呈现。处理器部件150然后接收并且存储与那些视觉呈现相关联的意见分数的指示作为原始训练数据132,处理器部件150随后从原始训练数据132得到处理器部件150提供到计算设备500的设备矢量数据134。
图3更详细地描绘了在训练阶段中的训练设备100的这样的操作的实施例,而图4更详细地描绘了在训练阶段中在这样的操作期间在部件和/或该实施例的其它部分之间交换的数据的方面。如所描绘的,控制例程140可以包括训练部件141和通信部件149中的一个或多个。此外,训练部件141可以包括收集部件1412、非线性拟合部件1413和线性拟合部件1414中的一个或多个。在执行控制例程140时,处理部件150可以执行训练部件141的部件1412、1413和1414中的一个或多个,以及通信部件149。
收集部件1412可以向观看设备70提供训练视频数据131的动态视频,以用于通过观看设备的显示器视觉地呈现给一个或多个人10。如在图4中所描绘的,训练视频数据131还可以包括训练集合的动态视频中的每一个的时间复杂度的指示。可选地,收集部件1412可以得到这些动态视频中的每一个的时间复杂度。在一些实施例中,存储在用于训练集合的动态视频中的一个的训练视频数据131中的时间复杂度的每一个指示可以是表示在动态视频的所有帧当中的平均时间复杂度的数值。
收集部件1412还可以操作控件120和/或显示器180,以提供用户界面以用于由观看训练视频数据131的动态视频的人使用,以提供如由观看设备70视觉地呈现的每一个动态视频的图像质量的意见分数。控件120可以是各种类型的输入设备中的任一种,包括但不限于键盘、定点设备等。显示器180可以基于各种显示技术中的任一种,包括但不限于液晶显示器(LCD)技术、电致发光(EL)技术等。可选地或此外,控件120和显示器180可以被组合到单个用户界面设备(例如,触摸屏)中。不管如何从那些人处接收意见分数,收集部件1412都将所述意见分数存储为原始训练数据132。如在图4中描绘的,意见分数可以被组织在原始训练数据132内的每个训练集合的动态视频,并且可以与还可以被包括在原始训练数据132中的训练集合的动态视频中的每一个的时间复杂度的指示相关。
非线性拟合部件1413分析原始训练数据132的意见分数,以得到训练集合的动态视频的每一个的意见分数与时间复杂度的数学关系的第一和第二数学模型。在这样得到的第一和第二数学模型中,非线性拟合部件1413可以得到第一和第二非线性系数,以表示第一和第二数学模型,并且将它们存储为拟合训练数据133。如在图4中描绘的,拟合训练数据133可以包括用于训练集合的动态视频的每一个的时间复杂度的指示。
对于与训练集合的动态视频的每一个相关联的每一个不同的时间复杂度,线性拟合部件1414可以分别采用拟合训练数据133的第一和第二非线性系数来得到系数的第一和第二集合。换句话说,针对每一个时间复杂度来生成单独的系数的第一和第二集合。线性拟合部件1414然后可以生成由与训练集合的动态视频的时间复杂度中的相对应的时间复杂度配对的系数的第一集合中的全部构成的第一矢量,并且可以将第一矢量存储为设备矢量数据134。相对应地,线性拟合部件1414还可以生成由与训练集合的动态视频的时间复杂度中的相对应的时间复杂度配对的系数的第二集合中的全部构成的第二矢量,并且可以将第二矢量存储为设备矢量数据134的另一部分。正如将更详细解释的,在稍后的传输阶段期间,这些时间复杂度与在第一和第二矢量中的系数的第一和第二集合中的它们的相对应的系数的配对能够基于另一压缩动态视频的帧的时间复杂度来选择系数的第一和第二集合中的特定的一个。
在一些实施例中,在得到拟合训练数据133的第一和第二非线性系数中所采用的技术可以表示由国际电信联盟远程通信标准化组织(ITU-T)公布的G.1070意见模型极大地修改的版本。与G.1070标准不同,考虑观看设备的观看特征。在这样的实施例中,第一和第二非线性系数v4和v5使用下面的方程:
这个方程可以在最小二乘拟合过程中迭代地与MOS和由视频数据131表示的训练集合的动态视频的每一个的位速率一起使用,以得到整个训练集合的每一个所述非线性系数v4和v5中的单独的一个。
系数的第一集合可以由一对系数a4和b4构成,并且系数的第二集合可以由另一对系数a5和b5构成。用于训练集合的动态视频的每一个的系数a4和b4的第一集合可以使用下面的方程从该动态视频的时间复杂度TC以及第一非线性系数v4得到:
v4=a4x TC+b4
相对应地,用于训练集合的动态视频的每一个的系数a5和b5的第二集合可以使用下面的方程从该动态视频的时间复杂度TC以及第二非线性系数v5得到:
v5=a5x TC+b5
这两个方程可以迭代地用于另一最小二乘拟合过程中,以得到用于与训练集合的动态视频中的一个相对应的每一个时间复杂度TC的系数的第一和第二集合。因此,在这样的实施例中,设备矢量数据134的第一矢量由系数a4和b4的第一集合的多个相关的值和时间复杂度TC构成。相对应地,设备矢量数据134的第二矢量由用于系数a4和b4的第二集合的多个相关的值和时间复杂度TC构成。
观看设备70可以是各种类型的设备中的任一种,包括但不限于计算设备的形式或在其功能中更专用于动态视频的观看的设备,例如,电视机。当动态视频由观看设备70视觉地呈现时,观看设备70具有可以一个或多个观看特征,所述一个或多个观看特征可以与由观看训练视频数据131的动态视频的人对训练视频数据131的动态视频的图像质量的感知有密切关系。特别是,研究揭露了显示器的尺寸和分辨率,其中动态视频在该显示器上视觉地呈现以用于观看,并且人眼离显示器的观看距离与观看设备的很多其它特征相比,倾向于对所感知的图像质量有更大的影响。
如本领域中的技术人员熟悉的在观看动态视频时的人为因素,观看设备的各种特征(例如,它的物理尺寸或形状、它的重量和/或保持在控制中或另外由另一对象支持的它所拥有的特征)可以趋向于促进用于观看动态视频的观看距离的具体观看距离或范围。因此,虽然观看距离实际上不是观看设备本身的特征,并且一般由参与观看动态视频的人来进行选择,但是观看设备的各种其它特征可以趋向于充分影响观看距离的选择,在观看设备本身的那些各种特征和观看距离之间可能存在相关性。可能的是,具有类似的尺寸和分辨率的显示器的多个设备可能倾向于促进在观看距离中的类似选择,并且因此知道显示器尺寸和分辨率可以使观看距离能够以相对高的确定程度被确定。然而,还可以存在具有无视诸如显示器尺寸和分辨之类的特征的影响的具有它们所独有的其它特征的特定观看设备,使得知道特定观看设备的标识(例如,其制造商和/或型号)在确定观看距离时可能更有用。
因此,如在图4中描绘的,设备矢量数据134还可以包括观看设备70的观看设备特征的指示。正如将更详细解释的,可以采用所述观看特征的指示来实现对第一和第二矢量的选择,以在选择动态视频830的不同压缩版本的至少压缩帧时使用,从而发送到可能不具有与观看设备70相同的制造商或型号但可以具有某些类似的观看特征的另一观看设备。
在设备矢量数据134生成之后,通信部件149可以操作接口190以经由网络900将设备矢量数据134发送到计算设备500。可选地或此外,包括可移动存储介质的其它机构可以用来将设备矢量数据134传送到计算设备500。
返回到图1,如所描绘的,源设备300存储并且能够提供压缩视频数据330a和330b中的任何一个或两个。压缩视频数据330a和330b二者都表示以压缩形式的动态视频830,但压缩视频数据330a和330b被压缩到不同的程度,使得每一个压缩视频数据表示位速率和视频质量的不同的平衡。应注意,虽然只描绘了动态视频830的两个压缩版本,特别是压缩视频数据330a和330b,但是其它实施例是可能的,其中可以存储不同质量的动态视频830的压缩版本和/或另外不同质量的动态视频830的压缩版本是可用的。实际上,还应注意,源设备300能够生成满足所请求的位速率和/或所请求的视频质量的动态视频830的压缩版本(例如,表示动态视频830的压缩视频数据的版本)。源设备300可以响应于从计算设备500接收的要求动态视频830的一个或多个压缩版本的请求而向计算设备500提供压缩视频数据330a和330b中的至少一个或两个。
在视频压缩系统1000的一些实施例中,源设备300可以由动态视频830中的知识产权的持有人和/或访问动态视频830的未压缩版本的另一组织(例如,动态视频的制作者或发行者)来进行操作。在这样的实施例中,计算设备500可以由网络接入服务的提供者(例如,互联网服务提供者)和/或动态视频传输服务(例如,视频点播网络视频流式服务)来进行操作。计算设备500的操作者可以试图以压缩的形式向观看设备700提供动态视频830,所述压缩的形式使限制传输位速率与得到视频质量的至少可接受的水平相平衡,其中,视频质量以考虑观看设备700的观看特征的方式进行估计。为了能够考虑观看设备700的观看特征,计算设备500可以取回(或另外被提供有)观看设备700的观看特征的指示。
因此,可以在传输阶段中操作计算设备500,以使用与观看设备700的观看特征相关联的意见分数来估计在动态视频830的一个或多个压缩版本的位速率和MOS之间的平衡,以选择动态视频830的压缩帧,从而发送到观看设备700。在选择压缩帧时,计算设备500可以选择至少压缩视频数据330a和330b中的一个的所有压缩帧(再次,可以存在动态视频830的多于仅仅两个的压缩版本)。可选地,在选择压缩帧时,计算设备500可选择至少压缩视频数据330a和330b中的每一个的压缩帧的子集。
可选地或此外,可以在传输阶段中操作计算设备500,以估计在动态视频830的一个或多个压缩版本的位速率和MOS之间的平衡来确定由观看设备700采用的缓冲的程度,以实现动态视频830的观看而没有由以压缩的形式被发送到观看设备700的动态视频830引起的视觉假像(例如,似动非动运动、掉帧、像素化等)。当确定缓冲的程度时,计算设备500可以发送信号通知观看设备要使用的缓冲的程度的指示。
在各种实施例中,计算设备500包括处理器部件550、存储装置560、控制器600和将计算设备500耦合到网络999的接口590中的一个或多个。存储装置560存储控制例程540、设备矢量数据134、视频数据330a、视频数据330b和设备数据735中的一个或多个。控制器600包括处理器部件650和存储装置660中的一个或多个。存储装置660存储估计例程640、参数数据632、复杂度数据633和系数数据636中的一个或多个。
控制例程540包括在起到计算设备500的主处理器部件的作用的处理器部件550上操作的指令的序列,以实现用于执行各种功能的逻辑。在一些实施例中在传输阶段中执行控制例程540时,处理器部件550可以从源设备300接收视频数据330a和330b,每一个视频数据330a和330b表示以压缩形式的动态视频830,并且可以至少将每一个视频数据的压缩帧的子集存储在存储装置560中。应注意,视频数据330a和/或330b可以在进行由包括估计视频质量或传输构成的任何使用之前,存储在存储装置560中一段相当长的时间。
在进一步执行控制例程540时,处理器部件550基于经由估计例程640的执行而履行的视频质量分析的结果从视频数据330a和330b中的一个或两个中选择压缩帧以用于传输到观看设备700。应注意,压缩帧的这样的选择在一些实施例中可能需要从视频数据330a和330b中的每一个中选择压缩帧的混合,而在其它实施例中可能需要选择视频数据330a和330b中的一个或另一个的所有压缩帧。可选地或此外,在进一步执行控制例程540中,处理器部件550可以发送信号通知观看设备700以执行某程度的缓冲,所述缓冲的程度可以基于经由估计例程640的执行而履行的视频质量分析的结果。处理器部件550可以发送信号通知观看设备700缓冲的程度的指示。
估计例程640包括在起到计算设备500的控制器600的控制器处理器部件的作用的处理器部件650上可操作的指令的序列,其用于实现用于执行各种功能的逻辑。在传输阶段中执行估计例程640时,处理器部件650估计视频数据330a和/或330b中的至少一个的每一个压缩帧的视频质量,以确定一个、另一个或这两个视频数据的压缩帧是否应被发送到观看设备700。应注意,估计例程640可以在将表示动态视频830的任何压缩帧传输到观看视频700之前或与其同时由处理器部件650执行。
图5A更详细地描绘了在传输阶段中计算设备500的这样的操作的实施例,而图5B更详细地描绘了在传输阶段中在这样的操作期间在部件和/或该实施例的其它部分之间交换的数据的方面。如所描绘的,控制例程540可以包括选择部件547、缓冲部件548和通信部件549。此外,估计例程640可以包括解码器642、复杂度部件643、设备评分部件646和MOS估计器647中的一个或多个。在执行控制例程时,处理器部件550可以执行部件547、548和549中的一个或多个。相对应地,在执行估计例程640时,处理器部件640可以执行部件642、643、646和647中的一个或多个。
在准备估计视频数据330a和330b中的一个或两个的视频质量中,通信部件549可以操作接口590接收来自训练设备100的设备矢量数据134、来自源设备300的视频数据330a和/或330b、和/或来自观看设备700的设备数据735中的一个或多个。可选地或此外,可以采用包括可移动存储介质的其它机构来将这些数据段中的一个或多个传送到计算设备500。
解码器642至少部分地将压缩视频数据330a和330b中的一个或两个的压缩帧中的每一个进行解压缩,以得到每一个压缩帧的各种参数。如在图5B中描绘的,那些参数可以包括在压缩每一个帧时使用的一个或多个QP,每一个压缩帧的数据尺寸(例如,以位或字节为单位的每一个压缩帧的尺寸)、每一个帧的类型(例如,帧间、预测帧或双预测帧)、每一个帧的分辨率(例如,以像素为单位的水平和垂直分辨率中的一个或两个)、和/或每一个帧的位速率。解码器642存储每一个压缩帧的这样的参数作为参数数据632,以用于由复杂度部件643使用。
复杂度部件643采用参数数据632的参数,来得到用于每一个压缩帧的时间复杂度的度量,并且存储那些度量的指示作为复杂度数据633,以用于由设备评分部件646使用。在一些实施例中,经由下面的方程来确定在压缩的帧当中的每一个预测帧(P帧)的时间复杂度TC的这个度量:
在这个方程中,“数据尺寸”是由P帧所占据的位的数量,QP是在压缩中用来生成P帧的量化参数中的一个,“每秒帧”是动态视频的每秒的帧的数量,而“垂直分辨率”是在P帧中的水平线的数量。
应注意,在包括用于生成视频数据330a和/或330b的压缩算法是MPEG的版本的实施例在内的一些实施例中,解码器642可以只将预测帧(P帧)进行解码和/或复杂度部件643可以得到仅用于P帧的时间复杂度的度量。这可以基于参考其它帧描述的P帧的像素的像素颜色值而被认为是合乎需要的,使得仅用于P帧的时间复杂度的度量表示在一段时间内出现的像素颜色值中的变化——包括由运动引起的变化——的指示。相反,帧间(I帧)的像素颜色值被充分地进行描述,而不参考任何其它帧的像素颜色值,使得它们不传送在一段时间内出现的变化的指示。
设备评分部件646至少取回设备矢量数据134和复杂度数据633,并且一起使用它们以确定系数的第一和第二集合,从而被提供到MOS估计器647作为系数数据636。正如已经讨论的,在设备矢量数据134中传送的第一和第二矢量与具有与早些时候在生成意见分数时使用的观看设备70的观看特征类似的一个或多个观看特征的观看设备相关,其中,设备矢量数据134的第一和第二矢量从所述意见分数中得到。假定观看设备700具有与观看设备70的观看特征类似的观看特征,例如,显示尺寸和显示分辨率,则设备矢量数据134的第一和第二矢量可以适当地与选择压缩帧以发送到经由观看设备700的观看结合使用。
在一些实施例中,可以存在设备矢量数据134的多个示例(未示出),每一个示例与具有不同的观看特征(例如,具有不同尺寸和/或不同分辨率的显示器)的观看设备相关联。在这样的实施例中,设备评分部件646还可以取回从观看设备700接收的并且提供观看设备700的一个或多个特征的指示的设备数据735。设备评分部件646可以比较在设备数据735中指示的观看设备700的观看特征,以观看在设备矢量数据134的每一个示例中指定的观看特征,从而识别与最紧密地匹配观看设备700的观看特征的观看特征相关联的矢量数据134的一个示例。
对于每一个压缩帧,其中复杂度数据633提供时间复杂度的指示,所述时间复杂度的指示与包括在第一和第二矢量的每一个中的时间复杂度进行比较,以识别与那些时间复杂度中的最接近的时间复杂度相对应并且将被提供到MOS估计器647作为该压缩帧的系数数据636的系数的第一和第二集合。实际上,包括在第一和第二矢量的每一个中的多个时间复杂度值被用作索引,在用于该压缩帧的复杂度数据633中指示的时间复杂度值与该索引一起使用,以分别选择系数的第一和第二集合。
MOS估计器647采用系数数据636的系数的第一和第二集合连同可以从参数数据632取回的位速率的指示和从复杂度数据633取回的时间复杂度的指示,来得到用于正如由压缩视频数据330a或330b中的任何一个表示的动态视频830的每一个压缩帧的估计的MOS。在一些实施例中,可以使用下面的方程来确定估计的MOS:
v4=a4x TC+b4
V5=a5x TC+b5
其中a4和b4构成从第一矢量取回的系数的第一集合,而a5和b5构成从第二矢量取回的系数的第一集合。系数a4和b4的第一集合连同压缩帧的时间复杂度TC(正如复杂度数据633所指示的)一起用于重新得到与压缩的帧相关联的非线性系数v4。相对应地,系数a5和b5的第二集合连同压缩帧的时间复杂度TC(再次,如复杂度数据633所指示的)一起用于重新得到与压缩帧相关联的非线性系数v5。本质上,作为使用压缩帧的时间复杂度TC重新得到的结果,这些非线性系数的这些重新得到的版本考虑动态视频830的一部分的时间复杂度。
然后将这些重新得到的非线性系数v4和v5连同与压缩帧相关联的位速率(如在参数数据632中指示的)一起使用,以得到估计的MOS。以这种方式的估计的MOS然后可以受到最小和最大限制,使得估计的MOS的值被修改以落在1到5的范围内,如果它已经不是这样的。不管是否受到限制,MOS估计器647都向控制例程540的选择部件547和缓冲部件548中的一个或两个提供所得到的估计的MOS。
在包括选择部件547的实施例中,选择部件547可以基于从MOS估计器647接收的估计的MOS来选择压缩视频数据330a和330b中的一个或另一的压缩帧,以发送到观看设备700。作为示例,在压缩视频数据330a表示以被压缩到比压缩视频数据330b更大程度的形式的动态视频830的场合,可以分析压缩视频数据330a的视频质量以确定压缩的数据330a的压缩帧的视频质量是否足够高以满足期望的最小视频质量。在存在压缩的数据330a的压缩帧的场合,其中,视频质量由其估计的MOS指示为不足够高,然后压缩的数据330b的压缩帧可以代替压缩的数据330a的那些压缩帧,以便向观看设备700提供由来自每一个压缩视频数据330a和330b的压缩帧的混合构成的动态视频830的压缩形式。可选地,可以选择压缩数据330b的全部而不是压缩视频数据330a来发送到观看设备700,使得压缩视频数据330a的所有压缩帧实际上由压缩视频数据330b的所有压缩帧所代替。
在包括缓冲部件548的实施例中,缓冲部件548可以向观看设备700指示在接收并且视觉地呈现动态视频830的压缩形式时,改变由观看设备700提供的缓冲的程度(例如,增加或减小缓冲的程度)的需要。作为示例,在压缩视频数据330a表示以被压缩到比压缩视频数据330b更大的程度的形式的动态视频830的场合,可以将压缩视频数据330b的至少一些压缩的帧选择作为压缩的视频帧330的相对应的压缩帧的视频质量不足够高(根据估计的MOS)的结果。作为响应并且给定压缩视频数据330b的压缩的更小程度,缓冲部件548可以发送信号通知观看设备700以增加它在视觉地呈现动态视频830时使用的缓冲的程度,以适应压缩视频帧330b的那些压缩帧的更高的位速率。
图6A更详细描绘了在传输阶段中计算设备500的操作的可选实施例,而图6B更详细描绘了在传输阶段中在这样的操作期间在部件和/或该实施例的其它部分之间交换的数据的方面。图6A-图6B的实施例在很多方面类似于图5A-图5B的实施例,使得类似的部件使用类似的附图标记来表示。在这两个实施例之间的一个差异中,图5A-图5B的实施例的MOS估计器用图6A-图6B的实施例中的位速率估计器648来代替。
位速率估计器648使用系数数据636的系数的第一和第二集合,连同从复杂度数据633取回的时间复杂度的指示和期望的最小MOS的指示,基于分析表示动态视频830的压缩视频数据330a和/或330b,来得到在以压缩的形式将动态视频830发送到观看设备700时达到期望的MOS所需的估计的位速率。在一些实施例中,可以使用下面的方程来确定所述估计的位速率:
v4=a4x TC+b4
V5=a5x TC+b5
其中,再次,a4和b4构成从第一矢量取回的系数的第一集合,而a5和b5构成从第二矢量取回的系数的第一集合。再次,系数a4和b4的第一集合连同压缩帧的时间复杂度TC(如复杂度数据633所指示的)一起用于重新得到与压缩的帧相关联的非线性系数v4。相应地,系数a5和b5的第二集合连同压缩的帧的时间复杂度TC(再次,如复杂度数据633所指示的)一起用于重新得到与压缩的帧相关联的非线性系数v5
这些重新得到的非线性系数v4和v5然后连同期望的MOS一起用于得到估计的位速率。以这种方式得到的估计的位速率然后可以基于给定网络(例如,网络999)的可用带宽和/或其它因素而受到最小和最大限制。不管是否受到限制,位速率估计器648都向控制例程540的选择部件647和缓冲部件548中的一个或两个提供所得到的估计的位速率。
在包括选择部件547的实施例中,选择部件547可以基于哪个压缩视频数据具有与从位速率估计器648接收的估计的位速率更接近的位速率来选择压缩视频数据330a和330b中的一个或另一的压缩帧以发送到观看设备700。作为示例,在压缩视频数据330a以被压缩到比压缩视频数据330b更大的程度的形式表示动态视频830的场合,可以分析压缩视频数据330a的视频质量以得到为了达到期望的最小MOS(例如,在从1到5的标度上的3的MOS)需要什么位速率的估计。在所得到的估计的位速率高于压缩视频数据330a的位速率并且更接近压缩视频数据330b的位速率的场合,然后压缩的数据330b的压缩帧可以代替压缩的数据330a的那些压缩帧,使得向观看设备700提供由来自每一个压缩视频数据330a和330b的压缩帧的混合构成的动态视频830的压缩形式。可选地,可以选择压缩的数据330b的全部而不是压缩视频数据330a以发送到观看设备700,使得压缩视频数据330a的所有压缩帧有效地由压缩视频数据330b的所有压缩帧代替。
在包括缓冲部件548的实施例中,缓冲部件548可以向观看设备700指示在接收并且视觉地呈现动态视频830的压缩形式时改变由观看设备700提供的缓冲的程度(例如,增加或减小缓冲的程度)的需要。作为示例,在压缩视频数据330a以被压缩到比压缩视频数据330b更大的程度的形式表示动态视频830的场合,压缩视频数据330b的至少一些压缩帧可以被选择作为满足高于压缩视频数据330a的位速率并且更接近压缩视频数据330b的位速率的期望的最小MOS所需的估计的位速率的结果。作为响应,缓冲部件548可以发送信号通知观看设备700以增加它在视觉地呈现动态视频830时使用的缓冲的程度,以适应压缩的视频帧330b的那些压缩帧的更高的位速率。
返回到图1,在各种实施例中,观看设备700包括处理器部件750、存储装置760、显示器780和将观看设备700耦合到网络900的接口790中的一个或多个。存储装置760存储控制例程740、设备数据735和压缩视频数据330a和330b中的一个或两个的压缩帧中的一个或多个。控制例程740包括在起到观看设备700的主处理部件的作用的处理器部件750上操作以实现执行各种功能的逻辑的指令的序列。在执行控制例程740的一些实施例中,处理器部件750可以操作接口790用于将指示观看设备的一个或多个观看特征(例如,显示器780的尺寸和/或分辨率)的设备数据735发送到计算设备500。处理器部件750还可以操作接口790以接收压缩视频数据330a和330b中的一个或两个的压缩帧,可以缓冲那些压缩帧,可以将那些压缩帧进行解压缩,并且可以在显示器780上视觉地呈现由现在解压缩的帧表示的动态视频830。处理器部件750可以进一步操作接口790以接收指示来增加或减小那些压缩帧的缓冲的程度。
图2示出了包括计算设备500的可选实施例的视频处理系统1000的可选实施例的框图。图2的视频处理系统1000的可选实施例在很多方面类似于图1的实施例,并且因此相似的附图标记用于始终表示相似的元件。然而,与图1的计算设备500不同,图2的计算设备500不包括控制器600。因此,与图1的计算设备500不同,在图2的计算设备500中,是处理器部件550执行估计例程640,代替处理器650这么做。因此,在图2的视频处理系统1000的可选实施例中,处理器部件550可以估计以压缩的形式表示动态视频830的压缩视频数据330a和/或330b的压缩帧。
在各种实施例中,处理器部件150、550、650和750中的每一个可以包括各种各样的市场上可买到的处理器中的任一种。此外,这些处理器部件中的一个或多个可以包括多个处理器、多线程处理器、多核心处理器(不管多个核心是否在相同或单独的管芯上共存),和/或通过其多个物理上分开的处理器以某种方式被链接的某个其它种类的多处理器体系结构。
虽然处理器部件150、550、650和750中的每一个可以包括多种类型的处理器中的任一种,但是设想控制器600的处理器部件650(如果存在)可以被稍微专门化和/或优化,以执行与图形和/或视频相关的任务。更广泛地,设想控制器600体现计算设备500的图形子系统,以能够使用与处理器部件550以及其更紧密相关的部件分离和不同的部件来执行与图形表现、视频压缩、图像缩放等有关的任务。
在各种实施例中,存储装置160、560、60和760中的每一个可以基于各种各样的信息存储技术中的任一种,可能包括需要电力的不中断供应的易失性技术,以及可能包括需要使用可移动或可不移动的机器可读存储介质的技术。因此,这些存储装置中的每一个可以包括各种类型(或类型的组合)的存储器中的任一种,包括但不限于:只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双数据速率DRAM(DDR-DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程RAM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、聚合物存储器(例如,铁电聚合物存储器)、双向存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅化物(SONOS)存储器、磁卡或光卡、一个或多个单独的铁磁盘驱动器或被组织成一个或多个阵列的多个存储设备(例如,被组织成冗余阵列的独立盘阵列或RAID阵列的多个铁磁盘驱动器)。应注意,虽然这些存储装置中的每一个被描绘为单个块,但是这些存储器的一个或多个可以包括可以基于不同的存储技术的多个存储设备。因此例如,每一个这些所描绘的存储装置中的一个或多个都可以表示程序和/或数据可以通过光学驱动器或闪存读卡器在某种形式的机器可读存储介质上存储并且传送的光学驱动器或闪存读卡器、在相对延长的时期段内局部地存储程序和/或数据的铁磁盘驱动器、以及能够相对快地对程序和/或数据进行访问的一个或多个易失性固态存储器设备(例如,SRAM或DRAM)的组合。也应注意,这些存储装置中的每一个都可以由基于相同的存储技术的多个存储部件构成,而所述多个存储部件作为专用的结果可以被单独地保持(例如,一些DRAM设备被用作主存储装置,而其它DRAM设备被用作图形控制器的不同的帧缓冲器)。
在各种实施例中,接口190、590和790可以使用能够使这些计算设备如所描述的耦合到其它设备的各种信令技术中的任一种。这些接口中的每一个包括提供至少一些必要的功能来实现这样的耦合的电路。然而,这些接口中的每一个还可以至少部分地使用由处理器部件的相对应的部件执行(例如,以实现协议栈或其它特征)的指令序列来实现。在采用电和/或光传导电缆的场合,这些接口可以采用符合各种工业标准中的任一种的信令和/或协议,所述信令和/或协议包括但不限于RS-232C、RS-422、USB、以太网(IEEE-802.3)或IEEE-1394。在需要使用无线信号传输的场合,这些接口可以使用符合各种工业标准中的任一种的信令和/或协议,所述信令和/或协议包括但不限于IEEE-802.11a、802.11b、802.11g、802.16、802.20(通常被称为“移动宽带无线接入”)、蓝牙、ZigBee或蜂窝无线电话服务,例如,GSM通用分组无线业务(GSM/GPRS)、CDMA/1xRTT、用于全球演进的增强型数据速率(EDGE)、仅数据演进/优化(EV-DO)、数据和语音演进(EV-DV)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)4G LTE等。
图7示出了逻辑流程2100的一个实施例。逻辑流程2100可以表示由本文描述的一个或多个实施例执行的一些或所有操作。更具体地,逻辑流程2100可以示出由处理器部件150在至少执行控制例程140时执行的操作和/或由训练设备100的其它部件执行的操作。
在2110,训练设备的处理器部件(例如,训练设备100的处理器部件150)使观看设备视觉地呈现动态视频的训练集合的多个动态视频。动态视频可以被发送到观看设备或另外经由诸如可移动存储介质(例如,光盘、非易失性固态存储设备等)之类的这样的机构被提供给观看设备。如前面所解释的,可以基于其时间复杂度来选择每一个动态视频,以提供具有选定分布的时间复杂度的选定范围的训练集合。
在2120,接收经由观看设备观看的训练集合的每一个动态视频的人的意见分数的指示,并且将其存储为原始训练数据。如所讨论的,分数可以基于在实现广泛已知的和使用的MOS估计技术时通常使用的1到5的值的数值评分系统。
在2130,通过可以是迭代的非线性拟合从原始训练数据的意见分数得到至少一个数学模型的第一和第二非线性系数。在2140,对于训练集合的每一个动态视频,然后从第一和第二非线性系数并且从每一个动态视频的时间复杂度得到系数的单独的第一和第二集合。
在2150,与训练集合的每一个动态视频相关联的系数的第一集合中的全部与所述动态视频的时间复杂度中的相对应的时间复杂度配对以形成第一矢量。相对应地,与所述动态视频中的每一个相关联的系数的第二集合中的全部与所述时间复杂度中的相对应的时间复杂度配对以形成第二矢量指示。如前面所讨论的,这两个矢量一起提供在使用观看设备(或具有类似特征的另一观看设备)以观看不同时间复杂度的动态视频时达到的视频质量的指示。
在2160,第一和第二矢量被发送(或另外传送)到另一设备以用于压缩动态视频。如前面所讨论的,连同第一和第二矢量一起,对观看设备的一个或多个特征的指示还可以被发送或传送到另一设备以实现对第一和第二矢量的选择,或对另一对矢量的选择,以在至少选择待发送的动态视频的多于一个压缩版本的帧时使用。
图8示出了逻辑流程2200的一个实施例。逻辑流程2200可以表示由本文描述的一个或多个实施例执行的一些或所有操作。更具体地,逻辑流程2200可以示出由处理器部件550或650在执行至少压缩器570和/或估计例程640时履行的操作和/或分别由计算设备500的其它部件或控制器600履行的操作。
在2210,计算设备的处理器部件(例如,或计算设备500的处理器部件550或控制器600的处理器部件650)至少部分地将表示动态视频的第一压缩视频数据的压缩帧进行解压缩以得到压缩帧的各种参数。如已讨论的,用于压缩动态视频以生成第一压缩视频数据的动态视频压缩的类型可以是动态压缩的有损形式,例如,MPEG版本。参数可以包括压缩帧的数据尺寸、压缩帧的类型、压缩帧的分辨率、在生成压缩帧的压缩中采用的QP和/或该帧的位速率中的一个或多个。在2220,这些参数用于得到压缩帧的时间复杂度。
在2230,采用与观看设备(或与具有类似的观看特征的多个观看设备)相关联的第一和第二矢量连同压缩帧的时间复杂度来重新得到与压缩帧的时间复杂度相关联的非线性系数的版本。如前面解释的,压缩帧的时间复杂度用于分别从与最接近压缩帧的时间复杂度的时间复杂度相关联的第一和第二矢量中选择系数的第一和第二集合中的一个。然后使用系数的第一和第二集合连同压缩帧的时间复杂度,来重新得到非线性部件。
在2240,使用重新得到的非线性系数连同压缩帧的时间复杂度和位速率,来得到压缩帧的估计的MOS。如前面所解释的,可以预期估计的MOS具有在1到5的范围内的值,以与广泛已知和使用的MOS估计技术一致,并且如果它没有这样被得到,则可以调节估计的MOS以落在该范围内。
在2250,基于估计的MOS来选择第一压缩视频数据和也表示动态视频的第二压缩视频数据中的至少一个的一个或多个压缩帧。如前面所讨论的,从表示动态视频的多于一个的压缩视频数据选择压缩帧可能需要混合来自每一个压缩视频数据的压缩帧或可能需要选择多于一个的压缩视频数据中的一个压缩视频数据的全部。
在2260,可以响应于一个或多个压缩帧的选择,发送信号来通知观看设备调节它在接收以压缩形式的动态视频并且视觉地呈现动态视频时使用的缓冲的程度。如前面所讨论的,在一个或多个压缩帧是以被压缩到更小的程度的形式的动态视频的一个或多个压缩帧场合,可以发送信号来通知观看设备以提高缓冲的程度来适应一个或多个压缩帧的更高的位速率要求。
图9示出了逻辑流程2300的一个实施例。逻辑流程2300可以表示由本文描述的一个或多个实施例执行的一些或所有操作。更具体地,逻辑流程2300可以示出了由处理器部件550或650在执行至少压缩器570和/或估计例程640时执行的操作和/或分别由计算设备500的其它部件或控制器600执行的操作。
在2310到2330,计算设备的处理器部件(例如,计算设备500的处理器部件550、或控制器600的处理器部件650)执行与如由处理器部件在图8的2210到2230执行的所描述的操作实质上类似的操作。再次,表示动态视频的第一压缩视频数据的压缩帧至少部分地被解压缩以得到其各种参数,并且然后采用那些参数以得到压缩帧的时间复杂度。继而采用压缩帧的时间复杂度以从部件的第一和第二集合重新得到非线性系数的版本,部件的第一和第二集合是从与具有选定的观看特征的观看设备相关联的第一和第二矢量中被取回的。
在2340,使用重新得到的非线性系数连同压缩帧的时间复杂度和期望的MOS的指示,来得到压缩帧的估计的位速率。如前面所解释的,然后估计的位速率可以受到与可能能够被支持以用于传输的最大位速率相关联的上限。
在2350,基于估计的位速率来选择第一压缩视频数据和也表示动态视频的第二压缩视频数据中的至少一个的一个或多个压缩帧。如前面所讨论的,从表示动态视频的多于一个的压缩视频数据选择压缩帧可能需要混合来自每一个压缩视频数据的压缩帧或可能需要选择多于一个压缩视频数据中的一个压缩视频数据的全部。
在2360,可以响应于一个或多个压缩帧的选择,发送信号来通知观看设备调节它在接收以压缩形式的动态视频并且视觉地呈现动态视频时使用的缓冲的程度。如前面所讨论的,在一个或多个压缩帧是以被压缩到更小的程度的形式的动态视频的一个或多个压缩帧的场合,可以发送信号来通通知观看设备以提高缓冲的程度来适应一个或多个压缩帧的更高位速率要求。
图10示出了适合于实现如前面所描述的各种实施例的示例性处理体系结构3000的实施例。更具体地,处理体系结构3000(或其变形)可以被实现为一个或多个计算设备100、300、500或700的部分和/或控制器600的部分。应注意,处理体系结构3000的部件被给出附图标记,在附图标记中最后两个数字与早些时候被描绘和描述为计算设备100、300、500或700以及控制器600的部分的至少一些部件的附图标记的最后两个数字相对应。这有助于使每一个计算设备的部件相关。
处理体系结构300包括通常在数字处理中使用的各种元件,包括但不限于,一个或多个处理器、多核处理器、协处理器、存储器单元、芯片组、控制器、外围设备、接口、振荡器、定时设备、视频卡、音频卡、多媒体输入/输出(I/O)部件、电源等。如在本申请中使用的,术语“系统”和“部件”是要指在其中执行数字处理的计算设备的实体,所述实体是硬件、硬件和软件的组合、软件、或执行中的软件,所述实体的示例由所描绘的示例性处理体系结构提供。例如,部件可以是但不限于在处理器部件上运行的过程、处理器部件本身、可以使用光学和/或磁性存储介质的存储设备(例如,硬盘驱动器、在阵列中的多个存储驱动器等)、软件对象、指令的可执行序列、执行线程、程序、和/或整个计算设备(例如,整个计算机)。作为举例示出,在服务器上运行的应用和服务器二者可以是部件。一个或多个部件可以驻留在过程和/或执行线程内,并且部件可以位于一个计算设备上和/或分布在两个或多个计算设备之间。此外,部件可以通过各种类型的通信介质通信地耦合到彼此以协调操作。协调可以涉及信息的单向或双向交换。例如,部件可以以在通信介质上传递的信号的形式来传递信息。信息可以被实现为被分配到一个或多个信号线的信号。消息(包括命令、状态、地址或数据消息)可以是这样的信号中的一个或可以是或可以是多个这样的信号,并且可以通过各种连接和/或接口中的任何一个连续地或实质上并行地被发送。
如所描绘的,在实现处理体系结构3000时,计算设备至少包括处理器部件950、存储装置960、到其它设备的接口990和联接器959。如将解释的,取决于实现处理体系结构3000的计算设备的各种方面,包括其预期的使用和/或使用的条件,这样的计算设备还可以包括附加的部件,例如,没有限制的,显示接口985。
联接器959包括一个或多个总线、点对点互连、收发机、缓冲器、交叉点开关、和/或将至少处理器部件950通信地耦合到存储装置960的其它导体和/或逻辑。联接器959还可以将处理器部件950耦合到接口990、音频子系统970和显示接口985中的一个或多个(这取决于还呈现了上述内容和/或其它部件中的哪个)。在处理器部件950由联接器959这样耦合的情况下,处理器部件950能够执行在上面详细描述的各种任务,无论前面描述的计算设备中的哪个实现处理体系结构3000。可以使用各种技术中的任一种或技术的组合来实现联接器959,其中,可以使用这些技术光学地和/或电气地传送信号。此外,联接器959的至少部分可以使用符合各种工业标准中的任一种的定时和/或协议,这些工业标准包括但不限于加速图形端口(AGP)、插件总线、扩展工业标准体系结构(E-ISA)、微通道体系结构(MCA)、NuBus、外围部件互连(扩展)(PCI-X)、快速PCI(PCI-E)、个人计算机存储卡国际协会(PCMCIA)总线、超传输TM、快速路径等。
如前面所讨论的,处理器部件950(与处理器部件150、550、650和750相对应)可以包括各种市场上可以买到的处理器中的任一种,其采用各种技术中的任一种并且使用以多种方式中的任一种物理地组合的一个或多个核心来实现。
如前面所讨论的,存储装置960(与存储装置160、560、660和760相对应)可以由基于各种技术中的任一种或技术的组合的一个或多个不同的存储设备构成。更具体地,如所描绘的,存储装置960可以包括易失性存储装置961(例如,基于RAM技术的一个或多个形式的固态存储装置)、非易失性存储装置962(例如,不需要电力的不断提供以保存其内容的固态、铁磁或其它存储装置)、和可移动介质存储装置963(例如,可移动磁盘或固态存储卡存储装置,其中信息可以通过其在计算设备之间传送)中的一个或多个。可能包括多种不同类型的存储装置的存储装置960被描述为是在计算设备中的多于一种类型的存储设备的常见用途的认识中的,其中,一种类型提供了相对快的读和写能力,其能够实现由处理器部件950进行的对数据的更快操纵(但可能使用不断地需要电力的“易失性”技术),而另一类型提供了非易失性存储装置的相对高的密度(但可能提供相对慢的读和写能力)。
给出使用不同技术的不同存储设备的通常不同的特征,这样的不同存储设备通过不同的存储控制器耦合到计算设备的其它部分也是常见的,不同的存储控制器通过不同的接口耦合到它们的不同存储设备。作为示例,在易失性存储装置961存在并且基于RAM技术的场合,易失性存储装置961可以通过存储控制器965a通信地耦合到联接器959,存储控制器965a提供到可能使用行和列寻址的易失性存储装置961的适当接口,以及其中存储控制器965a可以执行行刷新和/或其它维护任务,以帮助保存存储在易失性存储装置961内的信息。作为另一示例,在非易失性存储装置962存在并且包括一个或多个铁磁和/或固态磁盘驱动器的场合,非易失性存储装置962可以通过存储控制器965b通信地耦合到联接器959,存储控制器965b提供了到可能使用信息的块和/或圆柱体和扇区的寻址的非易失性存储装置962的适当接口。作为又一示例,在可移动介质存储装置963存在并且包括采用一个或多个机器可读存储介质969的一个或多个光学和/或固态磁盘驱动器的场合,可移动介质存储装置963可以通过存储控制器965c通信地耦合到联接器959,存储控制器965c提供了到可能采用信息的块的寻址的可移动介质存储装置963的适当接口,并且其中存储控制器965c可以以用延长机器可读存储介质969的寿命的特有的方式来协调读、擦除和写操作。
易失性存储装置961或非易失性存储装置962中的一个或另一个可以包括机器可读存储介质的形式的制品,包括由处理器部件950可执行的指令的序列在内的例程可以存储在所述机器可读存储介质上,这取决于每一个存储器所基于的技术。作为示例,在非易失性存储装置962包括基于铁磁的磁盘驱动器(例如,所谓的“硬盘驱动器”)的场合,每一个这样的磁盘驱动器一般使用一个或多个旋转大浅盘,磁敏感微粒的涂层位于该大浅盘上并且以各种模式磁性地定向以类似于存储介质(例如,软盘)的方式来存储信息,例如,指令的序列。作为另一示例,非易失性存储装置962可以由固态存储设备的存储体构成,其用于以类似于紧凑闪存卡的方式存储信息,例如,指令的序列。再次,在不同的时间在计算设备中使用不同类型的存储设备以存储可执行的例程和/或数据是常见的。
因此,包括由处理器部件950执行的指令的序列的例程最初可以存储在机器可以读存储介质969上,并且可移动介质存储装置963可以随后在将该例程拷贝到非易失性存储器962时使用,以用于较长期的存储,而不需要机器可读存储介质969和/或易失性存储装置961的持续存在,从而能够当例程被执行时由处理器部件950实现更快的访问。
如前面所讨论的,接口990(可能与接口190、590或790相对应)可以使用各种信令技术中的任一种,各种信令技术与可以用于将计算设备通信地耦合到一个或多个其它设备的各种通信技术中的任一种相对应。再次,各种形式的有线或无线信令中的一个或两个可以用于可能通过网络(例如,网络999)或网络的互连集合使处理器部件950能够与输入/输出设备(例如,所描绘的示例键盘920或打印机925)和/或其它计算设备进行交互。认识到必须常常由任何一个计算设备支持的多种类型的信令和/或协议的常常极大地不同的特征,接口990被描绘为包括多个不同的接口控制器995a、995b和995c。接口控制器995a可以使用各种类型的有线数字串行接口或射频无线接口中的任何一个来从用户输入设备(例如,所描绘的键盘920)接收串行地发送的消息。接口控制器995b可以使用各种基于电缆的或无线信令、定时和/或协议中的任何一个通过所描绘的网络999(也许由一个或多个链路构成的网络、较小的网络或可能是互联网)来访问其它计算设备。接口995c可以使用实现串行或并行信号传输的使用的各种导电电缆中的任何一个来将数据传送到所描绘的打印机925。可以通过接口990的一个或多个接口控制器通信地耦合的设备的其它示例包括但不限于,用于监控人的声音以接受由那些人经由语音或他们生成的其它声音发送信号的命令和/或数据的麦克风、遥控装置、记录笔、读卡器、指纹读取器、虚拟现实交互式手套、图形输入板、操纵杆、其它键盘、视网膜扫描仪、触摸屏的触摸输入部件、轨迹球、各种传感器、用于监控人的运动以接收由那些人经由手势和/或面部表情发送信号的命令和/或数据的摄像机或摄像机阵列、激光打印机、喷墨打印机、机械机器人、铣床等。
在计算设备通信地耦合到(或也许实际上包括)显示器(例如,所描绘的示例显示器980)的场合,实现处理体系结构3000的这样的计算设备还可以包括显示接口985。虽然在通信地耦合到显示器时可以使用更一般化类型的接口,但是在显示器上视觉地显示各种形式的内容时通常需要的稍微专门化的附加处理,以及所使用的基于电缆的接口的稍微专门化的性质常常使供应不同的显示接口变得合乎需要。在显示器980的通信耦合中可以由显示接口985使用的有线和/或无线信令技术可以利用符合各种工业标准中的任一种的信令和/或协议,包括但不限于各种模拟视频接口、数字视频接口(DVI)、显示端口中的任一种等。
图11示出了系统4000的实施例。在各种实施例中,系统4000可以表示适合于与本文描述的一个或多个实施例一起使用的系统或体系结构,例如,图形处理系统1000;计算设备100、500或700中的一个或多个;和/或逻辑流程2100或2200中的一个或多个。实施例并不限制于所述方面。
如所示出的,系统4000可以包括多个元件。可以使用一个或多个电路、部件、寄存器、处理器、软件子例程、模块或其任何组合来实现一个或多个元件,正如对给定的一组设计或性能约束所期望的。虽然图11作为示例示出了在某些拓扑中的有限数量的元件,但是可以认识到,可以在系统4000中使用在任何适当的拓扑中的更多或更少的元件,正如对给定的实现所期望的。实施例并不限制于所述上下文中。
在实施例中,系统4000可以是介质系统,但是系统4000并不限于所述上下文。例如,系统4000可以合并到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触控板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如,智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息发送设备、数据通信设备等中。
在实施例中,系统4000包括耦合到显示器4980的平台4900a。平台4900a可以从内容设备(例如,内容服务设备4900c或内容传送设备4900d或其它类似的内容源)接收内容。包括一个或多个导航特征的导航控制器4920可以用于与例如平台4900a和/或显示器4980进行交互。下面更详细地描述这些部件中的每一个。
在实施例中,平台4900a可以包括处理器部件4950、芯片组4955、存储器单元4969、收发机4995、存储装置4962、应用4940和/或图形子系统4985的任何组合。芯片组4955可以在处理器电路4950、存储器单元4969、收发机4995、存储装置4962、应用4940和/或图形子系统4985当中提供相互通信。例如,芯片组4955可以包括能够提供与存储装置4962的相互通信的存储适配器(未描绘)。
处理器部件4950可以使用任何处理器或逻辑设备来实现,并且可以与处理器部件150、550、650或750中的一个或多个和/或与图10的处理器部件950相同或类似。
存储器单元4969可以使用能够存储数据的任何机器可读或计算机可读介质来实现,并且可以与图10的存储介质969相同或相似。
收发机4995可以包括能够使用各种适当的无线通信技术来发送和接收信号的一个或多个无线装置,并且收发机4995可以与图10中的收发机995b相同或类似。
显示器4980可以包括任何电视机型监视器或显示器,并且显示器4980可以与显示器380和680中的一个或多个和/或与图10中的显示器980相同或相似。
存储装置4962可以被实现为非易失性存储设备,并且存储装置4962可以与图10中的非易失性存储装置962相同或类似。
图形子系统4985可以执行对图像(例如,静止图像或视频)的处理以用于显示。例如,图形子系统4985可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于通信地耦合图形子系统4985和显示器4980。例如,接口可以是高清多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一种。图形子系统4985可以集成到处理器电路4950或芯片组4955中。图形子系统4985可以是通信地耦合到芯片组4955的独立卡。
本文描述的图形和/或视频处理技术可以在各种硬件体系结构中实现。例如,图形和/或视频功能可以集成在芯片组中。可选地,可以使用分立的图形和/或视频处理器。作为又一实施例,图形和/或视频功能可以由包括多核处理器的通用处理器实现。在另一实施例中,可以在消费电子设备中实现所述功能。
在实施例中,内容服务设备4900b可以由任何国家、国际和/或独立的服务进行托管,并且因此内容服务设备4900b是经由例如互联网可访问平台4900a的。内容服务设备4900b可以耦合到平台4900a和/或显示器4980。平台4900a和/或内容服务设备4900b可以耦合到网络4999以向和从网络4999传递(例如,发送和/或接收)媒体信息。内容传送设备4900c还可以耦合到平台4900a和/或显示器4980。
在实施例中,内容服务设备4900b可以包括有线电视盒、个人计算机、网络、电话、启用互联网的设备或能够分发数字信息和/或内容的电器、和能够经由网络4999或直接地在内容提供者和平台4900a和/或显示器4980之间单向或双向地传递内容的任何其它类似的设备。将认识到,可以经由网络4999向和从系统4000中的任何一个部件和内容提供者中的任何一个单向和/或双向地传递内容。内容的示例可以包括任何媒体信息,包括例如视频、音乐、医疗和游戏信息等。
内容服务设备4900b接收内容,例如,有线电视节目,包括媒体信息、数字信息和/或其它内容。内容提供者的示例可以包括任何有线或卫星电视或无线或互联网内容提供者。所提供的示例并不是要限制实施例。
在实施例中,平台4900a可以从具有一个或多个导航特征的导航控制器4929接收控制信号。例如,控制器4920的导航特征可以用于与用户界面4880进行交互。在实施例中,导航控制器4920可以是定点设备,其可以是允许用户将空间(例如,连续和多维)数据输入到计算机中的计算机硬件部件(特别是人机接口设备)。很多系统(例如,图形用户界面(GUI)和电视机和监视器)允许用户使用物理手势来控制和提供数据到计算机或电视机。
可以在显示器(例如,显示器4980)上通过移动指针、光标、聚焦环或显示在显示器上的其它视觉指示符来模仿导航控制器4920的导航特征的移动。例如,在软件应用4940的控制下,位于导航控制器4920上的导航特征可以映射到显示在用户界面4880上的虚拟导航特征。在实施例中,导航控制器4920可以不是单独的部件,但可以集成到平台4900a和/或显示器4980中。然而实施例并不限于在本文所示或所述的元件或上下文中。
在实施例中,驱动器(未示出)可以包括使用户能够像电视机一样例如在初始引导之后、当被启动时使用按钮的触摸即时地打开和关闭平台4900a的技术。当“关闭”平台时,程序逻辑可以允许平台4900a将内容流送到媒体适配器或其它内容服务设备4900b或内容传送设备4900c。此外,例如,芯片组4955可以包括对5.1环绕声音频和/或高分辨率7.1环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图形平台的图形驱动器。在实施例中,图形驱动器可以包括快速外围部件互连(PCI)图形卡。
在各种实施例中,可以集成在系统4000中示出的任何一个或多个部件。例如,可以集成平台4900a和内容服务设备4900b,或可以集成平台4900a和内容传送设备4900c,或例如可以集成平台4900a、内容服务设备4900b和内容传送设备4900c。在各种实施例中,平台4900a和显示器4890可以是集成单元。例如,可以集成显示器4980和内容服务设备4900b,或可以集成显示器4980和内容传送设备4900c。这些示例并不是要限制实施例。
在各种实施例中,系统4000可以被实现为无线系统、有线系统或这两者的组合。当被实现为无线系统时,系统4000可以包括适合于在无线共享介质(例如,一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等)上进行通信的部件和接口。无线共享介质的示例可以包括无线频谱(例如,RF频谱等)的部分。当被实现为有线系统时,系统4000可以包括适合于在有线通信介质(例如,I/O适配器、使I/O适配器与相对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等)上进行通信的部件和接口。有线通信介质的示例可以包括有线、电缆、金属引线、印刷电路板(PCB)、底板、交换机结构、半导体材料、双绞线、同轴电缆、光纤等。
平台4900a可以建立一个或多个逻辑或物理通道以传递信息。信息可以包括媒体信息和控制信息。媒体信息可以指表示用于用户的内容的任何数据。内容的示例可以包括例如来自语音对话、视频会议、流式视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据可以是例如说话信息、静默时间段、背景噪声、舒适噪声、音调等。控制信息可以指表示用于自动化系统的命令、指令或控制字的任何数据。例如,控制信息可以用于以预定方式通过系统按规定路线发送信息或指示节点处理媒体信息。然而实施例并不限于图11所示或所述的元件或上下文中。
如上所述,系统4000可以具体实现在变化的物理风格或规格因素中。图12示出了系统4000可以体现于其中的小规格设备5000的实施例。在实施例中,例如,设备5000可以被实现为具有无线能力的移动计算设备。移动计算设备可以指例如具有处理系统和移动功率源或电源(例如,一个或多个电池)的任何设备。
如上所述,移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触控板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如,智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息发送设备、数据通信设备等。
移动计算设备的示例还可以包括被布置为由人佩戴的计算机,例如,手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、衣服计算机和其它可佩戴的计算机。在实施例中,例如,移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然作为示例可以使用被实现为智能电话的移动计算设备来描述一些实施例,但是可以认识到,还可以使用其它无线移动计算设备来实现其它实施例。实施例并不被限制在所述上下文中。
如图12所示,设备5000可以包括显示器5980、导航控制器5920a、用户界面5880、壳体5905、I/O设备5920b、以及天线5998。显示器5980可以包括用于显示适合于移动计算设备的信息的任何适当的显示单元,并且可以与图11中的显示器4980相同或类似。导航控制器5920a可以包括可以用于与用户界面5880进行交互的一个或多个导航特征,并且可以与图11中的导航控制器4920相同或类似。I/O设备5920b可以包括用于将信息输入到移动计算设备中的任何适当的I/O设备。I/O设备5920b的示例可以包括字母数字键盘、数字小键盘、触控板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等。信息还可以通过麦克风输入到设备5000中。这样的信息可以由语音识别设备来进行数字化。实施例并不限制于所述上下文中。
更一般地,本文所描述和描绘的计算设备的各种元件可以包括各种硬件元件、软件元件或这两者的组合。硬件元件的示例可以包括设备、逻辑设备、部件、处理器、微处理器、电路、处理器部件、电路元件(例如,晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑设备(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组等。软件元件的示例可以包括软件部件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。然而,确定实施例是否是使用硬件元件和/或软件元件来实现的可以根据任何数量的因素(例如,期望的计算速率、功率电平、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束)而改变,正如对给定的实现所期望的。
一些实施例可以使用表述“一个实施例”或“实施例”连同其派生词来进行描述。这些术语意指关于实施例所描述的特定的特征、结构或特性被包括在至少一个实施例中。短语“在一个实施例中”在说明书的不同地方的出现并不一定全部指同一实施例。此外,一些实施例可以使用表述“耦合”和“连接”连同其派生词来进行描述。这些术语不一定是要作为彼此的同义词。例如,可以使用术语“连接”和/或“耦合”来描述一些实施例以指示两个或多个元件彼此直接物理或电接触。然而,术语“耦合”还可以指两个或多个元件彼此不直接接触,但仍然彼此协作或进行交互。此外,来自不同实施例的方面或元件可以进行组合。
需要强调的是提供本公开的摘要以允许读者更快地确定技术公开的本质。应当理解,所述摘要将不用于解释或限制权利要求的范围或意义。此外,在前述的具体实施方式中,可以看到,出于简单化本公开的目的,各种特征被组合在单个实施例中。本公开的所述方法不应被解释为反映所要求保护的实施例需要比每一个权利要求中明确列举出的特征更多的意图。更确切地,如下面的权利要求所反映的,创造性主题在于少于单个公开的实施例的所有特征。因此下面的权利要求由此被合并到具体实施方式中,每一个权利要求自身作为单独的实施例。在所附的权利要求中,术语“包括”和“其中”分别用作相应的术语“包含”和“在其中”的简明英语等效形式。并且,术语“第一”、“第二”、“第三”等仅用作标记,并且并不是要将数字要求强加在它们的对象上。
上面描述的内容包括所公开的体系结构的示例。当然不可能描述部件和/或方法的每一个可设想的组合,但本领域中的普通技术人员将认识到,很多另外的组合和置换是可能的。因此,新颖的体系结构是要包括落在所附的权利要求的精神和范围内的所有这样的变更、修改和变型。详细的公开现在致力于提供涉及另外的实施例的示例。下面提供的示例并不是要成为限制性的。
在示例1中,发送动态视频的设备包括:设备评分部件,其基于第一压缩视频数据的第一压缩帧的时间复杂度从使时间复杂度值与系数的集合相关的至少一个矢量中选择系数的集合,至少一个矢量从与观看设备的至少一个观看特征相关联的意见分数得到;以及选择部件,其基于从所选择的系数的集合得到的视频质量的度量来选择第一压缩帧和第二压缩数据的第二压缩帧中的一个以发送到观看设备,第一压缩数据和第二压缩数据表示动态视频。
在包括示例1的主题的示例2中,设备可以包括解码器,用于将第一压缩帧解压缩,以得到第一压缩帧的至少一个参数,所述至少一个参数包括由压缩器使用来生成第一压缩帧的量化参数(QP)、第一压缩帧的分辨率、第一压缩帧的类型、第一压缩帧的数据尺寸或第一压缩帧的位速率中的至少一个。
在包括示例1-2中的任何一个的主题的示例3中,设备可以包括复杂度部件,用于从至少一个参数得到第一压缩帧的时间复杂度。
在包括示例1-3中的任何一个的主题的示例4中,设备可以包括平均意见分数(MOS)估计器,用于使用至少所选择的系数的集合和第一压缩帧的位速率来得到第一压缩帧的估计的MOS,视频质量的度量包括估计的MOS。
在包括示例1-4中的任何一个的主题的示例5中,设备可以包括位速率估计器,用于使用至少所选择的系数的集合和期望的MOS值来得到达到期望MOS值所需的估计的位速率,视频质量的度量包括估计的位速率。
在包括示例1-5中的任何一个的主题的示例6中,设备可以包括接口,用于从另一设备接收至少一个矢量。
在包括示例1-6中的任何一个的主题的示例7中,设备可以包括训练部件,用于从意见分数得到至少一个矢量,所述意见分数与使用具有至少一个观看特征的另一观看设备观看动态视频的训练集合的多个动态视频相关联。
在包括示例1-7中的任何一个的主题的示例8中,设备可以包括缓冲部件,用于将指示发送到观看设备以改变由观看设备提供的缓冲的程度,以基于选择第一压缩帧和第二压缩帧中的一个来实现在观看设备的显示器上的动态视频的观看。
在包括示例1-8中的任何一个的主题的示例9中,至少一个观看特征包括显示尺寸、显示分辨率或观看距离中的至少一个。
在包括示例1-9中的任何一个的主题的示例10中,设备可以包括接口,用于将包括第一和第二压缩帧中的所选择的压缩帧的动态视频以压缩的形式发送到观看设备。
在示例11中,用于发送动态视频的设备包括:非线性拟合部件,其从原始数据得到使时间复杂度的范围与意见分数的范围相关的至少一个数学模型,意见分数与具有至少一个观看特征的观看设备相关联,原始数据包括从使用观看设备来观看动态视频的训练集合的不同时间复杂度的多个动态视频收集的意见分数;以及线性拟合部件,其得到使时间复杂度值与系数集合相关的至少一个矢量,所述系数的集合与至少一个观看特征相关联。
在包括示例11的主题的示例12中,设备可以包括收集部件,其监控用于提供至少一个意见分数的控件的操作的指示的控件。
在包括示例11-12中的任何一个的主题的示例13中,收集部件向观看设备提供多个动态视频。
在包括示例11-13中的任何一个的主题的示例14中,训练集合的多个动态视频被选择以提供具有时间复杂度的选定范围、具有时间复杂度的选定分布的训练集合。
在包括示例11-14中的任何一个的主题的示例15中,至少一个观看特征包括显示尺寸、显示分辨率或观看距离中的至少一个。
在包括示例11-15中的任何一个的主题的示例16中,设备可以包括接口,其用于将至少一个矢量发送到另一设备,以使另一设备能够使用至少一个矢量以及另一动态视频的时间复杂度来控制到具有至少一个观看特征的另一观察设备的表示另一动态视频的压缩帧的选择。
在示例17中,用于压缩动态视频的计算机实现的方法包括基于第一压缩视频数据的第一压缩帧的时间复杂度从使时间复杂度值与系数的集合相关的至少一个矢量中选择系数的集合,所述至少一个矢量从与观看设备的至少一个观看特征相关联的意见分数得到;以及基于从所选择的系数的集合得到的视频质量的度量来选择第一压缩帧和第二压缩数据的第二压缩帧中的一个以发送到观看设备,第一和第二压缩数据表示动态视频。
在包括示例17的主题的示例18中,方法可以包括将第一压缩帧解压缩以得到第一压缩帧的至少一个参数,所述至少一个参数包括在生成第一压缩帧时使用的量化参数(QP)、第一压缩帧的分辨率、第一压缩帧的类型、第一压缩帧的数据尺寸或第一压缩帧的位速率中的至少一个。
在包括示例17-18中的任何一个的主题的示例19中,方法可以包括从至少一个参数中得到第一压缩帧的时间复杂度。
在包括示例17-19中的任何一个的主题的示例20中,方法可以包括使用至少所选择的系数的集合和第一压缩帧的位速率来得到第一压缩帧的估计的MOS,视频质量的度量包括估计的MOS。
在包括示例17-20中的任何一个的主题的示例21中,方法可以包括使用至少所选择的系数的集合和期望的MOS值来得到达到期望的MOS值所需的估计的位速率,视频质量的度量包括估计的位速率。
在包括示例17-21中的任何一个的主题的示例22中,方法可以包括从另一设备接收至少一个矢量。
在包括示例17-22中的任何一个的主题的示例23中,方法可以包括从意见分数得到至少一个矢量,所述意见分数与使用具有至少一个观看特征的另一观看设备观看动态视频的训练集合的多个动态视频相关联。
在包括示例17-23中的任何一个的主题的示例24中,方法可以包括将指示发送到观看设备以改变由观看设备提供的缓冲的程度,以基于选择第一和第二压缩帧中的一个来实现在观看设备的显示器上的动态视频的观看。
在包括示例17-24中的任何一个的主题的示例25中,至少一个观看特征包括显示尺寸、显示分辨率或观看距离中的至少一个。
在包括示例17-25中的任何一个的主题的示例26中,方法可以包括以压缩的形式将包括第一和第二压缩帧中的所选择的一个压缩帧的动态视频发送到观看设备。
在示例27中,至少一个机器可读存储介质包括指令,当由计算设备执行时,使计算设备基于第一压缩视频数据的第一压缩帧的时间复杂度从使时间复杂度值与系数的集合相关的至少一个矢量中选择系数的集合,所述至少一个矢量是从与观看设备的至少一个观看特征相关联的意见分数得到的;以及基于从所选择的系数的集合得到的视频质量的度量来选择第一压缩帧和第二压缩数据的第二压缩帧中的一个以发送到观看设备,第一压缩数据和第二压缩数据表示动态视频。
在包括示例27的主题的示例28中,可以使计算设备将第一压缩帧解压缩以得到第一压缩帧的至少一个参数,所述至少一个参数包括在生成第一压缩帧时使用的量化参数(QP)、第一压缩帧的分辨率、第一压缩帧的类型、第一压缩帧的数据尺寸或第一压缩帧的位速率中的至少一个。
在包括示例27-28中的任何一个的主题的示例29中,可以使计算设备从至少一个参数得到第一压缩帧的时间复杂度。
在包括示例27-29中的任何一个的主题的示例30中,可以使计算设备使用至少所选择的系数的集合和第一压缩帧的位速率来得到第一压缩帧的估计的MOS,视频质量的度量包括估计的MOS。
在包括示例27-30中的任何一个的主题的示例31中,可以使计算设备使用至少所选择的系数的集合和期望的MOS值来得到达到期望的MOS值所需的估计的位速率,视频质量的度量包括估计的位速率。
在包括示例17-31中的任何一个的主题的示例32中,可以使计算设备从另一设备接收至少一个矢量。
在包括示例27-32中的任何一个的主题的示例33中,可以使计算设备从意见分数中得到至少一个矢量,所述意见分数与使用具有至少一个观看特征的另一观看设备观看动态视频的训练集合的多个动态视频相关联。
在包括示例27-33中的任何一个的主题的示例34中,可以使计算设备将指示发送到观看设备,以改变由观看设备提供的缓冲的程度,以基于选择第一和第二压缩帧中的一个来实现在观看设备的显示器上的动态视频的观看。
在包括示例27-34中的任何一个的主题的示例35中,至少一个观看特征包括显示尺寸、显示分辨率或观看距离中的至少一个。
在包括示例27-35中的任何一个的主题的示例36中,可以使计算设备以压缩的形式将包括第一和第二压缩帧中的所选择的一个压缩帧的动态视频发送到观看设备。
在示例37中,至少一个机器可读存储介质可以包括指令,所述指令当由计算设备执行时,使计算设备执行上述任一项。
在示例38中,用于发送动态视频的设备可以包括用于执行上述任一项的模块。

Claims (25)

1.一种用于发送动态视频的设备,包括:
设备评分部件,其基于第一压缩视频数据的第一压缩帧的时间复杂度从使时间复杂度值与系数集合相关的至少一个矢量中选择系数的集合,所述至少一个矢量是从与观看设备的至少一个观看特征相关联的意见分数中得到的;以及
选择部件,其基于从所选择的系数的集合得到的视频质量的度量来选择所述第一压缩帧和第二压缩数据的第二压缩帧中的一个以发送到所述观看设备,所述第一压缩数据和所述第二压缩数据表示动态视频。
2.如权利要求1所述的设备,包括解码器,其将所述第一压缩帧解压缩以得到所述第一压缩帧的至少一个参数,所述至少一个参数包括由压缩器使用来生成所述第一压缩帧的量化参数(QP)、所述第一压缩帧的分辨率、所述第一压缩帧的类型、所述第一压缩帧的数据尺寸或所述第一压缩帧的位速率中的至少一个。
3.如权利要求2所述的设备,包括复杂度部件,其从所述至少一个参数得到所述第一压缩帧的所述时间复杂度。
4.如权利要求3所述的设备,包括平均意见分数(MOS)估计器,以使用至少所选择的系数的集合和所述第一压缩帧的位速率来得到所述第一压缩帧的估计的MOS,所述视频质量的度量包括所述估计的MOS。
5.如权利要求3所述的设备,包括位速率估计器,其使用至少所选择的系数的集合和期望的MOS值来得到达到所述期望的MOS值所需的估计的位速率,所述视频质量的度量包括所述估计的位速率。
6.如权利要求1所述的设备,包括接口,其从另一设备接收所述至少一个矢量。
7.如权利要求1所述的设备,包括训练部件,其从所述意见分数得到所述至少一个矢量,所述意见分数与使用具有所述至少一个观看特征的另一观看设备观看动态视频的训练集合的多个动态视频相关联。
8.如权利要求1所述的设备,包括缓冲部件,其将指示发送到所述观看设备以改变由所述观看设备提供的缓冲的程度,以基于选择所述第一压缩帧和第二压缩帧中的一个来实现在所述观看设备的显示器上的所述动态视频的观看。
9.如权利要求1所述的设备,包括接口,其以压缩的形式将包括所述第一压缩帧和第二压缩帧中的所选择的一个的所述动态视频发送到所述观看设备。
10.一种用于发送动态视频的设备,包括:
非线性拟合部件,其从原始数据得到使时间复杂度的范围与意见分数的范围相关的至少一个数学模型,所述意见分数与具有至少一个观看特征的观看设备相关联,所述原始数据包括从使用所述观看设备来观看动态视频的训练集合的不同时间复杂度的多个动态视频收集的意见分数;以及
线性拟合部件,其得到使时间复杂度值与系数的集合相关的至少一个矢量,所述系数与所述至少一个观看特征相关联。
11.如权利要求10所述的设备,包括收集部件,其监控用于控件的操作的指示的所述控件,以提供所述意见分数中的至少一个。
12.如权利要求11所述的设备,所述收集部件向所述观看设备提供所述多个动态视频。
13.如权利要求10所述的设备,选择所述训练集合的所述多个动态视频以提供具有时间复杂度的选定范围、具有时间复杂度的选定分布的训练集合。
14.如权利要求10所述的设备,包括接口,其将所述至少一个矢量发射到另一设备,以使所述另一设备能够使用所述至少一个矢量连同另一动态视频的时间复杂度来控制到具有所述至少一个观看特征的另一观察设备的表示所述另一动态视频的压缩帧的选择。
15.一种用于发送动态视频的计算机实现的方法,包括:
基于第一压缩视频数据的第一压缩帧的时间复杂度从使时间复杂度值与系数的集合相关的至少一个矢量来选择系数的集合,所述至少一个矢量是从与观看设备的至少一个观看特征相关联的意见分数得到的;以及
基于从所选择的系数的集合得到的视频质量的度量来选择所述第一压缩帧和第二压缩数据的第二压缩帧中的一个以发送到所述观看设备,所述第一压缩数据和第二压缩数据表示动态视频。
16.如权利要求15所述的计算机实现的方法,所述方法包括将所述第一压缩帧解压缩以得到所述第一压缩帧的至少一个参数,所述至少一个参数包括在生成所述第一压缩帧时使用的量化参数(QP)、所述第一压缩帧的分辨率、所述第一压缩帧的类型、所述第一压缩帧的数据尺寸或所述第一压缩帧的位速率中的至少一个。
17.如权利要求16所述的计算机实现的方法,所述方法包括从所述至少一个参数得到所述第一压缩帧的时间复杂度。
18.如权利要求17所述的计算机实现的方法,所述方法包括使用至少所选择的系数的集合和所述第一压缩帧的位速率来得到所述第一压缩帧的估计的MOS,所述视频质量的度量包括所述估计的MOS。
19.如权利要求17所述的计算机实现的方法,所述方法包括使用至少所选择的系数的集合和期望的MOS值来得到达到所述期望的MOS值所需的估计的位速率,所述视频质量的度量包括所述估计的位速率。
20.如权利要求15所述的计算机实现的方法,所述方法包括从另一设备接收所述至少一个矢量。
21.如权利要求15所述的计算机实现的方法,所述方法包括从所述意见分数得到所述至少一个矢量,所述意见分数与使用具有所述至少一个观看特征的另一观看设备观看动态视频的训练集合的多个动态视频相关联。
22.如权利要求15所述的计算机实现的方法,所述方法包括将指示发送到所述观看设备,以改变由所述观看设备提供的缓冲的程度,以基于选择所述第一压缩帧和第二压缩帧中的一个来实现在所述观看设备的显示器上的所述动态视频的观看。
23.如权利要求15所述的计算机实现的方法,所述至少一个观看特征包括显示尺寸、显示分辨率或观看距离中的至少一个。
24.如权利要求15所述的计算机实现的方法,所述方法包括以压缩的形式将包括所述第一压缩帧和第二压缩帧中的所选择一个的所述动态视频发送到所述观看设备。
25.一种用于发送动态视频的设备,其包括用于执行权利要求15-24中的任一项的方法的模块。
CN201510082328.7A 2014-03-18 2015-02-15 用于发送动态视频的方法、装置以及计算机可读介质 Expired - Fee Related CN104935926B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/218,352 2014-03-18
US14/218,352 US9992500B2 (en) 2014-03-18 2014-03-18 Techniques for evaluating compressed motion video quality

Publications (2)

Publication Number Publication Date
CN104935926A true CN104935926A (zh) 2015-09-23
CN104935926B CN104935926B (zh) 2019-08-20

Family

ID=54122851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510082328.7A Expired - Fee Related CN104935926B (zh) 2014-03-18 2015-02-15 用于发送动态视频的方法、装置以及计算机可读介质

Country Status (2)

Country Link
US (1) US9992500B2 (zh)
CN (1) CN104935926B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769000A (zh) * 2019-10-31 2020-02-07 重庆大学 连续型监测数据在非稳定网络传输中的动态压缩预测控制方法
US11503304B2 (en) 2016-12-12 2022-11-15 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160182594A1 (en) * 2014-12-19 2016-06-23 Cable Television Laboratories, Inc. Adaptive streaming
US9813523B2 (en) 2015-03-16 2017-11-07 Intel IP Corporation Apparatus, method and system of quality of experience indication
CA3051059A1 (en) 2017-01-30 2018-08-02 Euclid Discoveries, Llc Video characterization for smart encoding based on perceptual quality optimization
CN111385616B (zh) * 2018-12-28 2021-08-13 华为技术有限公司 一种确定视频传输质量的方法及装置
CN110149532B (zh) * 2019-06-24 2021-08-17 北京奇艺世纪科技有限公司 一种封面选取方法及相关设备
CN110611809B (zh) * 2019-10-16 2020-10-27 西安邮电大学 帧分辨率自适应的视频空时域复杂度评价方法
CN111565315A (zh) * 2020-04-14 2020-08-21 上海大学 一种视频编码算法的评价方法
US11954910B2 (en) 2020-12-26 2024-04-09 International Business Machines Corporation Dynamic multi-resolution processing for video classification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259947A1 (en) * 2004-05-07 2005-11-24 Nokia Corporation Refined quality feedback in streaming services
CN101911714A (zh) * 2008-01-08 2010-12-08 日本电信电话株式会社 视频质量估计设备、方法和程序
CN102111643A (zh) * 2009-11-24 2011-06-29 Rgb网络有限公司 在自适应位速率环境中对视频的受管理的多路复用

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
EP2074827A4 (en) * 2006-10-19 2011-06-22 Ericsson Telefon Ab L M METHOD FOR DETERMINING VIDEO QUALITY
US8290038B1 (en) * 2009-11-30 2012-10-16 Google Inc. Video coding complexity estimation
US9037743B2 (en) * 2010-10-28 2015-05-19 Avvasi Inc. Methods and apparatus for providing a presentation quality signal
US20140219088A1 (en) * 2011-09-30 2014-08-07 Ozgur Oyman Quality of experience enhancements over wireless networks
US10389780B2 (en) * 2012-02-08 2019-08-20 Arris Enterprises Llc Managed adaptive streaming
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259947A1 (en) * 2004-05-07 2005-11-24 Nokia Corporation Refined quality feedback in streaming services
CN101911714A (zh) * 2008-01-08 2010-12-08 日本电信电话株式会社 视频质量估计设备、方法和程序
CN102111643A (zh) * 2009-11-24 2011-06-29 Rgb网络有限公司 在自适应位速率环境中对视频的受管理的多路复用

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11503304B2 (en) 2016-12-12 2022-11-15 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
US11758148B2 (en) * 2016-12-12 2023-09-12 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
CN110769000A (zh) * 2019-10-31 2020-02-07 重庆大学 连续型监测数据在非稳定网络传输中的动态压缩预测控制方法
CN110769000B (zh) * 2019-10-31 2020-09-25 重庆大学 连续型监测数据在非稳定网络传输中的动态压缩预测控制方法

Also Published As

Publication number Publication date
CN104935926B (zh) 2019-08-20
US20150271496A1 (en) 2015-09-24
US9992500B2 (en) 2018-06-05

Similar Documents

Publication Publication Date Title
CN104935926A (zh) 用于估计压缩的动态视频质量的技术
Hu et al. Virtual reality: A survey of enabling technologies and its applications in IoT
US11973979B2 (en) Image compression for digital reality
JP7415931B2 (ja) 画像周辺領域内のリアルタイム圧縮による画像表示制御
CN105917649B (zh) 用于将兴趣区域指示包括在压缩视频数据中的设备及方法
CN103577269B (zh) 媒体工作负荷调度器
US9538171B2 (en) Techniques for streaming video quality analysis
CN103797805B (zh) 使用变更区域的媒体编码
US9524536B2 (en) Compression techniques for dynamically-generated graphics resources
US10499066B2 (en) Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data
CN104205161B (zh) 用于块压缩图象的解压缩的系统、方法和计算机程序产品
CN103559006A (zh) 利用视线跟踪的自适应显示
CN105359533A (zh) 用于低功率图像压缩和显示的技术
CN103179393B (zh) 降低运动补偿和显示刷新中的功耗的dram压缩方案
CN110996097B (zh) Vr多媒体的体验质量确定方法及装置
US20210266578A1 (en) Image compression method and image decompression method
CN114040230A (zh) 视频码率确定方法、装置、电子设备及其存储介质
CN103929640B (zh) 用于管理视频流播的技术
CN104956671B (zh) 视频帧重建
US9204150B2 (en) Techniques for evaluating compressed motion video quality
CN104429045B (zh) 用于WiDi云模式的方法和装置
Illahi et al. Foveated streaming of real-time graphics
KR20200144702A (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
Jin et al. Study of 2D foveated video quality in virtual reality
CN105359523A (zh) 用于低功率视频压缩和传输的技术

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190820

Termination date: 20220215

CF01 Termination of patent right due to non-payment of annual fee