CN109905728A - 使用移动设备接收多媒体内容的方法及该移动设备 - Google Patents

使用移动设备接收多媒体内容的方法及该移动设备 Download PDF

Info

Publication number
CN109905728A
CN109905728A CN201811360870.4A CN201811360870A CN109905728A CN 109905728 A CN109905728 A CN 109905728A CN 201811360870 A CN201811360870 A CN 201811360870A CN 109905728 A CN109905728 A CN 109905728A
Authority
CN
China
Prior art keywords
multimedia content
mobile device
rate
screen
dash segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811360870.4A
Other languages
English (en)
Inventor
Y·雷兹尼克
E·阿斯蓬
陈志峰
叶琰
E·M·莱尔
A·莱尔
N·索尼
H·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN109905728A publication Critical patent/CN109905728A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

这里描述了与多媒体内容的观看条件自适应相关联的方法和系统。用于设备从网络接收多媒体内容的方法可以包括确定观看参数，向网络传送针对所述多媒体内容的请求，其中所述请求可基于所述观看参数，以及从网络接收多媒体内容，其中该多媒体内容可以根据观看参数以一速率被处理。观看参数可以包括以下中的至少一者：用户观看参数、设备观看参数或内容观看参数。方法还可以包括从网络接收多媒体演示描述(MPD)文件。MPD文件可以包括与多媒体内容的速率有关的信息，并且与速率有关的该信息可以包括与观看参数有关的描述符，其中该描述符可以是必需的或可选的。

Description

使用移动设备接收多媒体内容的方法及该移动设备
相关申请的交叉引用
本申请是申请日为2013年01月18日、申请号为201380006173.8、发明名称为“用于支持对观看条件自适应的视频传输的方法和系统”的中国发明专利申请的分案申请。
背景技术
通过无线和有线网络的流传输(streaming)内容由于网络中可变带宽可以利用自适应。流传输内容供应方可以发布以多速率和/或分辨率编码的内容。这可以使得客户端能够自适应变化的信道带宽。MPEG/3GPP DASH标准可以定义用于端对端服务设计的框架，其可以实现通过无线和有线网络的流传输服务的有效和高质量传输。
发明内容
这里描述了与多媒体内容的观看条件自适应相关联的方法和系统。用于利用设备接收来自网络的多媒体内容的方法可以包括确定观看参数，并向网络传送对多媒体内容的请求，其中该请求可以基于观看参数。该方法还可以包括从网络接收多媒体内容，由此该多媒体内容可以根据观看参数以一速率被处理。设备可以被配置成从网络接收多媒体内容。设备可以包括处理器，该处理器被配置成确定观看参数，并向网络传送对多媒体内容的请求，其中该请求可以基于观看参数。处理器还可以被配置成从网络接收多媒体内容，由此该多媒体内容可以根据观看参数以一速率被处理。该设备可以例如是无线发射/接收单元、流传输视频播放器、视频聊天应用、视频应用或视频游戏应用。
用于从网络向设备传输多媒体内容的方法可以包括确定观看参数，确定适于所确定的观看参数的视频编码的特性，并传送根据所确定的视频编码的特性而编码的视频内容。
多媒体内容可以是视频文件。方法可以经由设备的DASH客户端被执行。处理器可以是设备的DASH客户端的一部分。
速率可以是以下至少一者的函数：多媒体内容的编码速率、多媒体内容的空间分辨率、多媒体内容的时间(temporal)分辨率、量化参数、速率控制参数、多媒体内容的目标比特率、多媒体内容的空间滤波或多媒体内容的时间滤波。
观看参数可以包括以下中的至少一者：用户观看参数、设备观看参数、或者内容观看参数。用户观看参数可以包括以下至少一者：用户的存在、用户相对于设备屏幕的位置、用户相对于设备屏幕的朝向(orientation)、用户相对于设备屏幕的视角(viewingangle)、用户距离设备屏幕的距离、用户的视觉敏锐度、周围照明条件、观看设备屏幕的用户数量或用户的关注点。
设备观看参数可以包括以下至少一者：设备移动性、设备屏幕尺寸、设备屏幕分辨率、设备屏幕的像素密度、设备上显示多媒体内容的窗口尺寸或设备上显示多媒体内容的窗口的位置。
内容观看参数可以包括以下至少一者：多媒体内容的对比度、多媒体内容的色域(gamut)、三维多媒体内容的存在或多媒体内容的三维内容的深度的范围。
可以使用以下至少一者来确定观看参数：设备屏幕尺寸、设备屏幕的分辨率、设备屏幕的角度、设备屏幕的像素密度、设备屏幕的对比率、用户接近传感器、前置(frontfacing)相机、后置(back facing)相机、光传感器、红外成像设备、超音速传感器、麦克风、加速度计、罗盘或陀螺仪传感器。
设备传送的请求可以确定设备接收的多媒体内容的速率。网络可以根据所述请求确定设备接收的多媒体内容的速率。例如，请求可以是包括观看参数的多媒体演示描述(MPD)文件。
方法还可以包括从网络接收清单(manifest)文件(例如，多媒体演示描述(MPD)文件)。处理器还可以被配置成从网络接收多媒体演示描述(MPD)文件。MPD文件可以包括与多媒体内容的速率有关的信息。与速率有关的信息可以包括与观看参数有关的描述符。MPD文件可以指示描述符是必需的还是可选的。必需的描述符可以指示设备必须满足描述符的要求来接收以该速率处理的多媒体内容。可选的描述符可以指示设备可以满足描述符的要求来接收以该速率处理的多媒体内容。
附图说明
图1A示出了Snellen,Landolt C和“Illiterate E”视觉敏锐度表的示例；
图1B示出了“20/20视力”行中字母E的特性的示例；
图1C示出了从Snellen的E表得到的主要空间频率的示例；
图2示出了覆盖有对比灵敏度函数(CSF)的Campbell-Robson的示例；
图3示出了针对灰度(亮度)、红-绿和蓝-黄通道(channel)的CSF曲线的示例比较；
图4示出了按照从中央凹(fovea)起的角度的相对敏锐度(左眼)的示例；
图5示出了图示从固定点起随角度的敏锐度变化的示例测试；
图6示出了示例DASH高级系统架构的图；
图7示出了示例DASH客户端模型的图；
图8示出了示例DASH媒体演示高级数据模型的图；
图9示出了流接入点的参数的示例的图；
图10示出了DASH中配置文件(profile)示例的图；
图11描述了移动视频流传输系统的示例架构；
图12描述了以不同比特率编码的多媒体内容的示例；
图13描述了带宽自适应多媒体流传输的示例；
图14示出了移动视频电话系统的示例架构；
图15示出了移动观看设置(setup)的参数的示例；
图16示出了观看距离分布形状的示例图；
图17示出了屏幕对比度与能够再现的空间频率的可视范围之间的关系的示例；
图18示出了在不同观看情形的聚散度(vergence)和焦距的示例；
图19示出了清楚的双眼单视区(ZCSBV)的示例；
图20示出了通过预滤波的空间频率的可视范围的自适应的示例；
图21示出了使用前置相机检测用户存在和用户视角的示例；
图22A-B示出了通过使用瞳孔间距(IDP)检测用户距离屏幕的距离的示例；
图23示出了用于检测用户能够识别的最小字体大小的界面的示例；
图24示出了用于检测用户能够看到最小空间细节的最长距离的界面的示例；
图25示出了观看条件自适应流传输系统的示例；
图26示出了该系统的示例架构和功能解释的图；
图27示出了根据从观看轴起的倾斜度(tilt)的CFF值的地形图的示例；
图28示出了具有相同视角α不同交叉角度β的两个设定(settings)的示例图；
图29示出了自适应用户行为和观看条件的示例流传输系统的图；
图30A是可以实施一个或多个公开的实施方式的示例通信系统的系统图；
图30B是可以在图30A中示出的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图；
图30C是可以在图30A中示出的通信系统中使用的示例无线电接入网和示例核心网的系统图；
图30D是可以在图30A中示出的通信系统中使用的另一个示例无线电接入网和另一个示例核心网的系统图；
图30E是可以在图30A中示出的通信系统中使用的另一个示例无线电接入网和另一个示例核心网的系统图。
具体实施方式
下面将参照多幅图描述示意性实施方式的详细描述。虽然这些描述提供了可能实施的详细示例，但是应当理解这些细节是示意性的而非限制本申请的范围。
视频传输系统可以在视频将在理想再现设定(例如昏暗的房间、高对比度显示器、宽视角等)下被观看这一假设下传送被编码的视频。这可能需要相当大量的带宽来编码并携带可以在屏幕上呈现的视觉信息(例如视频、游戏等)。这里描述的实施可以在以下情形(例如移动情形)中被使用：再现设定可能偏离理想再现设定。例如，这里描述的实施可以提供自适应系统，其通过例如考虑在观看者正观看视觉内容时存在的观看条件而在逊于理想再现设定的设定中更有效地传输和呈现内容。
这里描述的实施可以利用人视觉的一些现象/特性。视觉敏锐度可以是视觉处理系统的空间分辨率的一种测量。其可以通过使用验光表来测量，该验光表例如但不限于图1A-C中示出的Snellen、Landolt C和/或“Illiterate E”表。例如，术语“20/20-视力”可以用于描述成年人的正常视力。其可以表示阅读包括字母的行的能力，这些字母被设计使得当从20英尺(例如，大约6米)的距离观看时，这些字母的最小空间细节(例如，比划、间隙)构成1分弧度(例如，可视角度的1/60)。图1B中示出了这种示例。“20/20视力”可以表示分辨小到1分弧度(例如，可视角度的1/60)的细节的能力。
空间频率极限可以被使用。在视觉敏锐度与人视觉系统的空间频率极限之间可以有关联。这可以通过显示Snellen的E到光栅变换(例如，如图1C所示的)来解释。可以观察到对于20/20(6/6)行的字母E，在一个循环中可以有2分的弧度。一度中可以有60分，因此一度可以包括30个循环。在20/20(6/6)的字母中，每度可以有30个循环(cpd)。例如，术语“20/20视力”可以对应于分辨高达每度30个循环的空间频率的能力。
可以使用对比灵敏度函数(CSF)。可以使用高对比度字母(例如，白色背景上的黑色符号)来测量视觉敏锐度。“对比灵敏度函数(CSF)”可以是HVS极限的更完全的特性描述，通过考虑不同对比度的图像而得到。CSF可以在覆盖有Campbell-Robson表时得到最佳理解，其示例如图2中所示。参照图2，像素的亮度可以沿着水平维度以正弦方式被调制。调制频率(例如，空间频率)可以呈对数增长(例如，从左到右频率基本呈指数增长)。对比度可以从100％呈对数变化到大约0.5％(例如，从底部到顶部)。
如图2所示，CSF可以示例对比度/空间频率空间的可视区的边界。CSF最左边的点可以与视觉敏锐度极限(例如在最高对比度的截止频率)一致。CSF在高频率单调递减直到其达到敏锐度极限。CSF可以在低频率递减。这可以是由不同的神经生物学现象造成的。CSF的峰值可以接近每度6个循环。可以注意到CSF的形状可以基于视网膜照度的等级而改变。在低光照的条件下，灵敏度可以被较大程度地降低。
可以使用色觉极限。相对于响应于宽光谱的色感元件(例如视杆细胞(rod))，人视网膜可以包括少得多的色感元件(例如视锥细胞(cone))。这可以表明自身非常低的色觉空间分辨率。图3示出了针对灰度、红-绿和蓝-黄通道产生的CSF曲线的比较示例。如图3所示，蓝-黄和红-绿通道可以具有较早的衰减，达到大约每度10-15个循环的截止。这可以比亮度的敏锐度极限更低。颜色相关的CSF可以更多受到总体视网膜照度(针对亮度的CSF)的影响。在低光照的条件下，我们可能看不到颜色。这种现象可以称为暗视觉。
可以使用色觉的角度极限。人可以看到在视野内的窄角度的颜色。这可以与人视网膜上的视网膜细胞和视锥细胞的不对称分布有关。
可以使用中央凹视力与周围视力和相对敏锐度的比较。中央凹中的视锥和神经节细胞的高度集中可以导致在该区域中较高的视觉敏锐度能力。标准的视力测试可以评估中央凹区域的敏锐度。中央凹以外的敏锐度急剧下降。图4示出了根据从中央凹起的角度的相对敏锐度的示例图。
图5示出了图示从固定点起随角度的敏锐度变化的示例测试。该测试可以示范当集中于中心时，所有字符显得一样清晰(sharp)。该测试可以在舒服的观看距离进行，在该距离，最小与最大字符之间的空间角度可以近似为2度。最小与最大字符之间的线性尺寸之差可以近似为1:8。
这种现象表明图片的一小部分曾经在任何一个时刻可以全分辨率被观察到。为了估计使用这种现象潜在的节省(saving)的极限，我们可以假设水平和竖直像素密度是一样的，因此节省可以用区域来近似。屏幕对角大小为D，纵横比为r，屏幕尺寸可以是：
“高分辨率”区域可以包括由角度β(例如近似2°)定义的外正方形(outersquare)，并可以取决于观看距离d，可以如下给出：
A'＝4d2(tanβ)2
可以假设低分辨率(例如焦点区域的外部)可以以低于焦点区域的分辨率被编码(例如通过因子R)。像素数比(例如，使用或不使用这种技术)可以是：
其中，D＝9.7”、r＝9/16、R＝8、d＝25以及β＝20，比率可以近似为15％，这可以节省85％。瓷砖(tile)之间(例如，在空间和/或时间上)的平滑变化可以导致较低的节省，但用户体验更好。
这里可以描述并使用动态自适应HTTP流传输(DASH)。DASH可以合并一些用于HTTP流传输的方式。例如，MPEG DASH可以是在3GPP版本10中描述的“3GP-DASH”的扩展。DASH可以用于处理无线和有线网络中的可变带宽。DASH可以由内容提供方和设备支持。DASH可以通过任意接入网实现向任意设备提供多媒体流传输服务。
DASH可以被部署为一组HTTP服务器，其可以分发已经以合适格式准备的直播和/或点播内容。客户端可以直接从HTTP服务器和/或从内容分发网络(CDN)访问内容，例如如图6中所示。图6示出了示例DASH高级系统架构的图。CDN可以用于期望大量客户端的部署，因为它们可以缓存内容并可以位于在网络边缘的客户端的附近。
在DASH中，客户端可以通过使用HTTP请求片段并在从内容提供方和/或CDN接收这些片段时将它们接合起来来控制流传输会话。客户端可以监视(例如，连续监视)媒体速率并基于网络条件(例如，分组错误率、延迟抖动)和它们自己的状态(例如，缓冲器充满度、用户行为和偏好)调整媒体速率，从而有效地将信息从网络移动到客户端。
DSAH标准的设计可以基于有益的客户端模型，例如如图7所示。图7示出了示例DASH客户端模型的图。图7示出了概念性DASH客户端模型的逻辑部分的示例。DASH接入引擎可以接收媒体演示描述文件(MPD)，构建并发送请求和/或接收片段或片段的部分。DASH接入引擎的输出可以包括以MPEG容器格式(例如，MP4文件格式或MPEG-2传输流)的媒体和将媒体的内部定时映射到演示的时间轴(timeline)的定时信息。媒体的编码块与定时信息的组合足以纠正内容呈现。
DASH施加给编码的媒体片段的最多约束可以基于以下假设：解码、后处理和/或回放可以由不知道这些片段是什么和/或如何传输这些片段的媒体引擎来完成。媒体引擎可以仅解码并播放由DASH接入引擎以块(chunk)为单位供应的连续媒体文件。例如，接入引擎可以是java脚本，而媒体引擎可以是浏览器提供的那些、浏览器插件(例如，或)和/或操作系统。
图8示出了示例DASH媒体演示高级数据模型的图。在DASH中，多媒体演示的组织可以基于分级的数据模型。媒体演示描述(MPD)可以描述组成DASH媒体演示(例如多媒体内容)的时段的顺序。时段可以表示期间一组一致的的媒体内容的编码版本可用的媒体内容时段。在该时段期间，该组可用比特率、语言和/或字幕不可以改变。
自适应集可以表示一组一个或多个媒体内容分量的可交换编码版本。例如，针对视频可以有自适应集，一个用于主音频，一个用于辅音频和/或一个用于字幕。自适应集还可以被复用，在这种情况中，复用的可交换版本可以被描述为单个自适应集。例如，自适应集可以包括一时段的视频和主音频。
表示可以描述一个或多个媒体内容分量的可传输编码版本。表示可以包括一个或多个媒体流(例如，一个用于复用中的每个媒体内容分量)。自适应集中的任意单个表示可以足以呈现所包含的媒体内容分量。例如，客户端可以在自适应集中从一种表示切换到另一种表示，例如以适应网络条件和/或其他因素。客户端可以忽略使用其不支持的编解码器/配置文件/参数的表示。
片段可以是表示内的内容，其可以按时间被分成固定或可变长度的片段。可以为每个片段提供URL。片段可以是使用单个HTTP请求获取的最大数据单元。媒体演示描述(MPD)可以是XML文档，其包括供DASH客户端构建HTTP-URL以访问片段并向用户提供流传输服务的元数据。
客户端可以使用MPD中的基础URL来生成针对媒体演示中片段和其他资源的HTTPGET请求。HTTP部分GET请求可以用于通过使用字节范围(例如经由“范围”HTTP头)来访问片段的有限部分。基础URL可以被指定用于在位置不可获得的情况下允许访问演示，给多媒体流的传输提供冗余，和/或允许客户端侧负载平衡和并行下载。
MPD可以是“静态的”或“动态的”。静态MPD类型在媒体演示期间不可以改变，且其可以用于点播演示。动态MPD类型可以在媒体演示期间被更新，且其可以用于直播演示。MPD可以被更新以扩展每种表示的片段的列表，引入新时段和/或终止媒体演示。
在DASH中，不同媒体内容分量(例如，视频、音频等)的编码版本可以共享共同的时间轴。媒体内容内的接入单元的演示时间可以被映射到全局共同演示时间轴，其可以被称为媒体演示时间轴。这可以允许不同媒体分量的同步和/或可以实现相同媒体分量的不同编码版本(例如表示)的无缝切换。
片段可以包括实际分段的媒体流。它们可以包括关于如何将媒体流映射到媒体演示时间轴以用于切换和/或与其他表示的同步演示的附加信息。
片段可用性时间轴可以用于用信号向客户端通知在指定的HTTP URL的片段的可用性时间。例如，这些时间可以以挂钟时间的形式被提供。在访问在指定的HTTP URL的片段之前，客户端可以将挂钟时间与片段可用性时间进行比较。
对于点播内容，一些或所有片段的可用性时间可以是相同的。一旦任意片段可获得，媒体演示的一些或所有片段在服务器上可获得。MPD可以是静态文档。
对于直播内容，片段的可用性时间可以依据片段在媒体演示时间轴中的位置。片段可以随产生内容的时间而变得可用。MPD可以被周期性地更新，以反映演示随时间的变化。例如，用于新片段的片段URL可以被添加到MPD，且不再可用的旧的片段可以从MPD中移除。例如如果使用模板来描述片段URL，则更新MPD可不是必须的。
片段的持续时间可以表示当以正常速度演示时包含在片段中的媒体的持续时间。表示中的一些或所有片段可以具有相同或大致相似的持续时间。片段持续时间针对不同的表示可以不同。DASH演示可以被构建有相对短的片段(例如几秒)或较长的片段，其包括针对整个表示的单个片段。
短片段可以适合直播内容(例如，通过减少端到端等待时间)并可以允许在片段等级的高切换粒度。短片段可以增加演示中的文件数量。长片段可以通过减少演示中的文件数量来改进缓存性能。它们可以使得客户端能够制定灵活的请求大小(例如通过使用字节范围请求)。长片段可能需要使用片段索引且可能不适合直播事件。片段可以或可以不随时间扩展。片段可以是其整体可用的完整和离散单元。
片段可以进一步被细分为子片段。子片段可以包括多个完整接入单元。“接入单元”可以是具有指派的媒体演示时间的媒体流的单元。如果片段被分为多个子片段，则子片段可以由片段索引来描述。片段索引可以提供该表示中的演示时间范围以及每个子片段占用的片段中相应的字节范围。客户端可以提前下载该索引，然后可以使用HTTP部分GET请求发布对个别子片段的请求。片段索引可以被包含在媒体片段中，例如在文件的开头中。还可以在分开的索引片段中提供片段索引信息。
DASH可以定义初始化片段、媒体片段、索引片段和比特流切换片段。初始化片段可以包括用于访问表示的初始化信息。初始化片段可以或可以不包括具有指派的演示时间的媒体数据。初始化片段可以由客户端来处理以初始化媒体引擎，以用于使得包含的表示的媒体片段演完(play-out)。
媒体片段可以包括和/或封装在媒体片段内描述的和/或由表示的初始化片段描述的媒体流。媒体片段可以包括多个完整的接入单元。媒体片段可以包括至少一个针对每个包含的媒体流的流接入点(SAP)。
索引片段可以包括可以与媒体片段有关的信息。索引片段可以包括针对媒体片段的索引信息。索引片段可以提供用于一个或多个媒体片段的信息。索引片段可以是媒体格式特定的。可以为支持索引片段的每个媒体格式定义细节。
比特流切换片段可以包括可以被利用以切换到其被指派到的表示的数据。其可以是媒体格式特定的，且可以为允许比特流切换片段的每个媒体格式定义细节。可以为每种表示定义一个比特流切换片段。
客户端可以在媒体中的任意点处在自适应集内从一种表示切换到另一种表示。在任意位置处的切换可以是复杂的，这是由于例如在表示中编码的依赖性以及其他因素。“重叠”数据的下载可以被避免(例如，来自多种表示的相同时间段的媒体)。在新流中的随机接入点处，切换可以是最简单的。
DASH可以定义流接入点(SAP)的编解码器无关概念，并识别各种类型的SAP。流接入点类型可以作为自适应集的特性之一被传输(例如，可以假定自适应集内的一些或所有片段具有相同SAP类型)。
SAP可以实现对一个或多个媒体流的文件容器的随机接入。SAP可以是容器中的位置，能够通过使用包含在该容器中的从该位置开始向前的信息、和/或来自该容器的其他部分和/或外部可获得的可能的初始化数据，开始对标识的媒体流进行回放。
文件容器特性可以包括TSAP。TSAP可以是媒体流的接入单元的最早的演示时间，例如由此具有大于或等于TSAP的演示时间的媒体流的一些或所有接入单元可以使用在ISAP开始的比特流中的数据(并且可能地，在ISAP之前没有数据)而被正确解码。ISAP可以是在比特流中的最大位置，由此具有大于或等于TSAP的演示时间的媒体流的一些或所有接入单元可以使用在ISAP开始的比特流数据(并且可能地，在ISAP之前没有数据)而被正确解码。ISAU可以是在媒体流内按解码顺序最新的接入单元的比特流中的开始位置，由此具有大于或等于TSAP的演示时间的媒体流的一些或所有接入单元可以使用该最新的接入单元和遵循解码顺序的接入单元(并且可能地，早期没有按解码顺序的接入单元)而被正确解码。TDEC可以是能够使用在ISAU开始的比特流中的数据(并且可能地，在ISAU之前没有数据)而被正确解码的媒体流的任意接入单元的最早的演示时间。TEPT可以是在比特流中在ISAU开始的媒体流的任意接入单元的最早的演示时间。TPTF可以是在ISAU开始的比特流中按解码顺序的媒体流的第一个接入单元的演示时间。
具有这些参数的流接入点的示例如图9中所示。在该示例中，具有三种不同类型的帧：I、P和B的编码视频流的示例被示出。P帧可以利用待解码的在前的I或P帧，而B帧可以利用在前或在后的I和/或P帧。传输、解码和/或演示顺序可以不同。
图9示出了流接入点的参数的图。可以提供六种SAP类型。不同SAP类型的使用可以被限制到配置文件(例如，对于一些配置文件，仅SAP类型的子集可以被使用)。
DASH SAP类型可以取决于哪些接入单元是可正确解码的，和/或它们按演示顺序的排列。例如，对于类型1，TEPT＝TDEC＝TSAP＝TPFT。该SAP类型可以对应于所称的“封闭GoP随机接入点”。从ISAP开始的接入单元(例如按解码顺序)可以被正确解码。该结果可以是没有间隙的正确解码的接入单元的连续时间序列。按解码顺序的第一个接入单元可以是按演示顺序的第一个接入单元。
例如，对于类型2，TEPT＝TDEC＝TSAP<TPFT。该SAP类型可以对应于所称的“封闭GoP随机接入点”，对此，从ISAU开始的媒体流中按解码顺序的第一个接入单元可以不是按演示顺序的第一个接入单元。头两个帧可以是向后预测的P帧(例如，其依照句法可以被编码为H.264和一些其他编解码器中仅向前的B帧)，且它们可以需要首先解码第三个帧。
例如，对于类型3，TEPT<TDEC＝TSAP<＝TPTF。该SAP类型可以对应于所称的“开放GoP随机接入点”，其中在ISAU之后按解码顺序有一些接入单元，其可能没有被正确解码，并具有小于TSAP的演示时间。
例如，对于类型4，TEPT<＝TPFT<TDEC＝TSAP。该SAP类型可以对应于所称的“逐渐解码刷新(GDR)随机接入点”(例如，或“脏(dirty)”随机接入)，其中从ISAU开始和在ISAU之后按解码顺序有一些接入单元，其可能没有被正确解码，并具有小于TSAP的演示时间。
内刷新过程可以是GDR的示例。该内刷新过程可以在N个帧上被扩展，且可以用内MB来编码一帧的部分。对于N个帧，不重叠部分可以被内编码。该过程可以被重复直到整个帧被刷新。
例如，对于类型5，TEPT＝TDEC<TSAP。该SAP类型可以对应于这样的情况：从ISAP开始按解码顺序可以有至少一个接入单元，其可能没有被正确解码，并具有大于TDEC的演示时间，且其中TDEC可以是从ISAU开始的任意接入单元的最早演示时间。
例如，对于类型6，TEPT<TDEC<TSAP。该SAP类型可以对应于这样的情况：从ISAP开始按解码顺序可以有至少一个接入单元，其可能没有被正确解码，并具有大于TDEC的演示时间，且其中TDEC可以不是从ISAU开始的任意接入单元的最早演示时间。
DASH的配置文件可以被定义以实现互操作性和特征使用的信号发送。配置文件可以施加一组特定限制。这些限制可以针对媒体演示描述(MPD)文档的特征和/或片段格式。限制可以针对片段中的被传输的内容，例如但不限于针对媒体内容类型、媒体格式、编解码器和/或保护格式，和/或针对定量测量，例如但不限于比特率、片段持续时间、片段大小、水平视觉演示大小和/或垂直视觉演示大小。
图10示出了DASH中的六个配置文件的示例的图。配置文件可以基于用于片段的文件容器的类型被组织为两种主要类别：三个配置文件可以使用ISO基础媒体文件容器，两个配置文件可以使用基于MPEG-2传输流(TS)的文件容器，以及一个配置文件可以支持两种文件容器类型。任一种容器类型可以与编解码器无关。
ISO基础媒体文件格式点播配置文件可以提供对点播内容的支持。该配置文件可以规定每种表示可以被提供为单个片段，子片段可以在自适应集内的表示间被对准，和/或子片段可以从流接入点开始。该配置文件可以用于支持具有最小量的内容管理的大VoD库。其可以允许对HTTP服务器的可缩放且有效的使用，和/或可以简化无缝切换。
ISO基础媒体文件格式直播配置文件可以用于片段的直播编码和低等待时间传输，该片段包括具有相对短的持续时间的ISO文件格式的单个电影断片(fragment)。当每个电影断片可用时，可以使用模板生成的URL来请求该每个电影断片。在每个片段请求之前请求MPD更新可以不是必须的。在该配置文件中，片段可以被考虑，由此它们可以在片段边界上被连接。片段可以在媒体数据中被无间隙和/或重叠译码(decrypt)，不管自适应集中表示的自适应切换。该配置文件可以用于分发非直播内容。例如，在直播媒体演示可以被终止的情况下，该直播媒体演示被保持可用，作为点播服务。
ISO基础媒体文件格式主配置文件可以是ISO基础媒体文件格式点播和直播配置文件的超集。
MPEG-2TS主配置文件可以对MPEG-2传输流(TS)内容的媒体片段格式施加约束。例如，表示可以被复用，由此可以不需要在客户端处绑定媒体流(例如，音频和视频)。片段可以包括整数个MPEG-2TS分组。推荐索引和片段对准。
MPEG-2TS简单配置文件可以是MPEG-2TS主配置文件的子集。其可以对内容编码和复用施加限制，例如以允许无缝切换的简单实施。例如，可以通过保证符合ISO/IEC 13818-1(例如，MPEG-2系统)的媒体引擎可以播放通过连接来自相同自适应集内的任意表示的连续片段而生成的任意比特流来实现无缝切换。
全配置文件可以是ISO基础媒体文件格式主配置文件和MPEG-2TS主配置文件的超集。
在移动设备的屏幕上呈现的视觉信息的目的地可以是持有该移动设备的用户。但是，用户的观看设置可以改变。例如，用户可以手持移动设备离自己眼睛很近或距离一臂的距离。这可以影响视角和/或用户看到屏幕上细节的能力。其他外部因素，例如但不限于照明可以更改并改变用户的观看体验。例如，用户可以在办公室中，在户外阳光直射下，在阴影中，或在完全黑暗的区域。用户可以正在全神贯注于设备屏幕上的内容，或其可以忙于别的事情而只是偶尔看看移动设备的屏幕。设备(例如移动设备)可以涉及例如无线发射/接收单元、流传输视频播放器、视频聊天应用、视频应用或视频游戏应用。
可以描述移动设备的观看条件的可变性的示例。这些条件可以是对用户能够接收视觉信息的程度的指示。它们可以用于定义“视觉通道”的容量，其可以用作通信系统中将视觉信息传输给用户的最后的链路。
视觉信息到移动设备的传输可以自适应于用户行为和/或观看条件，由此传输最佳可能的用户体验和/或保存无线网络的资源(例如，带宽、容量等)和/或移动设备的资源(例如，电能)。可以为移动视频流传输和移动视频电话提供应用。视觉链路的特性和影响该链路的因素可以被利用，例如观看设置的参数、照明类型、移动屏幕限制、人视觉系统的限制等等。
可以有通过视觉内容的观看条件自适应编码和传输改进的应用。例如，这些可以包括但不限于移动视频流传输、移动TV、移动视频电话、视频游戏以及增强现实。这里描述的应用的种类包括但不限于移动视频流传输和视频电话。移动视频流传输或移动多媒体流传输可以是多媒体内容递增传输的技术，其可以允许实时回放和VCR类型导航，而不需等待整个媒体文件被传输。
图11示出了在流传输媒体内容被传输到移动设备中涉及的组件和通信链路的示例。内容可以被获取和编码，以用于流传输分发。例如，这可以通过专用编码软件来完成，该软件可以例如但不限于RealWindows Media和Adobe Media然后内容可以被放置在服务器上，依据流传输技术，该服务器可以是专用流传输服务器、标准HTTP服务器等。内容还可以被放置在形成所称的内容分发网络(CDN)的多个服务器上，例如以缩放分发能力。流传输媒体内容的消费者可以是用户，其可能正在使用软件，例如在移动设备上的流传输媒体播放器或网页浏览器。媒体播放器可以发起并维持与服务器的连接。反过来，服务器可以向播放器发送编码的媒体的片段，播放器然后可以将其呈现在屏幕上。
在流传输媒体内容的传输中可以涉及一些通信链路。这些链路包括但不限于(例如，参考图11)流传输服务器与无线网络网关(GW)之间的因特网连接和路由路径；用户设备(例如UE)与基站(例如eNB)之间的无线链路；以及用户眼睛与移动设备显示器之间的“视觉链路”。
带宽自适应可以被使用。在带宽自适应流传输中，多媒体内容可以以一些不同的比特流被编码，其示例如图12中所示。图13描述了带宽自适应多媒体流传输的示例。以不同速率的视频内容还可以以不同的空间分辨率被编码。多媒体内容可以被准备，由此以某些时间间隔(例如2-5秒)在不同速率的流之间的转变是可能的。如果不同的流使用不同的空间分辨率，则媒体播放器可以缩放视频以填充屏幕上相同区域，由此不会察觉分辨率的变化。
在编码之后，内容可用于流传输服务器，并可以经请求被传输给客户端。起初，服务器可以以默认初始比特率对内容进行流传输。比特率在流传输会话期间基于例如网络中可用的带宽而改变。速率可以直接在客户端的请求下改变，或服务器可以基于来自客户端的反馈做出决策。
可以用于多媒体内容传输的传输机制包括但不限于HTTP流传输和RTP/RTSP流传输。在HTTP流传输中，成片段的内容(例如被分成长度为数秒的片段的内容)可以通过HTTP被传输。可以以由于重传导致的可能的延迟的代价来保证片段被传输。在RTP/RTSP流传输中，内容可以被分组并通过UDP传输。这可以以可能的丢失分组作为代价避免重传延迟。HTTP流传输系统的示例是MPEG/3GPP 和的。Real的服务器能够支持多种HTTP和RTP/RTSP流传输协议。
用于移动流传输的带宽自适应可以被使用。当通过无线的方式传输流传输视频时，可以预期带宽波动是由负载和无线链路(例如，将用户设备连接到基站(例如，参照图11))的其他特性造成的。带宽自适应逻辑可以在基站(例如e节点B)上和/或另一个可以位于与无线链路很近的位置的服务器(例如代理)上实施。这可以导致可以实现的自适应的更快响应和粒度。这种服务器可以例如通过接收编码流、可缩放编码的组合集合和/或通过实施将通过链路发送的信息的动态代码转换来实施自适应。
移动视频电话可以包括由在不同位置的用户发起的音频-视频信号的接收和传输技术。目的可以是在它们之间实现实时通信。
这里描述的实施可以例如应用于消费者级视频通信/消息发送应用、移动视频会议应用、移动视频电话应用等。这样的系统的架构示例如图14所示。移动设备可以捕获音频和视频信息，对其进行编码，和/或通过无线和/或有线链路的组合将其传送到其他设备。一旦接收到该信息(例如，经由移动设备)，其可以被解码并显示给用户。视频和音频数据可以例如由于该系统的实时属性而作为RTP/UDP分组被发送。RTP/UDP分组在传输期间可能丢失。为了控制质量，移动设备(例如视频电话)可以使用反馈协议，例如但不限于RTCP。可以使用标准会话发起协议来放置呼叫，该协议例如但不限于SIP或ITU-T H.323/H.225。
在移动视频电话应用中的信息的传输中可以涉及一些通信链路。例如，通信链路可以包括但不限于(例如，参考图14)无线网络网关(GW)之间的因特网连接/路由路径、用户设备(例如UE)与基站(例如eNB)之间的无线链路、用户与它们的移动设备的显示器和相机之间的“视觉链路”等。
可以理解因特网和无线链路的特性、行为和/或限制，且视频电话系统可以使用一些机制来适应它们。这些机制可以包括例如带宽自适应视频编码、反馈的使用、错误弹性以及错误隐藏技术。这里描述的实施可以使用“视觉链路”的特性和限制因素，例如但不限于改变观看距离、照明以及用户对屏幕的注意力，例如以改善视频传输和/或通信。
“视觉链路”(可以是由显示器和用户形成的链路)的特性可以解释如下。移动观看设置的参数的示例如图15中所示。例如，示出了水平分层，且假设视野可以由双眼视觉形成，例如水平上大约120°。视觉参数可以包括但不限于屏幕尺寸、离屏幕的距离、屏幕分辨率、屏幕密度(例如，以每英寸的像素为单位)或视角。一些视觉参数可以互相关。例如，视角(例如如图15中所示)可以计算为：
视角可以约束用户能够获取的“有用”视觉信息量。在静止观看设定中，例如在电影院或卧室中使用的，视角可以较大，例如大约30°及更大。标准(例如，SMPTE EG-18-1994)可以宣称30°作为用于电影再现的最小可接受视角。在移动设定中，视角由于例如移动屏幕的小尺寸而小得多。为了看得更多，观看者可以移动电话更靠近自己的眼睛。但是，可能存在一些固有的限制，和人使用不同观看距离的原因，以及在许多情况中这些距离为什么不够短以补偿移动屏幕的小尺寸的原因。
观看距离的范围可以因人而异。在不同距离看到物体的能力可以取决于被称为人眼适应的机制。其可以是这样的过程：通过该过程，人眼的晶状体的曲率可以改变，由此来自远处光源的光聚焦在视网膜上。曲率的这种变化可以是由睫状肌产生的。当睫状肌放松时，眼睛聚焦在无穷远。通过施加张力，晶状体的曲率增加，允许来自较近物体的光聚焦在视网膜上。但是晶状体不可以无限“挤压”。晶状体可以将光聚焦在视网膜上的最短距离被称为最小明视距离(LDDV)。对于大多数具有正常视力的成年人，LDDV可以大约是25cm(10”)。这个数字对于年轻人较小，但随着年龄其可以增加(例如，由于睫状肌变得低效)。
LDDV可以设定对移动设备的观看距离的下限。其他固有限制可以是用户的臂长。该数字可以与用户的身高有关(例如，对于5英尺9英寸高的人，大约为26”)。可以有其他因素，包括但不限于移动设备的尺寸/类型、环境和/或可以导致不同人以不同观看距离手持或放置该设备的个人舒适感觉。在这些限制内，用户还可以设法通过手持屏幕较近或较远来获得最佳感知质量。他们的观看距离的范围可以大约从7.5”到23.6”。平均观看距离可以大约是12.7”，且标准偏差可以大约是3”。这可以表明公平传播分布。±1σ的范围可以对应于从9.7”到15.7”的距离范围。范围±2σ可以表明从6.7”到18.7”的距离范围。图16示出了该分布的近似形状的示例。
可以描述并使用空间密度限制。视觉信息量可以由空间密度来限制。限制可以包括例如移动设备上的屏幕的空间密度，和/或人视觉的空间灵敏度极限。
显示器的空间密度或分辨率可以以绝对度量来报告，例如但不限于每英寸的像素(ppi)。角度特性(例如但不限于对应于1°视角的像素数)在这里可以被使用。当观看距离已知时，对应于1°视角的像素数可以计算如下：
人视觉系统(HVS)可以具有其自己的对空间分辨率的极限。视觉敏锐度极限可以表明具有正常视力(例如，所谓的“20/20”)的人可以辨识小至1/60度视角的空间细节。这可以意味着为了匹配或超过人视觉敏锐度极限，屏幕密度和观看者离屏幕的距离可以使得所产生的角度密度至少是一度视角的60个像素。该极限被超过任意较大角度，提供的回报减少，因为具有正常视力的用户并不能察觉到。
这里可以描述观看设定的示例。表1提供了一些可能的观看设定的参数的示例。表1可以考虑一些种类的现代移动设备，包括但不限于膝上型计算机、平板电脑和智能电话，以及各种可能的观看距离。以下划线标记的情况可以是视角可以大于或等于30°的情况，其可以被认为是足够宽以在常规设定中看TV或电影。用双下划线标记的情况可以是再现设置的角度密度可以超过视觉敏锐度极限的情况。
表1.观看设定的示例
一些移动设备(例如，智能电话)可以具有在非常大范围波动的视角，例如从下面的5°(sub-5°)到中间的20°(mid-20°)。然而，即使有非常短的观看距离，它们可能达不到一些再现设置期望的30°。较大的设备(例如膝上型计算机或平板电脑)可以适应30°且更高的视角。移动屏幕可实现的角度密度可以匹配或超过人视觉的敏锐度极限。移动显示技术能够以观看者不再能够接收到并察觉的密度再现视觉内容。例如，观看距离越大，角度密度越大，且在视觉链路中发射方(例如显示器)与接收方(例如人眼)的能力的失衡越大。使用将来的显示技术，这种失衡会增大。在这些情况下，以屏幕支持的最大空间分辨率编码并传输自然视觉内容是越来越浪费的。
可以描述并使用照明效果。除了改变观看距离和角度，移动观看体验还可以受到各种照明环境的影响。这些环境可以随观看位置(例如，室内或室外)、一天的时间、季节、地理位置和/或许多其他因素而发生变化。
移动屏幕发射的光可以与从各种周边源反射的光“混合”。因此，投射到屏幕的图像的颜色可以变得“被洗掉”。这可以在例如对比度降低、色域降低以及颜色平衡移位方面来被量化。例如，对比率可以通过分别在白状态和黑状态下划分总的显式亮度来计算。在周边照明下，来自显示器的总亮度可以计算如下：
Ldisplay可以是显示器发射的亮度，Lspec和Ldiff可以是来自直接和散射光源的亮度，以及Rspec和Rdiff可以是移动屏幕的镜面和漫反射特性。对比度甚至针对中等亮度可能迅速下降。
屏幕对比度下降的结果之一可以是人观察者能够看到的空间频率的范围缩小。这可以通过考虑所谓的人视力的对比度灵敏度函数(CSF)来解释。该函数的示例图如图17所示。
当对比度非常高时，可视频率的范围可以受到敏锐度界限的限制，例如如图17的靠右边部分所示。如果对比度小，可以定义以一个或的两个点接触CSF的下限。右边的点可以定义最大可视空间频率。左边的点可以定义最小可视空间频率。通过进一步降低对比度，可视频率的范围可以被缩小到例如对应于CSF曲线的峰值。该峰值可以在每度视角3-6个循环之间。其可以远离敏锐度极限大约5-10倍。
照明例如通过缩小瞳孔可以对视力具有额外效果。在高照明下，瞳孔可以缩小，这可以减小角膜(例如“晶状体”)缺陷导致的失真。这可以(例如在一定程度上)抵消上述效果。
可以描述并使用屏幕倾斜度。移动屏幕的倾斜度可以指表面的法线与用户观看方向(例如观看轴)之间的角度。例如，如图15所示，倾斜度可以是0°。倾斜度可以变化。倾斜角度可以影响例如亮度、对比度、颜色等。例如，iPhone 的30度的倾斜度可以导致亮度降低57％，以及对比率下降超过2的因数。
可以描述并使用兴趣点。当用户正看着屏幕时，其眼睛可能正专注在屏幕上的某个区域。在该专注点人的敏锐度可以是最大的(例如，在中央凹中投影图像)，在专注点以外的任意方向敏锐度衰退。例如，仅从固定点起2°内就可以捕获大约50％的视觉信息。
可以描述并使用对3D内容的感知深度的效果。关于观看者距离的信息可以在3D视频再现被使用时被利用。例如，3D视频预备的感知3D深度可以被影响。例如，感知深度可以被表达如下：
其中D可以是感知深度，f可以是距离屏幕的距离，α可以是像素密度，b可以是双眼之间的基线距离(例如，用户的IPD)，以及d可以是屏幕上物体的视差(disparity)(例如，以像素为单位)。
观看者距离屏幕的距离可以用于调整视差和/或获取并显示另一视图，以补偿深度失真。用于3D观看的基于观看者距离的自适应可以通过考虑人视力的聚散度和焦距、以及相关的“舒适区域”的概念来理解。
图18示出了在不同观看情形中聚散度和焦距的示例。左边三列示出了自然观看(N)，具有光学矫正(例如眼镜)的自然观看(G)和立体3D观看(S)的示例。在自然观看中，聚散度刺激和焦点刺激可以位于相同的距离，由此可以彼此一致。在具有对折射差错的光学矫正(例如，眼镜或隐形眼镜)的自然观看中，由于矫正导致的焦度(focal power)连续递减或递增，焦距可以与聚散度距离不同。立体观看可以产生聚散度距离与焦距之间的不一致，这是因为例如聚散度距离依据图像内容而变化，而焦距可以保持恒定。
图18的右侧示出了针对左侧示例的六种观看情况，根据聚散度距离(以屈光度为单位)的焦距(以屈光度为单位)的示例图。绿线示出了自然观看的示例，蓝线示出了具有光学矫正的自然观看的示例，以及红线示出了观看立体显示的示例。在轴上指明了近距离和远距离。
图19示出了清楚的双眼单视区域(ZCSBV)的示例。焦距和聚散度距离可以分别在纵坐标和横坐标上绘制(以屈光度为单位)。虚对角线可以表示与自然观看相关联的聚散度刺激和焦点刺激的示例。标记有“最小相对聚散度”的线可以表示最小聚散度距离，针对该最小聚散度距离，观看者可以维持在每个焦距下刺激目标的单个理想对焦的图像。标记有“最大相对聚散度”的线可以表示最大聚散度距离，针对该最大聚散度距离，观看者能够维持单个理想对焦的视觉。
可以提供对观看条件自适应的实施可以被描述并使用。在用户手持其移动设备的方式上可以变化，其可以影响它们能够获取的视觉信息量。例如，如表1中所示，移动电话屏幕的不同观看距离和朝向可以导致视角改变，例如，近似从5°到25°。假设移动屏幕的密度高，这可以意味着可视链路带宽的因数5的可变性。周围的照度可以导致对比率下降几个量级。对比度的下降可以明显减少可视空间带宽(例如，如图20所示)。电话屏幕的倾斜度可以导致亮度和对比度下降额外的因数2。
用户可能正全神贯注于屏幕，或他/她正看别的地方。如果用户正全神贯注于屏幕，用户可以得益于最佳可能的传输的视频质量。如果用户没有全神贯注于屏幕，那么质量可以降低，而不会对用户造成任何不便。用户可能正仅专注于屏幕的一部分。以空间分隔显示的细节可能没有被观察到(例如，大于例如从该感兴趣的区域起2-3度)。
这里描述的实施可以提供利用一个或多个观看/视觉参数(例如，如这里所述的)系统设计的改进。观看/视觉参数可以用于降低对例如网络的负载、功率使用，并向用户传输最佳可感知质量的视觉信息。利用观看/视觉参数的实施在这里可以被称为观看条件自适应。
这里描述的实施可以在向用户传输内容中被部署在不同点。所利用的视觉参数的有效性可以依据用户设备、视力和/或其他特性。例如，正使用低密度屏幕和/或具有好于20/20视力的用户不能得益于使用观看距离自适应的实施，但其他技术是有用的。
视频处理链工具可以被提供。观看条件自适应可以是传输视觉信息和/或在移动屏幕上投射视觉信息的系统的一部分，例如移动视频流传输、视频电话应用等。该系统可以具有用于交换视频比特率和质量的措施。该措施可以包括但不限于产生多个速率或可缩放视频编码/解码的能力(例如，用于流传输视频)、动态改变编解码器/视频编码/解码链的参数的能力(例如，在视频电话应用中)等。
编码的视频的空间分辨率的变化可以是一种实现不同比特率(例如空间带宽)的方式。这可以例如在编解码器(例如，如果编解码器支持分辨率的动态变化)中实现，或通过预处理和/或后处理逻辑来实现。
预处理器可以降低(例如动态降低)视频的分辨率。后处理器可以被配置成对视频进行上采样。在预处理器中可以应用低通滤波。处理链的其余部分可以保持原样。图20中描述了一个示例。例如如果在低对比度状态(regime)下操作，这种滤波器可以是带通的。带通滤波器可以移除不可视的低频。信号带宽越低，则编解码器可以产生的越低。这可以通过将新目标速率或量化步长(QP)参数传递给编码器来执行。
自适应系统中用于交换视频比特率和质量的措施可以包括但不限于降低帧率，切换到“幻灯片显示”模式等。这些措施可以由自适应逻辑来调用，例如在质量可以被降低而不会导致用户不便的情况下(例如，当用户没有专注于屏幕时)。
可以提供观看条件自适应实施的速度和粒度。人视力的自然极限可以允许以某些延迟来执行自适应。例如，一个特性可以被称为适应延迟。适应延迟可以是人眼将焦点从一个距离改变到另一个距离所花的时间。对成年人来说，适应延迟可以是大约350ms。例如，这可以意味着如果用户分心(例如正看着移动设备的屏幕以外的物体)但之后又看回到移动设备的屏幕，则用户的眼睛将焦点改回到移动设备的屏幕要花大约350ms。
单向通信延迟可以在100-300ms之内(例如，在LTE无线网络中)。这可以例如是针对移动视频电话应用的范围。延迟可以足以执行这里所述的实施，以以用户察觉不到的方式执行观看条件的改变。如果在基站处执行实施，这种延迟可以较慢。该系统可以执行将在任意给定时间通过空中传送给WTRU的视频的代码转换或视频层的选择(例如，如果以可缩放/分层方式编码)。视觉再现的空间带宽可以变化。如果以小增量(例如每倍频程(octave)3-5步)引入变化，则该变化是注意不到的。
可以描述并使用利用观看条件自适应的实施。这里可以描述传输系统可以使用的自适应技术。可以使用自适应技术组合的子集，包括但不限于以下中的一者或多者：对用户存在的检测和自适应；对屏幕倾斜度的检测和自适应；对用户距离屏幕的距离的估计和自适应；对用户距离屏幕的距离以及借助校准测试的用户视力的自适应；对照明条件的估计和自适应；以及对用户兴趣/关注点的估计和自适应。
对用户存在的检测和自适应。如果用户不存在，则系统可以降低视频率，例如降低到最低的“费用(toll)”质量表示，将其转到幻灯片显示和/或关掉视频。可以存在一些能够用于例如通过使用专用“用户接近”传感器，通过使用电话的前置相机，通过使用红外成像设备，通过使用超声传感器，通过使用来自麦克风输入，通过使用运动传感器等来检测用户的存在的传感器和技术。
接近传感器可以用于在用户讲电话时关闭屏幕背光。来自该传感器的输入可以用于停止或调整(例如降低)内容(例如视频)传输的比特率。当使用来自其他传感器的输入时，该输入可以被转换成指示用户存在的指示符。该指示符可以用于作出关于待传输的内容(例如视频)的速率、质量等的决策。
这里可以描述可以使用的使用来自前置相机的输入的检测逻辑。系统可以从前置相机获取图像。面部检测算法可以用于找到图像内面部的位置。例如，系统可以使用Viola-Jones检测器来检测面部。如果找到面部，可以确定用户存在。如果没有找到面部，可以确定用户位于前置相机的视野以外，或超出面部识别算法的范围。这样的示例如图21中所示。在广角相机和窄角显示器的情况中，可以推断用户不能看到呈现在屏幕上的内容。如果用户在范围之外，则他/她不能感知全屏分辨率。
这里可以描述对屏幕倾斜度的检测和自适应。移动设备可以包括传感器，其可以用于估计相对于移动设备屏幕的用户位置和/或朝向。例如，传感器可以包括但不限于电话的前置相机、红外传感器、超声传感器、麦克风阵列等。系统可以获取电话前面的视野的图像(例如，可见光、IR、基于声纳等)。系统可以检测人脸的位置。系统可以计算相对于该位置的角度。例如，如果相机被用作传感器，则来自相机(例如前置相机)的图像可以被捕获，并被用于检测人脸。面部检测技术(例如但不限于Viola-Jones检测器)可以被使用。如果没有检测到面部，则系统可以推断用户的观看方向可以至少远离相机视角的一半。例如，这可以如图21所示。当检测到用户的面部时，倾斜度可以计算如下：
一旦确定了倾斜度，可以使用移动屏幕的一个或多个观看特性，例如但不限于其根据视角的对比度和/或亮度，以获得针对利用设备设置能实现的亮度和/或对比度的极限。系统可以使用一个或多个特性(例如，可能与关于照度的信息相结合)来检测屏幕上可视空间频率的范围。该一个或多个特性可以用于驱使对可以用于内容编码的空间分辨率和/或滤波器参数的决定(例如，一旦检测到频率范围)。
可以描述对用户距离屏幕的距离的估计和自适应。可以存在用于检测相对于屏幕的用户距离的传感器和技术。这可以通过使用例如电话的前置相机、红外成像、超声传感器或通过来自这些传感器的输入的任意组合来完成。
运动传感器可以用于检测观看距离的可能改变。可以使用来自前置相机的输入来确定观看距离的改变。例如，人脸部特征(例如但不限于瞳孔间距(IPD))可以被用作可以用于分析用户的观看距离的度量。
该逻辑的示例可以参照图22A-B来解释。起作用的两个角度是相机的视角和用户眼睛之间的角度(α)，其中所述视角可从电话的说明书中已知。如果图像被面部检测器捕获和/或处理，在该图像中的用户眼睛之间的距离(例如，以像素来测量)可以被测量。用户眼睛之间的角度可以被计算如下：
该角度可以与用户与电话之间的距离d相关：
因此，该距离可以计算如下：
未知变量可以是用户的IPD。用户的IPD可以被估计和/或作为输入参数被提供给应用(例如，为特定用户定制)。例如，大多数成年人的IPD可以在50-75mm的范围内变化。该范围可以用作估计。如果用户输入其精确的IPD作为参数，则系统的性能可以更精确。例如对于自适应逻辑来说，知道(例如仅知道)观看者距离的下限估计就足够了。如果有多个观看者正在看屏幕，则检测离屏幕最近的观看者的距离就足够了。
用于基于用户的IPD检测其距离的实施可以包括以下(例如所有或子集)：估计和/或输入用户的瞳孔间距(IPD)作为参数；获得相机参数，例如但不限于分辨率和相机角度；使用前置相机捕获图像；检测在图像内人脸的存在和/或位置；测量图像中用户眼睛之间的距离(例如，像素级距离)；以及基于已知数量计算用户距离屏幕的距离。
检测图像内的面部(例如人脸)可以例如使用Viola-Jones检测器来实现。检测器可以计算一些标准图像特征(例如IPD)的像素级尺寸。如果在图像中检测到多个面部，则可以稳定屏幕到面部中的一者或多者的距离。距离屏幕最近的脸可以被使用。用户的距离可以被用于(例如，可能与关于照度和视角的信息结合用于)检测屏幕上可视空间频率的范围。该可视频率的范围可以被用于确定空间分辨率和/或滤波器参数，例如用于视频编码/解码和/或切换到使用这些参数编码的流。
可以描述对用户离屏幕的距离和借助校准测试的用户视力的自适应。用于检测用户在不同观看距离察觉视觉细节的能力的技术可以经由一个或多个测试来确定。例如，用户可以被引导看屏幕，并回答一系列问题，例如但不限于如图23和24所示的。图23示出了可以允许检测用户能够在其最舒适位置看到的最小空间细节的示例问题。使用图24的示例问题，用户可以被指示将相机/屏幕移到其依然能够看到这些细节的最远点。当用户确认这个(例如按下OK)，可以拍下用户的相片，其脸可以被检测，且IPD可以被计算(例如在像素域中)，该IPD可以对应于用户的观看距离。这可以检测当用户将来位于较短或较长距离时的情形。可以确定一个或多个距离/可视分辨率点。例如，通过要求用户使用两个可能的字母大小(例如，参考图24中的测试)来确认(例如，按下“OK”)，可以获得两个距离/可视分辨率点，这足以对任意距离进行自适应。
可以描述和使用对照明条件的估计和自适应。可以使用一个或多个传感器来估计照明条件，传感器可以例如但不限于环境光传感器信息、前置相机、后置相机等。这样的信息(例如与关于屏幕的亮度设定的信息一起)可以被用于估计屏幕的可达到对比度和总照明量。
可以使用关于屏幕倾斜度的信息来精炼估计。估计的总照明可以用于选择合适的对比度灵敏度曲线。屏幕的对比度可以用于检测合适对比度灵敏度曲线上的工作范围。这可以产生屏幕上可视空间频率的范围。
前面和背部照明可以以不同方式影响用户感知。例如，前面照明可以从屏幕被反射。背部照明可以改变瞳孔的扩张。一旦检测到频率的范围和/或用户离屏幕的距离已知，前面和/或背部照明可以用于确定空间分辨率和/或将用于编码内容和/或切换到使用滤波器参数编码的流的滤波器参数。
可以描述和使用对观看者的关注点的估计和自适应。用户可以感知屏幕的小部分中的画面细节，该小部分这里可以称为“关注点(POA)”。用户POA以外的屏幕区域中的分辨率可以被降低而不会明显影响用户。当用户距离屏幕的距离非常短(例如在较宽视角)时，估计用户的POA是有用的。例如，用户的POA可以用于具有内容导出的突出(saliency)点的基于突出的编码中。用户的POA可以被估计并用于改进用户体验。用户的POA可以用于没有用该信息编码的旧材料的流传输中。
例如，用户的POA可以使用前置相机通过测量瞳孔与来自角膜晶体的反射之间的角度来估计。虽然为了该测试用户必须靠近，但这可以是在测量是相关的时的一个时机。
可以使用用户的POA来实施以下中的一者或多者：支持将画面分成多个部分或瓷砖的编码器，其中每个部分/瓷砖可以以多个分辨率或层被编码；具有前置相机的移动设备和用于估计用户观看点的过程；用于计算每个瓷砖的最优分辨率的实施；用于针对部分/瓷片向网络确定可以使用哪个分辨率的信令实施；以及自适应网络实体。如果该实体不是编码器/解码器，则一些层/速率可以从编码器/解码器被发送，和/或从从中选择自适应实体的服务器被发送。可以例如在网络节点(例如节点B)中执行自适应以减少自适应时间。呈现算法可以将部分/瓷砖缝合起来。
可以使用计算机视觉和/或计算机图形技术。例如，Viola-Jones脸部检测器和眼睛跟踪器可以用于确定固定点。例如可以使用局部特征(例如但不限于尺度不变特征变换(SIFT)特征)来完成缝合。
图25示出了观看条件自适应系统的示例。移动流传输视频系统可以整合这里描述的用于观看条件自适应的实施中的一者或多者。图11可以示出流传输系统的架构示例。流传输客户端(例如位于WTRU中)使用的组件和逻辑的示例可以在图25中示出。该客户端可以与流传输或HTTP服务器通信，该服务器可以存储以不同速率和/或空间分辨率编码的多个视频流。客户端设备可以使用前置相机来估计观看距离和/或照明等级。例如，这些参数(例如，还有客户端的可用带宽视图)可以用于确定客户端能够请求内容(例如视频流)时的最佳分辨率。
流传输服务器可以对客户端请求作出反应。例如，流传输服务器可以是现成的速率自适应HTTP和/或RTSP/RTP兼容的服务器。该系统可以使用这里描述的实施的所有或任意子集。
例如，由于网络中的拥塞和其他可能的损害，在无线和有线网络中的流传输可以使用对可变带宽的自适应。可以使用多媒体内容对一些目标速率的同时编码。这可以与客户端应用中的信令和速率切换逻辑耦合。图26示出了该系统的功能的示例架构和解释的图。图26的示例示出了基于自适应HTTP的流传输系统的操作。
在流传输系统中，可以以某粒度来进行流切换，该粒度可以大约是2-10秒。客户端可以在编码的流之间切换的点可以称为切换点。切换点之间的编码的内容的部分可以称为片段。
在流传输会话期间，流传输客户端可以计算每个片段的传输速率，这可以给客户端对接收下一个片段可用的网络带宽的估计。基于该估计，客户端可以决定哪个下一个编码/速率将用于下一个片段。客户端可以使用该模型来自适应改变的网络条件。关于编码的流的信息(例如，高级信息)(例如，可能包括编码的流的速率)可以以清单或多媒体演示描述(MPD)文件的形式被存储。针对流中每个编码的片段的偏移和定时信息可以以片段索引文件的形式被存储。
可以定义编码的媒体片段、片段索引和/或媒体演示描述(MPD)文件的格式。可以允许流切换的具有共同属性的编码集可以称为自适应集。自适应集的元素可以称为表示。自适应集可以包括子表示作为组分。表示和子表示可以包括一个或多个媒体内容组分，例如但不限于音频、视频、文本等。
MPEG-DASH自适应集、表示和/或子表示可以共享共同属性。例如，如果它们包括视频，则它们可以具有@宽度、@高度、@sar和/或@帧率属性。如果它们包括音频，则它们可以包括@音频采样率属性。属性可以包括@mime类型和@编解码器属性。可以或可以不需要属性。表示可以具有其自身的唯一属性，例如但不限于@id、@带宽、@质量排名等。
可以普遍使用MPEG-DASH流传输标准，以例如用于将信息传输到再现设备，包括但不限于电视机、计算机、平板电脑以及智能电话。当使用不同的再现设备时观看设置的特性可以不同。例如，当在移动设备上看视频时，其小屏幕在以舒适距离拿着时会产生5-10°的视角。当用户正用手持有设备时，该距离不再是静止的，例如其可以随着用户的姿势和对内容的关注而发生变化。图7和图8示出了显示在移动设定中观看设置参数和观看距离分布的图表。
如这里所述，表1示出了不同移动设备的观看设定示例。移动观看可以带来宽的视角分布，其对于小型化(small-form-factor)设备来说可以是小的(5-10°)。视觉内容的有效密度可以超过敏锐度极限。
视觉的时间特性可以被考虑。一个时间特性可以是临界闪烁频率(CFF)。图27示出了根据从观看轴起的倾斜度的CFF值的地形图的示例。这些测量可以针对右眼被产生。黑色区域可以对应于盲点。从图27中可以观察到在中央(中央凹)区域，CFF可以近似55Hz。对于周边区域，CFF可以近似85Hz。临界停闪频率的偏心率(例如，内圆可以对应于从观察轴起的30°移位)可以在图27中被描述。这表明使用窄角度(例如5-10°)再现，可以在视频内容编码中使用较低帧率(例如，与宽角度再现的情况相反)。
为常规(例如30-40°角度)观看产生的视频编码可以比能够看到和/或欣赏的窄(例如5-10°)视角再现的移动用户提供多得多的信息(例如在空间和时间细节方面)。
为了优化窄视角再现的传输，内容发布方可以使用多种技术。例如，内容制作方可以以任意可允许的组合，在空间上和/或时间上下采样视频，应用空间或时间预滤波技术，使用编码器级优化(例如但不限于帧/片和MB级RD决定模式，其可以与可以被调节到特定再现设置的价值函数耦合)等。
可以使用工具执行下采样，并可以或可以不需要任意其他属性或信令。例如，DASHMPD格式可以包括@宽度、@高度和/或@帧率属性。例如，如果移动设备本来支持720p分辨率，期望的是发送以该空间分辨率编码的视频数据，而借助预滤波和代码级优化来移除感知冗余。
例如，其他实施可以用于针对给定的固定视角来优化内容(例如视频)。通过移除作为自由度之一的视角，每个编码的有效性可以被改善。
例如，这里可以公开另外的属性，以能够使用这种以DASH的定制流。以DASH MDP句法的属性可以包括但不限于@视角，其可以是指定对观看以给定表示或自适应集编码的内容的期望(例如，最优)视角的属性。@最小视角和@最大视角可以是标识观看距离的范围/由给定表示或自适应集支持的编码的范围的属性。
DASH可以包括@截止和/或@频率响应，其可以是指示内容在用给定的截止频率参数进行编码之前被低通滤波的属性。@截止和/或@频率响应参数可以足以借助空间预滤波实施定制。@视角属性可以将这样的决定留给编码器/解码器。@最小视角和@最大视角的引入可以允许一个范围，并可以用在描述和编码的流中。
可以通过至少屏幕的物理尺寸(例如，屏幕宽度)和观看者与屏幕之间的距离的组合来用信号发送视角。例如，视角可以按如下被用信号发送：
屏幕的物理尺寸和观看者与屏幕之间的距离可以提供观看设置的特性描述。例如，对于2D图像/视频再现，可以使用视角。在3D图像和视频的再现中，可以有至少一个多自由度，因此屏幕的物理尺寸和观看者与屏幕之间的距离的信令可以被使用。这种示例在图28中示出。
图28示出了具有相同视角(α)但不同交叉角度(β和β’)的两种设定的示例图。参考图28，视角(α)针对两种设定可以是相同的。交叉角度(β和β’)可以不同。交叉角度的差随着观看距离与瞳孔间距(IPD)之间的配给量(ration)增加而减小。IPD可以因人而异。例如，成年人典型的IPD的范围可以大约在50-75mm(1.96-2.95”)之间。因此，用于3D再现的观看设定的信令可以说明用户的IPD。
参照图28，可以使用视角(α)和交叉角度(β)。这些参数可以从描述符中得到，该描述符包括属性，例如但不限于屏幕的物理尺寸、用户的眼睛与屏幕之间的距离、以及用户的IPD。描述符还可以被定义，由此它们列出一些参数的任意组合，其中，可以使用子集。例如，描述符可以用参数来定义，所述参数例如但不限于屏幕的物理尺寸、用户的眼睛与屏幕之间的距离和/或视角。这些参数中的任意两个参数可以用于导出第三个参数。
这里公开的观看设置的参数的任意组合可以被包括，作为以DASH标准的MPD文件中的自适应集、表示和/或子表示的预定义属性。例如，可以借助DASH MPD文件中的通用描述符来用信号发送观看设置的参数的任意组合。该信令的示例可以如下示出：
该信令的另一个示例可以如下示出：
例如，“schemeIdUri”可以提供使用该属性的规格和/或部署系统的标识符。行为属性可以指示通用客户端(例如流传输客户端)可以如何对描述符(例如，其可以与观看参数有关)做出反应。例如，如果描述符被指定为必须的(例如“必需的”、“必要的”等)，则理解和/或能够使用该描述符(例如观看参数)的客户端(例如仅客户端)可以使用这些表示。如果“行为”被指定为任意的(例如“可选的”、“补充的”等)，则客户端可以使用该表示，即使客户端没有理解该描述符(例如，观看参数)。“值”可以指定该描述符包括一个或多个值。例如，在这里提供的示例中，值可以指视角。
例如，“schemeIdUri”可以提供使用该属性的规格和/或部署系统的标识符。例如，如果“行为”被指定为“必需的”，则理解和/或能够使用该描述符(例如，观看参数)的客户端(例如，仅客户端)可以使用表示。如果“行为”被指定为“可选的”，则客户端可以或可以不使用表示，即使客户端理解该描述符(例如观看参数)。“值”可以指定该描述符包括一个或多个值。例如，在这里提供的示例中，值可以指视角。
可以在自适应集等级定义描述符。可以在表示和/或子表示级定义描述符。URI(例如但不限于“urn:sdo:dash-ext1:viewing-angle”、“urn:sdo:dash-ext1:min-viewing-angle”、和“urn:sdo:dash-ext1:max-viewing-angle”)可以用于识别视角的最小值、最大值和/或期望值。类似的URI可以被定义用于传输这种信息(例如但不限于显示器尺寸和观看距离参数组合)的可替换方式。
例如可以在DASH流传输客户端中存在使用视觉属性的一些方式。例如，中度的(median)观看距离和/或一个或多个视角参数可以被使用。例如，DASH流传输应用可以使用OS供应的API，以获得该应用在其上运行的设备的物理参数。该参数可以包括但不限于设备的移动性(例如，其可以从网络连接的类型中推出)、屏幕的本来的分辨率、屏幕或屏幕对角线的像素密度、是否可以以窗口进行呈现(例如窗口尺寸及其位置)等。
在设备上运行的DASH客户端还可以推出其尺寸。例如，如果设备是移动的且其具有5”或更小的屏幕，则DASH客户端可以推出设备是手持设备。Dash客户端可以选择中度的观看距离特性(例如，见图26)。客户端可以估计视角。使用该估计，客户端可以选择自适应集和表示，例如使用@视角(和/或@最小视角、@最大视角或@截止或@频率响应)值作为可能的目标。
可以使用动态估计的观看距离和/或视角参数。内容发布方/发行方可以部署智能移动流传输客户端应用。应用可以使用传感器来估计用户与设备之间的距离。应用可以确定当用户观看内容(例如看视频)时可以存在的视角。
图29示出了自适应用户的行为和观看条件的示例流传输系统的图。客户端可以订阅达到与其设置(例如，其可以包括这里描述的视觉特性中的一者或多者)的最佳匹配的流。例如，基于用户的行为和观看条件和一个或多个预编码的流，客户端可以优化针对不同视角的内容的传输。
MPEG-DASH标准可以提供用于基于HTTP的自适应流传输系统的设计的框架。其可以提供一组用于内容特性描述的属性，使流传输客户端可能能够做出关于表示和内容呈现的选择的明智决定(informed decision)。例如，以DASH编码的视频能够由以下中的一者或多者来描述：@编解码器-使用的编解码器类型、配置文件和等级；@带宽-用于编码片段的目标速率；@宽度、@高度、@sar、@帧率-视频分辨率、纵横比、帧率；以及@质量排名-相对于自适应集中其他编码的质量排名。
使用一个或多个属性，DASH客户端可以确定编解码器的自适应集和/或表示，以及最佳匹配特定设备的呈现能力的视频特性。对可用网络带宽的调整可以通过检查@带宽属性和/或在以不同速率编码的流之间的切换来实现。
例如，在观看环境(例如但不限于电影院和起居室)中，可以选择观看位置来实现屏幕的宽(例如25-40°)视图。例如，THX建议36°作为电影再现的最优视角。类似地，SMPTEEG-18-1994建议至少30°宽的视角。当用户正在移动设备上(例如智能电话或平板电脑)看视频时，视角可以比上述建议的要小(例如，5-20°)。这可以是由于移动设备有限的物理尺寸和/或用户离移动设备的屏幕的距离。
移动观看设置的参数示例在图15中示出。这些参数可以例如根据以下被互相关：
下面再现表1。表1提供了一些可能的观看设定的参数示例。在表1中，静止观看设置的特性可以与使用移动设备示例的可能设置进行比较。
表2.观看设定示例
可以计算两个屏幕朝向的视角。所产生的关于屏幕的信息的空间密度可以被计算。例如，空间密度可以表示为：
例如，如表1中所示，移动环境中的视角可以是小的(例如，对于小型化设备来说是5-10°)。这可以比看TV的用户体验的视角小3-6倍。所产生的空间密度跨过1/60度的视角障碍(可以称为视觉敏锐度极限)。该实例的示例如表1中所示。在一些情况中，密度可以超过敏锐度极限的两倍。
为宽角度观看预备的视频的精细空间细节可以或可以不在移动屏幕上可见。一些或所有空间频率的可视性可以受比例/角度变化的影响。窄视角可以排除可以具有较高时间灵敏度的视觉的外围区域，潜在地可能实现以低于正常用于宽角度再现的速率的速率呈现视频。
可以为不同设备和/或再现设定优化流传输。例如，假定静止(例如宽角度)再现的视频编码如果用于传输给小移动设备，则其是无效的。例如如果知道使用窄视角设置来进行再现，则非常少的比特可以用于实现相同的用户体验。
一个或多个编解码器级和/或预处理工具可以用于编码和/或处理具有窄视角设置的设备的内容(例如视频)。工具可以包括但不限于在编码之前在空间和/或时间上对视频进行下采样，空间和/或时间预滤波(例如在编码之前进行低通滤波)，编解码器级工具的使用(例如，量化、R/D决定逻辑等)等。
这里描述的实施可以提供允许以下中的一者或多者的属性：可以在多个设备上使用的编码的流和/或MPD文件的产生、需要的较少编码和/或MPD文件、针对不同再现环境编码的流的唯一标识(例如，具有相同比特率和/或分辨率但是不同外表的流)、以及DASH客户端中的自适应逻辑(例如使客户端能够根据再现设定和设备来选择合适的表示)。例如，根据这里描述的实施描述用于观看编码的内容的视角的一个或多个属性可以被添加。
根据这里描述的实施，以下中的一者或多者可以被添加，例如如表2、3和4所示：
表2—自适应集元素的示例语义
表3—表示元素的示例语义
表4—自适应集、表示和子表示属性和元素的示例
可以基于设备特性(例如，设备的观看特性)来优化编码。例如，在@视角参数的一些不同值内存在自适应集和/表示的情况下，客户端(例如DASH客户端)可以做出关于使用哪个值的决定。例如，客户端应用可以(例如使用OS供应的API)获得该应用在其上运行的设备的特性。该特性可以包括但不限于设备的移动性(例如，其可以从网络连接的类型中推断出)、屏幕的分辨率和/或可以用于呈现的屏幕的区域、屏幕和/或屏幕对角线的像素密度等。客户端可以例如基于设备的移动性类型和屏幕的尺寸对设备进行分类(例如，分为智能电话、平板电脑、固定设备)。客户端可以选择可以被使用的观看距离和/或视角。例如，对于智能电话来说，可以使用基于已知统计的观看距离的中值。类似的数据可以针对其他类型的设备存在。客户端可以例如使用对观看距离和/或视角的估计，和/或使用表示和/或自适应集的@视角属性的宣称的值来选择要使用的自适应集和/或表示。例如，播放器(例如DASH播放器)可以实现对为特定设备上的最佳观看采用的流的选择。可以需要对内容和/或MPD文件的非自定义(例如每个设备的)编辑(authoring)。
可以基于动态估计的观看距离和/或视角参数来优化编码。在@视角参数的一些不同值内存在自适应集和/或表示的情况下，DASH客户端可以通过使用以下逻辑做出关于使用哪一个的决定：DASH客户端应用可以使用设备传感器(例如，用户接近传感器、IR和/或前置相机)来检测用户的存在，且如果用户存在——检测其离屏幕的距离；使用获得的距离，以及屏幕的特性，DASH客户端可以计算视角；使用视角，以及表示和/或自适应集的@视角属性的宣称的值，客户端然后可以选择要使用的最合适的自适应集和/或表示。DASH客户端中的该逻辑的示例图示在图29中被提供。在图29示出的系统中，客户端还可以在用户不存在和/或不关注屏幕的情况下做出智能决定。该决定可以包括但不限于降低视频质量和/或速率，和/或停止回放。
如这里所述，实施可以提供与多媒体内容的观看条件自适应相关联的方法和系统。例如，设备(例如移动设备、个人计算机、视频会议设备等)可以从网络(例如网络节点，例如但不限于流传输服务器、HTTP服务器等)接收多媒体内容(例如视频)。例如设备可以确定与用户、设备和/或内容相关联的观看参数(例如，多个观看参数)。观看参数可以包括以下至少一者：用户观看参数、设备观看参数或内容观看参数。观看参数可以包括多个观看参数。
如这里所述，用户观看参数可以包括以下至少一者：用户存在、用户相对于设备屏幕的位置、用户相对于设备屏幕的朝向、用户相对于设备屏幕的视角、用户距离设备屏幕的距离、用户的视觉敏锐度、周围光照条件(例如，周围光强度)、观看设备屏幕的用户数量、或用户的关注点。
如这里所述，设备观看参数可以包括以下至少一者：设备的移动性、设备屏幕尺寸、设备屏幕分辨率、设备屏幕的像素密度、设备屏幕的对比度、设备屏幕的亮度、设备上显示多媒体内容的窗口的尺寸、或设备上显示多媒体内容的窗口的位置。如这里所述，内容观看参数可以包括以下至少一者：多媒体内容的对比度、多媒体内容的色域、三维多媒体内容的存在、或多媒体内容的三维内容的深度范围。
设备(例如设备的处理器、位于设备上的DASH客户端、位于设备上的软件等)可以确定观看参数。可以使用以下至少一者来确定观看参数：设备屏幕尺寸、设备屏幕分辨率、设备屏幕角度、设备屏幕的像素密度、设备屏幕的对比率、用户接近传感器、前置相机、后置相机、光传感器、红外成像设备、超声传感器、麦克风、加速度计、罗盘或陀螺仪传感器。例如，设备的传感器(例如，用户接近传感器、前置相机、后置相机、光传感器、红外成像设备、超声传感器、麦克风、加速度计、罗盘或陀螺仪传感器)可以用于确定观看参数或可以用于确定用于确定观看参数的信息。
设备可以将对多媒体内容的请求传送给网络。请求可以基于观看参数。例如，请求可以包括与观看参数有关的信息。网络可以接收并处理请求。网络可以确定用于多媒体内容的速率(例如基于请求)。例如，网络可以基于观看参数确定用于多媒体内容的速率。例如，速率可以与观看参数相关联。设备可以从网络接收多媒体内容。从网络接收的多媒体内容可以根据观看参数以一速率被处理。多媒体内容可以被显示在设备屏幕上。
可以以多个不同速率来处理多媒体内容。例如，每个速率可以是以下至少一者的函数：多媒体内容的编码速率、多媒体内容的空间分辨率、多媒体内容的时间分辨率、量化参数、速率控制参数、多媒体内容的目标比特率、多媒体内容的空间滤波、或多媒体内容的时间滤波。每个速率可以与至少一个观看参数相关联。因此，多媒体内容可以经由不同速率被定制化到观看参数。例如，可以根据用户体验来定制化多媒体内容。
观看参数可以动态改变。例如，根据动态改变的观看参数，提供给设备的多媒体内容的速率可以被动态改变。例如，多媒体内容的速率可以每个预定的多媒体内容的数量(例如，从一个片段到下一个片段)而改变，可以每个预定的时间段而改变等。例如，可以从网络接收以第一速率处理的多媒体内容的第一片段。第一速率可以或可以不基于观看参数。观看参数可以被确定(例如后续的观看参数或改变的观看参数)且对多媒体内容的第二片段的请求可以被传送到网络。根据观看参数(例如后续的观看参数或改变的观看参数)以第二速率处理的多媒体内容的第二片段可以从网络接收。多媒体内容的后续片段的处理速率可以或可以不改变，例如直到整个多媒体内容已经被传输给设备，或连接取消。
传送到网络的请求可以确定设备接收的多媒体内容的速率。例如，请求可以包括设备请求的多媒体内容的特定速率。网络可以根据请求确定设备接收的多媒体内容的速率。例如，请求可以是清单文件(例如，多媒体演示描述(MPD)文件)、SEI消息或其他可以例如包括观看参数的消息。网络可以使用观看参数来选择多媒体内容的速率。
清单文件(例如，多媒体演示描述(MPD)文件)、SEI消息或其他消息可以由设备从网络接收。清单文件(例如，MPD文件)、SEI消息或其他消息可以包括与多媒体内容的速率(例如，所有可用速率)有关的信息。与速率有关的信息可以包括与观看参数相关联的描述符。清单文件(例如，MPD文件)、SEI消息或其他消息可以指示描述符是必需的还是可选的。必需的描述符可以指示设备必须满足描述符的要求来接收以该速率处理的多媒体内容。例如，如果必需的描述符指定“至少36°的视角”的观看参数，则具有计算出的至少36°的视角(例如，满足描述符)的设备(例如仅设备)可以接收以该速率处理的多媒体内容。可选的描述符可以指示设备可以满足描述符的要求，但不是必须满足描述符的要求来接收以该速率处理的多媒体内容。
这里描述的实施可以用于视频会议。例如，第一设备(例如，第一视频会议设备)例如如这里所述(例如，经由SEI消息、请求、信令、不用任何信令等)确定第二设备(例如，第二视频会议设备)的观看参数(例如多个观看参数)。适于观看参数的视频编码的特性可以由第一视频会议设备来确定。视频编码的特性可以包括处理视频内容的速率(例如，如这里所述)。根据确定的视频编码的特性编码的视频内容可以从第一视频会议设备传送到第二视频会议设备。这里针对视频会议描述的实施可以用于任意数量的连接的视频会议设备/由任意数量的连接的视频会议设备使用。
图30A是可以在其中实施一个或多个公开的实施方式的示例通信系统100的图。通信系统100可以是向多个无线用户提供内容(例如语音、数据、视频、消息发送、广播等)的多接入系统。通信系统100可使多个无线用户通过系统资源的共享访问所述内容，所述系统资源包括无线带宽。例如，通信系统100可使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等等。
如图30A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、和/或102d(一般或统称为WTRU 102)，无线电接入网(RAN)103/104/105，核心网106/107/109，公共交换电话网(PSTN)108，因特网110和其他网络112，不过应该理解的是公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中每一个可以是被配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d可以被配置为传送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、消费性电子产品等等。
通信系统100还可以包括基站114a和基站114b。每一个基站114a、114b可以是被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接，以便于接入一个或多个通信网络(例如核心网106/107/109、因特网110和/或网络112)的任何类型的设备。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b每个被描述为单个元件，但是应该理解的是基站114a、114b可以包括任何数量的互连基站和/或网络元件。
基站114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105还可包括其他基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置为在特定地理区域内传送和/或接收无线信号，所述特定地理区域可被称作小区(未示出)。所述小区可进一步划分为小区扇区。例如，与基站114a相关联的小区可划分为三个扇区。因而，在一个实施方式中，基站114a可包括三个收发信机，即小区的每个扇区使用一个收发信机。在另一个实施方式中，基站114a可使用多输入多输出(MIMO)技术，并因此可针对小区的每个扇区使用多个收发信机。
基站114a、114b可通过空中接口115/116/117与WTRU 102a、102b、102c、102d中的一者或多者进行通信，所述空中接口115/116/117可以是任何适当的无线通信链路(例如，射频(RF)，微波，红外线(IR)，紫外线(UV)，可见光等等)。空中接口115/116/117可使用任何适当的无线电接入技术(RAT)来建立。
更具体地，如上所述，通信系统100可以是多接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基站114a和WTRU 102a、102b、102c可以实施无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其可以使用宽带CDMA(WCDMA)建立空中接口115/116/117。WCDMA可以包括通信协议，例如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一个实施方式中，基站114a和WTRU 102a、102b、102c可实施无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115/116/117。
在其他实施方式中，基站114a和WTRU 102a、102b、102c可实施无线电技术，例如IEEE 802.16(即，全球微波接入互操作性(WiMAX))，CDMA2000，CDMA2000 1X，CDMA2000EV-DO，临时标准2000(IS-2000)，临时标准95(IS-95)，临时标准856(IS-856)，全球移动通信系统(GSM)，用于GSM演进的增强型数据速率(EDGE)，GSM EDGE(GERAN)等等。
图30A中的基站114b可以例如是无线路由器、家用节点B、家用e节点B或接入点，并且可以使用任何适当的RAT来便于局部区域中的无线连接，如营业场所、住宅、车辆、校园等等。在一个实施方式中，基站114b和WTRU 102c、102d可实施如IEEE 802.11的无线电技术来建立无线局域网(WLAN)。在另一个实施方式中，基站114b和WTRU 102c、102d可以实施如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。仍然在另一个实施方式中，基站114b和WTRU 102c、102d可使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图30A所示，基站114b可具有到因特网110的直接连接。因此，基站114b可以不必经由核心网106/107/109接入因特网110。
RAN 103/104/105可以与核心网106/107/109通信，所述核心网106/107/109可以是被配置为向WTRU 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或网际协议上的语音(VoIP)服务的任何类型的网络。例如，核心网106/107/109可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行高级安全功能，例如用户认证。虽然图30A中未示出，应该理解的是RAN 103/104/105和/或核心网106/107/109可以与使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN 103/104/105之外，核心网106/107/109还可以与使用GSM无线电技术的另一个RAN(未示出)通信。
核心网106/107/109还可以充当WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的全球互联计算机网络和设备系统，所述公共通信协议例如有TCP/IP互联网协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可以包括被其他服务提供商拥有和/或运营的有线或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个核心网，所述RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。
通信系统100中的WTRU 102a、102b、102c、102d的一些或全部可包括多模式能力，例如，WTRU 102a、102b、102c、102d可包括在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图30A中示出的WTRU 102c可被配置为与基站114a通信和与基站114b通信，所述基站114a可使用基于蜂窝的无线电技术，所述基站114b可使用IEEE 802无线电技术。
图30B是示例WTRU 102的系统图。如图30B所示，WTRU 102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132，电源134、全球定位系统(GPS)芯片组136和其他外围设备138。应该理解的是，在保持与实施方式一致时，WTRU 102可包括前述元件的任何子组合。此外，实施方式构想了基站114a和114b和/或基站114a和114b可以表示的节点可以包括图30B中描述的以及这里描述的元件中的一些或全部，所述节点例如但不限于收发站(BTS)、节点B、站点控制器、接入点(AP)、家用节点B、演进型家用节点B(e节点B)、家用演进型节点B(HeNB)、家用演进型节点B网关以及代理节点，等等。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理，和/或使WTRU 102能够在无线环境中进行操作的任何其他功能。处理器118可耦合到收发信机120，所述收发信机120可耦合到发射/接收元件122。虽然图30B描述了处理器118和收发信机120是分开的部件，但应该理解的是处理器118和收发信机120可一起集成在在电子封装或芯片中。
发射/接收元件122可被配置为通过空中接口115/116/117将信号传送到基站(例如基站114a)，或从该基站接收信号。例如，在一个实施方式中，发射/接收元件122可以是被配置为传送和/或接收RF信号的天线。在另一个实施方式中，发射/接收元件122可以是被配置为传送和/或接收例如IR、UV或可见光信号的发射器/检测器。仍然在另一个实施方式中，发射/接收元件122可被配置为传送和接收RF和光信号两者。应该理解的是发射/接收元件122可被配置为传送和/或接收无线信号的任何组合。
此外，虽然发射/接收元件122在图30B中被描述为单个元件，但是WTRU 102可以包括任意数量的发射/接收元件122。更具体地说，WTRU 102可使用MIMO技术。因此，在一个实施方式中，WTRU 102可包括用于通过空中接口115/116/117传送和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
收发信机120可被配置为调制将由发射/接收元件122传送的信号和解调由发射/接收元件122接收的信号。如上所述，WTRU 102可具有多模式能力。因此，收发信机120可包括使WTRU 102能够经由多种RAT通信的多个收发信机，所述多种RAT例如有UTRA和IEEE802.11。
WTRU 102的处理器118可耦合到下述设备，并可从下述设备接收用户输入数据：扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器118还可输出用户数据到扬声器/麦克风124、键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的适当的存储器中存取信息，并可以存储数据到所述存储器中，所述存储器例如不可移动存储器130和/或可移动存储器132。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储记忆设备。可移动存储器132可包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他的实施方式中，处理器118可从物理上没有位于WTRU 102上(例如在服务器或家用计算机(未示出)上)的存储器中访问信息，并可以将数据存储在所述存储器中。
处理器118可从电源134中接收电能，并可被配置为分配和/或控制到WTRU 102中的其他部件的电能。电源134可以是给WTRU 102供电的任何适当的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)，等等)，太阳能电池，燃料电池等等。
处理器118还可耦合到GPS芯片组136，所述GPS芯片组136可被配置为提供关于WTRU 102当前位置的位置信息(例如，经度和纬度)。除来自GPS芯片组136的信息或作为替代，WTRU 102可通过空中接口115/116/117从基站(例如基站114a、114b)接收位置信息，和/或根据从两个或多个邻近基站接收的信号定时来确定其位置。应该理解的是在保持实施方式的一致性时，WTRU 102可以通过任何适当的位置确定方法获得位置信息。
处理器118还可耦合到其他外围设备138，所述外围设备138可包括一个或多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备138可包括加速计、电子罗盘、卫星收发信机、数字相机(用于图像或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免持耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图30C是根据实施方式的RAN 103和核心网106的系统图。如上所述，RAN 103可使用UTRA无线电技术通过空中接口115与WTRU 102a、102b、102c通信。RAN 103还可与核心网106通信。如图30C所示，RAN 103可包括节点B 140a、140b、140c，其中每个节点B可包括一个或多个收发信机，以用于通过空中接口115与WTRU 102a、102b、102c进行通信。每个节点B140a、140b、140c可与RAN 103中的一个特定小区(未示出)关联。RAN 103也可包括RNC142a、142b。应该理解的是，在与实施方式保持一致时，RAN 103可包括任意数量的节点B和RNC。
如图30C所示，节点B 140a、140b可与RNC 142a通信。此外，节点B140c可与RNC142b通信。节点B 140a、140b、140c可经由Iub接口与各自的RNC 142a、142b通信。RNC 142a、142b可经由Iur接口相互通信。每个RNC 142a、142b可被配置为控制与其连接的各自的节点B 140a、140b、140c。另外，每个RNC 142a、142b可被配置为执行或支持其他功能，例如外环功率控制、负载控制、准许控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。
如图30C所示的核心网106可包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支持节点(GGSN)150。虽然每个前述元件被描述为是核心网106的一部分，但应该理解的是，这些元件中的任何一个元件可由除核心网运营商以外的实体拥有和/或操作。
RAN 103中的RNC 142a可经由IuCS接口与核心网106中的MSC 146连接。MSC 146可与MGW 144连接。MSC 146和MGW 144可向WTRU 102a、102b、102c提供到例如PSTN 108的电路交换网的接入，以便于WTRU 102a、102b、102c与传统陆线通信设备间的通信。
RAN 103中的RNC 142a还可经由IuPS接口与核心网106中的SGSN 148连接。SGSN148可与GGSN 150连接。SGSN 148和GGSN 150可向WTRU 102a、102b、102c提供到例如因特网110的分组交换网的接入，以便于WTRU 102a、102b、102c与IP使能设备间的通信。
如上所述，核心网106还可与网络112连接，网络112可包括由其他服务提供商拥有和/或操作的其他有线或无线网络。
图30D是根据实施方式的RAN 104和核心网107的系统图。如上所述，RAN 104可使用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可与核心网107通信。
RAN 104可包括e节点B 160a、160b、160c，但应该理解的是，在与实施方式保持一致时，RAN 104可包括任意数量的e节点B。每个e节点B 160a、160b、160c可包括一个或多个收发信机，以用于通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方式中，e节点B 160a、160b、160c可实施MIMO技术。因此，e节点B 160a例如可使用多个天线向WTRU102a传送无线信号，以及从WTRU 102a接收无线信号。
每个e节点B 160a、160b、160c可与一个特定小区(未示出)关联，并且可被配置为处理无线电资源管理决策、切换决策、上行链路和/或下行链路中的用户调度等等。如图30D所示，e节点B 160a、160b、160c可通过X2接口相互通信。
如图30D所示的核心网107可包括移动性管理网关(MME)162、服务网关164、和分组数据网络(PDN)网关166。虽然每个前述元件被描述为是核心网107的一部分，应该理解的是，这些元件中的任何一个元件可由除核心网运营商以外的实体拥有和/或运营。
MME 162可经由S1接口与RAN 104中的每个e节点B 160a、160b、160c连接，并且可以充当控制节点。例如，MME 162可负责对WTRU 102a、102b、102c的用户进行认证，承载激活/去激活，在WTRU 102a、102b、102c的初始附着期间选择特定服务网关等等。MME 162还可为RAN 104与其他RAN(未示出)间的切换提供控制平面功能，所述其他RAN使用其他无线电技术，如GSM或WCDMA。
服务网关164可经由S1接口与RAN 104中的每个e节点B 160a、160b、160c连接。服务网关164通常可路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。服务网关164还可执行其他功能，如在e节点B间切换期间锚定用户平面、当下行链路数据可用于WTRU102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等等。
服务网关164还可与PDN网关166连接，该PDN网关166可向WTRU 102a、102b、102c提供到例如因特网110的分组交换网的接入，以便于WTRU 102a、102b、102c与IP使能设备间的通信。
核心网107可便于与其他网络的通信。例如，核心网107可向WTRU 102a、102b、102c提供到例如PSTN 108的电路交换网的接入，以便于WTRU 102a、102b、102c与传统陆线通信设备间的通信。例如，核心网107可包括IP网关(例如，IP多媒体子系统(IMS)服务器)，或与IP网关通信，该IP网关充当核心网107与PSTN 108间的接口。另外，核心网107可向WTRU102a、102b、102c提供到网络112的接入，该网络112可包括由其他服务提供商拥有和/或运营的其他有线或无线网络。
图30E是根据实施方式的RAN 105和核心网109的系统图。RAN 105可以是使用IEEE802.16无线电技术通过空中接口117与WTRU 102a、102b、102c通信的接入服务网络(ASN)。下面将进一步讨论，WTRU 102a、102b、102c、RAN 105与核心网109的不同功能实体间的通信链路可定义为参考点。
如图30E所示，RAN 105可包括基站180a、180b、180c和ASN网关182，但应该理解的是，在保持与实施方式一致时，RAN 105可包括任意数量的基站和ASN网关。每个基站180a、180b、180c可与RAN 105中的特定小区(未示出)关联，并可以包括一个或多个收发信机，以用于通过空中接口117与WTRU 102a、102b、102c通信。在一个实施方式中，基站180a、180b、180c可实施MIMO技术。因此，基站180a例如可使用多个天线向WTRU 102a传送无线信号，以及从WTRU 102a接收无线信号。基站180a、180b、180c还可提供移动性管理功能，如切换(handoff)触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行等等。ASN网关182可作为业务聚集点，并可负责寻呼、用户简档缓存、至核心网109的路由等等。
WTRU 102a、102b、102c与RAN 105间的空中接口117可被定义为实施IEEE 802.16规范的R1参考点。另外，每个WTRU 102a、102b、102c可建立与核心网109的逻辑接口(未示出)。WTRU 102a、102b、102c与核心网109之间的逻辑接口可被定义为R2参考点，该R2参考点可用于认证、授权、IP主机配置管理、和/或移动性管理。
每个基站180a、180b、180c间的通信链路可被定义为R8参考点，该R8参考点包括用于便于WTRU切换和基站间数据传输的协议。基站180a、180b、180c与ASN网关182间的通信链路可被定义为R6参考点。R6参考点可包括用于便于基于与每个WTRU 102a、102b、102c关联的移动性事件的移动性管理的协议。
如图30E所示，RAN 105可与核心网109连接。RAN 105与核心网109间的通信链路例如可被定义为R3参考点，该R3参考点包括用于便于数据传输和移动性管理能力的协议。核心网109可包括移动IP本地代理(MIP-HA)184、认证、授权、计费(AAA)服务器186和网关188。虽然每个前述元件被描述为是核心网109的一部分，应当理解的是，这些元件中的任何一个元件可由除核心网运营商以外的实体拥有和/或运营。
MIP-HA可以负责IP地址管理，并可以使WTRU 102a、102b、102c能够在不同ASN和/或不同核心网之间漫游。MIP-HA 184可以向WTRU 102a、102b、102c提供到例如因特网110的分组交换网的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可以便于与其他网络互通。例如，网关188可以向WTRU 102a、102b、102c提供到例如PSTN 108的电路交换网络的接入，以便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。此外，网关188可以向WTRU 102a、102b、102c提供到网络112的接入，该网络112可以包括由其他服务提供商拥有和/或运营的其他有线或无线网络。
尽管未在图30E中显示，应当理解的是，RAN 105可以连接到其他ASN，并且核心网109可以连接至其他核心网。RAN 105与其他ASN之间的通信链路可以被定义为R4参考点，其可以包括用于协调在RAN 105与其他ASN之间的WTRU 102a、102b、102c的移动性的协议。核心网109与其他核心网之间的通信链路可以被定义为R5参考，其可以包括便于本地核心网与被拜访核心网之间互通的协议。
虽然上面以特定的组合描述了特征和元素，但是本领域的普通技术人员可以理解，每个特征或元素可以单独使用，或与其他的特征和元素进行组合使用。此外，这里描述的方法可以在引入到计算机可读介质中并供计算机或处理器运行的计算机程序、软件或固件实施。计算机可读介质的示例包括电子信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质(例如内部硬盘和可移动磁盘)，磁光介质和光介质(例如CD光盘或数字通用盘(DVD))。与软件关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何主计算机中使用的射频收发信机。

Claims (13)

1.一种使用移动设备接收多媒体内容的方法，该方法包括：
从网络发送针对所述多媒体内容的第一动态自适应HTTP流(DASH)片段的第一HTTPGET请求，所述第一DASH片段以第一速率被处理；
从所述网络接收所述多媒体内容的所述第一DASH片段；
开始回放所述多媒体内容的所述第一DASH片段；
接收来自所述移动设备的专用接近传感器的第一输入，其中所述专用接近传感器被配置成关闭所述移动设备的屏幕的背光；以及
基于来自被配置成关闭所述屏幕的所述背光的所述专用接近传感器的所述第一输入，确定停止向所述网络发送针对所述对多媒体内容的后续DASH片段的HTTP GET请求。
2.根据权利要求1所述的方法，该方法还包括：
从所述移动设备的所述专用接近传感器接收第二输入；
确定所述移动设备的所述屏幕的像素密度；
确定发送针对所述多媒体内容的第二DASH片段的第二HTTP GET请求，该第二DASH片段以第二速率被处理，针对所述第二DASH片段的所述第二HTTP GET请求基于来自所述专用接近传感器的所述第二输入和所述移动设备的所述屏幕的所述像素密度，所述第二速率不同于所述第一速率；
将针对所述多媒体内容的所述第二DASH片段的所述第二HTTP GET请求传送到所述网络；以及
从所述网络接收所述多媒体内容的所述第二DASH片段。
3.根据权利要求2所述的方法，其中，所述第二速率是以下中的至少一者的函数：所述多媒体内容的编码速率、所述多媒体内容的空间分辨率、所述多媒体内容的时间分辨率、量化参数、速率控制参数、所述多媒体内容的目标比特率、所述多媒体内容的空间滤波或者所述多媒体内容的时间滤波。
4.根据权利要求1所述的方法，该方法还包括：
从所述移动设备的所述专用接近传感器接收第二输入；
确定所述移动设备的所述屏幕的亮度或周围光照条件；
确定发送针对所述多媒体内容的第二DASH片段的第二HTTP GET请求，该第二DASH片段以第二速率被处理，针对所述第二DASH片段的所述第二HTTP GET请求基于来自所述专用接近传感器的所述第二输入和所述移动设备的所述屏幕的所述亮度或所述周围光照条件，所述第二速率不同于所述第一速率；
将针对所述多媒体内容的所述第二DASH片段的所述第二HTTP GET请求传送到所述网络；以及
从所述网络接收所述多媒体内容的所述第二DASH片段。
5.根据权利要求1所述的方法，其中，所述方法由位于所述移动设备上的DASH客户端执行，并且其中，所述多媒体内容包括视频文件。
6.根据权利要求1所述的方法，该方法还包括：
从所述移动设备的所述专用接近传感器接收第二输入；
基于来自所述专用接近传感器的所述第二输入，确定发送针对所述多媒体内容的第二DASH片段的第二HTTP GET请求；
将针对所述多媒体内容的所述第二DASH片段的所述第二HTTP GET请求传送到所述网络；以及
从所述网络接收所述多媒体内容的所述第二DASH片段。
7.一种被配置成接收多媒体内容的移动设备，所述移动设备包括：
处理器，被配置成：
从网络发送针对所述多媒体内容的第一动态自适应HTTP流(DASH)片段的第一HTTPGET请求，所述第一DASH片段以第一速率被处理；
从所述网络接收所述多媒体内容的所述第一DASH片段；
开始回放所述多媒体内容的所述第一DASH片段；
接收来自所述移动设备的专用接近传感器的第一输入，其中所述专用接近传感器被配置成关闭所述移动设备的屏幕的背光；以及
基于来自被配置成关闭所述屏幕的所述背光的所述专用接近传感器的所述第一输入，确定停止向所述网络发送针对所述对多媒体内容的后续DASH片段的HTTP GET请求。
8.根据权利要求7所述的移动设备，其中，所述处理器还被配置成：
从所述移动设备的所述专用接近传感器接收第二输入；
确定所述移动设备的所述屏幕的像素密度；
确定发送针对所述多媒体内容的第二DASH片段的第二HTTP GET请求，该第二DASH片段以第二速率被处理，针对所述第二DASH片段的所述第二HTTP GET请求基于来自所述专用接近传感器的所述第二输入和所述移动设备的所述屏幕的所述像素密度，所述第二速率不同于所述第一速率；
将针对所述多媒体内容的所述第二DASH片段的所述第二HTTP GET请求传送到所述网络；以及
从所述网络接收所述多媒体内容的所述第二DASH片段。
9.根据权利要求8所述的移动设备，其中，所述第二速率是以下中的至少一者的函数：所述多媒体内容的编码速率、所述多媒体内容的空间分辨率、所述多媒体内容的时间分辨率、量化参数、速率控制参数、所述多媒体内容的目标比特率、所述多媒体内容的空间滤波或者所述多媒体内容的时间滤波。
10.根据权利要求7所述的移动设备，其中，所述处理器还被配置成：
从所述移动设备的所述专用接近传感器接收第二输入；
确定所述移动设备的所述屏幕的亮度或周围光照条件；
确定发送针对所述多媒体内容的第二DASH片段的第二HTTP GET请求，该第二DASH片段以第二速率被处理，针对所述第二DASH片段的所述第二HTTP GET请求基于来自所述专用接近传感器的所述第二输入和所述移动设备的所述屏幕的所述亮度或所述周围光照条件，所述第二速率不同于所述第一速率；
将针对所述多媒体内容的所述第二DASH片段的所述第二HTTP GET请求传送到所述网络；以及
从所述网络接收所述多媒体内容的所述第二DASH片段。
11.根据权利要求7所述的移动设备，其中，所述处理器是位于所述移动设备上的DASH客户端的部分，并且其中，所述多媒体内容包括视频文件。
12.根据权利要求7所述的移动设备，其中，所述处理器还被配置成：
从所述移动设备的所述专用接近传感器接收第二输入；
基于来自所述专用接近传感器的所述第二输入，确定发送针对所述多媒体内容的第二DASH片段的第二HTTP GET请求；
将针对所述多媒体内容的所述第二DASH片段的所述第二HTTP GET请求传送到所述网络；以及
从所述网络接收所述多媒体内容的所述第二DASH片段。
13.一种确定用户与移动设备的距离的方法，该方法包括：
获得与所述移动设备的相机相关联的一个或多个相机参数，所述相机参数包括与所述移动设备的所述相机相关联的分辨率和角度；
使用所述移动设备的所述相机捕获图像；
检测所捕获的图像内的所述用户的面部的位置；
从所捕获的图像测量所述用户的眼睛之间的距离；
基于所测量的距离计算用户瞳孔间距(IPD)；以及
基于所计算的IPD确定所述用户与所述移动设备的距离。
CN201811360870.4A 2012-01-19 2013-01-18 使用移动设备接收多媒体内容的方法及该移动设备 Pending CN109905728A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261588588P 2012-01-19 2012-01-19
US61/588,588 2012-01-19
US201261671633P 2012-07-13 2012-07-13
US61/671,633 2012-07-13
US201261672668P 2012-07-17 2012-07-17
US61/672,668 2012-07-17
CN201380006173.8A CN104067628B (zh) 2012-01-19 2013-01-18 用于支持对观看条件自适应的视频传输的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380006173.8A Division CN104067628B (zh) 2012-01-19 2013-01-18 用于支持对观看条件自适应的视频传输的方法和系统

Publications (1)

Publication Number Publication Date
CN109905728A true CN109905728A (zh) 2019-06-18

Family

ID=47739475

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380006173.8A Active CN104067628B (zh) 2012-01-19 2013-01-18 用于支持对观看条件自适应的视频传输的方法和系统
CN201811360870.4A Pending CN109905728A (zh) 2012-01-19 2013-01-18 使用移动设备接收多媒体内容的方法及该移动设备
CN202210481072.7A Pending CN115086767A (zh) 2012-01-19 2013-01-18 使用移动设备接收多媒体内容的方法及该移动设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380006173.8A Active CN104067628B (zh) 2012-01-19 2013-01-18 用于支持对观看条件自适应的视频传输的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210481072.7A Pending CN115086767A (zh) 2012-01-19 2013-01-18 使用移动设备接收多媒体内容的方法及该移动设备

Country Status (7)

Country Link
US (2) US20130195204A1 (zh)
EP (2) EP2805523B1 (zh)
JP (2) JP6145460B2 (zh)
KR (4) KR101833034B1 (zh)
CN (3) CN104067628B (zh)
TW (2) TW201811029A (zh)
WO (1) WO2013109941A2 (zh)

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657622B1 (en) * 2003-12-23 2010-02-02 At&T Intellectual Property Ii, L.P. Unified web hosting and content distribution system and method for assuring predetermined performance levels
US8751800B1 (en) * 2011-12-12 2014-06-10 Google Inc. DRM provider interoperability
JP6396808B2 (ja) 2012-02-17 2018-09-26 インターデイジタル パテント ホールディングス インコーポレイテッド 輻輳を処理するおよび／またはユーザ体感品質を管理するための階層的トラフィック区分化
US8924582B2 (en) * 2012-07-09 2014-12-30 Futurewei Technologies, Inc. Dynamic adaptive streaming over hypertext transfer protocol client behavior framework and implementation of session management
US9585054B2 (en) 2012-07-19 2017-02-28 Interdigital Patent Holdings, Inc. Method and apparatus for detecting and managing user plane congestion
US20140156865A1 (en) * 2012-11-30 2014-06-05 Futurewei Technologies, Inc. Generic Substitution Parameters in DASH
US9386062B2 (en) * 2012-12-28 2016-07-05 Qualcomm Incorporated Elastic response time to hypertext transfer protocol (HTTP) requests
TW201442527A (zh) 2013-01-11 2014-11-01 Interdigital Patent Holdings 使用者平面壅塞管理
US9042605B2 (en) * 2013-02-15 2015-05-26 Google Inc. Determining a viewing distance for a computing device
US9743326B2 (en) * 2013-03-14 2017-08-22 Interdigital Patent Holdings, Inc. Anchor node selection in a distributed mobility management environment
US9438652B2 (en) * 2013-04-15 2016-09-06 Opentv, Inc. Tiered content streaming
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
JP2014212456A (ja) * 2013-04-18 2014-11-13 ソニー株式会社 送信装置、メタファイル送信方法、受信装置および受信処理方法
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
CN105408916B (zh) * 2013-07-26 2019-07-23 华为技术有限公司 用于自适应流媒体中的空间自适应的系统和方法
US10182038B2 (en) 2013-07-29 2019-01-15 Mobitv, Inc. Efficient common storage of partially encrypted content
KR20160048199A (ko) * 2013-08-29 2016-05-03 브이아이디 스케일, 인크. 사용자 적응 영상 통화
US9807452B2 (en) * 2013-10-07 2017-10-31 Samsung Electronics Co., Ltd. Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network
WO2015060349A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示制御装置、配信装置、表示制御方法、および表示制御システム
US9800638B2 (en) * 2013-11-04 2017-10-24 At&T Intellectual Property I, L.P. Downstream bandwidth aware adaptive bit rate selection
US9363333B2 (en) * 2013-11-27 2016-06-07 At&T Intellectual Property I, Lp Server-side scheduling for media transmissions
US9330101B2 (en) 2013-12-18 2016-05-03 Microsoft Technology Licensing, Llc Using constraints on media file formats to improve performance
US20150179149A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Dynamic gpu & video resolution control using the retina perception model
KR20150083429A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법
US20150261425A1 (en) * 2014-03-14 2015-09-17 Apple Inc. Optimized presentation of multimedia content
US9530450B2 (en) * 2014-03-18 2016-12-27 Vixs Systems, Inc. Video system with fovea tracking and methods for use therewith
US10165028B2 (en) * 2014-03-25 2018-12-25 Intel Corporation Context-aware streaming of digital content
US10045050B2 (en) 2014-04-25 2018-08-07 Vid Scale, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
US9678345B1 (en) * 2014-08-15 2017-06-13 Rockwell Collins, Inc. Dynamic vergence correction in binocular displays
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
FR3026589A1 (fr) * 2014-09-30 2016-04-01 Orange Procede et dispositif d'adaptation d'affichage d'un flux video par un client
JP6365229B2 (ja) * 2014-10-23 2018-08-01 株式会社デンソー 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム
US9313508B1 (en) 2014-10-29 2016-04-12 Qualcomm Incorporated Feeding intra-coded video frame after port reconfiguration in video telephony
KR102288087B1 (ko) * 2014-11-25 2021-08-10 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
CN105812850A (zh) * 2014-12-31 2016-07-27 乐视网信息技术（北京）股份有限公司 一种视频文件播放方法及其系统
MY194189A (en) * 2015-02-11 2022-11-18 Vid Scale Inc Systems and methods for generalized http headers in dynamic adaptive streaming over http (dash)
US9706356B2 (en) * 2015-03-25 2017-07-11 Htc Corporation Positioning system and method
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
WO2016171528A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN107637083A (zh) * 2015-05-18 2018-01-26 Lg电子株式会社 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
JP6616592B2 (ja) * 2015-05-20 2019-12-04 日本放送協会 符号化装置及びそのプログラム
CN104935971B (zh) * 2015-06-02 2018-08-07 阔地教育科技有限公司 一种在线课堂中的视频传输动态调整方法及系统
US10200725B2 (en) * 2015-06-15 2019-02-05 Intel Corporation Adaptive data streaming based on virtual screen size
US9872028B2 (en) * 2015-06-26 2018-01-16 Intel Corporation Wireless display adaptations and optimizations based on unfiltered and regional feedback
WO2017054142A1 (zh) * 2015-09-29 2017-04-06 华为技术有限公司 获取视频数据的方法、装置、系统及计算机可读存储介质
MX2018005762A (es) * 2015-11-09 2018-08-01 Thomson Licensing Metodo y dispositivo para adaptar el contenido de video decodificado de corrientes elementales a las caracteristicas de una pantalla.
JP2017126941A (ja) * 2016-01-15 2017-07-20 株式会社サイバーエージェント コンテンツ配信システム
CN107925669B (zh) * 2016-01-28 2021-01-26 联发科技股份有限公司 一种消息交互的方法和提供媒体服务的系统
KR101798321B1 (ko) * 2016-02-19 2017-11-15 서울과학기술대학교 산학협력단 자유 시점 방송의 송수신 장치 및 방법
KR101718127B1 (ko) * 2016-02-24 2017-03-20 광운대학교 산학협력단 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법
JP2017157903A (ja) 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
JP2017163287A (ja) 2016-03-08 2017-09-14 富士ゼロックス株式会社 表示装置
US20170279866A1 (en) * 2016-03-22 2017-09-28 Intel Corporation Adaptation of streaming data based on the environment at a receiver
US10382820B2 (en) * 2016-04-01 2019-08-13 Huawei Technologies Co., Ltd. Apparatus and method for bandwidth allocation as a function of a sensed characteristic of a user
US10474745B1 (en) 2016-04-27 2019-11-12 Google Llc Systems and methods for a knowledge-based form creation platform
US11039181B1 (en) 2016-05-09 2021-06-15 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US10750248B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for server-side content delivery network switching
US10785508B2 (en) 2016-05-10 2020-09-22 Google Llc System for measuring video playback events using a server generated manifest/playlist
US10750216B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for providing peer-to-peer content delivery
US11069378B1 (en) 2016-05-10 2021-07-20 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
US10771824B1 (en) 2016-05-10 2020-09-08 Google Llc System for managing video playback using a server generated manifest/playlist
US10595054B2 (en) 2016-05-10 2020-03-17 Google Llc Method and apparatus for a virtual online video channel
US11032588B2 (en) * 2016-05-16 2021-06-08 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
US10841566B2 (en) 2016-05-26 2020-11-17 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
GB2552943A (en) 2016-08-09 2018-02-21 V-Nova Ltd Adaptive video consumption
US10148512B2 (en) * 2016-08-12 2018-12-04 T-Mobile Usa, Inc. Mobile video optimization
WO2018069412A1 (en) * 2016-10-12 2018-04-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatially unequal streaming
CN108093197B (zh) * 2016-11-21 2021-06-15 阿里巴巴集团控股有限公司 用于信息分享的方法、系统及机器可读介质
CN108282449B (zh) * 2017-01-06 2020-10-09 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
KR101748382B1 (ko) * 2017-02-03 2017-06-16 주식회사 헤카스 비디오 스트리밍 제공 방법 및 시스템
JP6247782B1 (ja) * 2017-02-15 2017-12-13 パナソニック株式会社 端末装置、映像配信システムおよび映像配信方法
US11166072B2 (en) 2017-03-23 2021-11-02 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
US20180310040A1 (en) * 2017-04-21 2018-10-25 Nokia Technologies Oy Method and apparatus for view dependent delivery of tile-based video content
CN108882018B (zh) 2017-05-09 2020-10-20 阿里巴巴（中国）有限公司 虚拟场景中的视频播放、数据提供方法、客户端及服务器
US10623724B2 (en) 2017-07-19 2020-04-14 International Business Machines Corporation Adaptive display environment for dynamic applications
CN110945494A (zh) * 2017-07-28 2020-03-31 杜比实验室特许公司 向客户端提供媒体内容的方法和系统
JP6277318B1 (ja) * 2017-10-10 2018-02-07 パナソニック株式会社 端末装置、映像配信システムおよび映像配信方法
JP6271072B1 (ja) * 2017-10-10 2018-01-31 パナソニック株式会社 端末装置、映像配信システムおよび映像配信方法
US20190124392A1 (en) * 2017-10-24 2019-04-25 International Business Machines Corporation Determining quality issues in advance of a media broadcast
KR101941789B1 (ko) * 2017-12-13 2019-01-24 가천대학교 산학협력단 뷰포트와 타일 크기에 기초한 가상 현실 비디오 전송
WO2019117629A1 (ko) * 2017-12-12 2019-06-20 가천대학교 산학협력단 뷰포트 정보를 이용한 가상 현실 비디오 스트리밍
CN108200456A (zh) * 2017-12-29 2018-06-22 重庆洪深现代视声技术有限公司 能够智能切换asi码流设备的遥控装置
US10931977B2 (en) 2018-03-15 2021-02-23 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
EP3541074B1 (en) * 2018-03-15 2022-07-13 Comcast Cable Communications LLC Systems, methods, and apparatuses for processing video
CN108600691B (zh) * 2018-04-02 2020-11-03 深圳臻迪信息技术有限公司 图像采集方法、装置及系统
US11210965B2 (en) * 2018-05-17 2021-12-28 Pearson Education, Inc. Diagnostic analyzer for visual-spatial content
US10664047B2 (en) * 2018-05-17 2020-05-26 International Business Machines Corporation Displaying visually aligned content of a mobile device
WO2020024576A1 (zh) 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
JP6781239B2 (ja) * 2018-12-10 2020-11-04 ソフトバンク株式会社 表示装置、表示方法及び表示プログラム
CN109600668B (zh) * 2019-01-10 2021-03-30 京东方科技集团股份有限公司 Vr头戴设备、显示系统及方法
EP3915269A1 (en) 2019-01-24 2021-12-01 PCMS Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
CN114424187A (zh) 2019-08-02 2022-04-29 杜比实验室特许公司 用于自适应性个性化媒体译码和递送的个性化敏感度测量和重放因素
CN112533034B (zh) * 2019-09-17 2023-08-25 青岛海信宽带多媒体技术有限公司 基于hls的视频提供方法、装置、设备、介质及系统
CN110662109B (zh) * 2019-09-29 2022-10-18 咪咕动漫有限公司 一种视频播放方法、电子设备及计算机可读存储介质
CN110689485B (zh) * 2019-10-14 2022-11-04 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
US11302291B1 (en) * 2019-11-27 2022-04-12 Amazon Technologies, Inc. Device agnostic user interface generation
CN111491119A (zh) * 2020-04-22 2020-08-04 上海微阱电子科技有限公司 一种支持全局曝光和卷帘曝光的像元结构
WO2021230001A1 (ja) * 2020-05-11 2021-11-18 ソニーグループ株式会社 情報処理装置及び情報処理方法
US11616589B2 (en) 2020-06-25 2023-03-28 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music near live with no latency
US11563504B2 (en) * 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples
US11539935B2 (en) * 2020-12-02 2022-12-27 Meta Platforms Technologies, Llc Videotelephony with parallax effect
US11336707B1 (en) 2020-12-21 2022-05-17 T-Mobile Usa, Inc. Adaptive content transmission
JP7325740B2 (ja) * 2021-03-09 2023-08-15 学校法人金沢医科大学 見え方シミュレーション方法及びプログラム
US20230164387A1 (en) * 2021-11-24 2023-05-25 Phenix Real Time Solutions, Inc. Eye gaze as a proxy of attention for video streaming services
US11665215B1 (en) * 2022-05-05 2023-05-30 At&T Intellectual Property I, L.P. Content delivery system
WO2024069534A1 (en) * 2022-09-30 2024-04-04 Sightful Computers Ltd Adaptive extended reality content presentation in multiple physical environments

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070136772A1 (en) * 2005-09-01 2007-06-14 Weaver Timothy H Methods, systems, and devices for bandwidth conservation
US20070177852A1 (en) * 2006-01-31 2007-08-02 Hideo Ando Information reproducing system using information storage medium
US20090278032A1 (en) * 2004-12-30 2009-11-12 Bsh Bosch Und Siemens Haugeräte Gmbh Method for regulating the backlighting of a display
CN101815227A (zh) * 2009-02-19 2010-08-25 索尼株式会社 图像处理设备和方法
US20100250765A1 (en) * 2009-03-31 2010-09-30 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
US20100254670A1 (en) * 2009-04-06 2010-10-07 International Buisness Machines Corporation Content Recorder Multi-Angle Viewing and Playback
WO2011101448A2 (en) * 2010-02-19 2011-08-25 Skype Limited Data compression for video

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100320465B1 (ko) 1999-01-11 2002-01-16 구자홍 홍채 인식 시스템
KR100320188B1 (ko) 1999-03-23 2002-01-10 구자홍 홍채인식 시스템의 위조 판별방법
JP2000276123A (ja) * 1999-03-26 2000-10-06 Canon Inc 表示装置及びコンピュータ読み取り可能な記憶媒体
KR100343223B1 (ko) 1999-12-07 2002-07-10 윤종용 화자 위치 검출 장치 및 그 방법
JP3812272B2 (ja) * 2000-03-08 2006-08-23 ヤマハ株式会社 データサーバシステム
US7027061B1 (en) * 2000-09-28 2006-04-11 Rockwell Automation Technologies, Inc. Raster engine with multiple color depth digital display interface
KR100649303B1 (ko) 2000-11-16 2006-11-24 엘지전자 주식회사 양쪽 눈의 홍채 이미지 집사 장치
US7215797B2 (en) 2001-02-02 2007-05-08 Lg Electronics Inc. Iris recognition system
US7271839B2 (en) 2001-03-15 2007-09-18 Lg Electronics Inc. Display device of focal angle and focal distance in iris recognition system
US7095901B2 (en) 2001-03-15 2006-08-22 Lg Electronics, Inc. Apparatus and method for adjusting focus position in iris recognition system
US20030009542A1 (en) * 2001-06-14 2003-01-09 Kasal Alpay O. Digital entertainment solution
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
KR100854890B1 (ko) 2001-12-28 2008-08-28 엘지전자 주식회사 홍채 인식 시스템의 다중 조명을 이용한 홍채 등록 및인식방법
KR100842501B1 (ko) 2002-02-21 2008-07-01 엘지전자 주식회사 홍채 인식 시스템의 눈위치 표시장치
KR20040062247A (ko) 2003-01-02 2004-07-07 엘지전자 주식회사 홍채 인식 카메라의 구조 및 그 사용 방법
CN101189882B (zh) * 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8015590B2 (en) 2004-12-30 2011-09-06 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
US8184132B2 (en) 2005-03-01 2012-05-22 Panasonic Corporation Electronic display device medium and screen display control method used for electronic display medium
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US7714265B2 (en) * 2005-09-30 2010-05-11 Apple Inc. Integrated proximity sensor and light sensor
JP2007110312A (ja) * 2005-10-12 2007-04-26 Matsushita Electric Ind Co Ltd 通信システム、テレビ電話システム及び端末
US20070091920A1 (en) * 2005-10-20 2007-04-26 Harris John M System and method for improving the capacity of a network
CN1859561B (zh) * 2005-11-01 2010-05-12 华为技术有限公司 流媒体点播系统及方法
JP4359720B2 (ja) * 2006-05-12 2009-11-04 株式会社カシオ日立モバイルコミュニケーションズ 映像音声再生装置
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
MX2011003486A (es) * 2008-10-08 2011-04-21 Sharp Kk Sistema de transmision inalambrica y metodo de transmision inalambrica.
CN101742282A (zh) * 2008-11-24 2010-06-16 深圳Tcl新技术有限公司 一种调整显示设备视频内容参数的方法、系统及设备
JP2010176307A (ja) * 2009-01-28 2010-08-12 Toshiba Corp 電子装置及び電子装置の制御方法と制御プログラム
KR101032726B1 (ko) 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
US9124642B2 (en) * 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
KR101626159B1 (ko) 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
US8427476B2 (en) * 2009-12-14 2013-04-23 Acer Incorporated System and method for automatically adjusting visual setting of display device
KR20110069563A (ko) 2009-12-17 2011-06-23 엘지전자 주식회사 영상표시장치 및 그 동작 방법
JP5047261B2 (ja) * 2009-12-18 2012-10-10 株式会社東芝 録画再生装置、録画再生方法及びプログラム
CA2784233C (en) * 2010-01-18 2017-05-16 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for http media stream distribution
JP5996439B2 (ja) * 2010-02-19 2016-09-21 テレフオンアクチーボラゲット エルエム エリクソン（パブル） Ｈｔｔｐストリーミングにおける表現切り替えのための方法及び装置
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
WO2012015460A1 (en) 2010-07-26 2012-02-02 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
EP2453386B1 (en) 2010-11-11 2019-03-06 LG Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
US8849950B2 (en) * 2011-04-07 2014-09-30 Qualcomm Incorporated Network streaming of video data using byte range requests
WO2011100901A2 (zh) * 2011-04-07 2011-08-25 华为技术有限公司 媒体内容的传输处理方法、装置与系统
KR101449748B1 (ko) 2011-08-18 2014-10-13 엘지디스플레이 주식회사 입체영상 디스플레이장치 및 그 구동 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278032A1 (en) * 2004-12-30 2009-11-12 Bsh Bosch Und Siemens Haugeräte Gmbh Method for regulating the backlighting of a display
US20070136772A1 (en) * 2005-09-01 2007-06-14 Weaver Timothy H Methods, systems, and devices for bandwidth conservation
US20070177852A1 (en) * 2006-01-31 2007-08-02 Hideo Ando Information reproducing system using information storage medium
CN101815227A (zh) * 2009-02-19 2010-08-25 索尼株式会社 图像处理设备和方法
US20100250765A1 (en) * 2009-03-31 2010-09-30 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
US20100254670A1 (en) * 2009-04-06 2010-10-07 International Buisness Machines Corporation Content Recorder Multi-Angle Viewing and Playback
WO2011101448A2 (en) * 2010-02-19 2011-08-25 Skype Limited Data compression for video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LUCIANO RUBIO ROMERO: ""A Dynamic Adaptive HTTP Streaming Video Service"", 《KTH INFORMATION AND COMMUNICATION TECHNOLOGY》 *

Also Published As

Publication number Publication date
JP2017169227A (ja) 2017-09-21
CN104067628B (zh) 2018-12-04
TW201349870A (zh) 2013-12-01
TW201811029A (zh) 2018-03-16
KR20190011337A (ko) 2019-02-01
CN104067628A (zh) 2014-09-24
EP2805523B1 (en) 2019-03-27
EP3506644A1 (en) 2019-07-03
US20210235126A1 (en) 2021-07-29
EP2805523A2 (en) 2014-11-26
CN115086767A (zh) 2022-09-20
JP6145460B2 (ja) 2017-06-14
US11849153B2 (en) 2023-12-19
KR20140115354A (ko) 2014-09-30
KR102011499B1 (ko) 2019-10-21
KR101833034B1 (ko) 2018-02-27
WO2013109941A2 (en) 2013-07-25
KR101944092B1 (ko) 2019-01-30
EP3506644B1 (en) 2020-12-30
KR20190097306A (ko) 2019-08-20
WO2013109941A3 (en) 2013-09-19
US20130195204A1 (en) 2013-08-01
KR20180021252A (ko) 2018-02-28
JP2015510325A (ja) 2015-04-02

Similar Documents

Publication Publication Date Title
CN104067628B (zh) 用于支持对观看条件自适应的视频传输的方法和系统
Yaqoob et al. A survey on adaptive 360 video streaming: Solutions, challenges and opportunities
US11356638B2 (en) User-adaptive video telephony
CN105684453B (zh) 用于观看环境中视觉信息的自适应递送的观看条件估计
JP2013514004A (ja) 近位および遠位に焦点が合わされた画像を用いた３次元記録表示システム
Su et al. 3D video communications: Challenges and opportunities
US11924397B2 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
EP4008095B1 (en) Personalized sensitivity measurements and playback factors for adaptive and personalized media coding and delivery
CN114375583A (zh) 用于自适应小透镜光场传输和渲染的系统和方法
Reznik User-adaptive mobile video streaming using MPEG-DASH
Hawkins Digital Stereo Video: display, compression and transmission
Lebreton Assessing human depth perception for 2D and 3D stereoscopic images and video and its relation with the overall 3D QoE
Liu et al. Scalable 3D video streaming over P2P networks with playback length changeable chunk segmentation
De Silva Improving Perceptual Quality of 3DTV Systems
Hasan Psychovisual Effect Analysis and Perceptual Quality Measure for Error Resilient Stereoscopic Video Transmission
Karam et al. Caractérisation multidimensionnelle de la qualité d'expérience en télévision de la TV3D stéréoscopique
Yasakethu Perceptual quality driven 3D video communications
Gutiérrez Sánchez et al. Subjective assessment of the impact of transmission errors in 3DTV compared to HDTV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190618