CN111052753A - 跟踪式视频缩放 - Google Patents

Abstract

公开了用于由客户端进行动态画中画(PIP)的系统、方法和手段。所述客户端可以驻留在任何设备上。所述客户端可以从服务器接收视频内容，并且使用对象辨识或元数据中的至少一个来识别所述视频内容内的对象。所述元数据可以包括指示对象在所述视频内容的帧内的位置的信息。所述客户端可以接收用户对所述对象的选择，并且使用对象辨识或元数据中的至少一个来确定所述对象跨所述视频内容的多个帧的位置数据。所述客户端可以在跨越所述视频内容的多个帧的PIP窗口内显示所述对象的放大和延时版本。替代地或另外，所述PIP窗口在每一帧内的位置可以是固定的或可以基于所述对象在每一帧内的位置。

Description

跟踪式视频缩放

相关申请的交叉引用

本申请要求在2017年8月30日提交的美国临时专利申请No.62/552,032的权益，其内容通过引用而被结合于此。

背景技术

各种数字视频压缩技术实现了有效的数字视频通信、分发和消费。标准化视频压缩技术的一些示例是H.261、MPEG-1、MPEG-2、H.263、MPEG-4部分2和H.264/MPEG-4部分10AVC。先进的视频压缩技术(例如，高效视频编码(HEVC))可以在与H.264/AVC相比相同的视频质量下提供两倍的压缩或一半的比特率。

发明内容

公开了用于由客户端进行动态画中画(PIP)的系统、方法和手段。客户端可以例如驻留在任何设备上，诸如有线设备(例如，电视(TV))或无线发射/接收单元(WTRU)(例如，智能TV、手持无线设备等)。所述设备可从服务器接收视频内容，且使用对象辨识或元数据中的至少一者来识别所述视频内容内的对象。所述元数据可以包括指示对象在所述视频内容的帧内的位置的信息。所述元数据可以在所述视频内容中被提供或者与所述视频内容一起被提供。所述设备可以接收用户对所述对象的选择，并且使用对象辨识或元数据中的至少一个来确定所述对象跨所述视频内容的多个帧的位置数据(例如，夸所述视频内容的所述多个帧来跟踪所述对象)。所述设备可跨越所述视频内容的所述多个帧在PIP内显示所述对象的经放大和经时间延迟版本。所述PIP在每一帧内的位置可以是固定的(例如，预定的且与所述对象在每一帧内的位置解耦)或可以基于所述对象在每一帧内的位置(例如，基于所述对象的所述位置而“浮动”在每一视频帧上、位于与所述对象最接近的角落内等)。

在一些示例中，所述设备可以从服务器接收视频内容，并且使用对象辨识或元数据中的至少一个来识别所述视频内容内的对象。所述设备可以接收用户对所述对象的选择，并且使用对象辨识或元数据中的至少一个来跨所述视频内容的多个帧确定所述对象的位置数据(例如，跨所述视频内容的多个帧，跟踪所述对象)。所述设备可跨越所述视频内容的所述多个帧在画中画PIP内显示所述对象的放大版本，其中举例来说，其中所述PIP在所述多个帧内的位置是基于所述对象在所述视频内容的所述多个帧内的位置数据而确定的(例如，所述PIP基于所述所跟踪对象的所述位置而跨越所述多个帧“浮动”)。所述PIP可以是所述视频内容的所述多个帧内的较小窗口。

在一些示例中，所述设备可以从服务器(例如，内容服务器)接收视频内容。所述设备可基于对象辨识或元数据，确定对象在所述视频内容的第一帧内的第一位置。例如，所述设备可以识别所述对象(例如，基于对象辨识或元数据)，并且确定所述对象在所述视频内容的帧的位置(例如，基于对象辨识或元数据)。所述设备可以基于所述对象的第一位置，确定第一窗口的位置。例如，所述第一窗口的所述位置可以与第一视频帧中的所述对象的位置直接相关(例如，重叠或包含)。所述第一窗口可以包括所述第一帧的视觉放大部分，并且所述第一帧的该视觉放大部分可以包括所述对象。所述设备可以在所述显示设备上在所述第一帧内显示所述第一窗口。

所述设备可以基于对象辨识或元数据来确定所述对象在所述视频内容的第二帧内的第二位置，其中例如所述第二帧可以在时间上在所述视频内容中的第一帧之后(例如，之后)。所述对象的所述第二位置可以不同于所述对象的所述第一位置(例如，所述对象可以表现为已经跨多个帧移动)。所述设备可基于所述对象的所述第二位置，确定第二窗口的位置。该第二窗口可以包括所述第二视频帧的视觉放大部分，并且该第二视频帧的该视觉放大部分可以包括所述对象。所述第二窗口的所述位置可以不同于所述第一窗口的所述位置(例如，基于所述对象从第一帧到第二帧的位置变化)。所述设备可以在所述显示设备上在所述第二帧内显示所述第二窗口。在一些示例中，所述设备可以在所述第二帧内显示与所述对象有关的信息(例如，所述对象上方的覆盖信息)。

所述设备可以跟踪多个对象，并且当跟踪多个对象时，如果该多个对象彼此接近，则可以为该多个对象创建合并窗口。例如，所述设备可以基于对象辨识或元数据，确定所述视频内容的第三帧内的第二对象(例如，第二足球运动员)的位置，并且可以基于所述第三帧内的所述第二对象的所述位置来确定所述第三帧内的包括所述第二对象的窗口的位置。所述设备还可以基于对象辨识或元数据来确定所述对象(例如，“第一”对象)在所述第三帧内的第三位置，并且基于所述对象的所述第三位置来确定包括所述对象的窗口在第三帧内的位置。所述设备然后可以确定在第三帧中包括所述对象的窗口与在第三帧中包括所述第二对象的窗口重叠。进而，所述设备可以在所述显示设备上在所述第三帧内显示包括所述对象和所述第二对象的合并窗口。该合并窗口的位置可以例如基于所述第三帧中的所述对象的所述位置和所述第二对象的所述位置(例如，使得所述合并窗口包括所述对象和所述第二对象这两者)。

如果多个被跟踪对象彼此远离，则所述设备可以拆分一合并窗口。例如，所述设备可以基于对象辨识或元数据来确定所述对象在所述视频内容的第四帧内的位置，并且基于所述对象在所述第四帧内的所述位置来确定包括所述对象的窗口在所述第四帧内的位置。所述设备可基于对象辨识或元数据确定所述第二对象在所述第四帧内的位置，且基于所述第二对象在所述第四帧内的所述位置确定包括所述第二对象的窗口在所述第四帧内的位置。此后，所述设备可以确定在所述第四帧中包括所述对象的所述窗口不再与在所述第四帧中包括所述第二对象的所述窗口重叠，并且进而，所述设备可以在所述显示设备上在所述第四帧中显示包括所述对象的所述窗口和包括所述第二对象的所述窗口(例如，显示两个单独的窗口，每个对象一个窗口)。

所述设备可以将时间延迟并入到包括被跟踪对象的窗口的显示中。例如，所述设备可以基于对象辨识或元数据来确定所述对象在所述视频内容的第三帧内的第三位置。此后，所述设备可以在所述显示设备上在第四帧内的预定位置处显示第三窗口，其中第四帧在时间上在第三帧之后。例如，所述预定位置可以与所述对象的所述位置解耦和/或在多个视频帧上的固定位置。在一些示例中，所述第三窗口可以包括第三视频帧的视觉放大部分，并且该第三视频帧的视觉放大部分可以包括所述对象。

所述设备可允许用户选择可选择的对象和/或允许用户选择PIP的对象(例如，用于在PIP内放大)。例如，所述第一窗口可以包括基于用户对所述对象的选择的所述第一视频帧的所述视觉放大部分。此外，所述设备还可以让用户循环通过(cycle through)多个对象以供选择。例如，所述设备可以识别所述视频内容的较早视频帧内的多个对象，其中所述多个对象包括所述对象。所述多个对象可以由用户选择(例如，可选)。所述设备可在所述较早视频帧内显示多个窗口，所述多个窗口中的每一者可包含所述多个对象中的相应对象，且举例来说，其中所述多个窗口中的每一者可提供关于所述相应对象的指示。所述设备可以基于用户输入而循环通过多个窗口中的焦点窗口。所述焦点窗口可以是例如高亮窗口，其也用于用户识别哪个对象当前是可选择的。所述设备可以接收对关于所述多个对象中的所述对象的用户选择，并且基于所述用户选择来放大所述第一窗口内的所述对象。所述设备还可以允许所述用户从所述多个对象中移除对象。例如，所述设备可以接收对所述多个窗口中的不期望的窗口的用户选择，并且停止显示所述不期望的窗口(例如，从用户可以循环通过的那些窗口中移除对象)。

公开了用于跟踪的视频缩放的系统、方法和手段。客户端侧(设备上)或本地跟踪可以允许用户选择任意对象用于跟踪和缩放。除了客户端侧跟踪之外或者作为客户端侧跟踪的替代，可以提供跟踪元数据(例如，视频广播可以包含描述视频帧中的对象的位置的元数据)。元数据可以包含关于被跟踪对象的增强信息。用户可以与(例如，画中画(PIP)中)示出的对象交互以获得附加信息。可以在固定位置和/或浮动位置(例如，随被跟踪的对象移动)中提供视频缩放(例如，在PIP中)。可以同时跟踪和缩放多个对象(例如，在多个PIP中)。用户可以循环通过多个被跟踪对象并在多个被跟踪对象中进行选择(例如，切换在PIP被跟踪并被缩放的对象)。PIP缩放可以具有高级特征，例如，组合多个PIP窗口、拆分PIP窗口、冻结和缩放、时间延迟缩放、PIP和社交媒体以及重新定位PIP。

附图说明

图中相同的附图标记表示相同的元素。

图1示出了具有设备上跟踪的电视的示例系统图。

图2示出了客户端侧对象跟踪的示例。

图3示出了初始对象窗口位置(例如，红色框)和搜索窗口位置(例如，黄色框)的示例。

图4示出了帧2的搜索块中的饱和度(左)和色调(右)特征的示例。

图5示出了背投(back projection)概率和目标窗口的示例。

图6示出了新对象窗口位置(例如，红色框)和搜索窗口位置(例如，黄色框)的示例。

图7示出了在PIP窗口(例如，在右下框中)内缩放的被跟踪对象的示例。

图8示出了应用于帧的对象概率的示例。

图9示出了通过去除场地外响应而清理的概率图的示例。

图10示出了打开和关闭形态操作的示例结果。

图11示出了使用从元数据获得的信息来跟踪多个对象的示例。

图12示出了在固定位置(例如，右下)的PIP中缩放的选定对象的示例。

图13示出了在浮动窗口中(例如，在选定对象上方)的PIP中缩放的选定对象的示例。

图14示出了循环通过多个被跟踪对象的示例。

图15A-F提供了组合多个被跟踪对象的多个PIP窗口的示例。

图16A是示出了可以实施所公开的一个或多个实施例的示例性通信系统的系统图示。

图16B是示出了根据实施例的可以在图16A所示的通信系统内部使用的示例性无线发射/接收单元(WTRU)的系统图示。

图16C是示出了根据实施例的可以在图16A所示的通信系统内部使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图示。

图16D是示出了根据实施例的可以在图16A所示的通信系统内部使用的另一个示例性RAN和另一个示例性CN的系统图示。

具体实施方式

现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实现的详细示例，但是应当注意，这些细节旨在是示例性的，而决不是限制本申请的范围。

智能TV可以允许与TV内容交互。在示例中，TV可以允许用户使用放大镜实用程序来导航视频。用户可以例如通过指向屏幕的区域来手动地选择画中画(PIP)内容。放大和/或PIP可以增强TV观看者界面。PIP可以用于例如监控第二视频源的活动(例如，用户可以在观看显示器的主区域中的第一TV频道的同时，观看PIP中的第二TV频道)。主视图和PIP视图可以切换。

可以使用从广播公司外部提供的跟踪信息，例如，以创建玩家位置的表示(例如，以帮助观看者进行场景导航)。可以产生活动图(例如，使用音频和玩家位置数据)，例如，以帮助观看者进行场景导航。

电视观看体验可以是静态的和非个性化的。PIP可以用于在主电视显示器的小窗口中显示第二视频源。PIP可以被指派给不同的频道或视频输入。用户可以利用最小的定制和交互来选择在PIP中所示的频道或源。

高级图像分析技术可以支持向用户提供像素阵列和内容描述。用户可以例如观看视频的特定部分的特写或放大。可以提供放大镜，使得用户可以在屏幕上进行操作以放大移动视频内容中的感兴趣区域。用户可移动放大镜(例如，使用运动遥控器或其他指示设备)以例如跟随感兴趣对象。

对象跟踪可用于控制视频缩放的呈现。对象跟踪可以包括例如对用户选择的对象的客户端侧跟踪。对象位置信息可以作为元数据而与视频帧一起被提供。指示设备(例如，遥控器)可以用于在多个感兴趣对象中进行选择。指示设备可以用于例如选择(例如单个)感兴趣对象(例如，团队中的单个玩家)并且(例如作为结果)一个或多个相关联的(例如附加的)对象(例如，同一团队中的多个玩家)可以被(例如附加地)选择和跟踪(例如与所选择的对象一起)。可以提供多种使用模式(例如，固定PIP缩放和浮动PIP缩放)。可以选择对象以用于跟踪和/或处理(例如，缩放)，例如，自动地(例如，基于一个或多个选择标准)和/或通过(例如，用户)循环通过多个被跟踪的对象而进行选择。

可以执行内容选择、对象跟踪(例如，在设备上本地操作或经由跟踪与内容一起接收的元数据)和例如在固定位置处或浮动(例如，跟随跟踪数据)的再现(例如，在PIP中)。

图1示出了具有设备上跟踪的显示设备(例如，TV)的示例系统图200。来自遥控器的远程数据202可以由显示设备的运动引擎204接收。所述远程数据202可以包括与用户对视频帧的对象的选择有关的信息。用户可以使用遥控器来选择感兴趣的对象(例如，以支持跟踪)。所述遥控器可以是例如“运动遥控器”，其可以允许用户控制屏幕上的指针。运动引擎204可以基于远程数据202来确定用户的指针的位置。光标206可以覆盖显示设备上的视频帧，以例如向用户指示他们可以选择PIP的对象。

在一些实施例中，所述遥控器可以不是运动遥控器，并且例如可以包括用于对象选择的触摸屏。在这样的示例中，所述远程数据202可被直接提供给显示设备的跟踪模块(例如，CamShift)208。

所述跟踪模块208可以例如在激活跟踪功能210(例如，通过按下遥控器上的按钮)时接收对象位置信息。跟踪模块208还可以接收源视频帧216(例如，包括所述对象的源视频帧)。可以随着时间跨越视频帧216跟踪所述对象的位置。边界框(例如，所述对象的指示，诸如小框)可被确定并在视频帧中(例如，在每一源视频帧216中)在所述对象周围被显示。

所述对象位置信息可以被提供给例如PIP构建模块218。PIP构建模块218还可包含所述源视频帧216。如果被激活，则PIP构建模块208可以在所述视频帧的包括所述对象的某个部分周围生成一窗口(例如，PIP窗口)。在一些示例中，PIP构建模块208可以在所述PIP窗口内视觉上放大所述视频帧的包括所述对象的所述部分(例如，可以执行缩放操作)。例如，可以使用图像缩放过程(诸如，内插(例如双线性或双三次)或重采样(例如Lanczos))来执行视觉放大(例如缩放)。PIP构建模块218可将PIP窗口覆盖到所述源视频帧216上。所得帧可被称为复合帧(例如，所述源视频帧加上PIP窗口)。PIP构建模块218可将所述复合帧提供到显示器220以呈现给用户。

例如，与缩放所基于的对象的边界框相比，PIP窗口可以具有扩展的大小。在一示例中，对象的边界框可被确定为200×225像素。示例缩放因子可以是2x。显示经缩放对象的PIP窗口可以是例如400×450像素。PIP窗口可例如显示在显示器的固定位置(例如，在显示器的角落中)或移动(mobile)/移动(moving)位置(例如，浮动PIP)，例如与所跟踪的对象一起移动。此外，在一些示例中，所述PIP窗口可在显示器的角落之间移动(例如，基于所述对象的位置，基于来自在下面的源视频帧的显示信息等)。可例如基于对象的位置(例如，中心位置)显示包含经缩放对象的PIP窗口，因为所述对象及其相关联位置(例如，中心位置)可随时间改变。浮动PIP窗口可能例如遮挡或阻挡它可能基于的对象，例如，连同围绕该对象的区域。

客户端侧(设备上)跟踪可以允许用户选择用于跟踪的对象(例如，任意对象)，这可以改善用户体验(例如，通过让用户选择他们自己感兴趣的对象)。所述设备可以基于用户选择而视觉地放大一个或多个对象。客户端侧跟踪可避免需要接收作为TV广播的一部分的对象位置信息(例如，因为跟踪可由客户端基于对象辨识来执行)。客户端跟踪可以允许交互式缩放系统对任何接收到的内容进行工作。例如，对设备的计算要求可以通过实现可以利用适度资源并且可以实时执行的算法而被管理。一个或多个视频对象跟踪算法可被用来随着时间的过去而跨多个视频帧跟随对象的位置，例如“CAMshift”和“mean shift(平均移动)”，尽管也可以利用其它算法。

对象跟踪的流程可以是多个(例如，两个)阶段，诸如初始化阶段和跟踪阶段。图2A示出了客户端对象跟踪初始化过程230的示例。图3A示出了示例视频帧300，其包括对象302、对象窗口位置304和搜索窗口位置306。

所述设备可以确定要跟踪的一个或多个对象。例如，在232，所述设备可以基于用户选择来确定要跟踪的(一个或多个)对象。用户可以选择一个或多个对象(例如，任意对象)。在示例中，用户可以使用遥控器或其他指示设备来在屏幕周围移动、绘制或以其他方式定位光标或框，并且指示(例如，通过按压按钮)跟踪所选对象的期望。所述设备可基于对象的开始位置执行对象跟踪。在234处，设备可接收所述视频帧的视频特性(例如，分辨率、帧率、颜色空间、SDR/HDR)。

在236，所述设备可以定义包括所述感兴趣对象(例如，对象302)的对象窗口(例如，对象窗口304)。所述该设备可以例如基于所述视频的特性(例如，分辨率、帧率、颜色空间、SDR/HDR)来确定所述对象窗口的大小。在238，所述设备可以确定一搜索窗口(例如，搜索窗口306)。当在多个帧之间跟踪对象时，可以使用该搜索窗口。所述设备可使用所述视频帧的所述特性来确定所述搜索窗口的大小。

所述设备可以确定(例如，构建)概率图，例如，以确定所述对象窗口内的像素是所述对象的一部分的可能性。所述设备可以使用各种特征来构建所述概率图。例如，所述设备可以使用颜色直方图来构建所述概率图。该设备可以分析包括所述对象的所述对象窗口以形成概率估计。在240，所述设备可以将所述对象窗口中的所述像素转换到例如HSV颜色空间。在242，所述设备可以计算所述对象窗口内的所述像素的色调和饱和度值(例如，如图4A-B中的示例所示)的二维(2D)直方图。图4A示出了视频帧的搜索块中的色调特征400的示例，而图4B示出了视频帧的所述搜索块中的饱和度特征410的示例。在244，所述设备可以使用例如2D直方图来形成像素作为被跟踪对象的一部分的概率估计。图5示出了背投概率和目标窗口500的示例。图5示出了表示每像素概率的图像502的示例，其中矩形504、506示出了在“均值偏移”迭代下检测到的区域的移动。

图2B示出了客户端侧对象跟踪过程250的示例。图6示出了示例视频帧600，其包括具有对象窗口604和搜索窗口606的对象602。该视频帧600可在时间上在视频帧300之后的后续时间出现(例如，可在视频帧300之后出现)。视频帧600的对象602可为与视频帧300的对象302相同的对象。

所述对象跟踪过程250可以被执行(例如，在随后的视频帧中)，例如，直到用户停止跟踪所述对象(例如，所述对象602)或所述对象的跟踪丢失。在252，所述设备可以将搜索窗口(例如，搜索窗口606)中的像素转换到HSV颜色空间。在254，所述设备可以计算所述搜索窗口内的像素的色调和饱和度值的2D直方图。在256处，所述设备可以形成所述搜索窗口内的像素是所述感兴趣对象的像素的概率估计。例如，所述设备可以在所述搜索窗口内执行对所述感兴趣对象的搜索，例如，这可通过为搜索窗口内的像素构建概率图而进行。例如，所述设备可以使用所述搜索窗口内的每个像素的概率来确定一像素是否属于所述被跟踪的对象。

如果在258，所述设备没有找到所述对象，则在268，所述设备可以确定搜索定时器上是否剩余时间。如果搜索定时器上还有时间，则在270，设备可以增加所述搜索窗口的大小和/或降低概率阈值，并且继续在所述搜索窗口中搜索所述对象。例如，当在258处，没有在所述搜索窗口中找到所述对象时，所述设备可以放大所述搜索窗口和/或降低所述概率阈值(例如，在解码帧可以被渲染在屏幕上之前剩余足够的时间的情况下)。如果在268，所述搜索定时器到期，则在272，所述设备可以提供已经失去对所述对象的跟踪的某种视觉提示，并且在274结束。例如，所述设备可以显示视觉线索或指示以指示所述对象的跟踪丢失，并且用户可以根据需要选择新的对象(例如，重新选择相同的对象)用于跟踪。

当在所述搜索窗口内找到所述对象时，所述设备可以确定所述对象在视频帧内的新位置(例如，与所述对象在较早视频帧中的位置相比)。例如，如果在258处，所述设备在所述搜索窗口内找到所述对象，则在260处，所述设备可以在对象窗口的位置上使用平滑过滤器。例如，所述设备可以使用过滤器来平滑所述对象随时间的跟踪位置，例如，以最小化波动并改善用户体验(例如，对象位置可能广泛地变化)。所述设备可以使用任何类型的平滑过滤器(例如，低通过滤器、中值过滤器)和变化数量的过去对象位置，例如，这取决于内容的类型(例如，电影、体育等)。

在262，所述设备可以基于对象的位置，更新所述对象窗口和所述搜索窗口的位置。例如，所述设备可以例如通过跟踪正被跟踪的对象的N个过去位置来应用所述过滤器，其中N是所述对象在其内被识别出的先前视频帧的数目。所述过滤器可以使用来自一个或多个过去的视频帧和/或当前视频帧的所述对象的位置来获得所述当前视频帧的更新的对象位置，例如，根据下面的公式或逻辑而获得：

当前视频帧的更新位置＝过滤器(当前位置，N个过去位置)

在一个示例中，中值过滤器可以应用于具有N＝4个过去位置(t1，t2，t3，t4)的当前位置(t0)，这可以导致例如：

当前帧的更新位置＝中值{位置(t0)，位置(t1)，位置(t2)，位置(t3)，位置(t4)}

所述设备可以更新所述对象窗口的位置(例如，逐帧地更新)，例如，以在对象跨视频帧移动时跟随所述对象。所述设备可以更新所述搜索窗口的位置(例如，逐帧地更新)，其可以以所述对象窗口为中心。在264，所述设备可以在视觉上放大(例如，缩放)包括在所述对象窗口中的视频帧的部分。在266处，所述设备可显示利用PIP窗口来显示所得视频帧，其中所述PIP窗口包含所述视频帧的包含所述对象的部分。例如，所述设备可以将所述PIP窗口显示为固定窗口(例如，如图7中的示例所示)或浮动窗口(例如，一窗口，其位置基于所述对象的位置，例如，当所述对象跨多个帧移动时，所述窗口在显示屏上逐帧移动)。

图7示出了视频帧700的示例，其包含在PIP窗口708内被缩放的被跟踪对象702。所述视频帧700可以是与图6的视频帧600相同的视频帧，但包括了重叠PIP窗口708。因此，对象702可以与对象602相同。PIP窗口708中所包含的视频帧的视觉放大部分可为所述搜索窗口706内部的视频帧的相同视觉放大部分。PIP窗口708的缩放级别可以例如基于视频帧的特性而被选择(例如，被自动地选择)，和/或由用户选择(例如，从一组可用的缩放级别选择)等等。

所述设备可使用(例如，通过用户选择)确定的像素来产生颜色直方图，且提供用于在一个或一个以上后续帧中进行搜索的基础。所述设备可基于所述像素的子集(例如，基于所述对象和背景分割或色差阈值)来确定颜色直方图。随着时间的流逝，所述对象可能在场景中四处移动，亮度可能改变，和/或所述对象可能变成展现在之前的视频帧中不可见的新信息。因此，较早的(例如，初始的)颜色直方图在识别搜索窗口中的对象时可能不再产生良好的结果。由此，所述设备可更新用以计算像素为被跟踪对象的部分的概率估计的颜色直方图(例如，基于后续视频帧中的信息来更新所述颜色直方图)。

所述设备可跨越多个视频帧跟踪一个或一个以上对象。所述设备可以本地跟踪所述对象(例如，当使用远程指示设备识别所述对象时)。在示例中，所述设备可以利用对对象的选择来初始化对可能存在于视频帧中的多个对象(例如，同一团队中的玩家)的跟踪。例如，可以(例如，经由指向)选择对象用于跟踪。所述设备可以例如经由背投来计算概率图，以用于确定可以是所述对象的一部分的像素。例如，可以在被跟踪对象的先前位置周围的小邻域中使用背投，例如，以搜索新位置。概率图可以应用于所述视频帧，其可以突出显示类似的对象(例如，同一队上的玩家)。

图8示出了应用于视频帧800的对象概率的示例。图8示出了选择(例如，单个)对象并将概率图应用于(例如，整个)帧的示例。各个亮(例如，白色)点可以是同一队的运动员。如图所示，可能存在来自位于场地外的类似颜色(例如，具有团队颜色的粉丝)的大的响应。所述设备可以例如通过识别所述场地的边界(例如，经由色调)来拒绝(例如，忽略)位于所述场地之外的附加元素(例如，场之外的白色元素)，以聚焦于所述场地内的亮点。

图9示出了通过去除视频帧800的场地外响应(例如，通过去除由粉丝、营销横幅和不位于运动场上的其他对象创建的亮点)而清理的概率图900的示例。所述设备可以例如经由打开和关闭的形态图像处理应用来统一所述场地的区域。

图10示出了使用图9的概率图900的打开和关闭形态操作的示例结果1000。如结果1000中所示，所述设备可以识别与所选择的队的七个玩家相对应的七个亮点(例如，七个对象)。所述设备可以使用该七个亮点的位置，例如，来初始化每个相应玩家的跟踪。所述设备可以针对多个(例如，所有)对象重新使用与所选择的对象相对应的直方图，这例如可以允许所述设备避免针对多个对象中的每一个重新创建单独的对象直方图。例如，基于单个初始者选择(例如，对单个玩家的选择)，所述设备可以识别多个对象(例如，在同一队上具有相同队服的玩家)并且跟踪该多个对象(例如，如上所述)。

所述设备可以例如在视频流内或者与视频流一起接收跟踪元数据。所述设备可以使用所述元数据来识别和/或跟踪一个或多个对象(例如，识别和/或跟踪一个或多个对象的位置)，例如，以作为客户端跟踪的补充或者作为客户端跟踪的替代。例如，除了在客户端侧执行对象的本地跟踪之外或者作为其替代，视频广播可以包括描述每个视频帧中的对象的位置的元数据。在一示例中，H.264和H.265视频译码标准中的补充增强信息(SEI)消息(例如，拉移式(Pan-Scan)矩形SEI消息)可用于描述边界框。消息可描述可对应于对象标识符的边界框中的像素范围。例如，当对象跟踪资源在客户端设备中有限时，视频服务器可使用更高级的对象跟踪。可跟踪多个对象(例如，由视频服务器实时或离线跟踪)并且可广播它们的位置信息，这可允许显示设备允许用户从多个对象中选择并通过被跟踪对象的列表来切换跟踪焦点。

可以使用其它技术来改进对象跟踪。例如，每个视频对象(例如，每个运动队运动员)可以具有允许精确跟踪(例如，在足球比赛期间)的射频识别(RFID)芯片。来自所述RFID芯片的信息可被转换成视频流内的被跟踪的对象位置。该设备可经由视频流的广播来接收所述跟踪信息，并可使用来自所述RFID芯片的位置信息来跨多个视频帧跟踪对象(例如，玩家)。

举例来说，当在视频流中从服务器接收对象跟踪信息时，设备(例如，客户端)可从视频比特流提取信息(例如，提取SEI消息)。跟踪信息可以包括例如视频帧内的对象的位置、“对象框”的大小和/或可能相关的其他(例如，附加的或替代的)元数据(例如，对象标识符、玩家的名称或位置、玩家所属的团队的名称等)。所述设备可以将框覆盖在屏幕上的对象的子集上，例如，如图11所示。

图11示出了使用从元数据获得的信息来跟踪多个对象的示例。举例来说，所述设备可跟踪对象1102，且可在窗口1104内显示被跟踪对象1102，该窗口1104包含视频帧的一部分和被跟踪对象1102。所述设备可以跟踪对象1112，并且可以在窗口1114内显示被跟踪对象1112，该窗口1114包括所述视频帧的一部分和被跟踪对象1112。此外，所述设备可跟踪对象1122，且可在窗口1124内显示被跟踪对象1122，该窗口1124包含所述视频帧的一部分和被跟踪对象1122。所述对象1102、1112、1122可以由客户端选择(例如，基于可以是固定的或可选择的一个或多个准则，诸如团队中的玩家、团队中最重要的玩家等)。所述对象1102、1112、1122可以由用户基于偏好(例如，用户定义)或通过从选择菜单中进行选择来选择。用户可以选择对象1102、1112、1122来进行跟踪。所述设备可以跨多个视频帧跟踪所述对象1102、1112、1122，并且可以在每个相应帧中显示包括被跟踪对象的窗口。

所述设备可以视觉地放大所述对象(例如，缩放)并且可以在显示器上在PIP窗口内显示所述视觉地放大的对象，例如，如图12所示。图12示出了视频帧1200的示例，其包括围绕对象1222的窗口1224和描绘来自视频帧1200的对象1232的视觉放大副本的PIP窗口1230。尽管被示为固定PIP窗口1230(例如，PIP窗口1230处于固定位置，例如右下)，但是应当理解，所述设备可以显示覆盖对象1222的浮动PIP。应当理解，所述视频帧1200可以与视频帧1100相同，但是包括PIP窗口1230并且移除了窗口1104、1114。此外，尽管PIP窗口1230示出对象1232的视觉放大版本，但是在一些示例中，所述PIP窗口1230可以被调整大小并被配置，使得所述对象1222不在PIP窗口1230内被视觉放大。

所述设备可以允许用户与对象(例如，位于PIP窗口中的对象)进行交互。所述设备可以接收包括关于被跟踪对象的增强信息的元数据。在一个示例中，元数据可以包括例如电影中的女演员的姓名或NFL游戏中的玩家的实时统计数据。所述设备可允许用户与PIP中的对象交互以获得关于对象的额外信息。在示例中，元数据可以包括对象标识符，该对象标识符可以由所述设备用于从数据库(例如，本地或远程数据库)或从网站请求信息。例如，所述设备可以从元数据中获取可以与PIP中示出的对象相对应的对象标识符。所述设备可以从数据库或网站请求可用信息，并且可以在显示屏上(例如，在主窗口或PIP窗口中、在其中的菜单中等)呈现信息。所述设备可以在屏幕的固定位置或在可以跟随相应的被跟踪对象的位置的浮动覆盖中显示信息。所述设备可以自动地向用户/观看者呈现信息，例如，类似于在屏幕的周界(例如，底部)处示出的新闻爬取(news crawl)。与呈现可能不相关的通用信息或不呈现任何信息相比，在PIP中呈现关于用户/观看者感兴趣的对象的信息可以呈现与用户/观看者相关的信息。该特征可以吸引用户并产生个性化的感觉。

在一示例中，所述设备可用于在第二屏幕(例如，第二TV屏幕、智能电话、平板计算机等)上显示所述PIP的系统中，其可避免阻碍TV屏幕上的空间的一部分。所述第二屏幕可以允许与用户的增强交互(例如，购买电影中女演员所穿的装备)，这可以提供直接或间接广告的形式以及广播信息的收入。

所述设备可在固定位置显示所述PIP，或所述PIP可与所述对象一起浮动在屏幕周围(例如，基于所述对象的位置)。所述设备可接收对象跟踪信息(例如，基于对象辨识或元数据)，且所述设备可使用所述对象跟踪信息产生所述PIP窗口。在一些示例中，所述PIP窗口可保持在固定位置(例如，屏幕的右下方)，而不管所述对象的位置如何。所述设备可将所跟踪内容映射到固定PIP位置中，例如，如图12中的PIP窗口1230所示。所述PIP内容可例如使用本地跟踪的对象位置信息和/或可与视频内容一起接收的跟踪元数据来跟随所跟踪的对象1222。所述PIP窗口1230内的视频帧的部分可以被放大(例如，通过可以由观看者选择的各种因素)，例如，如图12中所示。此外，在一些示例中，所述PIP窗口1230可以被调整大小并被配置，使得所述对象1222不在所述PIP窗口1230内被视觉地放大。

所述设备可显示浮动PIP窗口，其中举例来说，所述浮动PIP窗口的位置是基于所述所跟踪对象的位置。所述设备可接收对象跟踪信息(例如，基于本地对象辨识或所接收的元数据)，且所述设备可使用所述对象跟踪信息(例如，基于本地对象辨识或所接收的元数据)确定所述PIP窗口的位置。

图13示出了包括浮动PIP窗口1304的视频帧1300的示例，所述浮动PIP窗口包括被跟踪对象1302。所述设备可以在被跟踪对象1302的顶部之上显示所述浮动PIP窗口1304。所述设备可确定所跟踪对象1302的位置(例如，基于本地对象辨识或所接收元数据)，且基于所跟踪对象1302的位置，确定所述浮动PIP窗口1304的位置。因此，在一些示例中，当所述对象1302跨越多个视频帧在显示屏幕周围移动时，所述PIP窗口1304的位置可跟随所述对象1302。例如，所述设备可以将所述PIP窗口1304直接显示在所述对象1302的顶部上(例如，在对象1302的中心上)，从而隐藏原始的被跟踪对象1302，或者可替换地，所述设备可以基于被跟踪对象1302的位置(例如，在最接近被跟踪对象1302的角落中)将所述PIP窗口1304显示在一位置(例如，显示屏的四个角落中的一个)上。此外，如所说明，所述PIP窗口1304内的视频帧的部分可在视觉上被放大(例如，包含所述对象1302本身)。然而，在一些示例中，所述PIP窗口1304可被调整大小和被配置使得所述对象1302在所述PIP窗口1304内不在视觉上被放大。

所述设备可以允许用户循环通过多个被跟踪对象，例如，以选择一个或多个被跟踪对象(例如，切换PIP窗口中被跟踪和/或缩放的对象，从活动跟踪对象的列表中移除对象等)。图14示出了由设备执行的用于允许用户循环通过多个被跟踪对象1-N的示例过程1400。对象可以例如由服务器(例如，元数据可以包括关于被跟踪的对象可以如何在列表中被排序的信息)和/或由客户端或用户在列表中排序。所述设备可以(例如，在接收到元数据中的跟踪信息之后)基于用户偏好(例如，按字母顺序、按团队、用户选择和/或可用对象的子集的排序等)对所跟踪对象排序。可替换地或附加地，所述设备可以使用一个或多个过程来创建被跟踪对象的列表(例如，基于对象ID)。在可跨越多个视频帧跟踪N个对象的示例中，所述设备可允许用户选择用在PIP中缩放的对象(例如，对象i)。用户可以例如通过从移动视频或暂停的视频帧中选择一个或多个对象来选择对象(例如，一旦选择一个或多个对象，回放继续)。

一旦创建了列表且用户准备循环通过所述对象以选择用于PIP窗口，则所述设备可产生焦点窗口。所述设备可以在该焦点窗口内显示所述对象以向用户指示用于选择的当前对象。所述焦点窗口例如可以看起来类似于PIP窗口(例如，但是没有视觉放大包括所述对象的视频帧的部分)。在一些情况下，所述焦点窗口可具有与所述PIP窗口不同的颜色或形状。所述设备可以允许用户根据所述列表(例如，列表1402)而循环通过所述对象，其中所述对象1-N被循环通过相应的焦点窗口。例如，随着用户循环，所述焦点窗口内的对象可以是来自列表的下一个被跟踪对象(例如，基于用户输入)。在到达所述列表的结尾时，所述设备可以返回到所述列表的开头，例如，如图14所示。所述焦点窗口的位置可以是固定的(例如，总是在屏幕的角落中)或者可以是浮动的(例如，基于由所述焦点窗口突出显示的对象的位置)。

所述设备可执行一或多个PIP高级特征，例如(但不限于)组合多个PIP窗口、将PIP窗口拆分成多个PIP窗口、冻结PIP窗口内的内容、放大或最小化PIP窗口的内容、向PIP窗口内的内容提供时间延迟、将社交媒体并入PIP窗口中或与PIP窗口一起并入、重新定位PIP窗口(例如，基于用户选择)和/或类似者。

图15A-F提供了组合多个被跟踪对象的多个PIP窗口的示例。图15A示出了包括多个被跟踪对象的示例视频帧1500。图15B示出了包含对应于多个所跟踪对象的多个缩放PIP窗口的示例视频帧1500′。图15C示出了包括多个缩放PIP窗口的示例视频帧1530，这些多个缩放PIP窗口随着被跟踪对象变得彼此更接近而重叠。图15D示出了包括彼此重叠的多个被跟踪对象的视频帧1532的示例。图15E示出了包含组合的PIP窗口的示例视频帧1532′，所述组合的PIP窗口包含多个重叠对象。图15F示出了包含组合的PIP窗口的示例视频帧1532″，所述组合的PIP窗口包含多个重叠对象。

所述设备可跨越多个视频帧跟踪多个感兴趣对象。所述设备可以使用对象辨识技术(例如，在所述设备处)和/或基于元数据(例如，可以作为视频流或广播的一部分而被接收的元数据)来执行对象跟踪(例如，识别对象和/或确定该对象在每个视频帧内的位置)。所述设备可以选择和/或可以允许用户选择多个跟踪对象以同时显示(例如，缩放或未缩放显示)。所述设备可显示用于所述多个所跟踪对象的多个PIP窗口(例如，浮动或固定PIP窗口)。例如，参考图15A的视频帧1500，所述设备可以跟踪对象1502、1512、1522，并且对于被跟踪的对象1502、1512、1522中的每一个，所述设备可以显示围绕该对象的窗口，诸如窗口1504、1514、1524。此外，所述设备可以在所述窗口内视觉地放大包括被跟踪对象的帧的部分。例如，所述设备可以显示包括窗口1506、1516、1526的帧1500′，其分别显示包括被跟踪对象1502、1512、1522的视频帧的视觉放大部分。应当理解，图15A的窗口1504、1514、1524和图15B的窗口1506、1516、1526的位置可基于每个相应对象1502、1512、1522的位置来确定(例如，以所述对象的顶部为中心，并随所述对象一起跨多个视频帧移动)。

所述设备可显示多个浮动PIP窗口(例如，每一所跟踪对象一个窗口)，所述多个浮动PIP窗口跨越多个视频帧而移动(即，随着多个视频帧随时间循序地显示而移动)。例如，根据与每个浮动PIP窗口相关联的追踪对象的移动，所述浮动PIP窗口可以彼此独立地移动。在一些情况下，与所跟踪对象相关联的PIP窗口可以随着所跟踪对象随时间(例如，跨越视频帧)移动而变得靠近在一起或重叠，这可能遮挡一个或多个PIP窗口。

例如，参考图15C的视频帧1530，分别与对象1502和1512相关联的窗口1508和1518是重叠的，而与对象1522相关联的窗口1528不与另一窗口重叠。两个或两个以上对象可变得靠近，且其浮动PIP窗口可(例如，也)变得靠近在一起或开始重叠。所述设备可将多个所跟踪对象的PIP窗口合并到单个较大PIP窗口(例如，合并的PIP窗口)中，所述单个较大PIP窗口可包含多个对象(例如，与组合的PIP窗口相关联的对象)的缩放视图，例如，如图15D到F中所示。

参考图15D的视频帧1532，所述设备可以跟踪具有彼此重叠的窗口1552、1562、1572(例如，搜索窗口或PIP窗口)的多个对象1502、1512、1522。所述设备可产生包含所述相应所跟踪对象的合并的PIP窗口。举例来说，参看图15E的视频帧1532′，所述设备可产生并显示包含所跟踪对象1502、1512、1522的合并的PIP窗口1550。所述设备可基于被跟踪对象1502、1512、1522的位置，确定所述合并的PIP窗口的位置(例如，使得被跟踪对象1502、1512、1522相对地居中于所述PIP窗口内)。在一些情况下，所述合并的PIP窗口可以显示包括在下面的跟踪对象的视频帧的放大部分。举例来说，参见图15F的视频帧1532″，所述设备可产生并显示所述合并的PIP窗口1560，其包含视频帧1532″的视觉上放大部分，所述放大部分包含被跟踪对象1502、1521、1522。所述合并的PIP窗口可以是浮动的(例如，如图15E-F中所示)或者可以固定在预定位置(例如，在视频帧的角落中)。举例来说，当显示额外视频帧时，所述合并的PIP窗口可与对应的被跟踪对象1502、1512、1522一起移动。

如果(例如)所跟踪对象1502、1512、1522中的一者或一者以上远离彼此移动且其相应PIP窗口在其作为单独PIP窗口显示的情况下不再重叠(例如，基于一个或一个以上接近度阈值)，那么所述设备可将所述合并的PIP窗口拆分成两个或两个以上个别PIP窗口。如果所述PIP窗口浮动，那么在拆分之后，所述PIP窗口可(例如，再次)根据在下面的被跟踪对象1502、1512、1522的运动而独立移动。

所述设备可使用接近度阈值(其可指定个别被跟踪对象的一或多个接近程度或分离程度(例如，将对象位置之间的距离与第一距离阈值进行比较))来(例如)确定是否合并两个或两个以上对应浮动PIP窗口。替代地或另外，所述设备可基于检测到所显示PIP窗口的重叠而决定合并PIP窗口。例如，当决定是否将合并的(例如，浮动的)PIP窗口拆分成两个或更多个分量PIP窗口时，所述设备可以使用接近度阈值，该接近度阈值可以指定各个被跟踪对象的某种程度的分离或接近(例如，将对象位置之间的距离与第二距离阈值进行比较)。替代地或另外，所述设备可例如基于将由拆分产生的两个或两个以上分量PIP窗口可能(例如，将)不在视频帧内在空间上重叠的确定而决定拆分合并的(例如，浮动)PIP窗口。

所述设备可(例如)基于用户的命令(例如，对将被跟踪和/或缩放的对象的选择)执行视频帧的冻结和缩放。例如，所述设备可以例如基于用户的命令来冻结视频帧。用户可以在视频帧周围移动缩放的焦点。例如，在观看体育运动时，该特征可能是有用的，使得用户能够停止动作并且在主窗口中环顾对象，例如，以研究运动员的位置(例如，在场地中、在球场上)。所述设备可使用PIP窗口来展示实况视频(例如，继续观看正广播的视频)，而另一PIP窗口可用于在冻结视频帧上放大。

所述设备可跨越所述视频内容的多个帧而在PIP窗口内显示所述对象的时间延迟版本。所述PIP窗口在每一帧内的位置可以是固定的(例如，预定的且与所述对象在每一帧内的位置解耦)或可基于对象在每一帧内的位置(例如，基于对象的位置而“浮动”在每一视频帧上、位于与对象最接近的角落内等)。此外，所述PIP窗口内的对象的时间延迟版本可以在视觉上被放大(例如，与PIP窗口捕获的周围视频帧一起)。举例来说，所述设备可在时间上后续视频帧内(例如，或与其重叠)显示第一PIP窗口，所述第一PIP窗口包含视频帧的一部分。也就是说，在一些情况下，所述设备可延迟(例如，几秒)显示具有视觉上放大的内容的PIP窗口，例如，以准许用户注意主窗口且在识别重要播放或场景之后观看所述PIP窗口。所述PIP窗口的位置可以固定在预定位置(例如，诸如显示器的角落)内。所述设备可保存包含跨越若干帧(例如，120帧，相当于30Hz TV广播中的4秒)的所述对象的窗口，且可显示后续视频帧，其包含具有延迟(例如，4秒)的经时间延迟的PIP窗口。在一些示例中，所述设备可允许用户切换PIP窗口(例如，时间延迟的PIP窗口)开启/关闭。

所述设备可以允许PIP窗口的内容与社交媒体一起使用。例如，用户可能想要与朋友共享来自TV广播的感兴趣的东西。所述设备可允许用户使用遥控器来拍摄PIP窗口的屏幕截图。用户可以注释屏幕截图、绘制它、添加效果等。所述设备可以允许用户例如在公平使用情境或在促销情境中(例如，经由社交媒体)与其他人共享PIP窗口的原始或修改的(例如，注释的)屏幕截图。例如，内容提供商可能希望使用户能够共享其内容的部分以用于营销目的(例如，创建关于新节目或电影的蜂音)或作为竞赛的部分(例如，针对节目中喜爱的时刻或竞赛中喜爱的歌手进行投票)。所述设备可以(例如，可实现社交媒体共享)将PIP窗口的屏幕截图从TV发送到移动设备中的链接应用，从而使得用户能够在社交媒体中共享它。

所述设备可允许用户重新定位所述PIP窗口的位置(例如，在固定PIP窗口的情形下)。例如，用户可能对在屏幕底部示出的信息感兴趣。所述设备可允许用户将固定PIP窗口的位置移动到屏幕的另一部分(例如，以观看感兴趣信息)。在一些情况下，所述设备可例如基于所跟踪对象的当前位置(例如，如果该对象过于接近一个角落，那么所述设备可将所述PIP窗口切换到另一角落)、基于来自在下面的视频内容的信息(例如，如果游戏的得分或玩家信息显示在右下方，那么所述设备可切换所述PIP窗口的位置以便避免重叠所述内容)等，自动确定切换所述PIP窗口的位置。此外，在一些示例中，用户可使用遥控器来激活重定位PIP特征。所述设备可将PIP窗口移动到可由用户指示的新位置。新位置可以是不同的固定PIP窗口位置(例如，显示器的不同角落或边缘)。固定PIP窗口可以(例如，替代地或附加地)被转换为“浮动”PIP窗口，其可以基于对应的被跟踪对象位置而被定位(例如，居中地位于对应的被跟踪对象位置)。

图16A是示出了可以实施所公开的一个或多个实施例的示例性通信系统100的图示。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT-UW-DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及过滤器组多载波(FBMC)等等。

如图16A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU102a、102b、102c、102d任何一者都可以被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任何一者可被可交换地称为UE。

所述通信系统100还可以包括基站114a和/或基站114b。基站114a、114b的每一者可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站114a、114b的每一者都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。

基站114a可以是RAN 104/113的一部分，并且该RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。

基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种可以使用新无线电(NR)建立空中接口116的无线电技术，例如NR无线电接入。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。

在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。

图16A中的基站114b可以例如是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-APro、NR等等)来建立微微小区或毫微微小区。如图16A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。

RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向WTRU 102a、102b、102c、102d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、时延需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图16A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。

CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。

通信系统100中的一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图16A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。

图16B是示出了示例性WTRU 102的系统图示。如图16B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图16B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一电子组件或芯片中。

发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。

虽然在图16B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线信号的发射/接收部件122(例如多个天线)。

收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。

WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。

处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。

处理器118还可以耦合到GPS芯片组136，该GPS芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。

处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器，该传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。

WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。

图16C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述，RAN 104可以通过空中接口116使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。

RAN 104可以包括e节点B160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。e节点B 160a、160b、160c每一者都可以包括通过空中接口116与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。

e节点B160a、160b、160c每一者都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图16C所示，e节点B160a、160b、160c彼此可以通过X2接口进行通信。

图16C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然每一前述部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。

MME 162可以经由S1接口连接到RAN 104中的e节点B160a、160b、160c的每一者，并且可以充当控制节点。例如，MME 162可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162可以提供用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。

SGW 164可以经由S1接口连接到RAN 104中的e节点B160a、160b、160c的每一者。SGW 164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。

SGW 164可以连接到PGW 146，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。

CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供对电路交换网络(例如PSTN 108)的接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对所述其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。

虽然在图16A-16D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。

在典型实施例中，所述其他网络112可以是WLAN。

采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如在源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA的情况下。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织(Ad-hoc)”通信模式。

在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是经由信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间都有一个STA(例如只有一个站)进行传输。

高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。

甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行逆快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。

802.11af和802.11ah支持1GHz以下的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照典型实施例，802.11ah可以支持仪表类型控制/机器类型通信(MTC)(例如宏覆盖区域中的MTC设备)。MTC设备可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。

对于可以支持多个信道和信道带宽的WLAN系统(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包含了可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。

在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。

图16D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述，RAN 113可以通过空中接口116使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。

RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。gNB 180a、180b、180c每一者都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b、180c可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。在实施例中，gNB 180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。

WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。

gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。

gNB 180a、180b、180c每一者都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图16D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。

图16D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的实体拥有和/或运营。

AMF 182a、182b可以经由N2接口连接到RAN 113中的gNB 180a、180b、180c的一者或多者，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。作为示例，针对不同的用例，可以建立不同的网络切片，例如依赖于超可靠低时延(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如，LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。

SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。

UPF 184a、184b可以经由N3接口连接RAN 113中的gNB 180a、180b、180c的一者或多者，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。

CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到本地DN 185a、185b。

有鉴于图16A-16D以及关于图16A-16D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF 183a-b、DN185 a-b和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。

一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，该仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助RF电路(例如，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。

已经公开了用于跟踪的视频缩放的系统、方法和手段。客户端侧(设备上)或本地跟踪可以允许用户选择任意对象用于跟踪和缩放。除了客户端侧跟踪之外或者作为客户端侧跟踪的替代，可以提供跟踪元数据(例如，视频广播可以包含描述视频帧中的对象的位置的元数据)。元数据可以包含关于被跟踪对象的增强信息。用户可以与(例如，PIP中)示出的对象交互以获得附加信息。可以在固定位置和/或浮动位置(例如，随被跟踪的对象移动)中提供视频缩放(例如，在PIP中)。可以同时跟踪和缩放多个对象(例如，在多个PIP中)。用户可以循环通过多个被跟踪对象并在多个被跟踪对象中进行选择(例如，切换在PIP被跟踪并被放大的对象)。PIP缩放可以具有高级特征，例如，组合多个PIP窗口、拆分PIP窗口、冻结和缩放、时间延迟缩放、PIP和社交媒体以及重新定位PIP。

尽管以上以特定组合描述了特征和元素，但是本领域普通技术人员将理解，每个特征或元素可以单独使用或与其他特征和元素进行任何组合。另外，在此所述的方法可以在结合在计算机可读介质中的计算机程序、软件或固件中实施，以由计算机或处理器执行。计算机可读媒体的示例包括但不限于电子信号(通过有线或无线连接传输的电子信号)和计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如，内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如，CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC和任何主计算机的射频收发信机。

Claims (24)

1.一种用于显示动态画中画的方法，所述方法包括：

从服务器接收视频内容；

基于对象辨识或元数据，确定对象在所述视频内容的第一帧内的第一位置；

基于所述对象的所述第一位置，确定第一窗口的位置，所述第一窗口包括所述第一帧的视觉放大部分，所述第一帧的所述视觉放大部分包括所述对象；

在显示设备上在所述第一帧内显示所述第一窗口；

基于对象辨识或元数据，确定所述对象在所述视频内容的第二帧内的第二位置，其中所述对象的所述第二位置不同于所述对象的所述第一位置；

基于所述对象的所述第二位置，确定第二窗口的位置，所述第二窗口包括所述第二帧的视觉放大部分，所述第二帧的所述视觉放大部分包括所述对象；以及

在所述显示设备上在所述第二帧内显示所述第二窗口。

2.根据权利要求1所述的方法，还包括：

基于对象辨识或元数据，确定第二对象在所述视频内容的第三帧内的位置；

基于所述第二对象的所述位置，确定包括所述第二对象的窗口在所述第三帧中的位置；

基于对象辨识或元数据，确定所述对象在所述第三帧内的第三位置；

基于所述对象的所述第三位置，确定包括所述对象的窗口在所述第三帧中的位置；

确定在所述第三帧中包括所述对象的所述窗口与在所述第三帧中包括所述第二对象的所述窗口重叠；以及

在所述显示设备上在所述第三帧内显示包括所述对象和所述第二对象的合并窗口。

3.根据权利要求2所述的方法，还包括：

基于对象辨识或元数据，确定所述对象在所述视频内容的第四帧内的位置；

基于所述对象在所述第四帧内的所述位置，确定包括所述对象的窗口在所述第四帧中的位置；

基于对象辨识或元数据，确定所述第二对象在所述第四帧内的位置；

基于所述第二对象在所述第四帧内的所述位置，确定包括所述第二对象的窗口在所述第四帧中的位置；

确定在所述第四帧中包括所述对象的所述窗口不再与在所述第四帧中包括所述第二对象的所述窗口重叠；

在所述显示设备上在所述第四帧内显示包括所述对象的所述窗口和包括所述第二对象的所述窗口。

4.根据权利要求1所述的方法，还包括：

基于对象辨识或元数据，确定所述对象在所述视频内容的第三帧内的第三位置；以及

在所述显示设备上在第四帧内的预定位置显示第三窗口，其中所述第三窗口包括所述第三帧的视觉放大部分，所述第三帧的所述视觉放大部分包括所述对象，并且其中所述第四帧在时间上在所述第三帧之后。

5.根据权利要求1所述的方法，其中所述第一窗口包括所述第一帧的基于所述对象的用户选择的所述视觉放大部分。

6.根据权利要求1所述的方法，还包括：

识别所述视频内容的较早帧内的多个对象，所述多个对象包括所述对象；

在所述较早帧内显示多个窗口，所述多个窗口中的每一者包括所述多个对象中的相应对象，其中所述多个窗口中的每一者提供关于所述相应对象的指示；以及

基于用户输入，循环通过在所述多个窗口中的焦点窗口。

7.根据权利要求6所述的方法，还包括：

接收对所述多个对象中的所述对象的用户选择；以及

基于所述用户选择，在所述第一窗口内放大所述对象。

8.根据权利要求6所述的方法，其中所述多个对象由所述用户选择。

9.根据权利要求6所述的方法，还包括：

接收对所述多个窗口中的不期望窗口的用户选择；以及

停止显示所述不期望的窗口。

10.根据权利要求1所述的方法，其中元数据包括指示对象在所述视频内容的帧内的位置的信息。

11.根据权利要求1所述的方法，还包括：

在所述第二帧内显示与所述对象有关的信息。

12.一种方法，包括：

从服务器接收视频内容；

使用对象辨识或元数据中的至少一个来识别所述视频内容内的对象；

接收用户对所述对象的选择；

使用对象辨识或元数据中的至少一个来确定跨所述视频内容的帧的所述对象的位置数据；以及

跨所述视频内容的所述帧在画中画PIP窗口内显示所述对象的放大版本，其中所述PIP窗口包括所述帧中的所述视频内容的包含所述对象的部分，其中所述PIP窗口在所述帧内的位置是基于所述对象在所述视频内容的所述帧内的所述位置数据而被确定的。

13.一种方法，包括：

从服务器接收视频内容；

使用对象辨识或元数据中的至少一个来识别所述视频内容内的对象；

接收用户对所述对象的选择；

使用对象辨识或元数据中的至少一个来确定跨所述视频内容的帧的所述对象的位置数据；以及

跨所述视频内容的所述帧在画中画(PIP)窗口内显示所述对象的放大且时间延迟的版本，其中所述PIP窗口包括所述帧的所述视频内容的包括所述对象的部分。

14.一种用于显示动态画中画的设备，所述设备包括：

处理器，其被配置为：

从服务器接收视频内容；

基于对象辨识或元数据，确定对象在所述视频内容的第一帧内的第一位置；

基于所述对象的所述第一位置，确定第一窗口的位置，所述第一窗口包括所述第一帧的视觉放大部分，所述第一帧的所述视觉放大部分包括所述对象；

在显示设备上在所述第一帧内显示所述第一窗口；

基于对象辨识或元数据，确定所述对象在所述视频内容的第二帧内的第二位置，其中所述对象的所述第二位置不同于所述对象的所述第一位置；

基于所述对象的所述第二位置，确定第二窗口的位置，所述第二窗口包括所述第二帧的视觉放大部分，所述第二帧的所述视觉放大部分包括所述对象；以及

在所述显示设备上在所述第二帧内显示所述第二窗口。

15.根据权利要求14所述的设备，其中所述处理器进一步被配置以：

基于对象辨识或元数据，确定第二对象在所述视频内容的第三帧内的位置；

基于所述第二对象的所述位置，确定包括所述第二对象的窗口在所述第三帧中的位置；

基于对象辨识或元数据，确定所述对象在所述第三帧内的第三位置；

基于所述对象的所述第三位置，确定包括所述对象的窗口在所述第三帧中的位置；

确定在所述第三帧中包括所述对象的所述窗口与在所述第三帧中包括所述第二对象的所述窗口重叠；以及

在所述显示设备上在所述第三帧内显示包括所述对象和所述第二对象的合并窗口。

16.根据权利要求15所述的设备，其中所述处理器进一步被配置以：

基于对象辨识或元数据，确定所述对象在所述视频内容的第四帧内的位置；

基于所述对象在所述第四帧内的所述位置，确定包括所述对象的窗口在所述第四帧中的位置；

基于对象辨识或元数据，确定所述第二对象在所述第四帧内的位置；

基于所述第二对象在所述第四帧内的所述位置，确定包括所述第二对象的窗口在所述第四帧中的位置；

确定在所述第四帧中包括所述对象的所述窗口不再与在所述第四帧中包括所述第二对象的所述窗口重叠；

在所述显示设备上在所述第四帧内显示包括所述对象的所述窗口和包括所述第二对象的所述窗口。

17.根据权利要求14所述的设备，其中所述处理器进一步被配置以：

基于对象辨识或元数据，确定所述对象在所述视频内容的第三帧内的第三位置；以及

在所述显示设备上在第四帧内的预定位置显示所述第三窗口，其中所述第三窗口包括所述第三帧的视觉放大部分，所述第三帧的所述视觉放大部分包括所述对象，并且其中所述第四帧在时间上在所述第三帧之后。

18.根据权利要求14所述的设备，其中所述第一窗口包括所述第一视频帧的基于对所述对象的用户选择的所述视觉放大部分。

19.根据权利要求14所述的设备，其中所述处理器进一步被配置以：

识别所述视频内容的较早帧内的多个对象，所述多个对象包括所述对象；

在所述较早帧内显示多个窗口，所述多个窗口中的每一者包括所述多个对象中的相应对象，其中所述多个窗口中的每一者提供关于所述相应对象的指示；以及

基于用户输入，循环通过所述多个窗口中的焦点窗口。

20.根据权利要求19所述的设备，其中所述处理器进一步被配置以：

接收对所述多个对象中的所述对象的用户选择；以及

基于所述用户选择，在所述第一窗口内放大所述对象。

21.根据权利要求19所述的设备，其中所述多个对象由所述用户选择。

22.根据权利要求19所述的设备，其中所述处理器进一步被配置以：

接收对所述多个窗口中的不期望窗口的用户选择；以及

停止显示所述不期望的窗口。

23.根据权利要求14所述的设备，其中元数据包括指示对象在所述视频内容的帧内的位置的信息。

24.根据权利要求14所述的设备，其中所述处理器进一步被配置以：

在所述第二帧内显示与所述对象有关的信息。

Images