CN115834554A - 一种显示方法及装置 - Google Patents

Abstract

本申请实施例公开了一种显示方法及装置，方法包括：从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域；基于所述坐标数据得到所述识别区域对应的子图像帧；在第一显示区域显示输出所述子图像帧。

Description

一种显示方法及装置

技术领域

本申请涉及显示技术，更具体的说，是涉及一种显示方法及装置。

背景技术

近年来，随着智能终端技术的发展，媒体技术也蓬勃发展，各种媒体数据资源的传输、显示等方面都越来越丰富。用户可以通过各类终端，对媒体数据进行显示和观看。作为其中的一种媒体数据传输技术，流媒体技术兴起并得到迅速发展，其是一种不断接收并把资源呈现给观众的一种多媒体技术。对于流媒体技术下的视频内容，用户可以不用下载完再观看，而是可以边下载边观看，边传输和边传播，随时随地满足用户的媒体观看需求。

但是，目前媒体数据的输出形式单一，还无法满足用户多样化的观看需求。

发明内容

有鉴于此，本申请提供如下技术方案：

一种显示方法，包括：

从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域；

基于所述坐标数据得到所述识别区域对应的子图像帧，所述子图像帧能够在第一显示区域显示输出。

可选地，所述从媒体数据中获得标识数据，包括以下方法中的至少一种：

对所述媒体数据中的第一图像帧数据进行识别处理，得到识别结果，所述识别结果包括所述标识数据；

所述媒体数据还包括标识数据，对接收到的所述媒体数据进行解码处理，得到所述标识数据。

可选地，所述识别区域为第一目标区域或第二目标区域；所述第一目标区域内包括各第一图像帧内具有相同静止对象的目标区域；所述第二目标区域内包括各第一图像帧内的动态目标对象；

若所述识别区域为第二目标区域，所述第二目标区域中包括动态目标对象，则所述从媒体数据中获得标识数据，包括：

识别所述动态目标对象，并对所述动态目标对象在不同图像帧内所在区域进行跟踪；

基于所述跟踪的结果确定所述标识数据。

可选地，所述基于所述坐标数据处理得到所述识别区域对应的子图像帧，包括：

基于所述坐标数据处理得到所述识别区域对应的初始子图像帧；

调整所述初始子图像帧的分辨率，得到子图像帧，所述子图像帧的分辨率大于或小于所述初始子图像帧的分辨率。

可选地，还包括：在第一显示区域显示输出所述子图像帧；所述在第一显示区域显示输出所述子图像帧包括：

在第一显示屏的至少部分区域显示输出所述子图像帧，所述第一显示区域对应所述第一显示屏的至少部分区域。

可选地，还包括：

在所述第一显示屏中所述子图像帧显示区域之外的其他区域显示输出所述第一图像帧；

或；

向第二显示屏输出第一图像帧数据，用于在第二显示屏显示输出所述第一图像帧。

可选地，所述第一图像帧的输出内容中包括所述识别区域的标记。

可选地，在所述基于所述坐标数据处理得到所述识别区域对应的子图像帧前，还包括：

提供至少一个可交互对象，所述可交互对象关联所述识别区域；

接收所述可交互对象的触发信息；

基于所述触发信息确定目标识别区域，所述目标识别区域为与所述可交互对象关联的识别区域；

所述基于所述坐标数据处理得到所述识别区域对应的子图像帧，包括：

基于所述目标识别区域的坐标数据处理得到所述目标识别区域对应的子图像帧。

可选地，还包括：

获得用户针对媒体数据的历史操作数据，所述历史操作数据包括与所述识别区域相关的操作数据；

基于所述历史操作数据建立用户偏好模型；

基于所述用户偏好模型，优化获得标识数据的处理算法。

本申请还公开了一种显示装置，包括：

标识获得模块，用于从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域；

子图像帧获得模块，用于基于所述坐标数据得到所述识别区域对应的子图像帧，所述子图像帧能够在第一显示区域显示输出。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种显示方法的流程图；

图2为本申请实施例公开的本方案显示方法实施前后相同显示内容的显示效果示意图；

图3为本申请实施例公开的处理获得子图像帧的流程图；

图4为本申请实施例公开的第一显示屏显示两个子图像帧的示例图；

图5为本申请实施例公开的第一显示屏同时显示第一图像帧和子图像帧的示例图；

图6为本申请实施例公开的一个双屏显示媒体数据的示例图；

图7为本申请实施例公开的另一个双屏显示媒体数据的示例图；

图8为本申请实施例公开的又一个双屏显示媒体数据的示例图；

图9为本申请实施例公开的另一个显示方法的流程图；

图10为本申请实施例公开的可交互对象的实现示例图；

图11为本申请实施例公开的一种显示装置的结构示意图；

图12为本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例可以应用于电子设备，本申请对该电子设备的产品形式不做限定，可以包括但并不局限于智能手机、平板电脑、可穿戴设备、个人计算机(personalcomputer，PC)等，可以依据应用需求选择。

从方案实现角度来看，执行显示方法的电子设备可以是具备一定解码能力的设备，以将接收到的媒体数据解码，为媒体数据后续的显示输出提供基础支持，如机顶盒、具有解码能力的路由器等。在具有一定的解码能力的基础上，执行显示方法的电子设备还可以进一步具备计算能力，以便于在一些应用场景中从接收到的媒体数据中处理得到标识数据，如具有处理器芯片的服务器、台式机等。进一步的，在前述两种能力的基础上，执行显示方法的电子设备还可以是本身包括显示屏的电子设备，以将解码和计算处理后的媒体数据在显示屏输出显示，如手机、电视机、笔记本电脑；进一步的，还可以是智能投影机等，可以通过投影方式，将媒体数据在外部投影空间显示。

需要说明的是，在执行显示方法的电子设备本身不具备显示屏的情况下，其仅用于对接收到的媒体数据进行解码处理，或者进行解码和计算处理，然后可将处理后的媒体数据发送给其他的电子设备，使得处理后的媒体数据在其他的电子设备上输出显示。

为了更好的理解本申请实现，下面首先结合实例对本申请实施例所述显示方法的应用场景进行相关介绍。

现有的媒体显示技术中，为了更好的满足各类设备，尤其是高端设备，会提供质量更高的数据，例如超高分辨率的数据源。而通常一些使用场景下的设备如手机、PAD等，并不具备匹配前述超高分辨率的数据源的显示或者处理能力。如果将8K或更高分辨率的数据源，仅仅在分辨率为1080P的设备输出，反而会由于数据像素被压缩而导致细节丢失，无法清楚的展示出图像/视频内容。例如在一些比赛直播的场景中，如球类比赛，通常采集和传输的是4K或更高分辨率的直播画面，画面视角是整个比赛场地；很多用户通过手机等便携式终端设备观看直播画面。由于便携式终端的显示屏幕相对于直播视频内容的分辨率过小，因此用户往往看不到球的轨迹，甚至看不清楚球员的面容和球衣上的号码，这就大大影响了用户的观看体验。

基于以上问题，本申请实施例提供了一种显示方法，可以个性化的展示媒体数据呈现的画面中的部分区域，使得用户能够专注无干扰的观看画面中的部分区域，从而为用户提供更加丰富和个性化的视频显示方法，可以根据需要，设置所述部分区域，以满足用户的不同观看需求。

图1为本申请实施例公开的一种显示方法的流程图。参见图1所示，所述显示方法可以包括：

步骤101：从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域。

其中，所述媒体数据至少可以包括视频数据和音频数据中的至少一种，所述媒体数据可以是执行本实施例所述显示方法的电子设备从其他终端接收获得的数据。媒体数据从其他终端传输到执行显示方法的电子设备的传输形态可以是流媒体数据，也可以是非流媒体数据，如文件形式的媒体数据。其中，流媒体数据是指将一连串的媒体数据压缩后，经过网上分段流式发送的数据，过程中流媒体数据包得以像流水一样发送，流式传输可传送现场影音或预存于服务器上的媒体数据，接收端可以一边接收流媒体数据一边播放已经接收到的且解析完成的数据。非流媒体数据在传送时，则需要接收端将完整的媒体文件接收完毕后，才能够进行解码播放。

在媒体数据为音频数据的实现中，标识数据可以是音频数据中某一个或多个特定对象的声音，或者某一处或多处位置的声音，对于音频数据的实现，最终的输出效果可以是将某一个或多个特定的声音重点突出，或者对某一个或多个特定的声音之外的其他音频数据做降噪处理。

其中，所述标识数据可以是本方法的执行设备接收到的媒体数据中自身携带的，也可以是本方法的执行设备对接收到的媒体数据进行处理得到的。所述标识数据中除了识别区域的坐标数据外，可选的还可以包括识别区域标签，该标签用于指示识别区域的类型或名称。

标识数据可以是视频采集端或视频接收端从获得的图像中识别出的部分区域的相关数据。这里所述的部分区域也即所述识别区域，可以理解为可供用户选择的候选区域，该候选区域可以是基于大数据分析确定的。例如，大数据中记载了其他用户在观看对应视频时选择独立展示的感兴趣区域，这样通过一定数据量的积累统计，将其他用户感兴趣区域比例高的一些区域确定为候选区域。或者，经过对视频内容的识别分析，将具有某特点的区域确定为候选区域，例如，在某些有多人参与的比赛视频中，将有多人聚集的热点区域确定为候选区域。

在标识数据为媒体数据自身携带的数据时，视频采集端实时识别获得标识数据后，将其和对应的图像数据组合成为媒体数据，这样，至少由多个图像数据和对应的多个标识数据组成的媒体数据通过网络传输到本申请方法的执行设备，执行设备通过对接收到的媒体数据进行解码处理，得到所述标识数据。如上所述，设备接收的媒体数据可以是发送方实时采集的，当然也可以是发送方之前已经获得且存储的媒体数据，本申请对此并不固定限制。无论媒体数据是发送方实时采集的或已经存储的，发送方都可以对其中的图像数据进行识别处理，获得标识数据并嵌入到媒体数据中。

在标识数据为所述显示方法的执行设备对媒体数据进行处理得到的情况下，执行设备可以通过图像识别和图像比对等计算机视觉技术对媒体数据的图像帧进行识别处理，得到识别区域的相关数据。基于以上，从媒体数据中获得标识数据，可以包括：对所述媒体数据中的第一图像帧数据进行识别处理，得到识别结果，所述识别结果包括所述标识数据。

所述第一图像帧可以为媒体数据中包含的多个图像帧中的任意一个图像帧，所述第一图像帧为图像采集设备采集的原始图像，其范围对应图像采集设备取景框包含的内容范围。例如，在足球比赛直播中，第一图像帧可以是能够俯瞰整个球场的全景图像帧，也可以是展示球场中某部分区域的非全景图像帧。前文介绍到，所述识别区域为第一图像帧中的部分区域，这使得在第一图像帧的取景范围比较大时，用户也能够清楚的观看到对应识别区域的内容细节，如球员球衣上的号码、球员表情等。但需要说明的是，实际应用中，当第一图像帧本身对应的就是取景范围较小的图像内容时，识别区域也可以是第一图像帧本身；由于本申请方案的实现是为了让用户能够清楚的观看自身感兴趣的区域内容，因此对于该情况不作过多介绍。

步骤102：基于所述坐标数据得到所述识别区域对应的子图像帧，所述子图像帧能够在第一显示区域显示输出。

所述坐标数据指示了识别区域在所述第一图像帧数据中的位置，也即在第一图像帧图像区域中的位置；因此基于此坐标数据，能够获得对应识别区域的子图像帧。获得所述子图像帧的方式可以有多种。例如，可以直接将识别区域对应的图像内容复制出来，经过处理得到子图像帧，或者，可以首先基于坐标数据将识别区域对应的图像内容与周围的图像内容“分割”出来，再对“分割”出来的识别区域内容进行处理，得到子图像帧。

由于绝大多数显示屏都是矩形的，因此，所述坐标数据对应一个封闭的矩形区域，也即所述识别区域。在此实现中，所述坐标数据可以包括一个矩形的四个角点的坐标；或者也可以包括矩形的四条边上多个点的坐标。当然，本申请对于坐标数据对应区域的形状并不做固定限制，在一些个性化的应用场景中，所述坐标数据所对应区域的形状也可以是圆形、正方形等等。

第一图像帧内可能同时包括多个识别区域，本步骤中可以仅对其中的一个或多个识别区域进行处理。具体的，识别区域有多个，但系统不会将所有的识别区域都进行处理并独立显示，而是至少选择其中的部分进行处理显示。识别区域的选择可以是用户手动选择，也可以是系统基于一些数据自动选择，本申请对此并不限制。系统选择识别区域基于的数据可以是用户针对同类型的视频选择识别区域的历史数据，或者也可以是其他用户针对当前视频选择最多的识别区域。

与前述内容相应的，所述坐标数据可以有至少两组，每一组对应一个封闭的识别区域，这样，第一图像帧中包括多个识别区域。例如，在足球比赛的直播应用场景中，第一图像帧包含整个赛场画面，赛场上包括多个球员，则针对热门球员A和热门球员B，可以将两者的图像对应区域均确定为识别区域，同时可以将足球所在区域也确定为识别区域，这样，第一图像帧中就包括三个识别区域。

所述子图像帧能够在第一显示区域显示输出。具体的，若执行显示方法的主体设备自身具有显示屏，则所述子图像帧可以直接在主体设备的显示屏显示输出；若执行显示方法的主体设备不具有显示屏，则可以将所述子图像帧输出给具有显示屏的其他电子设备，以使得子图像帧能够在其他的电子设备上显示输出。

本实施例所述显示方法能够基于从媒体数据中获得的标识数据确定出接收到的图像帧中的部分区域，并将该部分区域单独显示输出。满足用户对于识别区域的独立播放需求，提升观看的灵活性，从而大大提升用户观看识别区域的舒适度，丰富了用户的观看体验。

其他实现中，在从媒体数据中获得标识数据前，还可以包括判断媒体数据分辨率与显示分辨率是否匹配的步骤。其中，显示分辨率指用于显示媒体数据的显示屏的分辨率。显示分辨率与媒体数据分辨率的匹配度可基于两者的差值或倍数比来确定。若显示分辨率与媒体数据分辨率的匹配度低于设定值，则可以开启确定识别区域并单独显示的功能，进入所述从媒体数据中获得标识数据、处理得到能够在第一显示区域显示的子图像帧的流程。若显示分辨率与媒体数据分辨率的匹配度达到设定值，则可以在显示屏正常的全屏显示媒体数据，而不提供或开启任何个性化的显示功能。

例如，获得的媒体数据为4K分辨率，而用于显示媒体数据的手机的显示屏的分辨率为1080P，则需要开启个性化显示功能，系统自主确定或基于用户选择确定识别区域，处理得到子图像帧并单独显示。再如，获得的媒体数据为4K分辨率，用于显示媒体数据的电视机的显示屏的分辨率也为4K，则可以直接将媒体数据全屏显示在电视机的显示屏上，无需做其他额外的显示处理。

前述实施例中，所述识别区域可以包括第一目标区域或第二目标区域，例如：识别区域均为第一目标区域，或均为第二目标区域，或者同时包括第一目标区域和第二目标区域。所述第一目标区域内包括各第一图像帧内具有相同静止对象的目标区域，以图像采集现场的位置为目标；所述第二目标区域内包括各第一图像帧内的动态目标对象，以画面中的具体内容为目标。其中，所述第一目标区域可以理解为静态位置区域，也即其在视频采集现场的位置是固定不变的位置，如足球赛场上的球门位置。当然，这里所述静态位置区域，相对于图像采集镜头而言也不是绝对静止的，例如，随着图像采集镜头的移动，这个静止的区域也会处于所采集图像的不同位置。所述第二目标区域可以理解为在视频采集现场可动态移动位置的对象，如在赛场上不停行走或奔跑的球员。

若所述识别区域为第一目标区域，即对应固定物体的区域，则所述从媒体数据中获得标识数据，可以基于第一目标区域中静止对象的外观进行智能的图像识别，确定用于指示所述静止对象所在区域的标识数据。例如，对于足球场上的球门，其具有特定的外观，包括颜色、形状等，可以基于这些外观数据对获得的每一个第一图像帧进行智能识别，确定出第一图像帧中的识别区域对应的标识数据。

若所述识别区域为第二目标区域，所述第二目标区域中包括动态目标对象，所述从媒体数据中获得标识数据，可以包括：识别所述动态目标对象，并对所述动态目标对象在不同图像帧内所在区域进行跟踪；基于所述跟踪的结果确定所述标识数据。本实现中，由于视频采集画面中的动态对象在移动时，每个动作都具有前后连贯性，因此，通过对连续的第一图像帧进行图像比对和图像识别技术，就能够实现对于动态目标对象的跟踪；在动态目标对象能够确定的情况下，识别区域也能够快速准确的确定，从而得到对应识别区域的标识数据。

本实施例中，针对第一图像帧中不同类型的识别区域，均介绍了获得对应类型的识别区域的标识数据的具体实现；不同类型的识别区域，能够给用户提供更加丰富的识别区域及显示方式，满足不同用户的观看需求。

图3为本申请实施例公开的处理获得子图像帧的流程图。结合图3所示，所述基于所述坐标数据处理得到所述识别区域对应的子图像帧，可以包括：

步骤301：基于所述坐标数据处理得到所述识别区域对应的初始子图像帧。

所述坐标数据可以为对应的矩形区域的四个角点的坐标，也可以同时包含四个角点的坐标以及四个角点顺序连接的四条边线上的任意坐标点的坐标。在所述识别区域为其他形状时，所述坐标数据只要满足能够清晰的确定识别区域的边界即可，其对应的坐标点的数量并没有固定的限制。

基于所述坐标数据处理得到所述识别区域对应的初始子图像帧，可以是首先基于坐标数据确定识别区域范围，然后将该识别区域范围内的图像内容复制得到初始子图像帧。这里所述的初始子图像数据，为与第一图像帧上识别区域对应的图像内容完全相同的数据，包括分辨率、尺寸等。

步骤302：调整所述初始子图像帧的分辨率，得到子图像帧，所述子图像帧的分辨率大于或小于所述初始子图像帧的分辨率。

这里所述调整初始子图像的分辨率，可以是调大分辨率，也可以是调小分辨率。如果最初获得的媒体数据中的第一图像帧的分辨率已经很大，则在需要将其中的识别区域单独显示时，即使识别区域是放大显示，识别区域对应的图像内容的原始分辨率也能够满足其放大显示的需求，则可以不调整或者将原始分辨率做溢出处理，以使其匹配自身的独立显示区域的分辨率；这种情况下，所述子图像帧的分辨率小于所述初始子图像的分辨率。或者，在将识别区域放大显示时，确定识别区域对应的图像内容的原始分辨率已低于独立显示区域的分辨率时，可以将识别区域对应的图像内容的分辨率调大；这种情况下，所述子图像帧的分辨率大于所述初始子图像帧的分辨率。

由于本申请方案需要将识别区域放大单独显示，因此若将对识别区域的图像内容不做任何处理直接放大显示，可能会出现一定程度的模糊视觉，影响用户观感，因此本实施例中，在获得初始子图像帧后，需要对其进行一定的处理，也即调大初始子图像帧的分辨率，使得处理后的子图像帧能够满足用户对于清晰度的要求。

调大所述初始子图像帧分辨率的方式并不固定，如可以采用已经成熟的图像插值算法、图像超分辨率处理等。处理宗旨即是使处理后的子图像帧在第一显示区域的显示效果能够达到清晰度的要求。需要说明的是，不同的应用场景中，用于显示识别区域的第一显示区域的尺寸大小并不固定，因此，若需要保证处理后的子图像帧的清晰度满足要求，也需要考虑第一显示区域的尺寸大小。可以理解的，第一显示区域大小的不同，则对应的对初始子图像帧进行处理的处理参数也不相同。如将初始子图像帧放大0.5倍，插值数量为M，将初始子图像放大1倍，插值数量为N，则必然N大于M，才能够满足将初始子图像放大1倍的清晰度要求。

对于初始子图像帧的处理，最基本的要求是要满足用户观看清晰度的需求，在此前提条件下，可以考虑其他的一些因素来确定具体的处理参数。例如，在处理初始子图像帧时，可以首先确定用于显示子图像帧的显示区域的分辨率，进而根据确定的分辨率，将所述初始子图像帧处理成为与所述分辨率相匹配的子图像帧；或者，在满足用户观看清晰度的需求的前提下，为用户提供数个可供选择的分辨率选项，由用户从中选择一个，进而基于用户选择的分辨率来处理初始子图像帧；或者，用户也可以直接设定一个目标分辨率，则系统可直接将初始子图像帧处理成为目标分辨率的子图像帧。

本实施例介绍了基于坐标数据处理得到识别区域的实现过程，保证第一图像帧中被单独显示的内容能够独立处理以使得其满足用户观看清晰度的要求，甚至可以基于实际显示子图像帧的区域的分辨率或用户喜好处理得到子图像帧，保障了用户的观看舒适度。

在其他实现中，显示方法还可以包括：在第一显示区域显示输出所述子图像帧。获得子图像帧后，可以控制子图像帧在第一显示区域显示输出。其中，所述第一显示区域至少为第一显示屏的部分区域。本申请实施例中，将识别区域作为一个单独的信号源在第一显示区域进行显示，相当于将第一图像帧中的识别区域单独放大显示，从而使得用户能够更加清楚并且专注的观看识别区域的显示内容，为用户提供了更加丰富的观看模式。图2为本申请实施例公开的本方案显示方法实施前后相同显示内容的显示效果示意图，结合图2，本方案实施后，识别区域(实施前图像中虚线标识出的区域)被放大显示，从而用户能够清楚看到识别区域的细节内容。当然，图2所示显示效果仅为子图像帧显示效果的一个示例，实际应用中，子图像帧是否全屏显示、子图像帧显示时第一图像帧是否显示、子图像帧和第一图像帧怎样同时显示等，具有多种实现方式。下面将依次介绍几种不同的显示实现。

一个实现中，所述在第一显示区域显示输出所述子图像帧，可以包括：在第一显示屏的至少部分区域显示输出所述子图像帧，所述第一显示区域对应所述第一显示屏的至少部分区域。

本实现中，用户仅通过一个显示屏幕观看媒体数据。则在基于坐标数据得到所述识别区域对应的子图像帧后，可以直接将子图像帧在第一显示屏全屏显示，以使得用户能够更加专注的观看识别区域。

实现中，所述识别区域的数量可以有至少两个，则在显示子图像帧时，需要显示分别对应至少两个识别区域的至少两个子图像帧。图4为第一显示屏显示两个子图像帧的示例图。这个场景中，可以将子图像帧按照一定排列规则在第一显示区域排列显示。原则上，各个子图像帧之间不会存在相互遮挡，保证用户能够看到所有的内容，但若子图像帧的数量比较多，没有办法均匀填充第一显示区域的情况下，也可以基于一定的算法，在不影响用户观看的前提下，使得不同的子图像帧之间存在少许遮挡。或者，可以通过限制识别区域数量的方式来避免不同子图像帧存在遮挡或子图像帧太多以致显示画面太小的问题。本实现方案中，可以根据用户的选择同时渲染显示多个识别区域，用户也可以根据自身需要随时切换识别区域来放大显示。

当然，为了让用户能够同时观看到全局图像和局部图像，其他实现中，可以在第一显示屏上同时显示第一图像帧和子图像帧。则显示方法除了在第一显示区域显示输出所述子图像帧外，还可以包括：在所述第一显示屏中所述子图像帧显示区域之外的其他区域显示输出所述第一图像帧。图5为第一显示屏同时显示第一图像帧和子图像帧的示例图。图5中，仅以一个子图像帧示出，实际应用中，子图像帧也可以包括多个，表征全局图像的第一图像帧和表征局部图像的至少两个子图像帧可以基于一定的排列规则在第一显示屏上排列显示。

当然，在用户想要选择的识别区域较多，或者用户追求更高的观看体验的情况下，用户也可以利用投屏技术或者扩展屏技术，实现不同的显示内容在不同的显示屏上显示。图6为本申请实施例公开的一个双屏显示媒体数据的示例图。图6中，扩展显示屏中显示全局图像，也即所述第一图像帧，手机显示屏中显示局部图像，也即所述子图像帧。则显示方法除了在第一显示区域显示输出所述子图像帧外，还可以包括：向第二显示屏输出第一图像帧数据，用于在第二显示屏显示输出所述第一图像帧。所述第二显示屏对应图6中的扩展显示屏。具体实现中，系统可以将所述子图像帧通过第一端口传送给系统内置的第一显示屏，所述第一端口为系统内部端口，同时将所述第一图像帧通过第二端口传送至外设的第二显示屏，所述第二端口为外部端口。

当然，实际应用中，基于用户需求，也可以控制手机显示屏只能够显示第一图像帧，而扩展显示屏显示子图像帧。在用户想要切换手机显示屏和扩展显示屏的显示内容时，可以通过屏幕菜单操作两个显示屏的内容互换，或者通过特定的操作，如在手机屏幕上触发朝向扩展显示屏滑动信号，触发进行两个显示屏的内容互换。则显示方法还可以包括：获得第一操作；基于所述第一操作将所述子图像帧通过所述第二端口传送给所述第二显示屏，并将所述全景图像帧通过所述第一端口传送给所述第一显示屏。

需要说明的是，上述内容介绍的是不同显示屏之间的显示内容互换的实现，但在第一图像帧和子图像帧均在第一显示屏显示的应用中，也可以通过拖拽、滑动等方式，触发将第一显示屏中不同位置的显示内容进行互换，在此不再过多说明。

图7为本申请实施例公开的另一个双屏显示媒体数据的示例图。与图6不同的是，图7中包含两个子图像帧，且两个子图像帧显示在扩展屏上，而第一图像帧显示在手机显示屏。可结合图6和图7理解并扩展第一图像帧和至少一个子图像帧的不同显示方式。包括但不限于第一图像帧和子图像帧的显示位置，第一图像帧和部分的子图像帧是否同时显示在一个显示屏，各部分显示内容显示区域的大小调整等等。

一个实现中，所述第一图像帧的输出内容中可以包括所述识别区域的标识，也即，在全局图像中标识出被放大并且独立显示的识别区域的范围，这样更好的帮助用户了解识别区域在全局图像中位置情况，便于用户比对观看。图8为本申请实施例公开的又一个双屏显示媒体数据的示例图，其中第一图像帧中用画框的形式标识出了子图像帧对应的范围区域。

当然，第一图像帧中识别区域的标识的可以有不同的属性，包括但不限于线条类型、线条宽度、线条颜色等等，其可以是默认设置，也可以由用户个性化设定。一个实现中，标识属性还可以基于图像背景的色调、明亮程度等智能确定，本申请对此不再过多介绍。

图9为本申请实施例公开的另一个显示方法的流程图。参见图9所示，显示方法可以包括：

步骤901：从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域。

步骤902：提供至少一个可交互对象，所述可交互对象关联所述识别区域。

其中，所述可交互对象可以理解为指示系统已经识别出的识别区域的标签，如在足球比赛的场景中，识别区域对应的可交互对象可以为球员头像，也可以是足球或者球门；则对应的识别区域为分别以球员、足球和球门为识别对象的相关区域。

在识别区域较少的应用中，可交互对象可直接展示识别区域中的识别对象的图像，该图像可以来自于第一图像帧，也可以来自于网络。如对于A球星，可交互对象可以是从网络获得的该球星的头像。在识别区域较多的应用中，可以基于识别区域中的识别对象的类型进行可交互对象的归类划分，如可交互对象可以按照类型分为人物和热点。“人物”可交互对象被触发后，弹出多个人物的头像标识，用户可进一步选择自身感兴趣的人物，将其作为识别对象确定识别区域；“热点”可交互对象的应用同理。

所述可交互对象可以在第一图像帧上层覆盖显示，也即，在最初展示媒体数据时，第一显示屏仅展示第一图像帧，并为用户提供可供选择的可交互对象，只有在用户触发选择了可交互对象的情况下，才会进一步确定识别区域，得到子图像帧并独立显示。图10为本申请实施例公开的可交互对象的实现示例图，其中以两个不同的交互对象为例示出，可结合图10理解本实施例内容。当然，为了避免可交互对象遮挡第一图像帧内容，第一图像帧上最初也可以不显示可交互对象，只有在用户触发快捷按钮或执行特定操作时才会调出可交互对象以供用户选择。

步骤903：接收所述可交互对象的触发信息。

无论可交互对象是可以直接选择确定识别区域还是需要通多至少两层触发选择确定识别区域，用户都可以实现从多个选择中触发选择出自身感兴趣的识别对象。

步骤904：基于所述触发信息确定目标识别区域，所述目标识别区域为与所述可交互对象关联的识别区域。

确定了用户触发选择的识别对象后，系统可自动基于确定的识别对象关联到目标识别区域，并进一步确定目标识别区域的坐标数据。

步骤905：基于所述目标识别区域的坐标数据处理得到所述目标识别区域对应的子图像帧，所述子图像帧能够在第一显示区域显示输出。

实际应用中，不同用户感兴趣的对象不同，例如，A球员的球迷倾向于观看跟踪A球员的图像画面；B球员的球迷倾向于观看跟踪B球员的图像画面；而有的用户则对跟踪着足球运行轨迹的所谓“球场热点“区域感兴趣。在赛事直播场景中，媒体数据发送端可以通过4K视频把一个全景画面的视频编码并传输至用户侧，通过AI算法自动实时分析出这些有价值的识别区域的位置信息，并将这些信息跟图像码流一起传输到用户侧的播放器，播放器在完成视频画面解码的同时，渲染用户所选择的识别区域进行显示观看。

本实施例中，在展示第一图像帧时，还为用户提供了可选择的可交互对象，使得用户能够通过触发选择可交互对象实现对特定区域的选择，并完成独立显示，这样的交互操作不仅提升了趣味性，且相对于用户来说可以自由选择识别区域进行放大显示，更加人性化，能够更好的满足用户需求。

其他实现中，显示方法还可以包括：获得用户针对媒体数据的历史操作数据，所述历史操作数据包括与所述识别区域相关的操作数据；基于所述历史操作数据建立用户偏好模型；基于所述用户偏好模型，优化获得标识数据的处理算法。

其中，所述历史操作数据例如可以为前文实施例所述的用户触发可交互对象的操作数据，基于用户选择的可交互对象的多组数据，可通过一定算法确定出用户感兴趣的区域类型，也即用户的喜好数据。例如，在篮球比赛的直播视频中，A用户更喜欢观看球员动作，B用户更喜欢观看篮筐位置的投篮情况，因此，针对A用户，可以构建人物识别模型，基于所述人物识别模型，可以更好的对媒体数据中图像帧中的人物进行准确的识别，并为用户提供多个可供作为识别对象的人物标签；针对B用户，可以基于固定的对象“篮筐”、“球门”等，构建形态固定物体的识别模型，基于该模型，针对任何赛事直播，可以更好的对得分点对应区域进行准确识别，满足用户的喜好需求。

基于以上，对于广大用户来说，本申请方案能够针对每一个用户独立分析其喜好特点，能够为其提供最合适的、满意度最高的显示方式。针对同一个视频播放，对用户而言能够实现“千人千面”的观看体验；并且用户在观看视频时所选择的识别区域的相关数据，又会对或的标识数据或确定识别区域的算法模型提供帮助，也会对流媒体平台的运营(广告推送等)产生非常大的帮助，提升平台的用户体验。

本实施中，可充分利用用户与识别区域相关的操作数据，从中挖掘分析出用户喜好特点，并基于用户喜好特点构建适配于用户的偏好模型，并将该模型应用到后续的识别区域的确定工作中，更好的为用户提供服务。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。

图11为本申请实施例公开的一种显示装置的结构示意图。参见图11所示，显示装置100可以包括：

标识获得模块101，用于从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域。

子图像帧获得模块102，用于基于所述坐标数据得到所述识别区域对应的子图像帧，所述子图像帧能够在第一显示区域显示输出。

本实施例所述显示装置能够基于从媒体数据中获得的标识数据确定出接收到的图像帧中的部分区域，并将该部分区域单独显示输出，满足用户对于感兴趣区域或热点区域的独立播放需求，从而大大提升用户观看感兴趣区域或热点区域的舒适度，丰富了用户的观看体验。

一个实现中，标识获得模块具体可用于：对所述媒体数据中的第一图像帧数据进行识别处理，得到识别结果，所述识别结果包括所述标识数据；或，所述媒体数据还包括标识数据，对接收到的所述媒体数据进行解码处理，得到所述标识数据。

一个实现中，所述识别区域为第一目标区域或第二目标区域；所述第一目标区域内包括各第一图像帧内具有相同静止对象的目标区域；所述第二目标区域内包括各第一图像帧内的动态目标对象；若所述识别区域为第二目标区域，所述第二目标区域中包括动态目标对象，标识获得模块具体可用于：识别所述动态目标对象，并对所述动态目标对象在不同图像帧内所在区域进行跟踪；基于所述跟踪的结果确定所述标识数据。

一个实现中，所述子图像帧获得模块具体可用于：基于所述坐标数据处理得到所述识别区域对应的初始子图像帧；调整所述初始子图像帧的分辨率，得到子图像帧，所述子图像帧的分辨率大于或小于所述初始子图像帧的分辨率。

一个实现中，显示装置还可以包括：子图像帧输出模块，用于在第一显示区域显示输出所述子图像帧。所述子图像帧输出模块具体可用于：在第一显示屏的至少部分区域显示输出所述子图像帧，所述第一显示区域对应所述第一显示屏的至少部分区域。

一个实现中，显示装置还可以包括：第一图像输出模块，用于在所述第一显示屏中所述子图像帧显示区域之外的其他区域显示输出所述第一图像帧；或，向第二显示屏输出第一图像帧数据，用于在第二显示屏显示输出所述第一图像帧。

一个实现中，所述第一图像帧的输出内容中包括所述识别区域的标记。

一个实现中，显示装置还可以包括：交互处理模块，用于提供至少一个可交互对象，所述可交互对象关联所述识别区域；接收所述可交互对象的触发信息；基于所述触发信息确定目标识别区域，所述目标识别区域为与所述可交互对象关联的识别区域；则所述子图像帧获得模块具体可用于：基于所述目标识别区域的坐标数据处理得到所述目标识别区域对应的子图像帧。

一个实现中，显示装置还可以包括：喜好处理模块，用于获得用户针对媒体数据的历史操作数据，所述历史操作数据包括与所述识别区域相关的操作数据；基于所述历史操作数据建立用户偏好模型；基于所述用户偏好模型，优化获得标识数据的处理算法。

上述显示装置以及各个模块的具体实现，可参见方法实施例中相应部分的内容介绍，在此不再重复赘述。

上述实施例中的所述的任意一种显示装置包括处理器和存储器，上述实施例中的标识获得模块、子图像帧获得模块、子图像帧输出模块、第一图像输出模块、交互处理模块、喜好处理模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

在示例性实施例中，还提供了一种计算机可读存储介质，可直接加载到计算机的内部存储器，其中含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述显示方法任一实施例所示步骤。

在示例性实施例中，还提供一种计算机程序产品，可直接加载到计算机的内部存储器，其中含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述所述的显示方法任一实施例所示步骤。

进一步，本申请实施例提供了一种电子设备。图12为本申请实施例公开的一种电子设备的结构示意图。参见图12所示，电子设备20包括至少一个处理器121、以及与处理器连接的至少一个存储器122、总线123；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的显示方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种显示方法，包括：

从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域；

基于所述坐标数据得到所述识别区域对应的子图像帧，所述子图像帧能够在第一显示区域显示输出。

2.根据权利要求1所述的显示方法，所述从媒体数据中获得标识数据，包括以下方法中的至少一种：

对所述媒体数据中的第一图像帧数据进行识别处理，得到识别结果，所述识别结果包括所述标识数据；

所述媒体数据还包括标识数据，对接收到的所述媒体数据进行解码处理，得到所述标识数据。

3.根据权利要求1所述的显示方法，所述识别区域为第一目标区域或第二目标区域；所述第一目标区域内包括各第一图像帧内具有相同静止对象的目标区域；所述第二目标区域内包括各第一图像帧内的动态目标对象；

若所述识别区域为第二目标区域，所述第二目标区域中包括动态目标对象，则所述从媒体数据中获得标识数据，包括：

识别所述动态目标对象，并对所述动态目标对象在不同图像帧内所在区域进行跟踪；

基于所述跟踪的结果确定所述标识数据。

4.根据权利要求1所述的显示方法，所述基于所述坐标数据处理得到所述识别区域对应的子图像帧，包括：

基于所述坐标数据处理得到所述识别区域对应的初始子图像帧；

调整所述初始子图像帧的分辨率，得到子图像帧，所述子图像帧的分辨率大于或小于所述初始子图像帧的分辨率。

5.根据权利要求1所述的显示方法，还包括：在第一显示区域显示输出所述子图像帧；

所述在第一显示区域显示输出所述子图像帧包括：

在第一显示屏的至少部分区域显示输出所述子图像帧，所述第一显示区域对应所述第一显示屏的至少部分区域。

6.根据权利要求5所述的显示方法，还包括：

在所述第一显示屏中所述子图像帧显示区域之外的其他区域显示输出所述第一图像帧；

或；

向第二显示屏输出第一图像帧数据，用于在第二显示屏显示输出所述第一图像帧。

7.根据权利要求6所述的显示方法，所述第一图像帧的输出内容中包括所述识别区域的标记。

8.根据权利要求1所述的显示方法，在所述基于所述坐标数据处理得到所述识别区域对应的子图像帧前，还包括：

提供至少一个可交互对象，所述可交互对象关联所述识别区域；

接收所述可交互对象的触发信息；

基于所述触发信息确定目标识别区域，所述目标识别区域为与所述可交互对象关联的识别区域；

所述基于所述坐标数据处理得到所述识别区域对应的子图像帧，包括：

基于所述目标识别区域的坐标数据处理得到所述目标识别区域对应的子图像帧。

9.根据权利要求1所述的显示方法，还包括：

获得用户针对媒体数据的历史操作数据，所述历史操作数据包括与所述识别区域相关的操作数据；

基于所述历史操作数据建立用户偏好模型；

基于所述用户偏好模型，优化获得标识数据的处理算法。

10.一种显示装置，包括：

标识获得模块，用于从媒体数据中获得标识数据，所述媒体数据至少包括第一图像帧数据，所述标识数据至少包括识别区域的坐标数据，所述识别区域为第一图像帧中的部分区域；

子图像帧获得模块，用于基于所述坐标数据得到所述识别区域对应的子图像帧，所述子图像帧能够在第一显示区域显示输出。

Images