CN114143561B - 一种超高清视频多视角漫游播放方法 - Google Patents

Abstract

本发明提供了一种超高清视频多视角漫游播放方法，首先接收用户输入的选择目标对象的触控操作；并且基于选择目标对象的触控操作以及从服务器获取到的正在播出的超高清视频数据，确定针对正在播出的超高清视频数据的操作参数；其中，操作参数包括目标对象以及缩放比例；再根据操作参数对正在播出的超高清视频数据进行处理，得到处理后的包括目标对象的目标视频数据；最后基于处理后的目标视频数据，播放与触控操作对应的视频画面。本发明实现了用户对感兴趣对象的观看，提高了用户体验，从而满足了用户的高质量观看需求。

Description

一种超高清视频多视角漫游播放方法

技术领域

本发明涉及视频播放技术领域，尤其是涉及一种超高清视频多视角漫游播放方法。

背景技术

现在很多前端设备拍摄的视频源，其分辨率能够达到4k、8k，甚至能够拍摄16k视频的前端设备也正在研制，但是在例如移动终端(手机或平板电脑等)等小分辨率播放设备，其本身的分辨率不能够达到4k、8k或是16k，并不能直接点对点的展示4k、8k或是16k等超高清视频等原始视频信息。

目前，在视频源和播放设备的分辨率不一致的情况下，为了播放视频，通常是将视频源按比例缩小到移动终端对应的分辨率进行显示，即将高分辨率转换为低分辨率进行查看。现有的方法只是单纯地为了实现视频内容的观看，但是，其无法实现针对想要观看的目标的进行像素级别的查看。

相关技术中，在进行视频直播时只能对局部画面进行播放，无法对想要观看的对象进行查看，导致用户观看体验下降，无法满足用户高质量观看需求。

同时，在类似对体育比赛的转播过程中，通常会有多台摄像机进行现场拍摄，但是目前观众只能看到转播切换后的部分画面，同一时间只有某一台摄像机的特定视角的画面被观众看到，并且还只是赛场的某一部分的画面。如果观众关心的运动员不在画面中，即便其他摄像机有拍摄，观众也无法看到。

超高清摄像机由于有很高的分辨率，一台超高清摄像机就有可能替代多台原有普通摄像机完成全场体育转播。但是现有技术没有办法让不同的观众方便的看到自己关心的运动员的清晰画面。

发明内容

有鉴于此，本发明的目的在于提供一种超高清视频多视角漫游播放方法，以达到用户对想要观看的对象进行查看，提高了用户体验，满足用户高质量观看需求。

第一方面，本发明实施例提供了一种超高清视频多视角漫游播放方法，方法应用于移动终端；移动终端与获取正在播出的超高清视频数据的服务器通信连接；方法包括：接收用户输入的选择目标对象的触控操作；基于选择目标对象的触控操作以及从服务器获取到的正在播出的超高清视频数据，确定针对正在播出的超高清视频数据的操作参数；操作参数包括目标对象以及缩放比例；根据操作参数对正在播出的超高清视频数据进行处理，得到处理后的包括目标对象的目标视频数据；基于处理后的目标视频数据，播放与触控操作对应的视频画面。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，操作参数还包括目标对象的图像特征；根据操作参数对正在播出的超高清视频数据进行处理，得到处理后的包括目标对象的目标视频数据的步骤，包括：将目标对象的图像特征与正在播出的超高清视频数据中当前画面帧的图像信息进行对比，得到对比结果；根据相似度对比结果，确定当前画面帧中的目标对象的参数信息；根据参数信息，对当前画面帧进行处理，得到包含目标对象的目标视频数据。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，参数信息包括目标对象在当前画面帧中的轮廓及位置；根据参数信息，对当前画面帧进行处理，得到包含目标对象的目标视频数据的步骤，包括：基于目标对象在当前画面帧中的位置，确定当前画面帧的画面变化中心；基于目标对象在当前画面帧中的轮廓以及缩放比例，对当前画面帧进行图像处理；将经过图像处理后的当前画面帧确定为包含目标对象的目标视频数据。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，在播放视频之前预先设定与待播放视频相关的一个或多个关键对象的信息。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，关键对象的信息包括：关键对象有代表性的图像信息以及关键对象的描述信息。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，关键对象包括有人物类关键对象；人物类关键对象的描述信息包括人物的名称、国籍、年龄、性别、职业介绍、赛场表现中的一种或几种；人物类关键对象的图像信息包括人物的正面肖像；或人物类关键对象的图像信息包括人物的正面肖像，以及侧面肖像、背影、侧影中的一种或几种。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，关键对象包括有物品类关键对象；物品类关键对象的描述信息包括物品的名称、速度中的一种或几种；物品类关键对象的图像信息包括物品的有代表性的图片。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，操作参数的确定方法包括：获取正在播放视频的当前画面的图像，获取用户在当前播放视频画面的点击位置；识别当前画面的图像的点击位置是否包括预设的关键对象，如果是，将识别出的关键对象作为目标对象，提取目标对象的轮廓信息，提取目标对象在当前画面的图像中的位置信息。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，方法还包括：识别获取目标对象在当前播放画面之前的视频中的位置信息，通过目标追踪方法，识别当前画面的图像的点击位置是否包括预设的关键对象，如果是，将识别出的关键对象作为目标对象，提取目标对象的轮廓信息以及目标对象在当前画面的图像中的位置信息。

结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，操作参数包括缩放位置以及缩放比例；方法还包括：基于缩放位置以及缩放比例，对正在播出的超高清视频数据进行处理，得到与缩放位置以及缩放比例对应的目标视频数据。

结合第一方面，本发明实施例提供了第一方面的第十种可能的实施方式，其中，方法还包括：将正在播出的超高清视频数据进行下变换处理，生成底图视频；将底图视频以及与操作参数对应的视频画面进行混叠处理，得到包含悬浮窗口的目标视频数据。

本发明实施例带来了以下有益效果：

本发明提供了一种超高清视频多视角漫游播放方法，在接收到用户输入的针对直播视频数据的触控操作后，基于该触控操作，生成针对直播视频数据的操作参数；然后根据操作参数中的目标对象以及缩放比例对直播视频数据进行处理，得到包括目标对象的目标视频数据；进一步基于视频数据播放与操作参数对应的视频画面。该方式实现了用户对感兴趣对象的观看，提高了用户体验，从而满足了用户的高质量观看需求。

本发明提供的一种超高清视频多视角漫游播放方法，观看者在自己的移动终端上可以方便的对画面进行放大或拖动，选择自己感兴趣的区域观看。因此可以实现一次拍摄，多种版本观看。同时，本发明还提供观看者选择自己感兴趣的运动员，在移动终端上始终展现以该运动员为中心的放大后清晰画面，相当于使用一个超高清视频源为不同的观众提供多个角度的自由观看。同时，在移动终端上展现的画面实际上是在原始超高清视频画面上跟随运动员的移动而移动，实现了观看画面的自动“漫游”。并且，还可以架设多台可以拍摄整个赛场完整画面的超高清摄像机，移动终端可以选择不同的视频源播放，移动终端在以运动员中心进行画面的漫游时，自动选择有感兴趣的运动员正面形象的视频源播放，可以让观众得到更加良好的观看体验。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术发明实施例，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种超高清视频多视角漫游播放方法的流程图；

图2为本发明实施例提供的另一种超高清视频多视角漫游播放方法的流程图；

图3为本发明实施例提供的另一种超高清视频多视角漫游播放方法的流程图。

具体实施方式

为使本发明实施例的目的、技术发明实施例和优点更加清楚，下面将结合附图对本发明的技术发明实施例进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现在很多前端设备拍摄的视频源，其分辨率能够达到4k、8k，甚至能够拍摄16k视频的前端设备也正在研制，但是在例如移动终端(手机或平板电脑等)等小分辨率播放设备，其本身的分辨率不能够达到4k、8k或是16k，并不能直接点对点的展示4k、8k或是16k等超高清视频等原始视频信息。

目前，在视频源和播放设备的分辨率不一致的情况下，为了播放视频，通常是将视频源按比例缩小到移动终端对应的分辨率进行显示，即将高分辨率转换为低分辨率进行查看。现有的方法只是单纯地为了实现视频内容的观看，但是，其无法实现针对想要观看的目标的进行像素级别的查看。

基于此，本发明实施例提供的一种直播视频的播放方法、装置及电子设备，以达到用户对想要观看的对象进行超高清查看，提高了用户体验，满足用户高质量观看需求。

本发明的一种实施例，在体育比赛现场架设一台可以拍摄整个赛场完整画面的超高清摄像机，将超高清整个赛场的画面传送到观众的移动终端上。观看者在自己的移动终端上可以方便的对画面进行放大或拖动，选择自己感兴趣的区域观看。因此可以实现一次拍摄，多种版本观看。同时，本发明还提供观看者选择自己感兴趣的运动员，在移动终端上始终展现以该运动员为中心的放大后清晰画面，相当于使用一个超高清视频源为不同的观众提供多个角度的自由观看。同时，在移动终端上展现的画面实际上是在原始超高清视频画面上跟随运动员的移动而移动，实现了光卡画面的自动“漫游”。

更加优化的实施例，还可以架设多台可以拍摄整个赛场完整画面的超高清摄像机，移动终端在以运动员中心进行画面的漫游时，自动选择有感兴趣的运动员正面形象的视频源播放，可以让观众得到更加良好的观看体验。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种直播视频的播放方法进行详细介绍。

本发明实施例提供了一种直播视频的播放方法。如图1所示：该方法包括以下步骤：

步骤S100，接收用户输入的选择目标对象的触控操作。

具体地，触控操作包括对目标对象的放大等处理，触控操作由用户通过显示屏幕等人机交互设备对视频进行操作。

触控操作的来源包括但不限于(1)用户在触摸屏上的操作信息；(2)通过手机按键的操作；(3)用户通过手机感应(例如重力感应)的操作。只要是用户通过移动终端进行操作都可以记录为触控信息。

步骤S102，基于选择目标对象的触控操作以及从服务器获取到的正在播出的超高清视频数据，确定针对正在播出的超高清视频数据的操作参数；操作参数包括目标对象以及缩放比例。

其中，移动终端接收服务器发送的直播视频数据，根据用户输入的触控操作，确定用户想要对直播视频数据进行操作的相关参数。操作参数可以包括目标对象的图像特征、缩放比例、缩放位置等。

具体来说，移动终端可以从操作信息中识别缩放观看的目的和缩放比例，移动终端可(1)支持无级放大(移动终端的分辨率至视频源的分辨率之间)；(2)支持多点触摸放大，最高可放大到与视频源等同的分辨率进行播放，即区域的像素点与视频源一致等。移动终端还支持其他放大方式，在此不一一说明。

移动终端可在视频源中自动识别出关键对象或者移动终端接收的视频源中包括预设的关键对象。关键对象可以为关键人、关键物等。移动终端可以从操作信息中识别出用户选择关键对象。例如，当该触控操作中，用户的点击位置在关键对象的轮廓范围内时，识别出用户选中的关键对象。

步骤S104，根据操作参数对正在播出的超高清视频数据进行处理，得到处理后的包括目标对象的目标视频数据。

移动终端识别出关键对象和缩放比例后，在直播视频数据中提取包含关键对象活动的局部画面按照缩放比例进行处理。具体来说，移动终端还可以从操作信息中识别用户改变播放视角的目的，其中该播放视角中的播放画面要包含关键对象。举例来说移动终端可接收用户的跟踪关键对象的操作信息(例如点击关键对象)后，将关键对象设置为感兴趣区域的中心点，进行播放。其中关键对象在放大后的视频图像中的位置可以在处理模块中默认为中心位置，也可以预先设置几个位置，由用户选择。

例如，操作请求包括缩放比例大小以及缩放的位置，则移动终端根据操作请求对目标对象查找缩放位置并按照缩放比例进行缩放；移动终端还可以根据操作请求中将包含目标对象的目标视频以悬浮窗的形式进行播放；移动终端还可以对感兴趣画面进行切换。

具体而言，上述步骤S104可以通过以下方实现：

(1)将目标对象的图像特征与直播视频数据中每一个画面帧的图像信息进行相似度对比，得到相似度对比结果；

移动终端可以事先存储了一些关键对象的图像信息(其中关键对象可以是根据用户观看习惯，视频中人员的知名度，主要物体来确定，比如，裁判、球员、球)，通过关键对象的图像信息对直播视频中的每一帧图像中画面进行比对。

(2)根据相似度对比结果，确定每一个画面帧中的目标对象的参数信息。具体地，可根据相似度对比结果，确定是否将关键对象作为操作参数中的目标对象，并且确定目标对象的参数信息。按照相似度比对并标记出图像中的关键对象，并对每一帧图像中关键对象的轮廓及位置进行记录，再进行存储。

(3)根据参数信息，对画面帧进行处理，得到包含目标对象的目标视频数据。

在实现过程中，可以首先基于目标对象在画面帧中的位置，确定画面帧的画面变化中心；具体而言，可以将识别到的目标对象在画面帧的位置作为画面帧中画面变化的中心；然后再基于目标对象在画面帧中的轮廓以及缩放比例，对画面帧进行图像处理；具体而言，可以基于缩放位置以及缩放比例，对待播放视频进行放大或缩小处理，得到与缩放位置以及缩放比例对应的视频数据。经过图像处理后的画面帧确定为包含目标对象的视频数据。将经过缩放后的画面帧确定为包括目标对象的视频数据。

为了进一步展示目标对象和原视频数据之间的位置关系，还可以将直播视频进行下变换处理，生成底图视频。然后将底图视频以及与操作参数对应的视频画面进行混叠处理，得到包含悬浮窗口的视频数据，用户可以清楚地观察到目标对象的所在区域在原视频中的位置。

简而言之，即移动终端通过将包括目标对象的视频画面和以直播视频作为底图的视频进行混叠处理，以达到包含目标对象的视频画面悬浮于底图视频，形成悬浮窗口进行播放。

步骤S106，基于处理后的目标视频数据，播放与触控操作对应的视频画面。

具体地，移动终端可以播放符合用户操作的直播视频数据。进一步地，还可以在当识别到画面切换操作时，播放当前的目标视频数据的上一个视频数据。具体地，移动终端识别出画面切换指令，根据画面切换指令对直播视频进行处理。例如，移动终端接收到用户点击或双击预设区域的操作后，切换到上一个感兴趣区域，若无上一个感兴趣区域则可设置为放大播放点击处的视频图像。

本发明提供了一种超高清视频多视角漫游播放方法，在接收到用户输入的针对正在播放的超高清视频数据的触控操作后，基于该触控操作，生成针对正在播放的超高清视频数据的操作参数；然后根据操作参数中的目标对象以及缩放比例对正在播放的超高清视频数据进行处理，得到处理后的视频数据；进一步基于处理后的视频数据播放与操作参数对应的视频画面。本发明实现了用户对感兴趣对象的观看，提高了用户体验，从而满足了用户的高质量观看需求。

本发明实施利还提供了另超高清视频多视角漫游播放方法，该方法在图1所示的方法基础上实现。如图2所示，该方法包括一下步骤：

步骤S200，将目标对象的图像特征与正在播出的超高清视频数据中当前画面帧的图像信息进行对比，得到对比结果。

具体地，在播放视频之前可以预先设定与待播放视频相关的一个或多个关键对象的信息，其中，关键对象的信息包括：关键对象有代表性的图像信息以及关键对象的描述信息。关键对象还包括人物类关键对象以及物品类关键对象，人物类关键对象的描述信息包括人物的名称、国籍、年龄、性别、职业介绍、赛场表现中的一种或几种等；人物类关键对象的图像信息包括人物的正面肖像；或人物类关键对象的图像信息包括人物的正面肖像，以及侧面肖像、背影、侧影中的一种或几种；物品类关键对象的描述信息包括物品的名称、速度中的一种或几种；物品类关键对象的图像信息包括物品的有代表性的图片。

步骤S202，根据相似度对比结果，确定当前画面帧中的目标对象的参数信息。

步骤S204，根据参数信息，对当前画面帧进行处理，得到包含目标对象的目标视频数据。

步骤S206，获取正在播放视频的当前画面的图像，获取用户在当前播放视频画面的点击位置。

步骤S208，识别当前画面的图像的点击位置是否包括预设的关键对象，如果是，将识别出的关键对象作为目标对象，提取目标对象的轮廓信息，提取目标对象在当前画面的图像中的位置信息

具体地，识别获取目标对象在当前播放画面之前的视频中的位置信息，并通过目标追踪方法，识别出当前画面的图像的点击位置是否包括预设的关键对象，如果是，将识别出的关键对象作为目标对象，提取目标对象的轮廓信息，提取目标对象在当前画面的图像中的位置信息。

步骤S210，基于缩放位置以及缩放比例，对正在播出的超高清视频数据进行处理，得到与缩放位置以及缩放比例对应的目标视频数据。

步骤S212，将正在播出的超高清视频数据进行下变换处理，生成底图视频。

具体地，将正在播出的视频进行处理，使其成为待播放视频的底图视频。

步骤S214，将底图视频以及与操作参数对应的视频画面进行混叠处理，得到包含悬浮窗口的目标视频数据。

本发明提供了一种超高清视频多视角漫游播放方法，将目标对象的图像特征与正在播出的超高清视频数据中当前画面帧的图像信息进行对比，得到对比结果；根据其相似度对比结果，确定当前画面帧中的目标对象的参数信息；并且根据参数信息，对当前画面帧进行处理，得到包含目标对象的目标视频数据。该方法还可以基于缩放位置以及缩放比例，对正在播出的超高清视频数据进行处理，得到与缩放位置以及缩放比例对应的目标视频数据。还可以将正在播出的超高清视频数据进行下变换处理，生成底图视频；将底图视频以及与操作参数对应的视频画面进行混叠处理，得到包含悬浮窗口的目标视频数据。本发明实现了用户对感兴趣对象的观看，提高了用户体验，从而满足了用户的高质量观看需求。

本发明实施利还提供了另超高清视频多视角漫游播放方法，该方法在图1所示的方法基础上实现。其中，移动终端识别用户的操作信息并对从服务器获取的完整视频源进行处理，以得到按照缩放比例处理后的包含关键对象的视频画面进行播放，以使用户可以个性化、且更清晰、更细致的观看包含感兴趣对象的视频，达到漫游的目的。移动终端包括信息接收模块，识别模块，处理模块和显示模块。

如图3所示该方法包括以下步骤：

步骤S300，信息接收模块接收操作信息；该步骤为信息接收步骤，具体为移动终端的信息接收模块接收用户的操作信息。

步骤S302，识别模块基于操作信息识别关键对象和缩放比例；该步骤为信息识别步骤。

步骤S304，处理模块基于关键对象和缩放比例，在视频源中提取包含关键对象活动的局部画面(上述感兴趣区域)，按照缩放比例进行处理，得到待播放视频；该步骤为图像处理步骤。

步骤S306，显示模块播放待播放视频；该步骤为视频显示步骤。

操作信息存储模块存储用户的操作信息，操作信息的来源包括但不限于(1)用户在触摸屏上的操作信息；(2)通过手机按键的操作；(3)用户通过手机感应(例如重力感应)的操作。只要是用户通过移动终端进行操作都可以记录为操作信息，以下以从接触屏得到的操作信息进行举例说明。

1.具体来说，移动终端可以从操作信息中识别缩放观看的目的和缩放比例，移动终端可(1)支持无级放大(移动终端的分辨率至视频源的分辨率之间)；(2)支持多点触摸放大，最高可放大到与视频源等同的分辨率进行播放，即区域的像素点与视频源一致等。移动终端还支持其他放大方式，在此不一一说明。

2.移动终端可在视频源中自动识别出关键对象或者移动终端接收的视频源中包括预设的关键对象。关键对象可以为关键人、关键物等。移动终端可以从操作信息中识别出用户选择关键对象。

具体来说，移动终端还包括存储模块和比对标记模块，存储模块中事先存储了一些关键对象的图像信息(其中关键对象可以是根据用户观看习惯，视频中人员的知名度，主要物体来确定，比如，裁判、球员、球)，比对标记模块通过关键对象的图像信息对视频源中的每一帧图像中画面进行比对，按照相似度比对并标记出图像中的关键对象，并对每一帧图像中关键对象的轮廓及位置进行记录，再存储到存储模块中。

例如，在识别模块基于识别出用户的点击位置在关键对象的轮廓范围内时，识别出用户选中的关键对象。

在上述1和2中识别出关键对象和缩放比例后，在视频源中提取包含关键对象活动的局部画面按照缩放比例进行处理，得到待播放视频，进行播放。具体来说，移动终端可以从操作信息中识别用户改变播放视角的目的，其中该播放视角中的播放画面要包含关键对象。举例来说移动终端可接收用户的跟踪关键对象的操作信息(例如点击关键对象)后，将关键对象设置为感兴趣区域的中心点，进行播放。以足球赛事为例，以足球赛事为例，比如可能有很多观众喜欢C罗，可以有一个关键对象为C罗。移动终端的操作信息接收模块接收到操作信息后发送给识别模块；识别模块从点击位置在C罗的轮廓范围内识别出关键对象为C罗，并从用户两点接触屏幕向外滑动的距离为两点原始位置的1倍的操作信息中，识别出放大倍数为2，移动终端播放以C罗为画面中心的放大倍数为2的局部视频图像。也可以有一个关键对象为足球，这样接收到点击足球的操作时，移动终端播放以足球为画面中心的放大后的视频图像。其中关键对象在放大后的视频图像中的位置可以在处理模块中默认为中心位置，也可以预先设置几个位置，由用户选择。

一种可能的实施例包括：

在播放视频之前预先设定与待播放视频相关的一个或多个关键对象的信息；关键对象的信息包括：关键对象有代表性的图像信息，关键对象的描述信息；关键对象一般有人物类关键对象和物品类关键对象。

人物类关键对象的描述信息通常包括人物的名称、国籍、年龄、性别、职业介绍、赛场表现中的一种或几种；

人物类关键对象的图像信息包括人物的正面肖像；一般是该关键人物如某体育明星、演艺明星的清晰的正面照片，还可以包括关键人物的侧面肖像、背影、侧影中的一种或几种。通常会使用关键人物的正面照片从正在播放的视频中，通过人脸识别的方法判断是否包含该关键人物；在个别情况下，也可以通过关键人物的侧面肖像或者背影、侧影等识别关键对象。

在体育比赛过程中，由于运动员大部分处于高速运动中，其在当前画面不一定有清晰的正面图像，这是就有可能需要使用侧面肖像或者全身/半身的侧影、背影进行人物的识别。由于运动员大部分是处于连续运动中，其位置在当前视频的前后帧会有相对连续的变化，通常还可以采用目标追踪的方法来确定当前视频画面是否包括关键对象。这时候需要提取当前画面之前一段时间的视频画面，在这些视频画面中通过人脸识别判断是否包含某关键对象，识别出关键对象后提取其在图像中的轮廓信息和位置信息，以及在后续画面帧图像中的轮廓信息和位置信息，通过比较其位置信息的变化，获取关键对象在相邻视频画面帧中的运动趋势，使用该运动趋势和轮廓信息判断关键人物在后续画面中可能出现的位置和轮廓会非常有帮助，可以大大降低计算量，同时可以解决后续画面帧中人脸信息由于朝向原因不可用或者太过模糊等问题，提高运算速度并能获取没有可用人脸信息时的关键人物的位置信息和轮廓信息。

物品类关键对象的描述信息包括物品的名称、速度中的一种或几种，物品类关键对象的图像信息包括物品的有代表性的图片；

更优化的处理方式时，当前一帧画面提取到了关键对象后，始终使用目标追踪的方式帮助后续帧画面的关键对象信息提取。实际实施情况表明，在一些常见的体育比赛等场合由于画面中人脸信息很多，使用目标追踪的方法持续提取某一特定关键人物的位置信息和轮廓信息，相比单独使用人脸特征提取比对的方法效率可以提高几十倍以上。

如果在用户单击的位置识别出了关键对象，在播放该帧的时候通常会在当前帧视频图像上以叠加关键对象的轮廓的方式反馈用户识别到了关键对象，例如以绿线的形式持续在视频上叠加显示该关键对象的轮廓线，并在视频播放窗口弹出可供用户选择的后续操作的菜单，可能的菜单项可包括：以该关键人物为中心漫游观看、以该关键人物为中心放大画面、显示关键人物的描述信息等。

如果在用户单击的位置没有识别出关键对象，直接忽略掉用户这次单击操作即可。

本方法还包括，移动终端可根据用户的操作信息将视频源的每一帧进行放大后播放。具体是移动终端的识别模块识别缩放位置和缩放比例后对选中的位置进行缩放播放，其中，放大方式包括但不限于多点触摸放大和点击放大。例如，移动终端中的程序设定为，接收用户的多点触摸进行放大播放，即接收“用户使用两点接触触摸屏，并且两个接触点逐渐远离”的操作信息。识别模块识别两个接触点的滑动距离、滑动速率等条件进行放大播放(例如接收用户的两点接触屏幕向外滑动的操作信息；识别模块将接触的两点中心识别为放大中心，将滑动距离和两点原始距离的比例作识别为缩放比例)。再例如，移动终端中的程序设定为，接收用户的双击进行放大，可设定为接受一次用户的双击，放大一次。此时，移动终端的分辨率若为高清(1920×1080)，视频源的分辨率为若为8K，也就是说，视频源的图像大小(或像素点数量)是移动终端可显示的图像大小(或像素点数量)的16倍，即双击4次可将视频源放大至最大，以最大程度满足用户观看需求。这里的放大至最大指的是用户能够移动终端的分辨率下观看到最细节的视频图像且不模糊时候，即点对点观看(也可根据需要将“放大至最大”设置为其他形式，例如移动终端最大分辨率的2倍)。其中，处理模块在每次放大图像可以查看当前屏幕显示状态，设定为若是已经放大到最大则不再进行放大，并恢复到原始屏幕的显示状态(即不进行放大的全屏显示状态)。

本方法还包括，移动终端的识别模块识别出关键对象，处理模块提取出对应关键对象的元数据后，显示模块显示出该关键对象的元数据。以达到对关键对象提示的目的。元数据为关键对象的信息，例如，人物基本信息(姓名、年龄、主要成绩，进球数等)、物体基本信息(物体历史信息，型号等)等。

本方法还包括，移动终端的识别模块可以从操作信息中识别出放大倍数和图像漫游路径(漫游即改变当前播放视角在视频源的全画幅图像中的位置进行播放)。处理模块基于漫游路径对视频源进行提取，得到待播放视频。其中用户的操作信息可以是在移动终端的屏幕上的滑动动作。

本方法还包括，当移动终端的处理模块对视频源的每一帧进行放大播放时，处理模块还将视频源的全幅画面以悬浮小窗口的形式进行展现。

信息接收模块接收的操作信息还包括对悬浮小窗口的操作信息，识别模块从中识别出的操作指令包括但不限于一下几种：(1)透明度设置指令(例如可设置为0-90％的透明度范围)(2)恢复完整视频图像播放指令(例如，接收用户双击悬浮窗口的操作后，从播放感兴趣区域的局部视频图像的状态下切换到全屏播放完整视频图像)。识别模块识别后，处理模块基于识别出的操作指令对视频源进行下变换(即将分辨率缩小)处理，然后得到待播放视频。

本方法还包括，识别模块从操作信息中识别出画面切换指令，处理模块基于识别模块识别出的指令对视频源进行处理。例如，移动终端接收到用户点击或双击预设区域的操作后，切换到上一个感兴趣区域，若无上一个感兴趣区域则可设置为放大播放点击处的视频图像。

本方法还包括，移动终端除了接收上述图像信息(视频源)，还包括音频信息。

移动终端至少支持立体声和全景声的播放。

移动终端的处理模块不仅像上述一样将感兴趣区域的视频图像放大，还将对应完整视频图像的声音切换为感兴趣区域的音效，例如将全景声切换为对应的感兴趣区域的立体声。并且在将感兴趣区域画面切换到完整视频图像时，如有全景声信息，优先播放全景声，或者播放模拟环绕声，以模拟全景声效果。

优选的，视频源上述发明实施例中的视频源的每一帧都是拍摄设备拍摄运动场上全景画面(整个赛场不遗漏)的超高清视频，视频源中的每一帧都会记录每一个关键对象在赛场上的表现，这样比对标记模块识别完关键对象后，包含关键对象的局部画面不会有时间上的断层，确保用户能够观看到关键对象的整场表现。

以上所说的移动终端的分辨率指的是移动终端的活动画面区域的分辨率，所谓活动画面区就是能够有效播放视频的手机画面的区域。举例来说，说是有的手机画面的上方、下方或是左右两侧有空白不播放视频的区域，则此部分区域则不是活动画面区域，只有当全屏显示(即视频画面占满整个手机显示屏)时，活动画面区域的分辨率与手机的分辨率一致。

视音频处理模块最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术发明实施例，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术发明实施例进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术发明实施例的本质脱离本发明实施例技术发明实施例的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种超高清视频多视角漫游播放方法，其特征在于，所述方法应用于移动终端；所述移动终端与获取正在播出的超高清视频数据的服务器通信连接；所述方法包括：

接收用户输入的选择目标对象的触控操作；

基于所述选择目标对象的触控操作以及从所述服务器获取到的正在播出的超高清视频数据，确定针对正在播出的超高清视频数据的操作参数；所述操作参数包括目标对象以及缩放比例；

根据所述操作参数对所述正在播出的超高清视频数据进行处理，得到处理后的包括目标对象的目标视频数据；

基于所述处理后的目标视频数据，播放与所述触控操作对应的视频画面；

其中，所述操作参数的确定方法包括：

获取正在播放视频的当前画面的图像，获取用户在当前播放视频画面的点击位置；

识别所述当前画面的图像的所述点击位置是否包括预设的关键对象，如果是，将识别出的关键对象作为目标对象，提取目标对象的轮廓信息，提取目标对象在所述当前画面的图像中的位置信息；

其中，识别获取目标对象在当前播放画面之前的视频中的位置信息，通过目标追踪方法，识别所述当前画面的图像的所述点击位置是否包括预设的关键对象，如果是，将识别出的关键对象作为目标对象，提取目标对象的轮廓信息，提取目标对象在所述当前画面的图像中的位置信息。

2.根据权利要求1所述的超高清视频多视角漫游视频的播放方法，其特征在于，所述操作参数还包括目标对象的图像特征；

根据所述操作参数对所述正在播出的超高清视频数据进行处理，得到处理后的包括目标对象的目标视频数据的步骤，包括：

将所述目标对象的图像特征与所述正在播出的超高清视频数据中当前画面帧的图像信息进行对比，得到对比结果；

根据相似度对比结果，确定当前画面帧中的目标对象的参数信息；

根据所述参数信息，对所述当前画面帧进行处理，得到包含目标对象的目标视频数据。

3.根据权利要求2所述的超高清视频多视角漫游播放方法，其特征在于，所述参数信息包括所述目标对象在当前画面帧中的轮廓及位置；

根据所述参数信息，对所述当前画面帧进行处理，得到包含目标对象的目标视频数据的步骤，包括：

基于所述目标对象在当前画面帧中的位置，确定所述当前画面帧的画面变化中心；

基于所述目标对象在当前画面帧中的轮廓以及所述缩放比例，对所述当前画面帧进行图像处理；

将经过图像处理后的所述当前画面帧确定为包含目标对象的目标视频数据。

4.根据权利要求2所述的超高清视频多视角漫游播放方法，其特征在于，在播放视频之前预先设定与待播放视频相关的一个或多个关键对象的信息。

5.根据权利要求4所述的超高清视频多视角漫游播放方法，其特征在于，所述关键对象的信息包括：关键对象有代表性的图像信息以及关键对象的描述信息。

6.根据权利要求5所述的超高清视频多视角漫游播放方法，其特征在于，关键对象包括有人物类关键对象；

所述人物类关键对象的描述信息包括人物的名称、国籍、年龄、性别、职业介绍、赛场表现中的一种或几种；

所述人物类关键对象的图像信息包括人物的正面肖像；或所述人物类关键对象的图像信息包括人物的正面肖像，以及侧面肖像、背影、侧影中的一种或几种。

7.根据权利要求5所述的超高清视频多视角漫游播放方法，其特征在于，关键对象包括有物品类关键对象；

所述物品类关键对象的描述信息包括物品的名称、速度中的一种或几种；

所述物品类关键对象的图像信息包括物品的有代表性的图片。

8.根据权利要求1所述的超高清视频多视角漫游播放方法，其特征在于，所述操作参数包括缩放位置以及缩放比例；

所述方法还包括：

基于所述缩放位置以及缩放比例，对所述正在播出的超高清视频数据进行处理，得到与所述缩放位置以及缩放比例对应的目标视频数据。

9.根据权利要求1所述的超高清视频多视角漫游播放方法，其特征在于，所述方法还包括：

将所述正在播出的超高清视频数据进行下变换处理，生成底图视频；

将所述底图视频以及所述与所述操作参数对应的视频画面进行混叠处理，得到包含悬浮窗口的目标视频数据。