CN113938713B - 一种多路超高清视频多视角漫游播放方法 - Google Patents

Abstract

本发明提供了一种多路超高清视频多视角漫游播放方法，首先接收播放终端发送的针对于待播放视频的操作请求；其中，操作请求包括目标对象以及缩放比例；然后基于操作请求对待播放视频进行处理，得到包括目标对象的视频数据；最后将视频数据发送至播放终端，以使播放终端基于视频数据播放与操作请求对应的视频画面。本发明可大大减少了发送到播放终端的视频传输流量，并可以满足用户对感兴趣对象的观看需求，从而提高了用户体验。

Description

一种多路超高清视频多视角漫游播放方法

技术领域

本发明涉及视频播放技术领域，尤其是涉及一种多路超高清视频多视角漫游播放方法。

背景技术

相关技术中，播放终端在进行视频播放时，需要接收完整视频，并根据用户的操作指令进行播放，该方法传输流量较大，且只能对局部画面进行超高清播放，无法实现对感兴趣对象的观看，导致用户观看体验下降，无法满足用户高质量观看需求。

同时，在类似对体育比赛的转播过程中，通常会有多台摄像机进行现场拍摄，但是目前观众只能看到转播切换后的部分画面，同一时间只有某一台摄像机的特定视角的画面被观众看到，并且还只是赛场的某一部分的画面。如果观众关心的运动员不在画面中，即便其他摄像机有拍摄，观众也无法看到。

超高清摄像机由于有很高的分辨率，一台超高清摄像机就有可能替代多台原有普通摄像机完成全场体育转播。但是现有技术没有办法让不同的观众方便的看到自己关心的运动员的清晰画面。

发明内容

有鉴于此，本发明的目的在于提供一种多路超高清视频多视角漫游播放方法，以减少了服务器的存储空间，提高了视频播放的效率。

第一方面，本发明实施例提供了一种多路超高清视频多视角漫游播放方法，方法应用于服务器；服务器与预设的播放终端通信；服务器可以访问存储的预先录制的待播放视频；方法包括：接收播放终端发送的针对于待播放视频的操作请求；操作请求包括目标对象以及缩放比例；基于操作请求对待播放视频进行处理，得到包括目标对象的视频数据；将视频数据发送至播放终端，以使播放终端基于视频数据播放与操作请求对应的视频画面。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，操作请求还包括目标对象的图像特征；基于操作请求对待播放视频进行处理，得到包括目标对象的视频数据的步骤，包括：将目标对象的图像特征与待播放视频中每一个画面帧的图像信息进行相似度对比，得到相似度对比结果；根据相似度对比结果，确定每一个画面帧中的目标对象的参数信息；根据参数信息，对画面帧进行处理，得到包含目标对象的视频数据。

结合第一方面一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，参数信息包括目标对象在画面帧中的轮廓及位置；根据参数信息，对画面帧进行处理，得到包含目标对象的视频数据的步骤，包括：基于目标对象在画面帧中的位置，确定画面帧的画面变化中心；基于目标对象在画面帧中的轮廓以及缩放比例，对画面帧进行图像处理；将经过图像处理后的画面帧确定为包含目标对象的视频数据。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，操作请求包括缩放位置以及缩放比例；方法还包括：基于缩放位置以及缩放比例，对待播放视频进行处理，得到与缩放位置以及缩放比例对应的视频数据。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，方法还包括：将待播放视频进行下变换处理，生成底图视频；将底图视频以及与操作请求对应的视频画面进行混叠处理，得到包含悬浮窗口的视频数据。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，方法还包括：将待播放视频对应的全景音频转换为目标对象对应的立体声音频。

本发明实施例带来了以下有益效果：

本发明提供了一种多路超高清视频多视角漫游播放方法，首先接收播放终端发送的针对于待播放视频的操作请求；基于操作请求中的目标对象以及缩放比例对待播放视频进行处理，得到包括目标对象的视频数据；将视频数据发送至播放终端，以使播放终端基于视频数据播放与操作请求对应的视频画面。该方式减少了录播视频的传输流量，可以满足用户对感兴趣对象的观看需求，从而提高了用户体验。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多路超高清视频多视角漫游播放方法的流程图；

图2为本发明实施例提供的另一种多路超高清视频多视角漫游播放方法的流程图；

图3为本发明实施例提供的另一种多路超高清视频多视角漫游播放方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现在很多前端设备拍摄的视频源，其分辨率能够达到4k、8k，甚至能够拍摄16k视频的前端设备也正在研制，但是在例如播放终端(手机或平板电脑等)等小分辨率播放设备，其本身的分辨率不能够达到4k、8k或是16k，并不能直接点对点的展示4k、8k或是16k等超高清视频等原始视频信息。

目前，在视频源和播放设备的分辨率不一致的情况下，为了播放视频，通常是将视频源按比例缩小到播放终端对应的分辨率进行显示，即将高分辨率转换为低分辨率进行查看。现有的方法只是单纯地为了实现视频内容的观看，但是，其无法实现针对想要观看的目标的进行像素级别的查看。

基于此，本发明实施例提供的一种多路超高清视频多视角漫游播放方法，可以减少了录播视频播放的传输流量，实现对感兴趣对象的观看，提高了用户体验，满足了用户的高质量观看需求。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种多路超高清视频多视角漫游播放方法进行详细介绍。

本发明实施例提供了一种多路超高清视频多视角漫游播放方法。如图1所示：该方法包括以下步骤：

步骤S100，接收播放终端发送的针对于待播放视频的操作请求；操作请求包括目标对象以及缩放比例。

具体而言，操作请求可以包括目标对象的图像特征、缩放比例、缩放位置等，播放终端通过触摸屏等人机交互设备接收到用户对于待播放视频的操作信息，并从操作信息中识别出对应的操作请求，通过播放信息发送模块发送到服务器。

操作信息的来源包括但不限于(1)用户在触摸屏上的操作信息；(2)通过手机按键的操作；(3)用户通过手机感应(例如重力感应)的操作。只要是用户通过播放终端进行操作都可以记录为操作信息。

步骤S102，基于操作请求对待播放视频进行处理，得到包括目标对象的视频数据。

具体地，服务器接收针对待播放视频的操作请求，并根据操作请求对待播放视频进行处理，得到符合用户的目标视频。服务器可以对每一帧图像中关键对象的轮廓及位置进行记录之后，按照不同的缩放比例制作好包含关键对象的局部画面的待播放视频并进行打包，以形成不同的数据包。例如，操作请求包括缩放比例大小以及缩放的位置，则服务器根据操作请求对目标对象查找缩放位置并按照缩放比例进行缩放；服务器还可以根据操作请求中将包含目标对象的目标视频以悬浮窗的形式进行播放；服务器还可以对目标对象对应的音频数据进行处理，得到目标音频信息。

步骤S104，将视频数据发送至播放终端，以使播放终端基于视频数据播放与操作请求对应的视频画面。

具体地，服务器将视频数据发送至播放终端，播放终端接收视频数据，并播放符合用户操作的视频。

本发明提供了一种录播视频的播放方法，首先对多角度拍摄的同一场景的多路视频进行预处理，识别各路视频每一帧画面中是否包含多个预设关键对象，及各关键对象的位置信息。根据这些位置信息对预先录制的视频进行处理，得到不同分辨率的以不同关键对象为中心的处理后视频。接收播放终端发送的操作请求；基于操作请求对待播放视频进行实时处理，得到包括目标对象的视频数据；或者选择已经预先生成的处理后视频及对应的音频数据发送至播放终端，以使播放终端符合观众视角漫游需求的视频画面。本发明可大大减少了发送到播放终端的视频传输流量，并可以满足用户对感兴趣对象的观看需求，从而提高了用户体验。

本发明实施利还提供了另一种多路超高清视频多视角漫游播放方法，该方法在图1所示的方法基础上实现。该方式主要描述了基于操作请求对待播放视频进行处理，得到包括目标对象的视频数据的具体实现过程。如图2所示，该方法包括以下步骤：

步骤S200，将目标对象的图像特征与待播放视频中每一个画面帧的图像信息进行相似度对比，得到相似度对比结果。

具体地，服务器可以预先对待播放视频进行处理，具体为识别关键对象，确定关键对象的中心位置等，将服务器从操作请求中识别到的目标对象与服务器预先识别的关键对象进行对比，确定是否将关键对象作为接收到的操作请求中的目标对象。

服务器事先存储了一些关键对象的图像信息(其中关键对象可以是根据用户观看习惯，视频中人员的知名度，主要物体来确定，比如，裁判、球员、球)，然后通过关键对象的图像信息对视频源中的每一帧图像中画面进行比对。

步骤S202，根据相似度对比结果，确定每一个画面帧中的目标对象的参数信息。

具体地，根据相似度对比结果，确定是否将关键对象作为接收到的操作请求中的目标对象，并且确定目标对象的参数信息。按照相似度比对并标记出图像中的关键对象，并对每一帧图像中关键对象的轮廓及位置进行记录。

步骤S204，根据参数信息，对画面帧进行处理，得到包含目标对象的视频数据。

在实现过程中，可以首先基于目标对象在画面帧中的位置，确定画面帧的画面变化中心；具体而言，可以将识别到的目标对象在画面帧的位置作为画面帧中画面变化的中心；然后再基于目标对象在画面帧中的轮廓以及缩放比例，对画面帧进行图像处理；具体而言，可以基于缩放位置以及缩放比例，对待播放视频进行放大或缩小处理，得到与缩放位置以及缩放比例对应的视频数据。经过图像处理后的画面帧确定为包含目标对象的视频数据。将经过缩放后的画面帧确定为包括目标对象的视频数据。

为了进一步展示目标对象和原视频数据之间的位置关系，可以将待播放视频进行下变换处理，生成底图视频。然后将底图视频以及与操作请求对应的视频画面进行混叠处理，得到包含悬浮窗口的视频数据，用户可以清楚地观察到目标对象的所在区域在原视频中的位置。

简而言之，即服务器通过将包括目标对象的视频画面和以待播放视频作为底图的视频进行混叠处理，以达到包含目标对象的视频画面悬浮于底图视频，形成悬浮窗口进行播放。

进一步地，还可以将待播放视频对应的全景音频转换为目标对象对应的立体声音频。具体地，服务器将全景声切换为对应的感兴趣区域的立体声，并且在将感兴趣区域画面切换到完整视频图像时，如有全景声信息，优先播放全景声，或者播放模拟环绕声，以模拟全景声效果。

本发明实施例提供的方法由服务器基于播放终端发送的操作请求对待播放视频进行处理，能够实现用户对感兴趣对象的观看，同时可以实现对感兴趣对象进行缩放处理，达到根据用户需求观看视频，并在此基础上还可以实现对感兴趣对象进行悬浮窗口播放以及对感兴趣对象的音频进行播放，达到了个性化的观看需求，提高了用户体验，满足了用户的高质量观看需求。此外，通过服务器端对待播放视频的处理还节省了服务器的存储空间。

本发明实施利还提供了另一种多路超高清视频多视角漫游播放方法，该方法在图1所示的方法基础上实现。

播放终端识别用户的操作信息从服务器中获取按照缩放比例处理后的包含关键对象的视频画面以进行播放，以使用户可以个性化、且更清晰、更细致的观看包含感兴趣对象的视频，达到漫游的目的。该方法的流程图如图3所示。

该方法可以为服务器在接收到播放终端的操作指令后，或者预先对视频源进行一定的处理，先在视频源中别出关键对象，制作好可能播放的感兴趣区域的视频后，将对应的视音频信息发送给播放终端进行播放。

上述方法基于多路超高清视频多视角漫游播放方法系统实现，该系统包括服务器和播放终端。

其中，播放终端包括操作信息接收模块、识别模块、播放信息发送模块、视频信息接收模块和显示模块。

操作信息接收模块接收操作信息；识别模块基于操作信息识别关键对象(关键对象可以为关键人、关键物等)和缩放比例；播放信息发送模块将关键对象和缩放比例发送给服务器。其中，服务器事先存储了一些关键对象的图像信息(其中关键对象可以是根据用户观看习惯，视频中人员的知名度，主要物体来确定，比如，裁判、球员、球)，然后通过关键对象的图像信息对视频源中的每一帧图像中画面进行比对，按照相似度比对并标记出图像中的关键对象，并对每一帧图像中关键对象的轮廓及位置进行记录。并将视频中每一帧图像中关键对象的轮廓及位置，发送给播放终端，播放终端的识别模块基于用户的操作信息(例如点击操作和点击位置)和每一帧图像中关键对象的轮廓及位置识别关键人物。

服务器对每一帧图像中关键对象的轮廓及位置进行记录之后，按照不同的缩放比例制作好包含关键对象的局部画面的待播放视频并进行打包，以形成不同的数据包。服务器接收了播放终端发送的关键对象和缩放比例，将对应的数据包发送给播放终端。

播放终端的视频信息接收模块接收数据包中的待播放视频并发送给显示模块；显示模块播放待播放视频。

以演唱会为例，比如有观众们喜欢看的歌星，就可以把喜欢的歌星作为关键对象，播放终端的操作信息接收模块接收到操作信息后发送给识别模块；识别模块从点击位置在喜欢的歌星的轮廓范围内的操作信息识别出关键对象为喜欢的歌星，并从用户两点接触屏幕向外滑动的距离为两点原始位置的1倍的操作信息中识别出放大倍数为2，将此信息通过播放信息发送模块发送给服务器。

服务器中事先制作好以放大倍数为2的包含喜欢的歌星的局部视频图像的数据包。服务器接收到播放信息发送模块发送的信息后，将此数据包发送给视频信息接收模块。其中，其中关键对象在放大后的视频图像中的位置可以在处理模块中默认为中心位置，也可以预先设置几个位置，由用户选择。

服务器接收到放大中心和缩放比例后对视频源进行处理，并将处理后的待播放视频发送给视频信息接收模块。

本方法还包括，播放终端的识别模块识别出关键对象，播放信息发送模块发送给服务器，服务器发送的待播放视频中加入选择的关键对象元数据后发送给视频信息接收模块。以达到对关键对象提示的目的。元数据为关键对象的信息，例如，人物基本信息(姓名、年龄、主要成绩，进球数等)、物体基本信息(物体历史信息，型号等)等。

本方法还包括，播放终端的识别模块可以从操作信息中识别出放大倍数和图像漫游路径(漫游即改变当前播放视角在视频源的全画幅图像中的位置进行播放)。服务器基于放大倍数和漫游路径对视频源进行提取，得到待播放视频。其中用户的操作信息可以是在播放终端的屏幕上的滑动动作。

本方法还包括，当播放终端播放放大后的视频时，还将视频源的全幅画面以悬浮小窗口的形式进行展现。

在此方案下，信息接收模块接收的操作信息还包括对悬浮小窗口的操作信息，识别模块从中识别出的操作指令包括但不限于一下几种：(1)透明度设置指令(例如可设置为0-90％的透明度范围)(2)恢复完整视频图像播放指令(例如，接收用户双击悬浮窗口的操作后，从播放感兴趣区域的局部视频图像的状态下切换到全屏播放完整视频图像)。服务器接收到的操作指令对视频源的全幅画面进行下变换(即将分辨率缩小)处理，然后加入待播放视频的数据包中。

本方法还包括，播放终端除了接收上述图像信息(视频源)，还包括音频信息。

播放终端至少支持立体声和全景声的播放。

播放终端的处理模块不仅像上述一样将感兴趣区域的视频图像放大，还将对应完整视频图像的声音切换为感兴趣区域的音效，例如将全景声切换为对应的感兴趣区域的立体声。并且在将感兴趣区域画面切换到完整视频图像时，如有全景声信息，优先播放全景声，或者播放模拟环绕声，以模拟全景声效果。

优选的，视频源上述方案中的视频源的每一帧都是拍摄设备拍摄演唱会上全景画面(包括整个舞台)的超高清视频，视频源中的每一帧都会记录每一个关键对象在舞台上的表现，这样比对标记模块识别完关键对象后，包含关键对象的局部画面不会有时间上的断层，确保用户能够观看到关键对象的整场表现。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种多路超高清视频多视角漫游播放方法，其特征在于，所述方法应用于服务器；所述服务器与预设的播放终端通信；所述服务器访问存储的预先录制的待播放视频；所述方法包括：

接收所述播放终端发送的针对于待播放视频的操作请求；所述操作请求包括目标对象以及缩放比例；

基于所述操作请求对所述待播放视频进行处理，得到包括目标对象的视频数据；

将所述视频数据发送至所述播放终端，以使所述播放终端基于所述视频数据播放与所述操作请求对应的视频画面；

将待播放视频对应的全景音频转换为目标对象对应的立体声音频；

所述服务器预先存储有关键对象的图像信息；在所述接收所述播放终端发送的针对于待播放视频的操作请求之前，所述方法还包括：

基于所述图像信息对所述待播放视频中的每一帧图像中画面进行比对，标记出所述图像中的关键对象，并对所述关键对象的轮廓及位置进行记录；记录后按照不同缩放比例制作包含所述关键对象的局部画面的待播放视频并进行打包，得到不同的数据包；

所述视频数据为所述操作请求对应的数据包。

2.根据权利要求1所述的方法，其特征在于，所述操作请求还包括目标对象的图像特征；

基于所述操作请求对所述待播放视频进行处理，得到包括目标对象的视频数据的步骤，包括：

将所述目标对象的图像特征与所述待播放视频中每一个画面帧的图像信息进行相似度对比，得到相似度对比结果；

根据相似度对比结果，确定每一个所述画面帧中的目标对象的参数信息；

根据所述参数信息，对所述画面帧进行处理，得到包含目标对象的视频数据。

3.根据权利要求2所述的方法，其特征在于，所述参数信息包括所述目标对象在画面帧中的轮廓及位置；

根据所述参数信息，对所述画面帧进行处理，得到包含目标对象的视频数据的步骤，包括：

基于所述目标对象在画面帧中的位置，确定所述画面帧的画面变化中心；

基于所述目标对象在画面帧中的轮廓以及所述缩放比例，对所述画面帧进行图像处理；

将经过图像处理后的所述画面帧确定为包含目标对象的视频数据。

4.根据权利要求1所述的方法，其特征在于，所述操作请求包括缩放位置以及缩放比例；

所述方法还包括：

基于所述缩放位置以及缩放比例，对所述待播放视频进行处理，得到与所述缩放位置以及缩放比例对应的视频数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述待播放视频进行下变换处理，生成底图视频；

将所述底图视频以及所述与所述操作请求对应的视频画面进行混叠处理，得到包含悬浮窗口的视频数据。