CN106060515B - 全景媒体文件推送方法及装置 - Google Patents

Abstract

本发明公开了一种全景媒体文件推送方法及装置。其中，该方法包括：获取待推送的全景媒体文件，其中，全景媒体文件中包括一帧或多帧全景图像帧；按照预定条件分别对每帧全景图像帧进行划分，其中，划分后的每帧全景图像帧中包括多个视图区；在每帧全景图像帧的多个视图区上获取中心视图区，其中，中心视图区所占区域大于等于一个视图区所占区域；根据中心视图区对全景图像帧进行编码；推送编码后的全景图像帧。本发明解决了采用现有的全景媒体文件的推送方式所导致的推送准确性较低的技术问题。

Description

全景媒体文件推送方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种全景媒体文件推送方法及装置。

背景技术

由于全景媒体文件能提供给用户区别于传统有限视野更为逼真的沉浸观看体验，因而逐渐成为虚拟现实领域主要的内容之一。然而全景媒体文件相对于传统媒体文件，在工程技术上有着巨大困难与挑战。

目前，针对全景媒体文件的播放，常用的技术手段是利用四菱锥。具体来说，是将全景球内置于一个四菱锥体内，并使观看者的视野中心垂直对齐于锥体底面中心，通过投影几何变换，将所要播放的画面投影到四菱锥面上。这样通过投影到锥体底面将把画面高清保留在观看者的视野内，而视野外的其余内容由于被投影到锥体侧面，将被迅速压缩，从而大大降低了推送全景媒体文件时的带宽压力。

然而，由于全景媒体文件需要提供360度全景画面，如果只传输一个固定的预定义视角的画面内容，当观看者的视野中心发生移动的话，在新视野里就有一部分画面由于压缩而无法正常呈现，所以上述这种仅仅针对一个预定义视角，推送全景媒体文件的方式，将使得所推送的全景媒体文件不准确，从而导致全景媒体文件播放时出现失真的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种全景媒体文件推送方法及装置，以至少解决采用现有的全景媒体文件的推送方式所导致的推送准确性较低的技术问题。

根据本发明实施例的一个方面，提供了一种全景媒体文件推送方法，包括：获取待推送的全景媒体文件，其中，上述全景媒体文件中包括一帧或多帧全景图像帧；按照预定条件分别对每帧上述全景图像帧进行划分，其中，划分后的每帧上述全景图像帧中包括多个视图区；在每帧上述全景图像帧的上述多个视图区上获取中心视图区，其中，上述中心视图区所占区域大于等于一个上述视图区所占区域；根据上述中心视图区对上述全景图像帧进行编码；推送编码后的上述全景图像帧。

根据本发明实施例的另一方面，还提供了一种全景媒体文件推送装置，包括：第一获取单元，用于获取待推送的全景媒体文件，其中，上述全景媒体文件中包括一帧或多帧全景图像帧；划分单元，用于按照预定条件分别对每帧上述全景图像帧进行划分，其中，划分后的每帧上述全景图像帧中包括多个视图区；第二获取单元，用于在每帧上述全景图像帧的上述多个视图区上获取中心视图区，其中，上述中心视图区所占区域大于等于一个上述视图区所占区域；编码单元，用于根据上述中心视图区对上述全景图像帧进行编码；推送单元，用于推送编码后的上述全景图像帧。

在本发明实施例中，在获取待推送的全景媒体文件中的一帧或多帧全景图像帧后，按照预定条件分别对每帧全景图像帧进行划分，划分后的每帧全景图像帧中包括多个视图区，在上述多个视图区上获取中心视图区，并根据该中心视图区对全景图像帧进行编码，以推送编码后的全景图像帧。也就是说，通过利用在全景图像帧上划分的多个视图区获取中心视图区，从而实现了利用多个视图区准确定位中心视图区，保证所获取的中心视图区的画面的准确性，以克服相关技术中只能获取到被高度压缩失真的画面的技术问题。进一步，利用多个视图区快速获取中心视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推送效率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的全景媒体文件推送方法的应用环境示意图；

图2是根据本发明实施例的一种可选的全景媒体文件推送方法的流程图；

图3是根据本发明实施例的一种可选的全景媒体文件推送方法的示意图；

图4是根据本发明实施例的另一种可选的全景媒体文件推送方法的示意图；

图5是根据本发明实施例的又一种可选的全景媒体文件推送方法的示意图；

图6是根据本发明实施例的又一种可选的全景媒体文件推送方法的示意图；

图7是根据本发明实施例的一种可选的全景媒体文件推送装置的示意图；以及

图8是根据本发明实施例的一种可选的全景媒体文件推送终端的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

在本发明实施例中，提供了一种上述全景媒体文件推送方法的实施例。作为一种可选的实施方式，该全景媒体文件推送方法可以但不限于应用于如图1所示的应用环境中，终端106通过网络104从服务器102获取待推送的全景媒体文件，其中，该全景媒体文件中包括一帧或多帧全景图像帧；按照预定条件分别对每帧全景图像帧进行划分，得到与每个全景图像帧对应的多个视图区，在每帧全景图像帧的多个视图区上获取中心视图区，并根据该中心视图区对全景图像帧进行编码，以推送编码后的全景图像帧。

作为另一种可选的实施方式，该全景媒体文件推送方法还可以但不限于应用于另一应用环境中，如仅应用于终端中，在终端内实现对全景媒体文件中的全景图像帧的划分、编码、推送操作，具体可参照上述实施方式，本实施例中在此不再赘述。

在本实施例中，在获取待推送的全景媒体文件中的一帧或多帧全景图像帧后，按照预定条件分别对每帧全景图像帧进行划分，划分后的每帧全景图像帧中包括多个视图区，在上述多个视图区上获取中心视图区，并根据该中心视图区对全景图像帧进行编码，以推送编码后的全景图像帧。也就是说，通过利用在全景图像帧上划分的多个视图区获取中心视图区，从而实现了利用多个视图区准确定位中心视图区，保证所获取的中心视图区的画面的准确性，以克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用多个视图区快速获取中心视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推送效率的效果。

可选地，在本实施例中，上述终端可以包括但不限于以下至少之一：手机、平板电脑、笔记本电脑、台式PC机、智能眼镜及其他用于播放全景媒体文件的硬件设备。上述网络可以包括但不限于以下至少之一：广域网、城域网、局域网。上述只是一种示例，本实施例对此不做任何限定。

根据本发明实施例，提供了一种全景媒体文件推送方法，如图2所示，该方法包括：

S202，获取待推送的全景媒体文件，其中，全景媒体文件中包括一帧或多帧全景图像帧；

S204，按照预定条件分别对每帧全景图像帧进行划分，其中，划分后的每帧全景图像帧中包括多个视图区；

S206，在每帧全景图像帧的多个视图区上获取中心视图区，其中，中心视图区所占区域大于等于一个视图区所占区域；

S208，根据中心视图区对全景图像帧进行编码；

S210，推送编码后的全景图像帧。

可选地，在本实施例中，上述全景媒体文件的推送方法可以但不限于应用于虚拟现实(Virtual Reality，VR)过程中，其中，虚拟现实VR可以但不限于是一种综合利用计算机图形系统和各种现实际控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。如将上述方法应用于VR眼镜中，通过对全景媒体文件进行视图区的划分及编码处理，以实现在播放全景媒体文件的过程中，可以快速提供更加准确清晰的全景媒体文件。其中，上述全景媒体文件可以包括但不限于以下至少之一：全景图像、全景视频等。上述仅是一种示例，本实施例中对此不做任何限定。

需要说明的是，在获取待推送的全景媒体文件中的一帧或多帧全景图像帧后，按照预定条件分别对每帧全景图像帧进行划分，划分后的每帧全景图像帧中包括多个视图区，在上述多个视图区上获取中心视图区，并根据该中心视图区对全景图像帧进行编码，以推送编码后的全景图像帧。也就是说，通过利用在全景图像帧上划分的多个视图区获取中心视图区，从而实现了利用多个视图区准确定位中心视图区，保证所获取的中心视图区的画面的准确性，以克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用多个视图区快速获取中心视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推送效率的效果。

可选地，在本实施例中，按照预定条件分别对每帧全景图像帧进行划分可以包括但不限于：按照预先配置的规格条件将每帧均匀分布在全景球上的全景图像帧划分为相同大小的多个矩形视图区。

例如，以全景球中心为原点，因为球面到中心(原点)距离为全景球半径长度，因而可以用极坐标系统来表示观全景图像帧上的各个位置，例如，(θ_x,θ_y)。θ_x表示以水平正前方为零，保持水平方向逆时针绕行的角度；θ_y表示以水平正上方为零，保持与水平垂直方向逆时针绕行的角度。进一步，如图3所示，将一帧全景图像帧划分为A视图区-P视图区。即以全景球中心为原点，水平方向逆时针旋转360度等分为6份，每份60度；与水平垂直方向逆时针旋转180度等分为3份，每份60度。则每个视图区的角度范围定义可以为：

其中，x，y为18个视图区分别在x方向和y方向上的编号，x∈[1,6],y∈[1,3]。

此外，在本实施例中，在上述多个视图区上获取的中心视图区可以但不限于为观看者的观看视野形成的视图区。需要说明的是，在全景图像帧划分的多个视图区可以但不限于根据中心视图区确定，如在全景图像帧上所划分的每个视图区所占区域的大小，可以但不限于小于等于中心视图区所占区域的大小，大于四分之一的中心视图区所占区域的大小。上述仅是一种示例，本实施例中对此不做任何限定。

可选地，在本实施例中，在每帧全景图像帧的多个视图区上获取中心视图区可以包括但不限于以下至少之一：

1)根据传感器检测到的运动数据确定第一中心视图区的坐标；

2)获取全景媒体文件的播放模式；根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标。

可选地，在本实施例中，在上述方式1)中可以但不限于根据传感器检测到的运动数据确定第一中心视图区的坐标之后，利用该第一中心视图区的坐标快速获取第一中心视图区在多个视图区中的目标视图区，其中，第一中心视图区包含在目标视图区中，进一步，从上述目标视图区中提取第一中心视图区的画面。也就是说，在本实施例中，可以利用终端上的传感器检测到的运动数据快速获取当前时间第一中心视图区的坐标，进而利用该坐标确定第一中心视图区所占的目标视图区，以实现快速从目标视图区中提取并推送第一中心视图区中的画面，进而达到提高全景媒体文件的推送效率的目的。例如，如图4所示，根据第一中心视图区的坐标获取到第一中心视图区所在目标视图区包括：A视图区、B视图区、E视图区及F视图区(如图4阴影所示)，进一步，从上述目标视图区中提取第一中心视图区的画面，此外，还可以便于对第一中心视图区所在目标视图区按照高于其他视图区的分辨率进行编码推送。

可选地，在本实施例中，在上述方式2)中可以但不限于预测第二中心视图区的坐标，也就是说，根据全景媒体文件的播放模式及第一中心视图区的坐标，预测预定时间段t后第二中心视图区的坐标。从而实现通过预测推送预定时间段t后将播放的画面，以克服网络通信的延时所导致的播放过程中出现画面延时的问题，进而达到提高推送效率的目的。

可选地，在本实施例中，上述根据中心视图区对全景图像帧进行编码可以包括但不限于：根据不同的视图区提供不同分辨率等级进行编码，如中心视图区所在视图区的分辨率等级高于全景图像帧的多个视图区中其他视图区的分辨率等级。需要说明的是，在本实施例提供的编码过程中，可以但不限于是以视图区为单位分别进行编码以得到所要推送的码流，从而实现针对不同的视图区按照对应不同的分辨率等级进行编码，以达到节省带宽，减轻传输开销的效果。

可选地，在本实施例中，上述编码后的视图区的码流可以但不限于按照时间进行切片。例如，在服务器端响应每个播放请求，每次总是推送一个全景媒体文件的时间切片。可以但不限于采用各种经典的运动图像专家组(Moving Picture Experts Group，MPEG)视频分片技术对一个视图区进行切片，再根据自适应的码流推送策略进行流服务。

通过本申请提供的实施例，通过利用在全景图像帧上划分的多个视图区获取中心视图区，从而实现了利用多个视图区准确定位中心视图区，保证所获取的中心视图区的画面的准确性，以克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用多个视图区快速获取中心视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推送效率的效果。

作为一种可选的方案，在每帧全景图像帧的多个视图区上获取中心视图区包括：

S1，根据传感器检测到的运动数据确定第一中心视图区的坐标；

S2，利用第一中心视图区的坐标从多个视图区中获取目标视图区，其中，第一中心视图区包含在目标视图区中；

S3，从目标视图区中提取第一中心视图区对应的画面。

可选地，在本实施例中，利用第一中心视图区的坐标从多个视图区中获取目标视图区包括：获取第一中心视图区的坐标所在的视图区标识；利用视图区标识所指示的视图区拼接得到目标视图区。

可选地，在本实施例中，上述传感器检测到的运动数据可以包括但不限于以下至少之一：头部转动的角度、眼球转动参数。上述仅是一种示例，上述运动数据还可以包括其他用于检测观看者的视野范围的运动数据，本实施例中对此不做任何限定。

具体结合以下示例进行说明，根据传感器检测到的运动数据确定第一中心视图区的坐标，利用上述坐标获取到第一中心视图区所在目标视图区的视图区标识，该视图区标识包括：A视图区、B视图区、E视图区及F视图区(如图4阴影所示)，如图4所示，主要在F视图区，同时涵盖相邻的A/B/E视图区的一部分，第一中心视图区中的画面内容是由A/B/D/Eviewport四个区的画面拼接得到。

在播放上述第一中心视图区中的画面时，可以根据全景球图像投影方法将解码后的A/B/D/E四个视图区中的画面展开拼接得到目标视图区，然后根据第一中心视图区的相对位置从该目标视图区中快速提取出第一中心视图区中的画面。

需要说明的是，在本实施例中，在第一中心视图区所占区域的大小等于每一个视图区所占区域的大小的情况下，上述第一中心视图区可以包含在多个视图区构成的目标视图区中，也可以与其中一个视图区严格重合，从而实现直接获取该第一中心视图区中的画面。

通过本申请提供的实施例，根据传感器检测到的第一中心视图区的坐标从多个视图区中获取第一中心视图区所在的目标视图区，从而实现快速从目标视图区中提取该第一中心视图区的画面，并推送播放该画面，以达到提高推送全景媒体文件的推送效率的效果。

作为一种可选的方案，根据中心视图区对全景图像帧进行编码包括:

S1，按照第一分辨率编码第一中心视图区所在目标视图区，按照第二分辨率编码全景图像帧中除目标视图区之外的其他视图区，其中，第一分辨率高于第二分辨率。

可选地，在本实施例中，对每一个划分的视图区可以但不限于进行多尺度编码，以得到多个分辨率等级的码流。其中，对于全景图像帧中的多个视图区，中心视图区的分辨率(用分辨率等级标识)可以但不限于高于其他视图区的分辨率。从而使被关注的中心视图区的画面可以被清晰真实地播放，而对于其他视图区的画面模糊播放，以达到减少传输开销，节省带宽的目的。

通过本申请提供的实施例，通过针对全景图像帧中的不同的视图区按照不同的分辨率进行编码，不仅可以突出清晰地播放中心视图区中的画面，而且对其他视图区的画面模糊处理，将达到节省带宽的目的。

作为一种可选的方案，在每帧全景图像帧的多个视图区上获取中心视图区包括：

S1，获取全景媒体文件的播放模式；

S2，根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标。

可选地，在本实施例中，根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标包括：

其中，(x₀,y₀)用于表示第一中心视图区的坐标，(x_t,y_t)用于表示预定时间段t后第二中心视图区的坐标；v mod用于表示播放模式，v mod_x(t)用于表示在播放模式下预定时间段t后x方向上的偏移角度，v mod_y(t)用于表示在播放模式下预定时间段t后y方向上的偏移角度。

可选地，在本实施例中，上述播放模式可以包括但不限于以下至少之一：用于播放第一中心视图区中的画面的第一播放模式、用于搜索第三中心视图区的第二播放模式、用于播放第三中心视图区中的画面的第三播放模式。上述仅是一种示例，本实施例中对此不做任何限定。

需要说明的是，在本实施例中，上述播放模式可以但不限于将影响在预定时间段t后的偏移角度。例如，对于第一播放模式(也可称作观看主模式)，长时间保持一个视野角度，即长时间停留在第一中心视图区，则可以根据该播放模式预测预定时间段t后偏移角度为0，则可以预测预定时间段后第二中心视图区的坐标与第一中心视图区的坐标相同，即x_t＝x₀，y_t＝y₀。这里对于第二播放模式需要说明的是，搜索过程中的搜索运动可以为匀速运动，则偏移角度可以为移动速度v与移动时间t的乘积，也可以为非匀速运动，根据相关计算方式获取在该播放模式下的偏移角度。本实施例中对此不做任何限定。

具体结合上述公式进行说明，假设获取第一中心视图区的坐标(x₀,y₀)，当前播放模式为v mod的情况下，先根据播放模式v mod获取分别在x，y方向上在预定时间段t后相对当前位置的偏移角度：v mod_x(t)，v mod_y(t)。然后，利用上述公式预测预定时间段t第二中心视图区的坐标(x_t,y_t)。

通过本申请提供的实施例，根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标，从而实现对预定时间段后被关注的视野范围的准确预测，以保证提前及时获取到所要推送的第二中心视图区的画面，进一步，还可以避免网络传输延时导致的播放延时的问题。

作为一种可选的方案，获取全景媒体文件的播放模式包括：

1)在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值时，则确定为第一播放模式，其中，第一播放模式用于播放第一中心视图区中的画面；

2)在传感器检测到的运动数据指示在预定周期内的摆动幅度大于等于预定阈值时，则确定为第二播放模式，其中，第二播放模式用于搜索第三中心视图区；

3)在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值，且上一个播放模式为第二播放模式时，则确定为第三播放模式，其中，第三播放模式用于播放第三中心视图区中的画面。

具体结合以下示例进行说明，假设第一播放模式以微摆动观看主模式(ma)表示，第二播放模式以新内容搜索模式(ms)表示，第三播放模式以新内容聚焦模式(mf)表示。其中，上述播放模式具体如图5所示可以包括：

1)微摆动观看主模式(ma)：该模式停留在第一中心视图区所播放的画面，且用于观看的硬件设备(如眼镜终端)会相对静止，或是有微小摆动(即在预定周期内的摆动幅度小于预定阈值)，但不会实际离开第一中心视图区；

2)新内容搜索模式(ms)：该模式将离开微摆动观看模式，用于快速运动搜索新视野(如第三中心视图区)里新的内容，且用于观看的硬件设备(如眼镜终端)会快速移动，偏离原来运动轨道(即在预定周期内的摆动幅度大于等于预定阈值)；

3)新内容聚焦模式(mf)：该模式可能将短暂停留第三中心视图区后离开再进入新内容搜索模式，也可能真实进入微摆动观看主模式停留在第三中心视图区(即在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值，且上一个播放模式为第二播放模式)。

也就是说，在本实施例中，根据在预定周期(如时间窗T)内的移动轨迹来判断其运动模式。一种仅有短距离来回摆动，则是微摆动观看主模式(ma)；另一种大距离较快速的移动，则是新内容搜索模式(ms)；再一种上一个模式是新内容搜索模式，过去预定周期(如时间窗T)内相对静止或者微小摆动，则是新内容聚焦模式(mf)。

需要说明的是，上述第三中心视图区可以但不限于为第二中心视图区，也可以但不限于为多个视图区中除第一中心视图区及第二中心视图区之外的其他视图区。

通过本申请提供的实施例，通过获取全景媒体文件的播放模式，以利用该播放模式来预测预定时间段内视野范围的偏移角度，从而实现根据第一中心视图区的坐标及偏移角度来确定预定时间段后的第二中心视图区的坐标。

作为一种可选的方案，根据中心视图区对全景图像帧进行编码包括：

S1，重复执行以下步骤，直至遍历在预定时间段后全景图像帧中的多个视图区：

S12，从多个视图区中获取当前视图区中划分的多个子视图区；

S14，获取多个子视图区的参考值，其中，参考值为子视图区的显著性特征所指示的显著性等级与第二中心视图区落在子视图区的概率二者中的最大值；

S16，根据多个子视图区的参考值中的最大值确定当前视图区的第三分辨率；

S18，按照第三分辨率对当前视图区进行编码。

可选地，在本实施例中，获取多个子视图区的参考值包括：重复执行以下步骤，直至遍历多个子视图区：从多个子视图区中获取当前子视图区；获取当前子视图区的显著性特征所指示的显著性等级及第二中心视图区落在当前子视图区的概率；将显著性等级与概率二者中的最大值作为当前子视图区的参考值。

可选地，在本实施例中，对多个视图区中的每个视图区可以但不限于划分为大小相同的四个子视图区，如图6所示，当前视图区包括子视图区a、子视图区b、子视图区c、子视图区d。

可选地，在本实施例中，获取当前子视图区的参考值可以包括但不限于获取当前子视图区的显著性特征所指示的显著性等级及第二中心视图区落在当前子视图区的概率二者中的最大值。

需要说明的是，在本实施例中，上述显著性特征可以但不限于用于表示一种视觉显著性区域分布，如舞台中央等，被关注概率较高的区域，可被配置为高显著性等级的视觉显著性区域。而如偏暗区域，观众席，天空等被关注概率较低的区域，可被配置为低显著性等级的视觉显著性区域。其中，上述显著性等级可以但不限于用Sa(t,θ_x,θ_y)表示，其中，θ_x∈[0,360°)θ_y∈[-90°,90°]，上述显著性等级可以但不限于根据经典视觉显著性检测算法先验的计算出。根据Sa(t,θ_x,θ_y)可以统计出每个子视图区的显著性等级，如RSa(t,sx,sy)表示预定时间段t后子视图区(sx,sy)的显著性等级。作为一种可选的计算方式：

其中，子视图区x方向编号sx的范围为sx∈[1,12]，子视图区y方向编号sy的范围为sy∈[1,6]。

需要说明的是，在本实施例中，以当前视图区为例，落在一个子视图区的概率用Pi(t,sx,sy)表示，则上述当前视图区中包括的四个子视图区的参考值可以通过以下方式标识：

子视图区a的参考值为：

aPi(t,x,y)＝max(RSa(t,2x-1,2y-1),Pi(t,2x-1,2y-1))

子视图区b的参考值为：

bPi(t,x,y)＝max(RSa(t,2x,2y-1),Pi(t,2x,2y-1))

子视图区c的参考值为：

cPi(t,x,y)＝max(RSa(t,2x-1,2y),Pi(t,2x-1,2y))

子视图区d的参考值为：dPi(t,x,y)＝max(RSa(t,2x,2y),Pi(t,2x,2y))

进一步，根据上述四个参考值中的最大值mPi(t,x,y)确定当前视图区的分辨率，其中：

mPi(t,x,y)＝max(aPi(t,x,y),bPi(t,x,y),cPi(t,x,y),dPi(t,x,y))) (4)

也就是说，将当前视图区的分辨率按照参考值最大的子视图区的分辨率进行更新调整，以保证被关注内容的高清晰度。

通过本申请提供的实施例，获取视图区所包括的多个子视图区中的参考值中的最大值，根据该最大值确定该视图区的分辨率，从而实现在预定时间段后针对不同视图区配置不同的分辨率进行编码，以达到节省带宽的目的。此外，根据显著性特征所指示的显著性等级及第二中心视图区落下的概率来预测预定时间段t后被推送可能性最大的子视图区，进而将该子视图区所在视图区中其他子视图区的分辨率均调整为最高分辨率，以保证被关注内容的播放清晰度。

作为一种可选的方案，根据多个子视图区的参考值中的最大值确定当前视图区的第三分辨率包括：

S1，通过以下公式计算当前视图区的第三分辨率所在的分辨率等级：

S(t,x,y)＝1+(n-1)*mPi(t,x,y)*Qnet (5)

其中，(x,y)为当前视图区的坐标，S(t,x,y)用于表示在预定时间段t后全景图像帧中当前视图区的第三分辨率所在的分辨率等级，mPi(t,x,y)用于表示在预定时间段t后在当前视图区中多个子视图区的参考值的最大值，Qnet用于表示当前网络带宽等级，n用于表示分辨率等级，其中，Qnet∈[0,1]，S(t,x,y)∈{1,2,…,n}；

S2，根据第三分辨率所在的分辨率等级确定第三分辨率。

需要说明的是，Qnet表示当前的网络带宽等级，等级越高，越倾向于推送高画质版本内容，越差越倾向于推送低分辨率版本内容，从而确保观看流畅性的体验。此外，S(t,x,y)表示第三分辨率所在的分辨率等级，等级越高，推送的分辨率版本越高，如最高分辨率版本n，反而反之，如最低分辨率版本1。

通过本申请提供的实施例，通过按照不同分辨率编码多个视图区中的画面，以确保在中心视图区所占区域可以看到最清晰的画面，而在其他视图区所在区域看到相对模糊的画面，以保证在播放全景图像帧的同时，实现区别播放，从而达到减少传输开销，节省带宽，提高推送效率的目的。

作为一种可选的方案，获取第二中心视图区落在当前子视图区的概率包括：

P(t,sx,sy)＝exp(-((sx-x_t)²+(sy-y_t)²)) (6)

其中，(sx,sy)用于表示当前子视图区的坐标，P(t,sx,sy)用于表示在预定时间段t后第二中心视图区落在当前子视图区的概率，(x_t,y_t)用于表示预定时间段t后第二中心视图区的坐标。

需要说明的是，上述公式为以e为底的反向指数函数，也就是说，在当前子视图区距离第二中心视图区的位置越近，函数值越大，对应概率越大，反而反之。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述全景媒体文件推送方法的全景媒体文件推送装置，如图7所示，该装置包括：

1)第一获取单元702，用于获取待推送的全景媒体文件，其中，全景媒体文件中包括一帧或多帧全景图像帧；

2)划分单元704，用于按照预定条件分别对每帧全景图像帧进行划分，其中，划分后的每帧全景图像帧中包括多个视图区；

3)第二获取单元706，用于在每帧全景图像帧的多个视图区上获取中心视图区，其中，中心视图区所占区域大于等于一个视图区所占区域；

4)编码单元708，用于根据中心视图区对全景图像帧进行编码；

5)推送单元710，用于推送编码后的全景图像帧。

可选地，在本实施例中，上述全景媒体文件的推送装置可以但不限于应用于虚拟现实(Virtual Reality，VR)过程中，其中，虚拟现实VR可以但不限于是一种综合利用计算机图形系统和各种现实际控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。如将上述装置应用于VR眼镜中，通过对全景媒体文件进行视图区的划分及编码处理，以实现在播放全景媒体文件的过程中，可以快速提供更加准确清晰的全景媒体文件。其中，上述全景媒体文件可以包括但不限于以下至少之一：全景图像、全景视频等。上述仅是一种示例，本实施例中对此不做任何限定。

需要说明的是，在获取待推送的全景媒体文件中的一帧或多帧全景图像帧后，按照预定条件分别对每帧全景图像帧进行划分，划分后的每帧全景图像帧中包括多个视图区，在上述多个视图区上获取中心视图区，并根据该中心视图区对全景图像帧进行编码，以推送编码后的全景图像帧。也就是说，通过利用在全景图像帧上划分的多个视图区获取中心视图区，从而实现了利用多个视图区准确定位中心视图区，保证所获取的中心视图区的画面的准确性，以克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用多个视图区快速获取中心视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推送效率的效果。

可选地，在本实施例中，按照预定条件分别对每帧全景图像帧进行划分可以包括但不限于：按照预先配置的规格条件将每帧均匀分布在全景球上的全景图像帧划分为相同大小的多个矩形视图区。

例如，以全景球中心为原点，因为球面到中心(原点)距离为全景球半径长度，因而可以用极坐标系统来表示观全景图像帧上的各个位置，例如，(θ_x,θ_y)。θ_x表示以水平正前方为零，保持水平方向逆时针绕行的角度；θ_y表示以水平正上方为零，保持与水平垂直方向逆时针绕行的角度。进一步，如图3所示，将一帧全景图像帧划分为A视图区-P视图区。即以全景球中心为原点，水平方向逆时针旋转360度等分为6份，每份60度；与水平垂直方向逆时针旋转180度等分为3份，每份60度。则每个视图区的角度范围定义可以为：

其中，x，y为18个视图区分别在x方向和y方向上的编号，x∈[1,6],y∈[1,3]。

此外，在本实施例中，在上述多个视图区上获取的中心视图区可以但不限于为观看者的观看视野形成的视图区。需要说明的是，在全景图像帧划分的多个视图区可以但不限于根据中心视图区确定，如在全景图像帧上所划分的每个视图区所占区域的大小，可以但不限于小于等于中心视图区所占区域的大小，大于四分之一的中心视图区所占区域的大小。上述仅是一种示例，本实施例中对此不做任何限定。

可选地，在本实施例中，在每帧全景图像帧的多个视图区上获取中心视图区可以包括但不限于以下至少之一：

1)根据传感器检测到的运动数据确定第一中心视图区的坐标；

2)获取全景媒体文件的播放模式；根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标。

可选地，在本实施例中，在上述方式1)中可以但不限于根据传感器检测到的运动数据确定第一中心视图区的坐标之后，利用该第一中心视图区的坐标快速获取第一中心视图区在多个视图区中的目标视图区，其中，第一中心视图区包含在目标视图区中，进一步，从上述目标视图区中提取第一中心视图区的画面。也就是说，在本实施例中，可以利用终端上的传感器检测到的运动数据快速获取当前时间第一中心视图区的坐标，进而利用该坐标确定第一中心视图区所占的目标视图区，以实现快速从目标视图区中提取并推送第一中心视图区中的画面，进而达到提高全景媒体文件的推送效率的目的。例如，如图4所示，根据第一中心视图区的坐标获取到第一中心视图区所在目标视图区包括：A视图区、B视图区、E视图区及F视图区(如图4阴影所示)，进一步，从上述目标视图区中提取第一中心视图区的画面，此外，还可以便于对第一中心视图区所在目标视图区按照高于其他视图区的分辨率进行编码推送。

可选地，在本实施例中，在上述方式2)中可以但不限于预测第二中心视图区的坐标，也就是说，根据全景媒体文件的播放模式及第一中心视图区的坐标，预测预定时间段t后第二中心视图区的坐标。从而实现通过预测推送预定时间段t后将播放的画面，以克服网络通信的延时所导致的播放过程中出现画面延时的问题，进而达到提高推送效率的目的。

可选地，在本实施例中，上述根据中心视图区对全景图像帧进行编码可以包括但不限于：根据不同的视图区提供不同分辨率等级进行编码，如中心视图区所在视图区的分辨率等级高于全景图像帧的多个视图区中其他视图区的分辨率等级。需要说明的是，在本实施例提供的编码过程中，可以但不限于是以视图区为单位分别进行编码以得到所要推送的码流，从而实现针对不同的视图区按照对应不同的分辨率等级进行编码，以达到节省带宽，减轻传输开销的效果。

可选地，在本实施例中，上述编码后的视图区的码流可以但不限于按照时间进行切片。例如，在服务器端响应每个播放请求，每次总是推送一个全景媒体文件的时间切片。可以但不限于采用各种经典的运动图像专家组(Moving Picture Experts Group，MPEG)视频分片技术对一个视图区进行切片，再根据自适应的码流推送策略进行流服务。

通过本申请提供的实施例，通过利用在全景图像帧上划分的多个视图区获取中心视图区，从而实现了利用多个视图区准确定位中心视图区，保证所获取的中心视图区的画面的准确性，以克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用多个视图区快速获取中心视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推送效率的效果。

作为一种可选的方案，第二获取单元包括：

1)第一确定模块，用于根据传感器检测到的运动数据确定第一中心视图区的坐标；

2)第一获取模块，用于利用第一中心视图区的坐标从多个视图区中获取目标视图区，其中，第一中心视图区包含在目标视图区中；

4)提取模块，用于从目标视图区中提取第一中心视图区对应的画面。

可选地，在本实施例中，第一获取模块包括：(1)获取子模块，用于获取第一中心视图区的坐标所在的视图区标识；(2)拼接子模块，用于利用视图区标识所指示的视图区拼接得到目标视图区。

可选地，在本实施例中，上述传感器检测到的运动数据可以包括但不限于以下至少之一：头部转动的角度、眼球转动参数。上述仅是一种示例，上述运动数据还可以包括其他用于检测观看者的视野范围的运动数据，本实施例中对此不做任何限定。

具体结合以下示例进行说明，根据传感器检测到的运动数据确定第一中心视图区的坐标，利用上述坐标获取到第一中心视图区所在目标视图区的视图区标识，该视图区标识包括：A视图区、B视图区、E视图区及F视图区(如图4阴影所示)，如图4所示，主要在F视图区，同时涵盖相邻的A/B/E视图区的一部分，第一中心视图区中的画面内容是由A/B/D/Eviewport四个区的画面拼接得到。

在播放上述第一中心视图区中的画面时，可以根据全景球图像投影方法将解码后的A/B/D/E四个视图区中的画面展开拼接得到目标视图区，然后根据第一中心视图区的相对位置从该目标视图区中快速提取出第一中心视图区中的画面。

需要说明的是，在本实施例中，在第一中心视图区所占区域的大小等于每一个视图区所占区域的大小的情况下，上述第一中心视图区可以包含在多个视图区构成的目标视图区中，也可以与其中一个视图区严格重合，从而实现直接获取该第一中心视图区中的画面。

通过本申请提供的实施例，根据传感器检测到的第一中心视图区的坐标从多个视图区中获取第一中心视图区所在的目标视图区，从而实现快速从目标视图区中提取该第一中心视图区的画面，并推送播放该画面，以达到提高推送全景媒体文件的推送效率的效果。

作为一种可选的方案，编码单元包括：

1)第一编码模块，用于按照第一分辨率编码第一中心视图区所在目标视图区，按照第二分辨率编码全景图像帧中除目标视图区之外的其他视图区，其中，第一分辨率高于第二分辨率。

可选地，在本实施例中，对每一个划分的视图区可以但不限于进行多尺度编码，以得到多个分辨率等级的码流。其中，对于全景图像帧中的多个视图区，中心视图区的分辨率(用分辨率等级标识)可以但不限于高于其他视图区的分辨率。从而使被关注的中心视图区的画面可以被清晰真实地播放，而对于其他视图区的画面模糊播放，以达到减少传输开销，节省带宽的目的。

通过本申请提供的实施例，通过针对全景图像帧中的不同的视图区按照不同的分辨率进行编码，不仅可以突出清晰地播放中心视图区中的画面，而且对其他视图区的画面模糊处理，将达到节省带宽的目的。

作为一种可选的方案，第二获取单元包括：

1)第二获取模块，用于获取全景媒体文件的播放模式；

2)第二确定模块，用于根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标。

可选地，在本实施例中第二确定模块包括：

其中，(x₀,y₀)用于表示第一中心视图区的坐标，(x_t,y_t)用于表示预定时间段t后第二中心视图区的坐标；v mod用于表示播放模式，v mod_x(t)用于表示在播放模式下预定时间段t后x方向上的偏移角度，v mod_y(t)用于表示在播放模式下预定时间段t后y方向上的偏移角度。

可选地，在本实施例中，上述播放模式可以包括但不限于以下至少之一：用于播放第一中心视图区中的画面的第一播放模式、用于搜索第三中心视图区的第二播放模式、用于播放第三中心视图区中的画面的第三播放模式。上述仅是一种示例，本实施例中对此不做任何限定。

需要说明的是，在本实施例中，上述播放模式可以但不限于将影响在预定时间段t后的偏移角度。例如，对于第一播放模式(也可称作观看主模式)，长时间保持一个视野角度，即长时间停留在第一中心视图区，则可以根据该播放模式预测预定时间段t后偏移角度为0，则可以预测预定时间段后第二中心视图区的坐标与第一中心视图区的坐标相同，即x_t＝x₀，y_t＝y₀。这里对于第二播放模式需要说明的是，搜索过程中的搜索运动可以为匀速运动，则偏移角度可以为移动速度v与移动时间t的乘积，也可以为非匀速运动，根据相关计算方式获取在该播放模式下的偏移角度。本实施例中对此不做任何限定。

具体结合上述公式进行说明，假设获取第一中心视图区的坐标(x₀,y₀)，当前播放模式为v mod的情况下，先根据播放模式v mod获取分别在x，y方向上在预定时间段t后相对当前位置的偏移角度：v mod_x(t)，v mod_y(t)。然后，利用上述公式预测预定时间段t第二中心视图区的坐标(x_t,y_t)。

通过本申请提供的实施例，根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标，从而实现对预定时间段后被关注的视野范围的准确预测，以保证提前及时获取到所要推送的第二中心视图区的画面，进一步，还可以避免网络传输延时导致的播放延时的问题。

作为一种可选的方案，第二获取模块式包括：

1)第三确定子模块，用于在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值时，则确定为第一播放模式，其中，第一播放模式用于播放第一中心视图区中的画面；

2)第四确定子模块，用于在传感器检测到的运动数据指示在预定周期内的摆动幅度大于等于预定阈值时，则确定为第二播放模式，其中，第二播放模式用于搜索第三中心视图区；

3)第五确定子模块，用于在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值，且上一个播放模式为第二播放模式时，则确定为第三播放模式，其中，第三播放模式用于播放第三中心视图区中的画面。

具体结合以下示例进行说明，假设第一播放模式以微摆动观看主模式(ma)表示，第二播放模式以新内容搜索模式(ms)表示，第三播放模式以新内容聚焦模式(mf)表示。其中，上述播放模式具体如图5所示可以包括：

1)微摆动观看主模式(ma)：该模式停留在第一中心视图区所播放的画面，且用于观看的硬件设备(如眼镜终端)会相对静止，或是有微小摆动(即在预定周期内的摆动幅度小于预定阈值)，但不会实际离开第一中心视图区；

2)新内容搜索模式(ms)：该模式将离开微摆动观看模式，用于快速运动搜索新视野(如第三中心视图区)里新的内容，且用于观看的硬件设备(如眼镜终端)会快速移动，偏离原来运动轨道(即在预定周期内的摆动幅度大于等于预定阈值)；

3)新内容聚焦模式(mf)：该模式可能将短暂停留第三中心视图区后离开再进入新内容搜索模式，也可能真实进入微摆动观看主模式停留在第三中心视图区(即在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值，且上一个播放模式为第二播放模式)。

也就是说，在本实施例中，根据在预定周期(如时间窗T)内的移动轨迹来判断其运动模式。一种仅有短距离来回摆动，则是微摆动观看主模式(ma)；另一种大距离较快速的移动，则是新内容搜索模式(ms)；再一种上一个模式是新内容搜索模式，过去预定周期(如时间窗T)内相对静止或者微小摆动，则是新内容聚焦模式(mf)。

需要说明的是，上述第三中心视图区可以但不限于为第二中心视图区，也可以但不限于为多个视图区中除第一中心视图区及第二中心视图区之外的其他视图区。

通过本申请提供的实施例，通过获取全景媒体文件的播放模式，以利用该播放模式来预测预定时间段内视野范围的偏移角度，从而实现根据第一中心视图区的坐标及偏移角度来确定预定时间段后的第二中心视图区的坐标。

作为一种可选的方案，编码单元包括：

1)处理模块，用于重复执行以下步骤，直至遍历在预定时间段后全景图像帧中的多个视图区：

S1，从多个视图区中获取当前视图区中划分的多个子视图区；

S2，获取多个子视图区的参考值，其中，参考值为子视图区的显著性特征所指示的显著性等级与第二中心视图区落在子视图区的概率二者中的最大值；

S3，根据多个子视图区的参考值中的最大值确定当前视图区的第三分辨率；

S4，按照第三分辨率对当前视图区进行编码。

可选地，在本实施例中，处理模块通过以下步骤实现获取多个子视图区的参考值：重复执行以下步骤，直至遍历多个子视图区：从多个子视图区中获取当前子视图区；获取当前子视图区的显著性特征所指示的显著性等级及第二中心视图区落在当前子视图区的概率；将显著性等级与概率二者中的最大值作为当前子视图区的参考值。

可选地，在本实施例中，对多个视图区中的每个视图区可以但不限于划分为大小相同的四个子视图区，如图6所示，当前视图区包括子视图区a、子视图区b、子视图区c、子视图区d。

可选地，在本实施例中，获取当前子视图区的参考值可以包括但不限于获取当前子视图区的显著性特征所指示的显著性等级及第二中心视图区落在当前子视图区的概率二者中的最大值。

需要说明的是，在本实施例中，上述显著性特征可以但不限于用于表示一种视觉显著性区域分布，如舞台中央等，被关注概率较高的区域，可被配置为高显著性等级的视觉显著性区域。而如偏暗区域，观众席，天空等被关注概率较低的区域，可被配置为低显著性等级的视觉显著性区域。其中，上述显著性等级可以但不限于用Sa(t,θ_x,θ_y)表示，其中，θ_x∈[0,360°)θ_y∈[-90°,90°]，上述显著性等级可以但不限于根据经典视觉显著性检测算法先验的计算出。根据Sa(t,θ_x,θ_y)可以统计出每个子视图区的显著性等级，如RSa(t,sx,sy)表示预定时间段t后子视图区(sx,sy)的显著性等级。作为一种可选的计算方式：

其中，子视图区x方向编号sx的范围为sx∈[1,12]，子视图区y方向编号sy的范围为sy∈[1,6]。

需要说明的是，在本实施例中，以当前视图区为例，落在一个子视图区的概率用Pi(t,sx,sy)表示，则上述当前视图区中包括的四个子视图区的参考值可以通过以下方式标识：

子视图区a的参考值为：

aPi(t,x,y)＝max(RSa(t,2x-1,2y-1),Pi(t,2x-1,2y-1))

子视图区b的参考值为：

bPi(t,x,y)＝max(RSa(t,2x,2y-1),Pi(t,2x,2y-1))

子视图区c的参考值为：

cPi(t,x,y)＝max(RSa(t,2x-1,2y),Pi(t,2x-1,2y))

子视图区d的参考值为：dPi(t,x,y)＝max(RSa(t,2x,2y),Pi(t,2x,2y))

进一步，根据上述四个参考值中的最大值mPi(t,x,y)确定当前视图区的分辨率，其中：

mPi(t,x,y)＝max(aPi(t,x,y),bPi(t,x,y),cPi(t,x,y),dPi(t,x,y))) (10)

也就是说，将当前视图区的分辨率按照参考值最大的子视图区的分辨率进行更新调整，以保证被关注内容的高清晰度。

通过本申请提供的实施例，获取视图区所包括的多个子视图区中的参考值中的最大值，根据该最大值确定该视图区的分辨率，从而实现在预定时间段后针对不同视图区配置不同的分辨率进行编码，以达到节省带宽的目的。此外，根据显著性特征所指示的显著性等级及第二中心视图区落下的概率来预测预定时间段t后被推送可能性最大的子视图区，进而将该子视图区所在视图区中其他子视图区的分辨率均调整为最高分辨率，以保证被关注内容的播放清晰度。

作为一种可选的方案，处理模块通过以下步骤实现根据多个子视图区的参考值中的最大值确定当前视图区的第三分辨率：

S1，通过以下公式计算当前视图区的第三分辨率所在的分辨率等级：

S(t,x,y)＝1+(n-1)*mPi(t,x,y)*Qnet (11)

其中，(x,y)为当前视图区的坐标，S(t,x,y)用于表示在预定时间段t后全景图像帧中当前视图区的第三分辨率所在的分辨率等级，mPi(t,x,y)用于表示在预定时间段t后在当前视图区中多个子视图区的参考值的最大值，Qnet用于表示当前网络带宽等级，n用于表示分辨率等级，其中，Qnet∈[0,1]，S(t,x,y)∈{1,2,…,n}；

S2，根据第三分辨率所在的分辨率等级确定第三分辨率。

需要说明的是，Qnet表示当前的网络带宽等级，等级越高，越倾向于推送高画质版本内容，越差越倾向于推送低分辨率版本内容，从而确保观看流畅性的体验。此外，S(t,x,y)表示第三分辨率所在的分辨率等级，等级越高，推送的分辨率版本越高，如最高分辨率版本n，反而反之，如最低分辨率版本1。

通过本申请提供的实施例，通过按照不同分辨率编码多个视图区中的画面，以确保在中心视图区所占区域可以看到最清晰的画面，而在其他视图区所在区域看到相对模糊的画面，以保证在播放全景图像帧的同时，实现区别播放，从而达到减少传输开销，节省带宽，提高推送效率的目的。

作为一种可选的方案，处理模块通过以下步骤实现获取第二中心视图区落在当前子视图区的概率：

P(t,sx,sy)＝exp(-((sx-x_t)²+(sy-y_t)²)) (12)

其中，(sx,sy)用于表示当前子视图区的坐标，P(t,sx,sy)用于表示在预定时间段t后第二中心视图区落在当前子视图区的概率，(x_t,y_t)用于表示预定时间段t后第二中心视图区的坐标。

需要说明的是，上述公式为以e为底的反向指数函数，也就是说，在当前子视图区距离第二中心视图区的位置越近，函数值越大，对应概率越大，反而反之。

实施例3

根据本发明实施例，还提供了一种用于实施上述全景媒体文件推送方法的全景媒体文件推送终端，如图8所示，该终端包括：

1)通讯接口802，设置为获取待推送的全景媒体文件，其中，全景媒体文件中包括一帧或多帧全景图像帧；还设置为推送编码后的全景图像帧；

2)处理器804，与通讯接口802连接，设置为按照预定条件分别对每帧全景图像帧进行划分，其中，划分后的每帧全景图像帧中包括多个视图区；还设置为在每帧全景图像帧的多个视图区上获取中心视图区，其中，中心视图区所占区域大于等于一个视图区所占区域；还设置为根据中心视图区对全景图像帧进行编码；

3)存储器806，与通讯接口802及处理器804连接，设置为存储全景媒体文件及获取到的中心视图区。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

实施例5

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以位于网络中的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

S1，获取待推送的全景媒体文件，其中，全景媒体文件中包括一帧或多帧全景图像帧；

S2，按照预定条件分别对每帧全景图像帧进行划分，其中，划分后的每帧全景图像帧中包括多个视图区；

S3，在每帧全景图像帧的多个视图区上获取中心视图区，其中，中心视图区所占区域大于等于一个视图区所占区域；

S4，根据中心视图区对全景图像帧进行编码；

S5，推送编码后的全景图像帧。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

S1，根据传感器检测到的运动数据确定第一中心视图区的坐标；

S2，利用第一中心视图区的坐标从多个视图区中获取目标视图区，其中，第一中心视图区包含在目标视图区中；

S3，从目标视图区中提取第一中心视图区对应的画面。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：按照第一分辨率编码第一中心视图区所在目标视图区，按照第二分辨率编码全景图像帧中除目标视图区之外的其他视图区，其中，第一分辨率高于第二分辨率。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

S1，获取全景媒体文件的播放模式；

S2，根据全景媒体文件的播放模式及第一中心视图区的坐标确定预定时间段后多个视图区上第二中心视图区的坐标。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：重复执行以下步骤，直至遍历在预定时间段后全景图像帧中的多个视图区：从多个视图区中获取当前视图区中划分的多个子视图区；获取多个子视图区的参考值，其中，参考值为子视图区的显著性特征所指示的显著性等级与第二中心视图区落在子视图区的概率二者中的最大值；根据多个子视图区的参考值中的最大值确定当前视图区的第三分辨率；按照第三分辨率对当前视图区进行编码。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种全景媒体文件推送方法，其特征在于，包括：

获取待推送的全景媒体文件，其中，所述全景媒体文件中包括一帧或多帧全景图像帧；

按照预定条件分别对每帧所述全景图像帧进行划分，其中，划分后的每帧所述全景图像帧中包括多个视图区；

在每帧所述全景图像帧的所述多个视图区上获取中心视图区，其中，所述中心视图区所占区域大于等于一个所述视图区所占区域；

根据所述中心视图区对所述全景图像帧进行编码；

推送编码后的所述全景图像帧；

其中，所述在每帧所述全景图像帧的所述多个视图区上获取中心视图区包括：获取所述全景媒体文件的播放模式；根据所述全景媒体文件的所述播放模式及第一中心视图区的坐标确定预定时间段后所述多个视图区上第二中心视图区的坐标；所述根据所述中心视图区对所述全景图像帧进行编码包括：重复执行以下步骤，直至遍历在所述预定时间段后所述全景图像帧中的所述多个视图区：从所述多个视图区中获取当前视图区中划分的多个子视图区；获取所述多个子视图区的参考值，其中，所述参考值为所述子视图区的显著性特征所指示的显著性等级与所述第二中心视图区落在所述子视图区的概率二者中的最大值；根据所述多个子视图区的所述参考值中的最大值确定所述当前视图区的第三分辨率；按照所述第三分辨率对所述当前视图区进行编码；或者

所述根据所述中心视图区对所述全景图像帧进行编码包括：按照第一分辨率编码所述第一中心视图区所在目标视图区，按照第二分辨率编码所述全景图像帧中除所述目标视图区之外的其他视图区，其中，所述第一分辨率高于所述第二分辨率。

2.根据权利要求1所述的方法，其特征在于，所述在每帧所述全景图像帧的所述多个视图区上获取中心视图区还包括：

根据传感器检测到的运动数据确定所述第一中心视图区的坐标；

利用所述第一中心视图区的坐标从所述多个视图区中获取所述目标视图区，其中，所述第一中心视图区包含在所述目标视图区中；

从所述目标视图区中提取所述第一中心视图区对应的画面。

3.根据权利要求2所述的方法，其特征在于，所述利用所述第一中心视图区的坐标从所述多个视图区中获取目标视图区包括：

获取所述第一中心视图区的坐标所在的视图区标识；

利用所述视图区标识所指示的视图区拼接得到所述目标视图区。

4.根据权利要求1所述的方法，其特征在于，所述根据所述全景媒体文件的所述播放模式及所述第一中心视图区的坐标确定预定时间段后所述多个视图区上第二中心视图区的坐标包括：

其中，(x₀,y₀)用于表示所述第一中心视图区的坐标，(x_t,y_t)用于表示预定时间段t后所述第二中心视图区的坐标；v mod用于表示所述播放模式，v mod_x(t)用于表示在所述播放模式下所述预定时间段t后x方向上的偏移角度，v mod_y(t)用于表示在所述播放模式下所述预定时间段t后y方向上的偏移角度。

5.根据权利要求1所述的方法，其特征在于，所述获取所述全景媒体文件的播放模式包括：

在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值时，则确定为第一播放模式，其中，所述第一播放模式用于播放所述第一中心视图区中的画面；

在所述传感器检测到的所述运动数据指示在所述预定周期内的摆动幅度大于等于所述预定阈值时，则确定为第二播放模式，其中，所述第二播放模式用于搜索第三中心视图区；

在所述传感器检测到的所述运动数据指示在所述预定周期内的摆动幅度小于所述预定阈值，且上一个所述播放模式为所述第二播放模式时，则确定为第三播放模式，其中，所述第三播放模式用于播放所述第三中心视图区中的画面。

6.根据权利要求1所述的方法，其特征在于，所述获取所述多个子视图区的参考值包括：

重复执行以下步骤，直至遍历所述多个子视图区：

从所述多个子视图区中获取当前子视图区；

获取所述当前子视图区的所述显著性特征所指示的所述显著性等级及所述第二中心视图区落在所述当前子视图区的概率；

将所述显著性等级与所述概率二者中的最大值作为所述当前子视图区的所述参考值。

7.根据权利要求1所述的方法，其特征在于，所述根据所述多个子视图区的所述参考值中的最大值确定所述当前视图区的第三分辨率包括：

通过以下公式计算所述当前视图区的所述第三分辨率所在的分辨率等级：

S(t,x,y)＝1+(n-1)*mPi(t,x,y)*Qnet，

其中，(x,y)为所述当前视图区的坐标，S(t,x,y)用于表示在所述预定时间段t后所述全景图像帧中所述当前视图区的所述第三分辨率所在的分辨率等级，mPi(t,x,y)用于表示在所述预定时间段t后在所述当前视图区中所述多个子视图区的所述参考值的最大值，Qnet用于表示当前网络带宽等级，n用于表示分辨率等级，其中，Qnet∈[0,1]，S(t,x,y)∈{1,2,…,n}；

根据所述第三分辨率所在的分辨率等级确定所述第三分辨率。

8.根据权利要求6所述的方法，其特征在于，获取所述第二中心视图区落在所述当前子视图区的概率包括：

P(t,sx,sy)＝exp(-((sx-x_t)²+(sy-y_t)²))，

其中，(sx,sy)用于表示所述当前子视图区的坐标，P(t,sx,sy)用于表示在所述预定时间段t后所述第二中心视图区落在所述当前子视图区的概率，(x_t,y_t)用于表示所述预定时间段t后所述第二中心视图区的坐标。

9.一种全景媒体文件推送装置，其特征在于，包括：

第一获取单元，用于获取待推送的全景媒体文件，其中，所述全景媒体文件中包括一帧或多帧全景图像帧；

划分单元，用于按照预定条件分别对每帧所述全景图像帧进行划分，其中，划分后的每帧所述全景图像帧中包括多个视图区；

第二获取单元，用于在每帧所述全景图像帧的所述多个视图区上获取中心视图区，其中，所述中心视图区所占区域大于等于一个所述视图区所占区域；

编码单元，用于根据所述中心视图区对所述全景图像帧进行编码；

推送单元，用于推送编码后的所述全景图像帧；

其中，所述第二获取单元包括：第二获取模块，用于获取所述全景媒体文件的播放模式；第二确定模块，用于根据所述全景媒体文件的所述播放模式及第一中心视图区的坐标确定预定时间段后所述多个视图区上第二中心视图区的坐标；

所述编码单元包括：处理模块，用于重复执行以下步骤，直至遍历在所述预定时间段后所述全景图像帧中的所述多个视图区：从所述多个视图区中获取当前视图区中划分的多个子视图区；获取所述多个子视图区的参考值，其中，所述参考值为所述子视图区的显著性特征所指示的显著性等级与所述第二中心视图区落在所述子视图区的概率二者中的最大值；根据所述多个子视图区的所述参考值中的最大值确定所述当前视图区的第三分辨率；按照所述第三分辨率对所述当前视图区进行编码；或者

所述编码单元包括：第一编码模块，用于按照第一分辨率编码所述第一中心视图区所在目标视图区，按照第二分辨率编码所述全景图像帧中除所述目标视图区之外的其他视图区，其中，所述第一分辨率高于所述第二分辨率。

10.根据权利要求9所述的装置，其特征在于，所述第二获取单元还包括：

第一确定模块，用于根据传感器检测到的运动数据确定所述第一中心视图区的坐标；

第一获取模块，用于利用所述第一中心视图区的坐标从所述多个视图区中获取所述目标视图区，其中，所述第一中心视图区包含在所述目标视图区中；

提取模块，用于从所述目标视图区中提取所述第一中心视图区对应的画面。

11.根据权利要求9所述的装置，其特征在于，所述第一获取模块包括：

获取子模块，用于获取所述第一中心视图区的坐标所在的视图区标识；

拼接子模块，用于利用所述视图区标识所指示的视图区拼接得到所述目标视图区。

12.根据权利要求9所述的装置，其特征在于，所述第二确定模块包括：

其中，(x₀,y₀)用于表示所述第一中心视图区的坐标，(x_t,y_t)用于表示预定时间段t后所述第二中心视图区的坐标；v mod用于表示所述播放模式，v mod_x(t)用于表示在所述播放模式下所述预定时间段t后x方向上的偏移角度，v mod_y(t)用于表示在所述播放模式下所述预定时间段t后y方向上的偏移角度。

13.根据权利要求9所述的装置，其特征在于，所述第二获取模块式包括：

第三确定子模块，用于在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阈值时，则确定为第一播放模式，其中，所述第一播放模式用于播放所述第一中心视图区中的画面；

第四确定子模块，用于在所述传感器检测到的所述运动数据指示在所述预定周期内的摆动幅度大于等于所述预定阈值时，则确定为第二播放模式，其中，所述第二播放模式用于搜索第三中心视图区；

第五确定子模块，用于在所述传感器检测到的所述运动数据指示在所述预定周期内的摆动幅度小于所述预定阈值，且上一个所述播放模式为所述第二播放模式时，则确定为第三播放模式，其中，所述第三播放模式用于播放所述第三中心视图区中的画面。

14.根据权利要求9所述的装置，其特征在于，所述处理模块通过以下步骤实现获取所述多个子视图区的参考值：

重复执行以下步骤，直至遍历所述多个子视图区：

从所述多个子视图区中获取当前子视图区；

获取所述当前子视图区的所述显著性特征所指示的所述显著性等级及所述第二中心视图区落在所述当前子视图区的概率；

将所述显著性等级与所述概率二者中的最大值作为所述当前子视图区的所述参考值。

15.根据权利要求9所述的装置，其特征在于，所述处理模块通过以下步骤实现根据所述多个子视图区的所述参考值中的最大值确定所述当前视图区的第三分辨率：

通过以下公式计算所述当前视图区的所述第三分辨率所在的分辨率等级：

S(t,x,y)＝1+(n-1)*mPi(t,x,y)*Qnet，

其中，(x,y)为所述当前视图区的坐标，S(t,x,y)用于表示在所述预定时间段t后所述全景图像帧中所述当前视图区的所述第三分辨率所在的分辨率等级，mPi(t,x,y)用于表示在所述预定时间段t后在所述当前视图区中所述多个子视图区的所述参考值的最大值，Qnet用于表示当前网络带宽等级，n用于表示分辨率等级，其中，Qnet∈[0,1]，S(t,x,y)∈{1,2,…,n}；

根据所述第三分辨率所在的分辨率等级确定所述第三分辨率。

16.根据权利要求14所述的装置，其特征在于，所述处理模块通过以下步骤实现获取所述第二中心视图区落在所述当前子视图区的概率：

P(t,sx,sy)＝exp(-((sx-x_t)²+(sy-y_t)²))，

其中，(sx,sy)用于表示所述当前子视图区的坐标，P(t,sx,sy)用于表示在所述预定时间段t后所述第二中心视图区落在所述当前子视图区的概率，(x_t,y_t)用于表示所述预定时间段t后所述第二中心视图区的坐标。