CN110992253A - 视频显示方法、系统、存储介质及具有柔性屏的终端 - Google Patents

Abstract

本发明实施例涉及多媒体领域，特别涉及一种视频显示方法、系统、存储介质及具有柔性屏的终端。视频显示方法，包括：根据屏幕的弯折方位和弯折角度，确定移动角度；根据所述移动角度，调整预设球模型的视角位置，其中，所述球模型上映射有原始视频数据；将调整后的视角位置对应的原始视频数据投影至所述屏幕。采用本发明的实施例，能够充分利用柔性屏的特性来提供多样化的视频观看体验。

Description

视频显示方法、系统、存储介质及具有柔性屏的终端

技术领域

本发明实施例涉及多媒体领域，特别涉及一种视频显示方法、系统、存储介质及具有柔性屏的终端。

背景技术

全景视频指的是超过一般视野角度的视频，用户可以在极广的角度范围内观看全景视频，以获得身临其境的体验感。观看全景视频通常需要用户的交互的操作，通常通过手势控制器和姿态传感器等来控制全景视频的播放效果。然而发明人发现相关技术中存在如下问题：在为用户播放全景视频时，仅通过手势控制器和姿态传感器来控制全景视频的播放，与用户的交互方式较为单一，未能够充分利用具有可弯折操控、柔韧性佳等特性的柔性屏来实现全景视频的播放，也就未能为用户提供更加多样化的观看体验。

发明内容

本发明实施例的目的在于提供一种视频显示方法、系统、存储介质及具有柔性屏的终端，能够充分利用柔性屏的特性来提供多样化的视频观看体验。

为解决上述技术问题，本发明的实施例提供了一种视频显示方法，包括：根据屏幕的弯折方位和弯折角度，确定移动角度；根据所述移动角度，调整预设球模型的视角位置，其中，所述球模型上映射有原始视频数据；将调整后的视角位置对应的原始视频数据投影至所述屏幕。

本发明的实施例还提供了一种视频显示系统，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的视频显示方法。

本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频显示方法。

本发明的实施例还提供了一种具有柔性屏的终端，所述终端能够执行上述的视频显示方法。

本发明实施例相对于现有技术而言，根据屏幕的弯折方位和弯折角度，确定移动角度；根据所述移动角度，调整预设球模型的视角位置，其中，所述球模型上映射有原始视频数据；将调整后的视角位置对应的原始视频数据投影至所述屏幕。可以理解的是，将原始视频数据映射在预设的球模型上后，原始视频数据在球模型表面上展开为了全景视频数据，从球模型的中心位置观看映射在球模型上的原始视频数据，就相当于观看全景视频。在用户通过具有柔性屏的终端观看视频时，可对柔性屏进行弯折，根据检测到屏幕的弯折方位和弯折角度确定移动角度，根据移动角度调整球模型的视角位置，也就是调整了对全景视频的观看视角，再将调整后的视角位置对应的原始视频数据投影至屏幕，从而用户在屏幕上观看到的视频也就是从球模型的中心位置观看到的全景视频，用户观看到的视频的内容是通过用户对柔性屏的弯折操作进行控制的；因此，通过本发明的实施例，能够令用户通过对柔性屏进行弯折的操作来控制视频的观看视角，充分利用了柔性屏可弯折、柔韧性佳的特点，提供了灵活性和自由度较高的屏幕交互方式及多样化的观看体验。

另外，所述根据屏幕的弯折方位和弯折角度，确定移动角度，包括：根据屏幕的水平弯折方位和水平弯折角度，确定水平移动角度，并根据屏幕的垂直弯折方位和垂直弯折角度，确定垂直移动角度；也就是说，移动角度包括水平移动角度和垂直移动角度，二者的结合使得对于预设球模型的视角位置的调整更为规范和精细。

另外，所述方法还包括：根据所述屏幕的弯折方位和弯折角度，确定显示效果指令；将所述显示效果指令发送至所述屏幕所在终端，也就是用户可通过对柔性屏进行弯折来触发不同的观看效果来观看全景视频，使得用户的观看体验得到进一步提升，提升用户对于全景视频的沉浸感。

另外，预设有弯折方位和移动方向的对应关系；所述确定水平移动角度，包括：根据所述对应关系，确定所述水平弯折方位对应的水平移动方向；根据所述水平移动方向和所述水平弯折角度，确定水平移动角度；所述确定垂直移动角度，包括：根据所述对应关系，确定所述垂直弯折方位对应的垂直移动方向；根据所述垂直移动方向和所述垂直弯折角度，确定垂直移动角度。

另外，所述水平移动角度rX通过以下公式确定：rX＝θ·sign(X)；其中，所述θ表示所述水平弯折角度；当所述水平移动方向为水平左移时，所述sign(X)取值为-1，当所述水平移动方向为水平右移时，所述sign(X)取值为1；所述垂直移动角度rY，通过以下公式确定：rY＝β·sign(Y)；其中，所述β表示所述垂直弯折角度；当所述垂直移动方向为垂直上移时，所述sign(Y)的取值为1，当所述垂直移动方向为垂直下移时，所述sign(Y)的取值为-1。上述提供了水平移动角度和垂直移动角度的具体计算方式，将弯折角度和量化的移动方向进行了有机结合为上下左右四个标准方向上的度数，从而便于对从球模型的中心位置出发的视角进行调整。

另外，所述根据屏幕的弯折方位和弯折角度，确定显示效果指令，包括：如果所述弯折角度超过预设阈值，则确定所述显示效果指令为播放预设音乐的指令和/或显示预设图片的指令，能够在用户对于柔性屏的弯折力度可能过大的时候进行提醒。

另外，所述将调整后的视角位置对应的原始视频数据投影至所述屏幕，包括：根据预设透视投影矩阵将所述原始视频数据投影至所述屏幕，透视投影矩阵使得屏幕上显示的视频能够呈现近大远小的效果，贴近真实世界的透视规律，使得用户具有更为逼真的视频观看体验。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本发明第一实施例中的视频显示方法的流程示意图；

图2是根据本发明第一实施例中的球模型示意图；

图3是根据本发明第一实施例中的弯折方位示意图；

图4是根据本发明第一实施例中的弯折角度示意图；

图5是根据本发明第一实施例中的另一种弯折方位示意图；

图6是根据本发明第一实施例中的另一种弯折角度示意图；

图7是根据本发明第一实施例中的调整视角位置示意图；

图8是根据本发明第一实施例中的人眼可视空间示意图；

图9是根据本发明第二实施例中的视频显示方法的流程示意图；

图10是根据本发明第三实施例中的视频显示系统的结构方框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施例涉及一种视频显示方法，其具体流程如图1所示，包括：

步骤101，根据屏幕的弯折方位和弯折角度，确定移动角度。

步骤102，根据移动角度，调整预设球模型的视角位置。

步骤103，将调整后的视角位置对应的原始视频数据投影至屏幕。

下面对本实施例的视频显示方法的实现细节进行具体的说明，以下内容仅为方便理解提供的细节，并非实施本方案的必须。

本实施例中，预设有球模型，将原始视频数据映射到球模型上，相当于将组成原始视频的视频帧图像映射到球模型上；视频帧图像在球模型表面上展开为了360度的全景图像，也就是原始视频数据在整个球模型表面上展开为了全景视频，从球模型的中心位置观看映射在球模型表面上的原始视频数据，就相当于观看全景视频。如图2中所示的球模型示意图，球模型中具有一个立方体用于表示球模型的中心位置，从中心位置观看到的是球模型表面的一部分(即图中球模型表面的实线区域部分)，也就是全景视频的一部分图像。

在步骤101中，根据屏幕的弯折方位和弯折角度，确定移动角度。具体地说，具有柔性屏的终端中安装有应力传感器，应力传感器是用于检测柔性屏产生的弯折以及测量相关的弯折参数的传感器，相关的弯折参数可以包括柔性屏的弯折方位、弯折角度等等。本步骤中提供了一种确定移动角度的具体实现方式，包括以下部分。

(1)根据屏幕的水平弯折方位和水平弯折角度，确定水平移动角度。

本步骤中，将屏幕的左右弯折视为水平方向上的弯折，左右弯折是指以屏幕的垂直中轴线为基准，弯折屏幕的左半部分和/或右半部分。

本实现方式中，预设有弯折方位和移动方向的对应关系；在一个实例中，将屏幕在水平方向上的弯折划分为四个弯折方位：左上、右上、右下、左下，每一个弯折方位都对应有一个预设的移动方向；如图3所示的弯折方位示意图，将屏幕的左半部分向上弯折、将屏幕的右半部分向下弯折对应的移动方向为水平右移，将屏幕的右半部分向上弯折、将屏幕的左半部分向下弯折对应的移动方向为水平左移。

在确定屏幕的水平移动方向后，根据水平移动方向和水平弯折角度，确定水平移动角度。本实施例中将水平移动方向进行了量化，并提供了计算水平移动角度的公式，具体如下。

水平移动角度rX＝θ·sign(X)；

其中，θ表示由应力传感器测量到的水平弯折角度，以弯折屏幕的左半部分为例，如图4所示的弯折角度示意图，水平弯折角度可以理解为弯折后的屏幕与未弯折的屏幕间形成的夹角。

另，当水平移动方向为水平左移时，sign(X)的取值为-1，当水平移动方向为水平右移时，sign(X)的取值为1；也就是说，本实现方式中sign(X)的取值可以理解为：

在一个实例中，当将屏幕的左半部分向上弯折了45°时，计算得到水平移动角度rX＝(45°)。

(2)根据屏幕的垂直弯折方位和垂直弯折角度，确定垂直移动角度。

本步骤中，将屏幕的上下弯折视为垂直方向上的弯折，上下弯折是指以屏幕的水平中主线为基准，弯折屏幕的上半部分和/或下半部分。

在一个实例中，将屏幕在垂直方向上的弯折划分为四个弯折方位：前上、前下、后下、后上，每一个弯折方位都对应有一个预设的移动方向；如图5所示的另一种弯折方位示意图，将屏幕的上半部分向后弯折、将屏幕的下半部分向前弯折对应的移动方向为垂直下移，将屏幕的上半部分向前弯折、将屏幕的下半部分向后弯折对应的移动方向为垂直上移。

在确定屏幕的垂直移动方向后，根据垂直移动方向和垂直弯折角度，确定垂直移动角度。同理本实施例中将垂直移动方向进行了量化，并提供了计算垂直移动角度的公式，具体如下。

垂直移动角度rY＝β·sign(Y)；

其中，β表示由应力传感器检测到的垂直弯折角度，以弯折屏幕的上半部分为例，如图6所示的另一种弯折角度示意图，垂直弯折角度可以理解为弯折后的屏幕与未弯折的屏幕间形成的夹角。

另，当垂直移动方向为垂直下移时，sign(Y)的取值为-1，当垂直移动方向为垂直上移时，sign(Y)的取值为1；也就是说，本实现方式中sign(Y)的取值可以理解为：

在一个实例中，当将屏幕的上半部分向后弯折了45°时，计算得到垂直移动角度rY＝(-45°)。

在步骤102中，根据移动角度，调整预设球模型的视角位置，其中，球模型上映射有原始视频数据，关于球模型的说明可以参见前文中的说明，球模型的示意图如图2所示。本实施例中可以通过openGL技术生成球模型，例如预设空间中的一点P的直角坐标为(x,y,z)，则P点在球模型上的球面坐标为(γ,θ,φ)，其中：

以图2中所示的球模型为例，从球模型的初始视角位置观看到的全景视频的一部分图像，如球模型表面的实线区域部分所示；可以理解的是，观看到的部分的形状及面积大小是固定由屏幕的形状及面积大小决定的。在调整视角位置时，以球模型中心和视角位置所对应的实线区域部分的中心为基准，按照水平移动角度移动实线区域部分，也就是将实线区域部分在球模型表面上水平移动，移动后两个中心连线与移动前两个中心连线的夹角大小为水平移动角度；还按照垂直移动角度移动实线区域部分，也就是将实线区域部分在球模型表面上垂直移动，移动后两个中心连线与移动前两个中心连线的夹角大小为垂直移动角度；移动方向的顺序不做限制，移动后的实线区域部分所覆盖的图像发生了变化，也就是从球模型的中心位置观看到的一部分图像发生了变化，也就是观看全景视频的视角位置发生了变化。

在一个实例中，计算得到水平移动角度rX＝(45°)，垂直移动角度rY＝(-45°)，则在水平移动视角位置时，将视角位置水平右移45°，如图7所示的调整视角位置示意图，7a所示的是对球模型的俯视视图，粗实线部分表示移动前后视角区域所对应的实线区域部分；在垂直移动视角位置时，将视角位置下移45°，如图7所示的调整视角位置示意图，7b所示的是对球模型的侧视视图，粗实线部分表示移动前后视角区域所对应的实线区域部分。

本步骤中对视角位置的调整，在实际应用中可以理解为在使用openGL技术进行3D场景渲染时所使用到的view视图矩阵所实现的功能，view视图矩阵用于将场景放在观察者的眼睛之前，模拟从不同视角去观察场景所展现出来的样子。

在步骤103中，将调整后的视角位置对应的原始视频数据投影至屏幕，也就是将全景视频的一部分图像投影至屏幕，从而在屏幕上可以观看到视角位置发生变化后的全景视频的一部分。本实施例中，预设透视投影矩阵来模拟人眼成像的过程，模拟的人眼可视空间如图8所示，预设的透视投影矩阵的参数包括预设可视空间顶面和底面间的夹角(如图8所示的f)、可视空间的近边界(如图8所示的A)及近边界的宽高比、可视空间的远平面(如图8所示的B)等，根据预设透视投影矩阵将原始视频数据投影至屏幕，透视投影矩阵使得屏幕上显示的视频能够呈现近大远小的效果，使得用户具有更为逼真的视频观看体验。

本步骤中，原始视频数据的格式为YUV格式，YUV格式的视频数据主要应用于电视系统及模拟视频领域，在传输时占用的空间或带宽极小。

本实施例相对于现有技术而言，在用户通过具有柔性屏的终端观看视频时，可对柔性屏进行弯折，根据检测到屏幕的弯折方位和弯折角度，确定水平方向的移动角度和垂直方向的移动角度，来调整球模型的视角位置，也就是调整了对全景视频的观看视角，再将调整后的视角位置对应的原始视频数据投影至屏幕，从而用户在屏幕上观看到的视频也就是从球模型的中心位置观看到的全景视频，用户观看到的视频的内容是通过用户对柔性屏的弯折操作进行控制的；因此，通过本发明的实施例，能够令用户通过对柔性屏进行弯折的操作来控制视频的观看视角，充分利用了柔性屏可弯折、柔韧性佳的特点，提供了灵活性和自由度较高的屏幕交互方式及多样化的观看体验。

本发明第二实施例涉及一种视频显示方法，本实施例与第一实施例大致相同，主要区别在于，本实施例中还根据屏幕的弯折方位和弯折角度，确定发送至屏幕所在终端的显示效果指令，以供终端控制屏幕上呈现多样的显示效果。本实施例中视频显示方式的流程图如图9所示，包括：

步骤201，根据屏幕的弯折方位和弯折角度，确定移动角度和显示效果指令。

具体地说，显示效果指令可以理解为为屏幕上显示的图像添加特效的指令、在屏幕上显示图像的指令或是在屏幕上显示图像的同时播放声音的指令等等，在此不做具体限制。

在实例中，可以根据屏幕的弯折方位，确定显示效果指令为对应于弯折部分的扭曲指令，终端在接收到扭曲指令后，可以控制屏幕弯折部分显示的画面产生扭曲；或是可以根据屏幕的弯折角度，确定显示效果指令为颤动指令，终端在接收到颤动指令后，控制屏幕弯折部分显示的画面随着屏幕弯折产生颤动，弯折角度越大，画面颤动幅度越大，等等。

更具体地说，确定显示效果指令，包括：如果弯折角度超过预设阈值，则确定显示效果指令为播放预设音乐的指令和/或显示预设图片的指令。

在实例中，如果检测到屏幕的弯折角度超过预设阈值，说明用户对于柔性屏的弯折力度可能过大，则确定显示效果指令为播放碎屏音乐的指令和/或显示碎屏图片的指令，以供在屏幕上显示出模拟碎屏的效果，来提醒用户注意对柔性屏的弯折力度。

本步骤中确定移动角度的方式同第一实施例中的说明，此处不再赘述。

步骤202，根据移动角度，调整预设球模型的视角位置，其中，球模型上映射有原始视频数据；此步骤与步骤102大致相同，此处不再赘述。

步骤203，将调整后的视角位置对应的原始视频数据投影至屏幕，将显示效果指令发送至屏幕所在终端；此步骤中投影的方式同第一实施例中的说明，此处不再赘述；将显示效果指令发送至屏幕所在终端后，终端可根据显示效果指令控制屏幕上呈现多样的显示效果。

本实施例相对于现有技术而言，还根据屏幕的弯折方位和弯折角度，确定发送至屏幕所在终端的显示效果指令，以供终端控制屏幕上呈现多样的显示效果，使得用户的观看体验得到进一步提升，提升用户对于全景视频的沉浸感；在屏幕的弯折角度超过预设阈值时，确定显示效果指令为播放预设音乐的指令和/或显示预设图片的指令，从而能够在用户对于柔性屏的弯折力度可能过大的时候进行提醒。

本发明第三实施例涉及一种视频显示系统，如图10所示，包括：包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行上述的视频显示方法。

其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。

处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。

本发明第四实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述视频显示方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明第五实施例涉及一种具有柔性屏的终端，该终端能够执行上述的视频显示方法。

即，本领域技术人员可以理解，在用户通过具有柔性屏的终端观看视频时，可以对柔性屏进行弯折，具有柔性屏的终端根据屏幕的弯折方位和弯折角度确定移动角度，并调整映射有原始视频数据的预设球模型的视角位置，调整后的视角位置对应的原始视频数据投影至终端的柔性屏上，使得用户观看全景视频的视角跟随用户对柔性屏的弯折而产生变化。另外，在用户对柔性屏进行弯折时，具有柔性屏的终端还根据屏幕的弯折方位和弯折角度确定显示效果指令，根据显示效果指令来控制屏幕上呈现多样的显示效果，使得用户的观看体验得到进一步提升；能够执行上述视频显示方法的终端，使得柔性屏可弯折、柔韧性佳的特点得到了充分利用，为用户提供了灵活性和自由度较高的屏幕交互方式及多样化的观看体验。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种视频显示方法，其特征在于，包括：

根据屏幕的弯折方位和弯折角度，确定移动角度；

根据所述移动角度，调整预设球模型的视角位置，其中，所述球模型上映射有原始视频数据；

将调整后的视角位置对应的原始视频数据投影至所述屏幕。

2.根据权利要求1所述的视频显示方法，其特征在于，所述根据屏幕的弯折方位和弯折角度，确定移动角度，包括：

根据屏幕的水平弯折方位和水平弯折角度，确定水平移动角度，并根据屏幕的垂直弯折方位和垂直弯折角度，确定垂直移动角度。

3.根据权利要求1所述的视频显示方法，其特征在于，还包括：

根据所述屏幕的弯折方位和弯折角度，确定显示效果指令；

将所述显示效果指令发送至所述屏幕所在终端。

4.根据权利要求2所述的视频显示方法，其特征在于，预设有弯折方位和移动方向的对应关系；所述确定水平移动角度，包括：

根据所述对应关系，确定所述水平弯折方位对应的水平移动方向；根据所述水平移动方向和所述水平弯折角度，确定水平移动角度；

所述确定垂直移动角度，包括：

根据所述对应关系，确定所述垂直弯折方位对应的垂直移动方向；

根据所述垂直移动方向和所述垂直弯折角度，确定垂直移动角度。

5.根据权利要求4所述的视频显示方法，其特征在于，所述水平移动角度rX通过以下公式确定：

rX＝θ·sign(X)

其中，所述θ表示所述水平弯折角度；当所述水平移动方向为水平左移时，所述sign(X)取值为-1，当所述水平移动方向为水平右移时，所述sign(X)取值为1；

所述垂直移动角度rY，通过以下公式确定：

rY＝β·sign(Y)

其中，所述β表示所述垂直弯折角度；当所述垂直移动方向为垂直上移时，所述sign(Y)的取值为1，当所述垂直移动方向为垂直下移时，所述sign(Y)的取值为-1。

6.根据权利要求3所述的视频显示方法，其特征在于，所述根据屏幕的弯折方位和弯折角度，确定显示效果指令，包括：

如果所述弯折角度超过预设阈值，则确定所述显示效果指令为播放预设音乐的指令和/或显示预设图片的指令。

7.根据权利要求1所述的视频显示方法，其特征在于，所述将调整后的视角位置对应的原始视频数据投影至所述屏幕，包括：

根据预设透视投影矩阵将所述原始视频数据投影至所述屏幕。

8.一种视频显示系统，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的视频显示方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视频显示方法。

10.一种具有柔性屏的终端，其特征在于，所述终端能够执行如权利要求1至7中任一项所述的视频显示方法。

Images