CN111711811B - Vr图像处理方法、装置、系统、vr设备及存储介质 - Google Patents

Abstract

本申请提供的VR图像处理方法、装置、系统、VR设备及存储介质，应用于VR图像技术领域，所述方法包括:获取用户的头部运动状态；在所述用户的头部运动状态为快速运动状态的情况下，减少VR视频中当前帧的高清画面渲染区域，以及增加所述VR视频中当前帧的低清画面渲染区域；显示缩放后的VR视频。本方案通过在用户的头部快速运动的情况下将VR视频中高清画面渲染区域进行减少，并将低清画面渲染区域进行增加，由于用户的头部快速运动时其视觉对于VR视频的画面清晰度的敏感度较低，因此可以在不影响用户对于VR视频的观看体验的情况下，减少VR视频渲染所需的数据处理量。

Description

VR图像处理方法、装置、系统、VR设备及存储介质

技术领域

本申请属于VR图像技术领域，特别是涉及一种VR图像处理方法、装置、系统、VR设备及存储介质。

背景技术

随着VR(Virtual Reality，虚拟现实)技术的发展，如何提供高帧率且较高渲染质量的VR画面成为影响VR发展的关键点。而Smart View(智能画面)模型方案正是一种通过根据用户注视点变化，仅将VR视频画面中用户注视点周围固定大小的画面区域进行高清显示，以减少VR视频渲染所需数据处理量的方案。

但是传统的Smart View模型方案仍然需要大量的数据处理资源，对于VR设备所配备的处理器要求较高，无法适用于处理能力较弱的处理器，因此仍需进一步减少VR视频渲染所需的数据处理量。

发明内容

有鉴于此，本申请第一方面提供一种VR图像处理方法，所述方法包括：

获取用户的头部运动状态；

在所述用户的头部运动状态为快速运动状态的情况下，减少VR视频中当前帧的高清画面渲染区域，以及增加所述VR视频中当前帧的低清画面渲染区域；

显示缩放后的VR视频。

可选的，所述减少VR视频中的高清画面渲染区域，以及增加所述VR视频中的低清画面渲染区域，包括：

获取目标面积；

将所述VR视频中当前帧的高清画面渲染区域减少目标面积，以及将所述VR视频中当前帧的低清画面渲染区域增加目标面积。

可选的，所述获取目标面积，包括：

确定所述VR视频的预设位置像素点为第一像素点组合方式；

根据所述VR视频的图像复杂度，确定目标面积；

其中，所述图像复杂度和目标面积呈正相关。

可选的，所述获取目标面积，包括：

确定所述VR视频的预设位置像素点为第一像素点组合方式；

根据处理器的当前负荷，确定目标面积；

其中，所述处理器的当前负荷和目标面积呈正相关。

可选的，所述获取目标面积，包括：

确定所述VR视频的预设位置像素点为第二像素点组合方式；

获取所述第二像素点组合相对应的目标面积。

可选的，在所述获取用户的头部运动状态之后，还包括：

在所述用户的头部运动状态为低速运动状态的情况下，固定VR视频中的高清画面渲染区域和低清画面渲染区域的面积；

显示固定后的VR视频。

可选的，所述获取用户的头部运动状态，包括：

获取用户的头部运动数据；

根据所述用户的头部运动数据，获取用户的头部运动速率；

在所述用户头部的运动速率大于速率阈值的情况下，确认所述用户的头部运动状态为快速运动状态；

在所述用户头部的运动速率小于或等于速率阈值的情况下，确认所述用户的头部运动状态为低速运动状态。

依据本申请第二方面，提供一种VR图像处理装置，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现上述第一方面所述的VR图像处理方法。

依据本申请第三方面，提供一种VR设备，其特征在于，所述VR设备包括姿态检测传感器、处理器以及VR显示组件，所述处理器用于执行上述第一方面所述VR图像处理方法。

依据本申请第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的VR图像处理方法。

针对现有技术，本申请具备如下优点：

本申请提供的一种VR图像处理方法、装置、系统、VR设备及存储介质，本方案通过在用户的头部快速运动的情况下将VR视频中高清画面渲染区域进行减少，并将低清画面渲染区域进行增加，由于用户的头部快速运动时其视觉对于视频画面清晰度的敏感度较低，因此可以在不影响用户对于VR视频的观看体验的情况下，减少VR视频渲染所需的数据处理量。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本申请实施例提供的一种VR图像处理方法的步骤流程图；

图2是本申请实施例提供的一种VR图像处理方法的效果示意图；

图3是本申请实施例提供的另一种VR图像处理方法的步骤流程图；

图4是本申请实施例提供的一种目标面积获取方法的的步骤流程图；

图5是本申请实施例提供的另一种目标面积获取方法的的步骤流程图；

图6是本申请实施例提供的再一种目标面积获取方法的的步骤流程图；

图7是本申请实施例提供的一种像素点组合方式的效果示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

实施例一

图1是本申请实施例提供的一种VR图像处理方法，所述方法包括：

步骤101，获取用户的头部运动状态。

在本申请实施例中，用户的头部运动状态是指用户在通过所佩戴的VR设备观看VR视频时用户头部的运动状态，可以是用户头部的运动速率。用户的头部运动状态可以是通过VR设备中的用户姿态检测传感器获取的，该用户姿态检测传感器可以是水平仪、惯性传感器、加速度传感器、陀螺仪地磁传感器等等，具体可以根据实际需求设置，只要能获取到用户得头部运动状态即可，此处不做限定。

步骤102，在所述用户的头部运动状态为快速运动状态的情况下，减少VR视频中当前帧的高清画面渲染区域，以及增加所述VR视频中当前帧的低清画面渲染区域。

在本申请实施例中，快速运动状态是指用户头部以一定快速率运动的状态，在此快速运动状态下，通常用户的视觉对于高清画面的敏感度将会降低。VR视频是指可以展示360度全景画面的视频，用户可以通过穿戴VR设备通过转动头部观看VR视频中的全景画面中的各个部分。高清画面渲染区域是指VR视频的当前帧中需要渲染的分辨率较高的视频画面区域，低清画面渲染区域是指VR视频的当前帧中需要渲染的分辨率较低的视频画面区域，例如VR视频中，可以将用户视线所在的视频画面区域以1080P进行显示，而其他视频画面区域则以相对1080P较低的720P的低分辨率进行显示，这样可以在不影响用户VR视频的观看体验的情况下，有效减少VR图像处理器的数据处理量。

在现有技术中，传统的Smart View模型方案通常是依据用户观看的注视点来调整VR视频中高清画面渲染区域的位置，以保证用户观看到的视频画面的画面质量，但是该高清画面渲染区域的面积大小是不变的。但对于用户而言，在不同头部运动状态下其视觉对于视频画面清晰度的敏感度是不同的，具体的，在低速运动状态下用户的视觉对于视频画面清晰度的敏感度较高，可以较好的辨别视频画面清晰度的高低，而在快速运动状态下用户的视觉会出现扫视抑制，也就是说用户的视觉对于视频画面清晰度的敏感度降低，相对于低速运动状态更难辨别视频画面清晰度的高低。因此本申请实施例在用户头部处于快速运动状态的情况下，将VR视频中高清画面渲染区域的面积减小，来进一步降低处理器进行画面渲染所需的数据处理量，并且由于用户头部在快速运动状态下，对于视频画面清晰度的敏感度较低，因此用户基本感觉不到VR视频的高清视频区域的面积减少，不会影响用户的VR观看体验。

步骤103，显示缩放后的VR视频。

在本申请实施例中，缩放后的VR视频相对于原VR视频，其中的高清画面渲染区域的面积更小，而低清画面渲染区域的面积更大。示例性的，缩放后的VR视频会通过在高清画面渲染区域和低清画面渲染区域之间填充8行灰度值为0的像素点，并且通过填充黑像素点来将高清画面渲染区域和低清画面渲染区域进行对齐，最后通过将缩放后的VR视频进行反畸变后输出给VR显示组件进行显示，当然缩放后的VR视频还可以通过其他后处理方式进行处理后再发送给VR显示组件进行显示，由于缩放处理后的VR视频的高清画面渲染区域更小，所述的数据处理量更小，可以减少处理器的数据处理压力。

示例性的，参照图2，上方为VR视频的原高清视频画面，下方为通过将高清画面渲染区域减少后的VR视频画面，可以发现，通过减少高清画面渲染区域可以有效减小VR视频画面所需渲染的画面大小，减少处理器的数据处理量。

本申请实施例提供的一种VR图像处理方法，通过在用户的头部快速运动的情况下将VR视频中高清画面渲染区域进行减少，并将低清画面渲染区域进行增加，由于用户的头部快速运动时其视觉对于视频画面清晰度的敏感度较低，因此可以在不影响用户对于VR视频的观看体验的情况下，减少VR视频渲染所需的数据处理量。

实施例二

图4是本申请实施例提供的另一种VR图像处理方法，所述方法包括：

步骤201，获取用户的头部运动数据。

在本申请实施例中，用户的头部运动数据是指通过VR设备中的姿态检测传感器采集到的用户头部的运动速度、运动速率、方向等指标参数。

步骤202，根据所述用户的头部运动数据，获取用户的头部运动速率。

在本申请实施例中，若获取到的头部运动数据为头部运动速率，则可直接采用，若获取到的头部运动数据为头部运动加速度、方向、水平高度等指标参数，则需要对该头部运动数据进行分析，从而计算得到用户的头部运动速率。例如：在该头部运动数据为头部运动速率的情况下，根据头部运动速率和运动时间进行速率计算，即可得到头部运动速率。具体可以根据实际需求确定，此处不做限定。

步骤203，在所述用户头部的运动速率大于速率阈值的情况下，确认所述用户的头部运动状态为快速运动状态。

步骤204，在所述用户头部的运动速率小于或等于速率阈值的情况下，确认所述用户的头部运动状态为低速运动状态。

在本申请实施例中，速率阈值可以是通过对样本用户在不同头部运动速率下的对于高清视频画面的视觉敏感度进行实验得到的，也就是将样本用户对于高清视频画面的视觉敏感度较低的头部运动速率作为速率阈值。

在实际应用中若获取到的用户头部的运动速率大于该速率阈值，则可以确定该用户的头部运动状态为快速运动状态，当然若用户头部的运动速率小于或等于速率阈值，则确定该用户的头部运动状态为低速运动状态。

本申请实施例通过依据采集到的用户的头部运动数据来计算用户头部的运动速率，以在用户头部的运动速率大于速率阈值的情况下将用户的头部运动状态确定为快速运动状态，提高了所确定快速运动状态的准确性。

步骤205，获取目标面积。

在本申请实施例中，目标面积是指高清画面渲染区域需要减少的面积以及低清画面渲染区域需要增加的面积，可以是预先设置的或者用户实时输入的，也可以是依据VR视频或者VR设备的各项指标参数确定的，具体可以根据实际需求确定，此处不做限定，但该目标面积的值需要为正值。

步骤206，将所述VR视频中当前帧的高清画面渲染区域减少目标面积，以及将所述VR视频中当前帧的低清画面渲染区域增加目标面积。

在本申请实施例中，由于本方案所适用的VR视频是由高清画面渲染区域和低清画面渲染区域共同组成的，因此在将高清画面渲染区域减少目标面积后，需要通过将低清画面渲染区域增加目标面积来对高清画面渲染区域减少的目标面积进行补偿，从而得到高清画面渲染区域更小的VR视频。

步骤207，显示缩放后的VR视频。

该步骤可参照步骤103的详细描述，此处不再赘述。

步骤208，在所述用户的头部运动状态为低速运动状态的情况下，固定VR视频中的高清画面渲染区域和低清画面渲染区域的面积。

在本申请实施例中，则延用传统的Smart View模型方案，保持高清画面渲染区域和低清画面渲染区域的面积不变。由于用户的头部在低速运动状态下，用户视觉对于视频画面清晰度的敏感度正常，因此需要保持高清画面渲染区域的面积不变，但是此时由于运动头部的运动速率较低，因此高清画面渲染区域的变化速率也较低，因此此时处理器所需的数据处理量相对在快速运动状态下更低，而且此时用户对于VR视频中画面清晰度的敏感度较高，因此为了保障用户的观看体验，无需对高清画面渲染区域的面积进行减少。

步骤209，显示固定后的VR视频。

本申请实施例在用户的头部运动状态为低速运动状态的情况下VR视频中的高清画面渲染区域的面积不变，以与缩放高清画面渲染区域的方案相结合，从而降低了SmartView模型方案在VR视频中应用所需的整体数据处理量。

可选的，所述步骤205，可以包括：

子步骤2051，确定所述VR视频的预设位置像素点为第一像素点组合方式。

在本申请实施例中，预设位置像素点是指VR视频中用于记录VR视频的处理方式，例如该预设位置像素点可以是低清画面渲染区域的第一行的32个像素点，这32个像素点的前16为保留位，后16位里的前8位标记像素点1，后8位像素点2。相应的，第一像素点组合方式是指像素点1和像素点2的颜色组合，例如像素点1为红绿蓝色任一种，而像素点2为白色，并且像素点1的不同颜色还可以表示目标面积的大小。当然第一像素点组合方式具体如何组合可以根据实际需求确定，只要能记录所需对VR视频的处理方式即可。

子步骤2052，根据所述VR视频的图像复杂度，确定目标面积。

其中，所述图像复杂度和目标面积呈正相关。

在本申请实施例中，若该VR视频的预设位置像素点为第一像素点组合方式，则可以确定需要依据VR视频的图像复杂度来对VR视频的高清画面渲染区域和低清画面渲染区域进行调整。由于VR视频的图像复杂度越高，所需的数据处理量越大，因此需要对高清画面渲染区域的进行减少的目标面积越大，反之，若VR是的图像复杂度越低，所需的数据处理量就越小，需要对高清画面渲染区域进行减少的目标面积越小。

本申请实施例在VR视频的预设位置像素点为第一像素点组合方式的情况下，自动依据VR视频的图像复杂度来确定高清画面渲染区域所需减少的目标面积，从而使得VR视频的高清画面渲染区域可以自动依据图像复杂度进行适应性调整，提高了VR视频处理的灵活性。

可选的，所述步骤204，可以包括：

子步骤2053，确认所述VR视频的预设位置像素点为第一像素点组合方式。

该步骤可参照步骤2051的相关描述，此处不再赘述。

子步骤2054，根据处理器的当前负荷，确定目标面积。

其中，所述处理器的当前负荷和目标面积呈正相关。

在本申请实施例中，处理器的当前负荷是指处理器在当前时间下所承载任务量占最大任务承载量的比例。根据处理器的当前负荷可以确定处理器当前可接受的任务承载量，从而将不同高清画面渲染区域的减少面积下VR视频所需的数据处理量与该处理器可接受的任务承载量进行比对，将数据处理量和任务承载量相匹配的减少面积作为目标面积。通常处理器的当前负荷越大，目标面积就需要越大，以尽量减少VR视频处理所需的数据处理量，反之处理器的当前符合越小，目标面积越小。

本申请实施例在VR视频的预设位置像素点为第一像素点组合方式的情况下，自动依据处理器的当前符合来确定高清画面渲染区域所需减少的目标面积，从而使得VR视频的高清画面渲染区域可以自动依据处理器的当前符合进行适应性调整，提高了VR视频处理的灵活性。

可选的，所述步骤205，可以包括：

子步骤2055，确定所述VR视频的预设位置像素点为第二像素点组合方式。

在本申请实施例中，第二像素点组合方式和子步骤2041中的第一像素点组合方式的作用类似，不过为了便于区分，该第二像素点组合方式需要和第一像素点组合方式不同。例如：在第一像素点组合方式的像素点2为白色的情况下，第二像素点组合方式的像素点2可以为黑色，而像素点1可以为红绿黑。

子步骤2056，获取所述第二像素点组合相对应的目标面积。

在本申请实施例中，在预设位置像素点为第二像素点组合方式的情况下，可以直接依据第二像素点组合中像素点的颜色来确定高清画面渲染区域的所需减少的目标面积，目标面积和像素点组合之间的关联关系可以是预先设置的。例如：像素点1为红色、像素点2位黑色时，高清画面渲染区域需要减少为1440*1440；像素点1为绿色，像素点2为黑色时，高清画面渲染区域需要减少为1200*1200；像素点1位蓝色，像素点2位黑色时，高清画面渲染区域需要减少至1080*1080等。当然，第二像素点组合所对应的目标面积可以根据实际需求确定，此处不做限定。

通过这种方式，用户可以根据自身的观看体验和其他实际需求，对VR视频的高清画面渲染区域的面积进行调整，例如：用户在关注VR视频中某个画面区域，则用户可以通过设置第二像素点组合来将VR视频画面中高清画面渲染区域得面积进行减少，从而降低处理器的处理压力，以提升处理器渲染输出帧率，尽量显示较小的高清画面渲染区域，从而保证VR视频的画面流畅感。

示例性的，参照图7，左侧为像素点1，右侧为像素点2，上方高清区域大小自动智能变化是的三种像素点1和像素点2的组合方式为第一像素点组合方式，而下方高清区域大小手动变化的三种像素点1和像素点2的组合方式为第二像素点组合方式。可见，可以通过像素点2的颜色来区别第一像素点组合方式和第二像素点组合方式，而像素点1可以具体限定需要对VR视频进行处理的尺度。

本申请实施例在VR视频的预设像素点为第二像素点组合的情况下，自动将第二像素点组合相对应的面积作为VR视频需要减少的目标面积，使得VR视频的高清画面渲染区域根据设置进行减少，提高了VR视频处理的灵活性。

本申请实施例提供的另一种VR图像处理方法，通过在用户的头部快速运动的情况下将VR视频中高清画面渲染区域进行减少，并将低清画面渲染区域进行增加，由于用户的头部快速运动时其视觉对于视频画面清晰度的敏感度较低，因此可以在不影响用户对于VR视频的观看体验的情况下，减少VR视频渲染所需的数据处理量。

实施例三

本申请实施例提供了一种图像表示装置，该图像表示装置包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，能使得一个或多个处理器实现上述任一项的VR图像处理方法。

本申请实施例提供的一种VR图像处理装置，通过在用户的头部快速运动的情况下将VR视频中高清画面渲染区域进行减少，并将低清画面渲染区域进行增加，由于用户的头部快速运动时其视觉对于视频画面清晰度的敏感度较低，因此可以在不影响用户对于VR视频的观看体验的情况下，减少VR视频渲染所需的数据处理量。

实施例四

本申请实施例提供了一种VR设备，所述VR设备包括姿态检测传感器、处理器以及VR显示组件，所述处理器用于执行上述任一项的VR图像处理方法。

本申请实施例提供的一种VR图像处理装置，通过在用户的头部快速运动的情况下将VR视频中高清画面渲染区域进行减少，并将低清画面渲染区域进行增加，由于用户的头部快速运动时其视觉对于视频画面清晰度的敏感度较低，因此可以在不影响用户对于VR视频的观看体验的情况下，减少VR视频渲染所需的数据处理量。

实施例五

本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时能实现上述的VR图像处理方法。

本申请的实施例提供了一种计算机存储介质，通过执行该计算机存储介质的计算机程序，可以实现上述VR图像处理方法，从而在不影响用户对于VR视频的观看体验的情况下，降低了图像渲染所需的数据处理量。

本技术领域技术人员可以理解，本申请包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)的存储介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，该计算机存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流程图中的每个框以及这些结构图和/或框图和/或流程图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其它可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种VR图像处理方法，其特征在于，所述方法包括：

获取用户的头部运动状态；

在所述用户的头部运动状态为快速运动状态的情况下，获取目标面积；

将VR视频中当前帧的高清画面渲染区域减少目标面积，以及将所述VR视频中当前帧的低清画面渲染区域增加目标面积；

其中，所述获取目标面积，包括：

确定所述VR视频的预设位置像素点为第一像素点组合方式；

根据所述VR视频的图像复杂度，确定目标面积；

其中，所述图像复杂度和目标面积呈正相关；

显示缩放后的VR视频。

2.根据权利要求1所述的方法，其特征在于，所述获取目标面积，包括：

确定所述VR视频的预设位置像素点为第二像素点组合方式；

获取所述第二像素点组合方式 相对应的目标面积。

3.根据权利要求1所述的方法，其特征在于，在所述获取用户的头部运动状态之后，还包括：

在所述用户的头部运动状态为低速运动状态的情况下，固定VR视频中的高清画面渲染区域和低清画面渲染区域的面积；

显示固定后的VR视频。

4.根据权利要求1所述的方法，其特征在于，所述获取用户的头部运动状态，包括：

获取用户的头部运动数据；

根据所述用户的头部运动数据，获取用户的头部运动速率；

在所述用户头部的运动速率大于速率阈值的情况下，确认所述用户的头部运动状态为快速运动状态；

在所述用户头部的运动速率小于或等于速率阈值的情况下，确认所述用户的头部运动状态为低速运动状态。

5.一种VR图像处理装置，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现权利要求1-4中任一项所述的VR图像处理方法。

6.一种VR设备，其特征在于，所述VR设备包括姿态检测传感器、处理器以及VR显示组件，所述处理器用于执行所述权利要求1至4中任一所述的VR图像处理方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现权利要求1至4中任一所述的VR图像处理方法。

Images