CN107204044B - 一种基于虚拟现实的画面显示方法及相关设备 - Google Patents

Abstract

本发明实施例中的基于虚拟现实的画面显示方法及相关设备，获取上次画面显示的头部姿态显示数据Q1，获取当前画面预显示的头部姿态当前数据Q2’，确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ，判断所述差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2，根据所述头部姿态预显示数据Q2对当前画面进行显示，可以降低人眼看到的画面的抖动和漂移，提升用户的体验感。

Description

一种基于虚拟现实的画面显示方法及相关设备

技术领域

本发明涉及图像处理领域，特别涉及一种基于虚拟现实的画面显示方法及相关设备。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

在虚拟现实(Virtual Reality，VR)智能设备工作过程中，需要对用户的头部位置进行追踪，以实时准确的显示用户可看到的图像，具体是通过集成在VR眼镜上的传感器(sensor)、陀螺仪采集用户头部的偏移角度θ数据，再通过MCU对采集的数据进行融合计算生成用户头部角度数据，加上预测点偏离角度后发送给CPU及GPU处理渲染，最终达到实时显示用户头部看到的图像。

如图1所示，现有图像数据平滑处理方法一般采用均值处理，即将相邻的几个计算点位置，例如，某两个相邻时间帧的计算点位置X1、X2，后一帧的显示点采用均值，即(X1+X2)/2，以实现数据的平滑处理，减小用户的画面抖动感觉，然而，当某一帧的计算点距离上一帧的显示点偏移很大，采用均值数据平滑处理方法会导致该帧的显示点X3距离上一帧的显示点位置偏移较大，即前后两帧位置相差较大，容易带给用户明显的画面抖动，降低了用户的体验感。

发明内容

有鉴于此，本发明实施例提供了一种基于虚拟现实的画面显示方法及相关设备。

一种基于虚拟现实的画面显示方法，所述方法包括：

获取上次画面显示的头部姿态显示数据Q1；

获取当前画面预显示的头部姿态当前数据Q2’；

确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ；

判断所述差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2；

根据所述头部姿态预显示数据Q2对当前画面进行显示。

可选地，所述方法还包括：

如果所述差值Δ不超过预设阈值，根据所述头部姿态当前数据Q2’对当前画面进行显示。

所述对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2包括：

使平滑处理后的所述头部姿态预显示数据Q2与所述头部姿态显示数据Q1的差值小于所述第一差值Δ。

可选地，使平滑处理后的所述头部姿态预显示数据Q2与所述头部姿态显示数据Q1的差值小于所述第一差值Δ包括

获取所述头部姿态显示数据Q1和所述头部姿态当前数据Q2’的平均值，将所述头部姿态预显示数据Q2平滑处理为所述平均值；

或

设置平滑调整值M，将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的调整平滑值M处的值；

或

获取上次画面显示的头部姿态的上次数据Q1’与所述头部姿态当前数据Q2’的第二差值Δ’,设置平滑调整值M，将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的平滑调整值M与所述第二差值Δ’的和值处。一种基于虚拟现实的画面显示装置，所述装置包括：

获取单元，用于获取上次画面显示的头部姿态显示数据Q1；

获取单元还用于获取当前画面预显示的头部姿态当前数据Q2’；

确定单元，用于确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ；

处理单元，用于判断所述差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2；

显示单元，用于根据所述头部姿态预显示数据Q2对当前画面进行显示。

可选地，所述处理单元还用于：

如果所述第一差值Δ不超过预设阈值，根据所述头部姿态当前数据Q2’对当前画面进行显示。

可选地，所述处理单元还用于使

平滑处理后的所述头部姿态预显示数据Q2与所述头部姿态显示数据Q1的差值小于所述第一差值Δ。可选地，所述图像处理装置为虚拟现实设备。

一种基于虚拟现实的画面显示的设备，包括：处理器和存储器，其中，

所述存储器中存有计算机可读程序；

所述处理器通过运行所述存储器中的程序，以用于完成基于虚拟现实的画面显示的方法。

本发明实施例中的基于虚拟现实的画面显示方法及相关设备，获取上次画面显示的头部姿态显示数据Q1，获取当前画面预显示的头部姿态当前数据Q2’，确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间差值Δ，判断所述第一差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2，根据所述头部姿态预显示数据Q2对当前画面进行显示，可以降低人眼看到的画面的抖动和漂移，提升用户的体验感。

附图说明

图1是现有技术中利用均值处理方法的示意图；

图2是本发明实施例中基于虚拟现实的画面显示方法的一种实施例的流程图；

图3是本发明实施例中基于虚拟现实的画面显示装置的一种实施例的结构图；

图4是本发明实施例中基于虚拟现实的画面显示设备的一种实施例的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图2所示，本发明实施例中提供的图像处理方法的一种实施例，所述方法包括：

S201、获取上次画面显示的头部姿态显示数据Q1。

头部姿态显示数据Q1是指上一帧中显示画面所用到的数据。

S202、获取当前画面预显示的头部姿态当前数据Q2’。

预显示的头部姿态当前数据Q2’是指准备用来作为当前帧画面显示用的显示数据，可以理解为需要经过检验才能使用，如果未能通过检验则可以经过后期的平滑处理再进行使用，这里不做限定。

S203、确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ。

利用上一帧的画面所用头部姿态显示数据Q1对预显示的头部姿态当前数据Q2’进行检验，因为经过研究表明，当上一帧画面和当前帧画面如果产生较大偏移时候会使得当前画面产生漂移，这样会引起使用者的不适，将这个偏移的极限值作为预设阈值使用，此处不进行限定。

S204、判断所述第一差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2，执行S205。

当超出预设阈值则表明预显示使用的头部姿态当前数据Q2’存在问题，不可以直接使用，则可以利用平滑处理对头部姿态当前数据Q2’进行处理，对于平滑处理的具体操作，本领与普通技术人员应当了解，具体不作赘述。

需要说明的是，对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2可以包括以下几种方式：

1、使平滑处理后的所述头部姿态预显示数据Q2与所述头部姿态显示数据Q1的差值小于所述第一差值。这里的差值是指两个头部姿态数据的差的绝对值。

2、所述对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2包括：获取所述头部姿态显示数据Q1和所述头部姿态当前数据Q2’的平均值，将所述头部姿态预显示数据Q2平滑处理为所述平均值，例如对所述头部姿态预显示数据Q2＝(Q1+Q2’)/2，即取平均值计算。

3、设置平滑调整值M,将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的调整平滑值M处的值；例如，所述头部姿态预显示数据Q2＝Q1±M，±表示正负范围内，其中，M为常数，是根据大量实验数据统计分析的一个优选值。这里的同向是指如果后一画面在在前一画面上方，就是+M，如果后一画面在前一画面的下方就是-M，也就是预显示数据Q2与头部姿态显示数据Q1的矢量方向与所述头部姿态当前数据Q2’与头部姿态显示数据Q1的矢量方向是在水平方向的同一侧。4、获取上次画面显示的头部姿态的上次数据Q1’与所述头部姿态当前数据Q2’的第二差值Δ’,设置平滑调整值M，将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的平滑调整值M与所述第二差值Δ’的和值处。例如所述头部姿态预显示数据Q2＝Q1±M+Δ’，Q1’为上次画面显示的头部姿态的上次数据，其中，M为常数，是根据大量实验数据统计分析的一个优选值。进一步，当所述头部姿态预显示数据Q2＝Q1±N+(Q2’-Q1’)时，判断(Q2’-Q1’)的的第二差值Δ’是否大于所述第一差值Δ。这里的上次数据Q1’是指获取的用于对上次画面进行显示而没有进行平滑处理的姿态数据。

S205、根据所述头部姿态预显示数据Q2对当前画面进行显示。

将经过平滑处理得到头部姿态预显示数据Q2进行当前画面的显示，对当前智能现实的画面进行提前优化处理，避免因为画面的漂移造成使用者的不适。

S206、判断所述第一差值Δ是否超过预设阈值，如果不超过，根据所述头部姿态当前数据Q2’对当前画面进行显示。

经过检验发现头部姿态当前数据Q2’没有出现较大偏移，则可以直接使用头部姿态当前数据Q2’进行当前画面的显示。

本发明实施实例中还提供了以第一计算点为计算基准进行头部姿态调整的方法的一种实施例，所述方法包括：

S1、获取当前帧中第一计算点所处位置的检测坐标。

这里的第一计算点是指在进行图像显示时候，为了计算当前帧画面和下一帧画面的相对位而选择的一个参考点，第一计算点的位置可以灵活选择，具体不进行限定，选定第一计算点之后获取当前帧中所处的检测坐标，即当前的第一计算点的坐标位置。

S2、获取下一帧中所述第一计算点所处位置的预显示坐标。

由于设备在运动过程中图像需要实时进行调整，根据采集到传感器参数可以确定设备的移动方向和速度等参数，可以根据移动方向和速度等参数得到下一帧图像中第一计算点的预显示坐标，预显示坐标是传感器实际检测到的参数，如果是偏差过大的参数显示出的画面会出现抖动的情况，所以还需要对得到的预显示坐标进行后续步骤的判断才能确定是否可以使用。

S3、计算所述检测坐标和所述预显示坐标之间的位移值。

利用距离的偏差来判断是否出现较大偏移，先需要计算出当前帧的第一计算点的检测坐标和计算得到预显示坐标进行计算得到两者之间的位移值。

S4、确定所述位移值超过预设的距离阈值则将所述检测坐标和所述预显示坐标之间的连线上任一点作为所述第一计算点在所述下一帧的实际显示坐标。

预先设定距离阈值，具体的数值可以根据试验获得，此处不进行限定，当计算得到位移值超过预设的距离阈值说明预显示坐标出现较大位移偏差，如果按照预显示坐标显示下一帧图像很可能会出现画面抖动，所以可以在检测坐标和预显示坐标之间的连线上的一点作为第一计算点在下一帧图像中的实际显示坐标，实际显示坐标在预显示坐标所在方向上，可选地，实际显示坐标和检测坐标之间的距离位于预设的固定值内，实际显示坐标即当预显示坐标位于检测坐标的左下方时，那么实际显示坐标也应当在检测坐标的左下方的方向上，需要说明的是，实际显示坐标位置与当前帧中的检测坐标之间的位移值不应超过预设的距离阈值，避免发生较大偏差，本领域普通技术人员应当了解，不进行赘述。

通过采用上述的方案，可以降低人眼看到的画面的抖动，提升用户的体验感。

结合图3所述，本发明实施例中提供了一种基于虚拟现实的画面显示装置，其特征在于，所述装置包括：

获取单元301，用于获取上次画面显示的头部姿态显示数据Q1；

获取单元301还用于获取当前画面预显示的头部姿态当前数据Q2’；

确定单元302，用于确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ；

处理单元303，用于判断所述差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2；

显示单元304，用于根据所述头部姿态预显示数据Q2对当前画面进行显示。

可选地，所述处理单元303还用于：

如果所述第一差值Δ不超过预设阈值，根据所述头部姿态当前数据Q2’对当前画面进行显示。

可选地，所述处理单元303还用于使平滑处理后的所述头部姿态预显示数据Q2与所述头部姿态显示数据Q1的差值小于所述第一差值Δ。

可选地，所述基于虚拟现实的画面显示装置为虚拟现实设备。

本发明实施例中还提供一种基于虚拟现实的画面显示的设备，包括：处理器和存储器，其中，

所述存储器中存有计算机可读程序；

所述处理器通过运行所述存储器中的程序，以用于完成基于虚拟现实的画面显示的方法。

结合图4所示，为了实现上述方法，本发明实施例中还提供一种基于虚拟现实的画面显示的设备，包括：处理器401和存储器403，其中，

所述存储器401中存有计算机可读程序；

所述处理器403通过运行所述存储器中的程序，具体用于：

获取上次画面显示的头部姿态显示数据Q1；

获取当前画面预显示的头部姿态当前数据Q2’；

确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ；

判断所述第一差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2；

根据所述头部姿态预显示数据Q2对当前画面进行显示。

图4所示为本发明实施例提供的基于虚拟现实的画面显示设备示意图。基于虚拟现实的画面显示设备400包括至少一个处理器401，通信总线402，存储器403以及至少一个通信接口404。

处理器401可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。

通信总线402可包括一通路，在上述组件之间传送信息。所述通信接口404，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。

存储器403可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，所述存储器403用于存储执行本发明方案的程序代码，并由处理器401来控制执行。所述处理器401用于执行所述存储器403中存储的程序代码。

在具体实现中，作为一种实施例，处理器401可以包括一个或多个CPU，例如图4中的CPU0和CPU1。

在具体实现中，作为一种实施例，基于虚拟现实的画面显示设备400可以包括多个处理器，例如图4中的处理器401和处理器408。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，基于虚拟现实的画面显示设备400还可以包括输出设备405和输入设备406。输出设备405和处理器401通信，可以以多种方式来显示信息。例如，输出设备405可以是液晶显示器(liquid crystal display，LCD),发光二级管(lightemitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备406和处理器401通信，可以以多种方式接受用户的输入。例如，输入设备406可以是鼠标、键盘、触摸屏设备或传感设备等。

上述的基于虚拟现实的画面显示设备400可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，基于虚拟现实的画面显示设备400可以是虚拟现实设备、台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或有图4中类似结构的设备。本发明实施例不限定基于虚拟现实的画面显示设备400的类型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种基于虚拟现实的画面显示方法及相关设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于虚拟现实的画面显示方法，其特征在于，所述方法包括：

获取上次画面显示的头部姿态显示数据Q1；

获取当前画面预显示的头部姿态当前数据Q2’；

确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ；

判断所述第一差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2；

其中，所述对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2包括：获取所述头部姿态显示数据Q1和所述头部姿态当前数据Q2’的平均值，将所述头部姿态预显示数据Q2平滑处理为所述平均值；

或设置平滑调整值M，将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的调整平滑值M处的值；

或获取上次画面显示的头部姿态的上次数据Q1’与所述头部姿态当前数据Q2’的第二差值Δ’,设置平滑调整值M,将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的平滑调整值M与所述第二差值Δ’的和值处；

根据所述头部姿态预显示数据Q2对当前画面进行显示。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述第一差值Δ不超过预设阈值，根据所述头部姿态当前数据Q2’对当前画面进行显示。

3.根据权利要求1所述的方法，其特征在于，当将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的平滑调整值M与所述第二差值Δ’的和值处时，在将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的平滑调整值M与所述第二差值Δ’的和值处之前，还包括判断第二差值Δ’值是否大于所述第一差值Δ，如果大于，则进行后续处理。

4.一种基于虚拟现实的画面显示装置，其特征在于，所述装置包括：

获取单元，用于获取上次画面显示的头部姿态显示数据Q1；

获取单元还用于获取当前画面预显示的头部姿态当前数据Q2’；

确定单元，用于确定所述头部姿态显示数据Q1与所述头部姿态当前数据Q2’之间第一差值Δ；

处理单元，用于判断所述差值Δ是否超过预设阈值，如果超过，则对所述头部姿态当前数据Q2’进行平滑处理得到头部姿态预显示数据Q2；

其中，所述处理单元具体用于：获取所述头部姿态显示数据Q1和所述头部姿态当前数据Q2’的平均值，将所述头部姿态预显示数据Q2平滑处理为所述平均值；

或设置平滑调整值M，将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的调整平滑值M处的值；

或获取上次画面显示的头部姿态的上次数据Q1’与所述头部姿态当前数据Q2’的第二差值Δ’,设置平滑调整值M,将所述头部姿态预显示数据Q2平滑处理为距离所述头部姿态显示数据Q1同向的平滑调整值M与所述第二差值Δ’的和值处；

显示单元，用于根据所述头部姿态预显示数据Q2对当前画面进行显示。

5.根据权利要求4所述的装置，其特征在于，所述处理单元还用于：

如果所述第一差值Δ不超过预设阈值，根据所述头部姿态当前数据Q2’对当前画面进行显示。

6.根据权利要求4所述的装置，其特征在于，所述图像处理装置为虚拟现实设备。

7.一种基于虚拟现实的画面显示的设备，其特征在于，包括：处理器和存储器，其中，

所述存储器中存有计算机可读程序；

所述处理器通过运行所述存储器中的程序，以用于完成上述权利要求1至5中任意一项权利要求所述的方法。

Images