CN110166758A - 图像处理方法、装置、终端设备及存储介质 - Google Patents

图像处理方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN110166758A
CN110166758A CN201910551530.8A CN201910551530A CN110166758A CN 110166758 A CN110166758 A CN 110166758A CN 201910551530 A CN201910551530 A CN 201910551530A CN 110166758 A CN110166758 A CN 110166758A
Authority
CN
China
Prior art keywords
resolution ratio
range
movement velocity
image
velocity range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910551530.8A
Other languages
English (en)
Other versions
CN110166758B (zh
Inventor
李文宇
张�浩
陈丽莉
苗京花
孙玉坤
王雪丰
鄢名扬
李治富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910551530.8A priority Critical patent/CN110166758B/zh
Publication of CN110166758A publication Critical patent/CN110166758A/zh
Priority to PCT/CN2020/097056 priority patent/WO2020259402A1/zh
Application granted granted Critical
Publication of CN110166758B publication Critical patent/CN110166758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种图像处理方法、装置、终端设备及存储介质，属于显示技术领域。所述图像处理方法包括：确定虚拟现实设备的运动速度；根据所述运动速度确定待渲染图像的分辨率，所述分辨率与所述运动速度负相关；采用所述分辨率进行图像渲染；将渲染得到的图像输出给所述虚拟现实设备。通过在不同情况下使用不同的分辨率进行图像渲染，能够在显卡性能不变的情况下，使用户观看到流畅且清晰的画面，降低了对显卡性能的要求，降低了VR的普及门槛。

Description

图像处理方法、装置、终端设备及存储介质
技术领域
本发明涉及显示技术领域，特别涉及一种图像处理方法、装置、终端设备及存储介质。
背景技术
随着虚拟现实(Virtual Reality，VR)技术的发展，VR设备也正在逐渐进入人们的视野，并且在各行各业中得到应用和普及。
一般来说，一台VR设备需要对应一台电脑，通过电脑的显卡实现VR应用(如VR游戏)的图像渲染。
但是，由于VR应用图像渲染工作量大，即便是当下最好的显卡，面对超高分辨率的VR应用图像，性能也有所不足，导致最终VR设备显示的画面的帧率不足，画面存在卡顿现象，无法满足用户对于画面的流畅度要求。
发明内容
本发明实施例提供了一种图像处理方法、装置、终端设备及存储介质，能够在显卡性能不变的情况下，使用户观看到流畅且清晰的画面，降低了对显卡性能的要求。所述技术方案如下：
一方面，本发明实施例提供了一种图像处理方法，所述图像处理方法包括：
确定虚拟现实设备的运动速度；
根据所述运动速度确定待渲染图像的分辨率，所述分辨率与所述运动速度负相关；
采用所述分辨率进行图像渲染；
将渲染得到的图像输出给所述虚拟现实设备。
在本发明实施例的一种实现方式中，
在本发明实施例的一种实现方式中，所述根据所述运动速度确定待渲染图像的分辨率，包括：
确定所述运动速度所处的第一运动速度范围，所述第一运动速度范围为预设的至少两个运动速度范围中的任一个；
基于运动速度范围与分辨率的对应关系，确定所述第一运动速度范围对应的分辨率。
在本发明实施例的一种实现方式中，所述运动速度包括角速度和线速度中的至少一个。
在本发明实施例的一种实现方式中，当所述运动速度包括角速度和线速度时，所述基于运动速度范围与分辨率的对应关系，确定所述第一运动速度范围对应的分辨率，包括：
基于角速度范围与分辨率的对应关系，确定所述角速度所处的第一角速度范围对应的第一备选分辨率；
基于线速度范围与分辨率的对应关系，确定所述线速度所处的第一线速度范围对应的第二备选分辨率；
采用所述第一备选分辨率和所述第二备选分辨率中较小的分辨率，作为待渲染图像的分辨率；
所述第一角速度范围为预设的至少两个角速度范围中的任一个，所述第一线速度范围为预设的至少两个线速度范围中的任一个。
在本发明实施例的一种实现方式中，预设的角速度范围为2个，预设的线速度范围为2个；
所述预设的角速度范围中较小的角速度范围和所述预设的线速度范围中较小的线速度范围对应的分辨率相同；
所述预设的角速度范围中较大的角速度范围和所述预设的线速度范围中较大的线速度范围对应的分辨率相同。
在本发明实施例的一种实现方式中，所述方法还包括：
采用多种不同的分辨率分别进行图像渲染；
分别确定采用所述多种不同的分辨率中各种分辨率进行图像渲染时，画面的帧率范围；
根据所述画面的帧率范围，以及不同所述运动速度范围对应的帧率范围，选择出各个所述运动速度范围对应的分辨率，得到所述运动速度范围与分辨率的对应关系。
另一方面，本发明实施例还提供了一种图像处理装置，所述图像处理装置包括：
第一确定模块，被配置为确定虚拟现实设备的运动速度；
第二确定模块，被配置为根据所述运动速度确定待渲染图像的分辨率，所述分辨率与所述运动速度负相关；
渲染模块，被配置为采用所述分辨率进行图像渲染；
输出模块，被配置为将渲染得到的图像输出给所述虚拟现实设备。
在本发明实施例的一种实现方式中，所述第二确定模块，包括：
第一确定子模块，被配置为确定所述运动速度所处的第一运动速度范围，所述第一运动速度范围为预设的至少两个运动速度范围中的任一个；
第二确定子模块，被配置为基于运动速度范围与分辨率的对应关系，确定所述第一运动速度范围对应的分辨率。
另一方面，本发明实施例还提供了一种终端设备，所述终端设备包括：处理器；被配置为存储处理器可执行指令的存储器；其中，所述处理器被配置为被配置为执行如前任一项所述的图像处理方法。
另一方面，本发明实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由终端设备的处理器执行时，使得所述终端设备能够执行如前任一项所述的图像处理方法。
本发明实施例提供的技术方案带来的有益效果是：
本发明实施例中，通过在虚拟现实设备处于不同运动速度时，采用不同的渲染分辨率进行图像渲染，然后将渲染得到的图像输出给虚拟现实设备进行显示。在渲染时，分辨率与运动速度负相关，也即虚拟现实设备的运动速度越快，渲染使用的分辨率越低，虚拟现实设备的运动速度越慢，渲染使用的分辨率越高。由于显卡性能一定时，渲染使用的分辨率与最终得到的画面的帧率负相关，所以在虚拟现实设备运动快时，虚拟现实设备显示的画面分辨率低、帧率高，此时，用户头部随着虚拟现实设备的快速运动，人眼无法准确对焦，对于画面清晰度的感知能力下降，不会注意到图像分辨率较低；同时，由于此时画面的帧率高，用户能够观看到流畅的画面。在虚拟现实设备运动慢时，虚拟现实设备显示的画面分辨率高、帧率低，此时，用户头部随着虚拟现实设备的缓慢运动或处于静止状态，由于虚拟现实设备缓慢运动或处于静止状态，相邻帧画面间的变化少，即使画面帧率低，用户也不会感受到卡顿现象；同时，由于分辨率高，用户能够观看到高清晰的画面。综上，通过在不同情况下使用不同的分辨率进行图像渲染，能够在显卡性能不变的情况下，使用户观看到流畅且清晰的画面，降低了对显卡性能的要求，降低了VR的普及门槛。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种VR系统的结构示意图；
图2是本发明实施例提供的一种图像处理方法的流程图；
图3是本发明实施例提供的一种图像处理方法的流程图；
图4是本发明实施例提供的一种图像处理装置的结构示意图；
图5是本公开实施例提供的一种终端设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
为了便于理解对本申请提供的方案。下面先结合图1对VR系统进行简单说明：
图1是一种VR系统的结构示意图，参见图1，该VR系统包括终端设备10和VR设备20，终端设备10和VR设备20连接。
终端设备10为VR设备20的主机，作用是运行VR应用，并渲染VR应用产生的图像，然后输出给VR设备20进行显示。终端设备10可以为电脑等设备。
其中，终端设备10通常包括处理器、存储器和显卡。存储器中存储有VR应用，处理器通过运行该VR应用来输出图像，在运行VR应用的过程中，需要调用显卡来完成图像渲染工作。图像渲染是指将三维的光能传递处理转换为一个二维图像的过程，利用VR应用提供的三维几何模型信息、三维动画定义信息和材质信息，通过几何变换、投影变换、透视变换和窗口剪裁等步骤生成图像。
VR设备20的作用是显示终端设备10输出的图像。VR设备20包括姿态传感器，例如陀螺仪，姿态传感器用于检测VR设备的姿态信息，并将该姿态信息传输给终端设备10；终端设备10中的VR应用可以根据该姿态信息，调整VR设备显示的画面，给用户带来沉浸式的观看体验。VR设备20可以为头戴式VR设备，也即VR头显。
在显卡性能一定的情况下，以预定分辨率进行图像渲染，得到的画面的帧率会随着图像效果的不同而发生变化，图像效果复杂，渲染耗时长，帧率低，图像效果简单，渲染耗时短，帧率高，帧率在一个范围内变动。但是如果以不同的分辨率进行渲染，则分辨率越高，帧率范围越低，分辨率越低，帧率范围越高。相关技术中，通常只能采用默认分辨率，或者由用户从VR应用提供可选分辨率中选择固定的分辨率进行画面渲染，例如，2k或4k分辨率。
图2是本发明实施例提供的一种图像处理方法的流程图。该方法由图1中的终端设备执行，参见图2，图像处理方法包括：
步骤101：确定VR设备的运动速度。
VR设备通常佩戴在用户的头部，用户可以通过头部的运动来改变通过VR设备所观看到的画面。本步骤中，VR设备的运动速度就是用户在使用VR设备时，通过头部运动带动VR设备运动时，VR设备的运动速度。该运动速度可以包括角速度、线速度等。
步骤102：根据运动速度确定待渲染图像的分辨率，分辨率与运动速度负相关。
待渲染图像的分辨率也即渲染得到的图像的分辨率。分辨率与运动速度负相关是指，VR设备的运动速度越快，渲染使用的分辨率越低，VR设备的运动速度越慢，渲染使用的分辨率越高。
例如，VR设备的运动速度为180度每秒(角速度)，此时渲染使用的分辨率为2K；VR设备的运动速度为90度每秒，此时渲染使用的分辨率为4K。
步骤103：采用确定出的分辨率进行图像渲染。
在该步骤中，终端设备可以调用显卡来进行图像渲染。
步骤104：将渲染得到的图像输出给VR设备。
本发明实施例中，通过在VR设备处于不同运动速度时，采用不同的渲染分辨率进行图像渲染，然后将渲染得到的图像输出给VR设备进行显示。在渲染时，分辨率与运动速度负相关，也即VR设备的运动速度越快，渲染使用的分辨率越低，VR设备的运动速度越慢，渲染使用的分辨率越高。由于显卡性能一定时，渲染使用的分辨率与最终得到的画面的帧率负相关，所以在虚拟现实设备运动快时，虚拟现实设备显示的画面分辨率低、帧率高，此时，用户头部随着虚拟现实设备的快速运动，人眼无法准确对焦，对于画面清晰度的感知能力下降，不会注意到图像分辨率较低；同时，由于此时画面的帧率高，用户能够观看到流畅的画面。在虚拟现实设备运动慢时，虚拟现实设备显示的画面分辨率高、帧率低，此时，用户头部随着虚拟现实设备的缓慢运动或处于静止状态，由于虚拟现实设备缓慢运动或处于静止状态，相邻帧画面间的变化少，即使画面帧率低，用户也不会感受到卡顿现象；同时，由于分辨率高，用户能够观看到高清晰的画面。综上，通过在不同情况下使用不同的分辨率进行图像渲染，能够在显卡性能不变的情况下，使用户观看到流畅且清晰的画面，降低了对显卡性能的要求，降低了VR的普及门槛。
图3本发明实施例提供的一种图像处理方法的流程图。该方法由图1中的终端设备执行，参见图3，图像处理方法包括：
步骤201：获取VR设备的姿态数据。
VR设备中的姿态传感器可以检测到VR设备的姿态数据，因此该步骤即为：终端设备获取VR设备中的姿态传感器产生的姿态数据。该姿态数据可以为四元数，也可以为其他形式的姿态数据。
通常，姿态传感器产生的姿态数据的作用是实现输出画面的调整，从而改变用户看到的场景的视角。例如，终端设备可以根据姿态数据确定用户转动的方向或者位置的移动，基于该转动或移动改变输出给用户对应的画面。因此，画面更新的速度与姿态数据的获取频率有关，只有高频率的姿态数据采集才能够支持输出给用户的画面的更新速度。为了保证画面的更新速度，通常终端设备获取姿态数据的频率超过100Hz，例如可以为1000Hz，在这种高频的姿态数据获取条件下，终端设备才可以高速刷新显示画面，当然，通常画面刷新频率低于姿态数据的获取频率。
步骤202：基于姿态数据，确定VR设备的运动速度。
终端设备在获取到姿态数据后，采用姿态算法计算出VR设备的运动速度。
在本发明实施例中，运动速度可以包括角速度和线速度中的至少一个。示例性地，运动速度可以包括角速度和线速度，这种情况无论用户是转动VR设备的角度，还是平移VR设备，都会使得用户看到的场景发生快速移动，而在这种情况下，采用本申请的方案能够保证画面的流畅度。
步骤203：确定运动速度所处的第一运动速度范围。
在本发明实施例中，运动速度均被事先划分为至少两个范围，第一运动速度范围为预设的至少两个运动速度范围中的任一个。
以运动速度包括角速度和线速度为例，角速度和线速度均被事先划分为至少两个范围。此时，步骤203既要确定角速度所处的第一角速度范围，又要确定线速度所处的第一线速度范围，第一角速度范围为预设的至少两个角速度范围中的任一个，第一线速度范围为预设的至少两个线速度范围中的任一个。
示例性地，预设的角速度范围和线速度范围可以均为2个，这样划分一方面能够满足最终VR显示的流畅度和清晰度的要求，另一方面能够减小处理所需的资源。
步骤204：基于运动速度范围与分辨率的对应关系，确定第一运动速度范围对应的分辨率。
在本发明实施例中，终端设备中存储有运动速度范围与分辨率的对应关系。
示例性地，当运动速度包括角速度和线速度时，终端设备中存储有角速度范围与分辨率的对应关系，以及线速度范围与分辨率的对应关系。
当预设的角速度范围和线速度范围均为2个时，预设的角速度范围中较小的角速度范围和预设的线速度范围中较小的线速度范围对应的分辨率相同；预设的角速度范围中较大的角速度范围和预设的线速度范围中较大的线速度范围对应的分辨率相同。也即，终端设备只采用2中分辨率来控制图像渲染，一方面可以保证用户对于VR现实的流畅性和清晰度的要求，另一方面，处理过程更简单。
当然，在其他实现方式中，两个角速度范围对应的分辨率与两个线速度范围对应的分辨率也可以不同。
步骤204可以包括：基于角速度范围与分辨率的对应关系，确定角速度所处的第一角速度范围对应的第一备选分辨率；基于线速度范围与分辨率的对应关系，确定线速度所处的第一线速度范围对应的第二备选分辨率；采用第一备选分辨率和第二备选分辨率中较小的分辨率，作为待渲染图像的分辨率。
这里采用较小的分辨率的原因是，只要角速度和线速度其中一个较大，用户头部运动就会较为剧烈，此时用户眼睛对于清晰度的感受下降，对流畅度感受增加，采用小分辨率可以提高显示的帧率，保证用户观看的流畅度。
如果确定出的第一备选分辨率和第二备选分辨率相等，则选择其中任一个作为待渲染图像的分辨率。
下面以运动速度同时包括角速度和线速度，且角速度和线速度均划分为2个范围，较大的角速度范围和线速度范围对应第一分辨率，较小的角速度范围和线速度范围对应第二分辨率，第一分辨率小于第二分辨率为例：
当满足以下两个条件中的任一条件时，说明VR设备(也即用户头部)运动较快，采用第一分辨率进行图像渲染；当以下两个条件均不满足时，说明VR设备运动较慢或静止，采用第二分辨率进行图像渲染；两个条件包括：
角速度大于角速度阈值，也即角速度所处的第一角速度范围为较大的角速度范围；线速度大于线速度阈值，也即线速度处于的第一线速度范围为较大的线速度范围。
在本发明实施例中，角速度阈值和线速度阈值可以通过试验，预先确定得到。例如，以固定步长间隔选取多个角速度值和多个线速度值，分别采用各个角速度值和线速度值来执行本发明实施例采用的步骤，通过用户对于观看流畅度和清晰度的感受，来选择出最合适的角速度值和线速度值，作为前述角速度阈值和线速度阈值。
在角速度和线速度被划分为更多范围的情况下，同样可以采用上述方式确定不同范围的临界值。
可选地，该方法还包括：确定各个运动速度范围对应的分辨率，也即确定运动速度范围和分辨率的对应关系。对于相同或不同的终端设备而言，所配置的显卡可以不同。对于不同的显卡，其处理能力有所不同，例如，配置低的显卡和配置高的显卡，采用相同分辨率渲染时，低配置显卡渲染出的图像显示的画面卡顿严重。因此，可以针对不同显卡，确定符合其处理能力的与运动速度范围对应的分辨率，能够充分发挥显卡的性能。
示例性地，确定各个运动速度范围对应的分辨率，包括：
采用多种不同的分辨率分别进行图像渲染；
分别确定采用多种不同的分辨率中各种分辨率进行图像渲染时，画面的帧率范围；
根据画面的帧率范围，以及不同运动速度范围对应的帧率范围，选择出各个运动速度范围对应的分辨率，得到运动速度范围和分辨率的对应关系。
其中，不同运动速度范围对应的帧率范围可以按照运动速度越大，帧数范围越大的方式，将设定的帧数范围进行划分，例如，将25-120帧的帧率范围等分为多个，这多个帧率范围分别与多个运动速度范围一一对应。其中，25帧以下的画面，即使用户处于静止状态也会感受到画面的卡顿，所以不选用，而120帧以上显卡资源消耗大，且带给用户的观感与75-120帧几乎没有差别，同样不选用，所以采用25-120帧的帧率范围作为确定分辨率的基础。其中，25帧是指画面每秒刷新25次(对应25幅图像)，120帧是指画面每秒刷新120次(对应120幅图像)。
下面以确定第一分辨率和第二分辨率为例，对如何确定各个运动速度范围对应的分辨率进行说明，确定第一分辨率和第二分辨率可以包括：
采用多种不同的分辨率分别进行图像渲染；这里各种不同的分辨率可以为VR应用预设的各种分辨率。
分别确定采用多种不同的分辨率中各种分辨率进行图像渲染时，画面的帧率范围。例如，在一段时间内，采用一种分辨率进行图像渲染，记录该段时间内不同时间点的帧率，从而得到该分辨率对应的帧率范围。
根据画面的帧率范围，选择出第一分辨率和第二分辨率；当采用第一分辨率进行图像渲染时，画面的帧率范围为第一帧率范围，当采用第二分辨率进行图像渲染时，画面的帧率范围为第二帧率范围，第一帧率≤第二帧率范围＜第二帧率≤第一帧率范围。这里，选择出的第一帧率范围和第二帧率范围不连续，使得用户在观看第一分辨率和第二分辨率的画面时，流畅度有明显不同，从而使得在显示低分辨率的画面时，画面流畅度好，在显示低帧率画面时，画面清晰度高。
通过VR设备显示的画面的帧率范围来选择分辨率，保证选出的第一分辨率和第二分辨率可以使得用户在VR设备高速运动时，画面流畅；在VR设备低速运动或静止时，画面清晰。
在本发明实施例中，如果选择出多个满足条件的第一分辨率(第二分辨率)，从多个满足条件的第一分辨率(第二分辨率)中选出分辨率最高的作为第一分辨率(第二分辨率)，从而充分利用显卡性能，提高显卡使用率。
在本发明实施例的一种实现方式中，第一帧率大于25帧，第二帧率大于60帧。这样，在采用第一分辨率时，VR设备显示的画面的帧率范围高于60帧，这样可以保证在VR设备高速运动时画面的流畅度；在采用第二分辨率时，VR设备显示的画面的帧率范围高于25帧，同时小于采用第一分辨率时的帧率，这样可以保证在VR设备低速运动或静止时不出现卡顿，同时通过降低帧率，使得高分辨率图像得以渲染，保证画面清晰度。同时，采用上述帧率来确定分辨率，既能保证高性能显卡的利用率，也能保证低性能显卡的正常工作。
示例性地，第一帧率可以为30帧，第二帧率可以为75帧。因为，如果保持头部不动，画面的帧率在30帧以上时，人眼就察觉不到卡顿现象；如果头部较快运动，则显卡渲染帧率必须达到75帧以上，人眼才能察觉不到卡顿现象。
步骤205：采用确定出的分辨率进行图像渲染。
在本发明实施例中，终端设备可以基于运动速度自动调节分辨率，也即采用本发明实施例提供的方案来实现分辨率的调节，然后根据调节得到的分辨率进行图像渲染。
在本发明实施例中，各个运动速度范围对应的分辨率可以均为VR应用预设的分辨率，从而保证VR应用的正常输出。各个运动速度范围对应的分辨率中最大分辨率，可以是VR应用预设的多种分辨率中与VR设备的屏幕相同的分辨率，例如4K分辨率，从而使得VR设备可以显示出最大分辨率的画面。
由于VR设备在高速运动时，图像渲染所使用的分辨率较低，减轻了终端设备渲染图像的压力，得到的画面的帧率较高，画面流畅。由于人眼存在“扫视抑制”的生理特性，当人眼随着头部快速移动时，人眼无法准确对焦，对于画面清晰度的感知能力下降，不会注意到图像分辨率较低。
由于VR设备在低速运动甚至静止时，图像渲染所使用的分辨率较高，此时虽然得到的画面的帧率较低，图像清晰度高。由于相邻帧画面间的变化少，即使画面帧率低，用户不会感受到卡顿现象，此时用户关注点主要在画面清晰度，由于图像清晰度高，提高了用户的观看体验。
通常在VR游戏或者其他VR应用中，输出图像的分辨率用户可以手动设置，例如选择输出图像的分辨率为2K或4K。因此，在本发明实施例中，VR应用除了可以有自动分辨率模式外，也即终端设备自动设置外，还可以有手动分辨率模式，也即用户设置的方式。VR游戏或者其他VR应用中可以设置自动/手动切换按钮，从而实现自动设置和手动设置间的切换，终端设备可以根据用户的选择指令，确定需要使用的模式，并按照该模式执行分辨率确定操作。
步骤206：将渲染得到的图像输出给VR设备。
VR设备的屏幕可以为各种类型，例如有机发光二极管(OLED)、液晶显示屏(LCD)等。可选地，当VR设备的屏幕为LCD时，终端设备在完成图像渲染后，还可以进行动态调光(Local Dimming)处理，并将动态调光的结果传输给VR设备。动态调光处理是指，根据要显示的画面来调制屏幕背光，从而增强画面对比度的方案，也即，终端设备根据渲染得到的图像中各个像素的灰度，确定VR设备的屏幕的背光源的各个背光单元的亮度。前述动态调光的结果可以为VR设备的屏幕的背光源的各个背光单元的亮度信息。VR设备的屏幕的背光源由多个背光单元组成，每个背光单元的亮度可以单独控制。
该动态调光的结果可以与前述渲染得到的图像一起通过图像传输通道传输给VR设备。
图4是本发明实施例提供的一种图像处理装置的结构示意图。参见图4，图像处理装置包括：第一确定模块301、第二确定模块302、渲染模块303和输出模块304。
第一确定模块301，被配置为确定VR设备的运动速度；
第二确定模块302，被配置为根据运动速度确定待渲染图像的分辨率，分辨率与运动速度负相关；
渲染模块303，被配置为采用分辨率进行图像渲染；
输出模块304，被配置为将渲染得到的图像输出给VR设备。
在本发明实施例的一种实现方式中，第二确定模块302包括：
第一确定子模块321，被配置为确定运动速度所处的第一运动速度范围，第一运动速度范围为预设的至少两个运动速度范围中的任一个；
第二确定子模块322，被配置为基于运动速度范围与分辨率的对应关系，确定第一运动速度范围对应的分辨率。
在本发明实施例的一种实现方式中，运动速度包括角速度和线速度中的至少一个。
在本发明实施例的一种实现方式中，当运动速度包括角速度和线速度时，第二确定子模块322，被配置为基于角速度范围与分辨率的对应关系，确定角速度所处的第一角速度范围对应的第一备选分辨率；基于线速度范围与分辨率的对应关系，确定线速度所处的第一线速度范围对应的第二备选分辨率；第一角速度范围为预设的至少两个角速度范围中的任一个，第一线速度范围为预设的至少两个线速度范围中的任一个；采用第一备选分辨率和第二备选分辨率中较小的分辨率，作为待渲染图像的分辨率。
在本发明实施例的一种实现方式中，预设的角速度范围为2个，预设的线速度范围为2个；
预设的角速度范围中较小的角速度范围和预设的线速度范围中较小的线速度范围对应的分辨率相同；
预设的角速度范围中较大的角速度范围和预设的线速度范围中较大的线速度范围对应的分辨率相同。
可选地，该装置还可以包括：
第三确定模块305，确定各个运动速度范围对应的分辨率。
在本发明实施例的一种实现方式中，第三确定模块305，被配置为采用多种不同的分辨率分别进行图像渲染；分别确定采用多种不同的分辨率中各种分辨率进行图像渲染时，画面的帧率范围；根据画面的帧率范围，以及不同运动速度范围对应的帧率范围，选择出各个运动速度范围对应的分辨率，得到运动速度范围与分辨率的对应关系。
图5是本公开实施例提供的一种终端设备的结构框图。终端设备400包括中央处理单元(CPU)401、包括随机存取存储器(RAM)402和只读存储器(ROM)403的系统存储器404，以及连接系统存储器404和中央处理单元401的系统总线405。终端设备400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)406，和用于存储操作系统413、应用程序414和其他程序模块415的大容量存储设备407。
基本输入/输出系统406包括有用于显示信息的显示器408和用于用户输入信息的诸如鼠标、键盘之类的输入设备409。其中显示器408和输入设备409都通过连接到系统总线405的输入输出控制器410连接到中央处理单元401。基本输入/输出系统406还可以包括输入输出控制器410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器410还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备407通过连接到系统总线405的大容量存储控制器(未示出)连接到中央处理单元401。大容量存储设备407及其相关联的计算机可读介质为终端设备400提供非易失性存储。也就是说，大容量存储设备407可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器404和大容量存储设备407可以统称为存储器。
根据本发明的各种实施例，终端设备400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即终端设备400可以通过连接在系统总线405上的网络接口单元411连接到网络412，或者说，也可以使用网络接口单元411来连接到其他类型的网络或远程计算机系统(未示出)。
存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，中央处理器401通过执行该一个或一个以上程序来实现图2或图3所示的图像处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由终端设备的处理器执行以完成本发明各个实施例所示的增强现实装置共享方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
确定虚拟现实设备的运动速度；
根据所述运动速度确定待渲染图像的分辨率，所述分辨率与所述运动速度负相关；
采用所述分辨率进行图像渲染；
将渲染得到的图像输出给所述虚拟现实设备。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述运动速度确定待渲染图像的分辨率，包括：
确定所述运动速度所处的第一运动速度范围，所述第一运动速度范围为预设的至少两个运动速度范围中的任一个；
基于运动速度范围与分辨率的对应关系，确定所述第一运动速度范围对应的分辨率。
3.根据权利要求2所述的图像处理方法，其特征在于，所述运动速度包括角速度和线速度中的至少一个。
4.根据权利要求3所述的图像处理方法，其特征在于，当所述运动速度包括角速度和线速度时，所述基于运动速度范围与分辨率的对应关系，确定所述第一运动速度范围对应的分辨率，包括：
基于角速度范围与分辨率的对应关系，确定所述角速度所处的第一角速度范围对应的第一备选分辨率；
基于线速度范围与分辨率的对应关系，确定所述线速度所处的第一线速度范围对应的第二备选分辨率；
采用所述第一备选分辨率和所述第二备选分辨率中较小的分辨率，作为待渲染图像的分辨率；
其中，所述第一角速度范围为预设的至少两个角速度范围中的任一个，所述第一线速度范围为预设的至少两个线速度范围中的任一个。
5.根据权利要求4所述的图像处理方法，其特征在于，预设的角速度范围为2个，预设的线速度范围为2个；
所述预设的角速度范围中较小的角速度范围和所述预设的线速度范围中较小的线速度范围对应的分辨率相同；
所述预设的角速度范围中较大的角速度范围和所述预设的线速度范围中较大的线速度范围对应的分辨率相同。
6.根据权利要求2至5任一项所述的图像处理方法，其特征在于，所述方法还包括：
采用多种不同的分辨率分别进行图像渲染；
分别确定采用所述多种不同的分辨率中各种分辨率进行图像渲染时，画面的帧率范围；
根据所述画面的帧率范围，以及不同所述运动速度范围对应的帧率范围，选择出各个所述运动速度范围对应的分辨率，得到所述运动速度范围与分辨率的对应关系。
7.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一确定模块，被配置为确定虚拟现实设备的运动速度；
第二确定模块，被配置为根据所述运动速度确定待渲染图像的分辨率，所述分辨率与所述运动速度负相关；
渲染模块，被配置为采用所述分辨率进行图像渲染；
输出模块，被配置为将渲染得到的图像输出给所述虚拟现实设备。
8.根据权利要求7所述的图像处理装置，其特征在于，所述第二确定模块，包括：
第一确定子模块，被配置为确定所述运动速度所处的第一运动速度范围，所述第一运动速度范围为预设的至少两个运动速度范围中的任一个；
第二确定子模块，被配置为基于运动速度范围与分辨率的对应关系，确定所述第一运动速度范围对应的分辨率。
9.一种终端设备，其特征在于，所述终端设备包括：处理器；被配置为存储处理器可执行指令的存储器；其中，所述处理器被配置为被配置为执行权利要求1至6任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由终端设备的处理器执行时，使得所述终端设备能够执行权利要求1至6任一项所述的图像处理方法。
CN201910551530.8A 2019-06-24 2019-06-24 图像处理方法、装置、终端设备及存储介质 Active CN110166758B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910551530.8A CN110166758B (zh) 2019-06-24 2019-06-24 图像处理方法、装置、终端设备及存储介质
PCT/CN2020/097056 WO2020259402A1 (zh) 2019-06-24 2020-06-19 图像处理方法、装置、终端设备、介质、可穿戴系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910551530.8A CN110166758B (zh) 2019-06-24 2019-06-24 图像处理方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN110166758A true CN110166758A (zh) 2019-08-23
CN110166758B CN110166758B (zh) 2021-08-13

Family

ID=67626975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910551530.8A Active CN110166758B (zh) 2019-06-24 2019-06-24 图像处理方法、装置、终端设备及存储介质

Country Status (2)

Country Link
CN (1) CN110166758B (zh)
WO (1) WO2020259402A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110860084A (zh) * 2019-11-14 2020-03-06 珠海金山网络游戏科技有限公司 一种虚拟画面处理方法及装置
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN110930307A (zh) * 2019-10-31 2020-03-27 北京视博云科技有限公司 图像处理方法和装置
CN111679739A (zh) * 2020-06-04 2020-09-18 京东方科技集团股份有限公司 可读存储介质、虚拟现实设备及其控制方法、控制装置
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统
WO2020259402A1 (zh) * 2019-06-24 2020-12-30 京东方科技集团股份有限公司 图像处理方法、装置、终端设备、介质、可穿戴系统
CN112156467A (zh) * 2020-10-15 2021-01-01 网易（杭州）网络有限公司 虚拟相机的控制方法、系统、存储介质与终端设备
CN113515193A (zh) * 2021-05-17 2021-10-19 聚好看科技股份有限公司 一种模型数据传输方法及装置
WO2021249111A1 (zh) * 2020-06-08 2021-12-16 京东方科技集团股份有限公司 成像系统及其控制方法、控制装置和存储介质
CN114167992A (zh) * 2021-12-17 2022-03-11 深圳创维数字技术有限公司 显示画面渲染方法、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20160133055A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
WO2017168229A1 (en) * 2016-04-01 2017-10-05 Linear Albra Technologies Limited Systems and methods for head-mounted display adapted to human visual mechanism
CN108596834A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质
CN109803138A (zh) * 2017-11-16 2019-05-24 宏达国际电子股份有限公司 自适应交错图像卷绕的方法、系统以及记录介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649521B2 (en) * 2017-04-24 2020-05-12 Intel Corporation Compensating for high head movement in head-mounted displays
CN109712224B (zh) * 2018-12-29 2023-05-16 海信视像科技股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN110166758B (zh) * 2019-06-24 2021-08-13 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20160133055A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
WO2017168229A1 (en) * 2016-04-01 2017-10-05 Linear Albra Technologies Limited Systems and methods for head-mounted display adapted to human visual mechanism
CN109803138A (zh) * 2017-11-16 2019-05-24 宏达国际电子股份有限公司 自适应交错图像卷绕的方法、系统以及记录介质
CN108596834A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259402A1 (zh) * 2019-06-24 2020-12-30 京东方科技集团股份有限公司 图像处理方法、装置、终端设备、介质、可穿戴系统
CN110930307A (zh) * 2019-10-31 2020-03-27 北京视博云科技有限公司 图像处理方法和装置
CN110860084B (zh) * 2019-11-14 2024-02-23 珠海金山数字网络科技有限公司 一种虚拟画面处理方法及装置
CN110860084A (zh) * 2019-11-14 2020-03-06 珠海金山网络游戏科技有限公司 一种虚拟画面处理方法及装置
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN111679739A (zh) * 2020-06-04 2020-09-18 京东方科技集团股份有限公司 可读存储介质、虚拟现实设备及其控制方法、控制装置
CN111679739B (zh) * 2020-06-04 2024-04-09 京东方科技集团股份有限公司 可读存储介质、虚拟现实设备及其控制方法、控制装置
WO2021249111A1 (zh) * 2020-06-08 2021-12-16 京东方科技集团股份有限公司 成像系统及其控制方法、控制装置和存储介质
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统
CN112156467A (zh) * 2020-10-15 2021-01-01 网易（杭州）网络有限公司 虚拟相机的控制方法、系统、存储介质与终端设备
CN113515193B (zh) * 2021-05-17 2023-10-27 聚好看科技股份有限公司 一种模型数据传输方法及装置
CN113515193A (zh) * 2021-05-17 2021-10-19 聚好看科技股份有限公司 一种模型数据传输方法及装置
CN114167992A (zh) * 2021-12-17 2022-03-11 深圳创维数字技术有限公司 显示画面渲染方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2020259402A1 (zh) 2020-12-30
CN110166758B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110166758A (zh) 图像处理方法、装置、终端设备及存储介质
CN105912290B (zh) 一种用于电子墨水屏的显示方法及其装置
US9811874B2 (en) Frame times by dynamically adjusting frame buffer resolution
TWI402792B (zh) 更新電子紙顯示器的獨立像素波形
WO2019212643A1 (en) Asynchronous time and space warp with determination of region of interest
US11533468B2 (en) System and method for generating a mixed reality experience
US8253722B2 (en) Method, medium, and system rendering 3D graphics data to minimize power consumption
CN112639577A (zh) 基于应用程序渲染性能的预测和限流调整
US11194391B2 (en) Visual artifact mitigation of dynamic foveated displays
US10540918B2 (en) Multi-window smart content rendering and optimizing method and projection method based on cave system
CN105825801A (zh) 一种显示控制方法及电子设备
CN113918018A (zh) 显示系统和方法
CN109887065B (zh) 图像渲染方法及其装置
CN115088254A (zh) 分布式系统中的运动平滑
KR20150083880A (ko) 전자 디바이스의 디스플레이 해상도를 거리에 기초하여 구성하기 위한 시스템 및 방법
JP2008257127A (ja) 画像表示装置及び画像表示方法
CN110324601A (zh) 渲染方法、计算机产品及显示装置
EP1278158A2 (en) Drawing apparatus
US11244660B2 (en) Recovery from eye-tracking loss in foveated displays
US11810524B2 (en) Virtual reality display device and control method thereof
CN109581665A (zh) 一种显示装置及其显示方法、头戴式虚拟显示设备
CN105844581B (zh) 一种图像绘制方法、装置及设备
Choi et al. LpGL: Low-power graphics library for mobile AR headsets
TW201913622A (zh) 顯示裝置及顯示方法
Vasudevan et al. Tangible images: runtime generation of haptic textures from images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant