CN108876700B - 一种提升vr显示效果的方法和电路 - Google Patents
一种提升vr显示效果的方法和电路 Download PDFInfo
- Publication number
- CN108876700B CN108876700B CN201810557706.6A CN201810557706A CN108876700B CN 108876700 B CN108876700 B CN 108876700B CN 201810557706 A CN201810557706 A CN 201810557706A CN 108876700 B CN108876700 B CN 108876700B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- unit
- skipping
- gpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种提升VR显示效果的方法和电路,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元。在应用过程中,通过比较当前帧的绘制速度以及预设帧率的大小,并在绘制速度不足时采用插帧的方式来降低GPU图像渲染单元的负担,在显示过程中依次对当前帧图像、插帧图像、跳帧后的图像进行显示,从而实现在不提高GPU硬件性能的基础上,提升了显示帧率,即提升了VR显示效果,增强了用户体验。
Description
技术领域
本发明涉及VR领域,特别涉及一种提升VR显示效果的方法和电路。
背景技术
随着虚拟现实技术(VR)的快速发展,VR设备的应用也越来越普遍。目前,显示帧率已经成为限制VR进一步发展的重要瓶颈。由于硬件条件的限制,VR设备的显示帧率普遍只能达到30帧每秒左右,若能达到60帧每秒已经是非常高性能的设备。然而研究表明,只有当VR设备的帧率达到120帧每秒或者达到更高时,才能有效减缓用户由于显示帧率过低带来的眩晕和不适感。因此,如何在硬件条件有限的情况下,让VR设备能够达到更高的帧率将是非常有意义的。
发明内容
为此,需要提供一种提升VR显示效果的技术方案,用于解决目前VR设备显示帧率不足,容易给用户带来眩晕感或其他不适感的问题。
为实现上述目的,发明人提供了一种提升VR显示效果的电路,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元;
所述GPU图像渲染单元用于根据获取的视点信息绘制当前帧图像,并计算当前帧图像的绘制速度;
所述跳帧确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;
所述GPU图像渲染单元用于根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
所述插帧运算单元用于根据当前帧图像和跳帧后图像插出相应数量的插帧图像,并将插帧图像存储至插帧图像缓存单元;插帧数量等于跳帧帧数;
所述显示控制单元用于依次获取当前帧图像、插帧图像、跳帧后图像,并将三者传输至显示单元进行显示。
进一步地,还包括GPU占用率统计单元;所述跳帧确定单元包括跳帧模式判断单元和帧数确定单元;
所述GPU占用率统计单元用于实时统计当前GPU图像渲染单元的占用率;
所述跳帧模式判断单元用于在当前帧图像的绘制速度小于预期帧率、且当前GPU图像渲染单元的占用率大于预设占用率的情况下,将当前GPU图像渲染单元的运行模式设置为跳帧模式,若为其他情况则将当前GPU图像渲染单元的运行模式设置为不跳帧模式;
当GPU图像渲染单元处于跳帧模式时,帧数确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;所述GPU图像渲染单元用于根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
当GPU图像渲染单元处于不跳帧模式时,GPU图像渲染单元用于将绘制的当前帧图像存储至第一图像缓存单元中;所述显示控制单元用于获取当前帧图像传输至显示单元进行显示。
进一步地,当GPU图像渲染单元处于跳帧模式时,所述GPU图像渲染单元还用于在显示控制单元获取完成第一图像缓存单元中的当前帧图像后,将第二图像缓存单元中的跳帧后图像写入第一图像缓存单元中。
进一步地,还包括坐标定位传感器和视点信息存储单元;
所述坐标定位传感器用于采集用户当前的视点信息,并将视点信息写入视点信息存储单元中,GPU图像渲染单元用于从视点信息存储单元中获取视点信息。
进一步地,跳帧确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,预期帧率包括:
计算当前帧图像的绘制速度与预期帧率之间的比值1/n,将n确定为跳帧帧数;其中,当前帧图像的绘制速度小于预期帧率,当n为非整数时,向下取整。
发明人还提供了一种提升VR显示效果的方法,所述方法应用于提升VR显示效果的电路,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元;所述方法包括以下步骤:
GPU图像渲染单元根据获取的视点信息绘制当前帧图像,并计算当前帧图像的绘制速度;
跳帧确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;
GPU图像渲染单元根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
插帧运算单元根据当前帧图像和跳帧后图像插出相应数量的插帧图像,并将插帧图像存储至插帧图像缓存单元;插帧数量等于跳帧帧数;
显示控制单元依次获取当前帧图像、插帧图像、跳帧后图像,并将三者传输至显示单元进行显示。
进一步地,还包括GPU占用率统计单元;所述跳帧确定单元包括跳帧模式判断单元和帧数确定单元;所述方法包括:
GPU占用率统计单元实时统计当前GPU图像渲染单元的占用率;
跳帧模式判断单元在当前帧图像的绘制速度小于预期帧率、且当前GPU图像渲染单元的占用率大于预设占用率的情况下,将当前GPU图像渲染单元的运行模式设置为跳帧模式,若为其他情况则将当前GPU图像渲染单元的运行模式设置为不跳帧模式;
当GPU图像渲染单元处于跳帧模式时,帧数确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;GPU图像渲染单元根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
当GPU图像渲染单元处于不跳帧模式时,GPU图像渲染单元将绘制的当前帧图像存储至第一图像缓存单元中;显示控制单元获取当前帧图像传输至显示单元进行显示。
进一步地,所述方法包括:
当GPU图像渲染单元处于跳帧模式时,GPU图像渲染单元在显示控制单元获取完成第一图像缓存单元中的当前帧图像后,将第二图像缓存单元中的跳帧后图像写入第一图像缓存单元中。
进一步地,还包括坐标定位传感器和视点信息存储单元;所述方法包括:
坐标定位传感器采集用户当前的视点信息,并将视点信息写入视点信息存储单元中,GPU图像渲染单元从视点信息存储单元中获取视点信息。
进一步地,所述方法包括步骤:
跳帧确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,预期帧率包括:
计算当前帧图像的绘制速度与预期帧率之间的比值1/n,将n确定为跳帧帧数;其中,当前帧图像的绘制速度小于预期帧率,当n为非整数时,向下取整。
区别于现有技术,上述技术方案所述的提升VR显示效果的方法和电路,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元。在应用过程中,通过比较当前帧的绘制速度以及预设帧率的大小,并在绘制速度不足时采用插帧的方式来降低GPU图像渲染单元的负担,在显示过程中依次对当前帧图像、插帧图像、跳帧后的图像进行显示,从而实现在不提高GPU硬件性能的基础上,提升了显示帧率,即提升了VR显示效果,增强了用户体验。
附图说明
图1为本发明一实施例涉及的提升VR显示效果的电路的示意图;
图2为本发明一实施例涉及的视点信息投影映射图像的原理图;
图3为本发明一实施例涉及的提升VR显示效果的方法的流程图。
附图标记说明:
101、GPU图像渲染单元;
102、视点信息存储单元;
103、第一图像缓存单元;
104、第二图像缓存单元;
105、插帧运算单元;
106、插帧图像缓存单元;
107、显示控制单元;
108、显示单元;
109、GPU占用率统计单元;
110、坐标定位传感器;
111、跳帧模式判断单元;112、帧数确定单元;
113、当前帧绘制速度存储单元;114、预期帧率存储单元。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1,为本发明一实施例涉及的提升VR显示效果的电路的示意图。所述电路包括GPU图像渲染单元101、跳帧确定单元、第一图像缓存单元103、第二图像缓存单元104、插帧运算单元105、插帧图像缓存单元106、显示控制单元107和显示单元108;
所述GPU图像渲染单元101用于根据获取的视点信息绘制当前帧图像,并计算当前帧图像的绘制速度。GPU图像渲染单元为图形处理器(Graphics Processing Unit,缩写:GPU),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。其用途是将计算机系统所需要的显示信息进行转换驱动,并向显示器提供行扫描信号,控制显示器的正确显示,是连接显示器和个人电脑主板的重要元件,也是“人机对话”的重要设备之一。
当前帧图像的绘制速度是指GPU图像渲染单元绘制当前帧图像所需的时间,当前帧图像的绘制速度也可以用当前帧率来表示,例如绘制当前帧图像所花的时间为0.1s,那么当前帧图像的绘制速度为10帧/秒。
在本实施方式中,所述电路还包括坐标定位传感器110和视点信息存储单元102。所述坐标定位传感器110用于采集用户当前的视点信息,并将视点信息写入视点信息存储单元102中,GPU图像渲染单元101用于从视点信息存储单元102中获取视点信息。
优选的,所述坐标定位传感器为三轴陀螺仪,三轴陀螺仪可以设置于VR设备(如VR眼镜)中,随着VR设备的位置变化,三轴陀螺仪采集到的视点信息也随之发生变化。如图2所示,为本发明一实施例涉及的视点信息投影映射图像的原理图。在绘制当前帧图像时,首先在三维空间中绘制三维图形,而后确定当前视点信息,再从视点信息位置出发,将绘制好的三维图形投射到屏幕上,从而得到需要显示的图像(即当前帧显示图像)。
所述跳帧确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数。预期帧率的大小可以根据实际需要进行设定。
在本实施方式中,所述电路还包括GPU占用率统计单元109;所述跳帧确定单元包括跳帧模式判断单元111和帧数确定单元112;
所述GPU占用率统计单元109用于实时统计当前GPU图像渲染单元101的占用率。占用率是反应当前GPU图像渲染单元使用情况的物理量,占用率越高,说明GPU图像渲染单元空闲时间越短,使用率也就越高。GPU的占用率查询可以通过多种已知方法实现,参考链接如下:
https://blog。csdn。net/vbskj/article/details/52194372。
所述跳帧模式判断单元111用于在当前帧图像的绘制速度小于预期帧率、且当前GPU图像渲染单元的占用率大于预设占用率的情况下,将当前GPU图像渲染单元的运行模式设置为跳帧模式,若为其他情况则将当前GPU图像渲染单元的运行模式设置为不跳帧模式。
预期帧率可以存储于预期帧率存储单元114中,若当前帧图像的绘制速度小于预期帧率,说明GPU图像渲染单元绘制当前帧图像的速度偏慢,若此时GPU图像渲染单元的占用率大于预设占用率,说明GPU图像渲染单元在发挥出其应有性能的基础上绘制速度仍然达不到预期帧率,因而需要进行跳帧模式,即需要通过插帧的方式来弥补当前帧率过低的缺陷。
若当前帧图像的绘制速度小于预期帧率但GPU图像渲染单元的占用率小于预设占用率,说明尽管当前的帧率偏小,但是GPU图像渲染单元还没有发挥出应有的性能进行图像绘制,其在绘制下一帧图像时对着占用率的提高绘制速度也会相应提高,因而此时将当前GPU图像渲染单元的运行模式设置为不跳帧模式。若当前帧图像的绘制速度大于预期帧率,说明当前帧图像的绘制速度满足需求,当前GPU图像渲染单元的运行模式设置为不跳帧模式。
当GPU图像渲染单元处于跳帧模式时,帧数确定单元112用于根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;所述GPU图像渲染单元101用于根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元103中,将跳帧后图像存储至第二图像缓存单元104中。如果GPU图像渲染单元处于跳帧模式,接下来将进行插帧处理,以提高显示画面的显示帧率,因而需要对跳帧前图像(即当前帧图像)和跳帧后图像(即当前帧图像加上跳帧数后显示的图像)进行存储,以便在插帧结束后进行显示。
当GPU图像渲染单元处于不跳帧模式时,GPU图像渲染单元用于将绘制的当前帧图像存储至第一图像缓存单元中;所述显示控制单元用于获取当前帧图像传输至显示单元进行显示。此时第二图像缓存单元104和插帧运算单元105处于不工作状态,显示控制单元107只从第一图像缓存103中获取图像数据送往显示单元108进行显示。
当GPU图像渲染单元处于跳帧模式时,所述GPU图像渲染单元101用于根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元103中,将跳帧后图像存储至第二图像缓存单元104中。所述插帧运算单元105用于根据当前帧图像和跳帧后图像插出相应数量的插帧图像,并将插帧图像存储至插帧图像缓存单元106;插帧数量等于跳帧帧数;所述显示控制单元107用于依次获取当前帧图像、插帧图像、跳帧后图像,并将三者传输至显示单元108进行显示。
在本实施方式中,图像插帧方法为基于搜索窗的近似宏块线性插值算法,具体方法为:
首先建立一个NxN的宏块,将插帧前图像按宏块大小分为多个NxN宏块;
而后在插帧后图像中,以每个NxN宏块坐标位置为中心,在MxM(M>N)的搜索窗口中搜索与插帧前图像中该NxN宏块最接近的NxN大小宏块,最接近的判断依据为两幅图像间对应像素点的差值代价(sad代价)之和最小(取绝对差值和);
而后以同样的方式在插帧后图像中找到与插帧前每个NxN宏块最接近的NxN宏块,并对这两个NxN宏块的运动矢量距离进行等分,等分值为插帧数量加一。例如插帧数量为1时,就对宏块运动矢量进行(1+1)等分也就是2等分,如果插帧数量为2时,就做3等分,以此类推。
插帧图像的宏块就取插帧后图像中NxN宏块位于等分矢量位置的NxN图像块,比如宏块a在插帧前图像到插帧后图像的运动矢量为(6,9),则如果插帧数量为1帧的话,取插帧后图像运动矢量为(6/2,9/2),即(3,5)的NxN宏块作为插帧的NxN宏块图像。如果插帧数量为2帧,取插帧后图像运动矢量为(6/3,9/3),即矢量为(2,3)的NxN宏块作为第一个插帧的NxN宏块图像,取插帧后图像运动矢量为(6*2/3,9*2/3)即(4,6)的NxN宏块作为第二个插帧的NxN宏块图像。以此方法可以完成整个插帧图像的运算。
在插帧运算结束后,会得到相应跳帧数量的插帧图像,并将插帧图像存储到插帧帧缓存单元,以便显示控制单元调取。当然,在另一些实施例中,插帧图像还可以通过其他图像插帧算法得到,此为现有技术,此处不再赘述,参考链接如下:http://www.docin.com/ p-1399174735.html。
在某些实施例中,当GPU图像渲染单元处于跳帧模式时,所述GPU图像渲染单元还用于在显示控制单元获取完成第一图像缓存单元中的当前帧图像后,将第二图像缓存单元中的跳帧后图像写入第一图像缓存单元中。VR视频流在显示过程中通常是连续的,即在当前帧显示完毕后,需要进行下一帧的图像显示。
例如GPU图像渲染单元在绘制第1帧图像时,发现当前绘制速度不足且GPU图像渲染单元的占用率又比较高(即大于预设占用率),那么将进入跳帧模式。假设确定的跳帧数量为2帧,即跳过第2帧和第3帧图像,这两帧图像通过对第1帧图像和第4帧图像进行插值得到。显示控制单元在获取图像数据时,先获取第一图像缓存单元中的第1帧图像,再获取插帧缓存单元中的第2帧图像和第3帧图像,而后获取第二图像缓存单元中的第4帧图像送往显示单元进行显示,相较于直接跳帧显示的方式(从显示第1帧图像直接跳到显示第4帧图像),上述方式在硬件条件不变的情况下有效提升了显示帧率,提升了用户的感官体验,
当第1帧图像被显示控制单元获取后,为了保证画面显示的连续性,可以将第4帧图像写入至第一图像缓存单元中,即第一帧图像已显示完毕,第4帧图像递进作为当前帧图像。通过判断第4帧图像的绘制速度与预期帧率的大小,重新确定GPU图像渲染单元是否需要处于跳帧模式。以此类推,实现图像的连续输出显示。
在某些实施例中,跳帧确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,预期帧率包括:计算当前帧图像的绘制速度与预期帧率之间的比值1/n,将n确定为跳帧帧数;其中,当前帧图像的绘制速度小于预期帧率,当n为非整数时,向下取整。
例如在当前帧绘制速度的实际绘制帧率大于预期帧率的50%且小于预期帧率时,则将跳帧帧数确定为1帧,插帧帧数为1帧;在当前帧绘制速度的实际绘制帧率小于预期帧率的50%时,将跳帧帧数确定为2帧,插帧帧数为2帧。具体地,以预期帧率为120帧/每秒,当前实际绘制帧率为80帧/每秒为例,当判定为跳帧模式时,由于80大于120*50%,则确定跳帧帧数和插帧帧数为1帧。
如图3所示,本发明提供了一种提升VR显示效果的方法,所述方法应用于提升VR显示效果的电路,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元;所述方法包括以下步骤:
首先进入步骤S301 GPU图像渲染单元根据获取的视点信息绘制当前帧图像,并计算当前帧图像的绘制速度;
而后进入步骤S302跳帧确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;
而后进入步骤S303 GPU图像渲染单元根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
而后进入步骤S304插帧运算单元根据当前帧图像和跳帧后图像插出相应数量的插帧图像,并将插帧图像存储至插帧图像缓存单元;插帧数量等于跳帧帧数;
而后进入步骤S305显示控制单元依次获取当前帧图像、插帧图像、跳帧后图像,并将三者传输至显示单元进行显示。
在某些实施例中,所述电路还包括GPU占用率统计单元;所述跳帧确定单元包括跳帧模式判断单元和帧数确定单元;所述方法包括:
GPU占用率统计单元实时统计当前GPU图像渲染单元的占用率;
跳帧模式判断单元在当前帧图像的绘制速度小于预期帧率、且当前GPU图像渲染单元的占用率大于预设占用率的情况下,将当前GPU图像渲染单元的运行模式设置为跳帧模式,若为其他情况则将当前GPU图像渲染单元的运行模式设置为不跳帧模式;
当GPU图像渲染单元处于跳帧模式时,帧数确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;GPU图像渲染单元根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
当GPU图像渲染单元处于不跳帧模式时,GPU图像渲染单元将绘制的当前帧图像存储至第一图像缓存单元中;显示控制单元获取当前帧图像传输至显示单元进行显示。
在某些实施例中,所述方法包括:
当GPU图像渲染单元处于跳帧模式时,GPU图像渲染单元在显示控制单元获取完成第一图像缓存单元中的当前帧图像后,将第二图像缓存单元中的跳帧后图像写入第一图像缓存单元中。
在某些实施例中,所述电路还包括坐标定位传感器和视点信息存储单元;所述方法包括:
坐标定位传感器采集用户当前的视点信息,并将视点信息写入视点信息存储单元中,GPU图像渲染单元从视点信息存储单元中获取视点信息。
在某些实施例中,所述方法包括步骤:
跳帧确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,预期帧率包括:
计算当前帧图像的绘制速度与预期帧率之间的比值1/n,将n确定为跳帧帧数;其中,当前帧图像的绘制速度小于预期帧率,当n为非整数时,向下取整。
上述技术方案所述的提升VR显示效果的方法和电路,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元。在应用过程中,通过比较当前帧的绘制速度以及预设帧率的大小,并在绘制速度不足时采用插帧的方式来降低GPU图像渲染单元的负担,在显示过程中依次对当前帧图像、插帧图像、跳帧后的图像进行显示,从而实现在不提高GPU硬件性能的基础上,提升了显示帧率,即提升了VR显示效果,增强了用户体验。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。
Claims (8)
1.一种提升VR显示效果的电路,其特征在于,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元;
所述GPU图像渲染单元用于根据获取的视点信息绘制当前帧图像,并计算当前帧图像的绘制速度;
所述跳帧确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;
所述GPU图像渲染单元用于根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
所述插帧运算单元用于根据当前帧图像和跳帧后图像插出相应数量的插帧图像,并将插帧图像存储至插帧图像缓存单元;插帧数量等于跳帧帧数;
所述显示控制单元用于依次获取当前帧图像、插帧图像、跳帧后图像,并将三者传输至显示单元进行显示;
当GPU图像渲染单元处于跳帧模式时,所述GPU图像渲染单元还用于在显示控制单元获取完成第一图像缓存单元中的当前帧图像后,将第二图像缓存单元中的跳帧后图像写入第一图像缓存单元中。
2.如权利要求1所述的提升VR显示效果的电路,其特征在于,还包括GPU占用率统计单元;所述跳帧确定单元包括跳帧模式判断单元和帧数确定单元;
所述GPU占用率统计单元用于实时统计当前GPU图像渲染单元的占用率;
所述跳帧模式判断单元用于在当前帧图像的绘制速度小于预期帧率、且当前GPU图像渲染单元的占用率大于预设占用率的情况下,将当前GPU图像渲染单元的运行模式设置为跳帧模式,若为其他情况则将当前GPU图像渲染单元的运行模式设置为不跳帧模式;
当GPU图像渲染单元处于跳帧模式时,帧数确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;所述GPU图像渲染单元用于根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
当GPU图像渲染单元处于不跳帧模式时,GPU图像渲染单元用于将绘制的当前帧图像存储至第一图像缓存单元中;所述显示控制单元用于获取当前帧图像传输至显示单元进行显示。
3.如权利要求1所述的提升VR显示效果的电路,其特征在于,还包括坐标定位传感器和视点信息存储单元;
所述坐标定位传感器用于采集用户当前的视点信息,并将视点信息写入视点信息存储单元中,GPU图像渲染单元用于从视点信息存储单元中获取视点信息。
4.如权利要求1所述的提升VR显示效果的电路,其特征在于,跳帧确定单元用于根据当前帧图像的绘制速度与预期帧率的大小关系,预期帧率包括:
计算当前帧图像的绘制速度与预期帧率之间的比值1/n,将n确定为跳帧帧数;其中,当前帧图像的绘制速度小于预期帧率,当n为非整数时,向下取整。
5.一种提升VR显示效果的方法,其特征在于,所述方法应用于提升VR显示效果的电路,所述电路包括GPU图像渲染单元、跳帧确定单元、第一图像缓存单元、第二图像缓存单元、插帧运算单元、插帧图像缓存单元、显示控制单元和显示单元;所述方法包括以下步骤:
GPU图像渲染单元根据获取的视点信息绘制当前帧图像,并计算当前帧图像的绘制速度;
跳帧确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;
GPU图像渲染单元根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
插帧运算单元根据当前帧图像和跳帧后图像插出相应数量的插帧图像,并将插帧图像存储至插帧图像缓存单元;插帧数量等于跳帧帧数;
显示控制单元依次获取当前帧图像、插帧图像、跳帧后图像,并将三者传输至显示单元进行显示;
当GPU图像渲染单元处于跳帧模式时,GPU图像渲染单元在显示控制单元获取完成第一图像缓存单元中的当前帧图像后,将第二图像缓存单元中的跳帧后图像写入第一图像缓存单元中。
6.如权利要求5所述的提升VR显示效果的方法,其特征在于,还包括GPU占用率统计单元;所述跳帧确定单元包括跳帧模式判断单元和帧数确定单元;所述方法包括:
GPU占用率统计单元实时统计当前GPU图像渲染单元的占用率;
跳帧模式判断单元在当前帧图像的绘制速度小于预期帧率、且当前GPU图像渲染单元的占用率大于预设占用率的情况下,将当前GPU图像渲染单元的运行模式设置为跳帧模式,若为其他情况则将当前GPU图像渲染单元的运行模式设置为不跳帧模式;
当GPU图像渲染单元处于跳帧模式时,帧数确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,确定跳帧帧数;GPU图像渲染单元根据跳帧帧数,确定当前帧图像对应的跳帧后图像,并将绘制的当前帧图像存储至第一图像缓存单元中,将跳帧后图像存储至第二图像缓存单元中;
当GPU图像渲染单元处于不跳帧模式时,GPU图像渲染单元将绘制的当前帧图像存储至第一图像缓存单元中;显示控制单元获取当前帧图像传输至显示单元进行显示。
7.如权利要求5所述的提升VR显示效果的方法,其特征在于,还包括坐标定位传感器和视点信息存储单元;所述方法包括:
坐标定位传感器采集用户当前的视点信息,并将视点信息写入视点信息存储单元中,GPU图像渲染单元从视点信息存储单元中获取视点信息。
8.如权利要求5所述的提升VR显示效果的方法,其特征在于,所述方法包括步骤:
跳帧确定单元根据当前帧图像的绘制速度与预期帧率的大小关系,预期帧率包括:
计算当前帧图像的绘制速度与预期帧率之间的比值1/n,将n确定为跳帧帧数;其中,当前帧图像的绘制速度小于预期帧率,当n为非整数时,向下取整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810557706.6A CN108876700B (zh) | 2018-06-01 | 2018-06-01 | 一种提升vr显示效果的方法和电路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810557706.6A CN108876700B (zh) | 2018-06-01 | 2018-06-01 | 一种提升vr显示效果的方法和电路 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108876700A CN108876700A (zh) | 2018-11-23 |
CN108876700B true CN108876700B (zh) | 2022-09-16 |
Family
ID=64335360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810557706.6A Active CN108876700B (zh) | 2018-06-01 | 2018-06-01 | 一种提升vr显示效果的方法和电路 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108876700B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109743626B (zh) | 2019-01-02 | 2022-08-12 | 京东方科技集团股份有限公司 | 一种图像显示方法、图像处理方法和相关设备 |
US11582384B2 (en) * | 2019-04-24 | 2023-02-14 | Nevermind Capital Llc | Methods and apparatus for encoding, communicating and/or using images |
CN112055254B (zh) * | 2019-06-06 | 2023-01-06 | Oppo广东移动通信有限公司 | 视频播放的方法、装置、终端及存储介质 |
CN110270092A (zh) * | 2019-06-27 | 2019-09-24 | 三星电子(中国)研发中心 | 用于电子设备的帧率提升的方法及装置以及电子设备 |
CN110557626B (zh) * | 2019-07-31 | 2021-06-08 | 华为技术有限公司 | 一种图像显示的方法及电子设备 |
CN111626915B (zh) * | 2020-05-29 | 2024-03-26 | 大陆汽车车身电子系统(芜湖)有限公司 | 一种图像显示方法 |
CN111679739B (zh) * | 2020-06-04 | 2024-04-09 | 京东方科技集团股份有限公司 | 可读存储介质、虚拟现实设备及其控制方法、控制装置 |
CN112351287B (zh) * | 2020-09-30 | 2022-10-14 | 深圳市为汉科技有限公司 | 一种多媒体数据处理方法、装置、电子设备及计算机可读存储介质 |
CN113350781B (zh) * | 2021-06-28 | 2022-12-23 | 青岛海信传媒网络技术有限公司 | 一种显示设备及游戏模式切换方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193499A (zh) * | 2011-06-02 | 2011-09-21 | 中国科学院计算技术研究所 | 针对群体绘制的效率控制方法 |
CN105323587A (zh) * | 2014-06-09 | 2016-02-10 | 浙江大学 | 视频的图像输出管理方法及装置、传输视频码流的方法 |
CN105763919A (zh) * | 2016-04-14 | 2016-07-13 | 福州瑞芯微电子股份有限公司 | 显示与视频同步的方法及装置 |
CN106127843A (zh) * | 2016-06-16 | 2016-11-16 | 福建数博讯信息科技有限公司 | 三维虚拟场景的渲染方法和装置 |
CN107728787A (zh) * | 2017-10-30 | 2018-02-23 | 太平洋未来科技(深圳)有限公司 | 全景视频中的信息显示方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5635672B1 (ja) * | 2013-12-05 | 2014-12-03 | 株式会社 ディー・エヌ・エー | 画像処理装置及び画像処理プログラム |
-
2018
- 2018-06-01 CN CN201810557706.6A patent/CN108876700B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193499A (zh) * | 2011-06-02 | 2011-09-21 | 中国科学院计算技术研究所 | 针对群体绘制的效率控制方法 |
CN105323587A (zh) * | 2014-06-09 | 2016-02-10 | 浙江大学 | 视频的图像输出管理方法及装置、传输视频码流的方法 |
CN105763919A (zh) * | 2016-04-14 | 2016-07-13 | 福州瑞芯微电子股份有限公司 | 显示与视频同步的方法及装置 |
CN106127843A (zh) * | 2016-06-16 | 2016-11-16 | 福建数博讯信息科技有限公司 | 三维虚拟场景的渲染方法和装置 |
CN107728787A (zh) * | 2017-10-30 | 2018-02-23 | 太平洋未来科技(深圳)有限公司 | 全景视频中的信息显示方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108876700A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108876700B (zh) | 一种提升vr显示效果的方法和电路 | |
WO2022110903A1 (zh) | 全景视频渲染方法及系统 | |
CN109741463B (zh) | 虚拟现实场景的渲染方法、装置及设备 | |
CN109672886B (zh) | 一种图像帧预测方法、装置及头显设备 | |
US6788309B1 (en) | Method and apparatus for generating a video overlay | |
CN110996170B (zh) | 视频文件播放方法及相关设备 | |
US20090244066A1 (en) | Multi parallax image generation apparatus and method | |
CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
CN103430210A (zh) | 信息处理系统、信息处理装置、拍摄装置、以及信息处理方法 | |
CN110933496B (zh) | 图像数据插帧处理方法、装置、电子设备及存储介质 | |
CN103460242A (zh) | 信息处理装置、信息处理方法、以及位置信息的数据结构 | |
CN110363831B (zh) | 图层合成方法、装置、电子设备及存储介质 | |
US20140321771A1 (en) | Techniques for real-time clearing and replacement of objects | |
KR20140105030A (ko) | 디스플레이된 이미지 개선 | |
CN111064863B (zh) | 图像数据的处理方法及相关装置 | |
CN108537729B (zh) | 图像无级缩放方法、计算机装置及计算机可读存储介质 | |
CN110740309B (zh) | 一种图像显示方法、装置、电子设备及存储介质 | |
CN103369208A (zh) | 自适应去隔行方法及装置 | |
WO2021189880A1 (zh) | 头发的渲染方法、装置、电子设备及存储介质 | |
US20060203002A1 (en) | Display controller enabling superposed display | |
US7034819B2 (en) | Apparatus and method for generating an interleaved stereo image | |
CN116385260B (zh) | 图像处理方法、装置、芯片、电子设备及介质 | |
CN113079342A (zh) | 基于高分辨率影像装置的目标追踪方法及系统 | |
CN107547913B (zh) | 视频数据播放和处理方法、客户端及设备 | |
CN118159341A (zh) | 一种图像帧的渲染方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant after: Ruixin Microelectronics Co.,Ltd. Address before: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant before: FUZHOU ROCKCHIP ELECTRONICS Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |