CN110602475A - 提高图像质量的方法及装置、vr显示设备及控制方法 - Google Patents

提高图像质量的方法及装置、vr显示设备及控制方法 Download PDF

Info

Publication number
CN110602475A
CN110602475A CN201910455080.2A CN201910455080A CN110602475A CN 110602475 A CN110602475 A CN 110602475A CN 201910455080 A CN201910455080 A CN 201910455080A CN 110602475 A CN110602475 A CN 110602475A
Authority
CN
China
Prior art keywords
image
display
display screen
display device
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910455080.2A
Other languages
English (en)
Other versions
CN110602475B (zh
Inventor
毛云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHUHAI QUANZHI TECHNOLOGY Co Ltd
Allwinner Technology Co Ltd
Original Assignee
ZHUHAI QUANZHI TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHUHAI QUANZHI TECHNOLOGY Co Ltd filed Critical ZHUHAI QUANZHI TECHNOLOGY Co Ltd
Priority to CN201910455080.2A priority Critical patent/CN110602475B/zh
Publication of CN110602475A publication Critical patent/CN110602475A/zh
Application granted granted Critical
Publication of CN110602475B publication Critical patent/CN110602475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种提高图像质量的方法、装置、VR显示设备及控制方法,用于提高具有大分辨率的2D图像转换为VR显示设备的3D视觉图像过程中的图像显示质量,VR显示设备初始化后,获取终端内的待显示图像、终端的当前距离参数D,根据初始化结果和当前距离参数D,计算确定VR显示设备的显示屏幕上的最终显示图像与终端的显示屏幕上的待显示图像之间的缩放因子R,通过缩放因子R与缩放次数X的对应关系,确定缩放次数X,根据缩放次数X对待显示图像进行缩放处理。本申请中的方法和装置能够有效改善图像经常有锯齿、内容不清晰、显示质量比较差的问题,降低VR显示设备的系统开销的同时获得更好的显示效果。

Description

提高图像质量的方法及装置、VR显示设备及控制方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种提高图像质量的方法及图像处理装置、VR显示设备及控制方法。
背景技术
在VR设备上显示2D图像时,需要根据VR设备的屏幕分辨率、视场角等光学参数来建立一个3D模型,VR设备的GPU将2D图像贴图渲染到3D场景中显示。由于2D图像的分辨率大小跟最终显示目标的区域大小不匹配,因此,GPU进行贴图时需要对图像进行处理。当缩小倍数小于一定倍数时,由于采样数太少会导致VR设备显示出的图像上出现锯齿、不清楚的现象。
申请号为CN201410553956.4的中国专利公开了一种图像的抗锯齿方法和装置,获取终端内的待显示图像;获取终端的当前距离参数,当前距离参数用于指示终端的用户的眼睛到终端的显示屏幕之间的距离;根据当前距离参数,通过距离参数与抗锯齿算法的对应关系,确定当前抗锯齿算法;根据当前抗锯齿算法对待显示图像进行抗锯齿处理。但其仅能够针对图像上出现锯齿的问题进行改善,无法针对图像显示不清楚的问题进行处理。
申请号为201711351049.1的中国专利公开了一种VR头戴显示设备及显示方法,显示设备包括:用于追踪用户视线焦点变化的眼球追踪单元;设于VR透镜和VR显示屏之间的微透镜阵列;设于VR透镜和微透镜阵列之间的高清显示屏,高清显示屏的尺寸小于VR显示屏;以及,与眼球追踪单元、微透镜阵列和高清显示屏电连接的主控单元,主控单元用于根据眼球追送单元的追踪结果控制高清显示屏的显示内容,并控制微透镜阵列中的第一微透镜单元反射高清显示屏的显示内容以及第二微透镜单元透射VR显示屏的显示内容。但上述方案只能够提高眼球的焦点区域的画面质量,其余区域的画面质量无法得到改善。
申请号为201710263758.8的中国专利公开了一种VR设备中的图像显示方法和装置以及VR设备,方法包括:获取VR设备待显示的第一图像,第一图像中的目标对象的边缘呈锯齿状,VR设备设置有电磁震动器,电磁震动器用于控制第一图像沿第一方向移动第一距离;在电磁振动器发生震动之后,获取第二图像,其中,第二图像是第一图像沿第一方向移动第一距离所得到的图像;将第一图像和第二图像进行叠加操作,得到目标图像,在VR设备中显示目标图像。但该方法的实施无法离开电磁震动器这一设备,从而增加了VR设备的整体成本。
发明内容
基于上述现状,本发明的主要目的在于提供一种提高图像质量的方法及图像处理装置、VR显示设备及控制方法,以解决现有技术中存在的在VR设备上观看大分辨率的2D图像或视频,但2D图像或视频在VR头戴设备上显示时,图像存在有锯齿、内容不清晰、显示质量比较差的问题。
为实现上述目的,第一方面,本发明采用的技术方案如下:
一种提高图像质量的方法,用于提高具有大分辨率的2D图像转换为VR显示设备的3D视觉图像过程中的图像显示质量,方法包括:
步骤100:VR显示设备初始化;
步骤200:获取终端内的待显示图像;
步骤300:获取所述终端的当前距离参数D,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离;
步骤400:根据所述VR显示设备初始化结果和所述当前距离参数D,计算确定VR显示设备的显示屏幕上的最终显示图像与所述终端的显示屏幕上的待显示图像之间的缩放因子R;
通过所述缩放因子R与缩放次数X的对应关系,确定缩放次数X;
步骤500:根据所述缩放次数X对所述待显示图像进行缩放处理,以提高待投影图像的显示质量,进而提高所述最终显示图像的显示质量。
优选地,所述步骤100具体包括:
步骤110:收集所述VR显示设备的参数信息;
步骤120:建立3D场景模型。
优选地,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV。
优选地,所述VR显示设备的显示屏幕的尺寸包括VR显示设备的宽度w和高度h。
优选地,所述VR显示设备的显示屏幕的宽度w与所述VR显示设备的透视镜的投影面的宽度W相等;
所述VR显示设备的显示屏幕的高度h与所述VR显示设备的透视镜的投影面的高度H相等;
所述VR显示设备的显示屏幕与所述投影面重合;
所述VR显示设备的显示屏幕的视场角FOV与所述VR显示设备的透视镜的视场角相同。
优选地,所述步骤400具体包括:
通过缩放因子计算模型计算确定VR显示设备的显示屏幕上的最终显示图像与所述终端的显示屏幕上的待显示图像之间的缩放因子R。
优选地,所述缩放因子计算模型为:
其中,
R——缩放因子;
P——所述待显示图像上的选定像素点距离所述终端的显示屏幕的水平中线的高度值;
所述选定像素点经过所述透视镜和缩放处理后,形成第一最终像素点和第二最终像素点,以在所述VR显示设备的显示屏幕上构成3D效果;
P”——所述第一最终像素点或所述第二最终像素点在所述VR显示设备的显示屏幕上距离所述VR显示设备的显示屏幕的水平中线的高度值。
优选地,所述VR显示设备的显示屏幕与所述投影面重合,且所述VR显示设备的显示屏幕的视场角FOV与所述VR显示设备的透视镜的视场角相同,所述缩放因子计算模型为:
其中,
所述选定像素点在所述投影面上形成投影像素点;
P’——所述投影像素点距离所述投影面的水平中线的高度值。
优选地,其中,
N——用户的眼睛到所述投影面之间的垂直距离;
D——所述当前距离参数;
所述缩放因子计算模型为:
优选地,其中,
N——用户的眼睛到所述投影面之间的垂直距离;
H’——所述VR显示设备的透视镜的投影面的高度H的一半;
FOV——所述VR显示设备的显示屏幕的视场角;
所述缩放因子计算模型为:
优选地,所述缩放因子R与缩放次数X的对应关系为:
优选地,根据所述缩放次数X对所述待显示图像进行缩放处理的方法包括:
采用预设的降采样算法对所述待显示图像进行X次降采样处理,获得所述待投影图像。
优选地,所述预设的降采样算法包括双线性插值算法,根据所述缩放次数X对所述待显示图像进行缩放处理的方法包括:
采用双线性插值算法对所述待显示图像进行X次降采样率为倍的降采样处理,获得所述待投影图像。
为实现上述目的,第二方面,本发明采用的技术方案如下:
一种VR显示设备的控制方法,用于控制VR显示设备对终端的2D图像进行3D视觉显示,所述控制方法包括:
S1、所述VR显示设备初始化,以建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则,接着进入步骤S2;
S2、判断以下条件是否同时满足:
T1、所述待显示图像与终端的当前显示图像一致;
T2、所述终端的当前距离参数D不变,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离;
若是,则进入步骤S4,若否,则进入步骤S3;
S3、采用如上所述的提高图像质量的方法对所述终端的待显示图像进行处理,获得待投影图像,接着进入步骤S5;
S4、按照步骤S1中建立的投影规则,将所述当前显示图像经过处理后获得的当前投影图像作为待投影图像进行投影,并显示在所述VR显示设备的显示屏幕上并进入S7;
S5、按照步骤S1中建立的投影规则,对待投影图像进行投影,并显示在所述VR显示设备的显示屏幕上并进入S7;
S7、结束。
优选地,所述控制方法还包括:
S6、对步骤S3中获得的待投影图像进行缓存,接着进入S5;
所述控制方法为:
S3、采用如上所述的提高图像显示质量的控制方法对所述终端的待显示图像进行处理,获得待投影图像,接着进入步骤S6;
S6、对步骤S3中获得的待投影图像进行缓存,接着进入S5。
优选地,所述步骤S1具体包括以下步骤:
S11、确定所述VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV;
S12、根据所述VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV,建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则。
为实现上述目的,第三方面,本发明采用的技术方案如下:
一种图像处理装置,用于提高具有大分辨率的2D图像转换为VR显示设备的3D视觉图像过程中的图像显示质量,包括:
第一获取模块,与显示具有大分辨率的2D图像的终端相连,用于获取所述终端内的待显示图像;
第二获取模块,用于获取VR显示设备的参数信息和所述终端的当前距离参数D,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离;
第一计算模块,其内存储有缩放因子计算模型,与所述第一获取模块和所述第二获取模块相连,用于根据所述第二获取模块传输的所述参数信息和所述当前距离参数D,通过所述缩放因子计算模型,确定VR显示设备的显示屏幕上的最终显示图像与所述第一获取模块传输的所述待显示图像之间的缩放因子R;
第二计算模块,其内存储有缩放因子R与缩放次数X的对应关系,与所述第一计算模块相连,用于根据所述第一计算模块传输的所述缩放因子R,通过缩放因子R与缩放次数X的对应关系,确定缩放次数X;
处理模块,与所述第二计算模块和所述第一获取模块相连,用于根据所述缩放次数X对所述待显示图像进行缩放处理。
优选地,检测模块,与所述第二获取模块相连,用于检测所述当前距离参数D并传输给所述第二获取模块。
优选地,存储模块,与所述第二获取模块相连,用于存储所述参数信息,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率。
为实现上述目的,第四方面,本发明采用的技术方案如下:
一种VR显示设备,用于将终端的2D图像进行3D视觉显示,包括:
光学元件,用于对2D图像进行光学处理形成3D视觉显示;
建模单元,用于建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则;
第一判断单元,用于判断所述待显示图像与终端的当前显示图像是否一致;
第二判断单元,用于判断所述终端的当前距离参数D是否变化;
还包括如上所述的图像处理装置,用于对所述待显示图像进行缩放处理,获得待投影图像;
投影单元,用于对待投影图像进行投影并显示在所述VR显示设备的显示屏幕上。
优选地,缓存单元,与所述图像处理装置相连,用于对所述待投影图像进行缓存。
优选地,所述图像处理装置包括存储模块,所述存储模块用于存储参数信息,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV;
所述建模单元与所述存储模块相连,所述建模单元用于根据所述存储模块存储的VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV,建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则。
本申请中的提高图像质量的方法、装置、VR显示设备及控制方法,能够有效改善VR设备上观看2D图像或视频时,图像经常有锯齿、内容不清晰、显示质量比较差的问题。使用本申请中的提高图像质量的方法、装置对图像进行处理,能够有效降低VR显示设备的系统开销,同时获得更好的显示效果。
附图说明
以下将参照附图对根据本发明的提高图像质量的方法及装置、VR显示设备及控制方法的优选实施方式进行描述。图中:
图1为根据本发明的一种优选实施方式的提高图像质量的方法的流程图;
图2为根据本发明的一种优选实施方式的提高图像质量的方法的缩放因子R的计算原理图;
图3为根据本发明的一种优选实施方式的图像处理装置的连接结构图;
图4为根据本发明的一种优选实施方式的VR显示设备的控制方法流程图。
具体实施方式
针对现有技术存在的,在VR显示设备上观看大分辨率的2D图像或视频时,由于VR显示设备最终显示区域的分辨率为小分辨率,造成最终在VR显示设备上显示的图像存在有锯齿、内容不清晰、显示质量差等问题。其中,大分辨率是指分辨率大小为1920x1080至2560x1440,小分辨率是指分辨率大小为320x240至640x480,比如,原图像的分辨率大小为2560x1440,VR设备的显示分辨率大小为640x400,现有的处理方式是GPU进行贴图时,进行降采样和差值处理,当缩小倍数小于四分之一时,由于采样数太少,导致最终显示的图像存在有锯齿和不清楚的情况。
针对现有技术中存在的上述问题,本申请提供了一种提高图像质量的方法,该方法用于提高具有大分辨率的2D图像或视频转换为VR显示设备的小分辨率的3D视觉图像过程中的图像显示质量。
在一个具体的实施例中,如图1所示,本申请中的提高图像质量的方法包括以下步骤:
步骤100、VR显示设备初始化。
在该步骤中,VR显示设备初始化包括以下步骤:
步骤110:收集所述VR显示设备的参数信息;
步骤120:建立3D场景模型。
其中,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV。所述VR显示设备的显示屏幕的尺寸包括VR显示设备的宽度w和高度h。本实施例中的提高图像质量的方法是建立在假设的条件下,假设条件为:所述VR显示设备的显示屏幕的宽度w与所述VR显示设备的透视镜的投影面的宽度W相等;所述VR显示设备的显示屏幕的高度h与所述VR显示设备的透视镜的投影面的高度H相等;所述VR显示设备的显示屏幕与所述投影面重合;所述VR显示设备的显示屏幕的视场角FOV与所述VR显示设备的透视镜的视场角相同。
本实施例提供的提高图像质量的方法的其他步骤,都是建立在上述假设的条件下,在初始化建立3D场景过程中,使用的光学原理均是现有技术中已经存在的技术手段,在此不再赘述。
本实施例中的提高图像质量的方法还包括:
步骤200:获取终端内的待显示图像;
在该步骤中,终端可以是与VR显示设备相连的手机,也可以是VR视频播放器,或者是VR一体机中的播放终端。VR显示设备的图像处理装置包括与终端相连的第一获取模块,用于获取终端内的待显示图像。
步骤S300、获取所述终端的当前距离参数D,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离。
由于在初始化阶段已经收集了VR显示设备的参数信息,在该步骤中直接所述终端的当前距离参数D,利用收集的VR显示设备的参数信息和获取的终端的当前距离参数D进行后续计算。其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离。该步骤中的VR显示设备的参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV。VR显示设备的图像处理装置包括第二获取模块,用于获取当前距离参数D,在此,需要说明的是,上述VR显示设备的参数信息也可以通过第二获取模块进行收集。在一个优选的实施例中,由于VR显示设备的参数信息一般是出厂是设置好的,因此,上述参数信息保存在VR显示设备的存储模块中,存储模块与第二获取模块相连,第二获取模块从存储模块处获取上述参数信息。为了获得较好的体验感,用户可以根据自己的需求调节当前距离参数D,因此,当前距离参数D通过检测获取。VR显示设备的图像处理装置包括检测模块,与第二获取模块相连,用于检测当前距离参数D并将其传输给第二获取模块。优选地,检测模块可以为距离检测装置,能够检测用户的眼睛与终端的显示屏幕之间的垂直距离。
在此,需要说明的是,待显示图像、VR显示设备的参数信息和终端的当前距离参数可以采用同时获取的方式,也可以按照顺序先后获取,比如先获取待显示图像,接着再获取VR显示设备的参数信息,接着再获取终端的当前距离参数D。
步骤400:根据所述VR显示设备初始化结果和所述当前距离参数D,计算确定VR显示设备的显示屏幕上的最终显示图像与所述终端的显示屏幕上的待显示图像之间的缩放因子R,通过所述缩放因子R与缩放次数X的对应关系,确定缩放次数X。
在该步骤中,获取了参数信息和当前距离参数D后,根据所述参数信息和所述当前距离参数D,通过缩放因子计算模型,计算确定VR显示设备的显示屏幕上的最终显示图像与所述终端的显示屏幕上的待显示图像之间的缩放因子R。VR显示设备的图像处理装置包括第一计算模块,其内存储有缩放因子计算模型,与所述第一获取模块和所述第二获取模块相连,第一计算模块从第一获取模块处获取待显示图像,从第二获取模块处获取参数信息和所述当前距离参数D。在进行缩放因子计算时,需要对计算条件进行设定。在上述假设条件下,本实施例中的具体计算方法如下:
如图2所示,在三角形ABC中,存在以下关系式:
其中,
N——用户的眼睛到所述投影面之间的垂直距离;
H’——所述VR显示设备的透视镜的投影面的高度H的一半;
FOV——所述VR显示设备的显示屏幕的视场角。
在三角形AMQ中存在以下关系:
其中,
N——用户的眼睛到所述投影面之间的垂直距离;
D——所述当前距离参数。
第一计算模块中存储的缩放因子计算模型为:
其中,
R——缩放因子;
P——所述待显示图像上的选定像素点距离所述终端的显示屏幕的水平中线的高度值;
所述选定像素点经过所述透视镜和缩放处理后,形成第一最终像素点和第二最终像素点,以在所述VR显示设备的显示屏幕上构成3D效果;
P”——所述第一最终像素点或所述第二最终像素点在所述VR显示设备的显示屏幕上距离所述VR显示设备的显示屏幕的水平中线的高度值。
由于在假设条件中,VR显示设备的显示屏幕与所述投影面重合,且所述VR显示设备的显示屏幕的视场角FOV与所述VR显示设备的透视镜的视场角相同,因此,所述缩放因子计算模型为:
其中,
所述选定像素点在所述投影面上形成投影像素点;
P’——所述投影像素点距离所述投影面的水平中线的高度值。
因此,最终的缩放因子模型为:
其中,
R——缩放因子;
H’——所述VR显示设备的透视镜的投影面的高度H的一半;
FOV——所述VR显示设备的显示屏幕的视场角;
D——所述当前距离参数。
获得缩放因子后,VR显示设备的图像处理装置的第二计算模块,其内存储有缩放因子R与缩放次数X的对应关系,与所述第一计算模块相连,根据所述缩放因子R,通过缩放因子R与缩放次数X的对应关系,确定缩放次数X。
所述缩放因子R与缩放次数X的对应关系为:
由于缩放因子R已经通过上述计算过程获得具体的数值,因此,能够通过上述缩放因子R与缩放次数X的对应关系,获得缩放次数X。
在该步骤中,图像处理装置包括第一计算模块,其内存储有缩放因子计算模型,与所述第一获取模块和所述第二获取模块相连,用于根据所述第二获取模块传输的所述参数信息和所述当前距离参数D,通过所述缩放因子计算模型,确定VR显示设备的显示屏幕上的最终显示图像与所述第一获取模块传输的所述待显示图像之间的缩放因子R。还包括第二计算模块,其内存储有缩放因子R与缩放次数X的对应关系,与所述第一计算模块相连,用于根据所述第一计算模块传输的所述缩放因子R,通过缩放因子R与缩放次数X的对应关系,确定缩放次数X。
步骤500:根据所述缩放次数X对所述待显示图像进行缩放处理,以提高待投影图像的显示质量,进而提高所述最终显示图像的显示质量。
在该步骤中,VR显示设备的处理模块与所述第二计算模块和所述第一获取模块相连,获得了缩放次数X后,处理模块根据从第二计算模块获得的所述缩放次数X对从第一获取模块获得的所述待显示图像进行缩放处理。在进行缩放处理时,采用预设的降采样算法对所述待显示图像进行X次降采样处理,获得所述待投影图像。在一个优选的实施例中,预设的降采样算法包括双线性插值算法,则处理模块采用双线性插值算法对所述待显示图像进行X次降采样率为倍的降采样处理,获得所述待投影图像。
在该步骤中,在对图像进行处理时使用的是处理模块,处理模块与所述第二计算模块和所述第一获取模块相连,用于根据所述缩放次数X对所述待显示图像进行缩放处理。
上述提高图像质量的方法,在将大分辨率的原始图像经过X次多级缩放处理后,VR显示设备在对处理后的图像进行3D投影渲染时,由于经过X次缩放处理后图像的纹理尺寸更小,因而VR显示设备在进行3D投影渲染时需要处理的数据更少了,处理效率得到有效提升,降低了系统开销。
比如,以X为2的二级缩放为例,最终的渲染图像目标的大小约为原始图像的1/4。在不做任何处理的情况下,对原始图像渲染需读写的数据量为原始图像的:(1+1/4)=1.25倍。如果使用3x3的高斯滤波算法,对原始图像渲染需读写数据量为原始图像的:(9+1/4)=9.25倍。使用本申请中的提高图像质量的方法对原始图像进行处理,对原始图像渲染需读写数据量只为原始图像的:(1+1/2)+(1/2+1/4)+(1/4+1/4)=2.75倍。同时,由于图像或视频在播放过程中,2D图像不是每帧都需要更新,此时,直接使用经过X次缩放处理后的图像进行渲染,读写数据量为原图像的:(1/4+1/4)=0.5倍。
采用本申请中的提高图像质量的方法对图像进行处理能够获得更好的显示效果。由于对原始图像进行X级缩放处理过程中采用的是双线性插值1/2倍缩放,每次缩放中图像质量没有明显下降,最后处理得到的图像与VR显示设备的屏幕上显示的图像大小接近,因此,VR显示设备在进行贴图渲染时不会带来采样不足的问题,图像上的锯齿和闪烁等现象得到很大改善。
一种图像处理装置,与上述提高图像质量的方法配合使用,能够有效改善具有大分辨率的2D图像转换为VR显示设备的3D视觉图像过程中图像显示质量。如图3所示,本申请中的图像处理装置包括与显示具有大分辨率的2D图像的终端相连的第一获取模块,第一获取模块用于获取终端内的待显示图像。图像处理装置还包括第二获取模块,第二获取模块用于获取VR显示设备的参数信息和终端的当前距离参数D,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离。具体的,图像处理装置还包括检测模块,检测模块与所述第二获取模块相连,用于检测所述当前距离参数D并传输给所述第二获取模块。在上述提高图像质量的方法中,参数信息可以是已经存储在VR显示设备中的,第二获取模块只需要将存储的信息进行提取即可。因此,图像处理装置还包括存储模块,存储模块与所述第二获取模块相连,用于存储所述参数信息,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率。
如图4所示,本申请还提供了一种VR显示设备的控制方法,用于控制VR显示设备对终端的2D图像进行3D视觉显示,所述控制方法包括:
S1、所述VR显示设备初始化,以建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则,接着进入步骤S2。
在一个优选的实施例中,步骤S1包括以下步骤:
S11、确定所述VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV;
S12、根据所述VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV,建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则。
S2、判断以下条件是否同时满足:
T1、所述待显示图像与终端的当前显示图像一致;
T2、所述终端的当前距离参数D不变,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离;
若是,则进入步骤S4,若否,则进入步骤S3;
S3、采用如上所述的提高图像质量的方法对所述终端的待显示图像进行处理,获得待投影图像,接着进入步骤S5;
S4、按照步骤S1中建立的投影规则,将所述当前显示图像经过处理后获得的当前投影图像作为待投影图像进行投影,并显示在所述VR显示设备的显示屏幕上并进入S7;
S5、按照步骤S1中建立的投影规则,对待投影图像进行投影,并显示在所述VR显示设备的显示屏幕上并进入S7;
S7、结束。
在另一个具体的实施例中,由于图像或视频在播放过程中并不是时刻变化的,会出现上一次获取的图像和本次获取的图像没有改变的情况,因此,为了进一步降低对图像处理占用的资源,本申请提供的VR显示设备的控制方法还包括:
S6、对步骤S3中获得的待投影图像进行缓存,接着进入S5;
则上述控制方法具体为:
S3、采用如上所述的提高图像显示质量的控制方法对所述终端的待显示图像进行处理,获得待投影图像,接着进入步骤S6;
S6、对步骤S3中获得的待投影图像进行缓存,接着进入S5;
S5、按照步骤S1中建立的投影规则,对待投影图像进行投影,并显示在所述VR显示设备的显示屏幕上并进入S7;
S7、结束。
本申请还提供了一种VR显示设备,用于将终端的2D图像进行3D视觉显示,包括:
光学元件,用于对2D图像进行光学处理形成3D视觉显示。上述光学元件均为现有技术中已经在使用的,属于现有技术,在此不再赘述。
建模单元,用于在VR显示设备进行初始化过程中,建立终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则,从而以实现裸眼3D的效果。
更进一步地,本申请中的VR显示设备的图像处理装置包括存储模块,所述存储模块用于存储参数信息,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV。所述建模单元与所述存储模块相连,所述建模单元用于根据所述存储模块存储的VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV,建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则。
VR显示设备还包括第一判断单元和第二判断单元,其中,第一判断单元用于判断所述待显示图像与终端的当前显示图像是否一致;第二判断单元用于判断所述终端的当前距离参数D是否变化。如果第一判断单元和第二判断单元进行判断的内容,其中一个发生变化或者是两个同时发生变化,则需要对待显示图像使用如上所述的图像处理装置和提高图像质量的方法对图像进行处理后显示,对所述待显示图像进行缩放处理,获得待投影图像,以提高图像的显示质量。每一次经过图像处理装置处理后的图像都会在VR显示设备的缓存单元中进行缓存,以备后续使用。
VR显示设备还包括投影单元,用于对上述经过图像处理装置处理后的获得的待投影图像进行投影并显示在所述VR显示设备的显示屏幕上,以获得裸眼3D效果。
当第一判断单元和第二判断单元进行判断的内容中,任意一个都没有发生变化,则说明本次获取的图像和上一次获取的图像没有发生变化。此时,投影单元将已经存储在缓存单元中的上一次经过处理的图像进行投影显示,减少了一次对图像进行处理的步骤,提高了处理效率。
本领域的技术人员能够理解的是,在不冲突的前提下,上述各优选方案可以自由地组合、叠加。
应当理解,上述的实施方式仅是示例性的,而非限制性的,在不偏离本发明的基本原理的情况下,本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换,都将包含于本发明的权利要求范围内。

Claims (22)

1.一种提高图像质量的方法,用于提高具有大分辨率的2D图像转换为VR显示设备的3D视觉图像过程中的图像显示质量,其特征在于,方法包括:
步骤100:VR显示设备初始化;
步骤200:获取终端内的待显示图像;
步骤300:获取所述终端的当前距离参数D,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离;
步骤400:根据所述VR显示设备初始化结果和所述当前距离参数D,计算确定VR显示设备的显示屏幕上的最终显示图像与所述终端的显示屏幕上的待显示图像之间的缩放因子R;
通过所述缩放因子R与缩放次数X的对应关系,确定缩放次数X;
步骤500:根据所述缩放次数X对所述待显示图像进行缩放处理,以提高待投影图像的显示质量,进而提高所述最终显示图像的显示质量。
2.根据权利要求1所述的提高图像质量的方法,其特征在于,所述步骤100具体包括:
步骤110:收集所述VR显示设备的参数信息;
步骤120:建立3D场景模型。
3.根据权利要求2所述的提高图像质量的方法,其特征在于,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV。
4.根据权利要求3所述的提高图像质量的方法,其特征在于,所述VR显示设备的显示屏幕的尺寸包括VR显示设备的宽度w和高度h。
5.根据权利要求3所述的提高图像质量的方法,其特征在于,所述VR显示设备的显示屏幕的宽度w与所述VR显示设备的透视镜的投影面的宽度W相等;
所述VR显示设备的显示屏幕的高度h与所述VR显示设备的透视镜的投影面的高度H相等;
所述VR显示设备的显示屏幕与所述投影面重合;
所述VR显示设备的显示屏幕的视场角FOV与所述VR显示设备的透视镜的视场角相同。
6.根据权利要求1所述的提高图像质量的方法,其特征在于,所述步骤400具体包括:
通过缩放因子计算模型计算确定VR显示设备的显示屏幕上的最终显示图像与所述终端的显示屏幕上的待显示图像之间的缩放因子R。
7.根据权利要求6所述的提高图像质量的方法,其特征在于,所述缩放因子计算模型为:
其中,
R——缩放因子;
P——所述待显示图像上的选定像素点距离所述终端的显示屏幕的水平中线的高度值;
所述选定像素点经过所述透视镜和缩放处理后,形成第一最终像素点和第二最终像素点,以在所述VR显示设备的显示屏幕上构成3D效果;
P”——所述第一最终像素点或所述第二最终像素点在所述VR显示设备的显示屏幕上距离所述VR显示设备的显示屏幕的水平中线的高度值。
8.根据权利要求7所述的提高图像质量的方法,其特征在于,所述VR显示设备的显示屏幕与所述投影面重合,且所述VR显示设备的显示屏幕的视场角FOV与所述VR显示设备的透视镜的视场角相同,所述缩放因子计算模型为:
其中,
所述选定像素点在所述投影面上形成投影像素点;
P’——所述投影像素点距离所述投影面的水平中线的高度值。
9.根据权利要求8所述的提高图像质量的方法,其特征在于,
其中,
N——用户的眼睛到所述投影面之间的垂直距离;
D——所述当前距离参数;
所述缩放因子计算模型为:
10.根据权利要求9所述的提高图像质量的方法,其特征在于,
其中,
N——用户的眼睛到所述投影面之间的垂直距离;
H’——所述VR显示设备的透视镜的投影面的高度H的一半;
FOV——所述VR显示设备的显示屏幕的视场角;
所述缩放因子计算模型为:
11.根据权利要求10所述的提高图像质量的方法,其特征在于,所述缩放因子R与缩放次数X的对应关系为:
12.根据权利要求1至11任一项所述的提高图像质量的方法,其特征在于,根据所述缩放次数X对所述待显示图像进行缩放处理的方法包括:
采用预设的降采样算法对所述待显示图像进行X次降采样处理,获得所述待投影图像。
13.根据权利要求12所述的提高图像质量的方法,其特征在于,所述预设的降采样算法包括双线性插值算法,根据所述缩放次数X对所述待显示图像进行缩放处理的方法包括:
采用双线性插值算法对所述待显示图像进行X次降采样率为倍的降采样处理,获得所述待投影图像。
14.一种VR显示设备的控制方法,用于控制VR显示设备对终端的2D图像进行3D视觉显示,其特征在于,所述控制方法包括:
S1、所述VR显示设备初始化,以建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则,接着进入步骤S2;
S2、判断以下条件是否同时满足:
T1、所述待显示图像与终端的当前显示图像一致;
T2、所述终端的当前距离参数D不变,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离;
若是,则进入步骤S4,若否,则进入步骤S3;
S3、采用如权利要求1至13任一项所述的提高图像质量的方法对所述终端的待显示图像进行处理,获得待投影图像,接着进入步骤S5;
S4、按照步骤S1中建立的投影规则,将所述当前显示图像经过处理后获得的当前投影图像作为待投影图像进行投影,并显示在所述VR显示设备的显示屏幕上并进入S7;
S5、按照步骤S1中建立的投影规则,对待投影图像进行投影,并显示在所述VR显示设备的显示屏幕上并进入S7;
S7、结束。
15.根据权利要求14所述的VR显示设备的控制方法,其特征在于,所述控制方法还包括:
S6、对步骤S3中获得的待投影图像进行缓存,接着进入S5;
所述控制方法为:
S3、采用如权利要求1至13任一项所述的提高图像显示质量的控制方法对所述终端的待显示图像进行处理,获得待投影图像,接着进入步骤S6;
S6、对步骤S3中获得的待投影图像进行缓存,接着进入S5。
16.根据权利要求14或15所述的VR显示设备的控制方法,其特征在于,所述步骤S1具体包括以下步骤:
S11、确定所述VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV;
S12、根据所述VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV,建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则。
17.一种图像处理装置,用于提高具有大分辨率的2D图像转换为VR显示设备的3D视觉图像过程中的图像显示质量,其特征在于,包括:
第一获取模块,与显示具有大分辨率的2D图像的终端相连,用于获取所述终端内的待显示图像;
第二获取模块,用于获取VR显示设备的参数信息和所述终端的当前距离参数D,其中,所述当前距离参数D用于指示用户的眼睛到所述终端的显示屏幕之间的垂直距离;
第一计算模块,其内存储有缩放因子计算模型,与所述第一获取模块和所述第二获取模块相连,用于根据所述第二获取模块传输的所述参数信息和所述当前距离参数D,通过所述缩放因子计算模型,确定VR显示设备的显示屏幕上的最终显示图像与所述第一获取模块传输的所述待显示图像之间的缩放因子R;
第二计算模块,其内存储有缩放因子R与缩放次数X的对应关系,与所述第一计算模块相连,用于根据所述第一计算模块传输的所述缩放因子R,通过缩放因子R与缩放次数X的对应关系,确定缩放次数X;
处理模块,与所述第二计算模块和所述第一获取模块相连,用于根据所述缩放次数X对所述待显示图像进行缩放处理。
18.根据权利要求17所述的图像处理装置,其特征在于,还包括:
检测模块,与所述第二获取模块相连,用于检测所述当前距离参数D并传输给所述第二获取模块。
19.根据权利要求17所述的图像处理装置,其特征在于,还包括:
存储模块,与所述第二获取模块相连,用于存储所述参数信息,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率。
20.一种VR显示设备,用于将终端的2D图像进行3D视觉显示,其特征在于,包括:
光学元件,用于对2D图像进行光学处理形成3D视觉显示;
建模单元,用于建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则;
第一判断单元,用于判断所述待显示图像与终端的当前显示图像是否一致;
第二判断单元,用于判断所述终端的当前距离参数D是否变化;
还包括如权利要求17至19任一项所述的图像处理装置,用于对所述待显示图像进行缩放处理,获得待投影图像;
投影单元,用于对待投影图像进行投影并显示在所述VR显示设备的显示屏幕上。
21.根据权利要求20所述的VR显示设备,其特征在于,还包括:
缓存单元,与所述图像处理装置相连,用于对所述待投影图像进行缓存。
22.根据权利要求20所述的VR显示设备,其特征在于,所述图像处理装置包括存储模块,所述存储模块用于存储参数信息,所述参数信息包括VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV;
所述建模单元与所述存储模块相连,所述建模单元用于根据所述存储模块存储的VR显示设备的显示屏幕的尺寸、显示屏幕的分辨率,以及显示屏幕的视场角FOV,建立所述终端的待显示图像与所述VR显示设备的最终显示图像之间的投影规则。
CN201910455080.2A 2019-05-29 2019-05-29 提高图像质量的方法及装置、vr显示设备及控制方法 Active CN110602475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910455080.2A CN110602475B (zh) 2019-05-29 2019-05-29 提高图像质量的方法及装置、vr显示设备及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910455080.2A CN110602475B (zh) 2019-05-29 2019-05-29 提高图像质量的方法及装置、vr显示设备及控制方法

Publications (2)

Publication Number Publication Date
CN110602475A true CN110602475A (zh) 2019-12-20
CN110602475B CN110602475B (zh) 2021-06-01

Family

ID=68852527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910455080.2A Active CN110602475B (zh) 2019-05-29 2019-05-29 提高图像质量的方法及装置、vr显示设备及控制方法

Country Status (1)

Country Link
CN (1) CN110602475B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554223A (zh) * 2020-04-22 2020-08-18 歌尔科技有限公司 显示设备的画面调节方法、显示设备及存储介质
CN113115018A (zh) * 2021-03-09 2021-07-13 聚好看科技股份有限公司 一种图像的自适应显示方法及显示设备
CN113126942A (zh) * 2021-03-19 2021-07-16 北京城市网邻信息技术有限公司 一种封面图片的显示方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155289A (zh) * 2006-09-26 2008-04-02 佳能株式会社 图像控制设备和图像控制方法
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法
WO2016115873A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN107545222A (zh) * 2016-06-29 2018-01-05 中国园林博物馆北京筹备办公室 在虚拟现实场景中显示目标图像的方法及其系统
US20180276900A1 (en) * 2016-05-13 2018-09-27 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
CN109791605A (zh) * 2016-08-01 2019-05-21 脸谱科技有限责任公司 基于眼睛跟踪信息的图像区域中的自适应参数

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155289A (zh) * 2006-09-26 2008-04-02 佳能株式会社 图像控制设备和图像控制方法
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法
WO2016115873A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
US20180276900A1 (en) * 2016-05-13 2018-09-27 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
CN107545222A (zh) * 2016-06-29 2018-01-05 中国园林博物馆北京筹备办公室 在虚拟现实场景中显示目标图像的方法及其系统
CN109791605A (zh) * 2016-08-01 2019-05-21 脸谱科技有限责任公司 基于眼睛跟踪信息的图像区域中的自适应参数

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554223A (zh) * 2020-04-22 2020-08-18 歌尔科技有限公司 显示设备的画面调节方法、显示设备及存储介质
CN111554223B (zh) * 2020-04-22 2023-08-08 歌尔科技有限公司 显示设备的画面调节方法、显示设备及存储介质
CN113115018A (zh) * 2021-03-09 2021-07-13 聚好看科技股份有限公司 一种图像的自适应显示方法及显示设备
CN113126942A (zh) * 2021-03-19 2021-07-16 北京城市网邻信息技术有限公司 一种封面图片的显示方法、装置、电子设备及存储介质
CN113126942B (zh) * 2021-03-19 2024-04-30 北京城市网邻信息技术有限公司 一种封面图片的显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110602475B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
US11514563B2 (en) Infrared resolution and contrast enhancement with fusion
CN110602475B (zh) 提高图像质量的方法及装置、vr显示设备及控制方法
KR100918294B1 (ko) 입체 시화상(視畵像) 표시장치, 입체 시화상 표시방법 및컴퓨터 프로그램
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US10360711B2 (en) Image enhancement with fusion
US9106906B2 (en) Image generation system, image generation method, and information storage medium
JP6610535B2 (ja) 画像処理装置および画像処理方法
CN111711811B (zh) Vr图像处理方法、装置、系统、vr设备及存储介质
JP3032414B2 (ja) 画像処理方法および画像処理装置
US11275248B2 (en) Head mounted display apparatus, virtual reality display system and driving method thereof
CN111147883A (zh) 直播方法、装置、头戴显示设备和可读存储介质
US11589034B2 (en) Method and apparatus for providing information to a user observing a multi view content
JP6029294B2 (ja) 映像提示装置および映像提示プログラム
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
CN113066011B (zh) 一种图像处理方法、装置、系统、介质和电子设备
CN112861850B (zh) 一种实现移动终端近距离提取文字的方法及系统
CN113596440B (zh) 一种用于计算摄像机防抖性能的系统及方法
WO2018008128A1 (ja) 映像表示装置及び方法
CN115616776A (zh) 虚拟现实模拟器以及计算机可读取记录介质
JP2006287813A (ja) 3次元画像表示装置
CN114092323A (zh) 图像处理方法、装置、存储介质及电子设备
US10783853B2 (en) Image provision device, method and program that adjusts eye settings based on user orientation
KR20190092155A (ko) 단말기에서 실시간 글자 인식시 영상을 안정화하는 방법
CN115311177A (zh) 图像的处理方法、装置、计算机设备及存储介质
CN117762247A (zh) 图像显示自适应调节方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant