CN109741289A - 一种图像融合方法和vr设备 - Google Patents
一种图像融合方法和vr设备 Download PDFInfo
- Publication number
- CN109741289A CN109741289A CN201910072471.6A CN201910072471A CN109741289A CN 109741289 A CN109741289 A CN 109741289A CN 201910072471 A CN201910072471 A CN 201910072471A CN 109741289 A CN109741289 A CN 109741289A
- Authority
- CN
- China
- Prior art keywords
- image
- field angle
- value
- resolution
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种图像融合方法和VR设备，涉及图像处理技术领域，其中，应用于VR设备的图像融合方法包括：基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。本发明能够在不提升显卡的配置的同时，能够得到清晰度过渡良好的第三图像，且第三图像的清晰度变化趋势能够很好地满足人眼需求，提升了用户的视觉体验。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像融合方法和VR设备。
背景技术
为了更好的迎合人眼需求，在虚拟现实(Virtual Reality，VR)发展过程中提出注视点渲染，即VR显示内容中，人眼注视的范围为高清区，画面细腻，高清区周围的画面相对于高清区，画面细腻程度降低，以方便人眼聚焦，符合人眼的观察习惯。
目前，注视点渲染采用的技术大多是根据英伟达公司(Nvidia)提供的多分辨率着色(Multi-ResShading，MRS)技术和透镜匹配着色(LMS)技术，直接获取到图像清晰度变换的图像。但是，这要求用户的设备配置高，即，需要高配置的显卡才能实现此功能。另外，基于MRS技术和LMS技术得到的图像的清晰度变化趋势是固定的，并不能很好的满足人眼需求。
因此，如何在不提升显卡的配置的同时，得到清晰度过渡良好的图像，是目前亟待解决的技术问题。
发明内容
有鉴于此，本发明提供一种图像融合方法和VR设备，以解决现有技术中，必须使用高配置的显卡才能得到清晰度变化的图像，且图像的清晰度变化趋势是固定的，不能满足人眼需求的技术问题。
为解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种图像融合方法，应用于虚拟现实VR设备，包括：
基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；
基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；
融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；
其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。
优选的，所述融合所述第一图像和所述第二图像，得到第三图像的步骤包括：
计算所述第三图像中每一像素点的值，其中，每一像素点的值根据所述像素点与所述预设注视点的距离，所述像素点在所述第一图像和所述第二图像中的值确定，所述像素点的值包括：RGB值或灰度值。
优选的，所述第三图像中一像素点M的值的计算公式如下：
p3＝k×p1+(1-k)×p2；
其中，p1、p2、p3分别是像素点M在所述第一图像、所述第二图像、所述第三图像中的值；
k为根据像素点M与所述预设注视点的距离，确定的比例；
所述第三图像的清晰度的降低趋势与所述k的值的降低趋势相同。
优选的，所述融合所述第一图像和所述第二图像，得到第三图像的步骤之后，还包括：
对所述第二图像和所述第三图像进行反畸变处理，拼接反畸变处理后的第二图像和反畸变处理后的第三图像，得到第四图像；
解析所述第四图像，显示解析后的图像。
优选的，所述基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像的步骤包括：
在视场角坐标系中，获取所述第一视场角的范围值和所述第二视场角的范围值；
根据所述第一视场角的范围值和所述第二视场角的范围值，得到所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系；
所述解析所述第四图像，显示解析后的图像的步骤包括：
根据所述VR设备的显示尺寸，拉伸所述第四图像中所述反畸变处理后的第二图像，显示拉伸后的图像；
根据所述对应关系，将所述第四图像中所述反畸变处理后的第三图像显示于所述拉伸后的图像的对应位置。
优选的，所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系如下：
其中，U、V是所述第一图像的图像坐标；
u、v是所述第二图像的图像坐标；
fup、fdown、fleft和fright为所述第一视场角在所述视场角坐标系中的范围值，所述第一视场角的范围值为所述第一视场角的正切值；
Fup、Fdown、Fleft和Fright为所述第二视场角在所述视场角坐标系中的范围值，所述第二视场角的范围值为所述第二视场角的正切值。
优选的，所述第一分辨率为1440*1440，所述第二分辨率为1080*1080。
第二方面，本发明实施例还提供了一种VR设备，包括：
获取模块，用于基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；
融合模块，用于融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；
其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。
优选的，所述融合模块，用于计算所述第三图像中每一像素点的值，其中，每一像素点的值根据所述像素点与所述预设注视点的距离，所述像素点在所述第一图像和所述第二图像中的值确定，所述像素点的值包括：RGB值或灰度值。
优选的，所述第三图像中一像素点M的值的计算公式如下：
p3＝k×p1+(1-k)×p2；
其中，p1、p2、p3分别是像素点M在所述第一图像、所述第二图像、所述第三图像中的值；
k为根据像素点M与所述预设注视点的距离，确定的比例；
所述第三图像的清晰度的降低趋势与所述k的值的降低趋势相同。
优选的，所述VR设备还包括：
拼接模块，用于对所述第二图像和所述第三图像进行反畸变处理，拼接反畸变处理后的第二图像和反畸变处理后的第三图像，得到第四图像；
显示模块，用于解析所述第四图像，显示解析后的图像。
优选的，所述获取模块，用于在视场角坐标系中，获取所述第一视场角的范围值和所述第二视场角的范围值；根据所述第一视场角的范围值和所述第二视场角的范围值，得到所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系；
所述显示模块，用于根据所述VR设备的显示尺寸，拉伸所述第四图像中所述反畸变处理后的第二图像，显示拉伸后的图像；根据所述对应关系，将所述第四图像中所述反畸变处理后的第三图像显示于所述拉伸后的图像的对应位置。
优选的，所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系如下：
其中，U、V是所述第一图像的图像坐标；
u、v是所述第二图像的图像坐标；
fup、fdown、fleft和fright为所述第一视场角在所述视场角坐标系中的范围值，所述第一视场角的范围值为所述第一视场角的正切值；
Fup、Fdown、Fleft和Fright为所述第二视场角在所述视场角坐标系中的范围值，所述第二视场角的范围值为所述第二视场角的正切值。
优选的，所述第一分辨率为1440*1440，所述第二分辨率为1080*1080。
第三方面，本发明实施例还提供了一种VR设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像融合方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述的图像融合方法的步骤。
本发明的上述技术方案的有益效果如下：
区别于现有技术的情况，本发明基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；融合第一图像和第二图像，得到第三图像，第三图像的清晰度由中心至边缘呈降低趋势，且第三图像的视场角为第一视场角，其中，第一视场角小于第二视场角，第一分辨率大于第二分辨率。通过融合第一图像和第二图像，在不提升显卡的配置的同时，能够得到清晰度过渡良好的第三图像，且第三图像的清晰度变化趋势能够很好地满足人眼需求，提升了用户的视觉体验。
附图说明
图1为本发明实施例一的图像融合方法的流程示意图；
图2为本发明实施例的视场角的范围的示意图；
图3为本发明实施例的视场角坐标系的示意图；
图4为本发明实施例的图像融合采用的函数的显示示意图；
图5为本发明实施例的第一图像的显示示意图；
图6为本发明实施例的第三图像的显示示意图；
图7为本发明实施例的第四图像的显示示意图；
图8为本发明实施例的第一图像和第二图像中图像坐标的对应关系的示意图；
图9为本发明实施例的解析后的图像的显示示意图；
图10为本发明实施例二的VR设备的结构示意图；
图11为本发明实施例三的VR设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一的图像融合方法的流程示意图，该图像融合方法应用于VR设备，包括：
步骤11：基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；
步骤12：基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；
步骤13：融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；
其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。
本发明实施例的图像融合方法，通过融合第一图像和第二图像，在不提升显卡的配置的同时，能够得到清晰度过渡良好的第三图像，且第三图像的清晰度变化趋势能够很好地满足人眼需求，提升了用户的视觉体验。
本发明实施例中，步骤11具体可以为：根据预先设计的人眼的高清注视区域，基于预设注视点在视场角坐标系中的坐标，采用单眼的第一视场角和第一分辨率，对输入数据进行渲染，得到高清的第一图像I1。其中，第一分辨率可以为较高的分辨率。
步骤12具体可以为：基于预设注视点在视场角坐标系中的坐标，采用单眼的第二视场角(比第一视场角大，优选为全视场角)和第二分辨率(比第一分辨率小)，对输入数据进行渲染，得到非高清的第二图像I2。其中，第二分辨率可以为较低的分辨率。
步骤13具体可以为：利用第一图像I1和第二图像I2相同视场角(即第一视场角)下的像素点进行融合，得到由中心至边缘清晰度呈降低趋势的第三图像I3，且第三图像I3的视场角与第一图像I1的视场角相同，即都是第一视场角，第三图像I3的尺寸与第一图像I1的尺寸也相同。
高清的第一图像I1用于VR设备中用户注视的高清区域，非高清的第二图像I2用于用户注视的高清区域周围的区域。由于高清的第一图像I1和非高清的第二图像I2的分辨率差异大，将第一图像I1和第二图像I2进行融合，得到清晰度由中心至边缘呈降低趋势的第三图像I3，即，第三图像I3的中心最清晰，边缘最模糊，且第三图像I3能给用户带来清晰度渐变的效果，过渡更为柔和，不会给用户带来人眼高清注视区域与周围区域之间的变化冲击感，提升用户的视觉体验。而且，此方式还能减少图像的数据量，降低传输和处理图像所需的功耗，降低对显卡的要求。
可选的，第一分辨率为1440*1440。
可选的，第二分辨率为1080*1080。
本发明实施例中，视场角即为人眼所能看到的范围，如图2所示，我们所能看到的最高和最低处的光线通过透镜折射进入眼睛，2个折射线的夹角即为视场角在垂直方向上的范围。
以VR设备中透镜的中心为原点，向右为x轴正方向，向上为y轴正方向，建立所述视场角坐标系，如图3所示。从而，视场角在水平方向和垂直方向上的范围值可以用坐标表示。记第一视场角的范围值为(fup，fdown，fleft，fright)，第二视场角的范围值为(Fup，Fdown，Fleft，Fright)。
可选的，所述坐标为角度的正切值。
具体而言，第一视场角的坐标、第二视场角的坐标为视场角在垂直方向上最高、最低的光线，以及视场角在水平方向上最左、最右的光线与透镜中轴线间夹角的正切值。
仍以图2为示例，若第一视场角在垂直方向上的最高的光线与透镜的中轴线的夹角为θ，则fup＝tanθ。
预设注视点的坐标也可以为正切值。
具体而言，预设注视点的坐标可以为该预设注视点与透镜中心的连线与x轴、y轴正方向间的夹角的正切值。
当然，在其他实施例中，所述坐标也可以为角度值或角度的其他三角函数值，如：正弦值、余弦值或余切值，本发明不作限定。
在本发明的一些优选实施例中，步骤13包括：
计算所述第三图像中每一像素点的值，其中，每一像素点的值根据所述像素点与所述预设注视点的距离，所述像素点在所述第一图像和所述第二图像中的值确定，所述像素点的值包括：RGB值或灰度值。
其中，所述第三图像中一像素点M的值的计算公式如下：
p3＝k×p1+(1-k)×p2；
其中，p1、p2、p3分别是像素点M在所述第一图像、所述第二图像、所述第三图像中的值；
k为根据像素点M与所述预设注视点的距离，确定的比例。
以图4-6为示例，图4为本发明实施例的图像融合采用的函数的显示示意图，图5为本发明实施例的第一图像的显示示意图，图6为本发明实施例的第三图像的显示示意图。
第一图像I1、第二图像I2和第三图像I3的中心点都为预设注视点。以第三图像I3中一像素点M与预设注视点的距离为横坐标，获取图4中函数的纵坐标，即为确定的比例k。获取像素点M在第一图像I1中的灰度值p1和第二图像I2中的灰度值p2，从而，计算出第三图像I3中，像素点M的灰度值p3。
采用上述方式，能够计算出第三图像I3中每一像素点的灰度值，进而得到第三图像I3，如图6所示，第三图像I3的清晰度由中心至边缘呈降低趋势，更符合人眼的观察习惯。
优选的，所述第三图像的清晰度的降低趋势与所述k的值的降低趋势相同。
仍以图4为示例，比例k随着像素点与图像的中心点(即预设注视点)的距离的增加而降低，第三图像的清晰度也随着第三图像中像素点与与图像的中心点的距离的增加而降低。第三图像的清晰度的降低趋势与k的值的降低趋势相同。
图4中，图像融合采用的函数为一次函数，当然，在本发明的其他一些实施例中，图像融合采用的函数也可以为三角函数(优选为余弦函数)或高斯函数，可根据实际需求采用相应函数，本发明不作限定。
在实际应用中，需要对融合得到的第三图像进行反畸变处理，再进行显示，从而让图像显示效果更佳。
具体的，步骤13之后，还包括：
对所述第二图像和所述第三图像进行反畸变处理，拼接反畸变处理后的第二图像和反畸变处理后的第三图像，得到第四图像；
解析所述第四图像，显示解析后的图像。
以图7为示例，图7为本发明实施例的第四图像的显示示意图。第四图像I4中包括反畸变处理后的第二图像I2’和反畸变处理后的第三图像I3’。可以通过软件模拟硬件解析第四图像I4，并显示解析后的图像。
优选的，所述基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像的步骤包括：
在视场角坐标系中，获取所述第一视场角的范围值和所述第二视场角的范围值；
根据所述第一视场角的范围值和所述第二视场角的范围值，得到所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系；
所述解析所述第四图像，显示解析后的图像的步骤包括：
根据所述VR设备的显示尺寸，拉伸所述第四图像中所述反畸变处理后的第二图像，显示拉伸后的图像；
根据所述对应关系，将所述第四图像中所述反畸变处理后的第三图像显示于所述拉伸后的图像的对应位置。
请参阅图8-9，图8为本发明实施例的第一图像和第二图像中图像坐标的对应关系的示意图，图9为本发明实施例的解析后的图像的显示示意图。
图像坐标是以图像的左上角为坐标原点，向右、向下为坐标轴的正方向。根据显卡的要求，图像的输入都是归一化坐标。由于获取图像时是根据视场角的范围获取的，而第一图像与第二图像的视场角是在同一视场角坐标系下定义的，因此，可以根据视场角坐标系，建立第一图像与第二图像的图像坐标的对应关系。
其中，所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系如下：
其中，U、V是所述第一图像的图像坐标；
u、v是所述第二图像的图像坐标；
fup、fdown、fleft和fright为所述第一视场角在所述视场角坐标系中的范围值，所述第一视场角的范围值为所述第一视场角的正切值；
Fup、Fdown、Fleft和Fright为所述第二视场角在所述视场角坐标系中的范围值，所述第二视场角的范围值为所述第二视场角的正切值。
根据VR设备的显示尺寸，将第四图像I4中反畸变处理后的第二图像I2’拉伸至全屏显示。结合上述第一图像I1与第二图像I2的图像坐标的对应关系，将第四图像I4中反畸变处理后的第三图像I3’显示在全屏图像的对应位置，如图9所示。
请参考图10，图10为本发明实施例二的VR设备的结构示意图，该VR设备100包括：
获取模块101，用于基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；
融合模块102，用于融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；
其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。
本发明实施例提供的VR设备，通过融合第一图像和第二图像，在不提升显卡的配置的同时，能够得到清晰度过渡良好的第三图像，且第三图像的清晰度变化趋势能够很好地满足人眼需求，提升了用户的视觉体验。
在一具体应用场景中，VR设备中的虚拟相机执行获取模块101的功能，具体可以为：基于预设注视点、第一相机参数、第一视场角和第一分辨率，对输入数据进行渲染，获得第一图像；基于所述预设注视点、第二相机参数、第二视场角和第二分辨率，对所述输入数据进行渲染，获得第二图像。
其中，所述相机参数包括：虚拟相机的位置和/或虚拟相机的姿态。
在一具体应用场景中，VR设备中的处理器执行融合模块102的功能。
其中，所述处理器可以为中央处理器(Central Processing Unit，CPU)和/或图形处理器(Graphics Processing Unit，GPU)。
优选的，所述融合模块102，用于计算所述第三图像中每一像素点的值，其中，每一像素点的值根据所述像素点与所述预设注视点的距离，所述像素点在所述第一图像和所述第二图像中的值确定，所述像素点的值包括：RGB值或灰度值。
优选的，所述第三图像中一像素点M的值的计算公式如下：
p3＝k×p1+(1-k)×p2；
其中，p1、p2、p3分别是像素点M在所述第一图像、所述第二图像、所述第三图像中的值；
k为根据像素点M与所述预设注视点的距离，确定的比例；
所述第三图像的清晰度的降低趋势与所述k的值的降低趋势相同。
优选的，所述VR设备100还包括：
拼接模块，用于对所述第二图像和所述第三图像进行反畸变处理，拼接反畸变处理后的第二图像和反畸变处理后的第三图像，得到第四图像；
显示模块，用于解析所述第四图像，显示解析后的图像。
在一具体应用场景中，VR设备中的处理器执行拼接模块的功能；VR设备中的驱动电路(DriverIC)执行显示模块的功能，即对第四图像进行解析显示。
优选的，所述获取模块101，用于在视场角坐标系中，获取所述第一视场角的范围值和所述第二视场角的范围值；根据所述第一视场角的范围值和所述第二视场角的范围值，得到所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系；
所述显示模块，用于根据所述VR设备的显示尺寸，拉伸所述第四图像中所述反畸变处理后的第二图像，显示拉伸后的图像；根据所述对应关系，将所述第四图像中所述反畸变处理后的第三图像显示于所述拉伸后的图像的对应位置。
优选的，所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系如下：
其中，U、V是所述第一图像的图像坐标；
u、v是所述第二图像的图像坐标；
fup、fdown、fleft和fright为所述第一视场角在所述视场角坐标系中的范围值，所述第一视场角的范围值为所述第一视场角的正切值；
Fup、Fdown、Fleft和Fright为所述第二视场角在所述视场角坐标系中的范围值，所述第二视场角的范围值为所述第二视场角的正切值。
优选的，所述第一分辨率为1440*1440，所述第二分辨率为1080*1080。
本发明实施例提供的VR设备，能够实现图像融合方法实施例中的各个过程，为避免重复，这里不再赘述。
请参考图11，图11为本发明实施例三的VR设备的结构示意图，该VR设备110包括处理器111，存储器112，存储在存储器112上并可在所述处理器111上运行的计算机程序，该计算机程序被处理器111执行时实现如下步骤：
基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；
基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；
融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；
其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。
本发明实施例提供的VR设备，通过融合第一图像和第二图像，在不提升显卡的配置的同时，能够得到清晰度过渡良好的第三图像，且第三图像的清晰度变化趋势能够很好地满足人眼需求，提升了用户的视觉体验。
优选的，计算机程序被处理器111执行时还可实现如下步骤：
所述融合所述第一图像和所述第二图像，得到第三图像的步骤包括：
计算所述第三图像中每一像素点的值，其中，每一像素点的值根据所述像素点与所述预设注视点的距离，所述像素点在所述第一图像和所述第二图像中的值确定，所述像素点的值包括：RGB值或灰度值。
优选的，所述第三图像中一像素点M的值的计算公式如下：
p3＝k×p1+(1-k)×p2；
其中，p1、p2、p3分别是像素点M在所述第一图像、所述第二图像、所述第三图像中的值；
k为根据像素点M与所述预设注视点的距离，确定的比例；
所述第三图像的清晰度的降低趋势与所述k的值的降低趋势相同。
优选的，计算机程序被处理器111执行时还可实现如下步骤：
所述融合所述第一图像和所述第二图像，得到第三图像的步骤之后，还包括：
对所述第二图像和所述第三图像进行反畸变处理，拼接反畸变处理后的第二图像和反畸变处理后的第三图像，得到第四图像；
解析所述第四图像，显示解析后的图像。
优选的，计算机程序被处理器111执行时还可实现如下步骤：
所述基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像的步骤包括：
在视场角坐标系中，获取所述第一视场角的范围值和所述第二视场角的范围值；
根据所述第一视场角的范围值和所述第二视场角的范围值，得到所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系；
所述解析所述第四图像，显示解析后的图像的步骤包括：
根据所述VR设备的显示尺寸，拉伸所述第四图像中所述反畸变处理后的第二图像，显示拉伸后的图像；
根据所述对应关系，将所述第四图像中所述反畸变处理后的第三图像显示于所述拉伸后的图像的对应位置。
优选的，所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系如下：
其中，U、V是所述第一图像的图像坐标；
u、v是所述第二图像的图像坐标；
fup、fdown、fleft和fright为所述第一视场角在所述视场角坐标系中的范围值，所述第一视场角的范围值为所述第一视场角的正切值；
Fup、Fdown、Fleft和Fright为所述第二视场角在所述视场角坐标系中的范围值，所述第二视场角的范围值为所述第二视场角的正切值。
优选的，所述第一分辨率为1440*1440，所述第二分辨率为1080*1080。
本发明实施例四提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例一中图像融合方法中的步骤。具体工作过程与上述对应实施例一中的一致，故在此不再赘述，详细请参阅以上对应实施例中方法步骤的说明。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种图像融合方法，应用于虚拟现实VR设备，其特征在于，包括：
基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；
基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；
融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；
其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。
2.如权利要求1所述的图像融合方法，其特征在于，所述融合所述第一图像和所述第二图像，得到第三图像的步骤包括：
计算所述第三图像中每一像素点的值，其中，每一像素点的值根据所述像素点与所述预设注视点的距离，所述像素点在所述第一图像和所述第二图像中的值确定，所述像素点的值包括：RGB值或灰度值。
3.如权利要求2所述的图像融合方法，其特征在于，
所述第三图像中一像素点M的值的计算公式如下：
p3＝k×p1+(1-k)×p2；
其中，p1、p2、p3分别是像素点M在所述第一图像、所述第二图像、所述第三图像中的值；
k为根据像素点M与所述预设注视点的距离，确定的比例；
所述第三图像的清晰度的降低趋势与所述k的值的降低趋势相同。
4.如权利要求1所述的图像融合方法，其特征在于，所述融合所述第一图像和所述第二图像，得到第三图像的步骤之后，还包括：
对所述第二图像和所述第三图像进行反畸变处理，拼接反畸变处理后的第二图像和反畸变处理后的第三图像，得到第四图像；
解析所述第四图像，显示解析后的图像。
5.如权利要求4所述的图像融合方法，其特征在于，
所述基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像的步骤包括：
在视场角坐标系中，获取所述第一视场角的范围值和所述第二视场角的范围值；
根据所述第一视场角的范围值和所述第二视场角的范围值，得到所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系；
所述解析所述第四图像，显示解析后的图像的步骤包括：
根据所述VR设备的显示尺寸，拉伸所述第四图像中所述反畸变处理后的第二图像，显示拉伸后的图像；
根据所述对应关系，将所述第四图像中所述反畸变处理后的第三图像显示于所述拉伸后的图像的对应位置。
6.如权利要求5所述的图像融合方法，其特征在于，所述第一图像的图像坐标和所述第二图像的图像坐标的对应关系如下：
其中，U、V是所述第一图像的图像坐标；
u、v是所述第二图像的图像坐标；
fup、fdown、fleft和fright为所述第一视场角在所述视场角坐标系中的范围值，所述第一视场角的范围值为所述第一视场角的正切值；
Fup、Fdown、Fleft和Fright为所述第二视场角在所述视场角坐标系中的范围值，所述第二视场角的范围值为所述第二视场角的正切值。
7.如权利要求1所述的图像融合方法，其特征在于，所述第一分辨率为1440*1440，所述第二分辨率为1080*1080。
8.一种VR设备，其特征在于，包括：
获取模块，用于基于预设注视点和第一视场角，以第一分辨率对输入数据进行渲染，获得第一图像；基于所述预设注视点和第二视场角，以第二分辨率对所述输入数据进行渲染，获得第二图像；
融合模块，用于融合所述第一图像和所述第二图像，得到第三图像，所述第三图像的清晰度由中心至边缘呈降低趋势，且所述第三图像的视场角为所述第一视场角；
其中，所述第一视场角小于所述第二视场角，所述第一分辨率大于所述第二分辨率。
9.一种VR设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像融合方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072471.6A CN109741289B (zh) | 2019-01-25 | 2019-01-25 | 一种图像融合方法和vr设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072471.6A CN109741289B (zh) | 2019-01-25 | 2019-01-25 | 一种图像融合方法和vr设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109741289A true CN109741289A (zh) | 2019-05-10 |
| CN109741289B CN109741289B (zh) | 2021-12-21 |
Family
ID=66366111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910072471.6A Active CN109741289B (zh) | 2019-01-25 | 2019-01-25 | 一种图像融合方法和vr设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109741289B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110488977A (zh) * | 2019-08-21 | 2019-11-22 | 京东方科技集团股份有限公司 | 虚拟现实显示方法、装置、系统及存储介质 |
| CN110830783A (zh) * | 2019-11-28 | 2020-02-21 | 歌尔科技有限公司 | 一种vr影像处理方法、装置、vr眼镜及可读存储介质 |
| CN111338591A (zh) * | 2020-02-25 | 2020-06-26 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
| CN113209604A (zh) * | 2021-04-28 | 2021-08-06 | 杭州小派智能科技有限公司 | 一种大视角vr渲染的方法和系统 |
| WO2021184933A1 (zh) * | 2020-03-20 | 2021-09-23 | 华为技术有限公司 | 一种人体三维模型重建方法 |
| CN113570617A (zh) * | 2021-06-24 | 2021-10-29 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN115546019A (zh) * | 2022-01-10 | 2022-12-30 | 荣耀终端有限公司 | 一种渲染数据的采集方法及电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0905738A2 (en) * | 1997-09-29 | 1999-03-31 | Hitachi, Ltd. | Display device and driving method thereof |
| CN103814382A (zh) * | 2012-09-14 | 2014-05-21 | 华为技术有限公司 | 移动终端的增强现实处理方法及装置 |
| CN105761233A (zh) * | 2014-12-15 | 2016-07-13 | 南京理工大学 | 一种基于fpga的实时全景图像拼接方法 |
| CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
| CN108076384A (zh) * | 2018-01-02 | 2018-05-25 | 京东方科技集团股份有限公司 | 一种基于虚拟现实的图像处理方法、装置、设备和介质 |
| CN108093188A (zh) * | 2017-12-25 | 2018-05-29 | 北京航空航天大学 | 一种基于混合投影变换模型的大视场视频全景图拼接的方法 |
| CN108090880A (zh) * | 2017-12-29 | 2018-05-29 | 杭州联络互动信息科技股份有限公司 | 一种图像的反畸变处理方法以及装置 |
| CN108287678A (zh) * | 2018-03-06 | 2018-07-17 | 京东方科技集团股份有限公司 | 一种基于虚拟现实的图像处理方法、装置、设备和介质 |
| CN108665521A (zh) * | 2018-05-16 | 2018-10-16 | 京东方科技集团股份有限公司 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
| KR20180120876A (ko) * | 2017-04-28 | 2018-11-07 | 김선호 | 디지털 사이니지 기술을 접목한 ｖｒ 미디어파사드 공간 매핑 방법 |
| CN108924629A (zh) * | 2018-08-28 | 2018-11-30 | 恒信东方文化股份有限公司 | 一种vr图像处理方法 |
| CN108924533A (zh) * | 2018-08-17 | 2018-11-30 | Oppo（重庆）智能科技有限公司 | 增强现实显示方法和装置、存储介质、增强现实设备 |
| CN109253868A (zh) * | 2018-10-24 | 2019-01-22 | 京东方科技集团股份有限公司 | 一种视场角测量方法及装置 |
-
2019
- 2019-01-25 CN CN201910072471.6A patent/CN109741289B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0905738A2 (en) * | 1997-09-29 | 1999-03-31 | Hitachi, Ltd. | Display device and driving method thereof |
| CN103814382A (zh) * | 2012-09-14 | 2014-05-21 | 华为技术有限公司 | 移动终端的增强现实处理方法及装置 |
| CN105761233A (zh) * | 2014-12-15 | 2016-07-13 | 南京理工大学 | 一种基于fpga的实时全景图像拼接方法 |
| KR20180120876A (ko) * | 2017-04-28 | 2018-11-07 | 김선호 | 디지털 사이니지 기술을 접목한 ｖｒ 미디어파사드 공간 매핑 방법 |
| CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
| CN108093188A (zh) * | 2017-12-25 | 2018-05-29 | 北京航空航天大学 | 一种基于混合投影变换模型的大视场视频全景图拼接的方法 |
| CN108090880A (zh) * | 2017-12-29 | 2018-05-29 | 杭州联络互动信息科技股份有限公司 | 一种图像的反畸变处理方法以及装置 |
| CN108076384A (zh) * | 2018-01-02 | 2018-05-25 | 京东方科技集团股份有限公司 | 一种基于虚拟现实的图像处理方法、装置、设备和介质 |
| CN108287678A (zh) * | 2018-03-06 | 2018-07-17 | 京东方科技集团股份有限公司 | 一种基于虚拟现实的图像处理方法、装置、设备和介质 |
| CN108665521A (zh) * | 2018-05-16 | 2018-10-16 | 京东方科技集团股份有限公司 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
| CN108924533A (zh) * | 2018-08-17 | 2018-11-30 | Oppo（重庆）智能科技有限公司 | 增强现实显示方法和装置、存储介质、增强现实设备 |
| CN108924629A (zh) * | 2018-08-28 | 2018-11-30 | 恒信东方文化股份有限公司 | 一种vr图像处理方法 |
| CN109253868A (zh) * | 2018-10-24 | 2019-01-22 | 京东方科技集团股份有限公司 | 一种视场角测量方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| GABRIELE BLESER等: "Advanced tracking through efficient image processing and visual-inertial sensor fusion", 《2008 IEEE VIRTUAL REALITY CONFERENCE》 * |
| 李光鑫等: "加权多分辨率图像融合的快速算法", 《中国图象图形学报》 * |
| 李海丽等: "超大视场近眼显示设备的畸变校正及图像渲染", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 范文涛等: "一种基于像素清晰度的多聚焦图像融合方法", 《郑州轻工业学院学报（自然科学版）》 * |
| 虚拟小法师: "深度分析VR头显分辨率：渲染、失真与校正", 《HTTPS://GAMEINSTITUTE.QQ.COM/COMMUNITY/DETAIL/122747》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110488977A (zh) * | 2019-08-21 | 2019-11-22 | 京东方科技集团股份有限公司 | 虚拟现实显示方法、装置、系统及存储介质 |
| CN110830783A (zh) * | 2019-11-28 | 2020-02-21 | 歌尔科技有限公司 | 一种vr影像处理方法、装置、vr眼镜及可读存储介质 |
| CN110830783B (zh) * | 2019-11-28 | 2021-06-01 | 歌尔光学科技有限公司 | 一种vr影像处理方法、装置、vr眼镜及可读存储介质 |
| US11812008B2 (en) | 2019-11-28 | 2023-11-07 | Goertek Inc. | VR image processing method and device, VR glasses, and readable storage medium |
| CN111338591A (zh) * | 2020-02-25 | 2020-06-26 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
| WO2021169578A1 (zh) * | 2020-02-25 | 2021-09-02 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
| US11804194B2 (en) | 2020-02-25 | 2023-10-31 | Beijing Boe Optoelectronics Technology Co., Ltd. | Virtual reality display device and display method |
| WO2021184933A1 (zh) * | 2020-03-20 | 2021-09-23 | 华为技术有限公司 | 一种人体三维模型重建方法 |
| CN113209604A (zh) * | 2021-04-28 | 2021-08-06 | 杭州小派智能科技有限公司 | 一种大视角vr渲染的方法和系统 |
| CN113570617A (zh) * | 2021-06-24 | 2021-10-29 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN113570617B (zh) * | 2021-06-24 | 2022-08-23 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN115546019A (zh) * | 2022-01-10 | 2022-12-30 | 荣耀终端有限公司 | 一种渲染数据的采集方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109741289B (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741289A (zh) | 一种图像融合方法和vr设备 | |
| US10129520B2 (en) | Apparatus and method for a dynamic “region of interest” in a display system | |
| US11632537B2 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
| US11551602B2 (en) | Non-uniform resolution, large field-of-view headworn display | |
| US9671626B2 (en) | Apparatus and method for augmenting human vision by means of adaptive polarization filter grids | |
| US10082867B2 (en) | Display control method and display control apparatus | |
| CN107516335A (zh) | 虚拟现实的图形渲染方法和装置 | |
| US20100110069A1 (en) | System for rendering virtual see-through scenes | |
| WO2019184251A1 (en) | Rendering method, computer product and display apparatus | |
| Wheelwright et al. | Field of view: not just a number | |
| Pohl et al. | Combining eye tracking with optimizations for lens astigmatism in modern wide-angle HMDs | |
| US11804194B2 (en) | Virtual reality display device and display method | |
| US20230179734A1 (en) | Video image display method and apparatus, multimedia device and storage medium | |
| CN108427194A (zh) | 一种基于增强现实的显示方法及设备 | |
| Zannoli et al. | The perceptual consequences of curved screens | |
| CN108957742B (zh) | 一种实现画面虚拟透明动态调节的增强现实头盔及方法 | |
| CN110022473A (zh) | 全景视频图像的显示方法 | |
| WO2021184931A1 (zh) | 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统 | |
| US10424236B2 (en) | Method, apparatus and system for displaying an image having a curved surface display effect on a flat display panel | |
| CN207264016U (zh) | 图像显示装置 | |
| CN108445636A (zh) | 一种基于傍轴成像的虚拟现实视镜 | |
| CN114446262B (zh) | 色偏矫正方法和头戴显示装置 | |
| Jabar et al. | Globally and locally optimized Pannini projection for high FoV rendering of 360° images | |
| CN111554223A (zh) | 显示设备的画面调节方法、显示设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220525 Address after: 100015 No. 10, Jiuxianqiao Road, Beijing, Chaoyang District Patentee after: BOE TECHNOLOGY GROUP Co.,Ltd. Patentee after: Chengdu BOE Smart Technology Co., Ltd Address before: 100015 No. 10, Jiuxianqiao Road, Beijing, Chaoyang District Patentee before: BOE TECHNOLOGY GROUP Co.,Ltd. Patentee before: BOE Optoelectronics Technology |
|
| TR01 | Transfer of patent right |