CN106454315A - 一种自适应虚拟视图转立体视图的方法、装置及显示设备 - Google Patents
一种自适应虚拟视图转立体视图的方法、装置及显示设备 Download PDFInfo
- Publication number
- CN106454315A CN106454315A CN201610956479.5A CN201610956479A CN106454315A CN 106454315 A CN106454315 A CN 106454315A CN 201610956479 A CN201610956479 A CN 201610956479A CN 106454315 A CN106454315 A CN 106454315A
- Authority
- CN
- China
- Prior art keywords
- matrix
- dimensional view
- screen
- human eye
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明适用于立体显示技术领域，提供了一种自适应虚拟视图转立体视图的方法、装置及显示设备，该方法包括：每隔预设时长获得观看者的人脸图像、人眼位置和观看距离；根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，并旋转虚拟视图获得立体视图矩阵；根据场景中心、观看距离、人眼位置计算立体视图矩阵中各视点的错切角度；对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小；生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。本发明，实现了立体显示效果随观看者进行可调。
Description
技术领域
本发明属于立体显示技术领域，尤其涉及一种自适应虚拟视图转立体视图的方法、装置及显示设备。
背景技术
随着立体显示技术的发展，3D电视、3D手机、3D眼镜等虚拟现实或增强现实等显示产品已经走入日常生活，而这些当前这些产品都是通过将2D视频通过视图转换方法转换为3D视频进行立体显示，显示不能实时根据人眼与屏幕的角度、观看者距离等变化因素改变不同视角和景深的立体场景，播放的立体显示的景深固定，特别有损儿童视力，综上所述，现有技术所呈现的3D效果不够理想，观看舒适度差，严重影响行业的发展。
发明内容
本发明实施例提供了一种自适应虚拟视图转立体视图的方法、装置及显示设备，旨在解决现有技术不能实时根据人眼与屏幕的角度、观看者距离等变化因素改变不同视角和景深的立体场景，播放的立体显示的景深固定，特别有损儿童视力的问题。
一方面，提供一种自适应虚拟视图转立体视图的方法，所述方法包括：
利用人眼追踪模块每隔预设时长获得观看者的人脸图像、人眼位置和观看距离；
利用第一图像处理模块根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵；
利用错切角度计算模块根据场景中心、观看距离、人眼位置确定立体视图矩阵中各视点的错切角度；
利用参数调整模块对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小；
利用第二图像处理模块根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
进一步地，所述利用第一图像处理模块根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵具体包括：
在以显示模块的屏幕中心为原点的三维空间中，根据人眼位置、观看距离和场景中心到屏幕的距离，分别计算绕Y轴旋转角度α和绕X轴旋转角度β，
其中，a为人眼到屏幕中心的连线在XOZ平面的显示与z轴正半轴的夹角，L为观看距离，Z为场景中心到屏幕的距离，b为人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角；
根据Y轴旋转角度α和绕X轴旋转角度β，获得第一旋转矩阵M1和第二旋转矩阵M2，M1和M2具体公式如下：
虚拟视图A右乘第一旋转矩阵M1和第二旋转矩阵M2，获得立体视图矩阵A’，M1和M2具体公式如下：
A’＝M1·M2·A 公式5
进一步地，所述如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小具体包括：
如果观看者年龄小于预设年龄，将场景中心到屏幕的距离增加预设距离和/或将错切角度乘调整系数t，获得调整后的场景中心到屏幕的距离和/或错切角度，其中，0＜t＜1。
进一步地，所述利用第二图像处理模块根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图具体包括：
根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，其中，
设场景中任意点坐标(x′，y′，z′)，错切后为(x″，y″，z″)，根据立体视图矩阵和切错角度可知X轴负向视点的错切表达式如下：
对应的错切矩阵为：
其中，zg为预设距离，t为不同瞳距对应的错切角度的调整系数，t·θ为调整后的错切角度；
根据立体视图矩阵和切错角度可知X轴正向视点的错切表达式如下：
对应的错切矩阵为：
错切矩阵M3右乘与之对应的立体视图矩阵生成各个视点的立体视图A”，其中，
A”＝M3·A’＝M3·M1·M2·A
进一步地，所述利用错切角度计算模块根据场景中心、观看距离、人眼位置确定各视点的错切角度之后，还包括：
利用第三图像处理模块根据接收到的用户设置的错切角度以及观看距离，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
另一方面，提供一种自适应虚拟视图转立体视图的方法装置，所述装置包括：
人眼追踪模块，用于每隔预设时长获得观看者的人脸图像、人眼位置和观看距离；
第一图像处理模块，用于根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵；
错切角度计算模块，用于根据场景中心、观看距离、人眼位置确定立体视图矩阵中各视点的错切角度；
参数调整模块，用于对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小；
第二图像处理模块，用于根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
进一步地，所述第一图像处理模块具体用于在以显示模块的屏幕中心为原点的三维空间中，根据人眼位置、观看距离和场景中心到屏幕的距离，分别计算绕Y轴旋转角度α和绕X轴旋转角度β，
其中，a为人眼到屏幕中心的连线在XOZ平面的显示与z轴正半轴的夹角，L为观看距离，Z为场景中心到屏幕的距离，b为人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角；
根据Y轴旋转角度α和绕X轴旋转角度β，获得第一旋转矩阵M1和第二旋转矩阵M2，M1和M2具体公式如下：
虚拟视图A右乘第一旋转矩阵M1和第二旋转矩阵M2，获得立体视图矩阵A’，M1和M2具体公式如下：
A’＝M1·M2·A公式5
进一步地，所述参数调整模块具体用于如果观看者年龄小于预设年龄，将场景中心到屏幕的距离增加预设距离和/或将错切角度乘调整系数t，获得调整后的场景中心到屏幕的距离和/或错切角度，其中，0＜t＜1。
进一步地，所述第二图像处理模块具体用于根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，其中，
设场景中任意点坐标(x′，y′，z′)，错切后为(x″，y″，z″)，根据立体视图矩阵和切错角度可知X轴负向视点的错切表达式如下：
对应的错切矩阵为：
其中，zg为预设距离，t为不同瞳距对应的错切角度的调整系数，t·θ为调整后的错切角度；
根据立体视图矩阵和切错角度可知X轴正向视点的错切表达式如下：
对应的错切矩阵为：
错切矩阵M3右乘与之对应的立体视图矩阵生成各个视点的立体视图A”，其中，
A”＝M3·A’＝M3·M1·M2·A
进一步地，所述装置还包括：
第三图像处理模块，根据接收到的用户设置的错切角度以及观看距离，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
再一方面，提供一种显示设备，包括如上所述的自适应虚拟视图转立体视图的装置，所述显示设备包括3d手机、3d平板、3d电脑或3d电视。
本申请实施例包括以下优点：
根据人脸年龄识别检测到有儿童观看时，调整立体显示的景深，减弱3D效果，有助于保护儿童视力，扩大产品的使用人群。
附图说明
图1是本发明实施例一提供的自适应虚拟视图转立体视图的方法的流程图；
图2是本发明实施例一提供的人眼位置坐标与屏幕的夹角示意图；
图3是本发明实施例一提供的虚拟场景绕Y轴旋转角度与人眼位置、场景中心以及屏幕的位置关系示意图；
图4是本发明实施例一提供的错切角度与场景中观看者的位置、视点中心坐标以及视点位置的关系示意图；
图5本发明实施例二提供的自适应虚拟视图转立体视图装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的实现进行详细描述：
实施例一
图1示出了本发明实施例一提供的自适应虚拟视图转立体视图的方法的实现流程，详述如下：
在步骤S101中，利用人眼追踪模块每隔预设时长获得观看者的人脸图像、人眼位置和观看距离。
在本实施例中，人眼追踪模块包括摄像头。预设时长是预先设置获取观看者的频率时长，优选的，预设时长取值为30s。
在步骤S102中，利用第一图像处理模块根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵。
在本实施例中，如图2示出了人眼位置坐标与屏幕的夹角a、b，图3示出了观看距离L和场景中心到屏幕的距离Z，本步骤S102具体包括以下子步骤：
子步骤S11，在以显示模块的屏幕中心为原点的三维空间中，根据人眼位置、观看距离和场景中心到屏幕的距离，分别计算绕Y轴旋转角度α和绕X轴旋转角度β，
其中，a为人眼到屏幕中心的连线在XOZ平面的显示与z轴正半轴的夹角，L为观看距离，Z为场景中心到屏幕的距离，b为人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角；
子步骤S12，根据Y轴旋转角度α和绕X轴旋转角度β，获得第一旋转矩阵M1和第二旋转矩阵M2，M1和M2具体公式如下：
子步骤S13，虚拟视图A右乘第一旋转矩阵M1和第二旋转矩阵M2，获得立体视图矩阵A’，M1和M2具体公式如下：
A’＝M1·M2·A 公式5。
在步骤S103中，利用错切角度计算模块根据场景中心、观看距离、人眼位置确定立体视图矩阵中各视点的错切角度。
在步骤S104中，利用参数调整模块通过人脸年龄识别算法对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小。
在本实施例中，人脸年龄识别算法包括AGES算法、基于Gabor小波的人脸年龄识别算法。所述错切变换，是指三维坐标的y值和z值不变，x值以z轴为依赖轴呈线性变换。如图4示出了旋转后的新坐标系O`-x′y′z′，原点O`与原坐标系中视点的中心位置重合，z′轴的正方向沿着原坐标系中观察者的坐标zg指向视点中心坐标，所述的错切变换是指视点的y′和z′不变，x′值以z′轴为依赖轴呈线性变换，设错切角度θ是指视点坐标与z′轴正方向夹角，如图4示出了4个视点包括视点1、视点2、视点3和视点4，其中，视点1和视点4是分别是左视图和右视图对应的一对视点，视点2和视点3分别是左视图和右视图对应的一对视点，如图4所示，视点3与z′轴的正方向的夹角为θ，错切之后的任一视点的坐标用(x″，y″，z″)表示，本步骤S104具体包括：利用参数调整模块通过人脸年龄识别算法对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，将场景中心到屏幕的距离增加预设距离和/或将错切角度乘调整系数t，获得调整后的场景中心到屏幕的距离和/或错切角度，其中，0＜t＜1，优选的，1\3＜t＜1\2。
如果观看者年龄大于等于预设年龄，则场景中心到屏幕的距离和/或错切角度大小不变。
在本实施例中，一种立体效果调整方法是，通过改变zg和θ角度大小，可以改善立体效果，当zg↑时，Z-zg↓，立体效果减弱，反之，则立体效果增强；当θ↑时tanθ↑，立体效果增强，反之，则立体效果减弱。可通过适当的修改zg和θ，实现较好的3D立体效果体验。
另外，还可以通过调整观看距离来改变立体效果观看距离D增大时，增加立体景深，观看距离D减小时，降低立体景深。
在步骤S105中，利用第二图像处理模块根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
在本实施例中，本步骤S105具体包括：
子步骤21，根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，其中，
设场景中任意点坐标(x′，y′，z′)，错切后为(x″，y″，z″)，根据立体视图矩阵和切错角度可知X轴负向视点的错切表达式如下：
对应的错切矩阵为：
其中，zg为预设距离，t为不同瞳距对应的错切角度的调整系数，t·θ为调整后的错切角度；
根据立体视图矩阵和切错角度可知X轴正向视点的错切表达式如下：
对应的错切矩阵为：
子步骤22，错切矩阵M3右乘与之对应的立体视图矩阵生成各个视点的立体视图A”，其中，
A”＝M3·A’＝M3·M1·M2·A。
优选的，在步骤S103之后，所述方法还包括：利用第三图像处理模块根据接收到的用户设置的错切角度以及观看距离，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
在本实施例中，根据用户自己的设置来调整立体显示的景深，可满足用户的不同观看需要。
本实施例，根据人脸年龄识别检测到有儿童观看时，调整立体显示的景深，减弱3D效果，有助于保护儿童视力，扩大产品的使用人群。
实施例二
图5示出了本发明实施例二提供的自适应虚拟视图转立体视图的方法装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。在本实施例中，该自适应虚拟视图转立体视图的方法装置包括：
其中，人眼追踪模块51，用于每隔预设时长获得观看者的人脸图像、人眼位置和观看距离；
第一图像处理模块52，用于根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵；
错切角度计算模块53，用于根据场景中心、观看距离、人眼位置确定立体视图矩阵中各视点的错切角度；
参数调整模块54，用于通过人脸年龄识别算法对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小；
第二图像处理模块55，用于根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
进一步地，所述第一图像处理模块52具体用于在以显示模块的屏幕中心为原点的三维空间中，根据人眼位置、观看距离和场景中心到屏幕的距离，分别计算绕Y轴旋转角度α和绕X轴旋转角度β，
其中，a为人眼到屏幕中心的连线在XOZ平面的显示与z轴正半轴的夹角，L为观看距离，Z为场景中心到屏幕的距离，b为人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角；
根据Y轴旋转角度α和绕X轴旋转角度β，获得第一旋转矩阵M1和第二旋转矩阵M2，M1和M2具体公式如下：
虚拟视图A右乘第一旋转矩阵M1和第二旋转矩阵M2，获得立体视图矩阵A’，M1和M2具体公式如下：
A’＝M1·M2·A 公式5
进一步地，所述参数调整模块54具体用于如果观看者年龄小于预设年龄，将场景中心到屏幕的距离增加预设距离和/或将错切角度乘调整系数t，获得调整后的场景中心到屏幕的距离和/或错切角度，其中，0＜t＜1。
进一步地，所述第二图像处理模块55具体用于根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，其中，
设场景中任意点坐标(x′，y′，z′)，错切后为(x″，y″，z″)，根据立体视图矩阵和切错角度可知X轴负向视点的错切表达式如下：
对应的错切矩阵为：
其中，zg为预设距离，t为不同瞳距对应的错切角度的调整系数，t·θ为调整后的错切角度；
根据立体视图矩阵和切错角度可知X轴正向视点的错切表达式如下：
对应的错切矩阵为：
错切矩阵M3右乘与之对应的立体视图矩阵生成各个视点的立体视图A”，其中，
A”＝M3·A’＝M3·M1·M2·A
进一步地，所述装置还包括：
第三图像处理模块，根据接收到的用户设置的错切角度以及观看距离，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
本实施例，根据人脸年龄识别检测到有儿童观看时，调整立体显示的景深，减弱3D效果，有助于保护儿童视力，扩大产品的使用人群。
本发明实施例提供的自适应虚拟视图转立体视图的方法装置可以应用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、控制器、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的控制器。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令控制器的制造品，该指令控制器实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种自适应虚拟视图转立体视图的方法、装置及显示设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种自适应虚拟视图转立体视图的方法，其特征在于，所述方法包括：
利用人眼追踪模块每隔预设时长获得观看者的人脸图像、人眼位置和观看距离；
利用第一图像处理模块根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵；
利用错切角度计算模块根据场景中心、观看距离、人眼位置确定立体视图矩阵中各视点的错切角度；
利用参数调整模块对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小；
利用第二图像处理模块根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
2.根据权利要求1所述的自适应虚拟视图转立体视图的方法，其特征在于，所述利用第一图像处理模块根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵具体包括：
在以显示模块的屏幕中心为原点的三维空间中，根据人眼位置、观看距离和场景中心到屏幕的距离，分别计算绕Y轴旋转角度α和绕X轴旋转角度β，
其中，a为人眼到屏幕中心的连线在XOZ平面的显示与z轴正半轴的夹角，L为观看距离，Z为场景中心到屏幕的距离，b为人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角；
根据Y轴旋转角度α和绕X轴旋转角度β，获得第一旋转矩阵M1和第二旋转矩阵M2，M1和M2具体公式如下：
虚拟视图A右乘第一旋转矩阵M1和第二旋转矩阵M2，获得立体视图矩阵A’，M1和M2具体公式如下：
A’＝M1·M2·A 公式5
3.根据权利要求1或2所述的自适应虚拟视图转立体视图的方法，其特征在于，所述如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小具体包括：
如果观看者年龄小于预设年龄，将场景中心到屏幕的距离增加预设距离和/或将错切角度乘调整系数t，获得调整后的场景中心到屏幕的距离和/或错切角度，其中，0＜t＜1。
4.根据权利要求3所述的自适应虚拟视图转立体视图的方法，其特征在于，所述利用第二图像处理模块根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图具体包括：
根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，其中，
设场景中任意点坐标(x′，y′，z′)，错切后为(x″，y″，z″)，根据立体视图矩阵和切错角度可知X轴负向视点的错切表达式如下：
对应的错切矩阵为：
其中，zg为预设距离，t为不同瞳距对应的错切角度的调整系数，t·θ为调整后的错切角度；
根据立体视图矩阵和切错角度可知X轴正向视点的错切表达式如下：
对应的错切矩阵为：
错切矩阵M3右乘与之对应的立体视图矩阵生成各个视点的立体视图A”，其中，
A”＝M3·A’＝M3·M1·M2·A
5.根据权利要求1所述的自适应虚拟视图转立体视图的方法，其特征在于，所述利用错切角度计算模块根据场景中心、观看距离、人眼位置确定各视点的错切角度之后，还包括：
利用第三图像处理模块根据接收到的用户设置的错切角度以及观看距离，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
6.一种自适应虚拟视图转立体视图的装置，其特征在于，所述装置包括：
人眼追踪模块，用于每隔预设时长获得观看者的人脸图像、人眼位置和观看距离；
第一图像处理模块，用于根据人眼位置、观看距离以及显示模块的屏幕中心确定虚拟视图的旋转角度，按照旋转角度旋转虚拟视图获得立体视图矩阵；
错切角度计算模块，用于根据场景中心、观看距离、人眼位置确定立体视图矩阵中各视点的错切角度；
参数调整模块，用于对观看者的人脸图像进行分析，获得观看者年龄，如果观看者年龄小于预设年龄，调整场景中心到屏幕的距离和/或错切角度大小；
第二图像处理模块，用于根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
7.根据权利要求6所述的自适应虚拟视图转立体视图的装置，其特征在于，所述第一图像处理模块具体用于在以显示模块的屏幕中心为原点的三维空间中，根据人眼位置、观看距离和场景中心到屏幕的距离，分别计算绕Y轴旋转角度α和绕X轴旋转角度β，
其中，a为人眼到屏幕中心的连线在XOZ平面的显示与z轴正半轴的夹角，L为观看距离，Z为场景中心到屏幕的距离，b为人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角；
根据Y轴旋转角度α和绕X轴旋转角度β，获得第一旋转矩阵M1和第二旋转矩阵M2，M1和M2具体公式如下：
虚拟视图A右乘第一旋转矩阵M1和第二旋转矩阵M2，获得立体视图矩阵A’，M1和M2具体公式如下：
A’＝M1·M2·A 公式5
8.根据权利要求6或7所述的自适应虚拟视图转立体视图的装置，其特征在于，所述参数调整模块具体用于如果观看者年龄小于预设年龄，将场景中心到屏幕的距离增加预设距离和/或将错切角度乘调整系数t，获得调整后的场景中心到屏幕的距离和/或错切角度，其中，0＜t＜1。
9.根据权利要求8所述的自适应虚拟视图转立体视图的装置，其特征在于，所述第二图像处理模块具体用于根据调整后的场景中心到屏幕的距离和/或错切角度，生成与人眼位置一一对应的错切矩阵，其中，
设场景中任意点坐标(x′，y′，z′)，错切后为(x″，y″，z″)，根据立体视图矩阵和切错角度可知X轴负向视点的错切表达式如下：
对应的错切矩阵为：
其中，zg为预设距离，t为不同瞳距对应的错切角度的调整系数，t·θ为调整后的错切角度；
根据立体视图矩阵和切错角度可知X轴正向视点的错切表达式如下：
对应的错切矩阵为：
错切矩阵M3右乘与之对应的立体视图矩阵生成各个视点的立体视图A”，其中，
A”＝M3·A’＝M3·M1·M2·A
10.根据权利要求6所述的自适应虚拟视图转立体视图的装置，其特征在于，所述装置还包括：
第三图像处理模块，根据接收到的用户设置的错切角度以及观看距离，生成与人眼位置一一对应的错切矩阵，错切矩阵右乘与之对应的立体视图矩阵生成各个视点的立体视图。
11.一种显示设备，其特征在于，包括权利要求6至10任一项所述的自适应虚拟视图转立体视图的装置。
12.根据权利要求11所述的显示设备，其特征在于，所述显示设备包括3d手机、3d平板、3d电脑或3d电视。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610956479.5A CN106454315A (zh) | 2016-10-26 | 2016-10-26 | 一种自适应虚拟视图转立体视图的方法、装置及显示设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610956479.5A CN106454315A (zh) | 2016-10-26 | 2016-10-26 | 一种自适应虚拟视图转立体视图的方法、装置及显示设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106454315A true CN106454315A (zh) | 2017-02-22 |
Family
ID=58179376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610956479.5A Pending CN106454315A (zh) | 2016-10-26 | 2016-10-26 | 一种自适应虚拟视图转立体视图的方法、装置及显示设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106454315A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108459722A (zh) * | 2018-06-04 | 2018-08-28 | 北京虚拟映画科技有限公司 | 虚拟观影装置和系统 |
| CN108921000A (zh) * | 2018-04-16 | 2018-11-30 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
| CN112306222A (zh) * | 2019-08-06 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 一种增强现实方法、装置、设备及存储介质 |
| CN113238656A (zh) * | 2021-05-25 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 三维图像的显示方法、装置、电子设备及存储介质 |
| CN113379897A (zh) * | 2021-06-15 | 2021-09-10 | 广东未来科技有限公司 | 应用于3d游戏渲染引擎的自适应虚拟视图转立体视图的方法及装置 |
| WO2023051589A1 (zh) * | 2021-09-28 | 2023-04-06 | 广东未来科技有限公司 | 一种2d游戏的裸眼3d显示的方法和系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102111633A (zh) * | 2009-12-28 | 2011-06-29 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN102509334A (zh) * | 2011-09-21 | 2012-06-20 | 北京捷成世纪科技股份有限公司 | 一种将虚拟3d场景转换为立体视图的方法 |
| CN102811359A (zh) * | 2011-06-01 | 2012-12-05 | 三星电子株式会社 | 3d图像转换设备和调整3d图像转换设备的深度信息的方法 |
| CN102917232A (zh) * | 2012-10-23 | 2013-02-06 | 深圳创维－Rgb电子有限公司 | 基于人脸识别的3d显示自适应调节方法和装置 |
| CN103327348A (zh) * | 2012-03-19 | 2013-09-25 | 精工爱普生株式会社 | 图像显示装置及图像显示方法 |
| CN103996215A (zh) * | 2013-11-05 | 2014-08-20 | 深圳市云立方信息科技有限公司 | 一种实现虚拟视图转立体视图的方法及装置 |
| CN104539923A (zh) * | 2014-12-03 | 2015-04-22 | 深圳市亿思达科技集团有限公司 | 一种景深自适应的全息显示方法及其装置 |
| CN104836999A (zh) * | 2015-04-03 | 2015-08-12 | 深圳市亿思达科技集团有限公司 | 一种全息立体显示用于自适应视力的移动终端及方法 |
| CN105338405A (zh) * | 2015-10-29 | 2016-02-17 | 合一网络技术(北京)有限公司 | 一种实现电视内容自动分级控制的方法及装置 |
| CN105791681A (zh) * | 2016-02-29 | 2016-07-20 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN105956571A (zh) * | 2016-05-13 | 2016-09-21 | 华侨大学 | 一种人脸图像的年龄估计方法 |
-
2016
- 2016-10-26 CN CN201610956479.5A patent/CN106454315A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102111633A (zh) * | 2009-12-28 | 2011-06-29 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN102811359A (zh) * | 2011-06-01 | 2012-12-05 | 三星电子株式会社 | 3d图像转换设备和调整3d图像转换设备的深度信息的方法 |
| CN102509334A (zh) * | 2011-09-21 | 2012-06-20 | 北京捷成世纪科技股份有限公司 | 一种将虚拟3d场景转换为立体视图的方法 |
| CN103327348A (zh) * | 2012-03-19 | 2013-09-25 | 精工爱普生株式会社 | 图像显示装置及图像显示方法 |
| CN102917232A (zh) * | 2012-10-23 | 2013-02-06 | 深圳创维－Rgb电子有限公司 | 基于人脸识别的3d显示自适应调节方法和装置 |
| CN103996215A (zh) * | 2013-11-05 | 2014-08-20 | 深圳市云立方信息科技有限公司 | 一种实现虚拟视图转立体视图的方法及装置 |
| CN104539923A (zh) * | 2014-12-03 | 2015-04-22 | 深圳市亿思达科技集团有限公司 | 一种景深自适应的全息显示方法及其装置 |
| CN104836999A (zh) * | 2015-04-03 | 2015-08-12 | 深圳市亿思达科技集团有限公司 | 一种全息立体显示用于自适应视力的移动终端及方法 |
| CN105338405A (zh) * | 2015-10-29 | 2016-02-17 | 合一网络技术(北京)有限公司 | 一种实现电视内容自动分级控制的方法及装置 |
| CN105791681A (zh) * | 2016-02-29 | 2016-07-20 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN105956571A (zh) * | 2016-05-13 | 2016-09-21 | 华侨大学 | 一种人脸图像的年龄估计方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921000A (zh) * | 2018-04-16 | 2018-11-30 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
| CN108921000B (zh) * | 2018-04-16 | 2024-02-06 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
| CN108459722A (zh) * | 2018-06-04 | 2018-08-28 | 北京虚拟映画科技有限公司 | 虚拟观影装置和系统 |
| CN108459722B (zh) * | 2018-06-04 | 2021-09-07 | 北京虚拟映画科技有限公司 | 虚拟观影装置和系统 |
| CN112306222A (zh) * | 2019-08-06 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 一种增强现实方法、装置、设备及存储介质 |
| CN113238656A (zh) * | 2021-05-25 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 三维图像的显示方法、装置、电子设备及存储介质 |
| CN113238656B (zh) * | 2021-05-25 | 2024-04-30 | 北京达佳互联信息技术有限公司 | 三维图像的显示方法、装置、电子设备及存储介质 |
| CN113379897A (zh) * | 2021-06-15 | 2021-09-10 | 广东未来科技有限公司 | 应用于3d游戏渲染引擎的自适应虚拟视图转立体视图的方法及装置 |
| WO2023051589A1 (zh) * | 2021-09-28 | 2023-04-06 | 广东未来科技有限公司 | 一种2d游戏的裸眼3d显示的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106454315A (zh) | 一种自适应虚拟视图转立体视图的方法、装置及显示设备 | |
| CN103595987B (zh) | 立体图像显示装置、图像处理装置及图像处理方法 | |
| US20180332222A1 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
| EP3067866A1 (en) | Method and device for converting virtual view into stereoscopic view | |
| US9754379B2 (en) | Method and system for determining parameters of an off-axis virtual camera | |
| CN106598252A (zh) | 一种图像显示调节方法、装置、存储介质及电子设备 | |
| CN108921050A (zh) | 一种基于移动端的虚拟现实图像处理系统 | |
| CN109598796A (zh) | 将真实场景与虚拟物体进行3d融合显示的方法和装置 | |
| CN108076208B (zh) | 一种显示处理方法及装置、终端 | |
| CN105704478A (zh) | 用于虚拟和现实场景的立体显示方法、装置及电子设备 | |
| CN106095106A (zh) | 虚拟现实终端及其显示光心距的调整方法及装置 | |
| WO2022267694A1 (zh) | 一种显示调节方法、装置、设备及介质 | |
| EP3833018B1 (en) | Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type | |
| WO2021227714A1 (zh) | 虚拟现实设备的控制方法及装置 | |
| US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
| CN113379897A (zh) | 应用于3d游戏渲染引擎的自适应虚拟视图转立体视图的方法及装置 | |
| CN103609104A (zh) | 用于立体效应调整的交互式用户接口 | |
| KR101320477B1 (ko) | 카메라 간격 및 이동속도 조절이 가능한 건축물 내비게이션 장치 및 방법 | |
| CN113744411A (zh) | 图像处理方法及装置、设备、存储介质 | |
| US20140347451A1 (en) | Depth Adaptation for Multi-View System | |
| CN109298793B (zh) | 一种屏幕位置调节方法及装置 | |
| CN106707511A (zh) | 一种虚拟现实设备的调节方法、装置、存储介质及设备 | |
| Maruya et al. | Mental geometry of three-dimensional size perception | |
| CN102447929B (zh) | 一种显示控制芯片及立体显示设备 | |
| CN108881892B (zh) | 用于桌面式虚拟现实系统的防眩晕方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20171027 Address after: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.) Applicant after: Shenzhen holographic information technology development Co., Ltd. Address before: 518057 Guangdong city of Shenzhen province science and Technology Park of Nanshan District high in the three global digital building 16 floor No. 9 Applicant before: Shenzhen magic eye Technology Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180822 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen Super Intelligent Technology Co., Ltd. Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant before: Shenzhen holographic information technology development Co., Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |