CN106231287B - 一种增强用户体验的裸眼3d图像设计方法 - Google Patents
一种增强用户体验的裸眼3d图像设计方法 Download PDFInfo
- Publication number
- CN106231287B CN106231287B CN201610590064.0A CN201610590064A CN106231287B CN 106231287 B CN106231287 B CN 106231287B CN 201610590064 A CN201610590064 A CN 201610590064A CN 106231287 B CN106231287 B CN 106231287B
- Authority
- CN
- China
- Prior art keywords
- bore hole
- video camera
- image
- picture
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种增强用户体验的裸眼3D图像设计方法，包括以下步骤：设定虚拟场景摄像机：在场景起始位置放置一个背景摄像机专门获取远处背景图像，然后在背景摄像机的左右按照圆弧形排列对称放置N个裸眼摄像机；将虚拟场景的对象进行归类；设置摄像机观看画面的渲染属性；将多幅裸眼摄像机画面合成为立体图像；创建裸眼3D显示图像：将最终合成的立体图像输出到裸眼显示屏幕，控制所有摄像机作为整体在场景移动，用户在裸眼屏幕可视区域任意位置可见体验度良好的裸眼图像。本发明具有裸眼效果明显、最终合成的裸眼图像背景不模糊、能够减弱空间某些位置人眼观看的眩晕感的优点。
Description
技术领域
本发明涉及一种裸眼3D图像设计方法，尤其涉及一种增强用户体验的裸眼3D图像设计方法。
背景技术
裸眼3D显示技术一直是人机交互前沿研究领域，其基本原理是让左右眼分别看到具有水平视差的图像，从而模拟了真实环境人眼观看外界画面的情况。裸眼3D图像的合成原理可以分解为3个步骤：一、图像获取阶段通过多个摄像机模拟人眼看到不同角度的场景画面，亦称为多视点图像；二、多个裸眼相机的画面合成为一幅立体图像并输出在裸眼屏幕上输出显示；三、裸眼屏幕上的图像像素被屏幕前方光栅以不同方向投影出去，从而在空间不同位置可看到被还原的不同视点画面，当人的左右眼分别看到了相邻视点的图像就可以感受到裸眼3D效果。
裸眼屏幕还原多视点图像依靠光学原理硬件，这里不予讨论。目前无论哪种裸眼3D展示方案(光栅屏障式、柱状透镜式等)，其用户所见图像的串扰问题(左右眼看到的图像出现其他不正确图像画面的干扰)是制约裸眼行业发展的主要挑战，严重影响了用户体验，尤其在结合体感交互的裸眼3D交互系统中，用户左右移动将会造成画面错乱，带来难以忍受的眩晕感。国内外对裸眼图像干扰问题进行了大量研究，并取得一些突破性的进步。比如曾小名(曾小明，田华，黄子强，“跟踪式自由立体显示中一种降低串扰的显示方法”，《光电子·激光》，2013,24(1):146～151)根据人眼位置对合成图像进行像素点平移从而实现甜点(Sweet Point，观看裸眼效果最佳位置)跟踪人眼位置移动，从而使得人眼看到的始终是理想图像，但该方案只允许一个观看用户，在多用户观看场合不可取；文献方法(曾超等，“种基于Unity3D引擎的裸眼3D图文交互方法:中国”，CN201510704367.6[P]，2016-1-27)通过计算出视点子像素映射矩阵，并编写相应的Shader，对每台相机渲染的贴图进行采样处理，并将经过采样处理的多张视差图像相加，得到最终合成图像输出到裸眼屏幕，以及文献方法(王子强，“一种基于Unity3D的裸眼3D内容制作的改进方法”:中国，CN201510144824.0[P]，2015-6-7)编写Shader使近景的物体逐渐透明化以过渡裸眼视觉效果，但这些方法都没有通过软件程序很好解决用户体验的问题。
上述现有方案多采用摄像机水平分开放置，多个相机聚焦在较远处，但在观看较近物体时，人眼聚焦在较近位置，现有方案表现裸眼效果能力有限，人眼在裸眼效果可视区域内水平移动，画面会出现严重抖动，并让人产生眩晕；在多视点图像融合为立体图像时，通过顺序排列视点图像并周期循环以获得更多视点的裸眼效果，但在一个周期结束到下一个周期开始的过渡阶段人眼接受画面视差明显过大，从而造成剧烈眩晕感；在大场景展示场合，如果采用近距离聚焦以获得明显裸眼出屏效果，则多个相机观看角度会有较大差别，造成看到的远景画面差异过大，导致远景模糊。
发明内容
本发明的目的就在于为了解决上述问题而提供一种能减少眩晕感且裸眼图像背景不模糊的增强用户体验的裸眼3D图像设计方法。
本发明通过以下技术方案来实现上述目的：
一种增强用户体验的裸眼3D图像设计方法，包括以下步骤：
(1)设定虚拟场景摄像机：在场景起始位置放置一个背景摄像机C0专门获取远处背景图像，其焦距设为无穷远，然后在背景摄像机C0的左右按照圆弧形排列对称放置N个裸眼摄像机C1—CN，同时设置这N个摄像机聚焦到同一点O，相邻两个裸眼摄像机与点O连线之间的夹角角度相同；所有摄像机放置在同一个水平高度，各摄像机之间有水平视差但没有高度差；
(2)将虚拟场景的对象进行归类：将模型导入虚拟场景中，并进行分类，属于远景的图像即远处背景的物体图像归为BackgroundView，并设置其层级；属于前景的图像即近端需要裸眼出屏的物体图像归为ForegroundView，同样设置其层级；
(3)设置摄像机观看画面的渲染属性：裸眼摄像机C1—CN只看到属于ForegroundView层级的物体且设置视野深度为有限值，即较远处物体不在摄像机图像上渲染出来；背景摄像机C0只看到属于BackgroundView层级的物体；
(4)将多幅裸眼摄像机画面合成为立体图像：首先将背景摄像机C0的图像赋值给立体图像，此时立体图像已经有清晰的二维图像值；然后对于裸眼摄像机C1—CN的图像像素值的非零部分，按照一定排列顺序计算出视点子像素映射矩阵，并编写GPU运算脚本对每台摄像机渲染的图像进行采样处理，将经过采样处理的视差图像叠加到当前立体图像上得到最终的立体图像输出；
(5)创建裸眼3D显示图像：将最终合成的立体图像输出到裸眼显示屏幕；编写脚本，控制所有摄像机C0—CN作为整体在场景移动；用户在裸眼屏幕可视区域任意位置可见体验度良好的裸眼图像。
具体地，所述步骤(1)中，设人眼正常视差在系统中表示为d0，则各个参数之间满足如下关系：
上式中，R表示以点O为圆心的所有摄像机所在的圆弧半径，θ表示相邻两个裸眼摄像机与点O连线之间的夹角角度。
作为优选，所述步骤(4)中，在计算子像素映射矩阵时，在排列周期交界处插入中间视点让排列顺序缓慢过渡，任意相邻的两个视点序号差值不超过3，以此保证用户在可视区域看到的图像视差始终在人眼可接受范围，视点排列顺序形成三角波形或类三角波形。
本发明的有益效果在于：
1、裸眼摄像机按照圆弧形方式排列，裸眼效果明显；
2、将具有裸眼效果的近景图像与远景图案分开处理，所以最终合成的裸眼图像背景不模糊，从而避免了背景模糊的情况产生；
3、立体图像融合过程计算子像素映射矩阵时，多视点排列周期交界处插入中间视点让排列顺序缓慢过渡，任意相邻的两个视点序号差值不超过3，以此保证用户在可视区域看到的图像视差始终在人眼可接受范围，减弱了空间某些位置人眼观看的眩晕感。
附图说明
图1是本发明中摄像机的摆放位置俯视示意图；
图2是传统方法中子像素映射的视点排列顺序示意图；
图3是本发明方法中子像素映射的视点排列顺序示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本发明所述增强用户体验的裸眼3D图像设计方法，包括以下步骤：
(1)设定虚拟场景摄像机：如图1所示，在场景起始位置放置一个背景摄像机C0专门获取远处背景图像，其焦距设为无穷远，然后在背景摄像机C0的左右按照圆弧形排列对称放置N(图1中以4个为例)个裸眼摄像机C1—CN(图1中为C1—C4)，同时设置这N(图1中为4)个摄像机聚焦到同一点O，相邻两个裸眼摄像机与点O连线之间的夹角角度相同；所有摄像机放置在同一个水平高度，各摄像机之间有水平视差但没有高度差；设人眼正常视差在系统中表示为d0，则各个参数之间满足如下关系：
上式中，R表示以点O为圆心的所有摄像机所在的圆弧半径，θ表示相邻两个裸眼摄像机与点O连线之间的夹角角度；
(2)将虚拟场景的对象进行归类：将模型导入虚拟场景中，并进行分类，属于远景的图像即远处背景的物体图像归为BackgroundView，并设置其层级；属于前景的图像即近端需要裸眼出屏的物体图像归为ForegroundView，同样设置其层级；
(3)设置摄像机观看画面的渲染属性：裸眼摄像机C1—CN(图1中为C1—C4)只看到属于ForegroundView层级的物体且设置视野深度为有限值，即较远处物体不在摄像机图像上渲染出来，这样得到的裸眼相机图像在除去看到的近景部分的其他部分像素值为零；背景摄像机C0只看到属于BackgroundView层级的物体，这样设置避免了圆弧形排列时裸眼相机画面差异过大的问题；
(4)将多幅裸眼摄像机画面合成为立体图像：首先将背景摄像机C0的图像赋值给立体图像，此时立体图像已经有清晰的二维图像值；然后对于裸眼摄像机C1—CN(图1中为C1—C4)的图像像素值的非零部分，按照一定排列顺序计算出视点子像素映射矩阵，并编写GPU运算脚本对每台摄像机渲染的图像进行采样处理，将经过采样处理的视差图像叠加到当前立体图像上得到最终的立体图像输出；在计算子像素映射矩阵时，在排列周期交界处插入中间视点让排列顺序缓慢过渡，任意相邻的两个视点序号差值不超过3，以此保证用户在可视区域看到的图像视差始终在人眼可接受范围，视点排列顺序形成三角波形或类三角波形，如图3所示，由于采用缓和下降的视点过渡，空间位置接收画面的视差始终在人眼可接受范围内，同时让正序排列的视点尽可能多，例如对于8视点裸眼3D显示屏幕，经试验测试得到最佳视点排列顺序为：34567852；如果采用传统顺序排列方法，如图2所示，若是n视点画面，从1到n依次顺序选择一个视点画面对应的像素值复制到立体图像上对应像素位置，此时，立体图像这种跳跃会在空间某一位置得到超出两眼正常视差的图像，导致观看者产生眩晕感；
(5)创建裸眼3D显示图像：将最终合成的立体图像输出到裸眼显示屏幕；编写脚本，控制所有摄像机C0—CN(图1中为C1—C4)作为整体在场景移动；用户在裸眼屏幕可视区域任意位置可见体验度良好的裸眼图像。
上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。
Claims (3)
1.一种增强用户体验的裸眼3D图像设计方法，其特征在于：包括以下步骤：
(1)设定虚拟场景摄像机：在场景起始位置放置一个背景摄像机C0专门获取远处背景图像，其焦距设为无穷远，然后在背景摄像机C0的左右按照圆弧形排列对称放置N个裸眼摄像机C1—CN，同时设置这N个摄像机聚焦到同一点O，相邻两个裸眼摄像机与点O连线之间的夹角角度相同；所有摄像机放置在同一个水平高度，各摄像机之间有水平视差但没有高度差；
(2)将虚拟场景的对象进行归类：将模型导入虚拟场景中，并进行分类，属于远景的图像即远处背景的物体图像归为BackgroundView，并设置其层级；属于前景的图像即近端需要裸眼出屏的物体图像归为ForegroundView，同样设置其层级；
(3)设置摄像机观看画面的渲染属性：裸眼摄像机C1—CN只看到属于ForegroundView层级的物体且设置视野深度为有限值，即较远处物体不在摄像机图像上渲染出来；背景摄像机C0只看到属于BackgroundView层级的物体；
(4)将多幅裸眼摄像机画面合成为立体图像：首先将背景摄像机C0的图像赋值给立体图像，此时立体图像已经有清晰的二维图像值；然后对于裸眼摄像机C1—CN的图像像素值的非零部分，按照一定排列顺序计算出视点子像素映射矩阵，并编写GPU运算脚本对每台摄像机渲染的图像进行采样处理，将经过采样处理的视差图像叠加到当前立体图像上得到最终的立体图像输出；
(5)创建裸眼3D显示图像：将最终合成的立体图像输出到裸眼显示屏幕；编写脚本，控制所有摄像机C0—CN作为整体在场景移动；用户在裸眼屏幕可视区域任意位置可见体验度良好的裸眼图像。
2.根据权利要求1所述的增强用户体验的裸眼3D图像设计方法，其特征在于：所述步骤(1)中，设人眼正常视差在系统中表示为d0，则各个参数之间满足如下关系：
<mrow>
<mn>2</mn>
<mo>&times;</mo>
<mi>R</mi>
<mo>&times;</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&theta;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>d</mi>
<mn>0</mn>
</msub>
</mrow>
上式中，R表示以点O为圆心的所有摄像机所在的圆弧半径，θ表示相邻两个裸眼摄像机与点O连线之间的夹角角度。
3.根据权利要求1或2所述的增强用户体验的裸眼3D图像设计方法，其特征在于：所述步骤(4)中，在计算子像素映射矩阵时，在排列周期交界处插入中间视点让排列顺序缓慢过渡，任意相邻的两个视点序号差值不超过3，视点排列顺序形成三角波形或类三角波形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610590064.0A CN106231287B (zh) | 2016-07-25 | 2016-07-25 | 一种增强用户体验的裸眼3d图像设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610590064.0A CN106231287B (zh) | 2016-07-25 | 2016-07-25 | 一种增强用户体验的裸眼3d图像设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106231287A CN106231287A (zh) | 2016-12-14 |
| CN106231287B true CN106231287B (zh) | 2017-12-12 |
Family
ID=57532371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610590064.0A Active CN106231287B (zh) | 2016-07-25 | 2016-07-25 | 一种增强用户体验的裸眼3d图像设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106231287B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106597800A (zh) * | 2016-12-22 | 2017-04-26 | 沈阳体验科技股份有限公司 | 多通道立体影像采录装置和方法 |
| CN106773508B (zh) * | 2017-02-15 | 2022-05-24 | 天津长瑞大通流体控制系统有限公司 | 一种用裸眼观看3d影像的拍摄系统及使用方法 |
| CN107071391B (zh) * | 2017-03-24 | 2019-03-08 | 万维云视（上海）数码科技有限公司 | 一种增强显示3d裸眼图形的方法 |
| CN111246196B (zh) * | 2020-01-19 | 2021-05-07 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN112866676B (zh) * | 2021-01-06 | 2022-06-03 | 东南大学 | 一种基于单像素多视点重建的裸眼三维显示算法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1465196A (zh) * | 2001-06-27 | 2003-12-31 | 索尼公司 | 图像处理设备和方法、以及图像拍摄设备 |
| CN101600123A (zh) * | 2009-07-06 | 2009-12-09 | 四川大学 | 获取视差图像的平行摄像机阵列移位法 |
| CN104702936A (zh) * | 2015-03-31 | 2015-06-10 | 王子强 | 一种基于裸眼3d显示的虚拟现实交互方法 |
| CN104715468A (zh) * | 2015-03-31 | 2015-06-17 | 王子强 | 一种基于Unity3D的裸眼3D内容制作的改进方法 |
| CN105007477A (zh) * | 2015-07-06 | 2015-10-28 | 四川长虹电器股份有限公司 | 基于Unity3D引擎实现裸眼3D显示的方法 |
-
2016
- 2016-07-25 CN CN201610590064.0A patent/CN106231287B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1465196A (zh) * | 2001-06-27 | 2003-12-31 | 索尼公司 | 图像处理设备和方法、以及图像拍摄设备 |
| CN101600123A (zh) * | 2009-07-06 | 2009-12-09 | 四川大学 | 获取视差图像的平行摄像机阵列移位法 |
| CN104702936A (zh) * | 2015-03-31 | 2015-06-10 | 王子强 | 一种基于裸眼3d显示的虚拟现实交互方法 |
| CN104715468A (zh) * | 2015-03-31 | 2015-06-17 | 王子强 | 一种基于Unity3D的裸眼3D内容制作的改进方法 |
| CN105007477A (zh) * | 2015-07-06 | 2015-10-28 | 四川长虹电器股份有限公司 | 基于Unity3D引擎实现裸眼3D显示的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106231287A (zh) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106231287B (zh) | 一种增强用户体验的裸眼3d图像设计方法 | |
| CN100483463C (zh) | 用于在3-d图像显示屏上显示3-d图像的系统和方法 | |
| US10366642B2 (en) | Interactive multiplane display system with transparent transmissive layers | |
| CN106406525A (zh) | 虚拟现实交互方法、装置及设备 | |
| CN106131536A (zh) | 一种裸眼3d增强现实互动展示系统及其展示方法 | |
| CN102932662B (zh) | 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法 | |
| US20060171028A1 (en) | Device and method for display capable of stereoscopic vision | |
| CN106412556B (zh) | 一种图像生成方法及装置 | |
| CN103702099B (zh) | 一种基于头部追踪的超大视角集成成像3d显示方法 | |
| JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
| AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
| CN101562756A (zh) | 立体显示装置及其显示方法、立体显示拼接墙 | |
| CN104102013A (zh) | 影像显示装置和影像显示方法 | |
| CN103269438A (zh) | 基于3d视频和自由视点电视的深度图像绘制的方法 | |
| CN111047709A (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| CN102137268B (zh) | 立体视频的行交错和棋盘格的渲染方法及装置 | |
| CN108198132A (zh) | 基于块匹配的集成成像图像重构的方法 | |
| CN102521876B (zh) | 一种实现3d用户界面立体效果的方法及系统 | |
| CN104243949B (zh) | 3d显示方法及装置 | |
| CN103051909B (zh) | 用于裸眼3d显示的蒙版变换人眼跟踪方法 | |
| CN101908233A (zh) | 产生用于三维影像重建的复数视点图的方法及系统 | |
| CN109286807A (zh) | 多视角裸眼式立体影像的生成方法、显示方法及电子装置 | |
| JP2010267192A (ja) | 立体結像のタッチ制御装置 | |
| CN102780900A (zh) | 一种多人多视角立体显示器影像显示方法 | |
| CN102231841A (zh) | 基于双视点立体数据裸眼立体显示电视及实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |