CN103702099A - 一种基于头部追踪的超大视角集成成像3d显示方法 - Google Patents

一种基于头部追踪的超大视角集成成像3d显示方法 Download PDF

Info

Publication number
CN103702099A
CN103702099A CN201310686544.3A CN201310686544A CN103702099A CN 103702099 A CN103702099 A CN 103702099A CN 201310686544 A CN201310686544 A CN 201310686544A CN 103702099 A CN103702099 A CN 103702099A
Authority
CN
China
Prior art keywords
micro
pattern matrix
vision area
beholder
self adaptation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310686544.3A
Other languages
English (en)
Other versions
CN103702099B (zh
Inventor
王琼华
熊召龙
李述利
邓欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201310686544.3A priority Critical patent/CN103702099B/zh
Publication of CN103702099A publication Critical patent/CN103702099A/zh
Application granted granted Critical
Publication of CN103702099B publication Critical patent/CN103702099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于头部追踪的超大视角集成成像3D显示方法，该方法包括对集成成像部分重合视区相应图像元的渲染和自适应微图像阵列的合成两个步骤。通过使集成成像部分重合视区的重合部分重建的3D场景完全一致，从而满足了微图像阵列切换时观看者观看到的3D场景完全没有跳变。利用微图像阵列像素偏移和显示主视区的关系，根据观看者所处的视区而不是视点合成微图像阵列，大大降低了渲染3D场景微图像阵列的时间延迟，消除了由于观看者快速移动带来的图像跳变。利用该发明可以实现无跳变无延时的超大视角集成成像3D显示。

Description

一种基于头部追踪的超大视角集成成像3D显示方法
技术领域
本发明涉及集成成像3D（三维）显示技术，更具体地说，本发明涉及一种基于头部追踪的超大视角集成成像3D显示方法。
背景技术
集成成像是一种重要的3D显示，观看者无需佩戴助视眼镜即可观看到立体图像。该3D显示可以完全还原真实3D场景，具有全视差、全彩色和视点连续的优点。但是该3D显示的3D观看视角却很小，大大地限制了其发展。 
集成成像3D显示存在一个由微图像阵列确定的3D显示主视区和多个次视区，以及相邻视区之间的串扰区。通过将微图像阵列微小移动，可以使集成成像显示主视区产生相应的移动，并且使移动后的主视区和先前的主视区存在部分重合，也即部分重合主视区。
基于头部追踪的集成成像3D显示可以增大3D观看视角，该3D显示在传统集成成像3D 显示的基础上加入了头部追踪技术，实时地判断观看者所处的空间位置，然后根据此位置更新和移动用于集成成像显示的微图像阵列，从而使3D观看视角增大。
一般的追踪系统是利用普通摄像头拍摄观看者所处空间，采用图像处理技术，获取观看者的空间位置，然后显示系统根据这个位置对应的视点显示相应的微图像阵列。由于追踪拍摄系统拍摄帧率的限制，加之头部追踪系统具有较大的时间延迟，因此通过这种方式很难得到无跳变无延时的超大视角集成成像3D显示。另外，通过图像处理仅能得到观看者的大体空间方位，其精度远不能满足实际的集成成像3D显示需求，因此上述因素也大大限制了基于头部追踪的集成成像3D显示的发展。
发明内容
本发明提出一种基于头部追踪的超大视角集成成像3D显示方法，该方法包括对集成成像部分重合视区相应图像元的渲染和自适应微图像阵列的合成两个步骤。
所述集成成像部分重合视区相应图像元的渲染，根据追踪系统能够捕获的观看者所处的空间范围，在计算机内确定虚拟相机阵列的具体参数，对已建立的3D场景进行拍摄，从而获取图像元。如图1所示，通过移动微图像阵列，使集成成像3D显示产生部分重合视区，实现对集成成像观看空间的划分，然后对移动后的不同主视区进行编号，为了简化说明，图中仅标出观看空间水平方向的划分和编号，其竖直方向处理方式相同。追踪系统实时捕获观看者的空间方位，并且判断观看者所处的观看空间及相应编号，由追踪系统能够捕获的观看者的空间范围确定虚拟相机阵列的拍摄范围。如附图2所示，虚拟相机阵列由投影变换的视框体表示，其中包含的视框体个数为M×N，并且视框体均采用透视投影几何模型，视框体阵列中各视框体间的间距相等且为p，在超大视角集成成像显示系统中，透镜元的节距也为q，而视框体渲染得到的图像元的节距为q，且q大于p，二者具体数值关系由系统观看视角扩大倍数决定，同时受限于追踪系统的追踪范围。假设显示系统单个透镜元对应的像素分辨率为a×b，则视框体渲染获取的图像元分辨率为aq/p×bq/p，渲染得到的图像元像素尺寸为相应显示透镜元像素尺寸的q/p倍，q/p > 1，也就是图像元记录了关于3D场景更多角度的信息。
所述自适应微图像阵列的合成过程，将上述渲染得到的图像元合成观看者观看视区相应的自适应微图像阵列。追踪系统实时捕获观看者的空间方位，并判断观看者所处的观看视区及其编号，根据其对应的视区编号合成最终用于显示的自适应微图像阵列，该过程可以分为两个步骤：
第一，图像元合成常规微图像阵列的过程。将视框体阵列拍摄得到的图像元按照视框体在相机阵列中的二维编号合成常规微图像阵列，在这个过程中将每个图像元绕其中心旋转180o从而解决重建3D场景的深度翻转问题。
第二，所述自适应微图像阵列的提取过程，从常规微图像阵列中提取自适应微图像阵列，其提取规则与观看者所处的观看视区有关。在附图2中，仅是对观看视区水平方向进行了编号。为了获得水平和竖直两个方向的集成成像超大视角3D显示，本发明对观看视区水平和竖直两个方向进行编号，当观看者处于观看视区(i, j)时，其中i是视区的水平编号，j是视区的竖直编号，微图像阵列的第x行第y列像素为I(x, y)，自适应微图像阵列第m行第n列的像素为I’(m, n)，则
Figure 707566DEST_PATH_IMAGE001
                                               (1)
其中，
                   
Figure 654794DEST_PATH_IMAGE002
               (2)
                     
Figure 235948DEST_PATH_IMAGE003
               (3)
其中，0≤m<aM，0≤n<bN，O h (i)和O v (j)分别为观看者在编号为(i, j)的视区时自适应微图像阵列在水平和垂直的方向上的像素偏移量，且
                                                         
Figure 7332DEST_PATH_IMAGE004
                                               (4)
                                                          
Figure 673937DEST_PATH_IMAGE005
                                              (5)
其中t >1为部分重合视区的重合系数，t越大，相邻视区的重合部分比例越高。
       为了将自适应微图像阵列切换前后3D显示场景的跳变降到最小，在本发明中使观看者移动到相邻的部分重合视区重合部分的中间位置时触发自适应微图像阵列的切换，该触发控制信号由追踪系统提供。
       本发明为基于头部追踪的超大视角集成成像3D显示方法提供了图像元的拍摄方法和与其对应的自适应微图像阵列的合成方法，使部分重合视区重建的3D场景完全一致，从而满足了无跳变的3D显示。利用微图像阵列像素偏移和显示主视区的关系，根据观看者所处的视区而不是视点合成微图像阵列，降低渲染3D场景微图像阵列的时间延迟，消除了由于观看者快速移动带来的图像跳变。利用本发明可以实现无跳变无延时的超大视角集成成像3D显示。

Claims (1)

1.一种基于头部追踪的超大视角集成成像3D显示方法，该方法包括对集成成像部分重合视区相应图像元的渲染和自适应微图像阵列的合成两个步骤：所述集成成像部分重合视区相应图像元的渲染，根据追踪系统能够捕获的观看者所处的空间范围，在计算机内确定虚拟相机阵列的具体参数，对已建立的3D场景进行拍摄，从而获取图像元，通过移动微图像阵列，使集成成像3D显示产生部分重合视区，实现对集成成像观看空间的划分，然后对移动后的不同主视区进行编号；追踪系统实时捕获观看者的空间方位，并且判断观看者所处的观看空间及相应编号，由追踪系统能够捕获的观看者的空间范围确定虚拟相机阵列的拍摄范围，虚拟相机阵列由投影变换的视框体表示，其中包含的视框体个数为M×N，并且视框体均采用透视投影几何模型，视框体阵列中各视框体间的间距相等且为p，在超大视角集成成像显示系统中，透镜元的节距也为q，而视框体渲染得到的图像元的节距为q，且q大于p，二者具体数值关系由系统观看视角扩大倍数决定，同时受限于追踪系统的追踪范围；假设显示系统单个透镜元对应的像素分辨率为a×b，则视框体渲染获取的图像元分辨率为aq/p×bq/p，渲染得到的图像元像素尺寸为相应显示透镜元像素尺寸的q/p倍，q/p > 1，也就是图像元记录了关于3D场景更多角度的信息；所述自适应微图像阵列的合成过程，将上述渲染得到的图像元合成观看者观看视区相应的自适应微图像阵列，追踪系统实时捕获观看者的空间方位，并判断观看者所处的观看视区及其编号，根据其对应的视区编号合成最终用于显示的自适应微图像阵列，该过程可以分为两个步骤：第一，图像元合成常规微图像阵列的过程，将视框体阵列拍摄得到的图像元按照视框体在相机阵列中的二维编号合成常规微图像阵列，在这个过程中将每个图像元绕其中心旋转180o从而解决重建3D场景的深度翻转问题；第二，所述自适应微图像阵列的提取过程，从常规微图像阵列中提取自适应微图像阵列，其提取规则与观看者所处的观看视区有关，对观看视区水平和竖直两个方向进行编号，当观看者处于观看视区(i, j)时，其中i是视区的水平编号，j是视区的竖直编号，微图像阵列的第x行第y列像素为I(x, y)，自适应微图像阵列第m行第n列的像素为I’(m, n)，则                                                
Figure 765722DEST_PATH_IMAGE001
其中，
Figure 310284DEST_PATH_IMAGE003
，其中，0≤m<aM，0≤n<bN，O h (i)和O v (j)分别为观看者在编号为(i, j)的视区时自适应微图像阵列在水平和垂直的方向上的像素偏移量，且，
Figure 644631DEST_PATH_IMAGE005
，其中t >1为部分重合视区的重合系数，t越大，相邻视区的重合部分比例越高；为了将自适应微图像阵列切换前后3D显示场景的跳变降到最小，使观看者移动到相邻的部分重合视区重合部分的中间位置时触发自适应微图像阵列的切换，该触发控制信号由追踪系统提供，追踪系统实时追踪观看者的空间方位，并由此合成最终用于显示的自适应微图像阵列。
CN201310686544.3A 2013-12-17 2013-12-17 一种基于头部追踪的超大视角集成成像3d显示方法 Active CN103702099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310686544.3A CN103702099B (zh) 2013-12-17 2013-12-17 一种基于头部追踪的超大视角集成成像3d显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310686544.3A CN103702099B (zh) 2013-12-17 2013-12-17 一种基于头部追踪的超大视角集成成像3d显示方法

Publications (2)

Publication Number Publication Date
CN103702099A true CN103702099A (zh) 2014-04-02
CN103702099B CN103702099B (zh) 2015-08-05

Family

ID=50363485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310686544.3A Active CN103702099B (zh) 2013-12-17 2013-12-17 一种基于头部追踪的超大视角集成成像3d显示方法

Country Status (1)

Country Link
CN (1) CN103702099B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104155767A (zh) * 2014-07-09 2014-11-19 深圳市亿思达显示科技有限公司 自适应追踪式立体显示装置及其显示方法
CN104376588A (zh) * 2014-11-25 2015-02-25 四川大学 一种集成成像高分辨率正交图的生成方法
CN106507096A (zh) * 2016-11-24 2017-03-15 北京邮电大学 一种具有超大视角的追踪式地面光场3d显示方法及系统
CN106878698A (zh) * 2016-12-23 2017-06-20 中国科学院自动化研究所 基于光路采集的移动裸眼三维虚拟现实的方法和系统
CN109523539A (zh) * 2018-11-22 2019-03-26 淮北师范大学 基于多相机阵列的大尺寸的工业板材在线测量系统及方法
CN109891850A (zh) * 2016-09-09 2019-06-14 Vid拓展公司 用于减少360度视区自适应流媒体延迟的方法和装置
CN110276823A (zh) * 2019-05-24 2019-09-24 中国人民解放军陆军装甲兵学院 基于光线追踪且实时可交互的集成成像生成方法及系统
CN114567767A (zh) * 2022-02-23 2022-05-31 京东方科技集团股份有限公司 显示装置、光场采集方法、图像数据传输方法及相关设备
US11616942B2 (en) 2018-03-22 2023-03-28 Interdigital Madison Patent Holdings, Sas Viewport dependent video streaming events
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020114077A1 (en) * 2001-01-23 2002-08-22 Bahram Javidi Integral three-dimensional imaging with digital reconstruction
CN102868900A (zh) * 2012-10-09 2013-01-09 四川大学 一种宽视角和无串扰的集成成像3d显示装置
CN103018915A (zh) * 2012-12-10 2013-04-03 Tcl集团股份有限公司 一种基于人眼追踪的3d集成成像显示方法及集成成像3d显示器
CN103313084A (zh) * 2013-06-20 2013-09-18 四川大学 基于不同微透镜阵列参数的集成成像两次拍摄法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020114077A1 (en) * 2001-01-23 2002-08-22 Bahram Javidi Integral three-dimensional imaging with digital reconstruction
CN102868900A (zh) * 2012-10-09 2013-01-09 四川大学 一种宽视角和无串扰的集成成像3d显示装置
CN103018915A (zh) * 2012-12-10 2013-04-03 Tcl集团股份有限公司 一种基于人眼追踪的3d集成成像显示方法及集成成像3d显示器
CN103313084A (zh) * 2013-06-20 2013-09-18 四川大学 基于不同微透镜阵列参数的集成成像两次拍摄法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104155767A (zh) * 2014-07-09 2014-11-19 深圳市亿思达显示科技有限公司 自适应追踪式立体显示装置及其显示方法
CN104376588A (zh) * 2014-11-25 2015-02-25 四川大学 一种集成成像高分辨率正交图的生成方法
CN104376588B (zh) * 2014-11-25 2017-08-29 四川大学 一种集成成像高分辨率正交图的生成方法
CN109891850A (zh) * 2016-09-09 2019-06-14 Vid拓展公司 用于减少360度视区自适应流媒体延迟的方法和装置
US11677802B2 (en) 2016-09-09 2023-06-13 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
CN106507096A (zh) * 2016-11-24 2017-03-15 北京邮电大学 一种具有超大视角的追踪式地面光场3d显示方法及系统
CN106878698A (zh) * 2016-12-23 2017-06-20 中国科学院自动化研究所 基于光路采集的移动裸眼三维虚拟现实的方法和系统
US11616942B2 (en) 2018-03-22 2023-03-28 Interdigital Madison Patent Holdings, Sas Viewport dependent video streaming events
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
CN109523539A (zh) * 2018-11-22 2019-03-26 淮北师范大学 基于多相机阵列的大尺寸的工业板材在线测量系统及方法
CN110276823A (zh) * 2019-05-24 2019-09-24 中国人民解放军陆军装甲兵学院 基于光线追踪且实时可交互的集成成像生成方法及系统
CN110276823B (zh) * 2019-05-24 2023-04-07 中国人民解放军陆军装甲兵学院 基于光线追踪且实时可交互的集成成像生成方法及系统
CN114567767A (zh) * 2022-02-23 2022-05-31 京东方科技集团股份有限公司 显示装置、光场采集方法、图像数据传输方法及相关设备

Also Published As

Publication number Publication date
CN103702099B (zh) 2015-08-05

Similar Documents

Publication Publication Date Title
CN103702099A (zh) 一种基于头部追踪的超大视角集成成像3d显示方法
CN106464854B (zh) 图像编码和显示
US10560687B2 (en) LED-based integral imaging display system as well as its control method and device
CN106413829B (zh) 图像编码和显示
US10054796B2 (en) Display
CN103426195B (zh) 生成裸眼观看三维虚拟动画场景的方法
JP5801812B2 (ja) ３ｄビデオへの仮想インサート
CN110178370A (zh) 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染
CN103957400A (zh) 一种基于Unity3D游戏引擎的裸眼3D显示系统
CN205610834U (zh) 立体显示系统
CN104050859A (zh) 可交互数字化立体沙盘系统
CN101529924A (zh) 用于产生立体图像的方法、装置和计算机程序产品
CN205901977U (zh) 一种裸眼3d增强现实互动展示系统
CN102149003A (zh) 基于柱镜光栅的多视点立体图像合成方法
CN102572482A (zh) 基于fpga的立体视频到多视点视频的3d重构方法
CN110798673A (zh) 基于深度卷积神经网络的自由视点视频生成及交互方法
CN108122281B (zh) 一种大范围实时人体三维重建方法
CN102209254A (zh) 一种一维集成成像方法和装置
CN104102013A (zh) 影像显示装置和影像显示方法
CN106412556A (zh) 一种图像生成方法及装置
CN204156999U (zh) 一种基于Unity3D游戏引擎的裸眼3D显示系统
CN105007477A (zh) 基于Unity3D引擎实现裸眼3D显示的方法
CN108881881B (zh) 一种集成成像桌面3d显示的自适应微图像阵列生成方法
CN106231287B (zh) 一种增强用户体验的裸眼3d图像设计方法
WO2012140397A2 (en) Three-dimensional display system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant