CN112188186B - 一种基于归一化无限视点的获取裸眼3d合成图方法 - Google Patents
一种基于归一化无限视点的获取裸眼3d合成图方法 Download PDFInfo
- Publication number
- CN112188186B CN112188186B CN202011040676.5A CN202011040676A CN112188186B CN 112188186 B CN112188186 B CN 112188186B CN 202011040676 A CN202011040676 A CN 202011040676A CN 112188186 B CN112188186 B CN 112188186B
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- normalized
- parallax
- matrix
- synthetic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于归一化无限视点的获取裸眼3D合成图方法，包括根据输入的2D图和景深图，计算最大视差矩阵和归一化视点矩阵；遍历合成图像素点，比较合成图像素点的归一化视点值与参考视点，确认该虚拟视点为参考视点的左/右扩展；根据归一化视点矩阵与参考视点的关系计算合成图像素点的视差系数；根据最大视差矩阵得到该矩阵中最大绝对值；根据视差系数对2D图进行区域遍历，采用寻址匹配的方法进行像素填充，实现裸眼3D合成图获取。本发明通过归一化的无限视点与基于局域遍历的逆匹配相结合来获取用于裸眼3D显示的合成图，降低了算法对计算机内存的占用空间，提升了处理速度。可有效应用于柱透镜阵列与像素不匹配的立体显示器。
Description
技术领域
本发明属于用于立体显示的像源获取技术领域，具体涉及一种基于归一化无限视点的获取裸眼3D合成图方法。
背景技术
近年来，三维成像与显示技术受到了越来越多的关注。由于基于微透镜阵列的集成成像技术具有完整的视差、连续的视点且无需任何观察眼镜和特殊光照，因此该技术在三维成像与显示技术领域脱颖而出，逐渐发展成为最具潜力和前景的自动立体显示技术。
三维显示系统将场景的三维信息完全地再现出来，显示具有纵深感的图像。观看者可以直接看出场景中各物体的远近，迅速直观地洞察场景中物体的三维空间关系，从而获得完整和准确的信息。正如声音的记录与再现不断向立体、高保真方向发展一样，图像也从二维向三维、高分辨方向发展。
目前行业内获取立体合成图的方法有很多种，例如飞利浦公司提出的像素正向匹配算法，但该算法不但耗时，而且对处理器内存占用的比较多。再例如专利201410041134.8，提出的基于加权的图像合成算法，其仍然是基于传统的图像正向合成，对处理器内存占用比较多。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于归一化无限视点的获取裸眼3D合成图方法，可加快图像处理速度，降低对内存的占用，产生适用于任意柱透镜宽度的立体合成图。
为实现上述技术目的，本发明采取的技术方案为：
一种基于归一化无限视点的获取裸眼3D合成图方法，其特征在于，包括：
步骤1：根据输入的2D图和景深图，计算最大视差矩阵Z(i,j)和归一化视点矩阵N(i,j)；
步骤2：遍历合成图像素点(i,j)，将合成图像素点的归一化视点值与参考视点N_r进行比较，确认该虚拟视点为参考视点的左/右扩展；
步骤3：根据归一化视点矩阵N(i,j)与参考视点N_r的关系，计算合成图像素点(i,j)的视差系数Z_num；
步骤4：根据最大视差矩阵Z(i,j)，得到该矩阵中最大绝对值Max，作为后期区间寻址的寻址半径；
步骤5：根据视差系数Z_num对2D图进行区域遍历，采用寻址匹配的方法进行像素填充，实现裸眼3D合成图获取。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤1所述最大视差矩阵Z(i,j)计算方式为：
Z(i,j)＝((m*(input_depth(i,j)-M)))*V_max/1024；
其中input_depth(i,j)为像素点(i,j)对应的景深图灰度值，m为视差调整参数，M为零视差面，其范围为[0,255]，V_max为最大视差参数，用于调节整体视差。
上述的步骤1所述归一化视点矩阵N(i,j)计算方式为：
其中，koff表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，θ为光栅轴相对于2D显示屏垂直轴的倾斜夹角，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，mod为取余操作。
上述的步骤2：遍历合成图像素点(i,j)，将合成图像素点的归一化视点值与参考视点N_r 进行比较，确认该虚拟视点为参考视点的左/右扩展；
所述步骤2中，若归一化视点矩阵N(i,j)小于N_r，则定虚拟视点为参考视点的右扩展，反之为左扩展。
上述的步骤3所述视差系数Z_num(i,j)计算方式为：
Z_num(i,j)＝(n*(N_r-N(i,j))*Z(i,j))；
其中，n表示放大系数。
上述的步骤4：根据最大视差矩阵Z(i,j)，得到该矩阵中最大绝对值Max，作为后期区间寻址的寻址半径；
上述的步骤5所述根据视差系数Z_num对2D图进行区域遍历，采用寻址匹配的方法进行像素填充，实现裸眼3D合成图获取，具体为：
对任意合成图像素点所对应的2D图像像素点进行半径为Max的行遍历，在相同视差系数Z_num的前提下，若该区间内任意像素的列坐标加上其自身对应的位移量等于目标像素点列坐标j，则算匹配成功，并将该点像素的灰度值填充到合成图像素点上填充完毕；若在遍历区没有找到对应的像素，则匹配失败，进行空洞填充，重复上述操作，直到遍历完整个合成图。
本发明具有以下有益效果：
本发明采用归一化的无限视点与基于局域遍历的逆匹配相结合的方法来获取用于裸眼3D 显示的合成图，大大降低了算法对计算机内存的占用空间，提升了处理速度。
另外，本发明可有效应用于柱透镜阵列与像素不匹配的立体显示器。
附图说明
图1为本发明的流程图；
图2为本发明归一化视点产生原理实施例；
图3为本发明得到的归一化视点矩阵实施例。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1，本发明的一种基于归一化无限视点的获取裸眼3D合成图方法，首先遍历合成图像素，将该像素点的归一化视点值与参考点进行比较来确认该虚拟视点为参考视点的左/右扩展。然后将两者的差值作为视差系数，确定该像素点的视差值。最后采用寻址匹配的方法，进行像素填充，具体包括：
步骤1：根据输入的2D图和景深图，计算最大视差矩阵Z(i,j)和归一化视点矩阵N(i,j)；
步骤2：遍历合成图像素点(i,j)，将合成图像素点的归一化视点值与参考视点N_r进行比较，确认该虚拟视点为参考视点的左/右扩展；
步骤3：根据归一化视点矩阵N(i,j)与参考视点N_r的关系，计算合成图像素点(i,j)的视差系数Z_num；
步骤4：根据最大视差矩阵Z(i,j)，得到该矩阵中最大绝对值Max，作为后期区间寻址的寻址半径；
步骤5：根据视差系数Z_num对2D图进行区域遍历，采用寻址匹配的方法进行像素填充，实现裸眼3D合成图获取。
实施例中，系统输入图像信息为2D图和景深图，系统输出图像信息为合成图，参考视点N_r为系统设定常数，归一化视点矩阵与输入、输出图像分辨率一致。步骤1所述最大视差矩阵Z(i,j)根据输入景深图input_depth(i,j)，选择零视差景深深度M，其范围为[0,255]，并取 V_max为最大视差参数，可用来调节整体视差。根据矩阵Z(i,j)，可得到该矩阵中最大绝对值Max。
Z(i,j)计算方式为：
Z(i,j)＝((m*(input_depth(i,j)-M)))*V_max/1024；
其中input_depth(i,j)为像素点(i,j)对应的景深图灰度值，m为视差调整参数，M为零视差面，其范围为[0,255]，V_max为最大视差参数，用于调节整体视差。
所述归一化视点矩阵N(i,j)，光栅轴相对于LCD显示屏垂直轴的倾斜夹角为θ，并满足将一个光栅周期在水平方向上覆盖RGB子像素，按照单一水平方向进行排序，用N(i,j)来表示，其范围为[0,1]。
图2为本发明归一化视点产生原理实施例，斜线倾斜角度表示微透镜阵列的倾斜角度。每根斜线表示的是视点投影方向。视差0表示0视差图，即输入原图；视差1表示与合成图里，与原图相比视差最大的那个视点投影图，最大寻址半径Max为x；视差0.5同理。
图3为本发明得到的归一化视点矩阵实施例，为归一化视点矩阵N。矩阵N中所有数值都处于0到1之间，每个数值表示一个虚拟视点。
N(i,j)计算方式为：
其中，koff表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，θ为光栅轴相对于2D显示屏垂直轴的倾斜夹角，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，mod为取余操作。
实施例中，步骤2：遍历合成图像素点(i,j)，将合成图像素点的归一化视点值与参考视点 N_r进行比较，确认该虚拟视点为参考视点的左/右扩展；
所述步骤2中，N为一个矩阵，N(i，j)为矩阵N中第(i，j)这个位置的数据值。若归一化视点矩阵N(i,j)小于N_r，则定虚拟视点为参考视点的右扩展，反之为左扩展。实施例中，步骤3所述视差系数Z_num(i,j)计算方式为：
Z_num(i,j)＝(n*(N_r-N(i,j))*Z(i,j))；
其中，n表示放大系数。
实施例中，步骤4：根据最大视差矩阵Z(i,j)，得到该矩阵中最大绝对值Max，作为后期区间寻址的寻址半径；
实施例中，步骤5所述根据视差系数Z_num对2D图进行区域遍历，采用寻址匹配的方法进行像素填充，实现裸眼3D合成图获取，具体为：
对任意合成图像素点所对应的2D图像像素点进行半径为Max的行遍历，在相同视差系数Z_num的前提下，若该区间内任意像素的列坐标加上其自身对应的位移量等于目标像素点列坐标j，则算匹配成功，并将该点像素的灰度值填充到合成图像素点上填充完毕；若在遍历区没有找到对应的像素，则匹配失败，进行空洞填充。此时，不论遍历成功与否，合成图像素点(i,j)都已经被填充。重复上述操作，直到遍历完整个合成图。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (2)
1.一种基于归一化无限视点的获取裸眼3D合成图方法，其特征在于，包括：
步骤1：根据输入的2D图和景深图，计算最大视差矩阵Z和归一化视点矩阵N；
步骤2：遍历合成图像素点(i,j)，将合成图像素点(i,j)的归一化视点值N(i,j)与参考视点N_r进行比较，确认该归一化视点值N(i,j)为参考视点N_r的左/右扩展；
步骤3：根据左/右扩展算法，计算合成图像素点(i,j)的视差系数Z_num(i,j)；
步骤4：根据最大视差矩阵Z，得到该矩阵中最大绝对值Max，作为后期区间寻址的寻址半径；
步骤5：根据视差系数Z_num(i,j)对2D图进行区域遍历，遍历寻址半径为Max，采用寻址匹配的方法进行像素填充，实现裸眼3D合成图获取；
步骤1所述最大视差矩阵Z(i,j)计算方式为：
Z(i,j)＝((m*(input_depth(i,j)-M)))*V_max/1024；
其中input_depth(i,j)为像素点(i,j)对应的景深图灰度值，m为视差调整参数，M为零视差面，其范围为[0,255]，V_max为最大视差参数，用于调节整体视差；
步骤1所述归一化视点矩阵N(i,j)计算方式为：
其中，koff表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，θ为光栅轴相对于2D显示屏垂直轴的倾斜夹角，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，mod为取余操作；
步骤2中，归一化视点矩阵N和参考视点N_r的取值范围都为0到1，归一化视点值N(i,j)为一个计算数值；当归一化视点值N(i,j)大于参考视点N_r时，被认为是右拓展；当归一化视点值N(i,j)小于参考视点N_r时，被认为是左拓展；
步骤3所述视差系数Z_num(i,j)计算方式为：
Z_num(i,j)＝(n*(N_r-N(i,j))*Z(i,j))；
其中，n表示放大系数；
步骤5所述根据视差系数Z_num对2D图进行区域遍历，采用寻址匹配的方法进行像素填充，实现裸眼3D合成图获取，具体为：
对任意合成图像素点所对应的2D图像像素点进行半径为Max的行遍历，在相同视差系数Z_num的前提下，若该区间内任意像素的列坐标加上其自身对应的位移量等于目标像素点列坐标j，则算匹配成功，并将该点像素的灰度值填充到合成图像素点上填充完毕；若在遍历区没有找到对应的像素，则匹配失败，进行空洞填充，重复上述操作，直到遍历完整个合成图。
2.根据权利要求1所述的一种基于归一化无限视点的获取裸眼3D合成图方法，其特征在于，步骤4中，根据最大视差矩阵Z，对矩阵Z中各数值取绝对值，并找出其中最大值Max，作为后期区间寻址的寻址半径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011040676.5A CN112188186B (zh) | 2020-09-28 | 2020-09-28 | 一种基于归一化无限视点的获取裸眼3d合成图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011040676.5A CN112188186B (zh) | 2020-09-28 | 2020-09-28 | 一种基于归一化无限视点的获取裸眼3d合成图方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112188186A CN112188186A (zh) | 2021-01-05 |
| CN112188186B true CN112188186B (zh) | 2023-01-24 |
Family
ID=73943828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011040676.5A Active CN112188186B (zh) | 2020-09-28 | 2020-09-28 | 一种基于归一化无限视点的获取裸眼3d合成图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112188186B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114095717A (zh) * | 2021-09-24 | 2022-02-25 | 锋芒科技南京有限公司 | 一种光场片源合成方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012176431A1 (ja) * | 2011-06-20 | 2012-12-27 | パナソニック株式会社 | 多視点画像生成装置、多視点画像生成方法 |
| CN102938845A (zh) * | 2012-11-26 | 2013-02-20 | 四川长虹电器股份有限公司 | 基于透视投影的实时虚拟视点生成方法 |
| CN103813153A (zh) * | 2014-01-27 | 2014-05-21 | 北京乐成光视科技发展有限公司 | 一种基于加权求和的裸眼3d多视点图像合成方法 |
| CN106028018A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 面向裸眼3d显示的实拍双视点3d视频优化方法及系统 |
| CN109714587A (zh) * | 2017-10-25 | 2019-05-03 | 杭州海康威视数字技术股份有限公司 | 一种多视点图像产生方法、装置、电子设备及存储介质 |
| CN109982064A (zh) * | 2019-03-18 | 2019-07-05 | 深圳岚锋创视网络科技有限公司 | 一种裸眼3d的虚拟视点图像生成方法和便携式终端 |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
-
2020
- 2020-09-28 CN CN202011040676.5A patent/CN112188186B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012176431A1 (ja) * | 2011-06-20 | 2012-12-27 | パナソニック株式会社 | 多視点画像生成装置、多視点画像生成方法 |
| CN102938845A (zh) * | 2012-11-26 | 2013-02-20 | 四川长虹电器股份有限公司 | 基于透视投影的实时虚拟视点生成方法 |
| CN103813153A (zh) * | 2014-01-27 | 2014-05-21 | 北京乐成光视科技发展有限公司 | 一种基于加权求和的裸眼3d多视点图像合成方法 |
| CN106028018A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 面向裸眼3d显示的实拍双视点3d视频优化方法及系统 |
| CN109714587A (zh) * | 2017-10-25 | 2019-05-03 | 杭州海康威视数字技术股份有限公司 | 一种多视点图像产生方法、装置、电子设备及存储介质 |
| CN109982064A (zh) * | 2019-03-18 | 2019-07-05 | 深圳岚锋创视网络科技有限公司 | 一种裸眼3d的虚拟视点图像生成方法和便携式终端 |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多特征融合的合成视点立体图像质量评价;崔帅南等;《电信科学》;20190531;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112188186A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
| US10148930B2 (en) | Multi view synthesis method and display devices with spatial and inter-view consistency | |
| KR101629479B1 (ko) | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 | |
| US8330796B2 (en) | Arrangement and method for the recording and display of images of a scene and/or an object | |
| EP3350989B1 (en) | 3d display apparatus and control method thereof | |
| US8189035B2 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
| TWI492186B (zh) | 修補三維立體影像之裝置及方法 | |
| JPH0927969A (ja) | 複数画像の中間像生成方法及び視差推定方法および装置 | |
| JP2009528587A (ja) | 出力画像のレンダリング | |
| JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
| CN102905145B (zh) | 立体影像系统、影像产生方法、影像调整装置及其方法 | |
| US10939092B2 (en) | Multiview image display apparatus and multiview image display method thereof | |
| CN112188186B (zh) | 一种基于归一化无限视点的获取裸眼3d合成图方法 | |
| US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
| JPH08201941A (ja) | ３次元画像形成方法 | |
| JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
| US20160014387A1 (en) | Multiple view image display apparatus and disparity estimation method thereof | |
| CN110149508A (zh) | 一种基于一维集成成像系统的阵列图生成及填补方法 | |
| WO2022155950A1 (zh) | 虚拟视点合成方法、电子设备和计算机可读介质 | |
| CN115719320A (zh) | 基于遥感影像的倾斜校正稠密匹配方法 | |
| WO2019026388A1 (ja) | 画像生成装置および画像生成方法 | |
| US20120154388A1 (en) | Stereo image processing method, stereo image processing device and display device | |
| Park et al. | Virtual control of optical axis of the 3DTV camera for reducing visual fatigue in stereoscopic 3DTV | |
| CN102404583A (zh) | 三维影像的深度加强系统及方法 | |
| JP2795784B2 (ja) | 複数視点３次元画像入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |