CN103813153B - 一种基于加权求和的裸眼3d多视点图像合成方法 - Google Patents
一种基于加权求和的裸眼3d多视点图像合成方法 Download PDFInfo
- Publication number
- CN103813153B CN103813153B CN201410041134.8A CN201410041134A CN103813153B CN 103813153 B CN103813153 B CN 103813153B CN 201410041134 A CN201410041134 A CN 201410041134A CN 103813153 B CN103813153 B CN 103813153B
- Authority
- CN
- China
- Prior art keywords
- sub
- pixel
- viewpoint
- anaglyph
- weighted sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于加权求和的裸眼3D多视点图像合成方法涉及裸眼3D显示领域。本发明首先确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量,得到的视点子像素映射矩阵应保持其非整特性。将各幅视差图像进行放大插值,使各视差图像的分辨率与合成图像的相同。根据得到的视点子像素映射矩阵Q,利用加权求和思想,对所有RGB子像素的灰度值进行加权计算。因在裸眼3D显示中主要关心水平方向的视差量,因此本发明中涉及的加权求和过程仅考虑在水平方向上进行。本发明可有效消除立体显示中物体边缘的锯齿现象,解决相邻视点间过渡生硬的问题,有效改善观看者在平行于屏幕水平移动时的运动视差感受,提高立体观看舒适度。
Description
技术领域
本发明涉及裸眼3D显示领域,尤其涉及裸眼3D显示中的多视点图像合成方法。
背景技术
裸眼3D显示是不需要辅助设备(如佩戴红蓝、偏振、快门眼镜或者液晶头盔等)的一种显示技术,它在航空航天、军事、医学、广告设计和娱乐互动等领域均有广泛的应用背景。
目前,裸眼3D显示的主流技术有两种:狭缝光栅和柱镜光栅。狭缝光栅是由透光和挡光的光栅条组成,通过对光线的遮挡作用,来实现不同视点图像的空间分离;而柱镜光栅是利用柱面透镜对光线的折射作用,使光线在空间发生偏转,从而实现与狭缝光栅相似的效果,这两种方式都属于空间复用的裸眼3D显示技术。
但是,为了实现观看者的左右眼能看到来自于不同视点图像的信息,需要对2D显示屏上的图像进行视差图像合成。图像合成是指将多幅视差图像的子像素按照光栅与显示屏之间的光学结构,以一定规律排列生成图像的过程。对于每个视点的视图,在融合生成一幅立体图像时,并非所有像素都对融合后的立体图像有贡献,图像融合处理只选取了每个视点视图中的一部分信息,并将其提取出来,最后融合成一幅立体图像。
只有观看者左右眼从不同角度透过光栅观看显示在2D显示屏上的合成图像时,由于狭缝光栅的遮挡作用或者柱镜光栅的折射作用,才使得左右眼分别接收到来自于不同视差图像的信息,进而通过大脑的融合机制产生立体视觉。
发明内容
本发明给出了一种基于加权求和的裸眼3D视差图像合成方法,包括如下步骤:
1.首先确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量,式(1)给出了视点子像素映射矩阵的计算公式:
其中,(k,l)为RGB子像素的坐标位置,koff表示2D显示屏左上边缘与光栅单元边缘点的水平位移量,α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角,X为一个光栅周期在水平方向上覆盖RGB子像素的个数,mod为取余操作,Ntot表示总视点个数,也就是参与合成的视差图像数量。
那么,根据公式(1)可计算出2D显示屏上的每个子像素的灰度值应该取自哪幅视差图像的相应坐标位置的灰度值。值得注意的是,得到的每个子像素所对应的视点数Q通常并非整数,但研究学者均先对视点数Q进行四舍五入的取整操作,再进行后续的采样操作。然而,本发明认为对视点子像素映射矩阵进行取整操作是人为损失了立体图像信息,会导致物体边缘发生锯齿效应,且会使视点间过渡生硬,影响观看者的运动视差感受。本发明认为视点子像素映射矩阵应保持其非整特性,且可利用其小数所蕴含的权重信息,针对某个子像素的灰度值,对相应的两视点灰度进行加权求和,具体将在第3步中给出。
2.将各幅视差图像进行放大插值,使各视差图像的分辨率与合成图像的相同。
3.根据第1步中得到的视点子像素映射矩阵Q,利用加权求和思想,对所有RGB子像素的灰度值进行加权计算。因在裸眼3D显示中主要关心水平方向的视差量,因此本发明中涉及的加权求和过程仅考虑在水平方向上进行。那么,2D显示屏上每个子像素的灰度值可有如下公式:
R(k,l)=I(k,l,i)×(1-ξ)+I(k,l,i+1)×ξ(2)
其中,R为合成图像中坐标位置为(k,l)的子像素灰度值,I为某幅视差图像(I中的第三个变量i为视点数)在相应位置的灰度值,ξ为权重系数,且可有以下关系成立:
其中,floor()为下取整函数,若i=0,则令i=Ntot。
公式(3)中,根据视点数Q的小数值并按照线性关系来分配相邻视点图像在给定子像素位置分别应该贡献的灰度值。除此之外,凡在本发明创造的精神和原则之内对权重系数所作的任何修改和改进等,均应包含在本发明创造的保护范围之内。
为了便于理解,下面举例说明,若计算某子像素所对应的视点数Q=6.4,那么,根据公式(2)可得该子像素的灰度值应为:
灰度值=第6个视点的灰度值×0.6+第7个视点的灰度值×0.4(4)
而不是传统的:
灰度值=第6个视点的灰度值×1(5)
本发明的有益效果:
本发明可有效消除立体显示中物体边缘的锯齿现象,解决相邻视点间过渡生硬的问题,有效改善观看者在平行于屏幕水平移动时的运动视差感受,提高立体观看舒适度。
附图说明
下面结合附图对本发明进一步说明。
图1是本发明的流程图。
图2是视点子像素映射关系示意图。
图3是传统方法得到的视点子像素映射矩阵实施例。
图4是本发明得到的视点子像素映射矩阵实施例。
图5是传统方法的合成图像实施例。
图6是本发明的合成图像实施例。
图7是传统方法的立体图像实际拍摄效果图。
图8是图7中的矩形框区域放大图。
图9是本发明获得的立体图像的实际拍摄效果图。
图10是图9中的矩形框区域放大图。
具体实施方式
图1为本发明的流程图,可分为三个步骤:1)计算视点子像素映射矩阵,保持视点数的非整特性;2)将各幅视差图像进行缩放,使其与合成图像的分辨率一致;3)利用加权求和思想,对2D显示屏上的子像素灰度值进行依次赋值。
图2为视点子像素映射关系示意图,其中,1为2D显示屏左上边缘与光栅单元边缘点的水平位移量koff,2为一个光栅周期在水平方向上所覆盖的RGB子像素个数X,3为光栅轴相对于LCD显示屏垂直轴的倾斜夹角α,4为RGB子像素的坐标位置(k,l)。
下面结合具体实施例对本发明做进一步说明:当α=arctan(0.2468),Ntot=8,X=8.0025时,图3和图4分别给出了按照传统方法和按照本发明的方法获得的视点子像素映射矩阵。其中,图中的细长方格代表一个子像素,每个细长方格中的数字为该子像素所对应的视点数,也就是矩阵Q中的值。图3是经过对图4中的值进行四舍五入取整后得到的。
图5和图6分别给出了按照传统方法和本发明涉及的方法,计算得到的8视点的合成图像,其中,物体为奥迪车标。在获得合成图像之后,便可以将其输入到裸眼3D显示系统中,观察者在显示屏前方便可以看到立体效果。
为了说明本发明相比于传统合成方法的优势,图7和图9分别给出了传统合成方式和本发明的合成方法所拍摄的立体图像显示效果。这里值得说明的是,因裸眼3D显示系统是基于双目视差原理,即通过人双眼所看到的具有不同水平视差的图像,进而在大脑中融合出立体图像。因此,这里采用相机拍摄到的图像仅能近似表示单眼的视网膜上所看到的图像信息。图8和图10分别是对图7和图9的矩形框区域放大后的效果图。对比图8和图10,可以明显发现,利用本发明涉及的方法进行合成后,显示效果有明显改善,表现为:物体边缘的锯齿现象减轻,彩色颗粒感减弱,图像变得平滑。这样的话,在观看者水平移动时可以看到不同视点图像的平滑过渡,从而提高运动视差感受,提高立体观看舒适度
以上所述仅为本发明创造的较佳实施例,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。
Claims (3)
1.一种基于加权求和的裸眼3D视差图像合成方法,包括如下步骤:
1)根据式(1)确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量,计算出视点子像素映射矩阵:
其中,(k,l)为RGB子像素的坐标位置,koff表示2D显示屏左上边缘与光栅单元边缘点的水平位移量,α为光栅轴相对于2D显示屏垂直轴的倾斜夹角,X为一个光栅周期在水平方向上覆盖RGB子像素的个数,mod为取余操作,Ntot表示总视点个数,也就是参与合成的视差图像数量;
2)将各幅视差图像进行放大插值,使各视差图像的分辨率与合成图像的相同;
3)根据第1)步中得到的视点子像素映射矩阵Q水平方向上进行加权求和;那么,2D显示屏上每个子像素的灰度值有如下公式:
R(k,l)=I(k,l,i)×(1-ξ)+I(k,l,i+1)×ξ(2)
其中,R为合成图像中坐标位置为(k,l)的子像素灰度值,I为某幅视差图像在相应位置的灰度值,I中的第三个变量i为视点数,ξ为权重系数,且有以下关系成立:
其中,floor()为下取整函数。
2.如权利要求1所述的基于加权求和的裸眼3D视差图像合成方法,其特征在于:2D显示屏为LCD液晶显示屏,或者为三拼一LED显示屏,其中三拼一LED显示屏的R、G、B子像素的排列特征与LCD显示屏一致。
3.如权利要求1所述的基于加权求和的裸眼3D视差图像合成方法,其特征在于:光栅为狭缝光栅,或者为柱镜光栅。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410041134.8A CN103813153B (zh) | 2014-01-27 | 2014-01-27 | 一种基于加权求和的裸眼3d多视点图像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410041134.8A CN103813153B (zh) | 2014-01-27 | 2014-01-27 | 一种基于加权求和的裸眼3d多视点图像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103813153A CN103813153A (zh) | 2014-05-21 |
CN103813153B true CN103813153B (zh) | 2015-12-30 |
Family
ID=50709288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410041134.8A Active CN103813153B (zh) | 2014-01-27 | 2014-01-27 | 一种基于加权求和的裸眼3d多视点图像合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103813153B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104185011B (zh) * | 2014-08-26 | 2016-06-01 | 四川虹微技术有限公司 | 一种多视点图像融合装置 |
CN104243965B (zh) * | 2014-10-08 | 2016-08-17 | 成都斯斐德科技有限公司 | 一种提升自由立体显示分辨率的方法 |
CN104601975B (zh) * | 2014-12-31 | 2016-11-16 | 深圳超多维光电子有限公司 | 广视角裸眼立体图像显示方法及显示设备 |
CN108139592B (zh) * | 2015-01-28 | 2021-06-08 | 奈克斯特Vr股份有限公司 | 缩放相关的方法和装置 |
CN105100778A (zh) * | 2015-08-31 | 2015-11-25 | 深圳凯澳斯科技有限公司 | 一种多视点立体视频转换的方法及装置 |
CN105721850A (zh) * | 2016-02-01 | 2016-06-29 | 李应樵 | 一种利用模板快速对两视角立体显示屏图像生成办法 |
CN105704473A (zh) * | 2016-02-01 | 2016-06-22 | 李应樵 | 一种利用模板快速对多视角立体显示屏图像生成办法 |
CN106067969B (zh) * | 2016-06-30 | 2018-02-27 | 北京邮电大学 | 一种柱镜光栅的多视点3d显示方法及装置 |
CN106331678B (zh) * | 2016-09-20 | 2019-04-30 | 四川长虹电器股份有限公司 | 裸眼3d显示系统中可硬件实现的浮点型视点处理方法 |
CN107483912B (zh) * | 2017-08-31 | 2019-01-25 | 成都斯斐德科技有限公司 | 一种基于浮点型柱状透镜光栅的多视点图像融合方法 |
CN107801019B (zh) * | 2017-10-31 | 2019-12-27 | 广东云股传媒股份有限公司 | 一种基于柱镜光栅的多视点裸眼3d显示区域补偿方法 |
CN111599294B (zh) * | 2020-05-26 | 2022-09-27 | 昆山国显光电有限公司 | 显示屏颗粒感的评测方法和装置 |
CN112188186B (zh) * | 2020-09-28 | 2023-01-24 | 南京工程学院 | 一种基于归一化无限视点的获取裸眼3d合成图方法 |
CN112532965B (zh) * | 2020-11-10 | 2021-08-20 | 华中科技大学 | 一种基于匹配加权的斜纹光栅立体原图填充方法 |
CN113450274B (zh) * | 2021-06-23 | 2022-08-05 | 山东大学 | 一种基于深度学习的自适应视点融合方法及系统 |
CN114063310B (zh) * | 2021-10-24 | 2023-11-24 | 锋芒科技南京有限公司 | 一种光场片源视点确认方法 |
CN114356273B (zh) * | 2021-12-30 | 2023-10-17 | 纵深视觉科技(南京)有限责任公司 | 一种独立驱动位置确定方法、装置、存储介质及电子设备 |
CN114286076B (zh) * | 2022-01-19 | 2024-09-27 | 香港理工大学 | 柱镜光栅裸眼3d显示屏的图像生成方法、测试方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102801999A (zh) * | 2012-07-19 | 2012-11-28 | 天津大学 | 基于裸眼3d显示技术的合成算法 |
WO2012161076A1 (ja) * | 2011-05-26 | 2012-11-29 | ソニー株式会社 | 表示装置および方法、並びにプログラム |
WO2012176431A1 (ja) * | 2011-06-20 | 2012-12-27 | パナソニック株式会社 | 多視点画像生成装置、多視点画像生成方法 |
CN103024417A (zh) * | 2012-12-26 | 2013-04-03 | 上海大学 | 全视差立体成像方法 |
WO2013094211A1 (ja) * | 2011-12-21 | 2013-06-27 | パナソニック株式会社 | 表示装置 |
CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
-
2014
- 2014-01-27 CN CN201410041134.8A patent/CN103813153B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012161076A1 (ja) * | 2011-05-26 | 2012-11-29 | ソニー株式会社 | 表示装置および方法、並びにプログラム |
WO2012176431A1 (ja) * | 2011-06-20 | 2012-12-27 | パナソニック株式会社 | 多視点画像生成装置、多視点画像生成方法 |
WO2013094211A1 (ja) * | 2011-12-21 | 2013-06-27 | パナソニック株式会社 | 表示装置 |
CN102801999A (zh) * | 2012-07-19 | 2012-11-28 | 天津大学 | 基于裸眼3d显示技术的合成算法 |
CN103024417A (zh) * | 2012-12-26 | 2013-04-03 | 上海大学 | 全视差立体成像方法 |
CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
Non-Patent Citations (1)
Title |
---|
基于视差估计的中间视合成;吕朝辉;《光电子 激光》;20070731;第18卷(第7期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103813153A (zh) | 2014-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103813153B (zh) | 一种基于加权求和的裸眼3d多视点图像合成方法 | |
JP6308513B2 (ja) | 立体画像表示装置、画像処理装置及び立体画像処理方法 | |
CN103595986B (zh) | 立体图像显示装置、图像处理装置及图像处理方法 | |
CN103974055B (zh) | 3d照片生成系统及方法 | |
CN103988504B (zh) | 用于子像素渲染的图像处理设备和方法 | |
JP5450330B2 (ja) | 画像処理装置および方法、ならびに立体画像表示装置 | |
JP6374506B2 (ja) | 3次元表示方法 | |
US20010048507A1 (en) | Processing of images for 3D display | |
CN105158915B (zh) | 一种基于三合一led裸眼3d显示装置及制备方法 | |
JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
CN102621702B (zh) | 液晶屏像素非常规排列时裸眼3d图像生成方法和系统 | |
JP2010524309A (ja) | 三次元表示する方法および構成 | |
CN208257981U (zh) | 一种基于子像素的led裸眼3d显示装置 | |
KR20130036198A (ko) | 자동입체 디스플레이 및 그 제조방법 | |
CN104811686A (zh) | 一种浮点型多视点裸眼立体合成图像的硬件实现方法 | |
JP2013005135A (ja) | 画像処理装置および方法、並びにプログラム | |
CN103888746A (zh) | 一种基于子像素的三合一led裸眼3d显示装置及方法 | |
CN101159881A (zh) | 裸眼可视液晶光栅立体图像显示装置 | |
KR101746719B1 (ko) | 디스플레이패널과 개별 렌즈간의 거리를 각각 달리하는 렌즈어레이를 이용한 3차원 영상 출력 방법 | |
Date et al. | Luminance profile control method using gradation iris for autostereoscopic 3D displays | |
CN103969836A (zh) | 一种用于多视点自由立体显示器的视角扩展方法 | |
CN102780900A (zh) | 一种多人多视角立体显示器影像显示方法 | |
KR101746714B1 (ko) | 렌티큘러시트를 부착하는 3차원 영상 출력 시스템 | |
CN204903873U (zh) | 一种基于三合一led显示屏的裸眼3d显示装置 | |
Hyun et al. | Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20151106 Address after: 2703, room 2, unit 1, building 4, Kai Yang Road, 100102, Beijing, Chaoyang District Applicant after: Vientiane 3D vision technology (Beijing) Co., Ltd. Address before: 100025 Beijing Chaoyang District Chaoyang Road No. 67 Building No. 7 602 caimanjie Applicant before: BEIJING VIVISION SCIENCE & TECHNOLOGY DEVELOPMENT CO., LTD. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |