CN115866225A - 一种基于人眼特性的自适应裸眼3d视差调节方法 - Google Patents

Abstract

本发明涉及3D显示技术领域，尤其涉及一种基于人眼特性的自适应裸眼3D视差调节方法。本发明包括步骤：a.根据双目裸眼3D人眼融合区特性，确定3D对象成像景深范围；b.根据3D对象景深关系，计算符合人眼特性的3D图像视差范围；c.对双目3D视频进行立体匹配，计算双目3D视频图像的视差；d.根据符合人眼特性的视差范围及双目3D视频图像实际的视差关系，对双目3D视频图像视差进行动态调整；e.对动态调整后的双目3D视频图像进行处理，并结合双目裸眼3D显示特性对3D图像进行合成。该方法通过双目裸眼3D人眼融合区特性确定符合人眼特性的3D图像视差范围，通过立体匹配计算结果，实时对双目3D视频图像视差进行动态调整，可有效解决双目裸眼3D显示技术中由于3D视差过大而造成的重影问题。

Description

一种基于人眼特性的自适应裸眼3D视差调节方法

技术领域

本发明涉及3D显示技术领域，尤其涉及一种基于人眼特性的自适应裸眼3D视差调节方法。

背景技术

人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。随着社会的进步，传统的2D显示技术已经无法满足人们对于显示效果的追求。相较于2D显示技术，3D显示技术拥有图像逼真、强烈沉浸感和实时交互等优点，迅速占领显示市场。裸眼3D显示由于无需佩戴任何辅助设备即可观看到具有冲击力的立体视觉效果，能够给人们的生产、生活各方面带来全新的体验和视觉享受，代表了3D显示技术未来的发展方向。

裸眼3D显示技术主要采用分光原理来对左右眼图像进行分离，通过左眼看到左眼的图像，右眼看到右眼的图像就可以让用户的大脑合成一副有纵深感的立体画面。由于不同3D显示设备对3D视差的承受度不一致，同一个3D视频在3D投影/3D电视/VR头盔上有较好效果，但由于狭缝或柱状透镜裸眼3D显示设备对分光的限制，往往会由于3D视差过大的而产生比较严重的重影现象，限制裸眼3D显示产品的普及。如此，如何结合裸眼3D显示特性设计一种基于人眼特性的自适应裸眼3D视差调节方法，成为一个亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种基于人眼特性的自适应裸眼3D视差调节方法，旨在解决现有双目裸眼3D显示技术中由于3D视差过大而造成的重影问题，其特征在于，至少包括：

a.根据双目裸眼3D人眼融合区特性，确定3D对象成像景深范围；

b.根据3D对象景深关系，计算符合人眼特性的3D图像视差范围；

c.对双目3D视频进行立体匹配，计算双目3D视频图像的视差；

d.根据符合人眼特性的视差范围及双目3D视频图像实际的视差关系，对双目3D视频图像视差进行动态调整；

e.对动态调整后的双目3D视频图像进行处理，并结合双目裸眼3D显示特性对3D图像进行合成。

作为进一步优化，特征a中所述根据双目裸眼3D人眼融合区特性，确定3D对象成像景深范围，根据3D显示Panum融合区理论，当双眼注视空间中某一点时，只有该注视点及注视点周围一定范围内的物体可形成双目单视，能够准确感知到深度，这一范围被称为Panum融合区，相反超出该区域将产生复视，不能被准确感知到深度。

假设左、右眼中心点离双目裸眼3D显示设备的观看距离为D，人眼瞳孔直径为E，通常为0.4cm，η为人眼的视锐度，通常η＝2.907×10^-4cm，为保证3D图像的融合，人眼看到的3D对象景深Z满足的关系为：

作为进一步优化，特征b中所述根据3D对象景深关系，计算符合人眼特性的3D图像视差范围，基于双目裸眼3D显示成像原理，假设双眼的间距为e，左、右眼中心点离双目裸眼3D显示设备的观看距离为D，观看者看到的负视差点为A，正视差点为B，P_a和P_b为点A 和点B在双目裸眼3D显示设备上的视差大小，Z_a和Z_b为观看者看到的点A和点B的景深，根据几何关系，则有：

由于B点为正视差点，其值为负，则可把这两种关系合并为：

其中Z为人眼看到的3D对象景深，d为某点在双目裸眼3D显示设备上的视差的绝对值，则有如下关系：

继续简化有如下关系：

则可以判定当3D对象出屏时，符合人眼特性的3D图像最大的正视差为：

当3D对象入屏时，符合人眼特性的3D图像最大入屏的负视差为：

作为进一步优化，特征c中所述对双目3D视频进行立体匹配，计算双目3D视频图像的视差，立体匹配的目的是确定左右两幅图像中的每一对匹配点，从而获得视差图。首先计算匹配代价，将匹配点视为待匹配图像视差搜索范围内与原始图像上指定像素点最为相似的像素，匹配代价越小，两点间的相似性越高。假设d为左图中参考点p与右图中当前参与匹配代价的待匹配点的视差，则p点的匹配代价为：

其中C_Census和C_SAD分别表示Census变换和灰度平方差(SAD)的匹配代价，β、λ_Census、λ_SAD为联合匹配代价中的权重。

由于单像素计算得到的匹配代价结果较为简单，为提高匹配精度，需进一步对确定更优的匹配点，采用十字交叉邻域窗口的聚合方法，可得到像素点p在W_p滤波区域下的匹配聚合代价为：

其中，q为左图中参考点p与右图中当前参与匹配代价的待匹配点，W为W_p区域内的像素点个数。

选择在W_p区域内的最小视差作为初始视差，则有：

其中d_min和d_max为立体匹配设定的视差窗口范围。

再选择邻域范围内统计频率最高的视差值作为p点的最优视差：

其中hist(p,W_p)为p点的邻域W_p内视差的统计频次。

通过对图像所有点的立体匹配，可得到左右3D视频图像第i帧正视差的最大值

及负视差最大值/>

作为进一步优化，特征d中所述根据符合人眼特性的视差范围及双目3D视频图像实际的视差关系，对双目3D视频图像视差进行动态调整，假设左右双目3D视频的总体分辨率为 mxn，则独立的左、右两路图像分辨率为(m/2)xn，假设双目裸眼3D显示终端的分辨率为MxN，虽然每路图像只有1/2的像素参与最终成像，但为提高裸眼3D显示的清晰度，需对分割后的左、右两路图像分辨率分别缩放至MxN。如果左右3D视频图像第i帧正视差的最大值

或/>

则将右路图像像向左偏移/>

个像素，其中

为计算数值的下取整；当/>

或/>

时，其符合人眼特性的3D图像视差范围，则无须对右路图像进行偏移。

作为进一步优化，特征e中所述对动态调整后的双目3D视频图像进行处理，并结合双目裸眼3D显示特性对3D图像进行合成，在特征d中，当左右3D视频图像第i帧正视差的最大值

或/>

将右路图像像左偏移/>

个像素，这时会在右路图像的右侧区域产生黑边，为消除3D显示边界的黑边现象，对右路图像上下边界均裁掉/>

个像素，然后将右路裁边的图像缩放到MxN；为保持左右路图像大小的一致性，对左路图像上下两边分别裁掉/>

个像素，再对其左右两边裁掉/>

个像素，然后将左路裁边的图像缩放到MxN。

当

或/>

时，其符合人眼特性的3D图像视差范围，无须对左右路图像的进行裁边缩放。

按照双目裸眼3D子像素映射矩阵的计算公式为：

其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。

附图说明

图1是本发明一种基于人眼特性的自适应裸眼3D视差调节方法流程示意图；

图2是本发明中双目裸眼3D显示Panum融合区示意图；

图3是本发明中双目裸眼3D显示像素点的景深示意图；

图4是本发明右路图像偏移示意图；

图5是本发明左、右路图像裁边缩放示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步详细的描述。

本发明实施例提供了一种基于人眼特性的自适应裸眼3D视差调节方法，参照图1，图1 为本发明一种基于人眼特性的自适应裸眼3D视差调节方法的流程示意图。

本实施例中，所述基于人眼特性的自适应裸眼3D视差调节方法包括以下步骤：

步骤S10：根据双目裸眼3D人眼融合区特性，确定3D对象成像景深范围。

需要说明的是，根据3D显示Panum融合区理论，当双眼注视空间中某一点时，只有该注视点及注视点周围一定范围内的物体可形成双目单视，能够准确感知到深度，这一范围被称为Panum融合区，相反超出该区域将产生复视，不能被准确感知到深度。参照图2，图2为本发明实施例方案涉及的本发明中双目裸眼3D显示Panum融合区示意图，其中201两条虚拟间的区域为双目裸眼3D人眼融合区，人眼在此区域可进行3D图像的正确合成；在此区域外的其他区域由于超过人眼3D图像的成像范围，人眼不能对3D图像进行融合，会产生比较严重的重影或不能看到正确的3D效果。

进一步地，假设左、右眼中心点离双目裸眼3D显示设备的观看距离为D，人眼瞳孔直径为E，通常为0.4cm，η为人眼的视锐度，通常η＝2.907×10^-4cm，为保证3D图像的融合，人眼看到的3D对象景深Z满足的关系为：

/>

步骤S20：根据3D对象景深关系，计算符合人眼特性的3D图像视差范围。

需要说明的是，参照图3，图3为本发明实施例方案涉及的本发明中双目裸眼3D显示像素点的景深示意图。基于双目裸眼3D显示成像原理，假设双眼的间距为e，左、右眼中心点离双目裸眼3D显示设备的观看距离为D，观看者看到的负视差点为A，正视差点为B，P_a和P_b为点A和点B在双目裸眼3D显示设备上的视差大小，Z_a和Z_b为观看者看到的点A和点B的景深，根据几何关系，则有：

由于B点为正视差点，其值为负，则可把这两种关系合并为：

其中Z为人眼看到的3D对象景深，d为某点在双目裸眼3D显示设备上的视差的绝对值，则有如下关系：

继续简化有如下关系：

则可以判定当3D对象出屏时，符合人眼特性的3D图像最大的正视差为：

当3D对象入屏时，符合人眼特性的3D图像最大入屏的负视差为：

步骤S30：对双目3D视频进行立体匹配，计算双目3D视频图像的视差。

需要说明的是，立体匹配的目的是确定左右两幅图像中的每一对匹配点，从而获得视差图。首先计算匹配代价，将匹配点视为待匹配图像视差搜索范围内与原始图像上指定像素点最为相似的像素，匹配代价越小，两点间的相似性越高。假设d为左图中参考点p与右图中当前参与匹配代价的待匹配点的视差，则p点的匹配代价为：

其中C_Census和C_SAD分别表示Census变换和灰度平方差(SAD)的匹配代价，β、λ_Census、λ_SAD为联合匹配代价中的权重。

进一步地，由于单像素计算得到的匹配代价结果较为简单，为提高匹配精度，需进一步对确定更优的匹配点，采用十字交叉邻域窗口的聚合方法，可得到像素点p在W_p滤波区域下的匹配聚合代价为：

其中，q为左图中参考点p与右图中当前参与匹配代价的待匹配点，W为W_p区域内的像素点个数。

选择在W_p区域内的最小视差作为初始视差，则有：

其中d_min和d_max为立体匹配设定的视差窗口范围。

再选择邻域范围内统计频率最高的视差值作为p点的最优视差：

其中hist(p,W_p)为p点的邻域W_p内视差的统计频次。

通过对图像所有点的立体匹配，可得到左右3D视频图像第i帧正视差的最大值

及负视差最大值/>

步骤S40：根据符合人眼特性的视差范围及双目3D视频图像实际的视差关系，对双目 3D视频图像视差进行动态调整。

需要说明的是，对双目3D视频图像视差进行动态调整，假设左右双目3D视频的总体分辨率为mxn，则独立的左、右两路图像分辨率为(m/2)xn，假设双目裸眼3D显示终端的分辨率为MxN，虽然每路图像只有1/2的像素参与最终成像，但为提高裸眼3D显示的清晰度，需对分割后的左、右两路图像分辨率分别缩放至MxN。如果左右3D视频图像第i帧正视差的最大值

或/>

则将右路图像像向左偏移/>

个像素，其中/>

为计算数值的下取整，参照图4，图4为本发明实施例方案涉及的本发明中右路图像偏移示意图，其中401为未偏移的右路原始图像，402为将右路原始图像向左偏移的图像，403为由于偏移图像左边区域超多图像边界的区域，404为由于图像向左偏移造成右边区域产生黑边的区域；当/>

或/>

时，其符合人眼特性的3D图像视差范围，则无须对右路图像进行偏移。

步骤S50：对动态调整后的双目3D视频图像进行处理，并结合双目裸眼3D显示特性对 3D图像进行合成。

需要说明的是，在步骤S40中，当左右3D视频图像第i帧正视差的最大值

或/>

将右路图像像左偏移/>

个像素，这时会在右路图像的右侧区域产生黑边，为消除3D显示边界的黑边现象，对右路图像上下边界均裁掉/>

个像素，然后将右路裁边的图像缩放到MxN；为保持左右路图像大小的一致性，对左路图像上下两边分别裁掉/>

个像素，再对其左右两边裁掉/>

个像素，然后将左路裁边的图像缩放到MxN。参照图5，图5为本发明实施例方案涉及的本发明左、右路图像裁边缩放示意图，其中501为由于右路图像向左偏移产生的黑边区域，502和503为右路图像上下裁边的区域，505和506为左路图像左右裁边的区域，504和508为左路图像上下裁边的区域，509和510为右、左路图像缩放到MxN的图像。

当

或/>

时，其符合人眼特性的3D图像视差范围，无须对左右路图像的进行裁边缩放。

进一步地，按照双目裸眼3D子像素映射矩阵的计算公式为：

其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。

本说明书中公开的任一特性，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤之外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具类似目的的替代特征加以替代。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (4)

1.一种基于人眼特性的自适应裸眼3D视差调节方法，其特征包括：

a.根据双目裸眼3D人眼融合区特性，确定3D对象成像景深范围；

b.根据3D对象景深关系，计算符合人眼特性的3D图像视差范围；

c.对双目3D视频进行立体匹配，计算双目3D视频图像的视差；

d.根据符合人眼特性的视差范围及双目3D视频图像实际的视差关系，对双目3D视频图像视差进行动态调整；

e.对动态调整后的双目3D视频图像进行处理，并结合双目裸眼3D显示特性对3D图像进行合成。

2.如权利要求1所述的一种基于人眼特性的自适应裸眼3D视差调节方法，其特征在于：

特征c中所述对双目3D视频进行立体匹配，计算双目3D视频图像的视差，立体匹配的目的是确定左右两幅图像中的每一对匹配点，从而获得视差图。首先计算匹配代价，将匹配点视为待匹配图像视差搜索范围内与原始图像上指定像素点最为相似的像素，匹配代价越小，两点间的相似性越高。假设d为左图中参考点p与右图中当前参与匹配代价的待匹配点的视差，则p点的匹配代价为：

其中C_Census和C_SAD分别表示Census变换和灰度平方差(SAD)的匹配代价，β、λ_Census、λ_SAD为联合匹配代价中的权重。

由于单像素计算得到的匹配代价结果较为简单，为提高匹配精度，需进一步对确定更优的匹配点，采用十字交叉邻域窗口的聚合方法，可得到像素点p在W_p滤波区域下的匹配聚合代价为：

其中，q为左图中参考点p与右图中当前参与匹配代价的待匹配点，W为W_p区域内的像素点个数。

选择在W_p区域内的最小视差作为初始视差，则有：

其中d_min和d_max为立体匹配设定的视差窗口范围。

再选择邻域范围内统计频率最高的视差值作为p点的最优视差：

其中hist(p,W_p)为p点的邻域W_p内视差的统计频次。

通过对图像所有点的立体匹配，可得到左右3D视频图像第i帧正视差的最大值

及负视差最大值/>

3.如权利要求1所述的一种基于人眼特性的自适应裸眼3D视差调节方法，其特征在于：

特征d中所述根据符合人眼特性的视差范围及双目3D视频图像实际的视差关系，对双目3D视频图像视差进行动态调整，假设左右双目3D视频的总体分辨率为mxn，则独立的左、右两路图像分辨率为(m/2)xn，假设双目裸眼3D显示终端的分辨率为MxN，虽然每路图像只有1/2的像素参与最终成像，但为提高裸眼3D显示的清晰度，需对分割后的左、右两路图像分辨率分别缩放至MxN。如果左右3D视频图像第i帧正视差的最大值

或/>

则将右路图像像向左偏移/>

个像素，其中/>

为计算数值的下取整；当/>

或/>

时，其符合人眼特性的3D图像视差范围，则无须对右路图像进行偏移。

4.如权利要求1所述的一种基于人眼特性的自适应裸眼3D视差调节方法，其特征在于：

特征e中所述对动态调整后的双目3D视频图像进行处理，并结合双目裸眼3D显示特性对3D图像进行合成，在特征d中，当左右3D视频图像第i帧正视差的最大值

或

将右路图像像左偏移/>

个像素，这时会在右路图像的右侧区域产生黑边，为消除3D显示边界的黑边现象，对右路图像上下边界均裁掉/>

个像素，然后将右路裁边的图像缩放到MxN；为保持左右路图像大小的一致性，对左路图像上下两边分别裁掉/>

个像素，再对其左右两边裁掉/>

个像素，然后将左路裁边的图像缩放到MxN。

当

或/>

时，其符合人眼特性的3D图像视差范围，无须对左右路图像的进行裁边缩放。

按照双目裸眼3D子像素映射矩阵的计算公式为：

其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。

Images