CN103945204B - 一种图像信号处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像信号处理方法及装置，能够降低逆变区的反向视差，同时改善非逆变区的立体显示效果。该方法包括：获取图像信号以及所述图像信号的深度信息；将所述图像信号处理为N个具有不同的深度信息的子视图信号；将所述N个子视图信号处理成为多视图信号，其中，每相邻两个子视图之间的视差逐渐减小，所述N大于1。

Description

一种图像信号处理方法及装置

技术领域

本发明涉及立体显示技术领域，尤其涉及一种图像信号处理方法及装置。

背景技术

自由立体显示以裸眼3D显示技术为基础。裸眼3D显示技术利用具有视差的左眼视图和右眼视图（左、右眼视图也称为子视图，对用户而言，每个子视图在显示时对应一个视点），以一定频率交替显示，由于左眼视图与右眼视图具有视差，从而具有视差的左眼视图和右眼视图显示后，经过人的大脑综合产生立体视觉。

在自由立体显示中，将接收到的普通的二维信号或两视点三维图像信号转换为N个视点的子视图，并且相邻子视图之间的视差相同，将N个视点的子视图合成为多视图并显示，由于任意相邻的两个子视图都具有视差，则用户在每个视区（相邻两子视图的显示区域对应为一个视区）内都能观看立体显示图像。

如附图1所示，若将接收到的信号转换为N个子视图信号，则1、2、3、……、N-2、N-1、N个子视图依次排布后，再重新从1开始排布；由于每相邻两个子视图存在视差，则第一个视图与第N个视图之间则存在N-1个视差；由此可见，在相邻的两个显示周期之间，上一个周期的第N个子视图与本周期内的第一个子视图之间（相邻的两个视点，一个视区）存在N-2个反向的视差，成为逆变区，用户无法在此区域内观看到正常的立体图像。如附图1所示，a、b、c处可正常观看立体图像，d处为逆变区则无法正常观看立体图像。如附图2所示，假设1子视图信号的立体信息为D₀，相邻的两个像素点的视差为D，在该逆变区进入左右眼的逆视差为|(N-1)×D|，显示效果为图像有严重反向重影。

再者，每个用户对立体显示信号的敏感度不一样，每个用户的立体感受程度也不同；因此，同一视差效果下，有的用户可能觉得视差过大，立体视觉效果过于强烈，眼睛极容易疲倦；有的用户可能觉得视差过小，立体视觉效果不够强烈。

发明内容

本发明提供一种图像信号处理方法及装置，能够降低逆变区的反向视差，同时改善非逆变区的立体显示效果。

本发明实施例提供的具体技术方案如下：

一种图像信号处理方法，包括：

获取图像信号以及所述图像信号的深度信息；

将所述图像信号处理为N个具有不同的深度信息的子视图信号；

将所述N个子视图信号处理成为多视图信号，其中，每相邻两个子视图信号之间的视差逐渐减小，所述N大于1。

一种图像信号处理装置，包括：

获取模块，用于获取图像信号以及所述图像信号的深度信息；

第一处理模块，用于将所述图像信号处理为N个具有不同的深度信息的子视图信号；

第二处理模块，用于将所述N个子视图信号处理成为多视图信号，其中，每相邻两个子视图之间的视差逐渐减小，所述N大于1。

基于上述技术方案，本发明实施例中，根据获取的图像信号的深度信息，调整各子视图信号的深度信息，使得各子视图具有不同的深度信息，且按照各子视图信号的排列顺序，使每相邻两个子视图之间的视差逐渐减小；现有技术中，每相邻两个子视图之间的视差相同，例如都为D，则相邻两个显示周期（每个显示周期中显示N个子视图）之间的逆变区的视差为N-1个反向视差，即反向的（N-1）D，而本发明中，由于每相邻两个子视图之间的视差逐渐减小（可描述为D，K2D，K3D，….,K(N-1)D，其中1>K2>K3>….>K(N-1)），则相邻两个显示周期之间的逆变区的视差必然小于反向的（N-1）D，使得合成的多视图信号中，相邻两个显示周期之间的逆变区的逆视差减小，从而降低了逆变效果的影响，且因为多视图信号中相邻两个视点的视差呈递减变化，可满足多个对立体感敏感度不同的观看者同时观看，从而改善立体显示效果。

附图说明

图1为现有技术中可视区内正常视差与逆视差示意图；

图2为现有技术中可视区内逆视差示意图；

图3为现有技术中二维信号或两视点三维图像信号转换为多视点信号的过程示意图；

图4为本发明实施例中图像信号处理方法流程示意图；

图5为本发明实施例中可视区内视差逐渐减小的示意图；

图6为本发明实施例中视差线性减小的示意图；

图7为本发明实施例中视差变化过程示意图；

图8为本发明实施例中视差数值变化示意图；

图9为本发明实施例中视差非线性减小的示意图；

图10为本发明实施例中视差非线性变化过程示意图；

图11为本发明实施例中视差数值非线性变化示意图；

图12本发明实施例中另一视差非线性减小的示意图；

图13为本发明实施例中另一视差非线性变化过程示意图；

图14为本发明实施例中另一视差数值非线性变化示意图；

图15为本发明实施例中图像信号处理装置结构示意图。

具体实施方式

为了降低逆变区的反向视差，改善非逆变区的立体显示效果，本发明实施例提供了一种图像信号处理方法及装置。

下面结合附图对本发明优选的实施方式进行详细说明。

二维图像信号或两视点三维图像信号先转换成二维图像信号（常为原二维图像信号）和相应深度信息（Depth），深度信息可表示为（其中，e为虚拟摄像机两个镜头间距，通常取为人眼瞳孔间距，即65mm，f为虚拟摄像机焦距，D为视差，Depth信息与视差成反比，虚拟摄像机存在与自由立体信号处理算法中，其相关参数大多与实际3D摄像机相同），通过改变深度信息即可获得不同的子视图信号，最终再将这些子视图信号合成一副多视图信号。

深度信息Depth同样以灰度图形式表示，将深度信息的最小值和最大值分别对应为灰度图的0和255，其他深度信息按比例依次对应为灰度图中的各个灰度值。二维信号或两视点三维图像信号转换为多视点信号过程如图3所示，二维图像信号或两视点三维图像信号先转换而成新的二维图像信号和Depth信息的组合，新的二维图像信号一般与原二维图像信号相同，在生成新的子视图信号时，只需改变Depth信息（改变灰度图中各个点的灰度值）即可获得不同的子视图信号，由Depth和视差的关系可知，改变了Depth信息即改变了视差。子视图信号1由新的二维图像信号和Depth1生成，子视图信号2由新的二维图像信号和Depth2生成，子视图信号N由二维图像信号和DepthN生成，其中Depth1、Depth2、……、DepthN是不相同的。发明人发现，现有技术中，相邻的两个子视图信号之间的深度信息差异是相同的，可表示为Depth2-Depth1=Depth3-Depth2=……=DepthN-Depth(N-1)，即N个子视图信号中，每相邻两个子视图间的视差相同，进一步说，也即，N个子视图信号中，对应相同像素坐标的像素中，每相邻两个子视图中对应相同像素坐标的两个像素间的视差相同。

以下实施例中，基于上述原理，通过调整深度信息使得获得的各子视图信号中，每相邻两个子视图信号之间的视差不同，以达到减小多视图信号中逆变区的逆视差和提供多种不同视差视觉体验的目的。

本发明第一实施例中，如附图4所示，提供了一种图像信号处理方法，该方法的具体过程如下：

步骤401：获取图像信号以及该图像信号的深度信息。

步骤402：将图像信号处理为N个具有不同的深度信息的子视图信号。

步骤403：将N个子视图信号处理成为多视图信号，其中，每相邻两个子视图信号之间的视差逐渐减小，N大于1。

其中，对于两视点三维图像信号，以一个视图信号为参照，根据两个视图信号间的差异计算出作为参照的该视图信号的深度信息，根据该作为参照的视图信号和深度信息获得多个子视图信号。

由二维图像信号或两视点三维图像信号生成多视图信号（即自由立体信号）时，中间会生成N个子视图信号，N大于1，在生成这些子视图信号时，每个子视图信号都会对应不同的Depth信息，只需改变Depth信息（即改变Depth灰度图中各个点的灰度值），即可得到不同的子视图信号，Depth信息与视差成反比关系，改变Depth信息即改变了视差，因此改变Depth信息获得不同子视图信号也可认为是改变视差获得不同子视图信号。

通过更改Depth信息获得各子视图信号，使得每相邻的两个子视图信号的Depth间的差异不相同，而是逐渐增大，即视差逐渐减小。

本发明实施例中，调整二维图像信号或两视点三维图像信号的深度信息的方式有多种，只需要能够得到多种不同的深度信息即可，其中每种深度信息对应一个子视图信号。

较佳地，在获得图像信号以及图像信号的深度信息后，分别按照不同的缩放比例对该图像信号深度信息的每个像素的灰度值进行缩放，获得各子视图信号；

或者，

分别按照不同的缩放比例对图像信号的深度信息的局部区域中各像素的灰度值进行缩放，获得各子视图信号。

其中，每相邻子视图信号的深度信息的变化与每相邻子视图信号的视差的变化成反比关系，即每相邻子视图信号的深度信息呈增大的变化趋势时，每相邻子视图信号的视差呈减小的趋势。

基于该特点，本发明实施例中，通过调整深度信息获得多个具有不同深度信息的子视图信号，使得每相邻两个子视图信号之间的深度信息的差异不相同，即将相邻的两个子视图信号的深度信息做差获得的各差值图像不同，也就使得每相邻子视图信号的视差不同。

较佳地，调整深度信息获得的多个子视图信号，相应于，各子视图信号中对应相同像素坐标的各像素中，每相邻两个子视图对应相同像素坐标的两个像素间的视差逐渐减小；将相邻子视图信号的深度信息做差获得的各差值图像中，像素坐标相同的各像素的像素值逐渐增大。

例如，如附图5所示，若默认第一子视图信号与第二子视图信号的视差为D，则在一个可视周期内，相邻两个子视图信号的视差分别为D、k₁D、k₂D、……、k_N-3D、k_N-2D，其中，k₁、k₂、……、k_N-3和k_N-2为变化系数，且1>k₁>k₂>……>k_N-3>k_N-2，一个可视周期的最后一个子视图信号中的像素与下周期首个子视图信号中的像素之间的视差为|(1+k₁+......+k_N-3+k_N-2)D|，要比|(N-1)D|小很多，可大大减弱逆变区逆变效果，且可提供多种不同视差的视觉体验，若第一个子视图信号和第二个子视图信号的视差减小，逆变区的逆变效果会进一步减弱。

优选地，每相邻两个子视图信号之间的视差逐渐减小，有以下两种情况：

每相邻两个像素间的视差线性减小；

或者，

每相邻两个像素间的视差非线性减小。

较佳地，各子视图信号中对应相同像素坐标的各像素中，每相邻两个子视图对应相同像素坐标的两个像素间的视差非线性减小，可以是每相邻两个像素间的视差满足f(x)=Ax²+Bx+C，其中，x表示相邻两个子视图信号的视差坐标，第N-1个子视图图像信号与第N个子视图图像信号的视差坐标为N-1。

例如，如附图6所示，第1和2视点的视差为D，第2和3视点视差为k₁D，第3和4视点视差为k₂D，依次类推，第N-1视点和N视点视差为k_N-2D，视差的减小呈线性变化，即D-k₁D=k₁D-k₂D=……=k_N-3D-k_N-2D，此变化直线符合公式f(x)=Ax+B，其中，x为视差坐标，第1子视图信号和第2子视图信号的视差坐标为1，第2子视图信号和第3子视图信号的视差坐标为2，依次类推，第N-1视点和第N视点的视差坐标为N-1，f(x)表示视差大小，A的正负决定了直线为上升直线还是下降直线，此处A为负值，A的值越大则下降越缓慢，即视差的变化率越小。此种方式中，视差变化较为均匀，视差从大到小规律性变化。如附图7所示，以5个子视图信号为例，假设1子视图信号的立体信息为D₀，第1和2子视图信号的视差为D，第1和2子视图信号的视差为D，第2和3子视图信号的视差为0.8D，第3和4子视图信号的视差为0.6D，第4和5子视图信号的视差为0.4D，逆变区视差为|2.8D|，此时f(x)=Ax+B中的A为-0.2，B为1.2，则公式为f(x)=-0.2x+1.2，如附图8所示。

又例如，如图9所示，各子视图信号中像素坐标相同的各像素中，每相邻两个像素间的视差非线性减小，此变化曲线符合公式：f(x)=Ax²+Bx+C，其中，x为视差坐标，第1子视图信号和第2子视图信号的视差坐标为1，第2子视图信号和第3子视图信号的视差坐标为2，依次类推，第N-1子视图信号和第N子视图信号的视差坐标为N-1，f(x)为视差大小，的正负决定了曲线为上升曲线还是下降曲线，此处曲线为下降曲线，则为负值，2A的值决定了曲线下降的缓慢程度，2A越大，则下降的越迅速，即视差的变化率越大，2A越小，则下降的越缓慢，即视差的变化率越小，在此种方式中，保留的立体深度大的视点数少，立体深度小的视点数多。以一个显示周期有5视点排列为例（即有5个子视图信号），假设1视点（1子视图信号）立体信息为D₀，第1和2视点视差为D，第1和2视点视差为D，第2和3视点视差为0.7D，第3和4视点视差为0.5D，第4和5视点视差为0.4D，逆变区视差为|2.6D|，如图10所示，此时f(x)=Ax²+Bx+C中的A为0.05，B为-0.45，C为1.4，则公式为f(x)=0.05x²-0.45x+1.4，如附图11所示。

又例如，如附图12所示，各子视图信号中，对应相同像素坐标的各像素中，每相邻两个子视图中对应相同像素坐标的两个像素间的视差非线性减小，此变化曲线符合公式：f(x)=Ax²+Bx+C，在此种方式中，保留的立体深度大的视点数多，立体深度小的视点数少。以一个显示周期有5视点排列为例（即有5个子视图信号），假设1视点（1子视图信号）立体信息为D₀，第1和2视点视差为D，第2和3视点视差为0.9D，第3和4视点视差为0.7D，第4和5视点视差为0.4D，逆变区视差为|3D|，如附图13所示。此时f(x)=Ax²+Bx+C中A为-0.05，B为0.05，C为1，则公式为f(x)=-0.05x²+0.05x+1，如附图14所示。

合成多视图信号（即自由立体信号）时，获取各子视图信号中相同坐标位置的各像素，按照各子视图的顺序依次排列形成一个显示周期，针对每个像素位置依次排列后即可合成多视图信号。

基于相同的原理，本发明第二实施例中，如附图15所示，提供了一种图像信号处理装置，该装置的具体实施可参见上述方法部分的描述，重复之处不再赘述，该装置主要包括：

获取模块1501，用于获取图像信号以及所述图像信号的深度信息；

第一处理模块1502，用于将所述图像信号处理为N个具有不同的深度信息的子视图信号；

第二处理模块1503，用于将所述N个子视图信号处理成为多视图信号，其中，每相邻两个子视图之间的视差逐渐减小，所述N大于1。

优选地，第二处理模块具体用于：

使每相邻两个子视图间的视差线性减小；

或者，

使每相邻两个子视图间的视差非线性减小。

优选地，第二处理模块具体用于：

将N个子视图信号处理成为多视图信号时，使每相邻两个子视图间的视差f(x)=Ax²+Bx+C，其中，x表示相邻两个子视图信号的视差坐标，第N-1个子视图信号与第N个子视图信号的视差坐标为N-1。

具体地，第一处理模块具体用于：

分别按照不同的缩放比例对图像信号的深度信息的每个像素的灰度值进行缩放，获得各子视图信号；

或者，

分别按照不同的缩放比例对图像信号的深度信息的局部区域中各像素的灰度值进行缩放，获得各子视图信号。

基于上述技术方案，本发明实施例中，根据获取的图像信号的深度信息，调整各子视图信号的深度信息，使得各子视图具有不同的深度信息，且按照各子视图信号的排列顺序，使每相邻两个子视图之间的视差逐渐减小；现有技术中，每相邻两个子视图之间的视差相同，例如都为D，则相邻两个显示周期（每个显示周期中显示N个子视图）之间的逆变区的视差为N-1个反向视差，即反向的（N-1）D，而本发明中，由于每相邻两个子视图之间的视差逐渐减小（可描述为D，K2D，K3D，….,K(N-1)D，其中1>K2>K3>….>K(N-1)），则相邻两个显示周期之间的逆变区的视差必然小于反向的（N-1）D，使得合成的多视图信号中，相邻两个显示周期之间的逆变区的逆视差减小，从而降低了逆变效果的影响，且因为多视图信号中相邻两个视点的视差呈递减变化，可满足多个对立体感敏感度不同的观看者同时观看，从而改善了立体显示效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种图像信号处理方法，其特征在于，包括：

获取图像信号以及所述图像信号的深度信息；

将所述图像信号处理为N个具有不同的深度信息的子视图信号；

将所述N个子视图信号处理成为多视图信号，其中，每相邻两个子视图信号之间的视差逐渐减小，所述N大于1。

2.如权利要求1所述的方法，其特征在于，每相邻两个子视图信号之间的视差逐渐减小，包括：

每相邻两个子视图间的视差线性减小；

或者，

每相邻两个子视图间的视差非线性减小。

3.如权利要求2所述的方法，其特征在于，每相邻两个子视图间的视差非线性减小，包括：

每相邻两个子视图的视差为f(x)=Ax²+Bx+C，其中，x表示相邻两个子视图信号的视差坐标，第N-1个子视图信号与第N个子视图信号的视差坐标为N-1。

4.如权利要求1、2或3所述的方法，其特征在于，将所述图像信号处理为N个具有不同的深度信息的子视图信号，包括：

分别按照不同的缩放比例对所述图像信号的深度信息的每个像素的灰度值进行缩放，获得各子视图信号；

或者，

分别按照不同的缩放比例对所述图像信号的深度信息的局部区域中各像素的灰度值进行缩放，获得各子视图信号。

5.一种图像信号处理装置，其特征在于，包括：

获取模块，用于获取图像信号以及所述图像信号的深度信息；

第一处理模块，用于将所述图像信号处理为N个具有不同的深度信息的子视图信号；

第二处理模块，用于将所述N个子视图信号处理成为多视图信号，其中，每相邻两个子视图之间的视差逐渐减小，所述N大于1。

6.如权利要求5所述的装置，其特征在于，所述第二处理模块具体用于：

将所述N个子视图信号处理成为多视图信号时，使每相邻两个子视图间的视差线性减小；

或者，

使每相邻两个子视图间的视差非线性减小。

7.如权利要求6所述的装置，其特征在于，所述第二处理模块具体用于：

将所述N个子视图信号处理成为多视图信号时，使每相邻两个子视图间的视差为f(x)=Ax²+Bx+C，其中，x表示相邻两个子视图信号的视差坐标，第N-1个子视图信号与第N个子视图信号的视差坐标为N-1。

8.如权利要求5、6或7所述的装置，其特征在于，所述第一处理模块具体用于：

分别按照不同的缩放比例对所述图像信号的深度信息的每个像素的灰度值进行缩放，获得各子视图信号；

或者，

分别按照不同的缩放比例对所述图像信号的深度信息的局部区域中各像素的灰度值进行缩放，获得各子视图信号。