CN102547314A - 二维数字图像实时立体化转换的方法及装置 - Google Patents

Abstract

本发明涉及二维数字图像实时立体化转换方法及装置，该方法包括基于二维图像的图像信息产生虚拟三维深度图；平滑处理虚拟三维深度图以消除其中的不连续三维深度信息；调节经过平滑处理后的虚拟三维深度图以平衡图像的三维立体感和图像变形；改变经调节的虚拟三维深度图以矫正图像中的字幕的变形；根据不同的三维显示技术从二维图像中分别获取相应的左眼图像通道和右眼图像通道；根据左眼和右眼的视点位置eye_pos、视距L、三维图像的显示平面与二维图像的图像平面之间的距离delta，及经字幕变形矫正后的虚拟三维深度图，对左眼图像通道和右眼图像通道进行处理，分别产生左眼图像和右眼图像；根据不同的三维显示技术，从左眼图像和右眼图像生成三维图像。

Description

二维数字图像实时立体化转换的方法及装置

技术领域

本发明属于数字视频信号处理领域，具体地说，涉及一种将二维数字图像进行实时立体化转换的方法及装置。

背景技术

随着三维电视(3DTV)的逐渐兴起，目前越来越多的电视机开始支持三维电视节目的播放。但由于摄制三维电视节目的要求比较高，目前这类节目还没有完全普及，而这却为电视的二维数字图像的实时立体化转换功能提供了应用的机会。在没有三维电视节目的情况下，将普通的二维电视节目实时转换为三维电视节目正逐渐成为现在高端电视机的一个标准配置功能。

人对三维图像的感知有赖于人的左右眼接收到的图像信息间存在的视差，也就是说，只有当人的左右眼观看到的图像不同时才会产生三维的立体感。所以，在对一幅二维的图像进行立体化转换时，我们要产生两幅图像，一幅对应左眼图像，另一幅对应右眼图像。这样，以某种方式将这两幅图像重叠显示在屏幕上，并通过某种方式使观看者的左眼只能看到对应的左眼图像，且右眼只能看到对应的右眼图像，那么观看者就会产生三维的立体感觉了。目前，我们可以通过颜色眼镜，如左红右蓝的眼镜，或偏振眼镜配合偏振屏幕，或快门眼镜与左右眼图像交替显示同步等技术来实现三维图像的观看。在实际应用中，所采用的具体的眼镜和屏幕属于三维显示技术领域，不在本发明涵盖范围内，所以本发明中不做讨论。本发明的内容只涵盖如何从单一的二维的图像产生左眼图像及右眼图像。使用者可以自行选择合适的三维显示技术。

从理论上讲，对二维数字图像进行实时立体化转换的流程包含下面两步：

1、产生虚拟的三维深度信息；及

2、利用虚拟的三维深度信息产生具有视差的左眼图像及右眼图像。

不同的二维数字图像实时立体化转换的方法都在于使用不同的三维深度信息产生途径，和/或不同的利用三维深度信息产生具有视差的左眼图像及右眼图像的方法。

发明内容

本发明所要解决的技术问题在于提供一种将普通二维数字图像实时转换成三维图像的方法及装置，为在电视上实现普通二维视频节目的三维立体化提供了一种较经济并画质优良的解决方案。

根据本发明的一方面，提供一种二维数字图像实时立体化转换的方法，包括：基于二维图像的图像信息产生关于所述二维图像的虚拟三维深度图；平滑处理所述虚拟三维深度图以消除其中的不连续的三维深度信息；调节经过平滑处理后的虚拟三维深度图以平衡图像的三维立体感和图像变形；改变所述经调节的虚拟三维深度图以矫正图像中的字幕的变形；根据不同的三维显示技术从所述二维图像中分别获取相应的左眼图像通道和右眼图像通道，所述左眼图像通道为产生左眼图像所需要的图像信息，所述右眼图像通道为产生右眼图像所需要的图像信息；根据左眼和右眼的视点位置eye_pos、视距L、三维图像的显示平面与二维图像的图像平面之间的距离delta，以及经字幕变形矫正后的虚拟三维深度图，对所述左眼图像通道和右眼图像通道进行处理，分别产生左眼图像和右眼图像；根据所述不同的三维显示技术，从所述左眼图像和所述右眼图像生成三维图像。

根据本发明的另一方面，提供一种二维数字图像实时立体化转换的装置，包括：虚拟三维深度图产生单元，基于输入的二维图像的图像信息产生关于所述二维图像的虚拟三维深度图；虚拟三维深度图平滑单元，平滑处理所述虚拟三维深度图以消除其中的不连续的三维深度信息；景深控制单元和景深设置寄存器，所述景深控制单元受所述景深设置寄存器的控制，调节经所述虚拟三维深度图平滑单元处理后的虚拟三维深度图以平衡图像的三维立体感和图像变形；字幕改善单元和字幕改善控制开关，所述字幕改善单元受所述字幕改善控制开关的控制，改变经所述景深控制单元调节的虚拟三维深度图以矫正图像中的字幕的变形；左眼图像通道获取单元和右眼图像通道获取单元，及连接到所述左眼图像通道获取单元和右眼图像通道获取单元的图像通道设置寄存器，所述左眼图像通道获取单元受所述图像通道设置寄存器的控制，根据不同的三维显示技术从所述输入的二维图像中获取相应的左眼图像通道，所述左眼图像通道为产生左眼图像所需要的图像信息，所述右眼图像通道获取单元受所述图像通道设置寄存器的控制，根据不同的三维显示技术从所述输入的二维图像中获取相应的右眼图像通道，所述右眼图像通道为产生右眼图像所需要的图像信息；左眼图像产生单元，接收来自左眼视点设置寄存器的左眼视点位置、来自视距设置寄存器的视距、来自图像平面位置设置寄存器的三维图像的显示平面与二维图像的图像平面之间的距离，以及来自所述字幕改善单元的虚拟三维深度图，对所述左眼图像通道进行处理，产生左眼图像；右眼图像产生单元，接收来自右眼视点设置寄存器的右眼视点位置、来自视距设置寄存器的视距、来自图像平面位置设置寄存器的三维图像的显示平面与二维图像的图像平面之间的距离，以及来自所述字幕改善单元的虚拟三维深度图，对所述右眼图像通道进行处理，产生右眼图像；三维图像产生单元，接收所述左眼图像产生单元输出的左眼图像和所述右眼图像产生单元输出的右眼图像，根据所述不同的三维显示技术产生三维图像。

由于本发明不需要使用图像中像素在不同时刻的运动信息，所以本发明中的方法在集成电路实现中不需要外接存储器，可以大幅度降低集成电路的成本。另外，本发明采用了虚拟视点的方法产生相应的左眼图像和右眼图像，从而可以通过简单的参数寄存器的调节实现图像的三维流览功能，大大提高了观看者在观看三维图像时的立体感。

附图说明

图1是根据本发明的三维图像产生及观察示意图。

图2是本发明二维数字图像实时立体化转换的系统框图。

图3是图2的系统中的左/右眼图像产生单元的处理流程图。

具体实施方式

以下结合附图对本发明进行详细描述。

首先，将一幅二维数字图像转换成三维图像要求产生相应的左眼图像和右眼图像。根据最终选用的三维显示技术的不同，用以产生相应的左眼图像和右眼图像使用的图像信息是不同的。以目前常用的三种三维显示技术为例，即

1、颜色眼镜；

2、偏振眼镜配合偏振屏幕；

3、快门眼镜与左右眼图像交替显示同步，

可以这样定义相应的左眼图像和右眼图像使用的图像信息：

定义：左眼图像通道指的是产生左眼图像所需要的图像信息；

右眼图像通道指的是产生右眼图像所需要的图像信息；

对应于上面列出的三种不同的三维显示技术，其相应的左眼图像通道和右眼图像通道如下：

1、颜色眼镜：在利用颜色眼镜实现立体显示及观看的技术中，左眼图像通道指的是图像中能穿过左眼颜色镜片的颜色信息，右眼图像通道指的是图像中能穿过右眼颜色镜片的颜色信息。例如，如果使用的是左眼红色镜片右眼蓝色镜片的颜色眼镜，则左眼图像通道指的是原二维图像的红色通道信息，而右眼图像通道指的是原二维图像的蓝色及绿色通道信息。这样，由左眼图像通道产生的左眼图像就只能被观看者的左眼观察到，而由右眼图像通道产生的右眼图像就只能被观看者的右眼观察到，如前所述，这也正是产生立体观看效果的条件；

2、偏振眼镜配合偏振屏幕：在利用偏振眼镜配合偏振屏幕的方式实现立体显示及观看的技术中，左眼图像通道指的是图像中与左眼偏振方向对应的像素，右眼图像通道指的是图像中与右眼偏振方向对应的像素。例如，如果偏振眼镜的左镜片偏振方向是45°，而右镜片偏振方向是-45°，与之配合的偏振屏幕上奇数行像素的偏振方向是45°，偶数行像素的偏振方向是-45°，那么左眼图像通道指的是原二维图像的奇数行像素，右眼图像通道指的是原二维图像的偶数行像素。这样，由左眼图像通道产生的左眼图像仍然放到屏幕的奇数行上，只能被观看者的左眼观察到，而由右眼图像通道产生的右眼图像仍然放到屏幕的偶数行上，只能被观看者的右眼观察到，从而也满足产生立体观看效果的条件；

3、快门眼镜与左右眼图像交替显示同步：在利用快门眼镜与左右眼图像交替显示同步的方式实现立体显示及观看的技术中，由于左右眼都能观看到完整的图像信息，只是观看的时刻不同，所以左眼图像通道和右眼图像通道指的都是原二维图像。例如，如果电视屏幕以120Hz的频率交替显示左右眼图像，而快门眼镜也同步地以120Hz的频率交替打开和关闭左右镜片，即左眼镜片只在屏幕显示左眼图像的时间打开，右眼镜片只在屏幕显示右眼图像的时间打开，那么观看者的左眼始终只看到左眼图像，而右眼始终只看到右眼图像，满足前面所述的产生立体观看效果的条件。

在本发明下面的描述中，我们不再区分这里列出的三种情况。对于产生左眼图像需要的图像信息，我们统一用左眼图像通道来表示。类似地，对于产生右眼图像需要的图像信息，我们统一用右眼图像通道来表示。

为了便于叙述，我们先参考图1中的三维图像产生及观察示意图。图中人眼的位置为视点VP，其X方向坐标为视点位置eye_pos，Y方向坐标为视距L。显示平面即为最终三维图像的显示屏幕，其宽度为W，代表0，1，…，W-1共W个像素。图像平面指的是二维输入图像IN_IMG的平面，离显示平面的距离为delta。这里要注意，我们假设在观察者观看显示屏幕上的每一行像素时，视点VP与该行形成的平面总是与显示屏幕垂直的。这个假设实际上消除了观察者在观看图像的上部和下部时引入的俯仰角度的变化，可以达到简化运算的目的。由于人的左右眼睛的排列是水平方向的，所以观察者观看三维立体图像时的立体感的强弱对视线俯仰角度的变化是不敏感的，所以我们认为这个假设是合理的，而且按照本发明的发明人的经验，这个假设并不会给所产生的三维图像的立体感带来任何明显的影响。图1中的阴影部分表示的是输入图像IN_IMG的虚拟三维深度图，即对于输入图像IN_IMG中的每一个像素，其上方的阴影部分越高表示其对应的三维深度值越大。换句话说，阴影高耸的部分距离观察视点VP较近，而阴影低平的部分距离观察视点VP较远。因为有了三维深度信息，观察者的视线就存在遮挡的问题。如图1中所示的视线，与虚拟三维深度图存在3个交点A，B和C，其对应的二维图像的像素分别是A’，B’和C’。可以想到，最终观察者看到的是A点，因为B点和C点会被A点遮挡。所以，该视线对应显示平面上的像素display[i，j]应该等于原始二维图像中的A’像素，也就是三维深度值最大的那个交点对应的像素。在本发明中，视点VP的位置eye_pos和L，图像平面和显示平面的距离delta都是可以由用户通过寄存器设置的。

图2给出了本发明中二维数字图像实时立体化转换的系统框图。图2中的视点设置寄存器对应左右眼的eye_pos。视距设置寄存器对应L，我们假设左右眼的视距是相同的。图像平面位置设置寄存器对应的是delta。基于图2中的框图，我们下面将逐个介绍其中处理单元的功能：

--虚拟三维深度图产生单元

首先，输入的二维图像IN_IMG进入虚拟三维深度图产生单元，基于二维图像信息产生关于此二维图像IN_IMG的虚拟三维深度信息。对于原来二维图像的每一个像素，都会有一个对应的三维坐标值。目前有很多不同的方法来产生虚拟三维深度信息，可以利用原来二维图像的亮度信息，也可以利用其颜色信息，各有优缺点，我们在此不做详细讨论，设计者可以选择和使用合适的方法。作为实施例，并考虑到黑白图像的处理要求，我们仅利用原来二维图像的亮度信息来产生虚拟三维深度图。假设DEPTH_MAP[i，j]表示第i行第j列上像素的深度值，那么在本发明的实施例中，我们定义

DEPTH_MAP[i，j]＝255-Y[i，j]

其中Y[i，j]代表输入二维图像IN_IMG在第i行第j列上像素的亮度值。可以看出，在此我们作了一个假设，即亮度高的像素深度值小，而亮度低的像素深度值大。也就是说，我们假设在输入的二维图像中，亮度高的像素离观察者较远，而亮度低的像素离观察者较近，这个假设符合通常的外景二维图像，例如，天空较亮，而地面较暗。在不符合这个假设的图像中，我们会得到一些不准确的三维深度信息，但由于人的视觉系统具有相当的容忍度，所以据本发明的发明人的经验，由这些不准确的三维深度信息产生的最终三维图像并不会给观察者带来明显的不适感觉。

--虚拟三维深度图平滑单元

在虚拟三维深度图产生之后，该虚拟三维深度图被传递到虚拟三维深度图平滑单元。虚拟三维深度图平滑单元的功能是利用滤波处理消除虚拟三维深度图中不连续的三维深度信息。由于原来的二维图像并不含有真正的三维深度信息，所以在产生最终的左眼图像和右眼图像时我们需要通过插值来运算，而不连续的三维深度信息会导致插值运算无法实现，在最终的左眼图像和右眼图像中就会存在一些空隙。为此，二维图像的虚拟三维深度图必须经过平滑处理。通常的平滑处理是通过低通滤波的方式实现的。对原始虚拟三维深度图进行低通滤波的方法很多，我们在此并不作限制。设计者可以根据资源的大小及成本要求自行决定具体的平滑方法。在本发明的实施例中，我们选用了一个16行8列的二维FIR平均滤波器，即一个像素平滑后的深度值就等于其周围16x8窗口内所有像素深度值的平均值。在经过平滑单元后，虚拟三维深度图应呈现连续的三维深度信息，即每一个像素的三维深度值应该与其所有相邻像素的三维深度值都相差不大。

--景深控制单元

景深控制单元接收景深设置寄存器的控制，调节经过平滑的虚拟三维深度图所代表的三维深度信息：

DEPTH_MAP[i，j ]＝DEPTH_MAP[i，j ]/256*TU

其中TU指的是景深设置寄存器，代表一个正数。在本发明的实施例中景深设置寄存器TU的取值范围设为0～63，即TU被设置成一个6位的寄存器。较小的TU值对应较小的三维深度，即较弱的立体感，在TU＝0时，所有像素的三维深度都会被重置为0，也就等同于认为输入二维图像IN_IMG中的图像内容都处在一个平面中，即图像平面中。较大的TU值对应较大的三维深度，其结果三维图像会呈现更强的立体感，但同时也会导致更强的图像变形。所以，景深设置寄存器TU的设置应根据实际需要选择，做好三维立体感和图像变形之间的平衡。在此有注意，我们假设本发明中的图像系统是8位的，像素亮度取值为0～255。

--字幕改善单元

字幕改善单元接收字幕改善控制开关的控制，用以进行针对通常情况下输入视频图像中字幕的改善操作。之所以要对字幕进行改善操作是因为虚拟三维信息的引入会导致图像的变形，也就是上面提到的三维立体感和图像变形之间的平衡问题。因为视频图像中的字幕是用来传递重要信息的，所以矫正字幕的变形显得尤为重要。由于通常情况下视频图像中的字幕都处于屏幕的下方，而且考虑到我们前面的叙述，即较小的三维深度引入的图像变形也较小，所以我们可以这样规定字幕改善单元的操作规则：改变输入图像的虚拟三维深度图，以使图像上方具有较大的三维深度值，而图像下方具有较小的三维深度值。具体实现这样的三维深度图有很多方法，我们在此不作详细的探讨，设计者可以根据这个规则选择适合的字幕改善方法。在本发明的实施例中，我们采用的是从图像上方到下方线性递减三维深度值的方法：

DEPTH_MAP[i，j]＝DEPTH_MAP[i，j]*(H-i)/H

其中H是图像的高度，即纵向分辨率，i是图像的像素行序列号，取值为0，1，…，H-1。这样，图像上方i较小，三维深度值的减小较少，而图像下方的i较大，三维深度值的减小较多，从而可以降低位于屏幕下方的字幕的变形，达到字幕改善的目的。在视频节目无字幕的情况下，用户可以选择关闭字幕改善控制开关。经过字幕改善之后的三维深度图将被左/右眼图像产生单元使用，以计算产生相应的左眼图像和右眼图像。

--左/右眼图像通道获取单元

在前面的叙述中我们说过，对于不同的三维显示技术产生左眼图像需要的图像信息和产生右眼图像需要的图像信息是不同的，即左眼图像通道和右眼图像通道是有差别的。举例来说，如果观察者是通过左红右蓝的颜色眼镜来观看三维图像的，那么左眼图像通道就是原来二维图像中的红色通道色彩信息，而右眼图像通道就是原来二维图像中的蓝色和绿色通道色彩信息。鉴于此，左/右眼图像通道获取单元接收图像通道设置寄存器的控制信息，来确定在使用不同的三维显示技术的情况下选取相应的左眼图像通道和右眼图像通道。具体针对前述三种不同的三维显示技术，左眼图像通道和右眼图像通道对应的图像信息对于本领域的工程技术人员来说是众所周知的知识，所以我们在此不再详细叙述。

--左/右眼图像产生单元

在选取了正确的左眼图像通道和右眼图像通道后，这些信息被传送给左眼图像产生单元和右眼图像产生单元。左眼图像产生单元接收左眼视点设置寄存器，视距设置寄存器，以及图像平面位置设置寄存器的控制参数，对左眼图像通道进行处理，产生相应的左眼图像。右眼图像产生单元接收右眼视点设置寄存器，视距设置寄存器，以及图像平面位置设置寄存器的控制参数，对右眼图像通道进行处理，产生相应的右眼图像。左眼图像产生单元和右眼图像产生单元的基本原理是一样的，只是处理的视点VP参数一个使用的是左眼的视点，处理的对象对应于左眼图像通道，而另一个使用的是右眼的视点，处理的对象对应于右眼图像通道。下面我们不再区分左眼图像产生单元和右眼图像产生单元，而是介绍一个统一的图像产生单元的原理。图像产生单元利用图像通道信息IMG_CHANNEL[i，j]和图像的三维深度图信息DEPTH_MAP[i，j]，在相应的视点设置寄存器eye_pos，视距设置寄存器L，以及图像平面位置设置寄存器delta提供的参数设置下，计算产生显示平面中的像素display[i，j]。显然，在左眼图像产生单元的情况中，图像通道信息IMG_CHANNEL[i，j]指的是左眼图像通道LEFT_CHANNEL[i，j]，视点设置寄存器eye_pos指的是左眼视点设置寄存器，显示平面display[i，j]指的是图2中的输出左眼图像；在右眼图像产生单元的情况中，图像通道信息IMG_CHANNEL[i，j]指的是右眼图像通道RIGHT_CHANNEL[i，j]，视点设置寄存器eye_pos指的是右眼视点设置寄存器，显示平面display[i，j]指的是图2中的输出右眼图像。三维深度图信息DEPTH_MAP[i，j]，视距设置寄存器L，和图像平面位置设置寄存器delta对于左眼图像产生单元和右眼图像产生单元是一样的。

在前面的叙述中，我们已经说明了一个假设，即我们不考虑观察者在观看显示屏幕上不同行像素时的俯仰角度变化。在视频图像处理的集成电路芯片设计中，图像总是一行一行进入芯片的，所以不失普遍性，在下面的叙述中我们考虑对图像第i行的处理，i＝0，1，…，H-1，这里H是图像的纵向像素分辨率。

图3给出了图2的系统中的左/右眼图像产生单元的处理流程图。具体的左/右眼图像产生单元的处理流程可以描述如下：

图像通道IMG_CHANNEL的信息在进入该单元后先进入图像通道信息缓存器，通常由行缓存器完成。这是由于该单元中进行的处理相对复杂，所以要利用缓存器来延迟数据，使集成电路的时序(timing)稳定。引入缓存器来增强时序的稳定性在集成电路设计领域是众所周知的技术，在此我们不作详细讨论。所引入的缓存器的多少由集成电路设计者根据具体的时序稳定性要求作出决定。中间信息PXD，PXI，DL和DR计算单元完成计算这4个中间变量：

PXD＝j-(W-1)/2-eye_pos

PXI＝(L-delta)*PXD/L

DL＝(W-1)/2-eye_pos

DR＝(W-1)/2+eye_pos

其中，W是图像通道中图像的像素宽度，eye_pos是视点位置坐标，L是视距坐标，delta是图像平面位置，由相应的寄存器输入。在本发明的实施例中，寄存器eye_pos和L的设置要满足条件：

(W-1)/2+eye_pos  ＜＝L    (1)

这个条件限制在下面会做具体的说明。

在得到以上4个中间变量后，进行如下一系列比较逻辑以产生中间变量RANGE_L和RANGE_R，及一个布尔值TWDL：

if PXI＞DL

then

   PXIR＝W-1

   PXIL＝W-2

else if PXI＜-DR

then

   PXIL＝0

   PXIR＝1

else

PXIL＝(int)(PXI+DR)

if PXIL＞＝W-1

then

   PXIR＝PXIL

else

   PXIR＝PXIL+1

if PXD＞＝0

then

   TWDL＝TRUE

   RANGE_L＝max[0，PXIL-(int)TU_max](RL)

   RANGE_R＝RXIR

else

   TWDL＝FALSE

   RANGE_L＝PXIL

   RANGE_R＝min[W-1，PXIR+(int)TU_max](RR)

其中TU_max是前面提到的景深设置寄存器TU的可以设置的最大值。RANGE_L和RANGE_R其实定义了一条视线和图像的三维深度图DEPTH_MAP(即图1中的阴影部分)可能相交的范围。在本发明的实施例中，我们将景深设置寄存器TU定为一个6位的寄存器，取值为0～63，所以，这里TU_max＝63。较大的TU数值，代表较大的景深，即更好的立体感，但同时也会引入更多的图像变形。对于TU_max，在后边的处理中我们会看到，如果TU_max的值变大，那么由于因此产生的RANGE_R-RANGE_L的值也变大，从而我们会需要更多路的并行处理环节，耗费更多的资源。所以，在本发明的实际应用中，设计者要根据资源耗费的情况选择TU_max的数值。另外，我们上面提到了寄存器eye_pos和L设置的条件(1)，即

(W-1)/2+eye_pos＜＝L    (1)

这是因为经过数学推导可以得出：如果一条视线和图像平面的交点的X坐标是X_CROSS，那么这条视线和图像的三维深度图DEPTH_MAP(即图1中的阴影部分)可能发生的所有交点都在坐标X_CROSS和坐标X_CROSS-PXD/L*TU之间，也就是说，为了找到这条视线和DEPTH_MAP所有的交点，我们需要搜寻一个宽度为PXD/L*TU的范围。由于PXD＝j-(W-1)/2-eye_pos，而j＝0～W-1，那么可以看出PXD的最大值是(W-1)/2+|eye_pos|。所以，在上面条件的成立情况下，可以确认寻找交点的范围最大是TU。考虑到这个范围最靠左右两边的像素，我们将范围左右各扩大一个像素，即TU+2，则这个范围的最大值就是(int)TU_max+2，即

RANGE_R-RANGE_L＜＝(int)TU_max+2(2)

现在，我们可以看出，只有当寄存器eye_pos和L设置满足条件(1)时，交点搜寻范围才会满足上面的条件(2)。如果条件(1)不满足，那么可能存在交点的范围就大于(int)TU_max+2个像素，也就是说，我们可能会漏掉某些交点，而导致结果三维图像出错。

在此我们再次强调，条件(1)以及由条件(1)得出的交点搜寻范围条件(2)都是本发明的实施例中的限制。在使用本发明进行集成电路设计时，如果设计者允许寄存器eye_pos和L的设置不满足条件(1)，那么由上面的叙述可以看出，交点搜寻范围的大小就是PXD/L*TU，即j-(W-1)/2-eye_pos/L*TU，这个范围以像素为单位的最大值即为

(int){[(W-1)/2+eye_pos]/L*TU_max}+2

而上面计算RANGE_L和RANGE_R的公式(RL)和(RR)也应改为下面的(RL’)和(RR’)：

RANGE_L＝max[0，PXIL-(int){[(W-1)/2+eye_pos]/L*TU_max}](RL’)

RANGE_R＝min[W-1，PXIR+(int){[(W-1)/2+eye_pos]/L*TU_max}](RR’)

也就是说，上面的条件(2)会变成下面的(2’)：

RANGE_R-RANGE_L＜＝(int){[(W-1)/2+eye_pos]/L*TU_max}+2(2’)

在这种情况下，图3中的并行处理的路数也会增多，资源耗费也会更大。所以，在实际的集成电路设计时，设计者应根据资源耗费的要求决定寄存器eye_pos和L的设置。

如上所述，我们已经得到了视线和三维深度图DEPTH_MAP可能交点所在的范围。下面我们依据图3中的流程继续描述如何在这个范围中，即像素坐标RANGE_L到RANGE_R的范围中，找到正确的交点并通过图像插值计算输出的图像。

在三维深度图DEPTH_MAP进入图像产生单元后，每一个DEPTH_MAP[i，j]都与delta相加，并产生一个中间变量y(i，j)，即

y(i，j)＝DEPTH_MAP[i，j]+delta

所产生的y(i，j)会先存储在缓存器中。与前面描述的图像通道信息缓存器类似，这里y(i，j)的缓存器通常也由行缓存器来完成。而且，设计者应根据具体的情况来做好集成电路时序稳定性和资源耗费之间的平衡，设定y(i，j)的缓存器的数量。类似的，由于引入缓存器来增强时序的稳定性在集成电路设计领域是众所周知的技术，在此我们不作详细讨论。

接下来，由于计算的复杂性，对于第i行中每一个要产生的像素[i，j]，我们从y(i，j)的缓存器中取出RANGE_R-RANGE_L+1个数值：

y(i，k)，k＝RANGE_L～RENGE_R

并利用这些y(i，j)进行两组各RANGE_R-RANGE_L路的并行计算。

第一组RANGE_R-RANGE_L路的并行计算先产生RANGE_R-RANGE_L个中间变量TMP(n)，

TMP(n)＝PXD*[y(i，n+1)-y(i，n)]+L，n＝RANGE_L～RANGE_R-1

这RANGE_R-RANGE_L个中间变量TMP(n)在计算产生后都存储在缓存器中，即图3中的TMP(n)缓存器。接着TMP(n)继续与n-(W-1)/2-eye_pos相乘产生另RANGE_R-RANGE_L个中间变量XC(n)，即

XC(n)＝[n-(W-1)/2-eye_pos]*TMP(n)，n＝RANGE_L～RANGE_R-1

而这RANGE_R-RANGE_L个中间变量XC(n)在计算产生后也都存储在缓存器中，即图3中的XC(n)缓存器。

第二组RANGE_R-RANGE_L路的并行计算用来产生RANGE_R-RANGE_L个中间变量XCC(n)，

XCC(n)＝PXD*{L+[y(i，n+1)-y(i，n)]*[n-(W-1)/2-eye_pos]-y(i，n)}

n＝RANGE_L～RANGE_R-1

这RANGE_R-RANGE_L个XCC(n)也都存储在XCC(n)缓存器中。

在这两组并行计算后，我们进行另外RANGE_R-RANGE_L路的并行计算来产生RANGE_R-RANGE_L个布尔变量：

flag(n)＝{min[XC(n)，XC(n)+TMP(n)]＜＝XCC(n)＜＝max[XC(n)，XC(n)+TMP(n)]}

n＝RANGE_L～RANGE_R-1

并存储在flag(n)缓存器中。

接下来，在这RANGE_R-RANGE_L个flag(n)中找到所有布尔值为TRUE的，并在TWDL为TRUE时设定m为所有布尔值为TRUE的flag(n)中最小的n，而在TWDL为FALSE时设定m为所有布尔值为TRUE的flag(n)中最大的n。当所有RANGE_R-RANGE_L个flag(n)的布尔值都是FALSE时，那么我们设定m为一个无效值。在m值为无效时，图像产生单元就将当前输出像素[i，j]设为0。

当m值是有效的，我们接着进行9路并行计算，产生9个中间变量

HIGH(k)＝XCC(m)-XC(m)-TMP(m)*p/8，k＝0，1，2，…，8

并得到这9个HIGH(k)，k＝0～8中最小的，其对应的k值记为mc：

mc＝{p|HIGH(p)＝min[HIGH(0)～HIGH(8)]}

图像产生单元将当前输出像素[i，j]值设定为

IMG_CHANNEL[i，m]*(1-mc/8)+IMG_CHANNEL[i，m+1]*mc/8

也就是相应的图像通道像素[i，m]和[i，m+1]以mc/8为偏置(offset)的线性插值。

上面我们介绍了图像产生单元的处理流程，经过这些流程，我们可以得到左/右眼输出图像。

--三维图像产生单元

上面介绍的左/右眼图像产生单元在产生了左/右眼输出图像后，左/右眼输出图像被输入到三维图像产生单元。由前面的叙述我们知道，人之所以会产生三维立体视觉，是因为通过某种技术手段，我们能让人的左眼和右眼看到的图像有视差。现在，我们已经有了左眼和右眼输出图像，如何将这两幅图像重叠到显示屏幕上与实际的立体显示技术有关。

我们在前面已说明了，当我们使用颜色眼睛来观看三维图像时，用以产生左/右眼输出图像的左/右眼图像通道就对应于相应的原始二维图像的相应颜色通道。例如，如果我们配戴的是左红右蓝的颜色眼镜，那么原来二维图像的红色通道就作为左眼图像通道来产生左眼输出图像，而原来二维图像的蓝色和绿色通道就作为右眼图像通道来产生右眼输出图像。在这种情况下，最终的三维图像就是一幅以左眼输出图像作为其红色通道，并以右眼输出图像作为其蓝色和绿色通道的图像。类似的，在使用其它颜色眼镜时，最终的三维图像的就是将左/右眼输出图像作为相应的颜色通道重叠而成的。

当我们使用的是偏振眼镜配合偏振屏幕的方式来观看三维图像时，屏幕上的像素被分成两种，一种对应左眼偏振像素，另一种是右眼偏振像素，它们分别只能被观察者的左眼和右眼观察到。我们前面已介绍了在这种情况下，左眼图像通道就是由左眼偏振像素组成的，而右眼图像通道就是由右眼偏振像素组成的。在左/右眼图像产生单元产生了相应的左/右眼输出图像之后，最终三维图像在显示屏幕上的左眼偏振像素就对应于左眼输出图像的像素，而右眼偏振像素就对应于右眼输出图像的像素。这样，在观察者配戴了偏振眼镜后，其左眼就只能观察到显示屏幕上的左眼偏振像素，即左眼只能看到左眼输出图像，其右眼就只能观察到显示屏幕上的右眼偏振像素，即右眼只能看到右眼输出图像，从而产生立体视觉。

当我们使用的是快门眼镜的方式来观看三维图像时，按我们前面的介绍，左/右眼图像通道都对应的是原来的完整二维图像。但经过左/右眼图像产生单元的处理后，所产生的左/右眼输出图像由于左/右眼视点的不同而有所差别。通过快门眼镜与显示屏幕图像更新帧频的同步，左/右眼输出图像交替输出，同时快门眼镜的左/右眼快门交替打开与闭合，观察者的左右眼就可以交替地分别观看到左眼图像和右眼图像了。

在本发明中，三维图像产生单元的功能就是根据不同的三维立体显示技术，设置不同的方式来产生最终的三维图像OUT_IMG，并将最终的三维图像OUT_IMG传送到显示屏幕上，这样就完成了二维图像的立体化转换。

以上我们根据图2中的系统框图，逐个介绍了本发明中的所有功能单元。前面我们提到了，本发明除了可以将二维图像实时转换成三维立体图像外，还能提供另一种功能，就是允许观察者在显示屏幕上通过简单的寄存器控制来进行图像的三维流览。这种三维流览的功能即可以应用于三维立体图像，也可以应用于普通的二维图像。其具体的操作方式如下：

三维立体图像的三维流览：

1、利用本发明中叙述的方法产生三维立体图像，显示在屏幕上；

2、以相同的位移同时改变左眼和右眼的视点位置寄存器，left_eye_pos和right_eye_pos，即left_eye_pos改变为left_eye_pos+SHIFT，而right_eye_pos改变为right_eye_pos+SHIFT，其中SHIFT可以是正数，也可以是负数。SHIFT为正数时表示观察者的视点相对于图像向左移动，而SHIFT为负数时表示观察者的视点相对于图像向右移动。

3、在上面的步骤2中，要注意在本发明的实施例中，左眼和右眼视点位置寄存器的设置要满足前面提到的条件(1)，即

(W-1)/2+|eye_pos|＜＝L    (1)

如果eye_pos的设置不满足条件(1)，那么按前面的分析，图3中并行处理的路数也就需要相应增加。所以，在本发明的实施例中，无论SHIFT的值是什么，左眼和右眼的视点位置寄存器的数值都要满足条件(1)。

4、由SHIFT的改变，观察者就可以产生对三维图像的流览的感觉。

二维图像的三维流览：

当本发明的使用者没有合适的三维立体显示技术时，观察者可能无法观看到立体图像。但使用本发明中的处理仍然可以为观察者提供一种类似的三维流览功能。我们只需要将左眼和右眼的视点位置寄存器设置成同样的值，即left_eye_pos＝right_eye_pos，并象上面说的那样以相同的位移同时改变它们，即

left_eye_pos＝right_eye_pos    改变为

left_eye_pos+SHIFT＝right_eye_pos+SHIFT

这样，由于左眼和右眼视点是相同的，所以输出左眼图像与输出右眼图像也不存在视差，即观察者的左眼和右眼看到的图像是一致的，并不会产生立体视觉。然而，当观察者不断改变SHIFT的值时，原本在屏幕上的二维图像会因为观察角度的变化而让观察者产生图像立体旋转的感觉，就象在三维的空间里观察图像内容一样。

类似上面提到的步骤3，在进行二维图像的三维流览时，视点位置的设置也是有限制的。在本发明的实施例中，视点位置寄存器的设置要满足条件(1)。如果设置不满足条件(1)，那么图3中并行处理的路数需要相应增加。

以上实施例仅用于说明但不限制本发明。在权利要求的范围内本发明还有多种变形和改进。凡是依据本发明的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。

Claims (16)

1.一种二维数字图像实时立体化转换的方法，包括：

基于二维图像的图像信息产生关于所述二维图像的虚拟三维深度图；

平滑处理所述虚拟三维深度图以消除其中的不连续的三维深度信息；

调节经过平滑处理后的虚拟三维深度图以平衡图像的三维立体感和图像变形；

改变所述经调节的虚拟三维深度图以矫正图像中的字幕的变形；

根据不同的三维显示技术从所述二维图像中分别获取相应的左眼图像通道和右眼图像通道，所述左眼图像通道为产生左眼图像所需要的图像信息，所述右眼图像通道为产生右眼图像所需要的图像信息；

根据左眼和右眼的视点位置eye_pos、视距L、三维图像的显示平面与二维图像的图像平面之间的距离delta，以及经字幕变形矫正后的虚拟三维深度图，对所述左眼图像通道和右眼图像通道进行处理，分别产生左眼图像和右眼图像；

根据所述不同的三维显示技术，从所述左眼图像和所述右眼图像生成三维图像。

2.如权利要求1所述的方法，其特征在于，产生虚拟三维深度图的步骤包括基于二维图像的亮度信息，其中所述二维图像的像素的亮度值越高则其对应的三维深度值越小。

3.如权利要求1所述的方法，其特征在于，平滑处理的步骤包括对所述虚拟三维深度图进行低通滤波。

4.如权利要求1所述的方法，其特征在于，改变所述经调节的虚拟三维深度图的步骤包括使图像的上方具有较大的三维深度值，而图像的下方具有较小的三维深度值。

5.如权利要求1所述的方法，其特征在于，产生左眼图像和右眼图像的步骤包括对所述左眼图像通道和所述右眼图像通道的信息IMG_CHANNEL[i，j]进行缓存，i，j分别为图像的像素的行号和列号，i取值为0，1，…，H-1，j取值为0，1，…，W-1，其中H，W分别为图像的像素的高度和宽度。

6.如权利要求5所述的方法，其特征在于，还包括所述左眼或右眼的视点位置eye_pos、视距L设置为(W-1)/2+|eye_pos|＜＝L。

7.如权利要求6所述的方法，其特征在于，还包括在对所述左眼图像通道或所述右眼图像通道的信息进行缓存后计算第一组中间变量，并对所述第一组中间变量进行逻辑比较以产生第二组中间变量RANGE_L和RANGE_R及一个布尔值TWDL，所述第二组中间变量RANGE_L到RANGE_R的范围确定视线与所述虚拟三维深度图相交的范围，所述第一组中间变量包括：

PXD＝j-(W-1)/2-eye_pos；

PXI＝(L-delta)*PXD/L；

DL＝(W-1)/2-eye_pos；

DR＝(W-1)/2+eye_pos；

当PXD＞＝0时，所述布尔值TWDL为TRUE，否则为FALSE。

8.如权利要求7所述的方法，其特征在于，还包括在所述相交的范围内找到正确的交点并通过图像插值计算输出的左眼图像或右眼图像。

9.如权利要求8所述的方法，其特征在于，所述计算输出的左眼图像或右眼图像的步骤包括：

产生第三中间变量：y(i，j)＝DEPTH_MAP[i，j]+delta，其中DEPTH_MAP[i，j]为图像的第i行第j列的像素的三维深度图的信息；

对第i行中每一个要产生的像素从所述第三中间变量y(i，j)中取出RANGE_R-RANGE_L+1个数值y(i，k)，k＝RANGE_L～RENGE_R；

进行两组各RANGE_R-RANGE_L路并行计算，包括产生RANGE_R-RANGE_L个第四中间变量TMP(n)的第一组RANGE_R-RANGE_L路并行计算：TMP(n)＝PXD*[y(i，n+1)-y(i，n)]+L，n＝RANGE_L～RANGE_R-1，以及产生RANGE_R-RANGE_L个第五中间变量XCC(n)的第二组RANGE_R-RANGE_L路并行计算：XCC(n)＝PXD*{L+[y(i，n+1)-y(i，n)]*[n-(W-1)/2-eye_pos]-y(i，n)}，n＝RANGE_L～RANGE_R-1；

将所述第四中间变量TMP(n)与n-(W-1)/2-eye_pos相乘以进行第三组RANGE_R-RANGE_L路并行计算，从而产生RANGE_R-RANGE_L个第六中间变量XC(n)：XC(n)＝[n-(W-1)/2-eye_pos]*TMP(n)，n＝RANGE_L～RANGE_R-1；

进行第四组RANGE_R-RANGE_L路并行计算以产生RANGE_R-RANGE_L个布尔变量：flag(n)＝{min[XC(n)，XC(n)+TMP(n)]＜＝XCC(n)＜＝max[XC(n)，XC(n)+TMP(n)]}，n＝RANGE_L～RANGE_R-1；

从所述RANGE_R-RANGE_L个布尔变量flag(n)中找到所有布尔值为TRUE的变量，并在所述布尔值TWDL为TRUE时设定m为所有布尔值为TRUE的flag(n)中最小的n，而在所述布尔值TWDL为FALSE时设定m为所有布尔值为TRUE的flag(n)中最大的n，n＝RANGE_L～RANGE_R-1；

判断m值的有效性，当所有RANGE_R-RANGE_L个布尔变量flag(n)的布尔值都是FALSE时，m值无效，否则m值有效；

当m值无效时，输出的左眼图像或右眼图像的输出像素[i，j]为0；当m值有效时，进行九路并行计算，产生九个第七中间变量：HIGH(k)＝|XCC(m)-XC(m)-TMP(m)*p/8|，k＝0，1，2，…，8；将九个HIGH(k)，k＝0～8中最小的对应的k值记为mc：mc＝{p|HIGH(p)＝min[HIGH(0)～HIGH(8)]}，输出的左眼图像或右眼图像的输出像素[i，j]值设定为：IMG_CHANNEL[i，m]*(1-mc/8)+IMG_CHANNEL[i，m+1]*mc/8。

10.如权利要求9所述的方法，其特征在于，还包括分别对所述第三中间变量y(i，j)、第四中间变量TMP(n)、第五中间变量XCC(n)、第六中间变量XC(n)和布尔变量flag(n)进行缓存。

11.如权利要求1所述的方法，其特征在于，还包括以相同的位移同时改变左眼和右眼的视点位置以流览所述三维图像。

12.如权利要求1所述的方法，其特征在于，还包括将所述左眼和右眼的视点位置设置成同样的值并以相同的位移同时改变它们以对二维图像进行三维流览。

13.一种二维数字图像实时立体化转换的装置，包括：

虚拟三维深度图产生单元，基于输入的二维图像的图像信息产生关于所述二维图像的虚拟三维深度图；

虚拟三维深度图平滑单元，平滑处理所述虚拟三维深度图以消除其中的不连续的三维深度信息；

景深控制单元和景深设置寄存器，所述景深控制单元受所述景深设置寄存器的控制，调节经所述虚拟三维深度图平滑单元处理后的虚拟三维深度图以平衡图像的三维立体感和图像变形；

字幕改善单元和字幕改善控制开关，所述字幕改善单元受所述字幕改善控制开关的控制，改变经所述景深控制单元调节的虚拟三维深度图以矫正图像中的字幕的变形；

左眼图像通道获取单元和右眼图像通道获取单元，及连接到所述左眼图像通道获取单元和右眼图像通道获取单元的图像通道设置寄存器，所述左眼图像通道获取单元受所述图像通道设置寄存器的控制，根据不同的三维显示技术从所述输入的二维图像中获取相应的左眼图像通道，所述左眼图像通道为产生左眼图像所需要的图像信息，所述右眼图像通道获取单元受所述图像通道设置寄存器的控制，根据不同的三维显示技术从所述输入的二维图像中获取相应的右眼图像通道，所述右眼图像通道为产生右眼图像所需要的图像信息；

左眼图像产生单元，接收来自左眼视点设置寄存器的左眼视点位置、来自视距设置寄存器的视距、来自图像平面位置设置寄存器的三维图像的显示平面与二维图像的图像平面之间的距离，以及来自所述字幕改善单元的虚拟三维深度图，对所述左眼图像通道进行处理，产生左眼图像；

右眼图像产生单元，接收来自右眼视点设置寄存器的右眼视点位置、来自视距设置寄存器的视距、来自图像平面位置设置寄存器的三维图像的显示平面与二维图像的图像平面之间的距离，以及来自所述字幕改善单元的虚拟三维深度图，对所述右眼图像通道进行处理，产生右眼图像；

三维图像产生单元，接收所述左眼图像产生单元输出的左眼图像和所述右眼图像产生单元输出的右眼图像，根据所述不同的三维显示技术产生三维图像。

14.如权利要求13所述的装置，其特征在于，所述虚拟三维深度图平滑单元包括一16行8列的二维FIR平均滤波器，以使一个像素平滑后的三维深度值等于其周围16x8窗口内所有像素的三维深度值的平均值。

15.如权利要求13所述的装置，其特征在于，所述左眼图像产生单元和右眼图像产生单元还包括用于对数据进行缓存的缓存器。

16.如权利要求15所述的装置，其特征在于，所述缓存器包括行缓存器。

Images