CN103220539B - 图像深度产生装置及其方法 - Google Patents

Abstract

本发明公开了图像深度产生装置及其方法。该图像深度产生装置包含：至少一色彩选择装置与至少一计算器。色彩选择装置接收一输入图像，依据至少一参数判断该像素在输入图像像素中的颜色在视觉上的远近，以产生每一像素的深度偏移量。而计算器，耦接色彩选择装置，计算每一像素的深度偏移量与一预设深度，产生输入图像每一像素的输出深度。

Description

图像深度产生装置及其方法

技术领域

本发明涉及一种图像装置，特别涉及一种图像处理装置与方法。

背景技术

目前，三维(3Dimension)的显示器(Display)越来越多，但能够作为三维图像播放的内容(Content)还是很少。因此，会有将二维(2Dimension)图像转成三维图像的作法。

如图1所示，示出了一已知的三维图像产生装置10。一般二维图像转三维图像，大都利用深度产生装置(Depth Generation)11先由二维图像信号2Dv中估算出图像的深度(depth)信息dth，再由深度图像绘图装置(Depth Image Based Rendering，DIBR)12利用深度信息dth产生三维图像的左眼图像(Left Video)Lv与右眼图像(Right Video)Rv。

目前常见的深度产生(Depth generation)方式大致上有：检测图像移动(videomotion)，利用移动向量(motion vector)判断图像像素的深度(depth)(例如美国专利US6496598号所公开的技术)。举例而言，在相机(camera)移动时，近物的位移较大，远物的位移较小，因此移动向量大者表示距离较近；移动向量小者距离较远。或者是检测图像边缘(video edge)的特性(例如，美国专利US 2007/0024614号所公开的技术)可用边缘来判断物体的边界，在边界的两边设定不同的深度值。再者，对图像中的消失线、消失点进行检测，以判断地平线或建筑物的边界，利用此方式可推算图像中深度的深度分布。

发明内容

本发明的目的之一，在于提供一种产生图像深度(depth)的方法及其装置。

本发明的一实施例中，提供了一种图像深度产生装置。该装置包含：至少一色彩选择装置与至少一计算器。色彩选择装置接收一输入图像，依据至少一参数判断一像素在输入图像的颜色在视觉上的远近，以产生每一像素的深度偏移量。而计算器，耦接色彩选择装置，计算每一像素的深度偏移量与一预设深度，产生输入图像每一像素的输出深度。

本发明的另一实施例中，提供了一种图像深度产生方法，该方法包含下列步骤：接收一包含多个像素的输入图像。对输入图像指定一颜色并指定该颜色对应的深度偏移量。接着，将该输入图像的每一输入像素的颜色与该指定颜色比较，根据该输入像素颜色和该指定颜色的接近程度与该深度偏移量决定该输入像素的深度值。

本发明的另一实施例中，提供了一种视频处理方法。该方法包含有下列步骤：接收一像素，且该像素包含有多个分量。比较该像素的多个分量与一多个预设分量参考值，产生一深度偏移量。之后，将深度偏移量与一预设深度值相加，产生一输出深度值。

本发明的实施例利用图像的色彩产生深度值，且可详细了解图像的细节，而控制每一像素的图像深度。另外，本发明的实施例可依据需求任意设定指定色彩，而改变欲突显颜色的深度值，而有效地制作出需求的三维图像。

附图说明

图1示出了一已知的三维图像产生装置的示意图。

图2示出了本发明一实施例的一种图像深度产生装置20的示意图。

图3A示出了本发明色彩选择器的一实施例的示意图。

图3B示出了本发明一实施例的权重距离值与暂时的深度偏移量的转换表的示意图。

图4示出了本发明另一实施例的图像深度产生装置的示意图

图5示出了本发明一实施例的一种图像深度产生方法的流程图。

符号说明

10三维(3D)图像产生装置

20、11深度产生装置

12深度图像绘图装置

21、21a、21b、21c 色彩选择装置

22、c1、c2、c3、25、26 计算器

22a、22b、22c 减法器

24a、24b、24c 乘法器

41色彩转换装置

42统计单元

43深度限制装置

具体实施方式

图2示出了本发明一实施例的一种深度产生装置20的示意图。深度产生装置20包含一色彩选择器(Color selector)21与一计算器22。

该色彩选择器21接收一输入图像，依据至少一参考值判断一像素Pi在输入图像的像素中的颜色在视觉上的远近，以产生每一像素的深度偏移量dth_off。深度偏移量dth_off可表示目前像素的色彩与预设色彩的差异程度，且深度偏移量dth_off的数值可正可负。须注意，依据像素颜色的数值与该参考值的差值，可决定该像素在该输入图像中为远景或近景。

计算器22，一实施例中可为一加法器。计算器22计算每一像素Pi的深度偏移量dth_off与一预设深度dth_i，产生输入图像中每一像素Pi的输出深度dth_o。其中，预设深度是设计者或系统指定的深度值，依据该深度值来决定远景与近景。另外，预设深度dth可为常数(constant)或渐层值。该预设深度是可调的。

一实施例，计算器22将每一输入像素Pi的深度偏移量dth_off与预设深度dth_i相加，可得到该像素Pi的输出深度dth_o。

须注意，设计者可任意选择参考值，且色彩选择器21可另外依据需求决定每一像素的深度偏移量，例如，若希望将蓝色的色彩作为远景(例如：天空或海水属于蓝色色系)，则将蓝色的深度偏移量设为负值，以让深度偏移量与预设深度相加后缩小蓝色的输出深度值；若希望肤色作为近景，则将肤色的深度偏移量设为正值，以让深度偏移量与预设深度相加后增大肤色的输出深度值。

依此方式，本发明图像深度产生装置20可产生整张输入图像像素的输出深度值，进而让后端电路利用输出深度值以产生三维图像信号(例如是：输出具有左眼图像与右眼图像的三维图像信号)。

图3A示出了本发明色彩选择器21的一实施例的示意图。色彩选择器21包含有多个计算单元c1、c2、c3；一第一计算器25；一深度映射单元26及一第二计算器27。多个计算单元c1、c2、c3用以比较像素pi的图像分量与参考值的差异，再由第一计算器25将比较后的差异值相加，产生一权重距离值w_dis。须注意，图像分量可位于色域空间色调饱和度亮度(Hue，Saturation，Intensity，HSI)空间、色差图像(YUV)空间、亮度彩度YCbCr空间、红绿蓝(RGB)其中之一中，当然本发明不限于此，本发明实施例的图像分量可符合目前现有或未来发展出的图像空间规范。

如该图所示，假设输入像素P包含有三分量comp1_in、comp2_in、comp3_in，计算单元c1、c2、c3比较像素的三分量comp1_in、comp2_in、comp3_in与参考值comp1_ref、comp2_ref、comp3_ref，以求出一权重距离值w_dis。须注意，图像分量不限于上述三分量，可为目前现有(如R、G、B或Y、U、V...等，或其它格式)或未来发展出的格式。

一实施例中，计算单元c1、c2、c3分别包含有减法器22a、22b、22c、绝对值计算单元(abs)23a、23b、23c与乘法器24a、24b、24c。减法器22a、22b、22c将输入像素Pi的三分量(comp1_in，comp2_in，comp3_in)分别跟指定色彩的参考值三分量(comp1_ref，comp2_ref，comp3_ref)相减，以计算出差值。接着，再利用绝对值计算单元23a～23c取绝对值。之后，乘法器将绝对值计算单元23a～23c的输出分别乘上三个增益值(gain)comp1_gain、comp2_gain、comp3_gain后，再由第一计算器25相加后得到权重距离值(weighted distance)w_dis。

深度映射单元26接收权重距离值w_dis，并依据一预设转换表转换该权重距离值w_dis，以产生暂时的深度偏移量dth_off_tmp。如图3B所示，显示转换表的一示例。如该图所示，权重距离值w_dis经过深度映射(Depth Mapping)后，可由转换表查出暂时的深度偏移量dth_off_tmp。一实施例，映射(Mapping)的方法为w_dis小于映射默认值map_thre时，深度偏移量dth_off_tmp设为映射限制map_limit的值；而权重距离值w_dis大于映射默认值map_thre时，每隔一映射步骤map_step减1直到降至0为止。

第二计算器27可为一乘法器，依据设计者或系统的设计指定暂时的深度偏移量dth_off_tmp的正或负(近或远)，即将暂时的深度偏移量dth_off_tmp乘上正值(设为近景)或负值(设为远景)，以指定像素Pi的远近。

举例而言假设输入三分量comp1_in、comp_in、comp3_in分别为50、50、110，指定色的三参考值分量comp1_ref、comp2_ref、comp3_ref分别为10、10、10，增益值comp1_gain、comp2_gain、comp3_gain为1、1、1，则经过减法器22a、22b、22c相减且由绝对值计算单元23a、23b、23c取绝对值后，可得到数值40、40、100。接着，在由乘法器24a、24b、24c乘上增益1、1、1后求得数值40、40、100。第一计算器将数值40、40、100相加，求得权重距离值w_dis＝180。之后，深度映射单元26接收权重距离值w_dis＝180，比对转换表，w_dis大于map_thre时，深度偏移量dth_off_tmp设为map_limit的值，之后每隔一映射步骤map_step减1直到降至0为止，假设每一映射步骤的距离为10，则w_dis＝90得到深度偏移量dth_off_tmp＝79，w_dis＝100得到dth_off_tmp＝78...，w_dis＝180则可得到dth_off_tmp＝62。最后，再由第二计算器27依据设计者或系统的设计指定暂时的深度偏移量dth_off_tmp的正负(远或近)，例如目前像素pi为肤色，则希望设为近景，则第二计算器27将暂时深度偏移量dth_off_tmp＝62乘上+1，得到深度偏移量dth_off＝+62。

须注意，输入像素Pi跟指定色越接近，则其暂时深度偏移量dth_off_tmp就越接近映射限制map_limit值；反之，就越接近0。而上述数据仅为示例，本发明不限于此。在另一实施例中，可省略第二计算器27，由深度映射单元产生深度偏移量dth_off。

图4示出了本发明另一实施例的图像深度产生装置40的示意图。图像深度产生装置40包含有一色彩转换装置41、一统计单元42、一深度限制装置(depth limiter)43、三个色彩选择装置21a、21b、21c、三个计算器22a、22b、22c。其中，图像深度产生装置40所包含的多个色彩选择装置、多个计算器，此两种装置的数目不限于上述，可依据需求改变数目。如该图所示，每一套色彩选择装置的参数可不同，参数是指：指定色的三参考值分别为comp1_ref、comp2_ref、comp3_ref，增益值comp1_gain、comp2_gain、comp3_gain，映射(mapping)方法，正负值方向(dir)。举例而言，第一色彩选择装置21a可指定蓝色作为欲选择色彩，且用映射限制map_limit的值设定该蓝色的深度偏移量；第二色彩选择装置21b可指定绿色，且用映射限制map_limit的值设定该绿色的深度偏移量，而第三色彩选择装置21c可指定肤色，且用映射限制map_limit的值设定该肤色的深度偏移量。依此方式，可分别对不同色彩的区块做深度调整。另一实施方式，本发明可利用权重的方式与其它深度产生的算法相配合。在运作时，色彩转换装置(color transformer)41接收像素Pi且进行色彩转换(colortransform)处理，以让使用者指定颜色的参数。色彩转换处理，举例而言，可为将像素的红绿蓝(RGB)三原色转换至色差图像(YCbCr)，或是由色差图像转换至红绿蓝三原色。接着，每个色彩选择装置，如图3A、图3B的方式，产生多个深度偏移量dth_off。计算器22a、22b、22c将深度偏移量dth_off1、dth_off2、dth_off3与预设深度值dth_i相加，以产生输出深度值dth_o。须注意，计算器22a、22b、22c将多个深度偏移量dth_off累加后，由深度限制器43接收累加的深度偏移量。深度限制器43设有预定大小的深度值域，用以限制累加后的深度值超过系统的范围。例如，可防止因为可能超过深度值域(ex.0～255)，而需加以限制。当然，本发明的深度值域不限于此，可为任何值域范围。

另外，本发明实施例的图像深度产生装置40可利用统计单元42接收像素Pi，统计整张图像的直方图(histogram)，并对三个分量分别统计，以将深度的设定作的更细腻，而决定指定色彩的选择。举例而言，若通过统计后的直方图发现整张图像下方绿色分量大的个数远较图像上方的多则设定图像拥有较多草地的画面，则可将绿色设成指定色，并设为具有较大的映射限制范围(map_limit)，以让绿色区域具有较大的深度值。须注意，一实施例中，可在整张图像中指定不同图像区域分开统计，产生多个直方图，以更精细的规划图像的深度值。

依此方式，本发明实施例的图像深度产生装置40，可利用图像像素的色彩，知悉并处理像素的图像细节，而达成制作出非常精细的三维图像。

图5示出了本发明一实施例的一种图像深度产生方法，该方法包含下列步骤：

步骤S502：开始

步骤S504：接收一包含多个像素的输入图像。

步骤S506：对该输入图像指定一颜色并指定该颜色对应的深度偏移量。

步骤S508：将输入图像的每一输入像素的颜色与该指定颜色比较，根据输入像素的颜色和该指定颜色的接近程度与该深度偏移量决定输入像素的深度值。

步骤S510：结束。

举例而言，假设图像的深度为8位，将数值0设为远景、255设为近景。若将肤色例如作为指定色，且若其深度为200，则将+200作为深度偏移值。接着，依据颜色接近程度进行判断。将输入每一像素都与肤色比较，比较后将颜色差很多的深度设为0作为远景；而越近肤色的颜色就设定越接近+200的值。

依此方式，本发明实施例，可针对图像的颜色特性与设计者的需求任意设定图像的深度表现，可有效地产生需求的图像显示效果，如本例中，可达成突显人脸和皮肤的目的。

再者，一实施例，若想把天空或大海当成远景，草地当成近景则可指定蓝色的深度为小值或负值、绿色的深度为大值，就可以达到预定的显示效果。

以上虽以实施例说明本发明，但并不因此限定本发明的范围，只要不脱离本发明的要旨，本领域技术人员可进行各种变形或变更。

Claims (18)

1.一种图像深度产生装置，包含：

一色彩选择装置，接收一具有多个像素的输入图像，依据至少一参考值判断一像素在所述输入图像的像素中的颜色在视觉上的远近，以产生每一像素的深度偏移量，其中，所述深度偏移量表示目前像素的色彩与预设色彩的差异程度；以及

至少一计算器，耦接所述色彩选择装置，依据所述每一像素的深度偏移量与一预设深度，以产生所述输入图像的每一像素的一输出深度值，其中，所述预设深度对应一指定颜色。

2.根据权利要求1所述的装置，其中，所述预设深度为常数或渐层值。

3.根据权利要求1所述的装置，其中，所述像素的颜色的数值与所述参考值的差值，决定所述像素在所述输入图像中为远景或近景。

4.根据权利要求1所述的装置，其中，所述色彩选择装置包含有:

多个计算单元，用以比较所述像素的图像分量与所述参考值的差异，产生一权重距离值；以及

一深度映射单元，依据一预设转换表转换所述权重距离值，以产生所述深度偏移量。

5.根据权利要求1所述的装置，其中，所述色彩选择装置还包含一乘法器，用以将所述深度偏移量乘上正值或负值，以指定所述像素的远近。

6.根据权利要求1所述的装置，还包含一色彩转换装置，所述色彩转换装置用以接收所述输入图像的像素，且对所述像素进行色彩转换处理，以决定所述输入图像的一指定颜色以设定所述参考值。

7.根据权利要求1所述的装置，其中，所述预设深度依据所述参考值而设定，且所述参考值依据一指定颜色决定。

8.根据权利要求7所述的装置，包含有多个色彩选择装置耦接多个计算器，以产生多个深度偏移量。

9.根据权利要求8所述的装置，其中，每个所述色彩选择装置设有不同的所述指定颜色与不同的所述参考值。

10.根据权利要求8所述的装置，还包含一深度限制器，所述深度限制器用以接收累加的所述多个深度偏移量，以限制累加后的深度值的范围。

11.根据权利要求1所述的装置，还包含一统计单元，所述统计单元用以统计所述输入图像的状态，产生一直方图，以作为决定指定颜色的依据。

12.根据权利要求1所述的装置，其中，所述像素包含有多个图像分量，多个所述参考值的数目相对应所述像素的分量的数目。

13.一种图像深度产生方法，包含有：

接收一包含多个像素的输入图像；

依据至少一参考值判断一像素在所述输入图像的像素中的颜色在视觉上的远近，以产生每一像素的深度偏移量；

对所述输入图像指定一颜色及所述深度偏移量，其中，所述深度偏移量表示目前像素的颜色与所指定的颜色的差异程度；

将所述输入图像的每一输入像素的颜色与所指定的颜色比较，根据所述输入像素的颜色和所指定的颜色的接近程度与所述深度偏移量决定所述输入像素的深度值。

14.根据权利要求13所述的方法，其中，多个所述输入像素的深度值用以表示多个所述输入像素为远景或近景的程度。

15.根据权利要求13所述的方法，还包含：

统计所述输入图像至少一预设区域的颜色状态，以决定如何选择所指定的颜色。

16.一种视频处理方法，包含有：

接收一像素，且所述像素包含有三分量；

将所述像素的三分量分别跟指定色彩的参考值三分量相减，以计算出差值，从而产生一深度偏移量，其中，所述深度偏移量表示目前像素的色彩与预设色彩的差异程度；以及

将所述深度偏移量与一预设深度值相加，产生一输出深度值，其中，所述预设深度值对应一指定颜色，

所述三分量位于色域空间色调饱和度亮度(Hue,Saturation,Intensity,HSI)空间、色差图像(YUV)空间、亮度彩度YCbCr空间、红绿蓝(RGB)其中之一。

17.根据权利要求16所述的方法，包含有多种预设分量参考值，且每一种预设分量参考值包含有多个分量参考值，而每种预设分量参考值与所述像素的多个分量计算后所产生的深度偏移量相加后，产生所述深度偏移量。

18.根据权利要求16所述的方法，其中，所述三分量预先转换至任一所述色域空间。