CN102685518A - 平面转立体影像处理方法及装置 - Google Patents

Abstract

本发明公开了一种平面2D(Dimension)转立体(3D)的影像处理方法及其装置，其包括：一原影像，作为第一眼影像信息；一具深度影像，作为第二眼影像信息，该具深度影像设有主目标区及次目标区，该次目标区位于该主目标区的边缘延伸出去处，该主目标区以较细致的画素作运算单元来进行平面影像物件深度的运算，该次目标区用较该主目标区大的画素作运算单元来作平面影像物件深度的运算；该原影像及该具深度影像组合成一立体影像；如此，在耗费较小运算资源下即可制成立体影像。

Description

平面转立体影像处理方法及装置

技术领域

本发明有涉及立体影像处理系统，尤指一种针对平面影像能简便、快速地转换为立体影像，并具有极佳经济效益的平面转立体影像处理方法及装置。

背景技术

有关具立体(3D-3Dimension)效果的影片，早在1936年即有利用双镜头摄影机和偏振片加以制作出，但由于技术上的限制并无法普为运用。而最近由于「阿凡达」立体电影广受好评后，立体影片的推广遂被定调为今后多媒体影像发展的重要技术方向。由于三维效果影片的制作成本高、费时，且动辄数十万台币的立体影像电视尚未具经济推广规模阶段，所以立体影像视讯的普遍化仍有待持续研发、克服；另一方面，由于立体影片来源相当不足，也造成立体影像视讯推广的窘境，因此，现行乃发展出一种「平面转立体」(2D转3D)的影像技术，如此即可将现有庞大的平面影片、PC游戏、照片等影像转成立体影像内容，甚至目前播出的电视内容也能运用此技术实时转成立体画面。

现有平面转立体的影像技术，常利用到影像深度图的制作，以使双眼产生视差而具有立体影像效果，然，现有技术在计算平面影像物件深度时，都是在全画面以1×1或2X2画素(PIXEL)为单位进行运算，因此要使用相当大的运算资源，甚至于要用专属的视讯芯片或视讯卡才得以完成平面影像物件深度的运算，整体上仍需相当的设备与成本，并不具普遍推广的经济效益性，显非理想的设计，诚有必要再进一步加以改善、解决的必要。

而依据视觉心理(visual psychology)的理论，在人们视觉所接触的景象中，会有视觉主目标区(如注目区、焦点区或核心区)是为人们最关注的区域，若运用该等视觉心理所突显的视觉主目标区结合平面转立体的影像技术，使每瞬间的画面都能造成视觉主目标区的立体影像效果，但实质上却不必利用大量运算资源使每瞬间的画面全部为等同主目标区的立体影像处理，如此必能产生一事半功倍的视觉应用效果，且更能一并产生积极性的经济效益，进而有利于平面转立体影像的普遍推广与应用。

缘此，本发明人有鉴于现有平面转立体影像技术使用上的缺点及设计上未臻理想的事实，本案发明人即着手研发解决方案，希望能开发出一种更具经济性、运作顺畅性及时效性的平面转立体影像处理方法及装置，以服务社会大众及促进此业的发展，遂经多时的构思而有本发明的产生。

发明内容

本发明的目的是能利用视觉心理所突显的视觉主目标区结合平面转立体的影像技术，在耗费较小运算资源下即可造成视觉主目标区的立体影像效果，进而具有极佳立体影像制作的经济效益及利于平面转立体影像的普遍应用推广。

本发明的再一目的是能使平面影像在不同影片类型的主目标区层级设定后，相对以不同主目标区、次目标区层级的立体影像处理，来达到平面转立体影像的制作，使能满足视觉目标的立体影像效果及节省大量运算资源，进而具有极佳效益的实用性及产业利用性。

本发明为达到上述目的所采用的技术方法包括：(1)选择影片类型；(2)依影片类型检测出影片的主目标区，并设定次目标区；该次目标区位于该主目标区的边缘延伸出去处；(3)进行主目标区及次目标区的平面影像物件深度运算，该主目标区以较细致的画素作运算单元来进行平面影像物件深度的运算，该次目标区用较该主目标区大的画素作运算单元来作平面影像物件深度的运算。

本发明的技术方法进一步包括：一原影像，作为第一眼影像信息；一具深度影像，作为第二眼影像信息，该具深度影像为该原影像经一深度运算处理的程序而得，该具深度影像设有主目标区及次目标区，该次目标区位于该主目标区的边缘延伸出去处，该主目标区以较细致的画素作运算单元来进行平面影像物件深度的运算，该次目标区用较该主目标区大的画素作运算单元来作平面影像物件深度的运算；该原影像及该具深度影像组合成一立体影像。

本发明的技术方法进一步包括：一具深度影像，该具深度影像为将一影像经一深度运算处理的程序而得，该具深度影像设有主目标区及次目标区，该次目标区位于该主目标区的边缘延伸出去处，该主目标区以较细致的画素作运算单元来进行平面影像物件深度的运算，该次目标区用较该主目标区大的画素作运算单元来作平面影像物件深度的运算。

本发明为达到上述目的所采用的技术装置包括：一转换盒，该转换盒内使用上述平面转立体影像处理方法，该转换盒设有一立体功能键或多个选择键，该立体功能键及该多个选择键连结该平面转立体影像处理方法，该选择键用以提供进行影片类型的选择设定。

本发明的技术装置进一步包括：一播放显示装置，该播放显示装置内使用上述平面转立体影像处理方法。本发明的技术装置进一步包括：一界面卡，该平面转立体影像处理方法写入一个芯片或多个芯片内，该芯片设置于该界面卡。

为对本发明的技术特征及所达成的功效更有进一步的了解与认识，谨佐以较佳的实施例图及配合详细说明如后。

附图说明

图1为本发明平面转立体影像处理方法流程示意图；

图2为本发明画素区设定示意图；

图3为本发明使用运算单元示意图；

图4为本发明平面转立体影像处理流程示意图；

图5为本发明平面转立体影像处理方法的影像处理装置的第一实施例示意图；

图6为本发明平面转立体影像处理方法的影像处理装置的第二实施例示意图。

【图号对照说明】

启动装置12

选择影片类型14

依影片类型进行主目标区范围检测16

将前项所检测到的主目标区范围设定为主目标区，并设定其次目标区18

进行主目标区及次目标区的平面影像物件深度运算20

主目标区22        第一次目标区24          最远的次目标区28

中间的次目标区26  原影像信息30            第一眼影像信息32

原影像信息进行深度计算处理34              第二眼影像信息36

立体影像38        观视者40                左眼44

右眼42            影像信号提供装置50      转换盒52

HDMI连接线51      连接线53                显示装置54

播放装置60        显示装置62

具体实施方式

请参阅图1，本发明平面转立体影像处理方法流程示意图，其包括有：

(1)启动装置12；即启动本发明立体影像处理的装置或软件，该软件可以芯片形式设于各种所应用的影像处理或显示装置中(后述)。

(2)选择影片类型14；即进行影片类型的选择设定，通常影片类型包括有：新闻、运动、电影、广告、成人、一般或其它等影片类型，该影片类型可通过手动操作按键或软件菜单加以选择而设定；若本步骤省略时，则本方法将内定其影片为一般影片类型。

(3)依影片类型进行主目标区范围检测16；

针对各种影片类型，所使用的主目标区范围检测方法，举例为：

新闻类型：使用脸部检测(face detection)，并将检测到的区域设为主目标区范围。

运动类型：使用身体(body detection)、球检测(ball detection)，并将检测到的区域设为主目标区范围。

电影类型：使用脸部检测(face detection)，并将检测到的区域设为主目标区范围。

广告类型：使用文字检测(text detection)，并将检测到的区域设为主目标区范围。

成人类型：使用肤色(skin detection)、脸部(face detection)、身体检测(body detection)，并将检测到的区域设为主目标区范围。

一般类型：使用脸部检测(face detection)，并将检测到的区域设为主目标区范围。

其中，各影片类型的检测方法不以上述为限，且可使用各式检测方法的组合，此处仅为举例。

上述主目标区范围的检测方法，如脸部检测方法，乃为在影像内追踪两个黑点，假设其为眼睛，连此二黑点成一线段，此线段的往下中垂线长度同该线段处，若有一接近嘴型的物件，则可判定其为一脸部，此脸部即为主目标区范围；又如肤色检测方法，乃为对影像内画素由RGB色彩空间转换为HSV(Hue色度，Saturation饱和度，Value亮度)色彩空间，比对画素中HSV数值是否落在肤色区间内，若符合则判定为肤色区块，若不合则为非肤色区块，此肤色区块即为主目标区范围。前述该脸部检测、身体检测、球检测、文字检测、肤色检测等方法可利用现有技艺，且非本案的发明重点，不再赘述。

(4)将前项所检测到的主目标区范围设定为主目标区，并设定其次目标区18；依据视觉心理(visual psychology)的理论，在人们视觉所接触的景象中，会有视觉主目标区是为人们最关注的区域，此即为各类型影片中人们最关注的范围区域，因此前项各影片类型所使用的各主目标区范围检测方法，其检测出来的范围即设为主目标区。本发明利用该等视觉心理所突显的主目标区以结合平面转立体的影像，请一并参阅图2，于该影片一a(如1920)×b(如1080)画素所显示的影片区域设有一主目标区22，该主目标区22为对各种影片类型所检测出来的主目标区范围，该主目标区22的边缘延伸出去处设有一第一次目标区24及最远的次目标区28，其中，该第一次目标区24与最远的次目标区28间可进一步设有中间的次目标区26，该中间的次目标区26包括有设于第一次目标区24的边缘延伸出去处而逐渐扩增的第二次目标区、第三次目标区等，前述该第一次目标区24、中间的次目标区26及最远的次目标区28可通称为次目标区。

(5)进行主目标区及次目标区的平面影像物件深度运算20；

在本发明中，画素(pixel)作为一张影像的最小单位，如一张影像大小为800×600，即代表这张影像是由X轴800个画素，Y轴600个画素，总共800×600＝480000个画素所构成的影像，该影像若要作最细致的平面影像物件深度的运算，则要以1×1画素(pixel)为单元作运算，若要节省运算资源，则可以较大的画素为单元作运算，如以8×8画素为单元作运算。

前述进行主目标区及次目标区的平面影像物件深度运算20，即进行该主目标区22、第一次目标区24(中间的次目标区26)及最远的次目标区28的影像物件深度处理；该主目标区22以较细致方式来进行平面影像物件深度的运算，例如该主目标区22以1×1画素(pixel)或2×2画素为单元作运算；而该第一次主目标区24在该主目标区22的边缘延伸出去一适当的画素区(如约20至80画素，但不以此为限)处而形成该第一次目标区24的边界，该第一次目标区24用较该主目标区22大一点的画素为单元作平面影像物件深度的运算，例如以2×2画素或4×4画素为单元作运算；同理，所设的第二次目标区(中间的次目标区26)在该第一次目标区24的边缘延伸出去一适当的画素区(如约20至80画素)处形成该第二次目标区(中间的次目标区26)的边界，该第二次目标区用较第一次目标区24大一点的画素为单元作平面影像物件深度的运算，例如以4×4画素或8×8画素为单元作运算；而该最远的次目标区28因属于较不关注位置，因此在该最远的次目标区28用较大的画素为单元作平面影像物件深度的运算，例如以8×8画素为单元作运算。

该中间的次目标区26若包括有多个以上的区域，如第二、三、四次目标区时，各该画素区及其影像物件深度的运算以如前述方式递增其画素作运算单元来进行运算。

上述计算平面影像物件深度的方法可包括有下列计算方法(包括其组合)：

A.基于相对运动的物件深度分析法(Object Depth based on relativemotion analysis)：当摄影机移动时，距离近的物件移动较快，距离远的物件移动较慢，据此演算出各物件的深度信息。

B.对比亮度分析法(Contrast Intensity analysis)：一般而言，距离近的物件亮度较高，距离远的物件亮度较低，据此演算出各物件的深度信息。

计算平面影像物件深度的方法另有：几何分析法(Geometricanalysis)、运动视差分析法(Motion Parallax analysis)、焦点分析法(Defocus Blur analysis)等等。而前述计算平面影像物件深度的方法可利用现有技艺，且非本案的发明重点，不再赘述。

本发明的计算平面影像物件深度方法，其较现有技术可节省大量运算资源，如图3所示，以一格1920×1080画素的画面为例说明如下：

现有技术一般以2X2画素为单元作运算，其所需的运算单元数量为：(1920×1080)÷4＝518400

本发明主目标区22：例如其长宽各为300X300画素正方形的区域，在此区域内以2×2画素为单元运算，其运算单元数量为：(300×300)÷4＝22500

本发明第一次目标区24：例如其为长宽各为380×380画素的正方形但扣去主目标区22的区域，在此区域内以4×4画素为单元运算，因此其运算单元数量为：[(380×380)-(300×300)]÷16＝3400

本发明最远的次目标区28：为以全画面扣去主目标区22与第一次目标区24的区域，以8×8画素为单元运算，因此其运算单元数量为：[(1920×1080)-(380×380)]÷64＝30144

本发明总运算单元数为：22500+3400+30144＝56044

由前述运算单元数据中，本发明在本例中所耗用的计算平面影像物件深度运算资源，其相较现有技术的比例为：

56044÷518400＝0.108，即本发明在本例中，需要运算的单元数，约只用到现有技艺的十分之一，因此所耗用计算平面影像物件深度资源亦为十分之一，可见本发明所节省的运算资源十分明显。换言之。现有技术在计算平面影像物件深度时，都是在全画面以1×1画素或是2×2画素为单位进行运算，因此要使用相当大的运算资源，甚至于要用专属的视讯芯片或视讯卡才得以完成平面影像物件深度的运算；而本发明依不同影片类型，检测到主目标区，并推算出第一次目标区、第二次目标区、最远的次目标区等，用渐层方式赋予各区不同权重运算，越远的次目标区域用越多的画素作运算单元，使整个平面到立体转换大大减少运算的资源，让实时(real time)转换的过程更顺畅，能以更经济的方式达到欣赏立体影片(图片)的效果。

上述为本发明平面影像的物件深度计算方法，以下继续说明如何将平面影像转换为立体影像，请参阅图4，其包括有：一原影像信息30，该原影像信息30作为第一眼影像信息32，该第一眼影像信息32为左眼(或右眼)影像信息；该原影像信息30经如上述平面影像的物件深度计算，即原影像信息进行深度计算处理34的程序，之后得到一具深度信息的第二眼影像信息36，该第二眼影像信息36(具深度影像)相对转换为右眼(或左眼)影像信息，如此使左眼及右眼影像组合成叠影，当观视者40的左眼、右眼44、42在戴上立体眼镜(未图示)后即可呈现一立体影像38(3D)。

请参阅图5，为本发明平面转立体影像处理方法的影像处理装置的第一实施例，该影像处理装置使用本发明平面转立体影像处理方法，该方法可写入一个芯片或多个芯片或一载体内，然后内置于该影像处理装置内，该影像处理装置包括有一转换盒52，该转换盒52设有一立体功能键及/或多个选择键，该立体功能键及该多个选择键连结使用该平面转立体影像处理方法，该选择键包括有：新闻、运动、电影、广告、成人、一般等影片类型功能键，用以提供操作者影片类型的选择设定，该转换盒52一端通过一HDMI连接线51(或其它信号接口连接线)连接一平面的影像信号提供装置50，该影像信号提供装置50可为电视(提供无线电视信号、有线电视信号)、DVD播放机(提供其播放信号)、游戏机(提供其播放信号)、调制解调器(提供其因特网信号)等，该转换盒52用以接收该信号，该转换盒52另一端以HDMI连接线53(或其它信号接口连接线)连接到显示装置54，该显示装置54可为电视机、显示器、投影机、数字相框、影像电话等，用以呈现立体影像(或图片)；该转换盒52亦可不设该多个选择键，直接进行转换，此时通常套用一般影片类型的平面转立体影像处理选项。

请参阅图6，为本发明使用本平面转立体影像处理方法的影像处理装置的第二实施例，该影像处理装置使用有本发明的平面转立体影像处理方法，该方法写入一个芯片或多个芯片或一载体内，然后内置于该影像处理装置内，该影像处理装置包括有一播放装置60，该播放装置60可为电视、DVD播放机等，该播放装置60设有多个选择键，该选择键包括有：新闻、运动、电影、广告、成人、一般等影片类型功能键，用以提供操作者影片类型的选择设定，该播放装置60一端通过一HDMI连接线61(或其它信号接口连接线)连接一显示装置62，该显示装置62可为电视机、显示器等，用以呈现立体影像(或图片)，该播放装置60亦可设一立体功能键以启动本发明平面转立体影像的功能，或是不设选择键而直接进行转换(即套用一般影片类型的平面转立体影像处理选项)。

前述该播放装置60、显示装置62可结合成一播放显示装置(未图标)，该播放显示装置可为电视机(LCD、LED、CRT皆可)、监示器(LCD、LED、CRT皆可)、手机、投影机、数字相框等，该播放显示装置同样可设一立体功能键以启动本发明平面转立体影像的功能，亦可进一步设置新闻、运动、电影、广告、成人、一般等影片类型的选择键，或是不设选择键而直接进行转换(即套用一般影片类型的平面转立体影像处理选项)。

又，本发明的平面转立体影像处理方法，该方法可写入一个芯片或多个芯片内，该芯片可设置于一界面卡(未有图标)，该界面卡为显示卡、视讯卡、网络卡等之一，该界面卡设置于一计算机中，用以产生平面转立体影像的协同运作。

再，本发明的平面转立体影像处理方法也可以软件设置，该软件可设置新闻、运动、电影、广告、成人、一般等影片类型功能选项，或是不设功能选项，直接进行转换(即套用一般影片类型的平面转立体影像处理选项)，可安装于各型计算机、上网本(Netbook)、平板计算机、电子书、多媒体播放器、MP3播放器、MP4播放器、手机、显示器、监视器、电视、游戏机等。

本发明通过上述方法及装置，利用不同影片类型检测出最关注的主目标区及推算出较不构成视觉焦点的次目标区以结合平面转立体的影像技术，在耗费较小运算资源下即可制成立体影像，进而具有极佳立体影像制作的经济效益及利于平面转立体影像的普遍应用推广。

综上所述，本发明确已符合发明专利的要件，依法提出专利申请。以上所述，仅为本发明较佳实施例而已，并非用来限定本发明实施的范围，故举凡依本发明申请专利范围所述的形状、构造、特征及精神所为的均等变化与修饰，均应包括于本发明的申请专利范围内。

Claims (14)

1.一种平面转立体影像处理方法，其包括：

(1)对影片进行主目标区范围检测；

(2)将前项所检测到的主目标区范围设定主目标区及设定次目标区，该次目标区位于该主目标区的边缘延伸出去处；

(3)进行主目标区及次目标区的平面影像物件深度运算，该主目标区以较细致的画素为单元来进行平面影像物件深度的运算，该次目标区用较该主目标区大的画素为单元作平面影像物件深度的运算。

2.如权利要求1所述的平面转立体影像处理方法，其中该步骤(1)前包括有一选择影片类型的操作，该影片类型可通过按键或软件菜单加以选择而设定，

3.如权利要求1所述的平面转立体影像处理方法，其中该(1)对影片进行主目标区范围检测所使用的检测方法包括：脸部检测、身体检测、球检测、文字检测、肤色检测、一般检测或组合。

4.如权利要求1所述的平面转立体影像处理方法，其中该次目标区至少包括有一第一次目标区及该第一次目标区的边缘延伸出去处的最远的次目标区。

5.如权利要求1所述的平面转立体影像处理方法，其中该主目标区以1×1画素或2×2画素为单元作平面影像物件深度的运算。

6.如权利要求4所述的平面转立体影像处理方法，其中该第一次目标区以2×2画素或4×4画素为单元作平面影像物件深度的运算。

7.一种平面转立体影像处理方法，包括：

一原影像，作为第一眼影像信息；

一具深度影像，于该原影像设定一影片的主目标区及次目标区，该次目标区位于该主目标区的边缘延伸出去处，该主目标区以较细致的画素为单元来进行平面影像物件深度的运算，该次目标区用较该主目标区大的画素为单元作平面影像物件深度的运算，该主目标区及该次目标区的平面影像物转换为立体影像为该具深度影像，以作为第二眼影像信息；

该原影像及该具深度影像组合成叠影，通过立体眼镜可呈现立体影像。

8.如权利要求7所述的平面转立体影像处理方法，其中该次目标区至少包括有一第一次目标区及该第一次目标区的边缘延伸出去处的最远的次目标区。

9.如权利要求7所述的平面转立体影像处理方法，其中该主目标区以1×1画素或2×2画素为单元作平面影像物件深度的运算。

10.如权利要求8所述的平面转立体影像处理方法，其中该第一次目标区以2×2画素或4×4画素为单元作平面影像物件深度的运算。

11.一种平面转立体影像处理方法，其包括有一具深度影像，该具深度影像为将一影像经一深度运算处理的程序而得，该具深度影像设有一主目标区及至少一次目标区，该次目标区位于该主目标区的边缘延伸出去处，该主目标区以较细致的画素为单元来进行平面影像物件深度的运算，该次目标区用较该主目标区大的画素为单元作平面影像物件深度的运算。

12.如权利要求11所述的平面转立体影像处理方法，其中该次目标区至少包括有一第一次目标区及该第一次目标区的边缘延伸出去处的最远的次目标区。

13.如权利要求11所述的平面转立体影像处理方法，其中该主目标区以1×1画素或2×2画素为单元作平面影像物件深度的运算。

14.如权利要求11所述的平面转立体影像处理方法，其中该第一次目标区以2×2画素或4×4画素为单元作平面影像物件深度的运算。

Images