CN102857772B - 影像处理方法以及影像处理装置 - Google Patents

影像处理方法以及影像处理装置 Download PDF

Info

Publication number
CN102857772B
CN102857772B CN201110192632.9A CN201110192632A CN102857772B CN 102857772 B CN102857772 B CN 102857772B CN 201110192632 A CN201110192632 A CN 201110192632A CN 102857772 B CN102857772 B CN 102857772B
Authority
CN
China
Prior art keywords
depth
image
field
view information
shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110192632.9A
Other languages
English (en)
Other versions
CN102857772A (zh
Inventor
姚建铨
陈治玮
陈仲怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Original Assignee
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Software R&D Shenzhen Ltd, MStar Semiconductor Inc Taiwan filed Critical MStar Software R&D Shenzhen Ltd
Priority to CN201110192632.9A priority Critical patent/CN102857772B/zh
Publication of CN102857772A publication Critical patent/CN102857772A/zh
Application granted granted Critical
Publication of CN102857772B publication Critical patent/CN102857772B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种影像处理方法,包含有:接收一输入二维影像;检测该输入二维影像中一区块的一影像来产生该区块的一景深信息;以及参考该景深信息来决定该区块内的一子区域影像的一景深。

Description

影像处理方法以及影像处理装置
技术领域
本发明有关于一种影像处理机制,尤指一种利用大范围二维影像所估测出的景深信息来决定小范围二维影像的相对应景深的影像处理装置及其影像处理方法。
背景技术
在目前现有的二维影像转三维立体影像技术中,其逐一地估测并计算二维影像中每一像素的景深,换言之,对于不同的像素,已知技术进行不同且彼此独立的估测与计算程序,而为了能够精确地估测并计算出每一像素的景深,已知技术需要花费较多的计算成本(例如时间与电路面积)来完成,且整个电路系统的运作也变得相对复杂,而如此需要花费较多计算成本的复杂电路系统对现今影像处理应用来说,实相当缺乏弹性。此外,已知技术目前也缺乏由二维影像中精确地估计出相对应的影像内容的景深信息,而现有的二维影像转三维立体影像技术在转换为立体影像后也会有相当严重的影像失真(Distortion);凡此皆为目前现有技术所遭遇到的问题。
发明内容
因此,本发明的目的之一在于提供一种利用区块的影像特性来精确估计出区块层级的景深信息以及利用所估计的该景深信息来得到一像素的景深以产生立体影像的影像处理装置与影像处理方法,以解决上述所提到的问题。
依据本发明的实施例,其揭示一种影像处理方法。该影像处理方法包含有:接收一输入二维影像;检测该输入二维影像中一区块的一影像来产生该区块的一景深信息;其中景深信息用以指示出该区块的影像于立体显示时的景深。
依据本发明的实施例,其揭示一种影像处理装置。该影像处理装置包含有一检测电路与一决定电路,其中检测电路用以接收一输入二维影像,并检测该输入二维影像中一区块的一影像来产生该区块的一景深信息,以及决定电路耦接至检测电路并用以参考该景深信息来决定该区块内的一子区域影像的一景深。
依据本发明的实施例,其揭示一种用于影像处理的检测电路。检测电路用以接收一输入二维影像,并检测输入二维影像中区块的影像来产生区块的景深信息,其中景深信息用以指示出区块的影像于立体显示时的景深。
附图说明
图1为本发明一实施例的影像处理装置的示意图。
图2为本发明一实施例的初步景深D1的景深变化、像素层级的景深变化以及目标景深的景深变化的示意图。
图3a为目标景深D1’、目标景深D1’的变化范围D_R、水平偏移V_shift、二维影像IMG_2D以及人眼所感知的三维影像IMG_3D的一实施例的示意图。
图3b为目标景深D1’、目标景深D1’的变化范围D_R、水平偏移V_shift、二维影像IMG_2D及人眼所感知的三维影像IMG_3D的另一实施例的示意图。
图4a为以初步景深D1进行景深深度运算时水平偏移V_shift的大小大于1所造成的影像顺序错乱的简要示意图。
图4b为图1所示的产生单元的一影像转换加权方法的示意图。
图4c为使用图4b所示的影像转换加权方法来选取加权平均点的操作示意图。
图5为图1所示的影像处理装置的操作流程图。
主要元件符号说明
100影像处理装置
105检测电路
110储存电路
115处理电路
120决定单元
125产生单元
具体实施方式
请参照图1,图1是本发明一实施例的影像处理装置100的示意图。影像处理装置100包含有一检测电路105、一储存电路110与一处理电路115,处理电路115则还包括一决定单元120与一产生单元125,检测电路105用以接收一输入二维影像S_2D并检测该输入二维影像S_2D中一区块MB的一影像来产生该区块MB的一景深信息INFO,输入二维影像S_2D为不带有三维立体景深信息的一平面的影像,区块MB为输入二维影像S_2D中一M×N像素范围的影像区域,M与N皆为正整数,且M可以等于或不等于N,例如M、N皆为16,景深信息INFO则包含用以指示出区块MB的景深的参数,在本实施例中,参数的种类包含有:区块MB的影像亮度对比、影像颜色、影像的空间位置、影像的边缘影像信息、影像的移动信息等等。所产生的景深信息INFO的参数是由检测电路105输出,并暂存于储存电路110中,而储存电路110例如是由一动态随机存取存储器或任一缓冲器所实现,处理电路115则由储存电路110读取出景深信息INFO所包含的参数并据此来决定区块MB内的每一子区域影像的景深,以及利用产生的景深来产生立体显示的影像。在本实施例中,一子区域影像例如是某单一像素的影像,而其景深则是该单一像素的影像在立体呈现时的景深值,换言之,处理电路115参考区块MB的景深信息INFO来决定每一单一像素的景深值,在本实施例中,决定区块MB内每一像素的景深的操作分成两个步骤,首先依据区块MB的景深信息INFO所包含的参数来设定区块MB内的每一像素的初步景深D1,而每一像素的初步景深D1由于依据区块MB的景深信息INFO来设定,所以具有相同的数值,初步景深D1的决定由处理电路115中的决定单元120所实现,而初步景深D1即为区块MB的所有像素在区块层级(Block-based)上的景深值,当决定单元120产生区块MB内的像素的影像的初步景深D1时,初步景深D1被输出至储存电路110,由储存电路110所暂存。后续产生单元125在产生立体影像前,会先读出并参考储存单元110的初步景深D1以及每一像素本身的影像特性来产生区块MB内该像素的目标景深D1’(未显示于图1上),目标景深D1’因为已经足可代表该像素在立体影像上的景深程度,所以目标景深D1’可被产生单元125所参考来产生该像素上所呈现的立体影像。此外,产生单元125也会依据一输入的参考移动向量MV(亦即由移动估测操作所产生的移动信息)来产生该像素上所呈现的立体影像(例如左眼影像与右眼影像)。
以下逐一详述本实施例的检测电路105、决定单元120、产生单元125的操作。就检测电路105的操作而言,其所检测并产生的景深信息INFO包含有区块MB的影像亮度对比、影像颜色、影像的空间位置、影像中的边缘影像信息、影像中的移动信息(MotionInformation)等参数。以检测影像亮度对比来说,检测电路105先检测出区块MB内的影像中的一最大灰阶值与一最小灰阶值,并计算该最大灰阶值与该最小灰阶值之间的一差值,并依据该差值的大小来决定影像亮度对比的程度,以及将所决定的影像亮度对比输出并储存至储存电路110中,其中该差值的大小可以代表影像亮度对比的程度,举例来说,当所计算出的差值等于一第一差值大小时,检测电路105决定区块MB的影像对比为第一参考值,此时检测电路105亦同时决定区块MB的景深信息指示出第一景深,而当所计算出的差值为大于第一差值大小的第二差值(影像对比较高)时,检测电路105决定此时区块MB的影像对比为大于上述第一参考值大小的第二参考值,并决定区块MB的景深信息指示出比第一景深较近的第二景深,换言之,检测电路105藉由检测判断影像亮度对比的程度大小,来调整景深信息INFO所指示的景深值远近,当影像亮度对比愈大时,检测电路105判定区块MB的影像可能愈靠近人眼,亦即景深应愈近,因此,检测电路105调整景深信息INFO的参数以指示出合理的景深值。
以检测影像颜色来说,检测电路105参考区块MB的影像的颜色来产生景深信息INFO,目的用以检测区块MB的影像是否属于天空的一部分,举例来说,一般天空颜色接近于蓝色,若一区块的影像被判定为天空的一部分,则该区块在三维立体显示时应显示得较远,亦即应具有较远或最远的景深,实作上,天空的颜色范围可能包含接近于蓝色的某一预定颜色范围,因此,当区块MB的影像颜色落入或对应于该预定颜色范围时,表示区块MB的影像可能是天空的一部分,检测电路105决定景深信息INFO指示出第一景深(亦即代表较远或最远的景深),而当区块MB的影像颜色并未落入或并未对应于该预定颜色范围时,表示区块MB的影像并非是天空的一部分,检测电路105决定景深信息INFO指示出比第一景深较近的第二景深;影像的颜色则可选择采用一区块内的影像的平均颜色或大部分的影像颜色。此外,天空的颜色并非必然是蓝色,亦有可能是一大片的灰色或其他颜色,因此,天空的颜色范围也可以包含接近于灰色或某一特定颜色的一预定颜色范围,换言之,该预定颜色范围并非仅限定于某一特定颜色的范围附近,亦可以是多段不同颜色范围所组成。此外,本发明并不限定于检测天空的颜色,亦可以用以检测其他远景影像的颜色,因此,上述实施方式仅用于说明之用,而并非本发明的限制。
以检测影像的空间位置来说,检测电路105检测区块MB的空间位置并参考所检测出的影像空间位置来产生景深信息INFO,检测区块MB的空间位置用以检测出区块MB位于整张二维影像画面中何处,当区块MB的影像位于整张二维影像画面中的较高处时,其景深可能较远,反之则可能较近,举例来说,办公室中天花板的影像(具有较高空间位置)在人眼看来较远,而办公桌上的影像(具有较低空间位置)在人眼看来较近;实作上,当区块MB的影像位于输入二维影像S_2D中的第一空间位置时,检测电路105先决定景深信息INFO指示出第一景深,而当区块MB的影像位于输入二维影像S_2D中高于第一空间位置的第二空间位置时,检测电路105则决定景深信息INFO指示出比第一景深较远的第二景深。
以检测边缘影像来说,检测电路105用以参考区块MB的影像的边缘影像信息来产生景深信息INFO,在本实施例中,当检测出区块MB内包含有较多个数的边缘影像时,检测电路105认定区块MB的影像具有较近景深的影像,因此,实作上,当所检测出的边缘影像信息指示出区块MB具有第一边缘影像个数时,检测电路105先决定区块MB应具有第一景深,而当所检测出的边缘影像信息指示出区块MB具有大于第一边缘影像个数的第二边缘影像个数时,检测电路105决定区块MB应具有比第一景深较近的第二景深。
以检测移动信息来说,检测电路105参考区块MB的影像的移动信息来产生景深信息INFO,在本实施例中,当所估计出的移动信息指示了较大的移动向量时,表示影像移动较快的原因可能是人眼中的近景,因此,检测电路105认定此为具有较近景深的影像,实作上,当移动信息指示出第一移动向量大小时,检测电路105先决定区块MB的景深信息INFO指示出第一景深,而当移动信息指示出大于第一移动向量大小的第二移动向量大小时,检测电路105决定区块MB的景深信息INFO指示出比第一景深较近的第二景深。
需注意的是,为了能够于后续操作中精确地产生每一像素的景深,本实施例的检测电路105所产生的景深信息INFO包含所有上述所提到用以指示景深值的种种参数,然而,若考虑到为了节省电路计算成本,景深信息INFO也可以包含有多个种类的参数而并非是全部的参数,甚至景深信息INFO也可以只具有上述其中一种参数。此外,检测电路105于产生景深信息INFO时也可参考目前区块MB的多个邻近区块的影像亮度对比、影像颜色、影像的空间位置、影像中的边缘影像信息、影像中的移动信息等参数来产生景深信息INFO。凡此设计变化皆属于本发明的范畴。
如前所述,当检测电路105产生并储存上述景深信息INFO的该些参数至储存电路110时,决定单元120可由储存电路110中读出所储存的参数,并综合参考景深信息INFO的该些参数来决定区块MB的一初步景深(亦即区块层级的景深值)D1,初步景深D1作为区块MB内的所有像素的初步景深D1。而在决定出区块MB内每一像素的初步景深D1之后,决定单元120会将初步景深D1先暂存至储存电路110中,再由产生单元125从储存电路110中读取出。于另一实施例中,检测电路105与决定单元120内部各自具有独立的储存电路,景深信息INFO可由检测电路105输出并传递至决定单元120,而初步景深D1可由决定单元120输出而传递至产生单元125,该些信息在传输过程中皆毋需透过储存电路110。因此,产生单元125可藉由参考每一像素的初步景深D1以及该像素的二维影像来决定该像素的目标景深D1’,实作上,产生单元125依据每一像素上所显示的二维影像的灰阶值来微调该像素的初步景深D1以产生搭配该像素的影像内容的目标景深D1’,当该像素的灰阶值较大(亦即亮度较高)时,产生单元125依据较大的灰阶值来调近该像素的初步景深D1,以产生目标景深D1’,而当该像素的灰阶值较小(亦即亮度较低)时,产生单元125依据较小的灰阶值来调远该像素的初步景深D1,以产生目标景深D1’。
因此,即便所产生的每一像素的初步景深D1皆相同而使人眼较不容易感受到区块MB内的影像的立体视觉层次感,然而,藉由参考每一像素的灰阶值来微调该像素的初步景深D1以产生每一像素的目标景深,产生单元125可根据不同的像素灰阶值来达到不同像素的景深补偿效果,举例来说,区块MB上所显示的影像为一棵树木的树叶,若仅使用上述的初步景深D1作为每一像素的目标景深,使得树叶之间的目标景深D1’皆相同,则人眼可能无法于后续所产生的立体影像中感受到树叶之间的立体远近层次感,而若选择使用上述的微调/补偿每一像素的初步景深D1来产生目标景深D1’,使得树叶之间的目标景深有所不同,则人眼可容易于后续所产生的立体影像中感受到树叶之间的立体远近层次感。
于此需注意的是,虽然在上述例子中,微调初步景深D1来产生目标景深D1’可达到较佳的立体远近层次感,然而,此并非本发明的限制,在其他影像例子中,产生单元125也可选择直接使用区块MB的初步景深D1作为区块MB内的每一像素的目标景深D1’,并符合基本的立体影像呈现需求及进一步节省电路计算成本,例如,区块MB上所显示的影像为天空的一部分,产生单元125藉由所暂存的初步景深D1可判定区块MB为最远景的影像,由于人眼对最远景的影像中的远近层次变化较不敏锐,因此,产生单元125可以不选择使用上述微调初步景深D1的步骤而直接将区块MB的初步景深D1设定为区块MB内部每一像素的目标景深D1’,如此一来,既能够符合立体显示呈现的基本需求(在人眼几乎无法察觉下),亦同时节省软/硬件的计算成本。
如上所述,本实施例的产生单元125实可依据区块MB内的影像的特性来适应性地决定是否要微调初步景深D1。此外,由于区块MB的初步景深D1亦有可能被选择作为一像素的目标景深,因此,换言之,产生单元125实可视为参考景深信息INFO来决定区块MB内一像素的景深。由于决定单元120与产生单元125设置于处理电路115中,所以上述的决定单元120与产生单元125的操作皆属于处理电路115的操作。为了更能表现出本发明的初步景深D1与目标景深D1’的差异,请参阅图2,其所绘示为本发明一实施例的影像画面中初步景深D1的景深变化、像素层级(Pixel-based)的景深变化以及目标景深D1’的景深变化的示意图。如图2所示,代表多个区块的初步景深D1的变化的曲线S_B变化较缓慢且平滑,表示一张影像画面中多个区块内的所有像素的初步景深D1皆相同,因此利用曲线S_B来表示,而代表像素层级的景深变化的曲线S_P则比曲线S_B变化来得迅速且随机改变,表示一张影像画面中多个区块内的所有像素的像素层级景深变化几乎皆不相同,因此利用随机变化的曲线S_P来表示,而曲线S_B’则为曲线S_B被曲线S_P修正后所产生的,其代表所产生的目标景深D1’的变化,因此,本发明产生初步景深D1后利用微调初步景深D1来产生目标景深D1’的操作实可有效并精确地产生一张影像画面中每一像素上的影像所对应的立体景深值。
另外,在产生区块MB内的一像素的目标景深D1’后,产生单元125接着依据所产生的目标景深D1’来决定该像素的影像(亦即一子区域影像)所对应的一第一视角影像(例如一左眼影像)与一第二视角影像(例如一右眼影像)之间的一水平偏移V_shift,并依据所决定的该水平偏移V_shift来产生该第一视角影像与该第二视角影像。请参照图3a,图3a为目标景深D1’、水平偏移V_shift、二维影像IMG_2D及人眼所感知的三维影像IMG_3D的示意图。如图3a所示,L表示人的左眼,R表示人的右眼,水平直线P代表显示面板,IMG_2D代表某一像素上所显示的二维平面影像,在产生单元125产生目标景深D1’之后,产生单元125会依据立体影像成像原理以及目标景深D1’(其中D_R代表目标景深的从最近至最远的变化范围),于左、右两边各距一水平偏移V_shift的位置点上分别产生左眼影像IMG_L与右眼影像IMG_R,所以左眼L于画面正确位置点上可看到左眼影像IMG_L而右眼R于画面的正确位置点上也可看到右眼影像IMG_R,使得人眼感知到立体影像IMG_3D的成像。需注意的是,产生单元125亦可依据所产生的目标景深D1’来决定上述像素的影像(亦即一子区域影像)所对应的另一水平偏移V_shift’,并依据所决定的该另一水平偏移V_shift’来产生不同视角的影像;换言之,产生单元125可依据一单一像素的影像的目标景深来产生多视角的影像。
另外,产生单元125可另依据所产生的目标景深D1’、一前景/后景调整值来决定水平偏移V_shift,而使立体影像的成像具有多元设计变化。请参照图3b,图3b是目标景深D1’、目标景深D1’的变化范围D_R、水平偏移V_shift、二维影像IMG_2D及人眼所感知的三维影像IMG_3D的另一实施例示意图。如图3b所示,L表示人的左眼,R表示人的右眼,水平直线P代表显示面板,IMG_2D代表某一像素上所显示的二维平面影像,在产生单元125产生目标景深D1’之后,产生单元125会先依据该前景/后景调整值来设定目标景深从最近至最远的变化范围D_R,如图所示,图3b所示的D_R表示了人眼所感知成像的立体影像可设计为成像于显示面板的前方,接着产生单元125会依据立体影像成像原理、目标景深D1’以及该前景/后景调整值所设定的目标景深的变化范围D_R,于原先二维影像IMG_2D的右边距离一水平偏移V_shift处产生一左眼影像IMG_L,并于原先二维影像IMG_2D的左边距离一水平偏移V_shift处产生一右眼影像IMG_R,所以左眼L于画面正确位置点上可看到左眼影像IMG_L而右眼R于画面的正确位置点上也可看到右眼影像IMG_R,使得人眼感知到立体影像IMG_3D成像于显示面板P的前方。此外,产生单元125亦可依据目标景深D1’与一增益值来产生上述的水平偏移V_shift,其中该增益值用以缩小或放大水平偏移V_shift的值,使得产生水平偏移V_shift的方式更具弹性。此外,在产生每一像素所对应的水平偏移V_shift时,可将水平偏移V_shift的大小设计为小于1,使得目前像素所对应的左/右眼影像不会与邻近像素所对应的左/右眼影像在顺序上造成错乱,因此,可避免利用二维影像产生立体影像时所造成的缺失。
为了解影像顺序的错乱情形,请参见图4a,其所绘示为以初步景深D1进行景深深度运算时,水平偏移V_shift的大小大于1所造成的影像顺序错乱的简要示意图,此处的初步景深D1被应用于一区块范围中的多个像素点上,为了实现使景深深度平顺的目的,本实施例中对两区块中的该等像素点进行深度的线性内插,以于各像素点上取得平滑的深度变化。中4a,二维影像平面上像素点0~64欲投影于三维影像平面上32个像素点,其水平偏移V_shift各为2。于此情形下,二维平面上的像素点2会投影于三维影像平面上的-1位置,而二维平面上的像素点4会投影于三维影像平面上的-2位置,因而造成左右顺序错乱的状况。很明显的,这样的次序错乱会造成三维影像平面上的影像为二维平面的镜像的错误,使得显示的结果并非预先设计的输出。为解决此问题,需使二维影像平面上像素点0~64得以线性排列于三维影像平面上32个像素点内,亦即需使二维影像平面上每一像素点的水平偏移为0.5,方能于不产生顺序错乱的状况下,将二维影像平面的数值线性内插至三维影像平面上。然而,应注意的是,将水平偏移V_shift的大小设计为小于1的操作仅为本实施例中的一实施范例,并非是本发明的限制,在其他实施例中,亦可将水平偏移V_shift的大小设计为小于一预定值的大小(其中该预定值小于1),而此亦可有效避免利用二维影像产生立体影像时所造成的缺失。
再者,当目标景深D1’包含每一像素的景深细节时,以产生某一视角的影像(例如右眼影像)为例,在由二维转至三维右眼影像的过程中,二维影像中每一像素在依据其所相对应的水平偏移V_shift产生所相对应的多个三维右眼影像后,该些右眼影像并非必然恰好位于显示面板的像素显示点上,换言之,已知的二维影像转三维立体影像后的显示方式实具有无法正确显示或无法显示一目前像素的正确偏移值的问题。而为了解决此一问题,本实施例中的产生单元125依据目前像素之间的两右眼影像的目标景深以及该两右眼影像的目标景深所对应的两水平偏移,加权产生该目前像素的右眼影像的目标景深所对应的水平偏移,同样地,产生单元125也可依据目前像素之间的两左眼影像的两目标景深以及该两左眼影像的目标景深所对应的两水平偏移,加权产生该目前像素的左眼影像的目标景深所对应的水平偏移,换言之,产生单元125依据景深信息INFO,先决定一第一子区域影像所对应的多不同视角影像的一第一水平偏移与一第二子区域影像所对应的多不同视角影像的一第二水平偏移,之后再参考该第一子区域影像所对应的该多不同视角影像的该第一水平偏移与该第二子区域影像所对应的该多不同视角影像的该第二水平偏移,产生位于该第一、第二子区域影像之间的一子区域影像的多不同视角影像的水平偏移(相对应于目前像素的影像的目标景深);利用此种加权计算的方式来产生目前像素的目标景深,可有效避免立体影像显示时的缺失。
为说明前述加权计算的过程,请参考图4b,其所绘示为本发明所揭示的一影像转换加权方法的示意图,在原二维影像平面上,具有多像素显示点(包含但不限于点A以及点B),该些像素显示点经过转换后,将带有不同的水平偏移量,并重新排列于图中的三维影像平面上。如前所述,此处的问题在于,该些像素显示点的水平偏移值可能并非整数,因此无法重新显示于三维影像平面上。为处理此问题,首先以三维影像平面上的像素显示点Q为中心,设定邻近于点Q的前后的一定整数值内,且位于二维影像平面上的像素显示点作为一搜寻范围,接着逐一检视该搜寻范围内二维影像平面的像素点转换至三维影像平面时的落点,选取最接近点Q两侧的三维影像平面上的两个转换落点,利用该两转换落点所对应的二维影像平面上的像素点A以及点B的水平位移进行加权计算。在本实施例中,以将点A以及点B的水平位移进行线性内插(linearinterpolation)作为求取点Q的方法,然此并非是本发明的限制;其中点A于三维影像平面上的水平位移为L_shift,而点B于三维影像平面上的水平位移为R_shift。
其数学关可以下示数学式表示:
Q = L _ shift L _ shift + R _ shift B + R _ shift L _ shift + R _ shift A
更具体而言,在执行加权计算以产生水平偏移的同时,亦须注意前述图像次序错误的问题,为避免此类错误,于利用目标景深D1’进行运算时,为使景深较远的像素点为较近点所遮蔽的现象于经过进一步水平位移的三维影像平面上呈现出来,于选取最接近点Q两侧的两个像素点A以及B的水平位移进行加权时,应选择距使用者较近的点(亦即景深较浅的点)作为加权的点。请参见图4c,如图4c的右侧图示所示,点C于三维影像平面上的投影点距离点Q较远,但因点C所标示的景深较点A为近,因此即使点A于三维影像平面上的投影点是距离点Q较近,本实施例依旧选择点C作为点Q水平位移的加权平均点。另外,如图4c的左侧图示所示,点C于三维影像平面上的投影点距离点Q较远,且点A于三维影像平面上的投影点是距离点Q较近,由于点A所标示的景深较点C为近,因此本实施例选取点A作为点Q水平位移的加权平均点。
为了能够更清楚明白本发明的实施例的技术精神,在图5所示的流程中说明图1所示的影像处理装置100的操作流程。倘若大体上可达到相同的结果,并不需要一定照图5所示的流程中的步骤顺序来进行,且图5所示的步骤不一定要连续进行,亦即其他步骤亦可插入其中:
步骤502:开始;
步骤504:检测电路105接收一输入二维影像S_2D;
步骤506:检测电路105检测所接收的输入二维影像S_2D中一区块MB的影像来产生区块MB的景深信息INFO,其中景深信息INFO包含有影像亮度对比、影像颜色、影像的空间位置、影像的边缘影像信息及影像的移动信息等参数;
步骤508:决定单元120依据区块MB的景深信息INFO产生区块MB内的像素的初步景深D1;
步骤510:产生单元125参考初步景深D1并决定是否微调初步景深D1来产生不同像素的目标景深D1’,其中初步景深D1为区块层级上的景深值,而目标景深D1’为不同像素在像素层级上的景深值;
步骤512:产生单元125依据目标景深D1’来产生该像素的多视角影像所对应的水平偏移V_shift;以及
步骤514:产生单元125依据水平偏移V_shift来产生该像素的多视角影像,以使人眼观赏影像画面时可感知到立体影像的成像;
步骤516:结束。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (16)

1.一种影像处理方法,包含:
接收一输入二维影像;以及
检测该输入二维影像中一区块的一影像来产生该区块的一景深信息;
其中,该景深信息指示该区块的该影像于立体显示时的一景深,
参考该区块的该景深信息以及该区块内一子区域影像的一二维影像来决定该区块内的该子区域影像的该景深,
其中,产生该景深信息的步骤包含:
当一边缘影像信息指示出一第一边缘影像个数时,决定该景深信息指示一第一景深;以及
当该边缘影像信息指示出大于该第一边缘影像个数的一第二边缘影像个数时,决定该景深信息指示较该第一景深近的一第二景深。
2.如权利要求1所述的影像处理方法,其特征在于,该景深信息由一最大灰阶值与一最小灰阶值之间的一差值所决定,其步骤包含:
当该差值是一第一差值时,决定该景深信息指示该第一景深;以及
当该差值为大于该第一差值的一第二差值时,决定该景深信息指示较该第一景深近的该第二景深。
3.如权利要求1所述的影像处理方法,其特征在于,产生该景深信息的步骤包含:
当该影像的颜色对应至一预定颜色范围,决定该景深信息指示该第一景深;以及
当该影像的颜色未对应至该预定颜色范围,决定该景深信息指示较该第一景深近的该第二景深。
4.如权利要求1所述的影像处理方法,其特征在于,产生该景深信息的步骤包含:
当该区块的该影像位于该输入二维影像中一第一空间位置时,决定该景深信息指示该第一景深;以及
当该区块的该影像位于高于该第一空间位置的一第二空间位置时,决定该景深信息指示较该第一景深远的该第二景深。
5.如权利要求1所述的影像处理方法,其特征在于,产生该景深信息的步骤包含:
当一移动信息指示出一第一移动向量大小时,决定该景深信息指示该第一景深;以及
当该移动信息指示出大于该第一移动向量大小的一第二移动向量大小时,决定该景深信息指示较该第一景深近的该第二景深。
6.如权利要求1所述的影像处理方法,其特征在于,还另包含:
依据该景深,决定该子区域影像所对应的一第一视角影像与一第二视角影像之间的一水平偏移,其中该水平偏移依据该景深与一前景/后景调整值决定;以及
依据所决定的该水平偏移,产生该第一视角影像与该第二视角影像。
7.如权利要求6所述的影像处理方法,其特征在于,决定该水平偏移的步骤包含:
依据该景深与一增益值,决定该水平偏移,且该水平偏移小于1。
8.如权利要求1所述的影像处理方法,其特征在于,还包含:
依据该景深信息,决定一第一子区域影像所对应的多个不同视角影像的一第一水平偏移;
依据该景深信息,决定一第二子区域影像所对应的多个不同视角影像的一第二水平偏移;以及
参考该第一子区域影像所对应的该多个不同视角影像的该第一水平偏移与该第二子区域影像所对应的该多个不同视角影像的该第二水平偏移,产生位于该第一、第二子区域影像之间的一子区域影像的多个不同视角影像的一水平偏移。
9.一种影像处理装置,包含:
一检测电路,用以接收一输入二维影像,并检测该输入二维影像中一区块的一影像来产生该区块的一景深信息;以及
一处理电路,耦接至该检测电路,用以参考该景深信息来决定该区块内的一子区域影像的一景深,该处理电路参考该区块的该景深信息以及该子区域影像的一二维影像来决定该区块内的该子区域影像的该景深,
其中当该影像指示出一第一边缘影像个数时,该检测电路决定该景深信息指示一第一景深;以及当该影像指示出大于该第一边缘影像个数的一第二边缘影像个数时,该检测电路决定该景深信息指示较该第一景深近的一第二景深。
10.如权利要求9所述的影像处理装置,其特征在于,该景深信息由一最大灰阶值与一最小灰阶值间的一差值所决定;当该差值是一第一差值时,该检测电路决定该景深信息指示该第一景深;以及当该差值为大于该第一差值的一第二差值时,该检测电路决定该景深信息指示较该第一景深近的该第二景深。
11.如权利要求9所述的影像处理装置,其特征在于,当该影像的颜色对应至一预定颜色范围,该检测电路决定该景深信息指示该第一景深;以及当该影像的颜色未对应至该预定颜色范围,该检测电路决定该景深信息指示较该第一景深近的该第二景深。
12.如权利要求9所述的影像处理装置,其特征在于,当该区块的该影像位于该输入二维影像中一第一空间位置时,该检测电路决定该景深信息指示该第一景深;以及当该区块的该影像位于高于该第一空间位置的一第二空间位置时,该检测电路决定该景深信息指示较该第一景深远的该第二景深。
13.如权利要求9所述的影像处理装置,其特征在于,当一移动信息指示出一第一移动向量大小时,该检测电路决定该景深信息指示该第一景深;以及当该移动信息指示出大于该第一移动向量大小的一第二移动向量大小时,该检测电路决定该景深信息指示较该第一景深近的该第二景深。
14.如权利要求9所述的影像处理装置,其特征在于,该处理电路包含:
一决定单元,用以决定该景深;以及
一产生单元,用以依据该景深,决定该子区域影像所对应的一第一视角影像与一第二视角影像之间的一水平偏移,以及依据所决定的该水平偏移,产生该第一视角影像与该第二视角影像,其中该产生单元依据该景深与一前景/后景调整值来决定该水平偏移。
15.如权利要求14所述的影像处理装置,其特征在于,该产生单元依据该景深与一增益值来决定该水平偏移,该水平偏移小于1。
16.如权利要求9所述的影像处理装置,其特征在于,该处理电路包含:
一产生单元,用以依据该景深信息,决定一第一子区域影像所对应的多个不同视角影像的一第一水平偏移与一第二子区域影像所对应的多个不同视角影像的一第二水平偏移,以及参考该第一子区域影像所对应的该多个不同视角影像的该第一水平偏移与该第二子区域影像所对应的该多个不同视角影像的该第二水平偏移,产生位于该第一、第二子区域影像之间的一子区域影像的多个不同视角影像的一水平偏移。
CN201110192632.9A 2011-06-29 2011-06-29 影像处理方法以及影像处理装置 Expired - Fee Related CN102857772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110192632.9A CN102857772B (zh) 2011-06-29 2011-06-29 影像处理方法以及影像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110192632.9A CN102857772B (zh) 2011-06-29 2011-06-29 影像处理方法以及影像处理装置

Publications (2)

Publication Number Publication Date
CN102857772A CN102857772A (zh) 2013-01-02
CN102857772B true CN102857772B (zh) 2015-11-11

Family

ID=47403911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110192632.9A Expired - Fee Related CN102857772B (zh) 2011-06-29 2011-06-29 影像处理方法以及影像处理装置

Country Status (1)

Country Link
CN (1) CN102857772B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310477B (zh) * 2013-06-27 2016-05-11 北京青青树动漫科技有限公司 一种三维影像生成方法
TWI701637B (zh) * 2018-07-02 2020-08-11 緯創資通股份有限公司 影像合成方法與系統
CN113888692B (zh) * 2020-12-11 2024-09-06 深圳钒佳科技有限公司 应用深度学习的二维影像转三维影像的系统与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
CN101322155A (zh) * 2005-12-02 2008-12-10 皇家飞利浦电子股份有限公司 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
CN101616247A (zh) * 2008-06-26 2009-12-30 晨星软件研发(深圳)有限公司 决定移动向量的方法及其装置
CN101841727A (zh) * 2009-12-30 2010-09-22 福州华映视讯有限公司 影像处理方法
CN102055991A (zh) * 2009-10-27 2011-05-11 深圳Tcl新技术有限公司 二维图像转换为三维图像的转换方法及转换装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639838B2 (en) * 2002-08-30 2009-12-29 Jerry C Nims Multi-dimensional images system for digital image input and output
CN101542529B (zh) * 2006-11-21 2012-10-03 皇家飞利浦电子股份有限公司 图像的深度图的生成方法和图像处理单元
TWI322969B (en) * 2006-12-15 2010-04-01 Quanta Comp Inc Method capable of automatically transforming 2d image into 3d image
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322155A (zh) * 2005-12-02 2008-12-10 皇家飞利浦电子股份有限公司 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
CN101616247A (zh) * 2008-06-26 2009-12-30 晨星软件研发(深圳)有限公司 决定移动向量的方法及其装置
CN102055991A (zh) * 2009-10-27 2011-05-11 深圳Tcl新技术有限公司 二维图像转换为三维图像的转换方法及转换装置
CN101841727A (zh) * 2009-12-30 2010-09-22 福州华映视讯有限公司 影像处理方法

Also Published As

Publication number Publication date
CN102857772A (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
TWI493505B (zh) 影像處理方法以及影像處理裝置
JP5150255B2 (ja) ビューモードの検出
US8116557B2 (en) 3D image processing apparatus and method
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
US8441521B2 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
KR20170023110A (ko) 다중뷰 스테레오 및 캘리브레이션된 프로젝터를 이용한 깊이 추정
EP2469870A2 (en) Image processing device, image processing method, and program
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
EP2560398A2 (en) Method and apparatus for correcting errors in stereo images
CN101873509B (zh) 消除深度图序列背景和边缘抖动的方法
CN112136324A (zh) 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法
TWI678098B (zh) 三維影像之視差的處理
CN102857772B (zh) 影像处理方法以及影像处理装置
US9210396B2 (en) Stereoscopic image generation apparatus and stereoscopic image generation method
US8884951B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP2020518058A (ja) 奥行きマップを処理するための装置及び方法
US9787980B2 (en) Auxiliary information map upsampling
WO2012098974A1 (ja) 画像処理装置および方法、画像表示装置および方法
WO2013080898A2 (en) Method for generating image for virtual view of scene
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
JP2012034336A (ja) 立体画像生成装置及び方法
KR101329069B1 (ko) 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
KR20120059367A (ko) 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151111

Termination date: 20190629