CN101322155B - 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备 - Google Patents

立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备 Download PDF

Info

Publication number
CN101322155B
CN101322155B CN2006800453217A CN200680045321A CN101322155B CN 101322155 B CN101322155 B CN 101322155B CN 2006800453217 A CN2006800453217 A CN 2006800453217A CN 200680045321 A CN200680045321 A CN 200680045321A CN 101322155 B CN101322155 B CN 101322155B
Authority
CN
China
Prior art keywords
zone
image
depth
focus
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800453217A
Other languages
English (en)
Other versions
CN101322155A (zh
Inventor
F·E·厄恩斯特
B·G·B·巴伦布鲁格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101322155A publication Critical patent/CN101322155A/zh
Application granted granted Critical
Publication of CN101322155B publication Critical patent/CN101322155B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

将2D图像数据转换为3D图像数据。基于聚焦特性,将所述图像分为两个或多个区域,确定将两个区域分开的边缘属于图像的哪个区域。根据包括边缘的区域比相邻区域更靠近观看者的规则来对所述区域进行深度排序,并根据所建立的区域的深度次序来将3-D深度信息分配到所述区域。作为优选,根据所述区域的平均或中间聚焦特性来将深度分配给每个区域。

Description

立体图像显示方法和设备、从2D图像数据输入产生3D图像数据的方法以及从2D图像数据输入产生3D图像数据的设备
技术领域
本发明涉及一种立体图像显示方法,其中,将2D图像数据转换为3D图像数据,其中,从2D图像数据提取聚焦信息,该聚焦信息用于产生3D图像数据。
本发明还涉及一种立体图像显示装置,包括用于2D图像数据的输入,和将输入的2D图像数据转换为3D图像数据的转换器,该转换器包括聚焦信息提取器,用于从2D图像数据提取聚焦信息。
本发明还涉及图像显示数据转换方法,其中,将2D图像数据转换为3D图像数据,并且其中,从2D图像数据提取聚焦信息,并用于产生3D图像数据。
本发明还涉及3D图像信号。
本发明还涉及通过计算机配置加载的计算机程序产品,其包括基于2D图像数据输入产生3D图像数据的指令,该计算机配置包括处理部件。
背景技术
在EP1021049中披露了在开头段落中描述的立体图像显示方法和装置。在EP1021049中,从2维视频输入产生3维视频图像。已知装置和方法采用前景/背景识别电路,该电路基于从2维视频输入提取的聚焦信息来进行识别。基于边缘检测输出视差控制信号,其中,锐利边缘位于3D图像的前景中。
尽管已知方法和装置提供了相对简单的装置和方法,但是已经发现所呈现的3D图像偶尔是混乱的图像,其中,视觉深度即3D效果很难识别。
发明内容
本发明的目的是基于2D图像输入改进3D图像呈现。
为了实现该目的,根据本发明的方法的特征在于:基于聚焦特性,将图像分为两个或多个区域,确定将两个区域分开的边缘属于图像的哪个区域,按照包括边缘的区域比相邻区域更靠近观看者的规则来在区域之间建立深度次序,并根据所建立的区域深度次序来将3-D深度信息分配到区域中。
在EP1021049的现有方法中,也进行边缘检测。锐利边缘位于前景。然而,由于在背景处于聚焦而前景处于散焦的情况下实际上位于前景的部分图像被给予背景视差,反之亦然,所以该方案有时提供混乱的结果。这提供了混乱的图像,其中视差信息为观看者提供3D图像的某些部分位于前景而其它部分位于背景的提示,但是图像的实际内容为观看者提供了完全相反的提示,即根据视差提示是前景的图像根据实际内容则是背景。
这样,3D令人感觉十分混乱,常常令人困惑,尤其是由于由已知方法给出的深度提示通常是有限的。假设人脑能够根据甚至有缺陷的深度提示来重构立体感觉。然而,在现有方法和装置中的深度提示有时彼此不一致,甚至从场景到场景还会发生变化,即,在一个场景中深度提示是正确的,之后突然偏移到不一致的深度提示,其中前景图隐藏在背景树之后。这样,深度感觉令人困惑,或者至少观看者感觉到深度提示之间的十分令人恼火的冲突。
根据本发明的方法解决了或至少减少了该问题。基于聚焦信息例如模糊半径,将图像分为数个区域。将图像的像素或块群集为具有相似的聚焦特性的多个区域。基于聚焦信息,例如每个块的平均模糊,将图像分为两个或多个区域,其中每个区域具有平均的聚焦特性。确定将两个区域分隔开的边缘属于哪个区域。这可以通过例如对所检测到的边缘的锐度(模糊)与和边缘的每一侧相邻接的区域的平均模糊进行比较来完成。模糊的边缘属于具有高模糊的相邻接区域,而锐利边缘属于具有低模糊的区域。对各区域执行深度排序,其中按照包括边缘的区域比相邻区域更靠近观看者的规则。根据深度排序将3D信息分配到区域。从而图像的各种区域形成深度层。通过将像素或块群集为区域来执行将图像分为区域。尽管可以逐像素地进行该群集,但是发现当在将图像分割为区域之前为每个像素块确定聚焦特性并将块群集为区域时,能得到更稳健的结果。块是具有n×m像素,通常是具有m×m像素的小部分图像,其中n和m一般是2、4、8、或16。
与已知方法相比,该方法的优点对于例如人部分地坐在花朵配置后面的图像是清楚的。该人处于聚焦状态;花朵配置不处于聚焦状态。采用已知的方法,给予处于聚焦状态且从而具有锐利图像边缘的人一个视差,从而其看起来在前景中,并且给予描绘具有模糊边缘的花朵配置的图像部分一个相应于背景的视差。由于人部分地位于花朵配置后面而不是相反地位于花朵配置前面,这与真实情况不一致。从而已知方法和装置使观看者面对两个冲突的(实际上矛盾的)深度提示。使人处于花朵配置前面的前景上的视差深度提示与图像信息深度提示矛盾,后者表明人坐在花朵配置的后面。
根据本发明的方法不提供冲突的深度提示。将图像分为区域并至少包括两个区域,例如包括人的聚焦区域和包括花朵配置的散焦区域。通过花朵配置的模糊边缘形成将包括花朵配置的区域与包括人的区域分开的边缘。从而根据包括将两个区域分开的边缘的区域比其它区域更靠近观看者的规则,使包括花朵配置的图像区域位于前景。由模糊边缘限定的散焦前景区域位于聚焦背景区域的前面。因此,如果存在两个区域,即散焦前景花朵配置在聚焦的人的前面,则将准确的视差分配给两个区域。如果存在三个区域,即散焦前景花朵配置、聚焦的人和散焦的背景,则为三个区域提供准确的3D信息。应该强调,在该示例中,根据本发明的方法的结果提供了与EP0121049教导的核心相反的结果,后者指出通过将锐利边缘置于前景上来进行深度排序。
作为优选,根据区域的聚焦特性分配3D深度信息。平均聚焦特性对区域之间的深度差提供提示。这能够用来改善3D效果。
在优选实施例中,区域的数量是三或二。结果表明,将图像的像素或块群集为两个或三个区域会得到较好的结果,而只需要有限的计算量。几乎所有图像具有聚焦部分和散焦部分,而散焦部分有时是前景,有时是背景,因此两个区域通常是足够的。偶尔散焦部分包括前景和背景部分,例如,前景树和背景森林以及中间聚焦区域,这种情况下三个区域通常是足够的。
在优选实施例中,统计分布由图像的像素或块的聚焦特性构成,根据统计分布确定区域的数量。
发现诸如模糊半径的聚焦特性通常围绕有限数量的峰值群集,一个对应于小的模糊半径,即聚焦或基本上聚焦,而另一个或其它位于较大的模糊半径,对应于图像的散焦部分。采用这些统计数据能够快速确定区域能被分割的区域数量。
根据本发明的图像显示设备包括用于执行根据本发明的方法步骤的部件。
本发明还可以在包括用于执行根据本发明的方法步骤的部件的发射机中实施。
本发明的这些和其它目标通过以下描述的实施例将变得明了。
附图说明
图1说明了薄透镜模型;
图2A-2C说明了用于确定模糊半径的可能的方法;
图3说明了在模糊半径和聚焦平面之间的关系;
图4说明了模糊半径的统计分布;
图5A和5B说明了确定区域的方法;
图6说明了用于确定边缘属于哪个区域的方法;
图7说明了根据本发明的方法;
图8说明根据本发明的显示器;和
图9说明根据本发明的发射机。
附图不是按比例绘制的。一般情况下,在附图中,采用相同的附图标记表示相同的元件。
具体实施方式
在例如薄凸透镜等简单的光学系统中,在距离透镜特定距离处的物体被清楚地呈现在图像平面上(物体被聚焦),而在其它距离处的物体被与它们距离聚焦平面的距离成比例地模糊映射(物体被散焦)。在图1中描述了点光源的后一种情况。
模糊性能根据薄透镜公式:
1 f = 1 u + 1 v - - - ( 1 )
其中,f代表透镜的聚焦长度,u是物体距离和v是图像距离。根据图1中的几何关系和透镜公式,可以得出距离u的公式:
u = fs s - f - kσf if u > u 0 - - - ( 2 )
u = fs s - f + k&sigma;f if u < u 0 - - - ( 3 )
其中,u0表示各个点处于聚焦中的距离。参数s是图像平面到透镜的距离和参数k是由透镜系统的特性确定的常数。参数f、s和k是相机参数,其可以根据相机校准确定。因此,估计物体的距离u包括确定相机参数和估计模糊半径σ。因此,在图像的模糊性即聚焦特性和该距离之间存在一定的关系。
对于2D到3D的转换,视差(深度的倒数)是比深度本身更恰当的量,例如对于呈现的视图的视差在视差方面呈线性。采用上述表达,可以发现聚焦点和散焦点之间的视差差值与模糊半径σ之间的关系。
| 1 u - 1 u 0 | = k&sigma; s - - - ( 4 )
换句话说,相对聚焦平面的视差差值与模糊半径成比例。另外,由于为了迎合用户的喜好和/或显示的可能性,通常可以改变所呈现视图的视差的量,所以不必精确地确定与相机相关的常数k/s,所需要的是确定模糊半径σ,即确定聚焦特性。在以下说明中,由于在距离和模糊半径之间存在简单关系的简单原因,采用模糊半径用于聚焦特性。然而,尽管由于在模糊半径和距离之间的简单关系,将模糊半径确定为聚焦特性是优选的,但是在本发明的概念中也可以确定模糊量的其他测量。
图2A-C示意性地说明了用于确定模糊半径σ的可能方法。在图2A中,示意性地示出了具有模糊半径σ的被模糊边缘。水平轴表示位置,垂直轴表示亮度。在图2B中,示出了其为具有宽度s的高斯滤波器的二阶导数的滤波函数。图2A和2B的卷积提供了具有两个峰值的函数。合理充分地测量峰值之间的距离dh,并且模糊半径σ与滤波宽度s和峰值距离dh之间的关系如下:
σ2=(dh/2)2-s2    (5)
该示例性算法是稳健的,并且对于各种类型的内容所得到的结果是良好的。采用每个滤波宽度值的每个像素的各种滤波宽度s,找到模糊半径σ。采用每个像素的σ的平均值或中间值,然后确定块上的σ的平均值或中间值,在该块中,对在图2C的部分具有较大高度的更明显边缘给予较大的权重,这样会得到稳健的结果。发现在聚焦和散焦区域之间确定的σ值中的合理的良好区分。
在图3中示意性地示出了在u和模糊半径σ之间的关系,并由方程(4)可以得出在u和模糊半径σ之间的关系。
如果根据校准参数k和s是已知的,一旦已知模糊半径σ,则可以进行到聚焦平面的绝对距离的真实估计。由于这并没有表示被模糊物体是在聚焦平面的前面还是在聚焦平面的后面,对于根据模糊半径σ的真实深度估计,还需要已知至少两个对于不同焦距的图像。然而,对于任意外部给定的图像数据例如视频,这些需求通常没有一个是已知的或者可得到的。然而,在图像的散焦区域和图像的聚焦区域之间以及如果存在更多的区域则在各种区域之间还能进行良好的区分。
由于视差差值和模糊半径之间的公式给出了视差差值的绝对值和模糊半径之间的关系,该方程具有两个独立的解。因此,模糊半径σ的两个不同的值的确定不能进行深度排序,因为σ的相同值可以根据靠近或远离物体而得到。在图4中,示意性地示出了用于模糊半径σ的两个不同的值(σ1和σ2)。原则上存在可能的图像平面的四种不同的可能组合。
图4示出了对于图像中的块的模糊半径的典型分布,其中,水平轴表示具有某一模糊半径的块的百分比。显然,可以区分具有σ1和σ2值的峰值为中心的两种模式,在该示例中对应于图像的聚焦和散焦部分。然而,由于两种原因,只有这种分布还不能提供准确的深度排序。首先,如图3所示,由于不止一个解决方案是可能的,所以对于相应于图3的峰值的图像平面的实际相对位置存在不明确性。第二,σ分布中的峰值是十分广泛的。这表示实际的模糊值具有大的数值不确定性并且不适合于推导出深度排序信息,因为每个模式(例如,散焦区)中的模糊半径差(在图3中的峰值中的展开)可能超过模式之间的模糊半径差。因此,只采用模糊半径的实际数值来确定深度排序,并且每个块的深度排序引起大量的噪声。
然而,为了得到可靠的深度排序,根据本发明的方法和装置执行两个步骤。
在第一步骤中,基于图像的像素或块的聚焦特性来群集图像的像素或块,从而形成图像中的区域。在本发明的最广泛的范围中,像素也可以被群集。然而,对于像素的σ值的展开甚至比对于块的跟大。当在群集聚焦特性之前,在本示例中给定用于模糊半径σ的平均值或中间值,并对块将其进行分配并基于σ的块值而将块群集为区时,可以得到更稳健的结果。将模糊半径的平均或中间值分配给每个区。可以采用各种方式进行群集。
可以采用简单的迭代群集算法,该算法从启发式初始群集开始总是将图像分为两个或更多的群。然后,基于各群的特征的相似性来确定我们是否具有一个、两个或更多的群。
图5A和5B说明了这种方法,其中,假设存在两个大的区域,一个区域聚焦,大致处于中间,由散焦区域围绕。初始群集由将在左、上和右边界上(即,图像的1/4)的块分配到“背景”群C2,和将其它像素分配到“前景”群C1(参见图5)组成。这种选择起始于用于背景运动模式估计的块的选择。启发式地,人们期望感兴趣的物体(通常是前景)位于图像中央的某处,而图像的边界不包含感兴趣的物体。对于背景运动模式估计,假设在中央的感性趣物体是前景。然而,在群集阶段并不一定进行这种假设。然而,据观察,大部分时间,中央群处于聚焦。
由于初始群集相当粗糙并且是基于启发式的,因此,对于每个群实现模糊半径的初始估计的稳健方法如下。
选择通常分布在群内的多个特征点(在我们的情况下28)。群的初始模糊半径值σ1、σ2是所有这些特征点的模糊半径σ的中间值。
然后,进行迭代过程以便精炼该群:
步骤1:重新分配块。对图像进行搜索,并且将群边界上的每个块B分配到相对其平均聚焦估计具有最小偏差的群:
B→C1如果|σB1|<|σB2|    (6)
B→C2其他
步骤2:更新σ1和σ2的值。已经将块重新分配到群C1和C2,从而对两个(或多个,如果存在更多)群中的每个计算新的平均或中间群模糊半径σ1和σ2
步骤3:迭代。进行新的搜索,参见步骤1。
该过程在几次(一般4次)迭代后收敛。
图5B表示这种迭代的结果:形成两个区域,具有中间模糊半径σ1的前景区域C1,和具有中间模糊半径σ2的背景区域C2
典型地,该方法提供两个区域,散焦区域和聚焦区域。这些区域不需要连接,例如,聚焦区域可以包括两个分离的子区域,散焦区域也同样包括两个分离的子区域。当统计结果表示三个区域(即σ分布的三个峰值)的迹象时,可以以三个区域开始。通过确定σ表中的峰值来发现初始群集,并简单地将每个块分配到具有最佳匹配σ的峰值。
一旦将该图像分为区域C1、C2、C3等,就可以将区域模糊半径σi分配到每个区域。根据本发明的方法和装置的下一步骤是确定区域的相互位置,即哪个区域在哪个区域的前面。根据深度排序进行确定。为了进行确定,采用边缘属于最前面物体的原理。图6示意性说明了根据该原理区别哪个边缘属于哪个区域的方法。图6说明了沿着水平轴的位置参数,例如x或y座标或者垂直于两个区域之间的过渡的座标。垂直地示出了模糊半径。在图6中,示意性地说明了在具有模糊半径σ的低值的聚焦区域和具有模糊半径σ的高值的散焦区域之间的过渡。宽度W示意性地说明了边缘的模糊性。散焦边缘将具有比聚焦边缘较大的宽度W。这示意性地如图6的上部所示,具有小的宽度W,从而具有锐利的过渡,而图6的下部示出了大的宽度W从而具有模糊的过渡。因此,在上部,分离区域C1和C2的边缘属于具有低模糊半径σ1的区域C1。因此,区域C1是前景,在图中以C1(F)表示。区域C2是以C2(B)表示的背景。在下部,宽度W较大。分离区域C1和C2的边缘属于具有高模糊半径σ2的区域C2。因此,“模糊”区域C2是前景,在图中以C2(F)表示。区域C1是以C1(B)表示的背景。通过沿垂直于各个区域之间的过渡线的线采用不同的测量点,并采用平均值或对于每个测量点确定边缘看起来属于哪个区域,然后在不同测量之间投票,容易发现边缘是属于聚焦区域还是散焦区域,在属于聚焦区域的情况下,聚焦区域位于散焦区域的前面,在属于散焦区域的情况下,聚焦区域位于散焦区域的前面。为了区别起见,宽度W只取决于一个区域的σ,而不取决于或至少几乎不取决于另一区域的σ。采用该特征来确定分离两个区域的边缘属于哪个区域。
这是用于建立边缘属于哪个区域的方法的一个示例。
例如,不同的方法用来使图像分段,即,在区域之间的过渡附近的图像中找到亮度或颜色边缘,并在前述群集步骤之后将该亮度或颜色边缘与根据前述群集步骤得出的区域之间的边缘进行比较。
采用亮度分段,可以采用不同的方法来发现哪个边缘属于哪个区域。一种方式是看亮度边缘在区域之间的过渡附近的各种区域中的方向。仅仅通过前景图像确定相应于区域之间的过渡的亮度边缘,并且属于前景图像的边缘通常沿着所述过渡,即它们与过渡平行。在背景中的亮度边缘并不趋向于与过渡相关。
还有另一种方法如下:如上所述,基于聚焦对图像进行分段,并且在区域之间的过渡附近发现亮度边缘。通过采用两种不同的方式确定区域之间的边缘,通过亮度分段和通过基于模糊半径的群集,可以建立边缘属于哪个区域。理想地,两个确定结果应完全一致,但是这不是事实。已经发现块的群集平均起来倾向于使区域延伸到边缘所属的区域,略微超过亮度边缘,因为整个边缘或至少边缘的主要部分被分配属于前景对象的边缘的模糊半径。因此,在群集中存在微小的偏差,其使得被群集的区域延伸以包括属于所述群集的边缘。由于在亮度分段中,区域之间的过渡位于使区域分离的边缘的中间,所以在仅仅只关心亮度中的差异时,边缘的确定不会出现该偏差。因此,由于基于如上所述模糊半径确定的群集方法倾向于使被群集的前景区域的边界过分延伸到边缘所属的区域中,在边缘的确定位置中存在小的差异,而这种过渡延伸的倾向对于仅仅基于亮度分段确定的边缘并不存在。不同的是:亮度分段使边缘正处于亮度过渡的中间,而群集分段高估了前景区域的尺寸。该效果也被称作形态扩张,即群集略微扩大,即前景对象形成的尺寸增大。群集方法的这种偏差使前景对象边缘进入前景群集。通过对由亮度分段确定的边缘与由模糊半径分段确定的同一边缘进行比较,使这种表面上看来的负面效果变为好的使用。这能够建立边缘属于哪个区域。可以采用可替换的算法进行聚焦特性的模糊半径确定或更多的特殊确定。也可以采用用于群集的可替换的算法。根据所使用的算法,所确定的前景区域对于由亮度边缘确定的边缘过分延伸或欠延伸。在两种情况下,可以通过对由亮度分段确定的区域与由聚焦特性的确定和群集所确定的区域进行比较来确定边缘属于哪个区域。
可以仅仅基于什么区域是前景和什么区域是背景来进行深度排序,即,可以采用视差中的固定差异来区别前景和背景区域,或区分最前面的、中间范围和背景区域,这与实际值σi无关。
作为优选,区域的模糊半径估计被转换为深度或深度的倒数值。对于深度排序和σ值,我们可以采用被模糊对象的视差作为聚焦对象的视差(即具有最低σ的区域),加上一常数乘以前景和背景之间的模糊半径中的差。
1 u &ap; 1 u 0 + K&Delta;&sigma;
其中,Δσ是σ的差,K是常数,μ0是聚焦平面。如果σ很小,则Δσ等于散焦平面的σ。为具有最低模糊值的群分配深度μ0;基于所有其它群相对于具有最低半径值的群的深度排序,为所有其它群分配深度值。在我们只有两个群-聚焦和散焦-的情况下,如果前景处于聚焦中则K为正,如果前景处于散焦区域,则K为负。
对于单个图像模糊半径估计,不能恢复常数μ0和K,因此,我们将需要具有不同聚焦设置的多个图像。然而,如果我们只采用用于呈现的深度图,大多数情况下,深度图无论如何都要被转换并缩放以便使屏幕的性能与用户的喜好匹配。对于自动立体显示装置,例如,我们可以以将聚焦区域呈现在屏幕的平面中从而具有最大锐利图像的方式来采用μ0。然后,根据深度排序,将散焦区域呈现在屏幕的后面或前面。
图7示出了根据本发明的方法。以输入2D信号开始,在步骤2形成图像块,在步骤3确定块聚焦特性例如块模糊半径σB,在步骤4将这些块群集为两个或更多个群。在步骤6确定边缘和区域之间的关系。参见图6,这可以根据聚焦特性直接完成,或者并行地对图像进行亮度分段,并在步骤6对通过亮度分段(步骤5)获得的图像边缘与通过群集确定的图像边缘进行比较,其中,比较结果导致确定了哪个边缘属于哪个区域,和从而哪个区域位于哪个区域前面,即区域的深度排序(步骤7)。根据优选实施例,基于聚焦特性确定深度(步骤8),在示例中给出的是模糊半径,提供得到的3D输出信号(步骤9)。
图8示出了根据本发明的图像装置。图像装置具有用于执行该方法的所有步骤的部件,即用于接收2D输入信号的输入1,用于形成图像块的形成器2,用于计算块聚焦特性的计算机3,用于基于聚焦来群集图像区域的群集器4,图像边缘检测器5,边缘区域关系确定器6,深度排序器7和深度信息分配器8。其还包括用于将3D信号输出到3D显示屏幕10的输出9。例如,这种显示装置可以是自动立体显示装置。
图9说明了根据本发明的发射机。与图8的不同在于显示屏幕本身不是该装置的一体化部件。例如,这种发射机可以读取具有2D信号的DVD,并将2D信号转换为3D信号,用于分开销售的3D显示器中。其也可以是从具有2D信号的DVD形成具有3D信号的DVD的装置,从而可以将3D信号提供给DVD刻录机,或者例如被发送到另一位置。在优选实施例中,包括区域中的图像分区的信息和区域的深度次序以及各种区域的聚焦特性的3D图像信号也形成本发明的实施例。可以将信息分配给信号的标头中,该标头指定哪个块属于该区,或者区域之间的分隔线、区域的次序以及优选的区域的聚焦特性、优选的区域模糊半径。采用现有技术的方法和装置实现的3D信号不包括这种信息。例如,可以如下产生根据本发明的3D信号:客户具有3D显示装置以及2D数码相机。用户将2D家庭视频或数字图像发送到因特网地址。将原始的2D信号转换为3D信号,该3D信号发送回可以在其3D显示器上显示视频或图像的用户。
总之,本发明被描述如下:
将2D图像数据转换为3D图像数据。基于聚焦特性,将图像分为两个或多个区域,确定使两个区域分开的边缘属于哪个区域。根据包括边缘的区域比相邻的区域更靠近观看者的规则对区域进行深度排序,并根据所建立的区域的深度次序将3D深度信息分配到区域。作为优选,根据区域的平均或中间聚焦特性将深度分配给每个区域。
也可以在用于根据本发明的方法或装置的任何计算机程序产品中实施本发明。可以理解,计算机程序产品是通用处理器或专用处理器在一系列的加载步骤(其可以包括中间转换步骤、例如转换为中间语言以及最终的处理器语言)后使命令进入处理器,从而执行本发明的任何特征功能的命令的集合的任何物理实现。尤其是,计算机程序也可以实现作为在诸如例如盘或磁带上的数据、存储器中存在的数据、在网络连接-有线或无线-上传送的数据或在纸上的程序代码。与程序代码不同,也可以将程序所需的特征数据实现为计算机程序产品。
运行该方法所需的一些步骤也已经存在于处理器的功能中,而在计算机程序产品中未进行描述,诸如数据输入和输出步骤。
应该注意,上述实施例是为了说明本发明而不是限制本发明,而且本领域技术人员也可以设计许多可替换实施例而不偏离所附权利要求的范围。
在权利要求中,置于括号中的任何附图标记不构成对权利要求的限制。
单词“包括”不排除不同于权利要求中所列的元件和步骤的其它元件和步骤的出现。采用包括几种不同的元件的硬件以及被适当编程的计算机来实施本发明。在列举了几个部件的装置权利要求中,可以通过同一硬件实现这些部件中的几个部件。通过如上所述的各种不同的优选实施例的特征的任意结合实现本发明。更具体地,应该指出,除非另外指示或者不可能实现,所示出的或要求的与编码方法或编码器相关的任何实施例具有用于解码方法或解码器的对应实施例,并且这种解码方法和解码器是本发明的实施例并在此要求保护。

Claims (12)

1.一种立体图像显示方法,其中,将2D图像数据转换为3D图像数据,其中从2D图像数据中提取聚焦信息,该聚焦信息用于产生3D图像数据,其中,基于聚焦特性,将所述图像分为具有聚焦特性的两个或多个区域,确定将两个区域分开的边缘属于图像的哪个区域,按照包括边缘的区域比相邻区域更靠近观看者的规则来在所述区域之间建立深度次序,并根据所建立的区域的深度次序来将3D深度信息分配到所述区域。
2.根据权利要求1所要求的立体图像显示方法,其中,在将图像分割为区域之前,对块分配聚焦特性,并将所述块群集为区域。
3.根据权利要求1所要求的立体图像显示方法,其中,根据所述区域的聚焦特性分配3D深度信息。
4.根据权利要求1所要求的立体图像显示方法,其中,将所述图像分割为两个区域。
5.根据权利要求1所要求的立体图像显示方法,其中,将所述图像分割为三个区域。
6.一种立体图像显示装置,包括:用于2D图像数据的输入,和将所输入的2D图像数据转换为3D图像数据的转换器,所述转换器包括聚焦信息提取器,用于从2D图像数据提取聚焦信息,其中,所述装置包括群集器,用于基于聚焦特性将所述图像群集为具有聚焦特性的两个或多个区域,确定器,用于确定将区域分开的边缘属于图像的哪个区域,深度排序器,用于按照包括边缘的区域比相邻区域更靠近观看者的规则进行所述区域的深度排序,和显示器,用于显示图像,其中区域的表观深度是根据所述深度排序的。
7.根据权利要求6所要求的立体图像显示装置,包括计算机,用于在将所述图像分割为区域之前,对块计算聚焦特性,并且其中,群集器被设置用于将所述块群集为区域。
8.根据权利要求6所要求的立体图像显示装置,其中,所述装置包括检测器,用于检测区域过渡附近的亮度边缘。
9.根据权利要求6所要求的立体图像显示装置,其中,所述装置包括深度信息分配器,用于基于所述区域的聚焦特性将深度信息分配到区域。
10.一种图像显示数据转换方法,其中,将2D图像数据转换为3D图像数据,并且其中,从所述2D图像数据提取聚焦信息,该聚焦信息用于产生3D图像数据,其中,基于聚焦特性,将所述图像分为具有聚焦特性的两个或多个区域,确定将两个区域分开的边缘属于图像的哪个区域,按照包括边缘的区域比相邻区域更靠近观看者的规则来在所述区域之间建立深度次序,并根据所建立的区域的深度次序来将3-D深度信息分配到所述区域。
11.根据权利要求10所要求的图像显示数据转换方法,其中,根据所述区域的聚焦特性分配3D深度信息。
12.一种发射机,包括用于2D图像数据的输入,和将所输入的2D图像数据转换为3D图像数据的转换器,所述转换器包括聚焦信息提取器,用于从2D图像数据提取聚焦信息,其中,所述发射机包括群集器,用于基于聚焦特性将所述图像群集为具有聚焦特性的两个或多个区域,确定器,用于确定使两个区域分开的边缘属于图像的哪个区域,深度排序器,用于根据包括边缘的区域比相邻区域更靠近观看者的规则来进行所述区域的深度排序,和用于输出3D图像信号的输出,其中根据所建立的区域的深度次序来将3D深度信息分配到所述区域。
CN2006800453217A 2005-12-02 2006-11-27 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备 Expired - Fee Related CN101322155B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05111623.4 2005-12-02
EP05111623 2005-12-02
PCT/IB2006/054458 WO2007063478A2 (en) 2005-12-02 2006-11-27 Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input

Publications (2)

Publication Number Publication Date
CN101322155A CN101322155A (zh) 2008-12-10
CN101322155B true CN101322155B (zh) 2013-03-27

Family

ID=38057450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800453217A Expired - Fee Related CN101322155B (zh) 2005-12-02 2006-11-27 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备

Country Status (8)

Country Link
US (1) US8325220B2 (zh)
EP (1) EP1958149B1 (zh)
JP (1) JP5073670B2 (zh)
KR (1) KR101370356B1 (zh)
CN (1) CN101322155B (zh)
AT (1) ATE542194T1 (zh)
RU (1) RU2411690C2 (zh)
WO (1) WO2007063478A2 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US20110043540A1 (en) * 2007-03-23 2011-02-24 James Arthur Fancher System and method for region classification of 2d images for 2d-to-3d conversion
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
DE102007058779B4 (de) * 2007-12-06 2021-01-14 Robert Bosch Gmbh Einrichtung eines Kraftfahrzeugs zur Erzeugung eines für eine Bildanalyse geeigneten Bildes
JP5337170B2 (ja) 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
WO2010023592A1 (en) * 2008-08-26 2010-03-04 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, encoder for encoding a 3-d video signal, encoded 3d video signal, method and system for decoding a 3d video signal, decoder for decoding a 3d video signal
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
JP2010128450A (ja) * 2008-12-01 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 3次元表示物体、3次元画像作成装置、3次元画像作成方法およびプログラム
CN101751664B (zh) * 2008-12-02 2013-04-17 奇景光电股份有限公司 立体深度资讯的产生系统及产生方法
KR20100080704A (ko) * 2009-01-02 2010-07-12 삼성전자주식회사 영상 데이터 획득 방법 및 장치
JP4903240B2 (ja) * 2009-03-31 2012-03-28 シャープ株式会社 映像処理装置、映像処理方法及びコンピュータプログラム
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
JP5369952B2 (ja) * 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US8629899B2 (en) * 2009-08-06 2014-01-14 Qualcomm Incorporated Transforming video data in accordance with human visual system feedback metrics
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
US8254760B2 (en) 2009-08-28 2012-08-28 Apple Inc. Pixel analysis and frame alignment for background frames
KR101082545B1 (ko) 2010-01-28 2011-11-10 주식회사 팬택 영상 변환 기능을 구비한 이동통신 단말기
WO2011097306A1 (en) * 2010-02-04 2011-08-11 Sony Corporation 2d to 3d image conversion based on image content
KR101674568B1 (ko) * 2010-04-12 2016-11-10 삼성디스플레이 주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
KR101690297B1 (ko) * 2010-04-12 2016-12-28 삼성디스플레이 주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
KR20120005328A (ko) 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
WO2012014009A1 (en) * 2010-07-26 2012-02-02 City University Of Hong Kong Method for generating multi-view images from single image
US20120218382A1 (en) * 2010-08-02 2012-08-30 Ron Zass Multiclass clustering with side information from multiple sources and the application of converting 2d video to 3d
KR20120023268A (ko) * 2010-09-01 2012-03-13 삼성전자주식회사 디스플레이 장치 및 그 영상 생성 방법
US9165367B2 (en) * 2010-09-02 2015-10-20 Samsung Electronics Co., Ltd. Depth estimation system for two-dimensional images and method of operation thereof
KR101638919B1 (ko) 2010-09-08 2016-07-12 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
US9305398B2 (en) 2010-10-08 2016-04-05 City University Of Hong Kong Methods for creating and displaying two and three dimensional images on a digital canvas
TWI532009B (zh) * 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
JP2012100116A (ja) * 2010-11-02 2012-05-24 Sony Corp 表示処理装置、表示処理方法およびプログラム
KR20120059367A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
KR101188105B1 (ko) * 2011-02-11 2012-10-09 팅크웨어(주) 영상 정보를 이용한 증강 현실 제공 장치 및 방법
KR101685418B1 (ko) 2011-04-27 2016-12-12 한화테크윈 주식회사 3차원 영상을 생성하는 감시 시스템
JP5868026B2 (ja) 2011-05-24 2016-02-24 株式会社東芝 超音波診断装置
CN102857772B (zh) * 2011-06-29 2015-11-11 晨星软件研发(深圳)有限公司 影像处理方法以及影像处理装置
US9456152B2 (en) 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
JP6034197B2 (ja) * 2011-08-25 2016-11-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像処理装置、3次元撮像装置、画像処理方法、および画像処理プログラム
US8749548B2 (en) * 2011-09-01 2014-06-10 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
CN102426693B (zh) * 2011-10-28 2013-09-11 彩虹集团公司 一种梯度边缘检测算法实现2d 转3d 的方法
RU2658790C2 (ru) * 2011-11-21 2018-06-22 Никон Корпорейшн Устройство отображения и программа управления отображением
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9286658B2 (en) * 2012-03-22 2016-03-15 Qualcomm Incorporated Image enhancement
KR20130127867A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 스테레오 비전 장치와 이의 제어 방법
ES2533051T3 (es) * 2012-06-27 2015-04-07 Vestel Elektronik Sanayi Ve Ticaret A.S. Procedimiento y dispositivo para determinar una imagen de profundidad
RU2642367C2 (ru) * 2013-04-09 2018-01-24 Битанимейт, Инк. Система и способ преобразования двухмерной видеозаписи в трехмерную видеозапись
JP2015149547A (ja) * 2014-02-05 2015-08-20 ソニー株式会社 画像処理方法、画像処理装置、及び電子機器
US9807372B2 (en) * 2014-02-12 2017-10-31 Htc Corporation Focused image generation single depth information from multiple images from multiple sensors
JP6603983B2 (ja) * 2014-09-22 2019-11-13 カシオ計算機株式会社 画像処理装置、および方法、ならびにプログラム
CN104301706B (zh) * 2014-10-11 2017-03-15 成都斯斐德科技有限公司 一种增强裸眼立体显示效果的合成方法
CN104796684A (zh) * 2015-03-24 2015-07-22 深圳市广之爱文化传播有限公司 裸眼3d视频处理方法
WO2017048927A1 (en) * 2015-09-18 2017-03-23 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
EP3185209B1 (en) * 2015-12-23 2019-02-27 STMicroelectronics (Research & Development) Limited Depth maps generated from a single sensor
CN105701823A (zh) * 2016-01-14 2016-06-22 无锡北邮感知技术产业研究院有限公司 由遮挡关系恢复深度次序的方法
KR101825218B1 (ko) * 2016-04-08 2018-02-02 한국과학기술원 깊이 정보 생성 장치 및 방법
CN105957053B (zh) * 2016-04-19 2019-01-01 深圳创维-Rgb电子有限公司 二维图像景深生成方法和装置
FR3074385B1 (fr) 2017-11-28 2020-07-03 Stmicroelectronics (Crolles 2) Sas Commutateurs et reseau d'interconnexion photonique integre dans une puce optoelectronique
KR101921608B1 (ko) 2018-01-29 2018-11-26 한국과학기술원 깊이 정보 생성 장치 및 방법
US10972714B2 (en) * 2018-02-15 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium for storing program
JP7137313B2 (ja) 2018-02-15 2022-09-14 キヤノン株式会社 出力装置、画像処理方法およびプログラム
US10523922B2 (en) * 2018-04-06 2019-12-31 Zspace, Inc. Identifying replacement 3D images for 2D images via ranking criteria
RU2690757C1 (ru) * 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
US11941782B2 (en) * 2020-06-16 2024-03-26 Adobe Inc. GPU-based lens blur rendering using depth maps

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738403A (zh) * 2004-09-10 2006-02-22 张保安 组合宽屏幕电视系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
JP3500056B2 (ja) * 1997-11-10 2004-02-23 三洋電機株式会社 2次元映像を3次元映像に変換する装置および方法
JP2000209614A (ja) 1999-01-14 2000-07-28 Sony Corp 立体映像システム
CA2418089A1 (en) * 2000-08-04 2002-02-14 Dynamic Digital Depth Research Pty Ltd. Image conversion and encoding technique
KR20050090000A (ko) 2003-01-06 2005-09-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 이미지들의 깊이 오더링을 위한 방법 및 장치
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
WO2005013623A1 (en) 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738403A (zh) * 2004-09-10 2006-02-22 张保安 组合宽屏幕电视系统

Also Published As

Publication number Publication date
WO2007063478A3 (en) 2007-10-11
CN101322155A (zh) 2008-12-10
EP1958149B1 (en) 2012-01-18
WO2007063478A2 (en) 2007-06-07
US8325220B2 (en) 2012-12-04
ATE542194T1 (de) 2012-02-15
JP2009517951A (ja) 2009-04-30
JP5073670B2 (ja) 2012-11-14
EP1958149A2 (en) 2008-08-20
KR20080077391A (ko) 2008-08-22
KR101370356B1 (ko) 2014-03-05
RU2008126927A (ru) 2010-01-10
US20080303894A1 (en) 2008-12-11
RU2411690C2 (ru) 2011-02-10

Similar Documents

Publication Publication Date Title
CN101322155B (zh) 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
US5734743A (en) Image processing method and apparatus for block-based corresponding point extraction
CN101180658A (zh) 深度感
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
JPH09218950A (ja) 多眼画像からの物体検出方式
CN102170578A (zh) 用于处理视频图像的方法和设备
CN107750370A (zh) 用于确定图像的深度图的方法和装置
EP3434012A1 (en) Dibr with depth map preprocessing for reducing visibility of holes by locally blurring hole areas
Pahwa et al. Locating 3D object proposals: A depth-based online approach
WO2013086601A1 (en) System and method for determining a depth map sequence for a two-dimensional video sequence
Xiao et al. Video based 3D reconstruction using spatio-temporal attention analysis
Zhang et al. Visual comfort assessment of stereoscopic images with multiple salient objects
Yang et al. User models of subjective image quality assessment on virtual viewpoint in free-viewpoint video system
Kim et al. A study on the possibility of implementing a real-time stereoscopic 3D rendering TV system
Nam et al. Hole‐Filling Methods Using Depth and Color Information for Generating Multiview Images
Liu et al. Depth map estimation from motion for 2D to 3D conversion
Tsai et al. Monocular vision-based depth map extraction method for 2D to 3D video conversion
Xu et al. Depth estimation algorithm based on data-driven approach and depth cues for stereo conversion in three-dimensional displays
Ju et al. A semi-automatic 2D-to-3D video conversion with adaptive key-frame selection
Adhikarla et al. View synthesis for lightfield displays using region based non-linear image warping
Cheng et al. The overview of 2D to 3D automatic conversion
Guo et al. Motion-based depth estimation for 2D to 3D video conversion
Galabov 2D to 3D conversion algorithms
Xu et al. Comprehensive depth estimation algorithm for efficient stereoscopic content creation in three-dimensional video systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20161127