CN103250185A - 使用能量值的图像处理装置及其图像处理方法和显示方法 - Google Patents

使用能量值的图像处理装置及其图像处理方法和显示方法 Download PDF

Info

Publication number
CN103250185A
CN103250185A CN2011800575018A CN201180057501A CN103250185A CN 103250185 A CN103250185 A CN 103250185A CN 2011800575018 A CN2011800575018 A CN 2011800575018A CN 201180057501 A CN201180057501 A CN 201180057501A CN 103250185 A CN103250185 A CN 103250185A
Authority
CN
China
Prior art keywords
pixel
energy value
image processing
partiald
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800575018A
Other languages
English (en)
Other versions
CN103250185B (zh
Inventor
A.利蒙诺夫
李珍晟
张朱镕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103250185A publication Critical patent/CN103250185A/zh
Application granted granted Critical
Publication of CN103250185B publication Critical patent/CN103250185B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

提供了一种图像处理方法。所述图像处理方法包括:根据深度信息来移动在参考图像中显示的对象;通过使用移动的对象的背景区域的能量值来确定可变大小的伸展区域;以及将伸展区域的像素插入到通过移动对象而生成的孔区域中,以生成目标图像。因此,防止了图像质量劣化现象。

Description

使用能量值的图像处理装置及其图像处理方法和显示方法
技术领域
本发明的大体构思一般涉及提供一种使用能量值的图像处理装置,及其图像处理方法和显示方法,并且更具体地,提供一种通过使用能量值来确定可变大小的伸展区域以产生目标图像的图像处理装置,及其图像处理方法和显示方法。
背景技术
随着电子技术的发展已经开发和提供了多种类型的电子装置。典型的电子装置的示例是诸如电视机(TV)的显示设备。三维(3D)显示技术最近已被开发,因此,3D内容通过在一般家庭的电视机等就可以进行观看。
3D显示设备被分类为不同类型的设备,诸如,眼镜型显示设备,非眼镜型显示设备等。要观看这些3D显示设备中的3D内容需要具有差异的多个图像。详细地说,左眼和右眼图像。
3D显示设备交替排列地显示左眼和右眼图像,以顺序地显示左眼和右眼图像,或者将左眼和右眼图像分割为奇数和偶数行,并且组合奇数和偶数行来以显示一个帧。
如上所述,3D显示设备需要诸如左眼和右眼图像的多个图像来显示3D内容。多个图像从内容制作者处提供。然而,由于为相同的帧提供两个或更多图像,所以频率使用带宽变得短缺。
因此,出现了仅向接收设备提供左眼和右眼图像中的一个,通过使用在接收设备中所提供的图像来生成另一图像,并且将两个图像组合来显示3D图像的方法。然而,当通过使用所提供的图像来生成另一图像时,条纹图案或模糊现象会发生在图像的某些区域中。
因此,需要一种防止图像质量劣化现象并且有效地生成3D图像的方法。
发明内容
示例性实施例提供了一种图像处理装置及其图像处理方法和显示方法,所述图像处理装置通过使用能量值来确定可变大小的伸展区域,并且通过使用所确定的区域来生成目标图像,以防止图像质量劣化。
根据示例性实施例的一个方面,提供了一种图像处理方法,包括:根据深度信息来移动参考图像中显示的对象;通过使用移动对象的背景区域的能量值来确定可变大小的伸展区域;以及将伸展区域的像素插入到通过移动对象而产生的孔区域中,以生成目标图像。
伸展区域的确定可以包括:计算孔区域的大小;通过计算的大小从孔区域的边界来计算背景区域的能量值;以及计算具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域。
伸展区域可以是包括从孔区域的边界到超过阈值像素之前一个像素的范围内的像素的区域。
阈值可以是由下面的公式计算出的平均能量值:
ξ = 1 λ Σ i = 1 λ E i
其中,ξ表示平均能量值,λ表示孔区域的宽度,并且Ei表示第i个像素的能量值。
能量值可以通过使用下面的公式的一个来计算:
E ( x , y ) = | ∂ ∂ x I ( x , y ) | + | ∂ ∂ y I ( x , y ) |
E ( x , y ) = ( ∂ ∂ x I ( x , y ) ) 2 + ( ∂ ∂ y I ( x , y ) ) 2
E ( x , y ) = ( ∂ ∂ x | I ( x , y ) | ) 2 + ( ∂ ∂ x | I ( x , y ) | ) 2
其中,E(x,y)表示在坐标(x,y)处的像素的能量值,并且I(x,y)表示图像的R、G、和B分量的线性组合。
线性组合I(x,y)可以由下面的公式计算:
I(x,y)=ωRR(x,y)+ωGG(x,y)+ωBB(x,y)
其中,R(x,y)、G(x,y)、和B(x,y)表示位于坐标(x,y)处的像素的R,G和B值,并且ωR、ωG、ωB分别表示R、G、B值的权重。
图像处理方法可以进一步包括:平滑存在于目标图像的原始位置处的对象和背景区域之间的边界。
根据示例性实施例的另一个方面,提供了一种显示方法,包括:接收参考图像和深度信息;根据深度信息,移动在参考图像中显示的对象;通过使用所移动的对象的背景区域的能量值来从背景区域确定可变大小的伸展区域;将伸展区域的像素插入到通过移动对象而产生的孔区域中,以生成目标图像;以及组合参考图像和目标图像,以显示三维(3D)图像。
伸展区域的确定可包括:计算孔区域的大小;通过计算的大小从孔区域的边界来计算背景区域的能量值;以及计算具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域。伸展区域可以是包括从孔区域的边界到超过阈值像素之前一个像素的范围内的像素的区域。
根据示例性实施例的另一个方面,提供了一种图像处理装置,包括:接收器,其接收参考图像和深度信息;控制器,其通过使用在参考图像中所显示的对象的背景的能量值来确定可变大小的伸展区域;以及图像处理器,其根据深度信息来移动在参考图像中显示的对象,并且将伸展区域的像素插入到通过移动对象而产生的孔区域中,以产生目标图像。
控制器可以计算孔区域的大小,并且通过计算的大小从孔区域的边界来计算背景区域的能量值,以确定具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域。伸展区域可以是包括从孔区域的边界到超过阈值像素之前一个像素的范围内的像素的区域。
阈值可以是由下面的公式而计算出的平均能量值:
ξ = 1 λ Σ i = 1 λ E i
其中,ξ表示平均能量值,λ表示孔区域的宽度,并且Ei表示第i个像素的能量值。
图像处理器可以平滑存在于目标图像的原始位置处的对象和背景区域之间的边界。
图像处理装置可以进一步包括显示装置,其将参考图像和目标图像组合来显示3D图像。
图像处理装置可以进一步包括接口,其发送参考图像和目标图像到显示设备。
技术效果
根据上文所描述的各种示例性实施例,从参考图像中生成不具有图像质量劣化的目标图像,以显示3D图像。
附图说明
图1是示出根据本发明的大体构思的示例性实施例的图像处理装置的结构的框图;
图2是示出移动参考图像中的对象的过程的视图;
图3是示出确定伸展区域的过程的视图;
图4是示出了通过使用参考图像和深度信息来产生目标图像的过程的视图;
图5和图6是示出了图像处理装置的各种具体结构的框图;
图7是示出了根据本发明的大体构思的示例性实施例的用于处理三维(3D)图像的方法的流程图;
图8是示出用于确定伸展区域的方法的流程图;
图9是示出根据本发明的大体构思的示例性实施例的用于显示3D图像的方法的流程图。
具体实施方式
将参照附图来更详细地描述示例性实施例。
图1是示出根据本发明的大体构思的示例性实施例的图像处理装置的结构的框图。参照图1,图像处理装置100包括:接收器110、控制器120、图像处理器130。
接收器110接收参考图像和深度信息。参考图像是指二维(2D)图像,即,左眼和右眼图像中的一个。
深度信息是指指示在参考图像中存在的对象的三维(3D)距离信息的信息。深度信息可以被称为深度图像或者深度地图。在深度图像中高亮显示的部分是具有高3D效果的部分,并且在深度图像中较暗显示的部分是具有低3D效果的部分。深度信息的每个像素值表示参考图像的对应像素的深度。
控制器120通过使用在参考图像中显示的对象的背景区域的能量值来确定伸展区域。伸展区域是指作为用于确定填充由移动对象所产生的孔区域(hole area)的像素值的标准的区域。能量值是指指示定位在背景区域中的像素和周边像素之间的特性的值。将在后面详细描述确定伸展区域的方法。
图像处理器130执行基于深度图像的渲染,其通过使用深度信息来移动在参考图像中显示的对象。详细地说,图像处理器130通过使用深度信息来计算参考图像的各对象的视差值的差。图像处理器130在左或右方向上按照视差值之间的差来移动对象,以生成新时间点的图像。
视差值之间的差的计算可以通过使用下面的公式1来执行:
p ( x , y ) = M ( 1.0 - d ( x , y ) 256 ) - - - ( 1 )
其中,p(x,y)表示位置(x,y)处的像素的视差值,d(x,y)表示位置(x,y)处的像素的深度值,并且M表示最大视差值。
在本说明书中,从参考图像产生的图像被称为目标图像。目标图像是用于与参考图像混合以形成三维图像的图像。换句话说,目标图像是指通过在不同的时间根据参考图像来表示对象而形成的图像。例如,如果参考图像是左眼图像,则目标图像对应于右眼图像。如果参考图像是右眼图像,则目标图像对应于左眼图像。
由于对象的移动而在目标图像上产生孔区域。图像处理器130利用由控制器120确定的伸展区域的像素来填充孔区域,以生成目标图像。
图像处理器130可以在生成目标图像之后平滑存在在目标的原始位置中的对象和背景区域之间的边界。
图2是示出了根据DIBR方法当生成目标图像时所产生的孔区域的视图。参照图2,当提供显示至少一个对象11的参考图像10和深度信息20时,通过使用深度信息20,参考图像10的对象11的位置被移动,以生成目标图像30。在其中对象11的原始位置与新位置没有相互重叠的在目标图像30的一部分中产生孔区域12。
控制器120通过使用孔区域12的大小,从背景区域中确定被用于填充孔区域12的伸展区域。图3是示出确定伸展区域的方法的视图。
参照图3,在目标图像上生成的孔区域具有在水平方向上的宽度。控制器120检查对应于孔区域的边界的深度信息,以检查对象的背景区域14是存在于孔区域的左侧还是在孔区域的右侧。控制器120计算在背景区域中的孔区域的边界附近的像素的能量值。控制器120计算孔区域的宽度λ,以及位于背景区域中的宽度λ的距离内的像素。然而,只有在相同的距离之内的像素不需要被选择,并且在大于宽度λ的距离的范围内的像素可以被选择。
控制器120计算选择的像素的能量值。能量值是指通过在像素和周边像素之间的比较而获得的特征值。能量值可以被定义为彩色图像的梯度。详细地,能量值可以被表示为下面的公式:
E ( x , y ) = ▿ I ( x , y ) - - - ( 2 )
其中,E(x,y)表示位于(x,y)的像素的能量值,I(x,y)表示参考图像的R、G、B分量的线性组合。
更详细地,控制器120通过使用以下的公式3至5中的一个来计算能量值。
E ( x , y ) = | ∂ ∂ x I ( x , y ) | + | ∂ ∂ y I ( x , y ) | . . . ( 3 )
E ( x , y ) = ( ∂ ∂ x I ( x , y ) ) 2 + ( ∂ ∂ y I ( x , y ) ) 2 . . . ( 4 )
E ( x , y ) = ( ∂ ∂ x | I ( x , y ) | ) 2 + ( ∂ ∂ y | I ( x , y ) | ) 2 . . . ( 5 )
控制器120通过使用以下的公式来计算I(x,y):
I(x,y)=ωRR(x,y)+ωGG(x,y)+ωBB(x,y)        ...(6)
其中,R(x,y)、G(x,y)、和B(x,y)分别表示位于(x,y)的像素的R、G和B值,并且ωR、ωG和ωB表示的R、G、B值的权重。
控制器120通过使用这些公式来计算背景区域的像素的能量值。在此之后,控制器120按顺序检查像素的能量值,以检测具有等于或低于阈值的能量值的像素。控制器120组合检测的像素,以确定伸展区域15。
控制器120从孔区域12的边界朝向背景区域而顺序地将像素的能量值与阈值进行比较。因此,如果检测到超过阈值的像素,则控制器120确定范围从前一像素到孔区域12的边界的区域为伸展区域15。
控制器120考虑到三个颜色分量之间的差来执行算术运算。换句话说,控制器120执行如下的图像分量的偏微分。
∂ ∂ x I ( x , y ) = Q k = R , G , B | ∂ ∂ x I ( x , y ) |
∂ ∂ x I ( x , y ) = Q k = R , G , B ( ∂ ∂ x I ( x , y ) ) 2 - - - ( 7 )
∂ ∂ x | I ( x , y ) | = Q k = R , G , B I ( x , y ) · ∂ ∂ x I ( x , y ) | I ( x , y ) |
通过Sobel或Scharr算符来近似图像分量的偏导。
阈值可以被确定为平均能量值。
换句话说,控制器120将在背景区域中的离孔区域的边界为宽度λ的距离内的像素的能量值的平均值设置为阈值。换句话说,阈值通过下面的公式来计算:
ξ = 1 λ Σ i = 1 λ E i . . . ( 8 )
其中,ξ表示阈值,Ei表示第i个像素的能量值。
结果,伸展区域的尺寸如1≤λ’≤λ地,可以变化地确定。
如果伸展区域通过控制器120确定,则图像处理器130填充伸展区域的像素,以完成目标图像。
图4是示出了通过使用参考图像和深度信息来产生目标图像的过程的视图。
参照图4,如果输入参考图像10和深度信息20,则图像处理装置100执行投影处理,以产生包括孔区域的目标图像30和对象深度地图40。
图像处理装置100还产生参考图像10的像素的能量地图50。
图像处理装置100通过使用能量地图50来确定伸展区域,并且利用伸展区域的像素来填充孔区域,以生成最终的目标图像60。
如上文所述的图像处理方法减少了图像质量劣化的现象。为了确保更高的图像质量,深度信息的精度是很高的。因此,深度信息可以被预处理,并且如以下公式的,通过使用局部最大值滤波器而被使用:
D _ ( x , y ) = max - s 2 ≤ i ≤ s 2 , - s 2 ≤ j ≤ s 2 { D ( x + i , y + j ) } - - - ( 9 )
其中,s表示窗口的大小,D(x,y)表示x,y坐标的像素的深度,
Figure BDA00003271625700076
表示预处理深度。由于最大深度被过滤,并且被用在如所述的特定大小的窗口内,所以深度信息的锐度变得更高。窗口大小的值s可以是通过反复试验而获得的最优值。例如,可以使用3或5。
图1的图像处理装置可以被实现为各种类型的装置。换句话说,图像处理装置可以被实现为显示设备,例如,TV、便携式电话机、PDA、PC、笔记本电脑、平板电脑、电子相框、电子书等等。图像处理装置可以被实现为显示设备,例如,提供3D图像的机顶盒、其他图像变换装置、数据播放器等等。
图5是示出了被实现为显示设备的图像处理装置100的结构的框图。参照图5,图像处理装置100包括接收器110、控制器120、图像处理器130、和显示装置140。
显示装置140将参考图像和目标图像组合以显示3D图像。显示装置140可以根据示例性实施例,根据各种方法来显示3D图像。
例如,在快门眼镜类型的情况下,显示装置140交替安排参考图像和目标图像以顺序地显示参考图像和目标图像。在这种情况下,参考图像和目标图像的每一个可以被复制,以顺序地显示为至少两个或更多的帧。在显示其他图像之前,黑帧可能被填充和显示。图像处理装置100可以向眼镜设备发送同步信号,其在每当显示每一帧时用于同步眼镜。
作为另一个示例,在偏振眼镜类型的情况下,显示装置140可以将参考图像和目标图像中的每一个分割为水平或垂直方向上的多个行,并且将参考图像和目标图像的每一个的奇数行和偶数组合,以生成和显示至少一个帧。
图6是示出了连接到显示设备的图像处理装置的结构的框图。参照图6,图像处理装置100包括:接收器110、控制器120、图像处理器130、和接口150。
接口150将参考图像和目标图像发送给显示设备200。
图6中图像处理装置100是与显示设备100分离的设备,但是其可以被实现为在显示设备200中安装的芯片或模块。
除了显示装置140和接口150之外,图5和图6中的其他组件与图1的那些相同,并且因此将省略对其的重复描述。
图7是示出根据本发明的大体构思的示例性实施例的图像处理方法的流程图。参照图7,在操作S710中,通过使用深度信息,移动在参考图像中包括的对象,以生成目标图像。孔区域被包含在此操作中形成的目标图像中。
移动的距离根据深度信息而不同。换言之,具有高的深度值的对象的差别较大,并且因此对象的移动距离变长。具有低深度值的对象的差别较小,并且,并且因此对象的移动距离较小。
独立于对象的移动来计算参考图像的能量值。在操作S720中,通过使用计算的能量值来从孔区域周围的背景区域中确定伸展区域。
如果确定了伸展区域,在操作S730中,通过使用所确定的伸展区域的像素,执行用于填充孔区域的孔填充工作,以完成目标图像。
图8是示出了根据本发明的大体构思的示例性实施例的用于确定伸展区域的方法的流程图。参照图8,在操作S810中,计算通过移动对象所产生的孔大小的大小。由于用户的左眼和右眼被布置为基于地球表面,在水平方向上并排,所以用于形成3D图像的左和右眼图像具有在水平方向上的差别。因此,计算和使用在水平区域中的孔区域的宽度。
如果计算了孔区域的宽度,在操作S820中,计算孔区域周围的背景区域的能量值。在操作S830中,计算所计算的能量值的平均值,以设置阈值。在这种情况下,不使用背景区域的整个部分,并且可以仅仅使用与孔区域的宽度对应的大小的背景区域的部分中的像素的能量值。
在这种状态下,在操作S840中,背景区域的像素的能量值与来自孔区域的边界的阈值进行比较。如果根据比较结果,能量值等于或低于阈值,则在操作S850中检查下一个像素的能量值,并且与阈值进行比较。依次相对于具有与孔区域的宽度相同的大小的背景区域的所有像素进行该操作。
如果根据比较结果,能量值超过阈值,则在操作S860中,伸展区域被确定为从前一像素到孔区域的边界。
因此,伸展区域的像素值被插入到孔区域中,以利用像素值来填充孔区域。
由于使用能量值,如果在背景区域中形成图案,或者相邻对象的边界被形成在背景区域中,则可以填充孔区域。因此,可以防止图像质量劣化的现象。
在填充目标图像的孔区域之后,通过使用平滑滤波器,可以相对于孔区域的边界来执行平滑处理。
图9是示出根据本发明的大体构思的示例性实施例的用于显示3D图像的方法的流程图。参照图9,在操作S910中,显示设备接收参考图像和深度信息。参考图像和深度信息可以从内容提供商接收。详细地说,参考图像和深度信息可以在来自广播站、web服务器等的传输流中接收。
显示设备相对于所接收的传输流来执行处理,例如,解调、均衡、解码、解复用等,以检测参考图像和深度信息。此详细的处理操作是公知的,因此,将省略对于其的图示和描述。
在操作S920中,显示设备通过使用深度信息来移动参考图像的对象。在操作S930中,显示设备计算能量值,并且将能量值与阈值进行比较来确定伸展区域。在操作S940中,显示设备将伸展区域的像素插入到通过移动对象而产生的孔区域中,以形成目标图像。
在操作S950中,显示设备将参考图像和目标图像组合来显示3D图像。
通过具有参照图5而描述的相同结构的图像处理装置或者显示设备可以执行图9的方法。图9的方法的操作的详细描述与上述示例性实施例中描述的相同,并且将其省略。
用于执行根据本发明的大体构思的上述示例性实施例的方法的程序可以被存储,和使用在不同类型的记录介质上。
详细地,用于执行上述方法的代码可以被存储在各种类型的计算机可读记录介质上,例如,随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可移动盘、存储卡、USB存储器、CD-ROM等。
前述示例性实施例和优点仅仅是示例性的,而不应被解释为限制性的。本发明的教导可以容易地应用于其它类型的设备上。此外,示例性实施例的描述旨在是说明性的,而不是用于限制权利要求的范围,并且许多替换、修改、和变化对于本领域技术人员而言是显而易见的。

Claims (15)

1.一种图像处理方法,包括:
根据深度信息来移动在参考图像中显示的对象;
通过使用移动对象的背景区域的能量值来确定可变大小的伸展区域;以及
将所述伸展区域的像素插入到通过移动对象而产生的孔区域中,来生成目标图像。
2.根据权利要求1所述的图像处理方法,其中,所述伸展区域的确定包括:
计算孔区域的大小;
通过计算的大小从孔区域的边界来计算背景区域的能量值;以及
计算具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域。
3.根据权利要求2所述的图像处理方法,其中,所述伸展区域是包括范围从孔区域的边界到超过阈值的像素之前一个像素内的像素的区域。
4.根据权利要求3所述的图像处理方法,其中,所述阈值是由下面的公式计算出的平均能量值:
ξ = 1 λ Σ i = 1 λ E i
其中,ξ表示平均能量值,λ表示孔区域的宽度,并且Ei表示第i个像素的能量值。
5.根据权利要求4所述的图像处理方法,其中,所述能量值通过使用下面的公式的一个来计算:
E ( x , y ) = | ∂ ∂ x I ( x , y ) | + | ∂ ∂ y I ( x , y ) |
E ( x , y ) = ( ∂ ∂ x I ( x , y ) ) 2 + ( ∂ ∂ y I ( x , y ) ) 2
E ( x , y ) = ( ∂ ∂ x | I ( x , y ) | ) 2 + ( ∂ ∂ y | I ( x , y ) | ) 2
其中,E(x,y)表示在坐标(x,y)处的像素的能量值,并且I(x,y)表示图像的R、G、和B分量的线性组合。
6.根据权利要求5所述的图像处理方法,其中,所述线性组合I(x,y)由下面的公式计算:
I(x,y)=ωRR(x,y)+ωGG(x,y)+ωBB(x,y)
其中,R(x,y)、G(x,y)、和B(x,y)表示位于坐标(x,y)处的像素的R,G和B值,并且ωR、ωG、ωB分别表示R、G和B值的权重。
7.根据权利要求1到6中的任意一个所述的图像处理方法,进一步包括:
平滑存在于目标图像的原始位置处的对象和背景区域之间的边界。
8.一种显示方法,包括:
接收参考图像和深度信息;
根据所述深度信息,移动在参考图像中显示的对象;
通过使用所移动的对象的背景区域的能量值来从背景区域确定可变大小的伸展区域;
通过将伸展区域的像素插入到通过移动对象而产生的孔区域中,来生成目标图像;以及
组合参考图像和目标图像,以显示三维(3D)图像。
9.根据权利要求8所述的方法,所述伸展区域的确定包括:
计算孔区域的大小;
通过计算的大小从孔区域的边界来计算背景区域的能量值;以及
计算具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域,
其中,所述伸展区域是包括从孔区域的边界到超过阈值的像素之前一个像素的范围内的像素的区域。
10.一种图像处理装置,包括:
接收器,其接收参考图像和深度信息;
控制器,其通过使用在参考图像中所显示的对象的背景的能量值来确定可变大小的伸展区域;以及
图像处理器,其根据深度信息来移动在参考图像中显示的对象,并且将伸展区域的像素插入到通过移动对象而产生的孔区域中,以产生目标图像。
11.根据权利要求10所述的图像处理装置,其中,所述控制器计算孔区域的大小,并且通过计算的大小从孔区域的边界来计算背景区域的能量值,以确定具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域,
其中,所述伸展区域是包括从孔区域的边界到超过阈值的像素之前一个像素的范围内的像素的区域。
12.根据权利要求11所述的图像处理装置,其中,所述阈值是由下面的公式而计算出的平均能量值:
ξ = 1 λ Σ i = 1 λ E i
其中,ξ表示平均能量值,λ表示孔区域的宽度,并且Ei表示第i个像素的能量值。
13.根据权利要求10至12中的任意一个所述的图像处理装置,其中,所述图像处理器平滑存在于目标图像的原始位置处的对象和背景区域之间的边界。
14.根据权利要求11至13中的任意一个所述的图像处理装置,进一步包括:
显示装置,其将参考图像和目标图像组合来显示3D图像。
15.根据权利要求11至13中的任意一个所述的图像处理装置,进一步包括:
接口,其发送参考图像和目标图像到显示设备。
CN201180057501.8A 2010-11-30 2011-11-30 使用能量值的图像处理装置及其图像处理方法和显示方法 Expired - Fee Related CN103250185B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41798710P 2010-11-30 2010-11-30
US61/417,987 2010-11-30
KR1020110120489A KR20120059367A (ko) 2010-11-30 2011-11-17 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
KR10-2011-0120489 2011-11-17
PCT/KR2011/009221 WO2012074294A2 (ko) 2010-11-30 2011-11-30 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법

Publications (2)

Publication Number Publication Date
CN103250185A true CN103250185A (zh) 2013-08-14
CN103250185B CN103250185B (zh) 2017-03-15

Family

ID=46172400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180057501.8A Expired - Fee Related CN103250185B (zh) 2010-11-30 2011-11-30 使用能量值的图像处理装置及其图像处理方法和显示方法

Country Status (6)

Country Link
US (1) US20130286011A1 (zh)
EP (1) EP2648162A4 (zh)
JP (1) JP6025740B2 (zh)
KR (1) KR20120059367A (zh)
CN (1) CN103250185B (zh)
WO (1) WO2012074294A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140039649A (ko) * 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
CN104378619B (zh) * 2014-11-12 2016-09-28 合肥工业大学 一种基于前后景梯度过渡的快速高效的空洞填补算法
WO2019194572A1 (en) 2018-04-03 2019-10-10 Samsung Electronics Co., Ltd. Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279412A1 (en) * 2006-06-01 2007-12-06 Colin Davidson Infilling for 2D to 3D image conversion
CN101479765A (zh) * 2006-06-23 2009-07-08 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
CN101563933A (zh) * 2006-12-22 2009-10-21 高通股份有限公司 复杂性自适应二维到三维视频序列转换
EP2150065A2 (en) * 2008-07-31 2010-02-03 STMicroelectronics S.r.l. Method and system for video rendering, computer program product therefor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69621778T2 (de) * 1995-12-19 2003-03-13 Koninkl Philips Electronics Nv Tiefenabhängige parallaktische pixelverschiebung
CA2404861A1 (en) * 2000-02-02 2001-08-09 Quvis, Inc. System and method for optimizing image resolution using pixelated imaging devices
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
EP1588327B1 (en) * 2003-01-17 2018-09-26 Koninklijke Philips N.V. Full depth map acquisition
TWI241127B (en) * 2004-08-27 2005-10-01 Univ Nat Cheng Kung Image-capturing device and method for removing strangers
CN101322155B (zh) * 2005-12-02 2013-03-27 皇家飞利浦电子股份有限公司 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
EP1991963B1 (en) * 2006-02-27 2019-07-03 Koninklijke Philips N.V. Rendering an output image
US8073292B2 (en) * 2006-02-28 2011-12-06 Koninklijke Philips Electronics N.V. Directional hole filling in images
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
FR2917559B1 (fr) * 2007-06-12 2009-12-25 Centre Nat Rech Scient Capteur d'images numeriques,procede d'acquisition et de reconstruction d'images,et systeme de mise en oeuvre
EP2474167A4 (en) * 2009-09-01 2014-12-10 Prime Focus Vfx Services Ii Inc SYSTEM AND PROCESS FOR TRANSFORMING TWO-DIMENSIONAL IMAGES TO THREE-DIMENSIONAL IMAGES
JP5983935B2 (ja) * 2011-11-30 2016-09-06 パナソニックIpマネジメント株式会社 新視点画像生成装置および新視点画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279412A1 (en) * 2006-06-01 2007-12-06 Colin Davidson Infilling for 2D to 3D image conversion
CN101479765A (zh) * 2006-06-23 2009-07-08 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
CN101563933A (zh) * 2006-12-22 2009-10-21 高通股份有限公司 复杂性自适应二维到三维视频序列转换
EP2150065A2 (en) * 2008-07-31 2010-02-03 STMicroelectronics S.r.l. Method and system for video rendering, computer program product therefor

Also Published As

Publication number Publication date
WO2012074294A3 (ko) 2012-07-26
JP6025740B2 (ja) 2016-11-16
US20130286011A1 (en) 2013-10-31
JP2013546281A (ja) 2013-12-26
KR20120059367A (ko) 2012-06-08
EP2648162A2 (en) 2013-10-09
WO2012074294A2 (ko) 2012-06-07
CN103250185B (zh) 2017-03-15
EP2648162A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5575891B2 (ja) 自動三次元ビデオフォーマット変換方法及びその装置
US8488869B2 (en) Image processing method and apparatus
Zinger et al. Free-viewpoint depth image based rendering
CN100565589C (zh) 用于深度感知的装置和方法
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
US20120113219A1 (en) Image conversion apparatus and display apparatus and methods using the same
US20120162395A1 (en) Method for filling hole-region and three-dimensional video system using the same
CN102844696B (zh) 电子装置和再现三维图像的方法
CN103081476A (zh) 利用深度图信息转换三维图像的方法和设备
CN101729791A (zh) 图像处理设备和方法
CN102293002A (zh) 三维图像处理装置及其控制方法
US20120050283A1 (en) Rendering apparatus and method for generating multi-views
CN101754042A (zh) 图像重构方法和图像重构系统
CN103444193A (zh) 图像处理设备和图像处理方法
EP2490173B1 (en) Method for processing a stereoscopic image comprising a black band and corresponding device
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
CN103250185A (zh) 使用能量值的图像处理装置及其图像处理方法和显示方法
US8884951B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US20120154388A1 (en) Stereo image processing method, stereo image processing device and display device
Rodrigo et al. Real-time 3-D HDTV depth cue conflict optimization
CN108769662B (zh) 一种多视点裸眼3d图像空洞填补方法、装置及电子设备
Lu et al. Performance optimizations for patchmatch-based pixel-level multiview inpainting
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
EP2711894A2 (en) Image processing device, image processing method and image processing program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170315

Termination date: 20211130