CN103024406A - 图像处理方法、图像处理装置以及显示装置 - Google Patents

图像处理方法、图像处理装置以及显示装置 Download PDF

Info

Publication number
CN103024406A
CN103024406A CN2012102375262A CN201210237526A CN103024406A CN 103024406 A CN103024406 A CN 103024406A CN 2012102375262 A CN2012102375262 A CN 2012102375262A CN 201210237526 A CN201210237526 A CN 201210237526A CN 103024406 A CN103024406 A CN 103024406A
Authority
CN
China
Prior art keywords
pixel
image
parallax information
parallax
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102375262A
Other languages
English (en)
Inventor
大井拓哉
小森谷阳多
石川贵规
土场健太郎
仁纸勉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103024406A publication Critical patent/CN103024406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Abstract

提供了一种图像处理方法、图像处理装置以及显示装置。该图像处理方法包括:获取原始图像;以及,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述至少两个像素与所述区域中的像素相邻或接近并且被包括在从其提取或获取视差信息的像素中。

Description

图像处理方法、图像处理装置以及显示装置
技术领域
本公开涉及一种图像处理方法、图像处理装置以及显示装置。
背景技术
已知,利用左眼图像(L图像)和右眼图像(R图像)的立体图像(原始图像)以及视差信息(parallax information)来生成所需的生成相位的插值图像。所生成的插值图像作为多视点图像中的一个单视点图像而被显示在可立体显示的显示装置上的预定位置处。
原始图像的视差信息表示立体图像的深度方向有关的信息。例如,可以通过提取L图像和R图像在水平方向上的偏移量作为视差,以获取原始图像的视差信息。当生成在立体图像之间进行差值而得的插值图像时使用该视差。然而,当利用从L图像和R图像提取的视差图(disparity map)来生成插值图像时,在某些情况下,会因为视差提取误差而生成插值误差。其中一个插值误差的实例是,已绘制了表示前景的像素的插值图像的坐标被表示背景的像素覆盖。结果,前景会被插值图像的一部分所侵蚀,并且插值图像的质量劣化。
为了解决这个问题,日本专利申请公开号JP-A-2010-78768公开了一种技术,其中,当利用视差来生成图像时,执行写入是从拥有更大深度值的像素(即,具有更深深度的像素)开始的,因而能够避免前景的像素被背景的像素所覆盖。
发明内容
然而,利用日本专利申请公开号JP-A-2010-78768所公开的技术,对原始图像中的每个像素都要进行视差大小的比较。结果,处理负载加大,而且该技术效率不高。
此外,例如,当通过动态规划(DP)匹配来提取L图像与R图像之间的视差时,如图1所示,如果一个物体被绘制在原始图像L和R中的每一个中,L图像和R图像的视差图L和R中的区域La与Lb是遮挡区,在该区中,L图像和R图像的左右图像之间没有对应关系。因此,一般在遮挡区中,得不到视差值或出现误差的可能性很高。所以,在这种情况下,即使按照日本专利申请公开号JP-A-2010-78768中所公开的那样,对原始图像中的所有像素都进行视差大小比较,在该视差本身中出现提取误差的可能性也会很高。结果,前景的像素被背景的像素覆盖的这个现象不能完全避免。
鉴于此,需要一种可减少视差提取误差并且生成高质量图像的图像处理方法、图像处理装置以及显示装置。
根据本公开的一个实施方式,提供了一种图像处理方法,包括:获取原始图像;以及,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系,来生成该区域中像素的视差信息,所述至少两个像素临近或接近该区域中的像素,并且被包括在从其提取或获取视差信息的像素中。
根据本公开的另一实施方式,提供了一种图像处理装置,包括:获取部,获取原始图像;生成部,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系,来生成该区域中像素的视差信息,所述至少两个像素临近或接近该区域中的像素,并且被包括在从其提取或获取视差信息的像素中。
根据本公开的另一实施方式,提供了一种显示装置,包括:获取部,获取原始图像;生成部,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系,来生成该区域中像素的视差信息,所述至少两个像素临近或接近该区域中的像素,并且被包括在从其提取或获取视差信息的像素中;以及显示控制部,利用所生成的视差信息来控制原始图像的显示。
如上所述,根据本公开实施方式的图像处理,可减少视差提取误差从而生成高质量图像。
附图说明
图1是示出视差图内的遮挡区的图;
图2是说明根据比较例的遮挡区插值法以及根据本公开的实施方式的遮挡区插值法的图;
图3是示出利用图2所示的插值法对遮挡区进行插值所得到的结果的图;
图4是根据本公开的实施方式的图像处理装置的功能配置图;
图5是示出根据本公开的实施方式中执行的图像处理的流程图;
图6是示出根据本公开的实施方式中执行的视差图生成处理的流程图;
图7是示出插值前后的视差值的实例的图;
图8是说明根据第一变形例的遮挡区插值法的图;
图9是说明根据第一变形例的插值法的图;
图10是说明根据第二变形例的遮挡区插值法的图;以及
图11是说明根据第二变形例的插值法的图。
具体实施方式
在下文中,本公开的优选实施方式将会根据附图被详细描述。注意,在此说明书和附图中,实质上有相同功能和结构的结构元素,被标有相同的参考数字,并且省略了关于这些结构元素的重复说明。
注意,会按照以下顺序进行说明。
1.介绍
1.1.视差与遮挡
2.本公开的实施方式
2.1.遮挡区插值法的比较
2.2.比较结果
2.3.图像处理装置的功能
2.4.图像处理装置的操作
2.5.有利效果的实例
3.第一变形例
4.第二变形例
1.介绍
1.1.视差与遮挡
首先,将会简要说明视差(disparity)和遮挡区(occlusion area)。作为原始图像的L图像与R图像的视差信息表示有关立体图像深度方向的信息。例如,可以通过提取L图像和R图像在水平方向上的偏移量作为视差,从而获得视差信息。注意,虽然在下文中,提取视差图作为视差信息,但不一定使用图格式。此外,视差信息不限于表示L图像与R图像在水平方向上的偏移量的视差,并且它也可以是表示L图像与R图像在垂直方向上的偏移量的信息或其他深度信息。
例如,当使用DP匹配来生成L图像与R图像的视差图时,图1所示的视差图L与R的区域La与Lb是遮挡区,即,不能被相机在视觉上识别的区域,因为有物体存在于前景中。在这种遮挡区中,L图像与R图像的左图和右图之间没有对应关系。因此,在遮挡区中,一般来说,得不到视差值(在这种情况下,一初始值被设定作为视差值)或者生成误差的可能性很高。所以,当生成插值图像时,不能首先进行图像生成的计算,并且插值图像会退化。这样,如果是利用遮挡区的实际视差值来生成插值图像,则不仅会生成前景像素被背景像素覆盖的现象,还会生成插值图像退化的现象。为了解决这个问题,下文首先将说明一种遮挡区插值法以进一步减少视差提取误差。
2.本公开的实施方式
2.1.遮挡区插值法的比较
图2是示出关于原始图像在水平方向的给定直线上X坐标的视差值的图。图2的上部示出根据比较例的插值法,而图2的下部示出根据本公开实施方式的插值法。在上部示出的比较例中,遮挡区线性连接至该遮挡区的左右视差值,并且该遮挡区的视差也由此线性插值来估计。
另一方面,在下部示出的本公开实施方式中,搜索遮挡区的左右区域从而获取了左右视差值。基于所获取的左右视差值之间的大小关系,确定表示更深深度的视差值,所确定的值被设定为遮挡区的视差值。在本公开的实施方式中,定义左右视差值中较小的值表示更深的深度。因此,左右视差值中较小的值(例如,图2中左视差值)被估计作为遮挡区的视差值。
注意,视差值之间的大小关系以及前景或背景的确定根据如何定义表示视差值的数值而改变。例如,同本公开的实施方式相比,如果定义视差值,使得表示前景的数值小于表示背景的数值,则上述控制之间的关系以及视差值之间的大小关系就会反转。更具体地,因为左右视差值中较大的数值代表了更深的深度,所以左右视差值中较大的数值(如图2中所示的右视差值)就被估计作为遮挡区的视差值。
注意,虽然在图2中只示出视差图的一条水平线,但是视差提取处理是对包含在原始图像中的多条水平线执行的,并且插值处理也是对每一条存在遮挡区的线执行的。
2.2.比较结果
图3示出利用图2中的两种遮挡区插值法所得到的结果。在比较结果时,在上部示出的比较例中,背景与前景中的物体之间的边界线在遮挡区中变得模糊。与此相比,在下部示出的本公开实施方式中,背景与前景中的物体之间的边界线很清晰,并且前景没有被背景所覆盖,这样就避免了视差提取误差。基于上述内容发现,当利用根据本公开实施方式的遮挡区插值法时,可更准确地确定遮挡区的视差值,从而生成高质量图像。
鉴于此,下文中将会逐步阐述应用本公开实施方式中遮挡区插值法(图像处理方法)的图像处理装置的操作与功能。
2.3.图像处理装置的功能
首先,将会参照图4说明根据本公开实施方式的图像处理装置10的功能配置。根据本公开实施方式的图像处理装置10包括获取部105、生成部110、图像处理部115、存储部120以及显示控制部125。
获取部105获取内容的L图像与R图像的立体图像(原始图像)。可获取的内容信息只包括立体图像的视频信号,或者包括立体图像的视频信号和视差值,如同在计算机图形学(CG)中。
当获取部105获取L图像与R图像后,生成部110会基于L图像与R图像水平方向的偏移量来提取视差值,并生成视差图。
注意,视差图只是视差信息的一个实例,视差信息不一定要用图格式来表达。生成部110将会对所获取的立体图像的遮挡区中的像素进行插值处理,遮挡区是不从中提取或获取视差信息的区域。更具体地,生成部110根据临近遮挡区的左右像素的视差值之间的大小关系,来确定遮挡区中的像素的视差。
还要注意,当获取部105一并获取视差以及立体图像时,如果存在遮挡区,则生成部110根据本实施方式的插值法来提取视差。通过此种做法,可降低视差提取误差从而生成高质量图像。
图像处理部115从L图像与R图像的立体图像并且从各图像的视差图生成期望相位(生成相位)的插值图像。
存储部120存储所生成的视差图与插值图像。
显示控制部125利用所生成的视差值来控制原始图像以及插值图像的显示。通过此种做法,可以在显示器上以立体方式显示多视点图像。注意,显示器不一定以立体方式显示多视点图像的内容,还可以执行2D显示。显示器可以是能够在3D显示和2D显示之间进行切换的显示器,或者是能够同时对各预定区域进行3D显示和2D显示的显示器。
注意,生成部110、图像处理部115与显示控制部125的功能例如可以通过中央处理器(CPU)(未图示)根据存储在存储部120中的程序来运行而实现。程序可以是通过被存储在存储介质上而提供的、并且经由驱动器(未图示)被读入存储部120的程序。此外,程序可以是从网上下载并且被存储在存储部120中的程序。此外,为了能够实现上述各部分的功能,可使用数字信号处理器(DSP)来代替CPU。存储部120可以使用,例如,半导体存储器、磁盘、或者随机存取存储器(RAM)、或是使用光盘的只读存储器(ROM)等来实现。此外,上述各部分的功能可被实现为使得各部分使用软件来运行,或者可被实现为使得各部分使用硬件来运行。
2.4.图像处理装置的操作
接下来,将会参照图5说明根据本公开实施方式的图像处理装置10的操作。图5是示出根据本公开实施方式的图像处理的流程图。
当图像处理开始时,在步骤S205中,获取部105获取L图像与R图像的立体图像。接下来,在步骤S210中,生成部110从L图像与R图像生成视差图,图6示出了详细的生成处理。
在视差图生成处理中,在步骤S305,生成部110提取视差或者输入由获取部105所获取的视差值。例如,生成部110生成了L图像的视差图与R图像的视差图。例如,图7的上部示出对遮挡区进行插值前L图像(或R图像)的视差值。视差代表了L图像与R图像之间的偏移量。所以,例如,如果视差值是“20”,这表示,与由“20”表示的视差对应的L图像的影像信息,和在水平方向上从L图像的坐标偏移了20个像素的R图像的与由“20”表示的视差对应的R图像的影像信息,是同一视频。而且,在本实施方式中,视差值“0”表示背景,并且表示在L图像与R图像之间没有偏移。与大于“0”的视差值对应的图像表示前景。此外,虽然在本实施方式中,每一个视差值的初始值都被设定为“-1”,但是初始值不局限于本例。
在步骤S310中,从左端像素开始进行处理。例如,对于图7中上部示出的水平线(插值前的视差值),像素编号(像素编号)为1的左端像素的视差被提取。在步骤S315中,生成部110判断左端像素是否在遮挡区中。关于左端像素是否在遮挡区中的判断是基于视差值是否是初始值“-1”来确定的。在遮挡区中,没有与L图像和R图像中的一个对应的图像。所以,遮挡区是不能生成视差值的区域,因此,其视差值保持为初始值“-1”。
所以,当确定了视差值不是“-1”时,生成部110判断出确定目标像素位于遮挡区外,没有必要进行插值处理。在步骤S320中,生成部110将确定目标像素向右移一个像素。以此方式,生成部110在确定目标像素每次右移一个像素的同时重复步骤S315和步骤S320中的处理,直到判断出视差值为“-1”。
对于图7上部示出的水平线,生成部110重复步骤S315和步骤S320,直到像素编号达到“7”。当像素编号达到“7”时,生成部判断出视差值为“-1”,并且处理前进至步骤S325,以对遮挡区的视差值执行插值处理。
在步骤S325中,首先,为了比较邻近遮挡区的左右像素的视差值的大小,生成部110将相邻于遮挡区的左侧像素(即6号像素)的视差值存储为Left dspval。下一步,在步骤S330中,生成部110将确定目标像素右移一个像素。在步骤S335中,生成部判断确定目标像素是否在遮挡区中。当判断出视差值为“-1”时,确定目标像素位于遮挡区中,并且然后,处理返回到步骤S330。生成部110在确定目标像素每次右移一个像素的同时重复步骤S330与步骤S335中的处理,直到判断出视差值不为“-1”。
当判断出视差值不为“-1”时,处理转到步骤S340,并且生成部110将相邻于遮挡区的右侧像素(即11号像素)的视差值存储为Right_dspval。接下来,在步骤S345中,生成部110比较相邻于遮挡区的左右像素的视差值Left_dspval和Right_dspval的大小。当确定结果是Left_dspval的值小于Right_dspval的值时,生成部110就判定与遮挡区相邻的左侧像素的像素是背景,而与遮挡区相邻的右侧像素是前景。处理进行到步骤S350,被确定作为背景的值Left_dspval代替作为遮挡区的视差值。另一方面,当确定结果是Right_dspval的值小于Left_dspval的值时,生成部就判定与遮挡区相邻的右侧像素是背景,与遮挡区相邻的左侧像素是前景。处理进行到步骤S355,并且被确定作为背景的值Right_dspval代替作为遮挡区的视差值。
在图7的上部的情况下,6号像素的Left_dspval值是“0”,11号像素的Right_dspval值是“20”。因此,生成部110判定与遮挡区相邻的左侧6号像素是背景,与遮挡区相邻的右侧11号像素是前景,生成部110用被确定作为背景的Left_dspval值“0”来替代遮挡区的视差值。结果,图7下部中由水平线示出的插值后的遮挡区的视差值被改为“0”,这与邻接遮挡区的左侧6号像素有相同的视差值。结果,可避免因遮挡区的视差提取误差而导致的遮挡区中背景覆盖前景,并且可避免前景的侵蚀。
接下来,处理前进至图6示出的步骤S360。在遮挡区中,生成部110用遮挡区的右像素的视差值来替代左像素的视差值Left_dspval,并且进行存储。然后,处理进行至步骤S365,生成部110判断在同一条线上是否有更右边的像素。当存在像素时,生成部在步骤S370中将确定目标像素右移一个像素,并且处理返回到步骤S315。生成部重复步骤S315到步骤S370的处理,直到在步骤S365判断出在同一条线上没有更右边的像素。当在步骤S365判断出在同一条线上没有更右边的像素时,生成部110结束此处理。
回到图5,在上面的遮挡区插值处理被应用至L图像与R图像的视差图生成之后,步骤S215中L图像的插值图像生成处理和步骤S220中R图像的插值图像生成处理被执行。详细地说,图像处理部115从L图像和R图像的立体图像以及从各图像的视差图,生成期望相位(生成相位)的插值图像,然后结束此图像处理。所生成的视差图与插值图像被存储在存储部120中。
2.5.有利效果的实例
如上所述,遮挡区的视差很可能难以精确得到。而另一方面,遮挡区很可能是被前景中的物体所遮挡的背景区域。基于此理论,搜索遮挡区左右的区域,并且确定相邻于遮挡区的视差有效区域。然后,在左右视差有效区域的视差值中,表示更深深度的视差值代替了遮挡区的视差值。
以此方式,基于左右视差值之间的大小关系确定表示更深深度的视差值,并且所确定的视差值被设定作为遮挡区的视差值。这样,例如如图3所示,背景与前景中的物体之间的界限变得清晰,并且前景没有被背景所覆盖,从而降低了视差提取误差。因此,利用根据本公开实施方式的遮挡区插值法,可更准确地确定遮挡区的视差值,并且可生成和显示高质量图像。
注意到,在本实施方式中,遮挡区的左右区域被搜索,并且基于相邻于遮挡区的视差有效区域中的像素(图7中的6号像素与11号像素)的视差值之间的大小关系,表示更深深度的视差值代替了遮挡区的视差值。然而,不限于此实例,在接近遮挡区的像素(例如图7中的5号像素与12号像素)中,表示更深深度的视差值也可以代替遮挡区的视差值。
此外,在本实施方式中,遮挡区的左右区域被搜索。然而,不限于此实例,遮挡区的上下区域可被搜索,并且基于相邻或接近遮挡区的像素的视差值之间的大小关系,表示更深深度的视差值可以代替遮挡区的视差值。
3.第一变形例
在下文中,将参照图8与图9来阐述本公开的上述实施方式的第一变形例。在本公开的上述实施方式中,如图2下部所示,遮挡区中的所有视差值被设定为一样的值,即左右视差值中表示更深深度的视差值。然而,在图8所示的第一变形例中,遮挡区的视差值可以用贝塞尔曲线(Beziercurve)进行插值。
具体来讲,生成部110利用遮挡区以及遮挡区两端的视差值(点P0、P1、P2和P3的坐标的视差值),应用贝塞尔曲线对遮挡区进行插值。在这里,将参照图9说明贝塞尔曲线的一种算法,其中使用由四个控制点P0、P1、P2和P3代表的三阶贝塞尔曲线。
点P0、P1、P2和P3是给出的控制点。此处,为了从贝塞尔曲线的点P0获得在比例为t(0<t<1)的位置上的点的坐标,执行以下计算。
1.首先,算出将三条线段P0-P1、P1-P2和P2-P3分别以t:1-t比例分开的三个点P4、P5和P6。该三条线段通过顺序地连接控制点而获得。
2.然后,算出将两条线段P4-P5和P5-P6再次分别以比例t:1-t比例分开的点P7与P8。该两条线段通过顺序地连接控制点P4、P5和P6而获得。
3.最后,算出将连接P7和P8两点的线段P7-P8再次以比例t:1-t比例分开的点P9。计算出的点P9被设定为贝塞尔曲线上的一个点。
4.在0<t<1的范围内,重复进行从1到3的处理,这样,将获得具有四个控制点P0、P1、P2和P3的三阶贝塞尔曲线。
相比于根据本实施方式的利用水平线进行遮挡区插值的方法,或相比于根据比较例的利用斜线进行遮挡区插值的方法,根据第一变形例,会更平滑地表现深度变化。即便在遮挡区中发生视差提取误差,视差值也不会迅速改变,并且因此能够在插值图像中掩盖误差。而且,相比于根据比较例利用斜线进行遮挡区插值的方法,能够降低背景覆盖前景的几率以及视差提取误差。同时,即便当由于遮挡区两端上的视差值之间的差而使得直线的倾斜具有较大值时,插值也可以顺利执行。
4.第二变形例
在下文中,将参照图10和图11说明本公开的上述实施方式的第二变形例。在第一变形例中,贝赛尔曲线被用来估计遮挡区的视差值。相比之下,在第二变形例中,如图10所示,sigmoid曲线(sigmoid curve,S形曲线)被用来估计遮挡区的视差值。
现在,来说明sigmoid曲线。sigmoid函数是实函数,由图11中的表达式(1)表示,并且由图11(当增益为5时的sigmoid曲线)的上部中示出的图中的曲线表示。注意,表达式(1)中的“a”称为增益。
狭义上讲,当由图11中的表达式(2)表示的增益“a”等于1时,sigmoid函数表示标准sigmoid函数。标准sigmoid函数由图11下部的图中的曲线表示。
在下文中,将会描述广义上的sigmoid函数。而对于标准sigmoid函数,可代入a=1。
术语sigmoid也可被称为sigmoid曲线,意味着与希腊字母σ(表达式(1)和表达式(2)中的“S”)的形状相似的形状。注意,当简单地使用术语sigmoid或者sigmoid曲线时,通常它们均指代与sigmoid函数具有类似特性的一类函数(累积正态分布函数、龚帕兹函数等)。
根据第二变形例,当遮挡区两端的倾斜是平的时,与用水平线或者斜线对遮挡区进行插值的方法相比,能够平滑地对遮挡区进行插值并且能平滑地表现深度变化。所以,即便假设遮挡区两端的物体边界位于遮挡区的中心,也可以掩盖插值图像的生成误差,并且能够获得具有高图像质量的插值图像。
在上文中,参考附图详细说明了本公开的实施方式。但是,本公开的技术范围不限于上述实例。本领域技术人员应当理解,根据设计需求和其他因素,在所附权利要求或其等价物范围内,可以进行各种修改、组合、子组合以及更改。
例如,在上述实施方式中,水平方向的偏移量被提取出来作为视差。然而,本公开并不限于此实例。例如,在本公开中,垂直方向的偏移量也可以被提取出来作为视差。
例如,在上述实施方式中,左眼图像(L图像)和右眼图像(R图像)是原始图像的实例。然而,本实施方式并不限于此实例,如果原始图像是以不同角度捕获的两个图像就足够了。
另外,本技术可以配置如下。
(1)一种图像处理方法,包括:
获取原始图像;以及
对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述至少两个像素与所述区域中的像素相邻或接近并且被包括在从其提取或获取视差信息的像素中。
(2)根据(1)的图像处理方法,其中
对于所获取的原始图像内的未被从中提取或获取视差信息的所述区域中的像素,根据两端上的像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述两端上的像素与所述区域中的像素相邻并且被包括在从其提取或获取与所述区域中的像素同一条线的视差信息的像素中。
(3)根据(1)或(2)的图像处理方法,进一步包括:
基于所述视差信息的大小关系,确定两侧上的与所述区域中的像素相邻或接近的像素的影像信息在深度方向上的前后关系,
其中,当判断出一侧上的像素的影像信息与另一侧上的像素的影像信息相比更处于背景中时,使用所述一侧上的像素的视差信息作为所述区域中的像素的视差信息。
(4)根据(1)到(3)中任何一个的图像处理方法,其中,
对于所获取的原始图像在水平方向上的每条线,生成所述区域中的像素的视差信息。
(5)根据(1)到(4)中任何一个的图像处理方法,其中,
通过生成所述区域中的像素的视差信息来创建根据所获取的原始图像的视差图。
(6)根据(1)、(2)、(4)和(5)中任何一个的图像处理方法,其中,
基于所述视差信息的大小关系,使用贝塞尔曲线和sigmoid曲线中的一个来生成所述区域中的像素的视差信息。
(7)一种图像处理装置,包括:
获取部,获取原始图像;以及
生成部,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述至少两个像素与所述区域中的像素相邻或接近并且被包括在从其提取或获取视差信息的像素中。
(8)一种显示装置,包括:
获取部,获取原始图像;
生成部,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述至少两个像素与所述区域中的像素相邻或接近并且被包括在从其提取或获取视差信息的像素中;以及
显示控制部,使用所生成的视差信息控制所述原始图像的显示。
本申请包含的主题涉及于2011年7月21日向日本专利局提交的日本在先专利申请JP 2011-159802中所公开的主题,其全部内容通过引用结合于此。

Claims (9)

1.一种图像处理方法,包括:
获取原始图像;以及
对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述至少两个像素与所述区域中的像素相邻或接近并且被包括在从其提取或获取视差信息的像素中。
2.根据权利要求1所述的图像处理方法,其中,
对于所获取的原始图像内的未被从中提取或获取视差信息的所述区域中的像素,根据两端上的像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述两端上的像素与所述区域中的像素相邻并且被包括在从其提取或获取与所述区域中的像素同一条线的视差信息的像素中。
3.根据权利要求1所述的图像处理方法,进一步包括:
基于所述视差信息的大小关系,确定两侧上的与所述区域中的像素相邻或接近的像素的影像信息在深度方向上的前后关系,
其中,当判断出一侧上的像素的影像信息与另一侧上的像素的影像信息相比更处于背景中时,使用所述一侧上的像素的视差信息作为所述区域中的像素的视差信息。
4.根据权利要求1所述的图像处理方法,其中,
对于所获取的原始图像在水平方向上的每条线,生成所述区域中的像素的视差信息。
5.根据权利要求1所述的图像处理方法,其中,
通过生成所述区域中的像素的视差信息来创建根据所获取的原始图像的视差图。
6.根据权利要求1所述的图像处理方法,其中,
基于所述视差信息的大小关系,使用贝塞尔曲线和sigmoid曲线中的一个来生成所述区域中的像素的视差信息。
7.根据权利要求1所述的图像处理方法,其中,
所述原始图像是以不同角度捕获的两个图像。
8.一种图像处理装置,包括:
获取部,获取原始图像;以及
生成部,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述至少两个像素与所述区域中的像素相邻或接近并且被包括在从其提取或获取视差信息的像素中。
9.一种显示装置,包括:
获取部,获取原始图像;
生成部,对于所获取的原始图像内的未被从中提取或获取视差信息的区域中的像素,根据至少两个像素的视差信息的大小关系生成所述区域中的像素的视差信息,所述至少两个像素与所述区域中的像素相邻或接近并且被包括在从其提取或获取视差信息的像素中;以及
显示控制部,使用所生成的视差信息控制所述原始图像的显示。
CN2012102375262A 2011-07-21 2012-07-09 图像处理方法、图像处理装置以及显示装置 Pending CN103024406A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-159802 2011-07-21
JP2011159802A JP2013026826A (ja) 2011-07-21 2011-07-21 画像処理方法、画像処理装置及び表示装置

Publications (1)

Publication Number Publication Date
CN103024406A true CN103024406A (zh) 2013-04-03

Family

ID=47555461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102375262A Pending CN103024406A (zh) 2011-07-21 2012-07-09 图像处理方法、图像处理装置以及显示装置

Country Status (3)

Country Link
US (1) US20130021332A1 (zh)
JP (1) JP2013026826A (zh)
CN (1) CN103024406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247860A (zh) * 2013-06-05 2016-01-13 索尼公司 图像处理设备及图像处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789723B1 (en) * 2018-04-18 2020-09-29 Facebook, Inc. Image object extraction and in-painting hidden surfaces for modified viewpoint rendering

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189796A1 (en) * 2003-03-28 2004-09-30 Flatdis Co., Ltd. Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax
US20100073463A1 (en) * 2008-09-25 2010-03-25 Kabushiki Kaisha Toshiba Stereoscopic image capturing apparatus and stereoscopic image capturing system
US20100103249A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
WO2010150554A1 (ja) * 2009-06-26 2010-12-29 パナソニック株式会社 立体視画像表示装置
US20110026809A1 (en) * 2008-04-10 2011-02-03 Postech Academy-Industry Foundation Fast multi-view three-dimensional image synthesis apparatus and method
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
CN102074020A (zh) * 2010-12-31 2011-05-25 浙江大学 对视频进行多体深度恢复和分割的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189796A1 (en) * 2003-03-28 2004-09-30 Flatdis Co., Ltd. Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax
US20110026809A1 (en) * 2008-04-10 2011-02-03 Postech Academy-Industry Foundation Fast multi-view three-dimensional image synthesis apparatus and method
US20100073463A1 (en) * 2008-09-25 2010-03-25 Kabushiki Kaisha Toshiba Stereoscopic image capturing apparatus and stereoscopic image capturing system
US20100103249A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
WO2010150554A1 (ja) * 2009-06-26 2010-12-29 パナソニック株式会社 立体視画像表示装置
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
CN102074020A (zh) * 2010-12-31 2011-05-25 浙江大学 对视频进行多体深度恢复和分割的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247860A (zh) * 2013-06-05 2016-01-13 索尼公司 图像处理设备及图像处理方法

Also Published As

Publication number Publication date
US20130021332A1 (en) 2013-01-24
JP2013026826A (ja) 2013-02-04

Similar Documents

Publication Publication Date Title
US11017586B2 (en) 3D motion effect from a 2D image
US10484663B2 (en) Information processing apparatus and information processing method
KR101429349B1 (ko) 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
CN101960860B (zh) 使用基于区域的滤波的深度图提取系统和方法
KR101820349B1 (ko) 화상 표시 방법 및 장치
US9361725B2 (en) Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium
US9014463B2 (en) System for real-time stereo matching
EP3510561A1 (en) Predicting depth from image data using a statistical model
EP3465611B1 (en) Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
EP2595116A1 (en) Method for generating depth maps for converting moving 2d images to 3d
Yang et al. Self-supervised learning of depth inference for multi-view stereo
CN102077242B (zh) 3d纹理的超分辨率的图像生成设备和方法
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6173218B2 (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
Zha et al. A real-time global stereo-matching on FPGA
CN103440664A (zh) 一种生成高分辨率深度图的方法、系统及计算设备
Thonat et al. Multi-view inpainting for image-based scene editing and rendering
JP2007053621A (ja) 画像生成装置
TW201435802A (zh) 立體影像的視差估算方法
JP2014035597A (ja) 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法
CN103024406A (zh) 图像处理方法、图像处理装置以及显示装置
CN103945206B (zh) 一种基于相似帧比较的立体图像合成系统
RU2479039C1 (ru) Способ улучшения плотной и разреженной карт диспарантности, точности реконструируемой трехмерной модели и устройство для реализации способа
US20160286198A1 (en) Apparatus and method of converting image
KR101544156B1 (ko) 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130403