CN1956554B - 三维图像处理装置和方法 - Google Patents
三维图像处理装置和方法 Download PDFInfo
- Publication number
- CN1956554B CN1956554B CN2006101635799A CN200610163579A CN1956554B CN 1956554 B CN1956554 B CN 1956554B CN 2006101635799 A CN2006101635799 A CN 2006101635799A CN 200610163579 A CN200610163579 A CN 200610163579A CN 1956554 B CN1956554 B CN 1956554B
- Authority
- CN
- China
- Prior art keywords
- eye image
- image
- parallax
- movement value
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
提供一种对被划分成左眼图像和右眼图像的三维(3D)图像使用的图像处理装置和方法。该装置包括:视差估算单元,估算左眼图像和右眼图像之间的视差;水平移动确定单元,利用估算的视差确定左眼图像和右眼图像的水平移动值;和水平移动单元,基于确定的水平移动值,水平移动左眼图像和右眼图像。在该方法和装置中,接收和显示3D图像的接收端通过调整3D图像的视差能够增强3D效果和减少眼睛疲劳。
Description
本申请要求2005年9月3日向韩国知识产权局提交的韩国专利申请No.10-2005-0082000的优先权,其整个公开在此并入作为参考。
技术领域
符合本发明的装置和方法涉及处理三维(3D)图像,更具体地说,涉及用于调整输入3D图像的视差和稳定地显示3D图像的图像处理装置和方法。
背景技术
常规的三维(3D)显示器利用2D平板显示器和如薄膜型微偏振片、视差屏障和柱面镜之类的工具,通过将具有不同视差的图像投影到用户的左眼和右眼来显示3D图像。这样的3D显示器根据在其上显示的视图的数量可以分为立体3D显示器和多视图3D显示器。立体3D显示器显示具有两个不同视图的图像,多视图3D显示器显示具有多于两个视图的图像。
为了产生3D图像,用包括两个入射镜头的立体摄像机或包括多个入射镜头的多视图摄像机拍摄实像。或者,立体或多视图图像内容可以用计算机绘图产生。
当利用3D摄像机产生3D图像或当利用计算机绘图产生图像内容时,要考虑人视觉特性。然而,当显示环境不同于产生环境时,例如,当利用多视图摄像机产生的3D图像在立体3D显示器上显示时,或当不同尺寸的显示器用于产生和显示3D图像时,常规的3D显示器不能按预期显示3D图像。
发明内容
本发明的实施例提供这样的图像处理方法和装置,其能够用于控制用多视图摄像机获得的图像的会聚,以使图像用于三维(3D)立体显示器。
本发明的实施例还提供这样的图像处理方法和装置,其通过调整接收和显示3D图像的接收端的图像视差,能够用来增强3D效果和减轻眼睛的疲劳。
本发明的实施例还提供这样的图像处理方法和装置,当接收和显示图像的接收端调整图像视差并且输出视差调整的图像时,其通过防止抖动,能够用于输出稳定的图像。
本发明的实施例还提供这样的图像处理方法和装置,其能够用于缩放和补偿在视差调整处理中切除的图像。
根据本发明的实施例的一方面,提供一种图像处理装置,包括:图像划分单元,接收3D图像并且将3D图像划分成左眼图像和右眼图像;视差估算单元,估算左眼图像和右眼图像之间的视差;水平移动确定单元,利用估算的视差确定左眼图像和右眼图像的水平移动值;和水平移动单元,基于确定的水平移动值水平移动左眼图像和右眼图像。
水平移动确定单元可以求估算视差的平均值,并且将平均视差确定为水平移动值,水平移动单元基于水平移动值乘以预定比例常数的一半,水平移动左眼图像和右眼图像。
该装置还可以包括3D立体显示单元,其显示从水平移动单元输出的调整了视差的左眼图像和右眼图像。
根据本发明的实施例的另一方面,提供一种图像处理装置,包括:图像划分单元,接收3D图像并将3D图像划分成左眼图像和右眼图像;视差估算单元,估算左眼图像和右眼图像之间的视差;水平移动确定单元,利用估算的视差确定左眼图像和右眼图像的水平移动值;过滤单元,过滤确定的水平移动值;和水平移动单元,基于过滤的水平移动值水平移动左眼图像和右眼图像。
视差估算单元可以估算左眼图像和右眼图像的中间部分之间的视差。过滤单元可以低通过滤水平移动值。
根据本发明的实施例的另一方面,提供一种图像处理装置,包括:图像划分单元,接收3D图像并且将3D图像划分成左眼图像和右眼图像;视差估算单元,估算左眼图像和右眼图像之间的视差;水平移动确定单元,利用估算的视差确定左眼图像和右眼图像的水平移动值;水平移动单元,基于确定的水平移动值水平移动左眼图像和右眼图像;和缩放单元,按预定缩放系数垂直和水平地缩放调整了视差的左眼图像和右眼图像,以补偿由于水平移动而切除的调整了视差的左眼图像和右眼图像部分。
缩放系数可以是M/(M-D),其中M是图像的水平尺寸,D是对应于移动值一半的值,缩放单元去除缩放后的图像由于缩放而变得高于原始图像的高度,使得缩放后的图像与原始图像的尺寸相同。
该装置还可以包括在水平移动确定单元和水平移动单元之间的过滤单元,其中过滤单元低通过滤水平移动值。
根据本发明实施例的另一方面,提供一种图像处理方法包括:接收3D图像并且将3D图像划分成左眼图像和右眼图像;估算左眼图像和右眼图像之间的视差;利用估算的视差确定左眼图像和右眼图像的水平移动值;基于确定的水平移动值水平移动左眼图像和右眼图像。
根据本发明实施例的另一方面,提供一种图像处理方法包括:接收3D图像并且将3D图像划分成左眼图像和右眼图像;估算左眼图像和右眼图像之间的视差;利用估算的视差确定左眼图像和右眼图像的水平移动值;过滤确定的水平移动值;和基于过滤的水平移动值水平移动左眼图像和右眼图像。
根据本发明实施例的另一方面,提供一种图像处理方法包括:接收3D图像并且将3D图像划分成左眼图像和右眼图像;估算左眼图像和右眼图像之间的视差;利用估算的视差确定左眼图像和右眼图像的水平移动值;基于确定的水平移动值水平移动左眼图像和右眼图像;按预定缩放系数垂直和水平地缩放调整了视差的左眼图像和右眼图像,以补偿由于水平移动而切除的调整了视差的左眼图像和右眼图像部分。
附图说明
通过参照附图详细描述本发明的示例性实施例,上述和其它特征和优点将显而易见,其中:
图1A-1C表示立体摄像机的类型;
图2表示在利用前束式(toed-in)立体摄像机进行拍摄操作时产生的问题;
图3表示根据本发明实施例的多视图摄像机的结构;
图4表示根据本发明实施例的多视图视频编码的应用;
图5A-5C表示根据本发明实施例的、用多视图摄像机拍摄的左眼图像和右眼图像;
图6A-6C表示根据本发明的实施例,通过将图5的左眼图像和右眼图像向左和向右移动而产生稳定的立体图像的过程。
图7表示根据本发明实施例的基于块的视差估算(DE);
图8表示根据本发明实施例的、根据图7的DE确定的水平移动值,右眼图像和左眼图像的水平移动;
图9A-9D表示在通过如图8所示水平移动右眼和左眼图像调整图像的视差之后,在3D显示器上的图像显示位置的变化;
图10是根据本发明实施例的图像处理装置的框图;
图11表示根据本发明实施例进行右眼和左眼图像中间部分的视差估算的处理;
图12表示根据本发明另一实施例的图像处理装置;
图13A-13D表示根据本发明的实施例,通过缩放图像来补偿在视差调整处理中切除的图像的处理;
图14表示根据本发明另一实施例的图像处理装置;
图15是表示根据本发明另一实施例的图像处理方法的流程图;
图16是表示根据本发明另一实施例的图像处理方法的流程图;
图17是表示根据本发明又一实施例的图像处理方法的流程图。
具体实施方式
现在将参照附图更详细地描述本发明,在附图中示出本发明的示例性实施例。然而,本发明可以以不同的形式体现,不应该认为是限于在此阐述的实施例;更确切地说,提供这些实施例,使得该公开完全和彻底,并且将本发明的构思完全传达给本领域的普通技术人员。
现在参照图1和3描述产生实像的摄像机结构。
图1表示立体摄像机的各种类型。图1A表示平行立体摄像机。平行立体摄像机的对准简单。然而,因为平行立体摄像机没有会聚功能,它不能考虑人的视觉特性进行图像的拍摄。因此,拍摄的图像不能用作三维(3D)图像。图1B表述前束式立体摄像机。前束式立体摄像机具有会聚功能,接近地反映人的视觉特性。然而,前束式前束式立体摄像机存在图2所示的问题。
图2表示在利用图1B所示的前束式立体摄像机进行拍摄操作时产生的问题。
当正方形物体21位于图2所示的左边摄像机和右边摄像机的摄像机轴线之间时,通过左边摄像机和右边摄像机分别拍摄的图像23和25变形,如图2所示。图像23和25的这种变形使眼睛疲劳。
图1C表示以防止在图1A和1B分别所示的视差立体摄像机和前束式立体摄像机的缺陷的方式对准的混合立体摄像机。在混合立体摄像机中,透镜单元和电荷耦合器件(CCD)单元可以分别移动。因此,通过调整CCD单元和透镜的位置可以控制会聚。
图3表示根据本发明实施例的多视图摄像机的结构。
拍摄多视图图像的常规方法使用如图3所示构成的多视图摄像机。在进行的移动图像专家组(MPEG)3D音频视频(3DAV)的标准化处理中,用图3的多视图摄像机拍摄的图像作为标准图像。立体摄像机可以有图1C所示的结构。然而,在多视图视频拍摄的情况下,它实际上不可能控制每个图像的会聚。
图4表示根据本发明实施例的多视图视频编码的应用。
参照图4,从由N个摄像机组成的多视图摄像机输出的图像在多视图编码处理中被压缩,并存储或传输,然后在多视图解码处理中重建。重建的图像可以根据显示装置的应用来显示。即,在2D显示器上显示视图的图像序列。对于3D立体显示器,选择两个图像并且用于在3D立体显示器上显示3D图像。对于3D多图像显示器,至少选择两个视图并且用于在3D多视图显示器上显示3D多视图图像。当两个图像序列用于在3D立体显示器上显示3D图像时,3D立体显示器存在与图1A所示的平行立体摄像机相同的问题。因此,用多视图摄像机拍摄的图像必须正确地处理,以在3D立体显示器上显示。
图5表示用根据本发明实施例的平行多视图摄像机拍摄的左眼图像和右眼图像。当假定从平行多视图摄像机输出的图像序列选择两个视图并且用于3D立体显示器时,出现图5所示的现象。
图5A表示左眼图像,图5B表示右眼图像。图5C表示在一个平面上在图5B的右眼图像上重叠图5A的左眼图像,以显示它们之间的视差。假定当在左眼图像的相同目标的右侧存在右眼图像的目标时,存在正视差。在这种情况下,在图5C所示的重叠图像内所有目标的图像具有正视差。换言之,可以说由于平行摄像机的特性,不存在会聚点,或会聚点在屏幕外。
当图5C所示的重叠图像显示在3D立体显示器上时,在重叠图像内的所有目标的图像看起来似乎从屏幕中突出。这种视差(即,深度视差)使眼睛疲劳并且降低3D效果。
图6表示根据本发明的实施例,分别通过将图5的左眼图像和右眼图像向左和向右移动,产生稳定立体图像的处理。换言之,图6表示通过调整视差为用户提供稳定的3D图像的图像处理方法。图6A表示图5A的右眼图像向右移动,图6B表示图5B的左眼图像向左移动。图6C表示根据本发明的实施例,在3D立体显示器上图6B的左眼图像与图6A的右眼图像合成。
参照图6C,合成图像的整体视差小于图5C所示的重叠图像。因此,有些目标的图像,例如目标的图像61,具有负视差。换言之,图像61具有负深度,从而看起来似乎陷入屏幕里面。图像64是具有零视差和深度等于屏幕的会聚点。图像62和63的视差是正的。因此,图像62和63看起来似乎从屏幕中突出。
当右眼图像和左眼图像被合成时,如图6C所示,在合成图像内的目标图像比图5C所示的重叠图像具有更多变化的深度。因此,可以提供给用户更稳定和立体的图像。现在,参照图7和8,描述当右眼图像和左眼图像以有规律间隔水平移动时,通过估算输入右眼图像和左眼图像的视差确定水平移动值的方法。
图7表示根据本发明实施例的基于块的视差估算(DE)。
参照图7,左眼图像被分成尺寸相等的N×N块。利用绝对差之和(SAD)或绝对差均值(MAD),估算与左眼图像的对应块最相似的右眼图像的块。在这种情况下,参考块和估算块之间的距离定义为视差矢量(DV)。通常,DV被赋予参考图像中的每个像素。然而,为了减少需要的计算量,假定在基于块的DE中,块中所有像素的DV大致相同。对每个像素进行DE以获得每个像素的DV,称为基于像素的DE。
在根据本发明实施例确定水平移动值的方法中,对右眼图像和左眼图像进行DE,以获得右眼和左眼图像之间的平均视差。然后,右眼图像和左眼图像的每一个移动半个平均视差。右眼和左眼图像的水平移动值可以是平均视差乘以根据图像特性确定的比例常数。
图8表示根据利用图7所示的DE确定的水平移动值的、右眼图像和左眼图像的水平移动。
在基于块的DE中,当块的视差矢量是dv(x,y)(其中x和y表示块在2D平面中的位置),平均视差(dv_ave)是所有dv(x,y)的平均数。参照图8,图6中右眼和左眼图像的水平移动距离可以是dv_ave/2或dv_ave乘以比例常数a,例如,a*dv_ave/2。在这种情况下,比例常数a可以通过试验确定。在图8中,左眼图像向右水平移动dv_ave/2或a*dv_ave/2,并且右眼图像向左水平移动dv_ave/2或a*dv_ave/2。
图9表示在通过如图8所示水平移动右眼和左眼图像调整图像的视差之后,在3D显示器上的图像显示位置的变化。
图9A表示重叠利用普通的平行多视图摄像机获得的右眼图像和左眼图像的屏幕。图9B表示立体3D显示器,其上图9A的重叠图像中所有目标看起来似乎从屏幕突出。
图9C表示在屏幕上分别移动dv_ave/2和重叠的左眼图像和右眼图像。图9D表示在立体3D显示器上显示的图9C的重叠图像。参照图9C和9D,目标dv_lr<0看起来似乎陷入屏幕中,目标dv_lr=0看起来似乎在屏幕的平面上,目标dv_lr>0看起来似乎从屏幕中突出。
如上所述,根据本发明的实施例,当基于dv_ave或de_ave*a(其中a是比例常数)调整右眼和左眼图像之间的视差时,产生图像,诸如具有调整了深度的图9C的重叠图像,可以减少眼睛疲劳,同时保持3D效果。
图10是根据本发明实施例的图像处理装置100的框图。参照图10,图像处理装置100包括图像划分单元11、视差估算单元13、水平移动确定单元15、和水平移动确定单元17。
图像划分单元11接收3D图像并将3D图像划分成右眼图像和左眼图像。然后,图像划分单元11将右眼图像和左眼图像传输到视差估算单元13和水平移动单元17。视差估算单元13估算右眼图像和左眼图像之间的视差。在这种情况下,可以使用上述基于块的视差估算或其它方法。
水平移动确定单元15从视差估算单元13接收估算的视差,并确定右眼和左眼图像的水平移动值。详细地说,水平移动确定单元15对估算的视差求平均值,并且将平均视差确定为水平移动值。在对应于水平移动值一半的值乘以预定比例常数之后,水平移动单元17将右眼图像和左眼图像移动所获得的值。当预定比例常数是1时,右眼和左眼图像水平移动对应于右眼和左眼图像之间平均视差一半的值。
水平移动单元17基于对应于确定的水平移动值乘以预定比例常数的一半的值,将左眼图像向右移动,并将右眼图像向左移动,并且输出调整了视差的左眼图像和右眼图像。尽管没有示出,视差调整装置100可以包括3D立体显示单元,以显示从水平移动单元17输出的调整了视差的左眼和右眼图像。
图11表示根据本发明实施例对右眼图像和左眼图像的中间部分进行视差估算的处理。
现在,参照图11描述根据本发明实施例计算用于视差调整的平均视差dv_ave的方法。当某一点的视差矢量大大地大于图像其它点的视差矢量时,基于视差矢量的平均视差dv_ave可能过度受到具有非常大的视差矢量的点影响。特别是,在DE过程中可能找不到右眼图像与左眼图像相同的边缘部分。因此,当边缘部分用于DE时,不能获得合适的平均视差dv_ave。
为此,参照图11,对中间区域进行DE,总体上其导致很少的估算误差。进行DE的区域的尺寸可以用试验确定。然而,在确定合适的平均视差dv_ave之后,如果平均视差dv_ave对于图像序列的每个图像是变化的,那么在调整了视差的图像的图像序列中会出现抖动现象。因此,当观看者观看图像序列时,观看者可能会感觉到好像图像序列在水平地振动。为了避免这种抖动现象,平均视差dv_ave必须保持稳定。
因此,图像处理装置100过滤平均视差dv_ave,以防止随着平均视差dv_ave的突然的变化,右眼图像和左眼图像之间过度的视差调整。在这种情况下,可以使用低通滤波器(LPF),基于平均视差dv_ave过滤水平移动值。
图12表示根据本发明另一实施例的图像处理装置200。
参照图12,图像处理装置200包括图像划分单元11、视差估算单元13、水平移动确定单元15、过滤单元16和水平移动单元17。除了图10的图像处理装置100提供的功能之外,图12的图像处理装置200具有防止抖动功能。
图像划分单元11接收3D图像并将3D图像划分成右眼图像和左眼图像。然后,图像划分单元11将右眼图像和左眼图像传输到视差估算单元13和水平移动单元17。视差估算单元13估算右眼图像和左眼图像之间的视差。如参照图11所述,视差估算单元13可以对右眼图像和左眼图像的每一个的中间区域进行DE,从而不会估算出右眼图像和左眼图像之间相对过度的视差。
水平移动确定单元15从视差估算单元13接收估算的视差,并确定右眼图像和左眼图像的水平移动值。过滤单元16过滤确定的水平移动值,以防止3D图像之间水平移动值的过度变化。过滤单元16利用LPF过滤水平移动值。
从图像划分单元11接收右眼图像和左眼图像的水平移动单元17,将右眼图像和左眼图像水平地移动过滤水平移动值,并且输出调整了视差的左眼图像和右眼图像。尽管未示出,图像处理装置200可以包括3D立体显示单元,以显示从水平移动单元17输出的调整了视差的左眼图像和右眼图像。
图13表示根据本发明实施例,通过缩放图像来补偿在视差调整处理中切除的图像的处理。
当使用图10或12的图像处理装置时,能够减少眼睛的疲劳,并且增强3D效果。然而,当如图6和8所示调整右眼图像和左眼图像之间的视差时,左眼图像的右边缘部分和右眼图像的左边缘部分有dv_ave/2或a*dv_ave/2的宽度被损失。现在参照图13来描述缩放和重建图像损失部分的方法。
图13A表示原始图像,图13B表示在原始图像的右边缘部分被切除dv_ave的宽度用于视差调整后获得的图像。
为了补偿图13B所示的图像,整个图像按预定系数缩放到其原始尺寸。图13C表示图13B所示的图像缩放后获得的图像。当假定缩放比例常数是b时,该比例常数通过下面的式子给出
b=M/(M-dv_ave) …(1)
参照图13C,缩放的图像具有比原始图像高的高度。因此,缩放的图像的垂直边缘部分被切除,以产生图13D所示的重建图像。在图13C所示的图像的总宽度N(b-1)的垂直边缘部分被切除后,产生图13D所示的重建图像。这样,能够重建由于视差调整而被切除的图像。
图14表示根据本发明另一实施例的图像处理装置300。
参照图14,图像处理装置300包括图像划分单元11、视差估算单元13、水平移动确定单元15、水平移动单元17和缩放单元19。除了图10的图像处理装置200提供的功能之外,图14的图像处理装置300具有缩放功能。
图像划分单元11接收3D图像并将3D图像划分成右眼图像和左眼图像。然后,图像划分单元11将右眼图像和左眼图像传输到视差估算单元13和水平移动单元17。视差估算单元13估算右眼图像和左眼图像之间的视差。视差估算单元13可以对右眼图像和左眼图像的每一个的中间区域进行DE,从而能够确定合适的水平移动值。
水平移动确定单元15从视差估算单元13接收估算的视差,并且确定用于右眼图像和左眼图像的水平移动值。从图像划分单元11接收右眼图像和左眼图像的水平移动单元17,将右眼图像和左眼图像水平地移动由水平移动确定单元15确定的水平移动值,并且输出调整了视差的左眼图像和右眼图像。
从水平移动单元17接收调整了视差的右眼图像和左眼图像的缩放单元19,用预定的缩放系数,垂直和水平地缩放所接收的调整了视差的右眼图像和左眼图像,并且补偿在右眼图像和左眼图像水平移动后被切除的右眼图像和左眼图像部分。详细地说,缩放单元19将比原始右眼图像和左眼图像高的缩放后的右眼图像和左眼图像切到它们的原始尺寸,并且输出获得的右眼图像和左眼图像。此外,图像处理装置300可以如图12所示包括在水平移动确定单元15和水平移动单元17之间的过滤单元16,以提供防止抖动功能。
尽管在图14中没有示出,图像处理装置300包括3D立体显示单元,以显示从缩放单元19输出的调整了视差的左眼图像和右眼图像。
图15是表示根据本发明实施例的图像处理方法的流程图。
为了调整3D图像的视差,3D图像被接收并且分成右眼图像和左眼图像(S110)。估算右眼图像和左眼图像之间的视差(S120)。基于估算的视差确定右眼图像和左眼图像的水平移动值(S130)。通过将估算视差求平均值可以确定水平移动值。
基于确定的水平移动值,水平移动右眼图像和左眼图像(S140)。输出调整了视差的右眼图像和左眼图像,并且在3D立体显示器上显示。
图16是表示根据本发明另一实施例的图像处理方法的流程图。
3D图像被接收并且划分成右眼图像和左眼图像(S210)。估算右眼图像和左眼图像之间的视差(S220)。在本发明的实施例中,操作S220可以包括估算右眼图像和左眼图像的中间部分之间的视差,以防止在后续操作中计算出的水平移动值的突然变化。
基于估算的视差确定右眼图像和左眼图像的水平移动值(S230)。过滤水平移动值,以防止已经连续确定的水平移动值过度地变化(S240)。可以利用LPF过滤水平移动值。基于过滤的水平移动值水平移动右眼图像和左眼图像(S250)。然后,输出调整了视差的右眼图像和左眼图像,并且在3D立体显示器上显示。
图17是表示根据本发明另一实施例的图像处理方法的流程图。
3D图像被接收并且被分成右眼图像和左眼图像(S310)。估算右眼图像和左眼图像之间的视差(S320)。基于估算的视差确定右眼图像和左眼图像的水平移动值(S330)。操作S330可以进一步包括过滤水平移动值,以防止水平移动值的过度变化。在这种情况下,可以利用LPF过滤水平移动值。
基于水平移动值水平移动右眼图像和左眼图像,并且输出视差调整的右眼图像和左眼图像(S340)。
按预定缩放系数垂直和水平地缩放调整了视差的右眼图像和左眼图像,并且补偿在右眼图像和左眼图像水平移动后被切除的右眼图像和左眼图像部分。而且,比原始右眼图像和左眼图像高的比例缩放右眼图像左眼图像被垂直地切成它们的原始尺寸(S350)。在3D立体显示器上显示获得的右眼图像和左眼图像。
根据本发明的图像处理方法和装置能够用于控制用多视图摄像机或平行立体摄像机获得的图像的会聚,以使图像用于3D立体显示器。
根据本发明的图像处理方法和装置,通过调整在接收和显示3D图像的接收端的图像视差,能够用于增强3D效果和减少眼睛疲劳。
根据本发明的图像处理方法和装置,当在接收和显示图像的接收端调整图像的视差和输出调整了视差的图像时,通过防止抖动能够用于输出稳定的图像。
根据本发明的图像处理方法和装置能够用于缩放和补偿在视差调整处理中切除的图像。
本发明还能够在计算机可读记录介质上作为计算机可读代码实现。计算机可读记录介质可以是能够存储用计算机系统能读取的数据的任何数据存储装置。例如,计算机可读记录介质包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置和载波(诸如通过互联网的数据传输)。
计算机可读记录介质还可以分布在联网计算机系统上,使得计算机可读代码以分布式存储和执行。
尽管参照本发明的示例性实施例具体图示和描述了本发明,本领域的普通技术人员应该理解,在不脱离本发明下列权利要求限定的精神和范围的前提下,可以就其形式和内容做出各种变化。
Claims (11)
1.一种对被划分成左眼图像和右眼图像的三维3D图像使用的图像处理装置,包括:
视差估算单元,估算左眼图像和右眼图像之间的视差;
移动确定单元,利用估算的视差确定左眼图像和右眼图像的移动值;
过滤单元,低通过滤确定的移动值,从而使得图像序列的每一个图像的平均视差保持稳定而不任意变化;和
移动单元,基于过滤的移动值,移动左眼图像和右眼图像。
2.如权利要求1所述的装置,其中视差估算单元估算左眼图像和右眼图像的中间部分之间的视差。
3.如权利要求1所述的装置,其中移动值是用于水平移动的值,移动单元基于过滤的移动值,水平地移动左眼图像和右眼图像。
4.如权利要求3所述的装置,其中移动确定单元求估算视差的平均值,并且将平均视差确定为移动值,移动单元基于移动值乘以预定比例常数的一半,移动左眼图像和右眼图像。
5.如权利要求3所述的装置,还包括3D立体显示单元,其显示从移动单元输出的、调整了视差的左眼图像和右眼图像。
6.一种对被划分成左眼图像和右眼图像的三维3D图像使用的图像处理方法,包括:
估算左眼图像和右眼图像之间的视差;
利用估算的视差确定左眼图像和右眼图像的移动值;
低通过滤确定的移动值,从而使得图像序列的每一个图像的平均视差保持稳定而不任意变化;和
基于过滤的移动值移动左眼图像和右眼图像。
7.如权利要求6所述的方法,其中视差的估算包括估算左眼图像和右眼图像的中间部分之间的视差。
8.如权利要求6所述的方法,其中移动值是用于水平移动的值,并且基于过滤的移动值水平移动左眼图像和右眼图像。
9.如权利要求8所述的方法,其中移动值的确定包括求估算视差的平均值,并且将平均视差确定为移动值,并且左眼图像和右眼图像的水平移动包括基于移动值乘以预定比例常数的一半移动左眼图像和右眼图像。
10.如权利要求8所述的方法,其中移动值的过滤包括对移动值低通过滤。
11.如权利要求8所述的方法,还包括在3D立体显示器上显示调整了视差的左眼图像和右眼图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR82000/05 | 2005-09-03 | ||
KR1020050082000A KR100739730B1 (ko) | 2005-09-03 | 2005-09-03 | 3d 입체 영상 처리 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1956554A CN1956554A (zh) | 2007-05-02 |
CN1956554B true CN1956554B (zh) | 2011-03-16 |
Family
ID=37829663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006101635799A Expired - Fee Related CN1956554B (zh) | 2005-09-03 | 2006-09-04 | 三维图像处理装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7944444B2 (zh) |
KR (1) | KR100739730B1 (zh) |
CN (1) | CN1956554B (zh) |
NL (1) | NL1032380C2 (zh) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1905244A4 (en) * | 2005-07-18 | 2010-12-01 | Korea Electronics Telecomm | PREDICTIVE ENCODING / DECODING DEVICE THROUGH SPATIO-TEMPORAL DIMENSIONAL REFERENCE IMAGE PADS AND METHOD OF USE |
CA2693666A1 (en) * | 2007-07-12 | 2009-01-15 | Izzat H. Izzat | System and method for three-dimensional object reconstruction from two-dimensional images |
KR101396619B1 (ko) * | 2007-12-20 | 2014-05-16 | 삼성전자주식회사 | 3d 영상에 관한 부가 정보를 포함하는 3d 영상파일을생성 및 재생하기 위한 시스템 및 방법 |
JPWO2010038409A1 (ja) * | 2008-09-30 | 2012-03-01 | パナソニック株式会社 | 再生装置、記録媒体、及び集積回路 |
JP2010098479A (ja) * | 2008-10-15 | 2010-04-30 | Sony Corp | 表示装置、表示方法及び表示システム |
KR101166225B1 (ko) | 2008-11-14 | 2012-07-17 | 한국전자통신연구원 | 멀티미디어 재생시스템 및 이를 이용한 멀티미디어의 재생방법 |
JP5229733B2 (ja) * | 2008-11-25 | 2013-07-03 | Necシステムテクノロジー株式会社 | ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラム |
JP4587237B1 (ja) * | 2009-06-17 | 2010-11-24 | Necカシオモバイルコミュニケーションズ株式会社 | 端末装置及びプログラム |
KR20110005205A (ko) * | 2009-07-09 | 2011-01-17 | 삼성전자주식회사 | 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치 |
EP2293586A1 (en) * | 2009-08-04 | 2011-03-09 | Samsung Electronics Co., Ltd. | Method and system to transform stereo content |
KR20110018261A (ko) * | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
JP5444955B2 (ja) * | 2009-08-31 | 2014-03-19 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
US9294751B2 (en) | 2009-09-09 | 2016-03-22 | Mattel, Inc. | Method and system for disparity adjustment during stereoscopic zoom |
WO2012088415A2 (en) * | 2010-12-23 | 2012-06-28 | Mattel, Inc. | Method and system for disparity adjustment during stereoscopic zoom |
JP4747214B2 (ja) * | 2009-09-17 | 2011-08-17 | パナソニック株式会社 | 映像信号処理装置、及び、映像信号処理方法 |
US9699434B2 (en) * | 2009-10-07 | 2017-07-04 | Samsung Electronics Co., Ltd. | Apparatus and method for adjusting depth |
GB2477333B (en) * | 2010-01-29 | 2014-12-03 | Sony Corp | A method and apparatus for creating a stereoscopic image |
WO2011105988A1 (en) * | 2010-02-24 | 2011-09-01 | Thomson Licensing | Split screen for 3d |
KR20110116525A (ko) * | 2010-04-19 | 2011-10-26 | 엘지전자 주식회사 | 3d 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법 |
JP2011228950A (ja) * | 2010-04-20 | 2011-11-10 | Sony Corp | データ構造、画像処理装置、画像処理方法、およびプログラム |
GB2479931A (en) * | 2010-04-30 | 2011-11-02 | Sony Corp | A Camera Device, Arrangement and System |
JP2011248723A (ja) * | 2010-05-28 | 2011-12-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5641200B2 (ja) * | 2010-05-28 | 2014-12-17 | ソニー株式会社 | 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 |
KR101685343B1 (ko) * | 2010-06-01 | 2016-12-12 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
JP5494283B2 (ja) * | 2010-06-24 | 2014-05-14 | ソニー株式会社 | 立体表示装置及び立体表示装置の制御方法 |
CN102300103B (zh) * | 2010-06-25 | 2013-08-14 | 深圳Tcl新技术有限公司 | 一种将2d内容转换成3d内容的方法 |
KR101829345B1 (ko) * | 2010-06-28 | 2018-02-19 | 톰슨 라이센싱 | 입체 컨텐츠의 3-차원적인 효과들을 요구에 맞추기 위한 방법 및 장치 |
CN101895781B (zh) * | 2010-07-23 | 2012-10-03 | 深圳超多维光电子有限公司 | 立体显示方法和立体显示装置 |
CN101895780B (zh) * | 2010-07-23 | 2012-07-25 | 深圳超多维光电子有限公司 | 立体显示方法和立体显示装置 |
EP2418865A3 (en) * | 2010-08-09 | 2014-08-06 | LG Electronics Inc. | 3D viewing device, image display apparatus, and method for operating the same |
CN103098478A (zh) * | 2010-08-16 | 2013-05-08 | 富士胶片株式会社 | 图像处理设备、图像处理方法、图像处理程序、以及记录介质 |
CN102447919A (zh) * | 2010-10-08 | 2012-05-09 | 宏碁股份有限公司 | 三维视频图像调整方法及装置 |
TW201216204A (en) * | 2010-10-13 | 2012-04-16 | Altek Corp | Method for combining dual-lens images into mono-lens image |
JP5603732B2 (ja) * | 2010-10-19 | 2014-10-08 | オリンパスイメージング株式会社 | 撮像装置 |
JP2012103109A (ja) * | 2010-11-10 | 2012-05-31 | Panasonic Corp | ステレオ画像処理装置、ステレオ画像処理方法及びプログラム |
US20120113232A1 (en) * | 2010-11-10 | 2012-05-10 | Sony Pictures Technologies Inc. | Multiple camera system and method for selectable interaxial separation |
KR20120051308A (ko) * | 2010-11-12 | 2012-05-22 | 삼성전자주식회사 | 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치 |
CN102006494A (zh) * | 2010-11-26 | 2011-04-06 | 北京新岸线网络技术有限公司 | 一种3d视频信号调节方法及装置 |
CN102170576A (zh) * | 2011-01-30 | 2011-08-31 | 中兴通讯股份有限公司 | 双摄像头立体拍摄的处理方法及装置 |
CN102638689A (zh) * | 2011-02-09 | 2012-08-15 | 扬智科技股份有限公司 | 三维显示放大方法 |
JP5987267B2 (ja) * | 2011-03-28 | 2016-09-07 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6089383B2 (ja) * | 2011-04-08 | 2017-03-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US9485494B1 (en) | 2011-04-10 | 2016-11-01 | Nextvr Inc. | 3D video encoding and decoding methods and apparatus |
US9407902B1 (en) * | 2011-04-10 | 2016-08-02 | Nextvr Inc. | 3D video encoding and decoding methods and apparatus |
CN102857769A (zh) * | 2011-06-28 | 2013-01-02 | 瑞昱半导体股份有限公司 | 3d 影像处理装置 |
KR101888672B1 (ko) * | 2011-07-27 | 2018-08-16 | 엘지디스플레이 주식회사 | 입체영상 표시장치와 그 구동방법 |
CN103037236A (zh) * | 2011-08-22 | 2013-04-10 | 联发科技股份有限公司 | 图像处理方法以及装置 |
CN102368824B (zh) * | 2011-09-16 | 2013-11-20 | 清华大学 | 视频立体转换方法 |
US20130169755A1 (en) * | 2011-12-28 | 2013-07-04 | Samsung Electronics Co., Ltd. | Signal processing device for processing plurality of 3d content, display device for displaying the content, and methods thereof |
US9172939B2 (en) * | 2011-12-30 | 2015-10-27 | Stmicroelectronics (Canada), Inc. | System and method for adjusting perceived depth of stereoscopic images |
US9288506B2 (en) * | 2012-01-05 | 2016-03-15 | Qualcomm Incorporated | Signaling view synthesis prediction support in 3D video coding |
CN102662292B (zh) * | 2012-04-20 | 2016-03-02 | Tcl集团股份有限公司 | 一种3d场景成像方法、装置及显示终端 |
KR101917224B1 (ko) * | 2012-09-18 | 2018-11-13 | 엘지이노텍 주식회사 | 영상데이터 전송장치 |
US9300942B2 (en) | 2012-10-18 | 2016-03-29 | Industrial Technology Research Institute | Method and control system for three-dimensional video playback using visual fatigue estimation |
US8867826B2 (en) * | 2012-11-26 | 2014-10-21 | Mitusbishi Electric Research Laboratories, Inc. | Disparity estimation for misaligned stereo image pairs |
CN103365622B (zh) * | 2013-06-28 | 2019-08-06 | 新奥特(北京)视频技术有限公司 | 一种三维粒子画面的调整方法和装置 |
KR102143944B1 (ko) * | 2013-09-27 | 2020-08-12 | 엘지디스플레이 주식회사 | 입체감 조절 방법과 이를 이용한 입체 영상 표시장치 |
CN105100772B (zh) * | 2015-07-16 | 2017-03-15 | 深圳市华星光电技术有限公司 | 一种三维图像处理方法及装置 |
DE102016124069B4 (de) | 2015-12-12 | 2018-03-22 | Karl Storz Se & Co. Kg | Verfahren und Vorrichtung zur Erzeugung einer Stereoabbildung |
CN109076200B (zh) | 2016-01-12 | 2021-04-23 | 上海科技大学 | 全景立体视频系统的校准方法和装置 |
CN111193919B (zh) * | 2018-11-15 | 2023-01-13 | 中兴通讯股份有限公司 | 一种3d显示方法、装置、设备及计算机可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6314211B1 (en) * | 1997-12-30 | 2001-11-06 | Samsung Electronics Co., Ltd. | Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image |
CN1638491A (zh) * | 2003-11-13 | 2005-07-13 | 三星电子株式会社 | 用于合成中间图像的瞬时平滑装置和方法 |
CN1643939A (zh) * | 2002-03-27 | 2005-07-20 | 三洋电机株式会社 | 立体图像处理方法及装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08126034A (ja) * | 1994-10-20 | 1996-05-17 | Canon Inc | 立体画像表示装置および方法 |
US6088006A (en) * | 1995-12-20 | 2000-07-11 | Olympus Optical Co., Ltd. | Stereoscopic image generating system for substantially matching visual range with vergence distance |
US6163337A (en) | 1996-04-05 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Multi-view point image transmission method and multi-view point image display method |
KR100275542B1 (ko) | 1997-12-17 | 2000-12-15 | 이계철 | 스테레오 영상 압축방법 |
JP4149037B2 (ja) * | 1998-06-04 | 2008-09-10 | オリンパス株式会社 | 映像システム |
US6757422B1 (en) * | 1998-11-12 | 2004-06-29 | Canon Kabushiki Kaisha | Viewpoint position detection apparatus and method, and stereoscopic image display system |
AUPQ887100A0 (en) | 2000-07-19 | 2000-08-10 | Dynamic Digital Depth Research Pty Ltd | Image processing and encoding techniques |
JP2002125245A (ja) | 2000-10-17 | 2002-04-26 | Sony Corp | 立体画像編集方法、立体画像編集装置および立体画像表示システム |
KR100392381B1 (ko) * | 2000-11-13 | 2003-07-22 | 한국전자통신연구원 | 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템 |
JP3465047B2 (ja) | 2000-11-16 | 2003-11-10 | 独立行政法人航空宇宙技術研究所 | 垂直降下時に平坦区域を検出する立体視システム |
JP2003006618A (ja) | 2001-06-27 | 2003-01-10 | Minolta Co Ltd | 3次元モデルの生成方法および装置並びにコンピュータプログラム |
US7715591B2 (en) * | 2002-04-24 | 2010-05-11 | Hrl Laboratories, Llc | High-performance sensor fusion architecture |
KR100523052B1 (ko) * | 2002-08-30 | 2005-10-24 | 한국전자통신연구원 | 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법 |
KR100804572B1 (ko) * | 2002-09-27 | 2008-02-20 | 샤프 가부시키가이샤 | 입체화상 표시장치, 입체화상 기록장치, 입체화상 부호화장치, 입체화상 복호장치, 입체화상 기록방법 및 입체화상 전송방법 |
IL155525A0 (en) * | 2003-04-21 | 2009-02-11 | Yaron Mayer | System and method for 3d photography and/or analysis of 3d images and/or display of 3d images |
JP2005073049A (ja) | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
US7257272B2 (en) * | 2004-04-16 | 2007-08-14 | Microsoft Corporation | Virtual image generation |
US7086735B1 (en) * | 2005-05-27 | 2006-08-08 | Anthony Italo Provitola | Enhancement of visual perception |
-
2005
- 2005-09-03 KR KR1020050082000A patent/KR100739730B1/ko not_active IP Right Cessation
-
2006
- 2006-08-29 NL NL1032380A patent/NL1032380C2/nl not_active IP Right Cessation
- 2006-09-04 CN CN2006101635799A patent/CN1956554B/zh not_active Expired - Fee Related
- 2006-09-05 US US11/514,882 patent/US7944444B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6314211B1 (en) * | 1997-12-30 | 2001-11-06 | Samsung Electronics Co., Ltd. | Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image |
CN1643939A (zh) * | 2002-03-27 | 2005-07-20 | 三洋电机株式会社 | 立体图像处理方法及装置 |
CN1638491A (zh) * | 2003-11-13 | 2005-07-13 | 三星电子株式会社 | 用于合成中间图像的瞬时平滑装置和方法 |
Non-Patent Citations (1)
Title |
---|
说明书第20页第27行-第22行第13行,第30页第12行-第34页第10行、说明书附图12,41-51. |
Also Published As
Publication number | Publication date |
---|---|
US7944444B2 (en) | 2011-05-17 |
US20070052794A1 (en) | 2007-03-08 |
NL1032380A1 (nl) | 2007-03-06 |
KR20070025632A (ko) | 2007-03-08 |
KR100739730B1 (ko) | 2007-07-13 |
CN1956554A (zh) | 2007-05-02 |
NL1032380C2 (nl) | 2010-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1956554B (zh) | 三维图像处理装置和方法 | |
CN1956555B (zh) | 三维图像处理设备和方法 | |
US9525858B2 (en) | Depth or disparity map upscaling | |
EP2618584B1 (en) | Stereoscopic video creation device and stereoscopic video creation method | |
EP2532166B1 (en) | Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair | |
US20110304708A1 (en) | System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image | |
US9338426B2 (en) | Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method | |
EP0707287B1 (en) | Image processing apparatus and method | |
JP2005151568A (ja) | 中間映像合成のための時間的平滑化装置及び方法 | |
US20120056871A1 (en) | Three-dimensional imaging system and method | |
US20150003724A1 (en) | Picture processing apparatus, picture processing method, and picture processing program | |
JP3733359B2 (ja) | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 | |
WO2015115946A1 (en) | Methods for encoding and decoding three-dimensional video content | |
JP5931062B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP3733358B2 (ja) | 画像伝送装置、送信装置、受信装置、送信方法および受信方法 | |
KR20020037097A (ko) | 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템 | |
Knorr et al. | From 2D-to stereo-to multi-view video | |
JP3735617B2 (ja) | 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置 | |
JP5871113B2 (ja) | 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム | |
JP5387186B2 (ja) | 立体画像表示装置及び立体画像表示方法 | |
Ideses et al. | Depth maps: faster, higher and stronger? | |
Li et al. | Super resolution for multiview mixed resolution images in transform-domain | |
JPH01114283A (ja) | 立体画像の冗長度圧縮装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110316 Termination date: 20190904 |
|
CF01 | Termination of patent right due to non-payment of annual fee |