CN102812712A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102812712A
CN102812712A CN2010800657051A CN201080065705A CN102812712A CN 102812712 A CN102812712 A CN 102812712A CN 2010800657051 A CN2010800657051 A CN 2010800657051A CN 201080065705 A CN201080065705 A CN 201080065705A CN 102812712 A CN102812712 A CN 102812712A
Authority
CN
China
Prior art keywords
image
visual point
image processing
images
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800657051A
Other languages
English (en)
Other versions
CN102812712B (zh
Inventor
矢作宏一
渡边干夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102812712A publication Critical patent/CN102812712A/zh
Application granted granted Critical
Publication of CN102812712B publication Critical patent/CN102812712B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40Circuit details for pick-up tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理设备,包括:图像获取单元(22),其获取通过在多个视点处对对象成像而生成的多个视点图像;视差图生成单元(31),其基于所述多个视点图像来生成表示视差分布的视差图;多视点图像生成单元(32),其基于所述多个视点图像和所述视差图来生成多视点图像,所述多视点图像包括的视点图像的数量大于所述多个视点图像的数量;图像处理单元(33),其基于所述多视点图像和所述视差图来对所述多视点图像的对象图像执行图像处理,并且根据视差来切换该对象图像的图像处理量;和输出单元(25),其对已经经过所述图像处理单元的图像处理的多视点图像中包括的多个视点图像进行切换,并且顺序地输出这些视点图像。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及能够容易地通过二维显示确认多视点图像的图像处理设备和图像处理方法。
背景技术
已经提出了用于在多个视点对物体成像的3D(三维)数字相机(立体成像设备)和用于产生3D影印品的3D影印机(立体图像打印设备)。
例如,通过3D数字相机在左视点和右视点对物体成像,以获得立体图像(左视点图像和右视点图像),基于该立体图像生成深度图,基于该立体图像和该深度图生成中间视点图像,并且在双凸透镜片上打印通过将中间视点图像添加到立体图像而得到的多视点图像(见专利文献1)。
专利文献2讨论了这样的一种构造,其中左视点图像和右视点图像在交叉渐变(cross faded)的同时被交替地显示。
引用列表
专利文献
PTL 1:日本专利申请公开No.2001-346226
PTL 2:日本专利申请公开No.2005-229560
发明内容
技术问题
在从多视点图像产生3D影印品之前,要求在常规显示装置上事先确认当已执行打印时在立体感、图像质量和失真方面是否存在问题。然而,只要没有使用能够以与3D影印品中的精细间距类似的精细间距进行3D显示的特定显示装置,就难以事先确认3D影印品。即使以与3D影印品类似的方法来制造了能够进行3D显示的特定显示装置,在没有特定显示装置的环境(例如在用户家里)中也不能执行事先确认。更具体地说,对3D影印品的观看方法进行再现的尝试需要大量的工具和时间。
考虑到这种情况作出了本发明,并且本发明旨在提供用于容易地确认多视点图像的图像处理设备和图像处理方法。
解决问题的方案
为达到上述目的,本发明提供了一种图像处理设备,特征在于包括:图像获取单元,其获取通过在多个视点处对对象进行成像而生成的多个视点图像;视差图生成单元,其基于所述多个视点图像来生成表示视差分布的视差图;多视点图像生成单元,其基于所述多个视点图像和所述视差图来生成多视点图像,所述多视点图像包括的视点图像的数量大于所述多个视点图像的数量;图像处理单元,其基于所述多视点图像和所述视差图来对所述多视点图像的对象图像执行图像处理,并且根据视差来切换该对象图像的图像处理量;和输出单元,其对已经经过所述图像处理单元的图像处理的多视点图像中包括的多个视点图像进行切换,并且顺序地输出这些视点图像。
更具体地,根据多视点图像的视差来切换对象图像的图像处理量,并且多视点图像中包括的多个视点图像被按照其视点的次序来切换并顺序地输出。因此,可以不使用特定显示装置来将多个视点图像输出到常规的显示装置,从而能够通过平面图像来事先确认多视点图像。更具体地,可以容易地确认多视点图像。
在本发明的一个方面中,该图像处理设备的特征在于还包括显示控制单元,其按照视点图像的视点的次序来对已经经过所述图像处理单元的图像处理的多视点图像中包括的多个视点图像进行切换,并且在用作所述输出单元的显示装置上二维地显示这些视点图像。
在本发明的一个方面中,该图像处理设备的特征在于还包括运动图像文件生成单元,其生成运动图像文件,所述运动图像文件用于按照视点图像的视点的次序来对已经经过所述图像处理单元的图像处理的多视点图像中包括的多个视点图像进行切换并且在用作所述输出单元的显示装置上二维地显示这些视点图像。
在本发明的一个方面中,该图像处理设备的特征在于所述图像处理单元使得所述多视点图像中视差较大的像素的模糊量更大。
在本发明的一个方面中,该图像处理设备的特征在于所述图像处理单元使得所述多视点图像中包括的多个视点图像中处于两端的视点位置处的视点图像的模糊量大于处于中心的视点位置处的视点图像的模糊量。
在本发明的一个方面中,该图像处理设备的特征在于所述图像处理单元使得构成所述多视点图像的其间具有较大视差的像素的饱和度、对比度和锐度中的至少一项的减小量更大。
在本发明的一个方面中,该图像处理设备的特征在于所述图像处理单元使得所述多视点图像中包括的多个视点图像中处于两端的视点位置处的视点图像的所述减小量大于处于中心的视点位置处的视点图像的所述减小量。
在本发明的一个方面中,该图像处理设备的特征在于所述图像处理单元参考所述视差图,使用其间没有视差的像素作为基准,来确定每个视点图像内的对象图像是处于后侧区域还是前侧区域,并且执行用于缩小后侧区域中的对象图像以及增大前侧区域中的对象图像的图像处理。
在本发明的一个方面中,该图像处理设备的特征在于所述输出单元使得所述多视点图像中包括的多个视点图像中处于两端的视点位置处的视点图像的输出时间比处在中心的视点位置处的视点图像的输出时间更短。
本发明提供了一种图像处理方法,其特征在于包括步骤:图像获取步骤,用于获取通过在多个视点处对物体成像而生成的多个视点图像;视差图生成步骤,用于基于所述多个视点图像来生成表示视差分布的视差图;多视点图像生成步骤,用于基于所述多个视点图像和所述视差图来生成多视点图像,所述多视点图像包括的视点图像的数量大于所述多个视点图像的数量;图像处理步骤,用于基于所述多视点图像和所述视差图来对所述多视点图像的对象图像执行图像处理,并且根据视差来切换该对象图像的图像处理量;和输出步骤,用于按照视点图像的视点的次序来对已经在所述图像处理步骤中经过图像处理的多视点图像中包括的多个视点图像进行切换,并且顺序地输出这些视点图像。
在本发明的一个方面中,该图像处理方法的特征在于包括运动图像文件生成步骤,用于生成运动图像文件,所述运动图像文件用于以视点图像的视点的次序来对已经在所述图像处理步骤中经过图像处理的多视点图像中包括的多个视点图像进行切换并且在显示装置上二维地显示这些视点图像。
本发明的有益效果
根据本发明,能够容易地确认多视点图像。
附图说明
图1是图像处理设备的一个示例的整体构造图。
图2是用于描述视差的图示。
图3示出多视点图像的一个示例。
图4是示意性示出双凸透镜片的透视图。
图5是示出一个图像处理示例中的流程的流程图。
图6是用于描述第一实施例中的图像处理的图示。
图7是用于描述第二实施例中的图像处理的图示。
图8是用于描述第三实施例中的图像处理的图示。
具体实施方式
下面将参照附图详细描述本发明的实施例。
图1是示出根据本发明的图像处理设备的一个示例的整体构造的框图。
在图1中,图像处理设备2包括指令输入单元21、图像获取单元22、CPU 23、存储单元24、和显示单元25。CPU 23包括视差图生成单元31、多视点图像生成单元32、图像处理单元33、2D运动图像文件生成单元34和显示控制单元35。
指令输入单元21是用于输入指令的输入装置。指令输入单元21包括例如键盘和指示装置。指令输入单元21可以是触摸传感器。
图像获取单元22是用来输入图像数据(以下仅称为“图像”)的输入装置。图像获取单元22包括用于从可移动记录介质(比如存储卡)输出数据或者向可移动记录介质输入数据的记录介质接口和用于向/从网络输入/输出数据的网络接口。
在该示例中的图像获取单元22输入立体图像,该立体图像包括分别通过在左视点和右视点对物体成像而生成的两个视点图像(左视点图像和右视点图像)(以下称为“双视点图像”)。
CPU(中央处理单元)23在执行各种图像处理的同时控制图像处理设备2中的每个单元。
存储单元24是存储各种数据的存储装置,并且包括非易失性存储器或盘。
显示单元25是诸如液晶显示装置之类的显示装置。在本实施例中,显示单元25可以是可二维显示的,而不必是可三维(立体地)显示的。
视差图生成单元31基于由图像获取单元22获取的双视点图像来生成视差图。
视差图是表示双视点图像的视差分布的信息。在该示例中,使用具有对应关系的左视点图像中的像素和右视点图像中的像素之间的坐标差异作为视差。下面将详细描述这样的视差。
视差是对应于物体深度的信息。因此,视差还可以称作“深度信息”或“距离信息”。深度量可以被用作视差。
多视点图像生成单元32基于双视点图像和视差图来生成包括了数量上比双视点图像(左视点图像和右视点图像)大的多个视点图像的多视点图像。更具体地说,生成多视点图像来作为用于具有多个视点的3D影印品的图像数据,其视点的数量比双视点图像的更大。在本示例中,基于双视点图像和视差图来生成中间视点处的视点图像(以下称为“中间视点图像”),即,将具有一个或多个视点的中间视点图像添加到双视点图像,以生成包括在三个或更多视点处的视点图像的多视点图像。本发明还可以应用于生成不包括原始双视点图像的多视点图像的情况。
图像处理单元33基于多视点图像和视差图来执行针对多视点图像的图像处理,以使得显示单元25能够例如在如下所述的2D运动图像文件的2D显示中确认多视点图像的立体感。这种图像处理的具体示例包括模糊处理、减小对比度、减小饱和度、减小锐度、和放大/缩小(缩放)。下面将详细描述具体示例。
2D运动图像文件生成单元34生成2D运动图像文件,该2D运动图像文件用于按视点次序切换已经过图像处理的多视点图像中包括的多个视点图像,以将这些视点图像二维地显示在显示单元25上。
显示控制单元35根据2D运动图像文件按视点次序切换多视点图像中包括的多个视点图像,以将这些视点图像二维地显示在显示单元25上。
下面将参照图2描述视差量。
在图2中,3D数字相机1包括能够生成双视点图像的多个成像系统11L和11R。每个成像系统11L和11R包括摄影光学系统(包括变焦透镜、聚焦透镜和光圈)和图像传感器(例如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器)。为了便于理解本发明,在基线长度SB(成像系统11L与11R的光轴之间的间隔)和会聚角θc(成像系统11L与11R的光轴之间形成的角度)在3D数字相机1中被固定的情况下作出描述。
多个成像系统11L和11R在多个视点处分别对同一对象91(在该示例中为一个球体)进行成像,以生成双视点图像(左视点图像92L和右视点图像92R)。所生成的双视点图像92L和92R分别包括其上已投射了该同一物体91的对象图像93L和93R。3D电动机60将两个视点图像92L和92R进行重叠并显示,从而三维地显示(立体地显示)立体图像94。
如果进行3D影印,则首先从双视点图像生成多视点图像(一组视点图像A1至A6),如图3所示。在最左视点位置处的视点图像A1对应于由图2中示出的3D数字相机1中的左成像系统11L生成的左视点图像92L,在最右视点位置处的视点图像A6对应于由图2中示出的3D数字相机1中的右成像系统11R生成的右视点图像92R,而处于中间视点位置处的视点图像A2至A5是基于两个视点图像A1和A6的视差图而生成的图像(中间视点图像)。然后在例如图4所示的双凸透镜片100上打印多个视点图像A1至A6。在图4中所示的双凸透镜片100的一个表面上形成了柱状拱形的半透明的双凸透镜110,并且在另一表面上形成接收墨水的接收层120。在接收层120的条形区域121至126上用墨水分别打印多个视点图像A1至A6。
观察者以他/她的双眼从双凸透镜110侧观察打印在双凸透镜片100中的接收层120层上的多视点图像,从而可以立体地观看对象图像,如图2中示出的情况那样(即,观察者95观察3D监视器60上的立体图像94的情况)。
当观察者95以图2所示的他/她的双眼96L和96R观察立体图像94时,看起来好像投射了虚拟图像97。在图2中,对象91存在于比光轴之间的会聚点99(交点)更近的位置处,从而看起来好像虚拟图像97被向前投射。然而,如果对象存在于比会聚点99更远的位置处,则虚拟图像看起来回缩了。
在物距S小于图2中的与会聚点99的距离的范围内,物距S越小,则对象图像92L与92R的中心坐标XLF与XRF之间的差|XLF-XRF|就变得越大。更具体地说,物距S越小,则视点图像92L与92R之间对应像素彼此分隔得就越远。差|XLF-XRF|仅仅是x坐标,其表示为AP。更具体地,如果基线长度SB和会聚角θc确定,则物距S越小,AP就变得越大,并且由观察者感觉到的虚拟图像97在会聚点99之前的投影量AD也变得越大。
如果确定了基线长度SB、会聚角θc和焦距,则可以使用图2所示的AP来表示每个视点图像中像素的深度信息。如果对象91存在于会聚点99的前面,例如,对AP附上一个正号而得到的值成为深度信息(视差)。如果物体91存在于会聚点99的后面,则对AP附上一个负号而得到的值成为深度信息(视差)。对应于会聚点99的深度信息为零。在该情况下,如果深度信息是正的,则其值越大,投射量AD就变得越大。如果深度信息是负的,则其绝对值越大,回缩量就变得越大。深度信息还对应于物距S,因此其可以使用物距S来表示。
尽管已经作为例子描述了基线长度SB和会聚角θc恒定的情况,然而在会聚角θc可变的结构的情况下投射量AD可以根据会聚角θc和物距S而改变。在会聚角θc和基线长度SB都可变的结构的情况下,投射量AD根据基线长度SB、会聚角θc和物距S而改变。即使基线长度SB和会聚角θc恒定,当像素在两个视点图像92L和92R之间偏移以便改变视差量AP时,投射量AD也会改变。
图2至图4不必具体地限制于这样的情况,因为其仅为用于理解本发明的一个例子。本发明还可应用于不使用图2所示的3D数字相机1的情况,例如,使用多个数字相机来对物体立体地成像的情况以及使用单个摄影光学系统来通过光瞳分割(pupil division)对物体立体地成像的情况。3D影印不必具体地限制于在双凸透镜片上执行打印的情况。
下面将把本发明分成各种实施例来描述本发明。
<第一实施例>
首先将描述第一实施例。
根据本实施例的图像处理单元33按照视差是大还是小来将多视点图像的对象图像的图像处理量(例如模糊量、对比度减小量、饱和度减小量、和锐度减小量)切换为大或小,以便能够通过2D运动图像显示来确认多视点图像。
图5是示出作为图1所示的图像处理设备2中的一个图像处理示例的流程的流程图。
在步骤S1中,图像获取单元22获取图6中示出的双视点图像52。双视点图像52包括通过在左和右两个视点处对对象成像而生成的左视点图像A1和右视点图像A5。
在步骤S2中,视差图生成单元31检测构成右视点图像A5的像素与构成左视点图像A1的像素之间的对应关系(检测对应点)以计算对应像素之间的视差,从而生成表示两个视点图像A1和A5中视差分布的视差图(视差与像素之间的对应关系)。视差由左视点图像A1中的像素的坐标与右视点图像A5中的像素的坐标之差表示。该示例中的视差图由带符号的视差排列来表示,并且当符号为正时表示物体位于交叉点(会聚点)前面,而当符号为负时表示物体位于交叉点后面。对于不能检测到视点图像A1和A5中各像素之间的对应关系的遮挡区域(occlusion area),优选基于该区域周围的像素之间的视差来对视差进行插值。
在步骤S3中,多视点图像生成单元32基于双视点图像52(A1和A5)以及视差图生成中间视点图像A2、A3、和A4,并且将中间视点图像添加到双视点图像52以生成多视点图像54(A1至A5)。
在步骤S4中,图像处理单元33对多视点图像54进行图像处理以基于多视点图像54和视差图来改变对象图像。在该示例中,针对视点图像A1、A2、A3、A4和A5中的每一个来执行用于对视差图中视差量(左视点图像A1中的像素与右视点图像A5中的像素之间的偏移量)过大的像素进行模糊的处理。其间视差较小的像素则几乎不被模糊。其间没有视差的像素(对应于交叉点的像素)则不被模糊。
如图6所示,不对对应于交叉点的人的图像执行模糊处理,并且针对短距离处的花的图像和长距离处的树的图像根据视差是大还是小来将模糊量切换为大或者小。
图像处理单元33使得多视点图像54中包括的多个视点图像A1至A5中处在两端的视点位置处的视点图像A1和A5的模糊量大于处在中心的视点位置处的视点图像A3的模糊量。更具体地说,视点图像与中心处的视点相距越远,则其模糊量就越大。
作为示例,已经描述了多视点图像54包括奇数个视点图像的情况,以便于理解本发明,对于多视点图像54包括偶数个视点图像的情况也是一样的。更具体地说,处于两端的视点位置处的视点图像的模糊量大于处于中心的视点位置处的视点图像的模糊量。
模糊处理不具体限定,只要使用诸如高斯法、移动平均法、和低通滤波器法之类的已知方法即可。
在步骤S5中,2D运动图像文件生成单元34生成2D运动图像文件以用于按视点图像的视点次序切换视点图像A1至A5,并且在显示单元25上二维地显示这些视点图像。
2D运动图像文件的文件格式并不具体限定,只要将其编辑为使得视点图像A1至A5以此次序进行显示即可。可以根据通过指令输入单元21设置的显示时间(例如在0.1秒和0.5秒之间切换)和显示切换方法(存在或不存在渐显/渐隐)来生成2D运动图像文件。
在步骤S6中,显示控制单元35按视点图像的次序来切换多视点图像54中包括的多个视点图像A1至A6,并且根据2D运动图像文件在显示单元25上二维地显示这些视点图像。例如,以前进的次序来显示视点图像A1、A2、A3、A4和A5,然后以后退的次序来显示视点图像A5、A4、A3、A2和A1。重复前进次序的显示和后退次序的显示,直到执行了显示停止操作。
尽管已经描述了模糊处理来作为用于通过2D运动图像显示确认多视点图像的图像处理的一个示例,然而还可以执行诸如对比度改变、饱和度改变、和锐度改变之类的图像处理。例如,像素之间的视差越大,则使得像素之间的对比度、饱和度、或锐度的减小量越大。更具体地,执行用于使得视差较大的像素的可视性的减小量更大的图像处理,以使得处在两端的视点位置处的视点图像的所述减小量大于处在中心的视点位置处的视点图像的所述减小量。
如图6所示,图像处理使用构成一个对象(该示例中为一个人)的其间没有视差的像素作为基准,来使得构成处于该基准前面区域中的对象(该示例中为花)的像素的模糊量、对比度减小量、饱和度减小量、或锐度减小量比构成处于该基准后面区域中的物体(该示例中为树)的像素的上述量更大。
<第二实施例>
根据第二实施例的图像处理单元33在图5所示步骤S4中的图像处理中基于视差图来执行用于放大和缩小对象图像的处理。图5中所示的步骤S1至S3和步骤S5至S6与第一实施例中的相同。下面将仅描述与第一实施例中不同的项。
如图7所示,如果将中间视点图像A2至A4添加到两个视点图像A1和A5,以生成多个视点图像A1至A5,则图像处理单元33参考从两个视点图像A1和A5生成的视差图,使用其间没有视差的像素(该示例中是构成人的像素)作为基准,以确定多个视点图像A1至A5的每一个内的另一对象图像(例如花或树)是处在该基准后面的后侧区域中还是处在该基准前面的前侧区域中,并且执行图像处理(放大/缩小处理)来减小后侧区域中的对象图像(该示例中为树)以及放大前侧区域中的对象图像(该示例中为花)。
根据本实施例,处在当观看3D影印品时看起来凸出的区域中的对象图像被放大,并且处在看起来回缩的区域中的对象图像被减小。因此,2D运动图像显示中的观看方法接近于3D影印品中的观看方法。
<第三实施例>
根据第三实施例的2D运动图像文件生成单元34在图5中所示的步骤S5中生成2D运动图像文件的处理中基于视点位置来切换显示时间。图5中所示的步骤S1至S4和步骤S6与第一实施例中的相同。下面将仅描述与第一实施例中不同的项。
如图8所示,如果得到多视点图像A1至A5,则根据本实施例的2D运动图像文件生成单元34将多视点图像A1至A5中包括的各视点图像当中处于两端的视点位置处的视点图像A1和A5的显示时间设置得比处在中心视点位置处的视点图像A3的显示时间更短。更具体地,视点图像与中心处的视点相距越远,就使其显示时间越短。在本示例中,处在中心处的视点图像A3的显示时间为0.3秒,在视点图像A3的两端外侧的视点图像A2和A4的显示时间为0.2秒,并且处在两端的视点图像A1和A5的显示时间为0.1秒。
尽管已经描述了多视点图像54包括奇数个视点图像的情况作为示例来便于理解本发明,然而对于多视点图像54包括偶数个视点图像的情况也是一样的。更具体地,使得处在两端的视点位置处的视点图像的显示时间比处在中心的视点位置处的视点图像的显示时间更短。
根据本发明,当生成3D影印品时,将处在双凸透镜折射率增大的两端处的视点位置上的显示时间设置得比处在中心处的视点位置上的显示时间更短。因此,2D运动图像显示中的观看方法接近于3D影印品中的观看方法。
尽管描述时将本发明分成了多个实施例,但可以以任何组合方式来实施这些实施例。例如,第二实施例和第三实施例可以结合实施。
尽管作为示例描述了多视点图像中包括的多个视点图像按照其次序来切换并且顺序地输出到显示单元25,然而输出单元并不具体限制于该显示单元25。可以使用另一输出装置。例如,通信装置可以将视点图像输出到网络,或者可以将视点图像输出到打印装置。
本发明不限于本说明书所描述的示例以及附图中示出的示例。可以在不脱离本发明范围的情况下做出各种设计改变和修改。
参考符号列表
2图像处理装置
22图像获取单元
25显示单元
31视差图生成单元
32多视点图像生成单元
33图像处理单元
34 2D图像文件生成单元
35显示控制单元

Claims (11)

1.一种图像处理设备,特征在于包括:
图像获取单元,其获取通过在多个视点处对对象进行成像而生成的多个视点图像;
视差图生成单元,其基于所述多个视点图像来生成表示视差分布的视差图;
多视点图像生成单元,其基于所述多个视点图像和所述视差图来生成多视点图像,所述多视点图像包括的视点图像的数量大于所述多个视点图像的数量;
图像处理单元,其基于所述多视点图像和所述视差图来对所述多视点图像的对象图像执行图像处理,并且根据视差来切换所述对象图像的图像处理量;和
输出单元,其对已经经过所述图像处理单元的图像处理的多视点图像中包括的多个视点图像进行切换,并且顺序地输出这些视点图像。
2.根据权利要求1的图像处理设备,其特征在于还包括显示控制单元,其按照视点图像的视点的次序对已经经过所述图像处理单元的图像处理的多视点图像中包括的多个视点图像进行切换,并且在用作所述输出单元的显示装置上二维地显示这些视点图像。
3.根据权利要求1或2的图像处理设备,其特征在于还包括运动图像文件生成单元,其生成运动图像文件,所述运动图像文件用于按照视点图像的视点的次序对已经经过所述图像处理单元的图像处理的多视点图像中包括的多个视点图像进行切换,并且在用作所述输出单元的显示装置上二维地显示这些视点图像。
4.根据权利要求1至3中任一项的图像处理设备,其特征在于所述图像处理单元使得所述多视点图像中的其间视差较大的像素的模糊量更大。
5.根据权利要求4的图像处理设备,其特征在于所述图像处理单元使得所述多视点图像中包括的多个视点图像中处于两端的视点位置处的视点图像的模糊量大于处于中心的视点位置处的视点图像的模糊量。
6.根据权利要求1的图像处理设备,其特征在于所述图像处理单元使得所述多视点图像中其间视差较大的像素的饱和度、对比度和锐度中的至少一项的减小量更大。
7.根据权利要求6的图像处理设备,其特征在于所述图像处理单元使得所述多视点图像中包括的多个视点图像中处于两端的视点位置处的视点图像的所述减小量大于处于中心的视点位置处的视点图像的所述减小量。
8.根据权利要求1至7中任一项的图像处理设备,其特征在于所述图像处理单元参考所述视差图,使用其间没有视差的像素作为基准,来确定每个视点图像内的对象图像是处于后侧区域还是前侧区域,并且执行用于缩小后侧区域中的对象图像以及增大前侧区域中的对象图像的图像处理。
9.根据权利要求1至8中任一项的图像处理设备,其特征在于所述输出单元使得所述多视点图像中包括的多个视点图像中处于两端的视点位置处的视点图像的输出时间比处在中心的视点位置处的视点图像的输出时间更短。
10.一种图像处理方法,其特征在于包括步骤:
图像获取步骤,用于获取通过在多个视点处对对象进行成像而生成的多个视点图像;
视差图生成步骤,用于基于所述多个视点图像来生成表示视差分布的视差图;
多视点图像生成步骤,用于基于所述多个视点图像和所述视差图来生成多视点图像,所述多视点图像包括的视点图像的数量大于所述多个视点图像的数量;
图像处理步骤,用于基于所述多视点图像和所述视差图来对所述多视点图像的对象图像执行图像处理,并且根据视差来切换所述对象图像的图像处理量;和
输出步骤,用于按照视点图像的视点的次序来对已经在所述图像处理步骤中经过了图像处理的多视点图像中包括的多个视点图像进行切换,并且顺序地输出这些视点图像。
11.根据权利要求10的图像处理方法,其特征在于包括运动图像文件生成步骤,用于生成运动图像文件,所述运动图像文件用于按照视点图像的视点的次序来对已经在所述图像处理步骤中经过了图像处理的多视点图像中包括的多个视点图像进行切换并且在显示装置上二维地显示这些视点图像。
CN201080065705.1A 2010-03-24 2010-11-24 图像处理设备和图像处理方法 Expired - Fee Related CN102812712B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010068237 2010-03-24
JP2010-068237 2010-03-24
PCT/JP2010/070849 WO2011118084A1 (ja) 2010-03-24 2010-11-24 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN102812712A true CN102812712A (zh) 2012-12-05
CN102812712B CN102812712B (zh) 2015-04-08

Family

ID=44672668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065705.1A Expired - Fee Related CN102812712B (zh) 2010-03-24 2010-11-24 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US8749660B2 (zh)
JP (2) JP5186614B2 (zh)
CN (1) CN102812712B (zh)
WO (1) WO2011118084A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431754A (zh) * 2015-03-10 2017-12-01 佳能株式会社 图像处理方法、图像处理装置和摄像设备
CN107534729A (zh) * 2015-04-28 2018-01-02 索尼公司 图像处理装置和图像处理方法
CN108702499A (zh) * 2016-01-27 2018-10-23 Fa系统工程株式会社 二维影像的立体影像化显示装置
CN110352592A (zh) * 2017-03-08 2019-10-18 索尼公司 成像设备和成像方法以及图像处理设备和图像处理方法
CN112492194A (zh) * 2015-03-10 2021-03-12 佳能株式会社 图像处理方法、图像处理装置和摄像设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
KR20140043264A (ko) * 2012-09-26 2014-04-09 삼성전자주식회사 다시점 영상 처리 장치 및 방법
JP6161307B2 (ja) * 2013-02-04 2017-07-12 キヤノン株式会社 撮像装置およびその制御方法
US20150033157A1 (en) * 2013-07-25 2015-01-29 Mediatek Inc. 3d displaying apparatus and the method thereof
JP6268794B2 (ja) * 2013-08-02 2018-01-31 セイコーエプソン株式会社 三次元画像表示用のプログラム及び印刷装置
CN105072342B (zh) * 2015-08-12 2018-01-12 珠海全志科技股份有限公司 图像合成装置及方法
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
JP6263221B2 (ja) * 2016-04-06 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010052935A1 (en) * 2000-06-02 2001-12-20 Kotaro Yano Image processing apparatus
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
US20080158369A1 (en) * 2006-12-27 2008-07-03 Fujifilm Corporation Image generating apparatus and image regenerating apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144192A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジヨン画像表示装置
JPH01279696A (ja) * 1988-04-30 1989-11-09 Nec Home Electron Ltd 表示装置
JP3276931B2 (ja) * 1996-08-07 2002-04-22 三洋電機株式会社 3次元映像の立体感調整方法及び立体感調整装置
JP4320271B2 (ja) 2003-11-28 2009-08-26 博文 伊藤 立体画像表示方法
FR2917845B1 (fr) * 2007-06-19 2011-08-19 Christophe Brossier Procede de visualisation d'une sequence d'images produisant une sensation de relief
KR20110015452A (ko) * 2008-06-06 2011-02-15 리얼디 인크. 입체 이미지의 블러 향상

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010052935A1 (en) * 2000-06-02 2001-12-20 Kotaro Yano Image processing apparatus
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
US20080158369A1 (en) * 2006-12-27 2008-07-03 Fujifilm Corporation Image generating apparatus and image regenerating apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431754A (zh) * 2015-03-10 2017-12-01 佳能株式会社 图像处理方法、图像处理装置和摄像设备
US10545311B2 (en) 2015-03-10 2020-01-28 Canon Kabushiki Kaisha Image processing method, image processing device, and image pickup apparatus
CN107431754B (zh) * 2015-03-10 2020-11-03 佳能株式会社 图像处理方法、图像处理装置和摄像设备
CN112492194A (zh) * 2015-03-10 2021-03-12 佳能株式会社 图像处理方法、图像处理装置和摄像设备
CN112492194B (zh) * 2015-03-10 2023-04-14 佳能株式会社 图像处理方法和图像处理装置
CN107534729A (zh) * 2015-04-28 2018-01-02 索尼公司 图像处理装置和图像处理方法
CN108702499A (zh) * 2016-01-27 2018-10-23 Fa系统工程株式会社 二维影像的立体影像化显示装置
CN110352592A (zh) * 2017-03-08 2019-10-18 索尼公司 成像设备和成像方法以及图像处理设备和图像处理方法
US10999500B2 (en) 2017-03-08 2021-05-04 Sony Corporation Imaging apparatus and imaging method, and image processing apparatus and image processing method
CN110352592B (zh) * 2017-03-08 2021-08-17 索尼公司 成像设备和成像方法

Also Published As

Publication number Publication date
CN102812712B (zh) 2015-04-08
US20130016256A1 (en) 2013-01-17
US8749660B2 (en) 2014-06-10
JP5186614B2 (ja) 2013-04-17
JP2013138442A (ja) 2013-07-11
JP5426785B2 (ja) 2014-02-26
WO2011118084A1 (ja) 2011-09-29
JPWO2011118084A1 (ja) 2013-07-04

Similar Documents

Publication Publication Date Title
CN102812712B (zh) 图像处理设备和图像处理方法
JP4835659B2 (ja) 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置
CN101636747B (zh) 二维/三维数字信息获取和显示设备
EP1836859B1 (en) Automatic conversion from monoscopic video to stereoscopic video
JP4440066B2 (ja) 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
JP4677175B2 (ja) 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
EP0707287B1 (en) Image processing apparatus and method
JP2006113807A (ja) 多視点画像の画像処理装置および画像処理プログラム
CN102404592B (zh) 图像处理设备和方法以及立体图像显示设备
JP2011182317A (ja) 撮像装置
JP3032414B2 (ja) 画像処理方法および画像処理装置
JP3452244B2 (ja) 3次元表示方法及び装置
JP2011211551A (ja) 画像処理装置および画像処理方法
CN102986231A (zh) 立体图像显示装置、立体成像装置及方法
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013003396A (ja) 3次元画像の提示方法
JP3054312B2 (ja) 画像処理装置及び方法
KR100927234B1 (ko) 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
JP2006211383A (ja) 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
JPH09200803A (ja) 画像処理装置及び画像処理方法
US20080204547A1 (en) Process and system used to discover and exploit the illusory depth properties inherent in an autostereoscopic image
JPH0749466A (ja) 画像表示方法
JP4270695B2 (ja) 立体画像表示装置用2dー3d画像変換方式および装置
JP2013250757A (ja) 画像処理装置、画像処理方法及びプログラム
KR100939080B1 (ko) 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150408

Termination date: 20181124

CF01 Termination of patent right due to non-payment of annual fee