CN102835118A - 图像生成装置、方法及打印机 - Google Patents

图像生成装置、方法及打印机 Download PDF

Info

Publication number
CN102835118A
CN102835118A CN2011800178085A CN201180017808A CN102835118A CN 102835118 A CN102835118 A CN 102835118A CN 2011800178085 A CN2011800178085 A CN 2011800178085A CN 201180017808 A CN201180017808 A CN 201180017808A CN 102835118 A CN102835118 A CN 102835118A
Authority
CN
China
Prior art keywords
visual point
image
point image
virtual
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800178085A
Other languages
English (en)
Inventor
渡边干夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102835118A publication Critical patent/CN102835118A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

根据左右视点图像数据(I(L))和(I(R))生成多个虚拟视点图像的图像处理装置（29）具有成像问题检测电路（32）、视差图生成电路（33）以及虚拟视点图像生成电路（34）。成像问题检测电路（32）检测视点图像数据(I(L))和(I(R))是否包含成像问题。当只有左视点图像数据(I(L))或只有右视点图像数据(I(R))异常，则视差图生成电路（33）提取与另一正常图像数据中每个像素对应的异常图像部分，并且生成视差图。虚拟视点图像生成电路（34）根据视差图和正常图像数据来生成虚拟视点图像数据。

Description

图像生成装置、方法及打印机
技术领域
本发明涉及基于由两个视点生成的目标的视点图像而根据从虚拟视点观看目标来生成虚拟视点图像的图像生成装置和方法，以及具有这种图像生成装置的打印机。
背景技术
已知一种利用具有大量水平布置的微透镜的微透镜片来观看3维图像的技术。线性图像交替地布置在微透镜片的背面上，所述线性图像是通过对从左右两个视点捕获的L和R视点图像进行线性分割而形成的。彼此相邻的线性图像定位在微透镜中的每一个的下方。左右眼通过微透镜来观看具有视差的L和R视点图像以观看3维图像。
顺便提及，如果用于L和R视点的线性图像中的仅两个线性图像被记录到微透镜中的每一个的背面上，则能够观看到的是不自然的双图像形式的3维图像。
在专利文献1中，披露了这样一种打印系统：其中基于由多视点照相机获得的L和R视点图像，通过根据电子内插从不同于L和R视点的多个虚拟设定的虚拟视点来观看目标而生成虚拟视点图像，从而根据原始的L和R视点图像以及新的虚拟视点图像将线性图像记录到微透镜片上。这样，线性图像的n（等于或大于3）个图像能够布置到微透镜中的每个的背面上。能够增强3维图像的立体外观。
现有技术文献
专利文献
专利文献1：日本未审查专利公开第2001-346226号
发明内容
本发明要解决的问题
然而，如果取像透镜中的一个取像透镜的一部分被使用多视点照相机进行拍摄的用户的手指遮挡，则不能正确地生成L和R视点图像中的一个。如果线性图像根据由L和R视点图像生成的虚拟视点图像而记录到微透镜片上，则观看到不自然的形式的3维图像。为了防止这点，可构思出将传感器布置为靠近取像透镜以用于检测手指的触摸。如果传感器检测到手指的触摸，则指示报警信息。然而，由于制造成本高，为所有的多视点照相机布置传感器不切实际。
已经提出了本发明以用于解决上述问题。本发明的目的是提供这样的图像生成装置和方法以及打印机：即使L和R视点的目标图像中的一个已发生故障，也能够可接受地获得虚拟视点图像。
解决问题的方法
为了实现上述目的，提供本发明的图像生成装置，所述图像生成装置根据第一视点图像和第二视点图像来生成虚拟视点图像，所述第一视点图像和所述第二视点图像是通过从不同视点对目标进行成像而捕获到的具有视差的图像，所述虚拟视点图像是通过从与所述视点不同的预定数量的虚拟视点观看所述目标而设定的，所述图像生成装置的特征在于包括：检测单元，其用于检测在所述第一视点图像和所述第二视点图像中是否存在故障；视差图生成器，如果根据所述检测单元的检测结果所述第一视点图像和所述第二视点图像中的一个是带有所述故障的异常图像，则所述视差图生成器进行操作，以在所述异常图像中提取与包括在所述第一视点图像和所述第二视点图像中的正常图像中的像素分别对应的对应点，并且所述视差图生成器用于根据提取的结果来生成表示所述目标的深度分布的视差图；以及图像生成单元，其用于根据所述视差图和所述正常图像来生成所述虚拟视点图像。
优选地，设有图像输出单元，所述图像输出单元用于将所述正常图像和所述虚拟视点图像输出到预定接收装置。优选地，设有视点设定单元，所述视点设定单元用于在异常图像的视点与正常图像的视点之间设定比预定数量更大数量的虚拟视点。所述图像生成单元按照根据距正常图像的视点的接近度的顺序来选择由所述视点设定单元设定的虚拟视点当中的预定数量的虚拟视点。
优选地，虚拟视点围绕目标彼此等角地布置。设有面积检测器检测，所述面积检测器检测在异常图像中已发生故障的区域面积。视点设定单元根据面积的增加而使虚拟视点的设定数量更高。
优选地，设有图像获取单元，所述图像获取单元用于从成像装置获取第一视点图像和第二视点图像，所述成像装置包括用于从不同视点对目标进行成像的多个成像单元。优选地，故障包括炫光和至少部分地遮挡所述成像单元的取像透镜的遮挡部分的图像中的至少任一种。
而且，本发明的打印机的特征在于包括：如上述方面中任一方面所限定的图像生成装置；以及记录单元，如果所述第一视点图像和所述第二视点图像中的任一个为所述异常图像，则所述记录单元根据所述正常图像和所述虚拟视点图像将立体可视图像记录到记录介质上。优选地，设有报警装置，如果第一视点图像和第二视点图像二者均已发生故障，则所述报警装置显示报警。
优选地，提供了一种图像生成方法，其根据第一视点图像和第二视点图像来生成虚拟视点图像，所述第一视点图像和所述第二视点图像是通过从不同视点对目标进行成像而捕获到的具有视差的图像，所述虚拟视点图像是通过从与所述视点不同的预定数量的虚拟视点观看所述目标而设定的，所述图像生成方法的特征在于包括：检测步骤，其中检测所述第一视点图像和所述第二视点图像中是否存在故障；视差图生成步骤，如果所述第一视点图像和所述第二视点图像中的一个根据所述检测步骤的检测结果是带有所述故障的异常图像，则所述视差图生成步骤在所述异常图像中提取与包括在所述第一视点图像和所述第二视点图像中的正常图像中的像素分别对应的对应点，并且根据提取的结果来生成表示所述目标的深度分布的视差图；以及图像生成步骤，其中用于根据所述视差图和所述正常图像来生成所述虚拟视点图像。
本发明的效果
在图像生成装置和方法及打印机中，如果根据检测单元的检测结果第一视点图像和第二视点图像中的一个为带有故障的异常图像，则在异常图像中提取分别对应于正常图像中的像素的对应点。根据提取结果来生成视差图。根据视差图和正常图像来生成虚拟视点图像。结果，即使第一视点图像和第二视点图像中的任一个异常，也能获得良好的虚拟视点图像。
附图说明
图1是示出3维打印系统的示意图；
图2是示出从其后侧观看到的微透镜片的透视图；
图3是示出图像处理装置的框图；
图4A是示出L视点图像数据的一个实例的图；
图4B是示出R视点图像数据的一个实例的图；
图4C是示出正常视点设定的图；
图4D是示出特殊视点设定的图；
图5A是示出正常视点设定的说明图；
图5B是示出特殊视点设定的说明图；
图6是示出在3维打印系统中进行记录的流程图；
图7是示出正常视差图像数据的数据生成的流程的流程图；
图8是示出正常视差数据的数据输出处理的说明图；
图9是示出L视差图像数据的数据输出处理的流程的流程图；
图10A是示出未发生成像错误的情况下L视点图像数据的实例的图；
图10B是示出发生成像错误的情况下R视点图像数据的实例的图；
图10C是示出参照图10A的L视点图像数据生成的视差图的实例的图；
图11A是示出未发生成像错误的情况下L视点图像数据的实例的图；
图11B是示出发生成像错误的情况下R视点图像数据的实例的图；
图11C是示出参照图11A的L视点图像数据生成的视差图的实例的图；
图11D是示出参照图11B的L视点图像数据生成的视差图的实例的图；
图12是示出L视差图像数据的数据输出处理的说明图；
图13是示出R视差图像数据的数据输出处理的流程的流程图；
图14是示出L和R视点图像数据的数据输出处理的流程的流程图；
图15是示出第二实施例的打印机的构造的框图；
图16是示出第三实施例的3维打印系统的框图；
图17是示出用于正常成像的视差图的说明图；
图18是示出用于人像成像的视差图的说明图；
图19是示出用于风景成像的视差图的说明图；
图20是示出第三实施例的3维打印系统的记录的流程图；
图21是示出第三优选实施例的用于L视差图像数据的数据输出处理的流程的流程图；
图22是示出第三优选实施例的用于L视差图像数据的数据输出处理的说明图；
图23是示出第三优选实施例的R视差图像数据的数据输出处理的流程图；以及
图24是示出第四实施例的3维打印系统的框图。
具体实施方式
如图1所示，3维打印系统10由多视点照相机11和打印机12构成。多视点照相机11具有一对成像单元14L和14R，成像单元14L和14R在从布置于左右的两个不同视点对目标进行成像时生成具有视差的左视点的L视点图像数据I(L)和右视点的R视点图像数据I(R)。包含L视点图像数据I(L)和R视点图像数据I(R)的图像文件15记录到存储卡16上。附图标记14a指示成像单元14L和14R的取像透镜。
打印机12根据存储卡16中记录的L视点图像数据I(L)和R视点图像数据I(R)进行操作，并且将多个视点图像数据打印到微透镜片17（下文中称为片17，如图2所示）的背面上，以进行立体成像。
如图2所示，半圆柱形的大量微透镜18（此处简称为透镜）排布在片17的正面上。片17的背面为平坦的。在背面上，分别为微透镜18虚拟地限定图像区域19。图像区域19中的一个对应于微透镜18中的一个。
根据视点图像的数量沿微透镜18的排布方向划分图像区域19。例如，对于六个视点的图像记录，图像区域19被划分成六个区域或第一至第六个小区域19a-19f，其中以六个视点的图像的线性划分方式分别记录线性图像。小区域19a-19f以一对一的对应关系对应于六个视点的图像。
而且，在图1中，打印机12中的CPU 21响应于来自输入装置单元22的控制信号，通过从存储器23读取的数据连续地运行各种程序，并且整体控制打印机12中的各种元件。存储器23中的RAM区域作为CPU 21的工作存储器工作以执行任务以及作为用于暂时存储各种数据的存储器区域。
输入装置单元22、存储器23、片传送机构26、图像记录单元27、图像输入接口28（I/F）、图像处理装置29（图像生成装置）、监控器30等通过总线25连接至CPU 21。
输入装置单元22用于接通/关断打印机12的电源，开始图像记录等。片传送机构26沿与微透镜18的排布方向平行的副扫描方向传送片17。
图像记录单元27将沿主扫描方向延伸的线性图像记录到片17的背面上。在每次沿副扫描方向将片17传送一行时，图像记录单元27逐行地记录线性图像。因此，可以记录沿副扫描方向排布的线性图像。
在图像输入接口28中，设有存储卡16。图像输入接口28从存储卡16中读取图像文件15并且将其发送至图像处理装置29。
图像处理装置29根据图像文件15中的L视点图像数据I(L)和R视点图像数据I(R)从不同于L和R视点的多个虚拟视点生成虚拟视点图像数据。而且，在生成虚拟视点图像数据时，图像处理装置29将n个视点的视差图像数据供给图像记录单元27，n个视点的视差图像数据包含L和R视点图像数据I(L)和I(R)以及虚拟视点图像数据中的至少一项。注意的是，视差图像数据是通过从不同视点观看目标而得到的图像的一组离散视点图像数据。
监控器30显示用于选择图像记录菜单的选择屏幕、用于设定各种参数的设定屏幕以及在出现难题时的报警消息。
如图3所示，图像处理装置29包括图像读取器31（图像获取单元）、成像错误检测电路32（检测单元）、视差图生成电路33、用于虚拟视点图像的图像生成电路34以及图像输出单元35。
图像读取器31根据输入装置单元22中的指示通过图像输入接口28从存储卡16中读取和存储图像文件15。
成像错误检测电路32分析图像读取器31中的图像文件15，并且检测L和R视点图像数据I(L)和I(R)是否已经发生成像错误。成像错误的实例包括作为物理故障的手指存在以及作为光学故障的炫光。“手指存在”是指用户的手指（障碍物）干扰到取像透镜14a的至少一部分从而造成目标图像中手指图像的出现。（见图10B。）
例如，通过预先存储在手指存在发生时捕获到的多个图像图案并且通过检查那些图像图案与L和R视点图像数据I(L)和I(R)的相似度，能够检测到手指存在的发生。例如，通过比较L和R视点图像数据I(L)和I(R)并且通过检查那些数据的各部分之间的亮度差是否高于预定阈值，能够检测出炫光的出现。
视差图生成电路33根据图像读取器31中的L和R视点图像数据I(L)和I(R)来生成表示目标的深度分布的视差图，并且将视差图输出至图像生成电路34。视差图生成电路33生成以L视点图像数据I(L)为基准的视差图38L和以R视点图像数据I(R)为基准的视差图38R中的至少一个。现在将对生成视差图38L的方法的实例进行说明。
如图4A和图4B所示，关于L和R视点图像数据I(L)和I(R)中的共同区域，分别与L视点图像数据I(L)中的各像素39相关联地提取R视点图像数据I(R)中的各像素40（对应点）。在附图中，示出了像素39和对应点40的代表性实例。提取对应点40的方法是上述专利文献1中披露的模板匹配方法以及其它方法，可以使用任一种方法。
然后，获得R视点图像数据I(R)中的对应点40在水平方向上相对于L视点图像数据I(L)中的像素39中的每一个的位置偏移。因此，获得L视点图像数据I(L)的每一个像素39中的视差，从而构成图4C所示的视差图38L。在附图中，点密度的高度意味着距多视点照相机11的接近度。具有高的点密度的部分表示诸如接近与多视点照相机11的人之类的主要目标。具有低的点密度的部分表示远离多视点照相机11的背景。
另一方面，图4D所示的视差图38R是通过获得L视点图像数据I(L)中的对应点40相对于R视点图像数据I(R)中的每个像素39的位置偏移而生成的。
而且，在图3中，图像生成电路34生成从不同于左右视点的虚拟视点观看到的目标的虚拟视点图像数据。图像生成电路34包括用于虚拟视点的视点设定单元43和用于虚拟视点图像的图像生成单元44。
视点设定单元43设定在L和R视点之间的多个虚拟视点。视点设定单元43选择性地执行正常视点设定和特殊视点设定中的任一项，下面将进行说明。
在图5A中，正常视点设定进行操作以根据n=6个视点设定（n-2）=4个虚拟视点V(1)至V(4)。虚拟视点V(1)至V(4)被等角地确定以将收敛角α分成5份，收敛角α限定在L视点V(L)的视点方向和R视点V(R)的视点方向之间。
在图5B中，特殊视点设定进行操作以根据n=6个视点设定（2n-2）=10个虚拟视点V(1)至V(10)。虚拟视点V(1)至V(10)被等角地确定以将收敛角α分成11份。
而且在图3中，图像生成单元44生成对应于由视点设定单元43设定的虚拟视点的虚拟视点数据，并且将虚拟视点数据发送至图像输出单元35。图像生成单元44在执行正常视点设定时执行正常图像生成，并且在执行特殊视点设定时执行特殊图像生成。
在正常图像生成时，接连地执行L正常图像生成和R正常图像生成。在L正常图像生成时，根据相对于限定在L和R视点V(L)和V(R)之间的中心而言布置在L视点V(L)一侧的虚拟视点，来生成虚拟视点图像数据。（见图8。）具体地，虚拟视点图像数据（下文称为L虚拟视点图像数据）是根据L视点图像数据I(L)和视差图38L生成的。
另一方面，在R正常图像生成时，根据相对于限定在L和R视点V(L)和V(R)之间的中心而言布置在R视点V(R)一侧的虚拟视点，来生成虚拟视点图像数据。具体地，虚拟视点图像数据（下文称为R虚拟视点图像数据）是根据R视点图像数据I(R)和视差图38R生成的。因此，生成了在右侧和左侧总共（n-2）个L和R虚拟视点图像数据。
在特殊图像生成时，选择性地执行L和R特殊图像生成中的一个。在L特殊图像生成时，按距L视点V(L)的接近度的次序选择（n-1）个虚拟视点，从而生成对应于虚拟视点的L虚拟视点图像数据。（见图12。）在R特殊图像生成时，按距R视点V(R)的接近度的次序选择（n-1）个虚拟视点，从而生成对应于虚拟视点的R虚拟视点图像数据。这样，生成了（n-1）个L虚拟视点图像数据或（n-1）个R虚拟视点图像数据。
当通过图像生成单元44输入虚拟视点图像数据时，图像输出单元35将n个视点的视差图像数据输出至图像记录单元27。在未输入虚拟视点图像数据的情况下，图像输出单元35将图像读取器31中的L和R视点图像数据I(L)和I(R)输出至图像记录单元27。根据从图像生成单元44输入的虚拟视点图像数据的数量和类型，N个视点的视差图像数据是下面要说明的正常视差图像数据、L视差图像数据和R视差图像数据中的任一种。
正常视差图像数据由来自图像生成单元44的L和R虚拟视点图像数据中的（n-2）个数据和来自图像读取器31的L和R视点图像数据I(L)和I(R)构成。L视差图像数据由来自图像生成单元44的（n-1）个L虚拟视点图像数据以及来自图像读取器31的L视点图像数据I(L)构成。R视差图像数据由来自图像生成单元44的（n-1）个R虚拟视点图像数据和来自图像读取器31的R视点图像数据I(R)构成。
根据成像错误检测电路32的检测结果，CPU 21选择性地执行正常视差图像数据的输出处理、L视差图像数据的输出处理、R视差图像数据的输出处理以及L和R视差图像数据的输出处理。
当已经正确地捕获L和R视点图像数据I(L)和I(R)两者时，执行正常视差图像数据的数据输出处理。当R视点图像数据I(R)已经发生成像错误时，执行L视差图像数据的数据输出处理。当L视点图像数据I(L)已经发生成像错误时，执行R视差图像数据的数据输出处理。
当L和R视点图像数据I(L)和I(R)两者均发生成像错误时，执行L和R视点图像数据的数据输出处理。CPU 21使监控器30显示针对L和R视点图像数据I(L)和I(R)两者均发生成像错误的事实的报警消息等。
利用图6中的流程图来描述上述构造的3维打印系统10的图像记录。对于六个视点（n=6）的图像要记录到片17上的结构进行了说明。
首先，从多视点照相机11移除的存储卡16设定在图像输入接口28上。在设定之后，输入装置单元22选择图像文件15以开始记录。CPU 21将读取图像文件15的命令发送至图像读取器31。因此，图像读取器31通过图像输入接口28从存储卡16中读取指定的图像文件15，并且将以临时的方式存储该图像文件15。
然后，CPU 21将检测成像错误的命令发送至成像错误检测电路32。成像错误检测电路32响应于该命令而分析图像读取器31中的L和R视点图像数据I(L)和I(R)，检查L和R视点图像数据I(L)和I(R)的成像错误的发生，并且将检测结果发送至CPU 21。
在L和R视点图像数据I(L)和I(R)中的任一个都未发生成像错误的情况下，CPU 21执行正常视差图像数据的数据输出处理。而且，在R视点图像数据I(R)发生成像错误的情况下，CPU 21执行L视差图像数据的数据输出处理，并且在L视点图像数据I(L)发生成像错误的情况下，CPU 21执行R视差图像数据的数据输出处理。在L和R视点图像数据I(L)和I(R)两者均发生成像错误的情况下，CPU 21执行L和R视点图像数据的数据输出处理。
[正常视差图像数据的数据输出处理]
如图7所示，决定执行正常视差图像数据的数据输出处理。用于划分收敛角α的划分数量（下文中称为视点划分数量）K确定为“5”。虚拟视点的设定数量确定为“4”。然后，CPU 21将用于生成视差图38L的命令发送至视差图生成电路33。视差图生成电路33响应于该命令而提取R视点图像数据I(R)中与L视点图像数据I(L)中的像素39相对应的对应点40，并且根据提取的结果而生成视差图38L。视差图38L输出至图像生成电路34。
CPU 21将正常视点设定命令发送至视点设定单元43。视点设定单元43响应性地开始图5A所示的正常视点设定。视点设定单元43获取与距多视点照相机11最近的目标位置相对应的视差值以及与距多视点照相机11最远的目标位置相对应的视差值。然后，设定虚拟视点V(1)至V(4)，以使得在片17的记录表面前方的预定距离处观看到最近的目标，并且使得在片17的记录表面后方的预定距离处观看到最远的目标。注意的是，公知的方法能够用于设定虚拟视点的方法。
然后，CPU 21将用于执行L正常图像生成的命令发送至图像生成单元44。因此，图像生成单元44根据视差图38L和L视点图像数据I(L)而生成对应于虚拟视点V(1)和V(2)的L虚拟视点图像数据IL(1)和IL(2)。注意的是，根据视差图和L视点图像数据生成虚拟视点图像数据的方法是公知技术，此处不进行进一步说明。（例如，见JP-A 2001-346226和JP-A 2003-346188。）
在L虚拟视点图像数据IL(1)和IL(2)生成之后，CPU 21将用于生成视差图38R的命令发送至视差图生成电路33。视差图生成电路33响应于该命令而提取L视点图像数据I(L)中与R视点图像数据I(R)中的各个像素39相对应的对应点40，并且根据提取的结果而生成视差图38R。
然后，CPU 21将用于设定正常视点的命令发送至视点设定单元43，并且将执行R正常图像生成的命令发送至图像生成单元44。因此，与虚拟视点V(3)和V(4)相关联地生成R虚拟视点图像数据IR(3)和IR(4)。
如图8所示，与虚拟视点V(1)至V(4)相关联地生成L虚拟视点图像数据IL(1)和IL(2)以及R虚拟视点图像数据IR(3)和IR(4)。因此，连同初始的L和R视点图像数据I(L)和I(R)一起获得总共六个视点的视点图像数据。虚拟视点图像数据IL(1)、IL(2)、IR(3)和IR(4)输入至图像输出单元35。
CPU 21将用于输出正常视差图像数据的命令发送至图像输出单元35。图像输出单元35响应于该命令而从图像读取器31中读取L和R视点图像数据I(L)和I(R)。然后，图像输出单元35将六个视点的正常视差图像数据输出至图像记录单元27，正常视差图像数据包括虚拟视点图像数据IL(1)、IL(2)、IR(3)和IR(4)以及L和R视点图像数据I(L)和I(R)。最后，完成正常视差图像数据的数据输出处理。
[L视差图像数据的数据输出处理]
如图9所示，决定执行L视差图像数据的数据输出处理。划分数量K确定为“11”。虚拟视点的设定数量确定为“10”。然后，CPU 21将用于生成视差图38L的命令发送至视差图生成电路33。视差图生成电路33据此生成视差图38L。
如图10A和图10B所示，在R视点图像数据I(R)的局部区域中出现了手指存在的手指图像46（阴影）。如图10C所示，在由于手指图像46而具有视差异常值的视差图38L中也出现了异常区域47（阴影）。即使具有异常区域47，视差图38L也能够具有比视差图38R精度高的目标深度分布，下面将对此进行说明
如图11A和图11B所示，例如，R视点图像数据I(R)中的与L视点图像数据I(L)中的像素39a相对应的对应点40a被手指图像46遮蔽。在该状态下，靠近对应点40a且未被手指图像46遮蔽的像素可以为对应点40b，从而获得像素39a与对应点40b之间的视差。尽管该视差的值由于不正确对应的结果而不正确，但是该视差的值可以为用于表示目标的一定深度的值。因此，如图11C所示，异常区域47的视差值可以为通过参照正常捕获的L视点图像数据I(L)搜索对应点而获得的用于表示视差图38L中的目标的一定深度的值。
在手指图像46生成之后参照R视点图像数据I(R)搜索对应点时，未发现视差值，这是因为L视点图像数据I(L)中不存在与手指图像46的各个像素相关联的对应点。如图11D所示，异常区域49的视差值为通过参照R视点图像数据I(R)搜索对应点而获得的视差图38R中的缺省值（正常为0或255）。因此，与根据视差图38R相比，能够以更高的精度获得根据视差图38L的目标的深度分布。
对于上述原因，在R视点图像数据I(R)中发生成像错误的情况下，生成视差图38L。视差图38L输出至图像生成电路34。然后，CPU 21将用于设定特殊视点的命令发送至视点设定单元43。
如图12所示，视点设定单元43在接收到特殊视点设定命令时通过执行特殊视点设定来设定虚拟视点V(1)至V(10)。然后，CPU 21将执行L特殊图像生成的命令发送至图像生成单元44。
图像生成单元44在接收到来自CPU 21的命令时根据视差图38L和L视点图像数据I(L)而生成对应于虚拟视点V(1)至V(5)的L虚拟视点图像数据IL(1)至IL(5)。因为虚拟视点图像数据是根据正常的L视点图像数据I(L)生成的，所以手指图像46不包含在虚拟视点图像数据中。
在视差图38L中已经出现如图11C所示的异常区域47。在对应于虚拟视点的L虚拟视点图像数据中发生故障的可能性根据虚拟视点距R视点V(R)的接近度而变高。而且，故障的程度变高。应当注意的是，故障是指例如一部分背景看起来处在布置在图像中央的主目标前面的状态。
图像生成单元44根据距L视点V(L)的接近度而生成对应于五个虚拟视点V(1)至V(5)的L虚拟视点图像数据IL(1)至IL(5)。那些图像数据发生故障的可能将较低。如果发生这样的故障，则错误的程度将较小。L虚拟视点图像数据IL(1)至IL(5)被输入至图像输出单元35。
CPU 21将用于输出L视差图像数据的命令发送至图像输出单元35。因此，图像输出单元35将六个视点的L视差图像数据输出至图像记录单元27，L视差图像数据包括L虚拟视点图像数据IL(1)至IL(5)以及从图像读取器31读取的L视点图像数据I(L)。然后，完成L视差图像数据的数据输出处理。
[R视差图像数据的数据输出处理]
如图13所示，R视差图像数据的数据输出处理的流程与L视差图像数据的数据输出处理的流程基本相同。注意的是，在R视差图像数据的数据输出处理中生成视差图38R。然后，根据视差图38R和R视点图像数据I(R)生成对应于五个虚拟视点V(6)至V(10)的R虚拟视点图像数据IR(6)至IR(10)，五个虚拟视点位于依照它们距R视点V(R)的接近度的序列中。因此，六个视点的R视差图像数据输出至图像记录单元27，包括R虚拟视点图像数据IR(6)至IR(10)和R视点图像数据I(R)。然后，完成R视差图像数据的数据输出处理。
[L和R视点图像数据的数据输出处理]
如图14所示，CPU 21在确定执行L和R视点图像数据的数据输出处理时使监控器30显示在L和R视点图像数据I(L)和I(R)两者中均已发生成像错误的报警。此外，CPU 21临时停止图像记录，并且使监控器30显示关于是否应当继续进行图像记录的消息。
当操作输入装置单元22而继续图像记录时，CPU 21将用于输出L和R视点图像数据的命令发送至图像输出单元35。图像输出单元35从图像读取器31中读取L和R视点图像数据I(L)和I(R)并且将其发送至图像记录单元27。如果操作输入装置单元22以停止图像记录，则CPU 21停止图像记录。
而且，在图6中，当正常视差图像数据以及L和R视差图像数据中的任一个输入至图像记录单元27时，CPU 21将六个视点的图像记录的命令发送至图像记录单元27。响应于该命令，图像记录单元27将线性图像记录到片17的背面上，线性图像是通过对六个视点的视点图像进行线性分割而形成的。由于基于L和R视差图像数据进行记录，与基于正常视差图像数据的记录相比，3维图像的立体外观更低。然而，未显示出诸如手指图像46和炫光之类的成像故障，因此足可观看到3维图像。
另一方面，当仅将L和R视差图像数据I(L)和I(R)输入到图像记录单元27中时，CPU 21将两个视点的图像记录的命令发送至图像记录单元27。响应于该命令，图像记录单元27将线性图像记录到片17的背面上，线性图像是通过将L和R视差图像数据I(L)和I(R)分别进行线性分割而形成的。而且，对于存储卡16中的其余图像文件15的图像记录，重复地执行上述处理。
在上述第一实施例中，已经对将六个视点的视差图像数据记录到片17上的结构进行了说明。对于将三个或更多个视点的视差图像数据记录到片17上的结构，可以使用本发明。通过用于将n个视点的视差图像数据记录到片17上的针对各个视差图像数据的数据输出处理所生成的L和R虚拟视点图像数据根据表达式1-3被表示如下：
1.正常视差图像数据的数据输出处理
（1）视点的划分数量：K=n-1
（2）虚拟视点的设定数量：n
（3）L虚拟视点图像数据：IL(1),IL(2),...,IL((K+1)/2-1)
（4）R虚拟视点图像数据：IR((K+1)/2,IR((K+1)/2+1),...,IR(K-1)
2.L视差图像数据的数据输出处理
（1）视点的划分数量：K=2n-1
（2）虚拟视点的设定数量：n
（3）L虚拟视点图像数据：IL(1),IL(2),...,IL((K+1)/2-1)
3.R视差图像数据的数据输出处理
（1）视点的划分数量：K=2n-1
（2）虚拟视点的设定数量：n
（3）R虚拟视点图像数据：IR((K+1)/2,IR((K+1)/2+1),...,IR(K-1)
[第二实施例]
通过参照图15对本发明的第二实施例的打印机52进行说明。在上述第一实施例中，在特殊视点设定中设定的虚拟视点的设定数量是预先确定的。相反，打印机52根据L和R视点图像数据中发生诸如手指图像46之类的成像错误的区域（下文简称为成像错误区域）的面积来设定虚拟视点的设定数量。
以与第一实施例的打印机12基本相同的方式来构造打印机52。然而，成像错误检测电路32具有面积检测器53。CPU 21作为虚拟视点的视点设定控制单元54而工作。用于设定数量的数量设定表55存储在存储器23中。
数量设定表55将成像错误区域的面积S和虚拟点的设定数量彼此相关联地存储。在数量设定表55中，实现它们的相关以使虚拟视点的设定数量根据面积S的增加而增加预定量。
当成像错误检测电路32检测到成像错误的发生时，面积检测器53进行操作，获取成像错误区域的面积S，并且将获取的结果输出至CPU 21。例如，通过指定图像数据中的成像错误区域并且通过对区域中的像素数进行计数来获得面积S。而且，可以通过用于将正常捕获的图像数据与发生成像错误的图像数据进行比较的各种匹配方法来指定成像错误区域。
视点设定控制单元54在特殊视点设定时操作并且确定虚拟视点的设定数量。视点设定控制单元54通过参照存储器23的数量设定表55并且根据由面积检测器53输入的面积S的值来确定虚拟视点的设定数量，并且将确定结果发送至视点设定单元43。因此，在特殊视点设定中，虚拟视点的设定数量可以根据成像错误区域的面积S而增加或减少。
如果成像错误区域的面积S大，则可以增加虚拟视点的设定数量。虚拟视点图像数据的各个虚拟视点的位置能够设定为更靠近尚未发生成像错误的L和R视点。在图12中，例如，虚拟视点的设定数量从10增加至20。然后，虚拟视点V(1)至V(5)的位置更靠近L视点V(L)。因此，能够减少成像错误对虚拟视点图像数据的影响。
[第三实施例]
现在利用图16对本发明的第三实施例的3维打印系统58进行说明。在第一实施例中，虚拟视点图像数据是根据视差图生成的，视差图是在L和R视差图像数据的数据输出处理的过程中由视差图生成电路33生成的。相反，在L和R视点图像数据I(L)和I(R)中的任一个发生成像错误的情况下，3维打印系统58利用提前存储的视差图来生成虚拟视点图像数据。3维打印系统58是由多视点照相机59和打印机60构成的。
多视点照相机59与第一实施例的多视点照相机11基本相同。多视点照相机59的成像模式为人像成像模式、风景成像模式和正常成像模式。人像成像模式是在适于人像成像的成像条件下（例如，通过在近场聚焦）进行成像的模式。风景成像模式是在适于风景成像的成像条件下（例如，通过在远场聚焦）进行成像的模式。正常成像模式是广泛覆盖适于人像成像和风景成像的成像条件的模式。在将图像文件15记录到存储卡16中时，多视点照相机59为图像文件15分配用于表示成像模式的模式设定的辅助信息62。
以与上述第一实施例的打印机12基本相同的方式构造打印机60。然而，打印机60的图像处理装置64具有视差图存储介质65、视差图输出单元66和用于虚拟视点图像的图像生成电路67。
视差图存储介质65存储用于正常成像的视差图71、用于人像成像的视差图72以及用于风景成像的视差图73。
如图17所示，视差图71是考虑到这样的L和R视点图像数据的图像，其中，主目标H布置在画面中央，在画面下部的目标布置在主目标H的前方，并且在画面上部的目标布置在主目标H的后方。视差图71划分成四个区域，包括视差值设定为零的区域A(0)、视差值设定为-10的区域A(-10)、视差值设定为+10的区域A(+10)，以及视差值设定为+20的区域A(+20)。参照区域A(0)将各区域表示为使得区域布置根据其视差值较小而更靠前而根据其视差值较大而更靠后。
区域A(0)为大致梯形形状，并且设定在映像的中央。这是因为，观看者更可能注视主目标H，并且在映像中央发生视差的情况下他或她的眼疲劳可能增加。包括区域A(-10)、区域A(+10)和区域A(+20)的其它区域布置在映像的不同于映像中央的下部、中间部和上部。
如图18所示，视差图72是考虑到由人像成像获得的L和R视点图像数据的图像。在视差图72中，大致矩形形状的区域A(0)布置在映像的下部中央以及映像的中央处。区域A(-10)布置在映像的下部处以及区域A(0)的下端周边上。区域A(+10)布置在除了区域A(-10)之外的区域中的区域A(0)的部分周边上。区域A(+20)布置在区域A(+10)的周边上。
如图19所示，视差图73是考虑到通过风景成像获得的L和R视点图像数据的映像。在视差图73中，带状的区域A(-10)、区域A(0)、区域A(+10)和区域A(+20)从映像的下部到上部连续地确定。
而且，在图16中，视差图输出单元66从视差图存储介质65中的视差图71-73当中选择最适于图像文件15的目标场景的视差图（下文称为最优视差图），并且将其输出至图像生成电路67。视差图输出单元66具有目标场景检测器75。
目标场景检测器75参考图像文件15的辅助信息62，在获取图像文件15时检查成像模式的模式设定，并且判断图像文件15的目标场景的种类是人像成像、风景成像和正常成像中的任一种。
图像生成电路67以与第一实施例的图像生成电路34基本相似的方式生成虚拟视点图像数据。然而，如果L和R视点图像数据I(L)和I(R)中的任一个已经发生成像错误，则用于虚拟视点的视点设定单元77执行不同于第一实施例的特殊视点设定（下文称为特殊视点设定X）。用于虚拟视点图像的图像生成单元78执行不同于第一实施例的特殊图像生成（下文称为特殊图像生成X）。
在特殊视点设定X中，关于n=6个视点，设定（n-1）=5个虚拟视点V(1)至V(5)。（见图22。）这是因为，通过用于生成虚拟视点图像数据的视差图来使用提前存储的视差图，而不是使用根据成像错误发生之后的L和R视点图像数据所生成的视差图。在利用提前存储的视差图来生成该虚拟视点的情况下，虚拟视点图像数据的虚拟视点的位置不受成像错误的影响，即使该成像错误被限定为靠近发生成像错误的一侧的视点。
在特殊图像生成X中，下面所述的L和R特殊图像生成X根据已经发生成像错误的L和R视点图像数据I(L)和I(R)中的任一个来选择性地执行。
L特殊图像生成X利用L视点图像数据I(L)和最优视差图来生成分别对应于虚拟视点V(1)至V(5)的L虚拟视点图像数据IL(1)至IL(5)。R特殊图像生成X利用R视点图像数据I(R)和最优视差图来生成分别对应于虚拟视点V(1)至V(5)的R虚拟视点图像数据IR(1)至IR(5)。
现在将参照图20中的流程图对上述构造的3维打印系统58中的图像记录进行说明。以与第一实施例相似的方式，对要将六个视点（n=6）的图像数据记录到片17上的结构进行说明。注意的是，对于L和R视点图像数据I(L)和I(R)两者中均发生成像错误的状态的处理与第一实施例中相同，不进行进一步说明。对于L和R视点图像数据I(L)和I(R)中任一个均不发生成像错误的状态的处理与第一实施例中相同，不进行进一步说明。
在对L和R视点图像数据I(L)和I(R)中之一进行成像时发生成像错误的情况下，CPU 21将用于输出最优视差图的图像的命令发送至视差图输出单元66。视差图输出单元66响应于该命令而驱动目标场景检测器75。目标场景检测器75检测在图像读取器31中的图像文件15的辅助信息62中记录的成像模式的模式设定。因此，判断目标场景的种类是人像成像、风景成像和正常成像中的一种。
然后，视差图输出单元66从视差图存储介质65中选择最优视差图以对应于目标场景检测器75中的检测结果，并且将最优视差图发送至图像生成电路67。在R视点图像数据I(R)中发生成像错误的情况下，CPU 21执行L视差图像数据的数据输出处理。
[L视差图像数据的数据输出处理]
如图21所示，决定进行L视差图像数据的数据输出处理的任务。视点的划分数量K确定为“6”。虚拟视点的设定数量确定为“5”。然后，CPU 21将用于特殊视点设定的命令发送至视点设定单元43。
如图22所示，视点设定单元43在接收到特殊视点设定时执行特殊视点设定X以设定虚拟视点V(1)至V(5)。然后，CPU 21将用于执行L特殊图像生成X的命令发送至图像生成单元78。
图像生成单元78在接收到来自CPU 21的命令时根据最优视差图和L视点图像数据I(L)来生成对应于虚拟视点V(1)至V(5)的L虚拟视点图像数据IL(1)至IL(5)。与第一实施例不同，不需要生成视差图38L。可以减小图像处理装置64的负荷并且设定比第一实施例短的处理时间。此外，使用了提前存储的视差图。即使当L和R视点图像数据I(L)和I(R)中的一个中已经发生成像错误的区域的面积大时，也能够获得品质略好的虚拟视点图像数据。
L虚拟视点图像数据IL(1)至IL(5)输入至图像输出单元35。然后，CPU 21将用于输出L视差图像数据的命令发送至图像输出单元35。这样，图像输出单元35将六个视点的L视差图像数据输出至图像记录单元27，L视差图像数据包括L虚拟视点图像数据IL(1)至IL(5)和L视点图像数据I(L)。然后，完成L视差图像数据的数据输出处理。
[R视差图像数据的数据输出处理]
如图23所示，在L视点图像数据I(L)中发生成像错误的情况下，CPU 21执行R视差图像数据的数据输出处理。R视差图像数据的数据输出处理的流程与L视差图像数据的数据输出处理的流程基本相同。然而，在R视差图像数据的数据输出处理中，根据最优视差图和R虚拟视点图像数据I(R)生成对应于虚拟视点V(1)至V(5)的R虚拟视点图像数据IR(1)至IR(5)。然后，六个视点的R视差图像数据输出至图像记录单元27，包括R虚拟视点图像数据IR(1)至IR(5)以及R视点图像数据I(R)。这样，完成R视差图像数据的数据输出处理。
输出L和R视差图像数据之后续步骤与第一实施例相同，并且不进行进一步说明。因为虚拟视点图像数据是根据未发生成像错误的图像数据生成的，所以在第三实施例中也可以可接受地观看3维图像。
在上述第三实施例中，已经对将六个视点的视差图像数据记录到片17上的结构进行了说明。对于将三个或以上视点的视差图像数据记录到片17上的结构，也可以使用本发明。
在上述第三实施例中，正常成像、人像成像和风景成像的视差图71-73是存储在视差图存储介质65中的视差图的实例。然而，可以存储对应于其它各种目标场景的视差图。在第三实施例中，根据图像文件15的辅助信息62来检测目标场景。然而，可以使用例如公知的面部检测处理，并且根据检测面部存在性的结果及其在L和R视点图像数据I(L)和I(R)中的尺寸来检测目标场景。
在上述第三实施例中，在六个视点的L和R视差图像数据的数据输出处理时设定了五个虚拟视点。然而，可以以与第一实施例相似的方式设定十个虚拟视点来生成五个虚拟视点图像数据。除了使用最优视差图而不使用视差图38L和38R之外，可以与第一实施例相似的方式来生成虚拟视点图像数据。
[第四实施例]
通过参照图24对本发明的第四实施例的3维打印系统80进行说明。在上述实施例中，打印机生成虚拟视点图像数据。在3维打印系统80中，多视点照相机生成虚拟视点图像数据。3维打印系统80由多视点照相机81和打印机82构成。
多视点照相机81包括一对成像单元14L和14R。除了包括取像透镜14a以外，成像单元14L和14R包括未示出的图像传感器等。
CPU 85根据来自输入装置单元86的控制信号而操作，连续地运行从存储器87读取的各种程序等，并且整体控制多视点照相机81的各种元件。输入装置单元86、存储器87、信号处理单元89、显示驱动器90、监控器91、图像处理装置92、记录控制单元93等利用总线88连接至CPU 85。
输入装置单元86由例如电源开关、用于转换多视点照相机81的操作模式（例如，成像模式和回放模式）的模式转换开关、快门按钮等构成。
AFE（模拟前端）95处理由成像单元14L和14R输出的模拟形式的图像信号，以进行噪声减少、图像信号的放大以及数字化的处理，从而生成L和R图像信号。L和R图像信号输出至信号处理单元89。
在诸如灰度转换、白平衡校正、伽马校正、YC转换等各种功能的图像处理中，信号处理单元89处理从AFE 95输入的L和R图像信号，并且生成L和R视点图像数据I(L)和I(R)。信号处理单元89使存储器87存储L和R视点图像数据I(L)和I(R)。
每当L和R视点图像数据I(L)和I(R)存储到存储器87中时，显示驱动器90就从存储器87中读取L和R视点图像数据I(L)和I(R)，生成用于显示图像的信号，并且以预定的时间顺序将信号输出至监控器91。这样，通过监控器91来显示活动图像。
当输入装置单元86的快门按钮被压下时，图像处理装置92操作。以与第一实施例的图像处理装置29基本相同的方式构造图像处理装置92。构造参见图3。图像处理装置92的成像错误检测电路32以与上述第一实施例的检测成像错误相同的方法检测成像错误。可以通过甚至更高制造成本的多视点照相机81来使用布置为靠近取像透镜14a的检测传感器84L和84R，以用于检测手指等的触摸。根据检测传感器84L和84R的检测结果，能够检测出成像错误的发生。
第四实施例的图像读取器31从存储器87中读取L和R视点图像数据I(L)和I(R)。第四实施例的图像输出单元35使存储器87存储六个视点的视差图像数据或者L和R视点图像数据。
当输入装置单元86的快门按钮被完全压下时，记录控制单元93从存储器87中读取视差图像数据或者L或R视点图像数据，并且生成其中整合了那些图像数据的图像文件97。记录控制单元93将图像文件97记录到存储卡16上。
除了缺少图像处理装置29之外，打印机82与上述第一实施例的打印机12构造相同。打印机82的构造参见图1。打印机82根据从存储卡16读取的视差图像数据或者L和R视点图像数据来执行到片17上的图像记录。
与上述第一实施例中的在打印机10中生成视差图像数据相对比，在上述第四实施例中由多视点照相机81生成视差图像数据。然而，还可以以根据第三实施例的打印机60中的生成方式在多视点照相机81中生成视差图像数据。
在上面的实施例中，根据由作为多视点照相机的双透镜照相机获得的L和R视点图像数据来生成虚拟视点图像数据。此外，对于利用由三个或以上视点的多视点照相机获得的三个或以上视点的视点图像数据中的任意两个来生成虚拟视点图像数据，也可以使用本发明。在上面的实施例的每一个中，虚拟视点限定在L和R视点之间。然而，虚拟视点可以限定在L视点的左侧或R视点的右侧。
在上述各个实施例中，已经以生成虚拟视点图像数据的打印机或多视点照相机为例进行了说明。然而，在用于生成虚拟视点图像数据的各种装置中都可以使用本发明，诸如根据视差图像进行3维显示的3维图像显示装置以及以预定顺序显示视差图像的显示装置。
附图标记的说明
10、58、80：3维打印系统
11、59、81：多视点照相机
52、60、82：打印机
29、64、92：图像处理装置
32：成像错误检测电路
33：视差图生成电路
34、67：用于虚拟视点图像的图像生成电路
35：图像输出单元
53：面积检测器
54：用于虚拟视点的视点设定控制单元
65：视差图存储介质
66：视差图输出单元

Claims (10)

1.一种图像生成装置，其根据第一视点图像和第二视点图像来生成虚拟视点图像，所述第一视点图像和所述第二视点图像是通过从不同视点对目标进行成像而捕获到的具有视差的图像，所述虚拟视点图像是通过从与所述视点不同的预定数量的虚拟视点观看所述目标而设定的，所述图像生成装置的特征在于包括：
检测单元，其用于检测在所述第一视点图像和所述第二视点图像中是否存在故障；
视差图生成器，如果根据所述检测单元的检测结果所述第一视点图像和所述第二视点图像中的一个是带有所述故障的异常图像，则所述视差图生成器进行操作，以在所述异常图像中提取与包括在所述第一视点图像和所述第二视点图像中的正常图像中的像素分别对应的对应点，并且所述视差图生成器用于根据提取的结果来生成表示所述目标的深度分布的视差图；以及
图像生成单元，其用于根据所述视差图和所述正常图像来生成所述虚拟视点图像。
2.如权利要求1所述的图像生成装置，其特征在于包括图像输出单元，所述图像输出单元用于将所述正常图像和所述虚拟视点图像输出到预定接收装置。
3.如权利要求1或2所述的图像生成装置，其特征在于包括视点设定单元，所述视点设定单元用于在所述异常图像的视点和所述正常图像的视点之间设定比所述预定数量更大数量的所述虚拟视点；
其中，所述图像生成单元按照根据距所述正常图像的所述视点的接近度的顺序来选择由所述视点设定单元设定的所述虚拟视点当中的所述预定数量的所述虚拟视点。
4.如权利要求3所述的图像生成装置，其特征在于，所述虚拟视点关于所述目标彼此等角地布置。
5.如权利要求3或4所述的图像生成装置，其特征在于包括面积检测器，所述面积检测器用于检测在所述异常图像中已经发生所述故障的区域面积；
其中，所述视点设定单元根据所述面积的增加而使得所述虚拟视点的设定数量更高。
6.如权利要求1至5中任一项所述的图像生成装置，其特征在于包括图像获取单元，所述图像获取单元用于从成像装置中获取所述第一视点图像和所述第二视点图像，所述成像装置包括用于从所述不同视点对所述目标进行成像的多个成像单元。
7.如权利要求6所述的图像生成装置，其特征在于所述故障包括炫光和遮挡部分至少部分地遮挡所述成像单元的取像透镜的图像中的至少任何一种。
8.一种打印机，其特征在于包括：
如权利要求1至7中任一项所述的图像生成装置；以及
记录单元，如果所述第一视点图像和所述第二视点图像中的任一个为所述异常图像，则所述记录单元根据所述正常图像和所述虚拟视点图像将立体可视图像记录到记录介质上。
9.如权利要求8所述的打印机，其特征在于包括报警装置，如果所述第一视点图像和所述第二视点图像二者均发生所述故障，则所述报警装置显示报警。
10.一种图像生成方法，其根据第一视点图像和第二视点图像来生成虚拟视点图像，所述第一视点图像和所述第二视点图像是通过从不同视点对目标进行成像而捕获到的具有视差的图像，所述虚拟视点图像是通过从与所述视点不同的预定数量的虚拟视点观看所述目标而设定的，所述图像生成方法的特征在于包括：
检测步骤，用于检测所述第一视点图像和所述第二视点图像中是否存在故障；
视差图生成步骤，如果所述第一视点图像和所述第二视点图像中的一个根据所述检测步骤的检测结果是带有所述故障的异常图像，则所述视差图生成步骤在所述异常图像中提取与包括在所述第一视点图像和所述第二视点图像中的正常图像中的像素分别对应的对应点，并且根据提取的结果来生成表示所述目标的深度分布的视差图；以及
图像生成步骤，用于根据所述视差图和所述正常图像来生成所述虚拟视点图像。
CN2011800178085A 2010-04-06 2011-03-18 图像生成装置、方法及打印机 Pending CN102835118A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010087751 2010-04-06
JP2010-087751 2010-04-06
PCT/JP2011/056561 WO2011125461A1 (ja) 2010-04-06 2011-03-18 画像生成装置及び方法並びにプリンタ

Publications (1)

Publication Number Publication Date
CN102835118A true CN102835118A (zh) 2012-12-19

Family

ID=44762417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800178085A Pending CN102835118A (zh) 2010-04-06 2011-03-18 图像生成装置、方法及打印机

Country Status (4)

Country Link
US (1) US20130003128A1 (zh)
JP (1) JPWO2011125461A1 (zh)
CN (1) CN102835118A (zh)
WO (1) WO2011125461A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218115B2 (en) 2010-12-02 2015-12-22 Lg Electronics Inc. Input device and image display apparatus including the same
US9420268B2 (en) 2011-06-23 2016-08-16 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치
US10477184B2 (en) * 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
JP2014006243A (ja) * 2012-05-28 2014-01-16 Ricoh Co Ltd 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体
JP6124703B2 (ja) * 2013-06-21 2017-05-10 キヤノン株式会社 撮像装置およびその制御方法
US10681280B2 (en) * 2017-04-06 2020-06-09 Lenovo (Singapore) Pte. Ltd. Camera component location indicator on display
JP2019103067A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010052935A1 (en) * 2000-06-02 2001-12-20 Kotaro Yano Image processing apparatus
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
WO2009023156A2 (en) * 2007-08-15 2009-02-19 Thomson Licensing Method and apparatus for error concealment in multi-view coded video
JP2009048033A (ja) * 2007-08-22 2009-03-05 Panasonic Corp 立体画像撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0510899B1 (en) * 1991-04-22 2001-01-31 Canon Kabushiki Kaisha Printer control program transfer method and printer capable of receiving a control program
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP4953789B2 (ja) * 2006-12-07 2012-06-13 キヤノン株式会社 画像処理装置、記録装置、画像処理方法、プログラム、および記憶媒体
KR100971730B1 (ko) * 2010-04-15 2010-07-21 (주)에이직뱅크 평행축 입체카메라
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
JP5489897B2 (ja) * 2010-07-22 2014-05-14 パナソニック株式会社 ステレオ測距装置及びステレオ測距方法
KR101752690B1 (ko) * 2010-12-15 2017-07-03 한국전자통신연구원 변이 맵 보정 장치 및 방법
US20120162386A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for correcting error in stereoscopic image
KR20130008746A (ko) * 2011-07-13 2013-01-23 삼성전자주식회사 3ｄ 영상변환장치, 그 구현방법 및 그 저장매체
US9076267B2 (en) * 2011-07-19 2015-07-07 Panasonic Intellectual Property Corporation Of America Image coding device, integrated circuit thereof, and image coding method
US9191646B2 (en) * 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP5572647B2 (ja) * 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP5948976B2 (ja) * 2012-03-06 2016-07-06 富士ゼロックス株式会社 画像形成装置および情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010052935A1 (en) * 2000-06-02 2001-12-20 Kotaro Yano Image processing apparatus
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
WO2009023156A2 (en) * 2007-08-15 2009-02-19 Thomson Licensing Method and apparatus for error concealment in multi-view coded video
JP2009048033A (ja) * 2007-08-22 2009-03-05 Panasonic Corp 立体画像撮像装置

Also Published As

Publication number Publication date
JPWO2011125461A1 (ja) 2013-07-08
US20130003128A1 (en) 2013-01-03
WO2011125461A1 (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
CN102835118A (zh) 图像生成装置、方法及打印机
JP4925354B2 (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
US9341935B2 (en) Image capturing device
CN1942902B (zh) 用于2.5维图像再现的重影虚像的削减
CN100576251C (zh) 呈现单元、呈现方法以及图像处理设备
EP2107816A2 (en) Stereoscopic display apparatus, stereoscopic display method, and program
US20100328432A1 (en) Image reproducing apparatus, image capturing apparatus, and control method therefor
US9477305B2 (en) Stereoscopic image display apparatus and computer-readable recording medium storing program thereon
US20070177006A1 (en) Multiview display device
US20060209183A1 (en) Three-dimensionally viewed image providing method, and three-dimensional image display apparatus
CN102170577A (zh) 用于处理视频图像的方法和系统
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
CN102388617A (zh) 复眼摄像装置及其视差调整方法和程序
CN102984534A (zh) 视频信号处理设备和视频信号处理方法
EP2717247A2 (en) Image processing apparatus and method for performing image rendering based on orientation of display
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
JP5454569B2 (ja) 立体映像データ処理装置および立体映像データ処理方法
EP2533212A1 (en) Reference layer for hole recovery within an output image.
CN102647549B (zh) 摄像设备、图像信号处理设备和记录设备
US9369699B2 (en) Stereoscopic image display device, stereoscopic imaging device, and methods
JP2006013851A (ja) 撮像表示装置および撮像表示方法
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
CN104639934A (zh) 立体图像反视处理方法及显示装置
CN103686135A (zh) 显示控制装置、摄像装置及控制方法
JP2005164832A (ja) 立体視画像生成装置および方法並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121219