CN102630024B - 图像处理设备、三维图像打印系统、以及图像处理方法 - Google Patents

图像处理设备、三维图像打印系统、以及图像处理方法 Download PDF

Info

Publication number
CN102630024B
CN102630024B CN201210021411.XA CN201210021411A CN102630024B CN 102630024 B CN102630024 B CN 102630024B CN 201210021411 A CN201210021411 A CN 201210021411A CN 102630024 B CN102630024 B CN 102630024B
Authority
CN
China
Prior art keywords
image data
view
space vector
template
personage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210021411.XA
Other languages
English (en)
Other versions
CN102630024A (zh
Inventor
新贝安浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102630024A publication Critical patent/CN102630024A/zh
Application granted granted Critical
Publication of CN102630024B publication Critical patent/CN102630024B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Materials Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了图像处理设备、三维图像打印系统、和图像处理方法，所述图像处理设备包括：三维图像数据输入装置，用于输入表示三维图像的三维图像数据；对象提取装置，用于从三维图像数据中提取对象；空间向量计算装置，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；以及三维图像数据记录装置，用于彼此相关联地记录空间向量和三维图像数据。

Description

图像处理设备、三维图像打印系统、以及图像处理方法
技术领域
本发明涉及图像处理设备、三维图像打印系统、以及用于产生对应于三维图像数据的三维图像的图像处理方法。
背景技术
通常，使用通过对多个具有不同视线的图像的组合进行显示而产生的视差来产生深度感。用于产生深度感的方法的示例包括：方法(1)在彼此以直角相交的方向上，对左眼图像和右眼图像应用线性偏光，并使用偏光眼镜；方法(2)通过交替地显示左眼图像和右眼图像，并通过配备有与显示装置同步的液晶快门的眼镜进行观看；以及方法(3)使用分别叠加在左眼图像和右眼图像上的红光和蓝光、以及在其左侧和右侧具有红色滤光片和蓝色滤光片的眼镜。
另一种使裸眼产生深度感的方法为，例如，通过将一个图像切分为多条并交替地针对左眼和右眼布置，以使用视差屏障(parallaxbarrier)或者双凸透镜(lenticularlens)来观看其各自的图像，从而能够产生深度感。
与本发明相关的现有技术文献JP2006-165795A、JP2008-90617A、JP2008-252493A、和JP2004-334833A可以被引用于此。
JP2006-165795A描述了一种其中通过多个成像设备从多个位置进行成像的三维图像产生设备，当指定了所述多个位置中的几个给定位置以及成像时刻时，就选择了不同成像时刻的多个帧图像，于是三维图像产生器组合所选择的帧图像并且打印三维图像，从而通过给定的光学系统可以随着视点的移动来顺序地观看到三维图像。
JP2008-90617A描述了一种三维图像产生设备，其包括：检测器，用于检测放置在三维显示平面之上或者靠近三维显示平面的真实物体的位置、姿态、或形状；阻挡区域计算器，用于根据真实物体的位置、姿态、或形状计算阻挡区域，其中阻挡区域是指从三维显示平面发出的光被真实物体阻挡的区域；以及绘图器，用于对阻挡区域执行与对除阻挡区域之外的其他区域所执行的图像处理不同的图像处理，以绘制三维图像。
JP2008-252493A描述了一种文件产生设备，其包括：亮度图像获取装置，用于获取表示成像系统对成像空间进行成像时所捕获的点的亮度的亮度图像；三维信息获取装置，用于获取用给定坐标系表示各点的空间位置的三维信息；以及偏移原点设置装置，用于接收从给定输入单元输入的坐标系轴上的偏移值输入，以将偏移值存储在给定存储器中，并设置通过使坐标系原点移动偏移值所得到的偏移原点。该文件产生设备以具有用于存储信息的区域的给定格式来产生文件。
JP2004-334833A描述了一种立体图像处理设备，其包含作为图像控制信息的用于表示立体图像的三维强度的标签(三维强度标签)，以便随着三维强度水平的增加能够以更大的深度显示立体图像，从而能够将将要显示立体图像的显示设备的指定作为附加信息进行管理。
发明内容
已经提出了许多显示三维图像数据的方法，通过对感知深度的程度(深度量或突出量)和立体视差进行调节来减少三维图像的观看者所感觉到的疲劳或者来调节三维图像的不自然。通常来说，根据对象从屏幕突出或者从屏幕缩进的程度进行调节，但是并没有公开或教导表示对象从屏幕突出或者从屏幕缩进的程度和方向的指示器。
此外，打印三维图像需要专用设备以及相比于普通打印需要更多的时间、精力和成本。因此，优选的是用户能够在他/她的首次尝试中获得他/她期望的三维图像的打印。
本发明的一个目的是提供一种图像处理设备、三维图像打印系统、以及用于产生三维图像的图像处理方法，其中表示对象突出或者缩进的程度和方向的指示器以空间向量来表示，并且其中在各种图像处理中使用该空间向量来产生看起来更加自然并且允许即时感知深度的三维图像。
为了实现上述目的，本发明提供了一种图像处理设备，包括：
三维图像数据输入装置，用于输入表示三维图像的三维图像数据；
对象提取装置，用于从三维图像数据中提取对象；
空间向量计算装置，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；以及
三维图像数据记录装置，用于彼此相关联地记录空间向量和三维图像数据。
优选地，对象提取装置进一步提取对象的面部，
进一步提供了面部方向检测装置，用于检测对象的面部方向，以及
空间向量计算装置使用面部方向来计算面部空间向量。
优选地，对象提取装置提取对象的多个身体部位，以及
空间向量计算装置计算对象的多个身体部位的空间向量。
优选地，三维图像数据记录装置对对象的多个身体部位的空间向量中的最大空间向量和三维图像数据彼此相关联地进行记录。
优选地，三维图像数据记录装置将对象的空间向量记录在三维图像数据的Exif标签中。
优选地，三维图像数据记录装置将对象的空间向量记录在不同于三维图像数据文件的文件中。
优选地，空间向量计算装置根据具有不同视点的多个平面图像数据计算对象的视差以及从各视点到对象的距离，并且根据具有不同视点的多个平面图像数据、上述视差、和上述距离来计算对象的空间向量。
优选地，图像处理设备进一步包括：
模板记录装置，其中记录有多种三维图像模板；
模板选择装置，用于根据记录在模板记录装置中的多种三维图像模板中与三维图像数据相关联地记录的空间向量来选择给定数目的三维图像模板；以及
合成装置，用于将三维图像数据与用户从模板选择装置所选择的给定数目的三维图像模板中选择的一个三维图像模板进行组合，以产生表示合成三维图像的合成三维图像数据，并输出所述合成三维图像数据。
优选地，模板选择装置选择包含其突出量大于N/3且小于3N的人物(character)的三维图像模板，其中N为对象的突出量。
优选地，模板选择装置进一步根据对象的面部方向和对象在三维图像中的位置选择三维图像模板。
优选地，模板选择装置以以下方式进行选择：当对象面向左侧或者面向右侧并且位于三维图像中的左侧或者右侧、以及三维图像模板中所包含的人物位于左侧或者右侧时，并且当对象的面部方向朝向该人物时，不选择包含与对象的面部方向相反的所述人物的上-下面部方向的三维图像模板，而当对象的面部方向不朝向所述人物时，不选择包含与对象的面部方向相反的所述人物的左-右面部方向的三维图像模板，并且不选择包含与对象的面部方向相反的所述人物的上-下面部方向的三维图像模板，而选择包含朝向其他方向的人物的三维图像模板。
优选地，当对象面向左侧或者面向右侧并且位于三维图像的中部、以及三维图像模板中所包含的人物位于对象的左侧或者右侧时，模板选择装置不选择包含与对象的面部方向相反的所述人物的上-下面部方向的三维图像模板，而不管对象的面部方向如何，都选择包含朝向其他方向的人物的三维图像模板。
优选地，当对象的面部方向朝向中部时，模板选择装置不选择包含与对象的面部方向相反的所述人物的上-下面部方向的三维图像模板，而不管对象的位置和面部方向如何，都选择包含所述人物的其他面部方向的三维图像模板。
优选地，模板选择装置设置三维图像模板中所包含的人物的突出量和面部方向的优先级顺序，并根据该优先级顺序来选择三维图像模板。
优选地，模板选择装置在预览屏幕上显示三维图像模板中所包含的人物的突出量和面部方向，并选择用户从预览屏幕上显示的多个三维图像模板中所选择的一个三维图像模板。
本发明还提供了一种三维图像打印系统，包括：
如上所述的图像处理设备；以及
打印设备，用于对与从图像处理设备输出的合成三维图像数据对应的合成三维图像进行打印。
本发明还提供了一种图像处理方法，包括：
三维图像数据输入步骤，用于接收从外部输入的表示三维图像的三维图像数据；
对象提取步骤，用于从三维图像数据中提取对象；
空间向量计算步骤，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；以及
三维图像数据记录步骤，用于彼此相关联地记录空间向量和三维图像数据。
本发明使得能够无故障地获取看起来更加自然并且无需使用户知悉空间向量而允许即时感知深度的三维图像、组合了用户图像和人物图像并且看起来更加自然并且允许即时感知深度的合成图像、以及通过打印上述图像获得的三维打印(三维照片)。
附图说明
图1A是图示出平面图像数据的轴的说明性视图；图1B是用于图示出本发明的三维图像数据的轴和空间向量的一个示例的说明性视图。
图2是图示出根据本发明的图像处理设备的第一实施例的框图。
图3是图示出本发明的三维图像数据的轴和空间向量的另一个示例的说明性视图。
图4是图示出根据本发明的图像处理设备的第一实施例所执行的操作流程的一个示例的流程图。
图5是图示出三维图像数据的文件结构的一个示例的说明性视图。
图6是图示出三维图像数据的文件头的一个示例的说明性视图。
图7是图示出三维图像数据的文件头的另一个示例的说明性视图。
图8是图示出对象的面部方向的朝向以及空间向量的一个示例的说明性视图。
图9是图示出根据本发明的图像处理设备的第二实施例的框图。
图10是图示出根据本发明的图像处理设备的第二实施例所执行的操作流程的一个示例的流程图。
图11是图示出三维图像数据的文件头的另一个示例的说明性视图。
图12是图示出本发明的第三实施例的三维图像打印系统的框图。
图13是图示出三维打印的一个示例的说明性视图。
图14是图示出三维打印的另一个示例的说明性视图。
图15是图示出三维打印的另一个示例的说明性视图。
图16是图示出三维打印的另一个示例的说明性视图。
图17是图示出三维打印的另一个示例的说明性视图。
图18是图示出三维打印的另一个示例的说明性视图。
图19是图示出根据本发明的三维图像打印系统的第三实施例所执行的操作流程的一个示例的流程图。
图20图示出继图19的流程图之后的流程图。
图21图示出继图19的流程图之后的流程图。
图22图示出继图19的流程图之后的流程图。
具体实施方式
以下将基于附图中图示出的优选实施例详细描述本发明的用于实现图像处理方法的图像处理设备以及本发明的三维图像打印系统。
首先，将描述根据本发明的三维图像中的对象的空间向量。
图1A和图1B比较了用户图像的平面图像数据和三维图像数据。
图1A图示出了表示传统平面图像的平面图像数据(具有X轴和Y轴两个轴的二维数据)的轴，其中横轴为X轴，纵轴为Y轴。图1B图示出了用于表示根据本发明的三维图像的三维图像数据(具有X轴、Y轴和Z轴的三维数据)的轴和空间向量的示例，其具有与平面图像数据的X轴和Y轴垂直、并且与平面图像数据的X轴和Y轴所形成的平面垂直的Z轴，其中，Z轴指示对象突出(深度量或者突出量)的方向。因此，空间向量表示三维图像数据中所包含的X轴、Y轴和Z轴上的三维数据。
三维图像数据的示例包括立体图像的图像数据，该立体图像包含针对左眼的平面图像和针对右眼的平面图像。换言之，立体图像的图像数据在一条图像数据中包含针对左眼的平面图像的图像数据和针对右眼的平面图像的图像数据。三维图像数据并不局限于立体图像的图像数据，只要在一条三维图像数据中包含从不同视点获取的多个平面图像的图像数据即可。
为了获得三维图像中对象的空间向量，可以使用例如JP2006-165795、JP2001-346226、或JP2008-90617中描述的一种方法，首先根据通过左眼平面图像和右眼平面图像之间的模板匹配获得的相应点的检测结果，计算针对左眼的平面图像和针对右眼的平面图像之间的视差(视差量)以及从各视点到对象的距离。
接下来，使用针对左眼的平面图像和针对右眼的平面图像(的图像数据)、以及获得的视差和距离来计算以X轴、Y轴和Z轴表示的空间向量的各轴值，以获取由(X，Y，Z)表示的空间向量。Z轴值(突出量)与例如JP2010-45584A中描述的视差和距离成正比；其随着视差的增大而增大并且随着距离的增大而增大。因此，利用获得的距离，可以根据视差唯一地确定Z轴值。例如，在图1B中，假设Z轴值(在Z轴方向上的突出量)为Z1，则空间向量表示为(0，0，Z1)，其中起点坐标为(0，0，0)，并且终点坐标为(0，0，Z1)。在例如Z轴值突出(standout)的位置处，检测X轴值和Y轴值；确定所检测到的Z轴值所对应的对象身体部位(例如手、腿、和面部等)，从而根据对象的躯干与所确定的身体部位之间的位置关系计算X轴值和Y轴值。例如，当对象的手被检测为Z轴值突出的身体部位时，根据躯干肩膀的位置和手的端部的位置计算X轴值和Y轴值。可以通过多种方法中的任意一种计算空间向量，这些方法包括根据三维图像数据中所包含的从不同视点获取的多个平面图像的平面图像数据计算空间向量的已知方法。
接下来，将描述本发明的图像处理设备。
图2是图示出的用于实现本发明的图像处理方法的本发明的图像处理设备的构造的第一实施例的框图。
图2中图示出的图像处理设备包括三维图像数据输入装置12、对象提取装置14、空间向量计算装置16、以及三维图像数据记录装置18。
三维图像数据输入装置12用于输入三维图像数据，并且包括用于将三维图像数据从外部输入到图像处理设备10的外部接口。对产生三维图像数据的方法没有具体的限制；可以输入各种三维图像数据，包括用户利用能够获取三维图像的数字照相机或数字摄像机所获取的移动图像数据/静止图像数据、以及从网络下载的移动图像/静止图像数据。外部接口包括USB(通用串行总线)、存储卡读取器/写入器、光盘、以及有线和无线局域网(LAN)。三维图像数据通过外部接口从外部输入。三维图像数据输入装置12接收从外部输入的三维图像数据并且将该数据提供给图像处理设备10的各组件。
对象提取装置14接收从三维图像数据输入装置12输入的三维图像数据。对象提取装置14分析三维图像数据并且提取三维图像中的对象(区域)。可以通过各种方法中的任意一种实现对象的提取，所述方法包括例如边缘检测和颜色检测之类的已知方法。此外，提取对象的各身体部位(诸如面部、左手和右手、躯干、以及腿等)的区域。对象提取装置14产生关于提取的对象的信息以及关于对象的各身体部位的信息，并且将这些信息作为对象信息输出。
空间向量计算装置16接收来自三维图像数据输入装置12的三维图像数据以及来自对象提取装置14的对象信息。如上所述，空间向量计算装置16在三维图像数据中所包含的主图像数据和辅助图像数据之间执行对象的模板匹配从而检测对应点，并且基于对应点的检测结果，针对对象或者针对对象的每个身体部位计算视差和距离。根据所计算出的视差和距离，计算空间向量在各轴上的值从而获得空间向量并输出该空间向量。
在图3图示出的示例中，Z轴位于垂直于附图的方向，并且空间向量指示出朝向右上方的对象的面部和右手。现在，假设面部的空间向量具有坐标(X2，Y2，Z2)，其中起点坐标为(0，0，0)，并且终点坐标为(X2，Y2，Z2)，其同样适用于下面的描述，并且右手的空间向量具有坐标(X3，Y3，Z3)。当对面部空间向量和右手空间向量进行比较时，空间向量计算装置16例如可以将具有更大幅度(magnitude)的右手空间向量作为将被与三维图像数据相关联地记录的空间向量进行输出。例如，利用公式(1)获得面部空间向量的幅度，利用公式(2)获得右手空间向量的幅度。输出的空间向量不限于上述空间向量；可以输出面部、左手、躯干和腿的空间向量中的一个或多个。
( X 2 2 + Y 2 2 + Z 2 2 ) . . . ( 1 )
( X 3 2 + Y 3 2 + Z 3 2 ) . . . ( 2 )
三维图像数据记录装置18接收来自三维图像数据输入装置12的三维图像数据以及来自空间向量计算装置16的空间向量。三维图像数据记录装置18对空间向量和三维图像数据彼此相关联地进行记录。三维图像数据记录装置18可以是诸如DRAM(动态随机存取存储器)和闪存之类的半导体存储器、或者诸如HDD(硬盘驱动器)之类的磁记录介质。
可以通过多种方式记录空间向量：可以在三维图像数据的Exif(可替换图像文件格式)标签的一部分中写入空间向量的值，或者可以作为独立于三维图像数据文件(例如，文件名：Image0001.jpg)的文件(例如，文件名：Image0001.vct)来记录空间向量。
接下来，将对实施本发明的图像处理方法的本发明的图像处理设备10的第一实施例的操作进行描述。
图4是图示了根据本发明的图像处理方法的第一实施例的流程的一个示例的流程图。
首先，通过图像数据输入单元12输入三维图像数据(素材)(步骤S10)。将三维图像数据输入到对象提取装置14中，从而对三维图像进行分析(步骤S12)以提取对象(步骤S14)。提取对象的诸如面部、左手和右手、躯干、和腿之类的各身体部位的区域，以产生对象的相关信息和对象的身体部位的相关信息并将这些信息作为对象信息输出。
将三维图像数据和对象信息输入到空间向量计算装置16中，其中在三维图像数据中所包含的主图像数据和辅助图像数据之间执行对象的模板匹配，以检测对应点(步骤S16)。基于对应点的检测结果，针对对象或者单独针对对象的每个身体部位计算视差和距离(步骤S18)。根据计算出的视差和距离，计算空间向量在各轴上的值从而获得空间向量并输出该空间向量(步骤S20)。
将三维图像数据和空间向量输入到三维图像数据记录装置18中，从而使三维图像数据和空间向量彼此关联，或者换言之，将空间向量写入三维图像数据的Exif标签中或者输出到单独的文件中并进行记录(步骤S22)。在图5中图示出的情况下，例如，将空间向量写入三维图像数据30的头32中的Exif标签中。
图6图示出其中只对对象的空间向量进行记录的情况，以及图7图示出其中对对象的各身体部位的空间向量进行记录的情况，作为记录到头32中的Exif标签中的一个示例。
因此，可以通过彼此相关联地记录空间向量和三维图像数据并利用空间向量从三维图像数据合成三维图像来获得看起来更加自然并且允许即时感知深度的三维图像。
下面，将利用对象的面部方向的空间向量(面部空间向量)的情况作为第二实施例进行描述。
与根据第一实施例的图像处理设备相比较，第二实施例通过另外检测面部方向来以更高精度计算空间向量。
图8图示出对象的面部方向和空间向量的示例。与对象的空间向量类似，面部方向的空间向量也以坐标(X，Y，Z)来表示。例如，如图8的左上方图示出的以(-1，1，1)表示的面部方向的空间向量指示了如观察者所看到的面部朝向左上方并且突出量(Z轴值)是(1)。这同样适用于除此之外的其他面部方向的空间向量。
图9是图示出与第一实施例不同的本发明的图像处理设备22的构造的第二实施例的框图。
除了在对象提取装置14中另外提供的面部方向检测装置20之外，图像处理设备22与图2中图示出的根据本发明的第一实施例的图像处理设备10具有基本相同的构造。因此，对于相同的构件给予了相同的参考标号，并且省略了其描述。
面部方向检测装置20根据对象的面部区域计算面部的竖直方向(角度)和水平方向(角度)。可以利用多种方法中的任意一种检测面部方向，所述方法包括已知的方法，例如在JP2006-202276A中描述的使用机器学习方法来从面部图像中检测指示界标(landmark)的点的位置的方法，以及在JP2004-334836中描述的通过切分出给定大小的图像数据并将给定大小的图像数据和表示特征部分的图像数据进行比较的方法，等等。可以进行面部识别以识别多个人的面部或者识别特定人的面部。对于多个人中的特定人，可以检测包括面部的身体部位，并且，对于其他的人，可以仅检测面部。同样将面部方向的相关信息作为对象信息输出。
根据本实施例，可以在对象提取装置14内提供面部方向检测装置20，但是也可以在对象提取装置14的外部提供面部方向检测装置20。
空间向量计算装置16使用对象信息中所包含的视差、距离、和面部方向的相关信息来计算面部空间向量在各轴上的值。
接下来，将描述本发明的图像处理设备的第二实施例、本发明的图像处理设备22的操作。
图10为示出根据本发明的第二实施例的图像处理方法的流程的一个示例的流程图。
首先，通过图像数据输入单元12输入三维图像数据(素材)(步骤S30)。将三维图像数据输入到对象提取装置14中，从而对三维图像进行分析(步骤S32)以提取对象的面部(步骤S34)。面部方向检测装置20检测对象的面部方向以产生对象的相关信息和对象的面部方向的相关信息并将这些信息作为对象信息输出。
将三维图像数据和对象信息输入到空间向量计算装置16中，其中在三维图像数据中所包含的主图像数据和辅助图像数据之间执行对象(面部)的模板匹配，以检测对应点(步骤S36)。基于对应点的检测结果，针对对象以及针对对象的面部分别计算视差和距离(步骤S38)。使用计算出的视差、距离和面部方向计算空间向量(包括面部空间向量)在各轴上的值从而获得空间向量并输出该空间向量(步骤S40)。
当已经获得了空间向量时，对是否已经为三维图像中所表示出的所有人计算了空间向量进行判断(步骤S42)，并且当还没有为所有人计算空间向量时(步骤S42中为“N”)，处理返回到步骤S36以获得剩余人的空间向量。
当已经为所有人完成了空间向量的计算时(步骤S42中为“Y”)，将三维图像数据和空间向量(包括面部空间向量)输入到三维图像数据记录装置18中，从而使空间向量和三维图像数据彼此关联，或者换言之，将空间向量写入三维图像数据的Exif标签中或者输出到单独的文件并进行记录(步骤S44)。图11图示出将空间向量输入Exif标签中的示例。如示例中图示出的，可以记录包括面部空间向量的空间向量。
因此，提取对象的精度可以得到提高，以及通过彼此相关联地记录面部空间向量和三维图像数据并利用面部空间向量而根据三维图像数据合成三维图像，可以获得看起来更加自然并且允许即时感知深度的三维图像。
接下来，将描述第三实施例的三维图像打印系统，其包括对三维图像数据和三维图像模板进行组合的图像处理设备、以及用于打印三维图像数据的三维图像打印设备。
除了第二实施例的图像处理设备执行的处理之外，第三实施例通过对三维图像数据和包含例如人物的模板进行组合从而使得能够获得提高了娱乐品质的三维图像。
图12是图示出不同于上述第一实施例和第二实施例的根据本发明的三维图像打印系统50的构造的第三实施例的框图。
相比于图9中图示出的根据本发明的第二实施例的图像处理设备22，三维图像打印系统50包括图像处理设备52和打印设备54，其中图像处理设备52还提供有模板记录装置40、模板选择装置42、合成装置44。图像处理设备52基本上具有相同的构造。因此，相同的组件被给予了相同的参考标号并且省略了其描述。
模板记录装置40中已经记录了将与用户三维数据进行组合的多种三维图像数据模板。用于合成的三维图像模板包括包含例如主题公园的人物、并且使得能够获得其中用户三维图像(用户图像)中所表示的对象与三维图像模板中所表示的人物进行了组合的三维图像的那些模板。
将来自三维图像数据记录装置18的与三维图像数据(包括对象信息)相关联地记录的空间向量、以及来自模板记录装置40的三维图像模板输入到模板选择装置42。模板选择装置42根据空间向量和面部方向从存储在模板记录装置40中的多种三维图像模板中选择给定数目的合适的三维图像模板，并在显示设备(图中没有示出)上显示这些三维图像模板。模板选择装置42输出用户通过输入装置(图中没有示出)从显示在显示设备上的给定数目的三维图像模板中选择的三维图像模板。
虽然，根据本实施例，将从对象提取装置14输入到空间向量计算装置16中的对象信息中所包含的对象的面部方向的相关信息(对象信息)和来自空间向量计算装置16的空间向量一起输出，但是根据本发明该输出会受到其他的影响；可以将从对象提取装置14输出的对象的面部方向的相关信息(对象信息)以及从空间向量计算装置16输出的对象的空间向量分别输入到三维图像数据记录装置18和模板选择装置42中。
现在，将对模板选择装置42如何选择三维图像模板进行描述。
图13图示出在三维图像60a中用户三维图像的对象62位于左侧而来自三维图像模板的人物63位于右侧的示例。对象62的空间向量66(-1，1，1)表示观察者所看到的朝向左上方的视线，而人物63的空间向量68(1，1，1)表示观察者所看到的朝向右上方的视线。如他们现在的定位，对象62和人物63彼此面向相反的方向。因此，由于空间向量之间方向的差异，根据合成的图像尝试产生合成的三维打印将导致很难产生具有深度感的打印。
因此，模板选择装置42根据对象62的空间向量选择合适的三维图像模板，以使得选择包含与图14中所示的对象62的空间向量66具有相同方向分量的空间向量70的人物64，并将其放置在一个位置，或者对象和人物改变位置从而彼此面对，如图15中图示出的三维图像60c，其中对象72的空间向量76和人物74的空间向量78朝向彼此。
表1示出了用户的对象空间向量、面部方向和位置、以及来自用于进行合成的三维图像模板的人物空间向量和面部方向(如表1中“char.”所示)的组合中包含朝上的用户空间向量的矩阵示例。对于与人物空间向量组合的向下的用户空间向量而言，合适的和不合适的人物空间向量反向。
表1
假设，当用户图像的对象位于三维图像的左侧时，人物图像的人物位于对象的右侧，而当对象位于右侧时，人物位于左侧。还假设，当对象位于中部时，人物位于对象的右侧或者左侧(根据用户的选择)。
当对象面向左侧(向左上、水平向左、或者向左下)或者面向右侧(向右上、水平向右、或者向右下)时，并且对象位于左侧或者右侧，以及当对象面向人物时，与对象朝向的方向相反的向上或向下的人物的面部方向被判断为不合适(不被选择)。当对象不是面向人物时，与对象朝向的方向相反的向左或向右的人物的面部方向被判断为不合适的，并且与对象朝向的方向相反的向上或向下的人物的面部方向被判断为不合适。
当对象面向左侧或者右侧并且位于中部时，对象是否面向人物取决于人物是位于对象的左侧还是右侧。因此，当对象位于中部时，与对象的面部方向相反的向上或向下的人物的面部方向被判断为不合适，而与对象的左和右面部方向无关。
当对象的面部朝向前方(向上向前、水平向前、和向下向前)时，不管人物所处的位置如何，也不管对象是位于左侧、中部、还是右侧，对象的面部方向都是中立的。因此，当对象的面部方向朝向前方时，与对象的面部方向相反的向上或向下的人物的面部方向被判断为不合适，而与对象的位置及其左和右面部方向无关。
例如，当对象面向左上方并且位于左侧时，对象不面向位于右侧的人物。因此，人物的向右的面部方向被判断为不合适，并且人物的向下的面部方向被判断为不合适。具体地，在人物的面部方向中，包括向右上方、水平向右、和向右下方的向右的那些方向被判断为不合适，包括向右下方、向下向前、和向左下方的向下的那些方向被判断为不合适，而包括向上向前、向左上方、水平向左、和水平向前的其他方向的被判断为合适(被选择)。
当对象面向左上方并且位于右侧时，对象面向位于左侧的人物。因此，人物的向下的面部方向被判断为不合适。具体地，中人物的面部方向中，包括向右下方、向下向前、和向左下方的向下的那些方向被判断为不合适，而包括水平向右、向右上方、向上向前、向左上方、水平向左、和水平向前的其他方向被判断为合适。
当对象面向左上方并且位于中部时，人物的向下的面部方向被判断为不合适，而与对象的向右或向左的面部方向无关。具体地，在人物的面部方向中，包括向右下方、向下向前、和向左下方的向下的那些方向被判断为不合适，而包括水平向右、向右上方、向上向前、向左上方、水平向左、和水平向前的其他方向被判断为合适。
当对象面向右上方并且位于左侧时，合成为对象面向左上方并且位于右侧时的左右反转。在这种情况下，在左-右方向上对人物的不合适的面部方向进行翻转从而获得合适的方向，因此人物的向下的面部方向被判断为不合适。具体地，包括向右下方、向下向前、和向左下方的向下的方向被判断为不合适，而包括水平向右、向右上方、向上向前、向左上方、水平向左、和水平向前的其他方向被判断为合适。
当对象面向右上方并且位于右侧时，合成为对象面向左上方并且位于左侧时的左右反转。因此，在左-右方向上对人物的不合适的面部方向进行翻转，从而人物的向左的面部方向被判断为不合适，并且人物的向下的面部方向被判断为不合适。具体地，被判断为不合适的人物的面部方向为包括向左上方、水平向左、向左下方的向左的那些方向以及包括向右下方、向下向前、和向左下方的向下的那些方向，而包括水平向右、向右上方、向上向前、和水平向前的其他方向被判断为合适。
当对象面向右上方并且位于中部时，合成为对象面向左上方并且位于中部时的左右反转。因此，同样在左-右方向上对人物的不合适的面部方向进行翻转以得到合适的方向，从而人物的向下的面部方向被判断为不合适。具体地，包括向右下方、向下向前、和向左下方的向下的那些方向被判断为不合适，而包括水平向右、向右上方、向上向前、向左上方、水平向左、和水平向前的其他方向被判断为合适。
当对象面部向上向前时，人物的向下的面部方向被判断为不合适，而与对象的位置以及左和右面部方向无关。具体地，包括向右下方、向下向前、和向左下方的向下的那些方向被判断为不合适，而包括水平向右、向右上方、向上向前、向左上方、水平向左、和水平向前的其他方向被判断为合适。
可以考虑空间向量的幅度来选择三维图像模板。图16图示出在三维图像60d中例如人物82的空间向量86相对于对象80的空间向量84具有更大的突出量的情况；图17图示出在三维图像60e中对象88的空间向量92相对于人物90的空间向量94具有更大的突出量的情况。可以从选择中排除这种其空间向量的幅度显著不同的对象和人物的组合。
尽管在图16和图17中图示出的示例中对象的突出量是(3)，但是对象和人物的突出量之间可以在保持它们之间的平衡的一个范围内不同。具体来说，例如，使对象的突出量为(N)，那么人物的突出量优选地大于(N/3)并且小于(3N)。
表2示出了用户对象的空间向量和位置与人物的空间向量的组合的矩阵示例，其中考虑了空间向量的幅度。
表2
此外，如图18所示，可以给每一个能够与对象进行适当组合的人物的空间向量分配一个优先级顺序，从而允许根据该优先级顺序来选择三维图像模板。如表3所示，例如，当用户空间向量表示为(-1，1，1)时，针对三维图像100中的对象102的空间向量106，如下分配人物104的空间向量108a到108h的优先级顺序：将108b分配为优先级顺序中的第一位，将108d分配为第二位，以此类推，并且包括空间向量108f、108g、和108h的这种不合适的组合被判断为不合适，并且被排除在选择之外。
表3
代替使用优先级顺序，可以在预览屏幕上显示这些空间向量的方向，从而允许用户执行选择。此外，为了节省存储量，可以提供最接近最适当的组合来替代提供所有可能的组合。
将来自三维图像数据记录装置18的与空间向量相关联的三维图像数据和由模板选择装置42选择的三维图像模板输入到合成装置44。合成装置44对该三维图像数据和由模板选择装置42选择的三维图像模板(即，三维图像的对象和三维图像模板的人物)进行组合，从而产生表示合成三维图像的合成三维图像数据，并输出该合成三维图像数据。
将来自合成装置44的合成三维图像数据输入到打印设备54。打印设备54是能够打印出与合成三维图像数据相对应的合成三维图像的打印机。例如，可以通过这样的方式来打印三维图像，即，将一幅图像切分为多条并交替地布置从而使得能够进行允许利用视差屏障或者双凸透镜感知深度的打印。
接下来，将介绍本发明的第三实施例的三维图像打印系统50的操作。
图19至图22是图示出根据本发明的第三实施例的图像处理方法的流程示例的流程图。
首先，通过图像数据输入单元12输入三维图像数据(素材)(步骤S100)。如在上述第二实施例中一样，检测对象(用户)和面部方向，并根据三维图像数据计算空间向量，从而使三维图像数据(用户三维图像数据)和空间向量(用户空间向量)相关联并将其存储在三维图像数据记录装置18中。
进一步地，基于对象(用户)信息(包括面部方向信息)和用户空间向量从模板记录装置40中读取合适的三维图像模板，并且在显示设备(图中没有示出)上同时显示多个合适的三维图像模板(步骤S106)，以使操作员选择用于进行合成的三维图像模板(人物)(步骤S108)。选择三维图像模板(人物)时，还没有确定位置。可以自动选择用于进行合成的三维图像模板(人物)。
一旦选择了用于进行合成的三维图像模板(人物)，就对三维图像数据中对象的位置进行检测或选择(步骤S110)。当对象(用户)位于左侧时(步骤S110中的“左”)，选择其中对象位于左侧的组合(步骤S112)；当对象位于中部时(步骤S110中的“中部”)，选择其中对象位于中部的组合(步骤S114)；以及当对象位于右侧时(步骤S110中的“右”)，选择其中对象位于右侧的组合(步骤S116)。
然后，根据对象空间向量(用户空间向量)来选择组合。当空间向量在左右方向上朝向左侧(步骤S118中的“左”)并且在上下方向上朝向上方(步骤S120中的“上”)时，选择其中用户空间向量朝向左上方的组合(步骤S126)。同样地，当空间向量在左右方向上朝向左侧(步骤S118中的“左”)并且在上下方向上水平(步骤S120中的“水平”)时，选择其中用户空间向量为水平向左的组合(步骤S128)。当空间向量在左右方向上朝向左侧(步骤S118中的“左”)并且在上下方向上向下(步骤S120中的“下”)时，选择其中用户空间向量向左下方的组合(步骤S130)。
同样地，当空间向量在左右方向上朝向前方(步骤S118中的“前”)时，在步骤S122、S132到S136中选择其中空间向量向上向前、水平向前、或者向下向前的组合。同样地，当空间向量在左右方向上朝向右侧(步骤S118中的“右”)时，在步骤S124、S138到S142中选择其中空间向量向右上方、水平向右、或者向右下方的组合。
选择了基于用户空间向量的组合后，对可以合适地用于进行合成的多个三维图像模板进行呈现，以用于根据对象(用户)与组合中所包含的人物之间的位置关系进行选择，从而操作员可以选择包含位于唯一位置并且具有唯一空间向量的人物的三维图像模板(步骤S144)。可选地，可以自动选择包含其位置和空间向量被认为最合适的人物的三维图像模板。
将包含具有位置和空间向量的人物的三维图像模板以及三维图像数据输入到合成装置44中。对包含具有位置和空间向量的人物的三维图像模板以及三维图像数据进行组合，以产生合成三维图像数据并输出该合成三维图像数据(步骤S146)。
将合成三维图像数据输入到打印设备54，以打印三维图像(步骤S148)。
因此，基于对象的位置和空间向量(用户空间向量)，用户只需要选择优选的用于进行合成的三维图像模板，而不需要知道空间向量值来排除不合适的三维图像模板被选择的可能性，因此提高了用户的满意度。
此外，通过根据对象的位置改变三维图像模板中人物的位置和空间向量(即，通过选择其人物与对象一起以最合适的方式产生深度感觉的三维图像模板)，可以获得表示具有提高了的娱乐品质的三维图像并产生提高了的满意度的三维打印。
上述图像处理方法中所采用的步骤可以被配置成用于使计算机执行上述图像处理方法的步骤的图像处理程序，或者可以被配置成能够使计算机作为执行图像处理方法各步骤的装置、或作为形成上述图像处理设备构件的装置的图像处理程序。
此外，可以以计算机可读介质或计算机可读存储器的形式来配置上述图像处理程序。
虽然在上述内容中详细地描述了根据本发明的图像处理设备、三维图像打印系统、以及图像处理方法和程序，但是本发明不限于上述实施例，在不脱离本发明的思想和范围的前提下，可以进行各种修改。

Claims (28)

1.一种图像处理设备，包括：
三维图像数据输入装置，用于输入表示三维图像的三维图像数据；
对象提取装置，用于从三维图像数据中提取对象和对象的面部；
面部方向检测装置，用于检测对象的面部方向；
空间向量计算装置，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；
三维图像数据记录装置，用于彼此相关联地记录空间向量和三维图像数据；
模板记录装置，其中记录有多种三维图像模板；
模板选择装置，用于根据与三维图像数据相关联地记录的空间向量从模板记录装置中所记录的多种三维图像模板中选择给定数目的三维图像模板；以及
合成装置，用于将三维图像数据和用户从通过模板选择装置所选择的给定数目的三维图像模板中选择的一个三维图像模板进行组合，以产生表示合成三维图像的合成三维图像数据，并输出所述合成三维图像数据，
其中空间向量计算装置使用所述面部方向来计算面部空间向量，
其中模板选择装置进一步根据对象的面部方向和对象在三维图像中的位置选择三维图像模板，并且
其中模板选择装置以以下方式进行选择：当对象面向左侧或者面向右侧并且位于三维图像中的左侧或者右侧、以及三维图像模板中所包含的人物位于对象的左侧或者右侧时，并且当对象的面部方向朝向所述人物时，不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而当对象的面部方向不朝向所述人物时，不选择包含与对象的面部方向在左-右方向上相反的人物的面部方向的三维图像模板，并且也不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而选择包含朝向其他方向的人物的三维图像模板。
2.如权利要求1所述的图像处理设备，
其中对象提取装置进一步提取对象的多个身体部位，以及
其中空间向量计算装置计算对象的所述多个身体部位的空间向量。
3.如权利要求2所述的图像处理设备，
其中三维图像数据记录装置彼此相关联地记录对象的所述多个身体部位的空间向量中的最大空间向量和三维图像数据。
4.如权利要求1所述的图像处理设备，
其中三维图像数据记录装置将对象的空间向量记录在三维图像数据的Exif标签中。
5.如权利要求1所述的图像处理设备，
其中三维图像数据记录装置将对象的空间向量记录在不同于三维图像数据文件的文件中。
6.如权利要求1所述的图像处理设备，
其中空间向量计算装置根据具有不同视点的多个平面图像数据计算对象的视差以及从各视点到对象的距离，并且根据具有不同视点的多个平面图像数据、所述视差、和所述距离计算对象的空间向量。
7.如权利要求1所述的图像处理设备，
其中模板选择装置选择包含其突出量大于N/3且小于3N的人物的三维图像模板，其中N为对象的突出量。
8.如权利要求1所述的图像处理设备，
其中模板选择装置在预览屏幕上显示三维图像模板中所包含的人物的突出量和面部方向，并输出用户从预览屏幕上所显示的多个三维图像模板中所选择的一个三维图像模板。
9.一种图像处理设备，包括：
三维图像数据输入装置，用于输入表示三维图像的三维图像数据；
对象提取装置，用于从三维图像数据中提取对象和对象的面部；
面部方向检测装置，用于检测对象的面部方向；
空间向量计算装置，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；
三维图像数据记录装置，用于彼此相关联地记录空间向量和三维图像数据；
模板记录装置，其中记录有多种三维图像模板；
模板选择装置，用于根据与三维图像数据相关联地记录的空间向量从模板记录装置中所记录的多种三维图像模板中选择给定数目的三维图像模板；以及
合成装置，用于将三维图像数据和用户从通过模板选择装置所选择的给定数目的三维图像模板中选择的一个三维图像模板进行组合，以产生表示合成三维图像的合成三维图像数据，并输出所述合成三维图像数据，
其中空间向量计算装置使用所述面部方向来计算面部空间向量，
其中模板选择装置进一步根据对象的面部方向和对象在三维图像中的位置选择三维图像模板，并且
其中当对象面向左侧或者面向右侧并且位于三维图像的中部、以及三维图像模板中所包含的人物位于对象的左侧或者右侧时，模板选择装置不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而不管对象的面部方向如何都选择包含朝向其他方向的人物的三维图像模板。
10.如权利要求9所述的图像处理设备，
其中对象提取装置进一步提取对象的多个身体部位，以及
其中空间向量计算装置计算对象的所述多个身体部位的空间向量。
11.如权利要求10所述的图像处理设备，
其中三维图像数据记录装置彼此相关联地记录对象的所述多个身体部位的空间向量中的最大空间向量和三维图像数据。
12.如权利要求9所述的图像处理设备，
其中三维图像数据记录装置将对象的空间向量记录在三维图像数据的Exif标签中。
13.如权利要求9所述的图像处理设备，
其中三维图像数据记录装置将对象的空间向量记录在不同于三维图像数据文件的文件中。
14.如权利要求9所述的图像处理设备，
其中空间向量计算装置根据具有不同视点的多个平面图像数据计算对象的视差以及从各视点到对象的距离，并且根据具有不同视点的多个平面图像数据、所述视差、和所述距离计算对象的空间向量。
15.如权利要求9所述的图像处理设备，
其中模板选择装置选择包含其突出量大于N/3且小于3N的人物的三维图像模板，其中N为对象的突出量。
16.如权利要求9所述的图像处理设备，
其中模板选择装置在预览屏幕上显示三维图像模板中所包含的人物的突出量和面部方向，并输出用户从预览屏幕上所显示的多个三维图像模板中所选择的一个三维图像模板。
17.一种图像处理设备，包括：
三维图像数据输入装置，用于输入表示三维图像的三维图像数据；
对象提取装置，用于从三维图像数据中提取对象和对象的面部；
面部方向检测装置，用于检测对象的面部方向；
空间向量计算装置，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；
三维图像数据记录装置，用于彼此相关联地记录空间向量和三维图像数据；
模板记录装置，其中记录有多种三维图像模板；
模板选择装置，用于根据与三维图像数据相关联地记录的空间向量从模板记录装置中所记录的多种三维图像模板中选择给定数目的三维图像模板；以及
合成装置，用于将三维图像数据和用户从通过模板选择装置所选择的给定数目的三维图像模板中选择的一个三维图像模板进行组合，以产生表示合成三维图像的合成三维图像数据，并输出所述合成三维图像数据，
其中空间向量计算装置使用所述面部方向来计算面部空间向量，
其中模板选择装置进一步根据对象的面部方向和对象在三维图像中的位置选择三维图像模板，并且
其中当对象的面部方向朝向前方时，模板选择装置不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而不管对象的位置和面部方向如何都选择包含人物的其他面部方向的三维图像模板。
18.如权利要求17所述的图像处理设备，
其中对象提取装置进一步提取对象的多个身体部位，以及
其中空间向量计算装置计算对象的所述多个身体部位的空间向量。
19.如权利要求18所述的图像处理设备，
其中三维图像数据记录装置彼此相关联地记录对象的所述多个身体部位的空间向量中的最大空间向量和三维图像数据。
20.如权利要求17所述的图像处理设备，
其中三维图像数据记录装置将对象的空间向量记录在三维图像数据的Exif标签中。
21.如权利要求17所述的图像处理设备，
其中三维图像数据记录装置将对象的空间向量记录在不同于三维图像数据文件的文件中。
22.如权利要求9所述的图像处理设备，
其中空间向量计算装置根据具有不同视点的多个平面图像数据计算对象的视差以及从各视点到对象的距离，并且根据具有不同视点的多个平面图像数据、所述视差、和所述距离计算对象的空间向量。
23.如权利要求17所述的图像处理设备，
其中模板选择装置选择包含其突出量大于N/3且小于3N的人物的三维图像模板，其中N为对象的突出量。
24.如权利要求17所述的图像处理设备，
其中模板选择装置在预览屏幕上显示三维图像模板中所包含的人物的突出量和面部方向，并输出用户从预览屏幕上所显示的多个三维图像模板中所选择的一个三维图像模板。
25.一种三维图像打印系统，包括：
如权利要求1至24中任一项所述的图像处理设备；以及
打印设备，用于打印与从图像处理设备输出的合成三维图像数据相对应的合成三维图像。
26.一种图像处理方法，包括：
三维图像数据输入步骤，用于接收从外部输入的表示三维图像的三维图像数据；
对象提取步骤，用于从三维图像数据中提取对象和对象的面部；
面部方向检测步骤，用于检测对象的面部方向；
空间向量计算步骤，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；
三维图像数据记录步骤，用于彼此相关联地记录空间向量和三维图像数据；
模板选择步骤，用于根据与三维图像数据相关联地记录的空间向量从多种三维图像模板中选择给定数目的三维图像模板；以及
合成步骤，用于将三维图像数据和用户从通过模板选择步骤所选择的给定数目的三维图像模板中选择的一个三维图像模板进行组合，以产生表示合成三维图像的合成三维图像数据，并输出所述合成三维图像数据，
其中空间向量计算步骤使用所述面部方向来计算面部空间向量，
其中模板选择步骤进一步根据对象的面部方向和对象在三维图像中的位置选择三维图像模板，并且
其中模板选择步骤以以下方式进行选择：当对象面向左侧或者面向右侧并且位于三维图像中的左侧或者右侧、以及三维图像模板中所包含的人物位于对象的左侧或者右侧时，并且当对象的面部方向朝向所述人物时，不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而当对象的面部方向不朝向所述人物时，不选择包含与对象的面部方向在左-右方向上相反的人物的面部方向的三维图像模板，并且也不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而选择包含朝向其他方向的人物的三维图像模板。
27.一种图像处理方法，包括：
三维图像数据输入步骤，用于接收从外部输入的表示三维图像的三维图像数据；
对象提取步骤，用于从三维图像数据中提取对象和对象的面部；
面部方向检测步骤，用于检测对象的面部方向；
空间向量计算步骤，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；
三维图像数据记录步骤，用于彼此相关联地记录空间向量和三维图像数据；
模板选择步骤，用于根据与三维图像数据相关联地记录的空间向量从多种三维图像模板中选择给定数目的三维图像模板；以及
合成步骤，用于将三维图像数据和用户从通过模板选择步骤所选择的给定数目的三维图像模板中选择的一个三维图像模板进行组合，以产生表示合成三维图像的合成三维图像数据，并输出所述合成三维图像数据，
其中空间向量计算步骤使用所述面部方向来计算面部空间向量，
其中模板选择步骤进一步根据对象的面部方向和对象在三维图像中的位置选择三维图像模板，并且
其中当对象面向左侧或者面向右侧并且位于三维图像的中部、以及三维图像模板中所包含的人物位于对象的左侧或者右侧时，模板选择步骤不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而不管对象的面部方向如何都选择包含朝向其他方向的人物的三维图像模板。
28.一种图像处理方法，包括：
三维图像数据输入步骤，用于接收从外部输入的表示三维图像的三维图像数据；
对象提取步骤，用于从三维图像数据中提取对象和对象的面部；
面部方向检测步骤，用于检测对象的面部方向；
空间向量计算步骤，用于根据三维图像数据中所包含的具有不同视点的多个平面图像数据计算对象的空间向量；
三维图像数据记录步骤，用于彼此相关联地记录空间向量和三维图像数据；
模板选择步骤，用于根据与三维图像数据相关联地记录的空间向量从多种三维图像模板中选择给定数目的三维图像模板；以及
合成步骤，用于将三维图像数据和用户从通过模板选择步骤所选择的给定数目的三维图像模板中选择的一个三维图像模板进行组合，以产生表示合成三维图像的合成三维图像数据，并输出所述合成三维图像数据，
其中空间向量计算步骤使用所述面部方向来计算面部空间向量，
其中模板选择步骤进一步根据对象的面部方向和对象在三维图像中的位置选择三维图像模板，并且
其中当对象的面部方向朝向前方时，模板选择步骤不选择包含与对象的面部方向在上-下方向上相反的人物的面部方向的三维图像模板，而不管对象的位置和面部方向如何都选择包含人物的其他面部方向的三维图像模板。
CN201210021411.XA 2011-02-01 2012-01-31 图像处理设备、三维图像打印系统、以及图像处理方法 Expired - Fee Related CN102630024B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-019494 2011-02-01
JP2011019494A JP2012160039A (ja) 2011-02-01 2011-02-01 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN102630024A CN102630024A (zh) 2012-08-08
CN102630024B true CN102630024B (zh) 2016-01-20

Family

ID=45476358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210021411.XA Expired - Fee Related CN102630024B (zh) 2011-02-01 2012-01-31 图像处理设备、三维图像打印系统、以及图像处理方法

Country Status (4)

Country Link
US (1) US8891853B2 (zh)
EP (1) EP2482248B1 (zh)
JP (1) JP2012160039A (zh)
CN (1) CN102630024B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
US8579620B2 (en) * 2011-03-02 2013-11-12 Andy Wu Single-action three-dimensional model printing methods
JP6222900B2 (ja) * 2012-07-09 2017-11-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20140261430A1 (en) 2013-03-15 2014-09-18 Lucy Carol Davis Facial Mask Apparatus and Method of Making
EP2973519B1 (en) 2013-03-15 2022-10-26 The Coca-Cola Company Display devices
CN105225265B (zh) * 2014-05-28 2019-08-06 深圳超多维科技有限公司 三维图像自动合成方法及装置
CN107481302A (zh) * 2016-06-06 2017-12-15 林瑞珠 平面图样形成立体实体的方法
JP7074966B2 (ja) 2016-09-26 2022-05-25 ザ コカ・コーラ カンパニー ディスプレイ装置
KR102002279B1 (ko) * 2017-04-06 2019-07-23 한국한의학연구원 3차원 안면 진단 장치
JPWO2020262261A1 (zh) 2019-06-28 2020-12-30

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1701308A2 (en) * 2005-03-08 2006-09-13 Fuji Photo Film Co., Ltd. Image layout apparatus, image layout method and image layout program
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212323A (ja) * 1995-02-03 1996-08-20 Fujitsu Ltd 撮影画像の表示方法及び装置
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
JPH1069543A (ja) * 1996-08-29 1998-03-10 Oki Electric Ind Co Ltd 被写体の曲面再構成方法及び被写体の曲面再構成装置
US6125197A (en) * 1998-06-30 2000-09-26 Intel Corporation Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects
JP3488096B2 (ja) * 1998-09-11 2004-01-19 日本電信電話株式会社 ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
JP3848101B2 (ja) * 2001-05-17 2006-11-22 シャープ株式会社 画像処理装置および画像処理方法ならびに画像処理プログラム
JP2003085587A (ja) * 2001-09-06 2003-03-20 Shinko Electric Co Ltd 合成写真生成システム
JP4338560B2 (ja) 2003-04-14 2009-10-07 富士フイルム株式会社 画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置
US20040228505A1 (en) * 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
EP1789928A4 (en) * 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
JP4702534B2 (ja) * 2004-09-21 2011-06-15 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2006165795A (ja) 2004-12-03 2006-06-22 Canon Inc 画像形成装置およびその方法
JP4690190B2 (ja) 2004-12-22 2011-06-01 富士フイルム株式会社 画像処理方法および装置並びにプログラム
US7599549B2 (en) * 2004-12-22 2009-10-06 Fujifilm Corporation Image processing method, image processing apparatus, and computer readable medium, in which an image processing program is recorded
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
US20080309662A1 (en) * 2005-12-14 2008-12-18 Tal Hassner Example Based 3D Reconstruction
JP4764305B2 (ja) * 2006-10-02 2011-08-31 株式会社東芝 立体画像生成装置、方法およびプログラム
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
JP5015634B2 (ja) * 2007-03-02 2012-08-29 富士フイルム株式会社 撮影システムおよび撮影方法並びにプログラム
JP4717853B2 (ja) 2007-03-30 2011-07-06 富士フイルム株式会社 ファイル生成方法および装置並びに立体画像の表示制御方法および装置
SG152952A1 (en) * 2007-12-05 2009-06-29 Gemini Info Pte Ltd Method for automatically producing video cartoon with superimposed faces from cartoon template
US8243334B2 (en) * 2008-06-06 2012-08-14 Virginia Venture Industries, Llc Methods and apparatuses for printing three dimensional images
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
JP2010086178A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像合成装置およびその制御方法
JP5084696B2 (ja) * 2008-10-27 2012-11-28 三洋電機株式会社 画像処理装置、画像処理方法及び電子機器
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
KR101236475B1 (ko) * 2009-04-14 2013-02-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
JP5214547B2 (ja) 2009-07-03 2013-06-19 富士フイルム株式会社 画像表示装置および方法並びにプログラム
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
WO2011068210A1 (ja) * 2009-12-04 2011-06-09 Ｎｅｃ液晶テクノロジー株式会社 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム
KR20110071213A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
KR101214732B1 (ko) * 2010-03-09 2012-12-21 삼성전자주식회사 복수의 얼굴 영상을 이용한 얼굴 인식 장치 및 방법
US20120274550A1 (en) * 2010-03-24 2012-11-01 Robert Campbell Gesture mapping for display device
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
WO2011146070A1 (en) * 2010-05-21 2011-11-24 Hewlett-Packard Development Company, L.P. System and method for reporting data in a computer vision system
JP4757948B1 (ja) * 2010-06-11 2011-08-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US8669976B1 (en) * 2010-10-12 2014-03-11 Google Inc. Selecting and verifying textures in image-based three-dimensional modeling, and applications thereof
US8149268B1 (en) * 2010-11-05 2012-04-03 The United States Of America As Represented By The Secretary Of The Army System and method for determining three-dimensional information from two-dimensional images
JP5887515B2 (ja) * 2010-11-10 2016-03-16 パナソニックＩｐマネジメント株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
US8861836B2 (en) * 2011-01-14 2014-10-14 Sony Corporation Methods and systems for 2D to 3D conversion from a portrait image
KR101874494B1 (ko) * 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1701308A2 (en) * 2005-03-08 2006-09-13 Fuji Photo Film Co., Ltd. Image layout apparatus, image layout method and image layout program
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法

Also Published As

Publication number Publication date
CN102630024A (zh) 2012-08-08
EP2482248A2 (en) 2012-08-01
US20120195463A1 (en) 2012-08-02
US8891853B2 (en) 2014-11-18
EP2482248A3 (en) 2013-02-27
EP2482248B1 (en) 2017-04-19
JP2012160039A (ja) 2012-08-23

Similar Documents

Publication Publication Date Title
CN102630024B (zh) 图像处理设备、三维图像打印系统、以及图像处理方法
CN101657839B (zh) 用于对2d图像进行区域分类以进行2d至3d转换的系统和方法
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
US8675048B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
CN104914587B (zh) 显示设备、终端设备和显示方法
US20120249529A1 (en) 3d image displaying apparatus, 3d image displaying method, and 3d image displaying program
JP4396430B2 (ja) 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
US8606043B2 (en) Method and apparatus for generating 3D image data
US8594376B2 (en) Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system
CN103828361A (zh) 图像处理装置、方法、程序和记录介质，立体图像获取装置，便携式电子设备，打印机和立体图像播放器装置
CN104050448B (zh) 一种人眼定位、人眼区域定位方法及装置
JP2009124308A (ja) 多眼視画像作成システム及び多眼視画像作成方法
CN101180891A (zh) 立体图像显示装置、立体图像显示方法及计算机程序
CN103168316A (zh) 用户界面控制装置、用户界面控制方法、计算机程序以及集成电路
US20130003128A1 (en) Image generation device, method, and printer
US20120257788A1 (en) Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system
CN103390157B (zh) 书页跟踪的系统及方法
US9071832B2 (en) Image processing device, image processing method, and image processing program
CN103108198A (zh) 图像产生装置及图像调整方法
CN102572461B (zh) 三维图像编辑装置和三维图像编辑方法
CN101527762A (zh) 数码相框及立体图像显示方法
US9177382B2 (en) Image processing apparatus for forming synthetic image and image processing method for forming synthetic image
CN108093243A (zh) 一种立体成像处理方法、装置和立体显示设备
US20050238224A1 (en) Image output control apparatus, image output control method, image output control program and printer
US20140118318A1 (en) Method and system for automatically adjusting autostereoscopic 3d display device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160120

Termination date: 20220131

CF01 Termination of patent right due to non-payment of annual fee