CN1710615A

CN1710615A - 图像处理方法和图像处理装置

Info

Publication number: CN1710615A
Application number: CNA2005100794948A
Authority: CN
Inventors: 池泽美子
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-06-17
Filing date: 2005-06-17
Publication date: 2005-12-21
Anticipated expiration: 2025-06-17
Also published as: JP2006004158A; US7548236B2; US20050280644A1; CN100356406C

Abstract

图像处理方法和图像处理装置。一种图像处理方法，包括：创建(步骤01)对象的三维原型；通过进行投影将该对象的拍摄图像映射到三维原型的表面上，来创建(步骤S02到S06)该对象的三维模型；在显示器上显示该三维模型；对该三维模型的形状进行变形或修改(步骤T14到T15)；创建(步骤T16)经变形或修改的三维模型的二维的经修改的对象图像；将该二维的经修改的对象图像与该拍摄图像进行组合(步骤T17)；以及在显示器上显示该组合图像，作为经修改的拍摄图像。

Description

图像处理方法和图像处理装置

技术领域

本发明涉及图像处理技术，更具体地，涉及用于自然地修改对象的面部图像的技术。

背景技术

已知用于通过图像处理来修改人的面部图像的各种技术。日本专利申请特开公报No.9-62865公开了一种通过组合男人的面部图像和女人的面部图像来生成小孩面部的自然、舒适的图像的方法。此外，日本专利申请特开公报No.10-255066公开了一种修改女人的面部图像来获得漂亮的女人面部的图像的方法。

然而，使用日本专利申请特开公报No.9-62865或日本专利申请特开公报No.10-255066中公开的技术，尽管可以补充多种颜色并且可以改变人的面部表情等，但是不能对人的面部图像进行修改，以获得瘦脸或胖脸的图像。当然，可以通过图像处理来使面部的轮廓变形，但是变形后的面部轮廓往往看上去不象原始脸部的自然轮廓。

本发明的目的在于提供能够容易地修改面部的拍摄图像以获得面部的自然图像的图像处理技术。

发明内容

根据本发明的第一方面，提供了一种在图像处理装置中使用的图像处理方法，该图像处理装置具有用于显示图像的显示器并且对拍摄图像进行修改，该图像处理方法包括：创建对象的三维原型；通过将拍摄图像的对象部分投影到该三维原型的表面上并将对象图像映射到该三维原型的表面上，来创建对象的三维模型；通过映射到显示器上来显示所获得的对象的三维模型；对显示在显示器上的对象的三维模型的形状进行变形或修改；通过沿与投影该拍摄图像的方向相反的方向投影对象的经变形或修改的三维模型的图像，来创建二维的经修改的对象图像；将沿该相反方向对图像进行投影而获得的二维的经修改的对象图像与拍摄图像进行组合；以及在显示器上显示所组合的图像作为经修改的拍摄图像。

根据本发明的第二方面，提供了一种图像处理装置，其具有用于显示图像的显示器并对拍摄图像进行修改，该图像处理装置包括：三维模型创建部分，用于创建对象的三维原型；投影部分，用于对拍摄图像的对象部分进行投影，以将图像映射到该对象的三维原型的表面上；显示部分，用于通过映射在显示器上显示所获得的对象的三维模型；变形部分，用于对显示在显示器上的对象的三维模型的形状进行变形或修改；反向投影部分，用于通过沿与在投影部分投影该拍摄图像的方向相反的方向对在变形部分进行了变形或修改的对象的三维模型的图像进行投影，来创建二维的经修改的对象图像；图像组合部分，用于将在反向投影部分获得的二维的经修改的对象图像与该拍摄图像进行组合；处理结果显示部分，用于在显示器上显示在图像组合部分获得的组合图像。

以下说明阐述了本发明的优点，并部分地根据该说明而变得明显，或者可以通过实施本发明而习得。通过下文中所具体指出的手段和组合可以实现和获得本发明的优点。

附图说明

附图示出了本发明的实施例，并与以上给出的概括描述和以下给出的实施例的详细描述一起用于说明本发明的原理，并入附图并构成说明书的一部分。

图1表示应用了根据本发明第一实施例的图像处理方法的图像处理装置的结构；

图2是表示图像处理过程的概要的流程图；

图3是帮助说明3D模型创建处理的过程的流程图；

图4是帮助说明对要进行修改的图像的脸部部分进行剪辑的视图；

图5是帮助说明模式匹配方法的视图；

图6是帮助说明模式匹配方法的视图；

图7A是帮助说明纹理映射的视图；

图7B是帮助说明纹理映射的视图；

图8是帮助说明修改处理的过程的流程图；

图9表示3D模型及其备份；

图10表示光照部分调整画面；

图11表示3D模型修改画面；

图12是帮助说明3D模型创建处理的过程的流程图；

图13表示基准点、对象和图像采集设备之间的位置关系；以及

图14表示通过图像采集设备获得的拍摄图像；

具体实施方式

[第一实施例]

在根据本发明第一实施例的图像处理方法中，在对二维面部图像进行修改时，生成三维面部图像模型。然后，对该三维模型进行修改，由此生成二维的经修改的面部图像。在下文中，对第一实施例的图像处理方法进行说明。

图1表示应用了第一实施例的图像处理方法的图像处理装置10的结构。

图像处理装置10包括显示部分11、操作输入部分12、通信接口13、临时存储器14、图像存储器15、程序存储器16、处理部分17以及3D模型存储器18。

显示部分11是用于显示图像处理画面的CRT或TFT液晶显示器。操作输入部分12是用于接收来自用户的操作输入的输入装置，例如键盘或鼠标。通信接口13与外部装置交换信息，例如图像数据。

临时存储器14是用于存储图像处理过程中的中间数据等的缓冲存储器。图像存储器15存储原始图像。程序存储器16存储用于控制图像处理装置10的各个功能的程序。存储部分17管理图像处理装置10的整个操作。3D模型存储器18存储在图像处理过程中使用的三维模型(下文中，称为3D模型)。

图2是给出与第一实施例相关的图像处理的过程的概要的流程图。

为了准备进行图像处理，用户对要进行处理的个人执行图2的步骤S01中的3D模型创建处理(参见图3)。

在图3的步骤T01中，从用作3D模型的对象的个人的周围(例如，前、后、右、左)对该个人进行拍摄。将所拍摄的图像存储在临时存储器14中。

接下来，在步骤T02中，使用三维数字转换器(未示出)采集与要进行修改的个人相关的三维数据。该三维数字转换器是用于采集通过扫描三维对象(例如，部件、模型或人体)而获得的三维数据的装置。采集三维数据的已知方法包括：对三维对象进行扫描，同时接触其表面的方法；以及使用光对三维对象进行扫描而不接触该对象的表面的方法。将来自三维数字转换器的三维数据通过通信接口13提供给图像处理装置10，并且随后将其存储在3D模型存储器18中。

然后，在步骤T03中，根据所采集的三维数据创建3D模型。在如上所述创建该3D模型时，仅再现三维对象的形状。因此，没有给出图案、颜色等。在步骤T04中，将存储在临时存储器14中的被拍摄个人的脸部图像纹理映射到该3D模型上。在步骤T05中，将所完成的3D模型存储在3D模型存储器18中。然后，控制返回。

返回到图2，在步骤S02中，从图像存储器15读取要进行修改的图像。在步骤S03中，对要进行修改的图像的脸部部分进行剪辑。在剪辑脸部部分时，不需要精确地剪辑脸部的轮廓。例如，如图4所示，可以通过鼠标大致地指定包括脸部部分在内的区域。

接下来，在步骤S04和步骤S05中，确定从哪个方向以及以怎样的距离对所创建的3D模型进行拍摄，以获得所剪辑的脸部部分。为此，执行所剪辑的脸部部分的图像与3D模型之间的模式匹配。

图5和6是帮助说明模式匹配方法的视图。首先，从多个视点获得3D模型的3D模型投影图像。在图5中，从视点A、B、C获得3D模型投影图像A’、B’、C’。如图6所示，在3D模型投影图像A’、B’、C’中，通过模式匹配提取与所剪辑的面部部分的图像匹配良好的一个3D模型投影图像。在图6中，3D模型投影图像A’与所剪辑的面部部分的图像匹配良好。重复执行该模式匹配。根据该模式匹配的结果，确定对脸部的拍摄方向、到脸部的拍摄距离、以及框架(frame)的旋转角度。

然后，在步骤S06中，根据已经确定的对脸部的拍摄角度、到脸部的拍摄距离以及框架的旋转角度，将所剪辑的脸部部分的图像纹理映射到3D模型上。图7A是帮助说明纹理映射的俯视图，而图7B是帮助说明纹理映射的立体图。

接下来，执行步骤S07中的修改处理(图8)。在修改处理中，如图9所示，使用3D模型X和通过将要进行修改的图像Z纹理映射到3D模型X的副本上而获得的处理3D模型。与3D模型X的变形互锁地对处理3D模型Y进行变形。

在图8的步骤T11和步骤T12中，在显示部分11上显示该3D模型X和该处理3D模型Y，由此调整光照方向。

图10表示光照位置调整画面。在画面的右侧，显示3D模型X。在画面的左侧，显示通过从与要进行修改的图像Z相同的方向对处理3D模型Y进行拍摄而获得的图像20。当操作显示在画面下部的光照位置按钮21时，与表示照明的太阳标记一起显示用于调整照明的光照方向的旋转框架25。可以在三维空间内对照明进行旋转，该三维空间在该框架内具有作为中心轴的彼此以直角相交的三个轴。当改变光照位置时，显示在图像20上的模型的投影(shadow)与光照位置的变化互锁地发生变形。然而，拍摄模型的方向、拍摄距离以及框架的旋转角度没有变化。

图11表示用于修改3D模型的画面。当操作显示在画面的下部的修改按钮22时，显示出围绕3D模型X的长方体框架26和轮廓框架27。

在图8的步骤T13和步骤T14中，可以通过拖动长方体框架26的顶点来转动3D模型X，以改变其方向。此时，光照位置也与该框架的运动互锁地发生了变化。此外，拖动轮廓框架27使得能够使3D模型的轮廓发生变形。此时，脸部的投影也发生变化。

在图8的步骤T15到步骤T18中，处理3D模型Y与3D模型X的变形互锁地发生变形。然后，通过从与要进行修改的图像Z相同的方向拍摄已变形的处理3D模型Y，来创建二维的脸部图像。此后，将所创建的二维脸部图像与要进行修改的图像Z进行组合。在图像20上显示组合的结果。

如果在步骤T19中为“是”，即，如果继续修改，则重复执行步骤T13到步骤T18。如果在步骤T19中为“否”，即，如果结束修改，则在步骤T20中对结束按钮23的操作使得在步骤T21中将已修改的图像存储在图像存储器15中。然后，控制返回。

返回到图2，在步骤S08中，创建已修改图像作为要进行修改的图像Z的修改图像，并且随后在显示部分11上对其进行放大。

[第二实施例]

根据本发明第二实施例的图像处理方法与第一实施例的差异在于：使用多个图像采集设备来创建3D模型。通过相同的标号来表示与第一实施例中相同的部分，并且在此省略对其的详细说明。

图12是帮助说明3D模型创建处理的过程的流程图。可以使用该流程图来代替图8的3D模型创建处理。

在图12的步骤S11中，从多个方向拍摄包括背景(该背景包括位置关系已知的多个基准点)在内的图像以及要进行拍摄的个人的脸部部分。图13表示基准点a、b、c、d、对象、以及图像采集设备A、B、C之间的位置关系。

在步骤S12到步骤S14中，读取所拍摄的二维图像，并确定这些基准点在该二维图像中的位置。图14表示通过图像采集设备拍摄的图像。基准点a、b、c、d在图像中的位置以及这些基准点之间的相对距离与这些基准点在由另一图像采集设备采集的图像中的不同。这是因为拍摄该对象的图像采集设备的位置与其它图像采集设备的位置不同。因此，根据所拍摄图像之间的基准点的位置的差异，可以通过三角测量来确定所拍摄的各个图像的位置。

在图S15到步骤S17中，对于所拍摄的各个图像确定眼睛、鼻子、嘴等(即，所拍摄图像的脸部的特征部分)的位置。然后，根据它们的位置在所拍摄图像之间的差异，确定脸部的特征点在空间坐标中的位置。接下来，通过粘贴经过脸部的多个特征点的坐标的构成该脸部的曲面来创建3D模型。由于在通过这种方式创建的3D模型中，仅再现了三维对象的形状，所以没有提供图案、颜色等。因此，在步骤S18中，将所拍摄对象的图像纹理映射到该3D模型上。然后，在步骤S19中，存储所完成的3D模型。

根据第一和第二实施例，3D模型的应用使得能够以相同的方式对多个二维图像进行修改，这使得不需要执行单独的图像处理。此外，3D模型的应用使得可以自然并容易地使轮廓变形。此外，在修改3D模型时，修改者可以在修改后立即浏览所生成的图像。结果，修改者可以进行他或她想进行的修改。

此外，根据第二实施例，由于根据被拍摄对象的图像来创建3D模型，所以不需要提供三维数字转换器。

可以使用硬件来构造这些实施例中所描述的各个功能。另选地，可以通过使用软件将写有各个功能的程序载入到计算机中来实现各个功能。此外，可以通过选择性地适当使用软件或硬件来构造各个功能。

此外，可以通过将存储在记录介质(未示出)中的程序加载到计算机中来实现各个功能。在这些实施例的记录介质中，可以使用任何记录方法，只要可以通过该方法将程序记录在该记录介质上并且计算机可以从该记录介质读取这些程序即可。

对于本领域的技术人员，很容易想到其它优点和修改。因此，本发明在其更宽泛的方面并不限于在此所示和所述的具体细节和代表性示例。因此，在不脱离由所附权利要求及其等同物限定的总体发明思想的主旨或范围的情况下，可以进行各种修改。

Claims

1、一种在图像处理装置(10)中使用的图像处理方法，该图像处理装置具有用于显示图像的显示器(11)并对拍摄图像进行修改，该图像处理方法的特征在于包括以下步骤：

创建(步骤01)对象的三维原型；

通过将拍摄图像的对象部分投影到所述三维原型的表面上并且将该对象图像映射到所述三维原型的表面上，来创建(步骤S02到S06)所述对象的三维模型；

在所述显示器上显示通过映射获得的对象的三维模型；

对显示在所述显示器上的对象的三维模型的形状进行变形或修改(步骤T14到T15)；

通过沿与投影所述拍摄图像的方向相反的方向对所述对象的经变形或修改的三维模型的图像进行投影，来创建(步骤T16)二维的经修改的对象图像；

将沿所述相反方向进行投影而获得的所述二维的经修改的对象图像与所述拍摄图像进行组合(步骤T17)；以及

在显示器上显示所述组合图像，作为经修改的拍摄图像。

2、根据权利要求1所述的图像处理方法，其特征在于还包括以下步骤：

改变(步骤T13)对显示在所述显示器上的所述三维模型进行观察的位置，并且随后显示该模型。

3、根据权利要求2所述的图像处理方法，其特征在于还包括以下步骤：

设置(步骤T13)对显示在所述显示器上的所述三维模型进行照明的光照位置。

4、根据权利要求3所述的图像处理方法，其特征在于还包括以下步骤：

创建(步骤T11)所述对象的已创建的三维原型的副本；

通过对所述拍摄图像的对象部分进行投影，以将该对象图像映射到所述对象的三维原型的副本的表面上，来创建(步骤T11)所述对象的三维副本模型；

对所述对象的三维副本模型进行(步骤T15到T18)与所述对象的三维模型相同的变形或修改；以及

显示(步骤T18)所述对象的经变形或修改的三维模型以及所述对象的经变形或修改的三维副本模型。

5、一种图像处理装置(10)，其具有用于显示图像的显示器并对拍摄图像进行修改，该图像显示装置的特征在于包括：

三维模型创建部分，用于创建对象的三维原型；

投影部分，用于对拍摄图像的对象部分进行投影，以将该图像映射到所述对象的三维原型的表面上；

显示部分，用于在所述显示器上显示通过映射获得的所述对象的三维模型；

变形部分，用于对显示在所述显示器上的所述对象的三维模型的形状进行变形或修改；

反向投影部分，用于通过沿与在所述投影部分投影所述拍摄图像的方向相反的方向对在所述变形部分进行了变形或修改的所述对象的三维模型的图像进行投影，来创建二维的经修改的对象图像；

图像组合部分，用于将在所述反向投影部分获得的所述二维的经修改的对象图像与所述拍摄图像进行组合；以及

处理结果显示部分，用于在所述显示器上显示在所述图像组合部分获得的组合图像。

6、根据权利要求5所述的图像处理装置，其特征在于

所述显示部分改变对所述对象的三维模型进行观察的位置，并显示该模型。

7、根据权利要求6所述的图像处理装置，其特征在于

所述显示部分设置对所述对象的三维模型进行照明的光照位置。

8、根据权利要求7所述的图像处理装置，其特征在于还包括：

第一复制部分，用于创建在所述三维模型创建部分创建的所述对象的三维原型的副本；

第二复制部分，用于通过对所述拍摄图像的对象部分进行投影，以将该对象图像映射到在上述复制部分创建的所述对象的三维原型的副本的表面上，来创建所述对象的三维副本模型；以及

第二变形部分，用于对所述对象的三维副本模型进行与所述对象的三维模型相同的变形或修改，

其中所述显示部分显示所述对象的经变形或修改的三维模型以及所述对象的经变形或修改的三维副本模型。