CN101807299A - 变更脸图像的规定的纹理特征量的图像处理 - Google Patents

变更脸图像的规定的纹理特征量的图像处理 Download PDF

Info

Publication number
CN101807299A
CN101807299A CN201010118252A CN201010118252A CN101807299A CN 101807299 A CN101807299 A CN 101807299A CN 201010118252 A CN201010118252 A CN 201010118252A CN 201010118252 A CN201010118252 A CN 201010118252A CN 101807299 A CN101807299 A CN 101807299A
Authority
CN
China
Prior art keywords
face
texture
image
shape
object images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010118252A
Other languages
English (en)
Other versions
CN101807299B (zh
Inventor
松坂健治
碓井雅也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN101807299A publication Critical patent/CN101807299A/zh
Application granted granted Critical
Publication of CN101807299B publication Critical patent/CN101807299B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及变更脸图像的规定的纹理特征量的图像处理，用于实现对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。图像处理装置包括：存储部，存储对与互不相同的脸图像尺寸对应的多个基准形状、和与互不相同的脸图像尺寸对应的多个纹理模型进行确定的信息；脸特征位置确定部，确定对象图像中的脸的特征部位的位置；模型选择部，基于对象图像中的脸图像尺寸选择基准形状和纹理模型；第一图像变换部，按照对象图像中的脸形状与选择基准形状相等的方式进行第一变换；特征量处理部，利用选择纹理模型，对第一变换后的对象图像中的规定的纹理特征量进行变更；和第二图像变换部，对特征量变更后的对象图像进行第一变换的逆变换。

Description

变更脸图像的规定的纹理特征量的图像处理
技术领域
本发明涉及对脸图像中的规定的纹理特征量进行变更的图像处理。
背景技术
作为视觉上的事物的模型化方法，已知有主动外观模型(ActiveAppearance Model，也简称为“AAM”)。在AAM中，例如通过多个采样脸图像中的规定的特征部位(例如眼角、鼻尖或脸轮廓线)的位置(坐标)、像素值(例如亮度值)的统计学分析，可设定对由上述特征部位的位置确定的脸形状进行表示的形状模型、或表示平均形状中的“外观(Appearance)”的纹理模型(texture model)，并利用这些模型将脸图像模型化。根据AAM，可以实现任意的脸图像的模型化(合成)，能够确定(检测)图像中的上述特征部位的位置(例如参照专利文献1)。
专利文献1：日本专利特开2007-141107号公报
若利用AAM，则能够执行通过变更纹理模型的规定的纹理参数，来变更脸图像中的规定的纹理特征量的图像处理(例如，降低影成分的图像处理)。在以往变更脸图像中的规定的纹理特征量的图像处理中，具有进一步提高质量的余地。
另外，这样的问题不仅存在于利用AAM的场合，在进行对脸图像中的规定的纹理特征量实施变更的图像处理时是共同的问题。
发明内容
本发明为了解决上述课题而提出，其目的在于，实现进一步提高对脸图像中的规定的纹理特征量进行变更的图像处理的质量。
为了解决上述课题的至少一部分，本发明能够作为以下的方式或应用例而实现。
[应用例1]一种图像处理装置，对对象图像中的脸图像的规定的纹理特征量进行变更，具备：存储部，其存储对与互不相同的脸图像尺寸对应的多个基准形状、和与互不相同的脸图像尺寸对应的多个纹理模型进行确定的信息，所述基准形状是成为基准的脸形状，所述纹理模型通过基准纹理和至少一个所述纹理特征量来表示具有所述基准形状的脸图像的像素值所规定的脸纹理；脸特征位置确定部，其确定所述对象图像中的脸的规定的特征部位的位置；模型选择部，其取得所述对象图像中的脸图像尺寸，基于所述取得的脸图像尺寸选择一个所述基准形状和一个所述纹理模型；第一图像变换部，其按照所述对象图像中的所述特征部位的位置所规定的脸形状与选择出的所述基准形状相等的方式，对所述对象图像进行第一变换；特征量处理部，其利用选择出的所述纹理模型，对所述第一变换后的所述对象图像中的所述规定的纹理特征量进行变更；和第二图像变换部，其对所述规定的纹理特征量变更后的所述对象图像，进行所述第一变换的逆变换。
在该图像处理装置中，基于对象图像中的脸图像尺寸选择一个基准形状和一个纹理模型，并按照对象图像中的脸形状与选择出的基准形状相等的方式进行第一变换，利用选择出的纹理模型变更第一变换后的对象图像中的规定的纹理特征量，通过对特征量变更后的对象图像进行第一变换的逆变换，可实现对象图像中的脸图像的规定的纹理特征量的变更。在该图像处理装置中，由于基于对象图像中的脸图像尺寸选择基准形状和纹理模型，所以在进行第一变换及其逆变换、利用了纹理模型的纹理特征量的变更时，能够抑制图像的信息量降低。因此，在该图像处理装置中，能够实现对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。
[应用例2]在应用例1所述的图像处理装置中，所述模型选择部选择与所述取得的脸图像尺寸最接近的脸图像尺寸所对应的所述基准形状和所述纹理模型。
在该图像处理装置中，由于选择了与对象图像中的脸图像尺寸最接近的脸图像尺寸所对应的基准形状和纹理模型，所以在进行第一变换及其逆变换、利用了纹理模型的纹理特征量的变更时，能够抑制图像的信息量降低，从而可实现对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。
[应用例3]在应用例1或2所述的图像处理装置中，所述特征量处理部利用选择出的所述纹理模型，对所述第一变换后的所述对象图像确定脸纹理，对确定出的脸纹理变更所述规定的纹理特征量。
在该图像处理装置中，当进行利用了纹理模型的纹理特征量的变更时，能够抑制图像的信息量降低，从而可实现对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。
[应用例4]在应用例1～3任意一项所述的图像处理装置中，所述特征量处理部对实质上与影成分对应的所述规定的纹理特征量进行变更。
在该图像处理装置中，可实现对实质上与脸图像中的影成分对应的规定的纹理特征量进行变更的图像处理的质量进一步提高。
[应用例5]在应用例1～4任意一项所述的图像处理装置中，所述模型选择部基于在所述对象图像中被确定的所述特征部位的位置，取得所述对象图像中的脸图像尺寸。
在该图像处理装置中，由于基于在对象图像中被确定的特征部位的位置来取得对象图像中的脸图像尺寸，并基于对象图像中的脸图像尺寸选择一个基准形状和一个纹理模型，所以在进行第一变换及其逆变换、利用了纹理模型的纹理特征量的变更时，能够抑制图像的信息量降低，从而可实现对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。
[应用例6]在应用例1～5任意一项所述的图像处理装置中，所述存储部存储的所述信息包含对与互不相同的脸图像尺寸对应的多个形状模型进行确定的信息，所述形状模型通过所述基准形状和至少一个形状特征量来表示脸形状，所述脸特征位置确定部利用所述形状模型和所述纹理模型，对所述对象图像中的所述特征部位的位置进行确定。
在该图像处理装置中，利用形状模型和纹理模型来确定对象图像中的特征部位的位置，可以实现利用确定结果对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。
[应用例7]在应用例6所述的图像处理装置中，所述形状模型及所述纹理模型基于以所述特征部位的位置为已知的多个采样脸图像为对象的统计分析而被设定。
在该图像处理装置中，能够利用形状模型和纹理模型，高精度地确定对象图像中的特征部位的位置。
[应用例8]在应用例7所述的图像处理装置中，所述基准形状是对所述多个采样脸图像中的所述特征部位的平均位置进行表示的平均形状，所述基准纹理是对被形状变换为所述平均形状后的所述多个采样脸图像的所述特征部位的位置处的像素值的平均进行表示的平均纹理。
在该图像处理装置中，能够实现以所有图像为对象而执行的对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。
[应用例9]一种图像处理装置，对对象图像中的脸图像的规定的纹理特征量进行变更，具备：存储部，其存储对成为基准的脸形状的基准形状、通过基准纹理和至少一个所述纹理特征量来表示具有所述基准形状的脸图像的像素值所规定的脸纹理的纹理模型进行确定的信息；脸特征位置确定部，其确定所述对象图像中的脸的规定的特征部位的位置；第一图像变换部，其按照所述对象图像中的所述特征部位的位置所规定的脸形状与所述基准形状相等的方式，对所述对象图像进行第一变换；特征量处理部，其利用所述纹理模型，生成与所述第一变换后的所述对象图像中的所述规定的纹理特征量对应的纹理特征量图像；第二图像变换部，其对所述纹理特征量图像进行所述第一变换的逆变换；和修正处理部，其从所述对象图像中减去所述逆变换后的所述纹理特征量图像。
在该图像处理装置中，按照对象图像中的脸形状与基准形状相等的方式进行第一变换，利用纹理模型生成与第一变换后的对象图像中的规定的纹理特征量对应的纹理特征量图像，对纹理特征量图像进行第一变换的逆变换，并从对象图像中减去逆变换后的纹理特征量图像，由此可实现对象图像中的脸图像的规定的纹理特征量的变更。在该图像处理装置中，由于最终的减法运算中使用的对象图像不是第一变换或逆变换的对象，所以能够抑制图像的信息量降低，由此可实现对脸图像中的规定的纹理特征量进行变更的图像处理的质量进一步提高。
另外，本发明能够以各种方式实现，例如，能够以图像处理方法及装置、图像修正方法及装置、特征量变更方法及装置、打印方法及装置、用于实现这些方法或装置的功能的计算机程序、记录了该计算机程序的记录介质、包含该计算机程序且具体化到载波内的数据信号等方式实现。
附图说明
图1是示意性表示作为本发明的第1实施例中的图像处理装置的打印机100的结构的说明图。
图2是表示第1实施例中的AAM设定处理的流程的流程图。
图3是表示采样脸图像SI的一例的说明图。
图4是表示采样脸图像SI中的特征点CP的设定方法的一例的说明图。
图5是表示在采样脸图像SI中设定的特征点CP的坐标的一例的说明图。
图6是表示平均形状s0的一例的说明图。
图7是表示采样脸图像SI的扭曲(warp)W的方法的一例的说明图。
图8是表示平均脸图像A0(x)的一例的说明图。
图9是表示第1实施例中的脸特征位置确定处理的流程的流程图。
图10是表示对象图像OI中的脸区域FA的检测结果的一例的说明图。
图11是表示第1实施例中的特征点CP的初始配置决定处理的流程的流程图。
图12是表示对象图像OI中的特征点CP的临时配置的一例的说明图。
图13是表示平均形状图像I(W(x；p))的一例的说明图。
图14是表示对象图像OI中的特征点CP的初始配置的一例的说明图。
图15是表示第1实施例中的特征点CP配置更新处理的流程的流程图。
图16是表示脸特征位置确定处理的结果的一例的说明图。
图17是表示第1实施例中的图像修正处理的流程的流程图。
图18是表示第1实施例中的图像修正处理的概要的说明图。
图19是表示第2实施例中的图像修正处理的流程的流程图。
图中：100-打印机；110-CPU；120-内部存储器；140-操作部；150-显示部；160-打印机机芯(printer engine)；170-卡接口；172-卡槽；200-图像处理部；210-脸特征位置确定部；211-初始配置部；212-图像变换部；213-判定部；214-更新部；215-标准化部；220-模型选择部；230-脸区域检测部；240-修正处理部；241-图像变换部；242-特征量处理部；310-显示处理部；320-打印处理部。
具体实施方式
下面，基于实施例，按以下的顺序对本发明的实施方式进行说明。
A.第1实施例
A-1.图像处理装置的结构：
A-2.AAM设定处理：
A-3.脸特征位置确定处理：
A-4.图像修正处理：
B.第2实施例
C.变形例
A.第1实施例
A-1.图像处理装置的结构：
图1是示意性表示作为本发明的第1实施例中的图像处理装置的打印机100的结构的说明图。本实施例的打印机100是与根据从存储卡MC等取得的图像数据来打印图像的所谓直热式打印机对应的喷墨式彩色打印机。打印机100具备：对打印机100的各部进行控制的CPU110、由ROM、RAM构成的内部存储器120、由按钮或触摸面板构成的操作部140、由液晶显示器构成的显示部150、打印机机芯160、卡接口(卡I/F)170。打印机100还可具备用于与其他设备(例如数码相机或个人计算机)进行数据通信的接口。打印机100的各结构要素通过总线相互连接。
打印机机芯160是基于打印数据进行打印的打印机构。卡接口170是用于与被插入到卡槽172的存储卡MC之间进行数据交换的接口。其中，在本实施例中，存储卡MC中保存着包含图像数据的图像文件。
内部存储器120中包括图像处理部200、显示处理部310和打印处理部320。图像处理部200是用于在规定的操作系统下执行脸特征位置确定处理、图像修正处理的计算机程序。本实施例的脸特征位置确定处理是确定(检测)脸图像中的规定的特征部位(例如眼角、鼻尖或脸轮廓线)的位置的处理。本实施例的图像修正处理是降低脸图像中的影成分的处理。关于脸特征位置确定处理和图像修正处理将在后面详述。
作为程序模块，图像处理部200包括脸特征位置确定部210、模型选择部220、脸区域检测部230和修正处理部240。脸特征位置确定部210包括：初始配置部211、图像变换部212、判定部213、更新部214和标准化部215。修正处理部240包括图像变换部241和特征量处理部242。其中，图像变换部241相当于本发明中的第一图像变换部及第二图像变换部。关于各部的功能将在后述的脸特征位置确定处理及图像修正处理的说明中详述。
显示处理部310是对显示部150进行控制，使显示部150上显示处理菜单或消息、图像等的显示器驱动器。打印处理部320是用于根据图像数据生成打印数据，并控制打印机机芯160来执行基于打印数据的图像打印的计算机程序。CPU110通过从内部存储器120读出并执行这些程序(图像处理部200、显示处理部310、打印处理部320)，来实现各部的功能。
内部存储器120中还保存有AAM信息AMI。AAM信息AMI是通过后述的AAM设定处理预先设定的信息，在后述的脸特征位置确定处理及图像修正处理中被参照。关于AAM信息AMI的内容，将在后述的AAM设定处理的说明中详述。
A-2.AAM设定处理：
图2是表示第1实施例中的AAM设定处理的流程的流程图。AAM设定处理是对被称作AAM(主动外观模型(Active Appearance Model))的图像的模型化中所使用的形状模型及纹理模型进行设定的处理。
在步骤S110中，表示人物的脸的多个图像被设定为采样脸图像SI。图3是表示采样脸图像SI的一例的说明图。如图3所示，采样脸图像SI被设定为包含个性、人种/性别、表情(怒、笑、愁、惊等)、朝向(朝正面、朝上、朝下、朝右、朝左等)各种属性互不相同的脸图像。若如此设定采样脸图像SI，则能够通过AAM高精度地将所有的脸图像模型化，从而可执行以所有的脸图像为对象的高精度的脸特征位置确定处理(后述)。其中，采样脸图像SI也被称作学习脸图像。
在步骤S120(图2)中，对各个采样脸图像SI设定特征点CP。图4是表示采样脸图像SI中的特征点CP的设定方法的一例的说明图。特征点CP是表示脸图像中的规定的特征部位的位置的点。在本实施例中，作为规定的特征部位，设定了人物的脸的眉毛上的规定位置(例如端点、4分割点等，以下相同)、眼睛的轮廓上的规定位置、鼻梁及鼻翼的轮廓上的规定位置、上下唇的轮廓上的规定位置、脸的轮廓(脸轮廓线)上的规定位置等68个部位。即，在本实施例中，将人物的脸中公共包含的脸的器官(眉毛、眼睛、鼻子、嘴)及脸的轮廓上的规定位置设定为特征部位。如图4所示，特征点CP在各采样脸图像SI中被设定(配置)在表示由操作者指定的68个特征部位的位置。由于这样设定的各特征点CP与各特征部位对应，所以脸图像中的特征点CP的配置可表现为规定了脸的形状。
采样脸图像SI中的特征点CP的位置通过坐标来确定。图5是表示在采样脸图像SI中设定的特征点CP的坐标的一例的说明图。在图5中，SI(j)(j＝1，2，3…)表示各采样脸图像SI，CP(k)(k＝0，1，…，67)表示各特征点CP。而CP(k)-X表示特征点CP(k)的X坐标，CP(k)-Y表示特征点CP(k)的Y坐标。作为特征点CP的坐标，可采用以脸的大小、脸的倾斜度(图像面内的倾斜度)、脸的X方向及Y方向的位置分别被标准化后的采样脸图像SI中的规定的基准点(例如图像的左下方的点)为原点时的坐标。而且，在本实施例中，允许一个采样脸图像SI中包含多个人物的脸的情况(例如采样脸图像SI(2)中包含两个人的脸)，一个采样脸图像SI中的各人物由人物ID确定。
在步骤S130(图2)中，设定AAM的形状模型。具体而言，针对由各采样脸图像SI中的68个特征点CP的坐标(X坐标及Y坐标)构成的坐标向量(参照图5)进行主成分分析，由特征点CP的位置确定的脸的形状s可由下述的式(1)来模型化。其中，形状模型也被称作特征点CP的配置模型。
【数学式1】
s = s 0 + Σ i = 1 n p i s i . . . ( 1 )
在上述式(1)中，s0是平均形状。图6是表示平均形状s0的一例的说明图。如图6(a)及(b)所示，平均形状s0是表示采样脸图像SI的各特征点CP的平均位置(平均坐标)所确定的平均的脸形状的模型。其中，本实施例中，将在平均形状s0中连结位于外周的特征点CP(脸轮廓线及眉毛、眉间所对应的特征点CP，参照图4)的直线所包围的区域(在图6(b)中用影线表示)称作“平均形状区域BSA”。在平均形状s0中，如图6(a)所示，以特征点CP为顶点的多个三角形区域TA被设定成将平均形状区域BSA分割为网目状。
在表示形状模型的上述式(1)中，si是形状向量，pi是表示形状向量si的权重的形状参数。形状向量si是表示脸形状s的特性的向量，具体而言，是与通过主成分分析得到的第i主成分对应的固有向量。即，从方差较大的主成分所对应的固有向量开始依次采用基于累积贡献率而设定的个数为n的固有向量，作为形状向量si。在本实施例中，方差最大的第1主成分所对应的第1形状向量s1成为与脸的左右姿态近似相关的向量，方差第二大的第2主成分所对应的第2形状向量s2成为与脸的上下姿态近似相关的向量。而方差第三大的第3主成分所对应的第3形状向量s3成为与脸形状的纵横比近似相关的向量，方差第四大的第4主成分所对应的第4形状向量s4成为与嘴的张开程度近似相关的向量。
如上述式(1)所示，在本实施例的形状模型中，表示特征点CP的配置的脸形状s被模型化为平均形状s0与n个形状向量si的线性组合之和。在形状模型中，通过适当设定形状参数pi，能够再现所有图像中的脸的形状s。其中，形状模型设定步骤(图2的步骤S130)中设定的平均形状s0及形状向量si，被作为AAM信息AMI(图1)保存到内部存储器120中。平均形状s0相当于本发明中的基准形状，形状向量si与形状参数pi之积相当于本发明中的形状特征量。
另外，在本实施例中，可设定与相互不同的脸图像尺寸对应的多个形状模型。即，可设定与相互不同的脸图像尺寸对应的多个平均形状s0及多组形状向量si。多个形状模型通过将多个等级的脸的尺寸作为目标值对采样脸图像SI进行标准化，并按脸的尺寸的每个等级对采样脸图像SI中的特征点CP的坐标所构成的坐标向量进行主成分分析而设定。
在步骤S140(图2)中，设定AAM的纹理模型。具体而言，首先按照采样脸图像SI中的特征点CP的配置与平均形状s0中的特征点CP的配置相等的方式，对各采样脸图像SI进行图像变换(以下也称为“扭曲W”)。
图7是表示采样脸图像SI的扭曲W的方法的一例的说明图。在各采样脸图像SI中，与平均形状s0同样地设定了将位于外周的特征点CP所包围的区域分割为网目状的多个三角形区域TA。扭曲W是针对多个三角形区域TA的每一个的仿射变换的集合。即，在扭曲W中，采样脸图像SI中的某个三角形区域TA的图像被仿射变换为平均形状s0中的对应的三角形区域TA的图像。通过扭曲W，可生成特征点CP的配置与平均形状s0中的特征点CP的配置相等的采样脸图像SI(以下表示为“采样脸图像SIw”)。
其中，各采样脸图像SIw被生成为以包含平均形状区域BSA(图7中用影线表示)的矩形框为外周，且平均形状区域BSA以外的区域(以下也称为“屏蔽区域MA”)被屏蔽的图像。将平均形状区域BSA与屏蔽区域MA合并后的图像区域称为基准区域BA。如上所述，在本实施例中，由于可设定与相互不同的脸图像尺寸对应的多个形状模型(平均形状s0及多组形状向量si)，所以按多个形状模型(平均形状s0)的每一个生成采样脸图像SIw。例如，各采样脸图像SIw被生成为56像素×56像素、256像素×256像素、500像素×500像素这三个等级的尺寸的图像。
接着，对各采样脸图像SIw的像素组x各自的亮度值所构成的亮度值向量进行主成分分析，脸的纹理(也称为“外观”)A(x)可根据下述的式(2)被模型化。其中，像素组x是位于平均形状区域BSA的像素的集合。
【数学式2】
A ( x ) = A 0 ( x ) + Σ i = 1 m λ i A i ( x ) . . . ( 2 )
在上述式(2)中，A0(x)是平均脸图像。图8是表示平均脸图像A0(x)的一例的说明图。平均脸图像A0(x)是表现了扭曲W后的采样脸图像SIw(参照图7)的平均的图像。即，平均脸图像A0(x)是通过对采样脸图像SIw的平均形状区域BSA内的每个像素组x求取像素值(亮度值)的平均而算出的图像。因此，平均脸图像A0(x)是表示平均的脸形状中的平均的脸纹理(外观)的模型。其中，平均脸图像A0(x)与采样脸图像SIw同样，由平均形状区域BSA和屏蔽区域MA构成。而且，在平均脸图像A0(x)中，也将平均形状区域BSA与屏蔽区域MA合并后的图像区域称为基准区域BA
在表示纹理模型的上述式(2)中，Ai(x)是纹理向量，λi是表示纹理向量Ai(x)的权重的纹理参数。纹理向量Ai(x)是表示脸的纹理A(x)的特性的向量，具体而言，是与通过主成分分析获得的第i主成分对应的固有向量。即，从方差较大的主成分所对应的固有向量开始依次采用基于累积贡献率而设定的个数为m的固有向量，作为纹理向量Ai(x)。在本实施例中，方差最大的第1主成分所对应的第1纹理向量A1(x)成为与脸色的变化(还捕捉性别差异)近似相关的向量，方差第二大的第2主成分所对应的第2纹理向量A2(x)成为与影成分的变化(还捕捉光源位置的变化)近似相关的向量。
如上述式(2)所示，在本实施例的纹理模型中，表示脸的外观的脸纹理A(x)被模型化为平均脸图像A0(x)与m个纹理向量Ai(x)的线性组合之和。在纹理模型中，通过适当设定纹理参数λi，能够再现所有图像中的脸的纹理A(x)。其中，纹理模型设定步骤(图2的步骤S140)中设定的平均脸图像A0(x)以及纹理向量Ai(x)，被作为AAM信息AMI(图1)保存到内部存储器120中。平均脸图像A0(x)相当于本发明中的基准纹理，纹理向量Ai(x)与纹理参数λi之积相当于本发明中的规定的纹理特征量。
另外，在本实施例中，由于可如上所述，设定与相互不同的脸图像尺寸对应的多个形状模型，所以，针对纹理模型也设定与相互不同的脸图像尺寸对应的多个纹理模型。即，设定与相互不同的脸图像尺寸对应的多个平均脸图像A0(x)及多组纹理参数λi。通过对按多个形状模型的每个生成的采样脸图像SIw的像素组x各自的亮度值所构成的亮度值向量进行主成分分析，来设定多个纹理模型。
通过以上说明的AAM设定处理(图2)，可设定将脸额形状模型化的形状模型和将脸的纹理模型化的纹理模型。通过对所设定的形状模型与纹理模型进行组合，即通过对合成后的纹理A(x)进行从平均形状s0到形状s的变换(图7所示的扭曲W的逆变换)，能够再现所有脸图像的形状及纹理。
A-3.脸特征位置确定处理：
图9是表示第1实施例中的脸特征位置确定处理的流程的流程图。本实施例中的脸特征位置确定处理是通过利用AAM来确定对象图像中的特征点CP的配置，从而确定对象图像中的脸的特征部位的位置的处理。如上所述，本实施例在AAM设定处理(图2)中，将人物的脸的器官(眉毛、眼睛、鼻子、嘴)及脸的轮廓上的共计68个规定位置设定为特征部位(参照图4)。因此，在本实施例的脸特征位置确定处理中，可确定对人物的脸的器官及脸的轮廓上的规定位置进行表示的68个特征点CP的配置。
另外，若通过脸特征位置确定处理确定了对象图像中的特征点CP的配置，则能够确定对象图像中的人物的脸器官的形状、位置和脸的轮廓形状。因此，脸特征位置确定处理的处理结果，能够在用于对特定表情(例如笑脸或闭着眼睛的脸)的脸图像进行检测的表情判定、用于对特定朝向(例如朝右或朝下)的脸图像进行检测的脸朝向判定、使脸形状变形的脸变形等中加以利用。
在步骤S210(图9)中，图像处理部200(图1)获取对成为脸特征位置确定处理的对象的对象图像进行表示的图像数据。在本实施例的打印机100中，当存储卡MC被插入到卡槽172中，存储卡MC中保存的图像文件的缩略图像显示到显示部150上。用户在参照所显示的缩略图像的同时，通过操作部140来选择成为处理对象的一个或多个图像。图像处理部200从存储卡MC取得包含与所选择的一个或多个图像对应的图像数据的图像文件，并保存到内部存储器120的规定的区域。其中，将所取得的图像数据称为对象图像数据，将对象图像数据所表示的图像称为对象图像OI。
在步骤S220(图9)中，脸区域检测部230(图1)将包括对象图像OI中的脸图像的至少一部分的图像区域检测为脸区域FA。脸区域FA的检测可利用公知的脸检测方法进行。作为公知的脸检测方法，例如有基于图案匹配的方法、基于肤色区域提取的方法、采用通过利用了采样脸图像的学习(例如，利用了神经网络的学习、利用了Boosting的学习、利用了支持向量机(support vector machine)的学习等)而设定的学习数据的方法等。
图10是表示对象图像OI中的脸区域FA的检测结果的一例的说明图。图10中表示了在对象图像OI中检测到的脸区域FA。在本实施例中，采用了检测大致包含脸的上下方向上从额头到下颌、左右方向上到两耳外侧的矩形区域作为脸区域FA的脸检测方法。
其中，图10所示的设想基准区域ABA是被设想为与平均脸图像A0(x)的整体区域、即基准区域BA(参照图8)对应的区域。设想基准区域ABA基于检测出的脸区域FA，被设定为大小、倾斜度、上下及左右方向的位置分别与脸区域FA具有规定关系的区域。脸区域FA与设想基准区域ABA之间的规定关系，通过考虑脸区域FA的检测中所采用的脸检测方法的特性(将什么样的脸的范围检测为脸区域FA)而预先设定，使得当脸区域FA中出现的脸为平均的脸时，设想基准区域ABA与基准区域BA对应。
另外，在步骤S220(图9)中从对象图像OI没有检测到脸区域FA的情况下，判断为对象图像OI中不包含脸的图像而结束脸特征位置确定处理、或再次执行脸区域FA的检测处理。
在步骤S222(图9)中，模型选择部220(图1)取得对象图像OI中的脸图像尺寸，并基于所取得的脸图像尺寸，从与相互不同的脸图像尺寸对应而设定的多个形状模型及纹理模型中，选择一个形状模型及一个纹理模型。具体而言，模型选择部220取得所设定的设想基准区域ABA的尺寸作为脸图像尺寸，并选择与设想基准区域ABA的尺寸最接近的图像尺寸所对应的形状模型及纹理模型。在脸特征位置确定处理(图9)之后的处理中，所选择的形状模型及纹理模型被使用。
在步骤S230(图9)中，脸特征位置确定部210(图1)决定对象图像OI中的特征点CP的初始配置。图11是表示第1实施例中的特征点CP的初始配置决定处理的流程的流程图。在特征点CP初始配置决定处理的步骤S310中，初始配置部211(图1)对作为全局参数的大小、倾斜度、位置(上下方向的位置及左右方向的位置)的值进行各种变更，将特征点CP的临时配置设定到对象图像OI上。
图12是表示对象图像OI中的特征点CP的临时配置的一例的说明图。图12(a)及图12(b)中，通过网目表示了对象图像OI中的特征点CP的临时配置。即，网目的各交点为特征点CP。初始配置部211如图12(a)及图12(b)的中央所示那样，设定将平均脸图像A0(x)(参照图8)重叠到对象图像OI的设想基准区域ABA(参照图10)时的平均脸图像A0(x)的特征点CP所确定的临时配置(以下也称为“基准临时配置”)。
初始配置部211还相对于基准临时配置设定对全局参数的值进行各种变更而得到的临时配置。对全局参数(大小、倾斜度、上下方向的位置及左右方向的位置)进行变更相当于对确定特征点CP的临时配置的网目进行放大/缩小、倾斜度的变更、并行移动。因此，初始配置部211如图12(a)所示设定：以规定倍率对基准临时配置的网目放大或缩小后的网目所确定的临时配置(表示在基准临时配置的下方及上方)、顺时针或逆时针使倾斜度改变规定角度后的网目所确定的临时配置(表示在基准临时配置的右侧及左侧)。而且，初始配置部211还设定：对基准临时配置的网目进行了将放大/缩小及倾斜度的变更组合的变换后的网目所确定的临时配置(表示在基准临时配置的左上、左下、右上、右下)。
另外，如图12(b)所示，初始配置部211设定：将基准临时配置的网目向上或向下并行移动规定量后的网目所确定的临时配置(表示在基准临时配置的上方及下方)、向左或向右并行移动后的网目所确定的临时配置(表示在基准临时配置的左侧及右侧)。而且，初始配置部211还设定：对基准临时配置的网目进行了将上下及左右的并行移动组合的变换后的网目所确定的临时配置(表示在基准临时配置的左上、左下、右上、右下)。
并且，初始配置部211还设定：对图12(a)所示的基准临时配置以外的8个临时配置各自的网目，执行图12(b)所示的上下左右的并行移动后的网目所确定的临时配置。因此，在本实施例中，可设定基准临时配置、和通过对基准临时配置中的网目进行将4个全局参数(大小、倾斜度、上下方向的位置、左右方向的位置)各自的三个等级的值的组合所对应的共计80种(＝3×3×3×3-1)变换而设定的80种临时配置，共计81种临时配置。
其中，在本实施例中，将基准临时配置中的平均脸图像A0(x)与对象图像OI的设想基准区域ABA的对应关系，称为“基准对应关系”。临时配置的设定可表现为通过以下方式来实现，即，以基准对应关系为基准，设定针对平均脸图像A0(x)与对象图像OI中的一方进行了上述共计80种变换后的平均脸图像A0(x)与对象图像OI的对应关系(以下也称为“变换对应关系”)，将基准对应关系及变换对应关系中的平均脸图像A0(x)的特征点CP的配置，作为对象图像OI中的特征点CP的临时配置。
在步骤S320(图11)中，图像变换部212(图1)计算出与所设定的各临时配置对应的平均形状图像I(W(x；p))。图13是表示平均形状图像I(W(x；p))的一例的说明图。平均形状图像I(W(x；p))是具有平均形状s0的脸图像。可通过输入图像中的特征点CP的配置与平均形状s0中的特征点CP的配置相等那样的变换，来算出平均形状图像I(W(x；p))。
用于计算平均形状图像I(W(x；p))的变换与用于计算采样脸图像SIw的变换(参照图7)同样，通过作为每个三角形区域TA的仿射变换的集合的扭曲W来进行。具体而言，通过由对象图像OI中配置的特征点CP(参照图12)确定对象图像OI中的平均形状区域BSA(位于外周的特征点CP所包围的区域，参照图6)，对平均形状区域BSA进行每个三角形区域TA的仿射变换，从而计算出平均形状图像I(W(x；p))。在本实施例中，平均形状图像I(W(x；p))与平均脸图像A0(x)同样，由平均形状区域BSA及屏蔽区域MA构成，作为与平均脸图像A0(x)相同尺寸的图像被计算。图13中表示了与图12(a)所示的9个临时配置对应的9个平均形状图像I(W(x；p))的例子。
其中，如上所述，像素组x是位于平均形状s0中的平均形状区域BSA的像素的集合。将执行扭曲W后的图像(具有平均形状s0的脸图像)中的像素组x所对应的执行扭曲W之前的图像(对象图像OI的平均形状区域BSA)中的像素组表示为W(x；p)。由于平均形状图像是由对象图像OI的平均形状区域BSA中的像素组W(x；p)各自的亮度值构成的图像，所以被表示为I(W(x；p))。
在步骤S330(图11)中，初始配置部211(图1)计算出各平均形状图像I(W(x；p))与平均脸图像A0(x)的差分图像Ie。由于设定了81种特征点CP的临时配置，且设定了81个平均形状图像I(W(x；p))，所以初始配置部211计算出81个差分图像Ie。
在步骤S340(图11)中，初始配置部211(图1)计算出各差分图像Ie的范数，将范数值最小的差分图像Ie所对应的临时配置(以下也称为“范数最小临时配置”)，设定为对象图像OI中的特征点CP的初始配置。范数最小临时配置是与平均脸图像A0(x)的差异程度最小(最接近、最相似)的平均形状图像I(W(x；p))所对应的临时配置。其中，选择范数最小临时配置等同于从上述的基准对应关系及80种变换对应关系中，选择标准化处理后的平均形状图像I(W(x；p))与平均脸图像A0(x)的差异程度最小的对应关系，并选择所被选出的对应关系中的临时配置。通过特征点CP的初始配置处理，在对象图像OI中，设定了对特征点CP的配置的整体大小、倾斜度、位置(上下方向的位置及左右方向的位置)进行规定的全局参数的概略值。
图14是表示对象图像OI中的特征点CP的初始配置的一例的说明图。在图14中，利用网目表示了在对象图像OI中被确定的特征点CP的初始配置。即，网目的各交点为特征点CP。
当特征点CP初始配置决定处理(图9的步骤S230)结束时，脸特征位置确定部210(图1)进行对象图像OI中的特征点CP的配置更新(步骤S240)。图15是表示第1实施例中的特征点CP配置更新处理的流程的流程图。
在特征点CP配置更新处理(图15)的步骤S410中，图像变换部212(图1)根据对象图像OI计算出平均形状图像I(W(x；p))。平均形状图像I(W(x；p))是具有平均形状s0的脸图像。通过输入图像中的特征点CP的配置与平均形状s0中的特征点CP的配置(参照图6)相等那样的变换，来算出平均形状图像I(W(x；p))。
计算平均形状图像I(W(x；p))用的变换与计算采样脸图像SIw用的变换(参照图7)同样，通过作为每个三角形区域TA的仿射变换的集合的扭曲W来进行。具体而言，由对象图像OI中配置的特征点CP(参照图14)确定对象图像OI中的平均形状区域BSA(位于外周的特征点CP所包围的区域，参照图6)，并对平均形状区域BSA进行每个三角形区域TA的仿射变换，从而算出平均形状图像I(W(x；p))。在本实施例中，平均形状图像I(W(x；p))与平均脸图像Ao(x)同样，由平均形状区域BSA及屏蔽区域MA构成，作为与平均脸图像Ao(x)相同尺寸的图像被计算出。
在步骤S412(图15)中，标准化部215(图1)参照对平均脸图像A0(x)的亮度值分布进行表示的指标值，将平均形状图像I(W(x；p))标准化。在本实施例中，对作为平均脸图像A0(x)的平均形状区域BSA(参照图8)中的亮度值分布的指标值的平均值及方差值进行表示的信息，包含在AAM信息AMI中。标准化部215计算出平均形状图像I(W(x；p))的平均形状区域BSA中的亮度值的平均值及方差值，并按照计算出的平均值及方差值与平均脸图像A0(x)的亮度值的平均值及方差值相等的方式，对平均形状图像I(W(x；p))的平均形状区域BSA进行图像变换(标准化处理)。
在步骤S420(图15)中，脸特征位置确定部210(图1)计算出标准化处理后的平均形状图像I(W(x；p))与平均脸图像A0(x)的差分图像Ie。在步骤S430中，判定部213(图1)基于差分图像Ie，判定特征点CP的配置更新处理是否已收敛。判定部213计算出差分图像Ie的范数，当范数值小于预先设定的阈值时判定为已收敛，当范数值为阈值以上时判定为尚未收敛。差分图像Ie的范数是表示平均形状图像I(W(x；p))与平均脸图像A0(x)的差异程度的指标值。
另外，在步骤S430的收敛判定中，判定部213也可以在计算出的差分图像Ie的范数值小于上一次的步骤S430中计算出的值时，判定为已收敛，在上一次的值以上时判定为尚未收敛。或者，判定部213还可以将基于阈值的判定、和基于与上一次值的比较的判定组合来进行收敛判定。例如，判定部213仅在算出的范数值小于阈值、且小于上一次的值时判定为已收敛，在此外的情况下判定为尚未收敛。
在步骤S430的收敛判定中判定为尚未收敛时，更新部214(图1)计算出参数更新量ΔP(步骤S440)。参数更新量ΔP是指4个全局参数(作为整体的大小、倾斜度、X方向位置、Y方向位置)及n个形状参数pi(参照式(1))的值的变更量。其中，在特征点CP的初始配置刚刚结束时，全局参数被设定为在特征点CP初始配置决定处理(图11)中确定的值。而且，由于此时的特征点CP的初始配置与平均形状s0的特征点CP的配置的差异，仅限于作为整体的大小、倾斜度、位置的差异，所以形状模型中的形状参数pi的值均为零。
参数更新量ΔP可通过下述的式(3)计算。即，参数更新量ΔP是更新矩阵R与差分图像Ie之积。
【数学式3】
ΔP＝R×Ie…(3)
式(3)中的更新矩阵R是为了根据差分图像Ie计算出参数更新量ΔP而预先通过学习设定的M行N列的矩阵，作为AAM信息AMI(图1)被保存在内部存储器120中。在本实施例中，更新矩阵R的行数M等于全局参数的数量(4个)与形状参数pi的数量(n个)之和((4+n)个)，列数N等于平均脸图像A0(x)(图8)的平均形状区域BSA内的像素数。更新矩阵R可通过下述的式(4)及(5)计算。
【数学式4】
R = H - 1 Σ [ ▿ A 0 ∂ W ∂ P ] T . . . ( 4 )
【数学式5】
H = Σ [ ▿ A 0 ∂ W ∂ P ] T [ ▿ A 0 ∂ W ∂ P ] . . . ( 5 )
在步骤S450(图15)中，更新部214(图1)基于算出的参数更新量ΔP，对参数(4个全局参数及n个形状参数pi)进行更新。由此，对象图像OI中的特征点CP的配置被更新。在步骤S450的参数更新之后，再次进行根据特征点CP的配置被更新后的对象图像OI计算出平均形状图像I(W(x；p))(步骤S410)、计算出差分图像Ie(步骤S420)、基于差分图像Ie的收敛判定(步骤S430)。当在再次的收敛判定中仍判定为尚未收敛时，进而进行基于差分图像Ie的参数更新量ΔP的计算(步骤S440)、基于参数更新的特征点CP的配置更新(步骤S450)。
当反复执行了图15的步骤S410～S450的处理时，对象图像OI中的各特征部位所对应的特征点CP的位置会整体逐渐接近实际的特征部位的位置(正确位置)，某一时刻在收敛判定(步骤S430)中判定为已收敛。当在收敛判定中判定为已收敛时，脸特征位置确定处理结束(步骤S460)。此时设定的全局参数及形状参数pi的值所确定的特征点CP的配置，被确定为最终的对象图像OI中的特征点CP的配置。
图16是表示脸特征位置确定处理的结果的一例的说明图。图16中表示了在对象图像OI中最终确定的特征点CP的配置。通过特征点CP的配置，可确定对象图像OI中的特征部位(人物的脸的器官(眉毛、眼睛、鼻子、嘴)及脸的轮廓中的规定位置)的位置，能够确定对象图像OI中的人物的脸的器官的形状、位置和脸的轮廓形状。
如以上说明那样，在本实施例的脸特征位置确定处理(图9)中，确定对象图像OI中的特征点CP的初始配置，然后，根据从对象图像OI计算出的平均形状图像I(W(x；p))与平均脸图像A0(x)的比较结果，更新对象图像OI中的特征点CP的配置。即，在特征点CP的初始配置决定处理(图11)中，确定对特征点CP的配置的整体大小、倾斜度、位置(上下方向的位置及左右方向的位置)进行规定的全局参数的概略值，在之后的特征点CP配置更新处理(图15)中，伴随着基于差分图像Ie的参数更新，特征点CP的配置被更新，从而确定对象图像OI中的最终的特征点CP的配置。这样，在本实施例中，通过首先在初始配置决定处理中确定特征点CP的配置整体的变动大(方差大)的全局参数的概略值，能够实现脸特征位置确定处理的高效化、高速化及精度的提高(并非基于所谓的局部最佳解，而是基于全局最佳解的特征点CP的配置的最终决定)。
另外，在本实施例的特征点CP配置更新处理(图15)中，在计算根据对象图像OI算出的平均形状图像I(W(x；p))与平均脸图像A0(x)的差分图像Ie(图15的步骤S420)之前，按照在平均形状图像I(W(x；p))的平均形状区域BSA与平均脸图像A0(x)的平均形状区域BSA之间亮度值的平均值及方差值相等的方式，对平均形状图像I(W(x；p))进行图像变换(标准化处理)(步骤S412)。由此，可抑制各个对象图像OI的亮度值分布的特征对差分图像Ie造成的影响，提高基于差分图像Ie的收敛判定(步骤S430)的精度，进而提高脸特征位置确定处理的精度。而且，在收敛判定中，如上所述，通过利用了绝对阈值的判定也能够进行高精度的判定。因此，与例如通过将差分图像Ie的范数值和上一次的值比较来进行收敛判定的情况相比，能够实现处理的高速化。
A-4.图像修正处理
图17是表示第1实施例中的图像修正处理的流程的流程图。而图18是表示第1实施例中的图像修正处理的概要的说明图。第1实施例中的图像修正处理是对通过上述的脸特征位置确定处理(图9)确定了特征点CP的配置后的对象图像OI，进行使脸图像上的影成分降低至所希望的程度的修正(影修正)的处理。通过图像修正处理(影修正)，能够降低或者完全除去对象图像OI的脸部分中的斜光和逆光、局部影的影响。在图18的左侧上方，表示了包含脸的一部分带有影子的脸图像的对象图像OI的例子、和在该对象图像OI中确定的特征点CP的配置的例子(网目的交点为特征点CP)。
在步骤S610(图17)中，模型选择部220(图1)取得对象图像OI中的脸图像尺寸，并基于所取得的脸图像尺寸，从与相互不同的脸图像尺寸对应而设定的多个形状模型及纹理模型中，选择一个形状模型及一个纹理模型。形状模型及纹理模型的选择与上述的脸特征位置确定处理(图9)的步骤S222中的处理同样执行。即，模型选择部220基于特征点CP的配置来确定对象图像OI中的平均形状区域BSA(位于外周的特征点CP所包围的区域，参照图6)，取得平均形状区域BSA的大小作为脸图像尺寸。然后，模型选择部220选择与所取得的脸图像尺寸最接近的脸图像尺寸所对应的形状模型及纹理模型。图18中表示了从与相互不同的脸图像尺寸对应的多个形状模型及纹理模型中，基于脸图像尺寸选择一个形状模型(平均形状s0)及一个纹理模型(纹理A(x))的情况。在图像修正处理(图17)之后的处理中，可使用所选择的形状模型及纹理模型。
在步骤S620(图17)中，图像变换部241(图1)根据对象图像OI计算出平均形状图像I(W(x；p))。平均形状图像I(W(x；p))的计算与上述的特征点CP配置更新处理(图15)的步骤S410中的平均形状图像I(W(x；p))的计算同样执行。即，通过对上述的对象图像OI的平均形状区域BSA，进行使对象图像OI中的特征点CP的配置与平均形状s0中的特征点CP的配置(参照图6)相等那样的变换，来计算出平均形状图像I(W(x；p))。计算平均形状图像I(W(x；p))用的变换，通过作为每个三角形区域TA的仿射变换的集合的扭曲W来进行。在本实施例中，平均形状图像I(W(x；p))与平均脸图像Ao(x)(参照图8)同样，由平均形状区域BSA及屏蔽区域MA构成。而且，平均形状图像I(W(x；p))作为与所选出的形状模型的平均形状s0的尺寸相同尺寸的图像被计算出。根据对象图像OI计算出平均形状图像I(W(x；p))用的变换相当于本发明中的第一变换。
在步骤S630(图17)中，特征量处理部242(图1)将平均形状图像I(W(x；p))投影到纹理固有空间，计算出纹理A(x)(参照上述式(2))。基于向纹理固有空间投影的纹理A(x)的计算，利用在步骤S610中选择的纹理模型来执行。
在步骤S640(图17)中，特征量处理部242(图1)降低纹理A(x)的影成分。如上所述，在本实施例中，纹理A(x)的第2主成分所对应的第2纹理向量A2(x)成为与影成分的变化(还捕捉光源位置的变化)近似相关的向量。即，第2纹理向量A2(x)与其纹理参数λ2之积实质上对应于纹理A(x)中的影成分。因此，特征量处理部242通过改变第2纹理向量A2(x)的纹理参数λ2来降低纹理A(x)的影成分。例如，若将纹理参数λ2的值变更为零，则纹理A(x)的影成分被除去。其中，影成分的降低程度基于用户的指定来设定。或者，影成分的降低程度也可以被设定为预先规定的程度。
在步骤S650(图17)中，特征量处理部242(图1)将影成分降低后的纹理A(x)展开为平均形状s0，复原平均形状图像I(W(x；p))。在步骤S660中，图像变换部241将复原后的平均形状图像I(W(x；p))复原为对象图像OI的形状。步骤S660中的复原是步骤S620中的平均形状图像I(W(x；p))的计算中所使用的变换(第一变换)的逆变换。通过以上的处理，对象图像OI中的脸图像上的影成分被降低至所希望的程度(参照图18的左下方)。
如以上说明那样，在本实施例的图像修正处理中，能够将对象图像OI中的脸图像上的影成分降低至所希望的程度。这里，在本实施例中，可取得对象图像OI中的脸图像尺寸(平均形状区域BSA的大小)，选择与所取得的脸图像尺寸最接近的图像尺寸所对应的形状模型(平均形状s0)及纹理模型(纹理A(x))。然后，利用所选出的形状模型及纹理模型，执行平均形状图像I(W(x；p))的计算(图17的步骤S620)、向纹理固有空间的投影(步骤S630)、向平均形状s0的展开(步骤S650)、向对象图像OI的形状的复原(步骤S660)等步骤。因此，在本实施例的图像修正处理中，能够抑制处理负荷的增大，同时进一步提高对脸图像中的规定的纹理特征量(例如影成分的量)进行变更的处理的质量。
即，例如当在图像修正处理中，使用与对象图像OI中的脸图像尺寸相比非常小的脸图像尺寸所对应的形状模型及纹理模型时，导致在执行平均形状图像I(W(x；p))的计算、向纹理固有空间的投影等步骤时，图像的信息量降低，通过之后的向平均形状s0的展开、向对象图像OI的形状的复原等步骤也不能复原降低的信息量。因此，处理后的图像有可能成为模糊的图像。另外，相反，当在图像修正处理中，使用与对象图像OI的脸图像尺寸相比非常大的脸图像尺寸所对应的形状模型及纹理模型时，导致图像修正处理的各步骤中的处理负荷增大。在本实施例的图像修正处理中，由于使用了与对象图像OI中的脸图像尺寸最接近的脸图像尺寸所对应的形状模型及纹理模型，所以能够抑制对象图像OI的信息量降低、提高处理的质量，并且能够抑制处理负荷的增大。
B.第2实施例
图19是表示第2实施例中的图像修正处理的流程的流程图。第2实施例中的图像修正处理与第1实施例的图像修正处理(图17)同样，是对通过上述的脸特征位置确定处理(图9)确定了特征点CP的配置后的对象图像OI，进行使脸图像上的影成分降低至所希望的程度的修正(影修正)的处理。其中，在第2实施例中，不需要如第1实施例那样设定与互不相同的脸图像尺寸对应的多个形状模型及纹理模型，只要设定与任意的脸图像尺寸对应的一个形状模型及一个纹理模型即可。
在步骤S710(图19)中，图像变换部241(图1)根据对象图像OI计算出平均形状图像I(W(x；p))。平均形状图像I(W(x；p))的计算与第1实施例的图像修正处理(图17)的步骤S620同样地执行。
在步骤S720(图19)中，特征量处理部242(图1)将平均形状图像I(W(x；p))投影到纹理固有空间，计算出纹理A(x)(参照上述式(2))。
在步骤S730(图19)中，特征量处理部242(图1)计算出纹理A(x)的影成分。如上述那样，在本实施例中，纹理A(x)的第2主成分所对应的第2纹理向量A2(x)成为与影成分的变化(还捕捉光源位置的变化)近似相关的向量。即，第2纹理向量A2(x)与其纹理参数λ2之积实质上对应于纹理A(x)中的影成分。因此，纹理A(x)的影成分通过在纹理A(x)中将第2纹理向量A2(x)的纹理参数λ2以外的纹理参数的值全部变更为零来算出。
在步骤S740(图19)中，特征量处理部242(图1)将纹理A(x)的影成分展开为平均形状s0，生成具有平均形状s0的影成分图像。影成分图像是与影成分这一规定的纹理特征量对应的图像。在步骤S750中，图像变换部241将生成的具有平均形状s0的影成分图像形状变更为对象图像OI的形状。步骤S750中的形状变更是步骤S710中的平均形状图像I(W(x；p))的计算中所使用的变换的逆变换。在步骤S760(图19)中，特征量处理部242(图1)从对象图像OI中减去形状被变更为对象图像OI的形状的影成分图像。通过以上的处理，对象图像OI中的脸图像上的影成分被除去。
另外，在步骤S730(图19)中的纹理A(x)的影成分的计算之后，通过对影成分乘以小于1的系数，可计算出被降低后的影成分。通过以该被降低后的影成分为对象，执行上述的步骤S740～S760的处理，能够除去对象图像OI中的脸图像上的影成分，将影成分降低至所希望的程度。
如以上说明那样，在第2实施例的图像修正处理中，能够将对象图像OI中的脸图像上的影成分降低至所希望的程度。这里，在第2实施例中，平均形状图像I(W(x；p))的计算(图19的步骤S710)、平均形状图像I(W(x；p))向纹理固有空间的投影(步骤S720)，为了计算纹理A(x)的影成分而执行。在第2实施例的图像修正处理中，通过从不成为任意处理的对象的对象图像OI中减去影成分图像，来执行将影成分降低至所希望程度的修正处理。因此，在第2实施例的图像修正处理中，对象图像OI的信息量不会伴随着处理而降低，能够实现对脸图像中的规定的纹理特征量(例如影成分的量)进行变更的处理的质量的进一步提高。
C.变形例：
另外，本发明并不限于上述的实施例或实施方式，在不脱离其宗旨的范围内能够以各种方式实施，例如可进行如下的变形。
C1.变形例1：
上述各实施例中，在脸特征位置确定处理(图9)中，进行了基于脸图像尺寸的形状模型及纹理模型的选择，但在脸特征位置确定处理中，并非必须基于脸图像尺寸来进行形状模型及纹理模型的选择，也可以选择任意的形状模型及纹理模型。
而且，当在脸特征位置确定处理(图9)中进行了基于脸图像尺寸的形状模型及纹理模型的选择时，在图像修正处理(图17)中可以原样地选择该被选出的形状模型及纹理模型。
C2.变形例2：
上述各实施例的图像修正处理是用于进行将对象图像OI中的脸图像上的影成分降低至所希望程度的修正(影修正)的处理，但本发明能够应用在将对象图像OI中的脸图像的任意纹理特征量变更的图像修正处理中。即，通过在纹理A(x)中对想要变更的纹理特征量所对应的纹理向量的纹理参数进行变更，能够实现将脸图像的任意纹理特征量变更的图像修正处理。
C3.变形例3：
在上述各实施例中，利用AAM执行了脸特征位置确定处理(图9)，但脸特征位置确定处理并非必须利用AAM来执行，也可以通过其他的方法执行。
另外，在特征点CP配置更新处理(图15)中执行了标准化处理(步骤S412)，但标准化处理并非必须执行。
C4.变形例4：
上述各实施例中，在特征点CP初始配置决定处理(图9的步骤S230)中，计算出平均脸图像组的每一个与对象图像OI的差分图像Ie、平均脸图像A0(x)与多个平均形状图像I(W(x；p))的每一个的差分图像Ie，基于差分图像Ie决定特征点CP的配置整体变动大(方差大)的全局参数的概略值，但在决定对象图像OI中的特征点CP的初始配置时，并非必须进行差分图像Ie的计算、全局参数的概略值的决定，也可以将预先确定的特征点CP的配置(例如上述的基准对应关系中的配置)决定为初始配置。
C5.变形例5：
在上述各实施例中，作为特征点CP配置更新处理(图15)的收敛判定(步骤S430)中的判定指标值，使用了平均形状图像I(W(x；p))与平均脸图像A0(x)的差分图像Ie的范数，但作为判定指标值，也可以使用表示平均形状图像I(W(x；p))与平均脸图像A0(x)的差异程度的其他指标值。
C6.变形例6：
在上述各实施例的特征点CP配置更新处理(图15)中，通过基于对象图像OI计算出平均形状图像I(W(x；p))，使对象图像OI的特征点CP的配置与平均脸图像A0(x)的特征点CP的配置匹配，但也可以通过对平均脸图像A0(x)进行图像变换，来使两者的特征点CP的配置匹配。
C7.变形例7：
在上述各实施例中，进行了脸区域FA的检测，并根据脸区域FA设定了设想基准区域ABA，但脸区域FA的检测并非必须执行。例如，可按照用户的指定直接设定设想基准区域ABA。
C8.变形例8：
上述各实施例中的采样脸图像SI(图3)只是一例，作为采样脸图像SI而采用的图像的数量、种类能够任意设定。而且，在上述各实施例中，由特征点CP的位置表示的脸的规定的特征部位(参照图4)只是一例，可以省略实施例中设定的特征部位的一部分，或采用其他部位作为特征部位。
并且，在上述各实施例中，通过对采样脸图像SIw的像素组x各自的亮度值所构成的亮度值向量进行主成分分析，设定了纹理模型，但也可以通过对表示脸图像的纹理(外观)的亮度值以外的指标值(例如RGB值)进行主成分分析，来设定纹理模型。
另外，在上述各实施例中，平均脸图像A0(x)的尺寸可以是各种尺寸。而且，平均脸图像A0(x)无需包括屏蔽区域MA(图8)，可以仅由平均形状区域BSA构成。另外，也可以取代平均脸图像A0(x)，而使用基于采样脸图像SI的统计分析设定的其他基准脸图像。
而且，在上述各实施例中，进行了利用AAM的形状模型及纹理模型的设定，但也可以利用其他的模型化方法(例如被称为MorphableModel的方法、被称为Active Blob的方法)，进行形状模型及纹理模型的设定。
并且，在上述各实施例中，存储卡MC中保存的图像被设定为对象图像OI，但对象图像OI也可以是例如通过网络而取得的图像。
另外，上述各实施例中的作为图像处理装置的打印机100的结构只是一例，打印机100的结构可进行各种变更。例如，图像变换部212和图像变换部241可以不是相互独立的结构而是一个公共的结构。而且，在上述各实施例中，说明了由作为图像处理装置的打印机100进行的图像处理，但处理的一部分或全部也可以由个人计算机、数码相机、数码摄像机等其他种类的图像处理装置执行。另外，打印机100并不限于喷墨打印机，也可以是其他方式打印机，例如激光打印机或升华型打印机。
在上述各实施例中，由硬件实现的结构的一部分可以替换为软件，反之，由软件实现的结构的一部分也可以替换为硬件。
另外，在本发明的功能的一部分或全部由软件实现时，该软件(计算机程序)能够以保存在计算机可读取的记录介质中的形式被提供。在本发明中，“计算机可读取的记录介质”并不限于软盘或CD-ROM等便携式记录介质，还包括各种RAM、ROM等计算机内的内部存储装置、硬盘等固定于计算机的外部存储装置。

Claims (11)

1.一种图像处理装置，其特征在于，对对象图像中的脸图像的规定的纹理特征量进行变更，具备：
存储部，其存储对与互不相同的脸图像尺寸对应的多个基准形状、和与互不相同的脸图像尺寸对应的多个纹理模型进行确定的信息，所述基准形状是成为基准的脸形状，所述纹理模型通过基准纹理和至少一个所述纹理特征量来表示具有所述基准形状的脸图像的像素值所规定的脸纹理；
脸特征位置确定部，其确定所述对象图像中的脸的规定的特征部位的位置；
模型选择部，其取得所述对象图像中的脸图像尺寸，基于所述取得的脸图像尺寸选择一个所述基准形状和一个所述纹理模型；
第一图像变换部，其按照所述对象图像中的所述特征部位的位置所规定的脸形状与选择出的所述基准形状相等的方式，对所述对象图像进行第一变换；
特征量处理部，其利用选择出的所述纹理模型，对所述第一变换后的所述对象图像中的所述规定的纹理特征量进行变更；和
第二图像变换部，其对所述规定的纹理特征量变更后的所述对象图像进行所述第一变换的逆变换。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述模型选择部选择与所述取得的脸图像尺寸最接近的脸图像尺寸所对应的所述基准形状和所述纹理模型。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述特征量处理部利用选择出的所述纹理模型，对所述第一变换后的所述对象图像确定脸纹理，对被确定的脸纹理变更所述规定的纹理特征量。
4.根据权利要求1～3中任意一项所述的图像处理装置，其特征在于，
所述特征量处理部对实质上与影成分对应的所述规定的纹理特征量进行变更。
5.根据权利要求1～4中任意一项所述的图像处理装置，其特征在于，
所述模型选择部基于在所述对象图像中被确定的所述特征部位的位置，取得所述对象图像中的脸图像尺寸。
6.根据权利要求1～5中任意一项所述的图像处理装置，其特征在于，
所述存储部存储的所述信息包含对与互不相同的脸图像尺寸对应的多个形状模型进行确定的信息，所述形状模型通过所述基准形状和至少一个形状特征量来表示脸形状，
所述脸特征位置确定部利用所述形状模型和所述纹理模型，对所述对象图像中的所述特征部位的位置进行确定。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述形状模型及所述纹理模型基于以所述特征部位的位置为已知的多个采样脸图像为对象的统计分析而被设定。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述基准形状是对所述多个采样脸图像中的所述特征部位的平均位置进行表示的平均形状，
所述基准纹理是对被形状变换为所述平均形状后的所述多个采样脸图像的所述特征部位的位置处的像素值的平均进行表示的平均纹理。
9.一种图像处理方法，其特征在于，对对象图像中的脸图像的规定的纹理特征量进行变更，包括：
(a)取得对与互不相同的脸图像尺寸对应的多个基准形状、和与互不相同的脸图像尺寸对应的多个纹理模型进行确定的信息的步骤，所述基准形状是成为基准的脸形状，所述纹理模型通过基准纹理和至少一个所述纹理特征量来表示具有所述基准形状的脸图像的像素值所规定的脸纹理；
(b)确定所述对象图像中的脸的规定的特征部位的位置的步骤；
(c)取得所述对象图像中的脸图像尺寸，基于所述取得的脸图像尺寸选择一个所述基准形状和一个所述纹理模型的步骤；
(d)按照所述对象图像中的所述特征部位的位置所规定的脸形状与选择出的所述基准形状相等的方式，对所述对象图像进行第一变换的步骤；
(e)利用选择出的所述纹理模型，对所述第一变换后的所述对象图像中的所述规定的纹理特征量进行变更的步骤；和
(f)对所述规定的纹理特征量变更后的所述对象图像，进行所述第一变换的逆变换的步骤。
10.一种计算机程序，其特征在于，用于进行对对象图像中的脸图像的规定的纹理特征量实施变更的图像处理，
该计算机程序使计算机实现下述功能：
取得对与互不相同的脸图像尺寸对应的多个基准形状、和与互不相同的脸图像尺寸对应的多个纹理模型进行确定的信息的功能，所述基准形状是成为基准的脸形状，所述纹理模型通过基准纹理和至少一个所述纹理特征量来表示具有所述基准形状的脸图像的像素值所规定的脸纹理；
确定所述对象图像中的脸的规定的特征部位的位置的脸特征位置确定功能；
取得所述对象图像中的脸图像尺寸，基于所述取得的脸图像尺寸选择一个所述基准形状和一个所述纹理模型的模型选择功能；
按照所述对象图像中的所述特征部位的位置所规定的脸形状与选择出的所述基准形状相等的方式，对所述对象图像进行第一变换的第一图像变换功能；
利用选择出的所述纹理模型，对所述第一变换后的所述对象图像中的所述规定的纹理特征量进行变更的特征量变更功能；和
对所述规定的纹理特征量变更后的所述对象图像进行所述第一变换的逆变换的第二图像变换功能。
11.一种打印装置，其特征在于，对对象图像中的脸图像的规定的纹理特征量进行变更，具备：
存储部，其存储对与互不相同的脸图像尺寸对应的多个基准形状、和与互不相同的脸图像尺寸对应的多个纹理模型进行确定的信息，所述基准形状是成为基准的脸形状，所述纹理模型通过基准纹理和至少一个所述纹理特征量来表示具有所述基准形状的脸图像的像素值所规定的脸纹理；
脸特征位置确定部，其确定所述对象图像中的脸的规定的特征部位的位置；
模型选择部，其取得所述对象图像中的脸图像尺寸，基于所述取得的脸图像尺寸选择一个所述基准形状和一个所述纹理模型；
第一图像变换部，其按照所述对象图像中的所述特征部位的位置所规定的脸形状与选择出的所述基准形状相等的方式，对所述对象图像进行第一变换；
特征量处理部，其利用选择出的所述纹理模型，对所述第一变换后的所述对象图像中的所述规定的纹理特征量进行变更；
第二图像变换部，其对所述规定的纹理特征量变更后的所述对象图像进行所述第一变换的逆变换；和
打印部，其对所述对象脸图像进行打印。
CN2010101182526A 2009-02-12 2010-02-10 变更脸图像的规定的纹理特征量的图像处理 Expired - Fee Related CN101807299B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-029380 2009-02-12
JP2009029380A JP2010186288A (ja) 2009-02-12 2009-02-12 顔画像の所定のテクスチャー特徴量を変更する画像処理

Publications (2)

Publication Number Publication Date
CN101807299A true CN101807299A (zh) 2010-08-18
CN101807299B CN101807299B (zh) 2012-07-18

Family

ID=42540473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101182526A Expired - Fee Related CN101807299B (zh) 2009-02-12 2010-02-10 变更脸图像的规定的纹理特征量的图像处理

Country Status (3)

Country Link
US (1) US20100202699A1 (zh)
JP (1) JP2010186288A (zh)
CN (1) CN101807299B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164852B (zh) * 2011-08-31 2016-09-28 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN108139809A (zh) * 2015-10-14 2018-06-08 财团法人实感交流人体感应研究团 利用纹理识别空间的触觉属性适用装置及方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331698B2 (en) * 2010-04-07 2012-12-11 Seiko Epson Corporation Ethnicity classification using multiple features
WO2012144648A1 (ja) * 2011-04-19 2012-10-26 日本電気株式会社 顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムを格納する記憶媒体
JP2013046374A (ja) * 2011-08-26 2013-03-04 Sanyo Electric Co Ltd 画像処理装置
EP2754124A1 (en) * 2011-09-06 2014-07-16 Canfield Scientific, Incorporated Systems, devices, and methods for image analysis
US20130169621A1 (en) * 2011-12-28 2013-07-04 Li Mei Method of creating and transforming a face model and related system
JP5840528B2 (ja) * 2012-02-21 2016-01-06 花王株式会社 顔画像合成装置及び顔画像合成方法
CN103632129A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种人脸特征点定位方法及装置
JP6423964B2 (ja) * 2014-11-18 2018-11-14 セント・ジュード・メディカル，カーディオロジー・ディヴィジョン，インコーポレイテッド 幾何学的構造のパッチ表面モデルを生成するための方法およびシステム
KR101691806B1 (ko) * 2015-07-13 2017-01-02 주식회사 시어스랩 전처리를 이용한 영상 디스플레이 방법 및 장치
WO2017085075A1 (en) 2015-11-18 2017-05-26 Koninklijke Philips N.V. Method and device for estimating absolute size dimensions of a test object
KR101774913B1 (ko) 2016-12-21 2017-09-06 주식회사 시어스랩 전처리를 이용한 영상 디스플레이 방법 및 장치
US10891789B2 (en) * 2019-05-30 2021-01-12 Itseez3D, Inc. Method to produce 3D model from one or several images
US11847778B2 (en) * 2020-08-21 2023-12-19 Apple Inc. Image capture techniques personalized to individual subjects being imaged
US11625875B2 (en) * 2020-11-06 2023-04-11 Adobe Inc. Generating modified digital images incorporating scene layout utilizing a swapping autoencoder
US11900545B2 (en) * 2022-01-06 2024-02-13 Lemon Inc. Creating effects based on facial features

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008149A1 (en) * 2004-07-12 2006-01-12 The Board Of Trustees Of The University Of Illinois Method of performing shape localization
CN1818977A (zh) * 2006-03-16 2006-08-16 上海交通大学 由一幅正面图像实现快速人脸模型重建的方法
CN1866271A (zh) * 2006-06-13 2006-11-22 北京中星微电子有限公司 基于aam的头部姿态实时估算方法及系统
CN1973300A (zh) * 2004-08-04 2007-05-30 精工爱普生株式会社 对象图像检测装置、面部图像检测程序及面部图像检测方法
US20080205712A1 (en) * 2007-02-28 2008-08-28 Fotonation Vision Limited Separating Directional Lighting Variability in Statistical Face Modelling Based on Texture Space Decomposition

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP3639475B2 (ja) * 1999-10-04 2005-04-20 シャープ株式会社 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体
US6775397B1 (en) * 2000-02-24 2004-08-10 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
GB0112773D0 (en) * 2001-05-25 2001-07-18 Univ Manchester Object identification
EP1599829A1 (en) * 2003-03-06 2005-11-30 Animetrics, Inc. Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery
US7218774B2 (en) * 2003-08-08 2007-05-15 Microsoft Corp. System and method for modeling three dimensional objects from a single image
US7804997B2 (en) * 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
US7689010B2 (en) * 2004-12-03 2010-03-30 Invacare International Sarl Facial feature analysis system
US7415152B2 (en) * 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
US7609859B2 (en) * 2005-06-14 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating bi-linear models for faces
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
JP2007141107A (ja) * 2005-11-21 2007-06-07 Canon Inc 画像処理装置およびその方法
US7965875B2 (en) * 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7689011B2 (en) * 2006-09-26 2010-03-30 Hewlett-Packard Development Company, L.P. Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications
WO2008144825A1 (en) * 2007-06-01 2008-12-04 National Ict Australia Limited Face recognition
US8155399B2 (en) * 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US8165354B1 (en) * 2008-03-18 2012-04-24 Google Inc. Face recognition with discriminative face alignment
US8224037B2 (en) * 2008-04-10 2012-07-17 Utc Fire & Security Americas Corporation, Inc. Methods involving face model fitting

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008149A1 (en) * 2004-07-12 2006-01-12 The Board Of Trustees Of The University Of Illinois Method of performing shape localization
CN1973300A (zh) * 2004-08-04 2007-05-30 精工爱普生株式会社 对象图像检测装置、面部图像检测程序及面部图像检测方法
CN1818977A (zh) * 2006-03-16 2006-08-16 上海交通大学 由一幅正面图像实现快速人脸模型重建的方法
CN1866271A (zh) * 2006-06-13 2006-11-22 北京中星微电子有限公司 基于aam的头部姿态实时估算方法及系统
US20080205712A1 (en) * 2007-02-28 2008-08-28 Fotonation Vision Limited Separating Directional Lighting Variability in Statistical Face Modelling Based on Texture Space Decomposition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164852B (zh) * 2011-08-31 2016-09-28 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN108139809A (zh) * 2015-10-14 2018-06-08 财团法人实感交流人体感应研究团 利用纹理识别空间的触觉属性适用装置及方法

Also Published As

Publication number Publication date
US20100202699A1 (en) 2010-08-12
CN101807299B (zh) 2012-07-18
JP2010186288A (ja) 2010-08-26

Similar Documents

Publication Publication Date Title
CN101807299B (zh) 变更脸图像的规定的纹理特征量的图像处理
CN101799923B (zh) 检测脸的特征部位的坐标位置的图像处理装置
CN101378444B (zh) 图像处理装置和图像处理方法
US20100209000A1 (en) Image processing apparatus for detecting coordinate position of characteristic portion of face
US8150205B2 (en) Image processing apparatus, image processing method, program, and data configuration
CN101378445B (zh) 图像处理装置、图像处理方法
CN101794377B (zh) 检测脸的特征部位的坐标位置的图像处理装置
CN107154030A (zh) 图像处理方法及装置、电子设备及存储介质
US20090245655A1 (en) Detection of Face Area and Organ Area in Image
JP2010186216A (ja) 顔画像における特徴部位の位置の特定
US20210035336A1 (en) Augmented reality display method of simulated lip makeup
JP2010250420A (ja) 顔の特徴部位の座標位置を検出する画像処理装置
JP2011053942A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2010250419A (ja) 目の様態を検出する画像処理装置
JP4188487B2 (ja) 目元メーキャップシミュレーションシステム
JP2010244321A (ja) 顔画像を表す顔モデルを設定する画像処理
JP2010170184A (ja) 顔画像における特徴部位の位置の特定
US20080240610A1 (en) Image Processing Device and Image Processing Method
JP2010271955A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
JP2010244251A (ja) 顔の特徴部位の座標位置を検出する画像処理装置
CN102262521A (zh) 图像处理装置以及方法
JP3905503B2 (ja) 顔画像合成装置および顔画像合成プログラム
JP2010245721A (ja) 顔画像に対する画像処理
JP2010282340A (ja) 画像に含まれる目の状態を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
JP6287170B2 (ja) 眉生成装置、眉生成方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20210210

CF01 Termination of patent right due to non-payment of annual fee