CN101378444B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101378444B
CN101378444B CN2008101355284A CN200810135528A CN101378444B CN 101378444 B CN101378444 B CN 101378444B CN 2008101355284 A CN2008101355284 A CN 2008101355284A CN 200810135528 A CN200810135528 A CN 200810135528A CN 101378444 B CN101378444 B CN 101378444B
Authority
CN
China
Prior art keywords
image
candidate areas
except
face
deformed region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008101355284A
Other languages
English (en)
Other versions
CN101378444A (zh
Inventor
山崎明生
石田悟郎
新开恒扶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
138 East Lcd Display Development Co ltd
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN101378444A publication Critical patent/CN101378444A/zh
Application granted granted Critical
Publication of CN101378444B publication Critical patent/CN101378444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理装置、图像处理方法和图像处理程序。图像处理装置能执行图像的变形,具有:候补区域设定部,其将包含对象图像上的特定图像的区域设定为变形处理的对象的候补区域;除外判别部,当存在从由上述对象图像通过规定的修整而切出的修整图像,至少一部分露出的候补区域时,把该至少一部分露出的候补区域从变形处理的对象除外;和变形处理部,其将上述被除外的候补区域以外的候补区域作为对象,进行区域内的图像的变形。由此,可解决在进行图像变形时,没有针对从修整的范围露出的变形候补区域的适当的处理方法。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及能够执行图像的变形的图像处理技术。 
背景技术
公知有一种以数字图像为对象,用于将图像变形的图像处理技术(参照专利文献1)。在专利文献1中,公开了一种将脸的图像上的一部分区域(表示脸颊的图像的区域)设定为修整区域,按照规定的模式,将修整区域分割为多个小区域,以按每个小区域设定的倍率放大或缩小图像,使脸的形状变形的图像处理。 
[专利文献1]特开2004-318204号公报 
在上述现有的用于图像变形的图像处理中,对于多个小区域的每一个而言,由于以按照各个小区域设定的倍率来进行图像的放大或缩小,所以处理繁杂。而且,上述现有的用于图像变形的图像处理,其特征在于修整脸颊的线,难以应对其他多样的变形形态。 
有时对于图像数据,进行从原来的图像数据切出一部分的范围的修整(trimming)处理。因此,在成为图像处理的对象的图像数据中存在人的脸时,有时包含该脸的图像范围会露出到通过修整而切出的修整图像以外。这样,如果将通过修整而至少被切去一部分的图像范围作为图像变形的对象,则有时无法得到自然的变形结果,所以不能说是适当的。因此,需要对通过修整而被切去一部分的图像范围的处理采取某些方法,但在以往,没有针对有关的图像范围的适当处理方法。 
发明内容
本发明是为了解决上述的现有课题而提出的,其目的在于,提供一种能够容易且高效地实现与多样的变形形态对应的用于图像变形的图像处理技术。而且,其目的还在于,提供一种在可成为图像变形的处理对象的图像范围露出到通过修整而切出的范围外时,能够进行恰当的处理的技术。此外,还提供一种通过少的处理负担和少的存储器消耗,来实现图像变形,从而能够减少装置的动作负担的技术。 
为了实现上述的目的,本发明的图像处理装置能够执行图像的变形,至少具有候补区域设定部、除外判别部、变形处理部。候补区域设定部将包含对象图像上的特定图像的区域设定为变形处理的对象的候补区域,除外判别部将上述设定的候补区域作为对象,按照规定的除外条件,判别从变形处理的对象中除外的区域。变形处理部将由上述除外判别部判别为除外的区域的候补区域以外的候补区域作为对象,进行区域内的图像的变形。 
对于以往的技术而言,由于当检测到人物的脸时,修整该检测到的脸(脸的一部分的区域),使其变形,所以在图像数据中存在多个脸时,全部的脸成为变形的对象。可是,总是把全部的脸作为变形处理的对象会引起运算处理量的增大和计算时的缓存器中使用的存储器量增大。这种伴随着变形处理的存储器消耗或运算处理的增大,在具有打印功能、复制功能与扫描功能等多功能的、被称作复合机的图像处理机器中,尤其成为大的负担,成为该图像处理机器的动作的妨碍。可是,根据本发明,由于只把对象图像上存在的变形处理的对象的候补区域中,根据规定的除外条件而被除外的区域以外的候补区域作为对象,进行变形处理,所以,能够适当抑制伴随着变形处理的存储器消耗量与运算处理的增大。 
考虑除外判别部采用的除外的条件是如以下所示的各种条件。 
作为一个例子,当存在从由对象图像通过规定的修整而切出的修整图像中,至少一部分露出的候补区域时,除外判别部把该至少一部分露出的候补区域从变形处理的对象中除外。当存在从修整图像一部分或全部露出的候补区域时,为了针对该候补区域包含的特定图像进行变形处理时,需要再度修改包含该特定图像的候补区域的设定。该再度的设定处理对于图像处理装置成为大的负担。因此,如上所述,通过针对从修整图像至少一部分露出的候补区域,从变形处理的对象中除外,能抑制伴随着变形处理的存储器消耗与运算处理的增大。这样,可提供一种对能够成为图像变形的处理对象的图像范围,露出到通过修整而切出的范围外的情形的适当处理的一个例子。
具体而言,除外判别部取得图像输出中使用的多个纵横比的信息,并且,针对从通过基于所取得的各纵横比的各修整而切出的各修整图像中共同的图像范围,至少一部分露出的候补区域,可以从变形处理的对象中除外。图像输出是打印或图像的显示等。根据上述结构,在能以各种纵横比输出对象图像时,只有全体总包含在输出结果中的候补区域能成为变形处理的对象。因此,不会产生因输出时的纵横比的不同而能够进行或不能进行变形处理的候补区域。 
或者,除外判别部可针对从根据由外部输入的修整的指示而切出的修整图像,至少一部分露出的候补区域,从变形处理的对象中除外。即,针对从通过用户任意指定的修整而切出的修整图像,一部分或全部露出的候补区域,从变形处理的对象中除外。结果,能避免上述的候补区域的重新设定处理,可抑制存储器消耗和处理负担。 
作为其他例子,除外判别部取得特定图像的尺寸和对象图像上的斜率,并且,判断该取得的尺寸是否收敛在按照该取得的斜率而决定的尺寸上限值内,针对具有该取得的尺寸超过尺寸上限值的特定图像的候补区域,从变形处理的对象中除外。包含特定图像的候补区域的变形所需的存储器量除了特定图像的尺寸之外,还因该特定图像的斜率而不同。根据上述结构,由于包含超过按照斜率而允许的尺寸的特定图像的候补区域,被作为变形处理的对象外,所以能适当抑制伴随着变形处理的存储器消耗量与运算处理的增大。 
具体而言,除外判别部通过参照斜率越接近规定的上限角度,越把尺寸上限值规定为小的值的尺寸上限值规定信息,判断上述取得的尺寸是否收敛在尺寸上限值内。根据变形处理部的变形处理的内容,有时特定图像的斜率越接近规定的上限角度,包含特定图像的候补区域的变形所需的存储器量越多。根据上述结构,针对具有变形处理时消耗大量的存储器的倾向的斜率大的特定图像,通过严格控制尺寸上限值,容易从变形处理的对象除外,所以能抑制伴随着变形处理的存储器消耗量与运算处理的增大。 
作为其他例子,当在候补区域之间产生了重叠时,为了消除该重叠,除外判别部从变形处理的对象把一个以上的候补区域除外。在分别对重叠的两候补区域进行变形处理时,为了先变形处理一方的区域,然后将 另一方的区域变形,需要保持与上述一方的区域有关的变形后的图像数据,导致存储器的消耗量变得很大。根据上述结构,由于为了消除候补区域之间的重叠,从变形处理的对象把规定的候补区域除外,所以能大幅度抑制存储器的消耗量。 
消除候补区域之间的重叠的具体手法是各种各样的。除外判别部从多个候补区域中,按照规定的选择顺序,选择一个候补区域,并且,当存在与该选择的候补区域重叠的其他候补区域时,反复进行从变形处理的对象把该其他候补区域除外的处理,由此消除候补区域之间的重叠。更具体而言,当选择一个候补区域时,除外判别部按照残存的候补区域中特定图像的尺寸大的顺序进行选择。即,由于尺寸大的特定图像被推测为是对用户重要的图像部分,所以优先选择该尺寸大的特定图像,把与它重叠的其他候补区域除外。结果,在对象图像上,分别包含彼此不重叠且比较大尺寸的特定图像的候补区域,作为变形图像而残存。 
或者,当选择一个候补区域时,除外判别部按照从外部输入的候补区域的选择指示进行选择。即,按照基于用户的选择指示来选择候补区域,从变形处理的对象把与该候补区域重叠的其他候补区域除外。结果,用户选择的候补区域能优先成为变形处理的对象,是适合的。 
作为其他例子,除外判别部判断特定图像的对象图像上的斜率是否属于规定的角度范围,针对特定图像的斜率为该规定的角度范围外的候补区域,从变形处理的对象除外。即,预先决定假定为特定图像的斜率的某程度的角度范围,与具有从该范围偏离的斜率的特定图像有关的候补区域被除外。结果,能可靠减少变形处理所需的存储器消耗量和处理负担量,并且也能防止把不是特定图像的图像部分错误变形。 
这里,当分别要对对象图像上的各候补区域进行变形处理时,因各候补区域的特定图像上下朝向散乱,会导致处理负担与存储器消耗量增大。因此,变形处理部把各候补区域中特定图像的上下朝向大致共同的候补区域作为对象,进行变形处理。当存在特定图像的上下朝向不同的各候补区域时,除外判别部针对特定图像的上下朝向共同的候补区域的数量为最大的方向,与特定图像的上方向对应的候补区域以外的候补区域,从变形处理的对象除外。如果采用该结构,则集中在特定图像的上下朝向共同的候补区域,进行变形处理。结果,能可靠减少存储器消耗 量和处理负担量,并且在对象图像上,能够把假定为重要度高的特定图像作为变形的对象。 
并且,当存在多个上下的朝向共同的候补区域的数量为最大的方向时,除外判别部从变形处理的对象中,把特定图像的上方向与多个方向中具有尺寸最大的特定图像的候补区域所对应的方向对应的候补区域以外的候补区域除外。在上述构成的基础上或代替上述构成,当存在多个上下的朝向共同的候补区域的数量为最大的方向时,除外判别部把特定图像的上方向与该多个方向中按照规定的优先级选择的一个方向对应的候补区域以外的候补区域,从变形处理的对象除外。例如,当上下的朝向共同的候补区域的数量为最大的方向存在多个,并且该多个方向中,具有尺寸最大的特定图像的候补区域所对应的方向存在多个时,按照所述优先级选择一个方向。如果这样设置2重、3重的判断基准,则变形处理部能够可靠地只把特定图像的上下的朝向大致向着某一个方向的候补区域作为对象,进行变形处理。 
作为其他例子,在候补区域的数量超过规定的阈值时,除外判别部按照特定图像的尺寸,选择收敛于该阈值的数量的候补区域,并且针对选择外的候补区域,从变形处理的对象除外。如果作为变形处理的对象的候补区域的数量增加,则由于处理负担当然增大,所以作为变形处理的对象的候补区域的数量为规定数量(阈值)以内。例如,如果按照特定图像的尺寸大的顺序选择收敛于该阈值的数量的候补区域,则在对象图像上能把假定为重要度更高的特定图像作为变形的对象。 
这里,候补区域设定部把对象图像上的脸图像作为上述特定图像检测,并且根据检测到的脸图像,设定各脸图像的候补区域。这样,则可把根据从对象图像检测到的脸图像而设定的候补区域中,按照上述的除外条件而被除外的候补区域以外的候补区域作为对象,进行变形处理。 
变形处理部在变形对象的候补区域内配置多个分割点,使用连接分割点彼此间的直线,把该区域分割为多个小区域,并且移动至少一个分割点的位置,把小区域变形,由此进行图像的变形。这样,由于在最终成为变形对象的候补区域内配置分割点,只通过移动配置的分割点,就能进行图像变形,所以能容易且高效地实现与多样的变形形态对应的图像变形的图像处理。
并且,所述图像处理装置还可以具有对进行了上述图像的变形的对象图像实施打印的打印部。这样,能容易且高效地实现与多样的变形形态对应的图像变形后的图像的打印。 
到此为止,将本发明的技术思想作为图像处理装置进行了说明,但当然也能把握具有与上述图像处理装置所具备的各机构对应的步骤的图像处理方法的发明、使计算机执行与上述的图像处理装置所具有的各部件对应的功能的图像处理程序的发明。 
附图说明
图1是概略表示作为图像处理装置的打印机100的结构的说明图。 
图2是表示包含图像的一览显示的用户界面的一个例子的说明图。 
图3是表示打印机100的脸形状修正打印处理的流程的流程图。 
图4是表示脸形状修正处理的流程的流程图。 
图5是表示用于设定图像变形的类型和程度的用户界面的一个例子的说明图。 
图6是表示脸区域FA的检测结果的一个例子的说明图。 
图7是表示脸区域FA的高度方向的位置调整处理的流程的流程图。 
图8是表示特定区域SA的一个例子的说明图。 
图9是表示评价值的计算方法的一个例子的说明图。 
图10是表示评价对象像素TP的选择方法的一个例子的说明图。 
图11是表示高度基准点Rh的决定方法的一个例子的说明图。 
图12是表示概略倾斜角RI的计算方法的一个例子的说明图。 
图13是表示脸区域FA的高度方向的位置调整方法的一个例子的说明图。 
图14是表示脸区域FA的斜率调整处理的流程的流程图。
图15是表示脸区域FA的斜率调整用的评价值的计算方法的一个例子的说明图。 
图16是表示针对各评价方向的评价值的分散的计算结果的一个例子的说明图。 
图17是表示脸区域FA的斜率调整方法的一个例子的说明图。 
图18是表示变形区域TA的设定方法的一个例子的说明图。 
图19是表示变形区域TA分割为小区域的方法的一个例子的说明图。 
图20是表示分割点移动表420的内容的一个例子的说明图。 
图21是表示按照分割点移动表420的分割点D的位置的移动的一个例子的说明图。 
图22是表示基于变形处理部260的图像的变形处理方法的概念的说明图。 
图23是表示三角形区域中的图像的变形处理方法的概念的说明图。 
图24是表示本实施例的脸形状修正的方式的说明图。 
图25是表示显示了脸形状修正后的对象图像TI的显示部150的状态的一个例子的说明图。 
图26是表示修正图像打印处理的流程的流程图。 
图27是表示除外判别处理的内容的一个例子的流程图。 
图28是表示除外判别处理的一部分详细内容的一个例子的流程图。 
图29是表示取得脸区域FA和垂直基准线Vs或水平基准线Hs所成的角度的样子的说明图。 
图30是表示脸区域尺寸上限值表430的一个例子的图。 
图31是例示了对象图像TI上的修整范围和变形区域TA的位置关 系的说明图。 
图32是例示了对象图像TI上的规定角度范围和变形区域TA的说明图。 
图33是表示除外判别处理的一部分详细内容的一个例子的流程图。 
图34是例示在对象图像TI设定了不同朝向的多个变形区域TA的状态的说明图。 
图35是例示在对象图像TI设定了不同朝向的多个变形区域TA的状态的说明图。 
图36是例示在对象图像TI设定了不同朝向的多个变形区域TA的状态的说明图。 
图37是表示除外判别处理的一部分详细内容的一个例子的流程图。 
图38是例示在对象图像TI设定了相互重叠的多个变形区域TA的状态的说明图。 
图39是例示变形区域TA的一部分范围的说明图。 
图40是表示基于变形区域分割部250的处理的一个例子的流程图。 
图41是表示重新设定变形区域TA的样子的一个例子的说明图。 
图42是例示了变形区域TA的各分割线和重新设定后的变形区域TA’的位置关系的说明图。 
图中:100—打印机;110—CPU;120—内部存储器;140—操作部;150—显示部;160—打印机机芯(printer engine);170—卡接口;172—卡插槽;200—脸形状修正部;210—变形形态设定部;212—指定取得部;220—脸区域检测部;230—脸区域调整部;232—基准区域设定部;234—评价部;236—决定部;240—变形区域设定部;250—变形区域分割部;260—变形处理部;270—除外判别部;310—显示处理部;320—打印处理部;410—分割点配置模式表;420—分割点移动表;430—脸区域尺寸上限值表。
具体实施方式
按照以下的顺序,说明本发明的实施例。 
(1)图像处理装置的概略结构: 
(2)脸形状修正打印处理: 
(2-1)从对象图像的选择到变形区域的设定: 
(2-2)变形区域的除外处理: 
(2-3)从变形区域的分割到打印处理: 
(3)追加的说明和其他实施例 
(4)变形区域的重新设定 
(1)图像处理装置的概略结构: 
图1是概略表示作为本发明的图像处理装置的一个例子的打印机100的构成的说明图。打印机100是根据从记录媒体(例如存储卡MC等)取得的图像数据来打印图像的、与所谓直接打印对应的独立类型(stand alone)的彩色喷墨打印机。此外,打印机100是除了打印功能以外,还具有复制功能(未图示)或扫描功能(未图示)等各种功能的装置。从该意思上而言,打印机100也被称作所谓的复合机。 
打印机100具有:控制打印机100的各部的CPU110、例如由ROM或RAM构成的内部存储器120、由按钮或触摸屏构成的操作部140、由液晶显示器构成的显示部150、打印机机芯160、和卡接口(卡I/F)170等。打印机100可以还具有用于进行与其它机器(例如数字相机)的数据通信的接口。打印机100的各构成要素通过总线彼此连接。 
打印机机芯160是根据打印数据进行打印的打印机构。卡接口170是用于与插入到卡插槽172中的存储卡MC之间进行数据的交换的接口。本实施例中,在存储卡MC中存储有作为RGB数据的图像数据,打印机100通过卡接口170来进行存储卡MC中存储的图像数据的取得。
在内部存储器120中存储有脸形状修正部200、显示处理部310、打印处理部320。脸形状修正部200是用于在规定的操作系统下,执行后面描述的脸形状修正处理的计算机程序。显示处理部310是控制显示部150,在显示部150上显示处理菜单或信息的显示驱动程序。打印处理部320是用于从图像数据生成打印数据,控制打印机机芯160,执行基于打印数据的图像的打印的计算机程序。CPU110通过从内部存储器120读出并执行这些程序,来实现上述各部的功能。 
作为程序模块,脸形状修正部200包含:变形形态设定部210、脸区域检测部220、脸区域调整部230、变形区域设定部240、除外判别部270、变形区域分割部250、变形处理部260。变形形态设定部210包括指定取得部212。脸区域调整部230包含:基准区域设定部232、评价部234和决定部236。关于这些各部的功能,将在后面描述的脸形状修正打印处理的说明中详细描述。 
在内部存储器120中还存储有:脸区域尺寸上限值表430、分割点配置模式表410、分割点移动表420。对于脸区域尺寸上限值表430、分割点配置模式表410、分割点移动表420的内容,将在后面描述的脸形状修正打印处理的说明中详细描述。 
(2)脸形状修正打印处理: 
打印机100根据存储卡MC中存储的图像数据,进行图像的打印。如果在卡插槽172插入了存储卡MC,则通过显示处理部310,将包括存储卡MC中存储的图像的一览显示的用户界面显示到显示部150上。 
图2是表示包括图像的一览显示的用户界面的一个例子的说明图。例如,使用存储卡MC中存储的图像数据(图像文件)中包含的缩略图图像,来实现图像的一览显示。对于打印机100而言,如果在图2所示的用户界面中,由用户选择一个(或多个)图像,并且选择了通常打印按钮,则执行将被选择的图像按通常那样打印的通常打印处理。而如果在该用户界面中,由用户选择一个(或多个)图像,并且选择了脸形状修正打印按钮,则打印机100针对所选择的图像,执行修正图像中的脸的形状,并打印修正后的图像的脸形状修正打印处理。
图3是表示本实施例的打印机100的脸形状修正打印处理的流程的流程图。 
在步骤S(以下,省略步骤的表述)100中,脸形状修正部200(图1)执行脸形状修正处理。脸形状修正处理是当在图像中存在脸时,根据规定的条件来判别是否针对该脸进行修正,当判别为修正时,修正该脸的至少一部分形状(例如脸的轮廓形状或眼的形状)的处理。 
(2-1)从对象图像的选择到变形区域的设定: 
图4是表示本实施例的脸形状修正处理的流程的流程图。 
在S110中,脸形状修正部200(图1)设定成为脸形状修正处理的对象的对象图像TI。脸形状修正部200将在图2所示的用户界面中由用户选择的图像设定为对象图像TI。打印机100从存储卡MC经由卡接口170取得被设定的对象图像TI的图像数据,存储到内部存储器120的规定区域。 
在S120中,变形形态设定部210(图1)设定脸形状修正用的图像变形的类型和图像变形的程度。变形形态设定部210显示处理部310发出指示,以便在显示部150上显示用于设定图像变形的类型和程度的用户界面,选择通过该用户界面由用户指定的图像变形的类型和程度,设定为处理中所使用的图像变形的类型和程度。 
图5是表示用于设定图像变形的类型和程度的用户界面的一个例子的说明图。如图5所示,在该用户界面中包含用于设定图像变形类型的界面。在本实施例中,例如,预先设定有将脸的形状变尖锐的变形类型“类型A”、将眼的形状变大的变形类型“类型B”等,作为选择项。用户通过该用户界面指定图像变形的类型。变形形态设定部210将由用户指定的图像变形类型,设定为实际的处理中所使用的图像变形类型。 
而且,在图5所示的用户界面中还包含用于设定图像变形的程度的界面。如图5所示,在本实施例中,作为图像变形的程度,预先设定有强(S)、中(M)、弱(M)3阶段,作为选择项。用户通过该用户界面指定图像变形的程度。变形形态设定部210将由用户指定的图像变形的程度,设定为实际的处理中所使用的图像变形的程度。
另外,在本实施例中,能够实现基于用户的变形形态的详细指定。当在图5所示的用户界面中,由用户对希望详细指定的复选框(checkbox)输入选择标记时,进行了基于用户的变形形态的详细指定。 
其中,下面,作为图像变形的类型,设定用于使脸的形状尖锐的变形类型“类型A”,作为图像变形的程度,设定程度“中”的程度,作为没有希望基于用户的详细指定来进行说明。 
在S130中,脸区域检测部220(图1)进行对象图像TI中的脸区域(脸图像)FA的检测。这里,脸区域FA是对象图像TI上的图像区域,意味着至少包含脸的一部分的图像的区域。脸区域FA相当于权利要求中记载的特定图像的一个例子。使用例如利用了模板的基于模式匹配的方法(参照特开2004-318204)这一众所周知的脸检测方法,执行基于脸区域检测部220的脸区域FA的检测。 
图6是表示脸区域FA的检测结果的一个例子的说明图。如图6所示,如果根据本实施例中使用的脸检测方法,则可将对象图像TI上的包含眼、鼻和口的图像的矩形区域作为脸区域FA进行检测。脸区域FA也可以是正方形。图6所示的基准线RL是定义脸区域FA的高度方向(上下方向),并且表示脸区域FA的宽度方向(左右方向)的中心的线。即,基准线RL是通过矩形的脸区域FA的重心,与沿着脸的近似上下方向的矩形边界线平行的直线。当在S130中没有检测到脸区域FA时,将该内容通过显示部150通知给用户。这时,可以进行不伴随着脸形状修正的通常打印,也可以进行使用了其它脸检测方法的脸区域FA的再度检测处理。 
其中,一般利用了模板的基于模式匹配的方法等众所周知的脸检测方法,针对脸全体或脸的部位(眼或口等),不详细检测位置和斜率(角度),从对象图像TI中将认为大概包含脸的图像的区域设定为脸区域FA。而本实施例的打印机100如后所述,根据检测到的脸区域FA,设定实施脸形状修正用的图像变形处理的区域(后面描述的变形区域TA)。一般来说,由于观察者对脸的图像的注目度高,所以根据所设定的变形区域TA和脸的图像的位置或角度的关系,有可能导致脸形状修正后的图像变得不自然。因此,在本实施例中,为了实现更自然、理想的脸形状修正,针对在S130中检测出的脸区域FA,进行以下说明的位 置调整和斜率调整。 
在S140中,脸区域调整部230(图1)进行在S130中检测出的脸区域FA的上下方向的位置调整。脸区域FA的上下方向的位置调整是指:调整脸区域FA的沿着基准线RL(参照图6)的位置,重新设定对象图像TI中的脸区域FA。 
图7是表示本实施例的脸区域FA的上下方向的位置调整处理的流程的流程图。在S141中,基准区域设定部232(图1)设定基准区域SA。这里,基准区域SA是对象图像TI上的区域,即,包含执行脸区域FA的上下方向的位置调整时所参照的规定参照被拍摄体的图像的区域。在本实施例中,参照被拍摄体被设定为“眼”,基准区域SA被设定为包含“眼”的图像的区域。 
图8是表示基准区域SA的一个例子的说明图。在本实施例中,基准区域设定部232根据与脸区域FA的关系,设定基准区域SA。具体而言,将在与基准线RL正交的方向和与基准线RL平行的方向,以规定比率缩小(或放大)了脸区域FA的尺寸的尺寸区域,即与脸区域FA的位置具有规定位置关系的区域,设定为基准区域SA。即,在本实施例中,如果根据由脸区域检测部220检测到的与脸区域FA的关系,设定基准区域SA,则按照基准区域SA成为包含两只眼的图像的区域的方式,预先设定所述规定比率或规定的位置关系。其中,基准区域SA按照尽可能不包含与眼的图像容易混淆的图像(例如,头发的图像)的方式,在包含两眼的图像中,设定为尽可能小的区域。 
而且,如图8所示,基准区域SA被设定为对于基准线RL对称的矩形形状的区域。基准区域SA被分割成比基准线RL靠左侧的区域(以下称作“左分割区域SA(l)”)、和比基准线RL靠右侧的区域(以下称作“右分割区域SA(r)”)。基准区域SA被设定为在左分割区域SA(l)和右分割区域SA(r)分别包含单眼的图像。 
在S142中,评价部234(图1)计算出用于对基准区域SA的眼的图像位置进行检测的评价值。 
图9是表示评价值的计算方法的一个例子的说明图。在本实施例中, 作为RGB图像数据的对象图像TI的各像素的R值(R成分值),在评价值的计算中使用。这是因为,可以认为在皮肤部分的图像和眼部分的图像中,R值的差大,所以通过在评价值的计算中使用R值,能提高眼图像的检测精度。而且,在本实施例中,由于取得了对象图像TI的数据作为RGB数据,所以,通过在评价值的计算中使用R值,能实现评价值的计算的效率化。另外,如图9所示,针对2个分割区域(右分割区域SA(r)和左分割区域SA(l)),分别进行评价值的计算。 
评价部234如图9所示,在各分割区域(右分割区域SA(r)和左分割区域SA(l))内,设定与基准线RL正交的n条直线(以下称作“对象像素确定线PL1~PLn”)。对象像素确定线PL1~PLn是将分割区域的高度(沿着基准线RL的尺寸)(n+1)等分的直线。即,对象像素确定线PL彼此间的间隔都是等间隔s。评价部234针对对象像素确定线PL1~PLn的每一个,从构成对象图像TI的像素中选择评价值的计算中使用的像素(以下称作“评价对象像素TP”)。 
图10是表示评价对象像素TP的选择方法的一个例子的说明图。评价部234将构成对象图像TI的像素中与对象像素确定线PL重叠的像素,选择作为评价对象像素TP。图10(a)表示对象像素确定线PL与对象图像TI的像素的行方向(图10的X方向)平行的情形。这时,与各对象像素确定线PL重叠的像素行上的像素(在图10(a)中,被付与○标记的像素),被选择作为针对各对象像素确定线PL的评价对象像素TP。 
另一方面,根据脸区域FA的检测方法或基准区域SA的设定方法,如图10(b)所示,也会产生对象像素确定线PL与对象图像TI的像素的行方向(X方向)不平行的情形。这时,作为原则,与各对象像素确定线PL重叠的像素,也被选择作为针对各对象像素确定线PL的评价对象像素TP。可是,例如图10(b)中的对象像素确定线PL1和像素PXa及PXb的关系那样,当某一对象像素确定线PL与对象图像TI的像素矩阵的位于同一列(即,Y坐标相同)的2个像素重叠时,将重叠部分的距离较短一方的像素(例如像素PXb)从评价对象像素TP除外。即,针对各对象像素确定线PL而言,从像素矩阵的一个列只将一个像素选择作为评价对象像素TP。
另外,当对象像素确定线PL的斜率相对于X方向超过45度时,在上述说明中,像素矩阵的列和行的关系颠倒,从像素矩阵的一个行只选择一个像素作为评价对象像素TP。此外,根据对象图像TI和基准区域SA的尺寸的关系,有时一个像素还被选择作为对于多个对象像素确定线PL的评价对象像素TP。 
评价部234针对各对象像素确定线PL,计算评价对象像素TP的R值的平均值,作为评价值。其中,在本实施例中,从评价值的计算对象中,将针对各对象像素确定线PL选择的多个评价对象像素TP中R值大的一部分像素除外。具体而言,当针对某一对象像素确定线PL选择了k个评价对象像素TP时,评价对象像素TP被划分为由R值比较大的0.75k个像素构成的第一组、和油R值比较小的0.25k个像素构成的第二组这2个组,只使属于第二组的像素成为作为评价值的R值的评均值的计算对象。后面将描述从评价值的计算对象将一部分评价对象像素TP除外的理由。 
综上所述,在本实施例中,由评价部234计算出针对各对象像素确定线PL的评价值。这里,由于对象像素确定线PL是与基准线RL正交的直线,所以,评价值能够表现为针对沿着基准线RL的多个位置(评价位置)而计算出。此外,评价值能够表现为针对各评价位置,表示沿着与基准线RL正交方向的像素值的分布特征的值。 
在S143中,决定部236(图1)检测出基准区域SA中的眼的位置,根据检测结果,来决定高度基准点Rh。首先,决定部236如图9的右侧所示,针对各分割区域,生成沿着基准线RL的表示评价值(R值的平均值)的分布的曲线,检测出评价值取极小值的沿着基准线RL的位置作为眼的位置Eh。其中,左分割区域SA(l)中的眼的位置Eh表示为Eh(l),右分割区域SA(r)的眼的位置Eh表示为Eh(r)。 
考虑当是黄色人种时,分割区域中的表示皮肤的图像的部分R值大,而表示眼(更具体而言,眼的中央的黑眼珠部分)的图像的部分R值小。因此,如上所述,能将评价值(R值的平均值)取极小值的沿着基准线RL的位置判断为眼的位置Eh。另外,如图9所示,有时在分割区域中除了眼的图像以外,还包含R值小的其它图像(例如,眉毛或头发的图像)。因此,决定部236在沿着基准线RL的表示评价值的分布的曲线 取多个极小值时,根据规定的判断基准,将与一个极小值对应的位置判断为眼的位置Eh。例如,将与多个极小值对应的基准线RL上的各位置中、最接近基准区域SA内的基准线RL的中心位置的位置作为眼的位置Eh。这是因为如上所述,由于基准区域SA被设定为包含眼的图像的尽可能小的区域,所以,眼的位置接近基准区域SA内的基准线RL的中心位置,而眉毛或头发位于各分割区域的边界线附近。 
此外,即使上述曲线是眼的图像的位置以外,由于评价值大,且有可能取极小值,所以,可以忽略极小值内比规定阈值大的极小值。或者,也可以单纯将针对各对象像素确定线PL计算的评价值中的最小值所对应的对象像素确定线PL的位置,作为眼的位置Eh。 
其中,本实施例中将认为在脸上与周围的颜色之差比较大的部位的眼(眼中央的黑眼珠部分),作为脸区域FA的位置调整的参照被摄体使用。可是,由于作为评价值的R值的评价值通过将对象像素确定线PL上的多个评价对象像素TP作为对象而计算,所以,例如由于黑眼珠的周围的白眼珠部分的图像的影响,黑眼珠部分的检测精度有可能下降。在本实施例中,如上所述,通过将被认为与参照被摄体的颜色之差大的一部分评价对象像素TP(例如属于上述第一组的R值比较大的像素)从评价值的计算对象中除外,使参照被摄体的检测精度进一步提高。 
接着,决定部236根据检测出的眼的位置Eh,决定高度基准点Rh。 
图11是表示高度基准点Rh的决定方法的一个例子的说明图。高度基准点Rh是脸区域FA的高度方向的位置调整时,作为基准而使用的点。在本实施例中,如图11所示,将位于左右2个眼的位置Eh(l)和Eh(r)的中间的基准线RL上的点,设定为高度基准点Rh。即,将表示左眼的位置Eh(l)的直线EhL(l)和基准线RL的交点、与表示右眼的位置Eh(r)的直线EhL(r)和基准线RL的交点的中点,设定为高度基准点Rh。 
在本实施例中,决定部236根据检测出的眼的位置Eh,计算脸图像的概略倾斜角(以下称作“概略倾斜角RI”)。脸图像的概略倾斜角RI是推测对象图像TI中的脸的图像相对于脸区域FA的基准线RL,大概倾斜了多少的角度。
图12是表示概略倾斜角RI的计算方法的一个例子的说明图。如图12所示,决定部236首先决定将左分割区域SA(l)的宽度Ws(l)分割为一半的直线和直线EhL(l)的交点IP(l)、将右分割区域SA(r)的宽度Ws(r)分割为一半的直线和直线EhL(r)的交点IP(r)。然后,将与连接交点IP(l)和交点IP(r)的直线正交的直线IL、和基准线RL所成的角,计算作为概略倾斜角RI。 
在S144中,脸区域调整部230(图1)进行脸区域FA的上下方向的位置调整。 
图13是表示脸区域FA的高度方向的位置调整方法的一个例子的说明图。通过按照高度基准点Rh位于位置调整后的脸区域FA中的规定位置的方式,重新设定脸区域FA,来进行脸区域FA的高度方向的位置调整。具体而言,如图13所示,按照高度基准点Rh位于以规定的比例r1比r2对脸区域FA的上下方向的长度Hf进行划分的位置的方式,沿着基准线RL,调整对脸区域FA进行定义的矩形框的位置。在图13的例子中,通过使由虚线表示的调整前的脸区域FA向脸的上方向移动,重新设定了由实线表示的调整后的脸区域FA。 
脸区域FA的位置调整之后,在S150(图4)中,脸区域调整部230(图1)进行脸区域FA的斜率调整(角度调整)。这里,脸区域FA的斜率调整意味着:将对象图像TI中的脸区域FA的斜率调整成适合于脸的图像的斜率,来重新设定脸区域FA。本实施例中,将在执行脸区域FA的斜率调整时所参照的规定参照被摄体,设定为“两眼”。在本实施例的脸区域FA的斜率调整中,设定有对斜率调整的调整角度的选择项进行表示的多个评价方向,与各评价方向对应的评价基准区域ESA被设定为包含两眼的图像的区域。然后,针对各评价方向,根据评价基准区域ESA的图像的像素值,计算出评价值,使用根据评价值而决定的斜率调整的调整角度,调整脸区域FA的斜率。 
图14是表示本实施例的脸区域FA的斜率调整处理的流程的流程图。 
图15是表示脸区域FA的斜率调整用的评价值的计算方法的一个例子的说明图。
在S151中,基准区域设定部232(图1)设定初始评价基准区域ESA(0)。初始评价基准区域ESA(0)是与脸区域FA的位置调整后的基准线RL(参照图13)平行的方向(以下称作“初始评价方向”)相关联的评价基准区域ESA。在本实施例中,与位置调整后的脸区域FA对应的基准区域SA(参照图13),被直接设定为初始评价基准区域ESA(0)。其中,评价基准区域ESA与脸区域FA的位置调整时的基准区域SA不同,没有被分割为左右2个区域。在图15的最上段表示了所设定的初始评价基准区域ESA(0)。 
在S152中,基准区域设定部232(图1)设定多个评价方向和与各评价方向对应的评价基准区域ESA。多个评价方向被设定为表示斜率调整的调整角度的选择项的方向。在本实施例中,设定与基准线RL所成角为规定范围内的多个评价方向线EL,与评价方向线EL平行的方向被设定为评价方向。如图15所示,将基准线RL以初始评价基准区域ESA(0)的中心点(重心)CP为中心,逆时针和顺时针以规定角度α刻度旋转而决定的直线,设定为多个评价方向线EL。其中,将与基准线RL所成角为φ度的评价方向线EL表示为EL(φ)。 
在本实施例中,上述的各评价方向线EL和基准线RL所成角的规定范围,被设定为±20度。在本说明书中,用负的值表示使基准线RL顺时针旋转时的旋转角,用正的值表示使基准线RL逆时针旋转时的旋转角。基准区域设定部232使基准线RL逆时针和顺时针旋转α度、2α度…在不超过20度的范围中一边增加旋转角,一边旋转,来设定多个评价方向线EL。图15表示了通过使基准线RL旋转α度、2α度、-α度而分别决定的评价方向线EL(EL(α)、EL(2α)、EL(-α))。其中,基准线RL也能够表现为评价方向线EL(0)。 
与表示各评价方向的评价方向线EL对应的评价基准区域ESA,是以中心点CP为中心,以与评价方向线EL的设定时的旋转角相同的角度使初始评价基准区域ESA(0)旋转的区域。与评价方向线EL(φ)对应的评价基准区域ESA,被表示为评价基准区域ESA(φ)。图15表示了与评价方向线EL(EL(α)、EL(2α)、EL(-α)分别对应的评价基准区域ESA(ESA(α)、ESA(2α)、ESA(-α))。其中,初始评价基准区域ESA(0)也可作为评价基准区域ESA的一个对待。
在S153中,评价部234(图1)针对多个评价方向的每一个,根据评价基准区域ESA的图像的像素值,计算出评价值。在本实施例中,作为脸区域FA的斜率调整中的评价值,与上述的脸区域FA的位置调整中的评价值同样,可使用R值的平均值。评价部234计算沿着评价方向的多个评价位置的评价值。 
评价值的计算方法与上述的脸区域FA的位置调整中的评价值的计算方法同样。即,如图15所示,评价部234在各评价基准区域ESA内设定与评价方向线EL正交的对象像素确定线PL1~PLn,针对各对象像素确定线PL1~PLn选择评价对象像素TP,将所选择的评价对象像素TP的R值的平均值作为评价值计算。 
评价基准区域ESA中的对象像素确定线PL的设定方法或评价对象像素TP的选择方法,虽然存在是否左右分割区域的不同,但是与图9和图10所示的脸区域FA的位置调整中的方法同样。另外,也可以与脸区域FA的位置调整时同样,将所选择的评价对象像素TP内的一部分(例如k个评价对象像素TP内的R值比较大的0.75k个像素)从评价值的计算对象中除外。在图15的右侧表示了针对各评价方向计算出的评价值的沿着评价方向线EL的分布。 
另外,由于对象像素确定线PL是与评价方向线EL正交的直线,所以,评价值能够表现为针对沿着评价方向线EL的多个位置(评价位置)而计算出。而且,评价值能够表现为针对各评价位置,表示沿着与评价方向线EL正交的方向的像素值的分布特征的值。 
在S154中,决定部236(图1)决定脸区域FA的斜率调整中所使用的调整角度。决定部236针对各评价方向,计算在S153中算出的评价值的沿着评价方向线EL的分散,选择分散的值为最大的评价方向。然后,将与所选择的评价方向对应的评价方向线EL和基准线RL所成角,决定为斜率调整中所使用的调整角度。 
图16是表示各评价方向的评价值的分散的计算结果的一个例子的说明图。图16的例子中,在旋转角为α度的评价方向,分散取最大值Vmax。因此,α度、即逆时针旋转α度的旋转角,被决定为脸区域FA的斜率调整中所使用的调整角度。
对评价值的分散的值成为最大时的评价方向所对应的角度,被决定为斜率调整中所使用的调整角度的理由进行说明。如从图15的上面开始的第2段所示,在旋转角为α度时的评价基准区域ESA(α)中,左右眼的中央部(黑眼珠部分)的图像成为在与对象像素确定线PL大致平行的方向(即,与评价方向线EL正交的方向)排列的配置。而且,这时左右眉的图像也同样,成为在与评价方向线EL大致正交的方向排列的配置。因此,可认为与这时的评价方向线EL对应的评价方向,是大致表示脸的图像的斜率的方向。这时,一般R值小的眼或眉的图像和一般R值大的皮肤部分的图像的位置关系,成为沿着对象像素确定线PL的方向,两者重叠的部分小的位置关系。为此,眼或眉的图像的位置处的评价值比较小,皮肤部分的图像的位置处的评价值比较大。因此,沿着评价方向线EL的评价值的分布如图15所示,成为偏移比较大(振幅大)的部分,导致分散的值增大。 
另一方面,如图15中的最上段、第三段和第四段所示,在旋转角为0度、2α度、-α度时的评价基准区域ESA(0)、ESA(2α)、ESA(-α)中,左右眼的中央部或左右眉的图像不在与评价方向线EL正交的方向排列,成为偏移的配置。因此,与此时的评价方向线EL对应的评价方向不表示脸的图像的斜率。这时,眼或眉的图像和皮肤部分的图像的位置关系,成为沿着对象像素确定线PL的方向,两者重叠的部分大的位置关系。因此,沿着评价方向线EL的评价值的分布如图15所示,成为偏移比较小(振幅小)的部分,使得分散的值减小。 
如上所述,在评价方向接近脸的图像的斜率的方向时,沿着评价方向线EL的评价值的分散的值增大,在评价方向远离脸的图像的斜率的方向时,沿着评价方向线EL的评价值的分散的值减小。因此,如果将评价值的分散的值为最大时的评价方向所对应的角度决定为斜率调整中所使用的调整角度,则能实现脸区域FA的斜率适合于脸图像的斜率的脸区域FA的斜率调整。 
另外,在本实施例中,当平均值的分散的计算结果成为相对于角度范围的临界值、即基准线RL在-20度或20度中取最大值的结果时,认为未被正确评价脸的斜率的可能性高,所以,不进行脸区域FA的斜率调整。此外,在本实施例中,所决定的调整角度与上述的脸区域FA的 位置调整时计算出的概略倾斜角RI比较。在调整角度和概略倾斜角RI的差比规定的阈值大时,认为在脸区域FA的位置调整和斜率调整的评价或决定时发生了什么错误,所以不进行脸区域FA的位置调整和斜率调整。 
在S155中,脸区域调整部230(图1)进行脸区域FA的斜率调整。 
图17是表示脸区域FA的斜率调整方法的一个例子的说明图。通过以初始评价基准区域ESA(0)的中心点CP为中心,使脸区域FA旋转在S154中决定的调整角度,来进行脸区域FA的斜率调整。在图17的例子中,通过将由虚线表示的调整前的脸区域FA逆时针旋转α度,来设定由实线表示的调整后的脸区域FA。 
在脸区域FA的斜率调整后的S160中,变形区域设定部240(图1)设定变形区域TA。变形区域TA是对象图像TI上的区域,即脸形状修正用的图像变形处理的对象的成为候补的区域。从该意思上来讲,S160中设定的变形区域TA相当于权利要求中记载的候补区域的一个例子。 
图18是表示变形区域TA的设定方法的一个例子的说明图。如图18所示,在本实施例中,变形区域TA被设定为将脸区域FA在与基准线RL平行的方向(高度方向)和与基准线RL正交的方向(宽度方向)伸张(或缩短)的区域。具体而言,如果设脸区域FA的高度方向的尺寸为Hf,宽度方向的尺寸为Wf,则将脸区域FA的矩形向上方向伸张k1·Hf,向下方向伸张k2·Hf,并且向左右分别伸张k3·Wf的区域设定为变形区域TA。其中,k1、k2、k3是规定的系数。 
如果这样设定变形区域TA,则与脸区域FA的高度方向的轮廓线平行的直线、即基准线RL,成为与变形区域TA的高度方向的轮廓线也平行的直线。而且,基准线RL成为将变形区域TA的宽度分割为一半的直线。 
如图18所示,变形区域TA被设定为在脸的高度方向大致包含从下巴到前额的图像,在脸的宽度方向包含左右脸颊的图像的区域。即,在本实施例中,按照变形区域TA成为大致包含这样范围的图像的区域的方式,根据与脸区域FA的尺寸的关系,预先设定了上述的系数k1、k2、 k3。这里,变形区域设定部240可以说相当于权利要求书中记载的候补区域设定部。此外,也能将上述的脸区域检测部220、脸区域调整部230和变形区域设定部240一起称作候补区域设定部。 
另外,在图6等中,例示了在对象图像TI中只存在一个人脸的情形,但是当在对象图像TI中存在多个脸时,可在所述S130~160中检测多个脸,对各脸进行脸区域FA的设定、脸区域FA的位置调整和斜率调整、及变形区域TA的设定。 
(2-2)变形区域的除外处理: 
如果通过到上述S160为止的处理,进行了对象图像TI上的变形区域TA的设定,则在S170中,除外判别部270(图1)按照后面描述的各种除外的条件,对各变形区域TA进行是否作为变形处理的对象的判别,针对判别为不作为变形处理的对象的变形区域,将其从变形处理的对象中除外。即,在本实施例中,并不一定使通过到上述S160为止的处理而设定的全部变形区域TA,成为后面描述的图像变形的对象,只将所设定的变形区域TA中不符合各种除外条件的变形区域TA作为图像变形的对象。结果,能够适当抑制进行图像变形而引起的打印机100的处理负担量和内部存储器120等的存储器区域的消耗。 
图27是表示S170的处理内容的流程图的一个例子。 
在S171中,作为第一除外判别,除外判别部270对各变形区域TA,按照与脸区域FA的斜率对应的尺寸限制,判别是否要从变形处理的对象中除外。 
图28通过流程图表示了S171的处理细节。 
在S1711中,除外判别部270按各变形区域TA取得脸区域FA的斜率和尺寸。在该S1711中取得的斜率是指:朝向对象图像TI的上下的垂直基准线Vs或者朝向对象图像TI的水平方向的水平基准线Hs和脸区域FA的基准线RL所成角度的大小。 
图29例示了在S1711中将某一个变形区域TA作为对象,来取得脸区域FA的斜率的样子。这里,首先决定是将成为取得斜率时的比较基 准的方向设为垂直基准线Vs,还是设水平基准线Hs。这时,根据基准线RL从垂直基准线Vs和水平基准线Hs中的哪一侧倾斜来决定。即,在对象图像TI上,当脸的上方向朝向对象图像TI的大致上侧或大致下侧时,垂直基准线Vs成为取得斜率时的基准,当脸的上方向朝向对象图像TI的大致右侧或大致左侧时,水平基准线Hs成为取得斜率时的基准。 
在图29所示的例子中,与对象图像TI的水平基准线Hs相比,基准线RL更向垂直基准线Vs一侧倾斜,所以在S1711中,垂直基准线Vs和基准线RL所成的角度β被检测为脸区域FA的斜率。其中,由于该角度β是基准线RL和垂直基准线Vs(或者水平基准线Hs)所成的角度的大小,所以作为正的值取得。在S1711中,也取得脸区域FA的尺寸。作为脸区域FA的尺寸,能够使用脸区域FA的面积等各种值。在本实施例中,作为一个例子,将脸区域FA的矩形的各边中高度方向的边的长度(上述Hf)设为脸区域FA的尺寸。这时,将对象图像TI上的Hf的长度换算、取得为对象图像TI上的像素数。另外,可以取得宽度方向的边的长度(上述Wf)作为脸区域FA的尺寸,如果如上所述使脸区域FA为正方形,则也可以取得脸区域FA的4边中的任意1边的长度作为脸区域FA的尺寸。 
在S1712中,除外判别部270通过参照脸区域尺寸上限值表430(图1),来取得与上述所取得的脸区域FA的斜率对应的脸区域FA的尺寸的上限值。 
图30表示了脸区域尺寸上限值表430的一个例子。脸区域尺寸上限值表430,是针对如上述那样取得的脸区域FA的多个斜率,预先规定了被允许的脸区域FA的尺寸(在本实施例中,为脸区域FA的高度方向的边的像素数)的上限值的表。在本实施例中,鉴于脸区域FA的上述斜率越接近某一规定的上限角度(称作角度βL),包含该脸区域FA的变形区域TA的变形处理所需的存储器消耗量越增加的事实(后面将描述该事实),采用了表示脸区域FA的斜率的值越接近所述角度βL,越将尺寸的上限值规定为小的值的脸区域尺寸上限值表430。 
如果在脸区域尺寸上限值表430中直接规定了与所述S1711中取得的斜率(角度β)对应的尺寸上限值,则除外判别部270只要读出该直 接规定的上限值即可。另一方面,当在脸区域尺寸上限值表430中未直接规定与上述所取得的斜率(角度β)对应的尺寸上限值时,通过根据规定的其他上限值的插补计算等,取得与上述所取得的斜率(角度β)对应的上限值。 
在S1713中,除外判别部270判断在S1711中取得的脸区域FA的尺寸是否在S1712中取得的尺寸上限值内,当超过上限值时,进行将包含具有超过该上限值的尺寸的脸区域FA的变形区域TA,从变形处理的对象中除外的决定。结果,能够从变形处理的对象中将因对象图像TI上的斜率(角度β)而引起的变形处理所需的存储器消耗量增多的变形区域TA除外。 
接着,在S172中,作为第二除外判别,除外判别部270判别变形区域TA的至少一部分是否从各修整图像中共同的图像范围露出,对于至少一部分露出的变形区域TA,进行从变形处理的对象除外的处理,其中,所述各修整图像是通过基于图像输出中所使用的多个纵横比的各修整,从对象图像TI切出的。该判别对在上述S171中未被判别为从变形处理的对象中除外的各变形区域TA进行。 
在本实施例中,打印机100在进行脸形状修正的处理的过程中,将对象图像TI作为公共的一个尺寸的图像数据来处理。对象图像TI的图像数据例如是长边和短边为320×240像素(纵横比4:3)的QVGA(Quarter Video Graphics Array)尺寸的图像数据。另一方面,在打印机100中,对象图像TI的打印中能使用的打印用纸的种类是A4尺寸、L版尺寸、小尺寸(letter size)等各种,根据打印用纸的种类,纵横比也各种各样。因此,在打印对象图像TI时,根据被选择为打印中使用的打印用纸的纵横比,来适当修整该图像数据。 
图31(a)例示了根据某一打印用纸的纵横比,来修整对象图像TI的情形。如果以与对象图像TI的纵横比不同的纵横比修整对象图像TI,则如图31(a)所示,对象图像TI上设置的变形区域TA的一部分有可能露出到修整的范围外(画阴影的部分)。由于露出到修整的范围外的数据部分会被舍弃,所以为了对这种一部分从修整范围露出的变形区域TA中包含的脸进行变形处理,需要再度设定包含该脸的变形区域TA(进行变形区域TA的矩形的移动或缩写),以使其全部收敛在修整的 范围内。可是,这样的变形区域TA的重新设定处理,会引起打印机100的处理负担增加和存储器消耗量的增大。 
因此,除外判别部270如图31(b)所示,在对象图像TI上设定根据打印机100能使用的全部打印用纸的纵横比分别修整时而切出的各修整图像中共同的共同图像范围CA。在图31(b)中,为了将便于说明,打印机100能使用的打印用纸的纵横比、即与对象图像TI的纵横比不同的纵横比一共为2种,在根据该2个纵横比分别修整时不切出而被放弃的对象图像TI上的区域打上阴影。即,在该图中,不带阴影的对象图像TI上的区域成为共同图像范围CA。除外判别部270对成为判别的对象的各变形区域TA,判断是否从共同图像范围CA露出,对于即使一部分从共同图像范围CA露出的变形区域TA,也进行从变形处理的对象中除外的决定。 
结果,由于只有全体包含在共同图像范围CA中的变形区域TA能成为变形处理的对象,所以,不需要上述那样的变形区域TA的重新设定,能避免打印机100的处理负担增加和存储器消耗量的增大。此外,由于也没有根据打印中使用的打印用纸的种类的不同(打印用纸的纵横比的不同),对对象图像TI中的脸进行或不进行变形处理的状况,所以不会给用户带来不舒服感。 
接着,在S173中,作为第三除外判别,除外判别部270针对变形区域TA,判别对象图像TI上的斜率是否属于规定的角度范围,对于不属于该规定的角度范围的变形区域TA,进行从变形处理的对象除外的处理。该判别对在上述S171、172中未被判别为从变形处理的对象中除外的各变形区域TA进行。 
图32表示了上述规定的角度范围的一个例子。在本实施例中,以水平基准线Hs的正方向(对象图像TI的右方向。0度方向)、垂直基准线Vs的正方向(对象图像TI的上方向。90度方向)、水平基准线Hs的负方向(对象图像TI的左方向。180度方向)分别为中心,将±15度的范围决定为上述规定的角度范围。当然,上述规定的角度范围的设定并不局限于上述数值。 
在该S173中,除外判别部270针对成为判别对象的变形区域TA, 判别其基准线RL的斜率是否属于上述规定的角度范围。在该判别时,除外判别部270需要识别基准线RL的上下、即基准线RL的两端中的哪一侧指脸的上方向。 
这里,当根据众所周知的脸检测方法进行了脸区域FA的检测时,能针对脸区域FA的矩形的4个顶点,分别取得表示是脸的右上的点,或脸的左上的点,或脸的右下的点,还是脸的左下的点的信息的顶点位置信息。因此,例如脸区域检测部220可以参照顶点位置信息,确定脸区域FA的右上的点和右下的点(或者左上的点和左下的点),并且能将基准线RL的两端中接近上述确定的右上的点(左上的点)的一侧,确定为基准线RL的上方向。 
基准线RL的两端中的哪一侧指脸的上方向的确定,也可以按以下所述进行。如使用图7所述那样,在上述S142中,评价部234计算出用于检测基准区域SA中的眼的图像的位置的评价值。该评价值如图9所示,在眼的位置Eh处取一极小值,并且在眼以外的R成分少的位置、即眉或头发的图像中也取极小值。而且,可以说在人脸上,眉或头发存在于比眼靠上侧的位置。因此,上述决定部236与决定上述高度基准点Rh的处理一起,进行从高度基准点Rh的位置观察,将与眼的位置所对应的极小值不同的极小值所对应的基准线RL上的位置的一侧,确定为脸的上方向的处理。结果,确定了基准线RL的两端中的哪一侧指脸的上方向。 
这样,由于确定了变形区域TA的基准线RL的两端中的哪一侧指脸的上方向,所以,除外判别部270根据该确定结果,对成为判别对象的各变形区域TA,判别对象图像TI的右方向(0度方向)和基准线RL的上方向逆时针旋转所成角度γ是否属于图32所示的规定的角度范围,针对角度γ不属于任意一个规定的角度范围的变形区域TA,进行从变形处理的对象中除外的决定。 
这样,根据对象图像TI上的脸的斜率,在某种程度上限制成为变形处理的对象的脸,从而能避免打印机100的处理负担增加和存储器消耗量的增大。 
在S174中,作为第四除外判别,除外判别部270针对变形区域TA, 根据对象图像TI上的脸的上下朝向,进行是否作为变形处理的对象的判别,对于属于某一个朝向以外的朝向的变形区域TA,进行从变形处理的对象中除外的处理。该判别将在上述S171~S173中未被判别为从变形处理的对象中除外的变形区域TA作为对象来进行。 
图33通过流程图表示了S174的处理的细节。 
在S1741中,除外判别部270首先按照脸的上下的朝向的共同性,将对象图像TI上的变形区域TA分组。根据到上述S173为止的处理,在对象图像TI上能够存在脸的上方向朝向对象图像TI的大致上侧的(所述角度γ属于对象图像TI的上方向±15度的范围)变形区域TA的组、脸的上方向朝向对象图像TI的大致右侧的(所述角度γ属于对象图像TI的右方向±15度的范围)变形区域TA的组、和脸的上方向朝向对象图像TI的大致左侧的(所述角度γ属于对象图像TI的左方向±15度的范围)变形区域TA的组。而且,按照S173的处理精度,也偶尔存在脸的上方向朝向对象图像TI的大致下侧的(所述角度γ属于垂直基准线Vs的负方向±15度的范围)变形区域TA 
除外判别部270按照这些基准线RL的上方向朝向的角度γ,将对象图像TI上的变形区域TA划分为上述那样的上下左右的各组。 
在S1742中,除外判别部270判断拥有的变形区域TA的数量为最大的组是否存在多个。在拥有的变形区域TA的数量为最大的组是一个时,进入到S1743,对于属于拥有的变形区域TA的数量为最大的组的变形区域TA以外的变形区域TA,进行从变形处理的对象除外的决定。 
如图34所示,在对象图像TI上设定了多个变形区域TA时,脸朝向大致上侧的变形区域TA的数量是2,为最大,并且不存在2以上的脸共同朝向的其他方向(右、左或下侧)。因此,在上述S1743中,对于朝向大致上侧以外的方向的变形区域TA,进行从变形处理的对象除外的决定。 
另一方面,当在S1742中判断为拥有的变形区域TA的数量为最大的组存在多个时,除外判别部270进入到S1744,判断在拥有的变形区域TA的数量为最大的各组中是否具有多个包含脸区域FA的尺寸为最 大的变形区域TA的组。关于脸区域FA的尺寸,如上所述。在包含脸区域FA的尺寸为最大的变形区域TA的组是一个时,进入到S1745,针对属于包含拥有的变形区域TA的数量为最大,并且脸区域FA的尺寸为最大的变形区域TA的组的变形区域TA以外的变形区域TA,进行从变形处理的对象中除外的决定。 
如图35所示,当在对象图像TI上设定了多个变形区域TA时,脸朝向大致上侧的变形区域TA的数量和脸朝向大致右侧的变形区域TA的数量都是最大数(2),并且在朝向大致上侧的变形区域TA的组中包含脸区域FA最大的变形区域TA。因此,在上述S1745中,对于朝向大致上侧以外的方向的变形区域TA,进行从变形处理的对象中除外的决定。 
另一方面,当在拥有的变形区域TA的数量为最大的各组中,包含脸区域FA的尺寸为最大的变形区域TA的组存在多个时,除外判别部270进入到S1746,从多个组中按照规定的优先级选择与一个方向有关的组。然后,针对属于该选择的组的变形区域TA以外的变形区域TA,进行从变形处理的对象除外的决定。这里所说的规定优先级是对于上下左右的顺序,至少将上侧设为最优先。关于左、右、下的优先级未特别限定,但例如可按照下、左、右那样预先付与顺序。 
如图36所示,当在对象图像TI上设定有多个变形区域TA时,脸朝向大致上侧的变形区域TA量、脸朝向大致右侧的变形区域TA和脸朝向大致左侧的变形区域TA的数量都相同,并且脸朝向大致上侧的变形区域TA、脸朝向大致右侧的变形区域TA和脸朝向大致左侧的变形区域TA的各脸区域FA的尺寸也相同。因此,在上述S1746中,按照所述优先级,针对朝向大致上侧以外的方向的变形区域TA,进行从变形处理的对象除外的决定。 
这样,根据S174的处理,即使在对象图像TI上设定的各变形区域TA的脸的上下的朝向如大致上侧、大致下侧、大致右侧、大致左侧那样是分散的朝向,也会按照各朝向的变形区域TA的数量与尺寸、或者各朝向之间的优先级,只选择一个成为变形处理的对象的变形区域TA的朝向。因此,能避免打印机100的处理负担增加和存储器消耗量的增大。另外,图33所示的流程图只不过是一个例子,除外判别部270 不一定沿袭该流程图的步骤。例如,当在S1742中进行了“是”的判断后,也可以不进行S1744的判断,而转移到S1746的判断。如果采用该步骤,则能更简单地进行S174的处理。 
在S175中,作为第五除外判别,除外判别部270在变形区域TA之间产生了重叠时,为了消除该重叠,而进行从变形处理的对象中将一个以上的变形区域TA除外的处理。该判别将在上述S171~S174中未被判别为从变形处理的对象中除外的变形区域TA作为对象来进行。 
图37通过流程图表示了S175的处理的细节。 
在S1751中,除外判别部270选择一个在该时刻未被判别为从变形处理的对象中除外的变形区域TA中、脸区域FA的尺寸最大的变形区域TA。 
在S1752中,判断是否存在与在最近的S1751中选择的变形区域TA重叠的、在该时刻未被判别为从变形处理的对象中除外的其他变形区域TA。当存在所述重叠的其他变形区域TA时,除外判别部270进入到S1753,针对所述重叠的其他变形区域TA的全部,进行从变形处理的对象中除外的决定。 
在S1753之后,或者在S1752中进行了“否”的判断时,进入到S1754。在S1754中,除外判别部270判断在过去的S1751中选择的变形区域TA以外中,是否存在该时刻未被判别为从变形处理的对象除外的变形区域TA。当判断为存在时,返回到S1751,除外判别部270重新选择在过去的S1751中选择的变形区域TA以外的变形区域TA,重复S1752以后的处理。而当在过去的S1751中选择的变形区域TA以外,不存在该时刻未被判别为从变形处理的对象中除外的变形区域TA时,结束图37的处理。 
如图38所示,如果以在对象图像TI上重叠设定有多个变形区域TA的情形为例,来说明图37的处理,则变为如下所述。图38中,在变形区域TA1~TA6中,变形区域TA1的脸区域FA的尺寸最大,所以首先在S1751中选择该变形区域TA1。而且,由于相对于变形区域TA1,变形区域TA5与之重叠,所以将变形区域TA5从变形处理的对象除外。 在接下来的S1751中,选择在过去的S1751中未选择的变形区域TA中脸区域FA的尺寸最大的变形区域TA2。对于变形区域TA2而言,变形区域TA3和变形区域TA4与之重叠,所以将变形区域TA3、TA4从变形处理的对象除外。在接下来的S1751中,选择变形区域TA6。不过,在该时刻不除外,不存在与变形区域TA6重叠的其他变形区域TA(S1752中为否)。此外,由于在变形区域TA1、TA2、TA6以外,该时刻不存在未被判别为从变形处理的对象除外的变形区域TA(S1754中为否),所以结束图37的处理。结果,在该图38的例子中,变形区域TA1、TA2、TA6未被除外而残留,消除了变形区域TA的重叠。 
这里,在将对象图像TI中一部分重叠的两个变形区域TA分别进行变形处理时,为了先将一方的区域变形处理,然后将另一方的区域变形,需要将与上述一方的区域有关的变形后的图像数据与原来图像(变形区域TA都未变形处理的状态的对象图像TI)独立保存。因此,存储器的使用量变得很大。在本实施例中,除外判别部270从多个变形区域TA中,按照脸区域FA的尺寸大的顺序选择一个变形区域TA,并且重复进行从变形处理的对象中将与该选择的变形区域TA重叠的其他变形区域TA除外的处理,从而避免了成为变形对象的变形区域TA重叠。因此,根据本实施例,可将尺寸大、假定为对用户的重要度更高的脸作为变形处理的对象而残留,并能够消除因变形区域TA的重叠而引起的上述存储器的大量消耗。 
这里,消除变形区域TA的重叠的手法并不局限于上述的手法。例如,除外判别部270在为了消除变形区域TA的重叠而选择一个变形区域TA时,可以不是以脸区域FA的尺寸为基准进行选择,而按照从外部输入的变形区域TA的选择指示来选择。即,除外判别部270受理由用户通过操作部140进行的操作而实现的选择指示。这时,除外判别部270指示显示处理部310在显示部150上显示能任意选择对象图像TI上的变形区域TA的用户界面,按照通过该用户界面由用户输入的选择指示,选择变形区域TA。然后,当存在与该选择的变形区域TA重叠的其他变形区域TA时,针对该重叠的其他变形区域TA的全部,进行从变形处理的对象中除外的决定。如果采用该结构,则能将用户选择的变形区域TA作为变形处理的对象而残留,并能够消除变形区域TA之间的重叠。
在S176中,作为第六除外判别,除外判别部270判断对象图像TI上的变形区域TA的数量是否超过预先决定的阈值(最大处理数),当超过该阈值时,选择收敛于该阈值的数量的变形区域TA,针对选择以外的变形区域TA进行从变形处理的对象除外的决定。该判别以在所述S171~S175中未被判别为从变形处理的对象除外的变形区域TA作为对象来进行。作为上述的阈值,能使用各种数值,但是在本实施例中,考虑打印机100的处理能力,作为一个例子将上述阈值设为“5个”。 
除外判别部270在对象图像TI上的变形区域TA的数量超过上述阈值时,例如按照脸区域FA的尺寸大的顺序,选择阈值以内的数量的变形区域TA。结果,可将尺寸大、假定为对用户的重要度更高的脸作为变形处理的对象而残留,并能够避免将超过了打印机100的处理能力的数量的变形区域TA作为变形处理的对象。 
在S177中,作为第七除外判定,除外判别部270判别是否存在从根据由外部输入的修整指示而切出的修整图像中,至少一部分出来的变形区域TA,当存在时,针对从该修整图像至少一部分出来的变形区域TA,进行从变形处理的对象除外的决定。该判别对于在上述S171~S176中未被判别为从变形处理的对象除外的各变形区域TA进行。在上述S172中,针对从根据打印机100能使用的全部打印用纸的纵横比,分别修整了对象图像TI时公共残留的共同图像范围CA露出的变形区域TA,进行了除外,但是进一步在S177中,针对从用户能任意设定的修整的范围露出的变形区域TA,也从变形处理的对象除外。 
在上述S177中,除外判别部270取得来自外部的修整的指示。该情况下,当根据用户已经通过操作部140的输入操作,进行了对象图像TI的修整指示时,根据该指示,设定在对象图像TI上通过修整而切出的图像范围。或者,除外判别部270指示显示处理部310在显示部150上显示用于进行对于对象图像TI的修整设定的用户界面,根据通过该用户界面由用户输入的修整的指示,设定在对象图像TI上基于修整的图像范围。除外判别部270对成为判别的对象的各变形区域TA,判断是否从上述设定的修整的图像范围露出,针对即使一部分露出的变形区域TA,也进行从变形处理的对象除外的决定。 
根据上述S177的处理,由于只有全体包含在由用户指示的修整而 切出的图像范围中的变形区域TA能成为变形处理的对象,所以,无需上述那样的变形区域TA的重新设定,能避免打印机100的处理负担增加和存储器消耗量的增大。其中,在未从外部取得修整的指示时,不执行S177的处理。 
这样,在本实施例中,根据上述顺序进行上述的第一~第七的除外判别,将根据任意的除外判别都不除外而最终残留的变形区域TA作为对象,进行S180以后的处理。不过,上述所表的第一~第七除外判别的顺序只不过是一个例子,除外判别部270能以任意的顺序执行各除外判别的处理,也能够只实施上述第一~第七除外判别的一部分。 
(2-3)从变形区域的分割到打印处理: 
在S180(图4)中,变形区域分割部250(图1)将变形区域TA分割为多个小区域。图19是表示变形区域TA分割为小区域的方法的一个例子的说明图。变形区域分割部250在变形区域TA中配置多个分割点D,使用连接分割点D的直线,将变形区域TA分割为多个小区域。当存在多个变形区域TA时,对各变形区域TA进行向小区域的分割。 
根据分割点配置模式表410(图1),与S120(图4)中设定的变形类型对应地定义了分割点D的配置形态(分割点D的个数和位置)。变形区域分割部250参照分割点配置模式表410,以与S120中设定的变形类型相关联的形态,配置分割点D。在本实施例中,如上所述,由于作为变形类型,设定了用于将脸变尖锐的变形“类型A”(参照图5),所以,以与该变形类型相关联的形态配置分割点D。 
如图19所示,在水平分割线Lh和垂直分割线Lv的交点、水平分割线Lh以及垂直分割线Lv和变形区域TA的外框的交点处配置分割点D。这里,水平分割线Lh及垂直分割线Lv是成为用于在变形区域TA内配置分割点D的基准的线。如图19所示,在与用于将脸变尖锐的变形类型相关联的分割点D的配置中,设定了与基准线RL正交的2条水平分割线Lh、与基准线RL平行的4条垂直分割线Lv。将2条水平分割线Lh从变形区域TA的下方开始按顺序称作Lh1、Lh2。此外,将4条垂直分割线Lv从变形区域TA的左侧开始按顺序称作Lv1、Lv2、Lv3、Lv4。
水平分割线Lh1在变形区域TA中,被配置在比下巴的图像靠下方的位置,水平分割线Lh2被配置在眼的图像下方附近。而垂直分割线Lv1和Lv4被配置在脸颊线的图像的外侧,垂直分割线Lv2和Lv3被配置在眼角的图像的外侧。其中,按照水平分割线Lh及垂直分割线Lv和图像的位置关系结果变为上述的位置关系的方式,根据预先设定的与变形区域TA的尺寸的对应关系,执行水平分割线Lh及垂直分割线Lv的配置。 
按照上述的水平分割线Lh和垂直分割线Lv的配置,在水平分割线Lh和垂直分割线Lv的交点、水平分割线Lh及垂直分割线Lv和变形区域TA的外框的交点配置分割点D。如图19所示,从左按顺序将位于水平分割线Lhi(i=1或2)上的分割点D称作D0i、D1i、D2i、D3i、D4i、D5i。例如,将位于水平分割线Lh1上的分割点D称作D01、D11、D21、D31、D41、D51。同样,从下按顺序将位于垂直分割线Lvj(j=1、2、3、4中的任意一个)的分割点D称作Dj0、Dj1、Dj2、Dj3。例如,将位于垂直分割线Lv1上的分割点D称作D10、D11、D12、D13。 
另外,如图19所示,本实施例的分割点D的配置成为相对于基准线RL对称的配置。 
变形区域分割部250通过连接所配置的分割点D的直线(即水平分割线Lh和垂直分割线Lv),将变形区域TA分割为多个小区域。在本实施例中,如图19所示,变形区域TA被分割为15个矩形的小区域。 
另外,在本实施例中,由于根据水平分割线Lh和垂直分割线Lv的条数和位置,决定分割点D的配置,所以也可以说分割点配置模式表410定义了水平分割线Lh和垂直分割线Lv的条数和位置。 
在S190(图4)中,变形处理部260(图1)进行将对象图像TI的变形区域TA作为对象的图像的变形处理。通过移动S180中配置在变形区域TA内的分割点D的位置,将小区域变形,从而进行基于变形处理部260的变形处理。S190的处理也当存在多个变形区域TA时将各变形区域TA作为对象来进行。 
根据分割点移动表420(图1),与在S120(图4)中设定的变形 类型和变形的程度的组合相关联地预先决定了用于变形处理的各分割点D的位置的移动形态(移动方向和移动距离)。变形处理部260参照分割点移动表420,以与在S120中设定的变形类型和变形程度的组合相关联的移动方向和移动距离,移动分割点D的位置。 
在本实施例中,如上所述,由于作为变形类型,设定了用于将脸变尖锐的变形“类型A”(参照图5),作为变形程度,设定了程度“中”的程度,所以,以与这些变形类型和变形程度的组合相关联的移动方向和移动距离,移动分割点D的位置。 
图20是表示分割点移动表420的内容的一个例子的说明图。而图21是表示按照分割点移动表420的分割点D的位置的移动的一个例子的说明图。在图20中表示了由分割点移动表420定义的分割点D的位置的移动形态中,与用于将脸变尖锐的变形类型和程度“中”的变形程度的组合对应的移动形态。如图20所示,在分割点移动表420中,针对各分割点D表示了沿着与基准线RL正交的方向(H方向)和与基准线RL平行的方向(V方向)的移动量。另外,本实施例中,在分割点移动表420中表示的移动量的单位是对象图像TI的像素间隔PP。而且,关于H方向,向右侧的移动量表示为正的值,向左侧的移动量表示为负的值,关于V方向,向脸的上方的移动量表示为正的值,向脸的下方的移动量表示为负的值。例如,分割点D11沿着H方向,向右侧移动像素间隔PP的7倍的距离,沿着V方向,向上方移动像素间隔PP的14倍的距离。此外,例如分割点D22因为H方向和V方向的移动量都是0,所以不移动。 
另外,在本实施例中,为了变形区域TA的内外的图像间的边界不会变得不自然,使得位于变形区域TA的外框上的分割点D(例如图21所示的分割点D10等)的位置不移动。因此,在图20所示的分割点移动表420中没有针对位于变形区域TA的外框上的分割点D定义移动形态。 
在图21中,移动前的分割点D用白圆圈表示,移动后的分割点D或没有位置移动的分割点D用黑圆圈表示。而且,将移动后的分割点D称作分割点D’。例如,分割点D11的位置在图21中向右上方向移动,成为分割点D’11。
另外,在本实施例中,按照相对于基准线RL处于对称的位置关系的2个分割点D的组合(例如分割点D11和D41的组合)的全部,在分割点D的移动后也维持相对于基准线RL对称的位置关系的方式,来决定移动形态。 
变形处理部260针对构成变形区域TA的各小区域,按照分割点D的位置移动前的状态下的小区域的图像,成为由分割点D的位置移动重新定义的小区域的图像的方式,进行图像的变形处理。例如在图21中,以分割点D11、D21、D22、D12为顶点的小区域(付与阴影表示的区域)的图像,变形为以D’11、D’21、D22、D’12为顶点的小区域的图像。 
图22是表示基于变形处理部260的图像的变形处理方法的概念的说明图。在图22中,以黑圆圈表示了分割点D。在图22中,为了简化说明,针对4个小区域,分别在左侧表示了分割点D的位置移动前的状态,在右侧表示了分割点D的位置移动后的状态。在图22的例子中,中央的分割点Da移动到分割点Da’的位置,其他的分割点D的位置不移动。由此,例如以分割点D的移动前的分割点Da、Db、Dc、Dd为顶点的矩形小区域(以下也称作“变形前注目小区域BSA”)的图像,变形为以移分割点Da’、Db、Dc、Dd为顶点的矩形小区域(以下也称作“变形后注目小区域ASA”)的图像。 
在本实施例中,使用小区域的重心CG将矩形的小区域分割为4个三角形区域,以三角形区域单位进行了图像的变形处理。在图22的例子中,变形前注目小区域BSA被分割为以变形前注目小区域BSA的重心CG为顶点之一的4个三角形区域。同样,变形后注目小区域ASA被分割为以变形后注目小区域ASA的重心CG’为顶点之一的4个三角形区域。然后,在分割点Da的移动前后各自的状态下按对应的各三角形区域进行图像的变形处理。例如,变形前注目小区域BSA中的以分割点Da、Dd及重心CG为顶点的三角形区域的图像,变形为变形后注目小区域ASA中的以分割点Da’、Dd及重心CG’为顶点的三角形区域的图像。 
图23是表示三角形区域中的图像的变形处理方法的概念的说明图。在图23的例子中,以点s、t、u为顶点的三角形区域stu的图像, 被变形为以点s’、t’、u’为顶点的三角形区域s’t’u’的图像。通过计算出变形后的三角形区域s’t’u’的图像中的某一像素的位置相当于变形前的三角形区域stu的图像中的哪个位置,并将计算出的位置处的变形前的图像的像素值设为变形后的图像的像素值,来进行图像的变形。 
例如,在图23中,变形后的三角形区域s’t’u’的图像中的注目像素p’的位置,相当于变形前的三角形区域stu的图像中的位置p。位置p的计算如下进行。首先,计算出如以下数学式(1)那样,用于以矢量s’t’和矢量s’u’之和表现注目像素p’的位置的系数m1和m2。 
[数学式1] 
s ′ p ′ → = m 1 · s ′ t ′ → + m 2 · s ′ u ′ → · · · ( 1 )
接着,使用计算出的系数m1和m2,根据以下的数学式(2),计算出变形前的三角形区域stu中的矢量st与矢量su之和,来求出位置p。 
[数学式2] 
sp → = m 1 · st → + m 2 · su → · · · ( 2 )
当变形前的三角形区域stu中的位置p与变形前的图像的像素中心位置一致时,该像素的像素值被设为变形后的图像的像素值。而当变形前的三角形区域stu中的位置p成为从变形前的图像的像素中心位置偏移的位置时,通过使用了位置p周围的像素的像素值的双三次(bicubic)等插补运算,计算出位置p处的像素值,将计算出的像素值作为变形后的图像的像素值。 
通过针对变形后的三角形区域s’t’u’的图像中的各像素,如上所述计算出像素值,能够进行从三角形区域stu的图像向三角形区域s’t’u’的图像的图像变形处理。变形处理部260针对构成图21所示的变形区域TA的各小区域,如上所述定义三角形区域、进行变形处理,从而进行变形区域TA的图像变形处理。 
这里,更详细说明本实施例的脸形状修正的形态。图24是表示本 实施例的脸形状修正的形态的说明图。在本实施例中,如上所述,作为变形类型,设定了用于将脸变尖锐的变形“类型A”(参照图5),作为变形程度,设定了程度“中”的程度。在图24中,通过箭头表示了构成变形区域TA的各小区域的变形形态的形象。 
如图24所示,在本实施例的脸形状修正中,对于与基准线RL平行的方向(V方向)而言,配置在水平分割线Lh1上的分割点D(D11、D21、D31、D41)的位置向上方移动,而配置在水平分割线Lh2上的分割点D(D12、D22、D33、D43)的位置不移动(参照图20)。因此,位于水平分割线Lh1和水平分割线Lh2之间的图像在V方向被缩小。如上所述,由于水平分割线Lh1配置在比下巴的图像靠下方的位置,水平分割线Lh2配置在眼的图像下方附近,所以,在本实施例的脸形状修正中,脸的图像中从下巴到眼的下方的部分的图像在V方向被缩小。结果,图像中的下巴的线向上方移动。 
另一方面,对于与基准线RL正交的方向(H方向)而言,配置在垂直分割线Lv1上的分割点D(D11、D12)的位置向右移动,配置在垂直分割线Lv4上的分割点D(D41、D42)的位置向左移动(参照图20)。并且,配置在垂直分割线Lv2上的2个分割点D中、配置在水平分割线Lh1上的分割点D(D21)的位置向右移动,配置在垂直分割线Lv3上的2个分割点D中、配置在水平分割线Lh1上的分割点D(D31)的位置向左移动(参照图20)。因此,位于比垂直分割线Lv1靠向左侧的图像在H方向向右侧扩大,位于比垂直分割线Lv4靠向右侧的图像向左侧扩大。而且,位于垂直分割线Lv1和垂直分割线Lv2之间的图像在H方向被缩小,或向右侧移动,位于垂直分割线Lv3和垂直分割线Lv4之间的图像在H方向被缩小,或向左侧移动。并且,位于垂直分割线Lv2和垂直分割线Lv3之间的图像,以水平分割线Lh1的位置作为中心,在H方向被缩小。 
如上所述,垂直分割线Lv1和Lv4配置在脸颊的线的图像的外侧,垂直分割线Lv2和Lv3配置在眼角的图像的外侧。因此,在本实施例的脸形状修正中,脸的图像中比两个眼角靠向外侧的部分的图像全体在H方向被缩小。特别在下巴附近,缩小率提高。结果,图像中的脸的形状整体在宽度方向变细。
如果综合上述的H方向和V方向的变形形态,则根据本实施例的脸形状修正,可使对象图像TI中脸的形状变尖锐。其中,脸的形状变尖锐也能表现为所谓的“小脸”。 
另外,以图24所示的分割点D22、D32、D33、D23为顶点的小区域(带阴影的区域),如果根据上述的水平分割线Lh2或垂直分割线Lv2及Lv3的配置方法,则成为包含两眼的图像的区域。如图20所示,由于分割点D22和D32在H方向、V方向都不移动,所以包含两眼的图像的小区域不变形。这样,在本实施例中,对于包含两眼的图像的区域而言不变形,脸形状修正后的图像更自然,是理想的图像。 
在S200(图4)中,脸形状修正部200(图1)指示显示处理部310在显示部150上显示脸形状修正后的对象图像TI。图25是表示显示了脸形状修正后的对象图像TI的显示部150的状态的一个例子的说明图。通过显示了脸形状修正后的对象图像TI的显示部150,用户能识别修正结果。在用户不满足于修正结果而选择了“返回”按钮时,例如在显示部150上显示用于选择图5所示的变形类型和变形程度的画面,执行基于用户的变形类型和变形程度的再度设定。在用户满足于修正结果而选择了“打印”按钮时,开始以下的修正图像打印处理。 
在S300(图3)中,打印处理部320(图1)控制打印机机芯160,进行脸形状修正处理后的对象图像TI的打印。图26是表示本实施例的修正图像打印处理的流程的流程图。打印处理部320将脸形状修正处理后的对象图像TI的图像数据的分辨率,变换为适合于基于打印机机芯160的打印处理的分辨率(S310),将分辨率变换后的图像数据变换为以打印机机芯160的打印中所使用的多个墨色表现灰度的墨色图像数据(S320)。其中,在本实施例中,打印机机芯160的打印中所使用的多个墨色是青色(C)、洋红色(M)、黄色(Y)、黑色(K)等4色。并且,通过打印处理部320根据墨色图像数据中的各墨色的灰度值,执行半色调处理,生成表示各打印像素的墨点的形成状态的点数据(S330),对点数据进行排列,生成打印数据(S340)。打印处理部320对打印机机芯160供给所生成的打印数据,使打印机机芯160进行对象图像TI的打印(S350)。由此,脸形状修正后的对象图像TI的打印结束。 
如上所述,本实施例的打印机100的脸形状修正打印处理中,在 对象图像TI上设定的变形区域TA内配置有多个分割点D,使用连接分割点D彼此间的直线(水平分割线Lh和垂直分割线Lv),将变形区域TA分割为多个小区域。而且,通过分割点D的位置移动,使小区域变形,来执行变形区域TA内的图像的变形处理。这样,本实施例的打印机100的脸形状修正打印处理中,在变形区域TA内配置分割点D,只移动所配置的分割点D,就能进行图像变形,可容易且高效地实现与多种多样的变形形态对应的图像变形。 
而且,通过本实施例,根据脸区域的检测,以在对象图像TI上设定的变形区域TA中由上述各除外判别都未被判别为从变形处理的对象除外的变形区域TA作为对象,进行图像的变形处理。因此,能适当抑制以往因根据脸区域的检测,对在对象图像TI上设定的变形区域TA的全部执行变形处理而产生的、打印机100相对CPU110的过剩的处理负担与存储器的大量消耗。特别是打印机100是上述那样的复合机时,由于为了脸形状修正打印处理而能确保的资源也限制,所以如本实施例那样,限定作为变形处理的对象的变形区域TA,与实现打印机100的稳定的工作紧密相关。 
(3)追加的说明和其他实施例 
说明上述S171的说明时所描述的脸区域FA的斜率(角度β)越接近某一规定的上限角度(角度βL),变形区域TA的变形处理所需的存储器消耗量就越增加的情况。 
图39(a)表示了垂直基准线Vs和基准线RL所成角度β为0度的变形区域TA的一部分,图39(b)表示了垂直基准线Vs和基准线RL所成角度β为大于0度的规定角度(例如β2)的变形区域TA的一部分。 
这里,在上述S190的变形处理的过程中,变形处理部260以与垂直基准线Vs正交的行(像素行)单位依次生成变形后的对象图像TI的数据。即,通过对各像素行,依次进行从变形前的对象图像TI(原来图像)取得与变形后的图像的各像素对应的像素值的处理,最终得到进行了变形的一个对象图像TI。在进行该各像素行的生成的过程中,打印机100在生成一个像素行的处理期间,将取得与该一个像素行的各 像素对应的像素值所必要的原来图像上的规定范围的数据,暂时保存在内部存储器200内等的规定缓存区域中,在变形处理中利用。因此,取得与变形后的一个像素行的各像素对应的像素值所必要的原来图像上的范围越扩大,打印机100内的存储器消耗量越增加。 
在图39(a)、(b)中,以包含分割点D11、D21的变形区域TA的左下的区域为中心进行了表示。由于分割点D11、D21(比基准线RL靠右侧的分割点D31、41也同样)在本实施例的变形处理中,是变形前后的移动距离d最长的分割点(参照分割点移动表420),所以,以这样的移动距离长的分割点D的移动为例,来说明变形处理所需的存储器量的不同。 
例如S190的变形处理中,为了生成包含图39(a)所示的分割点D’21的像素行L1,至少需要与分割点D’21的移动前的分割点D21有关的原来图像上的数据。而且,由于为了生成像素行L1,针对分割点D’21以外的像素行L1上的其它像素,也需要从原来图像取得像素值,所以,需要原来图像中的与像素行L1同位置的像素行的数据、和虽然没有分割点D21那么远离但是从像素行L1远离某种程度的位置的像素行的数据。 
因此,在像素行L1的生成时,将原来图像内的数据,即至少从与像素行L1同位置的像素行到包含分割点D21的像素行的宽度(Vband1)的图像数据,如上所述暂时保持在缓存区域中,在变形处理中利用。另一方面,如图39(b)那样,当变形区域TA在对象图像TI上倾斜的状况下,生成包含分割点D’21的像素行L2时,也需要与分割点D’21的移动前的分割点D21相关的原来图像上的数据等。因此,在像素行L2的生成时,将原来图像内的数据、即至少从与像素行L2同位置的像素行到包含分割点D21的像素行的宽度(Vband2)的图像数据暂时保持在缓存区域中,在变形处理中利用。 
无论变形区域TA相对垂直基准线Vs倾斜、还是不倾斜,各分割点D的移动距离d都不变。可是在本实施例的变形处理中,从图24等的说明可知,在变形前后移动的各点大部分不是在平行于基准线RL的方向,而是在相对于基准线RL倾斜的方向移动。分割点D21也不是与基准线RL平行的移动,而是在变形区域TA内向右上方向移动。因此, 通过变形区域TA如图39(b)那样相对于垂直基准线Vs倾斜,分割点D21的移动方向接近与垂直基准线Vs平行的状态,移动前后的分割点D21、D’21之间的与垂直基准线Vs平行的方向的距离变长。即,如图39(a)、(b)所示,在变形区域TA相对于垂直基准线Vs斜率为0度时,包含分割点D’21的像素行L1的生成所必要的缓存区域是能存储原来图像的Vband1量的图像数据的容量即可,但是当变形区域TA相对于垂直基准线Vs具有β2的斜率时,包含分割点D’21的像素行L1的生成所必要的缓存区域成为能存储比Vband1宽度大的Vband2量的图像数据的容量。 
另外,在本实施例中,隔着中央的基准线RL左右对称地进行变形区域TA内的变形处理。因此,如图39(b)所示,当变形区域TA相对于垂直基准线Vs倾斜时,对于隔着基准线RL处于对称关系的左右的分割点D(例如分割点D21和分割点D31的关系)而言,一方的移动方向成为接近大致与垂直基准线Vs平行的状态,另一方的移动方向成为接近大致与垂直基准线Vs垂直的状态。可是,由于为了图像变形处理而必须确保的缓存区域的尺寸必须与必要的最大量对应,所以,结果与图39(a)的情形相比,在图39(b)的情形中进行变形处理时成为必要的缓存区域的尺寸更大。此外,在上述说明中,以基准线RL和垂直基准线Vs的关系进行了说明,但在基准线RL和水平基准线Hs的关系中,也同样能够说明。即,与基准线RL平行于水平基准线Hs的情形相比,在基准线RL和水平基准线Hs之间产生了某一角度β的时候,上述分割点D11、21(或者分割点D31、D42)等的移动方向接近与垂直基准线Vs平行的状态。 
这样,在本实施例中,即使脸区域FA的尺寸相同,如果变形前后的分割点D的移动方向因对象图像TI上的脸区域FA(变形区域TA)的倾斜,越变为与垂直基准线Vs或水平基准线Hs平行的状态,则变形处理中也需要越多的存储器。因此,在本实施例中,如上所述,脸区域FA的斜率(角度β)越接近上限角度βL,将能成为变形处理的对象的脸区域FA的尺寸的上限值设为越小的值,从而抑制了打印机100的存储器的消耗。 
另外,可根据变形前后的移动距离长的分割点D在变形区域TA 内的移动方向,规定上限角度βL的值。例如,根据分割点移动表420中规定的分割点D21向H方向(与基准线RL正交的方向)和V方向(平行于基准线RL的方向)的移动距离,确定分割点D21在变形区域TA内的移动方向,将该分割点D21的移动方向和V方向所成角度设为上限角度βL。此外,由于变形区域TA内的分割点D的移动方向可根据S120中设定的变形的程度而不同,所以也可以按S120中设定的各变形的程度,规定上限角度βL(规定了上限角度βL等的脸区域尺寸上限值表430)等。 
或者,也可以考虑在上述S171之后进行的S173的处理(第三除外判别),来设定上限角度βL的值。本实施例中,在经过第三除外判别的基础上,只将水平基准线Hs的正方向和基准线RL的上方向所成的上述角度γ属于分别以水平基准线Hs的正方向、垂直基准线Vs的正方向、水平基准线Hs的负方向为中心的±15度的范围的变形区域TA,作为变形处理的对象而剩下。因此,也可以将所述15度的数值作为上限角度βL。另外,当在上限角度βL被设定为15度的状况下,在上述1711(图28)中检测到比15度更大的值作为角度β时,针对检测到该角度β的变形区域TA,没必要继续进行第一除外判别。这时,针对检测到该角度β的变形区域TA,进行通过第三除外判别而从变形对象中除外的决定。 
而且,在对象图像TI上的脸的上下朝向散乱时,为了取得变形后的像素行的各像素所对应的像素值而需要的原来图像上的范围也会扩大,增加了与变形处理有关的负担。例如,假定在图39(a)所示的像素行L1上,在比该图所示的变形区域TA靠右侧或者左侧的位置存在其它的变形区域TA(未图示)的情形。该其它变形区域TA的上的朝向如果与图39(a)所示的变形区域TA的上的朝向共同(两方的变形区域TA的上的朝向向着对象图像TI的大致上侧),则为了取得像素行L1的各像素的像素值而需要的原来图像上的范围,大致被限定在像素行L1和比像素行L1靠下方的多个像素行L1所构成的像素行的束。可是,如果该其它变形区域TA的上的朝向向着大致下侧或大致右侧或大致左侧,则在各变形区域TA中,区域内的像素的移动方向的倾向不同。因此,为了取得像素行L1的各像素的像素值所必要的原来图像上的范围,往往分别被扩大到像素行L1的上方和下方,结果,导致需要很多 的缓存器。因此,如本实施例中所述那样,近似统一作为变形处理的对象的变形区域TA的脸的朝向(第四除外判别),防止了因对象图像TI上的脸的上下朝向散乱而引起的存储器消耗量的增大。 
并且,作为其的它实施例,除外判别部270可在第一~第七除外判别的过程中,逐一检测打印机100内的存储器的可使用的空余容量。然后,当判断为检测到的空余容量是针对在该时刻未从变形处理的对象除外的全部变形区域TA,进行变形处理所必要的足够容量时,在途中中断S170的处理,将在该时刻未从变形处理的对象中除外的全部的变形区域TA作为S180以后的处理对象。 
(4)变形区域的重新设定 
可是,在上述的除外判别处理(图4的S170)中,从抑制存储器消耗量和运算处理量的观点出发,在S172、177(图27)中,针对即使一部分从通过各种修整而由对象图像TI切出的图像范围露出的变形区域TA,从变形处理的对象中除外。不过,对于从修整的图像范围露出的变形区域TA的适当处理并不局限于从变形处理的对象中除外。 
例如,除外判别部270可以只执行图27所示的S171~177中的S171、173~176的处理,不执行S172、177的处理。这时,在S180(图4)以后,对于在之前的S160(图4)中设定的、区域的一部分突出到修整的图像范围之外的变形区域TA,也能成为变形处理的对象。因此,对于从修整的图像范围露出一部分的变形区域TA,按照其区域收纳在修整的范围内的方式再度进行变形区域TA的设定,在此基础上,成为变形处理的对象。 
图40通过流程图表示了在S170中不执行S172、177的处理后的、S180(图4)的处理的细节。图40的处理对通过上述S170的处理而最终未被除外的各变形区域TA进行。 
在S181中,变形区域分割部250将变形区域TA分割为多个小区域。即,如上所述,变形区域分割部250参照分割点配置模式表410,在变形区域TA内配置分割点D,使用连接分割点D的直线(水平分割线Lh、垂直分割线Lv),将变形区域TA分割为多个小区域。
在S182中,变形区域分割部250判断变形区域TA是否一部分露出在通过修整而切出的图像范围以外。具体而言,判断一部分从上述的共同图像范围CA露出的变形区域TA,是否是露出在由修整而切出的图像范围以外的变形区域TA。而且,当从外部输入了修整的指示时,判断为一部分从根据该指示而切出的修整图像露出的变形区域TA,是露出在由修整而切出的图像范围以外的变形区域TA。 
当在上述S182中判断为变形区域TA的一部分露出在由修整而切出的图像范围以外时,进入到S183,变形区域分割部250重新设定变形区域TA的范围,以使该露出的变形区域TA收敛在由修整而切出的图像范围内。 
图41例示了重新设定变形区域TA的样子。在图41中,表示了在对象图像TI内划分共同图像范围CA’的矩形。共同图像范围CA’是上述共同图像范围CA和根据上述外部的修整指示而切出的修整图像中共同的范围。当没有来自外部的修整指示时,上述共同图像范围CA=CA’。在上述S183中,变形区域分割部250针对变形区域TA的4个顶点(表示为顶点TP)各自在对象图像TI中的坐标,判断是否属于共同图像范围CA’。然后,当存在属于共同图像范围CA’外的顶点TP时,如图41所示,将属于共同图像范围CA’外的顶点TP移动到属于共同图像范围CA’的位置。 
例如按照由移动前的各顶点TP包围的矩形、和由包含移动后的顶点TP的4个顶点TP包围的矩形保持相似的关系的方式,进行该移动。因此,当使属于共同图像范围CA’外的顶点TP移动时,也与该移动的顶点TP一起使形成变形区域的边界线的两端的其它顶点TP移动。其中,在S181的处理中,配置在变形区域TA内的分割点D的位置不变。变形区域分割部250将由包含移动后的顶点TP的4个顶点TP包围的矩形,作为重新设定后的变形区域TA’。另外,在图41和后面描述的图42中,将移动后的顶点TP表示为TP’。 
在S184中,变形区域分割部250使变形区域TA和变形区域TA’的各矩形在对象图像TI上旋转,旋转到变形区域TA(TA’)的高度方向(平行于基准线RL的方向)与对象图像TI的垂直基准线Vs平行。
在S185中,变形区域分割部250针对变形区域TA的各分割线(水平分割线Lh、垂直分割线Lv),根据相对于变形区域TA’的位置关系,决定是否作为将变形区域TA’分割为小区域的线而采用。 
图42(a)、42(b)例示了变形区域TA的各分割线(水平分割线Lh1、Lh2、垂直分割线Lv1、Lv2、Lv3、Lv4)、和重新设定后的变形区域TA’的位置关系。在图42中,用实线表示变形区域TA、TA’,用点划线表示各分割线。虽然省略了图示,但是分割线彼此的交叉点是分割点D。 
在上述S185中,变形区域分割部250例如针对各垂直分割线Lv1、Lv2、Lv3、Lv4,分别计测和变形区域TA’的与垂直基准线Vs平行的边界线的坐标上的位置之差,根据该差是否满足规定的基准值,针对各垂直分割线Lv1、Lv2、Lv3、Lv4,决定是否作为将变形区域TA’分割为小区域的线而采用。作为一个例子,变形区域分割部250计测变形区域TA’的与垂直基准线Vs平行的左右边界线BL(l)、BL(r)中、从左侧的边界线BL(l)到垂直分割线Lv1的水平基准线Hs方向(设右方向为正)的差X1,如果差X1是比规定值(0以上的正值)大的值,则决定采用垂直分割线Lv1。 
即,这时,由于垂直分割线Lv1通过了变形区域TA’的至少内侧,所以也可以说明能作为将变形区域TA’分割为小区域的线而采用。变形区域分割部250同样计测出从边界线BL(l)到垂直分割线Lv2的水平基准线Hs方向(右方向为正)之差X2,差X2如果是比规定值(0以上的正值)大的值,则决定采用垂直分割线Lv2。对于右侧的垂直分割线Lv3、Lv4,分别计测从边界线BL(r)到垂直分割线Lv3、Lv4的水平基准线Hs方向(右侧为正)之差,各差如果是比规定值(0以下的负值)小的值,则决定采用垂直分割线Lv3、Lv4。 
此外,变形区域分割部250例如针对各水平分割线Lh1、Lh2,分别计测和变形区域TA’的与水平基准线Hs平行的边界线的坐标上的位置之差,根据该差是否满足规定的基准值,来对各水平分割线Lh1、Lh2,决定是否作为将变形区域TA’分割为小区域的线而采用。作为一个例子,变形区域分割部250计测变形区域TA’的与水平基准线Hs平行的上下边界线BL(u)、BL(d)中从下侧的边界线BL(d)到水 平分割线Lh1的垂直基准线Vs方向(上方向为正)的差,该差如果是比规定值(0以上的正值)大的值,则决定采用水平分割线Lh1。此外,计测从上侧的边界线BL(u)到水平分割线Lh2的垂直基准线Vs方向(上方向为正)之差,该差如果是比规定值(0以下的负值)小的值,则决定采用水平分割线Lh2。 
在图42(a)的例子中,由于水平分割线Lh1、Lh2、垂直分割线Lv1、Lv2、Lv3、Lv4都通过了变形区域TA’的内侧,所以这些分割线基本上都被作为将变形区域TA’分割为小区域的线而采用。而在图42(b)的例子中,由于水平分割线Lh1、Lh2、垂直分割线Lv1、Lv2、Lv3、Lv4中,垂直分割线Lv1通过了变形区域TA’的外侧,所以至少使垂直分割线Lv1,不作为将变形区域TA’分割为小区域的线而采用。在S186中,变形区域分割部250进行将变形区域TA’的斜率,返回到与对象图像TI上的原来变形区域TA的斜率相同斜率的处理。即,实施与在上述S183中对变形区域TA’实施的旋转相反的旋转。 
在图40所示的处理之后,如上所述,变形处理部260(图1)进行变形处理(图4的S190)。这里,当在上述S183(图40)中进行了基于变形区域分割部250的变形区域TA的重新设定时,变形处理部260通过使在上述S185(图40)中决定采用的分割线上的分割点D的位置移动,使由上述被决定采用的分割线划分的变形区域TA’内的各小区域变形。 
这样,根据本申请,当一次设定的变形区域TA内的至少一部分露出到由修整而切出的图像范围外时,按照使该露出的变形区域TA的矩形收敛在修整图像内的方式重新设定,并且能够重新选择成为变形处理时的移动对象的分割点,结果,对于与该露出的变形区域TA有关的脸,也能够实施自然的变形。即,根据本申请,除了将该露出的变形区域TA作为变形处理的对象之外、抑制存储器消耗量等的选择分支,还能够提供对该露出的变形区域TA执行适当的变形处理的选择分支。 
另外,本发明并不局限于上述实施例,在不脱离其要旨的范围中,可通过各种方式实施。 
在上述实施例中,说明了作为图像处理装置的打印机100的脸形状 修正打印处理,但脸形状修正打印处理也可以例如由个人电脑执行脸形状修正(S100),仅由打印机执行打印处理(S300)来实现。此外,打印机100并不局限于喷墨打印机,也可以是其它方式的打印机,例如激光打印机或升华型打印机。

Claims (11)

1.一种图像处理装置,能够执行图像的变形,其特征在于,包括:
候补区域设定部,其设定多个包括对象图像上的脸图像的区域来作为变形处理的对象的多个候补区域;
除外判别部,当所述多个候补区域中存在从修整图像中至少一部分露出的候补区域时,将该至少一部分露出的候补区域从变形处理的对象除外,其中,所述修整图像是通过规定的修整从所述对象图像切出的;和
变形处理部,其将所述多个候补区域中的所述被除外的候补区域以外的候补区域作为对象,进行区域内的图像的变形;
所述被除外的候补区域包含脸图像。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述除外判别部取得图像输出中所使用的多个纵横比的信息,并且,针对从基于所取得的各纵横比的各修整而切出的各修整图像中共同的图像范围,至少一部分露出的候补区域,从变形处理的对象中将其除外。
3.根据权利要求1或2所述的图像处理装置,其特征在于,
所述除外判别部针对从根据由外部输入的修整的指示而切出的修整图像中,至少一部分露出的候补区域,从变形处理的对象中将其除外。
4.根据权利要求1或2所述的图像处理装置,其特征在于,
所述除外判别部检测脸图像的对象图像上的斜率,并且,判断该斜率是否属于规定的角度范围,针对脸图像的斜率是该规定的角度范围以外的候补区域,从变形处理的对象中将其除外。
5.根据权利要求1或2所述的图像处理装置,其特征在于,
当存在脸图像的上下的朝向不同的各候补区域时,所述除外判别部针对脸图像的上方向与脸图像的上下的朝向共同的候补区域的数量为最大的方向对应的候补区域以外的候补区域,从变形处理的对象中将其除外。
6.根据权利要求5所述的图像处理装置,其特征在于,
当上下的朝向共同的候补区域的数量为最大的方向存在多个时,从变形处理的对象中将脸图像的上方向与该多个方向中具有尺寸最大的脸图像的候补区域所对应的方向对应的候补区域以外的候补区域除外。
7.根据权利要求5所述的图像处理装置,其特征在于,
当上下的朝向共同的候补区域的数量为最大的方向存在多个时,将脸图像的上方向与该多个方向中按照规定的优先级选择的一个方向对应的候补区域以外的候补区域,从变形处理的对象中除外。
8.根据权利要求1或2所述的图像处理装置,其特征在于,
在候补区域的数量超过规定的阈值时,所述除外判别部按照脸图像的尺寸,选择收敛于该阈值的数量的候补区域,并且,针对选择外的候补区域,从变形处理的对象中除外。
9.根据权利要求1或2所述的图像处理装置,其特征在于,
所述变形处理部通过在变形对象的候补区域内配置多个分割点,使用连接分割点彼此间的直线,将该区域分割为多个小区域,并且移动至少一个分割点的位置,使小区域变形,来进行图像的变形。
10.根据权利要求1或2所述的图像处理装置,其特征在于,
还具备对进行了上述图像的变形的对象图像实施打印的打印部。
11.一种图像处理方法,能够执行图像的变形,其特征在于,包括:
候补区域设定步骤,设定多个包括对象图像上的脸图像的区域来作为变形处理的对象的多个候补区域;
除外判别步骤,当所述多个候补区域中存在从修整图像中至少一部分露出的候补区域时,将该至少一部分露出的候补区域从变形处理的对象中除外,其中,所述修整图像是通过规定的修整而从所述对象图像切出的;和
变形处理步骤,将所述多个候补区域中的所述被除外的候补区域以外的候补区域作为对象,进行区域内的图像的变形;
所述被除外的候补区域包含脸图像。
CN2008101355284A 2007-08-30 2008-08-29 图像处理装置和图像处理方法 Active CN101378444B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-224874 2007-08-30
JP2007224874 2007-08-30
JP2007224874A JP5076744B2 (ja) 2007-08-30 2007-08-30 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2011100212088A Division CN102096900A (zh) 2007-08-30 2008-08-29 图像处理装置、图像处理方法和图像处理程序

Publications (2)

Publication Number Publication Date
CN101378444A CN101378444A (zh) 2009-03-04
CN101378444B true CN101378444B (zh) 2011-03-09

Family

ID=40407626

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008101355284A Active CN101378444B (zh) 2007-08-30 2008-08-29 图像处理装置和图像处理方法
CN2011100212088A Pending CN102096900A (zh) 2007-08-30 2008-08-29 图像处理装置、图像处理方法和图像处理程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2011100212088A Pending CN102096900A (zh) 2007-08-30 2008-08-29 图像处理装置、图像处理方法和图像处理程序

Country Status (3)

Country Link
US (2) US8218899B2 (zh)
JP (1) JP5076744B2 (zh)
CN (2) CN101378444B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699760B2 (en) * 2008-09-16 2014-04-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP5476749B2 (ja) * 2009-03-12 2014-04-23 大同特殊鋼株式会社 複合成形体の製造方法
KR101942423B1 (ko) * 2011-09-09 2019-04-12 삼성전자주식회사 광 다이오드
TWI553544B (zh) * 2013-02-27 2016-10-11 緯創資通股份有限公司 電子裝置及影像調整方法
JP2015012304A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
CN105321147B (zh) 2014-06-25 2019-04-12 腾讯科技(深圳)有限公司 图像处理的方法及装置
JP6032252B2 (ja) * 2014-09-09 2016-11-24 カシオ計算機株式会社 画像補正装置、画像補正方法及びプログラム
JP6575216B2 (ja) * 2015-08-14 2019-09-18 富士ゼロックス株式会社 画像処理装置、画像形成装置、及び画像処理プログラム
JP6576874B2 (ja) * 2016-04-08 2019-09-18 任天堂株式会社 画像処理装置、画像処理システムおよび画像処理方法
KR102623989B1 (ko) * 2016-08-01 2024-01-11 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
TWD185284S (zh) * 2017-01-05 2017-09-01 瑞軒科技股份有限公司 顯示螢幕的圖形化使用者介面
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109146770A (zh) * 2018-07-27 2019-01-04 北京微播视界科技有限公司 一种形变图像生成方法、装置、电子设备及计算机可读存储介质
CN110942422A (zh) * 2018-09-21 2020-03-31 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN111460871B (zh) * 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
CN110852150B (zh) * 2019-09-25 2022-12-20 珠海格力电器股份有限公司 一种人脸验证方法、系统、设备及计算机可读存储介质
CN111080544B (zh) * 2019-12-09 2023-09-22 Oppo广东移动通信有限公司 基于图像的人脸畸变校正方法、装置及电子设备
CN111259888A (zh) * 2020-01-15 2020-06-09 平安国际智慧城市科技股份有限公司 基于图像的信息比对方法、装置及计算机可读存储介质
CN111354004B (zh) * 2020-02-27 2022-03-18 复旦大学 一种基于颞骨ct平扫影像的左右耳区域分割方法
CN117319662B (zh) * 2023-11-28 2024-02-27 杭州杰竞科技有限公司 一种人体目标识别的图像压缩、解压方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5452374A (en) * 1992-04-06 1995-09-19 Ricoh Corporation Skew detection and correction of a document image representation
ATE225964T1 (de) * 1993-03-31 2002-10-15 Luma Corp Informationsverwaltung in einem endoskopiesystem
US5500732A (en) * 1994-06-10 1996-03-19 Johnson & Johnson Vision Products, Inc. Lens inspection system and method
JPH0879620A (ja) * 1994-08-31 1996-03-22 Sony Corp 画像特殊効果装置
JPH0897975A (ja) * 1994-09-21 1996-04-12 Minolta Co Ltd 画像読み取り装置
US5999639A (en) * 1997-09-04 1999-12-07 Qualia Computing, Inc. Method and system for automated detection of clustered microcalcifications from digital mammograms
JP3706755B2 (ja) * 1998-11-09 2005-10-19 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
US6834127B1 (en) * 1999-11-18 2004-12-21 Fuji Photo Film Co., Ltd. Method of adjusting output image areas
JP4049986B2 (ja) * 1999-11-18 2008-02-20 富士フイルム株式会社 出力画像領域調整方法
US7034848B2 (en) * 2001-01-05 2006-04-25 Hewlett-Packard Development Company, L.P. System and method for automatically cropping graphical images
US7068841B2 (en) * 2001-06-29 2006-06-27 Hewlett-Packard Development Company, L.P. Automatic digital image enhancement
GB2378340A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Generation of an image bounded by a frame or of overlapping images
JP2004318204A (ja) 2003-04-10 2004-11-11 Sony Corp 画像処理装置、画像処理方法及び撮影装置
US7315630B2 (en) * 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
EP1665124A1 (en) * 2003-09-10 2006-06-07 Koninklijke Philips Electronics N.V. Apparatus and method for feature recognition
US8014575B2 (en) * 2004-03-11 2011-09-06 Weiss Kenneth L Automated neuroaxis (brain and spine) imaging with iterative scan prescriptions, analysis, reconstructions, labeling, surface localization and guided intervention
US7420574B2 (en) * 2004-04-16 2008-09-02 Autodesk, Inc. Shape morphing control and manipulation
WO2005104041A1 (ja) 2004-04-27 2005-11-03 Hitachi Medical Corporation 画像描画装置及びその方法
JP3761559B1 (ja) * 2004-10-05 2006-03-29 株式会社ソニー・コンピュータエンタテインメント 画像出力方法
US7693304B2 (en) * 2005-05-12 2010-04-06 Hewlett-Packard Development Company, L.P. Method and system for image quality calculation
JP4880292B2 (ja) * 2005-11-24 2012-02-22 富士フイルム株式会社 画像処理方法および画像処理プログラムならびに画像処理装置
JP4665780B2 (ja) * 2006-01-30 2011-04-06 ソニー株式会社 顔重要度判定装置、方法、および撮像装置
JP4816538B2 (ja) * 2007-03-28 2011-11-16 セイコーエプソン株式会社 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王琦.浅谈Photoshop的区域选择功能.《照相机》.2005,(第10期),第51页第1行到最后1行. *

Also Published As

Publication number Publication date
JP5076744B2 (ja) 2012-11-21
CN101378444A (zh) 2009-03-04
US20090060394A1 (en) 2009-03-05
US20130039581A1 (en) 2013-02-14
JP2009060300A (ja) 2009-03-19
CN102096900A (zh) 2011-06-15
US8472751B2 (en) 2013-06-25
US8218899B2 (en) 2012-07-10

Similar Documents

Publication Publication Date Title
CN101378444B (zh) 图像处理装置和图像处理方法
CN101378445B (zh) 图像处理装置、图像处理方法
CN101655975B (zh) 图像处理装置、图像处理方法
US20080240615A1 (en) Image processing for image deformation
CN101799923A (zh) 检测脸的特征部位的坐标位置的图像处理装置
CN101807299A (zh) 变更脸图像的规定的纹理特征量的图像处理
US20140294321A1 (en) Image processing apparatus and image processing method
JP2009053914A (ja) 画像処理装置および画像処理方法
US20090285457A1 (en) Detection of Organ Area Corresponding to Facial Organ Image in Image
US20090244608A1 (en) Image-Output Control Device, Method of Controlling Image-Output, Program for Controlling Image-Output, and Printing Device
CN101794377B (zh) 检测脸的特征部位的坐标位置的图像处理装置
US8031915B2 (en) Image processing device and image processing method
JP4289420B2 (ja) 画像処理装置および画像処理方法
JP5338887B2 (ja) 画像処理装置
JP4441853B2 (ja) 濃度補正のための顔選別方法及びこの方法を実施する装置
JP4853541B2 (ja) 画像処理装置および画像処理方法
JP4816540B2 (ja) 画像処理装置および画像処理方法
JP4957462B2 (ja) 画像処理装置
JP4888188B2 (ja) 画像処理装置および画像処理方法
JP4862723B2 (ja) 被写体の位置検出のための画像処理
JP4930525B2 (ja) 画像変形のための画像処理
JP5163801B2 (ja) 装置、方法、及びコンピュータープログラム
JP4946729B2 (ja) 画像処理装置
JP2008242802A (ja) 被写体の傾き検出のための画像処理

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220922

Address after: Irish Dublin

Patentee after: 138 East LCD Display Development Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Seiko Epson Corp.