JP2009104672A - Image processing for image deformation - Google Patents
Image processing for image deformation Download PDFInfo
- Publication number
- JP2009104672A JP2009104672A JP2009032871A JP2009032871A JP2009104672A JP 2009104672 A JP2009104672 A JP 2009104672A JP 2009032871 A JP2009032871 A JP 2009032871A JP 2009032871 A JP2009032871 A JP 2009032871A JP 2009104672 A JP2009104672 A JP 2009104672A
- Authority
- JP
- Japan
- Prior art keywords
- deformation
- area
- image
- evaluation
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 claims abstract description 82
- 230000008569 process Effects 0.000 claims abstract description 54
- 238000007639 printing Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 229
- 238000012937 correction Methods 0.000 description 66
- 238000001514 detection method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 235000002673 Dioscorea communis Nutrition 0.000 description 5
- 241000544230 Dioscorea communis Species 0.000 description 5
- 208000035753 Periorbital contusion Diseases 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000012447 hatching Effects 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010017 direct printing Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Abstract
Description
本発明は、画像を変形するための画像処理技術に関する。 The present invention relates to an image processing technique for deforming an image.
デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の形状を変形する画像処理が開示されている。
An image processing technique for deforming an image for a digital image is known (for example, Patent Document 1). In
上記従来の画像変形のための画像処理では、複数の小領域のそれぞれについて、それぞれの小領域毎に設定された倍率で画像の拡大または縮小が行われるため、処理が煩雑であった。また、上記従来の画像変形のための画像処理は、頬のラインを補正することに特化されており、他の多様な変形態様に対応するのが困難であった。 In the conventional image processing for image deformation, since the image is enlarged or reduced for each of the plurality of small regions at a magnification set for each small region, the processing is complicated. Further, the conventional image processing for image deformation is specialized in correcting cheek lines, and it is difficult to deal with various other deformation modes.
本発明は、上述した従来の課題を解決するためになされたものであり、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することを可能とする技術を提供することを目的とする。 The present invention has been made to solve the above-described conventional problems, and enables image processing for image deformation corresponding to various deformation modes to be easily and efficiently realized. The purpose is to provide technology.
上記課題の少なくとも一部を解決するために、本発明の画像処理装置は、
画像の変形を行う画像処理装置であって、
対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、
前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、
少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備える。
In order to solve at least a part of the above problems, an image processing apparatus according to the present invention provides:
An image processing apparatus that performs image deformation,
A deformation area setting unit that sets at least a part of the area on the target image as a deformation area;
A deformation area dividing unit that arranges a plurality of division points in the deformation area and divides the deformation area into a plurality of small areas using a straight line connecting the division points;
A deformation processing unit that deforms an image in the deformation area by moving the position of at least one of the division points to deform the small area.
この画像処理装置では、対象画像上に設定された変形領域内に複数の分割点が配置され、分割点同士を結ぶ直線を用いて変形領域が複数の小領域に分割される。また、分割点の位置が移動され、小領域が変形されることにより変形領域内の画像の変形処理が実行される。このように、この画像処理装置では、変形領域内に分割点を配置して、配置された分割点を移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形の画像処理を、容易に、かつ効率的に実現することができる。 In this image processing apparatus, a plurality of division points are arranged in a deformation area set on the target image, and the deformation area is divided into a plurality of small areas using straight lines connecting the division points. Also, the position of the dividing point is moved, and the small area is deformed, whereby the deformation process of the image in the deformed area is executed. As described above, in this image processing apparatus, it is possible to perform image deformation by simply arranging the dividing points in the deformation area and moving the arranged dividing points, and image deformation images corresponding to various deformation modes. Processing can be realized easily and efficiently.
上記画像処理装置において、さらに、
複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、
前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置するとしてもよい。
In the above image processing apparatus,
A deformation mode setting unit configured to select one of a plurality of predetermined deformation types and set as a deformation type to be applied to the deformation of the image in the deformation area;
The deformation area dividing unit may arrange the plurality of division points according to a predetermined arrangement pattern associated with the set deformation type.
このようにすれば、例えば顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点の配置、すなわち変形領域の分割が行われるため、各変形タイプに対応した画像変形のための画像処理のさらなる容易化を実現することができる。 In this way, for example, the arrangement of division points suitable for each deformation type, such as the deformation type that sharpens the face and the deformation type that enlarges the eyes, that is, the division of the deformation area is performed. Further simplification of image processing for image deformation can be realized.
また、上記画像処理装置において、前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、
前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動するとしてもよい。
In the image processing apparatus, the deformation mode setting unit selects one of a plurality of predetermined deformation degrees and sets it as a deformation degree to be applied to the deformation of the image in the deformation area.
The deformation processing unit may move the position of the division point according to a predetermined movement direction and movement amount associated with the combination of the set deformation type and the deformation degree.
このようにすれば、変形タイプと変形度合いとが設定されれば、それらの組み合わせに応じた画像変形が実行されるため、画像変形のための画像処理のさらなる容易化を実現することができる。 In this way, if the deformation type and the degree of deformation are set, image deformation according to the combination thereof is executed, so that it is possible to further facilitate image processing for image deformation.
また、上記画像処理装置において、前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、
前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動するとしてもよい。
In the image processing apparatus, the deformation mode setting unit includes a designation obtaining unit that obtains user designation regarding a movement direction and a movement amount of the division point with respect to at least one division point,
The deformation processing unit may move the position of the division point according to the acquired user designation.
このようにすれば、よりユーザの希望に近い態様での画像変形のための画像処理を容易に実現することができる。 In this way, it is possible to easily realize image processing for image deformation in a manner closer to the user's desire.
また、上記画像処理装置において、前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定するとしてもよい。 In the image processing apparatus, the deformation area setting unit may set the deformation area so that at least a part of an image of a face is included in the deformation area.
このようにすれば、顔の画像を対象として、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。 In this way, it is possible to easily and efficiently realize image processing for image deformation corresponding to various deformation modes for a face image.
また、上記画像処理装置において、前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、
前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動するとしてもよい。
In the image processing apparatus, the deformation region dividing unit arranges the plurality of division points so that at least one set of the division points is arranged at positions symmetrical to each other with respect to a predetermined reference line,
The deformation processing unit may move the at least one set of division points while maintaining a positional relationship that is symmetrical with respect to the predetermined reference line.
このようにすれば、所定の基準線に対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。 In this way, image deformation that is bilaterally symmetric with respect to a predetermined reference line is performed, and image processing for image deformation of a more natural and preferable face image can be realized.
また、上記画像処理装置において、前記変形処理部は、少なくとも１つの前記小領域について、変形を行わないとしてもよい。 In the image processing apparatus, the deformation processing unit may not perform deformation on at least one of the small regions.
このようにすれば、顔の印象を大きく変更することなく所望の画像変形を行うことが可能となり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。 In this way, it is possible to perform desired image deformation without greatly changing the impression of the face, and it is possible to realize image processing for more natural and preferable face image deformation.
また、上記画像処理装置において、前記変形処理部は、目の画像を含む前記小領域について、変形を行わないとしてもよい。 In the image processing apparatus, the deformation processing unit may not perform deformation on the small region including the eye image.
このようにすれば、目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。 In this way, it is possible to realize image processing for image deformation of a more natural and preferable face image by not performing deformation on a small region including an eye image.
また、上記画像処理装置において、さらに、
前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、
前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定するとしてもよい。
In the above image processing apparatus,
A face area detecting unit for detecting a face area representing a face image on the target image;
The deformation area setting unit may set the deformation area based on the detected face area.
このようにすれば、対象画像から検出された顔領域に基づき設定された変形領域の画像変形について、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。 In this way, image processing for image deformation corresponding to various deformation modes can be realized easily and efficiently for image deformation of the deformation area set based on the face area detected from the target image. can do.
また、上記画像処理装置において、さらに、
前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備えるとしてもよい。
In the above image processing apparatus,
A printing unit that prints the target image on which the deformation of the image in the deformation area is performed may be provided.
このようにすれば、多様な変形態様に対応した画像変形後の画像の印刷を、容易に、かつ効率的に実現することができる。 In this way, it is possible to easily and efficiently realize printing of the image after image deformation corresponding to various deformation modes.
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。 Note that the present invention can be realized in various modes, for example, an image processing method and apparatus, an image deformation method and apparatus, an image correction method and apparatus, and a function of these methods or apparatuses. The present invention can be realized in the form of a computer program, a recording medium recording the computer program, a data signal including the computer program and embodied in a carrier wave, and the like.
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔形状補正印刷処理：
Ａ−３．第１実施例の変形例：
Ｂ．その他の変形例：
Next, embodiments of the present invention will be described in the following order based on examples.
A. First embodiment:
A-1. Configuration of image processing device:
A-2. Face shape correction printing process:
A-3. Modification of the first embodiment:
B. Other variations:
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。
A. First embodiment:
A-1. Configuration of image processing device:
FIG. 1 is an explanatory diagram schematically showing the configuration of a
プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣにＲＧＢデータとしての画像データが格納されており、プリンタ１００は、カードインターフェース１７０を介してメモリカードＭＣに格納された画像データの取得を行う。
The
内部メモリ１２０には、顔形状補正部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００は、所定のオペレーティングシステムの下で、後述する顔形状補正処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
The
顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、顔領域検出部２２０と、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、変形処理部２６０と、を含んでいる。変形態様設定部２１０は、指定取得部２１２を含んでおり、顔領域調整部２３０は、特定領域設定部２３２と、評価部２３４と、決定部２３６と、を含んでいる。これらの各部の機能については、後述の顔形状補正印刷処理の説明において詳述する。
The face
内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。分割点配置パターンテーブル４１０および分割点移動テーブル４２０の内容についても、後述の顔形状補正印刷処理の説明において詳述する。
The
Ａ−２．顔形状補正印刷処理：
プリンタ１００は、メモリカードＭＣに格納された画像データに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインターフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。なお、本実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像データ（画像ファイル）に含まれるサムネイル画像を用いて実現される。
A-2. Face shape correction printing process:
The
本実施例のプリンタ１００は、図２に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンが選択されると、選択された画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンが選択されると、プリンタ１００は、選択された画像について、画像中の顔の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。
The
図３は、本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。本実施例の顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。
FIG. 3 is a flowchart illustrating a flow of face shape correction printing processing by the
図４は、本実施例における顔形状補正処理の流れを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像ＴＩを設定する。顔形状補正部２００は、図２に示したユーザインターフェースにおいてユーザにより選択された画像を対象画像ＴＩとして設定する。設定された対象画像ＴＩの画像データは、メモリカードＭＣからカードインターフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。
FIG. 4 is a flowchart showing the flow of face shape correction processing in this embodiment. In step S110, the face shape correction unit 200 (FIG. 1) sets a target image TI that is a target of face shape correction processing. The face
ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインターフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。
In step S120 (FIG. 4), the deformation mode setting unit 210 (FIG. 1) sets the type of image deformation and the degree of image deformation for face shape correction. The deformation mode setting unit 210 instructs the
図５は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。図５に示すように、このユーザインターフェースには、画像変形タイプを設定するためのインターフェースが含まれている。本実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインターフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。 FIG. 5 is an explanatory diagram showing an example of a user interface for setting the type and degree of image deformation. As shown in FIG. 5, this user interface includes an interface for setting an image deformation type. In this embodiment, for example, a deformation type “type A” that sharpens the shape of the face, a deformation type “type B” that increases the shape of the eyes, and the like are set in advance as options. The user specifies the type of image deformation via this interface. The deformation mode setting unit 210 sets the image deformation type designated by the user as the image deformation type used for actual processing.
また、図５に示すユーザインターフェースには、画像変形の度合い（程度）を設定するためのインターフェースが含まれている。図５に示すように、本実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階が選択肢として予め設定されているものとする。ユーザは、このインターフェースを介して画像変形の度合いを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。 The user interface shown in FIG. 5 includes an interface for setting the degree (degree) of image deformation. As shown in FIG. 5, in this embodiment, it is assumed that three levels of strong (S), medium (M), and weak (W) are preset as options as the degree of image deformation. The user designates the degree of image deformation via this interface. The deformation mode setting unit 210 sets the degree of image deformation designated by the user as the degree of image deformation used for actual processing.
なお、本実施例では、後述するように、ユーザによる変形態様の詳細指定が可能となっている。図５に示すユーザインターフェースにおいて、ユーザにより、詳細指定を希望する旨のチェックボックスにチェックが入れられた場合には、後述するように、ユーザによる変形態様の詳細指定がなされる。 In this embodiment, as will be described later, the user can specify details of the deformation mode. In the user interface shown in FIG. 5, when a check box indicating that detailed designation is desired is checked by the user, detailed designation of the deformation mode is performed by the user, as will be described later.
以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合いとして程度「中」の度合いが設定され、ユーザによる詳細指定の希望はなかったものとして説明を行う。 Thereafter, the deformation type “type A” for sharpening the face shape is set as the image deformation type, the degree of “medium” is set as the degree of image deformation, and there is no desire for detailed designation by the user. The explanation will be made assuming that
ステップＳ１３０（図４）では、顔領域検出部２２０（図１）が、対象画像ＴＩにおける顔領域ＦＡの検出を行う。ここで、顔領域ＦＡとは、対象画像ＴＩ上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。 In step S130 (FIG. 4), the face area detection unit 220 (FIG. 1) detects the face area FA in the target image TI. Here, the face area FA is an image area on the target image TI and means an area including at least a partial image of the face. The detection of the face area FA by the face area detection unit 220 is executed using a known face detection method such as a pattern matching method using a template (see Japanese Patent Application Laid-Open No. 2004-318204).
図６は、顔領域ＦＡの検出結果の一例を示す説明図である。図６に示すように、本実施例で用いた顔検出方法によると、対象画像ＴＩ上の目と鼻と口の画像を含む矩形の領域が顔領域ＦＡとして検出される。なお、図６に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。 FIG. 6 is an explanatory diagram showing an example of the detection result of the face area FA. As shown in FIG. 6, according to the face detection method used in the present embodiment, a rectangular area including the eye, nose, and mouth images on the target image TI is detected as the face area FA. Note that the reference line RL shown in FIG. 6 is a line that defines the height direction (vertical direction) of the face area FA and the center in the width direction (horizontal direction) of the face area FA. That is, the reference line RL is a straight line that passes through the center of gravity of the rectangular face area FA and is parallel to the boundary line along the height direction (vertical direction) of the face area FA.
なお、ステップＳ１３０の顔領域ＦＡの検出において、顔領域ＦＡが検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるとしてもよいし、他の顔検出方法を用いた顔領域ＦＡの再度の検出処理が行われるとしてもよい。
If the face area FA is not detected in the detection of the face area FA in step S130, the fact is notified to the user through the
ここで、一般に、テンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。他方、本実施例のプリンタ１００は、後述するように、検出された顔領域ＦＡに基づいて顔形状補正のための画像変形処理を施す領域（後述の変形領域ＴＡ）を設定する。顔の画像は、一般に、観察者の注目度が高いため、設定された変形領域ＴＡと顔の画像との位置や角度の関係によっては、顔形状補正後の画像が不自然なものとなる可能性がある。そこで、本実施例では、より自然で好ましい顔形状補正が実現されるように、ステップＳ１３０で検出された顔領域ＦＡについて、以下に説明する位置調整および傾き調整を行うものとしている。
Here, in general, a known face detection method such as a pattern matching method using a template does not detect in detail the position or inclination (angle) of the entire face or face part (eyes, mouth, etc.) An area that is considered to contain a face image from the target image TI is set as the face area FA. On the other hand, as will be described later, the
ステップＳ１４０（図４）では、顔領域調整部２３０（図１）が、ステップＳ１３０で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図６参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。 In step S140 (FIG. 4), the face area adjustment unit 230 (FIG. 1) adjusts the position of the face area FA detected in step S130 in the height direction. Here, the position adjustment of the face area FA in the height direction means that the position along the reference line RL (see FIG. 6) of the face area FA is adjusted to reset the face area FA in the target image TI. I mean.
図７は、本実施例における顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ１４１では、特定領域設定部２３２（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。本実施例では、参照被写体は「目」と設定され、特定領域ＳＡは「目」の画像を含む領域として設定される。 FIG. 7 is a flowchart showing the flow of position adjustment processing in the height direction of the face area FA in the present embodiment. In step S141, the specific area setting unit 232 (FIG. 1) sets the specific area SA. Here, the specific area SA is an area on the target image TI and includes an image of a predetermined reference subject that is referred to when the position adjustment of the face area FA in the height direction is executed. In this embodiment, the reference subject is set to “eyes”, and the specific area SA is set as an area including an image of “eyes”.
図８は、特定領域ＳＡの一例を示す説明図である。本実施例では、特定領域設定部２３２が、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直行する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、本実施例では、顔領域検出部２２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。
FIG. 8 is an explanatory diagram illustrating an example of the specific area SA. In this embodiment, the specific
また、図８に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。 As shown in FIG. 8, the specific area SA is set as a rectangular area that is symmetrical with respect to the reference line RL. The specific area SA is defined as an area on the left side (hereinafter also referred to as “left divided specific area SA (l)”) and an area on the right side (hereinafter referred to as “right divided specific area SA (r)”) by the reference line RL. Called). The specific area SA is set so that the image of one eye is included in each of the left divided specific area SA (l) and the right divided specific area SA (r).
ステップＳ１４２（図７）では、評価部２３４（図１）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図９は、評価値の算出方法の一例を示す説明図である。本実施例では、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）が評価値の算出に用いられる。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、本実施例では、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図９に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。 In step S142 (FIG. 7), the evaluation unit 234 (FIG. 1) calculates an evaluation value for detecting the position of the eye image in the specific area SA. FIG. 9 is an explanatory diagram illustrating an example of an evaluation value calculation method. In this embodiment, the R value (R component value) of each pixel of the target image TI as RGB image data is used for calculation of the evaluation value. This is because the difference in the R value is large between the skin image and the eye image, and thus the detection accuracy of the eye image can be improved by using the R value for calculating the evaluation value. Because it is. In addition, in the present embodiment, since the data of the target image TI is acquired as RGB data, it is possible to increase the efficiency of calculation of the evaluation value by using the R value for calculation of the evaluation value. As shown in FIG. 9, the evaluation value is calculated individually for each of the two divided specific areas (the right divided specific area SA (r) and the left divided specific area SA (l)).
評価部２３４は、図９に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直行するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。
As shown in FIG. 9, the
評価部２３４は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図１０は、評価対象画素ＴＰの選択方法の一例を示す説明図である。評価部２３４は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図１０（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図１０のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図１０（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。
For each of the target pixel specifying lines PL1 to PLn, the
一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図１０（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図１０（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。 On the other hand, depending on the detection method of the face area FA and the setting method of the specific area SA, as shown in FIG. 10B, the target pixel specific line PL is parallel to the row direction (X direction) of the pixels of the target image TI. There may be cases where this is not possible. Even in such a case, in principle, a pixel that overlaps each target pixel specifying line PL is selected as the evaluation target pixel TP for each target pixel specifying line PL. However, for example, as in the relationship between the target pixel specifying line PL1 and the pixels PXa and PXb in FIG. 10B, a certain target pixel specifying line PL is located in the same column of the pixel matrix of the target image TI (that is, the Y coordinate). In the case where two pixels overlap with each other, the pixel having the shorter overlap distance (for example, the pixel PXb) is excluded from the evaluation target pixel TP. That is, for each target pixel specifying line PL, only one pixel is selected as the evaluation target pixel TP from one column of the pixel matrix.
なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。 When the inclination of the target pixel specifying line PL exceeds 45 degrees with respect to the X direction, the relationship between the column and the row of the pixel matrix is reversed in the above description, and one pixel from one row of the pixel matrix is reversed. Only the pixel to be evaluated TP is selected. Further, depending on the size relationship between the target image TI and the specific area SA, one pixel may be selected as the evaluation target pixel TP for a plurality of target pixel specific lines PL.
評価部２３４は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、本実施例では、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。
The
以上のように、本実施例では、評価部２３４により各対象画素特定線ＰＬについての評価値が算出される。ここで、対象画素特定線ＰＬは基準線ＲＬに直行する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。
As described above, in this embodiment, the evaluation value for each target pixel specifying line PL is calculated by the
ステップＳ１４３（図７）では、決定部２３６（図１）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、決定部２３６は、図９の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。 In step S143 (FIG. 7), the determination unit 236 (FIG. 1) detects the position of the eye in the specific area SA, and determines the height reference point Rh based on the detection result. First, as shown on the right side of FIG. 9, the determination unit 236 creates a curve representing the distribution of evaluation values (average value of R values) along the reference line RL for each divided specific region, and the evaluation value is minimal. A position along the direction of the reference line RL taking a value is detected as the eye position Eh. The eye position Eh in the left divided specific area SA (l) is represented as Eh (l), and the eye position Eh in the right divided specific area SA (r) is represented as Eh (r).
黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。 In the case of the yellow race, the portion representing the skin image in the divided specific region has a large R value, while the portion representing the image of the eye (more specifically, the black eye portion at the center of the eye) has a small R value. . Therefore, as described above, the position along the reference line RL where the evaluation value (average value of R values) takes the minimum value can be determined as the eye position Eh.
なお、図９に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、決定部２３６は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。 As illustrated in FIG. 9, the divided specific region may include other images having a small R value (for example, images of eyebrows and hairs) in addition to the eye image. Therefore, when the curve representing the distribution of evaluation values along the reference line RL has a plurality of minimum values, the determination unit 236 selects the lowest position among the positions where the minimum values are taken as the eye position Eh. to decide. In general, an image with a small R value, such as eyebrows or hair, is often located above the eye image, while an image with a small R value is less likely to be located below the eye image. Therefore, such a determination becomes possible.
また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。 Even if the curve is below the position of the eye image (mainly the position corresponding to the image of the skin), the evaluation value is large, but may have a minimum value. Of these, those larger than a predetermined threshold may be ignored. Alternatively, the position of the target pixel specifying line PL corresponding to the minimum value among the evaluation values calculated for each target pixel specifying line PL may be simply set as the eye position Eh.
なお、本実施例では、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を顔領域ＦＡの位置調整の参照被写体として用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。本実施例では、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。 In the present embodiment, the eye (the black eye part at the center of the eye), which is considered to be a part where the color difference between the face and the surroundings is relatively large, is used as a reference subject for position adjustment of the face area FA. However, since the average value of the R values as the evaluation values is calculated for a plurality of evaluation target pixels TP on the target pixel specifying line PL, for example, due to the influence of the image of the white part of the periphery of the black eye, the black eye part There is a fear that the accuracy of detection will be reduced. In the present embodiment, as described above, some evaluation target pixels TP (for example, pixels having a relatively large R value belonging to the first group described above) that are considered to have a large color difference from the reference subject are evaluated values. Is excluded from the calculation target, the reference subject detection accuracy is further improved.
次に、決定部２３６は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図１１は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。本実施例では、図１１に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が高さ基準点Ｒｈとして設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。 Next, the determination unit 236 determines the height reference point Rh based on the detected eye position Eh. FIG. 11 is an explanatory diagram illustrating an example of a method for determining the height reference point Rh. The height reference point Rh is a point used as a reference when adjusting the position of the face area FA in the height direction. In the present embodiment, as shown in FIG. 11, a point on the reference line RL located in the middle between the positions Eh (l) and Eh (r) of the two left and right eyes is set as the height reference point Rh. That is, the intersection of the straight line EhL (l) indicating the left eye position Eh (l) and the reference line RL, and the intersection of the straight line EhL (r) indicating the right eye position Eh (r) and the reference line RL. The midpoint is set as the height reference point Rh.
なお、本実施例では、決定部２３６が、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出するものとしている。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図１２は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図１２に示すように、決定部２３６は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。 In the present embodiment, the determination unit 236 calculates the approximate inclination angle of the face image (hereinafter referred to as “approximate inclination angle RI”) based on the detected eye position Eh. The approximate inclination angle RI of the face image is an angle obtained by estimating how much the face image in the target image TI is inclined with respect to the reference line RL of the face area FA. FIG. 12 is an explanatory diagram showing an example of a method for calculating the approximate inclination angle RI. As shown in FIG. 12, the determination unit 236 first determines the intersection IP (l) between the straight line EhL (l) and the straight line that divides the width Ws (l) of the left divided specific area SA (l) in half, and the right A straight line that divides the width Ws (r) of the divided specific area SA (r) in half and an intersection IP (r) of the straight line EhL (r) are determined. Then, an angle formed by the straight line IL orthogonal to the straight line connecting the intersection point IP (l) and the intersection point IP (r) and the reference line RL is calculated as the approximate inclination angle RI.
ステップＳ１４４（図７）では、顔領域調整部２３０（図１）が、顔領域ＦＡの高さ方向の位置調整を行う。図１３は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図１３に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図１３の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。 In step S144 (FIG. 7), the face area adjustment unit 230 (FIG. 1) adjusts the position of the face area FA in the height direction. FIG. 13 is an explanatory diagram showing an example of a method for adjusting the position of the face area FA in the height direction. The position adjustment of the face area FA in the height direction is performed by resetting the face area FA so that the height reference point Rh is positioned at a predetermined position in the face area FA after the position adjustment. Specifically, as shown in FIG. 13, the face area FA is such that the height reference point Rh is located at a position where the height Hf of the face area FA is divided by a predetermined ratio r1 to r2. Is vertically adjusted along the reference line RL. In the example of FIG. 13, the adjusted face area FA indicated by the solid line is reset by moving the face area FA before adjustment indicated by the broken line upward.
顔領域ＦＡの位置調整の後、ステップＳ１５０（図４）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。本実施例では、顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、「両目」と設定されている。本実施例における顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。 After the position adjustment of the face area FA, in step S150 (FIG. 4), the face area adjustment unit 230 (FIG. 1) performs inclination adjustment (angle adjustment) of the face area FA. Here, the tilt adjustment of the face area FA means that the face area FA is adjusted by adjusting the tilt of the face area FA in the target image TI to match the tilt of the face image, and the face area FA is reset. In the present embodiment, the predetermined reference subject that is referred to when the inclination adjustment of the face area FA is executed is set to “both eyes”. In the inclination adjustment of the face area FA in the present embodiment, a plurality of evaluation directions representing adjustment angle adjustment options for inclination adjustment are set, and the evaluation specific area ESA corresponding to each evaluation direction is set as an area including the images of both eyes. . Then, an evaluation value is calculated based on the pixel value of the image in the evaluation specific area ESA for each evaluation direction, and the inclination of the face area FA is adjusted using the adjustment angle of the inclination adjustment determined based on the evaluation value.
図１４は、本実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図１５は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ１５１（図１４）では、特定領域設定部２３２（図１）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図１３参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。本実施例では、位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図１３参照）が、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図１５の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。 FIG. 14 is a flowchart illustrating the flow of the inclination adjustment processing of the face area FA in the present embodiment. FIG. 15 is an explanatory diagram showing an example of an evaluation value calculation method for adjusting the inclination of the face area FA. In step S151 (FIG. 14), the specific area setting unit 232 (FIG. 1) sets the initial evaluation specific area ESA (0). The initial evaluation specific area ESA (0) is an evaluation specific area ESA associated with a direction (hereinafter also referred to as “initial evaluation direction”) parallel to the reference line RL (see FIG. 13) after the position adjustment of the face area FA. is there. In the present embodiment, the specific area SA (see FIG. 13) corresponding to the face area FA after position adjustment is set as the initial evaluation specific area ESA (0) as it is. Note that the evaluation specific area ESA in the adjustment of the inclination of the face area FA is not divided into two areas on the left and right, unlike the specific area SA in the position adjustment of the face area FA. The set initial evaluation specific area ESA (0) is shown in the uppermost part of FIG.
ステップＳ１５２（図１４）では、特定領域設定部２３２（図１）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。本実施例では、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図１５に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。 In step S152 (FIG. 14), the specific area setting unit 232 (FIG. 1) sets a plurality of evaluation directions and evaluation specific areas ESA corresponding to the respective evaluation directions. The plurality of evaluation directions are set as directions representing options of adjustment angles for tilt adjustment. In this embodiment, a plurality of evaluation direction lines EL whose angles with the reference line RL are within a predetermined range are set, and a direction parallel to the evaluation direction line EL is set as the evaluation direction. As shown in FIG. 15, a straight line determined by rotating the reference line RL counterclockwise and clockwise around the center point (center of gravity) CP of the initial evaluation specific area ESA (0) at a predetermined angle α, It is set as a plurality of evaluation direction lines EL. Note that the evaluation direction line EL whose angle with the reference line RL is φ degrees is represented as EL (φ).
本実施例では、上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は±２０度と設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。特定領域設定部２３２は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図１５には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。
In the present embodiment, the predetermined range for the angle formed by each evaluation direction line EL and the reference line RL is set to ± 20 degrees. Here, in this specification, the rotation angle when the reference line RL is rotated clockwise is represented by a positive value, and the rotation angle when the reference line RL is rotated counterclockwise is represented by a negative value. Is done. The specific
各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図１５には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。 The evaluation specific area ESA corresponding to the evaluation direction line EL representing each evaluation direction rotates the initial evaluation specific area ESA (0) around the center point CP at the same angle as the rotation angle when setting the evaluation direction line EL. This is the area that was The evaluation specific area ESA corresponding to the evaluation direction line EL (φ) is represented as the evaluation specific area ESA (φ). FIG. 15 shows evaluation specific areas ESA (ESA (−α), ESA (−2α), ESA (α) corresponding to the evaluation direction lines EL (−α), EL (−2α), and EL (α), respectively. )It is shown. Note that the initial evaluation specific area ESA (0) is also treated as one of the evaluation specific areas ESA.
ステップＳ１５３（図１４）では、評価部２３４（図１）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。本実施例では、顔領域ＦＡの傾き調整における評価値として、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。評価部２３４は、評価方向に沿った複数の評価位置についての評価値を算出する。
In step S153 (FIG. 14), the evaluation unit 234 (FIG. 1) calculates an evaluation value for each of the set plurality of evaluation directions based on the pixel value of the image in the evaluation specific area ESA. In the present embodiment, the average value of the R values is used as the evaluation value in the adjustment of the inclination of the face area FA, similarly to the evaluation value in the position adjustment of the face area FA described above. The
評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、評価部２３４は、図１５に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。
The evaluation value calculation method is the same as the evaluation value calculation method in the position adjustment of the face area FA described above. That is, as shown in FIG. 15, the
評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図９および図１０に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図１５の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。 The method for setting the target pixel specifying line PL and the method for selecting the evaluation target pixel TP in the evaluation specific area ESA are different depending on whether or not the area is divided into left and right, but the face area FA shown in FIGS. This is the same as the method for position adjustment. As in the position adjustment of the face area FA, a part of the selected evaluation target pixels TP (for example, 0.75k pixels having a relatively large R value among the k evaluation target pixels TP). May be excluded from the evaluation value calculation target. The right side of FIG. 15 shows the distribution of the calculated evaluation values along the evaluation direction line EL for each evaluation direction.
なお、対象画素特定線ＰＬは評価方向線ＥＬに直行する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。 In addition, since the target pixel specifying line PL is a straight line orthogonal to the evaluation direction line EL, it can be expressed that the evaluation value is calculated for a plurality of positions (evaluation positions) along the evaluation direction line EL. In addition, the evaluation value can be expressed as a value representing the feature of the distribution of pixel values along the direction orthogonal to the evaluation direction line EL for each evaluation position.
ステップＳ１５４（図１４）では、決定部２３６（図１）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。決定部２３６は、各評価方向について、ステップＳ１５３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。 In step S154 (FIG. 14), the determination unit 236 (FIG. 1) determines an adjustment angle used for adjusting the inclination of the face area FA. The determining unit 236 calculates the variance along the evaluation direction line EL of the evaluation value calculated in step S153 for each evaluation direction, and selects the evaluation direction that maximizes the variance value. Then, an angle formed by the evaluation direction line EL corresponding to the selected evaluation direction and the reference line RL is determined as an adjustment angle used for tilt adjustment.
図１６は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図１６の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。 FIG. 16 is an explanatory diagram illustrating an example of a calculation result of variance of evaluation values for each evaluation direction. In the example of FIG. 16, the variance takes the maximum value Vmax in the evaluation direction where the rotation angle is −α degrees. Therefore, a rotation angle of −α degrees, that is, α degrees counterclockwise is determined as an adjustment angle used for adjusting the inclination of the face area FA.
評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図１５の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直行する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直行する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図１５に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。 The reason why the angle corresponding to the evaluation direction when the variance of the evaluation values is maximized is determined as the adjustment angle used for the inclination adjustment will be described. As shown in the second row from the top in FIG. 15, in the evaluation specific area ESA (−α) when the rotation angle is −α degrees, the image of the central portion (black-eye portion) of the left and right eyes is substantially the target pixel. The arrangement is arranged in a direction parallel to the specific line PL (that is, a direction perpendicular to the evaluation direction line EL). At this time, the left and right eyebrow images are similarly arranged in a direction substantially perpendicular to the evaluation direction line EL. Therefore, the evaluation direction corresponding to the evaluation direction line EL at this time is considered to be a direction that generally represents the inclination of the face image. At this time, the positional relationship between the image of the eye or eyebrow generally having a small R value and the image of the skin portion generally having a large R value is a small positional relationship of the overlapping portion along the direction of the target pixel specifying line PL. . For this reason, the evaluation value at the position of the image of the eyes and eyebrows is relatively small, and the evaluation value at the position of the image of the skin portion is relatively large. Therefore, as shown in FIG. 15, the distribution of evaluation values along the evaluation direction line EL is a distribution with relatively large variation (amplitude is large), and the variance value is large.
一方、図１５中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直行する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図１５に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。 On the other hand, as shown in the uppermost stage, the third stage, and the fourth stage in FIG. 15, the evaluation specific areas ESA (0), ESA (-2α) when the rotation angles are 0 degree, −2α degree, and α degree. , ESA (α), the center portions of the left and right eyes and the images of the left and right eyebrows are not aligned in a direction perpendicular to the evaluation direction line EL, but are shifted from each other. Therefore, the evaluation direction corresponding to the evaluation direction line EL at this time does not represent the inclination of the face image. At this time, the positional relationship between the image of the eyes and eyebrows and the image of the skin portion is a large positional relationship of the portion where both overlap along the direction of the target pixel specifying line PL. Therefore, the distribution of evaluation values along the evaluation direction line EL is a distribution with relatively small variation (small amplitude) as shown in FIG. 15, and the value of variance is small.
以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。 As described above, when the evaluation direction is close to the inclination direction of the face image, the evaluation value variance along the evaluation direction line EL is large, and the evaluation direction is far from the inclination direction of the face image. In this case, the variance of the evaluation values along the evaluation direction line EL becomes small. Therefore, if the angle corresponding to the evaluation direction when the variance of the evaluation values is maximized is determined as the adjustment angle used for the inclination adjustment, the face area in which the inclination of the face area FA matches the inclination of the face image. FA tilt adjustment can be realized.
なお本実施例では、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整を行わないものとしている。 In this embodiment, when the calculation result of evaluation value variance is a critical value in the range of angles, that is, a result that takes a maximum value at −20 degrees or 20 degrees, the inclination of the face is accurate. Since it is considered that there is a high possibility that it has not been evaluated, the inclination adjustment of the face area FA is not performed.
また本実施例では、決定された調整角度が、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整を行わないものとしている。 In the present embodiment, the determined adjustment angle is compared with the approximate inclination angle RI calculated at the time of adjusting the position of the face area FA described above. If the difference between the adjustment angle and the approximate inclination angle RI is larger than a predetermined threshold value, it is considered that some error has occurred during the evaluation and determination in the position adjustment and inclination adjustment of the face area FA. Position adjustment and tilt adjustment are not performed.
ステップＳ１５５（図１４）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整を行う。図１７は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ１５４において決定された調整角度だけ回転させることにより行う。図１７の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。 In step S155 (FIG. 14), the face area adjustment unit 230 (FIG. 1) adjusts the inclination of the face area FA. FIG. 17 is an explanatory diagram showing an example of a method for adjusting the inclination of the face area FA. The tilt adjustment of the face area FA is performed by rotating the face area FA about the center point CP of the initial evaluation specific area ESA (0) by the adjustment angle determined in step S154. In the example of FIG. 17, the adjusted face area FA indicated by the solid line is set by rotating the face area FA before adjustment indicated by the broken line by α degrees counterclockwise.
顔領域ＦＡの傾き調整終了後のステップＳ１６０（図４）では、変形領域設定部２４０（図１）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図１８は、変形領域ＴＡの設定方法の一例を示す説明図である。図１８に示すように、本実施例では、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。 In step S160 (FIG. 4) after completion of the inclination adjustment of the face area FA, the deformation area setting unit 240 (FIG. 1) sets the deformation area TA. The deformation area TA is an area on the target image TI and is an area to be subjected to image deformation processing for face shape correction. FIG. 18 is an explanatory diagram illustrating an example of a method for setting the deformation area TA. As shown in FIG. 18, in this embodiment, the deformation area TA extends (or shortens) the face area FA in a direction (height direction) parallel to the reference line RL and a direction (width direction) perpendicular to the reference line RL. ). Specifically, assuming that the size in the height direction of the face area FA is Hf and the size in the width direction is Wf, the face area FA is extended by k1 · Hf in the upward direction and k2 · Hf in the downward direction, A region extended by k3 · Wf to the left and right is set as the deformation region TA. Note that k1, k2, and k3 are predetermined coefficients.
このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。 When the deformation area TA is set in this way, the reference line RL, which is a straight line parallel to the contour line in the height direction of the face area FA, becomes a straight line parallel to the contour line in the height direction of the deformation area TA. . The reference line RL is a straight line that divides the width of the deformation area TA in half.
図１８に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づき、上述の係数ｋ１，ｋ２，ｋ３が予め設定されている。 As shown in FIG. 18, the deformation area TA is set as an area that generally includes an image from the jaw to the forehead in the height direction and includes images of the left and right cheeks in the width direction. That is, in this embodiment, the above-described coefficients k1, k2, and k3 are set in advance based on the relationship with the size of the face area FA so that the deformation area TA is an area that includes an image in such a range. Yes.
ステップＳ１７０（図４）では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図１９は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。 In step S170 (FIG. 4), the deformation area dividing unit 250 (FIG. 1) divides the deformation area TA into a plurality of small areas. FIG. 19 is an explanatory diagram illustrating an example of a method of dividing the deformation area TA into small areas. The deformation area dividing unit 250 arranges a plurality of division points D in the deformation area TA, and divides the deformation area TA into a plurality of small areas using a straight line connecting the division points D.
分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されているため、この変形タイプに対応付けられた態様で分割点Ｄが配置される。 The arrangement mode of the dividing points D (the number and positions of the dividing points D) is defined in association with the deformation type set in step S120 (FIG. 4) by the dividing point arrangement pattern table 410 (FIG. 1). . The deformation area dividing unit 250 refers to the dividing point arrangement pattern table 410 and arranges the dividing points D in a manner associated with the deformation type set in step S120. In the present embodiment, as described above, the deformation “type A” (see FIG. 5) for sharpening the face is set as the deformation type, and therefore the division point D is used in a manner associated with this deformation type. Is placed.
図１９に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図１９に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。 As shown in FIG. 19, the dividing points D are arranged at the intersections of the horizontal dividing line Lh and the vertical dividing line Lv and at the intersections of the horizontal dividing line Lh and the vertical dividing line Lv and the outer frame of the deformation area TA. . Here, the horizontal dividing line Lh and the vertical dividing line Lv are reference lines for arranging the dividing points D in the deformation area TA. As shown in FIG. 19, in the arrangement of the dividing points D associated with the deformation type for sharpening the face, two horizontal dividing lines Lh perpendicular to the reference line RL and 4 parallel to the reference line RL are used. A vertical division line Lv is set. The two horizontal dividing lines Lh are called Lh1 and Lh2 in order from the bottom of the deformation area TA. The four vertical dividing lines Lv are referred to as Lv1, Lv2, Lv3, and Lv4 in order from the left of the deformation area TA.
水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。 The horizontal dividing line Lh1 is arranged below the chin image in the deformation area TA, and the horizontal dividing line Lh2 is arranged near the eye image. The vertical dividing lines Lv1 and Lv4 are arranged outside the cheek line image, and the vertical dividing lines Lv2 and Lv3 are arranged outside the eye corner image. The horizontal dividing line Lh and the vertical dividing line Lv are arranged in the deformation area TA set in advance so that the positional relationship between the horizontal dividing line Lh and the vertical dividing line Lv and the image becomes the above-described positional relationship as a result. It is executed according to the correspondence with the size.
上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図１９に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。 According to the arrangement of the horizontal dividing line Lh and the vertical dividing line Lv described above, the intersection of the horizontal dividing line Lh and the vertical dividing line Lv, and the intersection of the horizontal dividing line Lh and the vertical dividing line Lv and the outer frame of the deformation area TA In addition, the dividing point D is arranged. As shown in FIG. 19, the division points D located on the horizontal division line Lhi (i = 1 or 2) are called D0i, D1i, D2i, D3i, D4i, and D5i in order from the left. For example, the dividing points D located on the horizontal dividing line Lh1 are called D01, D11, D21, D31, D41, D51. Similarly, the dividing points D located on the vertical dividing line Lvj (j = 1, 2, 3, 4) are called Dj0, Dj1, Dj2, Dj3 in order from the bottom. For example, the division points D located on the vertical division line Lv1 are called D10, D11, D12, and D13.
なお、図１９に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。 As shown in FIG. 19, the arrangement of the dividing points D in the present embodiment is symmetrical with respect to the reference line RL.
変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、図１９に示すように、変形領域ＴＡが１５個の矩形の小領域に分割される。 The deformation area dividing unit 250 divides the deformation area TA into a plurality of small areas by a straight line connecting the arranged dividing points D (that is, the horizontal dividing line Lh and the vertical dividing line Lv). In this embodiment, as shown in FIG. 19, the deformation area TA is divided into 15 rectangular small areas.
なお本実施例では、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。 In the present embodiment, since the arrangement of the dividing points D is determined by the numbers and positions of the horizontal dividing lines Lh and the vertical dividing lines Lv, the dividing point arrangement pattern table 410 has the numbers and positions of the horizontal dividing lines Lh and the vertical dividing lines Lv. In other words, it is possible to define that
ステップＳ１８０（図４）では、変形処理部２６０（図１）が、対象画像ＴＩの変形領域ＴＡを対象とした画像の変形処理を行う。変形処理部２６０による変形処理は、ステップＳ１７０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。
In step S180 (FIG. 4), the deformation processing unit 260 (FIG. 1) performs an image deformation process on the deformation area TA of the target image TI. The deformation process by the
変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。変形処理部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。
The movement mode (movement direction and movement distance) of the position of each division point D for the deformation process is determined by the division type and the degree of deformation set in step S120 (FIG. 4) by the division point movement table 420 (FIG. 1). Are determined in advance in association with the combination. The
本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されているため、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。 In this embodiment, as described above, the deformation “type A” (see FIG. 5) for sharpening the face is set as the deformation type, and the degree of “medium” is set as the deformation degree. The position of the dividing point D is moved with the movement direction and the movement distance associated with the combination of these deformation types and deformation degrees.
図２０は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図２１は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図２０には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと程度「中」の変形度合いとの組み合わせに対応付けられた移動態様を示している。図２０に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直行する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、本実施例では、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰの７倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの１４倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。 FIG. 20 is an explanatory diagram showing an example of the contents of the dividing point movement table 420. FIG. 21 is an explanatory diagram showing an example of movement of the position of the division point D according to the division point movement table 420. In FIG. 20, the movement type of the position of the dividing point D defined by the dividing point movement table 420 is associated with the combination of the deformation type for sharpening the face and the degree of deformation of the degree “medium”. The movement mode is shown. As shown in FIG. 20, in the dividing point movement table 420, for each dividing point D, the amount of movement along the direction perpendicular to the reference line RL (H direction) and the direction parallel to the reference line RL (V direction) is displayed. It is shown. In this embodiment, the unit of movement amount shown in the dividing point movement table 420 is the pixel pitch PP of the target image TI. For the H direction, the amount of movement to the right side is represented as a positive value, the amount of movement to the left side is represented as a negative value, and for the V direction, the amount of movement upward is positive. It is expressed as a value, and the downward movement amount is expressed as a negative value. For example, the dividing point D11 is moved to the right along the H direction by a distance that is seven times the pixel pitch PP, and is moved upward along the V direction by a distance that is 14 times the pixel pitch PP. For example, the division point D22 is not moved because the movement amount is zero in both the H direction and the V direction.
なお、本実施例では、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図２１に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図２０に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。 In the present embodiment, the division points D (for example, the division points D10 shown in FIG. 21) located on the outer frame of the deformation area TA are set so that the boundary between the inner and outer images of the deformation area TA does not become unnatural. The position is not moved. Therefore, in the dividing point movement table 420 shown in FIG. 20, the movement mode for the dividing point D located on the outer frame of the deformation area TA is not defined.
図２１では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ'と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図２１において右上方向に移動され、分割点Ｄ'１１となる。 In FIG. 21, the division point D before the movement is indicated by a white circle, and the division point D after the movement or the division point D without the movement of the position is indicated by a black circle. The divided point D after the movement is called a divided point D ′. For example, the position of the dividing point D11 is moved in the upper right direction in FIG. 21 and becomes the dividing point D′ 11.
なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。 In the present embodiment, all combinations of two division points D (for example, combinations of division points D11 and D41) that are in a symmetric positional relationship with respect to the reference line RL are the same after the movement of the division point D. The movement mode is determined so as to maintain a symmetrical positional relationship with respect to the line RL.
変形処理部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図２１において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ'１１，Ｄ'２１，Ｄ２２，Ｄ'１２を頂点とする小領域の画像に変形される。
For each small area constituting the deformation area TA, the
図２２は、変形処理部２６０による画像の変形処理方法の概念を示す説明図である。図２２では、分割点Ｄを黒丸で示している。図２２では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図２２の例では、中央の分割点Ｄａが分割点Ｄａ'の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ'，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。
FIG. 22 is an explanatory diagram showing the concept of an image deformation processing method by the
本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図２２の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ'を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ'，Ｄｄおよび重心ＣＧ'を頂点とする三角形領域の画像に変形される。 In this embodiment, a rectangular small region is divided into four triangular regions using the center of gravity CG of the small region, and image deformation processing is performed in units of triangular regions. In the example of FIG. 22, the pre-deformation attention small area BSA is divided into four triangular areas having the centroid CG of the pre-deformation attention small area BSA as one vertex. Similarly, the post-deformation attention small area ASA is divided into four triangular areas having the centroid CG ′ of the post-deformation attention small area ASA as one vertex. Then, image deformation processing is performed for each corresponding triangular area in each state before and after the movement of the dividing point Da. For example, an image of a triangular area having vertices at the division points Da and Dd and the center of gravity CG in the attention small area BSA before deformation has a vertex at the division points Da ′ and Dd and the center of gravity CG ′ in the attention small area ASA after deformation. It is transformed into an image of a triangular area.
図２３は、三角形領域における画像の変形処理方法の概念を示す説明図である。図２３の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ'，ｔ'，ｕ'を頂点とする三角形領域ｓ'ｔ'ｕ'の画像に変形される。画像の変形は、変形後の三角形領域ｓ'ｔ'ｕ'の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。 FIG. 23 is an explanatory diagram showing the concept of the image deformation processing method in the triangular area. In the example of FIG. 23, the image of the triangular area stu with the points s, t, and u as vertices is transformed into the image of the triangular area s′t′u ′ with the points s ′, t ′, u ′ as vertices. . For the deformation of the image, the position of a certain pixel in the image of the triangular area s't'u 'after the deformation corresponds to the position in the image of the triangular area stu before the deformation, and the calculated position This is performed by using the pixel value in the image before deformation in step S4 as the pixel value of the image after deformation.
例えば、図２３において、変形後の三角形領域ｓ'ｔ'ｕ'の画像中の注目画素ｐ'の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ'の位置を、下記の式（１）のようにベクトルｓ'ｔ'とベクトルｓ'ｕ'との和で表現するための係数ｍ１およびｍ２を算出する。 For example, in FIG. 23, the position of the pixel of interest p ′ in the image of the triangular area s′t′u ′ after deformation corresponds to the position p in the image of the triangular area stu before deformation. The position p is calculated as follows. First, coefficients m1 and m2 for expressing the position of the pixel of interest p ′ as a sum of a vector s′t ′ and a vector s′u ′ as shown in the following equation (1) are calculated.
次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。 Next, by using the calculated coefficients m1 and m2, the position p is obtained by calculating the sum of the vector st and the vector su in the triangular area stu before deformation by the following equation (2).
変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。 When the position p in the triangular area stu before deformation coincides with the pixel center position of the image before deformation, the pixel value of the pixel is set as the pixel value of the image after deformation. On the other hand, when the position p in the triangular area stu before deformation is shifted from the pixel center position of the image before deformation, an interpolation operation such as bicubic using the pixel values of the pixels around the position p. Thus, the pixel value at the position p is calculated, and the calculated pixel value is set as the pixel value of the image after deformation.
変形後の三角形領域ｓ'ｔ'ｕ'の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ'ｔ'ｕ'の画像への画像変形処理を行うことができる。変形処理部２６０は、図２１に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。
Image deformation from the image of the triangular area stu to the image of the triangular area s't'u 'by calculating the pixel value for each pixel in the image of the triangular area s't'u' after the deformation as described above Processing can be performed. The
ここで、本実施例の顔形状補正の態様についてより詳細に説明する。図２４は、本実施例における顔形状補正の態様を示す説明図である。本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている。図２４には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。 Here, the face shape correction mode of the present embodiment will be described in more detail. FIG. 24 is an explanatory diagram showing a form of face shape correction in the present embodiment. In this embodiment, as described above, the deformation “type A” (see FIG. 5) for sharpening the face is set as the deformation type, and the degree of “medium” is set as the deformation degree. In FIG. 24, the image of the deformation | transformation aspect of each small area | region which comprises deformation | transformation area | region TA is shown with the arrow.
図２４に示すように、本実施例の顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図２０参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、本実施例の顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。 As shown in FIG. 24, in the face shape correction of the present embodiment, the dividing points D (D11, D21, D31, D41) arranged on the horizontal dividing line Lh1 with respect to the direction (V direction) parallel to the reference line RL. Is moved upward, while the positions of the dividing points D (D12, D22, D32, D42) arranged on the horizontal dividing line Lh2 are not moved (see FIG. 20). Therefore, the image located between the horizontal dividing line Lh1 and the horizontal dividing line Lh2 is reduced in the V direction. As described above, since the horizontal dividing line Lh1 is arranged below the chin image and the horizontal dividing line Lh2 is arranged in the vicinity immediately below the eye image, in the face shape correction of this embodiment, the face image is corrected. The image of the part from the inner jaw to the lower part of the eye is reduced in the V direction. As a result, the jaw line in the image moves upward.
他方、基準線ＲＬと直行する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図２０参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図２０参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。 On the other hand, in the direction (H direction) perpendicular to the reference line RL, the position of the dividing point D (D11, D12) arranged on the vertical dividing line Lv1 is moved rightward and arranged on the vertical dividing line Lv4. The position of the divided point D (D41, D42) is moved to the left (see FIG. 20). Further, of the two division points D arranged on the vertical division line Lv2, the position of the division point D (D21) arranged on the horizontal division line Lh1 is moved rightward and arranged on the vertical division line Lv3. Of the two divided points D, the position of the divided point D (D31) arranged on the horizontal dividing line Lh1 is moved to the left (see FIG. 20). Therefore, the image located on the left side of the vertical dividing line Lv1 is enlarged on the right side in the H direction, and the image located on the right side of the vertical dividing line Lv4 is enlarged on the left side. An image located between the vertical dividing line Lv1 and the vertical dividing line Lv2 is reduced or moved to the right in the H direction, and an image located between the vertical dividing line Lv3 and the vertical dividing line Lv4 is moved in the H direction. Is reduced or moved to the left. Further, the image located between the vertical division line Lv2 and the vertical division line Lv3 is reduced in the H direction with the position of the horizontal division line Lh1 as the center.
上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、本実施例の顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。 As described above, the vertical division lines Lv1 and Lv4 are arranged outside the cheek line image, and the vertical division lines Lv2 and Lv3 are arranged outside the corner image. Therefore, in the face shape correction according to the present embodiment, the image of the portion outside the both corners of the face image is reduced in the H direction as a whole. In particular, the reduction rate is high near the jaw. As a result, the shape of the face in the image becomes thinner in the width direction as a whole.
上述したＨ方向およびＶ方向の変形態様を総合すると、本実施例の顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。 When the deformation modes in the H direction and the V direction described above are combined, the face shape in the target image TI is sharpened by the face shape correction of this embodiment. Note that a sharp face shape can be expressed as a so-called “small face”.
なお、図２４に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図２０に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように本実施例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。 Note that the small regions (hatched regions) having the vertexes at the dividing points D22, D32, D33, and D23 shown in FIG. 24 are both eyes according to the arrangement method of the horizontal dividing lines Lh2 and the vertical dividing lines Lv2 and Lv3 described above. This area includes the image. As shown in FIG. 20, since the division points D22 and D32 are not moved in the H direction or the V direction, the small region including the images of both eyes is not deformed. As described above, in this embodiment, the small area including the images of both eyes is not deformed, and the image after the face shape correction is made more natural and preferable.
ステップＳ１９０（図４）では、顔形状補正部２００（図１）が、顔形状補正後の対象画像ＴＩを表示部１５０に表示するよう表示処理部３１０に指示する。図２５は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択した場合には、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面が表示され、ユーザによる変形タイプや変形度合いの再度の設定が実行される。ユーザが補正結果に満足し、「印刷」ボタンを選択した場合には、以下の補正画像印刷処理が開始される。
In step S190 (FIG. 4), the face shape correction unit 200 (FIG. 1) instructs the
ステップＳ２００（図３）では、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像ＴＩの印刷を行う。図２６は、本実施例における補正画像印刷処理の流れを示すフローチャートである。印刷処理部３２０は、顔形状補正処理後の対象画像ＴＩの画像データの解像度を、プリンタエンジン１６０による印刷処理に適した解像度に変換し（ステップＳ２１０）、解像度変換後の画像データを、プリンタエンジン１６０における印刷に用いられる複数のインク色で階調表現されたインク色画像データに変換する（ステップＳ２２０）。なお、本実施例では、プリンタエンジン１６０における印刷に用いられる複数のインク色は、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色であるものとする。さらに、印刷処理部３２０は、インク色画像データにおける各インク色の階調値に基づいてハーフトーン処理を実行することによって、印刷画素毎のインクドットの形成状態を示すドットデータを生成し（ステップＳ２３０）、ドットデータを配列して印刷データを生成する（ステップＳ２４０）。印刷処理部３２０は、生成された印刷データをプリンタエンジン１６０に供給し、プリンタエンジン１６０に対象画像ＴＩの印刷を行わせる（ステップＳ２５０）。これにより、顔形状補正後の対象画像ＴＩの印刷が完了する。
In step S200 (FIG. 3), the print processing unit 320 (FIG. 1) controls the
Ａ−３．第１実施例の変形例：
第１実施例では、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定された場合の顔形状補正処理について説明した。これらの設定が異なる場合には、異なる顔形状補正印刷処理が実行される。
A-3. Modification of the first embodiment:
In the first embodiment, the face shape correction process when the deformation “type A” (see FIG. 5) for sharpening the face is set as the deformation type and the degree of “medium” is set as the deformation degree. explained. If these settings are different, different face shape correction printing processes are executed.
上述したように、変形処理のための分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、変形タイプと変形の度合いとの組み合わせに対応付けて定められている。従って、例えば、変形度合いとして程度「中」の代わりに程度「大」が設定された場合には、分割点移動テーブル４２０に定められた、程度「大」に対応付けられた移動態様で分割点Ｄが移動される。 As described above, the movement mode (movement direction and movement distance) of the position of the dividing point D for the deformation process is associated with the combination of the deformation type and the degree of deformation by the dividing point movement table 420 (FIG. 1). It is determined. Therefore, for example, when the degree “large” is set instead of the degree “medium” as the degree of deformation, the dividing point is set in the movement mode associated with the degree “large” defined in the dividing point movement table 420. D is moved.
図２７は、分割点移動テーブル４２０の内容の他の一例を示す説明図である。図２７には、顔をシャープにするための変形タイプと程度「大」の変形度合いとの組み合わせに対応付けられた分割点Ｄの位置の移動態様を示している。図２７に示した移動態様は、図２０に示した顔をシャープにするための変形タイプと程度「中」の変形度合いとの組み合わせに対応付けられたものと比較して、Ｈ方向およびＶ方向の移動距離の値が大きくなっている。従って、変形度合いとして程度「大」が設定された場合には、変形領域ＴＡを構成する小領域の内、変形される小領域の変形量が大きくなり、結果として、対象画像ＴＩ中の顔の形状がよりシャープになる。 FIG. 27 is an explanatory diagram showing another example of the contents of the dividing point movement table 420. FIG. 27 shows a movement mode of the position of the division point D associated with the combination of the deformation type for sharpening the face and the degree of deformation of the degree “large”. The movement mode shown in FIG. 27 is in the H direction and the V direction as compared with those associated with the combination of the deformation type for sharpening the face shown in FIG. The value of the movement distance of is large. Therefore, when the degree “large” is set as the degree of deformation, the deformation amount of the small area to be deformed among the small areas constituting the deformation area TA increases, and as a result, the face of the target image TI The shape becomes sharper.
また、上述したように、変形領域ＴＡにおける分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、設定される変形タイプと対応付けて定義されている。従って、例えば、変形タイプとして、顔をシャープにするための変形タイプの代わりに、目を大きくする変形「タイプＢ」（図５参照）が設定された場合には、目を大きくする変形タイプに対応付けられた態様で分割点Ｄが配置される。 Further, as described above, the arrangement mode of the dividing points D in the deformation area TA (the number and position of the dividing points D) is associated with the set deformation type by the dividing point arrangement pattern table 410 (FIG. 1). Is defined. Therefore, for example, when a deformation “type B” (see FIG. 5) that enlarges the eyes is set instead of the deformation type for sharpening the face, the deformation type that enlarges the eyes is selected. The division points D are arranged in a correlated manner.
図２８は、分割点Ｄの他の配置方法の一例を示す説明図である。図２８には、目を大きくする変形タイプに対応付けられた分割点Ｄの配置の態様を示している。図２８に示した分割点Ｄの配置は、図１９に示した顔をシャープにするための変形タイプに対応付けられたものと比較して、水平分割線Ｌｈ４上に位置する６つの分割点Ｄ（Ｄ０４，Ｄ１４，Ｄ２４，Ｄ３４，Ｄ４４，Ｄ５４）が付加された配置となっている。なお、水平分割線Ｌｈ４は、目の画像のすぐ上付近に配置されている。 FIG. 28 is an explanatory diagram illustrating an example of another arrangement method of the dividing points D. FIG. 28 shows an arrangement mode of the dividing points D associated with the deformation type that enlarges the eyes. The arrangement of the division points D shown in FIG. 28 is six division points D located on the horizontal division line Lh4 as compared to the arrangement shown in FIG. 19 associated with the deformation type for sharpening the face. (D04, D14, D24, D34, D44, D54) is added. The horizontal dividing line Lh4 is arranged in the vicinity immediately above the eye image.
図２９は、分割点移動テーブル４２０の内容の他の一例を示す説明図である。図２９には、目を大きくするための変形タイプと程度「中」の変形度合いとの組み合わせに対応付けられた分割点Ｄの位置の移動態様を示している。なお、図２９には、水平分割線Ｌｈ２および水平分割線Ｌｈ４（図２８）上の分割点Ｄのみに関する移動態様を抜き出して示している。図２９に示した分割点Ｄ以外の分割点Ｄはいずれも移動しないものとする。 FIG. 29 is an explanatory diagram showing another example of the contents of the dividing point movement table 420. FIG. 29 shows a movement mode of the position of the dividing point D associated with the combination of the deformation type for enlarging the eyes and the degree of deformation of the degree “medium”. In FIG. 29, a movement mode relating to only the dividing point D on the horizontal dividing line Lh2 and the horizontal dividing line Lh4 (FIG. 28) is extracted and shown. Assume that none of the division points D other than the division point D shown in FIG. 29 moves.
図２９に示した態様で分割点Ｄの移動が行われると、分割点Ｄ２２，Ｄ３２，Ｄ３４，Ｄ２４を頂点とする矩形の小領域（図２８でハッチングを付して示す領域）の画像は、基準線ＲＬと平行な方向に沿って拡大されることとなる。従って、対象画像ＴＩ中の目の形状が上下に大きくなる。 When the division point D is moved in the manner shown in FIG. 29, an image of a rectangular small region (region shown by hatching in FIG. 28) having the vertexes at the division points D22, D32, D34, and D24 is as follows. It is enlarged along the direction parallel to the reference line RL. Accordingly, the shape of the eyes in the target image TI increases vertically.
また、上述したように、本実施例では、図５に示すユーザインターフェースを通じて希望された場合には、ユーザによる変形態様の詳細指定が行われる。この場合には、設定された変形タイプに対応付けられたパターンに従った分割点Ｄの配置（図４のステップＳ１７０）の後に、ユーザによる分割点Ｄの移動態様の指定が行われる。 In addition, as described above, in the present embodiment, when desired through the user interface shown in FIG. 5, the detailed designation of the deformation mode is performed by the user. In this case, after the arrangement of the dividing points D according to the pattern associated with the set deformation type (step S170 in FIG. 4), the movement mode of the dividing points D is designated by the user.
図３０は、ユーザによる分割点Ｄの移動態様の指定のためのユーザインターフェースの一例を示す説明図である。ユーザにより変形態様の詳細指定が希望された場合には、分割点Ｄの配置の完了後、プリンタ１００の指定取得部２１２（図１）が、表示処理部３１０に、図３０に示したユーザインターフェースを表示部１５０に表示させるよう指示する。図３０に示したユーザインターフェースには、左側に対象画像ＴＩの変形領域ＴＡ上の分割点Ｄの配置を示す画像が表示され、右側に分割点Ｄの移動態様を指定するインターフェースが配置されている。ユーザは、このユーザインターフェースを介して、各分割点ＤについてＨ方向およびＶ方向の移動量を任意に指定することができる。変形処理部２６０（図１）は、このユーザインターフェースを介して指定された移動態様で分割点Ｄを移動することにより、変形処理を行う。
FIG. 30 is an explanatory diagram showing an example of a user interface for designating the movement mode of the dividing point D by the user. When the user desires detailed designation of the deformation mode, after the arrangement of the dividing points D is completed, the designation acquisition unit 212 (FIG. 1) of the
なお、図３０に示したユーザインターフェースでは、初期状態において、設定された変形タイプ（例えば顔をシャープにするための変形タイプ）に応じて、各分割点ＤのＨ方向およびＶ方向のデフォルトの移動量が定められており、ユーザは所望の分割点Ｄについて移動量を修正するようになっている。このようにすれば、ユーザは、デフォルトの移動量を参照しつつ、移動量を微調整して指定することができ、所望の変形タイプの画像変形を微調整した画像変形処理を実現することができる。 In the user interface shown in FIG. 30, in the initial state, the default movement of each division point D in the H and V directions according to the set deformation type (for example, a deformation type for sharpening the face). The amount is determined, and the user corrects the movement amount for a desired division point D. In this way, the user can finely adjust and specify the movement amount while referring to the default movement amount, thereby realizing an image deformation process in which a desired deformation type image deformation is finely adjusted. it can.
以上説明したように、本実施例のプリンタ１００による顔形状補正印刷処理では、対象画像ＴＩ上に設定された変形領域ＴＡ内に複数の分割点Ｄが配置され、分割点Ｄ同士を結ぶ直線（水平分割線Ｌｈおよび垂直分割線Ｌｖ）を用いて変形領域ＴＡが複数の小領域に分割される。また、分割点Ｄの位置が移動され、小領域が変形されることにより変形領域ＴＡ内の画像の変形処理が実行される。このように、本実施例のプリンタ１００による顔形状補正印刷処理では、変形領域ＴＡ内に分割点Ｄを配置して、配置された分割点Ｄを移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形を、容易に、かつ効率的に実現することができる。
As described above, in the face shape correction printing process by the
また、本実施例のプリンタ１００による顔形状補正印刷処理では、複数の変形タイプの中から選択・設定された変形タイプに対応付けられた配置パターンに従って分割点Ｄが配置される。そのため、顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点Ｄの配置、すなわち変形領域ＴＡの分割が行われ、各変形タイプの画像変形のさらなる容易化を実現することができる。
Further, in the face shape correction printing process by the
また、本実施例のプリンタ１００による顔形状補正印刷処理では、選択・設定された変形タイプと変形度合いとの組み合わせに対応付けられた移動態様（移動方向および移動量）で分割点Ｄが移動される。そのため、変形タイプと変形度合いとを設定すれば、それらの組み合わせに応じた画像変形が実行され、画像変形のさらなる容易化を実現することができる。
Further, in the face shape correction printing process by the
また、本実施例のプリンタ１００による顔形状補正印刷処理では、変形領域ＴＡにおける分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっており、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせのすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、分割点Ｄの移動態様が定められている。そのため、本実施例の顔形状補正印刷処理では、基準線ＲＬに対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形を実現することができる。
In the face shape correction printing process by the
また、本実施例のプリンタ１００による顔形状補正印刷処理では、変形領域ＴＡを構成する複数の小領域の内の一部の小領域について、変形を行わないようにすることが可能である。すなわち、図２４に示すように、両目の画像を含む小領域については、変形が行われないように、分割点Ｄの配置および移動態様を設定することが可能である。このように、両目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形を実現することができる。
Further, in the face shape correction printing process by the
また、本実施例のプリンタ１００による顔形状補正印刷処理において、ユーザにより変形態様の詳細指定が希望された場合には、ユーザインターフェースを介した各分割点ＤについてのＨ方向およびＶ方向の移動量の指定が行われ、指定に従い分割点Ｄの位置が移動される。そのため、よりユーザの希望に近い態様での画像変形を容易に実現することができる。
Further, in the face shape correction printing process by the
また、本実施例のプリンタ１００による顔形状補正印刷処理では、変形領域ＴＡの設定（図４のステップＳ１３０）の前に、検出された顔領域ＦＡの高さ方向に沿った位置調整が実行される（図４のステップＳ１４０）。そのため、対象画像ＴＩ中の顔の画像の位置に、より適合した顔領域ＦＡを設定することができ、顔領域ＦＡに基づき設定される変形領域ＴＡにおける画像変形処理の結果を、より好ましいものとすることができる。
Further, in the face shape correction printing process by the
また、本実施例における顔領域ＦＡの位置調整は、参照被写体としての目の画像の基準線ＲＬに沿った位置を参照して実行される。本実施例では、目の画像を含む領域として設定された特定領域ＳＡにおいて、基準線ＲＬに沿った複数の評価位置について、基準線ＲＬに直行する方向に沿った画素値の分布の特徴を表す評価値が算出されるため、算出された評価値に基づき目の画像の基準線ＲＬに沿った位置を検出することができる。 Further, the position adjustment of the face area FA in the present embodiment is executed with reference to the position along the reference line RL of the eye image as the reference subject. In the present embodiment, in the specific area SA set as the area including the eye image, the distribution characteristics of the pixel values along the direction perpendicular to the reference line RL are expressed for a plurality of evaluation positions along the reference line RL. Since the evaluation value is calculated, the position along the reference line RL of the eye image can be detected based on the calculated evaluation value.
より具体的には、基準線ＲＬに直行する複数の対象画素特定線ＰＬについて評価対象画素ＴＰを選択し、評価対象画素ＴＰのＲ値の平均値を評価値として用いることで、目の画像の位置を検出することができる。 More specifically, the evaluation target pixel TP is selected for a plurality of target pixel specifying lines PL that are orthogonal to the reference line RL, and the average value of the R values of the evaluation target pixels TP is used as the evaluation value. The position can be detected.
また、目の画像の位置の検出は、それぞれに片目の画像が含まれるように設定された左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれについて個別に行われる。そのため、目の画像の位置の検出を特定領域ＳＡ全体を対象として実行する場合と比較して、左右の目の基準線ＲＬに沿った位置ずれの影響を排除することができ、検出精度を向上させることができる。 Further, the detection of the position of the eye image is performed individually for each of the left divided specific area SA (l) and the right divided specific area SA (r) set so as to include the image of the one eye. Therefore, compared with the case where the detection of the position of the eye image is performed for the entire specific area SA, the influence of the positional deviation along the left and right eye reference lines RL can be eliminated, and the detection accuracy is improved. Can be made.
また、目の画像の位置の検出のための評価値の算出の際には、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。そのため、参照被写体としての目の画像とは色の差が大きいと考えられる一部の評価対象画素ＴＰを評価値の算出対象から除外することにより、目の画像の位置検出精度をより向上させることができる。 Further, when calculating the evaluation value for detecting the position of the eye image, for each target pixel specifying line PL, among the selected plurality of evaluation target pixels TP, some pixels having a large R value are selected. Excluded from the evaluation value calculation target. Therefore, the position detection accuracy of the eye image can be further improved by excluding some evaluation target pixels TP that are considered to have a large color difference from the eye image as the reference subject from the evaluation value calculation target. Can do.
また、本実施例のプリンタ１００による顔形状補正印刷処理では、変形領域ＴＡの設定（図４のステップＳ１３０）の前に、顔領域ＦＡの傾き調整が実行される（図４のステップＳ１５０）。そのため、対象画像ＴＩ中の顔の画像の傾きに、より適合した顔領域ＦＡを設定することができ、顔領域ＦＡに基づき設定される変形領域ＴＡにおける画像変形処理の結果を、より好ましいものとすることができる。
Further, in the face shape correction printing process by the
また、本実施例における顔領域ＦＡの傾き調整は、参照被写体としての両目の画像の傾きを参照して実行される。本実施例では、基準線ＲＬを種々の角度で回転させた複数の評価方向線ＥＬのそれぞれに対応付けて両目の画像を含む領域が評価特定領域ＥＳＡとして設定される。そして、各評価特定領域ＥＳＡにおいて、評価方向に沿った複数の評価位置について、評価方向に直行する方向に沿った画素値の分布の特徴を表す評価値が算出される。そのため、算出された評価値に基づき、両目の画像の傾きを検出することができる。 Further, the inclination adjustment of the face area FA in the present embodiment is executed with reference to the inclination of the image of both eyes as the reference subject. In the present embodiment, an area including the images of both eyes is set as the evaluation specific area ESA in association with each of the plurality of evaluation direction lines EL obtained by rotating the reference line RL at various angles. Then, in each evaluation specific area ESA, evaluation values representing the characteristics of the distribution of pixel values along the direction orthogonal to the evaluation direction are calculated for a plurality of evaluation positions along the evaluation direction. Therefore, it is possible to detect the inclination of the images of both eyes based on the calculated evaluation value.
より具体的には、各評価特定領域ＥＳＡについて、評価方向線ＥＬに直行する複数の対象画素特定線ＰＬについて評価対象画素ＴＰを選択し、評価対象画素ＴＰのＲ値の平均値を評価値として算出し、評価値の分散が最大となる評価方向を決定することで、両目の画像の傾きを検出することができる。 More specifically, for each evaluation specific area ESA, the evaluation target pixel TP is selected for a plurality of target pixel specific lines PL orthogonal to the evaluation direction line EL, and the average value of the R values of the evaluation target pixels TP is used as the evaluation value. By calculating and determining the evaluation direction that maximizes the variance of the evaluation values, it is possible to detect the inclination of the images of both eyes.
また、両目の画像の傾き検出のための評価値の算出の際には、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。そのため、参照被写体としての両目の画像とは色の差が大きいと考えられる一部の評価対象画素ＴＰを評価値の算出対象から除外することにより、両目の画像の傾き検出精度をより向上させることができる。 In calculating the evaluation value for detecting the inclination of the image of both eyes, for each target pixel specifying line PL, among the selected plurality of evaluation target pixels TP, some pixels having a large R value are evaluated. It shall be excluded from the calculation target of the value. Therefore, by excluding some evaluation target pixels TP, which are considered to have a large color difference from the images of both eyes as the reference subject, from the evaluation value calculation target, it is possible to further improve the inclination detection accuracy of the images of both eyes. Can do.
また、本実施例のプリンタ１００による顔形状補正印刷処理では、変形領域ＴＡを構成する複数の小領域を４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。このとき、変形前および変形後のそれぞれについて、小領域の４つの三角形への分割は、小領域の各頂点と重心ＣＧ（ＣＧ'）とを結ぶ線分を用いて行っている。小領域の重心位置は、４つの頂点の座標から算出できる。そのため、はじめから変形領域ＴＡを三角形の小領域に分割する場合と比較して、指定する座標の数を少なくすることができ、処理の高速化を図ることができる。また、小領域を三角形に分割せずに画像の変形を行う場合には、小領域の各頂点（分割点Ｄ）の移動方向および移動量によっては、小領域が１８０度を超える内角を有する形状となって変形処理に支障をきたす可能性がある。本実施例では、小領域を三角形に分割して変形処理を行っているため、このような不都合の発生を防止することができ、処理の円滑化・安定化を図ることができる。
In the face shape correction printing process by the
Ｂ．その他の変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
B. Other variations:
The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.
Ｂ１．その他の変形例１：
上記実施例では、顔領域ＦＡの位置調整や傾き調整の際の評価値として、各対象画素特定線ＰＬについてのＲ値の平均値を用いているが（図９および図１５参照）、対象画素特定線ＰＬの方向（すなわち基準線ＲＬに直行する方向）に沿った画素値の分布を表す値であれば、他の値を評価値として採用することも可能である。例えば、輝度値やエッジ量の平均値を用いてもよい。参照被写体としての目の画像の部分は、輝度値やエッジ量が、周囲の肌の部分の画像とは大きく異なると考えられることから、こられの値を評価値として用いることも可能である。
B1. Other variations 1:
In the above embodiment, the average value of the R values for each target pixel specifying line PL is used as the evaluation value at the time of position adjustment and tilt adjustment of the face area FA (see FIGS. 9 and 15). Any other value can be adopted as the evaluation value as long as the value represents the distribution of pixel values along the direction of the specific line PL (that is, the direction perpendicular to the reference line RL). For example, an average value of luminance values and edge amounts may be used. Since the eye image portion serving as the reference subject is considered to have a luminance value and edge amount that are significantly different from those of the surrounding skin portion, these values can also be used as evaluation values.
また、これらの値について、評価値算出の対象となる画素の平均値ではなく、累計値や、閾値以下（または以上）の値を有する画素数などを用いてもよい。例えば、各対象画素特定線ＰＬについてのＲ値の累計値や、Ｒ値が閾値以下の画素の画素数を評価値として用いてもよい。また、上記実施例では、各対象画素特定線ＰＬについて評価対象画素ＴＰの内の一部を評価値の算出に用いないものとしているが、すべての評価対象画素ＴＰを用いて評価値を算出してもよい。 For these values, instead of the average value of the pixels for which the evaluation value is to be calculated, a cumulative value, the number of pixels having a value equal to or less than a threshold value (or more) may be used. For example, an accumulated value of R values for each target pixel specifying line PL or the number of pixels having an R value equal to or less than a threshold value may be used as the evaluation value. In the above embodiment, a part of the evaluation target pixel TP is not used for calculating the evaluation value for each target pixel specifying line PL, but the evaluation value is calculated using all the evaluation target pixels TP. May be.
また、上記実施例では、黄色人種を対象とすることを前提に、評価値としてＲ値の平均値を用いているが、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば輝度や明度、Ｂ値等）が用いられるとしてもよい。 Moreover, in the said Example, although the average value of R value is used as an evaluation value on the assumption that it targets a yellow race, it targets another race (white race or black race). In some cases, other evaluation values (for example, luminance, brightness, B value, etc.) may be used.
Ｂ２．その他の変形例２：
上記実施例では、顔領域ＦＡの位置調整や傾き調整において、特定領域ＳＡや評価特定領域ＥＳＡにｎ本の対象画素特定線ＰＬを設定し、対象画素特定線ＰＬの位置において評価値を算出している（図９および図１５参照）。しかし、対象画素特定線ＰＬの設定本数はｎ本に固定する必要はなく、対象画像ＴＩに対する特定領域ＳＡや評価特定領域ＥＳＡの大きさに従って可変に設定されるとしてもよい。例えば、対象画素特定線ＰＬのピッチｓを固定とし、特定領域ＳＡや評価特定領域ＥＳＡの大きさに応じて対象画素特定線ＰＬの本数を設定してもよい。
B2. Other variations 2:
In the above embodiment, in the position adjustment and the inclination adjustment of the face area FA, n target pixel specific lines PL are set in the specific area SA and the evaluation specific area ESA, and the evaluation value is calculated at the position of the target pixel specific line PL. (See FIG. 9 and FIG. 15). However, the number of target pixel specifying lines PL need not be fixed to n, and may be variably set according to the size of the specific area SA or the evaluation specific area ESA for the target image TI. For example, the pitch s of the target pixel specifying line PL may be fixed, and the number of target pixel specifying lines PL may be set according to the size of the specific area SA or the evaluation specific area ESA.
Ｂ３．その他の変形例３：
上記実施例では、顔領域ＦＡの傾き調整において、基準線ＲＬの方向を中心に時計回りおよび反時計回りに２０度の範囲で評価方向を設定しているが（図１５参照）、顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩの方向を中心に時計回りおよび反時計回りに２０度の範囲で評価方向を設定するとしてもよい。
B3. Other modification 3:
In the above embodiment, in the adjustment of the inclination of the face area FA, the evaluation direction is set in the range of 20 degrees clockwise and counterclockwise around the direction of the reference line RL (see FIG. 15). The evaluation direction may be set in the range of 20 degrees clockwise and counterclockwise around the direction of the approximate inclination angle RI calculated during the position adjustment.
また上記実施例では、一定の角度αのピッチで評価方向が設定されるとしているが、複数の評価方向のピッチは一定である必要はない。例えば、基準線ＲＬの方向に近い範囲では、ピッチを細かくして評価方向を設定し、基準線ＲＬから遠い範囲では、ピッチを粗くして評価方向を設定するとしてもよい。 Moreover, in the said Example, although the evaluation direction is set with the pitch of the fixed angle (alpha), the pitch of several evaluation directions does not need to be constant. For example, in the range close to the direction of the reference line RL, the evaluation direction may be set by making the pitch fine, and in the range far from the reference line RL, the evaluation direction may be set by making the pitch coarse.
また上記実施例では、顔領域ＦＡの傾き調整において、位置調整後の顔領域ＦＡに対応した特定領域ＳＡが初期評価特定領域ＥＳＡ（０）として設定されるとしているが、初期評価特定領域ＥＳＡ（０）は、特定領域ＳＡと独立して設定されるとしてもよい。 In the above embodiment, the specific area SA corresponding to the face area FA after position adjustment is set as the initial evaluation specific area ESA (0) in the inclination adjustment of the face area FA. 0) may be set independently of the specific area SA.
Ｂ４．その他の変形例４：
上記実施例では、顔領域ＦＡの傾き調整において、複数の評価方向が設定され、各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡが設定される。この各評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、各評価方向線ＥＬの基準線ＲＬからの回転角と同じ角度で回転させた領域である（図１５参照）。しかし、評価特定領域ＥＳＡは必ずしもこのような領域として設定される必要はない。例えば、各評価方向線ＥＬに対応した評価特定領域ＥＳＡは、すべて初期評価特定領域ＥＳＡ（０）と同じ領域として設定されてもよい。この場合にも、各評価方向線ＥＬと直行する対象画素特定線ＰＬについて同様に評価値としてのＲ値の平均値を算出すればよい。このようにした場合でも、評価値の分散が最大値をとる評価方向を選択すれば、画像の傾きに適合した顔領域ＦＡの傾き調整を実現することができる。
B4. Other variations 4:
In the above embodiment, in the inclination adjustment of the face area FA, a plurality of evaluation directions are set, and the evaluation specific area ESA corresponding to the evaluation direction line EL representing each evaluation direction is set. Each evaluation specific area ESA is an area obtained by rotating the initial evaluation specific area ESA (0) at the same angle as the rotation angle of each evaluation direction line EL from the reference line RL (see FIG. 15). However, the evaluation specific area ESA is not necessarily set as such an area. For example, all the evaluation specific areas ESA corresponding to each evaluation direction line EL may be set as the same area as the initial evaluation specific area ESA (0). Also in this case, the average value of the R values as the evaluation values may be calculated in the same manner for the target pixel specifying line PL orthogonal to each evaluation direction line EL. Even in this case, if the evaluation direction in which the variance of the evaluation values takes the maximum value is selected, it is possible to realize the inclination adjustment of the face area FA that matches the inclination of the image.
Ｂ５．その他の変形例５：
上記実施例では、顔領域ＦＡの位置調整や傾き調整において、参照被写体としての目の画像の位置や傾きが検出され、検出された位置や傾きを用いて顔領域ＦＡの位置調整や傾き調整が実行される。しかし、他の画像、例えば鼻や口の画像が参照被写体として用いられるとしてもよい。
B5. Other modification 5:
In the above-described embodiment, the position and inclination of the eye image as the reference subject are detected in the position adjustment and inclination adjustment of the face area FA, and the position adjustment and inclination adjustment of the face area FA are performed using the detected position and inclination. Executed. However, other images, such as images of the nose or mouth, may be used as the reference subject.
また、本実施例における参照被写体の画像の位置や傾きの検出は、顔領域ＦＡの位置調整や傾き調整を目的とする場合に限らず、広く、対象画像ＴＩ中の参照被写体の画像の位置や傾きを検出する場合に適用可能である。この場合に、参照被写体は、顔の部位に限られず、任意の被写体を参照被写体として採用可能である。 Further, the detection of the position and inclination of the image of the reference subject in the present embodiment is not limited to the purpose of adjusting the position and inclination of the face area FA, and widely, the position of the image of the reference subject in the target image TI, It can be applied when detecting an inclination. In this case, the reference subject is not limited to the facial part, and any subject can be adopted as the reference subject.
Ｂ６．その他の変形例６：
上記実施例では、変形領域ＴＡ（図１８参照）は長方形形状の領域として設定されるとしているが、変形領域ＴＡは他の形状、例えば楕円形状や菱形形状の領域として設定されるとしてもよい。
B6. Other modification 6:
In the above embodiment, the deformation area TA (see FIG. 18) is set as a rectangular area, but the deformation area TA may be set as another area, for example, an oval or rhombus area.
また、上記実施例における変形領域ＴＡの小領域への分割方法（図１９および図２８参照）は、あくまで一例であり、他の分割方法を採用することも可能である。例えば、変形領域ＴＡにおける分割点Ｄの配置は任意に変更可能である。また、小領域は、長方形形状ではなく、矩形形状や多角形形状であってもよい。また、変形領域ＴＡにおける分割点Ｄの配置を、ユーザ指定に従い行うとしてもよい。 In addition, the method of dividing the deformation area TA into the small areas in the above-described embodiment (see FIGS. 19 and 28) is merely an example, and other division methods may be employed. For example, the arrangement of the dividing points D in the deformation area TA can be arbitrarily changed. Further, the small area may not be rectangular but may be rectangular or polygonal. Further, the arrangement of the dividing points D in the deformation area TA may be performed in accordance with user designation.
Ｂ７．その他の変形例７：
上記実施例において、変形領域ＴＡの一部が対象画像ＴＩからはみ出す場合もある。また、その場合に、一部の分割点Ｄが対象画像ＴＩ上に配置できない場合がある。一部の分割点Ｄが対象画像ＴＩ上に配置できない場合には、当該分割点Ｄの位置を定義するための水平分割線Ｌｈおよび垂直分割線Ｌｖ（図１９参照）を削除して、残りの水平分割線Ｌｈおよび垂直分割線Ｌｖにより定義される分割点Ｄのみを用いて変形領域ＴＡの小領域への分割を実行するとしてもよい。あるいは、一部の分割点Ｄが対象画像ＴＩ上に配置できない場合には、顔形状補正を実行しないものとしてもよい。
B7. Other modification example 7:
In the embodiment described above, a part of the deformation area TA may protrude from the target image TI. In that case, some division points D may not be arranged on the target image TI. If some of the division points D cannot be arranged on the target image TI, the horizontal division line Lh and the vertical division line Lv (see FIG. 19) for defining the position of the division point D are deleted, and the remaining division points D The deformation area TA may be divided into small areas using only the dividing points D defined by the horizontal dividing line Lh and the vertical dividing line Lv. Alternatively, face shape correction may not be executed when some of the division points D cannot be arranged on the target image TI.
Ｂ８．その他の変形例８：
上記実施例において、顔形状補正印刷処理（図３）の内容はあくまで一例であり、各ステップの順番を変更したり、一部のステップの実行を省略したりしてもよい。例えば、顔形状補正（図３のステップＳ１００）の前に、印刷処理の内の解像度変換や色変換（図２６のステップＳ２１０やＳ２２０）が実行されるとしてもよい。
B8. Other modification 8:
In the above embodiment, the content of the face shape correction printing process (FIG. 3) is merely an example, and the order of each step may be changed, or the execution of some steps may be omitted. For example, resolution conversion and color conversion (steps S210 and S220 in FIG. 26) in the printing process may be performed before face shape correction (step S100 in FIG. 3).
また、顔領域ＦＡの位置調整（図４のステップＳ１４０）と顔領域ＦＡの傾き調整（図４のステップＳ１５０）との順番を逆にしてもよい。また、これらの処理の一方のみが実行され、他方の処理は省略されるとしてもよい。また、顔領域ＦＡの検出（図４のステップＳ１３０）の直後に変形領域ＴＡの設定（図４のステップＳ１６０）が実行され、設定された変形領域ＴＡを対象に同様の位置調整や傾き調整が行われるとしてもよい。この場合にも、変形領域ＴＡは少なくとも顔の一部の画像を含む領域であるため、顔の画像を含む領域の位置調整や傾き調整が行われるということができる。 Further, the order of the position adjustment of the face area FA (step S140 in FIG. 4) and the inclination adjustment of the face area FA (step S150 in FIG. 4) may be reversed. Further, only one of these processes may be executed and the other process may be omitted. Further, immediately after the detection of the face area FA (step S130 in FIG. 4), the deformation area TA is set (step S160 in FIG. 4), and the same position adjustment and inclination adjustment are performed for the set deformation area TA. It may be done. Also in this case, since the deformation area TA is an area including at least a partial image of the face, it can be said that position adjustment and inclination adjustment of the area including the face image are performed.
また上記実施例では、顔領域ＦＡの検出（図４のステップＳ１３０）が実行されるが、顔領域ＦＡの検出の代わりに、例えばユーザ指定を介した顔領域ＦＡの情報の取得が行われるとしてもよい。 In the above embodiment, the detection of the face area FA (step S130 in FIG. 4) is executed. Instead of the detection of the face area FA, for example, the acquisition of the information of the face area FA is performed through user designation. Also good.
Ｂ９．その他の変形例９：
上記実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正（図３のステップＳ１００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ２００）のみがプリンタにより実行されるとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
B9. Other modification 9:
In the above embodiment, the face shape correction printing process (FIG. 3) by the
Ｂ１０．その他の変形例１０：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
B10. Other modification 10:
In the above embodiment, a part of the configuration realized by hardware may be replaced with software, and conversely, a part of the configuration realized by software may be replaced by hardware.
１００...プリンタ
１１０...ＣＰＵ
１２０...内部メモリ
１４０...操作部
１５０...表示部
１６０...プリンタエンジン
１７０...カードインターフェース
１７２...カードスロット
２００...顔形状補正部
２１０...変形態様設定部
２１２...指定取得部
２２０...顔領域検出部
２３０...顔領域調整部
２３２...特定領域設定部
２３４...評価部
２３６...決定部
２４０...変形領域設定部
２５０...変形領域分割部
２６０...変形処理部
３１０...表示処理部
３２０...印刷処理部
４１０...分割点配置パターンテーブル
４２０...分割点移動テーブル
100 ...
DESCRIPTION OF
Claims (12)
対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、
前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、
少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備える、画像処理装置。 An image processing apparatus that performs image deformation,
A deformation area setting unit for setting at least a part of the area on the target image as a deformation area;
A deformation area dividing unit that arranges a plurality of division points in the deformation area and divides the deformation area into a plurality of small areas using a straight line connecting the division points;
An image processing apparatus comprising: a deformation processing unit configured to deform an image in the deformation area by moving the position of at least one of the division points to deform the small area.
複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、
前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置する、画像処理装置。 The image processing apparatus according to claim 1, further comprising:
A deformation mode setting unit configured to select one of a plurality of predetermined deformation types and set as a deformation type to be applied to the deformation of the image in the deformation area;
The deformation area dividing unit arranges the plurality of dividing points according to a predetermined arrangement pattern associated with the set deformation type.
前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、
前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動する、画像処理装置。 The image processing apparatus according to claim 2,
The deformation mode setting unit selects one of a plurality of predetermined deformation degrees and sets it as a deformation degree to be applied to the deformation of the image in the deformation area,
The said deformation | transformation process part is an image processing apparatus which moves the position of the said division | segmentation point according to the predetermined | prescribed movement direction and movement amount matched with the combination of the set said deformation | transformation type and deformation | transformation degree.
前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、
前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動する、画像処理装置。 The image processing apparatus according to claim 2,
The deformation mode setting unit includes a designation obtaining unit that obtains user designation regarding a movement direction and a movement amount of the division point for at least one division point,
The deformation processing unit is an image processing device that moves the position of the division point according to the acquired user designation.
前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定する、画像処理装置。 An image processing apparatus according to any one of claims 1 to 4,
The image processing apparatus, wherein the deformation area setting unit sets the deformation area so that at least a partial image of a face is included in the deformation area.
前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、
前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動する、画像処理装置。 The image processing apparatus according to claim 5, wherein
The deformation area dividing unit arranges the plurality of dividing points so that at least one set of the dividing points are arranged at positions symmetrical to each other with respect to a predetermined reference line,
The image processing apparatus, wherein the deformation processing unit moves the at least one set of division points while maintaining a positional relationship that is symmetrical with respect to the predetermined reference line.
前記変形処理部は、少なくとも１つの前記小領域について、変形を行わない、画像処理装置。 The image processing apparatus according to claim 5, wherein
The image processing apparatus, wherein the deformation processing unit does not perform deformation on at least one of the small regions.
前記変形処理部は、目の画像を含む前記小領域について、変形を行わない、画像処理装置。 The image processing apparatus according to claim 7,
The image processing apparatus, wherein the deformation processing unit does not perform deformation on the small region including an eye image.
前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、
前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定する、画像処理装置。 The image processing apparatus according to claim 5, further comprising:
A face area detecting unit for detecting a face area representing a face image on the target image;
The deformation area setting unit is an image processing apparatus that sets the deformation area based on the detected face area.
前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備える、画像処理装置。 The image processing apparatus according to claim 1, further comprising:
An image processing apparatus comprising: a printing unit that prints the target image on which the image in the deformation area has been deformed.
（ａ）対象画像上の少なくとも一部の領域を変形領域として設定する工程と、
（ｂ）前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する工程と、
（ｃ）少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う工程と、を備える、画像処理方法。 An image processing method for transforming an image,
(A) setting at least a partial area on the target image as a deformation area;
(B) arranging a plurality of division points in the deformation area, and dividing the deformation area into a plurality of small areas using a straight line connecting the division points;
And (c) deforming the image in the deformation area by moving the position of at least one of the division points to deform the small area.
対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定機能と、
前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割機能と、
少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理機能と、を、コンピュータに実現させる、コンピュータプログラム。 A computer program for image processing that performs image transformation,
A deformation area setting function for setting at least a part of the area on the target image as a deformation area;
A deformation area dividing function that arranges a plurality of dividing points in the deformation area and divides the deformation area into a plurality of small areas using a straight line connecting the dividing points;
A computer program that causes a computer to realize a deformation processing function of deforming an image in the deformation area by moving the position of at least one of the division points to deform the small area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009032871A JP4930525B2 (en) | 2009-02-16 | 2009-02-16 | Image processing for image transformation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009032871A JP4930525B2 (en) | 2009-02-16 | 2009-02-16 | Image processing for image transformation |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007082325A Division JP4289415B2 (en) | 2007-03-27 | 2007-03-27 | Image processing for image transformation |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2009104672A true JP2009104672A (en) | 2009-05-14 |
| JP2009104672A5 JP2009104672A5 (en) | 2010-05-13 |
| JP4930525B2 JP4930525B2 (en) | 2012-05-16 |
Family
ID=40706206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009032871A Expired - Fee Related JP4930525B2 (en) | 2009-02-16 | 2009-02-16 | Image processing for image transformation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4930525B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1145332A (en) * | 1997-05-30 | 1999-02-16 | Fuji Photo Film Co Ltd | Device and method for deforming image |
| JP2004054759A (en) * | 2002-07-23 | 2004-02-19 | Mitsubishi Electric Corp | Facial expression deforming device, method and program |
| JP2004318204A (en) * | 2003-04-10 | 2004-11-11 | Sony Corp | Image processing device, image processing method, and photographing device |
| JP2006018467A (en) * | 2004-06-30 | 2006-01-19 | Canon Inc | Image processing apparatus and image processing method |
-
2009
- 2009-02-16 JP JP2009032871A patent/JP4930525B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1145332A (en) * | 1997-05-30 | 1999-02-16 | Fuji Photo Film Co Ltd | Device and method for deforming image |
| JP2004054759A (en) * | 2002-07-23 | 2004-02-19 | Mitsubishi Electric Corp | Facial expression deforming device, method and program |
| JP2004318204A (en) * | 2003-04-10 | 2004-11-11 | Sony Corp | Image processing device, image processing method, and photographing device |
| JP2006018467A (en) * | 2004-06-30 | 2006-01-19 | Canon Inc | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4930525B2 (en) | 2012-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4289414B2 (en) | Image processing for image transformation | |
| JP4957463B2 (en) | Image processing device | |
| JP5076744B2 (en) | Image processing device | |
| JP4289415B2 (en) | Image processing for image transformation | |
| JP2009053914A (en) | Image processor and image processing method | |
| JP2009031870A (en) | Image processing for estimation of photographic object distance | |
| JP4389954B2 (en) | Image processing apparatus, image processing method, computer program, recording medium, and printer | |
| JP4289420B2 (en) | Image processing apparatus and image processing method | |
| JP4816538B2 (en) | Image processing apparatus and image processing method | |
| JP5338887B2 (en) | Image processing device | |
| JP4930298B2 (en) | Specify image area | |
| JP4853541B2 (en) | Image processing apparatus and image processing method | |
| JP4930525B2 (en) | Image processing for image transformation | |
| JP4862723B2 (en) | Image processing for object position detection | |
| JP4816540B2 (en) | Image processing apparatus and image processing method | |
| JP2008242802A (en) | Image processing for detecting inclination of subject | |
| JP5163801B2 (en) | Apparatus, method, and computer program | |
| JP4888188B2 (en) | Image processing apparatus and image processing method | |
| JP4957462B2 (en) | Image processing device | |
| JP4737324B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2009110048A (en) | Setting of face area | |
| JP4946729B2 (en) | Image processing device | |
| JP2009055305A (en) | Image processing adding information to image | |
| JP2011141889A (en) | Image processing apparatus and method | |
| JP2009123101A (en) | Estimation of face image direction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4930525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |