JP2010003313A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2010003313A JP2010003313A JP2009189635A JP2009189635A JP2010003313A JP 2010003313 A JP2010003313 A JP 2010003313A JP 2009189635 A JP2009189635 A JP 2009189635A JP 2009189635 A JP2009189635 A JP 2009189635A JP 2010003313 A JP2010003313 A JP 2010003313A
- Authority
- JP
- Japan
- Prior art keywords
- deformation
- image
- area
- subject
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、対象画像上の少なくとも一部の領域を変形する画像処理技術に関する。 The present invention relates to an image processing technique for deforming at least a part of a region on a target image.
デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の形状を変形する画像処理が開示されている。
An image processing technique for deforming an image for a digital image is known (for example, Patent Document 1). In
ところで、画像の生成（例えば、撮影）の条件と、画像の出力（例えば、表示や印刷）の条件とは、種々に変化し得る。生成条件としては、例えば、撮影時における被写体と撮影装置との間の距離や、撮影時における被写体の明るさ等がある。また、出力条件としては、例えば、印刷時における用紙サイズや、表示用のモニタのサイズ等がある。出力された画像を観察して得られる被写体の印象は、このような条件に応じて種々に変化する。その結果、一律に画像を変形しても、望ましい画像が得られない可能性があった。なお、このような問題は、顔を変形させる場合に限らず、画像の少なくとも一部を変形させる画像処理に共通する問題であった。 By the way, conditions for image generation (for example, photographing) and conditions for image output (for example, display and printing) can be variously changed. The generation conditions include, for example, the distance between the subject and the photographing device at the time of photographing, the brightness of the subject at the time of photographing, and the like. The output conditions include, for example, a paper size at the time of printing, a display monitor size, and the like. The impression of the subject obtained by observing the output image varies depending on such conditions. As a result, there is a possibility that a desired image cannot be obtained even if the image is uniformly deformed. Such a problem is not limited to the case of deforming a face, but is a problem common to image processing for deforming at least a part of an image.
本発明は、上記の課題を解決するためになされたものであり、生成条件に合わせて画像を適切に変形させることのできる技術を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is to provide a technique capable of appropriately deforming an image in accordance with a generation condition.
上述の課題の少なくとも一部を解決するために、本発明の画像処理装置は、変形の度合いを調整する変形量調整部と、撮影によって生成された対象画像上の少なくとも一部の領域を前記調整された度合いで変形させる変形処理部と、を備え、前記変形量調整部は、撮影時における前記対象画像の被写体と撮影装置との間の距離と相関のある距離パラメータを利用することによって、前記距離パラメータが示す距離が近いほど強くなるように前記変形の度合いを調整する。 In order to solve at least a part of the above-described problem, an image processing apparatus of the present invention includes a deformation amount adjusting unit that adjusts the degree of deformation, and the adjustment of at least a part of an area on a target image generated by photographing A deformation processing unit that deforms the image to a degree that has been performed, and the deformation amount adjusting unit uses a distance parameter that correlates with a distance between the subject of the target image and the image capturing device at the time of image capturing, The degree of deformation is adjusted so that the closer the distance indicated by the distance parameter is, the stronger the distance is.
この画像処理装置によれば、距離が近いほど変形の度合いが強くなるので、生成条件（距離）に合わせて画像を適切に変形させることができる。 According to this image processing apparatus, since the degree of deformation becomes stronger as the distance is shorter, the image can be appropriately deformed according to the generation condition (distance).
さらに、前記変形処理部は、前記被写体の少なくとも一部分の前記対象画像上における少なくとも一方向の大きさが小さくなるように、前記変形を実行することとしてもよい。 Furthermore, the deformation processing unit may perform the deformation so that the size of at least a part of the subject in at least one direction on the target image becomes small.
この構成によれば、被写体を、距離に合わせて適切に変形させることができる。 According to this configuration, the subject can be appropriately deformed according to the distance.
上記画像処理装置において、さらに、前記対象画像上の所定の種類の被写体を検出する検出部と、検出された前記被写体の前記対象画像上におけるサイズを、前記対象画像を解析することによって算出するサイズ算出部と、を備え、前記変形量調整部は、前記サイズを、大きいほど近い距離を示す前記距離パラメータとして利用することとしてもよい。 In the image processing apparatus, a detection unit that detects a predetermined type of subject on the target image, and a size that is calculated by analyzing the target image, the size of the detected subject on the target image And the deformation amount adjustment unit may use the size as the distance parameter indicating a closer distance as the size is larger.
この構成によれば、所定の種類の被写体のサイズが距離パラメータとして利用されるので、画像を適切に変形させることができる。 According to this configuration, since the size of a predetermined type of subject is used as the distance parameter, the image can be appropriately deformed.
さらに、前記検出部によって複数の被写体が検出された場合には、前記サイズ算出部は、前記各被写体毎に前記サイズを算出し、前記変形量調整部は、前記各被写体のサイズの内の最大サイズに基づいて前記変形の度合いを調整することとしてもよい。 Further, when a plurality of subjects are detected by the detection unit, the size calculation unit calculates the size for each subject, and the deformation amount adjustment unit is a maximum of the sizes of the subjects. The degree of deformation may be adjusted based on the size.
この構成によれば、最大サイズに基づいて変形の度合いが調整されるので、変形の度合いが不足することを抑制できる。 According to this configuration, since the degree of deformation is adjusted based on the maximum size, it is possible to suppress a shortage of the degree of deformation.
さらに、上記画像処理装置は、前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部を備え、前記変形処理部は、前記変形領域内の画像の変形を実行することとしてもよい。 The image processing apparatus further includes a deformation area setting unit that sets a partial area including the subject detected by the detection unit on the target image as a deformation area, and the deformation processing unit includes the deformation area. It is good also as performing deformation | transformation of the inside image.
この構成によれば、画像の全体を過剰に変形させずに、被写体を変形させることができる。 According to this configuration, the subject can be deformed without excessively deforming the entire image.
さらに、前記変形領域設定部は、前記検出部によって複数の被写体が検出された場合には、前記複数の被写体の中から前記サイズが最大である最大被写体を選択し、前記最大被写体を含む一部の領域を前記変形領域として設定することとしてもよい。 In addition, when the detection unit detects a plurality of subjects, the deformation area setting unit selects a maximum subject having the maximum size from the plurality of subjects, and includes a part including the maximum subject. The area may be set as the deformation area.
この構成によれば、画像の全体を過剰に変形させずに、目立ちやすい最大被写体を変形させることができる。 According to this configuration, it is possible to deform the conspicuous maximum subject without excessively deforming the entire image.
また、前記変形領域設定部は、前記検出部によって複数の被写体が検出された場合には、前記サイズが、与えられた選択閾値より大きな被写体を選択し、前記選択された被写体毎に前記変形領域を設定することとしてもよい。 In addition, when a plurality of subjects are detected by the detection unit, the deformation region setting unit selects a subject whose size is larger than a given selection threshold, and the deformation region is set for each of the selected subjects. It is good also as setting.
この構成によれば、画像の全体を過剰に変形させずに、比較的大きくて目立ちやすい被写体を変形させることができる。 According to this configuration, a relatively large and conspicuous subject can be deformed without excessively deforming the entire image.
また、上記画像処理装置は、さらに、前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部を備え、前記変形処理部は、前記変形領域内の画像の変形を実行することとしてもよい。 The image processing apparatus further includes a deformation area setting unit that sets a partial area including the subject detected by the detection unit on the target image as a deformation area, and the deformation processing unit includes: The deformation of the image in the deformation area may be executed.
この構成によれば、画像の全体を過剰に変形させずに、被写体を変形させることができる。 According to this configuration, the subject can be deformed without excessively deforming the entire image.
さらに、前記検出部によって複数の被写体が検出された場合には、（Ａ）前記サイズ算出部は、前記各被写体毎に前記サイズを算出し、（Ｂ）前記変形領域設定部は、前記各被写体毎に前記変形領域を設定し、（Ｃ）前記変形量調整部は、前記各変形領域毎に前記変形の度合いを調整し、（Ｄ）前記変形処理部は、前記各変形領域毎に調整された前記変形の度合いに従って、前記各変形領域内の画像の変形を、それぞれ実行することとしてもよい。 Further, when a plurality of subjects are detected by the detection unit, (A) the size calculation unit calculates the size for each subject, and (B) the deformation area setting unit calculates each subject. The deformation area is set every time, (C) the deformation amount adjustment unit adjusts the degree of deformation for each deformation area, and (D) the deformation processing unit is adjusted for each deformation area. Further, the deformation of the image in each deformation area may be executed according to the degree of deformation.
この構成によれば、複数の被写体のそれぞれを適切に変形させることができる。 According to this configuration, each of the plurality of subjects can be appropriately deformed.
また、上記画像処理装置は、さらに、前記対象画像上の所定の種類の被写体を検出する検出部と、前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部と、を備え、前記変形処理部は、前記変形領域内の画像の変形を実行することとしてもよい。 The image processing apparatus further includes a detection unit that detects a predetermined type of subject on the target image, and a partial region that includes the subject detected by the detection unit on the target image. A deformation area setting section that is set as the image processing section, and the deformation processing section may perform deformation of an image in the deformation area.
この構成によれば、画像の全体を過剰に変形させずに、被写体を変形させることができる。 According to this configuration, the subject can be deformed without excessively deforming the entire image.
さらに、上述の各画像処理装置において、前記被写体は人物の顔であることとしてもよい。 Furthermore, in each of the image processing apparatuses described above, the subject may be a human face.
この構成によれば、人物の顔を含む対象画像を、距離に合わせて適切に変形させることができる。 According to this configuration, the target image including the person's face can be appropriately deformed according to the distance.
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。 Note that the present invention can be realized in various modes, for example, an image processing method and apparatus, an image deformation method and apparatus, an image correction method and apparatus, and a function of these methods or apparatuses. The present invention can be realized in the form of a computer program, a recording medium recording the computer program, a data signal including the computer program and embodied in a carrier wave, and the like.
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．第４実施例：
Ｅ．第５実施例：
Ｆ．第６実施例：
Ｇ．第７実施例：
Ｈ．変形領域の設定：
Ｉ．顔変形処理：
Ｊ．他の変形処理：
Ｋ．変形例：
Next, embodiments of the present invention will be described in the following order based on examples.
A. First embodiment:
B. Second embodiment:
C. Third embodiment:
D. Fourth embodiment:
E. Example 5:
F. Example 6:
G. Seventh embodiment:
H. Deformation area settings:
I. Face transformation processing:
J. et al. Other transformations:
K. Variation:
Ａ．第１実施例：
図１は、本発明の一実施例としての画像処理装置が適用されるプリンタ１００の構成を概略的に示す説明図である。プリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインタフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えば、デジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインタフェースを備えているものとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。
A. First embodiment:
FIG. 1 is an explanatory diagram schematically showing the configuration of a
プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインタフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインタフェースである。なお、第１実施例では、メモリカードＭＣにＲＧＢデータとしての画像データが格納されており、プリンタ１００は、カードインタフェース１７０を介してメモリカードＭＣに格納された画像データの取得を行う。
The
内部メモリ１２０には、顔形状補正部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００は、所定のオペレーティングシステムの下で、後述する顔形状補正処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
The
顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、顔領域検出部２２０と、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、変形量調整部２９０と、を含んでいる。変形態様設定部２１０は、指定取得部２１２を含んでいる。後述するように、変形領域分割部２５０と、分割領域変形部２６０と、により画像の変形が行われる。そのため、変形領域分割部２５０と分割領域変形部２６０とは、併せて「変形処理部」とも呼ぶことができる。これらの各部の機能については、後述する。
The face
内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。分割点配置パターンテーブル４１０および分割点移動テーブル４２０の内容については、後述の顔変形処理の説明において詳述する。
The
プリンタ１００は、メモリカードＭＣに格納された画像データに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインタフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインタフェースの一例を示す説明図である。なお、第１実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像データ（画像ファイル）に含まれるサムネイル画像を用いて実現される。図２に示すユーザインタフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ８と、５つのボタンＢＮ１〜ＢＮ５が表示されている。
The
プリンタ１００は、図２に示すユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択された画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインタフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択された画像について、画像中の顔の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図２の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されている。そのため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔の形状を補正して補正後の画像を印刷する。
When the user selects one (or a plurality of) images and the normal print button BN3 in the user interface shown in FIG. 2, the
図３は、プリンタ１００において顔形状補正印刷を行う際に実行される顔形状補正印刷ルーチンを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、目や鼻などの顔の一部分は、一般に器官とも呼ばれる。
FIG. 3 is a flowchart illustrating a face shape correction printing routine executed when the
図４は、図３のステップＳ１００において実行される顔形状補正処理ルーチンを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像を設定する。顔形状補正部２００は、図２に示したユーザインタフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像として設定する。設定された対象画像の画像データは、メモリカードＭＣからカードインタフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。なお、以下では、このようにメモリーカードＭＣから取得され、プリンタ１００の内部メモリ１２０に格納された画像データを「元画像データ」とも呼ぶ。また、元画像データにより表される画像を「元画像」とも呼ぶ。
FIG. 4 is a flowchart showing the face shape correction processing routine executed in step S100 of FIG. In step S110, the face shape correction unit 200 (FIG. 1) sets a target image to be subjected to face shape correction processing. The face
ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインタフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。
In step S120 (FIG. 4), the deformation mode setting unit 210 (FIG. 1) sets the type of image deformation and the degree of image deformation for face shape correction. The deformation mode setting unit 210 instructs the
図５は、画像変形のタイプおよび度合いを設定するためのユーザインタフェースの一例を示す説明図である。図５に示すように、このユーザインタフェースには、画像変形タイプを設定するためのインタフェースが含まれている。第１実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。 FIG. 5 is an explanatory diagram showing an example of a user interface for setting the type and degree of image deformation. As shown in FIG. 5, the user interface includes an interface for setting an image deformation type. In the first embodiment, for example, a deformation type “type A” that sharpens the shape of the face, a deformation type “type B” that increases the shape of the eyes, and the like are set in advance as options. The user specifies the type of image deformation via this interface. The deformation mode setting unit 210 sets the image deformation type designated by the user as the image deformation type used for actual processing.
また、図５に示すユーザインタフェースには、画像変形の度合い（程度）を設定するためのインタフェースが含まれている。図５に示すように、第１実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階と、自動と、の４つが選択肢として予め設定されているものとする。ユーザは、このインタフェースを介して画像変形の度合いを指定する。強、中、弱の３つの内のいずれかが指定された場合には、変形態様設定部２１０は、ユーザにより指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。「自動」が指定された場合には、画像変形の度合いが変形量調整部２９０（図１）によって自動的に調整される。ユーザインタフェースに設けられたチェックボックスは、ユーザが変形態様の詳細指定を希望する場合にチェックされる。 The user interface shown in FIG. 5 includes an interface for setting the degree (degree) of image deformation. As shown in FIG. 5, in the first embodiment, the degree of image deformation is set in advance as four options of three levels of strong (S), medium (M), and weak (W) and automatic. It shall be. The user designates the degree of image deformation through this interface. When one of the three of strong, medium, and weak is designated, the deformation mode setting unit 210 sets the degree of image deformation designated by the user as the degree of image deformation used for actual processing. To do. When “automatic” is designated, the degree of image deformation is automatically adjusted by the deformation amount adjustment unit 290 (FIG. 1). A check box provided in the user interface is checked when the user desires detailed designation of the deformation mode.
以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合いとして「自動」が設定され、ユーザによる詳細指定の希望はなかったものとして説明を行う。 In the following, it is assumed that the deformation type “type A” for sharpening the face shape is set as the image deformation type, “automatic” is set as the degree of image deformation, and there is no desire for detailed designation by the user. Give an explanation.
ステップＳ１３０（図４）では、顔領域検出部２２０（図１）が、対象画像における顔領域の検出を行う。ここで、顔領域とは、対象画像上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。
In step S130 (FIG. 4), the face area detection unit 220 (FIG. 1) detects a face area in the target image. Here, the face area is an image area on the target image and means an area including at least a partial image of the face. The detection of the face area by the face
図６は、顔領域の検出結果の一例を示す説明図である。図６の例では、対象画像ＴＩに人物が含まれている。そのため、ステップＳ１３０における顔検出により、対象画像ＴＩからは、人物に対応して顔領域ＦＡが検出される。この顔領域は、図６に示すように、それぞれの目と鼻と口の画像を含む矩形の領域となっている。 FIG. 6 is an explanatory diagram illustrating an example of a face area detection result. In the example of FIG. 6, a person is included in the target image TI. Therefore, the face area FA corresponding to the person is detected from the target image TI by the face detection in step S130. As shown in FIG. 6, this face area is a rectangular area including images of each eye, nose and mouth.
ステップＳ１３０の顔領域の検出において、顔領域が検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるものとしてもよい。また、他の顔検出方法を用いた顔領域の再度の検出処理が行われるものとしてもよい。
If no face area is detected in the detection of the face area in step S130, the fact is notified to the user through the
なお、ステップＳ１３０では、テンプレートを利用したパターンマッチングにより、対象画像から顔が検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像中から顔の画像が概ね含まれると考えられる領域を顔領域として設定するものである。 In step S130, a face is detected from the target image by pattern matching using a template. A known face detection method such as a pattern matching method using such a template generally does not detect in detail the position and inclination (angle) of the entire face or part of the face (eyes, mouth, etc.) An area that is considered to include a face image from the target image is set as a face area.
ステップＳ５００において、プリンタ１００は、検出された顔領域に基づいて顔形状補正のための画像変形処理を施す領域（変形領域）を設定する。具体的には、自然で好ましい顔形状補正が実現されるように、ステップＳ１３０で検出された顔領域について位置調整および傾き調整を行うことにより、変形領域が設定される。このように変形領域を設定することにより、一般的に観察者の注目度が高い顔の画像が、設定された変形領域と顔の画像との位置や角度の関係によって不自然に変形されることが抑制される。なお、変形領域を設定する方法については、後述の変形領域の設定の説明において詳述する。
In step S500, the
図７は、ステップＳ５００における変形領域の設定結果を示す説明図である。図７の破線は、ステップＳ１３０において対象画像ＴＩから検出された顔領域ＦＡを示している。図７の太線は、顔領域ＦＡについて設定された変形領域を示している。図７に示すように、ステップＳ５００では、この顔領域ＦＡに対応した変形領域ＴＡが設定される。 FIG. 7 is an explanatory diagram showing the setting result of the deformation area in step S500. A broken line in FIG. 7 indicates the face area FA detected from the target image TI in step S130. The thick line in FIG. 7 indicates the deformation area set for the face area FA. As shown in FIG. 7, in step S500, a deformation area TA corresponding to the face area FA is set.
図４のステップＳ５９０では、変形量調整部２９０（図１）が、変形の度合い（変形量とも呼ぶ）を調整する。この調整の詳細については後述する。 In step S590 of FIG. 4, the deformation amount adjustment unit 290 (FIG. 1) adjusts the degree of deformation (also referred to as deformation amount). Details of this adjustment will be described later.
ステップＳ６００では、ステップＳ５００で設定された変形領域に対し、変形処理が行われる。第１実施例のステップＳ６００では、変形領域内の変形処理後の画像を元画像に変形処理を施した画像とする変形処理が行われる。なお、変形処理の具体的内容については、後述の顔変形処理の説明で詳述する。変形処理の後、図３の顔形状補正印刷ルーチンに制御が戻される。 In step S600, a deformation process is performed on the deformation area set in step S500. In step S600 of the first embodiment, a deformation process is performed in which the image after the deformation process in the deformation area is an image obtained by performing a deformation process on the original image. The specific content of the deformation process will be described in detail in the description of the face deformation process described later. After the transformation process, control is returned to the face shape correction printing routine of FIG.
図８は、変形処理が行われた結果を示す説明図である。図８（ａ）は、図４のステップＳ６００により変形処理が行われる前の状態を示している。変形処理は変形領域ＴＡにのみ施される。図８（ｂ）に示す変形処理後の対象画像ＴＩでは、変形領域ＴＡ内の人物の顔が細くなる。なお、後述するように、変形領域ＴＡの外の領域は変形されない。その結果、画像の全体を過剰に変形させずに、被写体を変形させることができる。 FIG. 8 is an explanatory diagram showing the result of the deformation process. FIG. 8A shows a state before the deformation process is performed in step S600 of FIG. The deformation process is performed only on the deformation area TA. In the target image TI after the deformation process shown in FIG. 8B, the face of the person in the deformation area TA becomes thin. As will be described later, the area outside the deformation area TA is not deformed. As a result, the subject can be deformed without excessively deforming the entire image.
図８の例では、顔の左右の頬のライン（顔の輪郭）が変形量ＤＱだけ内側に移動している。この変形量ＤＱは、図４のステップＳ５９０で調整されている。このような変形によって、変形後の顔の幅Ｗｄは、変形前の顔の幅Ｗｏと比べて、変形量ＤＱの２倍だけ狭くなる。このように幅が狭くなるように画像を変形させる理由は、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけるためである。 In the example of FIG. 8, the left and right cheek lines (face contour) of the face are moved inward by the deformation amount DQ. This deformation amount DQ is adjusted in step S590 of FIG. By such deformation, the face width Wd after the deformation becomes narrower by twice the deformation amount DQ than the face width Wo before the deformation. The reason for deforming the image so that the width becomes narrow in this way is to make the impression of the subject obtained by observing the image closer to the impression obtained by observing the real object.
図９は、被写体の印象の違いを示す説明図である。図中には、被写体Ｓと、人（観察者）の右目ＲＥと左目ＬＥと、カメラＣＭとが示されている。この図は、観察者の上面から見た位置関係を示している。 FIG. 9 is an explanatory diagram showing the difference in the impression of the subject. In the figure, a subject S, a right eye RE and a left eye LE of a person (observer), and a camera CM are shown. This figure shows the positional relationship as seen from the upper surface of the observer.
図９の例では、説明を簡単にするために、上面から見た被写体Ｓの形状が半径ｒの円であることと仮定している。なお、このような丸い被写体Ｓとしては、人の頭に限らず、種々の被写体（例えば、円筒形の建物）が挙げられる。この被写体Ｓは、２つの目ＲＥ、ＬＥの真正面に位置している。また、カメラＣＭは、２つの目ＲＥ、ＬＥの中点ＭＰに配置されている。すなわち、カメラＣＭは、観察者とほぼ同じ位置から、被写体Ｓを見る。なお、図中のｘ軸は、被写体Ｓの中心Ｃと、中点ＭＰとを通る座標軸である。ｙ軸は、中心Ｃを通り、ｘ軸と垂直な座標軸である。２つの目ＲＥ、ＬＥは、このｙ軸に沿って並んでいる。距離Ｌは、２つの目ＲＥ、ＬＥの間の距離を示している。また、距離ｄは、中心Ｃと目ＲＥ、ＬＥとの間のｘ軸に沿った距離を示している。 In the example of FIG. 9, to simplify the description, it is assumed that the shape of the subject S viewed from above is a circle with a radius r. Note that such a round subject S is not limited to a person's head, but includes various subjects (for example, a cylindrical building). The subject S is located in front of the two eyes RE and LE. The camera CM is disposed at the midpoint MP of the two eyes RE and LE. That is, the camera CM views the subject S from almost the same position as the observer. Note that the x-axis in the figure is a coordinate axis passing through the center C of the subject S and the midpoint MP. The y-axis is a coordinate axis that passes through the center C and is perpendicular to the x-axis. The two eyes RE and LE are arranged along this y-axis. The distance L indicates the distance between the two eyes RE and LE. A distance d indicates a distance along the x-axis between the center C and the eyes RE and LE.
図中の第１幅Ｗ１は、被写体Ｓの幅を示している。この第１幅Ｗ１は、カメラＣＭから見える部分の幅を示している。カメラＣＭから見える部分は、被写体Ｓの表面の内の、カメラ被写体範囲ＳＲＣ内の部分である。このカメラ被写体範囲ＳＲＣは、カメラＣＭの視野の全範囲の内の被写体Ｓが占める範囲を示している。 A first width W1 in the figure indicates the width of the subject S. The first width W1 indicates the width of the portion visible from the camera CM. The portion visible from the camera CM is a portion of the surface of the subject S within the camera subject range SRC. The camera subject range SRC indicates a range occupied by the subject S in the entire range of the field of view of the camera CM.
図中の第２幅Ｗ２も、被写体Ｓの幅を示している。ただし、この第２幅Ｗ２は、両目ＲＥ、ＬＥから見える部分の幅を示している。両目ＲＥ、ＬＥから見える部分は、被写体Ｓの表面の内の、右被写体範囲ＳＲＲと左被写体範囲ＳＲＬとの重なる範囲の内の部分である。右被写体範囲ＳＲＲは、右目ＲＥの視野の全範囲の内の被写体Ｓが占める範囲を示し、左被写体範囲ＳＲＬは、左目ＬＥの視野の全範囲の内の被写体Ｓが占める範囲を示している。 The second width W2 in the figure also indicates the width of the subject S. However, this 2nd width W2 has shown the width | variety of the part visible from both eyes RE and LE. The portion visible from both eyes RE and LE is the portion of the surface of the subject S within the range where the right subject range SRR and the left subject range SRL overlap. The right subject range SRR indicates a range occupied by the subject S within the entire range of the field of view of the right eye RE, and the left subject range SRL indicates a range occupied by the subject S within the entire range of the field of view of the left eye LE.
図示するように、右目ＲＥと左目ＬＥとの間では、被写体Ｓの見える部分が異なっている。すなわち、右目ＲＥから見える部分は右目ＲＥ側に偏っており、左目ＬＥから見える部分は左目ＬＥ側に偏っている。このような場合には、人（観察者）による被写体Ｓの認識は、両目ＲＥ、ＬＥに共通な可視部分から強い影響を受けると推定される。例えば、人は、両目ＲＥ、ＬＥに共通な可視部分の幅Ｗ２が被写体Ｓの幅であるという認識を持つと推定される。 As shown in the drawing, the visible portion of the subject S is different between the right eye RE and the left eye LE. That is, the part visible from the right eye RE is biased toward the right eye RE, and the part visible from the left eye LE is biased toward the left eye LE. In such a case, it is estimated that the recognition of the subject S by a person (observer) is strongly influenced by the visible portion common to both eyes RE and LE. For example, it is estimated that a person has the recognition that the width W2 of the visible portion common to both eyes RE and LE is the width of the subject S.
また、図示するように、第２幅Ｗ２は第１幅Ｗ１よりも狭い。すなわち、撮影によって生成された画像を観察すると、実際の被写体Ｓを観察したときと比べて幅が広い印象を受ける。そこで、図８（Ｂ）に示すように幅が狭くなるように画像を変形させることによって、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。 Further, as illustrated, the second width W2 is narrower than the first width W1. That is, when an image generated by photographing is observed, an impression that is wider than when an actual subject S is observed is received. Therefore, by deforming the image so that the width becomes narrow as shown in FIG. 8B, the impression of the subject obtained by observing the image can be made closer to the impression obtained by observing the real object.
図１０は、第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉと、距離ｄとの関係を示すグラフである。横軸は距離ｄを示し、縦軸は比率Ｒｉを示している。また、図１０には、これらの幅Ｗ１、Ｗ２を示す関数も示されている。これらの幅Ｗ１、Ｗ２は、半径ｒと距離ｄと距離Ｌとの関数で表されている。なお、図１０のグラフでは、半径ｒと距離Ｌとは固定されている。 FIG. 10 is a graph showing the relationship between the ratio Ri of the second width W2 to the first width W1 and the distance d. The horizontal axis indicates the distance d, and the vertical axis indicates the ratio Ri. FIG. 10 also shows functions indicating these widths W1 and W2. These widths W1 and W2 are expressed as a function of the radius r, the distance d, and the distance L. In the graph of FIG. 10, the radius r and the distance L are fixed.
図示するように、この比率Ｒｉ（Ｗ２／Ｗ１）は、距離ｄが小さいほど小さい。また、この比率Ｒｉ（Ｗ２／Ｗ１）は、「１．０」よりも小さく、距離ｄが大きいほど「１．０」に近くなる。 As shown in the figure, this ratio Ri (W2 / W1) is smaller as the distance d is smaller. Further, the ratio Ri (W2 / W1) is smaller than “1.0”, and becomes closer to “1.0” as the distance d is larger.
図１１（Ａ）は、変形量ＤＱと被写体距離（Subject Distance）Ｓｄとの関係を示すグラフである。図１１（Ｂ）は、変形前の幅Ｗｏに対する変形後の幅Ｗｄの比率Ｒｗと、被写体距離Ｓｄとの関係を示すグラフである。これらのグラフでは、横軸が被写体距離Ｓｄを示している。 FIG. 11A is a graph showing the relationship between the deformation amount DQ and the subject distance (Subject Distance) Sd. FIG. 11B is a graph showing the relationship between the ratio Rw of the width Wd after deformation to the width Wo before deformation and the subject distance Sd. In these graphs, the horizontal axis indicates the subject distance Sd.
被写体距離Ｓｄは、対象画像ＴＩが撮影された時の撮影装置と被写体との距離を示している。このような被写体距離Ｓｄは、対象画像ＴＩを表す画像データを格納する画像ファイルに、履歴情報として格納されている。このような画像データと履歴情報とを格納するデータファイルの形式としては、例えば、Ｅｘｉｆ（Exchangeable Image File Format）が利用される。本実施例では、このようなＥｘｉｆデータファイルが、メモリカードＭＣ（図１）からプリンタ１００に供給される。なお、履歴情報は、通常は、撮影装置（例えば、デジタルスチルカメラ）によって設定される。
The subject distance Sd indicates the distance between the photographing apparatus and the subject when the target image TI is photographed. Such subject distance Sd is stored as history information in an image file that stores image data representing the target image TI. As a data file format for storing such image data and history information, for example, Exif (Exchangeable Image File Format) is used. In this embodiment, such an Exif data file is supplied to the
図１１（Ａ）に示す変形量ＤＱは、図１１（Ｂ）に示す比率Ｒｗが図１０に示す比率Ｒｉと同じとなるように、予め設定されている。この結果、変形量ＤＱは、被写体距離Ｓｄが短いほど大きな値に設定される。ここで、距離Ｌと半径ｒとは所定値に予め固定されている。目の距離Ｌとしては、例えば、０．１ｍを採用可能である。また、半径ｒ、すなわち、被写体Ｓの大きさとしては、被写体を代表する値（例えば、０．１ｍ）を採用可能である。なお、本実施例では、変形量ＤＱは、変形領域ＴＡ内における幅の変化率（この場合は減少率）を示している。 The deformation amount DQ shown in FIG. 11A is set in advance so that the ratio Rw shown in FIG. 11B is the same as the ratio Ri shown in FIG. As a result, the deformation amount DQ is set to a larger value as the subject distance Sd is shorter. Here, the distance L and the radius r are fixed to predetermined values in advance. As the eye distance L, for example, 0.1 m can be adopted. As the radius r, that is, the size of the subject S, a value representative of the subject (for example, 0.1 m) can be adopted. In the present embodiment, the deformation amount DQ indicates the rate of change in width within the deformation area TA (in this case, the decrease rate).
図４のステップＳ５９０では、変形量調整部２９０（図１）は、対象画像ＴＩに対応付けられた履歴情報から被写体距離Ｓｄを取得し、被写体距離Ｓｄから変形量ＤＱを決定する。変形量ＤＱと被写体距離Ｓｄとの対応関係は、図１１（Ａ）に示すように、予め設定されている。なお、被写体距離Ｓｄは、特許請求の範囲における「距離パラメータ」に相当する。図４のステップＳ６００では、このように決定された変形量ＤＱを利用して画像が変形される（図８（Ｂ））。その結果、距離に合わせて画像を適切に変形させることができる。具体的には、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。 In step S590 of FIG. 4, the deformation amount adjustment unit 290 (FIG. 1) acquires the subject distance Sd from the history information associated with the target image TI, and determines the deformation amount DQ from the subject distance Sd. The correspondence between the deformation amount DQ and the subject distance Sd is set in advance as shown in FIG. The subject distance Sd corresponds to a “distance parameter” in the claims. In step S600 of FIG. 4, the image is deformed using the deformation amount DQ determined in this way (FIG. 8B). As a result, the image can be appropriately deformed according to the distance. Specifically, the impression of the subject obtained by observing the image can be made closer to the impression obtained by observing the real object.
図４の顔形状補正処理ルーチンから制御が戻されると、図３のステップＳ２００において、変形処理後の画像（補正画像）が表示される。具体的には、顔形状補正部２００（図１）が、顔形状補正後の対象画像を表示部１５０に表示するよう表示処理部３１０に指示する。図１２は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択した場合には、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面が表示され、ユーザによる変形タイプや変形度合いの再度の設定が実行される。ユーザが補正結果に満足し、「印刷」ボタンを選択した場合には、以下の補正画像印刷処理が開始される。
When the control returns from the face shape correction processing routine of FIG. 4, an image (corrected image) after the deformation processing is displayed in step S200 of FIG. Specifically, the face shape correction unit 200 (FIG. 1) instructs the
ステップＳ３００では、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像の印刷を行う。印刷処理部３２０は、顔形状補正処理後の対象画像の画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像の印刷を実行する。これにより、顔形状補正後の対象画像の印刷が完了する。
In step S300, the print processing unit 320 (FIG. 1) controls the
Ｂ．第２実施例：
図１３（Ａ）は、第２実施例における変形量ＤＱを示すグラフである。図１１（Ａ）に第１実施例との差違は、被写体距離Ｓｄの代わりに被写体距離レンジ（Subject Distance Range）Ｓｄｒに基づいて変形量ＤＱが決定される点だけである。
B. Second embodiment:
FIG. 13A is a graph showing the deformation amount DQ in the second embodiment. In FIG. 11A, the only difference from the first embodiment is that the deformation amount DQ is determined based on a subject distance range Sdr instead of the subject distance Sd.
被写体距離レンジＳｄｒは、対象画像ＴＩが撮影された時の撮影装置と被写体との距離を、「マクロ」、「近景」、「遠景」の３段階で示している。この被写体距離レンジＳｄｒは、上述の被写体距離Ｓｄと同様に、履歴情報として画像ファイルに格納される。撮影装置の中には、被写体距離Ｓｄを設定せずに被写体距離レンジＳｄｒを設定するものがある。第２実施例では、このような撮影装置によって生成された画像ファイルを利用することができる。 The subject distance range Sdr indicates the distance between the photographing apparatus and the subject when the target image TI is photographed in three stages of “macro”, “near view”, and “far view”. The subject distance range Sdr is stored in the image file as history information in the same manner as the subject distance Sd described above. Some photographing apparatuses set the subject distance range Sdr without setting the subject distance Sd. In the second embodiment, an image file generated by such a photographing apparatus can be used.
図１３（Ａ）のグラフでは、横軸が被写体距離レンジＳｄｒを示し、縦軸が変形量ＤＱを示している。この変形量ＤＱは、図１１（Ａ）に示す第１実施例と同様に、距離が近いほど大きくなるように予め設定されている。 In the graph of FIG. 13A, the horizontal axis indicates the subject distance range Sdr, and the vertical axis indicates the deformation amount DQ. This deformation amount DQ is set in advance so as to increase as the distance decreases, as in the first embodiment shown in FIG.
図１３（Ｂ）は、比率Ｒｗ（変形後の幅Ｗｄ／変形前の幅Ｗｏ）と被写体距離レンジＳｄｒとの関係を示すグラフである。横軸が被写体距離レンジＳｄｒを示し、縦軸が比率Ｒｗを示している。本実施例では、変形量調整部２９０は、図１３（Ａ）に示す対応関係に従って、被写体距離レンジＳｄｒから変形量ＤＱを決定するので、距離が近いほど比率Ｒｗが小さくなる。その結果、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。なお、変形量ＤＱと被写体距離レンジＳｄｒとの対応関係は、比率Ｒｗが図１０に示す比率Ｒｉに近い値となるように設定することが好ましい。なお、被写体距離レンジＳｄｒは、特許請求の範囲における「距離パラメータ」に相当する。
FIG. 13B is a graph showing the relationship between the ratio Rw (width Wd after deformation / width Wo before deformation Wo) and the subject distance range Sdr. The horizontal axis indicates the subject distance range Sdr, and the vertical axis indicates the ratio Rw. In the present embodiment, the deformation
Ｃ．第３実施例：
図１４は、第３実施例におけるプリンタ１００ａの構成を概略的に示す説明図である。図１に示すプリンタ１００との差違は、顔形状補正部２００ａに、サイズ算出部２９２が追加されている点だけである。他の構成は、図１に示すプリンタ１００と同じである。
C. Third embodiment:
FIG. 14 is an explanatory diagram schematically showing the configuration of the
図１５は、サイズ算出部２９２（図１４）によって算出されるサイズを示す概略図である。本実施例では、顔形状補正処理は、図４の手順に従って実行される。ただし、上述の各実施例とは異なり、ステップＳ５９０では、まず、サイズ算出部２９２が、対象画像ＴＩ上の被写体のサイズを算出する。そして、変形量調整部２９０は、算出されたサイズを利用して、変形量ＤＱを調整する。図４の他のステップの処理は、上述の各実施例と同じである。
FIG. 15 is a schematic diagram showing the size calculated by the size calculator 292 (FIG. 14). In the present embodiment, the face shape correction process is executed according to the procedure of FIG. However, unlike the above-described embodiments, in step S590, the
本実施例では、被写体として顔が採用されている。そして、サイズ算出部２９２は、２つの目の間の距離からサイズを算出する。サイズ算出部２９２は、まず、顔領域ＦＡから２つの目を検出する。目の検出方法としては、例えば、テンプレートを利用したパターンマッチングによる方法といった公知の種々の方法を採用可能である。次にサイズ算出部２９２は、検出された２つの目の間の距離Ｅｙｄを算出する。算出された距離Ｅｙｄは、画素数によって表されている。次にサイズ算出部２９２は、対象画像ＴＩのサイズに対する被写体の相対的なサイズＥｙｒを算出する。本実施例では、相対サイズＥｙｒは、距離Ｅｙｄを、対象画像ＴＩの幅方向の画素数ＩＷと高さ方向の画素数ＩＶとの内の大きい方で割った値である（図１５の例では、幅方向の画素数ＩＷ）。この相対サイズＥｙｒは、対象画像ＴＩの画素密度に依存しない対象画像ＴＩ上の被写体のサイズを示している。
In this embodiment, a face is adopted as the subject. Then, the
相対サイズＥｙｒは、撮影時の撮影装置と被写体との距離が近いほど、大きくなる。すなわち、相対サイズＥｙｒは、距離を示す指標として利用可能である。そこで、変形量調整部２９０は、この相対サイズＥｙｒから変形量ＤＱを決定する。なお、２つの目の間の距離（すなわち、相対サイズＥｙｒ）の人による違いは、被写体と撮影装置との距離の変化による相対サイズＥｙｒの変化と比べて、十分に小さい。従って、相対サイズＥｙｒは、人に依存しない距離の共通指標として利用可能である。
The relative size Eyr increases as the distance between the photographing apparatus and the subject at the time of photographing decreases. That is, the relative size Eyr can be used as an index indicating the distance. Therefore, the deformation
図１６（Ａ）は、第３実施例における変形量ＤＱを示すグラフである。横軸は相対サイズＥｙｒを示し、縦軸は変形量ＤＱを示している。この変形量ＤＱは、相対サイズＥｙｒが大きいほど大きくなるように予め設定されている。すなわち、変形量ＤＱは、撮影時の撮影装置と被写体との距離が近いほど、大きくなるように設定されている。 FIG. 16A is a graph showing the deformation amount DQ in the third embodiment. The horizontal axis indicates the relative size Eyr, and the vertical axis indicates the deformation amount DQ. The deformation amount DQ is set in advance so as to increase as the relative size Eyr increases. That is, the deformation amount DQ is set so as to increase as the distance between the photographing apparatus and the subject at the time of photographing decreases.
図１６（Ｂ）は、比率Ｒｗ（変形後の幅Ｗｄ／変形前の幅Ｗｏ）と相対サイズＥｙｒとの関係を示すグラフである。横軸は相対サイズＥｙｒを示し、縦軸は比率Ｒｗを示している。本実施例では、変形量調整部２９０は、図１６（Ａ）に示す対応関係に従って、相対サイズＥｙｒから変形量ＤＱを決定するので、距離が近いほど比率Ｒｗが小さくなる。その結果、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。なお、変形量ＤＱと相対サイズＥｙｒとの対応関係は、比率Ｒｗが図１０に示す比率Ｒｉに近い値となるように設定することが好ましい。なお、相対サイズＥｙｒは、特許請求の範囲における「距離パラメータ」に相当する。
FIG. 16B is a graph showing the relationship between the ratio Rw (the width Wd after deformation / the width Wo before deformation) and the relative size Eyr. The horizontal axis indicates the relative size Eyr, and the vertical axis indicates the ratio Rw. In the present embodiment, the deformation
以上のように、第３実施例では、対象画像ＴＩを解析することによって距離パラメータが算出される。その結果、被写体距離Ｓｄと被写体距離レンジＳｄｒとのそれぞれを利用できない場合であっても、距離に合わせて画像を適切に変形させることができる。 As described above, in the third embodiment, the distance parameter is calculated by analyzing the target image TI. As a result, even when the subject distance Sd and the subject distance range Sdr cannot be used, the image can be appropriately deformed according to the distance.
Ｄ．第４実施例：
図１７は、第４実施例における顔形状補正処理の概略を示す説明図である。この第４実施例の処理は、図１４〜図１６に示す第３実施例において対象画像ＴＩから複数の被写体が検出された場合の処理を示している。
D. Fourth embodiment:
FIG. 17 is an explanatory diagram showing an outline of face shape correction processing in the fourth embodiment. The process of the fourth embodiment shows a process when a plurality of subjects are detected from the target image TI in the third embodiment shown in FIGS.
図１７には、対象画像ＴＩが示されている。この対象画像ＴＩには、３人の人物Ｓ１、Ｓ２、Ｓ３が写っている。その結果、図４のステップＳ１３０では、これら３人の人物Ｓ１、Ｓ２、Ｓ３のそれぞれに対応する３つの顔領域ＦＡ１、ＦＡ２、ＦＡ３が検出される。次のステップＳ５００では、これら３つの顔領域ＦＡ１、ＦＡ２、ＦＡ３のそれぞれに対応する３つの変形領域ＴＡ１、ＴＡ２、ＴＡ３が設定される。 FIG. 17 shows the target image TI. In this target image TI, three persons S1, S2, and S3 are shown. As a result, in step S130 of FIG. 4, three face areas FA1, FA2, and FA3 corresponding to the three persons S1, S2, and S3 are detected. In the next step S500, three deformation areas TA1, TA2, and TA3 corresponding to the three face areas FA1, FA2, and FA3 are set.
図４の次のステップＳ５９０では、サイズ算出部２９２（図１４）は、３つの顔領域ＦＡ１、ＦＡ２、ＦＡ３のそれぞれに対応する３つの相対サイズＥｙｒ１、Ｅｙｒ２、Ｅｙｒ３を算出する。そして、変形量調整部２９０（図１４）は、図１６（Ａ）の対応関係に従って、３つの変形領域ＴＡ１、ＴＡ２、ＴＡ３のそれぞれの変形量ＤＱ１、ＤＱ２、ＤＱ３を、３つの相対サイズＥｙｒ１、Ｅｙｒ２、Ｅｙｒ３から、それぞれ決定する。ステップＳ６００では、３つの変形領域ＴＡ１、ＴＡ２、ＴＡ３は、各領域毎に決定された３つの変形量ＤＱ１、ＤＱ２、ＤＱ３を利用して、それぞれ変形される。 In the next step S590 in FIG. 4, the size calculation unit 292 (FIG. 14) calculates three relative sizes Eyr1, Eyr2, and Eyr3 corresponding to the three face areas FA1, FA2, and FA3, respectively. Then, the deformation amount adjustment unit 290 (FIG. 14) converts the deformation amounts DQ1, DQ2, and DQ3 of the three deformation regions TA1, TA2, and TA3 into three relative sizes Eyr1, according to the correspondence relationship in FIG. It determines from Eyr2 and Eyr3, respectively. In step S600, the three deformation areas TA1, TA2, and TA3 are respectively deformed using the three deformation amounts DQ1, DQ2, and DQ3 determined for each area.
以上の処理は、対象画像ＴＩから検出された被写体の総数が２、あるいは、４以上である場合にも、同様に実行される。 The above processing is similarly executed when the total number of subjects detected from the target image TI is 2 or 4 or more.
以上のように、第４実施例では、変形領域（すなわち、被写体）毎に変形量ＤＱが調整される。その結果、１枚の対象画像ＴＩから複数の被写体が検出された場合に、各被写体を適切に変形させることができる。 As described above, in the fourth embodiment, the deformation amount DQ is adjusted for each deformation region (that is, the subject). As a result, when a plurality of subjects are detected from one target image TI, each subject can be appropriately deformed.
Ｅ．第５実施例：
図１８は、第５実施例における顔形状補正処理の概略を示す説明図である。この第５実施例の処理は、図１４〜図１６に示す第３実施例において対象画像ＴＩから複数の被写体が検出された場合の処理の別の例を示している。
E. Example 5:
FIG. 18 is an explanatory diagram showing an outline of face shape correction processing in the fifth embodiment. The process of the fifth embodiment shows another example of the process when a plurality of subjects are detected from the target image TI in the third embodiment shown in FIGS.
図１８には、図１７と同じ対象画像ＴＩが処理される場合が示されている。図１７に示す第４実施例との差違は、全ての変形領域に共通の変形量ＤＱが適用される点だけである。変形量調整部２９０は、対象画像ＴＩから検出された全ての被写体の相対サイズの内の最大の相対サイズに基づいて、共通の変形量ＤＱを決定する。図１８の例では、３つの相対サイズＥｙｒ１、Ｅｙｒ２、Ｅｙｒ３の中の最大の第１相対サイズＥｙｒ１に基づいて変形量ＤＱが決定される。以上の処理は、対象画像ＴＩから検出された被写体の総数が２、あるいは、４以上である場合にも、同様に実行される。
FIG. 18 shows a case where the same target image TI as in FIG. 17 is processed. The only difference from the fourth embodiment shown in FIG. 17 is that a common deformation amount DQ is applied to all deformation regions. The deformation
以上のように、第５実施例では、変形量が最大サイズに基づいて決定されるので、変形量が不足することを抑制できる。また、全ての変形領域に共通の変形量が適用されるので、変形量が異なる複数の変形処理を実行する場合と比べて、画像処理を簡素化することができる。 As described above, in the fifth embodiment, since the deformation amount is determined based on the maximum size, it is possible to suppress the deformation amount from being insufficient. In addition, since a common deformation amount is applied to all the deformation regions, image processing can be simplified as compared with a case where a plurality of deformation processes having different deformation amounts are executed.
なお、第５実施例では、全ての変形領域に共通の変形量ＤＱが適用される。そこで、変形量ＤＱの決定に利用される距離パラメータとしては、１枚の対象画像ＴＩに１つの値が対応付けられるようなパラメータを採用してもよい。例えば、上述の被写体距離Ｓｄを採用してもよく、また、上述の被写体距離レンジＳｄｒを採用してもよい。なお、相対サイズＥｙｒとは異なるパラメータを採用する場合には、サイズ算出部２９２（図１４）を省略してもよい。 In the fifth embodiment, a common deformation amount DQ is applied to all deformation regions. Therefore, as a distance parameter used for determining the deformation amount DQ, a parameter in which one value is associated with one target image TI may be employed. For example, the subject distance Sd described above may be employed, or the subject distance range Sdr described above may be employed. Note that when a parameter different from the relative size Eyr is employed, the size calculation unit 292 (FIG. 14) may be omitted.
Ｆ．第６実施例：
図１９は、第６実施例における顔形状補正処理ルーチンを示すフローチャートである。図４に示す手順との差違は、ステップＳ１３０とステップＳ５００との間にステップＳ１４０が追加されている点だけである。他のステップの処理は、図４、図１４、図１８に示す第５実施例と同様に実行される。
F. Example 6:
FIG. 19 is a flowchart showing a face shape correction processing routine in the sixth embodiment. The only difference from the procedure shown in FIG. 4 is that step S140 is added between step S130 and step S500. The processing in the other steps is executed in the same manner as in the fifth embodiment shown in FIGS.
ステップＳ１４０では、変形領域設定部２４０（図１４）は、ステップＳ１３０で複数の顔領域（すなわち、被写体）が検出された場合に、所定の条件を満たす顔領域を選択する。選択された顔領域は、変形処理の対象として利用される。また、変形領域設定部２４０は、選択されなかった顔領域を、変形処理の対象から除外する。 In step S140, the deformation area setting unit 240 (FIG. 14) selects a face area that satisfies a predetermined condition when a plurality of face areas (that is, subjects) are detected in step S130. The selected face area is used as a target for deformation processing. Further, the deformation area setting unit 240 excludes the face area that has not been selected from the target of the deformation process.
図２０は、第６実施例における顔形状補正処理の概略を示す説明図である。図２０には、図１８と同じ対象画像ＴＩが示されている。第６実施例では、与えられた選択閾値よりも相対サイズが大きな顔領域が選択される。これにより、相対サイズの大きな被写体と相対サイズの小さな被写体が１枚の対象画像ＴＩ上に混在している場合には、相対サイズが大きい一部の被写体が選択される。 FIG. 20 is an explanatory diagram showing an outline of face shape correction processing in the sixth embodiment. FIG. 20 shows the same target image TI as in FIG. In the sixth embodiment, a face area having a relative size larger than a given selection threshold is selected. Thereby, when a subject having a large relative size and a subject having a small relative size are mixed on one target image TI, a part of the subject having a large relative size is selected.
第６実施例では、変形領域設定部２４０は、最大相対サイズに基づいて、最大相対サイズよりも小さい値に選択閾値を設定する。具体的には、１より小さい所定係数（例えば、０．８）を最大相対サイズに乗じて得られる値を選択閾値として利用する。ここで、最大相対サイズとは、対象画像ＴＩから検出された全ての被写体の相対サイズの内の最大のサイズを意味している。なお、このような選択閾値の設定方法としては、他の種々の方法を採用可能である。例えば、選択閾値が、最大相対サイズに比例しなくてもよい。なお、図２０の例では、第１相対サイズＥｙｒ１が最大であり、第３相対サイズＥｙｒ３は選択閾値よりも小さく、第２相対サイズＥｙｒ２は選択閾値よりも大きいことと仮定している。 In the sixth embodiment, the deformation area setting unit 240 sets the selection threshold to a value smaller than the maximum relative size based on the maximum relative size. Specifically, a value obtained by multiplying the maximum relative size by a predetermined coefficient smaller than 1 (for example, 0.8) is used as the selection threshold. Here, the maximum relative size means the maximum size among the relative sizes of all the subjects detected from the target image TI. It should be noted that various other methods can be adopted as a method for setting such a selection threshold. For example, the selection threshold may not be proportional to the maximum relative size. In the example of FIG. 20, it is assumed that the first relative size Eyr1 is the largest, the third relative size Eyr3 is smaller than the selection threshold, and the second relative size Eyr2 is larger than the selection threshold.
図２０の対象画像ＴＩを処理する場合には、図１９のステップＳ１４０では、まず、サイズ算出部２９２（図１４）が、ステップＳ１３０で検出された３つの顔領域ＦＡ１、ＦＡ２、ＦＡ３のそれぞれに対応する３つの相対サイズＥｙｒ１、Ｅｙｒ２、Ｅｙｒ３を算出する。次に、変形領域設定部２４０は、選択閾値を決定し、相対サイズが選択閾値よりも大きな顔領域を選択する。図２０の例では、第１顔領域ＦＡ１と第２顔領域ＦＡ２とが選択され、第３顔領域ＦＡ３は変形処理の対象から除外される。図１９の続くステップＳ５００〜Ｓ６００の処理は、選択された顔領域に対して実行される。これらの結果、相対サイズが比較的大きい２つの被写体Ｓ１、Ｓ２が、最大の相対サイズ（この例では、第１相対サイズＥｙｒ１）に基づいて調整された変形量ＤＱに従って、変形される。 When processing the target image TI of FIG. 20, in step S140 of FIG. 19, first, the size calculation unit 292 (FIG. 14) applies to each of the three face areas FA1, FA2, and FA3 detected in step S130. Three corresponding relative sizes Eyr1, Eyr2, and Eyr3 are calculated. Next, the deformation area setting unit 240 determines a selection threshold, and selects a face area having a relative size larger than the selection threshold. In the example of FIG. 20, the first face area FA1 and the second face area FA2 are selected, and the third face area FA3 is excluded from the deformation processing target. The subsequent steps S500 to S600 in FIG. 19 are executed for the selected face area. As a result, the two subjects S1 and S2 having a relatively large relative size are deformed according to the deformation amount DQ adjusted based on the maximum relative size (in this example, the first relative size Eyr1).
以上の処理は、対象画像ＴＩから検出された被写体の総数が２、あるいは、４以上である場合にも、同様に実行される。 The above processing is similarly executed when the total number of subjects detected from the target image TI is 2 or 4 or more.
このように、第６実施例では、相対サイズが最大相対サイズに近い被写体のみが、最大相対サイズに基づいて調整された変形量ＤＱに従って変形される。その結果、比較的大きくて目立ちやすい被写体を変形させることができる。また、相対サイズが最大相対サイズと比べて十分に小さいく目立ちにくい被写体を変形することを防止できる。 As described above, in the sixth embodiment, only a subject whose relative size is close to the maximum relative size is deformed according to the deformation amount DQ adjusted based on the maximum relative size. As a result, a relatively large and conspicuous subject can be deformed. In addition, it is possible to prevent a subject whose relative size is sufficiently small compared to the maximum relative size from being deformed.
なお、選択閾値は所定の値に固定されていてもよい。ただし、最大相対サイズに基づいて、最大相対サイズよりも小さい値に選択閾値を設定すれば、対象画像ＴＩに合わせて処理対象を選択することができる。 Note that the selection threshold value may be fixed to a predetermined value. However, if the selection threshold is set to a value smaller than the maximum relative size based on the maximum relative size, the processing target can be selected according to the target image TI.
また、第６実施例では、全ての変形領域に共通の変形量ＤＱが適用される。そこで、変形量ＤＱの決定に利用される距離パラメータとしては、１枚の対象画像ＴＩに１つの値が対応付けられるようなパラメータを採用してもよい。例えば、上述の被写体距離Ｓｄを採用してもよく、また、上述の被写体距離レンジＳｄｒを採用してもよい。 In the sixth embodiment, a common deformation amount DQ is applied to all deformation regions. Therefore, as a distance parameter used for determining the deformation amount DQ, a parameter in which one value is associated with one target image TI may be employed. For example, the subject distance Sd described above may be employed, or the subject distance range Sdr described above may be employed.
Ｇ．第７実施例：
図２１は、第７実施例における顔形状補正処理の概略を示す説明図である。この第７実施例では、顔形状補正処理は、図２０に示す第６実施例と同様に、図１９に示す手順に従って実行される。図２０に示す第６実施例との差違は、ステップＳ１４０で、変形領域設定部２４０（図１４）は、ステップＳ１３０で複数の顔領域（すなわち、被写体）が検出された場合に、相対サイズが最大である顔領域（被写体）を選択する点だけである。図１９の他のステップは、第６実施例と同様に実行される。
G. Seventh embodiment:
FIG. 21 is an explanatory diagram showing an outline of face shape correction processing in the seventh embodiment. In the seventh embodiment, the face shape correction process is executed according to the procedure shown in FIG. 19, as in the sixth embodiment shown in FIG. The difference from the sixth embodiment shown in FIG. 20 is that in step S140, the deformation area setting unit 240 (FIG. 14) has a relative size that is detected when a plurality of face areas (that is, subjects) are detected in step S130. It is only the point that selects the largest face area (subject). The other steps in FIG. 19 are executed in the same manner as in the sixth embodiment.
図２１には、図２０と同じ対象画像ＴＩが処理される場合が示されている。図２０に示す第６実施例とは異なり、第７実施例では、相対サイズが最大である第１顔領域ＦＡ１のみが選択されている。 FIG. 21 shows a case where the same target image TI as in FIG. 20 is processed. Unlike the sixth embodiment shown in FIG. 20, in the seventh embodiment, only the first face area FA1 having the maximum relative size is selected.
以上の処理は、対象画像ＴＩから検出された被写体の総数が２、あるいは、４以上である場合にも、同様に実行される。 The above processing is similarly executed when the total number of subjects detected from the target image TI is 2 or 4 or more.
このように、第７実施例では、相対サイズが最大である被写体のみが、最大相対サイズに基づいて調整された変形量ＤＱに従って変形される。その結果、画像の全体を過剰に変形させずに、目立ちやすい最大被写体を変形させることができる。 As described above, in the seventh embodiment, only the subject having the maximum relative size is deformed according to the deformation amount DQ adjusted based on the maximum relative size. As a result, it is possible to deform the conspicuous maximum subject without excessively deforming the entire image.
なお、第７実施例では、変形量ＤＱの決定に利用される距離パラメータとしては、１枚の対象画像ＴＩに１つの値が対応付けられるようなパラメータを採用してもよい。例えば、上述の被写体距離Ｓｄを採用してもよく、また、上述の被写体距離レンジＳｄｒを採用してもよい。 In the seventh embodiment, as a distance parameter used for determining the deformation amount DQ, a parameter in which one value is associated with one target image TI may be employed. For example, the subject distance Sd described above may be employed, or the subject distance range Sdr described above may be employed.
Ｈ．変形領域の設定：
図２２は、顔領域ＦＡの検出結果の一例を示す説明図である。なお、以下の説明では、画像を選択するユーザインタフェースにおいて、１人の顔のみが含まれている画像ＴＮ１（図２）が選択されたものとしている。図２２に示すように、図４のステップＳ１３０において、対象画像ＴＩからは、１つの顔領域ＦＡが検出される。なお、対象画像ＴＩから複数の顔領域が検出された場合には、以下に説明する変形領域の設定処理は検出された個々の顔領域に対して行われる。図２２に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。
H. Deformation area settings:
FIG. 22 is an explanatory diagram showing an example of the detection result of the face area FA. In the following description, it is assumed that the image TN1 (FIG. 2) including only one face is selected in the user interface for selecting an image. As shown in FIG. 22, in step S130 of FIG. 4, one face area FA is detected from the target image TI. When a plurality of face areas are detected from the target image TI, the deformation area setting process described below is performed on each detected face area. The reference line RL shown in FIG. 22 is a line that defines the height direction (vertical direction) of the face area FA and indicates the center in the width direction (horizontal direction) of the face area FA. That is, the reference line RL is a straight line that passes through the center of gravity of the rectangular face area FA and is parallel to the boundary line along the height direction (vertical direction) of the face area FA.
図２３は、変形領域の設定処理の流れを示すフローチャートである。図２３のフローチャートに示す処理は、図４のステップＳ５００において実行される。ステップＳ５１０では、顔領域調整部２３０（図１）が、ステップＳ１３０（図４）で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図２２参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。 FIG. 23 is a flowchart showing the flow of the deformation area setting process. The process shown in the flowchart of FIG. 23 is executed in step S500 of FIG. In step S510, the face area adjustment unit 230 (FIG. 1) adjusts the position of the face area FA detected in step S130 (FIG. 4) in the height direction. Here, the position adjustment in the height direction of the face area FA means that the position of the face area FA along the reference line RL (see FIG. 22) is adjusted to reset the face area FA in the target image TI. I mean.
図２４は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ５１１では、顔領域調整部２３０（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。 FIG. 24 is a flowchart showing the flow of position adjustment processing in the height direction of the face area FA. In step S511, the face area adjustment unit 230 (FIG. 1) sets the specific area SA. Here, the specific area SA is an area on the target image TI and includes an image of a predetermined reference subject that is referred to when the position adjustment of the face area FA in the height direction is executed. The reference subject can be set to, for example, “eyes”. In this case, the specific area SA is set as an area including an image of “eyes”.
図２５は、特定領域ＳＡの一例を示す説明図である。顔領域調整部２３０は、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直交する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、顔領域検出部２２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。
FIG. 25 is an explanatory diagram illustrating an example of the specific area SA. The face
また、図２５に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。 As shown in FIG. 25, the specific area SA is set as a rectangular area that is symmetrical with respect to the reference line RL. The specific area SA is defined as an area on the left side (hereinafter also referred to as “left divided specific area SA (l)”) and an area on the right side (hereinafter referred to as “right divided specific area SA (r)”) by the reference line RL. Called). The specific area SA is set so that the image of one eye is included in each of the left divided specific area SA (l) and the right divided specific area SA (r).
ステップＳ５１２（図２４）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図２６は、評価値の算出方法の一例を示す説明図である。評価値の算出には、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）を用いるのが好ましい。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図２６に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。 In step S512 (FIG. 24), the face area adjustment unit 230 (FIG. 1) calculates an evaluation value for detecting the position of the eye image in the specific area SA. FIG. 26 is an explanatory diagram illustrating an example of an evaluation value calculation method. For the calculation of the evaluation value, it is preferable to use the R value (R component value) of each pixel of the target image TI as RGB image data. This is because the difference in the R value is large between the skin image and the eye image, and thus the detection accuracy of the eye image can be improved by using the R value for calculating the evaluation value. Because it is. In addition, since the data of the target image TI is acquired as RGB data, it is possible to increase the efficiency of calculation of the evaluation value by using the R value for calculation of the evaluation value. As shown in FIG. 26, the evaluation value is calculated individually for each of the two divided specific areas (the right divided specific area SA (r) and the left divided specific area SA (l)).
顔領域調整部２３０は、図２６に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直交するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。
As shown in FIG. 26, the face
顔領域調整部２３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図２７は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部２３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図２７（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図２７のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図２７（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。
The face
一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図２７（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図２７（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。 On the other hand, depending on the detection method of the face area FA and the setting method of the specific area SA, as shown in FIG. 27B, the target pixel specific line PL is parallel to the row direction (X direction) of the pixels of the target image TI. There may be cases where this is not possible. Even in such a case, in principle, a pixel that overlaps each target pixel specifying line PL is selected as the evaluation target pixel TP for each target pixel specifying line PL. However, for example, as in the relationship between the target pixel specifying line PL1 and the pixels PXa and PXb in FIG. 27B, a certain target pixel specifying line PL is located in the same column of the pixel matrix of the target image TI (that is, the Y coordinate). In the case where two pixels overlap with each other, the pixel having the shorter overlap distance (for example, the pixel PXb) is excluded from the evaluation target pixel TP. That is, for each target pixel specifying line PL, only one pixel is selected as the evaluation target pixel TP from one column of the pixel matrix.
なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。 When the inclination of the target pixel specifying line PL exceeds 45 degrees with respect to the X direction, the relationship between the column and the row of the pixel matrix is reversed in the above description, and one pixel from one row of the pixel matrix is reversed. Only the pixel to be evaluated TP is selected. Further, depending on the size relationship between the target image TI and the specific area SA, one pixel may be selected as the evaluation target pixel TP for a plurality of target pixel specific lines PL.
顔領域調整部２３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。
The face
以上のように、顔領域調整部２３０は、各対象画素特定線ＰＬについての評価値を算出する。ここで、対象画素特定線ＰＬは基準線ＲＬに直交する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。
As described above, the face
ステップＳ５１３（図２４）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部２３０は、図２６の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。
In step S513 (FIG. 24), the face area adjustment unit 230 (FIG. 1) detects the position of the eye in the specific area SA, and determines the height reference point Rh based on the detection result. First, as shown on the right side of FIG. 26, the face
黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。 In the case of the yellow race, the portion representing the skin image in the divided specific region has a large R value, while the portion representing the image of the eye (more specifically, the black eye portion at the center of the eye) has a small R value. . Therefore, as described above, the position along the reference line RL where the evaluation value (average value of R values) takes the minimum value can be determined as the eye position Eh. However, when other races (white race or black race) are targeted, other evaluation values (for example, luminance, brightness, B value) are used.
なお、図２６に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部２３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。
As shown in FIG. 26, the divided specific region may include other images having a small R value (for example, images of eyebrows and hairs) in addition to the eye image. Therefore, when the curve representing the distribution of evaluation values along the reference line RL has a plurality of minimum values, the face
また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。 Even if the curve is below the position of the eye image (mainly the position corresponding to the image of the skin), the evaluation value is large, but may have a minimum value. Of these, those larger than a predetermined threshold may be ignored. Alternatively, the position of the target pixel specifying line PL corresponding to the minimum value among the evaluation values calculated for each target pixel specifying line PL may be simply set as the eye position Eh.
なお、顔領域ＦＡの位置調整の最小被写体としては、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。そこで、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。 Note that, as a minimum subject for position adjustment of the face area FA, an eye (a black eye portion at the center of the eye), which is a part of the face that is considered to have a relatively large color difference from the surroundings, is used. However, since the average value of the R values as the evaluation values is calculated for a plurality of evaluation target pixels TP on the target pixel specifying line PL, for example, due to the influence of the image of the white part of the periphery of the black eye, There is a fear that the accuracy of detection will be reduced. Therefore, as described above, some evaluation target pixels TP that are considered to have a large color difference from the reference subject (for example, pixels having a relatively large R value belonging to the first group described above) are to be evaluated value calculation targets. Therefore, the reference subject detection accuracy is further improved.
次に、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２８は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。高さ基準点Ｒｈとしては、図２８に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。
Next, the face
なお、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出する。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２９は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２９に示すように、顔領域調整部２３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。
Note that the face
ステップＳ５１４（図２４）では、顔領域調整部２３０（図１）が、顔領域ＦＡの高さ方向の位置調整を行う。図３０は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図３０に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図３０の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。 In step S514 (FIG. 24), the face area adjustment unit 230 (FIG. 1) adjusts the position of the face area FA in the height direction. FIG. 30 is an explanatory diagram illustrating an example of a position adjustment method in the height direction of the face area FA. The position adjustment of the face area FA in the height direction is performed by resetting the face area FA so that the height reference point Rh is positioned at a predetermined position in the face area FA after the position adjustment. Specifically, as shown in FIG. 30, the face area FA is such that the height reference point Rh is located at a position where the height Hf of the face area FA is divided by a predetermined ratio r1 to r2. Is vertically adjusted along the reference line RL. In the example of FIG. 30, the adjusted face area FA indicated by the solid line is reset by moving the face area FA before adjustment indicated by the broken line upward.
顔領域ＦＡの位置調整の後、ステップＳ５２０（図２３）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、例えば「両目」に設定される。顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。 After the position adjustment of the face area FA, in step S520 (FIG. 23), the face area adjustment unit 230 (FIG. 1) performs inclination adjustment (angle adjustment) of the face area FA. Here, the tilt adjustment of the face area FA means that the face area FA is adjusted by adjusting the tilt of the face area FA in the target image TI to match the tilt of the face image, and the face area FA is reset. The predetermined reference subject to be referred to when the inclination adjustment of the face area FA is executed is set to “both eyes”, for example. In the inclination adjustment of the face area FA, a plurality of evaluation directions representing options of adjustment angles for inclination adjustment are set, and an evaluation specific area ESA corresponding to each evaluation direction is set as an area including images of both eyes. Then, an evaluation value is calculated based on the pixel value of the image in the evaluation specific area ESA for each evaluation direction, and the inclination of the face area FA is adjusted using the adjustment angle of the inclination adjustment determined based on the evaluation value.
図３１は、顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図３２は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ５２１（図３１）では、顔領域調整部２３０（図１）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図３０参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図３０参照）は、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図３２の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。 FIG. 31 is a flowchart showing the flow of the inclination adjustment processing of the face area FA. FIG. 32 is an explanatory diagram showing an example of an evaluation value calculation method for adjusting the inclination of the face area FA. In step S521 (FIG. 31), the face area adjustment unit 230 (FIG. 1) sets an initial evaluation specific area ESA (0). The initial evaluation specific area ESA (0) is an evaluation specific area ESA associated with a direction parallel to the reference line RL (see FIG. 30) after the position adjustment of the face area FA (hereinafter also referred to as “initial evaluation direction”). is there. The specific area SA (see FIG. 30) corresponding to the face area FA after the position adjustment is set as the initial evaluation specific area ESA (0) as it is. Note that the evaluation specific area ESA in the adjustment of the inclination of the face area FA is not divided into two areas on the left and right, unlike the specific area SA in the position adjustment of the face area FA. The set initial evaluation specific area ESA (0) is shown at the top of FIG.
ステップＳ５２２（図３１）では、顔領域調整部２３０（図１）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。具体的には、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図３２に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。 In step S522 (FIG. 31), the face area adjustment unit 230 (FIG. 1) sets a plurality of evaluation directions and evaluation specific areas ESA corresponding to the respective evaluation directions. The plurality of evaluation directions are set as directions representing options of adjustment angles for tilt adjustment. Specifically, a plurality of evaluation direction lines EL whose angles with the reference line RL are within a predetermined range are set, and a direction parallel to the evaluation direction line EL is set as the evaluation direction. As shown in FIG. 32, a straight line determined by rotating the reference line RL counterclockwise and clockwise at a predetermined angle α around the center point (center of gravity) CP of the initial evaluation specific area ESA (0), It is set as a plurality of evaluation direction lines EL. Note that the evaluation direction line EL whose angle with the reference line RL is φ degrees is represented as EL (φ).
上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は、±２０度に設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部２３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図３２には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。
The predetermined range about the angle formed by each evaluation direction line EL and the reference line RL described above is set to ± 20 degrees. Here, in this specification, the rotation angle when the reference line RL is rotated clockwise is represented by a positive value, and the rotation angle when the reference line RL is rotated counterclockwise is represented by a negative value. Is done. The face
各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図３２には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。 The evaluation specific area ESA corresponding to the evaluation direction line EL representing each evaluation direction rotates the initial evaluation specific area ESA (0) around the center point CP at the same angle as the rotation angle when setting the evaluation direction line EL. This is the area that was The evaluation specific area ESA corresponding to the evaluation direction line EL (φ) is represented as the evaluation specific area ESA (φ). In FIG. 32, evaluation specific areas ESA (ESA (−α), ESA (−2α), ESA (α) corresponding to the evaluation direction lines EL (−α), EL (−2α), and EL (α), respectively. )It is shown. Note that the initial evaluation specific area ESA (0) is also treated as one of the evaluation specific areas ESA.
ステップＳ５２３（図３１）では、顔領域調整部２３０（図１）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。顔領域ＦＡの傾き調整における評価値としては、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部２３０は、評価方向に沿った複数の評価位置についての評価値を算出する。
In step S523 (FIG. 31), the face area adjustment unit 230 (FIG. 1) calculates an evaluation value for each of the set plurality of evaluation directions based on the pixel value of the image of the evaluation specific area ESA. As the evaluation value in the inclination adjustment of the face area FA, the average value of the R values is used in the same manner as the evaluation value in the position adjustment of the face area FA described above. The face
評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部２３０は、図３２に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。
The evaluation value calculation method is the same as the evaluation value calculation method in the position adjustment of the face area FA described above. That is, as shown in FIG. 32, the face
評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図２６および図２７に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図３２の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。 The setting method of the target pixel specifying line PL and the selection method of the evaluation target pixel TP in the evaluation specific area ESA are different depending on whether the area is divided into right and left, but the face area FA shown in FIGS. This is the same as the method for position adjustment. As in the position adjustment of the face area FA, a part of the selected evaluation target pixels TP (for example, 0.75k pixels having a relatively large R value among the k evaluation target pixels TP). May be excluded from the evaluation value calculation target. The right side of FIG. 32 shows the distribution of the calculated evaluation values along the evaluation direction line EL for each evaluation direction.
なお、対象画素特定線ＰＬは評価方向線ＥＬに直交する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直交する方向に沿った画素値の分布の特徴を表す値と表現することができる。 Since the target pixel specifying line PL is a straight line orthogonal to the evaluation direction line EL, it can be expressed that the evaluation value is calculated for a plurality of positions (evaluation positions) along the evaluation direction line EL. In addition, the evaluation value can be expressed as a value representing the feature of the distribution of pixel values along the direction orthogonal to the evaluation direction line EL for each evaluation position.
ステップＳ５２４（図３１）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部２３０は、各評価方向について、ステップＳ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。
In step S524 (FIG. 31), the face area adjustment unit 230 (FIG. 1) determines an adjustment angle used for adjusting the inclination of the face area FA. The face
図３３は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図３３の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。 FIG. 33 is an explanatory diagram illustrating an example of a calculation result of evaluation value dispersion for each evaluation direction. In the example of FIG. 33, the variance has a maximum value Vmax in the evaluation direction in which the rotation angle is −α degrees. Therefore, a rotation angle of −α degrees, that is, α degrees counterclockwise is determined as an adjustment angle used for adjusting the inclination of the face area FA.
評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図３２の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直交する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直交する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図３２に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。 The reason why the angle corresponding to the evaluation direction when the variance of the evaluation values is maximized is determined as the adjustment angle used for the tilt adjustment will be described. As shown in the second row from the top in FIG. 32, in the evaluation specific area ESA (−α) when the rotation angle is −α degrees, the image of the central portion (black-eye portion) of the left and right eyes is substantially the target pixel. The arrangement is arranged in a direction parallel to the specific line PL (that is, a direction orthogonal to the evaluation direction line EL). At this time, the left and right eyebrows are similarly arranged in a direction substantially orthogonal to the evaluation direction line EL. Therefore, the evaluation direction corresponding to the evaluation direction line EL at this time is considered to be a direction that generally represents the inclination of the face image. At this time, the positional relationship between the image of the eye or eyebrow generally having a small R value and the image of the skin portion generally having a large R value is a small positional relationship of the overlapping portion along the direction of the target pixel specifying line PL. . Therefore, the evaluation value at the position of the eye or eyebrow image is relatively small, and the evaluation value at the position of the image of the skin portion is relatively large. Therefore, as shown in FIG. 32, the distribution of evaluation values along the evaluation direction line EL is a distribution having a relatively large variation (a large amplitude), and the variance value is large.
一方、図３２中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直交する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図３２に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。 On the other hand, as shown in the uppermost stage, the third stage, and the fourth stage in FIG. 32, the evaluation specific areas ESA (0), ESA (-2α) when the rotation angles are 0 degree, −2α degree, and α degree. , ESA (α), the center portions of the left and right eyes and the images of the left and right eyebrows are not aligned in the direction orthogonal to the evaluation direction line EL, but are shifted from each other. Therefore, the evaluation direction corresponding to the evaluation direction line EL at this time does not represent the inclination of the face image. At this time, the positional relationship between the image of the eyes and eyebrows and the image of the skin portion is a large positional relationship of the portion where both overlap along the direction of the target pixel specifying line PL. Therefore, the distribution of evaluation values along the evaluation direction line EL is a distribution with relatively small variation (small amplitude) as shown in FIG. 32, and the variance value is small.
以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。 As described above, when the evaluation direction is close to the inclination direction of the face image, the evaluation value variance along the evaluation direction line EL is large, and the evaluation direction is far from the inclination direction of the face image. In this case, the variance of the evaluation values along the evaluation direction line EL becomes small. Therefore, if the angle corresponding to the evaluation direction when the variance of the evaluation values is maximized is determined as the adjustment angle used for the inclination adjustment, the face area in which the inclination of the face area FA matches the inclination of the face image. FA tilt adjustment can be realized.
なお、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整は行われない。 In addition, when the calculation result of the variance of the evaluation values is a critical value in the angle range, that is, the maximum value at −20 degrees or 20 degrees, the face inclination is not accurately evaluated. Since the possibility is high, the inclination of the face area FA is not adjusted.
また、決定された調整角度は、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整は行われない。 Further, the determined adjustment angle is compared with the approximate inclination angle RI calculated at the time of adjusting the position of the face area FA described above. If the difference between the adjustment angle and the approximate inclination angle RI is larger than a predetermined threshold value, it is considered that some error has occurred during the evaluation and determination in the position adjustment and inclination adjustment of the face area FA. Position adjustment and tilt adjustment are not performed.
ステップＳ５２５（図３１）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整を行う。図３４は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ５２４において決定された調整角度だけ回転させることにより行う。図３４の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。 In step S525 (FIG. 31), the face area adjustment unit 230 (FIG. 1) adjusts the inclination of the face area FA. FIG. 34 is an explanatory diagram showing an example of a method for adjusting the inclination of the face area FA. The inclination adjustment of the face area FA is performed by rotating the face area FA about the center point CP of the initial evaluation specific area ESA (0) by the adjustment angle determined in step S524. In the example of FIG. 34, the adjusted face area FA indicated by the solid line is set by rotating the face area FA before adjustment indicated by the broken line by α degrees counterclockwise.
顔領域ＦＡの傾き調整終了後のステップＳ５３０（図２３）では、変形領域設定部２４０（図１）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図３５は、変形領域ＴＡの設定方法の一例を示す説明図である。図３５に示すように、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直交する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。 In step S530 (FIG. 23) after completion of the inclination adjustment of the face area FA, the deformation area setting unit 240 (FIG. 1) sets the deformation area TA. The deformation area TA is an area on the target image TI and is an area to be subjected to image deformation processing for face shape correction. FIG. 35 is an explanatory diagram showing an example of a method for setting the deformation area TA. As shown in FIG. 35, the deformation area TA is set as an area where the face area FA is expanded (or shortened) in a direction parallel to the reference line RL (height direction) and in a direction orthogonal to the reference line RL (width direction). Is done. Specifically, assuming that the size in the height direction of the face area FA is Hf and the size in the width direction is Wf, the face area FA is extended by k1 · Hf in the upward direction and k2 · Hf in the downward direction, A region extended by k3 · Wf to the left and right is set as the deformation region TA. Note that k1, k2, and k3 are predetermined coefficients.
このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。 When the deformation area TA is set in this way, the reference line RL, which is a straight line parallel to the contour line in the height direction of the face area FA, becomes a straight line parallel to the contour line in the height direction of the deformation area TA. . The reference line RL is a straight line that divides the width of the deformation area TA in half.
図３５に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、上述の係数ｋ１，ｋ２，ｋ３は、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づいて予め設定されている。 As shown in FIG. 35, the deformation area TA is set as an area that generally includes an image from the jaw to the forehead in the height direction and includes images of the left and right cheeks in the width direction. That is, the above-described coefficients k1, k2, and k3 are set in advance based on the relationship with the size of the face area FA so that the deformation area TA is an area that includes an image in such a range.
Ｉ．顔変形処理：
図３６は、変形処理の流れを示すフローチャートである。図３６のフローチャートに示す処理は、図４のステップＳ６００において実行される。ステップＳ６１０では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図３７は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。
I. Face transformation processing:
FIG. 36 is a flowchart showing the flow of deformation processing. The process shown in the flowchart of FIG. 36 is executed in step S600 of FIG. In step S610, the deformation area dividing unit 250 (FIG. 1) divides the deformation area TA into a plurality of small areas. FIG. 37 is an explanatory diagram showing an example of a method of dividing the deformation area TA into small areas. The deformation area dividing unit 250 arranges a plurality of division points D in the deformation area TA, and divides the deformation area TA into a plurality of small areas using a straight line connecting the division points D.
分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されている場合には、この変形タイプに対応付けられた態様で分割点Ｄが配置される。 The arrangement mode of the dividing points D (the number and positions of the dividing points D) is defined in association with the deformation type set in step S120 (FIG. 4) by the dividing point arrangement pattern table 410 (FIG. 1). . The deformation area dividing unit 250 refers to the dividing point arrangement pattern table 410 and arranges the dividing points D in a manner associated with the deformation type set in step S120. As described above, when the deformation “type A” (see FIG. 5) for sharpening the face is set as the deformation type, the division point D is arranged in a manner associated with the deformation type. The
図３７に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図３７に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直交する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。 As shown in FIG. 37, the dividing points D are arranged at the intersections of the horizontal dividing line Lh and the vertical dividing line Lv and the intersections of the horizontal dividing line Lh and the vertical dividing line Lv and the outer frame of the deformation area TA. . Here, the horizontal dividing line Lh and the vertical dividing line Lv are reference lines for arranging the dividing points D in the deformation area TA. As shown in FIG. 37, in the arrangement of the dividing points D associated with the deformation type for sharpening the face, two horizontal dividing lines Lh orthogonal to the reference line RL and 4 parallel to the reference line RL are used. A vertical division line Lv is set. The two horizontal dividing lines Lh are called Lh1 and Lh2 in order from the bottom of the deformation area TA. The four vertical dividing lines Lv are referred to as Lv1, Lv2, Lv3, and Lv4 in order from the left of the deformation area TA.
水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。 The horizontal dividing line Lh1 is arranged below the chin image in the deformation area TA, and the horizontal dividing line Lh2 is arranged near the eye image. The vertical dividing lines Lv1 and Lv4 are arranged outside the cheek line image, and the vertical dividing lines Lv2 and Lv3 are arranged outside the eye corner image. The horizontal dividing line Lh and the vertical dividing line Lv are arranged in the deformation area TA set in advance so that the positional relationship between the horizontal dividing line Lh and the vertical dividing line Lv and the image becomes the above-described positional relationship as a result. It is executed according to the correspondence with the size.
上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図３７に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。 According to the arrangement of the horizontal dividing line Lh and the vertical dividing line Lv described above, the intersection of the horizontal dividing line Lh and the vertical dividing line Lv, and the intersection of the horizontal dividing line Lh and the vertical dividing line Lv and the outer frame of the deformation area TA In addition, the dividing point D is arranged. As shown in FIG. 37, division points D located on the horizontal division line Lhi (i = 1 or 2) are referred to as D0i, D1i, D2i, D3i, D4i, and D5i in order from the left. For example, the dividing points D located on the horizontal dividing line Lh1 are called D01, D11, D21, D31, D41, D51. Similarly, the dividing points D located on the vertical dividing line Lvj (j = 1, 2, 3, 4) are called Dj0, Dj1, Dj2, Dj3 in order from the bottom. For example, the division points D located on the vertical division line Lv1 are called D10, D11, D12, and D13.
なお、図３７に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。 As shown in FIG. 37, the arrangement of the dividing points D in the present embodiment is symmetrical with respect to the reference line RL.
変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。図３７の例では、変形領域ＴＡは１５個の矩形の小領域に分割される。 The deformation area dividing unit 250 divides the deformation area TA into a plurality of small areas by a straight line connecting the arranged dividing points D (that is, the horizontal dividing line Lh and the vertical dividing line Lv). In the example of FIG. 37, the deformation area TA is divided into 15 rectangular small areas.
なお、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。 Since the arrangement of the dividing points D is determined by the numbers and positions of the horizontal dividing lines Lh and the vertical dividing lines Lv, the dividing point arrangement pattern table 410 defines the numbers and positions of the horizontal dividing lines Lh and the vertical dividing lines Lv. It can be paraphrased as being.
ステップＳ６２０（図３６）では、分割領域変形部２６０（図１）が、ステップＳ６１０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形する。 In step S620 (FIG. 36), the divided area deforming unit 260 (FIG. 1) moves the position of the dividing point D arranged in the deformed area TA in step S610 to deform the small area.
変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。 The movement mode (movement direction and movement distance) of the position of each division point D for the deformation process is determined by the division type and the degree of deformation set in step S120 (FIG. 4) by the division point movement table 420 (FIG. 1). Are determined in advance in association with the combination. The divided region deformation unit 260 refers to the divided point movement table 420 and moves the position of the divided point D with the moving direction and moving distance associated with the combination of the deformation type and the degree of deformation set in step S120. To do.
上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている場合には、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。 As described above, when the deformation “type A” (see FIG. 5) for sharpening the face is set as the deformation type and the degree of “medium” is set as the deformation degree, these deformations are performed. The position of the dividing point D is moved with the movement direction and the movement distance associated with the combination of the type and the degree of deformation.
また、変形度合いとして「自動」が選択されている場合には、移動方向および移動距離が、変形量調整部２９０によって調整された変形量ＤＱに基づいて決定される。
When “automatic” is selected as the degree of deformation, the moving direction and the moving distance are determined based on the deformation amount DQ adjusted by the deformation
図３８は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図３９は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図３８には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと変形度合い「自動」との組み合わせに対応付けられた移動態様を示している。図３８に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直交する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、テーブル中の移動量ＤＱｐは、変形量調整部２９０（図１、図１４）によって決定される。図４、図１９のステップＳ５９０では、変形量調整部２９０は、調整した変形量ＤＱを画素ピッチに換算することによって、移動量ＤＱｐを算出する。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰのＤＱｐ倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの２＊ＤＱｐ倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。なお、変形度合いとして「強（Ｓ）」、「中（Ｍ）」、「弱（Ｗ）」のいずれかが選択された場合には、移動量ＤＱｐとして、変形量調整部２９０によって調整された値の代わりに、各変形度合いに対応付けて予め決定された値が利用される。
FIG. 38 is an explanatory diagram showing an example of the contents of the dividing point movement table 420. FIG. 39 is an explanatory diagram showing an example of the movement of the position of the division point D according to the division point movement table 420. FIG. 38 shows a movement mode associated with a combination of a deformation type for sharpening the face and a deformation degree “automatic” among the movement modes of the position of the division point D defined by the division point movement table 420. Is shown. As shown in FIG. 38, in the dividing point movement table 420, for each dividing point D, the movement amount along the direction orthogonal to the reference line RL (H direction) and the direction parallel to the reference line RL (V direction) is displayed. It is shown. Note that the unit of movement amount shown in the dividing point movement table 420 is the pixel pitch PP of the target image TI. Further, the movement amount DQp in the table is determined by the deformation amount adjustment unit 290 (FIGS. 1 and 14). 4 and 19, the deformation
なお、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図３９に示す分割点Ｄ１０等）の位置は移動されない。従って、図３８に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。 Note that the position of the dividing point D (for example, the dividing point D10 shown in FIG. 39) located on the outer frame of the deformation area TA is not moved so that the boundary between the images inside and outside the deformation area TA does not become unnatural. Therefore, in the dividing point movement table 420 shown in FIG. 38, the movement mode for the dividing point D located on the outer frame of the deformation area TA is not defined.
図３９では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ'と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図３９において右上方向に移動され、分割点Ｄ'１１となる。 In FIG. 39, the division point D before the movement is indicated by a white circle, and the division point D after the movement or the division point D without the movement of the position is indicated by a black circle. The divided point D after the movement is called a divided point D ′. For example, the position of the dividing point D11 is moved in the upper right direction in FIG. 39 and becomes the dividing point D′ 11.
なお、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。 It should be noted that all of the combinations of the two division points D (for example, combinations of the division points D11 and D41) that have a symmetric positional relationship with respect to the reference line RL are all relative to the reference line RL after the division point D is moved. The movement mode is determined so as to maintain a symmetrical positional relationship.
分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３９において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ'１１，Ｄ'２１，Ｄ２２，Ｄ'１２を頂点とする小領域の画像に変形される。 For each small area constituting the deformation area TA, the divided area deforming unit 260 is an image of a small area newly defined by moving the position of the dividing point D. The image is deformed so that For example, in FIG. 39, an image of a small region (small region indicated by hatching) having vertices at division points D11, D21, D22, and D12 is divided into division points D′ 11, D′ 21, D22, and D′ 12. Is transformed into an image of a small area with the vertex at.
図４０は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図４０では、分割点Ｄを黒丸で示している。図４０では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図４０の例では、中央の分割点Ｄａが分割点Ｄａ'の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ'，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。 FIG. 40 is an explanatory diagram showing the concept of the image deformation processing method by the divided region deformation unit 260. In FIG. 40, the dividing point D is indicated by a black circle. In FIG. 40, in order to simplify the description, for the four small regions, the state before the position movement of the dividing point D is shown on the left side, and the state after the position movement of the dividing point D is shown on the right side. In the example of FIG. 40, the central dividing point Da is moved to the position of the dividing point Da ′, and the positions of the other dividing points D are not moved. Thereby, for example, an image of a rectangular small area (hereinafter also referred to as “pre-deformation noticeable small area BSA”) having the vertices at the division points Da, Db, Dc, Dd before the movement of the division point D is obtained from the division point Da ′. , Db, Dc, and Dd are transformed into an image of a rectangular small area (hereinafter also referred to as “the noticed small area ASA after deformation”).
画像の変形処理は、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で行われる。図４０の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ'を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ'，Ｄｄおよび重心ＣＧ'を頂点とする三角形領域の画像に変形される。 The image deformation process is performed in units of triangular areas by dividing a rectangular small area into four triangular areas using the center of gravity CG of the small area. In the example of FIG. 40, the pre-deformation attention small area BSA is divided into four triangular areas having the centroid CG of the pre-deformation attention small area BSA as one vertex. Similarly, the post-deformation attention small area ASA is divided into four triangular areas having the centroid CG ′ of the post-deformation attention small area ASA as one vertex. Then, image deformation processing is performed for each corresponding triangular area in each state before and after the movement of the dividing point Da. For example, an image of a triangular area having vertices at the division points Da and Dd and the center of gravity CG in the attention small area BSA before deformation has a vertex at the division points Da ′ and Dd and the center of gravity CG ′ in the attention small area ASA after deformation. It is transformed into an image of a triangular area.
図４１は、三角形領域における画像の変形処理方法の概念を示す説明図である。図４１の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ'，ｔ'，ｕ'を頂点とする三角形領域ｓ'ｔ'ｕ'の画像に変形される。画像の変形は、変形後の三角形領域ｓ'ｔ'ｕ'の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。 FIG. 41 is an explanatory diagram showing the concept of an image deformation processing method in a triangular area. In the example of FIG. 41, an image of a triangular area stu having points s, t, and u as vertices is transformed into an image of a triangular area s't'u 'having s', t ', and u' as vertices. . For the deformation of the image, the position of a certain pixel in the image of the triangular area s't'u 'after the deformation corresponds to the position in the image of the triangular area stu before the deformation, and the calculated position This is performed by using the pixel value in the image before deformation in step S4 as the pixel value of the image after deformation.
例えば、図４１において、変形後の三角形領域ｓ'ｔ'ｕ'の画像中の注目画素ｐ'の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ'の位置を、下記の式（１）のようにベクトルｓ'ｔ'とベクトルｓ'ｕ'との和で表現するための係数ｍ１およびｍ２を算出する。 For example, in FIG. 41, the position of the target pixel p ′ in the image of the triangular area s′t′u ′ after deformation corresponds to the position p in the image of the triangular area stu before deformation. The position p is calculated as follows. First, coefficients m1 and m2 for expressing the position of the pixel of interest p ′ as a sum of a vector s′t ′ and a vector s′u ′ as shown in the following equation (1) are calculated.
次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。 Next, by using the calculated coefficients m1 and m2, the position p is obtained by calculating the sum of the vector st and the vector su in the triangular area stu before deformation by the following equation (2).
変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。 When the position p in the triangular area stu before deformation coincides with the pixel center position of the image before deformation, the pixel value of the pixel is set as the pixel value of the image after deformation. On the other hand, when the position p in the triangular area stu before deformation is shifted from the pixel center position of the image before deformation, an interpolation operation such as bicubic using the pixel values of the pixels around the position p. Thus, the pixel value at the position p is calculated, and the calculated pixel value is set as the pixel value of the image after deformation.
変形後の三角形領域ｓ'ｔ'ｕ'の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ'ｔ'ｕ'の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図３９に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。 Image deformation from the image of the triangular area stu to the image of the triangular area s't'u 'by calculating the pixel value for each pixel in the image of the triangular area s't'u' after the deformation as described above Processing can be performed. The divided area deformation unit 260 performs a deformation process by defining a triangular area as described above for each small area constituting the deformation area TA shown in FIG. 39, and performs an image deformation process in the deformation area TA.
ここで、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして「自動」が設定された場合を例に取り、顔形状補正の態様についてより詳細に説明する。図４２は、この場合における顔形状補正の態様を示す説明図である。図４２には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。 Here, a case where the deformation “type A” (see FIG. 5) for sharpening the face is set as the deformation type and “automatic” is set as the deformation degree will be taken as an example. This will be described in detail. FIG. 42 is an explanatory diagram showing a form of face shape correction in this case. In FIG. 42, the image of the deformation | transformation aspect of each small area | region which comprises deformation | transformation area | region TA is shown with the arrow.
図４２の例に示す顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図３８参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、この顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。 In the face shape correction shown in the example of FIG. 42, the position of the dividing point D (D11, D21, D31, D41) arranged on the horizontal dividing line Lh1 is upward in the direction (V direction) parallel to the reference line RL. On the other hand, the position of the dividing point D (D12, D22, D32, D42) arranged on the horizontal dividing line Lh2 is not moved (see FIG. 38). Therefore, the image located between the horizontal dividing line Lh1 and the horizontal dividing line Lh2 is reduced in the V direction. As described above, since the horizontal dividing line Lh1 is disposed below the jaw image and the horizontal dividing line Lh2 is disposed near the lower part of the eye image, in this face shape correction, in the face image, the jaw The image of the part from the eye to the bottom of the eye is reduced in the V direction. As a result, the jaw line in the image moves upward.
他方、基準線ＲＬと直交する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３８参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３８参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。 On the other hand, regarding the direction (H direction) orthogonal to the reference line RL, the position of the dividing point D (D11, D12) arranged on the vertical dividing line Lv1 is moved rightward and arranged on the vertical dividing line Lv4. The position of the dividing point D (D41, D42) is moved to the left (see FIG. 38). Further, of the two division points D arranged on the vertical division line Lv2, the position of the division point D (D21) arranged on the horizontal division line Lh1 is moved rightward and arranged on the vertical division line Lv3. Of the two divided points D, the position of the divided point D (D31) arranged on the horizontal dividing line Lh1 is moved to the left (see FIG. 38). Therefore, the image located on the left side of the vertical dividing line Lv1 is enlarged on the right side in the H direction, and the image located on the right side of the vertical dividing line Lv4 is enlarged on the left side. An image located between the vertical dividing line Lv1 and the vertical dividing line Lv2 is reduced or moved to the right in the H direction, and an image located between the vertical dividing line Lv3 and the vertical dividing line Lv4 is moved in the H direction. Is reduced or moved to the left. Further, the image located between the vertical division line Lv2 and the vertical division line Lv3 is reduced in the H direction with the position of the horizontal division line Lh1 as the center.
上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、図４２の例における顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。 As described above, the vertical division lines Lv1 and Lv4 are arranged outside the cheek line image, and the vertical division lines Lv2 and Lv3 are arranged outside the corner image. Therefore, in the face shape correction in the example of FIG. 42, the image of the portion outside the both corners of the face image is reduced in the H direction as a whole. In particular, the reduction rate is high near the jaw. As a result, the shape of the face in the image becomes thinner in the width direction as a whole.
上述したＨ方向およびＶ方向の変形態様を総合すると、図４２の例に示した顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。 When the deformation modes in the H direction and the V direction described above are combined, the face shape in the target image TI is sharpened by the face shape correction shown in the example of FIG. Note that a sharp face shape can be expressed as a so-called “small face”.
なお、図４２に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図３８に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように図４２の例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。 Note that the small regions (hatched regions) having the vertices at the division points D22, D32, D33, and D23 shown in FIG. 42 are determined according to the arrangement method of the horizontal division lines Lh2 and the vertical division lines Lv2 and Lv3. This area includes the image. As shown in FIG. 38, since the division points D22 and D32 are not moved in the H direction or the V direction, the small region including the images of both eyes is not deformed. In this way, in the example of FIG. 42, the small region including the images of both eyes is not deformed, and the image after the face shape correction is made more natural and preferable.
Ｊ．他の変形処理：
図４３は、変形処理の他の実施例を示す概略図である。図８に示す変形処理とは異なり、図４３の例では、対象画像ＴＩ上の一部の変形領域が変形される代わりに、対象画像ＴＩの全体のアスペクト比が変更される。
J. et al. Other transformations:
FIG. 43 is a schematic view showing another embodiment of the deformation process. Unlike the deformation process shown in FIG. 8, in the example of FIG. 43, the entire aspect ratio of the target image TI is changed instead of deforming a part of the deformation area on the target image TI.
図４３（Ａ）は、変形前の対象画像ＴＩを示し、図４３（Ｂ）は変形後の画像ＴＩｄを示している。また、図中には、互いに直交する２つの方向Ｄｒ１、Ｄｒ２が示されている。第１方向Ｄｒ１は、矩形画像ＴＩ、ＴＩｄの短辺と平行な方向を示し、第２方向Ｄｒ２は、矩形画像ＴＩ、ＴＩｄの長辺と平行な方向を示している。図４３の例では、顔の幅方向は、第２方向Ｄｒ２とほぼ一致している。 FIG. 43A shows the target image TI before deformation, and FIG. 43B shows the image TId after deformation. In the figure, two directions Dr1 and Dr2 orthogonal to each other are shown. The first direction Dr1 indicates a direction parallel to the short sides of the rectangular images TI and TId, and the second direction Dr2 indicates a direction parallel to the long sides of the rectangular images TI and TId. In the example of FIG. 43, the face width direction substantially coincides with the second direction Dr2.
図４３の例では、第１方向Ｄｒ１に沿った変形は実行されずに、第２方向Ｄｒ２に沿った変形（圧縮）が実行される。この変形によって、画像の全体が、第２方向Ｄｒ２に沿って圧縮される。すなわち、対象画像ＴＩ上の被写体の幅も狭くなる。その結果、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。 In the example of FIG. 43, the deformation (compression) along the second direction Dr2 is performed without performing the deformation along the first direction Dr1. By this deformation, the entire image is compressed along the second direction Dr2. That is, the width of the subject on the target image TI is also narrowed. As a result, the impression of the subject obtained by observing the image can be brought close to the impression obtained by observing the real object.
この変形では、変形済画像ＴＩｄの第２方向Ｄｒ２の大きさ（幅ＩＷｄ）が、変形前の大きさ（幅ＩＷ）と比べて、変形量ＤＱの２倍だけ小さくなる。すなわち、変形済画像ＴＩｄの第２方向Ｄｒ２方向の画素数が、変形前の画素数と比べて、少なくなる。ここで、変形済画像ＴＩｄの画素値（各画素の階調値）の決定方法としては、種々の方法を採用可能である。例えば、対象画像ＴＩの画素値を補間することによって、変形済画像ＴＩｄの画素値を決定してもよい。 In this deformation, the size (width IWd) of the deformed image TId in the second direction Dr2 is smaller by twice the deformation amount DQ than the size (width IW) before the deformation. That is, the number of pixels in the second direction Dr2 direction of the deformed image TId is smaller than the number of pixels before the deformation. Here, various methods can be adopted as a method of determining the pixel value (gradation value of each pixel) of the deformed image TId. For example, the pixel value of the transformed image TId may be determined by interpolating the pixel value of the target image TI.
変形量ＤＱとしては、上述の各実施例で説明した任意の変形量を採用可能である。例えば、被写体距離Ｓｄに基づいて決定された変形量ＤＱを採用してもよく、被写体距離レンジＳｄｒに基づいて決定された変形量ＤＱを採用してもよく、相対サイズＥｙｒに基づいて決定された変形量ＤＱを採用してもよい。また、複数の被写体が検出される場合には、最大の相対サイズＥｙｒに基づいて決定された変形量ＤＱを採用してもよい。 As the deformation amount DQ, any deformation amount described in the above embodiments can be adopted. For example, the deformation amount DQ determined based on the subject distance Sd may be employed, or the deformation amount DQ determined based on the subject distance range Sdr may be employed, which is determined based on the relative size Eyr. The deformation amount DQ may be adopted. When a plurality of subjects are detected, the deformation amount DQ determined based on the maximum relative size Eyr may be employed.
なお、２つの方向Ｄｒ１、Ｄｒ２から圧縮すべき方向を、被写体の方向の検出結果に基づいて選択することが好ましい。例えば、顔領域検出部２２０（図１）は、図２２、図４３（Ａ）に示すように、顔領域ＦＡの高さ方向（上下方向）を示す基準線ＲＬを検出可能である。そこで、２つの方向Ｄｒ１、Ｄｒ２の内の、この基準線ＲＬとのなす角度が大きい方の方向を選択することが好ましい（図４３の例では、第２方向Ｄｒ２）。こうすば、被写体の幅（水平方向の大きさ）を小さくすることができる。 It is preferable to select a direction to be compressed from the two directions Dr1 and Dr2 based on the detection result of the direction of the subject. For example, as shown in FIGS. 22 and 43A, the face area detection unit 220 (FIG. 1) can detect the reference line RL indicating the height direction (vertical direction) of the face area FA. Therefore, it is preferable to select a direction having a larger angle between the reference line RL and the two directions Dr1 and Dr2 (in the example of FIG. 43, the second direction Dr2). In this way, the width (horizontal size) of the subject can be reduced.
なお、対象画像ＴＩの全体のアスペクト比を変更する変形処理を採用する場合には、顔形状補正部として、図１に示すような顔形状補正部２００を採用可能である。ただし、変形処理部から、変形領域分割部２５０と分割領域変形部２６０とを省略することができる。その代わりに、変形処理部は、対象画像ＴＩのアスペクト比を変更する機能を有していればよい。また、顔領域調整部２３０と変形領域設定部２４０とを省略可能である。顔領域検出部２２０は、被写体の方向を検出するために利用され得る。ただし、顔領域検出部２２０を省略してもよい。また、相対サイズＥｙｒを利用する場合には、サイズ算出部２９２（図１４）を追加すればよい。
Note that when a deformation process that changes the overall aspect ratio of the target image TI is employed, a face
ここで、被写体の幅方向に沿って対象画像ＴＩを圧縮する変形処理の代わりに、被写体の高さ方向に沿って対象画像ＴＩを伸張する変形処理を採用してもよい。この場合も、被写体の高さに対する幅の比率が小さくなるので、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。 Here, instead of the deformation process for compressing the target image TI along the width direction of the subject, a deformation process for expanding the target image TI along the height direction of the subject may be employed. Also in this case, since the ratio of the width to the height of the subject becomes small, the impression of the subject obtained by observing the image can be made closer to the impression obtained by observing the real object.
Ｋ．変形例：
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
K. Variation:
In addition, elements other than the elements claimed in the independent claims among the constituent elements in each of the above embodiments are additional elements and can be omitted as appropriate. The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.
変形例１：
上記各実施例では、変形領域を矩形の領域として設定しているが、変形領域の形状は、他の形状（例えば、楕円や菱形）であってもよい。
Modification 1:
In each of the above embodiments, the deformation area is set as a rectangular area, but the shape of the deformation area may be another shape (for example, an ellipse or a rhombus).
変形例２：
上記各実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正と補正画像の表示（ステップＳ１００，Ｓ２００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ３００）のみがプリンタにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
Modification 2:
In each of the above embodiments, the face shape correction printing process (FIG. 3) by the
また、変形済画像データは、印刷に限らず、任意の用途に利用可能である。例えば、表示装置（例えば、プロジェクタ）による表示を採用してもよい。 The deformed image data can be used not only for printing but also for any purpose. For example, display by a display device (for example, a projector) may be employed.
変形例３：
上述の各実施例において、被写体としては、人（顔）に限らず任意の被写体を採用可能である。例えば、建築物や車両を採用してもよい。いずれの場合も、距離パラメータが示す距離が近いほど強く（大きく）なるように変形の度合いを調整すれば、距離に合わせて画像を適切に変形させることができる。また、対象画像から被写体を検出する方法としては、任意の方法を採用可能である。また、サイズ算出部２９２（図１４）は、被写体の全体と一部分との少なくとも一方であって実際の大きさが個体に依存せずにほぼ同じ部分のサイズを解析することによって、対象画像上のサイズを算出すればよい。
Modification 3:
In each of the embodiments described above, the subject is not limited to a person (face), and any subject can be employed. For example, a building or a vehicle may be adopted. In either case, if the degree of deformation is adjusted so as to be stronger (larger) as the distance indicated by the distance parameter is shorter, the image can be appropriately deformed according to the distance. In addition, any method can be adopted as a method for detecting the subject from the target image. Further, the size calculation unit 292 (FIG. 14) analyzes the size of at least one of the entire subject and a part of the subject, and the actual size does not depend on the individual, thereby analyzing the size of the target image. What is necessary is just to calculate a size.
変形例４：
上述の各実施例において、変形処理としては種々の処理を採用可能である。例えば、変形領域内の画像を、被写体の高さ方向には変形させずに、被写体の水平方向にのみ変形させてもよい。
Modification 4:
In the above-described embodiments, various processes can be employed as the deformation process. For example, the image in the deformation area may be deformed only in the horizontal direction of the subject without being deformed in the height direction of the subject.
いずれの場合も、変形処理としては、被写体の少なくとも一部分の対象画像ＴＩ上における少なくとも一方向（以下「短縮方向」と呼ぶ）の大きさが小さくなるような変形処理を採用することが好ましい。こうすれば、観察者から見た横方向に短縮方向が向くような角度で画像と実物とを観察した場合に、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。ここで、被写体の輪郭によって示される大きさを、短縮方向に小さくすることが好ましい。すなわち、輪郭で囲まれる領域の短縮方向の長さが小さくなることが好ましい。このように、変形処理によって、被写体の少なくとも輪郭が変形されることが好ましい。こうすれば、画像の観察によって得られる被写体の印象を、適切に、実物の観察によって得られる印象に近づけることができる。 In any case, as the deformation process, it is preferable to employ a deformation process in which the size of at least one direction of the subject on the target image TI (hereinafter referred to as a “shortening direction”) is reduced. In this way, when the image and the real object are observed at an angle such that the horizontal direction viewed from the observer is in the shortened direction, the impression of the subject obtained by observing the image is brought closer to the impression obtained by observing the real object. be able to. Here, it is preferable to reduce the size indicated by the contour of the subject in the shortening direction. That is, it is preferable that the length in the shortening direction of the region surrounded by the outline is small. Thus, it is preferable that at least the contour of the subject is deformed by the deformation process. In this way, the impression of the subject obtained by observing the image can be appropriately brought close to the impression obtained by observing the real object.
なお、短縮方向は、対象画像ＴＩ上の任意の方向に設定可能である。例えば、所定の方向（例えば、対象画像ＴＩの長辺と平行な方向）を短縮方向として採用してもよい。ただし、短縮方向と被写体の幅方向とがなす角度が３０度以下であることが好ましく、この角度が１５度以下であることが特に好ましく、短縮方向が被写体の幅方向に向けられることが最も好ましい。こうすれば、多くの場合において、自然で好ましい変形を実行することができる。 The shortening direction can be set to any direction on the target image TI. For example, a predetermined direction (for example, a direction parallel to the long side of the target image TI) may be adopted as the shortening direction. However, the angle formed between the shortening direction and the width direction of the subject is preferably 30 degrees or less, particularly preferably 15 degrees or less, and most preferably the shortening direction is directed to the width direction of the subject. . In this way, natural and favorable deformations can be performed in many cases.
ここで、被写体の幅方向に近くなるように短縮方向を決定する方法としては、種々の方法を採用可能である。例えば、変形処理部は、被写体の幅方向と関連のある情報を利用することによって、短縮方向を決定してもよい。被写体の幅方向と関連のある情報としては、種々の情報を採用可能である。例えば、被写体の方向の検出結果を採用可能である。上述の実施例では、顔領域検出部２２０（図１、図１４）は、対象画像ＴＩを解析することによって被写体（この場合は顔）の方向を検出する。また、撮影装置の中には、撮影時の地面に対する鉛直方向（重力方向）を示す鉛直情報を、履歴情報として画像ファイルに格納するものがある。このような鉛直情報を利用可能な場合には、鉛直情報に基づいて対象画像ＴＩ上の重力方向を特定することができ、その重力方向と垂直な方向を被写体の幅方向として採用することができる。 Here, various methods can be adopted as a method of determining the shortening direction so as to be close to the width direction of the subject. For example, the deformation processing unit may determine the shortening direction by using information related to the width direction of the subject. Various types of information can be used as information related to the width direction of the subject. For example, the detection result of the direction of the subject can be adopted. In the above-described embodiment, the face area detection unit 220 (FIGS. 1 and 14) detects the direction of the subject (in this case, the face) by analyzing the target image TI. Some photographing apparatuses store vertical information indicating a vertical direction (gravity direction) with respect to the ground at the time of photographing in an image file as history information. When such vertical information is available, the direction of gravity on the target image TI can be specified based on the vertical information, and the direction perpendicular to the direction of gravity can be adopted as the width direction of the subject. .
また、変形処理部は、ユーザの指示に従って短縮方向を決定してもよい。例えば、変形処理部は、被写体の幅方向を示す指示を受け入れ、受け入れた指示に従って短縮方向を決定してもよい。 Further, the deformation processing unit may determine the shortening direction in accordance with a user instruction. For example, the deformation processing unit may receive an instruction indicating the width direction of the subject and determine the shortening direction according to the received instruction.
また、被写体の幅方向が、対象画像ＴＩ上の所定の方向と一致することが予め決まっている場合がある。例えば、一般的なユーザによって撮影された対象画像ＴＩでは、被写体の幅方向は、対象画像ＴＩの長辺と平行であることが多い。このような場合には、変形処理部は、対象画像ＴＩ上の所定の方向（この場合は、長辺と平行な方向）を、被写体の幅方向として採用してもよい。すなわち、対象画像ＴＩ上の所定の方向を短縮方向として採用してもよい。 In some cases, the width direction of the subject is determined in advance to match a predetermined direction on the target image TI. For example, in a target image TI taken by a general user, the width direction of the subject is often parallel to the long side of the target image TI. In such a case, the deformation processing unit may adopt a predetermined direction on the target image TI (in this case, a direction parallel to the long side) as the width direction of the subject. That is, a predetermined direction on the target image TI may be adopted as the shortening direction.
以上の説明は、被写体が人物の顔とは異なる場合についても、同様に適用可能である。また、被写体の変形される部分は、任意に設定可能である。 The above description can be similarly applied to a case where the subject is different from a human face. Further, the portion of the subject to be deformed can be arbitrarily set.
変形例５：
上述の各実施例において、対象画像ＴＩ上における被写体のサイズとしては、図１５に示す相対サイズＥｙｒに限らず、種々のパラメータを採用可能である。例えば、被写体を表す画像領域の面積をサイズとして採用してもよい。被写体として顔を採用する場合には、所定の肌色範囲の色を示す画素の総数を、被写体のサイズとして利用することができる。サイズ算出に利用される画素は、１つの顔領域ＦＡ内から選択されることが好ましい。ここで、対象画像ＴＩの画素密度に依存しないサイズを算出するためには、被写体を表す画素の総数を対象画像ＴＩの全画素数で割った値を、サイズとして利用することが好ましい。
Modification 5:
In each of the embodiments described above, the size of the subject on the target image TI is not limited to the relative size Eyr shown in FIG. 15, and various parameters can be employed. For example, the area of the image area representing the subject may be adopted as the size. When a face is adopted as a subject, the total number of pixels indicating colors in a predetermined skin color range can be used as the subject size. The pixels used for size calculation are preferably selected from one face area FA. Here, in order to calculate the size independent of the pixel density of the target image TI, it is preferable to use a value obtained by dividing the total number of pixels representing the subject by the total number of pixels of the target image TI as the size.
変形例６：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１の変形領域分割部２５０と分割領域変形部２６０との全体の機能を、論理回路を有するハードウェア回路によって実現してもよい。
Modification 6:
In each of the above embodiments, a part of the configuration realized by hardware may be replaced by software, and conversely, a part of the configuration realized by software may be replaced by hardware. . For example, the entire functions of the modified region dividing unit 250 and the divided region modifying unit 260 of FIG. 1 may be realized by a hardware circuit having a logic circuit.
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。 In addition, when part or all of the functions of the present invention are realized by software, the software (computer program) can be provided in a form stored in a computer-readable recording medium. In the present invention, the “computer-readable recording medium” is not limited to a portable recording medium such as a flexible disk or a CD-ROM, but an internal storage device in a computer such as various RAMs and ROMs, a hard disk, and the like. An external storage device fixed to the computer is also included.
変形例７：
［変形処理を行うための手段］
変形処理を行うために、画像処理装置は、画像の変形を行う画像処理装置であって、対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備えるものとしてもよい。
Modification 7:
[Means for performing deformation processing]
In order to perform the deformation process, the image processing apparatus is an image processing apparatus that performs image deformation, and includes a deformation area setting unit that sets at least a part of an area on the target image as a deformation area; A plurality of dividing points, a deformation area dividing unit that divides the deformation area into a plurality of small areas using a straight line connecting the dividing points, and moving the position of at least one of the dividing points to move the small area And a deformation processing unit that deforms an image in the deformation area by deforming the image.
この画像処理装置では、対象画像上に設定された変形領域内に複数の分割点が配置され、分割点同士を結ぶ直線を用いて変形領域が複数の小領域に分割される。また、分割点の位置が移動され、小領域が変形されることにより変形領域内の画像の変形処理が実行される。このように、この画像処理装置では、変形領域内に分割点を配置して、配置された分割点を移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形の画像処理を、容易に、かつ効率的に実現することができる。 In this image processing apparatus, a plurality of division points are arranged in a deformation area set on the target image, and the deformation area is divided into a plurality of small areas using straight lines connecting the division points. Also, the position of the dividing point is moved, and the small area is deformed, whereby the deformation process of the image in the deformed area is executed. As described above, in this image processing apparatus, it is possible to perform image deformation by simply arranging the dividing points in the deformation area and moving the arranged dividing points, and image deformation images corresponding to various deformation modes. Processing can be realized easily and efficiently.
上記画像処理装置において、さらに、複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置するとしてもよい。 The image processing apparatus further includes a deformation mode setting unit that selects one of a plurality of predetermined deformation types and sets it as a deformation type to be applied to the deformation of the image in the deformation area. The unit may arrange the plurality of division points according to a predetermined arrangement pattern associated with the set deformation type.
このようにすれば、例えば顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点の配置、すなわち変形領域の分割が行われるため、各変形タイプに対応した画像変形のための画像処理のさらなる容易化を実現することができる。 In this way, for example, the arrangement of division points suitable for each deformation type, such as the deformation type that sharpens the face and the deformation type that enlarges the eyes, that is, the division of the deformation area is performed. Further simplification of image processing for image deformation can be realized.
また、上記画像処理装置において、前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動するとしてもよい。 In the image processing apparatus, the deformation mode setting unit selects one of a plurality of predetermined deformation degrees and sets it as a deformation degree to be applied to the deformation of the image in the deformation area, and the deformation process The unit may move the position of the division point according to a predetermined movement direction and movement amount associated with the combination of the set deformation type and the deformation degree.
このようにすれば、変形タイプと変形度合いとが設定されれば、それらの組み合わせに応じた画像変形が実行されるため、画像変形のための画像処理のさらなる容易化を実現することができる。 In this way, if the deformation type and the degree of deformation are set, image deformation according to the combination thereof is executed, so that it is possible to further facilitate image processing for image deformation.
また、上記画像処理装置において、前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動するとしてもよい。 In the image processing apparatus, the deformation mode setting unit includes a designation obtaining unit that obtains a user designation regarding a movement direction and a movement amount of the division point for at least one of the division points, and the deformation processing unit includes: The position of the division point may be moved according to the acquired user designation.
このようにすれば、よりユーザの希望に近い態様での画像変形のための画像処理を容易に実現することができる。 In this way, it is possible to easily realize image processing for image deformation in a manner closer to the user's desire.
また、上記画像処理装置において、前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定するとしてもよい。 In the image processing apparatus, the deformation area setting unit may set the deformation area so that at least a part of an image of a face is included in the deformation area.
このようにすれば、顔の画像を対象として、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。 In this way, it is possible to easily and efficiently realize image processing for image deformation corresponding to various deformation modes for a face image.
また、上記画像処理装置において、前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動するとしてもよい。 In the image processing apparatus, the deformation region dividing unit arranges the plurality of division points so that at least one set of the division points is arranged at positions symmetrical to each other with respect to a predetermined reference line, The deformation processing unit may move the at least one set of division points while maintaining a positional relationship that is symmetrical with respect to the predetermined reference line.
このようにすれば、所定の基準線に対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。 In this way, image deformation that is bilaterally symmetric with respect to a predetermined reference line is performed, and image processing for image deformation of a more natural and preferable face image can be realized.
また、上記画像処理装置において、前記変形処理部は、少なくとも１つの前記小領域について、変形を行わないとしてもよい。 In the image processing apparatus, the deformation processing unit may not perform deformation on at least one of the small regions.
このようにすれば、顔の印象を大きく変更することなく所望の画像変形を行うことが可能となり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。 In this way, it is possible to perform desired image deformation without greatly changing the impression of the face, and it is possible to realize image processing for more natural and preferable face image deformation.
また、上記画像処理装置において、前記変形処理部は、目の画像を含む前記小領域について、変形を行わないとしてもよい。 In the image processing apparatus, the deformation processing unit may not perform deformation on the small region including the eye image.
このようにすれば、目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。 In this way, it is possible to realize image processing for image deformation of a more natural and preferable face image by not performing deformation on a small region including an eye image.
また、上記画像処理装置において、さらに、前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定するとしてもよい。 The image processing apparatus further includes a face area detection unit that detects a face area representing a face image on the target image, and the deformation area setting unit is configured to detect the deformation area based on the detected face area. May be set.
このようにすれば、対象画像から検出された顔領域に基づき設定された変形領域の画像変形について、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。 In this way, image processing for image deformation corresponding to various deformation modes can be realized easily and efficiently for image deformation of the deformation area set based on the face area detected from the target image. can do.
また、上記画像処理装置において、さらに、前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備えるとしてもよい。 The image processing apparatus may further include a printing unit that prints the target image on which the image in the deformation area has been deformed.
このようにすれば、多様な変形態様に対応した画像変形後の画像の印刷を、容易に、かつ効率的に実現することができる。 In this way, it is possible to easily and efficiently realize printing of the image after image deformation corresponding to various deformation modes.
１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインタフェース
１７２…カードスロット
２００…顔形状補正部
２１０…変形態様設定部
２１２…指定取得部
２２０…顔領域検出部
２３０…顔領域調整部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２９０…変形量調整部
２９２…サイズ算出部
３１０…表示処理部
３２０…印刷処理部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル
100 ...
DESCRIPTION OF
Claims (12)
変形の度合いを調整する変形量調整部と、
撮影によって生成された対象画像上の少なくとも一部の領域を前記調整された度合いで変形させる変形処理部と、
を備え、
前記変形量調整部は、撮影時における前記対象画像の被写体と撮影装置との間の距離と相関のある距離パラメータを利用することによって、前記距離パラメータが示す距離が近いほど強くなるように前記変形の度合いを調整する、
画像処理装置。 An image processing apparatus,
A deformation amount adjusting unit for adjusting the degree of deformation;
A deformation processing unit that deforms at least a part of the region on the target image generated by shooting with the adjusted degree;
With
The deformation amount adjustment unit uses the distance parameter correlated with the distance between the subject of the target image and the photographing apparatus at the time of photographing, so that the deformation becomes stronger as the distance indicated by the distance parameter is closer. Adjust the degree of
Image processing device.
前記変形処理部は、前記被写体の少なくとも一部分の前記対象画像上における少なくとも一方向の大きさが小さくなるように、前記変形を実行する、
画像処理装置。 The image processing apparatus according to claim 1,
The deformation processing unit performs the deformation so that the size of at least a part of the subject in at least one direction on the target image becomes small.
Image processing device.
前記対象画像上の所定の種類の被写体を検出する検出部と、
検出された前記被写体の前記対象画像上におけるサイズを、前記対象画像を解析することによって算出するサイズ算出部と、
を備え、
前記変形量調整部は、前記サイズを、大きいほど近い距離を示す前記距離パラメータとして利用する、
画像処理装置。 The image processing apparatus according to claim 1, further comprising:
A detection unit for detecting a predetermined type of subject on the target image;
A size calculator that calculates a size of the detected subject on the target image by analyzing the target image;
With
The deformation amount adjustment unit uses the size as the distance parameter indicating a closer distance as the size increases.
Image processing device.
前記検出部によって複数の被写体が検出された場合には、
前記サイズ算出部は、前記各被写体毎に前記サイズを算出し、
前記変形量調整部は、前記各被写体のサイズの内の最大サイズに基づいて前記変形の度合いを調整する、
画像処理装置。 The image processing apparatus according to claim 3,
When a plurality of subjects are detected by the detection unit,
The size calculation unit calculates the size for each subject,
The deformation amount adjusting unit adjusts the degree of deformation based on a maximum size among the sizes of the subjects;
Image processing device.
前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部を備え、
前記変形処理部は、前記変形領域内の画像の変形を実行する、
画像処理装置。 The image processing apparatus according to claim 4, further comprising:
A deformation area setting unit that sets a partial area including the subject detected by the detection unit on the target image as a deformation area;
The deformation processing unit executes deformation of an image in the deformation area;
Image processing device.
前記変形領域設定部は、前記検出部によって複数の被写体が検出された場合には、前記複数の被写体の中から前記サイズが最大である最大被写体を選択し、前記最大被写体を含む一部の領域を前記変形領域として設定する、
画像処理装置。 The image processing apparatus according to claim 5,
When the detection unit detects a plurality of subjects, the deformation region setting unit selects a maximum subject having the maximum size from the plurality of subjects, and a partial region including the maximum subject Is set as the deformation area,
Image processing device.
前記変形領域設定部は、前記検出部によって複数の被写体が検出された場合には、前記サイズが、与えられた選択閾値より大きな被写体を選択し、前記選択された被写体毎に前記変形領域を設定する、
画像処理装置。 The image processing apparatus according to claim 5,
When a plurality of subjects are detected by the detection unit, the deformation region setting unit selects a subject whose size is larger than a given selection threshold, and sets the deformation region for each selected subject. To
Image processing device.
前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部を備え、
前記変形処理部は、前記変形領域内の画像の変形を実行する、
画像処理装置。 The image processing apparatus according to claim 3, further comprising:
A deformation area setting unit that sets a partial area including the subject detected by the detection unit on the target image as a deformation area;
The deformation processing unit executes deformation of an image in the deformation area;
Image processing device.
前記検出部によって複数の被写体が検出された場合には、
（Ａ）前記サイズ算出部は、前記各被写体毎に前記サイズを算出し、
（Ｂ）前記変形領域設定部は、前記各被写体毎に前記変形領域を設定し、
（Ｃ）前記変形量調整部は、前記各変形領域毎に前記変形の度合いを調整し、
（Ｄ）前記変形処理部は、前記各変形領域毎に調整された前記変形の度合いに従って、前記各変形領域内の画像の変形を、それぞれ実行する、
画像処理装置。 The image processing apparatus according to claim 8,
When a plurality of subjects are detected by the detection unit,
(A) The size calculation unit calculates the size for each subject,
(B) The deformation area setting unit sets the deformation area for each subject,
(C) The deformation amount adjustment unit adjusts the degree of deformation for each deformation region,
(D) The deformation processing unit executes the deformation of the image in each deformation area according to the degree of deformation adjusted for each deformation area.
Image processing device.
前記対象画像上の所定の種類の被写体を検出する検出部と、
前記対象画像上の、前記検出部によって検出された被写体を含む一部の領域を変形領域として設定する変形領域設定部と、
を備え、
前記変形処理部は、前記変形領域内の画像の変形を実行する、
画像処理装置。 The image processing apparatus according to claim 1, further comprising:
A detection unit for detecting a predetermined type of subject on the target image;
A deformation area setting unit that sets a partial area including the subject detected by the detection unit on the target image as a deformation area;
With
The deformation processing unit executes deformation of an image in the deformation area;
Image processing device.
前記被写体は人物の顔である、
画像処理装置。 An image processing apparatus according to any one of claims 1 to 10,
The subject is a human face,
Image processing device.
変形の度合いを調整する工程と、
撮影によって生成された対象画像上の少なくとも一部の領域を前記調整された度合いで変形させる工程と、
を備え、
前記度合いを調整する工程は、撮影時における前記対象画像の被写体と撮影装置との間の距離と相関のある距離パラメータを利用することによって、前記距離パラメータが示す距離が近いほど強くなるように前記変形の度合いを調整する工程を含む、
方法。 An image processing method comprising:
Adjusting the degree of deformation;
Transforming at least a part of the region on the target image generated by photographing with the adjusted degree;
With
The step of adjusting the degree uses the distance parameter correlated with the distance between the subject of the target image and the photographing apparatus at the time of photographing, so that the distance indicated by the distance parameter becomes stronger as the distance is closer. Including the step of adjusting the degree of deformation,
Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189635A JP4737324B2 (en) | 2009-08-19 | 2009-08-19 | Image processing apparatus, image processing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189635A JP4737324B2 (en) | 2009-08-19 | 2009-08-19 | Image processing apparatus, image processing method, and computer program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007087602A Division JP4389954B2 (en) | 2007-03-29 | 2007-03-29 | Image processing apparatus, image processing method, computer program, recording medium, and printer |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011055391A Division JP2011141889A (en) | 2011-03-14 | 2011-03-14 | Image processing apparatus and method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010003313A true JP2010003313A (en) | 2010-01-07 |
| JP2010003313A5 JP2010003313A5 (en) | 2010-05-13 |
| JP4737324B2 JP4737324B2 (en) | 2011-07-27 |
Family
ID=41584934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009189635A Expired - Fee Related JP4737324B2 (en) | 2009-08-19 | 2009-08-19 | Image processing apparatus, image processing method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4737324B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004264893A (en) * | 2003-01-31 | 2004-09-24 | Sony Corp | Image processor, method for processing image and photographing device |
| JP2004318204A (en) * | 2003-04-10 | 2004-11-11 | Sony Corp | Image processing device, image processing method, and photographing device |
| JP2005025703A (en) * | 2003-07-04 | 2005-01-27 | Sony Corp | Method and device for processing image, and image processing program |
-
2009
- 2009-08-19 JP JP2009189635A patent/JP4737324B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004264893A (en) * | 2003-01-31 | 2004-09-24 | Sony Corp | Image processor, method for processing image and photographing device |
| JP2004318204A (en) * | 2003-04-10 | 2004-11-11 | Sony Corp | Image processing device, image processing method, and photographing device |
| JP2005025703A (en) * | 2003-07-04 | 2005-01-27 | Sony Corp | Method and device for processing image, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4737324B2 (en) | 2011-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5076744B2 (en) | Image processing device | |
| JP4957463B2 (en) | Image processing device | |
| JP4289414B2 (en) | Image processing for image transformation | |
| JP4946741B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP2009053914A (en) | Image processor and image processing method | |
| JP2009031870A (en) | Image processing for estimation of photographic object distance | |
| JP4289415B2 (en) | Image processing for image transformation | |
| JP4389954B2 (en) | Image processing apparatus, image processing method, computer program, recording medium, and printer | |
| JP4816538B2 (en) | Image processing apparatus and image processing method | |
| JP4289420B2 (en) | Image processing apparatus and image processing method | |
| JP5338887B2 (en) | Image processing device | |
| JP4853541B2 (en) | Image processing apparatus and image processing method | |
| JP4816540B2 (en) | Image processing apparatus and image processing method | |
| JP4737324B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP4888188B2 (en) | Image processing apparatus and image processing method | |
| JP2011141889A (en) | Image processing apparatus and method | |
| JP5163801B2 (en) | Apparatus, method, and computer program | |
| JP4946729B2 (en) | Image processing device | |
| JP4862723B2 (en) | Image processing for object position detection | |
| JP4930525B2 (en) | Image processing for image transformation | |
| JP4957462B2 (en) | Image processing device | |
| JP2009055305A (en) | Image processing adding information to image | |
| JP2009110048A (en) | Setting of face area | |
| JP2008242802A (en) | Image processing for detecting inclination of subject | |
| JP2009123101A (en) | Estimation of face image direction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4737324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |