JP2009231879A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像に表示された顔の見栄えが悪い場合があった。
【解決手段】対象画像における顔の口内領域を検出する検出部と、上記検出された口内領域における輝度分布を検出し、当該検出した輝度分布の形状に基づき、口内領域に属する画素のうち補正対象とする画素を特定する補正対象特定部と、上記特定された補正対象の画素の明るさの補正を行う明るさ補正部とを備える画像処理装置とした。この結果、対象画像における歯の部分の明るさを正確に補正することができ、見栄えの良い顔が表された画像を自動的に得ることができる。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

顔を含む画像に対し補正を行なって見栄えを向上させる技術が提案されている。このような技術として、画像データを解析して画像データ中で人物の歯が写っている部分を検出する歯部分検出手段と、前記検出した歯の部分での画像データの平均値を算出することにより、前記検出した歯を代表する画像データ（代表画像データ）を生成する代表データ生成手段と、代表画像データが目標データと一致するように歯の部分の画像データを補正する画像データ補正手段とを備える印刷装置が知られている（特許文献１参照。）。
特開２００７‐２２３１８９号公報

画像が顔を含む場合、顔の特定の部分、例えば歯は、画像の観察者の注意を引く部分である。このような観察者の注意を引く部分の見栄えが悪いと、画像全体の印象も悪いものとなってしまう。ここで上記文献では、口として検出された輪郭の中の明るい領域を単に歯の部分として検出するとされており、歯の部分の検出手法についてそれ以上の開示はなかった。また上記文献では、歯の部分はほぼ目標値（階調値２５５（真っ白な色））に補正されるため、顔の中で歯だけが突出して明るく（白く）補正されてしまうことが有り得た。また上記文献では、階調値２５５より低い値の目標値に補正する場合でも、複数設定された目標値の中から目標値を選択する必要がある分、ユーザにとって処理が煩雑であった。

本発明は上記課題に鑑みてなされたもので、画像内の顔の特定部分、特に歯に対応する部分を、従来よりも、正確に、画像の状態に応じて適切に、更には容易に、補正することで、良好な印象を観察者に与える画像を得ることが可能な、画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明の画像処理装置は、対象画像における顔の口内領域を検出する検出部と、上記検出された口内領域における輝度分布を検出し、当該検出した輝度分布の形状に基づき、口内領域に属する画素のうち補正対象とする画素を特定する補正対象特定部と、上記特定された補正対象の画素の明るさの補正を行う明るさ補正部とを備える構成としてある。本発明によれば、口内領域の輝度分布の形状に基づいて明るさ補正の対象画素を特定するので、歯の部分に対応する画素を高い精度で特定することができる。その結果、対象画像における歯の部分の明るさを正確に補正することができ、見栄えの良い顔が表された画像を自動的に得ることができる。

上記検出部は、上記顔における口の内側の輪郭の位置に略対応する複数の点を特定するとともに、当該特定した点を曲線にて補間して閉じた領域を生成し、当該生成した領域を上記口内領域とするとしてもよい。当該構成によれば、対象画像における顔の口内領域を正確に検出することができる。

上記補正対象特定部は、上記輝度分布における最大輝度値と当該最大輝度値に最も近い極小点を与える輝度値との間の輝度範囲に属する画素を補正対象として特定するとしてもよい。当該構成によれば、口内領域に属する画素のうち、歯の部分に対応する画素の略全てを、容易に補正対象として特定することができる。

上記明るさ補正部は、上記口内領域の輝度の標準偏差を算出し、当該標準偏差に基づいて明るさの補正を行うとしてもよい。当該構成によれば、補正前の口内領域の明るさに応じた適切な程度の明るさ補正を、上記特定された画素に対して行うことができる。そのため、歯の部分だけが突出して白くなり却って違和感を生じさせる画像となる弊害を、防止できる。あるいは上記明るさ補正部は、トーンカーブを取得し、当該トーンカーブを用いて明るさの補正を行うとしてもよい。当該構成によれば、上記特定された画素の補正前の明るさに応じて補正量が決まる。そのため、歯の部分だけが突出して白くなり却って違和感を生じさせる画像となる弊害を、防止できる。

上記検出部は、上記顔の領域を対象画像から検出し、当該顔の領域の大きさに対する上記口内領域の大きさの比が所定値以上であるか否か判定し、上記補正対象特定部は、上記検出部によって上記比が所定値以上であると判定された場合に、補正対象とする画素の特定を行なうとしてもよい。当該構成によれば、顔の領域に対して口内領域がある程度以上の大きさを有する場合にのみ、口内領域内の歯に対応する画素の特定が行なわれ、明るさ補正が行なわれる。つまり、補正対象の画素を特定する前（歯に対応する画素を特定する前）に、実質的に明るさ補正の実行・不実行の判断が行なわれるため、明るさ補正を実行しなかった場合のトータルの処理負担が軽くなる。

上記明るさ補正部は、各画素に対する補正の度合いを上記口内領域の境界からの距離に応じて変更するとしてもよい。当該構成によれば、口内領域と口内領域外の領域との境界部分において明るさが急激に変ってしまう画像が生成されることを、防止できる。

本発明の技術的思想は、上述した画像処理装置の発明以外にも、上述した画像処理装置が備える各部が行なう各処理工程を備えた画像処理方法の発明や、上述した画像処理装置が備える各部に対応した機能をコンピュータに実行させる画像処理プログラムの発明としても捉えることができる。また、上述した画像処理装置を兼ねる印刷装置の発明や、上述した画像処理装置を兼ねるデジタルスチルカメラの発明をも把握可能である。

下記の順序に従って本発明の実施形態を説明する。
１．画像処理装置の概略構成：
２．口内領域の検出処理：
３．補正および印刷処理

１．画像処理装置の概略構成：
図１は、本発明の画像処理装置の一例としてのプリンタ１０の構成を、概略的に示している。プリンタ１０は、記録メディア（例えば、メモリカードＭＣ等）から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１０は、プリンタ１０の各部を制御するＣＰＵ１１と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２と、ボタンやタッチパネルにより構成された操作部１４と、液晶ディスプレイにより構成された表示部１５と、プリンタエンジン１６と、カードインターフェース（カードＩ／Ｆ）１７と、ＰＣやサーバやデジタルスチルカメラ等の外部機器との情報のやり取りのためのＩ／Ｆ部１３とを備えている。プリンタ１０の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６は、印刷データに基づき印刷を行う印刷機構である。カードＩ／Ｆ１７は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのＩ／Ｆである。メモリカードＭＣには画像データが格納されており、プリンタ１０は、カードＩ／Ｆ１７を介してメモリカードＭＣに格納された画像データを取得することができる。画像データ提供のための記録メディアとしてはメモリカードＭＣ以外にも種々の媒体を用いることができる。プリンタ１０は、Ｉ／Ｆ部１３を介してＰＣやサーバ等とケーブルで接続し、当該ＰＣやサーバ等から印刷データを入力することもできる。

内部メモリ１２には、画像補正部２０と、表示処理部３１と、印刷処理部３２とが格納されている。画像補正部２０は、所定のオペレーティングシステムの下で、後述する画像補正処理等を実行するためのコンピュータプログラム（画像処理プログラム）である。表示処理部３１は、表示部１５を制御して、表示部１５に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２は、画像データから印刷データを生成し、プリンタエンジン１６を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１は、内部メモリ１２から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

画像補正部２０は、プログラムモジュールとして、顔領域検出部２１と、顔器官検出部２２と、補正対象特定部２３と、補正量決定部２４と、補正実行部２５とを含んでいる。顔領域検出部２１および顔器官検出部２２は、特許請求の範囲に言う検出部に該当する。補正量決定部２４および補正実行部２５は、特許請求の範囲に言う明るさ補正部に該当する。これら各部の機能については後述する。さらに、内部メモリ１２には、顔テンプレート１４ｂや、口テンプレート１４ｃ等の各種データが格納されている。プリンタ１０は、印刷機能以外にも、コピー機能やスキャナ機能など多種の機能を備えたいわゆる複合機であってもよい。

図２は、画像処理装置（プリンタ１０）が実行する画像補正印刷処理の概略を、フローチャートにより示している。
ステップＳ（以下、ステップの表記は省略。）１００では、画像補正部２０は、画像処理の対象とする画像（対象画像）内の顔の口内領域を検出する。本実施形態における口内領域とは、唇よりも内側の領域である。
Ｓ３００では、画像補正部２０は、上記検出された口内領域に属する画素のうち補正対象とする画素を特定し、当該特性した画素の明るさを補正する。
Ｓ５００では、印刷処理部３２は、明るさ補正後の対象画像を表す画像データあるいは明るさ補正が行われなかった対象画像を表す画像データに基づいて印刷データを生成し、生成した印刷データに基づいて印刷を実行する。
以下では、対象画像は人顔を含みかつ各顔器官（左右の目や鼻や口）が表れている画像であることを想定して、図２のフローチャートの詳細を説明する。

２．口内領域の検出処理：
図３は、Ｓ１００の詳細をフローチャートにより示している。
Ｓ１１０では、顔領域検出部２１が対象画像を表した画像データ１４ａをメモリカードＭＣ等、所定の記録メディアから取得する。むろん、顔領域検出部２１は、プリンタ１０がハードディスクドライブ（ＨＤＤ）を有していれば、当該ＨＤＤに保存されている画像データ１４ａを取得してもよいし、Ｉ／Ｆ部１３を介してＰＣやサーバやデジタルスチルカメラ等から画像データ１４ａを取得してもよい。画像データ１４ａは、各画素が示す色がＲＧＢ各チャネルの階調値の組み合わせ（ＲＧＢ色空間におけるベクトル）で表現されたビットマップデータである。後述する図面において、便宜的に２値の画像が示される場合があるが、実際には多階調のカラー画像データが処理の対象となる。画像データ１４ａは、記録メディア等に記録されている段階で圧縮されていてもよいし、他の色空間で各画素の色が表現されていてもよい。これらの場合、画像データ１４ａの展開や色空間の変換を実行して、顔領域検出部２１がＲＧＢビットマップデータの画像データ１４ａを取得する。ユーザが表示部１５に表示されたユーザインターフェース（ＵＩ）画面を参照して操作部１４を操作することにより、対象画像としての画像データ１４ａが指定される。

Ｓ１２０では、顔領域検出部２１が画像データ１４ａに含まれる顔を検出する。顔領域検出部２１は、複数のテンプレート（顔テンプレート１４ｂ）を利用したいわゆるパターンマッチングによって画像データ１４ａから顔領域を検出する。顔テンプレート１４ｂとのパターンマッチングを行うにあたっては、画像データ１４ａにおいて矩形状の比較領域ＣＡを設定し、比較領域ＣＡの位置と大きさと回転角度を変えながら、比較領域ＣＡ内の画像と各顔テンプレート１４ｂの画像との類似性を評価する。そして、類似性が一定の基準を満足する比較領域ＣＡを顔領域と判定し、その比較領域ＣＡの位置と大きさと回転角度を取得する。画像データ１４ａの全体に比較領域ＣＡを移動させることにより、画像データ１４ａ内に存在する単数または複数の顔についての領域の位置と大きさと回転角度を取得することができる。本実施形態では、単一の顔が検出されたものとして説明を続ける。

図４は、Ｓ１２０において顔領域と判定された比較領域ＣＡの矩形を示している。
Ｓ１３０では、顔領域検出部２１は、顔領域と判定された比較領域ＣＡの位置と大きさと回転角度に基づいて、当該比較領域ＣＡに含まれる画像を画像データ１４ａから顔画像データＦＤとして抽出する。このとき、顔画像データＦＤの大きさが一定の大きさとなるように解像度変換を行なっても良い。例えば、１００×１００画素の大きさとなるように、顔画像データＦＤの画素が内挿または間引きされる。また、画像データ１４ａにおける顔の回転角に対応して比較領域ＣＡが回転されていた場合には、この回転を解消するように顔画像データＦＤを回転させる。

Ｓ１４０では、顔器官検出部２２が顔器官としての口を含む領域（口領域）を検出する。顔器官検出部２２は、複数のテンプレート（複数の口テンプレート１４ｃ）を利用したパターンマッチングによって顔画像データＦＤから口領域を検出する。口テンプレート１４ｃとのパターンマッチングを行うにあたって顔器官検出部２２は、顔画像データＦＤにおいて矩形状の比較領域ＣＡを設定し、比較領域ＣＡの位置と大きさと回転角度を変えながら、比較領域ＣＡ内の画像と各口テンプレート１４ｃの画像との類似性を評価する。そして、類似性が一定の基準を満足する１つの比較領域ＣＡを口領域と判定する。以下では、口領域と判定された比較領域ＣＡを口領域ＣＡ１と呼ぶ。なお顔器官検出部２２は、左右の目の領域などの口以外の顔器官も検出してもよい。そして顔器官検出部２２は、口テンプレート１４ｃとの比較に基づいて一応口領域らしいものとして検出した領域が、上記検出した口以外の顔器官との相対的な位置関係に照らして適切な位置に存在するか否か判断し、明らかに口領域としては不適切な位置に存在する場合には口領域ではないと判定してもよい。

図５は、口領域ＣＡ１が検出された顔画像データＦＤの様子を示している。
Ｓ１５０では、顔器官検出部２２は、口領域ＣＡ１の画像データを対象として口内領域ＭＡの検出を行なう。口内領域ＭＡの検出とは、上唇の内側の輪郭と下唇の内側の輪郭とで囲まれた領域に相当する領域を検出することを意味する。まず顔器官検出部２２は、口領域ＣＡ１の画像データにおいて、複数本の輪郭検出線ＥＬを設定する。

図６は、口領域ＣＡ１のデータにおいて複数本の輪郭検出線ＥＬを設定した様子を例示している。顔器官検出部２２は、例えば図６に示すように、顔画像データＦＤの高さ方向（顔の高さ方向）に沿った輪郭検出線ＥＬを、所定画素間隔で複数本平行に設定する。そして顔器官検出部２２は、輪郭検出線ＥＬ毎に、線上の画素の輝度値の変化を調べ、輪郭点を特定する。画素の輝度値は、例えば、画素のＲＧＢ値を、輝度値を一要素とする所定の色空間に変換したり、ＲＢＧ値を所定の重み付けで積算したりすることにより得られる。輪郭点とは、例えば、隣接画素との輝度差（輝度勾配）があるしきい値以上に大きい画素を言い、かかる画素は基本的に画像中のエッジ部分に対応している。この結果、全て或いは一部の輪郭検出線ＥＬ上に、輪郭点が特定される。顔器官検出部２２は、顔画像データＦＤの高さ方向を向く輪郭検出線ＥＬだけでなく、顔画像データＦＤの高さ方向に直行する方向（顔画像データＦＤの幅方向）を向く複数の輪郭検出線ＥＬを設定し、各輪郭検出線ＥＬにおいて輪郭点を特定してもよい。

次に、顔器官検出部２２は、輪郭点を有する輪郭検出線ＥＬ毎に、口の外側の輪郭（唇の外側の輪郭）に対応する輪郭点（外輪郭点ＥＰと呼ぶ。）を特定する。顔器官検出部２２は、１つの輪郭検出線ＥＬ上に３つ以上の輪郭点が存在している場合には、当該１つの輪郭検出線ＥＬに関しては線上の両端の輪郭点を外輪郭点ＥＰとして特定する。一方、顔器官検出部２２は、１つの輪郭検出線ＥＬ上に１つまたは２つしか輪郭点が存在しなければ、当該１つまたは２つの輪郭点を外輪郭点ＥＰとして特定する。

図７では、口領域ＣＡ１のデータにおいて上記のように特定された外輪郭点ＥＰを白抜きの丸で示している。同図では参考のために、輪郭検出線ＥＬも鎖線にて示している。
次に、顔器官検出部２２は、唇の内側の輪郭に対応する輪郭点（内輪郭点ＩＰと呼ぶ。）を特定する。顔器官検出部２２は、例えば、外輪郭点ＥＰ以外の輪郭点であって、外輪郭点ＥＰと輪郭検出線ＥＬ上において隣接している（外輪郭点ＥＰとの間に他の輪郭点を挟まない状態で輪郭検出線ＥＬ上に存在している）輪郭点を、内輪郭点ＩＰとして特定する。図７では、上記のように特定された内輪郭点ＩＰを黒丸で示している。

次に、顔器官検出部２２は、内輪郭点ＩＰ間を補間することにより、一つの閉じた領域を特定する。補間方法は特に限られないが、例えば、スプライン補間等、非線形の補間方法を用いる。なお顔器官検出部２２は、人間の上唇と下唇とによって形成され得る所定の形状を想定した場合に、当該想定した形状の輪郭からの逸脱の度合いが他の内輪郭点ＩＰよりも所定程度大きい内輪郭点ＩＰについてはこれを除外し、除外しなかった内輪郭点ＩＰに基づいた補間を行なう。本実施形態では、このように特定した一つの閉じた領域を口内領域ＭＡとして検出する。図７では口内領域ＭＡを２点鎖線で示している。

顔器官検出部２２は、上記補間を行なう場合に、内輪郭点ＩＰと左右の口角点ＥＰ（ｌ），ＥＰ（ｒ）とを含めた輪郭点に基づいた補間を行なうとしてもよい（図７参照）。左右の口角点ＥＰ（ｌ），ＥＰ（ｒ）は、外輪郭点ＥＰの一種であって、口の画像の左右の口角位置に相当する輪郭点である。顔器官検出部２２は、例えば、外輪郭点ＥＰのうち顔画像データＦＤの幅方向において両端に存在する２つの外輪郭点ＥＰを、左右の口角点ＥＰ（ｌ），ＥＰ（ｒ）と決定する。このような口角点ＥＰ（ｌ），ＥＰ（ｒ）と内輪郭点ＩＰとを含めた輪郭点を曲線で補間することにより、顔画像における実際の口内領域との一致度が極めて高い範囲を、口内領域ＭＡとして検出することができる。
ただし本発明においては、口内領域の検出は上述した手法に限られること無く、顔画像における口内領域を検出可能な手法であればあらゆる手法を採用することができる。

Ｓ１６０では、顔器官検出部２２は、顔領域の大きさに対する口内領域ＭＡの大きさの比率を求め、当該比率が所定のしきい値Ｔｈ以上であるか否か判定する。顔器官検出部２２は、例えば、口領域ＣＡ１の検出を行なった顔画像データＦＤの面積（顔画像データＦＤ内の画素数）に対する口内領域ＭＡの面積（口内領域ＭＡ内の画素数）の比率を算出し、当該比率としきい値Ｔｈとを比較することにより上記判定を行なう。しきい値Ｔｈを示すデータは、例えば、内部メモリ１２等所定のメモリに予め保存されているものとする。画像補正部２０は、顔器官検出部２２が上記比率はしきい値Ｔｈ以上であると判定した場合にはＳ３００（図２）に進み、顔器官検出部２２が上記比率はしきい値Ｔｈ未満であると判定した場合にはＳ５００（図２）に進む。すなわち本実施形態では、口内領域ＭＡが顔領域に対してある程度小さい場合には、Ｓ３００における明るさ補正を行う必要性が無いか或いは当該必要性が低いと判断し、Ｓ３００をスキップする。なお画像補正部２０は、Ｓ１２０において顔領域の検出に失敗したり、Ｓ１４０において口領域の検出に失敗した場合にも、Ｓ３００を行なうことなくＳ５００に進む。

３．補正および印刷処理：
図８は、Ｓ３００（図２）の詳細をフローチャートにより示している。
Ｓ３１０では、補正対象特定部２３が、上記検出された口内領域ＭＡに属する画素の輝度分布（ヒストグラム）を生成するとともに、輝度分布の形状に基づき、口内領域ＭＡに属する画素のうち補正対象とする画素を特定する。具体的には、補正対象特定部２３は、輝度分布の形状から輝度分布の最大輝度値に最も近い極小点を特定し、口内領域ＭＡに属する画素のうち、当該極小点を与える輝度値と最大輝度値との間の輝度範囲に輝度値が属する画素を、補正対象として特定する。

図９は、口内領域ＭＡに属する画素の輝度分布を例示している。輝度分布は、横軸に輝度値（例えば０〜２５５の階調値）、縦軸に画素数（度数）を規定している。図９に示すように、輝度分布は、階調値２５５に近い高階調域にある程度多くの度数が存在している。そして、かかる多くの度数が集まる高階調域から輝度が低下するにつれて急激に度数が低下してある極小点Ｎ１が発生し、当該極小点Ｎ１に対応する輝度値Ｙ１よりも低階調域において再びある程度の度数が分布している。口内領域ＭＡには、一般的に、歯や、舌や、歯茎や、その他口腔内の部分が存在する。口内領域ＭＡの各部分の中でも歯の部分にかかる画像は他の部分の画像よりも輝度が高いと考えられ、そのような歯の部分に対応する画素の輝度値は、概ね輝度分布における高階調域に集中して現れると言える。一方、歯以外の舌や歯茎やその他口腔内の部分に対応する画素の輝度値は、概ね上記極小点Ｎ１を与える輝度値Ｙ１以下の階調域に現れると言える。そこで補正対象特定部２３は、口内領域ＭＡに属する画素のうち、輝度分布における輝度値Ｙ１から輝度分布の最大輝度値Ｙmaxまでの範囲に輝度値が属する画素を、補正対象として特定する。このように特定された画素はほぼ、口内領域ＭＡにおける歯の部分の画像を構成する画素であると言える。

Ｓ３２０では、補正量決定部２４は、Ｓ３１０で特定した画素の明るさを補正するための補正規則としてのトーンカーブＣを取得する。補正量決定部２４は、例えば、内部メモリ１２に予め保存されたトーンカーブＣを内部メモリ１２から取得する。むろん、トーンカーブＣについては、操作部１４を介して受付けたユーザの操作に基づいて、そのカーブ形状を変更することも可能である。

図１０は、トーンカーブＣを例示している。トーンカーブＣは、横軸を入力値、縦軸を出力値とした、上側に凸の曲線である。トーンカーブＣでは、入力値が、輝度値が取りうる最大値（例えば２５５）であるときに、出力値として最大値（２５５）を出力するが、入力値が最大値未満の領域においては飽和しない（最大値を出力しない）形状となっている。図８では、入力＝出力の関係を破線により併せて示している。
Ｓ３３０では、補正実行部２５が、上記取得されたトーンカーブＣを用いて、上記Ｓ３１０で特定された画素毎の明るさを補正する（上昇させる）。この場合、補正実行部２５は、各画素のＲＧＢ値を、輝度値を一要素とする上記所定の色空間のデータに変換し、変換後の輝度値をトーンカーブＣに入力して補正し、補正後の輝度値を含む当該色空間におけるデータを再びＲＧＢ値に変換するとしてもよい。あるいは、補正実行部２５は、各画素のＲＧＢ値をそれぞれトーンカーブＣに入力して補正することにより各画素の輝度を上げてもよい。

ただし、明るさ補正の手法はトーンカーブＣを用いた補正手法に限られない。補正量決定部２４は、Ｓ３２０において、トーンカーブＣを取得する替わりに、上記特定された画素に対する補正量を上記輝度分布に基づいて決定するとしてもよい。ここで言う補正量とは、上記輝度分布から得られる統計値である。例えば、補正量決定部２４は、上記輝度分布の標準偏差σを算出する。標準偏差σは、分散の平方根である。補正量決定２３は、この標準偏差σを補正量とする。標準偏差σが補正量として決定された場合、Ｓ３３０では、補正実行部２５は、Ｓ３１０で特定された各画素の明るさを補正量（標準偏差σ）に基づいて補正する。補正実行部２５は、例えば、輝度値の算出に用いられる上記重み付けが示すＲＧＢの比率に応じて当該補正量を画素のＲＧＢ値に分配し、ＲＧＢ値に加算する。あるいは、補正実行部２５は、画素のＲＧＢ値それぞれに単純に上記補正量を加算してもよい。あるいは、補正実行部２５は、画素のＲＧＢ値を、上記所定の色空間のデータに変換し、変換後の輝度値に上記補正量を加算し、補正量加算後の輝度値を含む当該色空間におけるデータを再びＲＧＢ値に変換するとしてもよい。

Ｓ５００（図２）では、印刷処理部３２が、プリンタエンジン１６を制御して、対象画像の印刷を行う。すなわち印刷処理部３２は、補正処理後の画像データ１４ａ（補正処理が実行されていない場合には、Ｓ１１０（図３）で取得された画像データ１４ａ）に、解像度変換処理や色変換処理やハーフトーン処理など必要な各処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２からプリンタエンジン１６に供給され、プリンタエンジン１６は印刷データに基づいた印刷を実行する。これにより、補正処理後の対象画像の印刷が完了する。

このように本実施形態によれば、プリンタ１０は、対象画像から顔領域を検出し、顔領域から口領域を検出し、口領域にかかる画像データにおいて唇の内側の輪郭に略対応する内輪郭点ＩＰを複数特定し、内輪郭点ＩＰ（および口角点ＥＰ（ｌ），ＥＰ（ｒ））をスプライン補間等することにより口内領域ＭＡを検出する。そして、口内領域ＭＡに属する画素のうち、口内領域ＭＡの輝度分布の形状から特定される輝度範囲（上記極小点Ｎ１を与える輝度値Ｙ１〜最大輝度値Ｙmaxの範囲）に輝度値が属する画素のみを補正対象とする。従って、対象画像中の顔における口内領域の歯に対応する部分の画素が極めて高精度に補正対象として特定される。そしてプリンタ１０は、補正対象とした画素の明るさが上昇するように画像データの補正を行なう。この結果、ユーザが印刷指示を行なった対象画像中の顔における口内領域の歯に対応する部分だけが明るくなるように自動的に補正され、歯の明るさが増した見栄えの良好な顔を含む画像が自動的に得られる。

本実施形態では、口領域の画素のうち明るい画素の画像上での連続性を調べ、一定面積以上に連続している明るい画素の集まり（画素群）を歯の部分と認定し、認定した画素群の輝度を上昇させる、というような処理を実行しないため、そのような処理を実行した場合に生じ得る、口内領域ＭＡ内で間が離れて存在している上の歯と下の歯との一方のみの輝度が補正されてしまう、といった不都合も生じない。

本実施形態では、補正対象の画素の輝度を上記トーンカーブＣを用いて補正する。つまり、補正後の輝度はあくまで補正前の輝度に応じて決まる。そのため、対象画像における歯の部分が補正前の画像の明るさにかかわらず常に真っ白に補正されてしまう、といったことが防止され、観察者にとって違和感の無い画像を得ることができる。また、補正対象の画素の輝度に対する補正量として、口内領域ＭＡの輝度分布から得られるパラメータ（標準偏差σ）を採用することによっても、補正前の口内領域ＭＡの明るさを基準とした適切な上げ幅にて歯の部分を補正することができ、同様に、歯の部分に対する過剰な明るさ補正が抑制され、観察者にとって違和感の無い画像を得ることができる。

また上述したように本実施形態では、顔領域の大きさに対する口内領域ＭＡの大きさの比率がしきい値Ｔｈ未満である場合には、明るさ補正の対象とする画素（歯に対応する画素）の特定処理自体を行なわず、明るさ補正処理をスキップして印刷処理を行なう。このように、明るさ補正の実行・不実行が分岐されるタイミングが従来技術と比較して早いため、明るさ補正を行わない場合における全体の処理量が従来よりも少なくて済む。

補正実行部２５は、Ｓ３３０において画素の明るさを補正する場合に、画素の口内領域ＭＡ内における位置に応じて、補正の度合いを変更するとしてもよい。ここで言う口内領域ＭＡ内における位置とは、口内領域ＭＡの境界線（内輪郭点ＩＰを補間して生成された曲線。図７に示した口内領域ＭＡを示す２点鎖線。）からの距離である。例えば、補正実行部２５は、上記Ｓ３１０で特定された画素を、当該境界線からの近さに応じて複数のグループに分け、グループ毎に適用する補正の度合いを変える。トーンカーブによる補正を行う場合には、境界線から最も遠いグループに属する画素に対しては上記トーンカーブＣを適用する。一方、その他のグループに属する画素に対しては上記トーンカーブＣよりもカーブの盛り上がり度合いが少ないトーンカーブＣ１やトーンカーブＣ２（図１０）を適用するものとし、かつ、境界線に近いグループほど、カーブの盛り上がりの度合いが少ないトーンカーブを適用する。このように口内領域ＭＡの境界線からの距離に応じて補正の度合いを変更することで、当該境界周辺における輝度変化を豊かなものとすることができる。

口内領域ＭＡの上記特定された画素の輝度を上記補正量（標準偏差σ）によって補正する場合でも、上記グループに応じて適用する補正量を変更することで、口内領域ＭＡの境界周辺における輝度変化を豊かなものとすることができる。この場合、補正実行部２５は、境界線から最も遠いグループに属する画素に対しては上記のように決定した補正量をそのまま適用し、その他のグループに属する画素に対しては上記のように決定した補正量よりも小さい値を適用するものとし、かつ、境界線に近いグループほど、適用する補正量を小さい値とする。

なお上記では、口内領域ＭＡに属する画素のうち輝度分布の形状に基づいて特定した画素のみを明るさ補正の対象としているが、プリンタ１０は、より単純に、口内領域ＭＡに属する各画素に対して明るさ補正（例えば、トーンカーブＣによる補正）を行うとしてもよい。本実施形態では、プリンタ１０による処理を説明したが、上述した画像補正部２０による処理（Ｓ１００，Ｓ３００の処理）は、ＰＣやデジタルスチルカメラなど、プリンタ以外の各種ハードウェアにおいても行なうことが可能である。

画像処理装置としてのプリンタの概略構成を示すブロック図である。 プリンタが実行する処理を示すフローチャートである。 口内領域検出処理の詳細を示すフローチャートである。 顔検出の様子を示す図である。 顔画像データにおいて口領域を検出する様子を示す図である。 口領域において複数の輪郭検出線を設定した様子を示す図である。 口領域において検出された輪郭点および口内領域を示す図である。 明るさ補正処理の詳細を示すフローチャートである。 輝度分布を示す図である。 トーンカーブを示す図である。

符号の説明

１０…プリンタ、１１…ＣＰＵ、１２…内部メモリ、１４ａ…画像データ、１４ｂ…顔テンプレート、１４ｃ…口テンプレート、１６…プリンタエンジン、１７…カードＩ／Ｆ、２０…画像補正部、２１…顔領域検出部、２２…顔器官検出部、２３…補正対象特定部、２４…補正量決定部、２５…補正実行部、１７２…カードスロット

Claims (8)

1. 対象画像における顔の口内領域を検出する検出部と、
   上記検出された口内領域における輝度分布を検出し、当該検出した輝度分布の形状に基づき、口内領域に属する画素のうち補正対象とする画素を特定する補正対象特定部と、
   上記特定された補正対象の画素の明るさの補正を行う明るさ補正部とを備えることを特徴とする画像処理装置。
2. 上記検出部は、上記顔における口の内側の輪郭の位置に略対応する複数の点を特定するとともに、当該特定した点を曲線にて補間して閉じた領域を生成し、当該生成した領域を上記口内領域とすることを特徴とする請求項１に記載の画像処理装置。
3. 上記補正対象特定部は、上記輝度分布における最大輝度値と当該最大輝度値に最も近い極小点を与える輝度値との間の輝度範囲に属する画素を補正対象として特定することを特徴とする請求項１または請求項２のいずれかに記載の画像処理装置。
4. 上記明るさ補正部は、上記口内領域の輝度の標準偏差を算出し、当該標準偏差に基づいて明るさの補正を行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 上記明るさ補正部は、トーンカーブを取得し、当該トーンカーブを用いて明るさの補正を行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
6. 上記検出部は、上記顔の領域を対象画像から検出し、当該顔の領域の大きさに対する上記口内領域の大きさの比が所定値以上であるか否か判定し、
   上記補正対象特定部は、上記検出部によって上記比が所定値以上であると判定された場合に、補正対象とする画素の特定を行なうことを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 上記明るさ補正部は、各画素に対する補正の度合いを上記口内領域の境界からの距離に応じて変更することを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
8. 対象画像における顔の口内領域を検出する検出工程と、
   上記検出された口内領域における輝度分布を検出し、当該検出した輝度分布の形状に基づき、口内領域に属する画素のうち補正対象とする画素を特定する補正対象特定工程と、
   上記特定された補正対象の画素の明るさの補正を行う明るさ補正工程とを備えることを特徴とする画像処理方法。

Images