JP2020154639A - 電子機器、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】画像補正により画像が不自然となることを抑制する技術を提供する。【解決手段】撮像装置のＣＰＵ１１は、被写体画像を取得する画像取得部１１１と、被写体画像における被写体の所定の器官を検出する器官検出部１１２と、器官検出部により検出された所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得部１１３と、画像情報取得部により取得された色情報を器官検出部により検出された所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は画像情報取得部により取得された明るさ情報を器官検出部により検出された所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成する第２テンプレート作成部１１５と、補正テンプレートに基づいて、被写体画像を補正する画像補正部１１６と、を含む。【選択図】図３

Description

本発明は、電子機器、画像処理方法、及び画像処理プログラムに関する。

従来、画像における被写体の器官を検出し、この検出した器官に対応する画像に対して、所定の画像処理（例えば、美顔補正）を行う技術が知られている（例えば、特許文献１参照）。

特開２０１８−１１７２８９号公報

上述した特許文献１に開示された技術等の一般的な技術では、検出した器官に対応する画像補正用のテンプレートを用いて、画像補正を行う対象の領域を特定している。
しかしながら、予め用意された補正テンプレートを用いた場合、ユーザの顔の向きや表情によっては、画像補正を行う対象の領域に適切に対応できず、検出した器官からはみ出した領域や、検出した器官における補正が必要ない領域に対して補正を行ってしまうことがあった。このような補正を行ってしまうと、補正後の画像が、不自然となってしまうという問題が生じる。

本発明は、このような状況に鑑みてなされたものであり、画像補正により画像が不自然となることを抑制することを目的とする。

上記目的を達成するため、本発明の一態様の電子機器は、
被写体画像を取得する画像取得手段と、
前記被写体画像における被写体の所定の器官を検出する器官検出手段と、
前記器官検出手段により検出された前記所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得手段と、
前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成するテンプレート作成手段と、
前記補正テンプレートに基づいて、前記被写体画像を補正する画像補正手段と、
を有することを特徴とする。

本発明によれば、画像補正により画像が不自然となることを抑制することができる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本発明の画像処理装置の一実施形態に係る撮像装置が行なう被写体画像補正処理の処理過程を説明するための模式図である。 図１の撮像装置の機能的構成のうち、被写体画像補正処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能的構成を有する図１の撮像装置が実行する被写体画像補正処理における器官検出や第１αマップの作成等について説明する模式図である。 図３の機能的構成を有する図１の撮像装置が実行する被写体画像補正処理における第２αマップの作成について説明する模式図である。 図３の機能的構成を有する図１の撮像装置が実行する被写体画像補正処理における第２αマップにおける、α値の決定方法の一例を示すグラフである。 図３の機能的構成を有する図１の撮像装置が実行する被写体画像補正処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

［ハードウェア構成］
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、画像処理機能を備えるデジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、撮像された画像としてＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像を記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像等の各種データも、記憶部１９と同様に記憶することができる。

［被写体画像補正処理］
次に、図２を参照して、被写体画像補正処理について説明する。図２は、図１に示すように構成される撮像装置１が行う、被写体画像補正処理の処理過程を説明するための模式図である。
ここで、被写体画像補正処理は、被写体画像における被写体の所定の器官に対して、より適切な画像補正を実現し、画像補正により画像が不自然となることを抑制する一連の処理である。

被写体画像補正処理の対象とする所定の器官は特に限定されず、任意の器官を対象として処理を行うことができる。以下では、説明のための一例として、被写体となったユーザの「歯」を対象として、処理を行うことを想定する。ここで、歯は、時間の経過に伴う形状の変化（すなわち、画像において視認される領域の変化）が他の器官に比べて大きい器官である。例えば、ユーザの表情や口の開き方の変化に伴い、口の中の歯が視認できる領域は変化する。また、場合によっては、口に隠れて歯が視認できなかったりする。また、ユーザの表情や口の開き方によって、歯のみならず歯茎や舌が視認できる状態となる場合もある。このように、変化の大きい器官については、画像補正の対象とするべき領域が、場合により大きく変化する。そのため、適切な補正テンプレートを予め用意することは困難である。

また、歯を画像補正する場合、例えば、歯がより白く見えるようにする補正を行うが、このような補正を、歯の周辺の唇や歯茎や舌等に対して行ってしまうと、不自然な補正となってしまう。そのため、歯を画像補正する場合、画像補正を行う対象の領域を適切に特定することは、特に重要となる。

そこで、本実施形態では、一例として、歯を対象として以下に説明する被写体画像補正処理を行うことにより、予め補正テンプレートを用意することなく、より精度高く、画像補正を行う対象の領域を適切に特定する。これにより、本実施形態では、より適切な画像補正を実現し、画像補正により画像が不自然となることを抑制することができる。

このような被写体画像補正処理について、より具体的に説明する。
図２に示すように、撮像装置１は、被写体画像補正処理の対象となる画像（以下、「元画像」と称する。）を取得する。元画像がどのような画像であるかは特に限定されないが、ここでは、元画像として人物の顔が含まれる画像であって、画像パラメータとしてＹＵＶで表現される画像を元画像とすることを想定する。ここで、ＹＵＶでは、輝度成分の信号Ｙ、青色成分の差分信号Ｕ、及び赤色成分の差分信号Ｖそれぞれが示すディジタル値に基づいて画像が表現される。

次に、撮像装置１は、器官検出を行うことにより、補正対象とする歯を含む領域を特定する。そして、処理対象とする領域を限定して、全体の演算処理量を削減するために、この歯を含む領域を元画像から切り出して、補正前のトリミング画像を作成する。

また、撮像装置１は、このトリミング画像における、所定の器官の検出結果に基づいて、修正前補正テンプレート（以下、「第１αマップ」と称する。）を作成する。

更に、撮像装置１は、トリミング画像の歯や唇の領域から取得した色情報や明るさ情報に基づいて第１αマップの修正を行うことにより、補正テンプレート（以下、「第２αマップ」と称する。）を作成する。これら第１αマップや第２αマップは、補正対象となる画素を特定すると共に、各補正対象の画素における補正度合い（すなわち、補正実行時に重み付けとなる係数）を示すα値を含んだマップである。

なお、図２を含む各図において、α値の表現として、値が「０」の場合を黒色で示し、値が「１」の場合を白色で示し、値が「０から１までの中間値」の場合をハッチングで示す。すなわち、図の表現において、色が黒色の領域は補正対象とならず、色が白に近づくにつれて、より補正度合いが高まることを示す。

次に、撮像装置１は、第２αマップにて特定される形状及びα値に基づいて、補正前のトリミング画像の各画素に対して画像補正を行う。例えば、上述したように、歯をより白くすると共に歯の輝度を高めることにより、いわゆる白く輝く歯となるように画像補正を行う。

そして、撮像装置１は、補正後のトリミング画像を元画像の対応する位置に貼り付けて、合成することにより、最終画像を作成する。
このように、撮像装置１は、器官検出に基づいて作成した第１αマップを、更に色情報や明るさ情報に基づいて修正して、第２αマップを作成して、画像補正を行う。これにより、予め用意された補正テンプレートを用いる場合に比べて、より精度高く、画像補正を行う対象の領域を適切に特定できる。そのため、撮像装置１は、より適切な画像補正を実現し、画像補正により画像が不自然となることを抑制することができる。

［機能的構成］
図３は、図１の撮像装置１の機能的構成のうち、上述した被写体画像補正処理を実行するための機能的構成を示す機能ブロック図である。

被写体画像補正処理を実行する場合には、図３に示すように、ＣＰＵ１１において、画像取得部１１１と、器官検出部１１２と、画像情報取得部１１３と、第１テンプレート作成部１１４と、第２テンプレート作成部１１５と、画像補正部１１６と、が機能する。

また、記憶部１９の一領域には、画像記憶部１９１が設定される。
以下で特に言及しない場合も含め、これら機能ブロック間では、被写体画像補正処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

画像記憶部１９１には、撮像部１６から出力された被写体画像や、通信部２０を介した通信により受信した被写体画像が記憶される。また、画像記憶部１９１には、被写体画像補正処理の過程において作成される、トリミング画像、第１αマップ、第２αマップ、及び最終画像等も適宜記憶される。

画像取得部１１１は、撮像部１６により撮像され現像処理が行われた被写体画像、或いは画像記憶部１９１に記憶されている被写体画像を取得する。この被写体画像は、上述した元画像に相当する。

器官検出部１１２は、画像取得部１１１が取得した画像から被写体であるユーザの顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。この顔や各器官の検出を実現する技術は、特に限定されず、既存の顔検出技術及び既存の器官検出技術を用いることができる。

具体的に、器官検出部１１２は、例えば、被写体画像補正処理の対象とする所定の器官（こでは、歯）と、他の器官（ここでは、歯に隣接する唇）を検出する。
ここで、唇及び歯を検出する方法について、図４を参照して説明する。図４（Ａ）に示すように、器官検出部１１２は、歯に隣接する器官である唇の器官点Ｐ１を検出する。器官点Ｐ１は、上唇及び下唇のそれぞれについて複数検出される。なお、図中では、複数の器官点Ｐ１をそれぞれ白色の丸で示すが、図示の都合上、その内の１つの器官点Ｐ１に対してのみ符号を付す。

そして、器官検出部１１２は、この複数の器官点Ｐ１の位置に基づいて、唇に対応する領域を検出する。また、上唇の下辺と、下唇の上辺とをつなげた唇の中の領域を、歯に対応する領域として検出する。なお、図示されている基準点Ｐ２については、第１テンプレート作成部１１４の説明の際に後述する。

画像情報取得部１１３は、器官検出部１１２の検出結果に基づいて、被写体画像に対して切り出しを行うことにより、上述したトリミング画像を作成する。ここでは、歯と唇に対応する領域を含むようにトリミング画像を作成する。
そして、画像情報取得部１１３は、作成したトリミング画像から、色情報や明るさ情報といった、第２αマップ作成においてのα値を決定するための情報を取得する。

具体的に、画像情報取得部１１３は、トリミング画像の各画素から、ＹＵＶモデルにおけるＶの値とＹの値をそれぞれ取得する。
また、他にも、画像情報取得部１１３は、トリミング画像をＨＳＶモデルに変換する。そして、画像情報取得部１１３は、変換後のＨＳＶ画像の各画素から、Ｈの値を取得する。

更に、他にも、画像情報取得部１１３は、唇の色を示す指標として、唇に対応する領域からＹＵＶモデルにおけるＶの値（以下、「唇指標値」と称する。）を取得する。例えば、画像情報取得部１１３は、上唇に対応する一部の領域の各画素のＶの値と、下唇に対応する一部の領域の各画素のＶの値とを取得する。そして、画像情報取得部１１３は、これら取得したＶの値の最頻値を、唇指標値となるＶの値として取得する。
なお、唇の領域におけるＶの値は、画素毎のバラつきが大きく、最頻値を決定しにくい場合がある。そのため、Ｖの値を取得する前処理として、既存の技術を利用して元画像をぼかす処理を行うようにしてもよい。そして、ぼかす処理を施すことにより各画素のバラつきを抑えた元画像から、各画素のＶの値を取得するようにしてもよい。また、この場合に、最頻値に限らず、平均値や中央値を唇指標値としてもよい。

第１テンプレート作成部１１４は、第１αマップを作成する。この点について、再度図４を参照して説明する。上述したように、器官検出部１１２は、複数の器官点Ｐ１の位置に基づいて、唇に対応する領域と、歯に対応する領域を検出する。すると、第１テンプレート作成部１１４は、被写体画像を処理するために用いられている座標系での、複数の器官点Ｐ１それぞれの位置を示す座標の値を全て取得する。そして、第１テンプレート作成部１１４は、取得した全ての座標の値の平均値に対応する位置を基準点Ｐ２として特定する。

次に、第１テンプレート作成部１１４は、図４（Ｂ）に示すように、第１αマップを作成する。この第１αマップでは、基準点Ｐ２を含んだ中央の領域を白色（すなわち、α値「１」）、他の領域を黒色（すなわち、α値「０」）と設定している。また、この図４（Ｂ）の第１αマップ中央のα値が設定されている領域の形状は、例えば、歯に対応する領域の形状を、基準点Ｐ２を中心として各方向に等比率で縮小した形状としている。
しかしながら、このようにα値が設定された第１αマップを、そのまま画像補正に利用すると、画像補正を行う領域と補正を一切行わない領域との境界が明確となり、画像補正が不自然となってしまう。そこで、第１テンプレート作成部１１４は、この境界をぼかすために、第１αマップの中央の領域から外部に近づくにつれてα値が段階的に低くなり、画像補正の度合いが抑えられるように、第１αマップを修正する。

そのため、第１テンプレート作成部１１４は、図４（Ｃ）に示すように、基準点Ｐ２を中心として各方向に等比率で第１αマップ中央のα値が設定されている領域の形状を拡張し、拡張した領域のα値を、内接する領域のα値よりも低く設定する、という処理を目標とする拡大率に到達するまで繰り返す。例えば、第１αマップ中央のα値が設定されている領域の形状が、歯に対応する領域の形状と同じ大きさとなる拡大率まで繰り返す。

これにより、第１テンプレート作成部１１４は、図４（Ｃ）に示すように、器官検出部１１２により検出された歯に対応する領域の形状を維持すると共に、第１αマップの内部から外部に近づくにつれてα値が段階的に低くなり、画像補正の度合いが抑えられるように設定された第１αマップを作成することができる。なお、目標の拡大率や繰り返しの回数（α値を段階的に変化させる回数）を変更することで、第１αマップの大きさとα値のグラデーション強度を任意に変更できる。

第２テンプレート作成部１１５は、第２αマップを作成する。第１αマップは、画像補正の度合い等が調整された、一般的な器官の補正に用いるのに好適なαマップであるが、歯については、上述したように、ユーザの表情や口の開き方の変化に伴い、補正対象となる領域が大きく変化する器官であるという特性がある。また、歯のみならず歯茎や舌が含まれてしまう場合があるという特性もある。そこで、第２テンプレート作成部１１５は、画像情報取得部１１３がトリミング画像から取得した、色情報や明るさ情報に基づいて、第１αマップを修正することにより、より歯の特性に適合した、第２αマップを作成する。この点について、図５を参照して説明をする。

図５（Ｃ）に、第１αマップを示す。この第１αマップは、第１テンプレート作成部１１４が作成した、図４（Ｃ）に示したものと同等である。ただし、第１αマップ作成の説明のために図４（Ｃ）に図示した基準点Ｐ２については、第２αマップ作成の説明のための図である図５（Ｃ）では図示を省略する。
第２テンプレート作成部１１５は、この第１αマップにおける各画素のα値（以下、「第１α値」と称する。）を、第２α値に修正することによって、図５（Ｅ）に示すような第２αマップを作成する。この第２テンプレート作成部１１５による、第２α値への修正は、２つの観点から行われる。この２つの観点では、それぞれの観点において、除外しようとする対象の器官（例えば、所定の器官に含まれる、複数の器官の何れか）の特性に応じて、色情報及び明るさ情報の何れか一方を、他方よりも優先して利用して第２α値への修正を行なうようにしている。以下では、一例として所定の器官（ここでは、歯）に含まれてしまっている第１の器官（ここでは、唇や舌や歯茎）と、第２の器官（ここでは、口の中における舌や歯茎の影）それぞれの特性に応じて、色情報及び明るさ情報の何れか一方を、他方よりも優先して利用して第２α値への修正を行なう。

１つ目の観点は、第１αマップにおいて、所定の器官（ここでは、歯）に含まれてしまった第１の器官である唇や舌や歯茎を、色情報に基づいて除外するという観点である。そのために、図５（Ｄ）に示すように唇の色情報を示す情報である、唇指標値のＶの値を利用する。つまり、１つ目の観点では、除外対象とする唇や舌や歯茎の特性を考慮して、これらを特定しやすい色情報（すなわち、Ｖの値）を、明るさ情報（すなわち、Ｙの値）よりも優先して利用する。
具体的には、上述したように、画像情報取得部１１３が、トリミング画像の各画素から取得したＹＵＶモデルにおけるＶの値と、唇指標値となるＶの値と、下記の＜Ｖの重みの算出式＞とに基づいて、各画素でのＶによる重みを算出する。このＶの重みの算出式は、今回の被写体画像における唇指標値にＶの値が近似している画素や、よりＶの値が大きい画素は、歯に対応する画素ではなく、唇や舌や歯茎に対応する画素であると考えられるので、歯を白くするための画像補正の対象から除外する（すなわち、α値をゼロにする）という考えに基づいた式である。なお、以下の＜Ｖの重み算出式＞で利用されている定数はパラメータ値であり、状況に応じて変更してもよい。

＜Ｖの重みの算出式＞
Ｖによる重み＝−０．５×ｔａｎｈ（０．０５×（トリミング画像のＶの値−唇指標値のＶの値））＋０．５

なお、上記＜Ｖの重みの算出式＞に対応するグラフを図６（Ａ）に示す。

次に、２つ目の観点は、第１αマップにおいて、所定の器官（ここでは、歯）に含まれてしまった第２の器官である口の中における舌や歯茎の影を、明るさ情報に基づいて除外するという観点である。そのために、Ｙの値を利用する。つまり、２つ目の観点では、除外対象とする口の中における舌や歯茎の影の特性を考慮して、これらを特定しやすい明るさ情報（すなわち、Ｙの値）を、色情報（すなわち、Ｖの値）よりも優先して利用する。
具体的には、上述したように、画像情報取得部１１３が、トリミング画像の各画素から取得したＹＵＶモデルにおけるＹの値と、下記の＜Ｙの重みの算出式＞とに基づいて、各画素でのＹによる重みを算出する。このＹの重みの算出式は、Ｙの値が所定以上大きい画素は、歯に対応する画素ではなく、影として撮像された舌や歯茎に対応する画素であると考えられるので、歯を白くするための画像補正の対象から除外する（すなわち、α値をゼロにする）という考えに基づいた式である。なお、以下の＜Ｙの重み算出式＞で利用されている定数はパラメータ値であり、状況に応じて変更してもよい。

＜Ｙの重みの算出式＞
Ｙによる重み＝０．５×ｔａｎｈ（０．０５×（トリミング画像のＹの値−５０））＋０．５

なお、上記＜Ｙの重みの算出式＞に対応するグラフを図６（Ｂ）に示す。また、Ｖの値は被写体画像により大きく異なることが多いため、上述の＜Ｖの重みの算出式＞や、図６（Ａ）で示したように、唇指標値を用いて重み付けの値が変化する基準を調整していたが、Ｙの値については被写体画像により大きく異なることは少ないので、特に基準の調整はしていない。

第２テンプレート作成部１１５は、上記２つの観点で算出したＶによる重みと、Ｙによる重みとを、第１α値の重み付け係数として、下記の＜第２α値の算出式＞示すようにして、第２α値を算出する。

＜第２α値の算出式＞
第２α値＝第１α値×Ｖによる重み×Ｙによる重み

第２テンプレート作成部１１５は、このように、第１αマップの各画素における、第１α値を、第２α値に修正することによって、図５（Ｅ）に示すような第２αマップを作成する。
更に、第２テンプレート作成部１１５は、第１αマップを作成した場合と同様に、画像補正を行う領域と補正を一切行わない領域との境界をぼかすために、既存の技術を利用して第２αマップをぼかす。これにより、図５（Ｆ）に示すような、唇や歯茎や舌を画像補正の対象から除外するように第２α値が設定された、第２αマップを作成することができる。

このように、＜Ｖの重みの算出式＞や＜Ｙの重みの算出式＞に基づいた処理を行うことにより、例えば、図５（Ｇ）に示すように、口を大きく開かれて歯に対応する領域が上下に分かれてしまったような場合でも、唇や舌や歯茎を除外して、歯に対応する上下双方の領域に対して画像補正を行うことが可能となる。

画像補正部１１６は、第２αマップにて特定される形状及び第２α値に基づいて、補正前のトリミング画像の各画素に対して画像補正を行う。例えば、上述したように、歯をより白くすると共に歯の輝度を高めることにより、いわゆる白く輝く歯となるように画像補正を行う。
この場合、画像補正部１１６は、歯に対応する領域の彩度を下げる（すなわち、白くする）ために、ＹＵＶモデルにおけるＵの値とＶの値を低減させる。

具体的には、上述したように、画像情報取得部１１３が、トリミング画像の各画素から取得したＨＳＶモデルにおけるＨの値と、図６（Ｃ）に示すような色重みテーブルと、下記の＜補正後のＵの値の算出式＞又は＜補正後のＶの値の算出式＞とに基づいて、各画素での補正後のＵの値とＶの値を算出する。そして、この算出した補正後の値になるように、補正前のトリミング画像に対して画像補正を行う。これらの算出式及び色重みテーブルは、歯の黄ばみに対応する黄色に対して、他の色より色重み値を大きな値とすることにより、より歯を白くするという考えに基づいた式やテーブルである。以下の色重み値とは、トリミング画像の対象画素のＨを図６（Ｃ）に示した色重みテーブルに代入することで得られる色重み値のことである。

＜補正後のＵの値の算出式＞
補正後画像のＵの値＝（（トリミング画像のＵの値−１２８）／（１＋色重み値×第２α値×ユーザ設定値））＋１２８

＜補正後のＶの値の算出式＞
補正後画像のＶの値＝（（トリミング画像のＶの値−１２８）／（１＋色重み値×第２α値×ユーザ設定値））＋１２８

なお、上記、各算出式における色重みテーブルに対応するグラフを図６（Ｃ）に示す。ここで、ユーザ設定値は、ユーザが任意に設定する値である。ユーザ設定値を設定可能とすることにより、ユーザの好みを反映した画像補正を実現することができる。また、上記の各算出式ではＵの値や、Ｖの値を８ビットで表現し、０〜２５５の値を取りうる場合を想定して、この取りうる値の中央値という意味で１２８という値を用いている。そのため、取りうる値が異なる場合は、これに応じて１２８という値も適宜修正するようにする。

また、画像補正部１１６は、歯に対応する領域の輝度を上げる（すなわち、輝かせる）ために、ＹＵＶモデルにおけるＹの値を上昇させる。
具体的には、上述したように、画像情報取得部１１３がトリミング画像の各画素から取得したＹＵＶモデルにおけるＹの値と、図６（Ｄ）に示すような明るさ上昇テーブルと、下記の＜補正後のＹの値の算出式＞とに基づいて、各画素での補正後のＹの値を算出する。そして、この算出した補正後の値になるように、補正前のトリミング画像に対して画像補正を行う。これらの算出式及び明るさ上昇テーブルは、極めて明るい画素や、極めて暗い画素については、補正せず、中間の明るさの画素がより明るくなるように補正することにより、不自然さを感じさせることなく、歯を輝かせるという考えに基づいた式やテーブルである。以下の明るさ上昇値とは、トリミング画像の対象画素のＹを図６（Ｄ）に示した明るさ上昇テーブルに代入することで得られる明るさ上昇値のことである。

＜補正後のＹの値の算出式＞
補正後画像のＹの値＝元画像のＹの値＋（明るさ上昇値×第２α値×ユーザ設定値）

なお、上記、算出式における明るさ上昇テーブルに対応するグラフを図６（Ｄ）に示す。また、ユーザ設定値は、ユーザが任意に設定する値である。ユーザ設定値を設定可能とすることにより、ユーザの好みを反映した画像補正を実現することができる。

画像補正部１１６は、このようにして、第２αマップにて特定される形状及び第２α値に基づいて、補正前のトリミング画像の各画素に対して画像補正を行う。これにより、いわゆる白く輝く歯となるように画像補正が実現される。画像補正部１１６は、このように画像補正を施したトリミング画像を、元画像の対応する位置に貼り付けて、合成することにより、最終画像を作成する。
そして、画像補正部１１６は、最終画像を出力する。例えば、画像補正部１１６は、出力として、最終画像を出力部１８に表示させたり、最終画像を画像記憶部１９１に記憶させたりする。

［動作］
図７は、図３の機能的構成を有する図１の撮像装置１が実行する被写体画像補正処理の流れを説明するフローチャートである。
被写体画像補正処理は、ユーザによる入力部１７への被写体画像補正処理開始の操作により開始される。
被写体画像補正処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部１６により撮像され、現像処理が行われた画像に対して、引き続き被写体画像補正処理を行ってもよく、また、画像記憶部１９１に記憶されている画像を選択し、その選択された画像に対する被写体画像補正処理開始の操作であってもよい。

ステップＳ１１において、画像取得部１１１は、撮像部１６により撮像され、現像処理が行われた画像、或いは画像記憶部１９１から処理対象となる画像を、元画像として取得する。
ステップＳ１２において、器官検出部１１２は、ステップＳ１１で画像取得部１１１が取得した画像から被写体であるユーザの顔を検出すると共に、検出した顔において顔を構成する各器官を検出するための処理を行う。

ステップＳ１３において、器官検出部１１２は、ステップＳ１２での検出結果において、被写体画像補正処理の対象とする所定の器官（ここでは、歯）が検出されたか否かを判定する。所定の器官（ここでは、歯）が検出された場合は、ステップＳ１３においてＹｅｓと判定され、処理はステップＳ１４に進む。一方で、被写体画像にユーザの顔が含まれていなかったり、ユーザが口を閉じていたりして、所定の器官（ここでは、歯）が検出されなかった場合は、ステップＳ１３においてＮｏと判定され、本処理は終了する。

ステップＳ１４において、画像情報取得部１１３は、ステップＳ１２での検出結果に基づいて、被写体画像に対して切り出しを行うことにより、トリミング画像を作成する。
ステップＳ１５において、画像情報取得部１１３は、ステップＳ１４で作成したトリミング画像から、色情報や明るさ情報といった、第２αマップ作成においてα値を決定するための情報を取得する。

ステップＳ１６において、第１テンプレート作成部１１４は、ステップＳ１２での検出結果に基づいて、第１αマップを作成する。
ステップＳ１７において、第２テンプレート作成部１１５は、ステップＳ１６で作成された第１αマップを、ステップＳ１５で取得された色情報や明るさ情報で修正することにより、第２αマップを作成する。

ステップＳ１８において、画像補正部１１６は、ステップＳ１７で作成された第２αマップにて特定される形状及び第２α値に基づいて、補正前のトリミング画像の各画素に対して画像補正を行う。
ステップＳ１９において、画像補正部１１６は、ステップＳ１８で画像補正を施したトリミング画像を、元画像の対応する位置に貼り付けて、合成することにより、最終画像を作成する。

ステップＳ２０において、画像補正部１１６は、ステップＳ１９で作成された最終画像を出力する。例えば、画像補正部１１６は、出力として、最終画像を出力部１８に表示させたり、最終画像を画像記憶部１９１に記憶させたりする。

以上説明した被写体画像補正処理によれば、器官検出に基づいて作成した第１αマップを、更に色情報や明るさ情報に基づいて修正して、第２αマップを作成して、画像補正を行う。これにより、予め用意された補正テンプレートを用いる場合に比べて、より精度高く、画像補正を行う対象の領域を適切に特定できる。そのため、より適切な画像補正を実現し、画像補正により画像が不自然となることを抑制することができる。

［構成例］
以上のように構成される撮像装置１は、画像取得部１１１と、器官検出部１１２と、画像情報取得部１１３と、第２テンプレート作成部１１５と、画像補正部１１６と、を有する。
画像取得部１１１は、被写体画像を取得する。
器官検出部１１２は、被写体画像における被写体の所定の器官を検出する。
画像情報取得部１１３は、器官検出部１１２により検出された所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する。
第２テンプレート作成部１１５は、画像情報取得部１１３により取得された色情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は画像情報取得部１１３により取得された明るさ情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレート（第２αマップに相当）を作成する。
画像補正部１１６は、補正テンプレートに基づいて、被写体画像を補正する。
このように、撮像装置１は、色情報や明るさ情報に基づいて補正テンプレートを作成することから、予め用意された補正テンプレートを用いる場合に比べて、より精度高く、画像補正を行う対象の領域を適切に特定できる。そのため、撮像装置１は、より適切な画像補正を実現し、画像補正により画像が不自然となることを抑制することができる。

第２テンプレート作成部１１５は、所定の器官に対応する領域の画像情報に含まれる明るさ情報と色情報のうち、明るさ情報及び色情報の何れか又は双方のみを用いて、補正テンプレートを作成する。
このように、撮像装置１は、明るさ情報及び色情報の何れか又は双方のみを用いて、補正テンプレートを作成することができるので、例えば、補正対象となる器官の特性に対応した情報を用いて、補正テンプレートを作成することできる。

撮像装置１は、第１テンプレート作成部１１６を更に有する。
第１テンプレート作成部１１６は、器官検出部１１２の検出結果に基づいて、所定の器官の形状に対応する修正前補正テンプレート（第１αマップに相当）を作成する。
第２テンプレート作成部１１５は、画像情報取得部１１３により取得された色情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、修正前補正テンプレートを修正する、又は画像情報取得部１１３により取得された明るさ情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して、修正前補正プレートを修正することにより補正テンプレートを作成することにより補正テンプレートを作成する。
このように、撮像装置１は、器官検出に基づいて作成した修正前補正テンプレートを、更に色情報や明るさ情報に基づいて修正することから、修正前補正テンプレートを作成しない場合よりも、より精度高く、画像補正を行う対象の領域を適切に特定できる。

第２テンプレート作成部１１５は、画像情報取得部１１３により取得された色情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、所定の器官の形状に対応する修正前補正テンプレートを、第１領域とそれ以外の第２領域とに分割し、第１領域に対しては補正対象として維持すると共に第２領域については補正対象から除外するように修正前補正テンプレートを修正することにより補正テンプレートを作成する、又は、画像情報取得部１１３により取得された明るさ情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して所定の器官の形状に対応する修正前補正テンプレートを、第１領域とそれ以外の第２領域とに分割し、第１領域に対しては補正対象として維持すると共に第２領域については補正対象から除外するように修正前補正テンプレートを修正することにより補正テンプレートを作成する。
これにより、撮像装置１は、色情報及び明るさ情報の何れか又は双方を優先的に利用して、補正対象とするべきでない領域を特定し、補正対象から除外することができる。例えば、歯に対して補正を行う場合に、唇の色情報を優先的に利用して、補正対象とするべきでない唇や歯茎や舌を、補正対象から除外することができる。

器官検出部１１２は、被写体画像における被写体の所定の器官とは異なる他の器官を更に検出する。
第１テンプレート作成部１１６は、器官検出部１１２の検出結果に基づいて、他の器官の形状に対応する修正前補正テンプレートを更に作成する。
第２テンプレート作成部１１５は、他の器官に対応する修正前補正テンプレートは修正しない。
これにより、撮像装置１は、所定の器官（例えば、歯）以外の領域に対しても、修正前補正テンプレートを利用した補正を行うことができる。

器官検出部１１２は、時間の経過に伴う形状の変化が他の器官に比べて大きい器官を、所定の器官として検出する。
これにより、撮像装置１は、形状が変化しやすく、予め作成したテンプレート等での補正が困難な器官に対して、本実施形態における補正を行うことができる。

所定の器官とは、歯である。
被写体画像の所定の器官に対応する領域とは少なくとも唇を含んだ領域である。
これにより、撮像装置１は、補正対象とする歯のみならず、補正対象としない領域である、唇の色情報及び明るさ情報にも基づいて、補正を行うことができる。

第２テンプレート作成部１１５は、画像情報取得部１１３により取得された色情報及び明るさ情報の何れか又は双方に基づいて、補正テンプレートにおける各画素それぞれの補正度合いを決定する。
これにより、撮像装置１は、色情報及び明るさ情報の何れか又は双方に基づいた度合いで補正を行うことができる。この場合に、色情報及び明るさ情報の取得元は特に限定されないので、撮像装置１は、例えば、補正対象とする領域（例えば、歯）の色情報及び明るさ情報のみならず、補正対象としない領域（例えば、唇）の色情報及び明るさ情報にも基づいて、補正を行うことができる。

第２テンプレート作成部１１５は、画像情報取得部１１３により取得された色情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、所定の器官を構成する第１の器官に対応する領域の補正テンプレートを作成し、且つ画像情報取得部１１３により取得された明るさ情報を器官検出部１１２により検出された所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して、所定の器官を構成する第２の器官に対応する領域の補正テンプレートを作成する。
これにより、撮像装置１は、所定の器官に含まれる各器官それぞれで異なる特性に応じて、明るさ情報及び色情報の何れかを優先して用いて、補正テンプレートを作成することができる。

［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

＜第１変形例＞
上述の実施形態において、第２テンプレート作成部１１５は、画像情報取得部１１３が取得した色情報や明るさ情報に基づいて、第１テンプレート作成部１１４が作成した第１αマップを修正することによって、第２αマップを作成していた。これに限らず、第２テンプレート作成部１１５は、画像情報取得部１１３が取得した色情報や明るさ情報に基づいて、第１αマップを修正するのではなく、直接第２αマップを作成してもよい。

この場合、第２テンプレート作成部１１５は、上述の第１αマップの代わりに、α値が設定されていないマップを作成する。具体的に、第２テンプレート作成部１１５は、画像情報取得部１１３が器官検出部１１２の器官検出結果に基づいて作成したトリミング画像と同様の大きさの、α値が設定されていないマップを作成する。
また、第２テンプレート作成部１１５は、画像情報取得部１１３がこのトリミング画像から取得した色情報や明るさ情報に基づいて、上述した処理と同様の処理を行なうことにより、第２α値を算出する。
そして、第２テンプレート作成部１１５は、作成したα値が設定されていないマップの各画素のα値を、このようにして算出した第２α値に設定することにより、第２αマップを作成することができる。

この場合、例えば、上記の＜Ｖの重みの算出式＞及び＜Ｙの重み算出式＞の、特に＜Ｖの重みの算出式＞により、所定器官より外側のＶの値が大きい画素についても、全てα値が「０」と設定される。
例えば、上述したように歯が所定器官である場合には、唇に対応する領域の画素のみならず、唇よりも外側の肌部分や鼻等の他の器官に対応する領域の画素についても、歯に対応する領域の画素に比べてＶの値が大きい。そのため、上記の＜Ｖの重みの算出式＞における各定数（すなわち、パラメータ値）を適切に設定することにより、本変形例のように、直接第２αマップを作成した場合であっても、適切に第２αマップを作成することができる。すなわち、歯等の所定器官に対応する領域の画素のみにα値を設定し、他の領域の画素についてはα値を「０」と設定した第２αマップを作成することができる。
これにより、上述した被写体画像補正処理における、第１αマップの作成処理を省略することができる。そのため、被写体画像補正処理全体の処理量が削減でき、被写体画像補正処理を高速に終了させることが可能となる。

＜第２変形例＞
上述の実施形態において、第２αマップを利用して画像補正を行う所定の器官（上述の実施形態では、歯）を、被写体画像補正処理の対象としていた。これに限らず、この所定の器官以外の他の器官に対して、被写体画像補正処理の一部又は全部を行うようにしてもよい。
例えば、この所定の器官に対しては上述した第２αマップを利用した画像補正を行う一方で、この所定の器官以外の他の器官（以下、単に「他の器官」と称する。）に対しては上述した第１αマップを利用した画像補正を行うようにしてもよい。上述したように、第１αマップは、画像補正の度合い等が調整された、一般的な器官の補正に用いるのに好適なαマップである。そのため、他の器官が、歯のような大きく変化するような特性を有さない鼻等の器官である場合には、第１αマップにより適切な画像補正を行うことができる。

なお、この画像補正は、所定の器官と同じ画像補正であってもよいし、異なる画像補正であってもよい。例えば、所定の器官である歯に対して、上述したように白くなるような補正を行う一方で、他の器官に対しては、例えば、εフィルタ等を利用して平滑化を行う美肌補正等を行うようにしてもよい。また、このような画像補正の対象とする所定の器官と他の器官は、それぞれ単数であってもよいし、複数であってもよい。

＜第３変形例＞
上述した第１変形例を更に変形し、器官検出部１１２による検出結果に基づいて、所定の器官であるか他の器官であるかを判定するようにしてもよい。例えば、上述したように、ユーザの表情等の変化に伴い、補正対象となる領域が大きく変化する器官を所定の器官とすることが望ましい。そこで、例えば、器官検出部１１２は、補正対象となる領域が大きく変化したか否かに基づいて、所定の器官であるか他の器官であるかを判定する。

この場合、画像取得部１１１は、同じ被写体を所定期間連続して撮像した、複数の被写体画像を取得する。また、器官検出部１１２は、これら複数の被写体画像に対して、各器官の検出処理を連続して継続する。なお、これら複数の被写体画像は、動画の形式で撮像されたものであってもよい。
更に、器官検出部１１２は、この継続中の期間における各器官に対応する領域の変化の程度を特定する。例えば、各器官に対応する領域が最小となった際の大きさと、最大となった際の大きさとの差分に基づいて、変化の程度を特定する。あるいは、各器官に対応する領域の位置が変動したか否かに基づいて、変化の程度を特定する。

そして、器官検出部１１２は、変化の程度が所定以上である器官を所定の器官として特定する。また、器官検出部１１２は、変化の程度が所定未満である器官を他の器官として特定する。このように、器官検出部１１２が特定を行うことにより、取得した被写体画像の変化状態に応じて、例えば歯以外の器官を所定の器官として特定して、第２αマップを用いた画像補正を行うことが可能となる。例えば、瞼の状態により形状が変化した瞳や、イヤホンの着脱に伴い形状が変化した耳等の、被写体画像の変化状態に応じて、形状が変化した器官を所定の器官として特定して、第２αマップを用いた画像補正を行うことが可能となる。あるいは、説明の一例とした歯の形状が変化しない場合に、第２αマップの作成を省略するようなことが可能となる。

＜第４変形例＞
上述の実施形態において、第２テンプレート作成部１１５は、所定の器官（ここでは、歯）に含まれてしまっている第１の器官（ここでは、唇や舌や歯茎）と、第２の器官（ここでは、口の中における舌や歯茎の影）それぞれの特性に応じて、色情報及び明るさ情報の何れか一方を、他方よりも優先して利用して第２α値への修正を行っていた。すなわち、第１の器官に対応して、色情報を優先して用いる＜Ｖの重みの算出式＞を利用して第２α値への修正を行なうと共に、第２の器官に対応して、明るさ情報を優先して用いる＜Ｙの重みの算出式＞を利用して第２α値への修正を行なっていた。これに限らず、状況に応じて、色情報を優先した第２α値の修正と、明るさ情報を優先した第２α値の修正の、何れかのみを行なうようにしてもよい。

例えば、上述の実施形態のように、所定の器官を歯とした場合、被写体であるユーザが上下の歯を閉じていれば第２の器官（ここでは、口の中における舌や歯茎の影）は被写体画像に含まれない。この場合、第２の器官に対応して明るさ情報を優先して用いる＜Ｙの重みの算出式＞を利用した第２α値への修正を省略することができる。
そこで、第２テンプレート作成部１１５は、例えば、器官検出部１１２の検出結果に基づいてユーザの上下の歯が閉じていると判定した場合や、画像情報取得部１１３の取得した明るさ情報（すなわち、Ｙの値）に基づいて影に対応するような輝度が低い領域が含まれていないと判定した場合に、第１の器官に対応して＜Ｖの重みの算出式＞を利用して第２α値への修正を行なう一方で、第２の器官に対応した＜Ｙの重みの算出式＞を利用した第２α値への修正は省略する。
このように、色情報を優先した第２α値の修正と、明るさ情報を優先した第２α値の修正の、何れかのみを行なうことにより、被写体画像補正処理全体としての演算処理量を削減し、処理を高速に行なうことが可能となる。

＜第５変形例＞
上述した実施形態で示した、各算出式やテーブルは、説明のための一例に過ぎず、特に限定されない。実施形態を実装する環境や、被写体画像補正処理の対象とする器官等に応じて、適宜修正することができる。

例えば、上述の実施形態では、第２αマップを作成するための色の情報として、ＹＵＶモデルのＶの値を用いたが、Ｕの値を用いてもよい。あるいは、他の色空間を表現するモデルであるＨＳＶのＨの値や、ＲＧＢモデルの各値を用いてもよい。更には、これらの値を組み合わせて用いてもよい。
また、同様に第２αマップを作成するための明るさの情報として、上述したＹＵＶモデルのＹの値ではなく、ＨＳＶのＶの値や、ＲＧＢモデルの各値を用いてもよい。更には、これらの値を組み合わせて用いてもよい。

＜第６変形例＞
上述の実施形態では、本発明が適用される対象が、デジタルカメラで実現される撮像装置１である場合を例にとって説明したが、これに限らない。本発明は、情報処理機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、サーバ装置、スマートフォン、携帯電話機、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用することができる。

この場合に、これら電子機器は、自身で撮像した画像を対象として上述した被写体画像補正処理を行ってもよいし、他の電子機器で撮像した画像を対象として上述した被写体画像補正処理を行ってもよい。つまり、複数の電子機器が協働することにより、上述した被写体画像補正処理を行ってもよい。例えば、或る電子機器が、他の電子機器で撮像した画像を、ネットワークや記憶媒体を介して取得し、この取得した画像を対象として上述した被写体画像補正処理を行ってもよい。すなわち、本発明は、撮像機能を有さない画像処理装置によって実現することもできる。

＜他の変形例＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体画像を取得する画像取得手段と、
前記被写体画像における被写体の所定の器官を検出する器官検出手段と、
前記器官検出手段により検出された前記所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得手段と、
前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成するテンプレート作成手段と、
前記補正テンプレートに基づいて、前記被写体画像を補正する画像補正手段と、
を有することを特徴とする電子機器。
［付記２］
前記テンプレート作成手段は、前記所定の器官に対応する領域の画像情報に含まれる明るさ情報と色情報のうち、明るさ情報及び色情報の何れか又は双方のみを用いて、前記補正テンプレートを作成することを特徴とする付記１に記載の電子機器。
［付記３］
前記器官検出手段の検出結果に基づいて、前記所定の器官の形状に対応する修正前補正テンプレートを作成する修正前テンプレート作成手段を更に有し、
前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、前記修正前補正テンプレートを修正する、又は前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して、前記修正前補正プレートを修正することにより前記補正テンプレートを作成することを特徴とする付記１又は２に記載の電子機器。
［付記４］
前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、前記所定の器官の形状に対応する修正前補正テンプレートを、第１領域とそれ以外の第２領域とに分割し、前記第１領域に対しては補正対象として維持すると共に前記第２領域については補正対象から除外するように前記修正前補正テンプレートを修正することにより前記補正テンプレートを作成する、
又は、前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して前記所定の器官の形状に対応する修正前補正テンプレートを、第１領域とそれ以外の第２領域とに分割し、前記第１領域に対しては補正対象として維持すると共に前記第２領域については補正対象から除外するように前記修正前補正テンプレートを修正することにより前記補正テンプレートを作成する
ことを特徴とする付記３に記載の電子機器。
［付記５］
前記器官検出手段は、前記被写体画像における被写体の前記所定の器官とは異なる他の器官を更に検出し、
前記修正前テンプレート作成手段は、前記器官検出手段の検出結果に基づいて、前記他の器官の形状に対応する修正前補正テンプレートを更に作成し、
前記テンプレート作成手段は、前記他の器官に対応する修正前補正テンプレートは修正しない
ことを特徴とする付記３又は４に記載の電子機器。
［付記６］
前記器官検出手段は、時間の経過に伴う形状の変化が他の器官に比べて大きい器官を、前記所定の器官として検出する
ことを特徴とする付記１乃至５の何れか１に記載の電子機器。
［付記７］
前記所定の器官とは、歯であり、
前記被写体画像の前記所定の器官に対応する領域とは少なくとも唇を含んだ領域である
ことを特徴とする付記１乃至６の何れか１に記載の電子機器。
［付記８］
前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報及び明るさ情報の何れか又は双方に基づいて、前記補正テンプレートにおける各画素それぞれの補正度合いを決定する
ことを特徴とする付記１乃至７の何れかに記載の電子機器。
［付記９］
前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、前記所定の器官を構成する第１の器官に対応する領域の補正テンプレートを作成し、
且つ前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して、前記所定の器官を構成する第２の器官に対応する領域の補正テンプレートを作成することを特徴とする付記1乃至８の何れかに記載の電子機器。
［付記１０］
被写体画像を取得する画像取得ステップと、
前記被写体画像における被写体の所定の器官を検出する器官検出ステップと、
前記器官検出ステップにより検出された前記所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得ステップと、
前記画像情報取得ステップにより取得された色情報を前記器官検出ステップにて検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は前記画像情報取得ステップにて取得された明るさ情報を前記器官検出ステップにより検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成するテンプレート作成ステップと、
前記補正テンプレートに基づいて、前記被写体画像を補正する画像補正ステップと、
を有することを特徴とする画像処理方方法。
［付記１１］
被写体画像を取得する画像取得手段、
前記被写体画像における被写体の所定の器官を検出する器官検出手段、
前記器官検出手段により検出された前記所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得手段、
前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成するテンプレート作成手段、
前記補正テンプレートに基づいて、前記被写体画像を補正する画像補正手段、
としてコンピュータを機能させることを特徴とする画像処理プログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，１１１・・・画像取得部，１１２・・・器官検出部，１１３・・・画像情報取得部，１１４・・・第１テンプレート作成部，１１５・・・第２テンプレート作成部，１１６・・・画像補正部，１９１・・・画像記憶部

Claims (11)

1. 被写体画像を取得する画像取得手段と、
   前記被写体画像における被写体の所定の器官を検出する器官検出手段と、
   前記器官検出手段により検出された前記所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得手段と、
   前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成するテンプレート作成手段と、
   前記補正テンプレートに基づいて、前記被写体画像を補正する画像補正手段と、
   を有することを特徴とする電子機器。
2. 前記テンプレート作成手段は、前記所定の器官に対応する領域の画像情報に含まれる明るさ情報と色情報のうち、明るさ情報及び色情報の何れか又は双方のみを用いて、前記補正テンプレートを作成することを特徴とする請求項１に記載の電子機器。
3. 前記器官検出手段の検出結果に基づいて、前記所定の器官の形状に対応する修正前補正テンプレートを作成する修正前テンプレート作成手段を更に有し、
   前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、前記修正前補正テンプレートを修正する、又は前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して、前記修正前補正プレートを修正することにより前記補正テンプレートを作成することを特徴とする請求項１又は２に記載の電子機器。
4. 前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、前記所定の器官の形状に対応する修正前補正テンプレートを、第１領域とそれ以外の第２領域とに分割し、前記第１領域に対しては補正対象として維持すると共に前記第２領域については補正対象から除外するように前記修正前補正テンプレートを修正することにより前記補正テンプレートを作成する、
   又は、前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して前記所定の器官の形状に対応する修正前補正テンプレートを、第１領域とそれ以外の第２領域とに分割し、前記第１領域に対しては補正対象として維持すると共に前記第２領域については補正対象から除外するように前記修正前補正テンプレートを修正することにより前記補正テンプレートを作成する
   ことを特徴とする請求項３に記載の電子機器。
5. 前記器官検出手段は、前記被写体画像における被写体の前記所定の器官とは異なる他の器官を更に検出し、
   前記修正前テンプレート作成手段は、前記器官検出手段の検出結果に基づいて、前記他の器官の形状に対応する修正前補正テンプレートを更に作成し、
   前記テンプレート作成手段は、前記他の器官に対応する修正前補正テンプレートは修正しない
   ことを特徴とする請求項３又は４に記載の電子機器。
6. 前記器官検出手段は、時間の経過に伴う形状の変化が他の器官に比べて大きい器官を、前記所定の器官として検出する
   ことを特徴とする請求項１乃至５の何れか１項に記載の電子機器。
7. 前記所定の器官とは、歯であり、
   前記被写体画像の前記所定の器官に対応する領域とは少なくとも唇を含んだ領域である
   ことを特徴とする請求項１乃至６の何れか１項に記載の電子機器。
8. 前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報及び明るさ情報の何れか又は双方に基づいて、前記補正テンプレートにおける各画素それぞれの補正度合いを決定する
   ことを特徴とする請求項１乃至７の何れかに記載の電子機器。
9. 前記テンプレート作成手段は、前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に利用して、前記所定の器官を構成する第１の器官に対応する領域の補正テンプレートを作成し、
   且つ前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に利用して、前記所定の器官を構成する第２の器官に対応する領域の補正テンプレートを作成することを特徴とする請求項1乃至８の何れかに記載の電子機器。
10. 被写体画像を取得する画像取得ステップと、
    前記被写体画像における被写体の所定の器官を検出する器官検出ステップと、
    前記器官検出ステップにより検出された前記所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得ステップと、
    前記画像情報取得ステップにより取得された色情報を前記器官検出ステップにて検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は前記画像情報取得ステップにて取得された明るさ情報を前記器官検出ステップにより検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成するテンプレート作成ステップと、
    前記補正テンプレートに基づいて、前記被写体画像を補正する画像補正ステップと、
    を有することを特徴とする画像処理方方法。
11. 被写体画像を取得する画像取得手段、
    前記被写体画像における被写体の所定の器官を検出する器官検出手段、
    前記器官検出手段により検出された前記所定の器官に対応する領域から、色情報及び明るさ情報の何れか又は双方を取得する画像情報取得手段、
    前記画像情報取得手段により取得された色情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる明るさ情報よりも優先的に用いて補正テンプレートを作成する、又は前記画像情報取得手段により取得された明るさ情報を前記器官検出手段により検出された前記所定の器官に対応する領域の画像情報に含まれる色情報よりも優先的に用いて補正テンプレートを作成するテンプレート作成手段、
    前記補正テンプレートに基づいて、前記被写体画像を補正する画像補正手段、
    としてコンピュータを機能させることを特徴とする画像処理プログラム。