JP2006031620A

JP2006031620A - 自動顔画像補正方法及び装置

Info

Publication number: JP2006031620A
Application number: JP2004213211A
Authority: JP
Inventors: Kazunobu Shima; 和伸志摩
Original assignee: Noritsu Koki Co Ltd
Current assignee: Noritsu Koki Co Ltd
Priority date: 2004-07-21
Filing date: 2004-07-21
Publication date: 2006-02-02
Anticipated expiration: 2024-07-21
Also published as: JP4507078B2

Abstract

【課題】人物の顔の白跳を補正して、画像データを自然な状態に補正することができる自動顔画像補正技術を提供する。
【解決手段】画像データから顔領域を検出する顔検出ステップと、顔検出ステップにおいて検出された顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出ステップと、白跳領域検出ステップにおいて白跳領域が検出された場合に、白跳領域を白跳領域の周辺画素に基づいて補正する顔補正ステップとから構成される。
【選択図】図２

Description

本発明は、自動顔画像補正技術に関する。

写真プリントに人物が撮影されているときに、写真プリントの画質を向上させるために、人の顔を検出し、検出した顔の濃度が適正になるように濃度を調整したり、シャープネス補正等を行うことがある。
しかし、写真プリントの濃度を一律に調整したり、シャープネス補正を行うと、例えば、白色画像に変換される画素が生じ、白色画素領域が拡大してしまうことがある。白色画素領域が拡大すると、写真プリントが不自然なものとなり、画質を低下させる虞がある。
白色画素領域の拡大を防止する技術には、白色画素に変換される画素数を少なくするために、例えば、シャープネス補正において、所定の白色認定条件に属する画素の画素値を白色画素値から離れて設定された中間値を超えない値に変換する画像処理装置がある（例えば、特許文献１参照）。

特開２００２−１５８８９２号公報

しかしながら、特許文献１の装置は、白色領域の拡大を防止できるが、写真プリントに元から存在する白色領域を縮小させることはできない。撮影の際、例えば、フラッシュを使用した場合等に、本来階調があるはずの部分が白で表現されてしまう所謂白跳が発生することがある。特許文献１の装置では、白色画素は、濃度の調整やシャープネス補正を行っても白色画素となるため、白跳を補正することができない。このため、白跳びの発生した写真プリントについては、画像補正を行っても十分な画質の向上を図ることができなかった。特に、人物の顔が撮影されている画像データにおいて、人物の顔に白跳が発生すると写真の仕上がりが悪くなるため、白跳を補正する画像処理技術が望まれている。

本発明は上記の問題に鑑みてなされたものであり、その目的は、人物の顔の白跳を補正して、画像データを自然な状態に補正することができる自動顔画像補正技術を提供する点にある。

この目的を達成するための本発明に係る自動顔画像補正方法の特徴構成は、画像データから顔領域を検出する顔検出ステップと、前記顔検出ステップにおいて検出された前記顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された前記白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出ステップと、前記白跳領域検出ステップにおいて前記白跳領域が検出された場合に、前記白跳領域を前記白跳領域の周辺画素に基づいて補正する顔補正ステップとから構成される点にある。
即ち、上記特徴構成によれば、画像データの顔領域から、本来階調があるはずの部分が白で表現されてしまう所謂白跳領域を検出し、白色画素をその周辺の顔領域の画素値に応じて補正するので、人物の顔を自然なものとしながら、白跳領域の補正を行うことができ、写真プリントの画質の向上を図ることができる。

この目的を達成するための本発明に係る自動顔画像補正方法の他の特徴構成は、前記白跳領域検出ステップは、前記顔領域から瞳を検出し、前記瞳を白跳領域検出対象外とする点にある。
瞳の白眼部分は、一定の範囲に渡って白色画素が連続分布しているが、この白眼部分については補正する必要がない。このため、白跳検出対象領域から瞳を除くことで、瞳の白眼部分が白跳領域と判定されるのを防止し、不必要な補正が為されるのを防止することができる。

更に、他の特徴構成は、前記白跳領域検出ステップにおいて前記白跳領域が検出された場合に、前記白跳領域とその周辺の一定の領域とを含む補正領域を設定する補正領域設定ステップを含み、前記顔補正ステップが、前記補正領域の前記顔領域との境界画素の第１輝度値と、前記白跳領域の中心画素の第２輝度値とを検出し、前記補正領域内の画素の輝度値を、前記補正領域と前記顔領域との境界から前記白跳領域の中心に向けて、前記第１輝度値から前記第２輝度値まで次第に変化するように補正する点にある。
即ち、上記特徴構成によれば、補正領域内の画素の階調が次第に変化するように補正するので、白跳領域とその周辺領域との階調の差が大きく不自然なものとなっている画像を自然なものとすることができ、画質の向上を図ることができる。

更に、他の特徴構成は、前記白跳領域検出ステップにおいて前記白跳領域が検出された場合に、前記白跳領域とその周辺の一定の領域とを含む補正領域を設定する補正領域設定ステップを含み、前記顔補正ステップが、前記補正領域の前記顔領域との境界画素の第１輝度値と、前記補正領域の前記白跳領域との境界画素の第２輝度値とを検出し、前記補正領域内の画素の輝度値を、前記補正領域と前記顔領域との境界から前記白跳領域の中心に向けて、前記第１輝度値から前記第２輝度値まで次第に変化するように補正する点にある。
即ち、上記特徴構成によれば、白跳領域を、顔領域の白跳領域との境界の画素、つまり、白跳領域の画素本来の階調に近い階調に補正することができる。更に、次第に階調が変化するように補正するので、白跳領域を自然な状態に補正することができ、画質の向上を図ることができる。

また、本発明は、上述した自動顔画像補正方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものであり、そのような自動顔画像補正プログラムは、画像データから顔領域を検出する顔検出機能と、前記顔検出機能において検出された前記顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された前記白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出機能と、前記白跳領域検出機能において前記白跳領域が検出された場合に、前記白跳領域を前記白跳領域の周辺画素に基づいて補正する顔補正機能とを備えている。当然ながら、このような自動顔画像補正プログラムも上述した自動顔画像補正方法におけるすべての作用効果を得ることができる。また、自動顔画像補正方法において記載した従属項に係る機能を自動顔画像補正プログラムに追加するのも好適である。

本発明では、更に、上述した自動顔画像補正方法を実施する自動顔画像補正装置も権利の対象としており、そのような自動顔画像補正装置は、画像データから顔領域を検出する顔検出部と、前記顔検出部において検出された前記顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された前記白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出部と、前記白跳領域検出部において前記白跳領域が検出された場合に、前記白跳領域を前記白跳領域の周辺画素に基づいて補正する顔補正部とを備えている。当然ながら、このような自動顔画像補正装置も上述した自動顔画像補正方法におけるすべての作用効果を得ることができる。また、自動顔画像補正方法において記載した従属項に係る構成を自動顔画像補正装置に追加するのも好適である。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

本発明の第一実施形態について、図面に基づいて説明する。
図１は、本発明による自動顔画像補正技術を採用した写真プリント装置のコントローラの種々の動作を行うための機能部を示しており、各機能は、ハードウエア又はソフトウエアあるいはその両方で構築している。

写真プリント装置は、スキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、グラフィック操作画面の作成やキーボード２４やマウス２５等による操作入力から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した画像データに基づいてプリントステーション１に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した画像データ等をＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７とを備えている。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット６０、メモリ３０に展開された画像データに対して色補正やフィルタリング（ぼかしやシャープネスなど）等のフォトレタッチ処理を施す画像処理ユニット７０を備えている。

画像処理ユニット７０には本発明に係る自動顔画像補正技術を採用した顔画像補正手段９０が含まれている。顔画像補正手段９０には、図２に示すように、画像データ入力部９１、顔検出部９２、瞳検出部９３、白色画素認定部９４、白跳領域検出部９５、補正領域設定部９６、顔補正部９７、及び、補正画像データ出力部９８を備えている。顔検出部９２は、画像データから顔領域を検出する顔検出ステップを行う処理部であり、白色画素認定部９４及び白跳領域検出部９５は、顔検出部９２が検出した顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出ステップを行う処理部である。顔補正部９７は、白跳領域検出ステップにおいて白跳領域が検出された場合に、白跳領域を白跳領域の周辺画素に基づいて補正する顔補正ステップを行う処理部である。また、瞳検出部９３は、顔領域の画像データから瞳を検出する処理部であり、補正領域設定部９６は、白跳領域検出部９５が白跳領域を検出した場合に、白跳領域とその周辺の一定の領域とを含む補正領域を設定する補正領域設定ステップを行う処理部である。

次に、上述した各処理部（各ステップ、各機能）における処理の詳細について説明する。図３は、本発明による白跳補正の処理ルーチンを示すフローチャートである。
先ず、画像データ入力部９１が、画像データをメモリ３０から取得する（＃１００）。
顔検出部９２は、画像データ入力部９１から画像データを受取り、画像データ中の人物の顔を検出して、顔領域を設定する（＃２００）。人物の顔が検出されない場合には、補正画像データ出力部９８に対し画像データをそのまま出力する（＃２５０でＮＯ分岐）。人物の顔が検出された場合には、瞳検出部９３に対し、画像データと、当該顔領域のデータとを出力する（＃２５０でＹＥＳ分岐）。瞳検出部９３は、顔領域中の瞳を検出し、瞳が検出された場合には、顔領域から瞳を除いた領域を白跳検出対象領域として設定する（＃３００）。

白色画素認定部９４は、顔検出部９２から画像データと顔領域データとを取得し、顔領域内の白色画素を所定の白色認定条件に基づいて検出する（＃４００）。ここでの白色認定条件は、Ｒ・Ｇ・Ｂ輝度値夫々に対して設定されたしきい値であり、注目画素のＲ・Ｇ・Ｂ輝度値が何れも設定されたしきい値以上である場合に白色画素であると認定する。

詳細には、白色画素認定部９４は、図４に示すように、顔領域の画素から白色認定を行う注目画素を決定し（＃４０１）、注目画素のＲ・Ｇ・Ｂ輝度値を取得する（＃４０２）。ここで、本実施形態では、しきい値として２５０が設定されている。従って、注目画素のＲ・Ｇ・Ｂ輝度値が全て２５０以上か否かを判定し（＃４０３）、Ｒ・Ｇ・Ｂ輝度値が全て２５０以上である場合には、白色画素であると認定してその画素位置を記憶する（＃４０４）。白色画素認定部９４は、ステップ＃４０１乃至＃４０４の白色認定を、顔領域の全ての画素に対して行い（＃４０５）、顔領域の全画素について白色認定が終了すると、記憶した白色画素の画素位置に基づいて、白色画素マップを作成する（＃４０６）。尚、この白色画素マップの作成は白色画素の検出毎に、ステップ＃４０４の段階で行うようにしてもよい。

白跳領域検出部９５は、白色画素認定部９４が作成した白色画素マップを用いて、白跳領域を検出する（＃５００）。詳細には、先ず、各白色画素の連続・不連続を判定し、各白色画素が属する白跳領域を特定する。白跳領域検出部９５は、図５に示すように、白色画素マップから、領域の特定を行う白色画素を求め、これを注目画素とする（＃５０１）。そして、注目画素の周囲８近傍にある画素から、白色画素として認定されている画素であって、どの領域にも属していない白色画素を抽出する（＃５０２）。白色画素が抽出された場合は、注目画素と同一領域に属する画素として記憶する（＃５０３）。同様に、抽出された白色画素を注目画素とし、周囲８近傍にある画素から、白色画素として認定されている画素であって、どの領域にも属していない白色画素を抽出する（＃５０２で）。これを、周囲にどの領域にも属さない白色画素が無くなるまで繰返し実行し、連続分布する白色領域を特定する。尚、同一領域にあると判定する画素の範囲は、８近傍にある画素に限られる必要はなく、４近傍等、画像データの大きさや解像度に応じて設定する。同一領域に属する画素が検出されなくなると（＃５０２でＮＯ分岐）、領域の特定を行っていない白色画素を白色画素マップから取得し、ステップ＃５０１に移行する（＃５０４でＹＥＳ分岐）。そして、領域の特定を行っていない白色画素がなくなるまで、ステップ＃５０１乃至＃５０３を繰返し実施する。

更に、白跳領域検出部９５は、ステップ＃５００で検出した白跳領域夫々について、所定の補正対象条件に基づいて、補正対象であるか否かを判定する（＃５５０）。詳細には、白跳領域の面積と、顔領域の面積とを算出し、顔領域の面積に対する白跳領域の面積の割合が一定の範囲内である場合に、補正対象であると判定する。白跳領域の大きさが視認可能な大きさより小さい領域や、白跳領域の大きさが非常に大きく補正しても画質の向上が望めない領域等、また、白跳領域ではない可能性のある領域について、補正対象から除くためである。

続いて、補正領域設定部９６及び顔補正部９７は、ステップ＃５５０で補正対象と判定された白跳領域に対する補正を行う（＃６００）。ここでは、補正領域内の画素を、補正領域と顔領域との境界から白跳領域の中心までの間の画素を均すように補正する。

詳細には、図６及び図７に示すように、先ず、補正領域設定部９６が、白跳領域に対し補正を行う補正領域を設定する（＃６０１）。ここでの補正領域は、図７に示すように、境界Ｗで囲まれる白跳領域を、白跳領域の中心画素Ｂを中心として所定の割合で拡大した、境界Ｘで囲まれる領域となる。

次に、顔補正部９７が、補正領域と顔領域との境界Ｘ上の画素、即ち、図７の画素Ａの輝度値を取得し、この輝度値を第１輝度値とする（＃６０２）。更に、白跳領域の中心画素、即ち、図７の画素Ｂの輝度値を取得して、第２輝度値とする（＃６０３）。そして、画素Ａから画素Ｂまでの間の画素を、その輝度値が、第１輝度値（画素Ａの輝度値）から第２輝度値（画素Ｂの輝度値）まで一定の割合で次第に変化するように補正する。これを、画素Ｂ周りに全周に渡って実行する。具体的には、境界Ｘ上の画素を順次画素Ａとし、この画素Ａの輝度値を第１輝度値として、画素Ａから画素Ｂまでの間の画素を補正することで、補正領域内の全ての画素を補正する（＃６０４）。

補正画像データ出力部９８は、補正後の画像データをメモリ３０に対して出力する（＃７００）。これによって、プリントステーション１においてプリントされる画像や、ＣＤ−Ｒ等に書き込む画像について白跳を無くすことができる。

次に、本発明の第二実施形態について図６及び図８を基に説明する。
上記第一実施形態では、白跳を、補正領域設定部９６及び顔補正部９７が、補正領域内の画素を、補正領域と顔領域との境界から白跳領域の中心までの間の画素を均すように補正したが、本実施形態では、図８に示すように、補正領域内の白跳領域周辺の画素を白跳領域内に広げるように補正する。

詳細には、顔補正部９７が、ステップ＃６０２において、補正領域と顔領域との境界Ｘ上の画素、図８の画素Ａの輝度値を取得し、この輝度値を第１輝度値とする。ステップ＃６０３において、顔補正部９７が、画素Ａと白跳領域の中心画素Ｂとを結ぶ線と、白跳領域の境界Ｗとの交点に位置する画素を画素Ｃとし、この輝度値を取得して、第２輝度値とする。そして、ステップ＃６０４において、画素Ａから画素Ｂまでの間の画素を、その輝度値が、第１輝度値（画素Ａの輝度値）から第２輝度値（画素Ｃの輝度値）まで一定の割合で次第に変化するように補正する。これを、第一実施形態と同様に、画素Ｂ周りに全周に渡って実行することで、補正領域内の全ての画素を補正する。

尚、第一実施形態では、第二輝度値として略白色の画素Ｂの輝度値を設定するので補正領域の中心は略白色になるが、本実施形態では、第二輝度値として略肌色の画素Ｃの輝度値を設定するので補正領域の中心は略肌色になる。画像データに応じて、第一実施形態における補正と、第二実施形態における補正とを選択的に実施可能に構成するのも好ましい実施態様である。

本発明に係る自動顔画像補正技術を採用した写真プリント装置の構成図本発明による顔画像補正手段の構成図本発明による白跳補正の処理ルーチンを示すフローチャート本発明による白色画素の認定サブルーチンを示すフローチャート本発明による白跳領域の検出サブルーチンを示すフローチャート本発明による白跳の補正サブルーチンを示すフローチャート白跳領域及び補正領域の対応を示す模式図白跳領域及び補正領域の対応を示す模式図

符号の説明

９２顔検出部
９３瞳検出部
９５白跳領域検出部
９６補正領域設定部
９７顔補正部

Claims

画像データから顔領域を検出する顔検出ステップと、
前記顔検出ステップにおいて検出された前記顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された前記白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出ステップと、
前記白跳領域検出ステップにおいて前記白跳領域が検出された場合に、前記白跳領域を前記白跳領域の周辺画素に基づいて補正する顔補正ステップとから構成される自動顔画像補正方法。
前記白跳領域検出ステップは、前記顔領域から瞳を検出し、前記瞳を白跳領域検出対象外とする請求項１に記載の自動顔画像補正方法。
前記白跳領域検出ステップにおいて前記白跳領域が検出された場合に、前記白跳領域とその周辺の一定の領域とを含む補正領域を設定する補正領域設定ステップを含み、
前記顔補正ステップが、前記補正領域の前記顔領域との境界画素の第１輝度値と、前記白跳領域の中心画素の第２輝度値とを検出し、前記補正領域内の画素の輝度値を、前記補正領域と前記顔領域との境界から前記白跳領域の中心に向けて、前記第１輝度値から前記第２輝度値まで次第に変化するように補正する請求項１または２に記載の自動顔画像補正方法。
前記白跳領域検出ステップにおいて前記白跳領域が検出された場合に、前記白跳領域とその周辺の一定の領域とを含む補正領域を設定する補正領域設定ステップを含み、
前記顔補正ステップが、前記補正領域の前記顔領域との境界画素の第１輝度値と、前記補正領域の前記白跳領域との境界画素の第２輝度値とを検出し、前記補正領域内の画素の輝度値を、前記補正領域と前記顔領域との境界から前記白跳領域の中心に向けて、前記第１輝度値から前記第２輝度値まで次第に変化するように補正する請求項１または２に記載の自動顔画像補正方法。
画像データから顔領域を検出する顔検出機能と、
前記顔検出機能において検出された前記顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された前記白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出機能と、
前記白跳領域検出機能において前記白跳領域が検出された場合に、前記白跳領域を前記白跳領域の周辺画素に基づいて補正する顔補正機能とをコンピュータに実行させる自動顔画像補正プログラム。
画像データから顔領域を検出する顔検出部と、
前記顔検出部において検出された前記顔領域内の白色画素を、所定の白色認定条件に基づいて認定し、認定された前記白色画素が所定の範囲以上連続分布しているときに白跳領域として検出する白跳領域検出部と、
前記白跳領域検出部において前記白跳領域が検出された場合に、前記白跳領域を前記白跳領域の周辺画素に基づいて補正する顔補正部とから構成される自動顔画像補正装置。