JP2010282297A - 画像処理装置、及びプログラム - Google Patents

Abstract

【課題】画像全体に焦点が合っている画像であっても当該画像に含まれる主要な被写体を特定できる画像処理装置、及びプログラムを提供する。
【解決手段】処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも１つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成し、生成された各帯域画像に対して特徴となる特徴部分を抽出し、特徴部分が抽出された予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する。
【選択図】図２

Description

この発明は、画像処理装置、及びプログラムに関する。

特許文献１には、テレビカメラなどの撮像装置から入力された２次元の画像を処理して画像中に存在する物体の品種・個数・分類・正常／異常の判別などを行なう画像処理装置において、入力画像に一種類または複数種類の空間的バンドパスフィルタを作用させるフィルタリング手段と、上記空間的バンドパスフィルタの出力を２つの閾値で処理し３値画像を得る３値化処理手段と、３値画像と局所パターンとの類似度を検出する局所特徴検出手段，局所パターンとの類似度が一定値以上であったときに出力を発生する閾値手段，画像中において閾値手段の出力が何点で発生したかを計数する複数の局所特徴計数手段を有する特徴ベクトル抽出手段と、その特徴ベクトル抽出手段の出力とあらかじめ記憶されている１つまたは複数の標準ベクトルとの類似度を求め、最終的な判別結果を出力する特徴ベクトル判別手段とを備えた画像処理装置が記載されている。

特許文献２には、画像データを区画化する方法であって、周波数情報に基づいて画像特徴空間を画定し、その画像特徴空間の画像データをモルフォロジカルツールを用いてフィルタ処理し、そのフィルタ処理された画像特徴空間の領域を初期被写体として割り当て、そのフィルタ処理された画像特徴空間の初期被写体の境界を識別し、画像データサイズに対して初期被写体のサイズを確定する方法が記載されている。

特許文献３には、画像中から被写体が存在する領域を抽出する画像処理装置であって，画像を入力する画像入力部と，入力画像を複数の異なる解像度を持つ解像度変換画像に変換する解像度変換部と，解像度変換画像の各々について所定の特徴量を算出する特徴抽出部と，所定の特徴量に基づいて，解像度変換画像の各々が持つ注目度を算出する注目度算出部と，解像度変換画像の各々が持つ注目度を合成し，注目度マップを生成する注目度合成部と，注目度マップに基づいて被写体領域を決定する領域決定部を備える画像処理装置が記載されている。

特開平７−９３５４５号公報 特開２００４−１６４６２４号公報 特開２００７−１２２１０１号公報

本発明は、画像全体に焦点が合っている画像であっても当該画像に含まれる主要な被写体を特定できる画像処理装置、及びプログラムを提供することを目的とする。

請求項１に記載の発明は、処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも１つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する生成手段と、前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、を備えている。

また、請求項２に記載の発明は、請求項１記載の発明において、前記特定手段が、各周波数帯域の帯域画像において特徴部分が重複する領域を前記画像情報により示される画像の被写体領域と特定する。

また、請求項３に記載の発明は、請求項１又は請求項２記載の発明において、前記予め定めた周波数帯域を、前記画像情報により示される画像の１２８／長辺長さ〜６４／長辺長さの何れか以上の周波数帯域としている。

一方、請求項４に記載の発明は、コンピュータを、処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも１つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する生成手段と、前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、として機能させるためのプログラムである。

請求項１、及び請求項４に記載の発明によれば、画像全体に焦点が合っている画像であっても当該画像に含まれる主要な被写体が特定される、という優れた効果を有する。

また、請求項２に記載の発明によれば、各帯域画像で個別に被写体を判別した場合に比べて、精度よく被写体を判別できる、という優れた効果を有する。

また、請求項３に記載の発明によれば、他の周波数帯域の帯域画像に比べて、精度よく被写体の輪郭が抽出される、という優れた効果を有する。

実施の形態に係るＰＣの概略構成を示すブロック図である。 実施の形態に係る被写体特定処理を機能的に示したブロック図である。 パンフォーカスの画像に対して実施の形態に係る被写体特定処理を行った際の画像の変化を示す模式図である。 （Ａ）はパンフォーカスの画像であり、（Ｂ）は高周波数帯域の帯域画像である。 （Ａ）は中周波数帯域の帯域画像であり、（Ｂ）は低周波数帯域の帯域画像である。 パンフォーカスの画像に対して実施の形態に係る被写体特定処理を行った際の画像の変化を示す模式図である。 パンフォーカスの画像の被写体領域を特定した結果を示す図である。 パンフォーカスではない画像に対して実施の形態に係る被写体特定処理を行った際の画像の変化を示す模式図である。 （Ａ）はパンフォーカスではない画像であり、（Ｂ）は高周波数帯域の帯域画像である。 （Ａ）は中周波数帯域の帯域画像であり、（Ｂ）は低周波数帯域の帯域画像である。 パンフォーカスではない画像に対して実施の形態に係る被写体特定処理を行った際の画像の変化を示す模式図である。 パンフォーカスではない画像の被写体領域を特定した結果を示す図である。 実施の形態に係る被写体特定処理プログラムの処理の流れを示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下では、画像処理装置としてパーソナル・コンピュータ（以下「ＰＣ」という。）に本発明を適用した場合について説明する。

図１には、本実施の形態に係るＰＣ１２の概略構成が示されている。

ＰＣ１２は、操作メニュー及びメッセージ等を表示するディスプレイ５０と、ユーザからの各種の操作指示が入力されるキーボード及びポインティングデバイス等の操作入力部５２と、を備えている。

また、ＰＣ１２は、装置全体の動作を司るＣＰＵ（中央処理装置）５４と、制御プログラムを含む各種プログラム等が予め記憶された記録媒体としてＲＯＭ（Read Only Memory）５６と、各種情報を一時的に記憶するＲＡＭ５８（Random Access Memory）と、インストールされた各種のアプリケーションソフトや各種情報を記憶して保持するＨＤＤ６０と、ディスプレイ５０への各種情報の表示を制御するディスプレイ・ドライバ６２と、操作入力部５２に対する操作状態を検出する操作入力検出部６４と、ＵＳＢメモリやＳＤ（Secure Digital）カード等の可搬型記憶メディア６５に対して情報の書き込み及び読み出しを行うメディアＩ／Ｆ部６６と、ネットワーク１８と通信を行うための通信Ｉ／Ｆ部６８と、を備えている。

ＣＰＵ５４、ＲＯＭ５６、ＲＡＭ５８、ＨＤＤ６０、ディスプレイ・ドライバ６２、操作入力検出部６４、メディアＩ／Ｆ部６６、及び通信Ｉ／Ｆ部６８は、システムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ５４は、ＲＯＭ５６、ＲＡＭ５８、及びＨＤＤ６０へのアクセスを行うと共に、ディスプレイ・ドライバ６２を介したディスプレイ５０への各種情報の表示の制御、メディアＩ／Ｆ部６６を介した可搬型記憶メディア６５に対する情報の書き込み及び読み出しの制御、及び通信Ｉ／Ｆ部６８を介したネットワーク１８との情報の送受信の制御を行う。また、ＣＰＵ５４は、操作入力検出部６４を介して操作入力部５２に対するユーザの操作状態を把握する。

ところで、本実施の形態に係るＰＣ１２は、画像情報に対して画像を補正する予め定められた画像処理を行うものとされている。ＰＣ１２は、メディアＩ／Ｆ部６６に装着された可搬型記憶メディア６５から画像情報を読み出したり、通信Ｉ／Ｆ部６８を介して画像情報を受信することにより、画像情報を取得する。

ここで、画像中の主要な被写体（例えば人間の顔の領域等）が適性な濃度及びカラーバランスで仕上がっていれば良好であると判断されることが多い。

このため、本実施の形態に係るＰＣ１２では、被写体特定処理を行って画像情報により示される画像から主要な被写体を特定しており、特定した主要な被写体が適性な濃度及びカラーバランスで仕上がるように画像を補正している。

図２には、本実施の形態に係る被写体特定処理を機能的に示したブロック図が示されている。このブロック図は、被写体特定処理を機能的に分けたものであり、ハード構成を限定するものではない。

本実施の形態に係る被写体特定処理は、処理対象とする画像を示す画像情報から予め定めた複数の周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する帯域画像生成部７０と、帯域画像生成部７０により生成された各帯域画像に対して特徴となる特徴部分を抽出する特徴抽出部７２と、処理対象とする画像が画像全体に焦点が合っている画像（所謂、パンフォーカス画像）であるか否かを判定するパンフォーカス判定部７４と、画像情報により示される画像の被写体領域を特定する被写体領域特定部７６とを備えている。

本実施の形態に係る帯域画像生成部７０は、複数の周波数帯域として、画像に含まれる被写体の輪郭が抽出される高周波数帯域、画像の主な画像構成が抽出される中周波数帯域、及び画像全体のなかの注目領域が抽出される低周波数帯域の３つの周波数帯域の帯域画像を抽出するものとされており、ハイパスフィルタ８０、ローパスフィルタ８２Ａ、８２Ｂ、平均値フィルタ８４、及び減算処理部８６Ａ、８６Ｂを備えている。

処理対象とする画像を示す画像情報は、ハイパスフィルタ８０、ローパスフィルタ８２Ａ、８２Ｂ、及び平均値フィルタ８４に入力される。

ハイパスフィルタ８０は、処理対象とする画像から当該画像の１２８／長辺長さ〜６４／長辺長さの何れか以上の周波数帯域の画像を抽出して高周波数帯域の帯域画像を生成する。

ローパスフィルタ８２Ａは、処理対象とする画像から当該画像の６４／長辺長さ〜１６／長辺長さの何れか以下の周波数帯域の画像を抽出する。ローパスフィルタ８２Ｂは、処理対象とする画像から当該画像の１６／長辺長さ〜４／長辺長さの何れか以下の周波数帯域の画像を抽出する。平均値フィルタ８４は、処理対象とする画像の画素値の平均値を求め、当該平均値を各画素値とした平均値画像を生成する。

減算処理部８６Ａは、画像内で位置が対応する画素毎に、ローパスフィルタ８２Ａで抽出された画像の各画素値からローパスフィルタ８２Ｂで抽出された画像の各画素値を減算して中周波数帯域の帯域画像を生成する。

減算処理部８６Ｂは、画像内で位置が対応する画素毎に、ローパスフィルタ８２Ｂで抽出された画像の各画素値から平均値フィルタ８４で生成された画像の各画素値を減算して低周波数帯域の帯域画像を生成する。

本実施の形態に係る特徴抽出部７２は、帯域画像生成部７０により生成された各帯域の帯域画像に対して特徴となる特徴部分を抽出するものとされており、非線形変換処理部９０、膨張処理部９２を備えている。

非線形変換処理部９０は、各帯域画像毎に、画像の各画素値の平均値を求め、当該平均値と各画素の画素値との差を新たな画素値とした画像を生成する。そして、非線形変換処理部９０は、新たな画素値が大きいほど画素値の増加率が大きくなるように各画像の画素値を非線形変換する。この非線形変換には、例えば、指数関数などを用いて画素値が大きいほど画素値の値を大きくなるように変換してもよく、また、複数の閾値を用いて段階的に画素値が大きいほど増加率が大きくなるように変換してもよい。

膨張処理部９２は、非線形変換処理部９０で処理された各帯域の画像に対して膨張処理を行うことで画像内での情報量の大きい特徴部分を抽出する。

図３〜図６には、パンフォーカスの画像１００に対して帯域画像生成部７０及び特徴抽出部７２による処理を行った結果の一例が示されている。なお、図４、５は、図３の画像１００、高周波数帯域の帯域画像１０２Ａ、中周波数帯域の帯域画像１０２Ｂ、低周波数帯域の帯域画像１０２Ｃを拡大したものである。

図３に示すように、画像１００は、帯域画像生成部７０による処理により高周波数帯域の帯域画像１０２Ａ、中周波数帯域の帯域画像１０２Ｂ、及び低周波数帯域の帯域画像１０２Ｃに変換される。

図４、図５に示すように、帯域画像１０２Ａには、画像１００内での合焦した被写体の輪郭が抽出されており、帯域画像１０２Ｂには、画像１００の主な画像構成が抽出されており、帯域画像１０２Ｃには、画像１００の人間の視覚特性として注目しやすい明暗差の大きな領域が注目領域として抽出される。

帯域画像１０２Ａ〜１０２Ｃは、その後、図６に示すように、非線形変換処理部９０による処理により特徴部分が抽出された画像１０４Ａ〜１０４Ｃに変換され、画像１０４Ａ〜１０４Ｃは、膨張処理部９２による処理により特徴部分の像が膨張した画像１０６Ａ〜１０６Ｃに変換される。

ここで、画像１００がパンフォーカス画像である場合、画像全体に焦点が合っているため、帯域画像１０２Ａの画像全体で輪郭が抽出される。このため、画像１０６Ａでは、特徴部分の占める割合が多くなる。

そこで、パンフォーカス判定部７４は、画像１０６Ａを予め定めた閾値で二値化し、二値化した画像において特徴部分と同一の値（画像１０７において白）となる部分の占める割合が予め定めた割合（例えば、６０％）以上である場合、画像１００がパンフォーカス画像であると判定する。この予め定めた割合は、パンフォーカス画像を精度良く判別される値として、実機を用いた実験や、コンピュータ・シミュレーション等によって予め得られた値が適用される。

被写体領域特定部７６は、パンフォーカス判定部７４による判定の結果、画像１００がパンフォーカス画像ではないと判定された場合、画像１０６Ａ〜１０６Ｃにおいて特徴部分が重複する領域を画像の被写体領域と特定し、画像１００がパンフォーカス画像であると判定された場合、画像１０６Ａを除いて、画像１０６Ｂ、１０６Ｃにおいて特徴部分が重複する領域を画像の被写体領域と特定する。

図６では、画像１０６Ａで特徴部分の占める割合が上記予め定めた割合以上であるでの、画像１０６Ｂ、１０６Ｃにおいて特徴部分が重複する領域（図６の画像１０８の白い領域）が画像１００の被写体領域と特定される。

図７には、本実施の形態に係る被写体特定処理により画像１００の被写体領域を特定した結果が示されている。

一方、図８〜図１１には、パンフォーカスではない画像１２０に対して同様の処理を行った結果の一例が示されている。なお、図９、１０は、図８の画像１００、高周波数帯域の帯域画像１０２Ａ、中周波数帯域の帯域画像１０２Ｂ、低周波数帯域の帯域画像１０２Ｃを拡大したものである。

画像１２０がパンフォーカス画像ではない場合、画像の一部（画像１２０では馬部分）に焦点が合っているため、帯域画像１２２Ａの一部で輪郭が抽出される。このため、図１１に示すように、画像１２６Ａでは、特徴部分の占める割合が小さくなり、画像１２０がパンフォーカス画像ではないと判定される。

図１１では、画像１２６Ａで特徴部分の占める割合が上記予め定めた割合未満であるでの、画像１２６Ａ〜１２６Ｃにおいて特徴部分が重複する領域（図１１の画像１２８の白い領域）が画像１２０の被写体領域と特定される。

図１２には、本実施の形態に係る被写体特定処理により画像１２０の被写体領域を特定した結果が示されている。

本実施の形態に係るＰＣ１２では、上記被写体特定処理の各構成要素（帯域画像生成部７０、特徴抽出部７２、パンフォーカス判定部７４、及び被写体領域特定部７６）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現している。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。

以下では、本実施の形態に係るＰＣ１２が、被写体特定処理プログラムを実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。

図１３には、ＣＰＵ５４により実行される被写体特定処理プログラムの処理の流れを示すフローチャートが示されている。なお、当該プログラムは記録媒体としてのＨＤＤ６０に予め記憶されている。

同図のステップ１５０では、処理対象とする画像を示す画像情報から当該画像の１２８／長辺長さ〜６４／長辺長さの何れか以上の高周波数帯域、当該画像の６４／長辺長さ〜１６／長辺長さの何れか以下の中周波数帯域、及び当該画像の１６／長辺長さ〜４／長辺長さの何れか以下の低周波数帯域の画像をそれぞれ抽出し、高周波数帯域、中周波数帯域、及び低周波数帯域の帯域画像をそれぞれ生成する。

次のステップ１５２では、上記ステップ１５０で生成された各帯域画像毎に、画像の各画素値の平均値を求め、当該平均値と各画素の画素値との差を新たな画素値とした画像を生成する。

次のステップ１５４では、上記ステップ１５２で生成された各画素の画素値が大きいほど画素値が大きくなるように各画像の画素値を非線形変換する。

次のステップ１５６では、上記ステップ１５４で変換された画像に対して膨張処理を行う。

次のステップ１５８では、上記ステップ１５６で膨張処理を行った高周波数帯域の画像で特徴部分の占める割合が上記予め定めた割合以上であるか否かを判定し、肯定判定となった場合はステップ１６０へ移行し、否定判定となった場合はステップ１６２へ移行する。

ステップ１６０では、高周波数帯域の画像を除いて、中周波数帯域の画像及び低周波数帯域の画像において特徴部分が重複する領域を画像の被写体領域と特定する。

一方、ステップ１６２では、高周波数帯域の画像、中周波数帯域の画像及び低周波数帯域の画像において特徴部分が重複する領域を画像の被写体領域と特定する。

このように、処理対象とする画像が画像全体に焦点が合っているパンフォーカス画像である場合は、高周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて画像の被写体領域を特定することにより、処理対象とする画像の主要な被写体が精度良く特定される。

なお、上記実施の形態では、ＰＣ１２に本発明を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、デジタルカメラ、ビデオカメラ等の撮影装置、複写器やプリンタ等の画像形成装置に本発明を適用してもよい。本発明の画像処理装置には、撮影装置及び画像形成装置が含まれる。撮影装置の場合は、主要な被写体を特定して主要な被写体に対して焦点を合わせたり、主要な被写体が適性な濃度及びカラーバランスとなるように画像補正すればよい。また、画像形成装置の場合は、主要な被写体が適性な濃度及びカラーバランスとなるように画像補正すればよい。

また、上記実施の形態では、各帯域画像毎に、各画素の画素値と当該平均値との差を求めることにより、画像内で情報量の大きい特徴部分を抽出する場合について説明したが、本発明はこれに限定されるものではなく、情報量は、画素分散・エッジ量等を用いて算出してもよく、特徴部分を抽出の仕方はこれに限定されるものではない。例えば、エントロピーを求めてエントロピーの大きい部分を特徴部分と抽出してもよい。

また、上記実施の形態では、各帯域の画像に対して膨張処理を行うことにより、特徴部分の領域を抽出する場合について説明したが、本発明はこれに限定されるものではなく、例えば、膨張処理と収縮処理を繰り返して画像の輪郭のクロージング処理を行い、輪郭で囲まれた領域を特徴部分の領域として抽出してもよい。

また、上記実施の形態では、高周波数帯域の帯域画像と共に、中周波数帯域及び低周波数帯域の帯域画像を抽出する場合について説明したが、本発明はこれに限定されるものではなく、中周波数帯域又は低周波数帯域の何れか一方の帯域画像のみであってもよい。

また、上記実施の形態に係る被写体特定処理プログラムは、ＨＤＤ６０に予め記憶しておく形態の他、ＲＯＭ５６に予め記憶しておく形態、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等に適用することができる。

１２ ＰＣ
５４ ＣＰＵ
７０ 帯域画像生成部
７２ 特徴抽出部
７４ パンフォーカス判定部
７６ 被写体領域特定部

Claims (4)

1. 処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも１つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する生成手段と、
   前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、
   前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、
   を備えた画像処理装置。
2. 前記特定手段は、各周波数帯域の帯域画像において特徴部分が重複する領域を前記画像情報により示される画像の被写体領域と特定する
   請求項１記載の画像処理装置。
3. 前記予め定めた周波数帯域を、前記画像情報により示される画像の１２８／長辺長さ〜６４／長辺長さの何れか以上の周波数帯域とした
   請求項１又は請求項２記載の画像処理装置。
4. コンピュータを、
   処理対象とする画像を示す画像情報から合焦した被写体の輪郭が抽出される予め定めた周波数帯域及び当該予め定めた周波数帯域よりも低い少なくとも１つの周波数帯域毎に各周波数帯域の画像を抽出した帯域画像を生成する生成手段と、
   前記生成手段により生成された各帯域画像に対して特徴となる特徴部分を抽出する抽出手段と、
   前記抽出手段により特徴部分が抽出された前記予め定めた周波数帯域の帯域画像において当該特徴部分の占める割合が予め定められた割合以上である場合、前記予め定めた周波数帯域の帯域画像を除いた各周波数帯域の帯域画像に基づいて前記画像情報により示される画像の被写体領域を特定する特定手段と、
   として機能させるためのプログラム。