JP2017123015A - 情報処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 情報処理装置、画像処理方法およびプログラムを提供すること。【解決手段】 情報処理装置２００は、入力画像から、所定被写体の領域を検出する検出部２０２と、入力画像から、特徴量に基づき顕著性のマップを生成する生成部２０４と、検出された所定被写体の領域および生成された顕著性のマップに基づいて、入力画像での所定被写体の領域の注視度を示す特性値を算出する算出部２０６と、算出された特性値に基づいて、入力画像に対する処理条件を決定する決定部２０８とを含む。【選択図】 図２

Description

本発明は、情報処理装置、画像処理方法およびプログラムに関する。

新聞や雑誌などの印刷物やインターネット上の通販サイトなどにおいては、大量の画像が取り扱われている。画像は、直接的に情報を伝えることができるため、画像品質を効率良く向上させることが望まれる。

画像品質を向上させるためには、画像変換ソフトウェアを用いて画像データを手動で修正する方法が一般的である。しかしながら、高品質な画像を得るためには、作業者の技術と経験が必要となる。また、大量の画像を扱う場合は、１枚ずつ画像を修正する方法では、膨大な労力とコストが必要となり、現実的ではない場合もある。近年では、自動的に画像処理を施すシステムも開発されている。しかしながら、被写体や画像特徴に応じて最適な補正条件が大きく変わるため、任意の画像に対して高品質な画像を得ることが困難である。

上述した自動的に画像処理を施すシステムに関連して、特開２０１１−３４３１１号公報（特許文献１）が知られている。特許文献１の従来技術では、入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて注目点領域を推定し、注目点領域を用いて主要被写体検出に関するパラメータを求めている。注目点領域を用いて求められたパラメータを用いることで、主要被写体としての顔の検出速度や精度の向上を図っている。

しかしながら、特許文献１の従来技術では、風景、建物や商品など人物以外の被写体が主要被写体である画像であっても、画像中に人物が写り込んでいる場合、人の顔が検出され、人物画像に特化した補正が施されてしまう場合があった。画像中の主要被写体ではない人物に基づいて補正が行われてしまうため、適正な画像処理結果とはならない可能性があった。

本発明は、上記点に鑑みてなされたものであり、本発明は、入力画像から所定被写体が主要被写体であるかを判別して入力画像に対する適正な処理条件を決定することが可能な情報処理装置を提供することを目的とする。

本発明は、上記課題を解決するために、下記特徴を有する情報処理装置を提供する。情報処理装置は、入力画像から、所定被写体の領域を検出する検出部と、入力画像から、特徴量に基づき顕著性のマップを生成する生成部とを含む。情報処理装置は、さらに、検出された所定被写体の領域および生成された顕著性のマップに基づいて、入力画像での所定被写体の領域の注視度を示す特性値を算出する算出部と、算出された特性値に基づいて、入力画像に対する処理条件を決定する決定部とを含む。

上記構成により、入力画像から所定被写体が主要被写体であるかを判別して入力画像に対する適正な処理条件を決定することが可能となる。

第１の実施形態による画像処理装置のハードウェア構成図。 第１の実施形態による画像処理装置のブロック図。 第１の実施形態による画像処理装置が実行する、全体処理を示すフローチャート。 第１の実施形態による入力画像データおよび検出された顔領域を例示する図。 第１の実施形態による画像処理装置が実行する、顕著性マップ生成処理を示すフローチャート。 第１の実施形態による顕著性マップの生成処理を説明する模式図。 他の実施形態において生成される特徴量マップについて説明する図。 第１の実施形態により得られる（Ａ，Ｂ）顕著性マップおよび（Ｃ，Ｄ）所定の直線Ｌ１，Ｌ２に沿った顕著性値のグラフを例示する図。 第１の実施形態により得られる顕著性マップと顔領域の検出位置との関係を示す図。 第１の実施形態による特性値と閾値との関係を示す模式図。 第２の実施形態による画像処理装置が実行する、全体処理を示すフローチャート。 第３の実施形態による画像処理システムを示す全体図。 第３の実施形態による画像処理システムのブロック図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。

（第１の実施形態）
以下、第１の実施形態による情報処理装置について、画像データに対し画像補正を施す画像処理装置を一例として説明する。図１は、第１の実施形態による画像処理装置１００のハードウェア構成を例示する。図１に示すように、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０２と、主記憶装置１０４と、補助記憶装置１０６と、外部記憶装置インタフェース１０８と、ネットワーク・インタフェース１１０と、入力装置１１２と、表示装置１１４とを含み構成される。これらの要素は、それぞれ、バス１１６を介して相互に接続される。

ＣＰＵ１０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行う。また、ＣＰＵ１０２は、主記憶装置１０４に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、表示装置や記憶装置などに出力する。

主記憶装置１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）を含み構成され、ＣＰＵ１０２が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。補助記憶装置１０６は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などを含み構成され、実行されるプログラムなどに関連するデータを記憶する記憶装置である。

外部記憶装置インタフェース１０８は、例えばＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続される記憶媒体１２０と、当該画像処理装置１００とのインタフェースである。記憶媒体１２０としては、フラッシュメモリや、フロッピー（登録商標）ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）などを挙げることができる。記憶媒体１２０に格納されたプログラムは、外部記憶装置インタフェース１０８を介して画像処理装置１００にインストールすることができる。インストールされた所定のプログラムは、画像処理装置１００により実行可能となる。

ネットワーク・インタフェース１１０は、有線または無線のネットワークまたはこれらの混合のネットワークなどのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークとのインタフェースである。ネットワーク・インタフェース１１０は、ネットワークを介して、当該画像処理装置１００を、通信機器を有する周辺機器に接続させる。

入力装置１１２は、例えばハードキーで構成されるキースイッチ、キーボード、マウス、タッチスクリーンセンサなどを含み、ユーザからの各種操作や指示を受け付ける。表示装置１１４は、例えば、液晶や有機ＥＬ（Electro-luminescence）などのディスプレイ装置を含み、画像や操作用アイコンなどを表示し、ユーザが画像処理装置１００が有する機能を利用する際に、各種設定を行うユーザ・インタフェースを提供する。

図２は、第１の実施形態による画像処理装置１００の機能構成を示すブロック図である。第１の実施形態による画像処理装置１００は、入力される画像データに対し、画像データから適正な処理条件を決定し、画像補正を施して、補正済みの画像データを出力する機能２００を備える。

上述したように、画像補正においては、被写体によって適切な補正条件が異なる可能性がある。例えば、人物画像では、コントラストや色彩度を抑えて落ち着いた仕上りにすることが適正とされる。一方、人物以外の風景画像では、メリハリを付けて立体感や奥行き感を強調することが好ましいとされている。また明るさ補正に関しても、人物画像では、人物や顔の領域を重視することが好ましいが、人物以外の風景画像では、画像全体を考慮することが好ましい。このように、人物と、人物以外とでは、好ましい画像補正が相反する可能性がある。

主要被写体が人物であるか人物以外であるかが明確であれば、適切な補正条件を決定することができる。しかしながら、例えば人物以外の被写体（風景、建物、商品など）が主要被写体である画像中に人物が写り込んでいるような、複数の被写体が混在した画像においては、主要被写体に応じた適切な補正条件を決定することが難しくなる。

そこで、本実施形態による画像処理装置１００は、図２に示すように、機能ブロック２００として、顔検出部２０２と、顕著性マップ生成部２０４と、特性値算出部２０６と、補正条件決定部２０８と、画像補正部２１０とを備える。

顔検出部２０２は、入力される画像データから、顔領域を検出する。画像からの顔領域の検出処理は、これまで知られた如何なる顔検出アルゴリズムに基づいて行うことが可能である。顔検出アルゴリズムとしては、一例として、画像上で探索窓を走査し、識別器を用いて顔画像に該当するか否かを判定することにより顔領域を検出する、Ｖｉｏｌａ−Ｊｏｎｅｓ法などを挙げることができる。

なお、説明する実施形態において、検出する被写体の領域として、人物の顔領域を検出するものとして説明するが、検出する被写体の領域は、特に限定されるものではない。他の実施形態では、動物の顔領域や他のオブジェクトなど、一般的に主要な被写体となり得る被写体の一部または全部を検出対象とすることができる。かかる場合は、動物や他のオブジェクトの画像データにより学習された識別器を用いて検出部を構成すればよい。

顕著性マップ生成部２０４は、入力された画像データから、特徴量に基づき顕著性マップを生成する。ここで、顕著性マップとは、入力された画像における視覚的に注視され易い部分を数値化した顕著性度の二次元分布である。顕著性マップの生成処理については、詳細を後述する。

特性値算出部２０６は、検出された顔領域および生成された顕著性マップに基づいて、特性値を算出する。この算出される特性値は、入力画像データにおける顔領域の注視され易さ、つまり注視度を示しており、この特性値を用いて、人物（顔領域）が主要被写体であるか否かを判定することが可能となる。

補正条件決定部２０８は、算出された特性値に基づいて、入力画像データに対して施す画像補正における画像処理条件を決定する。特性値が、人物が主要被写体であることを示す場合は、人物に適した画像処理条件に決定することができる。一方、特性値が、人物以外が主要被写体であることを示す場合には、人物以外に適した画像処理条件に決定することができる。

画像補正部２１０は、補正条件決定部２０８により決定された画像処理条件に基づいて、入力画像データに対し画像補正を施し、得られた補正済み画像データを出力する。

上述した構成を採用することにより、人物の顔といった主要被写体となり易い被写体の領域を検出し、その被写体の領域が視覚的に注視され易いかを評価した上で、適切な画像補正の処理条件の決定することができる。このため、人物と人物以外の被写体が混在するような画像においても、主要被写体が人物であるか人物以外であるかを判別することが可能となり、人の経験や技能によることなく、任意の画像において適正な画像補正を施すことが可能となる。

なお、上述した顔検出部２０２、顕著性マップ生成部２０４、特性値算出部２０６、補正条件決定部２０８および画像補正部２１０は、それぞれ、ＣＰＵ１０２が、補助記憶装置１０６に格納された、所定のプログラミング言語でコード化されたプログラムを主記憶装置１０４に展開し、該プログラムが規定する各処理手順を実行することによって実現される。画像処理装置１００を実現するためのプログラムは、コンピュータが読み取り可能な記憶媒体（例えば、記憶媒体１２０）に格納され、画像処理装置１００は、記憶媒体１２０からプログラムを読み出して、インストールすることができる。あるいは、画像処理装置１００は、インターネットなどの電気通信回線を介して上記プログラムをダウンロードし、インストールすることもできる。また、図２に示した機能部は、複数のコンピュータに分散実装されてもよい。さらに、図２に示した機能部は、特定用途向け集積回路（ＡＳＩＣ）やＦＰＧＡ（Field Programmable Gate Array）などのプロブラマブル・デバイスなどによってハードウェア実装されてもよい。

以下、画像処理装置１００に入力された画像データに対し補正条件が決定され、最終的に画像補正されるまでに行われる処理および各処理における各部の処理内容について、図３〜図１０を参照しながら、より具体的に説明する。

図３は、第１の実施形態による画像処理装置１００が実行する、全体処理を示すフローチャートである。図３に示す処理は、所定の画像データに対する画像補正が指令されたことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、画像処理装置１００は、画像補正処理の対象となる画像データ（以下、入力画像データと参照する。）を取得する。

ステップＳ１０２では、画像処理装置１００は、顔検出部２０２により、入力画像データから顔領域の検出を行う。ここで顔領域が検出されると、検出された顔領域の位置やサイズなどの情報が取得される。複数の顔領域が検出された場合は、それぞれの顔領域に対応する位置やサイズなどの情報が取得されるが、所定のサイズ以下の顔情報を除外するなどの処理を行ってもよい。また、検出領域の色情報から異常な肌色と判定された顔情報を除外することにより誤検出を低減することができる。

ここで、図４を参照しながら、顔領域の検出処理について、より詳細に説明する。図４には、画像処理装置１００に入力される３種類の入力画像データ３００，３１０，３２０が示されている。図４には、顔検出部２０２により検出された顔領域３０２，３１２も併せて示されている。

図４（Ａ）は、インタビュー記事に掲載されるような画像事例であり、入力画像データ３００の主要被写体は、通常、人物となる。図４（Ａ）では、顔検出部２０２により、主要被写体である人物の顔領域３０２が検出されていることが示されている。これに対して、図４（Ｂ）は、新車発表会で撮られるような画像事例であるが、入力画像データ３１０の主要被写体は、発表者である人物よりもむしろ商品である自動車の方が相応しいと考えられる。図４（Ｂ）に示した例では、主要被写体は人物以外の被写体（本例では自動車である。）となるが、顔検出部２０２は、発表者である人物の顔領域３１２を検出する場合がある。図４（Ｃ）は、建物の外観を写した画像事例であり、入力画像データ３２０の主要被写体は、通常、人物以外の被写体（風景や建物）であると考えられる。図４（Ｃ）の例示では、画像中に人物が見られないため、顔検出部２０２は、顔領域を検出しないことになる。

なお、顔検出される領域の形態は、典型的には図４に示すような矩形とすることができるが、検出領域を構成する画素の位置情報が取得される限り、特に限定されるものではない。他の実施形態では、顔領域の輪郭をトレースした多角形や曲線で構成される形態であってもよい。

図３を再び参照すると、ステップＳ１０３では、ステップＳ１０２において顔検出部２０２により顔領域が検出されたか否かに応じて、処理が分岐される。ステップＳ１０３で、顔領域が検出されたと判定された場合（ＹＥＳ）は、ステップＳ１０４へ処理が進められる。

ステップＳ１０４では、画像処理装置１００は、顕著性マップ生成部２０４により、入力画像データから顕著性マップを生成する。以下、図５〜図８を参照しながら、顕著性マップの生成処理について、より詳細に説明する。

画像処理装置１００には、入力画像データが入力され、顕著性マップ生成部２０４により、入力画像データに基づいて顕著性マップの算出が行われる。顕著性マップ生成部２０４は、より具体的には、入力画像データから抽出される特徴量に基づいて、複数の特徴量マップを生成し、さらに、生成された複数の特徴量マップを統合することによって、顕著性マップを算出する。

ここで、特徴量は、入力画像データが有する画素がそれぞれ示す画素値に基づいて算出される値である。特徴量は、例えば、輝度、明度、彩度、色相、色、エッジ成分、方位、モーション、またはこれらの組み合わせで示される値である。ここで、色は、ＲＧＢ値を用いて算出される値などを含む。特徴量マップは、画像において、特徴量のコントラスト値によって、観察者が被写体に対して興味を引く注目度を定量的に示すデータである。

ここで、例えば注目被写体の色味が背景と同系である場合に、特徴量として色または色相などが選択される場合、特徴量のコントラスト値が小さくなり、得られる特徴量マップが被写体に対して興味を引く注目度を必ずしも適切に示さない可能性がある。この場合、特徴量としては、画像データのエッジ成分とその方位とを用いることができる。以下、エッジ成分および方位を用いる特徴量マップの生成法について、一例として説明する。

例えば、画像データに対し、４方位（０°、４５°、９０°、１３５°）のエッジ成分の強度平均をそれぞれ計算し、それぞれの特徴量とすることができる。エッジ成分の検出には、ＳｔｅｅｒａｂｌｅフィルタやＧａｂｏｒフィルタなどを用いることができる。顕著性マップ生成部２０４は、上記フィルタを用いることで、任意の方位に対しエッジ成分強度を算出することができる。さらに、画像データの解像度を段階的に下げた異スケール画像を複数用意し、それぞれのエッジ検出を行うことにより、周波数成分ごとの特徴量マップを生成することができる。さらに、エッジ成分および方位による特徴量マップは、画像データを分割した領域毎に計算してもよい。領域毎に計算する場合、顕著性マップ生成部２０４は、中心領域とその周辺領域とのエッジ成分強度のコントラスト値から、より注目度として適正な特徴量マップとすることができる。

図５は、第１の実施形態による画像処理装置１００が実行する、顕著性マップ生成処理を示すフローチャートである。図５に示す処理は、図３に示したステップ１０４で呼び出されて、ステップＳ２００から開始される。

ステップＳ２０１では、顕著性マップ生成部２０４は、入力画像データを取得する。ステップＳ２０２では、顕著性マップ生成部２０４は、複数の特徴量が用いられる場合、複数の特徴量のうちのいずれか１つの特徴量を処理対象として選択する。なお、ステップＳ２０２においては、顕著性マップ生成部２０４は、顕著性マップ生成の前処理として、ステップＳ２０１で入力された入力画像データの画素値を変換して特徴量を算出してもよい。例えば、入力画像データの画素値がＲＧＢ値であり、かつ、特徴量が輝度である場合、顕著性マップ生成部２０４は、ＲＧＢ値から各画素の輝度をそれぞれ算出することができる。なお、用いられる特徴量は、予め顕著性マップ生成部２０４に設定されてもよく、またはユーザによって任意に設定してもよい。

ステップＳ２０３では、顕著性マップ生成部２０４は、選択された特徴量に基づいてガウシアン・ピラミッド（Ｇａｕｓｓｉａｎ Ｐｙｒａｍｉｄ）データなどのピラミッド・データを特徴量毎に生成する。

例えば、ステップＳ２０２で選択された特徴量が輝度である場合、顕著性マップ生成部２０４は、輝度についてのガウシアン・ピラミッド・データを生成する。これに対して、ステップＳ２０２で選択された特徴量が色である場合、顕著性マップ生成部２０４は、レッド成分ｒをグリーン成分ｇで除算した値（ｒ／ｇ）およびブルー成分ｂをイエロー成分ｙで除算した値（ｂ／ｙ）それぞれに対するガウシアン・ピラミッド・データを生成する。ここで、各色成分ｒ，ｇ，ｂ，ｙは、画素のＲＧＢ値を用いて、例えば下記式により計算することができる。

ガウシアン・ピラミッド・データは、画像のボケ具合がそれぞれ異なるようにフィルタ係数が設定された複数のガウシアン・フィルタを入力画像データにそれぞれ適用させて生成される複数の画像から構成されるデータである。例えば、画像のボケ具合が順に２倍となるように設定されたガウシアン・フィルタによるフィルタリングを行う場合、画像の解像度が順に２分の１となる画像がそれぞれ生成され、複数の画像を含み構成されるガウシアン・ピラミッド・データが生成される。例えば、ガウシアン・フィルタが８段階適用される場合、原画像データから１／２５６（＝１／２^８）の縮尺となる画像まで合計９枚の画像で構成されるガウシアン・ピラミッド・データが生成される。なお、ガウシアン・フィルタの適用は、例示では８段階適用するものとして説明するが、任意の段階数でよく、計算処理の負荷を考慮して最適化することができる。

ステップＳ２０４では、顕著性マップ生成部２０４は、生成されたガウシアン・ピラミッド・データに基づいて、特徴量毎に特徴量マップを生成する。具体的には、まず、顕著性マップ生成部２０４は、ガウシアン・ピラミッド・データに含まれる解像度がそれぞれ異なる画像を同サイズに規格化し、画像間を比較する。上述したガウスフィルタの働きにより、解像度の低い（つまり画素の粗い）画像に含まれる画素は、解像度の高い（画素の細かい）画像に含まれる同じ位置の画素の周辺の特徴量を示すことになる。そのため、規格化された異なる解像度の画像の差分を算出することにより、注目する画素の周辺と比較した特徴量の差分（コントラスト値）が大きくなる領域を算出することができる。顕著性マップ生成部２０４は、ガウシアン・ピラミッド・データに含まれる異なる解像度の２つの画像から差分を求め、コントラスト値を算出し、算出されたコントラスト値を画像データが有する画素に対応させて特徴量マップを生成することができる。

ステップＳ２０５では、顕著性マップ生成部２０４は、必要な全特徴量について特徴量マップが生成されたか否かを判断する。つまり、予め設定された特徴量毎にそれぞれ特徴量マップが生成されたか否かが判断される。ステップＳ２０５で、全特徴量の特徴量マップが生成されたと判断された場合（ＹＥＳ）は、ステップＳ２０６へ処理が進められる。一方、ステップＳ２０５で全特徴量の特徴量マップが生成されていないと判断された場合（ＮＯ）は、ステップＳ２０２に処理が戻され、全特徴量の特徴量マップが取得されるまで、ステップＳ２０２〜ステップＳ２０４の処理が繰り返されることになる。

ステップＳ２０６では、顕著性マップ生成部２０４は、得られた複数の特徴量各々の特徴量マップを統合することにより顕著性マップを生成する。具体的には、ステップＳ２０６においては、ステップＳ２０４で特徴量ごとにそれぞれ生成された特徴量マップを重ね合わせることによって顕著性マップが生成される。

図６は、第１の実施形態による顕著性マップの生成処理を模式的に示す。図６は、入力画像データ３５０が入力され、ｎ種類の特徴量３５２について、図５に示す処理がそれぞれ行われた場合を例示している。図６においては、ｎ種類の特徴量３５２のうち、「特徴量１」は、輝度（Ｙ）とし、「特徴量２」は、レッド成分ｒをグリーン成分ｇで除算した色を示す値ｒ／ｇとし、「特徴量３」はブルー成分ｂをイエロー成分ｙで除算した色を示す値ｂ／ｙとし、「特徴量４」〜「特徴量７」をそれぞれ方位０°、４５°、９０°、および１３５°のエッジ成分としている。

ガウシアン・ピラミッド・データ３５４は、図５に示したステップＳ２０３において特徴量（Ｙ，ｒ／ｇ、ｂ／ｙ、０°、４５°、９０°、１３５°など）毎にそれぞれ生成される。特徴量マップ３５６は、図５に示したステップＳ２０４において、特徴量毎のガウシアン・ピラミッド・データ３５４に基づいて、特徴量毎にそれぞれ生成される。顕著性マップ３５８は、図５に示したステップＳ２０６において、生成された特徴量マップ３５６を線形的に重ね合わせて統合することにより生成される。

なお、統合によって各ガウシアン・ピラミッド・データ３５４が有するノイズが強調される可能性がある。このため、ステップＳ２０６では、顕著性マップ生成部２０４は、規格化処理を行ってから特徴量マップを統合し、各ガウシアン・ピラミッド・データ３５４が有するノイズを低減させることができる。また、重ね合わせの際、特徴量によって重み付けを変えて統合することもできる。

なお、特定の実施形態に基づいて顕著性マップ３５８の生成処理について説明した。しかしながら、顕著性マップ３５８を生成する方法は、上述したものに特に限定されるものではない。例えば、顕著性マップは、“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ”（Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，ａｎｄ Ｅ．Ｎｉｅｂｕｒ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２０，Ｎｏ．１１，１９９８）などに記載された方法によって生成されてもよい。

以下、図７を参照しながら、上述したエッジ成分および方位による特徴量マップを分割された領域毎に計算する処理について説明する。図７は、上述したエッジ成分および方位による特徴量マップを分割された領域毎に計算する他の実施形態ついてより具体的に説明する図である。

方位毎のエッジ成分を特徴量とする手法は、ＧＩＳＴ特徴量と参照される。顕著性マップ生成部２０４は、ＧＩＳＴ特徴量の算出に際して、まず、図７（Ａ）に示すように原画像データ３８０を複数のブロック３８２に分割し、ブロック毎に異スケール画像を複数用意し、エッジ検出を行うことによって、スケール毎、方位毎のエッジ画像３８４を得ることができる。図７（Ａ）に示す例では、４スケール（ｌ＝１，２，３，４）×４方位（ｋ＝１、２、３、４）のエッジ画像３８４が得られている。複数の異スケール画像各々を方位毎にエッジ検出する処理は、ステアラブル・ピラミッド分解と参照され、スケール毎、方位毎のエッジ画像３８４からなる画像群は、ステアラブル・ピラミッド・データと参照される。顕著性マップ生成部２０４は、ブロック毎に、スケール毎、方位毎のエッジ画像でのエッジ成分強度を平均化することによって、ブロック毎の特徴ベクトルｖ_ｉ（ｌ，ｋ）を抽出することができる。このようにして、ブロック画像のシーン、印象、含まれる主要オブジェクト（例えば花や文字など）に応じて大域的な特徴を示す特徴ベクトル３８６が得られる。

顕著性マップ生成部２０４は、分割したブロック毎の特徴ベクトルｖ_ｉを用いて、図７（Ｂ）に示すような中心領域３９２とその周辺領域３９０との特徴ベクトル間の距離を算出することによって、ブロック毎の中心領域３９２と周辺領域３９０とのコントラスト値（差分値）を含む特徴量マップを得ることができる。特徴ベクトル間の距離ΔＧＩＳＴは、中心領域の特徴ベクトルをｖ_{ｃｅｎｔｅｒ}（ｌ，ｋ）とし、周辺領域の特徴ベクトルをｖ_{ｓｕｒｒｏｕｎｄ}（ｌ，ｋ）として、下記式により計算することができる。

このように、中心領域３９２および周辺領域３９０のＧＩＳＴ特徴量のコントラスト値（差分値）を計算することにより、中心領域３９２に、顕著性が高い領域が存在するか（図７（Ｂ）の左側（差が大きい場合））、または、顕著性が高い領域が存在しないか（図７（Ｂ）の右側（差が小さい場合））の推定を行うことができる。

なお、中心領域３９２および周辺領域３９０の設定方法は、種々の形態をとることができる。例えば、分割された各ブロックを中心領域３９２として、その周辺８ブロックまたは中心ブロックを含む９ブロックを周辺領域３９０として特徴ベクトルｖ_{ｃｅｎｔｅｒ}，ｖ_{ｓｕｒｒｏｕｎｄ}を算出し、中心領域３９２と周辺領域３９４との差分値を求めることができる。また、中心領域３９２は、複数のブロック（例えば、２×２ブロック）を含んでいてもよく、この場合、周辺領域３９０は、その中心ブロックよりも大きい領域（例えば４×４ブロック）であればよい。さらに、図７（Ａ）に示すような均等分割されたブロックとするほか、中心領域とその中心領域より大きな周辺領域という関係があればよく、他の実施形態では、顕著性マップ生成部２０４は、中心領域および周辺領域を画定する矩形のサイズを種々の大きさに変更しながら画像データ内を走査し、注目被写体を検索して行くこともできる。

そして、このように得られた領域毎のコントラスト値（差分値）を含む特徴量マップを、図６に示すような他の特徴量による特徴量マップと統合して、顕著性マップを生成することができる。この場合に、顕著性マップ生成部２０４は、各画素が所属するブロックに対し計算されたコントラスト値が各画素に設定されているものとして、他の画素毎の特徴マップと統合することができる。

図８（Ａ）および（Ｂ）は、第１の実施形態により得られる顕著性マップを例示する。図８には、図４で示した入力画像データ３００，３１０から生成された顕著性マップ３６０，３７０が一例として模式的に示されている。図８（Ａ）および（Ｂ）に示す顕著性マップ３６０，３７０は、顕著性が低い領域から顕著性が高い領域まで７段階に区分して、７種類のハッチングで表示されている。顕著性が高い領域が、入力画像の中で視覚的に注視度が高い領域であり、この領域に主要被写体が存在すると推定される。なお、図８で示した顕著性マップ３６０，３７０では、顕著性の高低を７段階で示しているが、これに限定されるものではなく、入力画像データを構成する画素ごとに、連続した顕著性の値を有することができる。

なお、好ましい実施形態においては、入力画像データを構成する全ての画素における顕著性の値の総和は、入力画像データに依らず定数となるように、それぞれの顕著性の値が規格化される。説明する実施形態においては、定数が０となるように規格化が行われる。つまり、入力画像データの横方向位置をｘ、縦方向位置をｙとし、位置（ｘ，ｙ）における画素の顕著性の値をＳ（ｘ，ｙ）とすると、下記式（１）で表すことができる。

図８（Ａ）に例示する顕著性マップ３６０は、図４（Ａ）に示した入力画像データ３００から算出される結果を表している。図８（Ａ）を参照すると、人物の顔を中心に顕著性が高く、特徴の乏しい背景部は、相対的に顕著性が低くなっていることが理解される。図８（Ｃ）に示す曲線２６２は、図８（Ａ）に示した顕著性マップに重ねた直線Ｌ１に沿った顕著性の値を、横軸をｘ方向位置として示したグラフである。図４（Ａ）に示した入力画像データ３００を観察する観察者は、人物の顔に注目する確率が高くなり、この人物が主要被写体であると考えられる。

一方、図８（Ｂ）に例示する顕著性マップ３７０は、図４（Ｂ）に示した入力画像データ３１０から算出される結果を示している。図８（Ｂ）を参照すると、人物よりも自動車を中心に顕著性が高くなっていることが理解される。特に、輝度やエッジ成分といった特徴量のコントラスト値が高いと推定される自動車のフロント部の顕著性が高くなっている。図８（Ｄ）に示す曲線３７２は、図８（Ｂ）に示す顕著性マップに重ねた直線Ｌ２に沿った顕著性の値を、横軸をｘ方向位置として示したグラフである。図４（Ｂ）に示す入力画像データ３１０の観察者は、画像左端の人物（発表者）よりも、自動車、特にフロント部分に注目する確率が高くなり、この場合、人物以外である該自動車が主要被写体であると考えられる。

再び図３を参照すると、ステップＳ１０５では、特性値算出部２０６は、顔検出部２０２により取得された顔領域の情報と顕著性マップ生成部２０４により生成された顕著性マップに基づいて、入力画像データの特性値を算出する。

図９は、第１の実施形態により得られる顕著性マップと顔領域の検出位置との関係を示す。図９（Ａ）および（Ｂ）は、図４（Ａ）および（Ｂ）で例示した入力画像データ３００，３１０から生成した顕著性マップ３６０，３７０に、入力画像データから検出された顔領域３０２，３１２の位置を重ね合わせた例を示す。図９（Ｃ）および（Ｄ）は、図４（Ａ）および（Ｂ）で例示した入力画像データ３００，３１０から生成した顕著性マップ３６０，３７０の一部の顕著性グラフと、入力画像データ３００，３１０の顔領域３０２，３１２の検出位置に対応する範囲３６４，３７４との関係を例示した図である。

より具体的には、ステップＳ１０５においては、特性値算出部２０６は、顔検出部２０２で検出された顔領域の位置を構成する全画素に対応する顕著性の値の総和を特性値として算出する。複数の顔位置が検出された場合は、各顔位置について同様に計算される。

図９（Ａ）は、入力画像データ３００に対する顕著性マップ３６０および顔領域３０２を重ね合わせて示す。本実施形態では、顔領域３０２は、矩形で示されており、顔領域３０２は、ｘ方向位置でｘ１からｘ２、ｙ方向位置でｙ１からｙ２の範囲に相当する。したがって、入力画像データ３００の特性値Ｆ１は、座標（ｘ，ｙ）に位置する画素の顕著性の値をＳ１（ｘ，ｙ）として、下記式（２）で算出することができる。特性値Ｆ１は、検出された顔領域のサイズおよび顔領域と高い顕著性を有する領域との重なりに大きく依存する。

図９（Ｃ）に示した曲線３６２は、顕著性マップに重ねた直線Ｌ１に沿った顕著性の値を、横軸をｘ方向位置として示したグラフである。顔領域３０２のｘ方向範囲は、ｘ１からｘ２であり、ｘ方向範囲３６４に相当する。従って、直線Ｌ１を構成する画素に関しては、顕著性のグラフ３６２をｘ方向範囲３６４で積分した結果が、図４（Ａ）に示した入力画像データ３００の顔領域３０２の位置を中心とした部分特性値ｆ１となる。そして、入力画像データ３００の特性値Ｆ１は、部分特性値ｆ１のｙ方向（ｙ１〜ｙ２）での累積として計算される。

図９（Ｂ）は、入力画像データ３１０に対する顕著性マップ３７０および顔領域３１２を重ね合わせて示す。顔領域３１２の位置は、ｘ方向位置でｘ３からｘ４、ｙ方向位置でｙ３からｙ４の範囲に相当する。したがって、入力画像データ３１０の特性値Ｆ２は、座標（ｘ，ｙ）に位置する画素の顕著性の値をＳ２（ｘ，ｙ）として、下記式（３）で算出することができる。特性値Ｆ２も、検出された顔領域のサイズおよび顔領域と高い顕著性を有する領域との重なりに大きく依存する。

図９（Ｄ）に示した曲線３７２は、顕著性マップに重ねた直線Ｌ２の位置における顕著性の値を、横軸をｘ方向位置として示したグラフである。顔領域のｘ方向範囲はｘ３からｘ４であり、ｘ方向範囲３７４に相当する。したがって、直線Ｌ２を構成する画素に関しては、顕著性のグラフ３７２をｘ方向範囲３７４で積分した結果が、図４（Ｂ）に示した入力画像データ３１０の顔領域３１２の位置を中心とした部分特性値ｆ２となる。そして、入力画像データ３１０の特性値Ｆ２は、部分特性値ｆ２のｙ方向（ｙ３〜ｙ４）での累積として計算される。

図９に示すように、入力画像データ３００の顔領域３０２を中心とした部分特性値ｆ１と、入力画像データ３１０の顔領域３１２を中心とした部分特性値ｆ２を比較すると、明らかに部分特性値ｆ１の方が大きいことが分かる（ｆ１＞ｆ２）。ここで、特性値Ｆ１は、部分特性値ｆ１のｙ方向（ｙ１〜ｙ２）での累積であり、特性値Ｆ２は、部分特性値ｆ２のｙ方向（ｙ３〜ｙ４）での累積である。このため、入力画像データ３００の特性値Ｆ１が、入力画像データ３１０の特性値Ｆ２よりも大きくなることは容易に推定できる（Ｆ１＞Ｆ２）。

再び図３を参照すると、ステップＳ１０６では、補正条件決定部２０８は、特性値算出部２０６によって算出された特性値と、所定の閾値Ｆｔｈとに基づいて、入力画像データの主要被写体を判定する。ステップＳ１０７では、補正条件決定部２０８が判定した主要被写体が人物であるか否かによって処理を分岐し、主要被写体が人物である場合には、ステップＳ１０８へ処理が分岐される。

ステップＳ１０８では、補正条件決定部２０８は、入力画像データに対する補正条件として「主要被写体が人物である場合の補正条件」を選択し、ステップＳ１１０へ処理を進める。一方、ステップＳ１０７で、主要被写体が人物ではないと判定された場合（ＮＯ）は、ステップＳ１０９へ処理が進められる。ステップＳ１０９では、補正条件決定部２０８は、入力画像データに対する補正条件として「主要被写体が人物以外である場合の補正条件」を選択する。また、ステップＳ１０３で、顔が検出されなかった場合（ＮＯ）も、ステップＳ１０９に分岐され、入力画像データに対する補正条件として「主要被写体が人物以外である場合の補正条件」が選択される。

図１０は、入力画像データ３００，３１０に対して算出された特性値Ｆ１，Ｆ２と閾値との関係を例示する図である。図４で例示した入力画像データ３００，３１０においては、入力画像データ３００の特性値はＦ１であり、入力画像データ３１０の特性値はＦ２であり、Ｆ１＞Ｆ２の関係となる。以下、予め設定された１つの閾値を用いた補正条件の決定方法について、図１０（Ａ）を参照しながら説明する。

図１０（Ａ）は、１つの閾値Ｆｔｈと入力画像データ３００，３１０の特性値Ｆ１，Ｆ２との関係を例示する。入力画像データ３００の特性値Ｆ１は、所定の閾値Ｆｔｈより大きく（Ｆ１＞Ｆｔｈ）、一方で、入力画像データ３１０の特性値Ｆ２は、所定の閾値Ｆｔｈより小さい（Ｆ２＜Ｆｔｈ）。

ここで、補正条件決定部２０８において、特性値が閾値Ｆｔｈ以上となる入力画像データでは、「主要被写体が人物である」とし、特性値が閾値Ｆｔｈより小さくなる入力画像データでは、「主要被写体が人物以外である」とする基準を予め設けておくものとする。こうすることで、特性値算出部２０６が入力画像データの特性値を算出した時点で、入力画像データの主要被写体が人物であるかまたは人物以外であるかを判定することができるようになる。

上記閾値Ｆｔｈは、入力画像データに占める顔領域の面積比率や、顔領域における顕著性の高さなどをシミュレーションすることにより、予め決定することができる。あるいは、人物が様々な大きさで写されたり、人物と人物以外の被写体が様々なパターンで混在したりする複数の実画像から特性値をそれぞれ算出し、各画像とその特性値を比較しながら経験的に適正な閾値を決定することもできる。

図１０（Ａ）に示す例では、Ｆ１＞Ｆｔｈであるため、入力画像データ３００の主要被写体が人物であると判定される。これに対し、Ｆ２＜Ｆｔｈであるため、入力画像データ３１０の主要被写体が人物以外であると判定される。このような閾値を設定することによって、人物と人物以外の被写体が混在した図４（Ｂ）に示すような入力画像データ３１０においても、画像左端の人物よりも中央の自動車（人物以外）の方が主要であるとの適正な判定が可能になる。

なお、顔検出部２０２で、顔が検出されなかった入力画像データ（例えば図４（Ｃ）に示した入力画像データ３２０）については、主要被写体が人物以外であると直接判定することができる。

再び図３を参照すると、ステップＳ１１０では、画像補正部２１０は、ステップＳ１０８またはステップＳ１０９において補正条件決定部２０８が決定した補正条件に基づいて、入力画像データに補正を施し、ステップＳ１１１で本処理を終了する。

ステップＳ１１０においては、例えば、入力画像データに対する補正条件として、「主要被写体が人物である場合の補正条件」が決定された場合は、画像補正部２１０は、主要被写体が人物である画像用の画像補正アルゴリズムを用いて画像補正を行う。主要被写体が人物である画像用の画像補正アルゴリズムでは、顔検出部２０２によって検出された顔位置情報から主要被写体である入力画像データ中の人物の肌特性などの画像情報を抽出かつ分析し、該人物肌が適正な明るさや色階調再現となるような補正を施すことができる。

また、例えば、入力画像データに対する補正条件として、「主要被写体が人物以外である場合の補正条件」が決定された場合は、画像補正部２１０は、主要被写体が人物以外である画像用の画像補正アルゴリズムを用いて画像補正を行う。主要被写体が人物以外である画像用の画像補正アルゴリズムでは、入力画像データの全体または中央領域の明るさ、色度、周波数特性などの画像特性、または画像特性のヒストグラム情報などの画像情報を抽出し、分析し、入力画像データの全体または中央領域の画像特性が適正に再現されるような補正を施すことができる。上記補正によって、人物以外の被写体（風景、建物、商品など）にメリハリを付けることができ、立体感や奥行き感を強調することができる。なお、入力画像データの画像補正自体は、画像補正によって補正された補正画像データの用途によっても調整され得るので、補正内容自体は、上述した条件に限定されるものではない。

以上説明した第１の実施形態によれば、入力画像データの主要被写体が人物か人物以外かを適正に判定することが可能となり、かかる判定に基づいて入力画像データに対し最適な画像補正を適用することが可能となる。

以上で説明した第１の実施形態による画像処理装置１００は、汎用コンピュータ上で実装することができる。しかしながら、特に限定されるものではなく、他の機能を付加することで、例えば複合機、プリンタ、オフセット印刷機、ファクシミリ装置、スキャナ装置、デジタルカメラ、ＤＦＥ（Digital Front End）など、画像データの処理を実行する各種装置として用いることができる。

（第２の実施形態）
上述した第１の実施形態では、補正条件決定部２０８における入力画像データの補正条件の決定が１つの閾値により判定されていた。以下、図１０（Ｂ）、図１０（Ｃ）および図１１を参照しながら、複数の閾値を用いて補正条件を決定する第２の実施形態について説明する。なお、第２の実施形態は、第１の実施形態と同様の構成を備えるので、以下、相違点を中心に説明する。

図１１は、第２の実施形態による画像処理装置が実行する、全体処理を示すフローチャートである。図１１で例示するフローチャートは、補正条件決定部２０８における入力画像データの補正条件の決定が、２つ又は２つ以上の閾値に基づく場合について示すものである。

ステップＳ３０１では、画像処理装置１００は、入力画像データを取得する。ステップＳ３０２では、画像処理装置１００は、顔検出部２０２により入力画像データから顔領域の検出を行う。ステップＳ３０３では、画像処理装置１００は、顔検出部２０２により入力画像データから顔領域が検出されたか否かに応じて、処理を分岐させる。ステップＳ３０３で、顔領域が検出された場合（ＹＥＳ）には、ステップＳ３０４へ処理が進められる。

ステップＳ３０４では、画像処理装置１００は、顕著性マップ生成部２０４により、入力画像データから顕著性マップを生成する。ステップＳ３０５では、画像処理装置１００は、特性値算出部２０６により、顔検出部２０２により取得された顔領域の情報と顕著性マップ生成部２０４により生成された顕著性マップとに基づいて、入力画像データの特性値を算出する。

ステップＳ３０６では、画像処理装置１００は、補正条件決定部２０８により、所定の閾値と特性値算出部２０６によって算出された特性値とに基づいて、入力画像データの主要被写体を判定する。

図１０（Ｂ）は、２つ以上の閾値（Ｆｔｈ１〜ＦｔｈＮ）と入力画像データの特性値Ｆ１，Ｆ２との関係を例示する図である。図１０（Ｂ）に示すように、入力画像データ３００に対し算出された特性値Ｆ１は、閾値ＦｔｈＮより大きく（Ｆ１＞ＦｔｈＮ）、一方で、入力画像データ３１０の特性値Ｆ２は、閾値Ｆｔｈ１と閾値Ｆｔｈ２の間にある（Ｆｔｈ１＜Ｆ２＜Ｆｔｈ２）。

ここで、補正条件決定部２０８において、特性値が閾値ＦｔｈＮ以上となる入力画像データは、「主要被写体が人物である」とし、特性値が閾値Ｆｔｈ１より小さくなる入力画像データは、「主要被写体が人物以外である」とする基準が設けられているものとする。さらに閾値Ｆｔｈ１と閾値ＦｔｈＮの中間領域においては、それ以外の中間的判定基準が１つ以上設定されており、中間的判定基準の数に応じて閾値の数（Ｎ）が決定される。

図１０（Ｂ）に示ように２以上の閾値が用いられた場合、例えば、入力画像データ３１０の特性値Ｆ２のように、特性値が閾値Ｆｔｈ１と閾値Ｆｔｈ２との間になった場合、「主要被写体は人物以外だが、人物も若干重要な要素として混在している可能性が高い」との判定とし、さらにその条件に見合った画像補正条件を決定することができる。

図１０（Ｃ）は、２つの閾値（Ｆｔｈ１，Ｆｔｈ２）と入力画像データ３００，３１０の特性値（Ｆ１，Ｆ２）との関係の別例を示す図である。図１０（Ｃ）を参照すると、入力画像データ３００の特性値Ｆ１は、閾値Ｆｔｈ１より大きく（Ｆ１＞Ｆｔｈ１）、入力画像データ３１０の特性値Ｆ２は、閾値Ｆｔｈ１と閾値Ｆｔｈ２の間にある（Ｆｔｈ１＜Ｆ２＜Ｆｔｈ２）。

ここで、補正条件決定部２０８において、特性値が閾値Ｆｔｈ２以上となる入力画像データは、「主要被写体が人物である」とし、特性値が閾値Ｆｔｈ１より小さくなる入力画像データは、「主要被写体が人物以外である」とする基準が設けられているものとする。さらに閾値Ｆｔｈ１と閾値Ｆｔｈ２の中間領域においては、上記と同様に、「主要被写体は人物以外だが、人物も若干重要な要素として混在している可能性が高い」というような中間的な状態として主要被写体が判定される。

ステップＳ３０７では、画像処理装置１００は、補正条件決定部２０８が判定した主要被写体が人物であるか否かを判定する。主要被写体が人物である場合には、ステップＳ３０８へ処理が進められる。ステップＳ３０８では、画像処理装置１００は、補正条件決定部２０８により、入力画像データに対する補正条件として、「主要被写体が人物である場合の補正条件」を選択し、ステップＳ３１２へ処理を進める。

一方、ステップＳ３０７で、主要被写体が人物ではない場合（ＮＯ）には、ステップＳ３０９へ処理が進められる。ステップＳ３０９では、画像処理装置１００は、さらに、補正条件決定部２０８が判定した主要被写体が人物以外であるか否かを判定する。ステップＳ３０９で、主要被写体が人物以外ではないと判定された場合（ＮＯ）には、ステップＳ３１０へ処理が進められる。

ステップＳ３１０では、画像処理装置１００は、図１０（Ｂ）および（Ｃ）に示すような２つまたは２以上の閾値を用いる場合は、補正条件決定部２０８により、中間的な判断基準に基づいて補正条件を決定する。例えば、図１０（Ｃ）に示すような２つの閾値を用いる場合には、補正条件決定部２０８により、入力画像データに対する補正条件として、「主要被写体が人物である場合の補正条件」による画像補正結果と、「主要被写体が人物以外である場合の補正条件」による画像補正結果とのブレンド処理を選択することができる。図１０（Ｂ）に示すような２つ以上の閾値を用いる場合には、補正条件決定部２０８は、予め準備された中間的な補正条件（例えば、人物画像および風景画像に共に違和感なく適用できる画像補正アルゴリズムを含む。）を選択することができる。

なお、主要被写体が人物である場合および主要被写体が人物以外である場合の補正条件による画像補正結果のブレンド処理が補正条件として決定された場合、ブレンド処理の混合比率は、閾値Ｆｔｈ１と閾値Ｆｔｈ１の間における特性値の位置関係によって定めることができる。

例えば、図１０（Ｃ）において、入力画像データ３１０の特性値Ｆ２と閾値Ｆｔｈ１との距離と、入力画像データ３１０の特性値Ｆ２と閾値Ｆｔｈ２との距離の比率をａ：ｂとする（ここでａ＋ｂ＝１と規格化するものとする。）。入力画像データ３１０を主要被写体が人物である場合の補正条件によって補正した結果を補正画像データＨ、入力画像データ３１０を主要被写体が人物以外である場合の補正条件によって補正した結果を補正画像データＮとする。この場合、入力画像データ３１０に対する最終的な補正条件は、補正画像データＨと補正画像データＮを、ａ：ｂの比率でブレンドする補正とすることができる。

一方、ステップＳ３０９で、主要被写体が人物以外であると判定された場合（ＹＥＳ）には、ステップＳ３１１へ処理が進められる。ステップＳ３１１では、画像処理装置１００は、補正条件決定部２０８により、入力画像データに対する補正条件として、「主要被写体が人物以外である場合の補正条件」を選択する。また、ステップＳ３０３において、顔領域が検出されなかった場合（ＮＯ）には、ステップＳ３１１に直接処理が進められ、ステップＳ３１１０で、入力画像データに対する補正条件として「主要被写体が人物以外である場合の補正条件」を選択する。

ステップＳ３１２では、画像処理装置１００は、画像補正部２１０により、ステップＳ３０８、ステップＳ３１０、またはステップＳ３１１において補正条件決定部２０８により決定された補正条件に基づいて、入力画像データに対し画像補正を施し、ステップＳ３１３で、本処理を終了する。

中間的判定基準による補正条件が決定されていた場合、画像補正部２１０は、上述した「主要被写体が人物である場合の補正条件」と「主要被写体が人物以外である場合の補正条件」との中間的な補正を施す。図１０（Ｃ）で例示したように、入力画像データの特性値が２つの閾値（Ｆｔｈ１，Ｅｔｈ２）の間にある場合、画像補正部２１０は、上述した「主要被写体が人物である場合の補正条件」と「主要被写体が人物以外である場合の補正条件」のそれぞれの補正画像データのブレンド処理を行うことができる。具体的には、上記補正画像データＨの全画素の画素値にａを乗算し、補正画像データＮの全画素の画素値にｂを乗算し、同位置の画素において乗算後の画素値をそれぞれ足し合わせて最終的な補正画像データを生成することができる。

以上説明した第２の実施形態によれば、入力画像データの主要被写体が人物か人物以外か、あるいはその中間的であるかを適正に判定することができ、判定結果に基づいた入力画像データの最適な補正を実現することが可能となる。

（第３の実施形態）
上述した第１および第２の実施形態では、情報処理装置として、画像データに対し画像補正を施す画像処理装置を一例として説明した。以下、第３の実施形態について説明する。なお、第３の実施形態は、第１および第２の実施形態と共通する構成も備えるので、第１および第２の実施形態の画像処理装置１００とで相違する構成および処理を中心に説明する。

図１２は、第３の実施形態による画像処理システムの一例を示す図である。図１２に示すように、画像処理システム４００は、ネットワーク４０２を介して接続される画像処理サーバ４１０と、複合機（ＭＦＰ：Multifunction Peripheral）４３０と、情報処理端末４５０とを含み構成される。なお、ネットワーク４０２を介して接続される画像処理サーバ４１０、複合機４３０および情報処理端末４５０の数は、それぞれ任意の数であってよい。

複合機４３０は、スキャン機能、コピー機能、プリンタ機能、ファクシミリ機能などの複数の画像機能を提供する装置である。複合機４３０は、スキャン機能により紙媒体などをスキャン処理して画像データを作成し、作成された画像データを画像処理サーバ４１０に送信することができる。なお、以下に示す実施形態では、画像データを入力する画像入力装置として複合機を一例として説明している。しかしながら、画像入力装置は、複合機に限定されるものではなく、画像データを入力可能であれば、スキャナ装置、ファクシミリ装置、コピー装置、オフセット印刷装置などのいずれにも適用することができる。

画像処理サーバ４１０は、複合機４３０でスキャンされて読み取られた画像データやネットワークを通じて取得した画像データなどを受信し、種々の処理を実行するワークステーションなどのコンピュータであり、画像データに対して画像処理を行うことができる画像処理装置である。なお、画像処理サーバ４１０は、複合機４３０に組み込まれていてもよい。また、画像処理サーバ４１０が有する画像処理装置としての機能は、情報処理端末４５０が備えていてもよい。

画像処理サーバ４１０、複合機４３０、情報処理端末４５０の基本的なハードウェア構成は、図１に示したものと同様な構成とすることができ、特定の用途に応じて適切なハードウェア・コンポーネントを追加することができる。あるいは、特定の用途に応じて、図１に示したいくつかのハードウェア・コンポーネントが削除されてもよい。例えば、複合機４３０は、図１に示したハードウェア構成に加えて、紙媒体などをスキャンすることによって画像を読み取って画像データとして取得するスキャン装置と、画像形成に係る処理を行うプロッタ装置とを備えることができる。また、画像処理サーバ４１０は、キーボードなどの入力装置やディスプレイなどの表示装置を備えていてもよいし、備えていなくともよい。

図１３は、第３の実施形態による画像処理システムの機能構成を示すブロック図である。複合機４３０は、画像読取部４３２と、通信部４３４と、画像形成部４３６とを含み構成される。画像読取部４３２は、紙媒体などをスキャンすることによって画像処理を施す対象となる画像データを取得することができる。通信部４３４は、情報処理端末４５０の記憶部４５８に記憶されている画像データを受信することができる。また、画像読取部４３２で取得された画像データを画像処理サーバ４１０に送信し、画像処理サーバ４１０で画像処理が施された画像データを受信することができる。画像形成部４３６は、画像処理サーバ４１０によって画像処理が施された画像データを記録紙などの記録媒体に印刷して出力できる。

情報処理端末４５０は、通信部４５２と、表示制御部４５４と、表示部４５６と、記憶部４５８と、読出部４６０とを含み構成される。記憶部４５８は、処理対象となる画像データなどを記憶することができる。読出部４６０は、記憶部４５８から画像データを読み出す。通信部４５２は、読出部４６０が読み出した画像データなどを複合機４３０または画像処理サーバ４１０に送信することができる。また、複合機４３０または画像処理サーバ４１０から送信される画像データなどを受信することができる。表示制御部４５４は、通信部４５２が受信した画像データを表示部４５６に表示する。また、情報処理端末４５０の記憶部４５８に記憶されている画像データを表示部４５６に表示することもできる。

画像処理サーバ４１０は、顔検出部４１２と、顕著性マップ生成部４１４と、特性値算出部４１６と、補正条件決定部４１８、画像補正部４２０と、通信部４２２とを有する。各部の機能は、第１の実施形態の画像処理装置１００と同様である。

図１２および図１３に示すような画像処理システム４００において、画像処理の実行者は、画像処理を施す処理対象となる画像データを、複合機４３０の読取部４３２によって画像データとして取得し、画像処理サーバ４１０によって画像処理を行わせることができる。あるいは、画像処理の実行者は、画像処理を施す処理対象の画像データを情報処理端末４５０から読み出し、画像処理サーバ４１０によって画像処理を行わせることができる。

画像処理サーバ４１０では、顔検出部４１２において処理対象画像である入力画像データから検出された顔領域の位置やサイズなどの情報を取得し、顕著性マップ生成部４１４によって入力画像データの顕著性マップを生成する。画像処理サーバ４１０では、さらに、特性値算出部４１６により、検出された顔領域の情報と顕著性マップに基づいて入力画像データの特性値を算出する。画像処理サーバ４１０では、補正条件決定部４１８により特性値に基づいて入力画像データの補正条件を決定し、画像補正部４２０により、決定された補正条件に基づいて入力画像データを補正する。なお、画像処理サーバ４１０が有する機能を情報処理端末４５０に組み込むことで、情報処理端末４５０において画像処理を行うように構成してもよい。

画像処理の実行者は、画像処理サーバ４１０からネットワークを介して接続する複合機４３０に画像処理が施された画像データを送信し、複合機４３０の画像形成部４３６から記録紙などに印刷させることで、補正処理後の画像出力を得ることができる。あるいは、画像処理の実行者は、画像処理サーバ４１０からネットワークを介して接続する情報処理端末４５０に画像処理が施された画像データを送信し、情報処理端末４５０の表示部４５６に表示させることで、補正を施した画像出力を得ることができる。

以上で説明したように、第３の実施形態の画像処理システム４００では、画像処理実行者が、複合機４３０などを用いて画像処理を施す画像データを取得し、画像処理サーバ４１０または情報処理端末４５０により画像処理を施すことができる。

以上説明したように、上述した本実施形態によれば、入力画像から所定被写体が主要被写体であるかを判別して入力画像に対する適正な処理条件を決定することが可能な情報処理装置、画像処理方法およびプログラムを提供することができる。

上述までの実施形態によれば、特に、入力された入力画像データが、人物と人物以外の被写体が混在した画像であったとしても、主要被写体が人物か人物以外かを画像から判定することが可能となり、結果として、任意の入力画像データに対し適正な補正を施す画像処理を実現可能な画像処理装置を提供することが可能となる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像処理装置、１０２…ＣＰＵ、１０４…主記憶装置、１０６…補助記憶装置、１０８…外部記憶装置インタフェース、１１０…ネットワーク・インタフェース、１１２…入力装置、１１４…表示装置、１１６…バス、１２０…記憶媒体、２００…機能ブロック、２０２，４１２…顔検出部、２０４，４１４…顕著性マップ生成部、２０６，４１６…特性値算出部、２０８，４１８…補正条件決定部、２１０，４２０…画像補正部、３００…入力画像データ、３１０…入力画像データ、３２０…入力画像データ、３０２…顔領域、３１２…顔領域、３５０…入力画像データ、３５２…特徴量、３５４…ガウシアン・ピラミッド・データ、３５６…特徴量マップ、３５８…顕著性マップ、３６０…顕著性マップ、３６２…曲線、３６４…範囲、３７０…顕著性マップ、３７２…曲線、３７４…範囲、４００…画像処理システム、４１０…画像処理サーバ、４２２…通信部、４３０…複合機、４３２…画像読取部、４３４…通信部、４３６…画像形成部、４５０…情報処理端末、４５２…通信部、４５４…表示制御部、４５６…表示部、４５８…記憶部、４６０…読出部

特開２０１１−３４３１１号公報

Claims (10)

1. 入力画像から、所定被写体の領域を検出する検出部と、
   前記入力画像から、特徴量に基づき顕著性のマップを生成する生成部と、
   検出された前記所定被写体の領域および生成された前記顕著性のマップに基づいて、前記入力画像での前記所定被写体の領域の注視度を示す特性値を算出する算出部と、
   算出された前記特性値に基づいて、前記入力画像に対する処理条件を決定する決定部と
   を含む、情報処理装置。
2. 前記生成部は、前記入力画像を構成する画素値に基づいて算出される特徴量のコントラスト値を示す特徴量マップを生成し、複数の特徴量各々について生成された前記特徴量マップを統合し、顕著性値の二次元分布を表す前記顕著性のマップを生成する、請求項１に記載の情報処理装置。
3. 前記算出部は、前記検出部により検出された前記所定被写体の領域を構成する画素での前記顕著性値の総和を前記特性値として算出する、請求項２に記載の情報処理装置。
4. 前記特徴量は、輝度、明度、彩度、色相、色、エッジ成分、方位、モーションまたはこれらの組み合わせを含み、前記生成部は、前記入力画像を構成する画素での前記顕著性値の総和が前記入力画像によらず一定となるような規格化を行う、請求項２または３に記載の情報処理装置。
5. 前記所定被写体の領域は、顔領域であり、前記決定部は、所定の閾値および前記特性値に基づいて、予め準備された複数の画像処理条件の中から前記入力画像に適用する処理条件を選択することを特徴とし、前記複数の画像処理条件のうちの第１の画像処理条件は、主要被写体が人物である画像用の画像補正アルゴリズムを含み、第２の画像処理条件は、主要被写体が人物以外である画像用の画像補正アルゴリズムを含む、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記主要被写体が人物である画像用の画像補正アルゴリズムは、前記顔領域の画像情報に基づいた補正を行う処理を含み、前記主要被写体が人物以外である画像用の画像補正アルゴリズムは、前記入力画像の全体または中央領域の画像情報に基づいた補正を行う処理を含む、請求項５に記載の情報処理装置。
7. 前記複数の画像処理条件のうちの第３の画像処理条件は、前記第１の画像処理条件による画像処理結果と、前記第２の画像処理条件による画像処理結果とをブレンドする処理条件を規定する、請求項５または６に記載の情報処理装置。
8. 前記検出部が、前記入力画像から前記顔領域を検出しなかった場合、前記決定部は、主要被写体が人物以外である画像用の画像補正アルゴリズムを含む画像処理条件を選択する、請求項５〜７のいずれか１項に記載の情報処理装置。
9. 画像処理方法であって、
   入力画像から、所定被写体の領域を検出するステップと、
   前記入力画像から、特徴量に基づき顕著性のマップを生成するステップと、
   検出された前記所定被写体の領域および生成された前記顕著性のマップに基づいて、前記入力画像での前記所定被写体の領域の注視度を示す特性値を算出するステップと、
   算出された前記特性値に基づいて、前記入力画像に対する処理条件を決定するステップと、
   決定された前記処理条件に基づいて、前記入力画像に対し処理を施すステップと
   を含む、画像処理方法。
10. コンピュータを、
    入力画像から、所定被写体の領域を検出する検出手段、
    前記入力画像から、特徴量に基づき顕著性のマップを生成する生成手段、
    検出された前記所定被写体の領域および生成された前記顕著性のマップに基づいて、前記入力画像での前記所定被写体の領域の注視度を示す特性値を算出する算出手段、および
    算出された前記特性値に基づいて、前記入力画像に対する処理条件を決定する決定手段、
    として機能させるためのプログラム。