JP2011188237A - 画像処理方法、及び画像処理装置 - Google Patents

Abstract

【課題】風景シーンが写真撮影されたカラーの画像データから、簡単な処理で主要被写体領域を精度良く抽出できる画像処理方法及び画像処理装置を提供する。
【解決手段】写真撮影され記憶部に記憶されたカラー画像データから、演算部により主要被写体領域を抽出する画像処理方法であって、複数の色成分データで各画素が表色される画像データに対して、各色成分データによる表色数を削減した表色削減画像データを生成する表色数削減ステップと、表色削減画像データで表色される色のうち、単一の周辺領域または複数の周辺領域毎に画素数が最大となる特定色を構成する画素を表色削減画像データから除去した特定色除去画像データを生成する特定色除去ステップと、特定色除去画像データの表色画素分布が密となる領域の領域情報を、画像データの主要被写体領域情報として生成する第１主要被写体領域情報生成ステップとを含むステップが演算部により実行される。
【選択図】図２

Description

本発明は、写真撮影され記憶部に記憶されたカラーの画像データから、演算部により主要被写体領域を抽出する画像処理方法、及び画像処理装置に関する。

近年、カメラで撮影された複数の写真画像を編集して紙や電子メディア等の記録媒体に記録するアルバムプリントやアルバムＣＤ等のサービスが提供されている。

このようなサービスは、例えば、ラボショップの店頭に設置されたプリント注文装置を介して受付けられる。プリント注文装置には、注文を受付処理するプロセッサ、注文者とプリント注文装置とのインタフェースを実現する表示装置や入力装置、複数種類のメディアに対応した複数のメディアリーダが組み込まれている。

表示装置に表示されたガイダンスメッセージに従って、利用者が定型サイズの写真プリント、アルバムプリント、アルバムＣＤ等のサービス種別を選択し、デジタルカメラで撮影された複数枚の写真画像に対応する各画像データが記憶されたカードメモリ等の記憶媒体をメディアリーダに装着すると、プリント注文装置によって各画像データが読み込まれて、記憶部に記憶される。

そして、利用者が表示装置に表示された各写真画像に対応したサムネイル画像を目視確認して、入力装置を操作して必要とする写真画像を選択入力するとともに、所望するアルバムプリント等の商品を指定すると、指定された商品のテンプレートに設定されたフレーム領域に、選択された写真画像が割り付けられたアルバムが生成される。

また、パーソナルコンピュータのハードディスク等に、このような多数の写真画像を記憶して、電子写真アルバムとして個人的に楽しむ機会も増えている。

何れの場合でも、写真画像をオリジナルのサイズ以外のサイズに変換する場合等、写真画像の必要な領域を切出す操作が必要となる場合に、利用者の手作業で切出し操作を行なうと非常に煩雑となるため、最適な構図で自動的に切出せる技術が必要とされている。

写真画像に含まれる主要被写体が人物である場合、人物の顔検出アルゴリズムを用いて主要被写体領域を抽出することが比較的容易に行なえるが、風景撮影シーン等、人物が含まれない写真画像では、主要被写体領域を抽出するのは非常に困難である。

特許文献１には、人物の顔だけでなく各シーンを特徴付ける画像部分を残すようにトリミングするトリミング方法として、撮影画像から顔を撮影した顔領域を抽出する顔領域抽出ステップと、前記撮影画像より、所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数を多く含む領域のうちのいずれかの領域を注目領域として抽出する注目領域抽出ステップと、前記顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミングステップとを備えたトリミング方法が提案されている。

明度の高い高明度領域や彩度の高い高彩度領域は、撮影の中心となる特徴となる画像部分に現れることが多く、また、高周波数成分を多く含む高周波数領域は構造物の輪郭を含んでおり、撮影の中心となる構造物である可能性がある点に着目して、高明度領域や高彩度領域や高周波数領域のいずれかを、撮影シーンの特徴となる画像部分として抽出するものである。

また、特許文献２には、撮影シーンに適した良好な構図の画像を、撮影者に依存することなく容易に取得できるデジタルカメラを提供することを目的として、人物を被写体として撮影するための人物モード、風景を被写体として撮影するための風景モードを含む複数の撮影モードのいずれかを撮影者に選択させるための撮影モード選択手段と、被写体の画像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像に対して、人物モード中に、人物の特徴量を解析する人物抽出を実施し、風景モード中に、風景の特徴量を解析する風景解析を実施する画像解析手段と、前記撮影画像の一部を切り出して、構図が修正されたクロップ画像を取得するために、前記撮影画像から切り出す領域を示すクロップ領域の大きさおよび位置を含む領域パラメータを、前記画像解析手段による画像解析の結果に基づいて設定する領域設定手段とを備えていることを特徴とするデジタルカメラが提案されている。

風景の特徴量を解析する風景解析としてテクスチャ解析手法が採用され、テクスチャ解析によって撮影画像を風景の構成要素毎に領域分割し、例えば、空、海および太陽等に分割した領域の分割比に基づいて構図を把握するものである。

特開２００８−５９５３４号公報 特開２００５−１７５６８４号公報

しかし、風景を撮影した写真画像に対してテクスチャ解析等の複雑なアルゴリズムを実行して、風景の構成要素毎の領域を得ても、主要被写体がその領域に含まれるか否かを容易に判断できないという問題があった。

また、特許文献１に記載された技術は写真画像に人物が含まれることを前提とするもので、人物が含まれない風景のみを撮影した写真画像に対して、高明度領域、高彩度領域、高周波数領域の何れかが抽出されても、それが主要被写体領域であるとして適切に判定できるものではなかった。

本発明の目的は、上述の問題に鑑み、風景シーンが写真撮影されたカラーの画像データから、簡単な処理で主要被写体領域を精度良く抽出できる画像処理方法、及び画像処理装置を提供する点にある。

上述の目的を達成するため、本発明による画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、写真撮影され記憶部に記憶されたカラーの画像データから、演算部により主要被写体領域を抽出する画像処理方法であって、複数の色成分データで各画素が表色される画像データに対して、各色成分データによる表色数を削減した表色削減画像データを生成する表色数削減ステップと、前記表色削減画像データで表色される色のうち、単一の周辺領域または複数の周辺領域毎に画素数が最大となる特定色を構成する画素を前記表色削減画像データから除去した特定色除去画像データを生成する特定色除去ステップと、前記特定色除去画像データの表色画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第１主要被写体領域情報生成ステップと、を含むステップが演算部により実行される点にある。

風景が撮影された写真画像であっても、一般的に主要被写体は画像の中央部に位置する場合が多く、また、主要被写体が含まれる領域の表色はその周辺領域とは異なる表色となり、その色の変化も大きな領域となる場合が多い。そこで、表色数削減ステップで得られる構成画素の表色数が削減された表色削減画像データに対して、特定色除去ステップによって、表色削減画像データの周辺領域で画素数が最大となる特定色を構成する画素が特定され、表色削減画像データから当該特定色を構成する画素が除去された特定色除去画像データが生成される。特定色除去画像データには、主要被写体とは大きく異なる表色画素が除去されているため、残った表色画素により主要被写体が含まれる確率が高くなる。第１領域情報生成ステップでは、特定色除去画像データの表色画素分布が密となる領域が抽出され、当該領域の領域情報が画像データの主要被写体領域情報として生成される。このように、各色成分データによる表色数を削減した表色削減画像データを生成することにより、個別の表色を識別するための処理や、特定色除去画像データを生成するための各種の処理に要する時間が、元の画像データに対して同様の処理を実行する場合に要する時間に比べて大幅に短縮され、迅速な処理が可能になる。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記画像データからエッジを抽出してエッジ画像データを生成するエッジ抽出ステップと、前記エッジ画像データのエッジ画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第２主要被写体領域情報生成ステップと、前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第２領域情報生成ステップで抽出された主要被写体領域情報で画定される領域との重畳領域の領域情報を、前記画像データの主要被写体領域情報として生成する第３主要被写体領域情報生成ステップと、が前記演算部によりさらに実行される点にある。

風景が撮影された写真画像であっても、一般的に主要被写体領域は周辺領域に比べて濃淡の変化や色合いの変化が大きい傾向がある。そこで、エッジ抽出ステップで生成されたエッジ画素データに対して、第２領域情報生成ステップによってエッジ画素分布が求められ、エッジ画素が密に分布する領域が主要被写体が含まれる確率が高い領域として抽出され、当該領域の領域情報が画像データの主要被写体領域情報として生成される。さらに、第３主要被写体領域情報生成ステップでは、第１主要被写体領域情報生成ステップ及び第２主要被写体領域情報生成ステップで抽出された各領域が重畳する領域の領域情報が最終的な主要被写体領域情報として生成される。その結果、極めて精度良く主要被写体領域を抽出することができるようになる。

同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、前記第１主要被写体領域情報生成ステップは、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向の表色画素数を度数とするヒストグラムを生成し、それぞれ所定の度数閾値以上となる領域の領域情報を前記主要被写体領域情報として生成する点にある。

当該ヒストグラムにより、特定色除去画像データの表色画素分布が正確に把握でき、Ｘ，Ｙ直交座標軸のそれぞれの軸方向に対するヒストグラムの度数が所定の度数閾値以上となる領域に主要被写体が含まれると判定される。尚、度数閾値として、各度数の平均値が好適に採用できる。

同第四の特徴構成は、同請求項４に記載した通り、上述の第二特徴構成に加えて、前記第２主要被写体領域情報生成ステップは、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向のエッジ画素数を度数とするヒストグラムを生成し、それぞれ所定の度数閾値以上となる領域の領域情報を前記主要被写体領域情報として生成する点にある。

当該ヒストグラムにより、エッジ画素分布が正確に把握でき、Ｘ，Ｙ直交座標軸のそれぞれの軸方向に対するヒストグラムの度数が所定の度数閾値以上となる領域に主要被写体が含まれると判定される。尚、度数閾値として、各度数の平均値が好適に採用できる点は同様である。

同第五の特徴構成は、同請求項５に記載した通り、上述の第一から第四の何れかの特徴構成に加えて、前記表色数削減ステップは、各画素を表色する複数の色成分データを所定の閾値で二値化することにより表色数を削減するように処理される点にある。

色成分データが三種類であれば、二値化により８（＝２^３）種類の表色数となるため、画素数が最大となる特定色が極めて容易に且つ短時間で特定できるようになる。例えば、Ｒ，Ｇ，Ｂの三成分で画素が構成され、各成分が８ビットで構成される場合、１６７７７２１６種類の表色数となるところ、二値化処理することにより８種類の表色数となる。二値化閾値として中央値の１２８が好適に採用できる。

同第六の特徴構成は、同請求項６に記載した通り、上述の第一特徴構成に加えて、前記画像データから人物の顔領域を検出する顔領域検出ステップと、前記顔領域検出ステップで検出された顔領域の領域情報を、前記画像データの主要被写体領域情報として生成する第４主要被写体領域情報生成ステップと、が前記演算部によりさらに実行される点にある。

画像データが風景写真画像であるのか、人物写真画像であるのかが不明である場合でも、顔領域検出ステップにより人物の顔領域が検知されるか否かによって何れの写真画像であるのかが特定できる。そして、人物の顔領域が検知されると、第４主要被写体領域情報生成ステップによって、顔領域の領域情報が画像データの主要被写体領域情報として生成される。

同第七の特徴構成は、同請求項７に記載した通り、上述の第六特徴構成に加えて、前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第４主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域との重畳領域の領域情報を、前記画像データの主要被写体領域情報として生成する第５主要被写体領域情報生成ステップと、が前記演算部によりさらに実行される点にある。

第５主要被写体領域情報生成ステップでは、第１主要被写体領域情報生成ステップ及び第４主要被写体領域情報生成ステップで抽出された各領域が重畳する領域の領域情報が最終的な主要被写体領域情報として生成される。その結果、極めて精度良く人物及びその周辺を含む主要被写体領域を抽出することができるようになる。

同第八の特徴構成は、同請求項８に記載した通り、上述の第七特徴構成に加えて、前記第５主要被写体領域情報生成ステップは、前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第４主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域との重畳領域が検出できないときに、前記第４主要被写体領域情報生成ステップで生成された主要被写体領域情報を、前記画像データの主要被写体領域情報として生成する点にある。

第１主要被写体領域情報生成ステップ及び第４主要被写体領域情報生成ステップで抽出された各領域が重畳する領域が検出できない場合には、人物を優先して主要被写体と判定するのである。

同第九の特徴構成は、同請求項９に記載した通り、上述の第一特徴構成に加えて、前記第１主要被写体領域抽出ステップの前に、前記画像データから人物の顔領域を検出する顔領域検出ステップが実行され、前記顔領域検出ステップで人物の顔領域が検出されない場合に、前記第１主要被写体領域抽出ステップが実行される点にある。

画像データが風景写真画像であるのか、人物写真画像であるのかが不明である場合でも、顔領域検出ステップにより人物の顔領域が検知されるか否かによって何れの写真画像であるのかが特定できる。そして、人物の顔領域が検知できない場合には風景を撮影した写真画像と判定して、何れにも適用可能な第１主要被写体領域抽出ステップが実行される。

同第十の特徴構成は、同請求項１０に記載した通り、上述の第一から第九の何れかの特徴構成による画像処理方法により抽出された前記画像データの主要被写体領域情報に基づいて、前記画像データから主要被写体領域を切り出す主要被写体切出しステップが、前記演算部によりさらに実行される点にあり、これにより、適切に主要被写体領域を切出すことができるようになる。

同第十一の特徴構成は、同請求項１１に記載した通り、前記主要被写体切出しステップは、予め設定された画像データの切出し領域サイズに、前記主要被写体領域情報で画定される主要被写体領域が含まれ、且つ、前記画像データの主要被写体領域以外の上下または左右の領域幅が均等な比率となる領域を切出す点にある。

上述の構成によれば、主要被写体を中央部に含むバランスの良い画像を、切出し領域サイズに合致した状態で切出すことができる。

本発明による画像処理装置の特徴構成は、同請求項１２に記載した通り、写真画像に対する画像データを処理する画像処理装置であって、写真画像に対応するカラーの画像データを入力する入力部と、前記入力部に入力された画像データを記憶する記憶部と、前記画像データから主要被写体領域の領域情報を生成する演算部を備え、前記演算部が、第一から第十一の何れかの特徴構成を備えた画像処理方法を実行するように構成されている点にある。

以上説明した通り、本発明によれば、風景シーンが写真撮影されたカラーの画像データから、簡単な処理で主要被写体領域を精度良く抽出できる画像処理方法、及び画像処理装置を提供することができるようになった。

本発明による画像処理装置の構成図 画像処理方法による主要被写体領域情報の生成手順を示すフローチャート （ａ）は特定色除去ステップの処理説明図、（ｂ）は第１主要被写体領域情報生成ステップの処理説明図 （ａ）は第２主要被写体領域情報生成ステップの処理説明図、（ｂ）は第３主要被写体領域情報生成ステップの処理説明図、 （ａ）は主要被写体領域の拡大処理の説明図、（ｂ），（ｃ）は自動切出し方法の説明図 別実施形態を示す画像処理方法による主要被写体領域情報の生成手順を示すフローチャート （ａ），（ｂ）は主要被写体領域の拡大処理の説明図 フレームサイズ及びフレーム数が異なるアルバムテンプレートの説明図

以下、本発明による画像処理方法、及び画像処理装置を説明する。
図１に示すように、画像処理装置１は、メディアリーダ／ライタを備えた入力部２、画像データを記憶するハードディスクや各種の画像処理や注文処理でワーキング領域として使用する半導体メモリ（以下、単に「メモリ」と記す。）等を備えた記憶部３、画像処理を実行するプロセッサや周辺回路を備えた演算部４、操作者と画像処理装置１とのインタフェースを実現する液晶表示装置等でなる表示部５、マウスやキーボード等の入力装置６等が組み込まれている。

操作者が、デジタルカメラで撮影された複数枚のカラー写真画像に対応する各画像データが記憶されたカードメモリ等の記憶媒体を対応するメディアリーダに装着すると、メディアリーダによってカードメモリに記憶された各画像データが読み込まれて、ハードディスク等の記憶部３に記憶される。

記憶部３に記憶された各画像データは、撮影日時等、画像に関する付加情報と、サムネイル画像データを含むＥｘｉｆ規格に基づき生成された画像ファイルの形式で記憶されている。勿論各画像データはＪＰＥＧ等の圧縮アルゴリズムで圧縮された画像であるので、以下に説明する各処理は伸張された後の画像に対して行なわれる。各画像データは、複数の色成分データで各画素が表色されるように、一画素がＲ（赤），Ｇ（緑），Ｂ（青）の三種類の色成分で構成され、各色成分データが８ビットのデータサイズで構成されている。

ハードディスクには、プロセッサの実行環境を整えるＯＳプログラムや画像処理用のアプリケーションプログラム、さらには、電子アルバム作成用のテンプレートデータや後述する顔検出用の基準顔データ等が格納されている。

演算部４は、ハードディスクからメモリに読み出された画像処理用のアプリケーションプログラムを実行することにより、記憶部３に記憶されたカラーの画像データから主要被写体領域を抽出し、画像データから主要被写体領域を含む領域を切出して、新たな画像データを生成する一連の画像処理を実行する。

以下、演算部４により実行される画像処理を詳述する。
演算部４は、操作者によりフォトレタッチソフトのような画像処理用のアプリケーションプログラムの起動操作が行なわれ、アプリケーションプログラム上で操作者により画像ファイルのオープンコマンドの操作処理が行なわれると、記憶部３に記憶された画像ファイルからカラー画像データをメモリに読み出して、表示部５にその写真画像を表示する。

アプリケーションプログラムの操作画面に表示されている主要被写体検出コマンドに対応するソフトスイッチがマウスで操作されると、当該画像データに対して主要被写体領域の領域判定処理が実行される。

図２に示すように、演算部４は、先ず、複数の色成分データで各画素が表色される画像データに対して、各色成分データによる表色数を削減した表色削減画像データを生成する表色数削減ステップ（ＳＡ１）と、表色削減画像データで表色される色のうち、単一の周辺領域または複数の周辺領域毎に画素数が最大となる特定色を構成する画素を表色削減画像データから除去した特定色除去画像データを生成する特定色除去ステップ（ＳＡ２）と、特定色除去画像データの表色画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第１主要被写体領域情報生成ステップ（ＳＡ３）を実行する。

次に、当該画像データからエッジを抽出してエッジ画像データを生成するエッジ抽出ステップ（ＳＡ４）と、エッジ画像データのエッジ画素分布が密となる領域の領域情報を、画像データの主要被写体領域情報として生成する第２主要被写体領域情報生成ステップ（ＳＡ５）を実行し、さらに、第１主要被写体領域情報生成ステップ（ＳＡ３）で生成された主要被写体領域情報で画定される領域と、第２主要被写体領域情報生成ステップで抽出された主要被写体領域情報で画定される領域との重畳領域の領域情報を、画像データの最終的な主要被写体領域情報として生成する第３主要被写体領域情報生成ステップ（ＳＡ６）を実行する。

表色数削減ステップ（ＳＡ１）では、各画素を表色する各８ビット（０〜２５５）のＲ，Ｇ，Ｂ色成分データが所定の閾値１２８で二値化されることにより表色数が削減される。具体的には、１２８未満の画素値が０に、１２８以上の画素値が１に設定される。従って、各画素の表色数は８種類（Ｒ（赤），Ｇ（緑），Ｂ（青），Ｃ（シアン），Ｍ（マゼンダ），Ｙ（イェロー），Ｋ（黒），Ｗ（白））となり、これら８色で表色された表色削減画像データが生成され、メモリに記憶される。

図３（ａ）に示すように、特定色除去ステップ（ＳＡ２）では、表色削減画像データが四辺に沿う周辺領域Ａ１，Ａ２，Ａ３，Ａ４に領域分割され、領域毎に画素数が最大となる特定色Ｃ１，Ｃ２，Ｃ３，Ｃ４が抽出される。その結果、抽出される特定色は最大で４色となる。さらに、抽出された特定色Ｃ１，Ｃ２，Ｃ３，Ｃ４を構成する画素が表色削減画像データの全域から除去された特定色除去画像データが生成され、メモリに記憶される。尚、除去した画素の各画素の色成分値を例えば２５５等、０，１以外の値に変換することにより、その後の処理時に他の有効な画素と識別できる。

図３（ｂ）に示すように、第１領域情報生成ステップ（ＳＡ３）では、特定色除去画像データに対して、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向の表色画素数（有効な画素数）を度数とするヒストグラムが生成され、それぞれ所定の度数閾値ｄｘ１，ｄｙ１以上となる領域Ｒ１の領域情報が主要被写体領域情報として生成され、メモリに記憶される。

人物のみならず風景が撮影された写真画像であっても、一般的に主要被写体は画像の中央部に位置する場合が多く、また、主要被写体が含まれる領域の表色はその周辺領域とは異なる表色となる場合が多いという特性に着目して主要被写体領域を特定するものである。

度数閾値ｄｘ１，ｄｙ１として、Ｘ，Ｙ軸それぞれに、各度数の平均値となる度数が好適に採用できるが、この値に制限されるものではなく、広めに設定する場合には、平均値よりさらに低い度数を度数閾値に設定すればよく、狭めに設定する場合には、平均値よりさらに高い度数を度数閾値に設定すればよい。

エッジ抽出ステップ（ＳＡ４）では、メモリに展開された画像データに微分フィルタ等の公知のエッジ抽出フィルタ処理が実行され、画像のエッジが抽出される。例えば、抽出されたエッジ画素を１、その他の画素を０に設定する等によって、エッジ画像データが生成され、メモリに記憶される。

図４（ａ）に示すように、第２主要被写体領域情報生成ステップ（ＳＡ５）では、エッジ画像データに対して、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向のエッジ画素数を度数とするヒストグラムが生成され、それぞれ所定の度数閾値ｄｘ２，ｄｙ２以上となる領域Ｒ２の領域情報が主要被写体領域情報として生成され、メモリに記憶される。

人物のみならず風景が撮影された写真画像であっても、一般的に主要被写体領域は周辺領域に比べて濃淡の変化や色合いの変化が大きい傾向があるという特性に着目して主要被写体領域を特定するものである。

この場合も、度数閾値ｄｘ２，ｄｙ２として、Ｘ，Ｙ軸それぞれに、各度数の平均値となる度数が好適に採用できるが、この値に制限されるものではなく、広めに設定する場合には、平均値よりさらに低い度数を度数閾値に設定すればよく、狭めに設定する場合には、平均値よりさらに高い度数を度数閾値に設定すればよい。

図４（ｂ）に示すように、第３主要被写体領域情報生成ステップ（ＳＡ６）では、第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域Ｒ１と、第２主要被写体領域情報生成ステップで抽出された主要被写体領域情報で画定される領域Ｒ２との重畳領域Ｒｄ１が抽出され、当該重畳領域Ｒｄ１の領域情報が画像データの最終的な主要被写体領域情報として生成され、メモリに記憶される。

尚、演算部４で実行される主要被写体領域情報生成アルゴリズムは、上述したステップＳＡ１からステップＳＡ３のみで構成されるものであってもよいし、上述したステップＳＡ４からステップＳＡ５のみで構成されるものであってもよい。

操作者の操作により、ステップＳＡ１からステップＳＡ６の処理によって画定された当該画像データの主要被写体領域を切出して、所定サイズの新たな画像データを生成する処理、例えば、電子アルバムのテンプレートに貼り付けるような場合の処理が、表示部に表示されたソフトスイッチの操作により起動されると、演算部４は、当該主要被写体領域情報に基づいて、画像データから主要被写体領域を切り出す主要被写体切出しステップを実行し、切出した画像データをテンプレートに貼り付ける貼付処理を実行する。

主要被写体切出しステップでは、予め設定された画像データの切出し領域サイズに、主要被写体領域情報で画定される主要被写体領域が含まれ、且つ、画像データの主要被写体領域以外の上下または左右の領域幅が均等な比率となる領域が切り出される。

図５（ａ）に示すように、画像データのうち主要被写体領域Ｒｄ１の周辺領域であって、上下方向の長さがＰｙ１，Ｐｙ２である場合、短い方の長さの１／２だけ上下方向に主要被写体領域Ｒｄ１を拡大し、左右方向の長さがＰｘ１，Ｐｘ２である場合、短い方の長さの１／２だけ左右方向に主要被写体領域Ｒｄ１を拡大した領域を主要被写体領域Ｒｄ１´とする。主要被写体領域Ｒｄ１に余裕を持たせて、必要な画像領域が切断されることを防ぐためである。尚、この処理は必ずしも行なう必要は無いが、後述する人物の顔領域検出で画定された主要被写体領域に対しては、実行する方が好ましい。顔の周辺領域を取り込んで不自然な切出しを防ぐためである。

次に、図５（ｂ）を例にして、当該画像データに対応する写真画像のサイズが縦サイズ６００、横サイズ８００であり、テンプレートのフレームサイズである指定サイズが、縦サイズ４００、横サイズ６００である場合を例に領域の自動切出し方法を説明する。

写真画像の縦サイズを基準に、指定サイズと同じ縦横比となる横サイズＴｗを算出する。
６００：Ｔｗ＝４００：６００ → Ｔｗ＝９００
この場合、横サイズＴｗが写真画像の横サイズ８００より大きくなるため、指定サイズと同じ縦横比となる横サイズＴｗは存在しない。

次に、写真画像の横サイズを基準に、指定サイズと同じ縦横比となる縦サイズＴｈを算出する。
Ｔｈ：８００＝４００：６００ → Ｔｈ≒５３３
以上より、指定サイズと同じ縦横比となる切出し後の画像サイズは、縦サイズ５３３、横サイズ８００と求まる。

その結果、写真画像から切り除かれるサイズは、縦サイズ６７（＝６００−５３３）、横サイズ０（＝８００−８００）となる。

図５（ｃ）に示すように、縦サイズ６７を切り出す対象領域は、上述した主要被写体領域Ｒｄ１´の上下方向の周辺領域となる。周辺領域の上下方向の長さがＰｙ１´，Ｐｙ２´であるので、縦サイズ６７が、Ｐｙ１´：Ｐｙ２´の比率となるように、切り出し位置が求められる。切出し後の画像サイズが小さくなり過ぎると拡大処理が必要となり、画質が劣化するため、切出し後の画像サイズは指定サイズよりも大きくなるように設定される。

演算部４は、このような演算処理を実行することにより、画像データの主要被写体領域以外の上下または左右の領域幅が均等な比率となるように領域を切り出して、切り出した画像データが、テンプレートのフレームサイズに合致するように縮小処理を実行して貼り付ける。

自動切出し処理では、切り取る領域を最小限に抑える手法と、主要被写体が強調されるように切り取る手法の２種類があり、前者はフォトアルバムでテンプレートの割付け領域に合わせてトリミングしたいときに有効となり、後者はトリミングすることで良い画像を作成するときに有効となる。尚、後者は、指定サイズの中央部に被写体領域Ｒｄ１´が位置するように切出し領域が設定される。

以下、別実施形態を説明する。
上述した主要被写体領域情報の生成処理方法は、人物を撮影した写真画像であるか、風景を撮影した写真画像であるかが判明していない画像データや、風景を撮影した写真画像であると判明している画像データに対して好適な方法である。

以下では、人物を撮影した写真画像であるか、風景を撮影した写真画像であるかが判明していない画像データに対して、さらに好適な主要被写体領域情報の生成処理方法を説明する。

図６に示すように、本発明では、演算部４が、画像データから人物の顔領域を検出する顔領域検出ステップ（ＳＢ１）と、顔領域検出ステップで検出された顔領域の領域情報を画像データの主要被写体領域情報として生成する第４主要被写体領域情報生成ステップ（ＳＢ２）と、複数の色成分データで各画素が表色される画像データに対して、各色成分データによる表色数を削減した表色削減画像データを生成する表色数削減ステップ（ＳＢ３）と、表色削減画像データで表色される色のうち、単一の周辺領域または複数の周辺領域毎に画素数が最大となる特定色を構成する画素を表色削減画像データから除去した特定色除去画像データを生成する特定色除去ステップ（ＳＢ４）と、特定色除去画像データの表色画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第１主要被写体領域情報生成ステップ（ＳＢ５）を実行する。ステップＳＢ３〜ＳＢ５は、図２のステップＳＡ１〜ＳＡ３と同じである。

さらに、第１主要被写体領域情報生成ステップ（ＳＢ５）で生成された主要被写体領域情報で画定される領域と、前記第４主要被写体領域情報生成ステップ（ＳＢ２）で生成された主要被写体領域情報で画定される領域との重畳領域の領域情報を、画像データの主要被写体領域情報として生成する第５主要被写体領域情報生成ステップ（ＳＢ６）とが実行される。

第５主要被写体領域情報生成ステップ（ＳＢ６）で、第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、第４主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域との重畳領域が検出できないときには（ＳＢ７）、第４主要被写体領域情報生成ステップで生成された主要被写体領域情報を、画像データの主要被写体領域情報として生成する（ＳＢ９）。

第５主要被写体領域情報生成ステップ（ＳＢ６）で、第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、第４主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域との重畳領域が検出できたときには（ＳＢ７）、重畳領域を最終的な主要被写体領域情報として生成する（ＳＢ８）。

顔領域検出ステップ（ＳＢ１）で用いられる顔検出アルゴリズムとして公知の種々のアルゴリズムを採用することができる。例えば、一例として、予め様々な年代、性別に対応した人物の顔画像が撮影された多数のサンプル画像データに対してエッジ抽出処理を実行し、エッジ画像から顔画像の目、鼻、口、輪郭等の特徴量を抽出し、特徴点毎に平均的な位置を求めて合成した標準顔データベースを作成しておき、画像データから抽出したエッジ画像と標準顔データベースに格納された標準顔データとの一致度をパターン認識手法を用いて評価することにより、画像データに人物の顔画像が含まれているか否かを判定することができる。

このようなアルゴリズムで検出された顔領域が、第３領域情報生成ステップ（ＳＢ２）で主要被写体領域として生成される。

図７（ａ）には、ステップＳＢ２で生成された主要被写体領域Ｒ３が、顔の輪郭部を覆う矩形の枠として示されている。検出された顔領域が単一の場合には、このような矩形の枠に対して、図５（ａ）を用いて説明したのと同一の手順で、主要被写体領域Ｒ３´として枠が拡大される。

図７（ｂ）に示すように、検出された顔領域が複数存在する場合には、全ての枠が含まれる最小の枠が主要被写体領域Ｒ３とされ、主要被写体領域Ｒ３内の顔の枠のうち最も大きな枠の縦横サイズのうち長い方の枠の長さだけ、主要被写体領域Ｒ３を左右及び下方に拡大する。

さらに、主要被写体領域Ｒ３内の顔の輪郭部を覆う矩形の枠のうち、最上部にある枠の縦横サイズを基準に主要被写体領域Ｒ３を頭頂部方向に拡大する。拡大する長さは、最上部にある枠の縦横サイズのうち長い方のサイズに、当該サイズに応じて可変に設定された長さである。例えば、縦の長さＬが横の長さより長いとき、以下の式で拡大長さが求められる。
拡大長さ ＝ Ｌ×α＋β，α＜１．０，βは定数

このようにして拡大された主要被写体領域Ｒ３に対して、図５（ａ）を用いて説明したのと同一の手順で、主要被写体領域Ｒ３´として枠が拡大される。尚、図５（ａ）で説明したように、この拡大処理は選択的である。

第５主要被写体領域情報生成ステップ（ＳＢ６）の処理は、図２で説明したステップＳＡ６の処理と同様であるので、説明を省略する。

また、他の実施形態として、図２のステップＳＡ１の実行前に、上述した画像データから人物の顔領域を検出する顔領域検出ステップを実行し、顔領域検出ステップで人物の顔領域が検出されない場合に、第１主要被写体領域抽出ステップを実行し、顔領域検出ステップで人物の顔領域が検出される場合に、第４主要被写体領域情報生成ステップで生成された領域情報を主要被写体領域情報としてもよい。

以上説明した画像処理装置は、ラボショップの店頭に設置された写真プリント注文受付装置として好適に組み込むことができる。例えば、顧客が当該注文装置を介してアルバムプリントを注文するような場合、顧客の所持するメディアに記憶された写真画像データが写真プリント注文受付装置に入力され、注文画面を介して所望のアルバムプリントの注文処理が行なわれる。

図８には、アルバムプリントのテンプレートの一例が示されている。このようなテンプレートには、フレームサイズの異なる複数のフレームフォーマットが記憶部に格納されている。適切なフレームフォーマットを読み出して、顧客の操作により入力された画像データを各フレームサイズに割り付ける場合、切出し処理が必要となるが、そのような場合に、本発明による画像処理方法を用いることにより、適切に主要被写体を取り込んだ状態で自動切出しが可能になる。

また、アルバムプリントのみならず、定型サイズの写真プリントを注文する場合であっても、本発明による画像処理方法により、適切に主要被写体を取り込んだ状態で自動切出しすれば、画像データから切り取られる領域が最小限に抑制されるので、アルバムプリント等のテンプレートのフレームや所定の定型プリントサイズに合わせて切出す場合に特に好適となる。

また、本発明による画像処理装置は、本発明による画像処理方法を実行するアプリケーションソフトウェアをインストールすることにより、個人が所有するパーソナルコンピュータで実現することも可能である。

このようなアプリケーションソフトウェアは、コンピュータに、複数の色成分データで各画素が表色される画像データに対して、各色成分データによる表色数を削減した表色削減画像データを生成する表色数削減ステップと、前記表色削減画像データで表色される色のうち、単一の周辺領域または複数の周辺領域毎に画素数が最大となる特定色を構成する画素を前記表色削減画像データから除去した特定色除去画像データを生成する特定色除去ステップと、前記特定色除去画像データの表色画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第１主要被写体領域情報生成ステップと、を含むステップを実行させるプログラムである。

また、さらには、前記画像データからエッジを抽出してエッジ画像データを生成するエッジ抽出ステップと、前記エッジ画像データのエッジ画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第２主要被写体領域情報生成ステップと、前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第２主要被写体領域情報生成ステップで抽出された主要被写体領域情報で画定される領域との重畳領域の領域情報を、前記画像データの主要被写体領域情報として生成する第３主要被写体領域情報生成ステップとを実行させるプログラムであることが好ましい。

そして、前記第１主要被写体領域情報生成ステップは、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向の表色画素数を度数とするヒストグラムを生成し、それぞれ所定の度数閾値以上となる領域の領域情報を前記主要被写体領域情報として生成するプログラムであることが好ましく、前記第２主要被写体領域情報生成ステップは、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向のエッジ画素数を度数とするヒストグラムを生成し、それぞれ所定の度数閾値以上となる領域の領域情報を前記主要被写体領域情報として生成するプログラムであることが好ましい。

さらには、前記画像データから人物の顔領域を検出する顔領域検出ステップと、前記顔領域検出ステップで検出された顔領域の領域情報を前記画像データの主要被写体領域情報として生成する第４主要被写体領域情報生成ステップと、前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第４主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域との重畳領域の領域情報を主要被写体領域情報として生成する第５主要被写体領域情報生成ステップと、が前記演算部によりさらに実行されるプログラムであることがより好ましい。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。

１：画像処理装置
２：入力部
３：記憶部
４：演算部
５：表示部
６：入力装置

Claims (12)

1. 写真撮影され記憶部に記憶されたカラーの画像データから、演算部により主要被写体領域を抽出する画像処理方法であって、
   複数の色成分データで各画素が表色される画像データに対して、各色成分データによる表色数を削減した表色削減画像データを生成する表色数削減ステップと、
   前記表色削減画像データで表色される色のうち、単一の周辺領域または複数の周辺領域毎に画素数が最大となる特定色を構成する画素を前記表色削減画像データから除去した特定色除去画像データを生成する特定色除去ステップと、
   前記特定色除去画像データの表色画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第１主要被写体領域情報生成ステップと、
   を含むステップが演算部により実行される画像処理方法。
2. 前記画像データからエッジを抽出してエッジ画像データを生成するエッジ抽出ステップと、
   前記エッジ画像データのエッジ画素分布が密となる領域の領域情報を、前記画像データの主要被写体領域情報として生成する第２主要被写体領域情報生成ステップと、
   前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第２主要被写体領域情報生成ステップで抽出された主要被写体領域情報で画定される領域との重畳領域の領域情報を、前記画像データの主要被写体領域情報として生成する第３主要被写体領域情報生成ステップと、
   が前記演算部によりさらに実行される請求項１記載の画像処理方法。
3. 前記第１主要被写体領域情報生成ステップは、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向の表色画素数を度数とするヒストグラムを生成し、それぞれ所定の度数閾値以上となる領域の領域情報を前記主要被写体領域情報として生成する請求項１または２記載の画像処理方法。
4. 前記第２主要被写体領域情報生成ステップは、縦横の画素配列方向に沿うＸ，Ｙ直交座標軸のそれぞれに、各軸と直交する方向のエッジ画素数を度数とするヒストグラムを生成し、それぞれ所定の度数閾値以上となる領域の領域情報を前記主要被写体領域情報として生成する請求項２記載の画像処理方法。
5. 前記表色数削減ステップは、各画素を表色する複数の色成分データを所定の閾値で二値化することにより表色数を削減するように処理される請求項１から４の何れかに記載の画像処理方法。
6. 前記画像データから人物の顔領域を検出する顔領域検出ステップと、
   前記顔領域検出ステップで検出された顔領域の領域情報を、前記画像データの主要被写体領域情報として生成する第４主要被写体領域情報生成ステップと、
   が前記演算部によりさらに実行される請求項１記載の画像処理方法。
7. 前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第４主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域との重畳領域の領域情報を、前記画像データの主要被写体領域情報として生成する第５主要被写体領域情報生成ステップと、
   が前記演算部によりさらに実行される請求項６記載の画像処理方法。
8. 前記第５主要被写体領域情報生成ステップは、前記第１主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域と、前記第４主要被写体領域情報生成ステップで生成された主要被写体領域情報で画定される領域との重畳領域が検出できないときに、前記第４主要被写体領域情報生成ステップで生成された主要被写体領域情報を、前記画像データの主要被写体領域情報として生成する請求項７記載の画像処理方法。
9. 前記第１主要被写体領域抽出ステップの前に、前記画像データから人物の顔領域を検出する顔領域検出ステップが実行され、
   前記顔領域検出ステップで人物の顔領域が検出されない場合に、前記第１主要被写体領域抽出ステップが実行される請求項１記載の画像処理方法。
10. 請求項１から９の何れかに記載の画像処理方法により抽出された前記画像データの主要被写体領域情報に基づいて、前記画像データから主要被写体領域を切り出す主要被写体切出しステップが、前記演算部によりさらに実行される画像処理方法。
11. 前記主要被写体切出しステップは、予め設定された画像データの切出し領域サイズに、前記主要被写体領域情報で画定される主要被写体領域が含まれ、且つ、前記画像データの主要被写体領域以外の上下または左右の領域幅が均等な比率となる領域を切出す請求項１０記載の画像処理方法。
12. 写真画像に対する画像データを処理する画像処理装置であって、
    写真画像に対応するカラーの画像データを入力する入力部と、前記入力部に入力された画像データを記憶する記憶部と、前記画像データから主要被写体領域の領域情報を生成する演算部を備え、
    前記演算部が、請求項１から１１の何れかに記載の画像処理方法を実行するように構成されている画像処理装置。

Images