JP2008053813A - 画像処理装置、および画像処理方法、並びに画像処理プログラム - Google Patents

Abstract

【課題】サムネイル画像の一覧から処理の対象となる画像を選択する際のユーザーの利便性を向上させる。
【解決手段】画像生成回路３１は、顔抽出回路３０で顔が抽出された画像から、顔抽出回路３０で抽出された顔とその周囲を囲む矩形領域４０を切り出した切り出し画像を生成する。サイズ算出回路３２は、元のサムネイル画像における矩形領域４０のサイズＰｈ’、Ｐｖ’を算出し、比較回路３３は、サイズ算出回路３２の算出結果と、予め設定された閾値とを比較する。画像生成回路３１は、算出結果が閾値よりも小さい場合にのみ、切り出し画像を生成する。顔抽出回路３０で顔が抽出されなかった画像と、顔は抽出されたが、サイズ算出回路３２の算出結果が閾値よりも大きい画像とは元のサムネイル画像が、顔が抽出され、且つサイズ算出回路３２の算出結果が閾値よりも小さい画像は切り出し画像がそれぞれ用いられ、一覧表示される。
【選択図】図３

Description

本発明は、サムネイル画像の一覧から処理の対象となる画像を選択させ、選択された画像に対して処理を実行する画像処理装置、および画像処理方法、並びに画像処理プログラムに関する。

現在、デジタルカメラやカメラ付き携帯電話などの普及に伴い、これらで撮影した画像のデータをパーソナルコンピュータに取り込んで、プリントや電子メールへの添付、編集などの各種処理を行うことが一般化している。パーソナルコンピュータに取り込まれた画像データは、撮影日時や撮影場所毎に一つのフォルダに纏めて格納されている。

パーソナルコンピュータのモニタ上で画像が格納されているフォルダにマウスのカーソルを合わせて選択すると、画像を縮小したサムネイル画像の一覧が表示される。この一覧から各種処理の対象となる画像のサムネイル画像を選択すると、パーソナルコンピュータにインストールされたビューアーソフトが起動され、選択された画像が規定サイズのウィンドウ一杯に表示される。ユーザーは、このウィンドウ上で各種処理に関わる操作を実行し、各種処理を進めていく。

従来、この種の画像処理方法としては、赤目補正やトリミングなどの処理を効率的に行うことができるように、画像内の主要被写体（人物の顔）を抽出し、サムネイル画像が選択された際に、主要被写体の領域を中心にして画像を拡大して表示するもの（特許文献１参照）や、画像内の人物の顔を抽出し、平均的な携帯電話の表示画面の大きさに元の画像、および抽出した人物の顔の画像を縮小して配信用の画像を生成するもの（特許文献２参照）がある。また、画像内の人物の顔を抽出し、抽出した顔の画像を一覧表示するもの（特許文献３参照）がある。

ところで、各種処理の対象となる画像をサムネイル画像の一覧から選択する際には、画像内の特定の被写体、例えば、人物の顔の写り具合を主な判断の基準としている。ここで、画像全体を顔が占めている場合は、サムネイル画像であっても顔の写り具合を容易に確認することができるが、建物や風景をメインにして写した場合や、集合写真など複数の顔が写っている場合には、サムネイル画像だけでは顔の写り具合の確認が難しい。

上記の問題を解決する方法としては、サムネイル画像のサイズを大きくして見易くする、あるいは、確認が難しい画像のみをユーザー自らがマウスで選択して拡大表示し、写り具合を確認することが考えられる。しかしながら、前者の方法では、ウィンドウ内で一度に表示することができる画像の数が減ってしまい、全体の画像を確認するためにウィンドウをスクロールする量が多くなり、時間が掛かってしまう。また、後者の方法では、マウスで選択するという操作を行わなければならず、煩わしい。

そこで、一覧表示したサムネイル画像の上にマウスのカーソルを合わせて右クリックしている間だけ、他のサムネイル画像を覆い隠さない程度に拡大して表示するようにした選択画像拡大方法が提案されている（特許文献４参照）。
特開２００３−２０９６８３号公報 特開２００４−１２０４０４号公報 特開２００５−２８４５６２号公報 特開２００４−０４６８８２号公報

しかしながら、特許文献４に記載の発明では、サムネイル画像の上にマウスのカーソルを合わせて右クリックするという操作を伴うため、やはり煩わしいという問題があった。また、画像の拡大サイズが制限されているので、顔が小さく写っている場合には写り具合を確認することができなくなるおそれがあった。

また、特許文献１、２に記載の発明は、複数の画像を順次選択して個別に写り具合を確認する場合には有効であるが、一覧表示された画像の中から各種処理の対象となる画像を選択する場合には対応していない。

さらに、特許文献３に記載の発明では、人物の顔を抽出する際にマウスによるドラッグ操作を行って画像を選択しなければならず、また、人物の顔の画像を一覧表示する際にもマウスをクリックする操作を伴うため、やはり煩わしいという問題があった。

本発明は、上記課題を鑑みてなされたものであり、ユーザーの利便性を向上させることができる画像処理装置、および画像処理方法、並びに画像処理プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、サムネイル画像をファイル名と対応させてモニタに一覧表示し、一覧から処理の対象となる画像を選択させ、選択された画像に対して処理を実行する画像処理装置において、画像内の特定のパターンを有する特定被写体を抽出する抽出手段と、前記特定被写体が抽出された画像から、前記特定被写体を含む領域を切り出した切り出し画像を生成する画像生成手段と、前記特定被写体が抽出されなかった画像は元のサムネイル画像を、前記特定被写体が抽出された画像は前記切り出し画像をそれぞれ用いて、前記一覧表示を行わせる表示制御手段とを備えることを特徴とする。

前記表示制御手段は、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記切り出し画像が生成された画像の前記一覧表示を行わせることが好ましい。

前記特定被写体が複数抽出された場合、前記表示制御手段は、複数の特定被写体毎に生成された前記切り出し画像を順次切り替えて、前記特定被写体が複数抽出された画像の前記一覧表示を行わせることが好ましい。

前記特定被写体が複数抽出された場合、前記画像生成手段は、前記サムネイル画像の表示領域を分割した複数の枠を有するテンプレートを用い、前記枠のサイズに合わせて複数の特定被写体毎に前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで分割画像を生成し、前記表示制御手段は、前記特定被写体が複数抽出された画像の前記一覧表示を、前記分割画像を用いて行わせることが好ましい。

この場合、前記表示制御手段は、前記分割画像と元のサムネイル画像とを順次切り替えて、前記分割画像が生成された画像の前記一覧表示を行わせることが好ましい。また、前記切り出し画像の表示領域が予め設定されたサイズを下回らないように、前記枠のレイアウトが設定されていることが好ましい。

前記画像生成手段は、前記サムネイル画像の表示領域内に枠を有するテンプレートを用い、前記枠のサイズに合わせて前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで入れ子画像を生成し、前記表示制御手段は、前記特定被写体が抽出された画像の前記一覧表示を、前記入れ子画像を用いて行わせることが好ましい。

この場合、前記表示制御手段は、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記枠の表示を行わせることが好ましい。

前記特定被写体を含む領域のサイズを算出する算出手段と、前記算出手段の算出結果を予め設定された閾値と比較する比較手段とを備え、前記画像生成手段は、前記算出結果が前記閾値よりも小さい場合にのみ、前記切り出し画像を生成し、前記表示制御手段は、前記元のサムネイル画像を用いて、前記切り出し画像が生成されなかった画像の前記一覧表示を行わせることが好ましい。この場合、前記閾値は、前記サムネイル画像のサイズに応じて変化することが好ましい。

前記表示制御手段による前記一覧表示の表示形態を選択させる操作入力手段を備えることが好ましい。また、前記特定被写体は、人物の顔であることが好ましい。

請求項１３に記載の発明は、サムネイル画像をファイル名と対応させてモニタに一覧表示し、一覧から処理の対象となる画像を選択させ、選択された画像に対して処理を実行する画像処理方法において、画像内の特定のパターンを有する特定被写体を抽出する抽出ステップと、前記特定被写体が抽出された画像から、前記特定被写体を含む領域を切り出した切り出し画像を生成する画像生成ステップと、前記特定被写体が抽出されなかった画像は元のサムネイル画像を、前記特定被写体が抽出された画像は前記切り出し画像をそれぞれ用いて、前記一覧表示を行う表示ステップとを備えることを特徴とする。

前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記切り出し画像が生成された画像の前記一覧表示を行うことが好ましい。

前記特定被写体が複数抽出された場合、前記表示ステップでは、複数の特定被写体毎に生成された前記切り出し画像を順次切り替えて、前記特定被写体が複数抽出された画像の前記一覧表示を行うことが好ましい。

前記特定被写体が複数抽出された場合、前記画像生成ステップでは、前記サムネイル画像の表示領域を分割した複数の枠を有するテンプレートを用い、前記枠のサイズに合わせて複数の特定被写体毎に前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで分割画像を生成し、前記表示ステップでは、前記特定被写体が複数抽出された画像の前記一覧表示を、前記分割画像を用いて行うことが好ましい。

この場合、前記表示ステップでは、前記分割画像と元のサムネイル画像とを順次切り替えて、前記分割画像が生成された画像の前記一覧表示を行うことが好ましい。また、前記切り出し画像の表示領域が予め設定されたサイズを下回らないように、前記枠のレイアウトが設定されていることが好ましい。

前記画像生成ステップでは、前記サムネイル画像の表示領域内に枠を有するテンプレートを用い、前記枠のサイズに合わせて前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで入れ子画像を生成し、前記表示ステップでは、前記特定被写体が抽出された画像の前記一覧表示を、前記入れ子画像を用いて行うことが好ましい。

この場合、前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記枠の表示を行うことが好ましい。

前記特定被写体を含む領域のサイズを算出する算出ステップと、前記算出手段の算出結果を予め設定された閾値と比較する比較ステップとを備え、前記画像生成ステップでは、前記算出結果が前記閾値よりも小さい場合にのみ、前記切り出し画像を生成し、前記表示ステップでは、前記元のサムネイル画像を用いて、前記切り出し画像が生成されなかった画像の前記一覧表示を行うことが好ましい。この場合、前記閾値は、前記サムネイル画像のサイズに応じて変化することが好ましい。

前記表示ステップにおける前記一覧表示の表示形態を選択させる操作入力ステップを備えることが好ましい。また、前記特定被写体は、人物の顔であることが好ましい。

請求項２５に記載の発明は、サムネイル画像をファイル名と対応させてモニタに一覧表示し、一覧から処理の対象となる画像を選択させ、選択された画像に対して処理を実行するように、コンピュータを機能させる画像処理プログラムにおいて、画像内の特定のパターンを有する特定被写体を抽出する抽出ステップと、前記特定被写体が抽出された画像から、前記特定被写体を含む領域を切り出した切り出し画像を生成する画像生成ステップと、前記特定被写体が抽出されなかった画像は元のサムネイル画像を、前記特定被写体が抽出された画像は前記切り出し画像をそれぞれ用いて、前記一覧表示を行う表示ステップとを、前記コンピュータに行わせることを特徴とする。

前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記切り出し画像が生成された画像の前記一覧表示を行うように、前記コンピュータを機能させることが好ましい。

前記特定被写体が複数抽出された場合、前記表示ステップでは、複数の特定被写体毎に生成された前記切り出し画像を順次切り替えて、前記特定被写体が複数抽出された画像の前記一覧表示を行うように、前記コンピュータを機能させることが好ましい。

前記特定被写体が複数抽出された場合、前記画像生成ステップでは、前記サムネイル画像の表示領域を分割した複数の枠を有するテンプレートを用い、前記枠のサイズに合わせて複数の特定被写体毎に前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで分割画像を生成し、前記表示ステップでは、前記特定被写体が複数抽出された画像の前記一覧表示を、前記分割画像を用いて行うように、前記コンピュータを機能させることが好ましい。

この場合、前記表示ステップでは、前記分割画像と元のサムネイル画像とを順次切り替えて、前記分割画像が生成された画像の前記一覧表示を行うように、前記コンピュータを機能させることが好ましい。また、前記切り出し画像の表示領域が予め設定されたサイズを下回らないように、前記枠のレイアウトが設定されていることが好ましい。

前記画像生成ステップでは、前記サムネイル画像の表示領域内に枠を有するテンプレートを用い、前記枠のサイズに合わせて前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで入れ子画像を生成し、前記表示ステップでは、前記特定被写体が抽出された画像の前記一覧表示を、前記入れ子画像を用いて行うように、前記コンピュータを機能させることが好ましい。

この場合、前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記枠の表示を行うように、前記コンピュータを機能させることが好ましい。

前記特定被写体を含む領域のサイズを算出する算出ステップと、前記算出手段の算出結果を予め設定された閾値と比較する比較ステップとを、前記コンピュータに行わせ、前記画像生成ステップでは、前記算出結果が前記閾値よりも小さい場合にのみ、前記切り出し画像を生成し、前記表示ステップでは、前記元のサムネイル画像を用いて、前記切り出し画像が生成されなかった画像の前記一覧表示を行うように、前記コンピュータを機能させることが好ましい。この場合、前記閾値は、前記サムネイル画像のサイズに応じて変化することが好ましい。

前記表示ステップにおける前記一覧表示の表示形態を選択させる操作入力ステップを、前記コンピュータに行わせることが好ましい。また、前記特定被写体は、人物の顔であることが好ましい。

本発明の画像処理装置、および画像処理方法、並びに画像処理プログラムによれば、画像内の特定のパターンを有する特定被写体を抽出して、特定被写体が抽出された画像から、特定被写体を含む領域を切り出した切り出し画像を生成し、特定被写体が抽出されなかった画像は元のサムネイル画像を、特定被写体が抽出された画像は切り出し画像をそれぞれ用いて、一覧表示を行うので、一覧表示を閲覧するだけで、特定被写体の写り具合を確認することができる。したがって、ユーザーの利便性を向上させることができる。

図１において、本発明の一実施形態としてのハードウェア構成は、パーソナルコンピュータ（以下、ＰＣと略す。）２と、ＰＣ２にＵＳＢ接続されたデジタルカメラ１０とからなる。ＰＣ２には、デジタルカメラ１０で撮影された画像のデータがダウンロードされる。なお、画像データには、周知のように、撮影日時や撮影条件などの各種情報や、元の画像を縮小した一覧表示用のサムネイル画像（以下、元のサムネイル画像と表現する場合がある。）のデータが関連付けて記録されている。

ＰＣ２は、モニタ１１と、キーボードおよびマウスからなる操作入力部１２とを備えている。図２において、ＣＰＵ２０は、ＰＣ２の全体の動作を統括的に制御する。ＣＰＵ２０には、バス２１を介して、前述の操作入力部１２とともに、通信Ｉ／Ｆ２２、メモリ２３、ＨＤＤ２４、およびモニタ１１の表示を制御する表示制御部２５が接続されている。

通信Ｉ／Ｆ２２は、デジタルカメラ１０などの外部機器や、インターネットなどの通信ネットワークとのデータの遣り取りを媒介する。ＨＤＤ２４には、画像処理プログラム２６や、デジタルカメラ１０で撮影された画像を閲覧・編集するためのビューアーソフトのプログラムなどを含む種々のプログラム、デジタルカメラ１０からダウンロードされた画像データなどが記録されている。

ＣＰＵ２０は、ＨＤＤ２４からプログラムを読み出してメモリ２３に展開し、読み出したプログラムを逐次処理する。また、ＣＰＵ２０は、操作入力部１２から入力される操作入力信号に応じて、ＰＣ２の各部を動作させる。

モニタ１１上で画像データが格納された所望のフォルダを選択して開くと、画像処理プログラム２６が起動する。画像処理プログラム２６が起動すると、図３に示すように、顔抽出回路３０、画像生成回路３１、サイズ算出回路３２、および比較回路３３がＣＰＵ２０に構築される。

顔抽出回路３０は、選択されたフォルダ内の画像データをＨＤＤ２４から読み出し、これを解析して、画像内の人物の顔を抽出する。顔の抽出は、例えば、画像データの各画素から肌色の候補となる画素を抽出し、抽出した画素の集合から画像内の肌色部分を求める。そして、求めた肌色部分と予め用意された顔型のテンプレートとを周知のパターン認識技術を用いて照合し、この照合結果を元に肌色部分が顔であるか否かを判定する。あるいは、肌色部分の面積が予め設定された閾値以上であった場合に、その肌色部分を顔として抽出する。若しくは、周知のパターン認識技術を用いて、目や口などの顔の特定部分を抽出することで行う。

画像生成回路３１は、顔抽出回路３０で顔が抽出された画像から、新たなサムネイル画像を生成する。具体的には、図４に示すように、顔抽出回路３０で抽出された顔とその周囲を囲む矩形状の領域（以下、矩形領域という。）４０のサイズを横幅Ｐｈ、縦幅Ｐｖとし、サムネイル画像のサイズを横幅Ｑｈ、縦幅Ｑｖとして、Ｑｈ／Ｐｈ、Ｑｖ／Ｐｖのうち、値が小さい方の倍率で元の画像を縮小する。そして、縮小した画像から矩形領域４０を切り出し、切り出した画像を新たなサムネイル画像（以下、切り出し画像という。）とする。

サイズ算出回路３２は、元のサムネイル画像における矩形領域４０のサイズＰｈ’、Ｐｖ’（図４参照）を算出し、算出結果を比較回路３３に出力する。サイズＰｈ’、Ｐｖ’は、元の画像のサイズをＲｈ、Ｒｖ（図４参照）とすると、
Ｐｈ’＝Ｐｈ×（Ｑｈ／Ｒｈ）、Ｐｖ’＝Ｐｖ×（Ｑｖ／Ｒｖ） （但し、元の画像とサムネイル画像のアスペクト比は同一であるとする。）を計算することにより求まる。

比較回路３３は、サイズ算出回路３２の算出結果（サイズＰｈ’、Ｐｖ’）と、予め設定された閾値、例えば、サムネイル画像の３０％のサイズＱｈ×０．３、Ｑｖ×０．３とを比較する。比較回路３３は、Ｐｈ’、Ｐｖ’のうちの一方でもＱｈ×０．３、Ｑｖ×０．３よりも小さければ、算出結果が閾値よりも小さいと判断し、両方とも大きければ閾値よりも大きいと判断する。比較回路３３は、この比較結果を画像生成回路３１に出力する。ここで、サムネイル画像のサイズは、操作入力部１２の操作により設定変更することが可能となっており、上記閾値は、このサムネイル画像のサイズに応じて変化する。

画像生成回路３１は、比較回路３３からの比較結果を受けて、算出結果が閾値よりも小さい場合にのみ切り出し画像を生成し、算出結果が閾値よりも大きい場合は、切り出し画像を生成しない。つまり、サムネイル画像を一覧表示したときに、矩形領域４０が顔の写り具合を確認することができない程度の小さいサイズであった場合は、サムネイル画像で表示したときも顔の写り具合を確認することができるように、矩形領域４０を切り出した切り出し画像を生成する。逆に、矩形領域４０が顔の写り具合を確認することができる程度に大きいサイズであった場合は、元のサムネイル画像をそのまま表示しても充分に顔の写り具合を確認することができるので、無駄に切り出し画像を生成しない。

モニタ１１上で画像データが格納された所望のフォルダを選択して開くと、表示制御部２５の制御の下に、モニタ１１には、図５に示すウィンドウ５０が表示される。ウィンドウ５０には、フォルダ内の画像のサムネイル画像が一覧表示される。サムネイル画像の下方には、対応するファイル名（ＤＳＣＸＸＸＸ．ＪＰＧ）が表示されている。サムネイル画像は、ファイル名が若いものから順に、左から右に四列ずつ下方に向けて並べられており、スクロールバー５１を上下に動かすことで、下方に並べられたサムネイル画像も閲覧することができるようになっている。

図６は、図５のウィンドウ５０の場合と同じサムネイル画像が一覧表示された従来のウィンドウ５２を示している。このウィンドウ５２と図５に示すウィンドウ５０とを比較しても分かるように、顔抽出回路３０で顔が抽出されなかった画像（点線の枠で囲まれた画像。ファイル名ＤＳＣ０００９．ＪＰＧ、ＤＳＣ００１１．ＪＰＧ、ＤＳＣ００１６．ＪＰＧ）と、顔は抽出されたが、サイズ算出回路３２の算出結果が閾値よりも大きい画像（一点鎖線の枠で囲まれた画像。ファイル名ＤＳＣ０００４．ＪＰＧ〜ＤＳＣ０００６．ＪＰＧ、ＤＳＣ０００８．ＪＰＧ）については、元のサムネイル画像が用いられている。

一方、顔が抽出され、且つサイズ算出回路３２の算出結果が閾値よりも小さい画像（実線の枠で囲まれた画像。ファイル名ＤＳＣ０００１．ＪＰＧ〜ＤＳＣ０００３．ＪＰＧ、ＤＳＣ０００７．ＪＰＧ、ＤＳＣ００１０．ＪＰＧ、ＤＳＣ００１２．ＪＰＧ〜ＤＳＣ００１５．ＪＰＧ）については、画像生成回路３１で生成された切り出し画像が用いられている。なお、顔が複数抽出された画像（ファイル名ＤＳＣ０００７．ＪＰＧ、ＤＳＣ００１０．ＪＰＧ、ＤＳＣ００１２．ＪＰＧ）については、例えば、より画像の中心に位置する矩形領域４０の切り出し画像、あるいは、より面積が大きい矩形領域４０の切り出し画像が用いられる。

次に、上記構成による画像処理手順について、図７のフローチャートを参照して説明する。まず、モニタ１１上で画像データが格納された所望のフォルダが開かれると、画像処理プログラム２６が起動され、ＣＰＵ２０に顔抽出回路３０、画像生成回路３１、サイズ算出回路３２、および比較回路３３が構築される。そして、選択されたフォルダ内の画像データがＨＤＤ２４から顔抽出回路３０に読み出され、顔抽出回路３０で画像内の人物の顔が抽出される。

顔抽出回路３０で顔が抽出された場合は、サイズ算出回路３２で元のサムネイル画像における矩形領域４０のサイズＰｈ’×Ｐｖ’が算出され、この算出結果が比較回路３３に出力される。比較回路３３では、サイズ算出回路３２の算出結果と、予め設定された閾値とが比較され、この比較結果が画像生成回路３１に出力される。

算出結果が閾値よりも小さい場合は、画像生成回路３１で矩形領域４０のサイズに基づいて元の画像が縮小され、縮小された画像から矩形領域４０が切り出されて、これにより新たなサムネイル画像として切り出し画像が生成される。一方、顔が抽出されなかった場合、および算出結果が閾値よりも大きい場合は、切り出し画像は生成されない。

上記一連の処理が、選択されたフォルダ内の全ての画像データに対して実行された後、顔抽出回路３０で顔が抽出されなかった画像と、顔は抽出されたが、サイズ算出回路３２の算出結果が閾値よりも大きい画像とは元のサムネイル画像が、顔が抽出され、且つサイズ算出回路３２の算出結果が閾値よりも小さい画像は切り出し画像がそれぞれ用いられ、表示制御部２５によってモニタ１１に一覧表示される。なお、サムネイル画像が関連付けて記録されていない画像については、画像生成回路３１で元の画像を縮小してサムネイル画像を生成し、これを一覧表示に供する。

ユーザーは、ウィンドウ５０に一覧表示されたサムネイル画像を閲覧して顔の写り具合を確認しながら、一覧の中から各種処理を実行すべき画像のサムネイル画像を選択し、選択したサムネイル画像にマウスのカーソル５３（図５、図６参照）を合わせてダブルクリックする。これによりビューアーソフトが起動して、選択されたサムネイル画像に対応する画像がビューアーソフトの作業ウィンドウ一杯に表示される。ユーザーは、この作業ウィンドウ上でプリントや電子メールへの添付、編集などの各種処理に関わる操作を行い、各種処理をＣＰＵ２０に実行させる。

以上説明したように、顔抽出回路３０で画像内の人物の顔を抽出し、画像生成回路３１で矩形領域４０を切り出した切り出し画像を生成して、この切り出し画像を用いてモニタ１１に一覧表示させるので、ユーザーは煩雑な操作を行うことなく、サムネイル画像の一覧を閲覧するだけで顔の写り具合を確認することができ、各種処理を実行すべき画像の選択を滞りなく行うことができる。

また、サイズ算出回路３２で矩形領域４０のサイズを算出し、算出結果が閾値よりも大きい場合には、画像生成回路３１で切り出し画像を生成しないようにしたので、無駄な処理を省くことができる。

なお、切り出し画像が生成された画像については、一覧表示の際に、切り出し画像と元のサムネイル画像とを一定時間で順次切り替えて表示してもよい。このようにすれば、画像全体の構図と顔の写り具合とを同時に確認することができる。

また、上記実施形態では、顔が複数抽出された画像については、より画像の中心に位置する矩形領域４０の切り出し画像、あるいは、より面積が大きい矩形領域４０の切り出し画像を用いて一覧表示しているが、複数の顔の写り具合を確認するために、複数の顔毎に生成された切り出し画像を一定時間で順次切り替えて表示してもよい。あるいは、図８に示す二つのテンプレート６０、６１（以下、ＴＰ−Ａ、ＴＰ−Ｂと表記する。）を用いて、複数の顔の写り具合を確認することができるようにしてもよい。

図８において、ＴＰ−Ａは、サムネイル画像の表示領域を縦方向に沿って二等分した、二個の枠６２を有している。また、ＴＰ−Ｂは、サムネイル画像の表示領域を縦横方向に二等分、都合四等分した、四個の枠６３を有している。

顔抽出回路３０で同一の画像内に顔が二つ抽出された場合、画像生成回路３１は、図９のフローチャートおよび図１０に示すように、ＴＰ−Ａの枠６２のサイズに合わせて、二つの顔毎に二つの切り出し画像を生成する。具体的には、二つの顔の矩形領域４０それぞれについて、上記実施形態と同様に以下の処理を行う。すなわち、（Ｑｈ／２）／Ｐｈ、Ｑｖ／Ｐｖのうち、値が小さい方の倍率で元の画像を縮小して、縮小した画像から矩形領域４０を切り出し、切り出し画像を生成する。そして、元の画像の顔の配置に準じて、切り出し画像を左から順に枠６２に嵌め込み、二つの顔が並んだ分割画像を生成する。

また、顔抽出回路３０で同一の画像内に顔が三つ抽出された場合は、図１１に示すように、ＴＰ−Ｂの枠６３のサイズに合わせて、三つの顔毎に三つの切り出し画像を生成する。すなわち、この場合も上記同様に、三つの顔の矩形領域４０それぞれについて、（Ｑｈ／２）／Ｐｈ、（Ｑｖ／２）／Ｐｖのうち、値が小さい方の倍率で元の画像を縮小して、縮小した画像から矩形領域４０を切り出し、切り出し画像を生成する。そして、元の画像の顔の配置に準じて、切り出し画像を左上から順に横方向に向けて枠６３に嵌め込み、右下の枠６３をグレー画像として、三つの顔が並んだ分割画像を生成する。顔が四つ抽出された場合は、グレー画像とした右下の枠６３に四つ目の顔の切り出し画像を嵌め込む。顔が一つだけ、または五つ以上抽出された場合は、上記実施形態と同様に処理する。

上記一連の処理が、選択されたフォルダ内の全ての画像データに対して実行された後、顔抽出回路３０で顔が抽出されなかった画像と、顔は抽出されたが、サイズ算出回路３２の算出結果が閾値よりも大きい画像とは元のサムネイル画像が、顔が抽出され、且つサイズ算出回路３２の算出結果が閾値よりも小さく、顔が一つだけ、または五つ以上抽出された画像は切り出し画像が、顔が二つ抽出された画像はＴＰ−Ａによる分割画像が、顔が三つ、または四つ抽出された画像はＴＰ−Ｂによる分割画像がそれぞれ用いられ、表示制御部２５によってモニタ１１に一覧表示される。これにより、サムネイル画像の一覧を閲覧するだけで、複数の顔の写り具合を一度に確認することができる。

なお、テンプレートとしては、上記のＴＰ−Ａ、ＴＰ−Ｂに限らず、サムネイル画像の表示領域を三等分したものや、ＴＰ−Ｂの右上と右下を合わせて三分割したもの、あるいは四等分以上したものなどを用いてもよい。但し、切り出し画像の表示領域が、顔の写り具合を確認するために最低限必要な予め設定されたサイズを下回らないように、枠のレイアウトを設定することが好ましい。

また、分割画像が生成された画像については、一覧表示の際に、分割画像と元のサムネイル画像とを一定時間で順次切り替えて表示してもよい。このようにすれば、画像全体の構図と複数の顔の写り具合とを同時に確認することができる。

また、図１２に示すテンプレート７０（以下、ＴＰ−Ｃと表記する。）を用いてもよい。ＴＰ−Ｃは、サムネイル画像の表示領域の左下に、表示領域の１／４の面積をもつ枠７１を有している。

顔抽出回路３０で顔が抽出され、且つサイズ算出回路３２の算出結果が閾値よりも小さい場合、画像生成回路３１は、図１３のフローチャートおよび図１４に示すように、ＴＰ−Ｃの枠７１のサイズに合わせて、切り出し画像を生成する。具体的には、（Ｑｈ／２）／Ｐｈ、（Ｑｖ／２）／Ｐｖのうち、値が小さい方の倍率で元の画像を縮小して、縮小した画像から矩形領域４０を切り出し、切り出し画像を生成する。そして、生成した切り出し画像を枠７１に嵌め込み、入れ子画像を生成する。

上記一連の処理が、選択されたフォルダ内の全ての画像データに対して実行された後、顔抽出回路３０で顔が抽出されなかった画像と、顔は抽出されたが、サイズ算出回路３２の算出結果が閾値よりも大きい画像とは元のサムネイル画像が、顔が抽出され、且つサイズ算出回路３２の算出結果が閾値よりも小さい画像は入れ子画像がそれぞれ用いられ、表示制御部２５によってモニタ１１に一覧表示される。これにより、画像全体の構図と顔の写り具合とを同時に確認することができる。なお、枠７１のサイズおよび配置は、上記実施形態に特に限定されるものではない。

上記では、切り出し画像、分割画像、および入れ子画像に関わる実施形態をそれぞれ個別に説明しているが、これらの表示形態を組み合わせて用いてもよい。この場合、ユーザーの好みや用途に応じて、一覧表示の表示形態を操作入力部１２の操作により選択することができるように構成することが好ましい。

上記実施形態では、画像処理プログラム２６とビューアーソフトのプログラムとを別のものとして説明しているが、画像処理プログラム２６の機能をビューアーソフトのプログラムに組み込んでもよい。

上記実施形態では、画像処理プログラム２６を起動することで、ＣＰＵ２０に各回路３０〜３３が構築される例を挙げて説明したが、本発明はこれに限定されず、各回路３０〜３３をディスクリート回路やＦＰＧＡなどのハードウェアの形でＰＣ２に搭載してもよい。

本発明の一実施形態としてのハードウェア構成を示す概略図である。 パーソナルコンピュータの構成を示すブロック図である。 ＣＰＵに構築される各回路の構成を示すブロック図である。 元の画像、サムネイル画像、および切り出し画像のサイズの関係を示す説明図である。 サムネイル画像がウィンドウに一覧表示された状態を示す説明図である。 サムネイル画像がウィンドウに一覧表示された従来の状態を示す説明図である。 画像処理の手順を示すフローチャートである。 テンプレートの構成を示す説明図である。 別の実施形態における画像処理の手順を示すフローチャートである。 顔が二つ抽出された場合の分割画像を示す説明図である。 顔が三つ抽出された場合の分割画像を示す説明図である。 テンプレートの構成を示す説明図である。 さらに別の実施形態における画像処理の手順を示すフローチャートである。 入れ子画像を示す説明図である。

符号の説明

２ パーソナルコンピュータ（ＰＣ）
１１ モニタ
１２ 操作入力部
２０ ＣＰＵ
２５ 表示制御部
２６ 画像処理プログラム
３０ 顔抽出回路
３１ 画像生成回路
３２ サイズ算出回路
３３ 比較回路
４０ 矩形領域
６０ テンプレート（ＴＰ−Ａ）
６１ テンプレート（ＴＰ−Ｂ）
６２、６３ 枠
７０ テンプレート（ＴＰ−Ｃ）
７１ 枠

Claims (36)

1. サムネイル画像をファイル名と対応させてモニタに一覧表示し、一覧から処理の対象となる画像を選択させ、選択された画像に対して処理を実行する画像処理装置において、
   画像内の特定のパターンを有する特定被写体を抽出する抽出手段と、
   前記特定被写体が抽出された画像から、前記特定被写体を含む領域を切り出した切り出し画像を生成する画像生成手段と、
   前記特定被写体が抽出されなかった画像は元のサムネイル画像を、前記特定被写体が抽出された画像は前記切り出し画像をそれぞれ用いて、前記一覧表示を行わせる表示制御手段とを備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記切り出し画像が生成された画像の前記一覧表示を行わせることを特徴とする請求項１に記載の画像処理装置。
3. 前記特定被写体が複数抽出された場合、前記表示制御手段は、複数の特定被写体毎に生成された前記切り出し画像を順次切り替えて、前記特定被写体が複数抽出された画像の前記一覧表示を行わせることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特定被写体が複数抽出された場合、前記画像生成手段は、前記サムネイル画像の表示領域を分割した複数の枠を有するテンプレートを用い、前記枠のサイズに合わせて複数の特定被写体毎に前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで分割画像を生成し、
   前記表示制御手段は、前記特定被写体が複数抽出された画像の前記一覧表示を、前記分割画像を用いて行わせることを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記表示制御手段は、前記分割画像と元のサムネイル画像とを順次切り替えて、前記分割画像が生成された画像の前記一覧表示を行わせることを特徴とする請求項４に記載の画像処理装置。
6. 前記切り出し画像の表示領域が予め設定されたサイズを下回らないように、前記枠のレイアウトが設定されていることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記画像生成手段は、前記サムネイル画像の表示領域内に枠を有するテンプレートを用い、前記枠のサイズに合わせて前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで入れ子画像を生成し、
   前記表示制御手段は、前記特定被写体が抽出された画像の前記一覧表示を、前記入れ子画像を用いて行わせることを特徴とする請求項１ないし６のいずれかに記載の画像処理装置。
8. 前記表示制御手段は、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記枠の表示を行わせることを特徴とする請求項７に記載の画像処理装置。
9. 前記特定被写体を含む領域のサイズを算出する算出手段と、
   前記算出手段の算出結果を予め設定された閾値と比較する比較手段とを備え、
   前記画像生成手段は、前記算出結果が前記閾値よりも小さい場合にのみ、前記切り出し画像を生成し、
   前記表示制御手段は、前記元のサムネイル画像を用いて、前記切り出し画像が生成されなかった画像の前記一覧表示を行わせることを特徴とする請求項１ないし８のいずれかに記載の画像処理装置。
10. 前記閾値は、前記サムネイル画像のサイズに応じて変化することを特徴とする請求項９に記載の画像処理装置。
11. 前記表示制御手段による前記一覧表示の表示形態を選択させる操作入力手段を備えることを特徴とする請求項１ないし１０のいずれかに記載の画像処理装置。
12. 前記特定被写体は、人物の顔であることを特徴とする請求項１ないし１１のいずれかに記載の画像処理装置。
13. サムネイル画像をファイル名と対応させてモニタに一覧表示し、一覧から処理の対象となる画像を選択させ、選択された画像に対して処理を実行する画像処理方法において、
    画像内の特定のパターンを有する特定被写体を抽出する抽出ステップと、
    前記特定被写体が抽出された画像から、前記特定被写体を含む領域を切り出した切り出し画像を生成する画像生成ステップと、
    前記特定被写体が抽出されなかった画像は元のサムネイル画像を、前記特定被写体が抽出された画像は前記切り出し画像をそれぞれ用いて、前記一覧表示を行う表示ステップとを備えることを特徴とする画像処理方法。
14. 前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記切り出し画像が生成された画像の前記一覧表示を行うことを特徴とする請求項１３に記載の画像処理方法。
15. 前記特定被写体が複数抽出された場合、前記表示ステップでは、複数の特定被写体毎に生成された前記切り出し画像を順次切り替えて、前記特定被写体が複数抽出された画像の前記一覧表示を行うことを特徴とする請求項１３または１４に記載の画像処理方法。
16. 前記特定被写体が複数抽出された場合、前記画像生成ステップでは、前記サムネイル画像の表示領域を分割した複数の枠を有するテンプレートを用い、前記枠のサイズに合わせて複数の特定被写体毎に前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで分割画像を生成し、
    前記表示ステップでは、前記特定被写体が複数抽出された画像の前記一覧表示を、前記分割画像を用いて行うことを特徴とする請求項１３ないし１５のいずれかに記載の画像処理方法。
17. 前記表示ステップでは、前記分割画像と元のサムネイル画像とを順次切り替えて、前記分割画像が生成された画像の前記一覧表示を行うことを特徴とする請求項１６に記載の画像処理方法。
18. 前記切り出し画像の表示領域が予め設定されたサイズを下回らないように、前記枠のレイアウトが設定されていることを特徴とする請求項１６または１７に記載の画像処理方法。
19. 前記画像生成ステップでは、前記サムネイル画像の表示領域内に枠を有するテンプレートを用い、前記枠のサイズに合わせて前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで入れ子画像を生成し、
    前記表示ステップでは、前記特定被写体が抽出された画像の前記一覧表示を、前記入れ子画像を用いて行うことを特徴とする請求項１３ないし１８のいずれかに記載の画像処理方法。
20. 前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記枠の表示を行うことを特徴とする請求項１９に記載の画像処理方法。
21. 前記特定被写体を含む領域のサイズを算出する算出ステップと、
    前記算出手段の算出結果を予め設定された閾値と比較する比較ステップとを備え、
    前記画像生成ステップでは、前記算出結果が前記閾値よりも小さい場合にのみ、前記切り出し画像を生成し、
    前記表示ステップでは、前記元のサムネイル画像を用いて、前記切り出し画像が生成されなかった画像の前記一覧表示を行うことを特徴とする請求項１３ないし２０のいずれかに記載の画像処理方法。
22. 前記閾値は、前記サムネイル画像のサイズに応じて変化することを特徴とする請求項２１に記載の画像処理方法。
23. 前記表示ステップにおける前記一覧表示の表示形態を選択させる操作入力ステップを備えることを特徴とする請求項１３ないし２２のいずれかに記載の画像処理方法。
24. 前記特定被写体は、人物の顔であることを特徴とする請求項１３ないし２３のいずれかに記載の画像処理方法。
25. サムネイル画像をファイル名と対応させてモニタに一覧表示し、一覧から処理の対象となる画像を選択させ、選択された画像に対して処理を実行するように、コンピュータを機能させる画像処理プログラムにおいて、
    画像内の特定のパターンを有する特定被写体を抽出する抽出ステップと、
    前記特定被写体が抽出された画像から、前記特定被写体を含む領域を切り出した切り出し画像を生成する画像生成ステップと、
    前記特定被写体が抽出されなかった画像は元のサムネイル画像を、前記特定被写体が抽出された画像は前記切り出し画像をそれぞれ用いて、前記一覧表示を行う表示ステップとを、前記コンピュータに行わせることを特徴とする画像処理プログラム。
26. 前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記切り出し画像が生成された画像の前記一覧表示を行うように、前記コンピュータを機能させることを特徴とする請求項２５に記載の画像処理プログラム。
27. 前記特定被写体が複数抽出された場合、前記表示ステップでは、複数の特定被写体毎に生成された前記切り出し画像を順次切り替えて、前記特定被写体が複数抽出された画像の前記一覧表示を行うように、前記コンピュータを機能させることを特徴とする請求項２５または２６に記載の画像処理プログラム。
28. 前記特定被写体が複数抽出された場合、前記画像生成ステップでは、前記サムネイル画像の表示領域を分割した複数の枠を有するテンプレートを用い、前記枠のサイズに合わせて複数の特定被写体毎に前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで分割画像を生成し、
    前記表示ステップでは、前記特定被写体が複数抽出された画像の前記一覧表示を、前記分割画像を用いて行うように、前記コンピュータを機能させることを特徴とする請求項２５ないし２７のいずれかに記載の画像処理プログラム。
29. 前記表示ステップでは、前記分割画像と元のサムネイル画像とを順次切り替えて、前記分割画像が生成された画像の前記一覧表示を行うように、前記コンピュータを機能させることを特徴とする請求項２８に記載の画像処理プログラム。
30. 前記切り出し画像の表示領域が予め設定されたサイズを下回らないように、前記枠のレイアウトが設定されていることを特徴とする請求項２８または２９に記載の画像処理プログラム。
31. 前記画像生成ステップでは、前記サムネイル画像の表示領域内に枠を有するテンプレートを用い、前記枠のサイズに合わせて前記切り出し画像を生成して、生成した切り出し画像を前記枠に嵌め込んで入れ子画像を生成し、
    前記表示ステップでは、前記特定被写体が抽出された画像の前記一覧表示を、前記入れ子画像を用いて行うように、前記コンピュータを機能させることを特徴とする請求項２５ないし３０のいずれかに記載の画像処理プログラム。
32. 前記表示ステップでは、前記切り出し画像と元のサムネイル画像とを順次切り替えて、前記枠の表示を行うように、前記コンピュータを機能させることを特徴とする請求項３１に記載の画像処理プログラム。
33. 前記特定被写体を含む領域のサイズを算出する算出ステップと、
    前記算出手段の算出結果を予め設定された閾値と比較する比較ステップとを、前記コンピュータに行わせ、
    前記画像生成ステップでは、前記算出結果が前記閾値よりも小さい場合にのみ、前記切り出し画像を生成し、
    前記表示ステップでは、前記元のサムネイル画像を用いて、前記切り出し画像が生成されなかった画像の前記一覧表示を行うように、前記コンピュータを機能させることを特徴とする請求項２５ないし３２のいずれかに記載の画像処理プログラム。
34. 前記閾値は、前記サムネイル画像のサイズに応じて変化することを特徴とする請求項３３に記載の画像処理プログラム。
35. 前記表示ステップにおける前記一覧表示の表示形態を選択させる操作入力ステップを、前記コンピュータに行わせることを特徴とする請求項２５ないし３４のいずれかに記載の画像処理プログラム。
36. 前記特定被写体は、人物の顔であることを特徴とする請求項２５ないし３５のいずれかに記載の画像処理プログラム。

Images