JP2010258875A - 表示装置及び表示方法、並びにプログラム - Google Patents

Abstract

【課題】サムネイルデータによる一覧表示時であっても、元のサイズの画像データにどの程度ブレが生じたかどうかがひと目で直感的にわかる表示装置を提供する。
【解決手段】複数の画像データを蓄積するデータ蓄積部２０１と、蓄積された画像データを表示する表示部２０８と、表示させるデータ数に合わせてサムネイルデータのサイズを決定するサムネイルサイズ決定部２０４とを備える。また、決定されたサムネイルサイズで画像データに関するサムネイルデータを生成するサムネイルデータ生成部２０５と、画像データを解析してブレ情報を検出する画像データ解析部２０３とを備える。また、決定されたサムネイルサイズと画像データ解析部２０３による解析結果から生成されたサムネイルデータに変更を加えるか否かを判別するサムネイルデータ変更判別部２０６を備える。また、サムネイルデータ変更判別部２０６の判別結果を受けてサムネイルデータに変更を加えるサムネイルデータ変更部２０７を備える。
【選択図】図２

Description

本発明は、画像データから生成したサムネイルデータを表示する表示装置及び表示方法、並びにプログラムに関する。

機器に搭載される内部メモリ及び脱着可能な外部メモリの容量拡大により、機器で扱うデータの量も増えてきている。

また、最近では、デジタルカメラ等の表示画面も拡大の傾向にあるが、携帯性を考慮すると表示画面の大きさには限界がある。そのため、メモリに蓄積された画像データを一覧表示させるためには、蓄積されている画像データ１つ１つのサムネイルデータをより小さくして表示する必要があった。

しかし、元の画像データにブレが生じているか否かを判別したい場合や、ブレが生じている場合にその程度を知りたい場合には、一覧表示のためのサムネイルデータを過度に小さくしてしまうと、その判別が困難になる。その場合、元のサイズの画像データを１つずつ展開しなければ、ブレが生じているか否かやブレの程度を確認できないという問題があった。

そこで従来、ブレを考慮した上で限られた大きさの表示画面にメモリに蓄積された画像データを一覧表示する技術が提案されている（特許文献１参照）。それは、比較的ピントの合った画像、あるいはピンぼけ画像という基準で画像データをソートする技術であった。

また、特許文献２に提案された技術では、シャッタースピードを参照して、撮影時に手ブレが発生した恐れがあるかどうかを判別し、画像情報内に手ブレした可能性があるか否かを示す情報を追記する。そして、撮影した画像データを一覧表示するときに、画像情報内に含めた手ブレに関する情報を取得して、手ブレしたかどうかを示すアイコンをサムネイルデータと合わせて表示させる。

特開平２００３−３３３５２０号公報 特開平２００６−２１７４７２号公報

しかしながら、従来の技術では、サムネイル画像による一覧表示時においては、サムネイル画像が小さいため、元のサイズの画像データにどの程度ブレが生じているかをひと目で判別できないという問題があった。

上記特許文献１の技術では、ぼけやブレの度合いに応じて蓄積された画像データをソートすることにより、ぼけやブレの少ないデータを検索しやすくしている。しかし、一覧表示時のサムネイルデータを見て、元のサイズの画像データにどの程度ぼけやブレが生じているかを判別することまでは難しいという問題が残る。

上記特許文献２の技術では、一覧表示時にサムネイル画像とともに手ブレの可能性があったというアイコンを表示する。そのため、ブレやぼけがあるかどうかの判別するための基準にはなるが、実際に手ブレが生じたかどうかは確認できず、また、被写体ブレまでを識別することはできないという問題があった。

本発明の目的は、サムネイルデータによる一覧表示時であっても、元のサイズの画像データにどの程度ブレが生じたかどうかがひと目で直感的にわかる表示装置及び表示方法、並びにプログラムを提供することにある。

上記目的を達成するために、請求項１記載の表示装置は、複数の画像データを蓄積するデータ蓄積手段と、前記データ蓄積手段により蓄積された前記画像データを表示する表示手段と、前記画像データに関するサムネイルデータを生成するサムネイルデータ生成手段と、前記画像データを解析してブレ情報を検出する画像データ解析手段と、前記画像データ解析手段による解析結果から前記サムネイルデータ生成手段により生成された前記サムネイルデータに変更を加えるか否かを判別するサムネイルデータ変更判別手段と、前記サムネイルデータ変更判別手段の判別結果を受けて前記サムネイルデータに変更を加えるサムネイルデータ変更手段とを備えることを特徴とする。

請求項９記載の表示方法は、複数の画像データを蓄積するデータ蓄積工程と、前記データ蓄積工程により蓄積された前記画像データを表示する表示工程と、前記画像データに関するサムネイルデータを生成するサムネイルデータ生成工程と、前記画像データを解析してブレ情報を検出する画像データ解析工程と、前記画像データ解析工程による解析結果から前記サムネイルデータ生成工程により生成された前記サムネイルデータに変更を加えるか否かを判別するサムネイルデータ変更判別工程と、前記サムネイルデータ変更判別工程の判別結果を受けて前記サムネイルデータに変更を加えるサムネイルデータ変更工程とを備えることを特徴とする。

請求項１０記載のプログラムは、表示方法をコンピュータに実行させるプログラムにおいて、前記表示方法は、複数の画像データを蓄積するデータ蓄積工程と、前記データ蓄積工程により蓄積された前記画像データを表示する表示工程と、前記画像データに関するサムネイルデータを生成するサムネイルデータ生成工程と、前記画像データを解析してブレ情報を検出する画像データ解析工程と、前記画像データ解析工程による解析結果から前記サムネイルデータ生成工程により生成された前記サムネイルデータに変更を加えるか否かを判別するサムネイルデータ変更判別工程と、前記サムネイルデータ変更判別工程の判別結果を受けて前記サムネイルデータに変更を加えるサムネイルデータ変更工程とを備えることを特徴とする。

本発明の表示装置によれば、サムネイルデータによる一覧表示時であっても、元のサイズの画像データにどの程度ブレが生じたかどうかがひと目で直感的にわかる。

以下、本発明を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る表示装置のブロック図である。

図１において、表示装置１００は、全体を制御するＣＰＵ１０１、変更を必要としないプログラムやパラメータを格納するＲＯＭ１０２、外部装置等から供給されるプログラムやデータを一時記憶するＲＡＭ１０３を備える。

また、表示装置１００は、保持するデータや供給されたデータを表示するためのモニタ１０５とのインターフェイス１０４、各ユニット１０１〜１０４を通信可能に接続するシステムバス１０６を備える。

ユーザからの操作を受けてデータや指示を入力するマウス等のポインティングデバイスやキーボード等の入力デバイスとのインターフェイス等があってもよい。また、表示装置１００に固定して設置されたハードディスクやメモリカード等があってもよい。

あるいは、表示装置１００から着脱可能なフレキシブルディスク（ＦＤ）やコンパクトディスク（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカード等を含む外部記憶装置等があってもよい。さらに、インターネット等のネットワーク回線に接続するためのネットワークインターフェイス等があってもよい。

図２は、図１の表示装置の機能構成を示すブロック図である。図２において、本実施の形態の表示装置１００は、以下の機能モジュールにより構成される。

データ蓄積部２０１は画像データを蓄積する。画像データ解析部２０３は、データ蓄積部２０１から読み出された画像データ２０２を解析する。また、サムネイルサイズ決定部２０４は、読み出された画像データ２０２の数から一覧表示に必要なサムネイルデータのサイズを決定する。サムネイルデータ生成部２０５は、読み出された画像データ２０２をサムネイルサイズ決定部２０４により決定されたサムネイルサイズに伸縮させて、サムネイルデータを生成する。

また、サムネイルデータ変更判別部２０６は、画像データ解析部２０３による解析結果と決定されたサムネイルサイズを元に、サムネイルデータ生成部２０５で生成されたサムネイルデータに変更を加えるか否かを判別する。表示部２０８は、サムネイルデータ変更判別部２０７の判別結果を受けて、サムネイルデータ変更部２０７でサムネイルデータに変更を加えた結果を表示する。

図３は、図２におけるデータ蓄積部に蓄積されている画像データの例を示す図である。

同図（ａ）、（ｂ）、（ｃ）は、それぞれブレのない画像、少しブレた画像、ひどくブレた画像を示している。これらを含む複数の画像データを、図３の表示部２０８の表示画面に表示させたときの様子を示したのが図４になる。

図４において、表示部２０８の表示画面４０１には、それぞれ図３（ａ）、（ｂ）、（ｃ）に示した画像データのサムネイルデータ４０２、４０３、４０４が表示されている。サムネイルデータ４０３は、元の画像データにブレが生じていることが認識できるが、サムネイルデータ４０２のように、元の画像のブレが少量である場合、識別が困難になる。さらにサムネイルデータが小さくなると、より識別が難しくなる。

（第１の実施の形態）
図５は、図１、図２の表示装置によって実行されるサムネイル表示処理の第１の実施の形態の手順を示すフローチャートである。

本フローチャートは、図１のＣＰＵ１０１の制御の下に実行される。各処理ステップはＳとして表す。

図５において、はじめに、ＣＰＵ１０１は、表示部２０８に一覧表示させるための画像データをデータ蓄積部２０１から読み出し（Ｓ５０１）、そのときの画像データ数を取得する（Ｓ５０２）。読み出す画像データは、ユーザがポインティングデバイス等により選択したものでもよいし、キーワードによる検索処理の結果該当したものでもよい。

次に、ＣＰＵ１０１は、取得した画像データ数と表示部２０８の大きさから、一覧表示させるためのサムネイルサイズを決定する（Ｓ５０３）。視認性確保のため、表示部２０８に一度に表示させるサムネイルデータの個数に制限を設けてもよく、それを超える場合には、表示部２０８においてスクロール等の処理を含んでもよい。

次に、ＣＰＵ１０１は、読み出した上記画像データから、Ｓ５０３で決まったサイズのサムネイルデータを生成する（Ｓ５０４）。次に、ＣＰＵ１０１は、読み出した上記画像データを解析する（Ｓ５０５）。

解析の対象は、読み出した上記画像データ全体（全画像データ）でもよいし、付加情報、例えば、上記画像データに含まれるフォーカスが当たっている部分、あるいは顔認識処理により選択された顔の領域情報から解析する領域を決定してもよい。

本実施の形態では、画像データの解析に際し、読み出した画像データの一部分のブレ方向とブレ量を検出するものとする。検出方法に関しては特開平１１−２８４９４４号公報に記載の検出方法がある。

次に、ＣＰＵ１０１は、検出されたブレ量とサムネイルサイズからサムネイルデータにブレ情報を付加するかどうかを決定する（Ｓ５０６）。

本実施の形態では、予め、ブレ量の閾値を決めておき、読み出した上記画像データの大きさとサムネイルサイズの割合からサムネイルデータにおけるブレ量を割り出す。そして、ＣＰＵ１０１は、その値と閾値とを比較して、閾値よりもブレ量が小さければサムネイルデータにブレ情報を付加するものとする。

Ｓ５０６で、ＣＰＵ１０１は、サムネイルデータにブレ情報を付加する必要がないと判別すれば処理をＳ５０９に移し、Ｓ５０４で生成したサムネイルデータを表示部２０８に渡す。そうでなければ、ＣＰＵ１０１は、サムネイルデータに付加するブレ情報を決定する（Ｓ５０７）。

本実施の形態では、予め決められた平滑化フィルタをサムネイルデータに掛けるものとする。そして、この平滑化フィルタはサムネイル表示時であっても、元の画像データにブレが生じていることを十分に識別できるだけのブレをサムネイルデータに生じさせることができるものとする。

次に、ＣＰＵ１０１は、Ｓ５０７で決定したブレを生じさせたサムネイルデータを生成して（ブレたサムネイルデータに変換して）（Ｓ５０８）、表示部２０８に渡す（Ｓ５０９）。そして、Ｓ５１０で、ＣＰＵ１０１は、Ｓ５０４からＳ５０９までの処理を、読み出した上記画像データ全てに行ったかどうかを判別する。未処理の画像データがあれば処理をＳ５０４に戻し、読み出した全ての画像データに対しサムネイル生成処理を行う。

ブレ情報の検出方法として、特開平１１−２８４９４４号公報に記載の検出方法を挙げたが、簡潔に説明すると、その手順は、特徴領域の決定、ブレ方向の検出、ブレ量の検出に分けられる。

図６は、図１、図２の表示装置におけるブレ検出で用いる行列の例を示す図である。

まず、読み出した上記画像データに対して、図６（ａ）に示すラプラシアン・フィルタを施し、エッジ成分を検出する。読み出した上記画像データを複数のブロックに分けて、ブロック毎にエッジ成分の和を求めて、その合計値が大きいブロックを特徴領域とする。

しかし、本実施の形態では、上記画像データに含まれているフォーカスの領域に関する情報から特徴領域を決定するものとする。

次に、上記特徴領域において、水平、垂直、斜め方向に関して劣化関数を用いた画像処理演算を施す。この処理は、注目画素を、想定したブレ方向について想定したブレ範囲に含まれる画素の平均輝度値に変換する処理である。

例えば、ブレ量を２画素とすると、注目画素から２画素分のずれがあるから、劣化関数は、図６（ｂ）や図６（ｃ）のような３行３列の行列となる。同図（ｂ）は水平方向に対しての劣化関数であり、同図（ｃ）は垂直方向に対する劣化関数である。

水平方向であれば、同図（ｂ）の劣化関数を用いた画像処理演算の結果、注目画素は、注目画素とその両隣の画素との平均値となる。このようにして得られた画像情報と演算前の特徴領域との輝度値の差の絶対値の２乗の和を求める。

特徴領域が水平方向にブレていれば、注目画素は水平方向に隣接する画素の輝度値を含んでいる。輝度値の差が大きく、しかもその差にばらつきが少ない劣化関数に対応する方向をブレ方向とする。最後にブレ量を検出する。

検出したブレ方向に従って、特徴領域に対して一定の画素毎に画像処理演算を施す。演算を施した各画素について演算前後の輝度値の差の絶対値の２乗の和を求める。

劣化画像の行列サイズ毎にこの値を算出し、急激に変化する直前の行列サイズをブレ量とする。劣化関数がＮ×Ｎであればブレ量はＮ−１となる。読み出した上記画像データのブレ量がＮ、サムネイルデータの縦横の長さが上記画像データの１／４とすれば、サムネイルデータのブレ量はＮ／４となる。

ここで、予め設定されているブレ量の閾値をＭとすると、Ｎ／４＜Ｍであれば、サムネイルデータのブレは一覧表示時には認識されにくいものと判別され、サムネイルデータにブレを生じさせる。

本実施の形態では、各方向の平滑化フィルタを用いてブレの方向及びブレ量を算出したが、ブレ検出方法に関して限定するものではなく、ＤＣＴ処理による空間周波数分析等を用いても構わない。

図７は、図１、図２の表示装置におけるサムネイルデータに劣化関数を施した結果を示す図である。

図７において、サムネイルデータ７０１は、図３（ｂ）に示した画像データのサムネイルデータであり、サムネイルデータ７０２は、サムネイルデータ７０１に対し図５の処理フローを通してブレ情報を付与したサムネイルデータである。

サムネイルデータ自体に、認識できる程度のブレを生じさせることで、一覧表示時であっても、元の画像データにどの程度ブレが生じているかが直感的に識別可能となる。

（第２の実施の形態）
図８は、図１、図２の表示装置によって実行されるサムネイル表示処理の第２の実施の形態の手順を示すフローチャートである。

尚、図８のフローにおいて、図５のフローと同じステップ番号が付けられた項目に関しては説明を省略する。Ｓ５０４のサムネイルデータを生成する処理までは、第１の実施の形態と同じである。

次に、ＣＰＵ１０１は、読み出した上記画像データに関するブレ情報が解析済みかどうかを判別する（Ｓ８０１）。本実施の形態において、ブレ情報は、少なくともブレの方向及びブレ量を含むものとする。

ＣＰＵ１０１は、既にブレ情報が解析済みであれば解析結果を読み出し、そうでなければ、上記画像データのブレ情報を解析し、Ｓ８０２において、解析結果を画像データに関連付けてデータ蓄積部２０１に格納する。あるいは、解析結果を拡張データとして上記画像データに埋め込んでも構わない。

そして、ＣＰＵ１０１は、格納されている全ての画像データに関するブレ情報を読み出し、ブレ情報に含まれるブレ量から閾値を決定（設定）する（Ｓ８０３）。

そして、ＣＰＵ１０１は、Ｓ８０３で決定したブレ量の閾値を用いて、サムネイルデータにブレ情報を付加するか否かを判別する（Ｓ５０６）。以降の処理は、第１の実施の形態１同様である。

また、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードをコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体から読み出して実行することによっても達成される。

また、プログラムコードを供給するための記憶媒体としては、種々のものを用いることができる。また、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードの指示に基づき、ＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行うことで前述した実施の形態の機能が実現される場合も含まれる。

本発明の実施の形態に係る表示装置のブロック図である。 表示装置の機能構成を示すブロック図である。 データ蓄積部に蓄積されている画像データの例である。 表示部の表示画面の例を示す図である。 サムネイル表示処理の第１の実施の形態の手順を示すフローチャートである。 ブレ検出で用いる行列の例を示す図である。 サムネイルデータに劣化関数を施した結果を示す図である。 サムネイル表示処理の第２の実施の形態の手順を示すフローチャートである。

１００ 表示装置
２０１ データ蓄積部
２０２ 画像データ
２０３ 画像データ解析部
２０４ サムネイルサイズ決定部
２０５ サムネイルデータ生成部
２０６ サムネイルデータ変更判別部
２０７ サムネイルデータ変更部
２０８ 表示部

Claims (10)

1. 複数の画像データを蓄積するデータ蓄積手段と、
   前記データ蓄積手段により蓄積された前記画像データを表示する表示手段と、
   前記画像データに関するサムネイルデータを生成するサムネイルデータ生成手段と、
   前記画像データを解析してブレ情報を検出する画像データ解析手段と、
   前記画像データ解析手段による解析結果から前記サムネイルデータ生成手段により生成された前記サムネイルデータに変更を加えるか否かを判別するサムネイルデータ変更判別手段と、
   前記サムネイルデータ変更判別手段の判別結果を受けて前記サムネイルデータに変更を加えるサムネイルデータ変更手段と、
   を備えることを特徴とする表示装置。
2. 前記画像データ解析手段は、前記画像データに含まれる付加情報から前記画像データを解析する領域を決定して前記領域を解析することを特徴とする請求項１記載の表示装置。
3. 前記サムネイルデータ変更判別手段は、前記サムネイルデータに加える前記ブレ情報を決定することを特徴とする請求項１または２記載の表示装置。
4. 前記ブレ情報は、少なくともブレの方向及びブレ量を含むことを特徴とする請求項１乃至３のいずれかに記載の表示装置。
5. 前記サムネイルデータ変更手段は、前記サムネイルデータ変更判別手段で決定された前記ブレ情報を元に前記サムネイルデータに変更を加えることを特徴とする請求項３または４記載の表示装置。
6. 前記データ蓄積手段は、前記画像データ解析手段による解析結果を前記画像データに関連付けて蓄積しておくことを特徴とする請求項１乃至５のいずれかに記載の表示装置。
7. 前記サムネイルデータ変更判別手段は、前記画像データ解析手段により蓄積された全画像データの解析結果から、前記サムネイルデータに変更を加えるかどうかを判別するための閾値を決定することを特徴とする請求項６記載の表示装置。
8. 前記表示手段に表示させるデータ数に合わせて前記サムネイルデータのサイズを決定するサムネイルサイズ決定手段を更に備え、
   前記サムネイルデータ変更判別手段は、前記サムネイルサイズ決定手段により決定された前記サムネイルサイズと前記画像データ解析手段による解析結果から前記サムネイルデータに変更を加えるか否かを判別することを特徴とする請求項１記載の表示装置。
9. 複数の画像データを蓄積するデータ蓄積工程と、
   前記データ蓄積工程により蓄積された前記画像データを表示する表示工程と、
   前記画像データに関するサムネイルデータを生成するサムネイルデータ生成工程と、
   前記画像データを解析してブレ情報を検出する画像データ解析工程と、
   前記画像データ解析工程による解析結果から前記サムネイルデータ生成工程により生成された前記サムネイルデータに変更を加えるか否かを判別するサムネイルデータ変更判別工程と、
   前記サムネイルデータ変更判別工程の判別結果を受けて前記サムネイルデータに変更を加えるサムネイルデータ変更工程と、
   を備えることを特徴とする表示方法。
10. 複数の画像データを蓄積するデータ蓄積工程と、
    前記データ蓄積工程により蓄積された前記画像データを表示する表示工程と、
    前記画像データに関するサムネイルデータを生成するサムネイルデータ生成工程と、
    前記画像データを解析してブレ情報を検出する画像データ解析工程と、
    前記画像データ解析工程による解析結果から前記サムネイルデータ生成工程により生成された前記サムネイルデータに変更を加えるか否かを判別するサムネイルデータ変更判別工程と、
    前記サムネイルデータ変更判別工程の判別結果を受けて前記サムネイルデータに変更を加えるサムネイルデータ変更工程と、
    をコンピュータに実行させることを特徴とするプログラム。