JP2008278347A

JP2008278347A - 画像表示システム

Info

Publication number: JP2008278347A
Application number: JP2007121390A
Authority: JP
Inventors: Ryota Kawachi; 亮太河内
Original assignee: Nikon Systems Inc
Current assignee: Nikon Systems Inc
Priority date: 2007-05-02
Filing date: 2007-05-02
Publication date: 2008-11-13

Abstract

【課題】スライドショーのように、順次画像を表示する場合においても、ミスショットであるデジタル画像を表示しないような画像表示システムを提供する。
【解決手段】デジタル画像を保存する記憶装置１０４とデジタル画像を表示する表示部１０３を有し、画像表示指令に基づいて、前記記憶装置１０４に保存された前記デジタル画像を順次自動的に前記表示部１０３に表示する画像表示システムであって、前記記憶装置１０４に保存された前記デジタル画像が、表示するに相応しいデジタル画像か否かを判定する判定手段１０５を有し、当該判定手段１０５により、表示するに相応しくないと判定されたデジタル画像は表示しないようにする機能を有することを特徴とする画像表示システム。
【選択図】図１

Description

本発明は、画像表示システムに関するものである。

近年のデジタルカメラの普及により、個人がデジタル画像を鑑賞する要求、機会が高まっている。これを受け、紙媒体に画像を出力して楽しむ従来の画像鑑賞の仕方に加え、デジタル画像ならではの新しい画像鑑賞方法が広まりつつある。この例として、スライドショーと呼ばれる、ユーザーが事前に保存しておいた複数の写真をモニタ（画像表示装置）上に順次表示するシステムが既に商品化もなされ、一般にも認知されつつある。

特開２００６−２５００６号公報

しかし、従来の技術には次のような問題点が存在した。前述のような画像鑑賞方法において、従来の手法では表示する写真は、予め決められた画像ファイルの保存場所（あるいは、画像ファイルが保存されているメモリアドレス）を参照し、そこにある画像を順次表示するという形態がとられている。

この為、ユーザーが特に画像の選別を行うこと無く、画像の保存を行っていた場合、手ぶれ等の鑑賞に堪えない画像や、連写等で冗長に撮影された類似画像（以下、これらを纏めてミスショットと呼ぶ）がモニタに出力され、鑑賞者の興趣を損なうおそれがあった。

一方、これとは別の技術領域である、デジタル画像を印画紙にプリントするプリント装置において、ミスショットを検出してユーザーが印刷するべき画像を選別しやすくするプリント装置が特開２００６−２５００６号公報（特許文献１）により提案されている。しかしながら、この技術は最終的にユーザーが印刷する画像を指定することを前提としており、自動的に画像表示を行うことを目的としたスライドショーのような画像出力システムに適用することはできなかった。

本発明は、このような事情に鑑みてなされたものであり、スライドショーのように、順次画像を表示する場合においても、ミスショットであるデジタル画像を表示しないような画像表示システムを提供することを課題とする。

前記課題を解決するための第１の手段は、デジタル画像を保存する記憶装置とデジタル画像を表示する表示部を有し、画像表示指令に基づいて、前記記憶装置に保存された前記デジタル画像を順次自動的に前記表示部に表示する画像表示システムであって、前記記憶装置に保存された前記デジタル画像が、表示するに相応しいデジタル画像か否かを判定する判定手段を有し、当該判定手段により、表示するに相応しくないと判定されたデジタル画像は表示しないようにする機能を有することを特徴とする画像表示システムである。

前記課題を解決するための第２の手段は、前記第１の手段であって、前記判定手段が、表示するに相応しくないデジタル画像を判定するにあたり、その相応しくない度合いを数値化した上で、当該数値が予め定められた所定の閾値を超えるか否かによって、表示するに相応しいか否かを判定する機能を有することを特徴とするものである。

前記課題を解決するための第３の手段は、前記第２の手段であって、前記所定の閾値を、ユーザーが設定可能であることを特徴とするものである。

前記課題を解決するための第４の手段は、前記第１の手段から第３の手段のいずれかであって、前記表示するに相応しくないデジタル画像が、連続撮影写真等、記憶装置内に冗長に保存されている類似デジタル画像群であることを特徴とするものである。

前記課題を解決するための第５の手段は、前記第１の手段から第４の手段のいずれかであって、前記表示するに相応しくないデジタル画像が、撮影に失敗したデジタル画像であることを特徴とするものである。
前記課題を解決するための第６の手段は、前記第５の手段であって、前記撮影に失敗したデジタル画像が、手ぶれ又は被写体ぶれを数値化した値が予め定められた所定の値を超えるデジタル画像であることを特徴とするものである。

前記課題を解決するための第７の手段は、前記第６の手段であって、前記手ぶれを数値化した値が、画像解析により、手ぶれ形状と物理的に対応するＰＳＦ（Point Spread Function）を推定し、その結果求まる手ぶれ幅であることを特徴とするものである。
前記課題を解決するための第８の手段は、前記第６の手段であって、撮影時情報であるＡＦ（Auto Focus）エリア情報を基に主要被写体領域を判断し、これにより被写体ぶれの数値化を行うことを特徴とするものである。

前記課題を解決するための第９の手段は、前記第１の手段から第８の手段のいずれかであって、前記判定手段が判定した結果に対し、ユーザーが自分の感覚と合うか否かの評価情報を入力する手段を持ち、前記判定手段は、その評価情報を基に、自己の判定基準をユーザーの感覚と合うように学習、更新する機能を有することを特徴とするものである。

本発明によれば、スライドショーのように、順次画像を表示する場合においても、ミスショットであるデジタル画像を表示しないような画像表示システムを提供することができる。

以下、本発明の実施の形態の例を、図を用いて説明する。図１は、本発明の実施の形態の１例である画像表示システムのハードウェア構成を表す概要図である。また、以下においては、図１に示す画像表示システムの状態を画像読み込みモード及び画像出力モードと呼ぶ２つの状態に分類して説明する。なお、以下の説明において、説明の都合上、表示部１０３での画像の表示のことを、（表示部１０３への画像データの）出力と呼ぶことがある。すなわち、「画像出力」は、「画像表示」と等価である。

まず、画像読み込み時の動作について、図１、図２を参照して説明を行う。モニタ１００が待機状態の時にユーザーの手により、着脱可能な可搬性メモリ１０４をモニタ１００に挿入すると、それを検知した画像処理部１０２が可搬性メモリ１０４にアクセスし、可搬性メモリ１０４内に保存されている各画像のファイル名及び、撮影情報等を記録したExif情報を参照し、以上を纏めて、画像リストと呼ぶデータを構築し、可搬性メモリ１０４に保存する（Ｓ２１）。この画像リストの例を図５に示す。ファイル名（file）、撮影期日（date）、撮影時刻（time）、露出、オートフォーカスエリア（ＡＦエリア）等が、順に記憶されている。

可搬性メモリ１０４に保存されている画像全てを参照し、画像リストを構築した段階で、画像処理部１０２は表示部１０３に、ミスショット識別処理を開始するか否かの判断をユーザーに促すメッセージを表示する（Ｓ２２）。メッセージ表示後、一定時間Ｔ内にミスショット識別開始選択スイッチ１０６により、ユーザーがミスショット開始を選択すると、システムはミスショット識別を開始を行う。

ミスショット識別時のシステムの動作を図３に示す。もしユーザーによりミスショット識別を行わない選択がなされるか、又は一定時間Ｔ内で全く選択がなされなかった場合、システムは画像読み込みモードを終了させ、待機状態となる。

以下、ユーザーがミスショット識別開始を選択した際のシステムの動作を図３を参照して説明する。図２のＳ２２においてユーザーがミスショット識別開始を選択すると、システムはミスショット識別モードに移行し（Ｓ３１）、以下に述べる処理を逐次実行する。まず画像処理部１０２は、可搬性メモリ１０４にアクセスし、画像リストを参照し、画像リストの先頭に登録されている画像のファイル名を参照する（Ｓ３２）。画像処理部１０２は参照したファイル名をミスショット検出部１０５に送信し、ミスショット検出部１０５は、受信したファイル名に対応する画像に対して画像解析を行い、ミスショットか否かを判定する為の指標であるミスショット強度を各ミスショット項目毎に計算を行う。（Ｓ３３）。

解析を行った結果、ミスショット検出部１０５は、検出したミスショットの種類及び検出されたミスショットの強度に関する情報（以下ミスショット情報と呼ぶ）を、画像処理部１０２に送信する（Ｓ３４）。画像処理部１０２はそれらミスショット情報を受け取ると、画像リスト中の対応する画像のミスショット情報項目を受信したミスショット情報により更新、保存する（Ｓ３５）。以降、システムは参照する画像を画像リストの順番に従って順次更新し（Ｓ３６，Ｓ３７）、画像リストに登録された画像全てに対しミスショット識別処理、及び画像リストの更新を行う。

なお、このミスショット識別モード時において、ミスショット識別開始選択スイッチ１０６をユーザーが押したならば、システムはその時に行っている処理を中断し、ミスショット識別モードを終了させるようにしてもよい。

ここで、本実施の形態で扱うミスショットの種類とその識別方法及びミスショット強度に関して説明を行う。本実施の形態において、識別するミスショットの一つは「手ぶれ」である。以下、この手ぶれを検出するアルゴリズムに関して説明を行う。手ぶれにより劣化した画像は、以下の数式によりモデル化される。

ここでＢは劣化画像（手ぶれ画像）、ｆは理想画像、＊はコンボリュージョンを意味し、ｋ（ｘ，ｙ）が手ぶれの軌跡に相当するＰＳＦ（Point Spread Function）である。手ぶれを検出するアプローチの一つとして、劣化画像ＢからBayes推定の枠組みを用いてこのＰＳＦであるｋ（ｘ，ｙ）を決定する手法が、例えばSIGGRAPH 2006年の発表論文予稿集の「Removing Camera Shake from a Single Photograph」（Furgus et al.）等に示されているので、これらの手法を用いることにより、得られた画像情報であるＢ（ｘ，ｙ）からｋ（ｘ，ｙ）を決定するようにすればよい。

得られたＰＳＦの例を図６に示す。図６（ａ）はぶれ画像であり、図６（ｂ）がこれから得られたＰＳＦの強度を画像の濃淡で示したものである（実際には色で強度が識別されているが、出願制約の関係で灰色情報となっている）。図６（ｂ）において、横軸がｘ軸、縦軸がｙ軸であり、ｋ（ｘ，ｙ）の大きさが画像の濃淡で示されている。ぶれがない場合は、明るい部分は点状になるはずであるが、ぶれのために、特にｘ方向に広がっている。

このようにしてＰＳＦを推定し、推定されたＰＳＦから、ミスショットの強度として、以下に定義する”ぶれ幅σ”を得る。

ここで、ベクトル記号で示したμはＰＳＦの重心座標ベクトルを表す。ベクトル記号で示したＸは座標（ｘ，ｙ）の位置ベクトルを示す。この指標により、直感的に解りやすい形式でぶれの強弱を判定することができる。

次に、実施の形態で扱うミスショットの一つとして、「類似画像」を挙げる。類似画像とは、可搬性メモリ１０４に保存されている画像のうち、同一シーンを撮影している画像等、互いに似通っている画像のグループを意味する。このような類似画像の検出は、例えば、ISO/IEC 15938-3（mpeg7 visual discription）に定義されている各種画像統計量（色、テクスチャ、形状等）を特徴量として各画像を特徴付け、各特徴量を成分とする特徴ベクトルを画像毎に定義し、この特徴ベクトルの定義された線形空間を特徴空間として定義した上で、各画像に対応する特徴ベクトルの”距離”に応じてグルーピングすることにより行うことができる。

より具体的な例としては、特徴量として画像のテクスチャと関連したエッジヒストグラムと呼ばれる画像統計量や、色分布に関する統計量であるカラーヒストグラムやカラーレイアウトを用い、特徴空間上でのユークリッド距離に応じて類似度を判定した上で階層的クラスタリングをはじめとする各種クラスタリング手法によりグルーピングすることができる。

本実施の形態においては、クラスタリング手法として階層的クラスタリングを行ったとして説明を行う。なお、この手法に関する詳細は、例えば書籍[Richard O.Duda et al., ”Pattern Classification Second Edition”, John Wiley & Sons（邦題：パターン識別、監訳：尾上守夫、出版社：新技術コミュニケーションズ）]等の画像処理の教科書に記載されている。

階層的クラスタリングによりグルーピングを行うと、その類似度（距離）に応じて、どの画像とどの画像が同じグループに属するかを表す系統図が生成される。この系統図の例を図７に示す。

図７において、縦軸はミスショット強度であり、縦方向の線の長さが、ユークリッド距離を示す。例えば、線分ＡＤとＢＥは、画像00001jpgと画像00002jpgを類似とみなすことができるユークリッド距離を示し、線分ＣＨ（及び線分ＡＤと線分ＦＧの長さの和）は、これら２つの画像と画像00003jpgを類似とみなすことができるユークリッド距離を示す。又、線分ＣＨと線分ＩＪの長さの和は、画像00001jpg〜画像00008jpgを類似とみなすことができるユークリッド距離を示す。

Ｔ_Ｂは閾値を示し、この例においては、Ｔ_Ｂで切断した下の部分が、類似グループとみなされる。すなわち、画像00001jpgと画像00002jpgが同じ類似グループとされ、画像00003jpgは単独グループとされ、画像00004jpgと画像00005jpgが同じ類似グループとみなされる。そして、画像00006jpg〜画像00008jpgが同じ類似グループとみなされる。

このように類似画像のグルーピングを行った場合、ミスショット強度として前述の特徴空間における距離を用いることができる。なお、ここでは画像特徴量から類似画像判定を行う例を挙げたが、撮影時の情報として、撮影時刻を画像リストに保存しておき、特徴量の一つとしてもよい。

次に、本実施の形態で扱うミスショットの一つとして、「被写体ぶれ」を挙げる。被写体ぶれとは露光時に主要被写体が動いてしまい、最終的に出来上がった画像において、主要被写体がぶれてしまっているものである。「手ぶれ」が画像全体がぶれてしまっている状態なのに対し、「被写体ぶれ」は画像の一部、特に主要被写体のみがぶれてしまっている点が異なる。被写体ぶれは、主要被写体が画像中に存在する領域が判れば、手ぶれと同じように（１）式により表現することができ、ぶれの検出も手ぶれと同じ手法を用いることができる。これより、被写体ぶれ検出は主要被写体領域の同定に帰着することができる。

本実施の形態では、この問題に対し、撮影時情報として合焦に使用されたＡＦエリア情報を用いることで解決を図る。画像撮影時に、撮影時の情報としてＡＦエリア情報を画像リストに記録しておき、被写体ぶれ検出時には、該当するエリアのみを切り出して、手ぶれと同様にぶれ検出処理を行う。このような処理手順とすることにより、被写体ぶれの検出がなされる。該当するミスショットの強度も手ぶれと同様に、ぶれ幅σを用いて定義できるので、これを用いるものとする。

次に、画像出力モードにおけるシステムの動作について、図１、図４を参照して説明を行う。モニタ１００が待機状態の時にユーザーにより画像出力開始スイッチ１０７が押されると、システムは画像出力モードに移行する（Ｓ４１）。画像処理部１０２は、画像リストを参照し、各画像のミスショット情報から出力候補画像リストを生成する（Ｓ４２）。出力候補画像リストの例を図８に示す。図８において、no.は出力する順を示すインデックス番号であり、fileは、画像ファイル名である。この例においては、画像00002jpgは、画像00001jpgの類似画像であるのでミスショット画像として出力候補画像リストから外されている。又、画像00003jpgは、手ぶれ幅σが閾値を超えたのでミスショット画像として出力候補画像リストから外されている。画像00005jpgは、画像00004jpgの類似画像であるのでミスショット画像として出力候補画像リストから外されている。画像00007jpg、画像00008jpgは、画像00006jpgの類似画像であるのでミスショット画像として出力候補画像リストから外されている。

画像処理部１０２は出力候補画像リストに挙げられた画像の枚数、及び各画像の画像情報より、画像を出力する順番、時間、レイアウト情報等を記述した再生シナリオを作成する（Ｓ４３）。再生シナリオの例を図９に示す。図９においては、上から順に画像を出力するものとし、no.はインデックス番号であり、図８のインデックス番号に対応している。表示開始時刻は、表示を開始する時刻（秒）を示し、表示開始座標は、表示を開始するときの矩形画像表示領域の位置を示し、最初の２つの座標が矩形画像表示領域の左上の隅の座標、最後の２つの座標が矩形画像表示領域の右下の隅の座標を示している。

効果１は、画像を表示する際の効果であり、例えばF.Iはフェードイン、C.Iはカットインを示す。表示時間は画像を表示している時間（秒）を示す。効果２は、画像を表示しているときの効果であり、ズームイン、ズームアウト、スライド等である。表示終了座標は、表示を終了するときの矩形画像表示領域の位置を示し、最初の２つの座標が矩形画像表示領域の左上の隅の座標、最後の２つの座標が矩形画像表示領域の右下の隅の座標を示している。

再生シナリオの作成が終了したならば、画像処理部１０２は、この再生シナリオを参照して、画像データより出力画像を構築し、表示部１０３へ出力する（Ｓ４４）。図９に基づく出力画像の例を図１０に示す。

まず、no.1の画像である画像00001jpgの表示が時間０秒から開始される。表示領域は、左上隅座標（０，０）と右下隅座標（319，239）で囲まれる領域である。この画像は、フェードイン効果を伴って表示開始され、表示後ズームインされ画像が拡大される。表示領域は変わらない。そして、１０秒経過後フェードアウトにより消去される。

１０秒経過すると、No.2の画像である00004jpgとno.3の画像である00006jpgが表示される。表示領域は、それぞれ図９の表示開始座標で決定される領域である。これらの画像も表示開始の際、フェードイン効果を伴って表示開始される。そして、表示後ズームインされ画像が拡大される。表示領域は変わらない。そして、１０秒経過後フェードアウトにより消去される。

２０秒経過すると、No.4の画像である00013jpgとno.5の画像である00014jpgと、no.6の画像である00057jpgが表示される。表示領域は、それぞれ図９の表示開始座標で決定される領域である。これらの画像も表示開始の際、カットイン効果を伴って表示開始される。そして、表示後、画像00013jpgと画像0057jpgとが、１０秒間に亘りスライドされる。スライドの最終位置は、図９の表示終了座標で示される位置である。そして、１０秒経過後カットアウトにより消去される。

以下、各ミスショットにおいて、ミスショット情報に基づく画像選定を如何に行うかに関して述べる。先ず、ミスショットが手ぶれ、被写体ぶれの場合における選定手順を説明する。予め決められたぶれ幅の閾値Ｔ_Ｂに対し、画像リストに記載された各画像の手ぶれ／被写体ぶれに関するミスショット強度ｂ（ぶれ幅σ＝ｂ）を比較する。ｂ＞Ｔ_Ｂならばミスショットと判定し出力候補画像リストからは除外、そうでなければ出力画像リストに書き込む。これを、画像リスト上に記載の画像全てに実施する。以上が、手ぶれ、被写体ぶれの場合での画像の選定手順である。

次に、類似画像の場合に関して図７、図１１を用いて説明を行う。予め決められた距離Ｔ_Ｓにより、先に示した系統図（図７）の切断を行う（図１１）これにより、類似画像グループが決定する。この場合、図７に示す画像が、４つの類似グループに分けられる。

類似画像グループが決定した後、各グループにある画像から、画像リスト中で上位にあるもの１枚を選択し、出力画像候補リストに書き込む。すなわち各グループのうち、図１１で下線を施した画像（最初に撮像された画像）が、各類似グループの代表画像として出力画像リストに書き込まれ、他の画像は出力候補から除外される。

以上が、本実施の形態における画像選定の手順である。本実施例においては、手ぶれ、被写体ぶれに係る閾値Ｔ_Ｂ及び類似画像に係る閾値Ｔ_Ｓはそれぞれ予め決められたものであるとしたが、これはシステムにユーザーが閾値を入力する為のインターフェースを備えた上で、ユーザーが好みの値に入力できるようにしてもよいし、また、システムによるミスショットの自動判定がユーザーの感覚とずれた場合に、その旨をユーザーがシステムに通知するインターフェースを持たせた上で、ニューラルネット等の学習アルゴリズムを用いて、ユーザーの好みを反映した閾値を学習により決定する構成にしてもよい。

本発明の実施の形態の１例である画像表示システムのハードウェア構成を表す概要図である。画像読み込みモード時のシステムの動作フローを示すフローチャートである。ミスショット識別時のシステムの動作フローを示すフローチャートである。画像表示モード時のシステムの動作フローを示すフローチャートである。画像リストの一例を示す図である。得られたＰＳＦの例を示す図である。クラスタリングの結果生成される系統図の一例を示す図である。出力候補画像リストの例を示す図である。再生シナリオの例を示す図である。図９に示す再生シナリオに基づく表示画像の例を示す図である。図７の系統図を所定の閾値で切断した結果生成される類似画像グループの例を示す図である。

符号の説明

１００…モニタ、１０２…画像処理部、１０３…表示部、１０４…可搬性メモリ、１０５…ミスショット検出部、１０６…ミスショット識別開始スイッチ、１０７…画像出力開始スイッチ

Claims

デジタル画像を保存する記憶装置とデジタル画像を表示する表示部を有し、画像表示指令に基づいて、前記記憶装置に保存された前記デジタル画像を順次自動的に前記表示部に表示する画像表示システムであって、前記記憶装置に保存された前記デジタル画像が、表示するに相応しいデジタル画像か否かを判定する判定手段を有し、当該判定手段により、表示するに相応しくないと判定されたデジタル画像は表示しないようにする機能を有することを特徴とする画像表示システム。
前記判定手段が、表示するに相応しくないデジタル画像を判定するにあたり、その相応しくない度合いを数値化した上で、当該数値が予め定められた所定の閾値を超えるか否かによって、表示するに相応しいか否かを判定する機能を有することを特徴とする請求項１に記載の画像表示システム。
前記所定の閾値を、ユーザーが設定可能であることを特徴とする請求項２に記載の画像表示システム。
前記表示するに相応しくないデジタル画像が、連続撮影写真等、記憶装置内に冗長に保存されている類似デジタル画像群であることを特徴とする請求項１から請求項３のうちいずれか１項に記載の画像表示システム。
前記表示するに相応しくないデジタル画像が、撮影に失敗したデジタル画像であることを特徴とする請求項１から請求項４のうちいずれか１項に記載の画像表示システム。
前記撮影に失敗したデジタル画像が、手ぶれ又は被写体ぶれを数値化した値が予め定められた所定の値を超えるデジタル画像であることを特徴とする請求項５に記載の画像表示システム。
前記手ぶれを数値化した値が、画像解析により、手ぶれ形状と物理的に対応するＰＳＦ（Point Spread Function）を推定し、その結果求まる手ぶれ幅であることを特徴とする請求項６に記載の画像表示システム。
撮影時情報であるＡＦ（Auto Focus）エリア情報を基に主要被写体領域を判断し、これにより被写体ぶれの数値化を行うことを特徴とする請求項６に記載の画像表示システム。
前記判定手段が判定した結果に対し、ユーザーが自分の感覚と合うか否かの評価情報を入力する手段を持ち、前記判定手段は、その評価情報を基に、自己の判定基準をユーザーの感覚と合うように学習、更新する機能を有することを特徴とする請求項１から請求項８のうちいずれか１項に記載の画像表示システム。