JP2006173716A - 画像編集装置及び画像編集プログラム並びに操作履歴記録装置 - Google Patents

Abstract

【課題】 多数の静止画像データの中からフォトムービーにすべき所望の静止画像データを容易に抽出することのできる画像編集装置を提供すること。
【解決手段】 ＨＤＤ１８には、フォトムービーの素材となる静止画像データを格納した画像ファイルが多数記憶されている。各画像ファイルのタグ領域には、ユーザの静止画像の思い入れにかかる種々の情報がメタデータとして記録されている。データ記録部３０は、ＨＤＤ１８から画像ファイルが読み出された際に、その静止画像データのメタデータを読み込み、メタデータの更新を行う。重要度算出部３２は、メタデータに記録された情報を基に各静止画像の重要度を算出し、算出した重要度をメタデータに記録する。ユーザからフォトムービーの生成が指示された際には、ＣＰＵ１２が重要度の高い順に指定された数の静止画像を抽出する。
【選択図】 図１

Description

本発明は、複数の静止画像データを素材として使用し、これに加工編集を施してフォトムービーを生成する画像編集装置に関する。

デジタルスチルカメラなどで取得した複数の静止画像データを、１つの動画像データに編集して鑑賞する、いわゆるフォトムービーが、特許文献１などで知られている。このフォトムービーでは、例えば、静止画像データの一部を切り出して部分的にクローズアップする電子ズーム処理や、切り出し枠を静止画像データの端から端へ移動させることで擬似的に視点を移動させる電子パーン処理、装飾画像との合成処理などといった特殊効果（以下、エフェクトと称す）を施すことにより、複数の静止画像データを所定の時間間隔で切り替え表示する一般的な画像ビューワソフトのスライドショー機能などとは異なる静止画像データの利用方法を提供している。なお、本明細書においては、静止画像を表す電子データを称す際に「静止画像データ」、ディスプレイなどに表示された静止画像そのものを称す際に「静止画像」と記す。また、動画像などの他のデータに関しても同様に記すものとする。

特許文献１には、静止画像データを素材としてフォトムービーを作成する画像編集ソフトウエアが開示されている。この画像編集ソフトウエアは、パーソナルコンピュータ（以下、ＰＣと称す）で使用することを想定して作られているため、ＰＣのユーザであれば、一般家庭でもこのソフトウエアを使用してフォトムービーを作成することができる。

また、ＰＣを持たない人や操作に不慣れな人のため、例えば、写真のプリントサービスやデジタルデータの記録メディアへの書き込みサービスを提供するＤＰＥショップなど（以下、業者と称す）で、フォトムービーの作成代行サービスが行われている。
特開平１０−２００８４３号公報

一般家庭におけるＰＣのユーザの中には、数１００から数１０００の静止画像データを所有していることもある。このようなユーザの場合、フォトムービーにすべき所望の静止画像データを抽出する際に、多数の静止画像データの一つ一つを確認しなければならないので、作成に時間がかかるとともに面倒であるという問題があった。

一方、業者がフォトムービーを作成する場合に、注文者から渡された静止画像データが多数であると、上述と同様の問題が起きる。また、確認を行ったとしても、注文者が所望する静止画像データがどれであるかの判断がつかないといった問題もある。

本発明は、上記課題を鑑みてなされたものであって、多数の静止画像データの中からフォトムービーにすべき所望の静止画像データを容易に抽出することができる画像編集装置及び画像編集プログラム並びに操作履歴記録装置を提供することを目的とする。

上記課題を解決するため、本発明の画像編集装置は、素材となる複数の静止画像データを記憶する記憶媒体と、この記憶媒体から前記各静止画像データを読み出して前記表示手段に再生表示させる画像再生指示を含む複数種類の操作指示の回数と、その指示内容とを前記静止画像データ毎の操作履歴として記録する操作履歴記録手段と、前記操作履歴を基にして、前記静止画像データ毎の重要度を算出する重要度算出手段と、算出された重要度に基づいて、前記各静止画像データの中から、条件として指定された数の静止画像データを抽出するデータ抽出手段とを備えたことを特徴とする。

なお、前記指示内容には、前記各静止画像データに対する拡大操作指示も含まれることが好ましい。

また、前記画像再生指示に応じて前記各静止画像データが前記表示手段に再生表示された際に、その表示時間を計測する計測手段を設けて、前記操作履歴記録手段は、前記計測手段が計測した前記表示時間を、前記操作履歴に含めることが好ましい。

また、前記重要度は、前記各静止画像データを格納する電子ファイルに格納されることが好ましい。

なお、前記重要度は、前記各静止画像データとは別に、前記各静止画像データのＩＤと関連付けて格納されるようにしてもよい。

また、前記操作指示には、前記各静止画像データの外部への転送指示と、プリント出力指示との少なくとも一方が含まれていることが好ましい。

また、前記操作履歴記録手段は、前記記憶媒体に記憶された前記フォトムービーを含む動画像データと音楽データとの前記操作履歴の記録も行い、前記重要度算出手段は、前記動画像データと前記音楽データとの前記重要度の算出も行うことが好ましい。

また、前記操作履歴記録手段は、前記動画像データが再生された際に、少なくとも早送りと巻き戻しとを含む複数種類の動画像再生指示を、前記操作履歴に含めることが好ましい。

さらに、前記重要度算出手段は、前記動画像再生指示を基にして、１つの前記動画像データの再生シーン毎に前記重要度を算出することが好ましい。

また、前記重要度算出手段は、前記データ抽出手段が抽出した静止画像データに対して、削除と新たな静止画像データの追加とを含む更新操作が行われた際に、この更新操作がなされた前記静止画像データの前記重要度を、前記更新操作の内容に応じて更新することが好ましい。

なお、本発明の画像編集プログラムは、複数の静止画像データを記憶する記憶媒体から前記各静止画像データを読み出して表示手段に再生表示させる画像再生指示を含む複数種類の操作指示の回数と、その指示内容とを前記静止画像データ毎の操作履歴として記録する手順と、前記操作履歴を基にして、前記静止画像データ毎の重要度を算出する手順と、算出された重要度に基づいて、前記各静止画像データの中から、条件として指定された数の静止画像データを抽出する手順とをコンピュータに実行させることを特徴とする。

なお、本発明の操作履歴記録装置は、記憶媒体に記憶された静止画像データを表示手段に再生表示させる画像再生指示を含む複数種類の操作指示の回数と、その指示内容とを前記静止画像データの操作履歴として記録する操作履歴記録手段を備えたことを特徴とする。

また、前記操作履歴を基にして、前記静止画像データの重要度を算出する重要度算出手段を設けることが好ましい。

所有者にとって思い入れの深い静止画像が記録された静止画像データは、読み出される回数や読み出された後に拡大などの操作が行われることが多い。静止画像データの所有者が、フォトムービーを生成しようとする際には、こうした思い入れの深い静止画像データを使いたいと所望することが一般的である。本発明の画像編集装置によれば、複数種類の操作指示の回数と、その内容とを、静止画像データ毎の操作履歴として操作履歴記録手段が記録し、この操作履歴を基にして重要度算出手段が、所有者の思い入れの深さを数値化するように静止画像データ毎の重要度を算出する。データ抽出手段は、記憶媒体に記憶された複数の静止画像データの中からフォトムービーの条件として指定された数の静止画像データを抽出する際に、重要度を基づいて抽出を行うので、所有者が所望する静止画像データを容易に抽出することができる。

［第１実施形態］
図１は、フォトムービーを生成する画像編集装置１０の概略構成を示すブロック図である。画像編集装置１０は、例えば、ＣＤやＤＶＤなどの各種の光記録メディア４０やメモリカード４２などに格納された静止画像データを取り込み、これを素材としてフォトムービーを作成する。この画像編集装置１０は、テレビ５０に接続されてリモコン５２によって操作されることにより、一般家庭でもフォトムービーを生成することができる。

画像編集装置１０は、画像編集装置１０全体を制御するＣＰＵ１２と、光記録メディア４０にデータを読み書きするマルチドライブ１４と、メモリカード４２にデータを読み書きするカードスロット１６と、読み込まれた静止画像データや画像編集装置１０を制御するプログラムなどが記憶されるハードディスクドライブ（記憶媒体）１８（以下、ＨＤＤ１８と称す）と、ＣＰＵ１２が種々の処理を行う際に作業用メモリとして機能するＲＡＭ２０と、テレビ５０に映像信号を出力するビデオエンコーダ２２と、テレビ５０に音声信号を出力するオーディオエンコーダ２４と、リモコン５２からの指示を受け付ける赤外線センサ２６と、インターネットに接続するためのモデム２８と、それぞれ専門の処理を受け持つデータ記録部（操作履歴記録手段）３０、重要度算出部（重要度算出手段）３２、フォトムービー生成部３４とから構成されている。また、これらの各部は、バス３６を介してそれぞれ接続されており、ＣＰＵ１２は、ＨＤＤ１８に記憶されたオペレーションプログラムに従って、装置の各部を統括的に制御する。

また、画像編集装置１０には、プリンタドライバ３８を介して、指示された静止画像を普通紙や印画紙などにプリントするプリンタ４４が接続されている。

マルチドライブ１４は、１回記録型のＣＤ−Ｒ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、及び再書き込みが可能なＣＤ−ＲＷ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＤＶＤ−ＲＡＭなどの各種の光記録メディア４０に対応しており、これらの各光記録メディア４０に記録された静止画像データなどの読み込みと、ＨＤＤ１８に記憶されている静止画像データなどの書き込みとを行う。

カードスロット１６は、例えば、コンパクトフラッシュ（登録商標）やＳＤカード、及びスマートメディアなどのメモリカード４２を着脱自在に保持し、これらに記録された静止画像データなどの読み込み、もしくは書き込みを行う。これにより、デジタルスチルカメラなどで撮像された静止画像データを読み込むことができる。なお、マルチドライブ１４やカードスロット１６の他に、例えば、ＵＳＢやＩＥＥＥ１３９４などの通信ポートを設けて、デジタルスチルカメラやＰＤＡなどの電子機器と有線で直接通信できるようにしてもよい。

ＨＤＤ１８には、フォトムービーの素材となる複数の静止画像データの他に、フォトムービーの生成の際にこれらの静止画像データと合成される装飾画像データや、音楽データなどが記憶されている。装飾画像には、対象となる画像の不要な部分を覆うマスク画像や、対象となる画像の嵌め込み枠が規定され、イラストなどの装飾が施されたテンプレート画像などがある。こうした装飾画像は、素材となる静止画像の背景を飾ったり、ワンポイントの装飾を加えるなど、フォトムービーのフレームに彩を与える。また、静止画像のイメージに合った音楽をＢＧＭとして付与することにより、フォトムービーの質を向上させることができる。

また、各静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式でＨＤＤ１８に記憶されている。これらの画像ファイルには、静止画像データを格納するデータ領域と、そのデータの内容などを示すメタデータを格納するタグ領域とが用意されている。各画像ファイルのタグ領域には、例えば、表示回数、表示時間、電子メール送信（添付）回数、画像拡大操作回数、及びプリント回数などの情報（表１参照）が、メタデータ（すなわち、請求項記載の操作履歴に相当）として記録されている。

モデム２８は、画像編集装置１０をインターネットに接続して、インターネット上のホームページをテレビ５０に表示させたり、電子メール（以下、メールと称す）の送受信を行う。このモデム２８は、ナローバンド対応のダイヤルアップモデムでもよいし、ブロードバンド対応のＡＤＳＬモデムであってもよい。また、光通信ネットワークやケーブルネットワークなどを介してインターネットに接続する場合には、モデム２８の代わりに、それぞれに対応した通信Ｉ／Ｆ機器を用いればよい。

データ記録部３０、重要度算出部３２、フォトムービー生成部３４は、いわゆるコプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１２の処理動作を補助する。

データ記録部３０は、静止画像の鑑賞やメールへの添付などでＨＤＤ１８から画像ファイルがＲＡＭ２０に読み出された際に、その画像ファイルに格納されたメタデータを読み込むとともに、表示時間や拡大操作回数などの読み出された後に静止画像データに行われた操作の情報を一時的に記録していく。データ記録部３０は、画像ファイルが閉じられた（表示の終了、メールの送信完了など）ことに応じて、一時的に記録された操作の情報を基にメタデータの更新を行い、更新したメタデータを元の画像ファイルに記録する。

一般に、ユーザにとって思い入れの深い静止画像を記録した静止画像データは、読み出される回数が多かったり、表示される時間が長かったりする。重要度算出部３２は、データ記録部３０でメタデータの更新が行われた際に、その静止画像データに対応するメタデータを画像ファイルから読み込み、読み込んだメタデータを基にして重要度を、例えば、下表１に示すように算出して、ユーザの思い入れの深さを数値化する。また、重要度算出部３２は、算出した重要度を元のメタデータに記録する。

重要度は、例えば、表示回数をＸ１、表示時間をＸ２、メール送信回数をＸ３、画像拡大操作をＸ４、プリント回数をＸ５としたとき、下式（１）で示されるように、各パラメータの値に対して所定の定数を積算し、それらの和をとることによって算出される。これにより、表示回数が多い静止画像データや表示時間が長い静止画像データの重要度が高く設定される。
重要度＝ａ×Ｘ１＋ｂ×Ｘ２＋ｃ×Ｘ３＋ｄ×Ｘ４＋ｅ×Ｘ５ ・・・（１）

なお、表１においては、ａ＝２、ｂ＝０．５、ｃ＝１、ｄ＝１、ｅ＝１として、各静止画像データの重要度を算出している。但し、各定数は上記に限るものではない。例えば上記では、ユーザの意思に直結する表示回数は重要とみて定数ａを２とし、単なる消し忘れなどの可能性がある表示時間は軽くみて定数ｂを０．５としている。このように、各定数は、パラメータの特性などを考慮して任意に設定すればよい。さらに、ａ、ｂ、ｃ、ｄ、ｅを変数として、例えば、各パラメータの値に応じて変化するように、予めテーブル化したものであってもよい。

フォトムービー生成部３４は、ＣＰＵ１２からフォトムービーの生成が指示された際に、入力された編集条件に基づいてプレイリストを作成し、このプレイリストを基に静止画像データに対してエフェクトや画像合成などの加工編集を施してフォトムービーを生成する。

画像編集装置１０は、インターネットを鑑賞するネットサーフィンモードと、メールの送受信を行うメーラーモードと、ＨＤＤ１８に記憶された静止画像を鑑賞するビューワモードと、ＨＤＤ１８に記憶された画像ファイルからフォトムービーを生成するエディットモード、及びこれらを切り替えるためのシステムモードとを有しており、リモコン５２からの指示に応じて各モードが切り替えられる。

図２は、リモコン５２の構成を概略的に示す平面図である。リモコン５２には、画像編集装置１０の電源のＯＮ／ＯＦＦを切り替える電源ボタン５３、テレビ５０にメニューリストを表示させるメニューボタン５４、メニューの決定操作などを行う決定ボタン５５、メニューの選択操作などを行う十字キー５６、数字を入力するテンキー５７、及び赤外線センサ２６に所定の信号を送信する送信部５８が配されている。送信部５８の内部には、図示せぬ赤外線ＬＥＤが設けられており、各ボタンの押圧操作に応じて所定の信号を送信し、画像編集装置１０に指示を与える。なお、本実施形態では、画像編集装置１０に指示を与えるものとして、リモコン５２が用いられているが、これに限ることなく、マウスやキーボードなどを用いるようにしてもよい。

リモコン５２に設けられた電源ボタン５３の押圧操作などにより画像編集装置１０に電源が投入されると、ＨＤＤ１８に記憶されたオペレーションプログラムに従ってＣＰＵ１２が処理を開始し、画像編集装置１０がシステムモードになる。システムモードでは、ビデオエンコーダ２２を介して図３に示すモード選択画面６０がテレビ５０に表示され、各モードへの移行待機状態となる。モード選択画面６０には、ネットサーフィンモードに移行するためのモードアイコン６１、メーラーモードに移行するためのモードアイコン６２、ビューワモードに移行するためのモードアイコン６３、及びエディットモードに移行するためのモードアイコン６４が設けられている。また、モード選択画面６０が表示されている状態でリモコン５２の十字キー５６を押圧操作すると、ポインタ６５が移動する。このポインタ６５を各モードアイコン６１〜６４のいずれかの上に移動させ、決定ボタン５５を押圧操作することにより、画像編集装置１０が各モードに移行する。

ネットサーフィンモードでは、モデム２８が画像編集装置１０をインターネットに接続し、ビデオエンコーダ２２を介してテレビ５０にインターネット上のホームページなどが表示される。

メーラーモードでは、ユーザが契約したプロバイダなどのメールボックスにモデム２８がアクセスし、新着メールや開封済みメールの確認を行う、いわゆる受信トレイがテレビ５０に表示される。

また、ＰＣなどで用いられる一般的なメーラーと同様に、作成した新規メールの送信、及び受信メールの返信や転送も行うことができる。この際、ＨＤＤ１８に記憶された画像ファイルが読み出されてメールに添付されると、データ記録部３０は、添付された画像ファイルのメタデータを読み込む。画像ファイルが添付されたメールが送信されると、データ記録部３０は、メタデータのメール送信回数に１を加えるようにメタデータを更新し、更新したメタデータを元の画像ファイルに記録する。

更新されたメタデータが画像ファイルに記録されると、そのメタデータを重要度算出部３２が読み込む。重要度算出部３２は、読み込んだメタデータを（１）式のように演算して重要度を算出し、この重要度をさらにメタデータに記録する。

ビューワモードでは、ビデオエンコーダ２２を介して図４に示す第１ビューワ画面７０がテレビ５０に表示される。ＨＤＤ１８に記憶されている画像ファイルは、鑑賞する際に煩雑になることを防ぐため、例えば、運動会や旅行などといった種類毎に分類されてフォルダに格納されている。第１ビューワ画面７０には、このフォルダに対応する複数のフォルダアイコン７２が設けられている。ポインタ６５を、これらの各フォルダアイコン７２のいずれかの上に移動させ、決定ボタン５５を押圧操作することにより、図５に示すように、選択されたフォルダアイコン７２に対応するフォルダに格納された画像ファイルを示す第２ビューワ画面７４にテレビ５０の表示が切り替わる。なお、これ以降は、フォルダアイコン７２とＨＤＤ１８に記憶されたフォルダとを同義として扱い、例えば、フォルダアイコン７２に対応するフォルダに格納された画像ファイルは、フォルダアイコン７２に格納された画像ファイルと記す。

第２ビューワ画面７４には、選択されたフォルダアイコン７２に格納された画像ファイルを示す複数の画像アイコン７６が設けられている。この画像アイコン７６の上にポインタ６５を移動させて決定ボタン５５を押圧操作することにより、各画像アイコン７６に対応する画像ファイルに格納された静止画像データがＨＤＤ１８から読み出され、その静止画像データに記録された静止画像がテレビ５０に表示される。なお、図５には１５個の画像アイコン７６が表示されているが、より多数の画像アイコン７６の表示が必要な場合には、各画像アイコン７６を小さくして全てを表示するようにしてもよいし、画面をスクロールするようにしてもよい。また、画面の端にプレビューウィンドウを設けて、ポインタ６５が画像アイコン７６の上にきた際に、その画像アイコン７６に対応する静止画像を、プレビュー表示するようにしてもよい。

テレビ５０に静止画像が表示されると、表示された静止画像データに対応するメタデータを、データ記録部３０が読み込む。データ記録部３０は、静止画像の表示と同時に計時を開始して静止画像の表示時間を計るとともに、表示された静止画像の拡大操作などの情報を一時的に記録していく。リモコン５２からの指示により静止画像の表示が解除されると、データ記録部３０は、メタデータの表示回数に１を加え、計った表示時間と記録した拡大操作の回数とを加算してメタデータを更新し、更新したメタデータを元の画像ファイルに記録する。なお、拡大操作の情報を記録する際に、静止画像の拡大された部分の情報をも記録しておき、例えば、電子ズーム処理などのエフェクトを付加する際に、この情報を読み込んで利用するようにしてもよい。

また、メーラーモードと同様に、更新されたメタデータが画像ファイルに記録されると、そのメタデータを重要度算出部３２が読み込む。重要度算出部３２は、読み込んだメタデータを（１）式のように演算して重要度を算出し、この重要度をさらにメタデータに記録する。

また、ビューワモードでは、フォルダアイコン７２の追加や削除、各フォルダアイコン７２の間での静止画像データの移動、及び光記録メディア４０またはメモリカード４２からの画像ファイルの取り込みや書き込み、さらには画像ファイル自体の削除など、ＨＤＤ１８に記憶された画像ファイルのメンテナンスを行うことができる。なお、図４、及び図５では、複数のフォルダアイコン７２、及び画像アイコン７６が表示されているが、当然これらは１個である場合もあるし、１個もない場合もある。また、フォルダアイコン７２が１個もない場合には、第１ビューワ画面７０を飛ばし、第２ビューワ画面７４が表示される。

さらに、ビューワモードでは、例えば、メニューボタン５４や決定ボタン５５を押圧操作して、プリンタドライバ３８を介してプリンタ４４にプリント出力指示を与えることにより、テレビ５０に表示した静止画像をプリントすることができる。プリント出力指示が与えられると、データ記録部３０は、メタデータのプリント回数に１を加算してメタデータを更新し、更新したメタデータを元の画像ファイルに記録する。なお、この際の重要度の算出は、表示の解除時に同時に行えばよい。

エディットモードでは、まずフォトムービーにすべき静止画像データを抽出するため、ビデオエンコーダ２２を介して図４に示す第１ビューワ画面７０がテレビ５０に表示される。ポインタ６５を、各フォルダアイコン７２のいずれかの上に移動させ、決定ボタン５５を押圧操作することにより、フォルダアイコン７２が選択される。フォルダアイコン７２は複数選択可能であって、所望のフォルダアイコン７２を全て選択した後、フォルダアイコン７２がないところにポインタ６５を移動させて決定ボタン５５を押圧操作すると、フォルダアイコン７２の選択が終了してフォトムービーにすべき静止画像の枚数（以下、作成枚数と称す）を入力する小ウィンドウ（図示は省略）が第１ビューワ画面７０内に表示される。この小ウィンドウが表示された状態でテンキー５７を押圧操作すると、小ウィンドウ内に押圧した数字が表示される。作成枚数を小ウィンドウに入力した後で決定ボタン５５を押圧操作することにより、静止画像データを抽出するための抽出条件の設定が終了する。

ＣＰＵ１２は、選択されたフォルダアイコン７２に格納されている全ての画像ファイルのメタデータを読み込み、重要度の高い順に作成枚数分の静止画像データを抽出してＨＤＤ１８からＲＡＭ２０に読み出し、その静止画像データの記録する静止画像をテレビ５０に表示する。すなわち、ＣＰＵ１２は請求項記載のデータ抽出手段に相当している。なお、ＣＰＵ１２が静止画像データの抽出を行う際に、例えば、静止画像データの作成日時の範囲を指定するなど、さらに細かな抽出条件を設定できるようにしてもよい。

例えば、運動会のフォルダアイコン７２が選択され、作成枚数に９が入力された場合、ＣＰＵ１２は運動会のフォルダアイコン７２に格納された画像ファイルのメタデータを読み込み、重要度の高い順に９個の静止画像データを抽出して、抽出した静止画像データの記録する静止画像を、図６に示すような抽出画面８０として、テレビ５０に表示する。

抽出画面８０が表示された状態でメニューボタン５４を押圧操作すると、抽出画面８０内にメニューリストが表示され、ＣＰＵ１２が抽出した静止画像データの削除や、フォルダアイコン７２に格納された他の静止画像データとの入れ替え、及び追加などの更新操作を行うことができる。これらの更新操作が終了した後、抽出画面８０が表示された状態で静止画像のないところにポインタ６５を移動させて決定ボタン５５を押圧操作することにより、素材が決定される。なお、静止画像データの更新操作が行われた際に、例えば、追加された静止画像データの重要度には所定の値を加えて重要度を上げ、削除された静止画像データの重要度からは所定の値を引いて重要度を下げるなどのように、重要度算出部３２で重要度の更新を行い、次に素材の抽出が行われる際に、これらの更新操作の結果が反映されるようにすることが好ましい。

素材が決定されると、ＣＰＵ１２は、決定した素材をフォトムービー生成部３４に入力する。フォトムービー生成部３４は、別途設定される主要エフェクトやＢＧＭなどの編集条件に基づいて入力された素材に加工編集を施し、例えば、図７に示すようなプレイリストを作成して、このプレイリストに基づいたフォトムービーを作成する。なお、プレイリスト及びフォトムービーの作成方法については、公知の方法を用いればよい。また、フォトムービー生成部３４は、作成したプレイリスト及びフォトムービーを、元となった静止画像データが格納されているＨＤＤ１８のフォルダ、もしくはそれぞれの専用のフォルダなどに保存する。

次に、上記構成による画像編集装置１０の作用について、図８〜１０のフローチャートを参照して説明する。リモコン５２に設けられた電源ボタン５３を押圧操作すると、画像編集装置１０がシステムモードで起動し、テレビ５０に図３に示すモード選択画面６０が表示されて各モードへの移行待機状態となる。

ユーザがメーラーモードを選択（図８参照）し、新規のメールや受信メールの返信や転送などで送信メールを作成する際に、ＨＤＤ１８に記憶された画像ファイルを添付すると、添付された画像ファイルのメタデータが、データ記録部３０に読み込まれる。読み込まれたメタデータは、メールが送信されたことに応じてデータ記録部３０によりメール送信回数に１を加えるように更新され、元の画像ファイルに記録される。また、更新されたメタデータは、重要度算出部３２に読み込まれて重要度の算出が行われた後、算出された重要度が書き込まれて再び元の画像ファイルに記録される。

ユーザがビューワモードを選択（図９参照）すると、テレビ５０の表示がモード選択画面６０から図４に示す第１ビューワ画面７０に切り替わる。第１ビューワ画面７０でいずれかのフォルダアイコン７２を選択すると、テレビ５０の表示が第１ビューワ画面７０から図５に示す第２ビューワ画面７４に切り替わり、この第２ビューワ画面７４でいずれかの画像アイコン７６を選択することにより、その画像アイコン７６に対応する画像ファイルの静止画像データがＨＤＤ１８から読み出されて静止画像がテレビ５０に表示される。これによりユーザは、ＨＤＤ１８に記憶された各静止画像データの静止画像を鑑賞することができる。

テレビ５０に静止画像が表示されると、表示された画像ファイルのメタデータがデータ記録部３０に読み込まれるとともに、静止画像の表示時間がデータ記録部３０によって計時される。また、静止画像が表示されている間に操作された拡大などの情報は、データ記録部３０に一時的に記録されていく。

また、静止画像がテレビ５０に表示された状態でプリント出力指示が与えられると、表示されている静止画像がプリンタ４４によってプリントされるとともに、データ記録部３０がプリント回数に１を加えるようにメタデータを更新する。

静止画像の表示が解除されると、表示時間の計時と操作情報の記録とが終了する。データ記録部３０に読み込まれたメタデータは、表示回数に１が加えられるとともに計った表示時間と記録した拡大操作の回数とが加えられて更新された後、元の画像ファイルに記録される。また、更新されたメタデータは、重要度算出部３２に読み込まれて重要度の算出が行われた後、算出された重要度が書き込まれて再び元の画像ファイルに記録される。

ユーザがエディットモードを選択（図１０参照）すると、テレビ５０の表示がモード選択画面６０から図４に示す第１ビューワ画面７０に切り替わる。この第１ビューワ画面７０で素材となる画像ファイルが格納されたフォルダアイコン７２を選択した後、ポップアップ表示された小ウィンドウ内に作成枚数を入力して決定ボタン５５を押圧操作することにより、静止画像データを抽出するための抽出条件の設定が終了する。

抽出条件の設定が終了すると、選択されたフォルダアイコン７２から重要度の高い順に作成枚数分の静止画像データが抽出され、それらの静止画像データが記録する静止画像が、例えば、図６に示すように抽出画面８０としてテレビ５０に表示される。ユーザは、この抽出画面８０を確認して抽出された静止画像の良否を判定することができ、所望の静止画像が抽出されていない場合などには、選択したフォルダアイコン７２に格納された他の静止画像との入れ替えや追加などを行うことができる。また、抽出された静止画像の中に不要なものがあれば、その静止画像を削除することもできる。この際、追加された画像ファイルの重要度には所定の値を加えて重要度を上げ、削除された画像ファイルの重要度からは所定の値を引いて重要度を下げるように各メタデータの更新を行う。これらの操作が終了した後、静止画像のないところにポインタ６５を移動させて決定ボタン５５を押圧操作することにより素材が決定する。

素材が決定した後、主要エフェクトやＢＧＭなどの編集条件を入力すると、例えば、図７に示すようなプレイリストが作成され、このプレイリストと決定した素材とを基にフォトムービーが生成される。作成されたプレイリスト及びフォトムービーは、元となった画像ファイルが格納されているＨＤＤ１８のフォルダ、もしくはそれぞれの専用のフォルダなどに保存される。

このように本実施形態の画像編集装置１０によれば、データ記録部３０が表示回数や表示時間などの情報を、ユーザの静止画像に対する思い入れとして各画像ファイルのタグ領域にメタデータとして記録していき、これらの情報を基に重要度算出部３２が重要度を算出することにより、ユーザの静止画像に対する思い入れの深さを数値化する。エディットモードにおいてユーザがフォトムービーの生成を指示した際には、データ抽出手段としてのＣＰＵ１２が重要度の高い順に静止画像を抽出するので、選択したフォルダアイコン７２内に多数の画像ファイルが格納されていたとしても、フォトムービーにすべき所望の静止画像を容易に抽出することができる。

なお、上記実施形態では、ＪＰＥＧやＴＩＦＦ、及びＥＸＩＦなどの画像ファイルの、いわゆるタグ領域にメタデータを記録するようにしているが、これに限ることなく、例えば、フォルダ毎にメタデータを記録する専用のファイル（以下、ログファイルと称す）を作成しておき、フォルダ内に格納された全ての静止画像データのメタデータを、例えば、名称などといった各静止画像データのＩＤと関連付けてログファイルに記録していくようにしてもよい。

メタデータをタグ領域に記録した場合、フォルダアイコン７２内に格納された多数の画像ファイルの中から所望の静止画像を抽出する際に、その一つ一つのメタデータを読み込まなければならないので、抽出に時間がかかってしまう。一方、メタデータをログファイルに記録した場合、フォルダアイコン７２から画像ファイルを移動させた際に整合性が取れなくなってしまう。そのため、タグ領域とログファイルとの双方にメタデータを記録しておき、抽出の際にはログファイルを参照し、静止画像データを移動させた際にタグ領域を参照するなどして、これらを併用することが好適である。

また、上記実施形態では、素材を静止画像データのみに限定しているが、これに限ることなく、動画像データから１フレームを抜き出し、これを素材とするようにしてもよい。

さらに、上記実施形態では、静止画像データにのみ重要度を算出するようにしているが、これに限ることなく、例えば、素材となる動画像データ、ＢＧＭとして付与される音楽データ、作成したプレイリスト及びフォトムービーなどにおいても、静止画像データと同様に所定の情報をメタデータとして記録し、重要度を算出するようにしてもよい。この際、動画像データや音楽データなどにおいては、例えば、早送りされた部分の重要度を下げる、巻き戻された部分の重要度を上げる、フォトムービーに使われた部分の重要度を上げるなど、１つのデータ内でさらに細かく重要度を算出するようにしてもよい。

また、例えば、ユーザが編集条件として音楽データを選択する際などにメタデータを参照して、以前はよく再生されていたが最近はあまり再生されていない音楽を選択（ユーザに懐かしい印象を与える）したり、今まで一度も使われていない音楽を選択するなど、ユーザによる各データの選択時に、メタデータに記録された各種の情報を利用できるようにしてもよい。

また、上記実施形態では、テレビ５０に接続してリモコン５２で操作するプレーヤータイプの画像編集装置１０を示しているが、これに限ることなく、例えば、汎用のパーソナルコンピュータやワークステーションをベースにして画像編集プログラムをインストールしたタイプの画像編集装置に本発明を適用してもよい。

［第２実施形態］
上記第１実施形態では、メタデータを記録して重要度の算出を行う部分と、重要度を基に静止画像データを抽出してフォトムービーを作成する部分とが一体化され、一般家庭でもフォトムービーを作成することができる画像編集装置１０を示しているが、本発明はこれに限ることなく、メタデータを記録して重要度の算出を行う部分と、重要度を基に静止画像データを抽出してフォトムービーを生成する部分とを、それぞれ別の装置に分離させた画像編集システムとして考えてもよい。

図１１は、画像編集システム１００の構成を概略的に示すブロック図である。なお、上記第１実施形態と機能性能上同一であるものには同符号を付し、詳細な説明を省略する。

画像編集システム１００は、撮像した静止画像データをメモリカード４２に記録するデジタルスチルカメラ（操作履歴記録装置）１０２と、メモリカード４２から記録された静止画像データを取り込み、その静止画像データを素材としてフォトムービーを生成する画像編集装置１０４とから構成されている。

画像編集装置１０４は、例えば、写真のプリントサービスやデジタルデータの記録メディアへの書き込みサービスを提供するＤＰＥショップやコンビニエンスストアなどの業者に設置されており、メモリカード４２を持ち込んだ注文者や店員などのオペレータによって操作されてフォトムービーを生成した後、生成したフォトムービーを光記録メディア４０に書き出す。この光記録メディア４０が注文者に渡されることにより、フォトムービーが注文者に提供される。

デジタルスチルカメラ１０２は、撮像光学系１１０、画像信号処理回路１１２、ＬＣＤドライバ１１４、ＬＣＤパネル１１６、カードスロット１１８、データ記録部３０、重要度算出部３２などを有している。これらの各部はバス１２０を介して互いに接続されており、ＣＰＵ１２２によって統括的に制御される。また、ＣＰＵ１２２には、レリーズボタンやメニューボタンなどからなる操作部１２４が接続されている。

撮像光学系１１０は、レンズやイメージセンサなどからなり、ＣＰＵ１２２からのシャッタレリーズ指示に応じて被写体光を撮像し、デジタルの静止画像データを取得する。画像信号処理回路１１２は、撮像光学系１１０が取得した静止画像データに対して種々の画像処理を施した後、カードスロット１１８を介して処理後の静止画像データをメモリカード４２に保存する。

デジタルスチルカメラ１０２は、撮像光学系１１０を用いて静止画像データを取得する撮像モードと、取得した静止画像データをＬＣＤパネル１１６に表示して静止画像を確認する再生モードとを備えている。

再生モードにおいて静止画像が再生表示されると、上記第１実施形態のビューワモードと同様に、データ記録部３０が表示回数や表示時間などの情報をメタデータとして記録し、重要度算出部３２がメタデータを基に重要度を算出する。

画像編集装置１０４は、ＣＰＵ１２、マルチドライブ１４、カードスロット１６、ＨＤＤ１８、ＲＡＭ２０、フォトムービー生成部３４、バス３６、モニタ１４０などを有している。

ＣＰＵ１２は、カードスロット１６を介してメモリカード４２からフォトムービーにすべき複数の静止画像データを読み込むと、上記第１実施形態のエディットモードと同様に、各静止画像データのメタデータを読み込んで重要度の高い順に所定数の静止画像データを抽出し、抽出した所定数の静止画像データをフォトムービー生成部３４に送る。

フォトムービー生成部３４は、別途入力される編集条件に基づいて抽出された各静止画像データに加工編集を施し、プレイリストと、このプレイリストに基づいたフォトムービーを生成する。作成されたプレイリストとフォトムービーは、ＨＤＤ１８に一度保存された後、マルチドライブ１４を介してＤＶＤ−ＲやＣＤ−Ｒなどの光記録メディア４０に書き込まれて注文者に提供される。

このように本実施形態の画像編集システム１００によれば、メモリカード４２に多数の静止画像データが撮り貯められている場合でも、上記第１実施形態と同様に、フォトムービーにすべき所望の静止画像データを容易に抽出することができる。また、デジタルスチルカメラ１０２に設けられたＬＣＤパネル１１６で静止画像を確認するだけで重要度が設定されるので、注文者は重要度の設定に関して特に意識する必要がない。

また、フォトムービーの生成を行うのが業者の店員である場合には、注文者が所望する静止画像データがどれであるかの判断がつかないという問題があったが、本発明の画像編集システム１００によれば、注文者の所望する静止画像データが重要度として表されているので、こうした問題が起こることはなく、業者が提供するフォトムービー作成サービスの品質向上にも寄与する。

なお、上記実施形態においては、静止画像の再生表示時にのみ重要度を設定するようにしているが、これに限ることなく、例えば、短い時間間隔で連続的に撮像されている静止画像データは重要度を高くしておくなど、静止画像データの取得時に重要度を設定するようにしてもよい。

また、上記実施形態では、光記録メディア４０やメモリカード４２などの記録媒体を介して静止画像データや作成されたフォトムービーなどのデータ交換を行っているが、インターネットを介してデータ交換を行う、いわゆるネット注文であってもよい。

さらに、上記実施形態では、画像編集装置１０４側で静止画像の抽出を行うようにしているが、デジタルスチルカメラ１０２側で抽出を行えるようにしてもよい。

また、上記実施形態においては、操作履歴記録装置としてデジタルスチルカメラ１０２を用いているが、これに限ることなく、例えば、ＰＤＡや携帯電話、及び家庭用のＰＣなどであってもよい。

一般家庭用の画像編集装置の概略構成を示すブロック図である。 リモコンの構成を概略的に示す平面図である。 モード選択画面を示す説明図である。 第１ビューワ画面の一例を示す説明図である。 第２ビューワ画面の一例を示す説明図である。 抽出画面の一例を示す説明図である。 プレイリストの一例を示す説明図である。 メーラーモードにおける動作手順を示すフローチャートである。 ビューワモードにおける動作手順を示すフローチャートである。 エディットモードにおける動作手順を示すフローチャートである。 他の実施形態としての画像編集システムの構成を概略的に示すブロック図である。

符号の説明

１０、１０４ 画像編集装置
１２、１２２ ＣＰＵ
１８ ＨＤＤ（記憶媒体）
３０ データ記録部（操作履歴記録手段）
３２ 重要度算出部（重要度算出手段）
３４ フォトムービー生成部
４０ 光記録メディア
４２ メモリカード
１００ 画像編集システム
１０２ デジタルスチルカメラ（操作履歴記録装置）

Claims (13)

1. 複数の静止画像データを素材として使用し、これに加工編集を施してフォトムービーを生成するとともに、このフォトムービーを表示手段に出力して再生表示する画像編集装置において、
   前記各静止画像データを記憶する記憶媒体と、
   この記憶媒体から前記各静止画像データを読み出して前記表示手段に再生表示させる画像再生指示を含む複数種類の操作指示の回数と、その指示内容とを前記静止画像データ毎の操作履歴として記録する操作履歴記録手段と、
   前記操作履歴を基にして、前記静止画像データ毎の重要度を算出する重要度算出手段と、
   算出された重要度に基づいて、前記各静止画像データの中から、条件として指定された数の静止画像データを抽出するデータ抽出手段とを設けたことを特徴とする画像編集装置。
2. 前記指示内容には、前記各静止画像データに対する拡大操作指示も含まれることを特徴とする請求項１記載の画像編集装置。
3. 前記画像再生指示に応じて前記各静止画像データが前記表示手段に再生表示された際に、その表示時間を計測する計測手段を有し、前記操作履歴記録手段は、前記計測手段が計測した前記表示時間を、前記操作履歴に含めることを特徴とする請求項１又は２記載の画像編集装置。
4. 前記重要度は、前記各静止画像データを格納する電子ファイルに格納されることを特徴とする請求項１から３のいずれか１項に記載の画像編集装置。
5. 前記重要度は、前記各静止画像データとは別に、前記各静止画像データのＩＤと関連付けて格納されることを特徴とする請求項１から３のいずれか１項に記載の画像編集装置。
6. 前記操作指示には、前記各静止画像データの外部への転送指示と、プリント出力指示との少なくとも一方が含まれていることを特徴とする請求項１から５のいずれか１項に記載の画像編集装置。
7. 前記操作履歴記録手段は、前記記憶媒体に記憶された前記フォトムービーを含む動画像データと音楽データとの前記操作履歴の記録も行い、前記重要度算出手段は、前記動画像データと前記音楽データとの前記重要度の算出も行うことを特徴とする請求項１から６のいずれか１項に記載の画像編集装置。
8. 前記操作履歴記録手段は、前記動画像データが再生された際に、少なくとも早送りと巻き戻しとを含む複数種類の動画像再生指示を、前記操作履歴に含めることを特徴とする請求項７記載の画像編集装置。
9. 前記重要度算出手段は、前記動画像再生指示を基にして、１つの前記動画像データの再生シーン毎に前記重要度を算出することを特徴とする請求項８記載の画像編集装置。
10. 前記重要度算出手段は、前記データ抽出手段が抽出した静止画像データに対して、削除と新たな静止画像データの追加とを含む更新操作が行われた際に、この更新操作がなされた前記静止画像データの前記重要度を、前記更新操作の内容に応じて更新することを特徴とする請求項１から９のいずれか１項に記載の画像編集装置。
11. 複数の静止画像データを素材として使用し、これに加工編集を施してフォトムービーを生成するとともに、このフォトムービーを表示手段に出力して再生表示する処理をコンピュータに実行させる画像編集プログラムにおいて、
    前記各静止画像データを記憶する記憶媒体から前記各静止画像データを読み出して前記表示手段に再生表示させる画像再生指示を含む複数種類の操作指示の回数と、その指示内容とを前記静止画像データ毎の操作履歴として記録する手順と、
    前記操作履歴を基にして、前記静止画像データ毎の重要度を算出する手順と、
    算出された重要度に基づいて、前記各静止画像データの中から、条件として指定された数の静止画像データを抽出する手順とを含むことを特徴とする画像編集プログラム。
12. 記憶媒体に記憶された静止画像データを表示手段に再生表示させる画像再生指示を含む複数種類の操作指示の回数と、その指示内容とを前記静止画像データの操作履歴として記録する操作履歴記録手段を備えたことを特徴とする静止画像データの操作履歴記録装置。
13. 前記操作履歴を基にして、前記静止画像データの重要度を算出する重要度算出手段を設けたことを特徴とする請求項１２記載の操作履歴記録装置。
    

Images