JP2005277733A - 動画像処理装置 - Google Patents

Abstract

【課題】 ユーザが簡便に要約動画像を作成することを支援する動画像処理装置を提供する。
【解決手段】 動画像処理装置は、インタフェース画面２５０に動画像を再生表示し、ダイジェストボタン２０３から、ユーザが要約動画像に使用を希望するフレーム画像データの指定を受ける。但し、動画像処理装置は、ユーザがフレーム画像データを指定する際の目安標識となる最高標識２０９，分割標識２１０をフレーム画像データの評価値に基づいて表示している。
【選択図】 図６

Description

本発明は、動画像データから、その内容を要約した要約動画像データを生成する動画像処理装置に関する。

近年、ビデオカメラの普及に伴い、ビデオカメラを用いた撮影が一般的になりつつある。それと同時に、長時間多岐にわたって撮影された動画像データの内容を、短時間で簡単に把握したいという要望も高まっている。そこで、動画像データの要約情報としての要約動画像データ、いわゆるダイジェスト画像を生成する技術が提案されている。

例えば特許文献１では、自動的に要約動画像データを生成する技術が提案されている。特許文献１では、動画像データを複数のシーンに分割し、シーン毎に所定の評価値を求め、評価値の高いほうから、所定数のシーンを用いて要約動画像データを生成している。

一方では、ユーザ自身の手で要約動画像データを作成したいという要望もある。そこで、ユーザが実際に動画像を見ながら要約動画像を生成することを支援するアプリケーションが存在する。アプリケーションには、動画像を再生する機能や早送りする機能などがついており、ユーザは動画像を再生したり早送りしたりしながら、要約動画像に使用したい箇所を指定して、要約動画像データを生成する。

特開２００２−１４２１８９号公報

自動的に生成された要約動画像は必ずしもユーザの希望を反映したものとならないことから、上記したようなアプリケーションは一応有効ではある。しかし、動画像を一様に再生したり、早送りしたりしながら、要約動画像データに使用したいシーンを探すのは手間がかかるという問題があった。

本発明は、上記した問題点を解決するためになされたものであり、ユーザが簡便に要約動画像を作成することを支援する動画像処理装置を提供することを目的とする。

上記課題の少なくとも一部を解決する動画像処理装置は、時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した要約動画像データを生成する動画像処理装置であって、
前記動画像データを取得する取得部と、
前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす所定の評価値を算出する算出部と、
前記要約動画像データへの使用を希望する前記フレーム画像データである使用希望フレーム画像データを指定するためのインタフェース画面を提供するインタフェース提供部と、
ユーザによる前記使用希望フレーム画像データの指定を支援するために前記インタフェース画面上に提示される目安標識の表示形式を制御するための目安情報を、前記評価値に基づいて設定する目安設定部と、
前記使用希望フレーム画像データを特定する指定情報を入力する指定入力部と、
前記使用希望フレーム画像データを含んだ前記フレーム画像データの集合である指定フレームデータの少なくとも一部を用いて前記要約動画像データを生成する生成部と
を備え、
前記インタフェース画面は、
前記動画像データに基づく動画像を再生する再生表示エリアと、
前記動画像の再生箇所をグラフィック表示する再生箇所表示エリアと、
前記目安情報に基づいて前記目安標識を表示する目安表示エリアと
を備えることを特徴とする。

本発明によれば、ユーザは表示された目安標識を参考にして、簡便に使用希望フレーム画像データを選び出すことができる。目安情報は、例えば、目安標識の表示位置に関する情報、目安標識について文字、記号の種別や、表示形状、表示色に関する情報を含めることができる。指定情報は、ユーザが使用希望フレーム画像データを指定することにより入力される。

再生箇所を示すグラフィック表示は、例えばスライドバーで再生箇所を示す時間軸であっても良いし、長針や短針で再生箇所を示すアナログ時計のような表示であっても良い。このように、グラフィック表示は、動画像データの全再生時間のうち、現在再生している箇所の時間的な位置づけが視覚的に認識できる形式が好ましい。

目安表示エリアは任意の箇所に設けることができる。例えば、目安表示エリアを再生箇所表示エリアと重ね、目安標識をグラフィック表示上に、例えば、△や○などの記号や文字や所定の色で表示してもよい。こうすることで、ユーザは、目安標識と再生箇所の関係を視覚的に容易に把握することが可能となり、要約動画像に使用するフレーム画像データをより容易に選択することが可能となる。

目安標識は、例えば△や○などの記号や文字を用いて表示してもよいし、再生箇所のグラフィック表示の色を変更することで表示するようにしてもよい。目安標識は、評価値を文字で示すものであっても良い。その場合、目安情報は、表示する値及び目安標識の表示位置であるものとしても良い。

目安標識の表示位置は、評価値が動画像データ中最も高いフレーム画像データに相当する箇所など、評価値に基づいて設定してもよいし、所定のフレーム画像データ数おきというように設定してもよい。また、動画像データが複数のフレーム画像データを含むシーンに分割されている時は、シーンの切れ目に目安標識を表示するものとしても良い。

算出部は、評価値を、例えばビデオカメラのズーム操作やパン操作に基づいて算出しても良い。ズーム操作とは、ズームレンズを用いて被写体の像を拡大したり縮小したりすることである。パン操作とは、カメラの位置を固定したまま、カメラの向きを変えて広い範囲を撮影することである。

上記したインタフェース画面は、「動体の位置」「動体の大きさ」などの評価値の算出基準を、ユーザに選択させる評価基準選択エリアを備えるものとしても良い。評価値が最も高いフレーム画像データに相当する位置に目安標識を表示する場合などに有効である。この場合、ユーザは、評価値の算出基準を選択することにより、好みに応じた評価基準で目安標識を表示させることができる。

また、前記目安標識は前記評価値を視覚的に表したグラフ、記号および文字のいずれかであるものとしても良い。

評価値は、例えば、フレーム画像データ毎の評価値を示す折れ線グラフや棒グラフなどのグラフで表しても良いし、濃淡や色相の変化で表しても良い。目安標識は評価値を文字で示すものであっても良い。ユーザは、これらの表示を参照することにより、より評価値が分かりやすく、使用希望フレーム画像データを指定することがより容易になる。

上記した前記指定フレームデータは、前記使用希望フレーム画像データを含む、時系列的に連続した所定数以上の前記フレーム画像データの集合であるフレーム群で構成されるものとしても良い。

これによれば、ユーザが使用希望フレーム画像データを指定することで、要約動画像を見た者がその内容を把握できる程度の長さを確保したフレーム群を容易に指定することができる。

フレーム群の抽出は、種々の方法で行うことができる。例えば、使用希望フレーム画像データ及びその前後所定数のフレーム画像データをまとめてフレーム群としても良い。また、使用希望フレーム画像データの前後のフレーム画像データを評価値に基づいて所定数抽出しても良い。

使用希望フレーム画像データ1つに対して１つのフレーム群を抽出しても良いし、複数の使用希望フレーム画像データに対して１つのフレーム群を抽出しても良い。使用希望フレーム画像データが複数存在する場合、生成部は複数のフレーム群をつなぎあわせて要約動画像データを生成するものとしても良い。更に、生成部は、複数のフレーム群の再生順序をユーザに選択させる機能を備え、ユーザが選択した再生順序に従って要約動画像データを生成するものとしても良い。

また、前記指定情報は、前記フレーム群の最初と最後のフレーム画像データを指定するものとしても良い。

このようにすれば、フレーム群のフレーム画像データ数はユーザの意図を反映したものとすることができる。

上記した動画像処理装置の前記インタフェース提供部は、ユーザから再生開始箇所として指定されたフレーム画像データから前記動画像の再生を開始するものであっても良い。

本発明によれば、任意の箇所からの再生が容易になる。再生開始箇所を指定するためのインタフェースとしては、例えば、動画の再生箇所を示す時間軸上のスライドバーをユーザが移動させるようにとしても良い。また、ユーザが動画像の早送り量や巻き戻し量を時間やフレーム画像数などで指定するようにしても良い。

更に、前記再生開始箇所の指定は、前記目安情報と関連付けられたフレーム画像データ、および前記指定フレームデータから選択するものであっても良い。

こうすることで、上述のフレーム画像データにスキップして再生を行なうことができる。上記選択のためのインタフェースをボタンとし、押下される度に、上記フレーム画像を時系列的に順次選択するようにしても良い。

また、前記インタフェース提供部は、前記指定入力部に隣接して、前記再生開始箇所を指定するためのインタフェースを提供するものであっても良い。

ユーザは、要約動画像の作成にあたり、指定情報入力と、動画像の早送り等に相当する再生開始箇所の指定入力を連続して実行することが多い。よって、本発明によれば、要約動画像の生成時の操作性を向上させることができる。

上記した動画像処理装置の前記再生表示エリアは、前記指定情報の入力に呼応して、前記目安情報と関連付けられたフレーム画像データにスキップして前記動画像の再生を開始するものとしても良い。

これによれば、指定情報を入力すれば、自動的に目安情報と関連付けられたフレーム画像データにスキップして再生が行われるので、ユーザは、動画像を早送りしたり巻き戻ししたりする手間を省くことができる。

上記した動画像処理装置は、
前記指定情報を修正するための修正情報を入力する修正入力部と、
前記修正情報に基づき、前記指定フレームデータを修正する修正部と
を備えるものとしても良い。

これによれば、ユーザが一旦指定した使用希望フレーム画像データを変更することができる。修正情報は、任意の使用希望フレーム画像データを指定から外す、つまり任意の指定情報を削除するという情報であっても良い。その場合、修正部は、該指定情報に対応する指定フレームデータを削除するものとしても良い。

上記した動画像処理装置は、
前記再生箇所表示エリアは、前記指定フレームデータに対応する再生箇所を、他のフレーム画像データと区別可能に表示する指定箇所表示を有するものとしても良い。

このようにすれば、ユーザは、要約動画像に使用されるフレーム画像データの再生箇所を視覚的に把握することができる。

更に、前記指定箇所表示の位置の変更を入力する位置入力部と、
前記変更に基づき、前記指定フレームデータを修正する修正部と
を備えるものとしても良い。

これにより、ユーザは、視覚的に確認しながら指定フレームデータを修正することができる。

上記した動画像処理装置は、
前記要約動画像データの再生時間の希望値である希望再生時間を取得する希望再生時間取得部と、
前記希望再生時間に基づいて、前記指定フレームデータの数を調整する調整部と
を備えるものとしても良い。

本発明によれば、希望再生時間に応じた要約動画像データを生成することができる。

本発明は、動画像処理装置としての構成の他、動画像処理方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。

本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、動画像処理装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。

以下、本発明の実施の形態について、以下の項目に分けて説明する。
Ａ．実施例：
Ａ１．インタフェース画面の構成：
Ａ２．動画像処理装置の構成：
Ａ３．評価値の算出：
Ａ４．目安標識及び各ボタンの機能：
Ａ５．処理：
Ａ６．効果：
Ｂ．変形例：

Ａ．実施例：
Ａ１．インタフェース画面の構成：
図１は、実施例としての動画像処理装置のインタフェース画面を示す説明図である。動画像処理装置は、複数のフレーム画像データで構成された動画像データから、その要約情報である要約動画像データを、ユーザの指定に基づいて生成するための装置である。図１のインタフェース画面は、ユーザの指定を入力するために動画像処理装置により映し出される画面である。

なお、本実施例においては、フレーム画像データが表わす画像をフレーム画像と呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。また、動画像処理装置は、要約動画像の再生時間もユーザの希望にあうよう要約動画像を生成する。

インタフェース画面２５０ａの再生ボタン２０１は、マウスなどで選択されると、動画像を再生してビューウィンドウ２００に表示させる機能を持つボタンである。停止ボタン２０２は、選択されると、再生中の動画像を停止させる機能を持つボタンである。

ダイジェストボタン２０３は、ビューウィンドウ２００に表示されているフレーム画像を、ユーザが要約動画像データに使用することを望む使用希望フレーム画像であるものと決定するボタンである。スキップボタン２０４は、選択された際の再生箇所から、動画像における所定の箇所までスキップして、そこから再度動画像を再生してビューウィンドウ２００に表示させる機能を持つボタンである。

クリアボタン２０５は、選択されると、ダイジェストボタン２０３でなされた使用希望フレーム画像の決定を取り消す機能を持つボタンである。確定ボタン２０６は、使用希望フレーム画像を確定し、使用希望フレーム画像データに基づいた要約動画像データの生成処理を動画像処理装置に開始させる機能をもつボタンである。

確定ボタン２０６の機能は停止ボタン２０２に持たせ、確定ボタン２０６を省略しても構わない。また、ダイジェストボタン２０３，スキップボタン２０４，クリアボタン２０５の機能について詳しくは後述する。本実施例では、ユーザがダイジェストボタン２０３で使用希望フレーム画像を指定する際の目安標識を表示する。目安標識についても詳しくは後述する。

再生スライドバー２０８は、再生スライダ２０７と共に、ユーザに動画像の再生箇所を視覚的に示すためのバーであり、再生スライドバー２０８の全長は、動画像の再生時間に対応する。再生スライドバー２０８には、要約動画像の生成に用いられるフレーム画像データ（以下、指定フレームデータと呼ぶ）に対応する再生箇所（以下、指定箇所と呼ぶ）が赤色で表示される。但し、再生スライドバー２０８の基本色は白である。詳しくは後述する。

再生スライダ２０７は、動画像の再生箇所に応じて左端から右方向に再生スライドバー上を移動する。例えば、動画像が再生開始されてから、数分経過した際、ビューウィンドウ２００内では、船が矢印ｐｂの方向へ移動している。その際、再生スライダ２０７は、動画像の再生開始位置から矢印ｐａ方向に、再生スライダ２０７ａの位置まで移動する。ユーザは、再生スライダ２０７の位置を、マウスなどにより、移動することにより、動画像の再生開始箇所を指定することができる。

これらの他に、インタフェース画面には、ビデオデッキ等に備えられている早送りボタンや巻き戻しボタンやコマ送りボタンや一時停止ボタンに相当する機能を持つボタンを設けても良い。

Ａ２．動画像処理装置の構成：
図２は、実施例としての動画像処理装置の概略構成を示す説明図である。左上に動画像処理装置１００を、右及び左下に動画像処理装置１００の機能ブロックを示した。

動画像処理装置１００は、汎用のパーソナルコンピュータであり、情報を出力する装置としてのディスプレイ１５０を備えている。動画像処理装置１００は、ディスプレイ１５０にインタフェース画面２５０を表示する。動画像処理装置１００は、ユーザからの情報を入力する装置としてのキーボード１２０およびマウス１３０も備えている。動画像処理装置１００は、上述した各種ボタンの選択情報などもキーボード１２０およびマウス１３０から入力する。

また、動画像処理装置１００に動画像データを入力する装置としてデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他ＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。

動画像処理装置１００は、所定のオペレーティングシステムの下で動くアプリケーションプログラムにより、図２の機能ブロックとして図示した、要約動画像生成制御部１０２、データ取得部１０４、シーン分割部１０６、動き検出部１０７、評価値算出部１０８、目安設定部１０９、インタフェース提供部１１０、指定箇所設定部１１４、指定箇所修正部１１７、抽出部１１８、要約動画像生成部１１９という機能を実現する。これらの機能はハードウェア的に備えていても良い。

以下、各機能について説明する。データ取得部１０４は、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスク（図示せず）などから動画像データを読み込み、ＲＡＭ上に動画像データベース１０１を構築する。また、データ取得部１０４は、キーボード１２０やマウス１３０を用いてユーザが入力した要約動画像の希望再生時間も取得し、メモリに記憶させる。

シーン分割部１０６は、動画像のシーンの変わり目を検出し、動画像データをシーンに分割する。動き検出部１０７は、フレーム画像データ間の比較により動きベクトルを求めたり、動きベクトルに基づき動体ブロックを検出したりする。

評価値算出部１０８は、動きベクトルや動体ブロックなどに基づき、フレーム画像データの後述する評価値を算出する。評価値は、フレーム画像データの動画像データにおける重要度を示す値である。目安設定部１０９は、フレーム画像データの評価値に基づいて、インタフェース画面２５０に目安標識を表示させる位置としての目安標識の位置を設定する。インタフェース提供部１１０は、インタフェース画面２５０をディスプレイ１５０に表示すると共に、インタフェース画面２５０の各ボタン等における上述した各種機能を実現させる。また、目安設定部１０９が設定した目安標識の位置に基づいて、目安標識を表示する。

指定箇所設定部１１４は、先述したダイジェストボタン２０３の選択に基づいてインタフェース提供部１１０から出される指定箇所設定指示に従い、指定箇所データベース（ＤＢ）１２０を更新することにより指定箇所を設定する。本実施例では、１シーン内での指定箇所は１つであるものとする。指定箇所修正部１１７は、先述したクリアボタン２０５の選択などに基づいてインタフェース提供部１１０から出される指定箇所修正指示に従い、指定箇所ＤＢ１２０を修正することにより指定箇所を修正する。

抽出部１１８は、確定ボタン２０６の選択に基づいてインタフェース提供部１１０から出される抽出指示に従い、希望再生時間に基づいて指定箇所を修正し、修正した指定箇所に相当するフレーム画像データを抽出する。要約動画像生成部１１９は、抽出されたフレーム画像データをつなぎあわせて要約動画像データを生成し、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスクに出力する。要約動画像生成制御部１０２は、以上の各部の要約動画像生成動作を全体的に制御する。

この他にも、要約動画像データにより要約動画像をディスプレイ１５０に表示させる表示部を備えていても良い。

Ａ３.評価値の算出：
ここでは、フレーム画像データの評価値の算出について説明する。評価値算出部１０８は、ズーム，パン，静止，動体位置，動体大きさ，肌色大きさという項目について、それぞれフレーム画像データを評価し、評価値を算出する。

図３は、フレーム画像データの評価値について説明するための説明図である。図３（ａ）は、動画像の５枚のフレーム画像を抜き出して例示した図である。フレーム画像は、左側から時系列的に図示されている。図３（ａ）で示されたフレーム画像は連続しておらず、左側からｎ枚目（ｎ＝１〜４）のフレーム画像とｎ＋１枚目のフレーム画像の間には、動画像において数枚のフレーム画像が存在するが、ここでは図示を省略した。図３（ｂ）〜（ｇ）は、各項目について、フレーム画像データの評価値の時刻変化を示すグラフである。グラフの時刻は、動画像を再生した場合の、再生開始からの経過時間に対応している。グラフは、動画像を再生した場合に、各経過時間において表示されるフレーム画像データの評価値を線で結ぶことにより示した。また、図３（ａ）の各フレーム画像データの評価値が、そのフレーム画像の中央の下の位置付近に表われるようグラフを示した。

図３（ｂ）は、評価値「ズーム」のグラフである。「ズーム」はズーム操作に関する評価値である。ズーム操作とは、被写体を拡大，縮小するカメラ操作である。評価値算出部１０８は、ズーム操作関数，ズーム終了関数という２種類の関数を用いて、評価値「ズーム」を算出する。ズーム操作関数は、ズーム操作が開始されてからの経過時間が大きいほど大きな「ズーム」を出力する、傾きが正の一次関数である。ズーム終了関数は、ズーム操作が開始されてからの経過時間が大きいほど小さな「ズーム」を出力する、傾きが負の一次関数である。

評価値算出部１０８は、ズーム操作が開始された時からズーム操作が終了して３０フレーム経過するまでズーム操作関数を使用し、ズーム操作が終了して３０フレーム経過した時からズーム終了関数を使用する。ズーム終了関数は傾きのみが予め決められている。切片は、ズーム操作関数により求められた最後の「ズーム」に、ズーム終了関数で求められる最初の「ズーム」が一致するよう評価値算出部１０８が求める。評価値算出部１０８は、０以下の値が出力されるまでズーム終了関数を使用する。「ズーム」が０以下の値となった場合は、値０に修正する。評価値算出部１０８は、ズーム操作が開始されてから０以下の「ズーム」が出力されるまでの時間に当てはまらないフレーム画像データの「ズーム」は値０とする。

ズーム操作中及びその直後のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、ズーム関数を以上のように設定した。ズーム操作が開始された時やズーム操作が終了した時の検出方法については後述する。

ズーム操作において、被写体の像を拡大する操作をズームインと言い、被写体の像を縮小する操作をズームアウトと言う。ズームイン，ズームアウト両方にズーム操作関数，ズーム終了関数は使用される。図３（ａ）のフレーム画像では、左側から一枚目のフレーム画像からズームインが開始され、左側から二枚目のフレーム画像においてズームインが終了している。したがって、図３（ｂ）の評価値「ズーム」は、グラフで示すように変動する。

図３（ｃ）は、評価値「パン」のグラフである。「パン」はパン操作に関する評価値である。パン操作とは、カメラの位置を固定したままカメラの向きを変えて広い範囲を撮影する操作である。評価値算出部１０８は、２つのパン関数という関数により評価値「パン」を算出する。２つのパン関数は、パン操作が開始，終了されたフレーム画像データを検出して使用する、先述した２つのズーム関数と同じ構造の関数である。更に、２つのパン関数を使用する時間の条件も２つのズーム関数と同じである。評価値算出部１０８は、パン関数を使用する時間以外の「パン」は値０と算出する。パン操作中及びその直後のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、パン関数を以上のように設定した。パン操作開始やパン操作終了の検出方法については後述する。図３（ａ）のフレーム画像では、パン操作は行なわれていないので、図３（ｃ）の評価値は、グラフで示すように値０のままである。

図３（ｄ）は、評価値「静止」のグラフである。「静止」は背景の動きに関する評価値である。評価値算出部１０８は、静止関数という関数により評価値「静止」を算出する。静止関数は、背景の動きの大きさ（以下、動きの大きさを単に速さと呼ぶ）が入力されると「静止」を出力する関数である。静止関数は、速さが０に近いほど大きな値を出力する。また、速さが所定値以上になると値０を出力する。背景が静止している場面のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、静止関数を以上のように設定した。背景の速さの算出方法については、後述する。図３（ａ）のフレーム画像は、左側から二枚目のフレーム画像に至るまでに背景の動きが次第に小さくなり、二枚目のフレーム画像から背景が静止している。したがって、図３（ｄ）の評価値は、グラフで示すように変動する。

図３（ｅ）は、評価値「動体位置」のグラフである。「動体位置」は動体（被写体）の位置に関する評価値である。なお、以下でいう動体は、フレーム画像内で最も大きい動体のことをさしているものとする。評価値算出部１０８は、動体位置関数という関数により評価値「動体位置」を算出する。動体位置関数は、動体のフレーム画像内における位置が入力されると評価値「動体位置」を出力する関数である。動体位置関数は、動体の位置として、フレーム画像の中央に近い値が入力されるほど、大きな値を出力する。また、動体の位置として、フレーム画像の中央を含む所定範囲外の値を入力された場合は、値０を出力する。動体が中央にある場面のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、動体位置関数を以上のように設定した。動体の位置の算出方法については、後述する。図３（ａ）のフレーム画像では、左側から三枚目のフレーム画像から、次第に動体（人物）がフレーム画像の中央に移動し、四枚目のフレーム画像では動体（人物）はフレーム画像のほぼ中央に位置している。そして、四枚目のフレーム画像から、次第に動体（人物）が中央から左方向に移動している。したがって、図３（ｅ）の評価値は、グラフで示すように変動する。

図３（ｆ）は、評価値「動体大きさ」のグラフである。「動体大きさ」はフレーム画像内の動体の大きさに関する評価値である。評価値算出部１０８は、動体大きさ関数という関数により評価値「動体大きさ」を算出する。動体大きさ関数は、フレーム画像内の動体の大きさが入力されると評価値「動体大きさ」を出力する関数である。動体大きさ関数は、大きい値が入力されるほど大きな値を出力する。また、所定値以下の値が入力された場合は、値０を出力する。動体が大きく撮影されたフレーム画像は、撮影者が特に撮影しようとしたフレーム画像であると考え、動体大きさ関数を以上のように設定した。動体の大きさの算出方法については、後述する。図３（ａ）のフレーム画像では、左側から一枚目のフレーム画像から、次第に動体が大きくなり、二枚目のフレーム画像から動体は一定の大きさを保っているので、図３（ｆ）の評価値は、グラフで示すように変動する。

図３（ｇ）は、評価値「肌色大きさ」のグラフである。「肌色大きさ」はフレーム画像内の肌色の大きさに関する評価値である。評価値算出部１０８は、肌色大きさ関数という関数により評価値「肌色大きさ」を算出する。肌色大きさ関数は、フレーム画像内の肌色の大きさが入力されると評価値「肌色大きさ」を出力する関数である。肌色大きさ関数は、大きい値が入力されるほど大きな値を出力する。また、所定値以下の値が入力された場合は値０を出力する。肌色が大きく撮影されたフレーム画像は人物がアップで撮影されたフレーム画像であり、撮影者が特に撮影しようとしたフレーム画像であると考え、そのように設定した。肌色の大きさの算出方法については、後述する。図３（ａ）のフレーム画像では、左側から一枚目のフレーム画像から、次第に肌色が大きくなり、二枚目のフレーム画像から肌色は一定の大きさを保っているので、図３（ｇ）の評価値は、グラフで示すように変動する。

以上の、評価値を算出するために用いている関数は、様々に設定可能である。例えば、評価値「静止」を算出するための静止関数は、背景の速さが０になってから何番目のフレーム画像データであるかにより、異なる値を出力するものであっても良い。動体位置に関しても、動体の位置が中央になってから何番目のフレーム画像データであるかにより、異なる値を出力するものであっても良い。また、以上の評価値以外に、評価値算出部１０８は並進及び動体の動きの速度に関する評価値を算出しても良い。並進とは、マラソン中継のように、動体はフレーム画像の中央に存在し、背景が動いていることである。動体の動きの速度とは、動体の背景に対する相対速度である。動体の動きの速度が所定値以上となった場合は、動体の動きの速度に関する評価値を値０にする。更に、評価値算出部１０８は、フレーム画像データの色や輝度のヒストグラム、音声データなどに基づいて評価値を算出しても良い。

次に、ズーム操作の開始や終了，パン操作の開始や終了の検出方法について説明する。ズーム操作の開始や終了，パン操作の開始や終了は、動きベクトルに基づいて検出する。動きベクトルとは、フレーム画像を複数に分割してできる各ブロックの絵柄が、１のフレーム画像から他のフレーム画像までの間でどれだけどのように移動しているかを示すベクトルである。ブロックの絵柄が大きく移動しているほど、つまりそのブロックの動きベクトルが大きいほど、そのブロックの絵柄が表わす動体は、速く移動していることになる。動きベクトルの算出方法については、後述し、以下では、動きベクトルが動き検出部１０７により既に算出されているものとして説明する。

図４は、ズーム操作開始・終了時のフレーム画像データ，パン操作開始・終了時のフレーム画像データの検出方法を示すための説明図である。動画像データにおいて、各ブロックの動きベクトルｍが、図４（ａ）のように、フレーム画像の外側から中央に向かい始めた場合、評価値算出部１０８は、そこでズームインを開始したものと判断し、そのフレーム画像データをズーム操作が開始されたフレーム画像データであると検出する。ズーム操作が開始されてから、各ブロックの動きベクトルｍが、図４（ａ）のように、フレーム画像の外側から中央に向かわなくなった時点で、そのフレーム画像データをズーム操作が終了したフレーム画像データであると検出する。

各ブロックの動きベクトルｍが、図４（ｂ）のように、フレーム画像の中央から外側に向かい始めた場合、評価値算出部１０８は、そこでズームアウトを開始したものと判断し、そのフレーム画像データをズーム操作が開始されたフレーム画像データであると検出する。ズーム操作が開始されてから、各ブロックの動きベクトルｍが、図４（ｂ）のように、フレーム画像の中央から外側に向かわなくなった時点で、そのフレーム画像データをズーム操作が終了したフレーム画像データであると検出する。

なお、動画像データの中に、メタデータとして、ビデオカメラのズームボタンが押されているか否かを示すズームボタン操作情報が付いている場合がある。ズーム操作が開始されたフレーム画像データやズーム操作が終了したフレーム画像データは、そのようなズームボタン操作情報に基づいて検出しても良い。

一方、パン操作が開始されたフレーム画像やパン操作を終了したフレーム画像は、フレーム画像全体のズレＳに基づいて検出する。ズレＳとは、１のフレーム画像から他のフレーム画像までの間でフレーム画像全体がどれだけどの方向に移動しているかを示すベクトルである。ビデオカメラの向きを変える速度が大きいほど、ズレＳの大きさは大きくなる。図４（ｃ）のように、時系列的に連続する所定数以上のフレーム画像において、ズレＳの方向が同じ向きになった場合、パン操作が開始されているものと判断する。そして、ズレＳが同じ向きのフレーム画像データのうち、最初のフレーム画像データを、パン操作が開始されたフレーム画像データであると検出する。そして、ズレＳが同じ向きのフレーム画像データのうち、最後のフレーム画像データを、パン操作が終了したフレーム画像であると検出する。

次に、各フレーム画像の背景の速さや動体の位置，動体の大きさの算出方法について説明する。これらの値は、動きベクトルの大きさが所定値を超えているブロックの集合である動体ブロックに基づいて算出する。動体ブロックが表わす絵柄は、動体であると推定できる。フレーム画像内に複数の動体が存在する場合は、動きベクトルの大きさが所定値を超えているブロックをクラスタリングして複数の動体ブロックを求める。図５は、動体ｍｖを示す説明図である。

評価値算出部１０８は、動体ブロック以外のブロック（以下、背景ブロックとよぶ）の動きベクトルの大きさにより、背景の速さを算出する。各背景ブロックの動きベクトルの大きさの合計値を背景の速さとしても良いし、各背景ブロックの動きベクトルの大きさの平均値を背景の速さとしても良い。ここでは、平均値を背景の速さとしている。

評価値算出部１０８は、動体位置として動体ブロックの重心を算出する。また、評価値算出部１０８は、動体ブロックの大きさを動体大きさとして算出する。なお、動体大きさは、動体ブロックが複数の場合には、全動体ブロックの大きさであるものとしても良い。

次に、肌色大きさの検出方法について説明する。肌色の領域は、以下の式で、０．１＜Ｈ＜０．９かつＧ＞Ｂを満たすＲＧＢ値を有する画素の集合として求めることができる。
Ｈ（色相）＝１．７３２（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ） ・・・（１）
Ｓ（彩度）＝｛（Ｂ−Ｒ）^２＋（Ｒ−Ｇ）^２＋（Ｇ−Ｂ）^２｝／３ ・・・（２）
Ｖ（明度）＝Ｒ＋Ｇ＋Ｂ ・・・（３）
評価値算出部１０８は、フレーム画像における肌色の画素の数を肌色大きさとして算出する。なお、肌色大きさは、動体ブロックにおける肌色の画素の数としても良い。

評価値算出部１０８は、以上のように求めた各項目の評価値を、フレーム画像データごとに足し合わせる。以下、評価値とは、この合計の評価値を意味するものとする。

Ａ４．目安標識及び各ボタンの機能：
図６は、目安標識の位置の設定及び指定箇所の設定を示す説明図である。図６の上側には目安標識が表示されたインタフェース画面２５０が、下側には説明の便宜上、評価値を示すグラフが示されている。グラフの時刻軸は、動画像の再生箇所に対応する。このグラフは、インタフェース画面２５０に併せて表示するものとしても良い。

動画像データはシーン分割部１０６によりシーンに分割される。図の例では、動画像データはシーンＳ１，シーンＳ２，シーンＳ３の３つのシーンに分割されている。

本実施例では、２種類の目安標識を用いる。１つは、シーン内で最高の評価値をもつフレーム画像データの再生箇所を示す最高標識２０９ａ，２０９ｂ，２０９ｃである。シーンＳ１では時刻Ｈ１、シーンＳ２では時刻Ｈ２、シーンＳ３では時刻Ｈ３に相当するフレーム画像データがシーン内で最高の評価値をもつフレーム画像データである。もう１つはシーンの切れ目を示す分割標識２１０ａ，２１０ｂ，２１０ｃである。本実施例では、動画像の再生終了位置にも分割標識２１０ｃを示した。なお、目安標識の種類は２種類に限られず、様々な目安標識を設定可能である。これらの目安標識は再生スライドバー２０８の下に表示される。

目安設定部１０９は、フレーム画像データの評価値に基づいて、最高標識と分割標識の目安標識を表示すべきフレーム画像を特定する。インタフェース提供部１１０は、目安標識の種類及び目安標識の位置に基づいて、最高標識２０９ａ，２０９ｂ，２０９ｃや分割標識２１０ａ，２１０ｂ，２１０ｃを表示する。

ユーザが、ダイジェストボタン２０３を押下すると、インタフェース提供部１１０は、その時点でビューウィンドウ２００に再生表示されているフレーム画像を使用希望フレーム画像データと判断し、指定箇所設定部１１４に指定箇所設定指示を出す。

指定箇所設定部１１４は、指定された使用希望フレーム画像データに基づき、指定箇所を設定する。本実施例では、２つの使用希望フレーム画像データの間の時系列的に連続したフレーム画像データの集合を指定箇所として設定するものとし、指定箇所設定部１１４は、指定箇所の最初および最後に相当する２つの使用希望フレーム画像データを特定する情報を指定箇所ＤＢ１２０に管理する。本実施例では、指定箇所は１シーン中１つとするが、複数の指定を許容してもよい。指定が完了すると、指定箇所設定部１１４は、次のシーンから動画像の再生を開始させる。

例えば、動画像の再生中、再生スライダが位置２０７ｂ、２０７ｃにある時にダイジェストボタン２０３が押下された場合は、これらの位置に挟まれた部分、即ちシーンＳ１内の斜線で示された部分２１１ａを、指定箇所として設定し、赤色で表示する。以下、再生スライドバーにおいて指定箇所に相当する部分を指定部分と呼ぶ。その後、再生スライダを位置２０７ｎに移動させ、シーンＳ２から再生を開始させる。

なお、使用希望フレーム画像データを中心に所定数分のフレーム画像データを指定箇所に設定しても良い。具体的には、再生スライダが位置２０７ｄにある時にダイジェストボタン２０３が押下された場合、このフレーム画像を挟む前後所定数のフレーム画像に相当する箇所、即ちシーンＳ２内の斜線で示された部分２１１ｂを、指定箇所として設定しても良い。この所定数は、ユーザから指定されるものとしても良いし、評価値に基づいて決定しても良い。

図７は、スキップボタン２０４の機能を示す説明図である。動画像の再生中、スキップボタン２０４が押下された場合、インタフェース提供部１１０は、動画像の再生箇所を移動させる。具体的には、再生スライドバー２０８において、最高標識から長さｄだけ左の位置、または分割標識の位置、または指定部分の左端の位置のいずれかのうち、現在の再生箇所に最も近い位置から動画像を再生する。

例えば、再生スライダが位置２０７ｅにある際に、スキップボタン２０４が押下された場合は、インタフェース提供部１１０は、再生スライダを最高標識２０９ａの左側ｄの位置２０７ｆまで移動させ、ここから動画像を再生させる。最高標識のフレーム画像から再生を行ってもユーザはそのフレーム画像の内容を把握することは困難であるため、本実施例では、最高標識の左側ｄの位置から再生を行うものとした。ｄの値は、再生開始から最高標識のフレーム画像に至るまでの事前表示として過不足ない範囲で任意に設定可能である。

また、再生スライダが位置２０７ｇにある際に、スキップボタン２０４が押下された場合は、インタフェース提供部１１０は、分割標識に相当する位置２０７ｈから動画像を再生させる。

また、ユーザが指定箇所を設定した後、要約動画像生成前に、再度動画像を再生して指定箇所などを確認する場合もある。そのように、既に指定部分２１１ｄが設定されている場合、インタフェース提供部１１０は、再生スライダが位置２０７ｈにある際に、スキップボタン２０４が押下された場合は、指定部分２１１ｄの開始フレームに相当する位置２０７ｉから動画像を再生させる。

更に、スキップボタン２０４にはもう１つの機能がある。ダイジェストボタン２０３が押下されることで指定部分の開始位置に相当する使用希望フレーム画像データが指定された後、スキップボタン２０４が押下された場合は、スキップ後の再生箇所が指定部分の終了位置に設定される。

例えば、再生スライダが位置２０７ｇにある際に、ダイジェストボタン２０３が押下された後、スキップボタン２０４が押下された場合は、位置２０７ｇからスキップ後の位置２０７ｈまでを指定部分２１１ｃとし、これに相当する部分を指定箇所として設定し、この部分を赤で表示する。

図８は、クリアボタン２０５の機能を示す説明図である。クリアボタン２０５は、使用希望フレーム画像の決定を取り消す機能を持つ。具体的には、１つ目の使用希望フレーム画像データが指定されてから、２つ目の使用希望フレーム画像データが指定されるまでの間に、クリアボタン２０５が押下された場合は、１つ目の使用希望フレーム画像データの指定がクリアされる。インタフェース提供部１１０は、クリアに応じて再生箇所を１つ目の使用希望フレーム画像データまで戻す。

例えば、位置２０７ｋで１つ目の使用希望フレーム画像データが指定されてから、再生スライダが位置２０７ｊに来たときにクリアボタン２０５が押下された場合は、指定箇所修正部１１７は、１つ目の使用希望フレーム画像データに関する情報を指定箇所ＤＢ１２０から削除する。指定部分２１１ｅも元の白色にする。そして、インタフェース提供部１１０は、再生箇所を再生スライダ２０７ｋの位置に相当する箇所まで移動する。

また、動画像の再生終了後、再生スライダが再生スライダ２０７ｍの位置に来てから、インタフェース画面２５０を介して、指定箇所の調節が可能であるものとしても良い。例えば、調節部２１２により、指定部分２１１ｆの端を再生スライドバー２０８内で移動させることにより、指定部分２１１ｆに相当する指定箇所を調節可能であるものとしても良い。

Ａ５．処理：
次に、動画像処理装置１００における処理について説明する。図９は、要約動画像データ生成処理の一部であるインタフェース提供処理を示す説明図である。まず、動画像処理装置１００は、ユーザの入力により、動画像データや、要約動画像の希望再生時間を取得する（ステップＳ１００）。そして、取得した動画像データをシーン分割する（ステップＳ２００）。シーン分割は、色や輝度のヒストグラム、音声データなどの動画像データの特徴量を用いて、各フレーム画像データを比較するという既知の技術により行なう。

次に、各フレーム画像の動きを検出する（ステップＳ３００）。図１０は、各フレーム画像の動き検出処理を示すフローチャートである。本処理において、まず、動画像処理装置１００は、動画像における複数のフレーム画像の中から、動きを検出する対象としての基準フレーム画像ｎを１つ選択し、基準フレーム画像ｎとその直前のフレーム画像（ｎ−１）とのフレーム画像全体のズレＳを検出する（ステップＳ３０１）。ズレＳは、例えば、勾配法やパターンマッチング法などの既知の技術を用いることで検出することができる。ここで検出するズレＳが、先述した、パンを検出するためのズレＳに相当する。

図中には、背景として山が、動体としてボールがフレーム画像（ｎ−１）と基準フレーム画像ｎに撮像されている例を示している。フレーム画像（ｎ−１）と基準フレーム画像ｎとを比較すると、山はフレーム画像の右下に移動しており、ボールはフレーム画像の右方向に移動している。また、ボールの移動量は山の移動量よりも相対的に大きく、フレーム画像内に占める山の面積はボールの面積よりも大きい。ということがわかる。このようなフレーム画像に対して上述した勾配法やパターンマッチング法を適用すると、フレーム画像全体に占める面積の小さいボールのズレよりも、フレーム画像全体に占める面積の割合の大きい山のズレが優先して検出されることとなる。つまり、フレーム画像全体のズレは、山のズレとほぼ一致することとなる。

なお、２つのフレーム間には、上下左右方向の並進ズレと回転方向の回転ズレとが生じうるが、ここでは説明の簡単のため、回転ズレは生じないものとして説明する。

フレーム画像全体のズレＳを検出した後、動画像処理装置１００は、基準フレーム画像ｎとその直前のフレーム画像（ｎ−１）をそれぞれ複数のブロックに分割する（ステップＳ３０２）。図には、それぞれのフレーム画像を横方向に４分割、縦方向に３分割する例を示している。

フレーム画像の分割後、動画像処理装置１００は、基準フレーム画像ｎの各ブロックに対応するフレーム画像（ｎ−１）の各ブロックのズレＳｂを検出し（ステップＳ３０３）、各ブロックのズレＳｂと全体のズレＳとの差分をとることで、各ブロックの動きベクトルｍを算出する（ステップＳ３０４）。ここで算出する動きベクトルｍが、先述した、ズームインやズームアウトを検出するための動きベクトルｍに相当する。図示した例では、ボールが撮像された右上のブロック以外のブロックのズレＳｂは、ステップＳ３０１で検出したフレーム画像全体のズレＳとほぼ等しいためキャンセルされて動きベクトルｍはゼロとなり、右上のブロックの動きベクトルｍのみが検出される。

次に動画像処理装置１００は、動きベクトルｍが所定の閾値を超えるか否かを判断し、所定の閾値を超える動きベクトルｍとなったブロックを動体として検出する（ステップＳ３０５）。ここで検出する動体のブロックが、先述した、静止や動体位置や動体大きさを検出するための動体ブロックに相当する。閾値を設けるものとしたのはブロック間の軽微なズレ（例えば、微小な回転ズレ）を排除するためである。閾値としては、例えば、３０ピクセルなどとすることができる。図示した例では、基準フレーム画像ｎ内の右上のブロックが動体ブロックであるものとして特定される。

以上のステップＳ３０１〜ステップＳ３０５の処理を、動画像データにおける最初のフレーム画像データ以外のすべてのフレーム画像データについて行なう。

再度、図９に戻り説明する。動画像処理装置１００は、次に、ステップＳ３００で検出したズレＳや動きベクトルｍや動体ブロックに基づいて、各フレーム画像データの評価値を算出する（ステップＳ４００）。算出方法は先の項目Ａ３で述べた通りであり、評価値算出部１０８は、ズーム，パン，静止，動体位置，動体大きさ，肌色大きさという項目について、それぞれ評価値を算出する。そして、それらを足し合わせ、評価値を求める。そして、求めた評価値をもとに、目安標識の位置を設定する（ステップＳ５００）。更に、目安標識の位置に基づいて目安標識を表示した、上述した各機能を実現するインタフェース画面２５０を提供する（ステップＳ６００）。

図１１は、指定箇所設定処理を示すフローチャートである。指定箇所設定処理は、インタフェース提供部１１０からの指定箇所設定指示に基づいて、指定箇所設定部１１４が実行する。インタフェース提供部１１０は、ダイジェストボタン２０３やスキップボタン２０４が押下されると、押下された際の動画像の再生箇所などである使用希望フレーム画像データに関する情報と共に、指定箇所設定部１１４に、指定箇所設定指示を出す。

指定箇所設定部１１４は、指定箇所設定指示を受けると、使用希望フレーム画像データに関する情報に基づいて、指定箇所ＤＢ１２０を更新する（ステップＳ７００）。使用希望フレーム画像データに関する情報とは、使用希望フレーム画像データの再生時刻である。指定箇所設定部１１４は、指定箇所ＤＢ１２０にその再生時刻を保存する。その際、先述した１つ目の使用希望フレーム画像データの再生時刻を「開始位置」として、２つ目の使用希望フレーム画像データの再生時刻を「終了位置」として保存する。

指定箇所ＤＢ１２０に保存される情報は、ここでは「時：分：秒」であるが、「時：分：秒：ミリ秒」を保存しても良いし、使用希望フレーム画像データが動画像データの先頭から何番目であるかを保存しても良い。

指定箇所設定部１１４は、開始位置を更新した場合は（ステップＳ７０２：ＮＯ）、要約動画像の選択中であることをユーザに示す表示をする（ステップＳ７０３）。具体的には、指定部分を表示するために、再生スライダの移動に伴い、１つ目の使用希望フレーム画像データに相当する位置から、再生スライドバー２０８を赤色に表示していく。インタフェース画面２５０中に、コメントとして、要約動画像選択中である旨を表示するものとしても良い。再生スライドバー２０８にマークを表示するものとしても良い。

指定箇所設定部１１４は、終了位置を更新した場合は（ステップＳ７０２：ＹＥＳ）、指定箇所を設定したものとして、要約動画像選択中の表示を終了する（ステップＳ７０４）。そして、再生スライダを次のシーンの開始位置に相当する位置に移動させ、次のシーンから再生を開始させる（ステップＳ７０６）。

図１２は、指定箇所修正処理を示すフローチャートである。指定箇所修正処理は、インタフェース提供部１１０からの指定箇所終了指示に基づいて、指定箇所修正部１１７が実行する。インタフェース提供部１１０は、クリアボタン２０５が押下されたり、再生スライドバー２０８において指定部分２１１の幅が調節されたりすると、「クリアボタン押下」、「指定部分の調節」という操作内容と、使用希望フレーム画像データに関する情報と共に、指定箇所修正部１１７に、指定箇所修正指示を出す。

指定箇所修正部１１７は、指定箇所修正指示を受けると、操作内容と、使用希望フレーム画像データに関する情報に基づいて、指定箇所ＤＢ１２０を修正する（ステップＳ８００）。ここでも、使用希望フレーム画像データに関する情報は、使用希望フレーム画像データの再生時刻である。具体的には、指定箇所修正部１１７は、操作内容が「指定部分の調節」である場合は、変更前の使用希望フレーム画像データに関する情報（図１２では「０：００：３０」）を、変更後の使用希望フレーム画像データに関する情報（図１２では「０：００：４５」）に置き換える。操作内容が「クリアボタンの押下」である場合は、使用希望フレーム画像データに関する情報（図１２では「０：２：１２」）を削除する。

また、操作内容が「クリアボタンの押下」である場合は（ステップＳ８０２：ＹＥＳ）、削除した使用希望フレーム画像データに相当する指定部分２１１を白色にする（ステップＳ８０４）。

図１３は、要約動画像データ生成処理を示すフローチャートである。要約動画像データ生成処理は、確定ボタン２０６の選択に基づいてインタフェース提供部１１０から出される抽出指示に従い、抽出部１１８や要約動画像生成部１１９により実行される処理である。抽出部１１８は、抽出指示を受けると、指定箇所ＤＢ１２０から、指定箇所の合計の再生時間である合計再生時間を計算する（ステップＳ９００）。

そして、希望再生時間に基づいて指定箇所を修正し、合計再生時間を調節する（ステップＳ９０２）。指定箇所の修正は、例えば、希望再生時間と合計再生時間の差を各指定箇所で均等に割り振り、「開始位置」と「終了位置」を、各々割り振られた値の半分だけ移動させることにより行なう。これにより、希望再生時間と合計再生時間を一致させる。その際、指定箇所ＤＢ１２０も修正後の値に変更する。

なお、指定箇所の修正は、「開始位置」あるいは「終了位置」のみ、割り振られた値だけ移動させるものとしても良い。希望再生時間と合計再生時間の差を各指定箇所で均等に割り振るのではなく、各指定箇所のフレーム画像データの評価値に基づいて、差を割り振るものとしても良い。希望再生時間と合計再生時間の差が所定の閾値以上である場合は、ユーザに注意を促し、要約動画像生成処理を終了するものとしても良い。

指定箇所ＤＢ１２０の修正後は、修正した指定箇所に相当するフレーム画像データを抽出する（ステップＳ９０４）。フレーム画像データを抽出したら、次に要約動画像データを生成する（ステップＳ９０６）。要約動画像データは、抽出した各指定箇所に相当するフレーム画像データをつなぎあわせることにより生成する。

生成した要約動画像データは、デジタルビデオカメラ３０やＣＤ−Ｒ／ＲＷドライブ１４０に出力しても良い。ユーザは、出力された要約動画像データをデジタルビデオカメラ３０などで再生することで、要約動画像を見ることができる。また、ビューウィンドウ２００に再生表示するものとしても良い。

また、指定箇所ＤＢ１２０の修正後は、インタフェース提供部１１０に、指定箇所ＤＢ１２０に基づいて各指定部分の色の表示を行わせるものとしても良い。

Ａ６．効果：
以上の実施例の動画像処理装置１００によれば、ユーザは最高標識２０９や分割標識２１０を参考にして、簡便に使用希望フレーム画像データを指定し、要約動画像データを生成することができる。スキップボタン２０４を備えているので、目安標識の位置に相当する再生箇所などへ動画像を簡単に早送りすることができ、使用希望フレーム画像データの指定を手早く行なうことができる。１シーン中の指定箇所の指定後は自動的に次のシーンから再生するので、操作が楽になる。

更に、クリアボタン２０５を備えているので、指定箇所の変更を簡単に行なうことができる。また、本実施例ではダイジェストボタン２０３の１つの操作で開始位置・終了位置を指定することにより指定箇所全体を指定できるので、操作が簡単である。

Ｂ．変形例：
以上、本発明の実施例について説明したが、本発明はこれらに限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。指定箇所が１シーン内で１つであるとは限らない。２つ以上であっても良いし、０であっても良い。本実施例のスキップボタン２０４は動画像の早送りに相当するスキップボタンであるが、動画像の巻き戻しに相当するスキップボタンを備えても良い。更に、スキップ後の再生箇所は、例えばスキップする時間などを指定することにより、ユーザが選択可能であるものとしても良い。

図１４は、実施例の変形例を示す説明図である。インタフェース画面２５０は、各シーンの代表画像を表示する代表画像ウィンドウ２２４を備えるものとしても良い。代表画像は、シーン中で評価値が最高のフレーム画像であることが望ましいが、それ以外であっても構わない。また、希望再生時間を表示する希望再生時間表示エリア２２２を備えていても良い。更に、「希望再生時間―指定箇所の再生時間の合計」を表示する残り時間表示エリア２２３を備えていても良い。それらの表示を参考にすれば、ユーザは使用希望フレーム画像データを選択することが容易になる。

また、フレーム画像データの評価値を算出する際の評価基準を選択することが可能な評価基準選択エリア２２０を備えていても良い。評価基準選択エリア２２０を備えれば、ユーザに選択された評価基準で算出した評価値に従った最高標識を表示することができ、ユーザは希望に即した最高標識を参考にして使用希望フレーム画像データを選択することができる。

更に、指定箇所の要約動画像における再生順序を指定可能な再生順序指定エリア２２１を備えていても良い。この場合、要約動画像生成部１１９は、指定に従って各指定箇所のフレーム画像データをつなぎあわせる。

ダイジェストボタンは１つでなくても良い。例えば、指定箇所の開始位置を指定するボタンと終了位置を指定するボタンを別個に設けても良い。更に、各シーンの開始位置を自動的に指定箇所の開始位置と定めるものとしても良い。

実施例としての動画像処理装置のインタフェース画面を示す説明図。 実施例としての動画像処理装置の概略構成を示す説明図。 フレーム画像データの評価値について説明するための説明図。 ズーム操作開始・終了時のフレーム画像データ，パン操作開始・終了時のフレーム画像データの検出方法を示すための説明図。 動体ｍｖを示す説明図。 目安標識の設定及び指定箇所の設定を示す説明図。 スキップボタン２０４の機能を示す説明図。 クリアボタン２０５の機能を示す説明図。 要約動画像データ生成処理の一部であるインタフェース提供処理を示す説明図。 各フレーム画像の動き検出処理を示すフローチャート。 指定箇所設定処理を示すフローチャート。 指定箇所修正処理を示すフローチャート。 要約動画像データ生成処理を示すフローチャート。 実施例の変形例を示す説明図。

符号の説明

３０...デジタルビデオカメラ
１００...動画像処理装置
１０１...動画像データベース
１０２...要約動画像生成制御部
１０４...データ取得部
１０６...シーン分割部
１０７...動き検出部
１０８...評価値算出部
１０９...目安設定部
１１０...インタフェース提供部
１１４...指定箇所設定部
１１７...指定箇所修正部
１１８...抽出部
１１９...要約動画像生成部
１２０...キーボード
１３０...マウス
１５０...ディスプレイ
２００...ビューウィンドウ
２０１...再生ボタン
２０２...停止ボタン
２０３...ダイジェストボタン
２０４...スキップボタン
２０５...クリアボタン
２０６...確定ボタン
２０７，２０７ａ...再生スライダ
２０７ｂ〜２０７ｎ...位置
２０８...再生スライドバー
２０９，２０９ａ，２０９ｂ，２０９ｃ...最高標識
２１０，２１０ａ，２１０ｂ，２１０ｃ...分割標識
２１１，２１１ｃ〜２１１ｆ...指定部分
２１１ａ，２１１ｂ...部分
２１２...調節部
２２０...評価基準選択エリア
２２１...再生順序指定エリア
２２２...希望再生時間表示エリア
２２３...残り時間表示エリア
２２４...代表画像ウィンドウ
２５０，２５０ａ...インタフェース画面

Claims (14)

1. 時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した要約動画像データを生成する動画像処理装置であって、
   前記動画像データを取得する取得部と、
   前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす所定の評価値を算出する算出部と、
   前記要約動画像データへの使用を希望する前記フレーム画像データである使用希望フレーム画像データを指定するためのインタフェース画面を提供するインタフェース提供部と、
   ユーザによる前記使用希望フレーム画像データの指定を支援するために前記インタフェース画面上に提示される目安標識の表示形式を制御するための目安情報を、前記評価値に基づいて設定する目安設定部と、
   前記使用希望フレーム画像データを特定する指定情報を入力する指定入力部と、
   前記使用希望フレーム画像データを含んだ前記フレーム画像データの集合である指定フレームデータの少なくとも一部を用いて前記要約動画像データを生成する生成部と
   を備え、
   前記インタフェース画面は、
   前記動画像データに基づく動画像を再生する再生表示エリアと、
   前記動画像の再生箇所をグラフィック表示する再生箇所表示エリアと、
   前記目安情報に基づいて前記目安標識を表示する目安表示エリアと
   を備えた動画像処理装置。
2. 請求項１記載の動画像処理装置であって、
   前記目安標識は前記評価値を視覚的に表したグラフ、記号および文字のいずれかである動画像処理装置。
3. 請求項１記載の動画像処理装置であって、
   前記指定フレームデータは、前記使用希望フレーム画像データを含む、時系列的に連続した所定数以上の前記フレーム画像データの集合であるフレーム群で構成される動画像処理装置。
4. 請求項３記載の動画像処理装置であって、
   前記指定情報は、前記フレーム群の最初と最後のフレーム画像データを指定する動画像処理装置。
5. 請求項１記載の動画像処理装置であって、
   前記インタフェース提供部は、ユーザから再生開始箇所として指定されたフレーム画像データから前記動画像の再生を開始する
   動画像処理装置。
6. 請求項５記載の動画像処理装置であって、
   前記再生開始箇所の指定は、前記目安情報と関連付けられたフレーム画像データ、および前記指定フレームデータから選択することで行われる動画像処理装置。
7. 請求項５記載の動画像処理装置であって、
   前記インタフェース提供部は、前記指定入力部に隣接して、前記再生開始箇所を指定するためのインタフェースを提供する動画像処理装置。
8. 請求項１記載の動画像処理装置であって、
   前記再生表示エリアは、前記指定情報の入力に呼応して、前記目安情報と関連付けられたフレーム画像データにスキップして前記動画像の再生を開始する動画像処理装置。
9. 請求項１記載の動画像処理装置であって、
   前記指定情報を修正するための修正情報を入力する修正入力部と、
   前記修正情報に基づき、前記指定フレームデータを修正する修正部と
   を備えた動画像処理装置。
10. 請求項１記載の動画像処理装置であって、
    前記再生箇所表示エリアは、前記指定フレームデータに対応する再生箇所を、他のフレーム画像データと区別可能に表示する指定箇所表示を有する動画像処理装置。
11. 請求項１０記載の動画像処理装置であって、
    前記指定箇所表示の位置の変更を入力する位置入力部と、
    前記変更に基づき、前記指定フレームデータを修正する修正部と
    を備えた動画像処理装置。
12. 請求項１記載の動画像処理装置であって、
    前記要約動画像データの再生時間の希望値である希望再生時間を取得する希望再生時間取得部と、
    前記希望再生時間に基づいて、前記指定フレームデータの数を調整する調整部と
    を備えた動画像処理装置。
13. 時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した要約動画像データを生成する動画像処理方法であって、
    コンピュータが実行する工程として、
    前記動画像データを取得する取得工程と、
    前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす所定の評価値を算出する算出工程と、
    前記要約動画像データへの使用を希望する前記フレーム画像データである使用希望フレーム画像データを指定するためのインタフェース画面を提供するインタフェース提供工程と、
    ユーザによる前記使用希望フレーム画像データの指定を支援するために前記インタフェース画面上に提示される目安標識の表示形式を制御するための目安情報を、前記評価値に基づいて設定する目安設定工程と、
    前記使用希望フレーム画像データを特定する指定情報を入力する指定入力工程と、
    前記使用希望フレーム画像データを含んだ前記フレーム画像データの集合である指定フレームデータの少なくとも一部を用いて前記要約動画像データを生成する生成工程と
    を備え、
    前記インタフェース画面は、
    前記動画像データに基づく動画像を再生する再生表示エリアと、
    前記動画像の再生箇所をグラフィック表示する再生箇所表示エリアと、
    前記目安情報に基づいて前記目安標識を表示する目安表示エリアと
    を備えた動画像処理方法。
14. 時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した要約動画像データを生成するためのコンピュータプログラムであって、
    前記動画像データを取得する取得機能と、
    前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす所定の評価値を算出する算出機能と、
    前記要約動画像データへの使用を希望する前記フレーム画像データである使用希望フレーム画像データを指定するためのインタフェース画面を提供するインタフェース提供機能と、
    ユーザによる前記使用希望フレーム画像データの指定を支援するために前記インタフェース画面上に提示される目安標識の表示形式を制御するための目安情報を、前記評価値に基づいて設定する目安設定機能と、
    前記使用希望フレーム画像データを特定する指定情報を入力する指定入力機能と、
    前記使用希望フレーム画像データを含んだ前記フレーム画像データの集合である指定フレームデータの少なくとも一部を用いて前記要約動画像データを生成する生成機能と
    をコンピュータに実現させ、
    前記インタフェース画面は、
    前記動画像データに基づく動画像を再生する再生表示エリアと、
    前記動画像の再生箇所をグラフィック表示する再生箇所表示エリアと、
    前記目安情報に基づいて前記目安標識を表示する目安表示エリアと
    を備えたコンピュータプログラム。

Images