JP2010171999A - 動画処理装置 - Google Patents

Abstract

【課題】
短時間で重要なシーンを効果的に視聴することが困難であった。
【解決手段】
上記課題を解決するために、動画処理装置であって、動画データを入力する動画データ
入力手段と、該動画データにおける重要シーンが記述された重要シーンデータを入力ある
いは生成する重要シーンデータ入力／生成手段と、該重要シーンデータ入力／生成手段に
より入力あるいは生成された該重要シーンデータに基づいてデフォルトの再生パラメタを
決定するデフォルト再生パラメタ決定手段と、再生シーンを決定するためのパラメタを入
力する再生パラメタ入力手段と、該再生パラメタ入力手段により該再生パラメタが入力さ
れた場合には、該デフォルト再生パラメタ決定手段により決定された再生パラメタより該
再生パラメタ入力手段により入力された再生パラメタを優先的に使用して該動画データの
再生シーンを再生するように制御する制御部とを備えるように構成すればよい。
【選択図】 図２

Description

本発明は、動画データを再生する動画処理装置に関する。

近年、デジタルテレビ放送による動画データの多チャンネル放送化やネットワークの広帯域化により、多くの動画データを取得あるいは視聴可能となった。また、動画圧縮伸張技術の向上や、それを実現するハードウェア/ソフトウェアの低価格化、及び蓄積メディアの大容量化ならびにその低価格化により、多くの動画データの保存を手軽に行えるようになり、視聴可能な動画データが増加しつつある。しかしながら、多忙な人にとっては、それら全ての動画データを視聴する時間は無く、結果として視聴可能な動画データが氾濫するといった状況になってきている。そこで、動画データにおける重要なシーンだけを視聴することにより、短時間で内容を理解する仕組みや、本当に視聴したい動画データを探し出せるようにすることが重要となる。

このような状況に鑑み、例えば特許文献１及び非特許文献１では、動画データにおける重要なシーンを表示可能な技術が紹介されている。特に、非特許文献１では、動画データからその特徴を生成し、その特徴に基づいて、重要なシーンの抽出及びランキング付けを行い、利用者から指定された割合で重要なシーンのみを再生する技術が紹介されている。

特開２００３−１５３１３９号公報

D.DeMenthon, V.Kobla, and D.Doermann, "Video Summarization by Curve Simplification", ACM Multimedia 98, Bristol, England, pp.211-218, 1998

以上のように、動画データの内容を短時間で把握するための技術が提案されているが、利用者にとって好ましいユーザーインターフェースは提案されていない。例えば、特許文献１では、重要と思われるすべてのシーンを視聴可能であるが、再生時間や再生割合を指定できないため、利用者にとって都合のいい時間で動画データの重要箇所の一部あるいは全部を視聴できないという問題がある。また、非特許文献１では、利用者から指定された割合で重要なシーンのみを再生可能であるが、利用者はどれくらいの割合で視聴すれば効果的に重要なシーンのみを視聴可能であるかを把握できないという問題がある。

本発明は、これらの課題を解決するものであり、動画データの内容を効果的に把握可能な動画処理装置を提供することを目的とするものである。

上述の課題を解決するために、例えば、動画処理装置であって、動画データを入力する動画データ入力手段と、該動画データにおける重要シーンが記述された重要シーンデータを入力あるいは生成する重要シーンデータ入力／生成手段と、該重要シーンデータ入力／生成手段により入力あるいは生成された該重要シーンデータに基づいてデフォルトの再生パラメタを決定するデフォルト再生パラメタ決定手段と、再生シーンを決定するためのパラメタを入力する再生パラメタ入力手段と、該再生パラメタ入力手段により該再生パラメタが入力された場合には、該デフォルト再生パラメタ決定手段により決定された再生パラメタより該再生パラメタ入力手段により入力された再生パラメタを優先的に使用して該動画データの再生シーンを再生するように制御する制御部とを備えるように構成すればよい。

本発明によれば、動画データの内容を効果的に把握可能となり、ユーザの使い勝手が向上する。

本発明の実施例に係る動画処理装置の機能ブロックをソフトウェアで実現する場合のハードウェア構成図の一例である。 本発明の実施例１に係る動画処理装置の機能ブロック図の一例である。 本発明の実施例で取り扱う特徴データのデータ構造の一例である。 本発明の実施例１で取り扱う重要シーンデータのデータ構造の一例である。

本発明の実施例１に係る動画処理装置の再生操作パネルの一例である。
本発明の実施例に係る再生時間及び再生割合の設定表示画面の一例である。 本発明の実施例１で取り扱う再生シーンのデータ構造の一例である。 本発明の実施例１に係る再生シーンの決定方法を説明する図である。 本発明の実施例に係る動画処理装置の再生操作パネルの一例である。 本発明の実施例に係る動画処理装置再生処理および全体の動作を示すフローチャートの一例である。 本発明の実施例に係る動画処理装置の再生処理で再生される再生シーンを説明する図ある。 本発明の実施例２に係る動画処理装置の機能ブロック図の一例である。 本発明の実施例２で取り扱うランキングデータのデータ構造の一例である。 本発明の実施例２で取り扱う重要シーンデータのデータ構造の一例である。 本発明の実施例２で取り扱う再生シーンのデータ構造の一例である。 本発明の実施例２に係る再生シーンの決定方法を説明する図である。 本発明の実施例に係る動画処理装置の機能ブロック図の他の例である。

以下、本発明にかかる実施例について、図面を参照して説明する。

図１は、本実施例に係る動画処理装置のハードウェア構成の一例である。

図１に示す通り、本実施例１に係る動画処理装置は、動画データ入力装置１００と、中央処理装置１０１と、入力装置１０２と、表示装置１０３と、音声出力装置１０４と、記憶装置１０５と、二次記憶装置１０６を有して構成される。そして、各装置は、バス１０７によって接続され、各装置間で、相互にデータの送受信が可能なように構成されている。ただし、二次記憶装置１０６は、記憶装置１０５の補助的な役割であり、記憶装置１０５でその役割をまかなえる場合には、必ずしも必要ではない。

動画データ入力装置１００は、動画データを入力する。本動画データ入力装置１００は、例えば後述する記憶装置１０５あるいは二次記憶装置１０６に記憶されている動画データを読み込む装置としたり、テレビ放送等を受信する場合には、テレビのチューナとすることが出来る。また、ネットワーク経由で動画データを入力する場合には、本動画データ入力装置１００をLANカード等のネットワークカードとすることが出来る。

中央処理装置１０１は、マイクロプロセッサを主体に構成されており、記憶装置１０５や二次記憶装置１０６に格納されているプログラム等を実行する制御部である。

入力装置１０２は、例えばリモコン、あるいはキーボードや、マウス等のポインティングデバイスによって実現され、利用者が後述する再生シーン決定パラメタを入力可能とする。

表示装置１０３は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、再生シーンの画像や、再生シーン決定パラメタの入力をGUI経由で実施する場合には、このGUIを表示する。なお、本GUIの一例については後で詳述する。

音声出力装置１０４は、例えばスピーカによって実現され、再生シーンの音声を出力する。

記憶装置１０５は、例えばランダムアクセスメモリ(RAM)やリードオンリーメモリ(ROM)等によって実現され、中央処理装置１０１によって実行されるプログラムや本動画処理装置において処理されるデータ、あるいは再生対象の動画データやランキングデータ等を格納する。

二次記憶装置１０６は、例えばハードディスクやDVDあるいはCDとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置１０１によって実行されるプログラムや本動画処理装置において処理されるデータ、あるいは再生対象の動画データやランキングデータ等を格納する。

図２は、本実施例１に係る動画処理装置の機能ブロック図である。なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置１０１によって制御されて実行されるソフトウェアプログラムであるものとして説明するが、ハードウェアを用いてこれらの機能を実現しても構わない。

図２に示す通り、本実施例１に係る動画処理装置は、解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３と、特徴データ入力部２１４と、重要シーンデータ生成部２０３と、重要シーンデータ保持部２１０と、重要シーンデータ入力部２１１と、デフォルト再生パラメタ決定部２１６と、デフォルト再生パラメタ提示部２１７と、再生動画データ入力部２１２と、再生シーン決定部２０４と、再生シーン決定パラメタ入力部２０５と、再生部２０６と、表示部２０８と、音声出力部２１５を有して構成される。

ただし、他の装置ですでに作成済みの重要シーンデータを使用するなど、重要シーンデータを本動画処理装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３と、特徴データ入力部２１４と、重要シーンデータ生成部２０３と、重要シーンデータ保持部２１０は必要ない。

また、他の装置ですでに作成済みの特徴データを使用するなど、特徴データを本動画処理装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３は必要ない。さらに、デフォルトの再生パラメタを利用者に提示部する必要がない場合には、デフォルト再生パラメタ提示部２１７は必要ない。

解析動画データ入力部２０１は、動画データの重要シーンを決定するために動画の特徴を生成および解析し、それぞれ特徴データおよび重要シーンデータを生成するために動画データ入力装置１００から入力する。なお、本解析動画データ入力部２０１は、利用者によって、特徴データ及び重要シーンデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及び重要シーンデータが作成されていない動画データを発見した場合に中央処理装置１０１によって実行される。

特徴データ生成部２０２は、解析動画データ入力部２０１において入力した動画データの特徴を生成する。これは、例えば、図３に示すとおり、動画データにおける音声データ及び画像データのそれぞれのフレームについて、音声のパワーや相関度および画像の輝度分布や動きの大きさ等を生成することによって実現できる。

図３において、（ａ）は、音声の特徴データであり、（ｂ）は、画像の特徴データである。図３（ａ）においては、３０１は、音声フレーム番号であり、３１１ないし３１３は、それぞれ音声フレームを示している。また、３０２は、その音声フレームが出力される時刻、３０３は、その音声フレームにおける音声のパワー、３０４は、その音声フレームと他の音声フレームの相関度であり、他の音声フレームとの自己相関係数を取ることによって実現できる。図３（ｂ）においては、３２１は、画像フレーム番号であり、３３１ないし３３３は、それぞれ画像フレームを示している。また、３２２は、その画像フレームが出力される時刻、３２３は、その画像フレームにおける輝度分布であり、３２４は、その画像フレームの他の画像フレームからの動きのである。

ここで、輝度分布３２３は、例えば、その画像フレームをいくつかの領域に分けて、各領域における平均輝度のヒストグラムをとることによって実現でき、動きの大きさは、例えば、その画像フレームをいくつかの領域に分けて、各領域において１つ前のフレームに対する動きベクトルを生成し、生成された各動きベクトルの内積をとるなどによって実現できる。なお、本特徴データ生成部２０２は、解析動画データ入力部２０１が実行された場合に、動画データが入力されるたびに、中央処理装置１０１によって実行される。

特徴データ保持部２１３は、特徴データ生成部２０２において生成した特徴データを保持する。これは、例えば特徴データ生成部２０２において生成した特徴データを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。なお、本特徴データ保持部２１３は、特徴データ生成部２０２が実行された場合に、特徴データが生成されるたびに、あるいは１フレーム分の特徴データが生成されるごとに中央処理装置１０１によって実行されるように構成すればよい。

特徴データ入力部２１４は、特徴データ保持部２１３において保持された特徴データ、あるいは他の装置などによって既に生成されている特徴データを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている特徴データを読み出すことによって実現できる。なお、本特徴データ入力部２１４は、後述する重要シーンデータ生成部２０３が実行された場合に、中央処理装置１０１によって実行されればよい。

重要シーンデータ生成部２０３は、重要シーンデータ入力／生成手段に相当し、特徴データ入力部２１４で入力した特徴データに基づいて、重要シーンを決定して、図４に示すような重要シーンデータを生成する。図４において、４０１は、重要シーンの番号であり、４１１ないし４１３は、それぞれ重要シーンを示している。また、４０２は、その重要シーンの開始位置、４０３は、その重要シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、重要シーンデータには開始時間と終了時間が記述されているものとして説明する。さて、この重要シーンデータ生成部２０３における重要シーンの決定は、例えば、動画データが音楽番組のコンテンツであった場合、音声のパワーや相関度を評価し、音楽部分を検出することによって実現できる。

さらに、音楽番組以外のコンテンツであっても、例えば、動画の輝度分布や動きに基づいて、典型的なパターンが現れた場合に重要なシーンと認識し、この重要シーンを検出することよって実現しても良い。

なお、重要シーンデータ生成部２０３は、利用者によって、重要シーンデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、重要シーンデータが作成されていない動画データを検出した場合に中央処理装置１０１によって実行される。

重要シーンデータ保持部２１０は、重要シーン部２０３において生成した重要シーンデータを保持する。これは、例えば重要シーンデータ生成部２０３において生成した重要シーンデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。ただし、重要シーンデータ生成部２０３において生成した重要シーンデータが後述するデフォルト再生パラメタ決定部２１６および再生シーン決定部２０４に直接読み込まれる構成とした場合には、本重要シーンデータ保持部２１０は必ずしも必要はない。なお、本重要シーンデータ保持部２１０が存在する構成とした場合には、本重要シーンデータ保持部２１０は、重要シーンデータ生成部２０３が実行された場合に、重要シーンデータが生成されるたびに中央処理装置１０１によって実行されるように構成すればよい。

重要シーンデータ入力部２１１は、重要シーンデータ入力／生成手段に相当し、重要シーンデータ保持部２１０において保持された重要シーンデータ、あるいは他の装置などによって既に生成されている重要シーンデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている重要シーンデータを読み出すことによって実現できる。ただし、重要シーンデータ生成部２０３において生成した重要シーンデータが後述するデフォルト再生パラメタ決定部２１６および再生シーン決定部２０４に直接読み込まれる構成とした場合には、本重要シーンデータ入力部２１１は必ずしも必要はない。なお、本重要シーンデータ入力部２１１が存在する構成とした場合には、本重要シーンデータ入力部２１１は、後述する再生シーン決定部２０４あるいはデフォルト再生パラメタ決定部２１６が実行された場合に、中央処理装置１０１によって実行されるように構成すればよい。

デフォルト再生パラメタ決定部２１６は、デフォルト再生パラメタ決定手段に相当し、前述の重要シーンデータに基づいてデフォルトの再生パラメタを決定する。これは、重要シーンデータにおける各重要シーンの時間を合計して、重要シーンの総再生時間を算出することによって実現できる。あるいは、動画データ全体の再生時間に対する重要シーンの総再生時間の割合を算出するようにしても良い。具体的には、重要シーンデータが図４に示すデータであり、動画データ全体の再生時間が５００秒であった場合、デフォルトの再生パラメタを、再生時間８０秒（＝(40-20)+(110-100)+(300-250)）あるいは再生割合１６％（＝80÷500×100）と決定する。なお、本デフォルト再生パラメタ決定部２１６は、後述する再生シーン決定パラメタ入力部２０５が実行された場合に、中央処理装置１０１によって実行されるように構成すればよい。

デフォルト再生パラメタ提示部２１７は、デフォルト再生パラメタ提示手段に相当し、デフォルト再生パラメタ決定部２１６で決定した再生パラメタを利用者に提示する。これは、例えば、デフォルト再生パラメタ決定部２１６で算出した再生時間あるいは再生割合を表示部２０８を介して表示装置１０３に表示することによって実現できる。なお、本具体例については、色々考えられるが、その一例として、後述する再生シーン決定パラメタ入力部２０５における入力値のデフォルト値として表示することが考えられる。本画面例については、再生シーン決定パラメタ入力部２０５の説明で詳述する。なお、本デフォルト再生パラメタ提示部２１７は、デフォルトの再生パラメタを利用者に提示しない場合には必要ないが、利用者にとっては、重要なシーンを効果的に視聴したい場合に指定すべき時間あるいは再生割合がデフォルトで使用されるとともに、提示されていることが望ましい。本デフォルト再生パラメタ提示部２１７が存在する構成とした場合には、本デフォルト再生パラメタ提示部２１７は、本後述する再生シーン決定パラメタ入力部２０５が実行された場合に、前述のデフォルト再生パラメタ決定部２１６の処理が終了した後に、中央処理装置１０１によって実行されるように構成すればよい。

再生シーン決定パラメタ入力部２０５は、再生シーン決定パラメタ入力手段に相当し、入力装置１０２を介して、再生シーンを決定する際のパラメタを入力する。具体的には、例えば、リモコン上あるいは表示部２０８を介して表示装置１０３に図５に示す表示画面を表示する。

図５において、（ａ）は、再生時間を設定する場合の表示画面例であり、（ｂ）は、再生割合を設定する場合の表示画面例である。また、（ｃ）は、利用者が再生時間を指定するか、あるいは再生割合を指定するかを選択可能とした画面例である。

図５（ａ）において、６０１は、再生時間指定ウィンドウであり、６０２は、再生時間指定エリアである。図５（ｂ）において、６１１は、再生割合指定ウィンドウであり、６１２は、再生割合指定エリアである。図５（ｃ）において、６２１は再生時間／割合指定ウィンドウ、６２２は再生時間指定ボタン、６２３は再生割合指定ボタン、６２４は再生時間／割合指定エリア、６２５はインジケータである。

図５（ａ）においては、利用者は入力装置１０２を用いて、再生時間指定エリア６０２に所望の再生時間を設定可能である。このとき、本再生時間指定ウィンドウ６０１が表示された際、デフォルト再生パラメタ決定部２１６で決定され、デフォルト再生パラメタ提示部２１７で提示される再生時間を表示するようにしてもよい。これにより、利用者は重要なシーンを効果的に視聴したい場合に指定すべき再生時間を容易に把握可能となる。

図５（ｂ）においては、利用者は入力装置１０２を用いて、再生割合指定エリア６１２に所望の再生割合を設定可能である。このとき、本再生割合指定ウィンドウ６０１が表示された際、デフォルト再生パラメタ決定部２１６で決定され、デフォルト再生パラメタ提示部２１７で提示される再生割合を表示するようにしてもよい。これにより、利用者は重要なシーンを効果的に視聴したい場合に指定すべき再生割合を容易に把握可能となる。

また、図５（ｃ）においては、利用者は入力装置１０２を用いて、再生時間を指定するか再生割合を指定するかを決定できる。すなわち、利用者が再生時間指定ボタン６２２を押下した場合には、本動画処理装置は再生時間指定モードに入り、利用者は再生時間／割合指定エリア６２４に所望の再生時間を設定可能である。この場合、図に示すように再生時間指定ボタンにインジケータを表示するとよい。

一方、利用者が再生割合指定ボタン６２３を押下した場合には、本動画処理装置は再生割合指定モードに入り、利用者は再生時間／割合指定エリア６２４に所望の再生割合を設定可能である。

この場合、図示しないが再生時間指定ボタンにインジケータを表示するとよい。このとき、本再生時間／割合指定ウィンドウ６２１が表示された際、前回設定されたモードでデフォルト再生パラメタ決定部２１６で決定され、デフォルト再生パラメタ提示部２１７で提示される再生時間あるいは割合を表示するようにしてもよい。

これにより、利用者は重要なシーンを効果的に視聴したい場合に指定すべき再生時間あるいは割合を容易に把握可能となる。また、利用者により再生時間指定ボタン６２２あるいは再生割合指定ボタン６２３が操作され、モードが変更されたときには、変更される前のモードにおけるパラメタ値から変更した後のモードのパラメタ値に計算しなおして、再生時間／割合指定ウィンドウ６２１に表示するとよい。

なお、図５（ｃ）においては、利用者により、再生時間を指定することが示されたこと例示している。なお、本再生シーン決定パラメタ入力部２０５は、後述する再生部２０６において重要シーンの再生が実行された時点で中央処理装置１０１によって実行される。

また、図５において、デフォルト再生パラメタ値が表示されている状態でユーザによるパラメタ入力用の画面をも表示するようにしても構わない。この場合に、ユーザは、デフォルト値を参照しながらユーザの所望するパラメタ値を入力できるので使い勝手がよい。

またさらに、ユーザが一旦デフォルト値を操作して所望のパラメタ値を入力したとしても、気が変わったり、あるいは操作ミス等の理由で、デフォルト値の方がよかったと考える場合も起こり得る。こういったシーンを想定すると、簡単な操作でデフォルト値に戻る仕組みがあればさらに使い勝手は向上すると考えられる。簡単な操作例としては、例えば、所定ボタンを押下したり、所定領域（『デフォルト値』を意味するアイコンなども含む）をクリックするなどの操作が考えられる。

この場合、前述したような操作を介することで中央処理装置１０１には当該デフォルト値の出力指示を行う制御信号が入力され、当該制御信号を入力した中央処理装置１０１は、リモコン上あるいは表示部２０８を介して表示装置１０３に表示画面を表示する処理を行う。これにより、更なる使い勝手の向上が期待できる。

再生シーン決定部２０４は、再生シーン決定手段に相当し、再生シーン決定パラメタ入力部２０５で入力したパラメタ及び、重要シーンデータ生成部２０３で生成あるいは重要シーンデータ入力部２１１入力した重要シーンデータを元に再生シーンを決定する。具体的には、例えば、重要シーンデータが図４に示すデータであり、再生シーン決定パラメタ入力部２０５において再生時間として８０秒あるいは再生割合として１６％が入力された場合、重要シーンデータに記述されている全重要シーンが再生可能であるので、図６（ａ）および図７（ａ）に示すシーンを再生シーンと決定する。

なお、図６および図７は、本再生シーン決定部２０４で決定した再生シーンであり、図６は再生シーンのデータ構造、図７は再生シーンの決定方法を図示している。中でも、図６（ａ）および図７（ａ）は、特に図４で記述された重要シーンに対して、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値がデフォルト再生パラメタ決定部２１６で決定した再生パラメタの値と同じ値であった場合、すなわち、再生シーン決定パラメタ入力部２０５において、デフォルト再生パラメタ決定部２１６で決定した再生パラメタ値が入力された場合、あるいは再生シーン決定パラメタ入力部２０５において、デフォルト再生パラメタ提示部２１７で提示したパラメタ値が入力された場合を示している。

図６（ａ）において、８０１は、再生シーンの番号であり、８１１ないし８１３は、それぞれ再生シーンを示している。また、８０２は、その再生シーンの開始位置、８０３は、その再生シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、再生シーンの開始位置と終了位置をそれぞれ開始時間と終了時間として説明する。

また、図７（ａ）において、９００は動画データ、９０１ないし９０３はそれぞれ重要シーン＃１から重要シーン＃３、９０４ないし９０６はそれぞれ再生シーン＃１ないし再生シーン＃３を示している。なお、図６（ａ）および図７（ａ）は、再生シーン決定パラメタ入力部２０５で入力した再生パラメタがデフォルト再生パラメタ決定部２１６で決定した再生パラメタと同じ値であるため、重要シーンがそのまま再生シーンとなっていることが分かる。

一方、例えば、重要シーンデータが図４に示すデータであり、再生シーン決定パラメタ入力部２０５において再生時間として４０秒あるいは再生割合として８％が入力された場合、重要シーンデータに記述されている全重要シーンは再生不可能であるので、各重要シーンを短くしたシーンを再生シーンと決定する。具体的には、例えば、図６（ｂ）および図７（ｂ）に示すように各重要シーンの前半半分を各再生シーンとして決定する。

ただし、必ずしも前半半分とする必要はなく、例えば後半半分としても良いし、シーンの中心を含み半分としても良い。また、音声のパワーが最大となる点や画像上の特定画像点を含み、あるいはこの点を先頭として半分としても良いし、それぞれのシーンからある決められた長さ、例えば、上記の例ではすべての重要シーンから４０秒減らせばよいので、４０÷３≒13.4秒をそれぞれの重要シーンからカットして再生シーンとしても良い。この場合、カットせずに再生シーンとする部分も、重要シーンの前半、後半、あるいは中心を含むように、あるいは音声のパワーが最大となる点や画像上の特定画像点を含むようにしても良いし、あるいはこの点を先頭が再生シーンとなるようにしても良い。

なお、中でも、図６（ｂ）および図７（ｂ）は、特に図４で記述された重要シーンに対して、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間４０秒あるいは再生割合８％と、デフォルト再生パラメタ決定部２１６で決定した再生パラメタの値（デフォルト再生時間８０秒、デフォルト再生割合１６％）の半分であった場合で、各重要シーンの前半半分を再生シーンとした場合を示している。

図６（ｂ）において、８０１は、再生シーンの番号であり、８２１ないし８２３は、それぞれ再生シーンを示している。また、８０２は、その再生シーンの開始位置、８０３は、その再生シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、再生シーンの開始位置と終了位置をそれぞれ開始時間と終了時間として説明する。

また、図７（ｂ）において、９００は動画データ、９０１ないし９０３はそれぞれ重要シーン＃１から重要シーン＃３、９０４‘ないし９０６’はそれぞれ再生シーン＃１‘ないし再生シーン＃３’を示している。なお、図６（ｂ）および図７（ｂ）は、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間４０秒、再生割合８％となっているため、各再生シーンが各重要シーンの一部で、かつ、各再生シーンの合計が再生時間４０秒、再生割合８％となっていることが分かる。さらに、例えば、重要シーンデータが図４に示すデータであり、再生シーン決定パラメタ入力部２０５において再生時間として１２０秒あるいは再生割合として２４％が入力された場合、重要シーンデータに記述されている全重要シーンよりも長く再生可能であるので、各重要シーンを長くしたシーンを再生シーンと決定する。

具体的には、例えば、図６（ｃ）および図７（ｃ）に示すように、各重要シーンの前後を延ばしたシーンを各再生シーンとして決定する。ただし、必ずしも前後を延ばす必要はなく、例えば後ろだけを延ばしても良いし、前だけを延ばしても良い。また、図６（ｃ）および図７（ｃ）では、一例として各重要シーンの長さの割合に応じて、シーンの前後を前後同じ割合で延ばしているが、この限りではなく、例えば、各シーンを一律で延ばしても良いし、前と後ろの延ばす割合を２：１とするなど、色々なバリエーションにしてもよい。

なお、中でも、図６（ｃ）および図７（ｃ）は、特に図４で記述された重要シーンに対して、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間１２０秒あるいは再生割合２４％と、デフォルト再生パラメタ決定部２１６で決定した再生パラメタの値（デフォルト再生時間８０秒、デフォルト再生割合１６％）の１．５倍であった場合で、各重要シーンの長さに比例した割合で延ばし、かつ前後１：１の割合で延ばして再生シーンとした場合を示している。図６（ｃ）において、８０１は、再生シーンの番号であり、８３１ないし８３３は、それぞれ再生シーンを示している。

また、８０２は、その再生シーンの開始位置、８０３は、その再生シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、再生シーンの開始位置と終了位置をそれぞれ開始時間と終了時間として説明する。

また、図７（ｃ）において、９００は動画データ、９０１ないし９０３はそれぞれ重要シーン＃１から重要シーン＃３、９０４‘’ないし９０６’‘はそれぞれ再生シーン＃１‘’ないし再生シーン＃３’‘を示している。なお、図６（ｃ）および図７（ｃ）は、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間１２０秒、再生割合２４％となっているため、各再生シーンが各重要シーンを含み、かつ、各再生シーンの合計が再生時間１２０秒、再生割合２４％となっていることが分かる。

さて、再生シーン決定部２０４は、再生シーン決定パラメタ入力部２０５で再生パラメタが入力された後あるいはデフォルト値でよいと指定された場合に、中央処理装置１０１によって実行される。

再生動画データ入力部２１２は、動画データ入力手段に相当し、再生対象の動画データを動画データ入力装置１００から入力する。なお、本再生動画データ入力部２１２は、後述する再生部２０６によって再生対象の動画データを取得する際に起動され、中央処理装置１０１によって実行される。

表示部２０８は、表示手段に相当し、再生部２０６において生成された再生画像を表示装置１０３に表示する。本表示部２０８は、再生部２０６が生成した再生画像を１フレームごとに表示装置１０３に表示する。この場合、本表示部２０８は、再生部２０６によって１フレーム分の再生画像が生成されるごとに起動され、中央処理装置１０１によって実行される。また、図５で示した表示画面を表示するようにしてもよい。この場合、再生シーン決定パラメタ入力部２０５が起動された場合にこのＧＵＩのフレームを生成し、利用者からの入力など、当該ＧＵＩのフレームに変更があるたびに中央処理装置１０１が本表示部２０８を起動して、当該フレームが表示されるようにすれば良い。

音声出力部２１５も表示手段に相当し、再生部２０６において生成された再生音声を音声出力装置１０４に表示する。本音声出力部２１５は、再生部２０６が生成した再生音声を１フレームごとに音声出力装置１０４に出力することによって実現可能である。この場合、本音声出力部２１５は、再生部２０６によって１フレーム分の再生音声が生成されるごとに起動され、中央処理装置１０１によって実行される。

再生部２０６は、再生手段に相当し、再生シーン決定部２０４で決定した再生シーンの動画データを再生動画データ入力部２１２により入力して、再生画像を生成して表示部２０８経由で表示装置１０３に表示する。また、再生音声を生成して音声出力部２１５に出力する。なお、本再生部２０６における詳細な処理内容については全体の動作とあわせて後述する。本再生部２０６は、利用者によって、通常再生あるいは重要シーンの再生が指示された場合に中央処理装置１０１によって実行される。

次に、本動画処理装置の再生操作パネルの一例について図８を用いて説明する。

図８において、５０１は操作パネル、５０２は動画データ選択ボタン、５０３は再生ボタン、５０４は早送りボタン、５０５は巻き戻しボタン、５０６は停止ボタン、５０７は一時停止ボタンであり、５０８が重要シーン再生指示ボタン、５０９は重要シーン再生インジケータである。本動画処理装置の利用者は、入力装置１０２を使用して、動画データ選択ボタン５０２を操作することによって、再生動画データの選択が可能である。これは、例えば、本動画データ選択ボタン５０２が操作された場合に、中央処理装置１０１が再生可能な動画データのリストを生成するとともに画像フレーム化し、表示部２０８を起動して表示装置１０３上に表示させ、さらに入力装置１０２を介して利用者が再生させる動画データを選択可能なように構成すればよい。なお、本処理についてはすでに、一般のハードディスクレコーダなどで実施されているので詳細な説明については省略する。同様に、本動画処理装置の利用者は、再生ボタン５０３、早送りボタン５０４、巻き戻しボタン５０５、停止ボタン５０６、および一時停止ボタン５０７を操作することにより、それぞれ、動画データ選択ボタン５０２の操作により選択された動画データの再生開始指示、早送り開始指示、巻き戻し開始指示、停止指示、および一時停止を行うことができる。なお、これらの処理についてもすでに、一般のハードディスクレコーダなどで実施されているので詳細な説明については省略する。

さて、本動画処理装置には、前述のとおり重要シーン再生指示ボタン５０８がついており、利用者は、本重要シーン再生指示ボタン５０８を操作することにより、動画データ選択ボタン５０２の操作により選択された動画データに対して、重要シーンの再生開始指示および重要シーンの再生終了指示が行えるようになっている。これは、例えば、本重要シーン再生指示ボタン５０８が一度押された場合には、重要シーンの再生開始を行い、もう一度押された場合には重要シーンの再生を終了し、通常再生に戻るように構成する。なお、このときの動作は、再生部２０６における詳細な処理内容と本動画処理装置の全体の動作とあわせて後述する。

また、重要シーン再生インジケータ５０９は、重要シーン再生が行われている場合に点灯させる様に構成すると良い。

なお、本再生操作パネル５０１における各ボタンは、リモコン上の物理的なボタンとして構成しても良いし、中央処理装置１０１によって画像フレーム化し、表示部２０８経由で表示装置１０３上にオーバレイされても良い。この場合には、例えば、重要シーン再生指示ボタン５０８付近に、再生シーン決定パラメタ入力部２０５で入力された再生時間あるいは再生割合を表示しても良い。図８における５１０は、これを示しており、ｘｘが再生シーン決定パラメタ入力部２０５で入力された再生時間あるいは再生割合を示している。

なお、リモコン上に表示パネルがある場合には、この表示パネルに再生シーン決定パラメタ入力部２０５で入力された再生時間あるいは再生割合が表示されるように構成してもよい。この場合、例えば、重要シーン再生指示ボタン５０８が押下され、重要シーン再生開始が指示された後に、リモコンが本動画処理装置と赤外線アクセスにより、再生シーン決定パラメタ入力部２０５で入力された再生時間あるいは再生割合を取得するよう構成すればよい。

次に、再生部２０６における再生処理の処理内容とあわせて本動画処理装置の全体の動作について図９のフローチャートを用いて説明する。

図９に示すとおり、本動画処理装置では、動画データが指定され再生の開始あるいは重要シーン再生の開始が指示されると以下の動作を行う。

まず、再生部２０６は、重要シーン再生が指示されているか否かを判断する（ステップ１００１）。

上記ステップ１００１における判断の結果、重要シーン再生が指定されていないと判断した場合には、通常再生を行う（ステップ１００２）。なお、通常再生については、既に広く行われているので、説明を省略するが、本発明の動画処理装置においては、定期的に重要シーン再生指示ボタン５０８が押下されたかを判断することにより、重要シーン再生が指定されたかを判断し（ステップ１００３）、重要シーン再生が指定されずに再生が終了した場合には（ステップ１００４）、再生を終了する。なお本通常再生においては、動画データをすべて表示し終わった場合あるいは利用者から再生の終了が指示された場合に再生の終了と判断し、それ以外は通常再生を継続する。

一方、上記ステップ１００１における判断の結果、重要シーン再生が指定されていると判断した場合には、以下により重要シーンの再生を実施する。すなわち、まず、重要シーンデータ入力部２１１により、重要シーンデータを入力する（ステップ１００５）。なお、重要シーンデータが存在しない場合には、解析動画データ入力部２０１、特徴データ生成部２０２、特徴データ保持部２１３、特徴データ入力部２１４、重要シーンデータ生成部２０３、重要シーンデータ保持部２１０の各部を起動し、重要シーンデータを生成するか、重要シーンデータがないことを表示し、通常再生を実施する。あるいは、重要シーンデータがない場合には、重要シーン再生指示ボタン５０８を無効化するあるいは重要シーン再生指示ボタン５０８を表示画面に表示する構成としている場合には、本重要シーン再生指示ボタン５０８を表示しないように構成しても良い。

さて、重要シーンデータが入力できた場合には、再生部２０６は、続いて、デフォルト再生パラメタ決定部２１６により、デフォルト再生パラメタを算出し、デフォルト再生パラメタ提示部２１７が存在する場合には、算出したデフォルト再生パラメタを表示する（ステップ１００６）。

続いて、再生シーン決定パラメタ入力部２０５により、再生パラメタを入力し（ステップ１００７）、再生シーン決定部２０４により、再生シーンを決定する（ステップ１００８）。

続いて、動画データにおける現在の再生位置を取得し（ステップ１００９）、この現在の再生位置を元に、次の再生シーンの開始位置及び終了位置を取得する（ステップ１０１０）。これは、再生シーン決定部２０４で決定した再生シーンのうち、現在の再生位置よりも後で、かつ現在の再生位置に最も近い再生シーンの開始位置及び終了位置を取得することによって実現できる。

次に、再生部２０６は、ステップ１０１０で取得した次の再生シーンの開始位置へジャンプし（ステップ１０１１）、当該再生シーンの再生を行う（ステップ１０１２）。これは、再生シーンにおける再生画像を表示部２０８を介して表示装置１０３への表示すること、及び再生シーンにおける再生音声を音声出力部部２０６を介して音声出力装置１０４への出力することにより実施される。

なお、本再生シーンの再生中、定期的に重要シーン再生指示ボタン５０８が押下されたかあるいは再生ボタン５０３が押下されたかを判断することにより、通常再生が指定されたかを判断し（ステップ１０１３）、通常再生が指定された場合にはステップ１００２乃至ステップ１００４の通常再生に移る。

また、同再生シーンの再生中、定期的に再生が終了したか否かを判断し（ステップ１０１４）、再生が終了した場合には動画データの再生を終了する。なお、本重要シーンの再生においては、再生シーン決定部２０４で決定した再生シーンをすべて再生し終わった場合あるいは利用者から再生の終了が指示された場合に再生の終了と判断し、それ以外は再生シーンの再生を継続する。さらに、同再生シーンの再生中、再生シーン決定パラメタ入力部２０５により定期的に再生パラメタが変更されたか否かを判断し（ステップ１０１５）、再生パラメタが変更された場合にはステップ１００５に戻る。

一方、再生パラメタが変更されていない場合には、続いて、現在の再生位置を取得し（ステップ１０１６）、当該再生シーンの終了位置に到達したか否かを判断する（ステップ１０１７）。これは、ステップ１０１０で取得した再生シーンの終了位置とステップ１０１６で取得した現在の再生位置とを比較することで判断できる。

さて、本ステップ１０１７における判断の結果、当該再生シーンの終了位置に到達していないと判断した場合には、ステップ１０１２乃至ステップ１０１７を繰り返し、当該再生シーンの再生を継続する。一方、ステップ１０１７における判断の結果、当該再生シーンの終了位置に到達したと判断した場合には、ステップ１００９乃至ステップ１０１７を繰り返すことにより、再生シーン決定部２０４で決定した再生シーンを順次再生し、再生シーン決定部２０４で決定したすべての再生シーンを再生し終わると、ステップ１０１４でそれを認識し、再生を終了する。

これにより、図１０に示すとおり、各再生シーンにジャンプしつつ再生シーン決定部２０４で決定した再生シーンのみを再生可能となる。なお、図１０は、本発明の動画処理装置に係る再生部２０６において再生される再生シーンを説明する図ある。図１０において、１１００は動画データ全体を示し、１１０４は現在の再生位置を示している。また、１１０１乃至１１０３は、再生シーン決定部２０４で決定した再生シーンを示している。

なお、図１０においては、便宜上、現在の再生位置が１０秒の位置であり、再生シーン決定部２０４で決定した再生シーンは、図６（ａ）および図７（ａ）の再生シーンを例に取っている。本動画処理装置では、上述した再生部２０６の処理により、現在の再生位置から順次、再生シーン１、再生シーン２、再生シーン３にジャンプしつつ当該再生シーンのみを再生可能となる。

なお、本実施例では、現在の再生位置が、最初の再生シーンの開始位置よりも前の場合について説明したが、実際には、現在の再生位置がいくつかの再生シーンの開始位置よりも後ろでも適用可能である。この場合には、現在の位置よりも前の再生シーンを再生されないようにするあるいは上述の処理の対象外とすればよい。これにより、デフォルト再生パラメタ決定部２１６およびデフォルト再生パラメタ提示部２１７によるデフォルト再生パラメタの決定および提示、並びに再生シーン決定パラメタ入力部２０５による再生パラメタの入力および再生シーン決定部２０４による再生シーンの決定は動的に可能である。

実施例２では、動画データにおけるシーンをランキング付け（格付け）し、それに基づいて重要シーンおよび再生シーンを決定する動画処理装置を提供する。

図１１は、本実施例２に係る動画処理装置の機能ブロック図である。

図１１に示すとおり、本実施例に係る動画処理装置は、実施例１で示した動画処理装置の機能ブロックに加えて、ランキングデータ生成部１５０１と、ランキングデータ保持部１５０２と、ランキングデータ入力部１５０３を有して構成される。なお、これらの機能ブロックの一部あるいは全部は、図１で示したハードウェアに加えて、ハードウェアとして実現されてもよいが、中央処理装置１０１によって実行されるソフトウェアプログラムとして実現されてもよい。なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置１０１によって実行されるソフトウェアプログラムであるものとして説明する。また、本実施例において、他の装置ですでに作成済みのランキングデータを使用するなど、ランキングデータを本動画処理装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３と、特徴データ入力部２１４と、ランキングデータ生成部１５０１と、ランキングデータ保持部１５０３は必要ない。また、他の装置ですでに作成済みの特徴データを使用するなど、特徴データを本動画処理装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３は必要ない。

ランキングデータ生成部１５０１は、ランキングデータ入力／生成手段に相当し、特徴データ入力部２１４で入力した特徴データに基づいて、動画データにおけるシーンのランキング付けを行い、図１２に示すようなランキングデータを生成する。図１２において、１６０１は、シーンの番号であり、１６０４ないし１６０８は、それぞれ動画データにおけるシーンを示している。また、１６０２は、そのシーンの開始位置、１６０３は、そのシーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、ランキングデータには開始時間と終了時間が記述されているものとして説明する。さて、このランキングデータ生成部１５０１におけるシーンのランク付けは、例えば、非特許文献１で記載されている方法で実現可能である。あるいは、動画データが音楽番組のコンテンツであった場合、音声の相関度の評価の方法等によって、音楽部分を検出し、さらに音声のパワーの高いシーン順にランク付けすることでも実現できる。

あるいは、音楽番組以外のコンテンツであっても、例えば、動画の輝度分布や動きに基づいて、典型的なパターンが現れた場合にそのシーンのランクを高くすることによっても実現できる。もちろんこれらの方法を組み合わせて使用し、シーンのランク付けを行っても良い。

なお、ランキングデータ生成部１５０１は、利用者によって、ランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、ランキングデータが作成されていない動画データを検出した場合に中央処理装置１０１によって実行される。

ランキングデータ保持部１５０２は、ランキングデータ生成部１５０１において生成したランキングデータを保持する。これは、例えばランキングデータ生成部１５０１において生成したランキングデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

ただし、ランキングデータ生成部１５０１において生成したランキングデータが重要シーンデータ生成部２０３に直接読み込まれるように構成した場合には、本ランキングデータ保持部１５０２は必ずしも必要はない。なお、本ランキングデータ保持部１５０２が存在するように構成した場合には、本ランキングデータ保持部１５０２は、ランキングデータ生成部１５０１が実行された場合に、ランキングデータが生成されるたびに中央処理装置１０１によって実行されるように構成すればよい。

ランキングデータ入力部１５０３は、ランキングデータ入力／生成手段に相当し、ランキングデータ保持部１５０２において保持されたランキングデータ、あるいは他の装置などによって既に生成されているランキングデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているランキングデータを読み出すことによって実現できる。ただし、ランキングデータ生成部１５０１において生成したランキングデータが重要シーンデータ生成部２０３に直接読み込まれるように構成した場合には、本ランキングデータ入力部１５０３は必ずしも必要はない。なお、本ランキングデータ入力部２１１が存在するように構成した場合には、本ランキングデータ入力部１５０３は、重要シーンデータ生成部２０３が実行された場合に、中央処理装置１０１によって実行されるように構成すればよい。

また、本実施例２においては、解析動画データ入力部２０１、特徴データ入力部２１４、重要シーンデータ生成部２０３、および再生シーン決定部２０４の処理を以下のとおり変更する。

解析動画データ入力部２０１は、動画データにおけるシーンのランキング付けおよび重要シーンを決定するために動画の特徴を生成および解析し、それぞれ特徴データ、ランキングデータおよび重要シーンデータを生成するために動画データ入力装置１００から入力する。なお、本解析動画データ入力部２０１は、利用者によって、特徴データ、ランキングデータ、あるいは重要シーンデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ、ランキングデータ、あるいは重要シーンデータが作成されていない動画データを発見した場合に中央処理装置１０１によって実行される。

特徴データ入力部２１４は、特徴データ保持部２１３において保持された特徴データ、あるいは他の装置などによって既に生成されている特徴データを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている特徴データを読み出すことによって実現できる。なお、本特徴データ入力部２１４は、ランキングデータ生成部１５０１あるいは重要シーンデータ生成部２０３が実行された場合に、中央処理装置１０１によって実行されればよい。

重要シーンデータ生成部２０３は、特徴データ入力部２１４で入力した特徴データおよびランキングデータ生成部１５０１において生成したランキングデータに基づいて、重要シーンを決定して、図１３に示すような重要シーンデータを生成する。図１３において、１６０１は、重要シーンの番号であり、１６０４ないし１６０６は、それぞれ重要シーンを示している。また、１６０２は、その重要シーンの開始位置、１６０３は、その重要シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、重要シーンデータには開始時間と終了時間が記述されているものとして説明する。

さて、この重要シーンデータ生成部２０３における重要シーンの決定は、例えば、動画データが音楽番組のコンテンツであった場合、ランキングデータにおける音声部分とすることによって実現できる。あるいは、音楽番組以外のコンテンツであっても、ランキングデータにおいて例えば、動画の輝度分布や動きに基づいて、典型的なパターンが現れたシーンとすることよって実現しても良い。あるいは、ランキングデータにおいて、音声のパワーが一定以上のシーンとしても良い。あるいは、ランキングデータにおいて、一定以上の輝度のシーンとしても良い。あるいはランキングデータにおいて、輝度分布が特定のシーンとしても良い。また、もちろん単にランキングデータにおける任意の上位シーンとしてもよい。

図１３においては、特に図１２で示したランキングデータから、ランク１ないしランク３のシーンを重要シーンとして決定し、重要シーンデータを生成した例を示している。なお、重要シーンデータ生成部２０３は、利用者によって、重要シーンデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、重要シーンデータが作成されていない動画データを発見した場合に中央処理装置１０１によって実行される。なお、図１３の例では、動画データが５００秒の場合、デフォルト再生パラメタ決定部２１６で決定されたデフォルトの再生時間は８０秒（＝(40-20)+(110-100)+(300-250)）となり、デフォルトの再生割合は１６％（＝80÷500×100）となる。

再生シーン決定部２０４は、再生シーン決定パラメタ入力部２０５で入力したパラメタ及び、ランキングデータ生成部１５０１で生成あるいはランキングデータ入力部１５０２で入力したランキングデータ、及び、重要シーンデータ生成部２０３で生成した重要シーンデータを元に再生シーンを決定する。具体的には、例えば、５００秒の動画データに対するランキングデータが図１２に示すデータであり、重要シーンデータが図１３に示すデータであった場合で、再生シーン決定パラメタ入力部２０５において、再生時間として８０秒あるいは再生割合として１６％が入力された場合、重要シーンデータに記述されている全重要シーンが再生可能であるので、図１４（ａ）および図１５（ａ）に示すシーンを再生シーンと決定する。

なお、図１４および図１５は、本再生シーン決定部２０４で決定した再生シーンであり、図１４は再生シーンのデータ構造、図１５は再生シーンの決定方法を図示している。中でも、図１４（ａ）および図１５（ａ）は、特に図１３で記述された重要シーンに対して、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値がデフォルト再生パラメタ決定部２１６で決定した再生パラメタの値と同じ値であった場合、すなわち、再生シーン決定パラメタ入力部２０５において、デフォルト再生パラメタ決定部２１６で決定した再生パラメタ値が入力された場合、あるいは再生シーン決定パラメタ入力部２０５において、デフォルト再生パラメタ提示部２１７で提示したパラメタ値が入力された場合を示している。

図１４（ａ）において、１６０１は、再生シーンの番号であり、１６０４ないし１６０６は、それぞれ再生シーンを示している。また、１６０２は、その再生シーンの開始位置、１６０３は、その再生シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、再生シーンの開始位置と終了位置をそれぞれ開始時間と終了時間として説明する。

また、図１５（ａ）において、１９００は動画データ、１９０１、１９０２、および１９０３はそれぞれランク２、ランク３、及びランク１のシーンであるとともに、重要シーン＃１、重要シーン＃２、及び重要シーン＃３である。また、１９１１ないし１９１３はそれぞれ再生シーン＃１ないし再生シーン＃３を示している。

なお、図１４（ａ）および図１５（ａ）は、再生シーン決定パラメタ入力部２０５で入力した再生パラメタがデフォルト再生パラメタ決定部２１６で決定した再生パラメタと同じ値であるため、重要シーンがそのまま再生シーンとなっていることが分かる。

一方、例えば、５００秒の動画データの重要シーンデータが図１３に示すデータであり、ランキングデータが図１２に示すデータであった場合において、再生シーン決定パラメタ入力部２０５において再生時間として４０秒あるいは再生割合として８％が入力された場合、重要シーンデータに記述されている全重要シーンは再生不可能であるので、ランキングデータにおけるランクの高いシーン順に再生シーンとして決定する。

具体的には、例えば、上述の例では、図１４（ｂ）および図１５（ｂ）に示すようにランクの高いシーンから４０秒分選び、再生シーンとする。ただし、本例では、ランクの最も高いシーンでも５０秒であるので、ランク１のシーンを４０秒にカットする。このとき、図１４（ｂ）および図１５（ｂ）に示すように、シーンの中央４０秒分以外をカットしても良いし、シーンの先頭から４０秒分以外をカットしても良い。さらに、シーンの前後をカットする場合には、前後でカットする割合を適当に決めても良い。また、シーンの中心を含む４０秒以外をカットしても良いし、シーンの後ろから４０秒分以外をカットしても良い。また、音声のパワーが最大となる点や画像上の特定画像点を含み、あるいはこの点を先頭として４０秒以外をカットしても良い。すなわち、シーンの累積した再生時間が再生シーン決定パラメタ入力部２０５において入力した再生時間あるいは再生割合に入らない場合には、ランクの最も低いシーンの長さで、再生時間を調整する。あるいは、最も低いランクのシーンは再生しないようにしても良い。

なお、図１４（ｂ）および図１５（ｂ）においては、特に図１３で記述された重要シーンに対して、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間４０秒あるいは再生割合８％と、デフォルト再生パラメタ決定部２１６で決定した再生パラメタの値（デフォルト再生時間８０秒、デフォルト再生割合１６％）以下であった場合、図１２で記述されたランキングデータにおけるランクの最も高いシーン再生シーンとし、かつこのシーンがランクが最も低いのでこのシーンを４０秒にカットした場合を示している。図１４（ｂ）において、１６０１は、再生シーンの番号であり、１６０４‘は再生シーンを示している。

また、１６０２は、その再生シーンの開始位置、１６０３は、その再生シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、再生シーンの開始位置と終了位置をそれぞれ開始時間と終了時間として説明する。また、図１５（ｂ）において、１９００は動画データ、１９０３はランク１のシーンであり、重要シーン＃１である。また、１９２１は再生シーン＃１を示している。

なお、図１４（ｂ）および図１５（ｂ）は、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間４０秒、再生割合８％となっているため、再生シーンが重要シーンの一部で、かつ、再生シーンの合計が再生時間４０秒、再生割合８％となっていることが分かる。さらに、例えば、５００秒の動画データの重要シーンデータが図１３に示すデータであり、ランキングデータが図１２に示すデータであった場合において、再生シーン決定パラメタ入力部２０５において再生時間として１２０秒あるいは再生割合として２４％が入力された場合、重要シーンデータに記述されている全重要シーンよりも長く再生可能であるので、ランキングデータにおけるランクの高いシーンから順に再生シーンに加える。

具体的には、例えば、上述の例では、図１４（ｃ）および図１５（ｃ）に示すようにランクの高いシーンから１２０秒分選び、再生シーンとする。より具体的には、例えば、図１４（ｃ）および図１５（ｃ）に示すように、ランク１からランク５の各シーンを再生シーンとして決定する。ただし、これらのシーンの合計が再生シーン決定パラメタ入力部２０５において入力した再生時間あるいは再生割合に入らない場合には、ランクの最も低いシーンの長さで、再生時間を調整する。すなわち、上述の例では、ランク５のシーンを２０秒にカットし、合計の再生時間を１２０秒に、あるいは再生割合を８％に合わせる。このとき、カットするシーンを再生シーンが中央となるように前後をカットしても良いし、先頭からカットしても良い。さらに、前後をカットする場合には、前後でカットする割合を適当に決めても良い。あるいは、シーンの中心を含むようにカットしても良いし、シーンの後ろをカットしても良い。また、音声のパワーが最大となる点や画像上の特定画像点を含むように、あるいはこの点が先頭として再生シーンとなるようにカットしても良い。あるいは、最も低いランクのシーンは再生しないようにしても良い。

なお、図１４（ｃ）および図１５（ｃ）は、特に図１４で記述された重要シーンに対して、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間１２０秒あるいは再生割合２４％と、デフォルト再生パラメタ決定部２１６で決定した再生パラメタの値（デフォルト再生時間８０秒、デフォルト再生割合１６％）以上であった場合で、ランク１からランク５の各シーンを再生シーンとし、かつランク５のシーンを２０秒とすることで全体のシーンの合計が１２０秒以下になるように調整した例を示している。図１４（ｃ）において、１６０１は、再生シーンの番号であり、１６０４ないし１６０７は、それぞれランク１ないしランク４のシーンかつ再生シーンを示している。

また、１６０８も再生シーンであるが、ランク５のシーンの一部となっている。また、１６０２は、その再生シーンの開始位置、１６０３は、その再生シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、再生シーンの開始位置と終了位置をそれぞれ開始時間と終了時間として説明する。また、図１５（ｃ）において、１９００は動画データ、１９０１ないし１９０５はそれぞれランク１からランク５のシーンの一部、１９３１ないし１９３５はそれぞれ再生シーン＃１ないし再生シーン＃５を示している。

なお、図１４（ｃ）および図１５（ｃ）は、再生シーン決定パラメタ入力部２０５で入力した再生パラメタの値が、再生時間１２０秒、再生割合２４％となっているため、各再生シーンが各重要シーンを含み、かつ、ランク４のシーンおよびランク５のシーンの一部が再生シーンとして加えられて、各再生シーンの合計が再生時間１２０秒、再生割合２４％となっていることが分かる。

本実施例２では、さらに、図９におけるステップ１００５において、重要シーンデータが存在しない場合には、解析動画データ入力部２０１、特徴データ生成部２０２、特徴データ保持部２１３、特徴データ入力部２１４、ランキングデータ生成部１５０１、ランキングデータ保持部１５０２、ランキングデータ入力部１５０３、重要シーンデータ生成部２０３、重要シーンデータ保持部２１０の各部を起動して重要シーンデータを生成するか、重要シーンデータがないことを表示し、通常再生を実施するように構成する。あるいは、重要シーンデータがない場合には、重要シーン再生指示ボタン５０８を無効化するあるいは重要シーン再生指示ボタン５０８を表示画面に表示する構成としている場合には、本重要シーン再生指示ボタン５０８を表示しないように構成する。これにより、重要シーンをランクの高い順に再生可能となる。

なお、実施例１および実施例２では、重要シーンデータ生成部２０３および再生シーン決定部２０４の処理は動画データのカテゴリによらず一定の処理を行っていたが、これらの処理が動画データのカテゴリによって、実施例１で示した方法と実施例２で示した方法で切り換えられるようにしても良い。

この場合、図１６で示すように、実施例２で示した動画処理装置の機能ブロックに加えて、カテゴリ取得部２００１を有して構成される。ここで、カテゴリ取得部２００１は、ＥＰＧにより動画データのカテゴリを取得するか、あるいは入力装置１０２を介して利用者から動画データのカテゴリが入力されることで動画データのカテゴリを取得し、重要シーンデータ生成部２０３は、そのカテゴリによって実施例１で示した方法及び実施例２で示した方法のうち、あらかじめ決められた方法で重要シーンデータを生成すように構成する。

また、再生シーン決定部２０４においても、同様にカテゴリ取得部２００１で取得した動画データのカテゴリによって実施例１で示した方法及び実施例２で示した方法のうち、あらかじめ決められた方法で再生シーンを決定するように構成する。これにより、動画データのカテゴリによって、効果的に重要シーンの再生が行われるようになる。

上記実施例に限らず，その要旨を逸脱しない範囲内で種々変形して実施することが可能である。更に、上記実施の形態には種々の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される前構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明となるのは言うまでもない。

１００・・・動画データ入力装置、１０１・・・中央処理装置、１０２・・・入力装置、１０３・・・表示装置、１０４・・・音声出力装置、１０５・・・記憶装置、１０６・・・二次記憶装置、１０７・・・バス、２０１・・・動画解析動画データ入力部、２０２・・・特徴データ生成部、２０３・・・重要シーンデータ生成部、２０４・・・再生シーン決定部、２０５・・・再生シーン決定パラメタ入力部、２０６・・・再生部、２０８・・・表示部、２１０・・・重要シーンデータ保持部、２１１・・・重要シーンデータ入力部、２１２・・・再生動画データ入力部、２１３・・・特徴データ保持部、２１４・・・特徴データ入力部、２１５・・・音声出力部、２１６・・・デフォルト再生パラメタ決定部、２１７・・・デフォルト再生パラメタ提示部、１５０１・・・ランキングデータ生成部、１５０２・・・ランキングデータ保持部、１５０３・・・ランキングデータ入力部

Claims (17)

1. 動画処理装置であって、
   動画データを入力する動画データ入力手段と、
   該動画データにおける重要シーンが記述された重要シーンデータを入力あるいは生成する重要シーンデータ入力／生成手段と、
   該重要シーンデータ入力／生成手段により入力あるいは生成された該重要シーンデータに基づいて第一の再生パラメタを決定する中央処理装置と、
   再生シーンを決定するための第二の再生パラメタを入力する第二再生パラメタ入力手段と、
   該第二再生パラメタ入力手段により該第二の再生パラメタが入力された場合には、該中央処理装置により決定された第一の再生パラメタより該第二再生パラメタ入力手段により入力された第二の再生パラメタを優先的に使用して該動画データの再生シーンを再生するように制御することを特徴とする動画処理装置。
2. 上記中央処理装置は、
   上記重要シーンデータにおける各重要シーンの時間を合計して重要シーンの総再生時間を算出することにより、第一の再生パラメタを決定することを特徴とする請求項１記載の動画処理装置。
3. 上記中央処理装置は、
   上記動画データ全体の再生時間に対する上記重要シーンの総再生時間の割合を算出することにより、第一の再生パラメタを決定することを特徴とする請求項１記載の動画処理装置。
4. 請求項１〜３のいずれかに記載の動画処理装置であって、
   前記第一再生パラメタ決定手段で決定した第一の再生パラメタの利用者への提示を指示する第一再生パラメタ提示手段を有することを特徴とする動画処理装置。
5. 請求項４に記載の動画処理装置であって、
   前記第一再生パラメタ提示手段は、第一の再生パラメタとして、前記動画データに対する再生時間、あるいは前記動画データの全体の再生時間に対する割合、あるいは該動画データに対する再生時間と動画データの全体の再生時間に対する割合の両方の利用者への提示を指示することを特徴とする動画処理装置。
6. 請求項４に記載の動画処理装置であって、
   前記第二再生パラメタ入力手段は、前記動画データに対する再生時間、あるいは前記動画データの全体の再生時間に対する割合を前記第一再生パラメタ決定手段から入力することを特徴とする動画処理装置。
7. 動画処理装置であって、
   動画データを入力する動画データ入力部と、
   該動画データにおける重要シーンが記述された重要シーンデータを特定する重要シーンデータ入力／生成部と、
   上記重要シーンデータを保持する重要シーンデータ保持部と、
   該重要シーンデータに基づいてデフォルトとなる第一の再生パラメタを決定する第一再生パラメタ決定部と、
   再生シーンを決定するための第二の再生パラメタを入力する第二再生パラメタ入力部と、
   該第二再生パラメタ入力部により該第二の再生パラメタが入力された場合には、該第一再生パラメタ決定部により決定された第一の再生パラメタより該第二再生パラメタ入力部により入力された第二の再生パラメタを優先的に使用して該動画データの再生シーンを再生するように制御する制御部と、
   前記第一再生パラメタ決定手段で決定した第一の再生パラメタを利用者に提示させる第一再生パラメタ提示部を有し、
   前記第一の再生パラメタは前記重要シーンの再生時間を示す情報であることを特徴とする動画処理装置。
8. 前記第二の再生パラメタとして、前記重要シーンの再生時間を設定することを特徴とする請求項７記載の動画処理装置。
9. 請求項７または８に記載の動画処理装置であって、
   前記制御部は、前記第二再生パラメタ入力部により該第二の再生パラメタが入力された場合において、前記第二再生パラメタ入力部で入力した第二のパラメタの値が、前記第一再生パラメタ決定手段で決定した第一のパラメタの値と異なる場合には、前記重要シーンデータに記述されている各重要シーンの前、あるいは、後ろ、あるいは前後を延ばして再生シーンの再生を行うように制御することを特徴とする動画処理装置。
10. 請求項７または８に記載の動画処理装置であって、
    前記制御部は、前記第二再生パラメタ入力部により該第二の再生パラメタが入力された場合において、前記第二再生パラメタ入力部で入力した第二のパラメタの値が、前記第一再生パラメタ決定手段で決定した第一のパラメタの値と異なる場合には、前記重要シーンデータに記述されている各重要シーンの前、あるいは、後ろ、あるいは前後をカットして再生シーンの再生を行うように制御することを特徴とする動画処理装置。
11. 動画処理装置であって、
    動画データを入力する動画データ入力部と、
    該動画データにおける重要シーンが記述された重要シーンデータを特定する重要シーンデータ入力／生成部と、
    上記重要シーンデータを保持する重要シーンデータ保持部と、
    該重要シーンデータに基づいて第一の再生パラメタを決定する第一再生パラメタ決定部と、
    再生シーンを決定するための第二の再生パラメタを入力する第二再生パラメタ入力部と、
    該第二再生パラメタ入力部により該第二の再生パラメタが入力された場合には、該第一再生パラメタ決定部により決定された第一の再生パラメタより該第二再生パラメタ入力部により入力された第二の再生パラメタを優先的に使用して該動画データの再生シーンを再生するように制御する制御部と、
    前記第一再生パラメタ決定部で決定した第一の再生パラメタを利用者に提示させる第一再生パラメタ提示部を有し、
    前記第一の再生パラメタは再生すべき前記重要シーンの動画データの全体の再生時間に対する割合を示す情報であることを特徴とする動画処理装置。
12. 前記第二の再生パラメタとして、再生すべき前記重要シーンの動画データの全体の再生時間に対する割合を設定することを特徴とする請求項１１記載の動画処理装置。
13. 請求項１１または１２に記載の動画処理装置であって、
    前記制御部は、前記第二再生パラメタ入力部により該第二の再生パラメタが入力された場合において、前記第二再生パラメタ入力部で入力した第二のパラメタの値が、前記第一再生パラメタ決定手段で決定した第一のパラメタの値と異なる場合には、前記重要シーンデータに記述されている各重要シーンの前、あるいは、後ろ、あるいは前後を延ばして再生シーンの再生を行うように制御することを特徴とする動画処理装置。
14. 請求項１１または１２に記載の動画処理装置であって、
    前記制御部は、前記第二再生パラメタ入力部により該第二の再生パラメタが入力された場合において、前記第二再生パラメタ入力部で入力した第二のパラメタの値が、前記第一再生パラメタ決定手段で決定した第一のパラメタの値と異なる場合には、前記重要シーンデータに記述されている各重要シーンの前、あるいは、後ろ、あるいは前後をカットして再生シーンの再生を行うように制御することを特徴とする動画処理装置。
15. 動画処理装置であって、
    動画データを入力する動画データ入力手段と、
    該動画データにおけるシーンごとにランキングづけられたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、
    該ランキングデータに基づいて重要シーンが記述されたデータを設定する重要シーンデータ生成手段と、
    該重要シーンデータ生成手段により生成された該重要シーンデータに基づいて、該重要シーンデータの少なくとも一部を再生するための第一の再生パラメタを決定する第一再生パラメタ決定手段と、
    該重要シーンデータの少なくとも一部を再生するための第二の再生パラメタを入力する第二再生パラメタ入力手段と、
    該第二再生パラメタ入力手段により該第二の再生パラメタが入力された場合には、該第一再生パラメタ決定手段により決定された第一の再生パラメタより、該第二再生パラメタ入力手段により入力された第二の再生パラメタを優先的に使用するように制御する制御部を備えることを特徴とする動画処理装置。
16. 前記第二の再生パラメタとして、前記重要シーンの再生時間を設定し、当該再生時間の制約に基づき、前期ランキングデータによるランキングによって重み付けを行って、再生すべき重要シーンを抽出することを特徴とする請求項１５記載の動画処理装置。
17. 前記第二の再生パラメタとして、再生すべき前記重要シーンの動画データの全体の再生時間に対する割合を設定し、当該割合の制約に基づき、前期ランキングデータによるランキングによって重み付けを行って、再生すべき重要シーンを抽出することを特徴とする請求項１５記載の動画処理装置。

Images