JP2006135808A

JP2006135808A - 再生装置及びその方法

Info

Publication number: JP2006135808A
Application number: JP2004324257A
Authority: JP
Inventors: Yoshihiro Omori; 善啓大盛; Koji Yamamoto; 晃司山本; Takashi Ida; 孝井田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-11-08
Filing date: 2004-11-08
Publication date: 2006-05-25
Anticipated expiration: 2024-11-08
Also published as: US20060104609A1; JP4296145B2

Abstract

【課題】映像を確認しながら対話的に映像を短縮視聴できるものを提供する。
【解決手段】映像を記憶する記憶部１００、映像の再生を制御する再生制御部１０１、制御にしたがって映像を表示する再生部１０２、視聴者が等倍速再生や早送り再生等の方法を指定する再生方法指定部１０３、記憶された映像から特徴量を算出する特徴量算出部１０４、算出された特徴量からシーンの短縮再生方法を決定する短縮再生方法決定部１０５、決定された短縮再生方法に基づいて映像の再生中にシーンの短縮再生方法を視聴者に提示する短縮再生方法提示部１０６から構成され、これにより重要でないシーンを再生する際に、早送りやスキップ等の適切な再生方法を視聴者に推薦することにより、映像を確認しながら対話的に短縮視聴できる。
【選択図】図１

Description

本発明は、ＨＤＤレコーダー（ハードディスクレコーダー）、ＤＶＤ（Digital Video Disk）、メモリに記録された映像または音声を短縮して再生する再生装置に関する。

映像を短縮して視聴する方法として、重要なシーンのみを再生するダイジェスト方式と、シーンやフレームの重要度に応じて再生速度を変更する可変速度再生方式、映像からカットやテロップのあるシーンを検出する一覧表示方式が挙げられる。

特許文献１は映像から自動抽出した特徴量に基づいてダイジェスト映像を生成する。映像から自動抽出した特徴量は重要なシーンを必ずしも正しく表さないため、ユーザーが見たい映像ではないシーンがダイジェストに採用されたり、シーンの区切りが不正確で重要なシーンの途中でシーンが終わってしまったりするが、ユーザーは生成されたダイジェスト映像をそのまま視聴するよりほかなかった。

特許文献２はイベントデータに基づいてダイジェスト映像を生成する。イベントデータは人手でも入力できるため重要なシーンを正確に表わせるため、全く重要でないシーンが採用されることはないが、シーンの区切りが不正確であることには変わりがない。また、ダイジェストに採用されなかったがユーザーの視聴したいシーンを視聴できないことにも変わりはない。

特許文献３は映像の変化量に応じて、変化が大きいシーンは遅く、変化が小さいシーンは速く映像を再生する。全映像を再生するため重要なシーンを見落すことはないが、例えば、通常再生して視聴したいシーンでも自動的に早送りが開始されたりして、必ずしもユーザーの意図に沿った再生速度で映像が再生されるとは限らない。

特許文献４は字幕のある画像を抽出して一覧表示するものである。ユーザーはサムネイルを一覧して所望の箇所から映像を再生して対話的に短縮視聴できるが、サムネイル画像を見て試合結果等が分かってしまったり、映像視聴の途中でもシーンを選択するにはサムネイル一覧を表示する必要があるために臨場感が失われたりする。
特許第３３２３８４２号公報特許第３１７６８９３号公報特許第２５５７３３８号公報特開平７−１９２００３号公報

上記のように、従来は映像を再生しながらユーザーと対話的に短縮視聴することはできない。

そこで、本発明は、映像を確認しながら対話的に映像を短縮視聴することができるものを提供する。

請求項１に係る発明は、映像または音声を再生する再生装置において、前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得手段と、前記映像または音声の再生中の位置または次に再生する位置に関連させて前記算出された特徴量を視聴者に提示する特徴量提示手段と、を具備することを特徴とする再生装置である。

請求項２に係る発明は、映像または音声を再生する再生装置において、前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得手段と、前記算出された特徴量と所定の算出条件に基づいてシーンを決定し、各シーン毎の短縮再生を行う短縮再生方法を決定する短縮再生方法決定手段と、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記決定された短縮再生方法を視聴者に提示する短縮再生方法提示手段と、を具備することを特徴とする再生装置である。

請求項３に係る発明は、映像または音声を再生する再生装置において、前記映像、音声においてシーンと各シーン毎の短縮再生を行う短縮再生方法を受信する短縮再生方法受信手段と、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記受信された短縮再生方法を視聴者に提示する短縮再生方法提示手段と、を具備することを特徴とする再生装置である。

請求項１７に係る発明は、映像または音声を再生する再生方法において、前記映像、音声または付加情報の少なくとも一つから各シーン毎に時系列の特徴量を取得する特徴量取得ステップと、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記算出された特徴量を視聴者に提示する特徴量提示ステップと、を具備することを特徴とする再生方法である。

請求項１８に係る発明は、映像または音声を再生する再生方法において、前記映像、音声または付加情報の少なくとも一つから各シーン毎に時系列の特徴量を取得する特徴量取得ステップと、前記算出された特徴量と所定の算出条件に基づいて、各シーン毎の短縮再生を行う短縮再生方法を決定する短縮再生方法決定ステップと、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記決定された短縮再生方法を視聴者に提示する短縮再生方法提示ステップと、を具備することを特徴とする再生方法である。

請求項１９に係る発明は、映像または音声を再生する再生方法において、前記映像、音声における各シーン毎の短縮再生を行う短縮再生方法を受信する短縮再生方法受信ステップと、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記受信された短縮再生方法を視聴者に提示する短縮再生方法提示ステップと、を具備することを特徴とする再生方法である。

請求項２０に係る発明は、映像または音声を再生する再生方法をコンピュータによって実現するプログラムにおいて、前記映像、音声または付加情報の少なくとも一つから各シーン毎に時系列の特徴量を取得する特徴量取得機能と、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記算出された特徴量を視聴者に提示する特徴量提示機能と、を実現することを特徴とする再生方法のプログラムである。

請求項２１に係る発明は、映像または音声を再生する再生方法をコンピュータによって実現するプログラムにおいて、前記映像、音声または付加情報の少なくとも一つから各シーン毎に時系列の特徴量を取得する特徴量取得機能と、前記算出された特徴量と所定の算出条件に基づいて、各シーン毎の短縮再生を行う短縮再生方法を決定する短縮再生方法決定機能と、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記決定された短縮再生方法を視聴者に提示する短縮再生方法提示機能と、を実現することを特徴とする再生方法のプログラムである。

請求項２２に係る発明は、映像または音声を再生する再生方法をコンピュータによって実現するプログラムにおいて、前記映像、音声における各シーン毎の短縮再生を行う短縮再生方法を受信する短縮再生方法受信機能と、前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記受信された短縮再生方法を視聴者に提示する短縮再生方法提示機能と、を実現することを特徴とする再生方法のプログラムである。

本発明によると、重要でないシーンを再生する際に早送りやスキップ等の自動的操作をするのではなく、特徴量や再生方法を視聴者に提示して視聴者が操作できるため、映像を確認しながら対話的に短縮視聴できる。すなわち、重要でないシーンを再生する際に、早送りやスキップ等の適切な再生方法を視聴者に推薦することにより、映像または音声を確認しながら対話的に短縮視聴できる。

以下、図面を参照して本発明の各実施形態を説明する。

（第１の実施形態）
本発明の第１の実施形態による映像再生装置について、図１から図３に基づいて説明する。

（１）映像再生装置の構成
図１は第１の実施形態による映像再生装置の構成図である。

本実施形態による映像再生装置は、ＤＶＤプレイヤー等の映像再生装置にシーンの短縮再生方法を提示する機能を追加して構成される。

すなわち、映像を記憶する記憶部１００、映像の再生を制御する再生制御部１０１、制御にしたがって映像を表示する再生部１０２、視聴者が等倍速再生や早送り再生等の方法を指定する再生方法指定部１０３から構成される映像再生装置に、記憶された映像から特徴量を算出する特徴量算出部１０４、算出された特徴量からシーンの短縮再生を行うための短縮再生方法を決定する短縮再生方法決定部１０５、決定された短縮再生方法に基づいて映像の再生中にシーンの短縮再生方法を視聴者に提示する短縮再生方法提示部１０６を追加して構成される。

（２）映像再生装置の処理の概要
図２は第１の実施形態による映像再生装置の処理の概要を説明するための図である。

特徴量算出部１０４は音声デコーダー回路により構成され、記憶部１００に記憶された音声データを読み取って音圧を算出する。図２の上段のグラフ２００はこのようにして算出された音圧をグラフで表しており、横軸は時間軸、縦軸は音圧の大きさを表している。

短縮再生方法決定部１０５は電子回路により構成され、グラフ２００の破線で示した閾値よりも音圧が大きい連続区間と小さい連続区間をそれぞれシーンとして決定し、音圧の大きなシーンには重要な内容が含まれると考えてこのシーンを等倍速再生、逆に音圧の小さなシーンには重要な内容は含まれないと考えてこのシーンを４倍速再生することを決定する。図２の中段の再生タイミング図２０１はこのようにして決定されたシーンとシーンの短縮再生方法を表しており、横軸は時間軸を表し、白い四角は等倍速再生のシーン、斜線の四角は４倍速再生のシーンを表す。なお、「シーン」とは、複数のフレームから構成された意味のある再生場面をいい、例えば、ＣＭ、サッカーの得点場面等である。

短縮再生方法提示部１０６は映像生成回路により構成され、図２の下段の再生画面２０２に示すように４倍速再生を表す場合には「ｘ４」の文字列の入った映像を、等倍速再生を表す場合には「ｘ１」という文字列の入った映像を生成する。

記憶部１００はＤＶＤと読み取り装置により構成される。

再生制御部１０１は映像と音声のデコーダー回路により構成され、記憶部１００に記憶された映像と音声を読み取ってデコードし、再生方法指示部１０３の指示にしたがって映像と音声を再生する。

再生部１０２はテレビ装置から構成され、再生制御部でデコードされた映像と音声、及び、短縮再生方法提示部１０６が提示する短縮再生方法の提示を合成して表示する。再生画面２０２はこの様子を表したものであり、再生タイミング図２０１に描かれた斜線の四角のシーンでは、再生制御部１０１が生成した人物の映像と、短縮再生方法提示部１０６が生成した４倍速再生の短縮再生を表す「ｘ４」という文字列とを合成して表示する。一方、再生画面２０２に描かれた白い四角のシーンでは、再生制御部１０１が生成した人物の映像と、短縮再生方法提示部１０６が生成した等倍速再生を表す「ｘ１」という文字列とを合成して表示する。

再生方法指示部１０３はリモコン送信機とリモコン受信機とから構成され、等倍速再生ボタン、４倍速再生ボタンを具備する。視聴者は再生部１０２に表示された映像と音声及び短縮再生方法提示部１０６が生成した再生方法の提示を参考にして再生の指示を入力する。入力された指示は再生制御部１０１に伝達されて、指示にしたがって等倍速再生または４倍速再生で映像と音声を再生する。

図２の例では、区間２１０の再生が開始されると「ｘ４」の文字列が画面に合成されて表示され、視聴者が区間２１０の再生中に４倍速再生ボタンを押すと映像は４倍速再生される。４倍速再生中でも「ｘ４」の文字列は表示されたままであるが、４倍速再生が区間２１１まで進むと「ｘ１」の文字列が表示される。区間２１１の４倍速再生中に文字列が変更されたのを視聴者が確認して等倍速再生ボタンを押すと映像は等倍速再生される。等倍速再生中でも「ｘ１」の文字列は表示されたままである。等倍速再生が区間２１２まで進と「ｘ１」の表示が「ｘ４」に変更されるが、視聴者が映像を確認してこのまま視聴を継続したければ文字列の提示にしたがわずに、そのまま等倍速再生を継続する。

このように、短縮再生方法提示部１０６はシーンの短縮再生方法を提示するに留めて、実際に４倍速再生等の短縮再生を行うかどうかは視聴者がこの提示や再生中の映像と音声を基に判断して指示する。逆に、短縮再生方法の提示がなくても例えば４倍速再生中に通常再生に戻すこともできる。

特徴量算出部１０４では音圧を特徴量としたが、視聴者が見たいシーンで必ずしも音圧が大きくなっているとは限らない。

また、短縮再生方法決定部１０５では音圧を閾値で区切ったが、閾値がによって視聴者の見たいシーンを過不足なく抽出することができるとは限らない。本実施形態では、自動で短縮再生しないので例えば視聴者がシーンを見ている途中で強制的に４倍速再生されてしまうといった問題が起こらない。

（３）映像を短縮再生する手順
図３は第１の実施形態による映像再生装置を用いて対話的に映像を短縮再生する手順をフローチャートで表したものである。

まず、特徴量算出部１０４は記憶部１００に記憶された音声データを読み取って特徴量である音圧を算出する（ステップＳ３００）。

短縮再生方法決定部１０５は算出された音圧を閾値処理してシーンを決定し、シーン毎に短縮再生方法を決定する（ステップＳ３０１）。

その後に再生制御部１０１は記憶部１００に記憶された映像と音声の再生を開始する（ステップＳ３０２）。

短縮再生方法提示部１０６は映像の再生と同期して短縮再生方法を提示し、再生部１０２は短縮再生方法の提示と映像を合成して視聴者に提示する（ステップＳ３０３）。

視聴者は短縮再生方法の指示を参考にすると同時に、実際に映像を視聴して確認して短縮再生するかどうかを決め、再生方法が指示された場合にはステップＳ３０５に飛び、そうでない場合にはステップＳ３０６に飛ぶ（ステップＳ３０４）。

ステップＳ３０５では再生制御部１０１は視聴者の指示したとおりに映像の再生を行い（ステップＳ３０５）、ステップＳ３０６では再生制御部１０１は現在の再生を継続する（ステップＳ３０６）。

再生が完了した場合に終了し、そうでない場合にはステップＳ３０３に戻る（ステップＳ３０７）。

以上により、本実施形態による映像再生装置は、視聴者と対話的に映像の短縮視聴ができることを示した。

（第１の実施形態の変更例）
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

以下、第１の実施形態の変更例について、図４から図６に基づいて説明する。

（１）変更例１
第１の実施形態の短縮再生は等倍速再生と４倍速再生であったがこれに限らない。例えば、再生の種類は２種類に限らず、等倍速再生、４倍速再生、１０倍速再生のように３種類以上でもよい。あるいは、次のシーンまでスキップしたり、スローモーションで再生したり、４倍速再生がシーンの最後まで進むと自動的に等倍速再生するような複雑な再生方法でもよい。

（２）変更例２
第１の実施形態の短縮再生方法提示部１０６は、４倍速再生を「ｘ４」、等倍速再生を「ｘ１」の文字列で表したが、これに限らず短縮再生方法を視聴者に知覚させる提示方法であればなんでもよい。図４に短縮再生方法の提示方法の一例を示す。例えば、再生画面４００と再生画面４０１は第１の実施形態の例を表す。

これに限らず、４倍速再生を再生画面４０２のように２つの三角形、等倍速再生を再生画面４０３のように一つの三角形の図形で表してもよい。

あるいは、４倍速再生を再生画面４０４のようにテレビ画面外にあるパイロットランプを点滅させ、等倍速再生をパイロットランプの消灯で表してもよい。提示方法は視覚に訴えるものに限らず、音を用いてもよく、例えば４倍速再生をアラーム音、等倍速再生を無音で表してもよい。短縮再生方法の種類が３種類以上ある場合には、それぞれに対応する提示をすればよい。

（３）変更例３
第１の実施形態の短縮再生方法提示部１０６は、短縮再生方法決定部１０５で決定したシーンに対応した短縮再生方法をそのシーンの再生中に提示したがこれに限らない。

図５に短縮再生方法を提示する別の例を示す。図５の第三段の再生タイミング図５００は短縮再生方法を提示する区間を示しており、再生タイミング図２０１に示した短縮再生方法決定部１０５で決定した区間と１対１に対応せず、シーンの切り替わりの前後１０秒間と映像の再生直後１０秒間に提示している。シーンの再生前に短縮再生方法を提示すると、次に再生されるシーンが重要であるかどうかを予告できる。シーンの再生開始後しばらくすると短縮再生方法の提示を止めると、視聴者による再生方法の指示が終わったのに提示が表示され続けることはなくなる。あるいは、視聴者によって再生方法が指示された後のシーンでは提示の表示を止めてもよい。あるいは、提示した短縮再生方法と実際のシーン再生状態が食い違ってから一定時間後に提示の表示を止めると、視聴者が実際のシーン再生状態で満足している場合に余計な提示を行わなくて済む。

（４）変更例４
第１の実施形態の短縮再生方法決定部１０５は、映像を再生する前に予めシーンと短縮再生方法を決定したが、映像を再生しながら映像を先読みして決定してもよい。長時間の映像の場合には映像の解析に時間がかかるが、解析が終了するまで待たずに映像再生を開始できる。

（５）変更例５
第１の実施形態の短縮再生方法決定部１０５は、１種類の固定した短縮再生方法を決定したが、粒度の異なる複数種の短縮再生方法を決定したり、視聴者の指示により特徴量の解析条件を変更して再決定したりしてもよい。

図６に特徴量の解析条件を変更する例を示す。

（５−１）変更例５−１
第１の実施形態ではグラフ２００に示す音圧を破線で示すレベルの閾値で判断して再生タイミング図２０１のようにシーンを区切って短縮再生方法を決定したが、例えば映像の再生中に視聴者がリモコンに付加された閾値レベル変更ボタンを操作して閾値を下げて、グラフ６００に示すように破線で示すレベルの閾値を下げて再生タイミング図６０１のように等倍速再生の時間が長くなるようにして決定してもよい。

（５−２）変更例５−２
複数の閾値を用いて再生タイミング図２０１と再生タイミング図６０１のような複数系列の短縮再生方法を決定しておいて、例えば映像の再生中に視聴者がリモコンに付加された系列変更ボタンを操作して、任意の系列の短縮再生方法を選択してもよい。

（５−３）変更例５−３
あるいは、スキップから戻る操作があると、戻ったシーンの区間のみ閾値を下げて再生してもよい。例えば、図２００のグラフに示す閾値で図２０１に示す再生タイミングを生成して再生を行う場合、シーン２１４をスキップした後に視聴者が例えば得点が大量に追加されていることに気づいてスキップしたシーンに重要な映像が含まれていることに気づいて戻る指示を出した場合、図６００のグラフに示すように閾値を下げてシーン２１４の区間の中で新たに等倍再生のシーン６１１を生成して、シーン６１１を再生する。そして、スキップすることなくシーン６１１を視聴できるようになる。

閾値の変更幅は予め定められた値や視聴者が予め定めた値を用いてもよいし、スキップしたシーンの中で予め定められた時間以上のシーンが予め定められた個数以上生成されるまで閾値を下げて自動的に最適な閾値を決定してもよい。

シーン６１１の再生後は閾値をグラフ２００のように元に戻して再生を継続してもよいし、視聴履歴を記憶しておいて、スキップから戻る操作がある回数を超えると閾値レベルを自動的に下げてもよい。

（５−４）変更例５−４
第１の実施形態の映像再生装置では、アナログの特徴量（音圧データ）を特徴量算出部１０４で予め読み取って算出し、短縮再生方法決定部１０５が算出された音圧を閾値処理してシーン毎に短縮再生方法を決定している。

これに代えて、特徴量（音圧データ）を多値化して、その多値化した特徴量を閾値処理しつつ再生してもよい。この場合に、再生中に閾値を変更しても、アナログの特徴量に基づいて閾値処理を再計算するよりも処理量を大幅に軽減できる。

（６）変更例６
第１の実施形態の特徴量算出部１０４は音圧を算出したが、映像の動きベクトル、カット、映像の色調、カメラワーク、音声のステレオモード、歓声の大きさ、打撃音などの特定音の大きさ、クローズドキャプション、等の短縮再生方法を決定するのに必要な特徴量であればなんでもよい。

（７）変更例７
第１の実施形態の特徴量算出部１０４は記憶部１００に記憶された映像と音声を解析して特徴量を算出したが、特徴量が得られる手段であればなんでもよい。

例えば、予め特徴量を記憶部に映像や音声と一緒に記憶しておいて、特徴量算出部はこれを読み出すだけでもよい。特徴量の解析に時間がかかるが短縮再生決定部１０５で視聴者の嗜好に合った短縮再生方法を決定できる場合に有効である。あるいは、インターネットに接続してサーバーから特徴量を受信してもよい。

（８）変更例８
第１の実施形態ではＤＶＤによる再生専用装置として説明したが、映像を再生する機能を有するものならばなにに組み込んでもよい。例えば、ＨＤＤレコーダー、映像再生機能のついた携帯電話等に組み込んでもよい。

（９）変更例９
第１の実施形態の映像再生装置では映像から特徴量を算出したが、特徴量をインターネット等から受信して、第１の実施形態のように受信した特徴量から短縮再生方法を決定してもよい。この場合、特徴量算出部１０４は不要である。

例えば、ＤＶＤに記憶された映像について特徴量を予め算出してインターネットのサーバー上に置き、映像を再生する際に特徴量をダウンロードして用いる。計算量は大きいが精度の高い特徴量を用いたい場合に有効である。

（１０）変更例１０
第１の実施形態の映像再生装置では短縮再生方法を提示したが、特徴量算出部１０４で算出された特徴量をそのまま視聴者に提示してもよい。この場合、短縮再生方法決定部１０５は不要である。

例えば、音声の大きなシーンには重要な映像が含まれることが多いため、音声の大きさを視聴者に直接提示しても重要なシーンかどうかを推測できる。この場合、次に再生するシーンの音声の大きさを画面の端にグラフ表示すれば、重要なシーンが終わった後に早送りするかどうかをユーザーが判断できる。

（１１）変更例１１
第１の実施形態の映像再生装置では短縮再生方法を視聴者に提示するのみで短縮再生するかどうかは視聴者が操作したが、短縮再生方法を提示すると同時に自動的に短縮再生を行い、視聴者からは短縮再生をキャンセルするかどうかを指示してもよい。

例えば、次に再生するシーンの再生方法を視聴者に提示して、そのシーンまで再生が進むと重要でないシーンを自動的に早送りする場合には、現在再生中のシーンで重要な映像が再生されていてこの後も重要なシーンが継続すると視聴者が推測した場合には、次のシーンを早送りするのをキャンセルすればよい。

第１の実施形態の映像再生装置のように視聴者が短縮再生方法を指示するよりも、本変更例のようにキャンセルを指示する方が、指示回数が少ない場合に視聴者の負担を軽減できる。

（第２の実施形態）
本発明の第２の実施形態による映像再生装置について、図７から図９に基づいて説明する。

第２の実施形態による映像再生装置は、第１の実施形態による映像再生装置のように映像を解析して短縮再生方法を決定するのではなく、短縮再生方法をインターネット等から受信する。

（１）映像再生装置の短縮再生の概要
図７は第２の実施形態による映像再生装置の構成図である。

図１に示した第１の実施形態の概略構成から特徴量算出部１０４を取り除いて、短縮再生方法決定部１０５の代わりに短縮再生方法受信部１０７を追加して構成される。

短縮再生方法受信部１０７はインターネットに接続された受信回路により構成され、短縮再生方法をサーバーから受信する。図８に受信した短縮再生方法の一例を示す。時刻の欄はシーンの先頭時刻を表し、映像の先頭からの時間を表す。短縮再生方法の欄は短縮再生方法を数字で表しており、０の場合は４倍速再生を、１の場合は等倍速再生を表す。この例では、時刻０：１１：５６から時刻０：１８：５１までのシーンは等倍速再生を、時刻０：２８：４７から時刻０：３５：４９までのシーンは４倍速再生することを表している。

短縮再生方法提示部１０６は短縮再生方法受信部１０７が受信した短縮再生方法に基づいて視聴者に短縮再生方法を提示し、その他の処理は第１の実施形態と同様に行われる。

（２）映像を短縮再生する手順
図９は映像再生装置を用いて対話的に映像を短縮再生する手順をフローチャートで表したものである。

まず、短縮再生方法受信部１０７はインターネット上にあるサーバーから短縮再生方法を受信する（ステップＳ９０１）。

その後に再生制御部１０１は記憶部１００に記憶された映像と音声の再生を開始する（ステップＳ９０２）。

短縮再生方法提示部１０６は映像の再生と同期して短縮再生方法を提示し、再生部１０２は短縮再生方法の提示と映像を合成して視聴者に提示する（ステップＳ９０３）。

視聴者は短縮再生方法の指示を参考にすると同時に、実際に映像を視聴して確認して短縮再生するかどうかを決め、再生方法が指示された場合にはステップ９３０５に飛び、そうでない場合にはステップＳ９０６に飛ぶ（ステップＳ９０４）。

ステップＳ９０５では再生制御部１０１は視聴者の指示したとおりに映像の再生を行い（ステップＳ９０５）、ステップＳ９０６では再生制御部１０１は現在の再生を継続する（ステップＳ９０６）。

再生が完了した場合に終了し、そうでない場合にはステップＳ９０３に戻る（ステップＳ９０７）。

以上により、第２の実施形態によると、映像を解析する能力がない映像再生機器でも短縮再生方法を受信することによって、視聴者と対話的に映像の短縮視聴ができることを示した。

（第２の実施形態の変更例）
第２の実施形態の短縮再生受信部１０７はインターネット上のサーバーから短縮再生方法を受信したが、短縮再生方法を受信できる手段であればなんでもよい。

例えば、記憶部１００に映像や音声と一緒に短縮再生方法も記憶しておいてこれを読み出してもよい。あるいは、メモリーカードに記憶された短縮再生方法をコピーしてもよい。

第２の実施形態の短縮再生受信部１０７は１種類の短縮再生方法を受信したが、複数種類の短縮再生方法を受信してもよい。

（第３の実施形態）
第３の実施形態では音声のみを処理する。例えば、会議の内容をＤＶＤやメモリに録音して短縮再生する場合に用いる。

（１）音声再生装置の構成
第３の実施形態による音声再生装置の構成図は図１に示した第１の実施形態の構成図と略同一である。

すなわち、音声を記憶する記憶部１００、音声の再生を制御する再生制御部１０１、制御にしたがって音声を出力する再生部１０２、使用者が等倍速再生や早送り再生等の方法を指定する再生方法指定部１０３から構成される音声再生装置に、記憶された音声から特徴量を算出する特徴量算出部１０４、算出された特徴量からシーンの短縮再生方法を決定する短縮再生方法決定部１０５、決定された短縮再生方法に基づいて音声の再生中にシーンの短縮再生方法を視聴者に提示する短縮再生方法提示部１０６を追加して構成される。

（２）処理手順
処理手順も第１の実施形態と略同一であるので、異なることについてのみ以下に説明する。

特徴量算出部１０４は音声デコーダー回路により構成され、記憶部１００に記憶された音声データを読み取って音圧を算出する。

短縮再生方法決定部１０５は電子回路により構成され、第１の実施形態と同様に音声をシーンに区切って４倍速再生するシーンと等倍速再生するシーンを決定する。

短縮再生方法提示部１０６は音声生成回路により構成され、４倍速再生を表す場合には「ピッピッピッ」というように発信音を連続して生成し、等倍速再生の場合にはなんの音声も生成しない。

記憶部１００はＤＶＤやメモリと読み取り装置により構成される。

再生制御部１０１は音声デコーダー回路により構成され、記憶部１００に記憶された音声を読み取ってデコードし、再生方法指示部１０３の指示にしたがって音声を再生する。再生部１０２は増幅回路とスピーカーから構成され、再生制御部１０１でデコードされた音声、及び、短縮再生方法提示部１０６が生成する音声を合成して再生する。

図２の例では、４倍速再生のときに記憶部１００に記憶された音声に「ピッピッピッ」という発信音が合成されて再生されるため、使用者はこの部分を早送りすればよいと分かる。同様に、発信音がなくなれば等倍速再生すればよいことが分かる。

以上により、第３の実施形態による音声再生装置は、視聴者と対話的に音声の短縮視聴ができることを示した。

本発明の第１の実施形態の映像再生装置の構成図である。第１の実施形態の映像再生装置の動作を説明するための図である。第１の実施形態の映像再生装置の手順を表すフローチャートである。第１の実施形態の映像再生装置の短縮再生方法の提示方法の具体例の図である。第１の実施形態の変更例３における映像再生装置の動作を説明するための図である。第１の実施形態の変更例５における映像再生装置の動作を説明するための図である。本発明の第２の実施形態の映像再生装置の構成図である。第２の実施形態の映像再生装置の短縮再生方法の一例を示す図である。第２の実施形態の映像再生装置の手順を表すフローチャートである。

符号の説明

１００記憶部
１０１再生制御部
１０２再生部
１０３再生方法指定部
１０４特徴量算出部
１０５短縮再生方法決定部
１０６短縮再生方法提示部

Claims

映像または音声を再生する再生装置において、
前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得手段と、
前記映像または音声の再生中の位置または次に再生する位置に関連させて前記算出された特徴量を視聴者に提示する特徴量提示手段と、
を具備する
ことを特徴とする再生装置。
映像または音声を再生する再生装置において、
前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得手段と、
前記算出された特徴量と所定の算出条件に基づいてシーンを決定し、前記各シーンの短縮再生方法を決定する短縮再生方法決定手段と、
前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記決定された短縮再生方法を視聴者に提示する短縮再生方法提示手段と、
を具備する
ことを特徴とする再生装置。
映像または音声を再生する再生装置において、
前記映像、音声においてシーンと前記各シーンの短縮再生方法を受信する短縮再生方法受信手段と、
前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記受信された短縮再生方法を視聴者に提示する短縮再生方法提示手段と、
を具備する
ことを特徴とする再生装置。
前記提示された短縮再生方法に基づいて前記視聴者が一の短縮再生方法を指示するための短縮再生方法指示手段と、
前記指示に基づいて前記映像または音声を短縮再生する再生手段と、
を具備する
ことを特徴とする請求項２または３記載の再生装置。
前記提示された一の短縮再生方法で映像または音声を自動的に再生すると共に、前記視聴者がその自動再生のキャンセルをキャンセル指示手段によって指示した場合には現在の再生方法を継続する再生手段を具備する
ことを特徴とする請求項２または３記載の再生装置。
前記短縮再生方法決定手段または前記短縮再生方法受信手段は、複数の短縮再生方法を決定または受信し、
前記短縮再生方法提示手段は、前記決定または受信された複数の短縮再生方法を提示し、
また、前記再生装置は、
前記提示された複数の殊再生方法の中から前記視聴者が選択手段によって選択した一の短縮再生方法に基づいて再生する再生手段を具備する
ことを特徴とする請求項２または３記載の再生装置。
前記短縮再生方法決定手段は、前記算出条件を変更する変更指示手段を有し、前記変更指示手段によって前記算出条件変更指示があった場合に、前記変更された算出条件で短縮再生方法を決定する
ことを特徴とする請求項２記載の再生装置。
前記特徴量取得手段は、前記取得した各シーン毎の特徴量を多値化し、
前記短縮再生方法決定手段は、前記変更された算出条件と前記多値化した特徴量に基づいて短縮再生方法を決定する
ことを特徴とする請求項７記載の再生装置。
前記短縮再生方法決定手段は、前記視聴者が前記映像または音声を時間的に遡って再生し直す場合に、前記遡った区間または前記遡った区間以降のすべての区間について、変更後の算出条件に基づいて前記短縮再生方法を再び決定し直す
ことを特徴とする請求項７記載の再生装置。
視聴者の短縮再生指示の履歴を記憶する履歴記憶手段を有し、
前記短縮再生方法決定手段は、前記視聴者が前記映像または音声を時間的に遡って再生し直す場合に、前記遡った区間または前記遡った区間以降のすべての区間について、前記記憶した履歴に基づいて前記算出条件を変更して短縮再生方法を再び決定し直す
ことを特徴とする請求項２記載の再生装置。
前記特徴量取得手段は、前記特徴量を前記再生中のシーンまたは次に再生するシーンから算出する
ことを特徴とする請求項１または２記載の再生装置。
前記特徴量取得手段は、前記特徴量を外部から受信する
ことを特徴とする請求項１または２記載の再生装置。
前記短縮再生方法は、前記映像または音声の等倍速再生方法、前記映像または音声をスキップして再生する方法、早送り再生方法、早送り再生してシーン末尾が来ると自動的に等倍速再生に戻る方法のうち少なくとも一つである
ことを特徴とする請求項２から１２のうち少なくとも一項に記載の再生装置。
前記特徴量提示手段または前記短縮再生方法提示手段は、
図形、グラフ、文字列のうち少なくとも一つを前記再生装置の表示手段の画面上、前記画面外の小画面、前記再生装置のリモコン上の小画面のうち少なくとも一つに前記特徴量または前記短縮再生方法を提示するか、
前記画面外のランプ、前記リモコン上のランプの少なくとも一つの点灯状態を変化させて前記特徴量または前記短縮再生方法を提示するか、
または、前記再生装置の音出力手段から音または音声の少なくとも一つを再生して前記特徴量または前記短縮再生方法を提示する
ことを特徴とする請求項１から１２のうち少なくとも一項に記載の再生装置。
前記短縮再生方法提示手段は、
前記シーン再生中の全時間、前記シーンの先頭から一定時間、前記シーン再生前の一定時間、前記提示と前記シーンの再生状態が食い違う全時間、前記提示と前記シーンの再生状態が食い違い始めてから一定時間のうち少なくとも一つ以上の組み合わせの時間に短縮再生方法を提示する
ことを特徴とする請求項２から１２のうち少なくとも一項に記載の再生装置。
前記短縮再生方法指示手段は、
前記短縮再生方法提示手段による提示と一対一に対応する指示手段を具備するか、
または、前記短縮再生方法提示手段は等倍速かそうでないかのみの選択肢を提示して、この提示された選択肢を選択する提示手段を具備する
ことを特徴とする請求項４記載の再生装置。
映像または音声を再生する再生方法において、
前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得ステップと、
前記映像または音声の再生中の位置または次に再生する位置に関連させて前記算出された特徴量を視聴者に提示する特徴量提示ステップと、
を具備する
ことを特徴とする再生方法。
映像または音声を再生する再生方法において、
前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得ステップと、
前記算出された特徴量と所定の算出条件に基づいてシーンを決定し、前記各シーンの短縮再生方法を決定する短縮再生方法決定ステップと、
前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記決定された短縮再生方法を視聴者に提示する短縮再生方法提示ステップと、
を具備する
ことを特徴とする再生方法。
映像または音声を再生する再生方法において、
前記映像、音声においてシーンと前記各シーンの短縮再生を行う短縮再生方法を受信する短縮再生方法受信ステップと、
前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記受信された短縮再生方法を視聴者に提示する短縮再生方法提示ステップと、
を具備する
ことを特徴とする再生方法。
映像または音声を再生する再生方法をコンピュータによって実現するプログラムにおいて、
前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得機能と、
前記映像または音声の再生中の位置または次に再生する位置に関連させて前記算出された特徴量を視聴者に提示する特徴量提示機能と、
を実現する
ことを特徴とする再生方法のプログラム。
映像または音声を再生する再生方法をコンピュータによって実現するプログラムにおいて、
前記映像、音声または付加情報の少なくとも一つから時系列の特徴量を取得する特徴量取得機能と、
前記算出された特徴量と所定の算出条件に基づいてシーンを決定し、前記各シーンの短縮再生方法を決定する短縮再生方法決定機能と、
前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記決定された短縮再生方法を視聴者に提示する短縮再生方法提示機能と、
を実現する
ことを特徴とする再生方法のプログラム。
映像または音声を再生する再生方法をコンピュータによって実現するプログラムにおいて、
前記映像、音声においてシーンと前記各シーン毎の短縮再生を行う短縮再生方法を受信する短縮再生方法受信機能と、
前記映像または音声の再生中のシーンまたは次に再生するシーンに関連させて前記受信された短縮再生方法を視聴者に提示する短縮再生方法提示機能と、
を実現する
ことを特徴とする再生方法のプログラム。