JP2000253351A - 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number
JP2000253351A
JP2000253351A JP11053258A JP5325899A JP2000253351A JP 2000253351 A JP2000253351 A JP 2000253351A JP 11053258 A JP11053258 A JP 11053258A JP 5325899 A JP5325899 A JP 5325899A JP 2000253351 A JP2000253351 A JP 2000253351A
Authority
JP
Japan
Prior art keywords
setting
priority
scene
procedure
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11053258A
Other languages
English (en)
Other versions
JP3934274B2 (ja
Inventor
Junshiro Kanda
準史郎 神田
Koji Wakimoto
浩司 脇本
Satoshi Tanaka
聡 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP05325899A priority Critical patent/JP3934274B2/ja
Publication of JP2000253351A publication Critical patent/JP2000253351A/ja
Application granted granted Critical
Publication of JP3934274B2 publication Critical patent/JP3934274B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

(57)【要約】 【課題】 動画像の要約を作成する際に、シーン分割さ
れたシーンに対して段階的な優先度を設定することでシ
ーンの取捨選択を容易にする動画要約装置を得ること。 【解決手段】 動画像を入力して記憶する動画入力手段
１と、動画入力手段１により入力された動画像をシーン
単位に分割するシーン分割手段３と、シーン分割手段３
により分割されたシーンをグルーピングするグループ作
成手段５と、グループ作成手段５によりグルーピングさ
れた結果に基づいてシーンの優先度を設定する優先度設
定手段７と、優先度設定手段７により設定された優先度
に従って動画入力手段１に記憶されている動画から該当
部分を切り出し、つなぎ合わせたものを要約動画として
出力する要約出力手段９とを設ける。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、動画要約装置お
よび動画要約作成プログラムを記録したコンピュータ読
み取り可能な記録媒体および動画再生装置および動画再
生プログラムを記録したコンピュータ読み取り可能な記
録媒体に関するものである。
【０００２】
【従来の技術】ネットワークの高速化やインターネット
における動画像配信技術の進歩により、動画像配信が盛
んに行われている。しかしながら、動画像を配信するに
は、依然として相当の時間、リソースが必要となるため
に、動画像の中身をすべて見ずに目的の動画像を探し出
すことができる装置が求められている。この点を解決す
るために、動画像の内容をかいつまんで要約した要約動
画を用いて長いストーリーの一部のみを見せることで、
それがユーザーにとって必要であるかそうでないかを判
定させるという手法が取られる。
【０００３】従来、コンピュータシステムにおいて、動
画像の要約を作成するには、ビデオ編集ソフトウェアを
用いてビデオ編集を行う必要がある。ビデオ編集のプロ
グラミングとしては、たとえばＡｄｏｂｅ社の「Ｐｒｅ
ｍｉｅｒｅ」のようなものが挙げられる。「Ｐｒｅｍｉ
ｅｒｅ」では、動画ファイルを読み込んで、必要なシー
ンを人手により切り出してつなぎ合わせことで動画像の
編集を行うことができる。これにより、要約とすべき部
分を切り出して、それらを繋ぎ合わせることで要約を作
成することができる。
【０００４】動画像の要約を作成するものとして、各シ
ーンに優先度を設定し、設定された優先度と任意に設定
されたダイジェスト時間により、ダイジェスト時間範囲
の動画像要約を作成するものが特開平３−９０９６８号
公報に示されている。また、シーンを類似度をもってグ
ループ化し、各グループの代表画像シーンを繋ぎ合わせ
ることで要約を作成することが特開平１０−１１２８３
５号公報に示されている。
【０００５】また、音声信号のレベルが大きいシーンを
ハイライトシートとして抜粋してダイジェスト（動画像
要約）を自動的に作成することが特開平９−２８４７０
４号公報に示されている。また、動画像のカットの変わ
り目を代表シーンとし、その代表シーンを繋ぎ合わせる
ことで要約を作成することが特開平９−２８４６９８号
公報に示されている。
【０００６】
【発明が解決しようとする課題】「Ｐｒｅｍｉｅｒｅ」
のような方法では、採用すべきシーンは動画を最初から
最後まで見る、もしくは一定フレーム間隔でフレーム画
像を並べたフィルムストリップ形式の表示ウインドウに
よって位置を特定する必要があり、採用シーンの特定は
最終的には１フレームごとに行う必要があり、一度要約
となるビデオクリップを作成してしまうと、別の長さの
要約画像を作成するには、新たに最初から要約の作りな
おす必要があり、目的に応じたフレキシビリティが高い
要約画像を作成することができない。
【０００７】特開平３−９０９６８号公報に示されてい
る要約画像作成では、各シーンに対する優先度の設定に
より、任意に設定されたダイジェスト時間範囲で、優先
度が高いシーンを集めた要約画像を作成できるが、長い
ストーリーや話題が多いものの場合には、全体にわたっ
て優先度の設定が満遍なく適切に行われないと、片寄っ
た内容の要約画像が作成され、全体を適切に把握できる
良質の要約画像が作成されない。
【０００８】これに対し、特開平１０−１１２８３５号
公報や特開平１０−２８４７０４号公報に示されている
ものでは、シーンを類似度をもってグループ化し、各グ
ループの代表画像シーンを繋ぎ合わせることで要約を作
成したり、音声信号のレベルが大きいシーンをハイライ
トシートとして抜粋して要約を作成するから、一応、全
体を把握できる要約画像を作成することができるが、し
かし、別の長さの要約画像を作成するには、新たに最初
から要約の作りなおす必要があり、目的に応じたフレキ
シビリティが高い要約画像を作成することができない。
また、特開平９−２８４６９８号公報に示されているも
のであっても、同様に目的に応じたフレキシビリティが
高い要約画像を作成することができない。
【０００９】この発明は、上述の如き問題点を解消する
ためになされたもので、片寄った内容の要約画像を作成
することがなく、全体を把握でき、しかも目的に応じた
フレキシビリティが高い要約画像を的確に作成する動画
要約装置および動画要約作成プログラムを記録したコン
ピュータ読み取り可能な記録媒体、および目的に応じた
高いフレキシビリティをもって要動画要約を再生する動
画再生装置および動画再生プログラムを記録したコンピ
ュータ読み取り可能な記録媒体を得ることを目的として
いる。
【００１０】
【課題を解決するための手段】上述の目的を達成するた
めに、この発明による動画要約装置は、動画像を入力す
る動画入力手段と、前記動画入力手段により入力された
動画像をシーン単位に分割するシーン分割手段と、前記
シーン分割手段により分割されたシーンをグルーピング
するグループ作成手段と、前記グループ作成手段により
グルーピングされた結果に基づいてシーンの優先度を設
定する優先度設定手段と、前記優先度設定手段により設
定された優先度情報に基づいてシーンの取捨選択を行
い、要約動画像を作成する要約出力手段とを有している
ものである。
【００１１】つぎの発明による動画要約装置は、前記優
先度設定手段が、グループの先頭シーンに最高の優先度
を設定するものである。
【００１２】つぎの発明による動画要約装置は、前記グ
ループ作成手段が、シーン開始位置近辺の画像にタイト
ル文字が含まれていることを判定するタイトル判定手段
と、前記タイトル判定手段の結果からタイトル文字あり
と判定されたシーン分割点を話題転換点として設定する
話題転換点設定手段と、各話題転換点間を一つのグルー
プとしてグルーピングする自動グルーピング手段とを有
しているものである。
【００１３】つぎの発明による動画要約装置は、前記グ
ループ作成手段が、シーン分割点近辺の音声特徴を検出
する音声特徴検出手段と、前記音声特徴検出手段の結果
から音声特徴ありと判定されたシーン分割点を話題転換
点として設定する話題転換点設定手段と、各話題転換点
間を一つのグループとしてグルーピングする自動グルー
ピング手段とを有しているものである。
【００１４】つぎの発明による動画要約装置は、前記グ
ループ作成手段が、シーン開始位置近辺の画像にタイト
ル文字が含まれていることを判定するタイトル判定手段
と、シーン分割点近辺の音声特徴を検出する音声特徴検
出手段と、前記タイトル判定手段においてタイトル文字
が含まれていると判定され、かつ、前記音声特徴検出手
段において音声特徴変化があったと判定されたシーン分
割点を話題転換点として設定する話題転換点設定手段
と、各話題転換点間を一つのグループとしてグルーピン
グする自動グルーピング手段とを有しているものであ
る。
【００１５】つぎの発明による動画要約装置は、前記音
声特徴検出手段が、音声のフェードインを検出するもの
である。
【００１６】つぎの発明による動画要約装置は、前記音
声特徴検出手段が、音声レベルの急激な増加を検出する
ものである。
【００１７】つぎの発明による動画要約装置は、前記優
先度設定手段が、シーン中で要約に採用する際の開始点
とする位置を設定する開始位置設定手段と、開始位置か
らの継続時間を設定する継続区間設定手段とを有してい
るものである。
【００１８】つぎの発明による動画要約装置は、前記動
画入力手段において入力された動画像へのポインタ情報
と前記優先度設定手段により設定された優先度情報を前
記シーン分割手段により記憶されているシーン情報と関
連づけた結果を構造化して出力する設定情報出力手段を
有しているものである。
【００１９】また、上述の目的を達成するために、この
発明による動画再生装置は、上述のような発明による動
画要約装置の前記設定情報出力手段により設定された設
定情報を読み込む設定値読み込み手段と、設定情報に記
述されている動画像へのポインタ情報を基に動画像を読
み込む再生動画入力手段と、再生する対象優先度を設定
する再生優先度設定手段と、読み込んだ優先度情報と動
画像と前記再生優先度設定手段により設定された再生優
先度を基に要約再生を行う要約再生手段とを有している
ものである。
【００２０】つぎの発明による動画要約装置は、前記設
定情報出力手段が、再生可能とする優先度の最低値を設
定する再生限界優先度設定手段と、限界優先度を解除す
るためのキーを設定する限界優先度解除キー設定手段と
を有しているものである。
【００２１】つぎの発明による動画再生装置は、上述の
発明による動画要約装置の前記設定情報出力手段により
設定された設定情報を読み込む設定値読み込み手段と、
設定情報に記述されている動画像へのポインタ情報を基
に動画像を読み込む再生動画入力手段と、上述の発明に
よる動画要約装置の前記再生限界優先度設定手段により
設定された再生限界優先度以下に設定不可能として再生
する対象優先度を設定する制限付き再生優先度設定手段
と、上述の発明による動画要約装置の前記限界優先度解
除キー設定手段により設定された限界優先度解除キーの
指定により再生限界優先度の制限を解除する制限解除手
段と、読み込んだ優先度情報と動画像と前記制限付き再
生優先度設定手段と設定された再生優先度を基に要約再
生を行う要約再生手段とを有しているものである。
【００２２】また、上述の目的を達成するために、この
発明による動画要約作成プログラムを記録したコンピュ
ータ読み取り可能な記録媒体は、コンピュータに、動画
像を入力する動画入力手順と、前記動画入力手順により
入力された動画像をシーン単位に分割するシーン分割手
順と、前記シーン分割手順により分割されたシーンをグ
ルーピングするグループ作成手順と、前記グループ作成
手順によりグルーピングされた結果に基づいてシーンの
優先度を設定する優先度設定手順と、前記優先度設定手
順により設定された優先度情報に基づいてシーンの取捨
選択を行い、要約動画像を作成する要約出力手順とを実
行させるためのプログラムを記録したものである。
【００２３】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記優先度設定手順が、グループの先頭シーンに最高の優
先度を設定するものである。
【００２４】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記グループ作成手順が、シーン開始位置近辺の画像にタ
イトル文字が含まれていることを判定するタイトル判定
手順と、前記タイトル判定手順の結果からタイトル文字
ありと判定されたシーン分割点を話題転換点として設定
する話題転換点設定手順と、各話題転換点間を一つのグ
ループとしてグルーピングする自動グルーピング手順と
を有しているものである。
【００２５】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記グループ作成手順が、シーン分割点近辺の音声特徴を
検出する音声特徴検出手順と、前記音声特徴検出手順の
結果から音声特徴ありと判定されたシーン分割点を話題
転換点として設定する話題転換点設定手順と、各話題転
換点間を一つのグループとしてグルーピングする自動グ
ルーピング手順とを有しているものである。
【００２６】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記グループ作成手順は、シーン開始位置近辺の画像にタ
イトル文字が含まれていることを判定するタイトル判定
手順と、シーン分割点近辺の音声特徴を検出する音声特
徴検出手順と、前記タイトル判定手順においてタイトル
文字が含まれていると判定され、かつ、前記音声特徴検
出手順において音声特徴変化があったと判定されたシー
ン分割点を話題転換点として設定する話題転換点設定手
順と、各話題転換点間を一つのグループとしてグルーピ
ングする自動グルーピング手順とを有しているものであ
る。
【００２７】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記音声特徴検出手順が、音声のフェードインを検出する
ものである。
【００２８】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記音声特徴検出手順が、音声レベルの急激な増加を検出
するものである。
【００２９】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記優先度設定手順が、シーン中で要約に採用する際の開
始点とする位置を設定する開始位置設定手順と、開始位
置からの継続時間を設定する継続区間設定手順とを有し
ているものである。
【００３０】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記動画入力手順において入力された動画像へのポインタ
情報と前記優先度設定手順により設定された優先度情報
をシーン分割手順により記憶されているシーン情報と関
連づけた結果を構造化して出力する設定情報出力手順を
有しているものである。
【００３１】また、上述の目的を達成するために、この
発明による動画再生プログラムを記録したコンピュータ
読み取り可能な記録媒体は、動画要約作成プログラムを
記録したコンピュータ読み取り可能な記録媒体は、上述
の発明によるコンピュータ読み取り可能な記録媒体の前
記設定情報出力手順により設定された設定情報を読み込
む設定値読み込み手順と、設定情報に記述されている動
画像へのポインタ情報を基に動画像を読み込む再生動画
入力手順と、再生する対象優先度を設定する再生優先度
設定手順と、読み込んだ優先度情報と動画像と前記再生
優先度設定手順により設定された再生優先度を基に要約
再生を行う要約再生手順とを有しているものである。
【００３２】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、前
記設定情報出力手順は、再生可能とする優先度の最低値
を設定する再生限界優先度設定手順と、限界優先度を解
除するためのキーを設定する限界優先度解除キー設定手
順とを有しているものである。
【００３３】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体は、上
述の発明によるコンピュータ読み取り可能な記録媒体の
前記設定情報出力手順により設定された設定情報を読み
込む設定値読み込み手順と、設定情報に記述されている
動画像へのポインタ情報を基に動画像を読み込む再生動
画入力手順と、上述の発明によるコンピュータ読み取り
可能な記録媒体の前記再生限界優先度設定手順により設
定された再生限界優先度以下に設定不可能として再生す
る対象優先度を設定する制限付き再生優先度設定手順
と、上述の発明によるコンピュータ読み取り可能な記録
媒体の前記限界優先度解除キー設定手順により設定され
た限界優先度解除キーの指定により再生限界優先度の制
限を解除する制限解除手順と、読み込んだ優先度情報と
動画像と前記制限付き再生優先度設定手順と設定された
再生優先度を基に要約再生を行う要約再生手順とを有し
ているものである。
【００３４】
【発明の実施の形態】以下に添付の図を参照して、この
発明にかかる動画要約装置および動画要約作成プログラ
ムを記録したコンピュータ読み取り可能な記録媒体およ
び動画再生装置および動画再生プログラムを記録したコ
ンピュータ読み取り可能な記録媒体の実施の形態を詳細
に説明する。
【００３５】実施の形態１．図１は、この発明による動
画要約装置の実施の形態１を示している。動画要約作成
装置は、外部各種媒体より動画を入力して記憶する動画
入力手段１と、動画入力手段１により入力された動画か
らカット変化点を検出し、その情報を記憶するシーン分
割手段３と、複数のシーンをひとまとめのグループとす
るグループ作成手段５と、グルーピングの結果に基づい
てシーンに優先度を設定する優先度設定手段７と、任意
に設定される出力優先度と優先度設定手段７により設定
された優先度に従って動画入力手段１に記憶されている
動画から該当部分を切り出し、繋ぎ合わせたものを要約
動画として出力する要約出力手段９を有している。
【００３６】図２は、この発明による動画要約装置の画
面表示例を示している。この画面表示において、１００
は動画表示部、１０２は動画構造表示部、１０４は代表
画像表示フレーム、１０６はスライドバー、１０８は動
画操作部、１１０は機能選択メニュー部である。
【００３７】動画像はコンピュータ内のハードディスク
に保存されているものとする。ハードディスクより動画
入力手段１を通して動画像が読み込まれる。読み込まれ
た動画像は、シーン分割手段３により、自動もしくは手
動で、たとえばカメラの切り替わりなどのカット変化点
の検出を行われる。得られたカット変化点の情報は、そ
の位置を特定するフレーム番号、時刻、タイムコードな
どをシーン分割データとしてシーン分割手段３により記
憶される。
【００３８】図３は、シーン分割した結果、シーン分割
手段３に記憶されているシーン情報の例を示している。
この例では、フレーム情報を位置特定情報として用いる
こととする。図４はシーン分割後の動画構造表示部１０
２に表示される内容の例を示している。ルート２０１は
動画の全体を示し、代表画像２０２〜２１１はそれぞれ
シーン１〜シーン１０のシーン分割点のフレーム画像を
静止画像として切り出したものである。
【００３９】つぎに、グループ作成手段５により、シー
ンを動画の内容などに応じて、図５に例示されているよ
うに、グループ化を行う。代表画像２１２がグループ１
を代表する画像であり、たとえばグループの開始フレー
ムの静止画像を表示する。このようにしてグループ化さ
れた結果に基づいて優先度設定手段７によりシーンの優
先度が設定される。ここでは、優先度は０〜２５５の範
囲で指定可能なものとし、０を最高、２５５を最低のも
のとする。
【００４０】グループ化されたシーンに関しては、グル
ープ内から指定した数だけを必ず抜き出して利用するよ
うに設定することが可能である。たとえば一つのグルー
プから二つのシーンを選択するように指定してあった場
合、グループに属するシーン数を２で割った結果おきの
フレーム間隔でシーンの優先度に０(最高の優先度)を割
り当てる。図５のようにグループが作成されているとす
ると、グループあたりの採用シーン数を２とした場合に
は、シーン１、３、６、８、９、１０に最高の優先度０
が設定される。
【００４１】また、グループの先頭シーンに対して要約
に採用されるように最高の優先度を設定することで、ス
トーリーに応じてグループを作成した場合に、ストーリ
ーから漏れのないようにシーンの取捨選択を行うことが
容易になる。たとえば、図５のようにグループ化されて
いる場合には、シーン１、６、９に最高の優先度０が割
り当てられる。
【００４２】以上のようにして設定された優先度を基
に、要約出力手段９は指定された出力優先度を用いて各
シーンに設定された優先度に従ってシーンを取捨選択
し、要約を作成する。
【００４３】図６のように優先度が設定されていると
し、出力優先度が０であると、シーン１、６、９が要約
動画の対象シーンとなり、図７に示されているように、
これらの部分が動画入力手段１に記憶されている動画像
２３１から切り出され、シーン１、６、９が繋ぎ合わさ
れることで要約動画２３２となる。
【００４４】動画要約装置のシステムは以下のように拡
張することができる。 （１）グループ作成の自動化 教育ビデオなどではある事柄について複数の話題から説
明を施すような構成をとるものが多い。このようなビデ
オの要約を作成する際には、話題に漏れがないように要
約を作成する必要がある。
【００４５】上述のようなグループ化は人手による作業
により行うことができるが、話題が転換する話題転換点
を自動的に検出し、その間を自動的にグループ化するこ
とで話題に漏れがなく、人手を介さずに要約を作成する
ことが可能となる。これを行うために、以下のようにシ
ステムを拡張する。
【００４６】図８は自動グループ機能を有するグループ
作成手段５を示している。このグループ作成手段５は、
シーン分割点から一定フレーム内のフレーム画像がタイ
トル文字を含んでいるかどうかを判定するタイトル判定
手段１１と、シーン分割点近辺の音声情報の検出を行う
音声特徴検出手段１３と、シーン分割点がタイトル文字
を含み音声特徴がシーンチェンジ近辺でのフェードイン
またはシーンチェンジと同時に音声レベルが増大してい
る場合に、その時点を話題が転換した点として記憶する
話題転換点設定手段１５と、開始から話題転換点、ある
いは話題転換点から話題転換点、もしくは話題転換点か
ら終了点までを自動的にひとつのグループと判断してグ
ルーピングを行う自動グルーピング手段１７とを具備し
ている。
【００４７】タイトル判定手段１１によるタイトル文字
の有無の判定は種々の方法により行うことができる。た
とえば、タイトル文字は輝度が高いという特徴から、輝
度が高い部分の密度が高い領域を持つものをタイトル画
像と判断することができる。音声特徴検出手段１３によ
る音声特徴検出では、シーン分割点近辺でのフェードイ
ンまたはシーン分割点とほぼ同時に音楽レベルが急増し
ているかを検出する。
【００４８】フェードインであるかどうかの判定もいく
つかの方法がある。ここではつぎのような方法を用いる
こととする。シーン分割点を中心とした音声レベルが図
９に示されているようになっていた場合を考える。時刻
ｔ−Δｔから区間ｄｔづつ音声レベルのピークＰｎを取
得していく。時刻ｔ−Δｔの音声レベルのピークをＰ
１、時刻ｔ−Δｔ＋ｄｔの音声レベルのピークをＰ２と
したときに、Ｐ１とＰ２がＰ２＞Ｐ１の関係にになって
いるかを判定する。ここで、図１０に示されているよう
な音声増大テーブルを用意し、Ｐ（ｔ＋ｄｔ）＞Ｐ
（ｔ）となっている区間に対してマーキングする。すべ
ての区間にてマーキングされた場合にフェードインとし
て判定する。
【００４９】さらに、シーン開始とほぼ同時に音楽レベ
ルが急増しているかどうかの判定もいくつかの手法があ
るが、ここでは、図１１に示されているような音声レベ
ルとなっている場合を想定して判定方法を述べる。シー
ン分割点時刻ｔから一定区間ｔ＋Δｔまでの間の音声レ
ベルのピークを取得して、シーン分割点時刻ｔより微小
区間ｄｔだけ前の時刻ｔ−ｄｔの音声レベルのピークと
比較する。ｔ−ｄｔの音声レベルのピークが閾値Ｔｎよ
り小さく、シーン分割点時刻ｔからｔ＋Δｔの期間で閾
値Ｔｈを超えた音声レベルが持続する場合に音声レベル
急増と判定する。
【００５０】以上の判定方法からタイトルの有無と、音
声特徴が判定できる。これらの情報は個々に用いること
も組み合わせて用いることもできる。単独で用いる場合
は、それぞれ、タイトルあり、もしくは音声特徴がフェ
ードインである、もしくは音声特徴として音声レベルが
急激に増大していると判断されたシーン分割点を話題転
換点検出手段１５により話題転換点と判断する。組み合
わせて用いる場合は、タイトルありと判定され、かつ、
音声特徴がフェードインまたは急激に増大と判定された
シーン分割点を話題転換点と判断する。その上で、自動
グルーピング手段１７によって自動グループ化処理が行
われ、話題ごとに自動的にグルーピングが行われること
となる。
【００５１】以上によって、グループ作成を自動化する
ことで、さらに要約作成の手間を削減することが可能で
ある。この機能を実行することにより、シーン分割され
た結果が自動的にグループ化される。
【００５２】（２）要約への採用範囲の限定 図１２に示されているように、優先度設定手段７に、対
象となるシーンあるいはグループのどの部位から要約作
成に採用するかを設定する開始位置設定手段２１と、ど
のぐらいの長さまで要約に採用するかを設定する継続区
間設定手段２３を付加することができる。
【００５３】これにより、シーンあるいはグループの一
部分のみを要約画像に採用することができ、フレキシブ
ルな要約作成を行うことができる。あるシーンあるいは
グループを選択した状態で、優先度設定を実行すると、
図１３に示されているような優先度・区間設定ダイアロ
グが画面表示される。このダイアログで、設定された開
始位置指定部と、継続時間指定部で指定された値が優先
度設定手段７に記憶され、要約作成時に、ここで設定さ
れた部分が切り出されて使用される。これにより、図１
４に示されてるように、シーンの一部が切り出されて要
約へ採用されることになる。
【００５４】出力される要約の時間を制限した場合に、
この拡張により各シーンに均等に時間を配分することが
可能であり、設定された時間をシーン数で割ったものを
継続時間に設定すればよい。
【００５５】（３）設定値の外部記憶への保存とクライ
アントでの利用 図１５に示されているように、動画入力手段１、シーン
分割手段３、グループ作成手段５、優先度設定手段７、
要約出力部９に、シーン分割情報、優先度設定情報、動
画へのポインタなどの設定情報を外部媒体へ記憶する設
定情報出力手段３１を追加することができる。
【００５６】この実施の形態では、設定情報出力手段３
１により出力されるものは電子形式のファイルとする。
要約作成時に動画ファイルそのものではなく、この設定
情報を出力し、この設定情報が記憶された電子ファイル
をネットワーク接続などを通じ他のマシンにおいて同様
の動画要約装置を用いて読み込むことで、要約作成後で
あっても第３者による再生優先度設定が可能となる。
【００５７】この電子ファイルは、図５に示されている
ようなグループ構造を持ち、それぞれのシーンに対して
図６に示されているような優先度が設定されているとす
ると、図１６に示されているように、動画ファイルの所
在と、それぞれのシーンに関する情報をパッキングした
ものを連結するような形式で保存される。例では、動画
ファイルの所在は共通事項であるのでヘッダ部として定
義している。
【００５８】このときの再生環境は、図１７に示されて
いるように、設定値読み込み手段４１と、再生動画入力
手段４３と、再生優先度設定手段４５と、要約再生手段
４７とを持つ再生装置を利用することができる。この場
合は、設定値読み込み手段４１により、図１６に示され
ているような形式のファイルから設定値を読み込み、再
生動画入力手段４３を通して設定情報に書き込まれた動
画ファイルを開き、内容を展開して再生優先度設定手段
４５により設定された再生優先度をもって要約再生手段
４７により要約の再生を行う。
【００５９】図１８は再生装置の画面例を示している。
この再生環境画面は、機能選択メニュー１２０、要約表
示領域１２２、動画操作部１２４を有する。動画操作部
１２４で再生指示を行うと、要約再生手段４７は各シー
ンの優先度を判定して要約の再生を行っていく。再生優
先度を１に設定したとすると、シーン１、３、６、８、
９、１０が順番に再生されていく。再生優先度を０にす
ると、シーン１、６、９のみが再生される。このように
再生優先度を変更することで、状況に応じて要約の内容
の詳しさを変更することが可能となる。
【００６０】（４）再生可能優先度設定によるコンテン
ツへのロック 図１９に示されているように、設定情報出力手段３１に
再生限界優先度設定手段３３を設け、要約作成時に、再
生限界優先度を設定情報に同時に書き込むことで、再生
環境では一定以上の優先度にしか設定できないようにす
ることが可能である。また、これと同時に、この制限
（再生限界優先度）を解除するためのキーを設定する限
界優先度解除キー設定手段３５を設定情報出力手段３１
に設け、キーを指定することで制限を解除することがで
きる。
【００６１】図２０に示されているように、再生装置
に、再生限界優先度設定手段３３により設定された再生
限界優先度以下に設定不可能として再生する対象優先度
を設定する制限付き再生優先度設定手段４９と、キーを
読み込んで制限を解除する制限解除手段５１を追加し、
キー入力（パスワード入力）で、再生の制限を解除する
ことができる。
【００６２】図２１に示されているファイル構造のよう
に、ヘッダ部のメンバとして再生限界優先度とキーを書
き込む。これによってビデオオンデマンドの応用におい
て、通常時（課金前）は一部の要約だけしか見ることが
不可能であるが、課金するとすべてのシーンを見ること
が可能なキーを送信するといった利用が可能になる。た
とえば、図２１に示されているように、シーン構造・優
先度が指定されており、再生限界優先度が０の場合は、
シーン１、４しか見ることができない。課金後に送信す
るキーにより、再生限界優先度のロックを解除すること
で、コンテンツファイルは同一のままで、すべての内容
を見ることができるものとなる。
【００６３】以上によって、動画像の要約を従来より簡
単に作成することが可能となる。さらに、フレキシブル
な再生優先度設定により、ユーザーのニーズやコンテン
ツ提供者の意図に応じた範囲での要約再生を行うことが
可能となる。
【００６４】
【発明の効果】以上の説明から理解される如く、この発
明による動画要約装置によれば、分割されたシーンをグ
ルーピングし、グルーピングされた結果に基づいて各シ
ーンの優先度を決定し、任意に設定される出力優先度と
優先度情報に基づいてシーンの取捨選択を行い、要約動
画像を作成するから、長いストーリーや話題が多いもの
の場合でも、片寄った内容の要約画像を作成することが
なく、全体を把握でき、しかも出力優先度の設定の如何
によって目的に応じたフレキシビリティが高い要約画像
を容易に作成することができる。
【００６５】つぎの発明による動画要約装置によれば、
グループの先頭シーンに最高の優先度を設定するので、
長いストーリーや話題が多いものの場合でも、片寄った
内容の要約画像を作成することがなく、全体を把握で
き、しかも出力優先度の設定の如何によって目的に応じ
たフレキシビリティが高い要約画像を的確に作成するこ
とができる。
【００６６】つぎの発明による動画要約装置によれば、
タイトル文字ありと判定されたシーン分割点を話題転換
点として設定し、各話題転換点間を一つのグループとし
て自動的にグルーピングするから、グルーピングが自動
で的確に行われ、長いストーリーや話題が多いものの場
合でも、片寄った内容の要約画像を作成することがな
く、全体を把握でき、目的に応じたフレキシビリティが
高い要約画像を的確に作成することができる。
【００６７】つぎの発明による動画要約装置によれば、
音声特徴ありと判定されたシーン分割点を話題転換点と
して設定し、各話題転換点間を一つのグループとして自
動的にグルーピングするから、グルーピングが自動で的
確に行われ、長いストーリーや話題が多いものの場合で
も、片寄った内容の要約画像を作成することがなく、全
体を把握でき、目的に応じたフレキシビリティが高い要
約画像を的確に作成することができる。
【００６８】つぎの発明による動画要約装置によれば、
タイトル文字が含まれていると判定され、かつ、音声特
徴変化があったと判定されたシーン分割点を話題転換点
として設定し、各話題転換点間を一つのグループとして
自動的にグルーピングするから、グルーピングが自動で
的確に行われ、長いストーリーや話題が多いものの場合
でも、片寄った内容の要約画像を作成することがなく、
全体を把握でき、目的に応じたフレキシビリティが高い
要約画像を的確に作成することができる。
【００６９】つぎの発明による動画要約装置によれば、
音声のフェードインを検出して話題転換点を設定し、各
話題転換点間を一つのグループとして自動的にグルーピ
ングするから、グルーピングが自動で的確に行われ、長
いストーリーや話題が多いものの場合でも、片寄った内
容の要約画像を作成することがなく、全体を把握でき、
目的に応じたフレキシビリティが高い要約画像を的確に
作成することができる。
【００７０】つぎの発明による動画要約装置によれば、
音声レベルの急激な増加を検出して話題転換点を設定
し、各話題転換点間を一つのグループとして自動的にグ
ルーピングするから、グルーピングが自動で的確に行わ
れ、長いストーリーや話題が多いものの場合でも、片寄
った内容の要約画像を作成することがなく、全体を把握
でき、目的に応じたフレキシビリティが高い要約画像を
的確に作成することができる。
【００７１】つぎの発明による動画要約装置によれば、
シーン中に要約に採用する際の開始点とする位置を設定
し、その開始位置から設定された継続時間にわたって要
約画像を作成するから、要約に採用するシーンの一部分
だけを抜粋して採用することができ、目的に応じた冗長
でない要約画像を的確に作成することができる。
【００７２】つぎの発明による動画要約装置によれば、
入力された動画像へのポインタ情報と優先度情報をシー
ン情報と関連づけた結果を構造化して出力するから、再
生側で、目的に応じてフレキシブルに要約を見ることが
可能になる。
【００７３】つぎの発明による動画再生装置によれば、
読み込んだ優先度情報と動画像と再生優先度設定手段に
より設定された再生優先度を基に要約再生を行うから、
再生優先度の如何により、目的に応じてフレキシブルに
要約を見ることができる。
【００７４】つぎの発明による動画要約装置によれば、
再生可能とする優先度の最低値と、その限界優先度を解
除するためのキーを設定するから、再生する対象優先度
を再生限界優先度以下に設定不可能とするが、限界優先
度解除キーを指定された場合にこの制限を解除するか
ら、再生側で、コンテンツの詳細情報を選択的にロック
することが可能になる。
【００７５】つぎの発明による動画再生装置によれば、
再生可能とする優先度の最低値と、その限界優先度を解
除するためのキーを設定され、再生する対象優先度を再
生限界優先度以下に設定不可能とするが、限界優先度解
除キーを指定された場合にこの制限を解除するから、コ
ンテンツの詳細情報が選択的にロックされ、ユーザーの
ニーズやコンテンツ提供者の意図に応じた範囲での要約
再生を行うことが可能となる。
【００７６】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、分割されたシーンをグルーピングし、グルーピング
された結果に基づいて各シーンの優先度を決定し、任意
に設定される出力優先度と優先度情報に基づいてシーン
の取捨選択を行い、要約動画像を作成するから、長いス
トーリーや話題が多いものの場合でも、片寄った内容の
要約画像を作成することがなく、全体を把握でき、しか
も出力優先度の設定の如何によって目的に応じたフレキ
シビリティが高い要約画像を容易に作成することができ
る。
【００７７】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、グループの先頭シーンに最高の優先度を設定するの
で、長いストーリーや話題が多いものの場合でも、片寄
った内容の要約画像を作成することがなく、全体を把握
でき、しかも出力優先度の設定の如何によって目的に応
じたフレキシビリティが高い要約画像を的確に作成する
ことができる。
【００７８】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、タイトル文字ありと判定されたシーン分割点を話題
転換点として設定し、各話題転換点間を一つのグループ
として自動的にグルーピングするから、グルーピングが
自動で的確に行われ、長いストーリーや話題が多いもの
の場合でも、片寄った内容の要約画像を作成することが
なく、全体を把握でき、目的に応じたフレキシビリティ
が高い要約画像を的確に作成することができる。
【００７９】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、音声特徴ありと判定されたシーン分割点を話題転換
点として設定し、各話題転換点間を一つのグループとし
て自動的にグルーピングするから、グルーピングが自動
で的確に行われ、長いストーリーや話題が多いものの場
合でも、片寄った内容の要約画像を作成することがな
く、全体を把握でき、目的に応じたフレキシビリティが
高い要約画像を的確に作成することができる。
【００８０】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、タイトル文字が含まれていると判定され、かつ、音
声特徴変化があったと判定されたシーン分割点を話題転
換点として設定し、各話題転換点間を一つのグループと
して自動的にグルーピングするから、グルーピングが自
動で的確に行われ、長いストーリーや話題が多いものの
場合でも、片寄った内容の要約画像を作成することがな
く、全体を把握でき、目的に応じたフレキシビリティが
高い要約画像を的確に作成することができる。
【００８１】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、音声のフェードインを検出して話題転換点を設定
し、各話題転換点間を一つのグループとして自動的にグ
ルーピングするから、グルーピングが自動で的確に行わ
れ、長いストーリーや話題が多いものの場合でも、片寄
った内容の要約画像を作成することがなく、全体を把握
でき、目的に応じたフレキシビリティが高い要約画像を
的確に作成することができる。
【００８２】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、音声レベルの急激な増加を検出して話題転換点を設
定し、各話題転換点間を一つのグループとして自動的に
グルーピングするから、グルーピングが自動で的確に行
われ、長いストーリーや話題が多いものの場合でも、片
寄った内容の要約画像を作成することがなく、全体を把
握でき、目的に応じたフレキシビリティが高い要約画像
を的確に作成することができる。
【００８３】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、シーン中に要約に採用する際の開始点とする位置を
設定し、その開始位置から設定された継続区間（時間）
にわたって要約画像を作成するから、要約に採用するシ
ーンの一部分だけを抜粋して採用することができ、目的
に応じた冗長でない要約画像を的確に作成することがで
きる。
【００８４】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、入力された動画像へのポインタ情報と優先度情報を
シーン情報と関連づけた結果を構造化して出力するか
ら、再生側で、目的に応じてフレキシブルに要約を見る
ことが可能になる。
【００８５】つぎの発明による動画再生プログラムを記
録したコンピュータ読み取り可能な記録媒体によれば、
読み込んだ優先度情報と動画像と再生優先度設定手順に
より設定された再生優先度を基に要約再生を行うから、
再生優先度の如何により、目的に応じてフレキシブルに
要約を見ることができる。
【００８６】つぎの発明による動画要約作成プログラム
を記録したコンピュータ読み取り可能な記録媒体によれ
ば、再生可能とする優先度の最低値と、その限界優先度
を解除するためのキーを設定するから、再生する対象優
先度を再生限界優先度以下に設定不可能とするが、限界
優先度解除キーを指定された場合にこの制限を解除する
から、再生側で、コンテンツの詳細情報を選択的にロッ
クすることが可能になる。
【００８７】つぎの発明による動画再生プログラムを記
録したコンピュータ読み取り可能な記録媒体によれば、
再生可能とする優先度の最低値と、その限界優先度を解
除するためのキーを設定され、再生する対象優先度を再
生限界優先度以下に設定不可能とするが、限界優先度解
除キーを指定された場合にこの制限を解除するから、コ
ンテンツの詳細情報が選択的にロックされ、ユーザーの
ニーズやコンテンツ提供者の意図に応じた範囲での要約
再生を行うことが可能となる。
【図面の簡単な説明】
【図１】 この発明にかかる動画要約装置の実施の形態
１を示すブロック図である。
【図２】 この発明にかかる動画要約装置の画面表示例
を示す説明図である。
【図３】 この発明にかかる動画要約装置で用いるシー
ン分割データを示す説明図である。
【図４】 この発明にかかる動画要約装置でシーン分割
を行った結果を動画構造表示部で表示する例を示す説明
図である。
【図５】 この発明にかかる動画要約装置でグルーピン
グを行った結果を動画構造表示部で表示する例を示す説
明図である。
【図６】 この発明にかかる動画要約装置でシーンに対
して優先度を設定した結果を示す説明図である。
【図７】 この発明にかかる動画要約装置で要約作成を
行う例を示す説明図である。
【図８】 この発明にかかる動画要約装置のグループ作
成手段の構成を示すブロック図である。
【図９】 この発明にかかる動画要約装置で音声のフェ
ードイン判定を行う際に例とするシーン分割点近辺の音
声波形を示す波形図である。
【図１０】 この発明にかかる動画要約装置でフェード
イン判定を行う際に利用する判定テーブルを示す説明図
である。
【図１１】 この発明にかかる動画要約装置でシーン分
割点とほぼ同時に音声レベルが急増することを判定する
際を例とするシーン分割点近辺の音声波形を示す波形図
である。
【図１２】 この発明にかかる動画要約装置の優先度設
定手段を示すブロック図である。
【図１３】 この発明にかかる動画要約装置の優先度設
定ダイアログを示す説明図である。
【図１４】 この発明にかかる動画要約装置においてシ
ーンに対し区間設定を行ったものに対する要約作成結果
を示す説明図である。
【図１５】 この発明にかかる動画要約装置に設定情報
出力手段を追加した場合の構成を示すブロック図であ
る。
【図１６】 この発明にかかる動画要約装置において設
定情報出力手段で出力されるデータの形式の例を示す説
明図である。
【図１７】 この発明にかかる動画再生装置の一つの実
施の形態を示すブロック図である。
【図１８】 この発明にかかる動画再生装置の画面例を
示す説明図である。
【図１９】この発明にかかる動画要約装置の他の実施の
形態を示すブロック図である。
【図２０】 この発明にかかる動画再生装置の他の実施
の形態を示すブロック図である。
【図２１】 この発明にかかる動画要約装置において設
定情報出力手段で出力されるデータの形式の例を示す説
明図である。
【符号の説明】
１ 動画入力手段、３ シーン分割手段、５ グループ
作成手段、７ 優先度設定手段、９ 要約出力手段、１
１ タイトル判定手段、１３ 音声特徴検出手段、１５
話題転換点設定手段、１７ 自動グルーピング手段、
２１ 開始位置設定手段、２３ 継続区間設定手段、３
１ 設定情報出力手段、３３ 再生限界優先度設定手
段、３５ 限界優先度解除キー設定手段、４１ 設定値
読み込み手段、４３ 再生動画入力手段、４５ 再生優
先度設定手段、４７ 要約再生手段、４９ 制限付き再
生優先度設定手段、５１ 制限解除手段。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/173 ６１０ Ｇ０６Ｆ 15/401 ３２０Ａ 15/62 ３２０Ｍ Ｇ１１Ｂ 27/00 Ｅ (72)発明者 田中 聡 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B050 AA08 BA06 BA15 EA04 EA17 EA19 FA02 FA13 5B075 ND12 NK06 NR03 NR12 NS01 PQ02 PQ04 PQ43 PR08 QS03 5C053 FA14 GB05 GB11 HA29 HA30 JA03 JA16 JA21 JA30 KA05 KA24 LA06 LA11 LA14 5C064 BA01 BA07 BB10 BC10 BC20 BD02 BD08 BD16 5D110 AA29 DA03 DA04 DA05 DC05 DC06 DE04 DE06 EA07 EA08 EA12

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 動画像を入力する動画入力手段と、 前記動画入力手段により入力された動画像をシーン単位
    に分割するシーン分割手段と、 前記シーン分割手段により分割されたシーンをグルーピ
    ングするグループ作成手段と、 前記グループ作成手段によりグルーピングされた結果に
    基づいてシーンの優先度を設定する優先度設定手段と、 前記優先度設定手段により設定された優先度情報と任意
    に設定される出力優先度とに基づいてシーンの取捨選択
    を行い、要約動画像を作成する要約出力手段と、 を有していることを特徴とする動画要約装置。
  2. 【請求項２】 前記優先度設定手段は、グループの先頭
    シーンに最高の優先度を設定することを特徴とする請求
    項１に記載の動画要約装置。
  3. 【請求項３】 前記グループ作成手段は、 シーン開始位置近辺の画像にタイトル文字が含まれてい
    ることを判定するタイトル判定手段と、 前記タイトル判定手段の結果からタイトル文字ありと判
    定されたシーン分割点を話題転換点として設定する話題
    転換点設定手段と、 各話題転換点間を一つのグループとしてグルーピングす
    る自動グルーピング手段と、 を有していることを特徴とする請求項１または２に記載
    の動画要約装置。
  4. 【請求項４】 前記グループ作成手段は、 シーン分割点近辺の音声特徴を検出する音声特徴検出手
    段と、 前記音声特徴検出手段の結果から音声特徴ありと判定さ
    れたシーン分割点を話題転換点として設定する話題転換
    点設定手段と、 各話題転換点間を一つのグループとしてグルーピングす
    る自動グルーピング手段と、 を有していることを特徴とする請求項１または２に記載
    の動画要約装置。
  5. 【請求項５】 前記グループ作成手段は、 シーン開始位置近辺の画像にタイトル文字が含まれてい
    ることを判定するタイトル判定手段と、 シーン分割点近辺の音声特徴を検出する音声特徴検出手
    段と、 前記タイトル判定手段においてタイトル文字が含まれて
    いると判定され、かつ、前記音声特徴検出手段において
    音声特徴があったと判定されたシーン分割点を話題転換
    点として設定する話題転換点設定手段と、 各話題転換点間を一つのグループとしてグルーピングす
    る自動グルーピング手段と、 を有していることを特徴とする請求項１または２に記載
    の動画要約装置。
  6. 【請求項６】 前記音声特徴検出手段は、音声のフェー
    ドインを検出することを特徴とする請求項４または５に
    記載の動画要約装置。
  7. 【請求項７】 前記音声特徴検出手段は、音声レベルの
    急激な増加を検出することを特徴とする請求項４または
    ５に記載の動画要約装置。
  8. 【請求項８】 前記優先度設定手段は、 シーン中で要約に採用する際の開始点とする位置を設定
    する開始位置設定手段と、 開始位置からの継続時間を設定する継続区間設定手段
    と、 を有していることを特徴とする請求項１〜７のいずれか
    一つに記載の動画要約装置。
  9. 【請求項９】 前記動画入力手段において入力された動
    画像へのポインタ情報と前記優先度設定手段により設定
    された優先度情報を前記シーン分割手段により記憶され
    ているシーン情報と関連づけた結果を構造化して出力す
    る設定情報出力手段を有していることを特徴とする請求
    項１〜８のいずれか一つに記載の動画要約装置。
  10. 【請求項１０】 請求項９に記載の動画要約装置の前記
    設定情報出力手段により設定された設定情報を読み込む
    設定値読み込み手段と、 設定情報に記述されている動画像へのポインタ情報を基
    に動画像を読み込む再生動画入力手段と、 再生する対象優先度を設定する再生優先度設定手段と、 読み込んだ優先度情報と動画像と前記再生優先度設定手
    段により設定された再生優先度を基に要約再生を行う要
    約再生手段と、 を有していることを特徴とする動画再生装置。
  11. 【請求項１１】 前記設定情報出力手段は、再生可能と
    する優先度の最低値を設定する再生限界優先度設定手段
    と、限界優先度を解除するためのキーを設定する限界優
    先度解除キー設定手段とを有していることを特徴とする
    請求項９に記載の動画要約装置。
  12. 【請求項１２】 請求項１１に記載の動画要約装置の前
    記設定情報出力手段により設定された設定情報を読み込
    む設定値読み込み手段と、 設定情報に記述されている動画像へのポインタ情報を基
    に動画像を読み込む再生動画入力手段と、 再生する対象優先度を請求項１１記載の動画要約装置の
    前記再生限界優先度設定手段により設定された再生限界
    優先度以下に設定不可能として再生する対象優先度を設
    定する制限付き再生優先度設定手段と、 請求項１１に記載の動画要約装置の前記限界優先度解除
    キー設定手段により設定された限界優先度解除キーの指
    定により再生限界優先度の制限を解除する制限解除手段
    と、 読み込んだ優先度情報と動画像と前記制限付き再生優先
    度設定手段と設定された再生優先度を基に要約再生を行
    う要約再生手段と、 を有していることを特徴とする動画再生装置。
  13. 【請求項１３】 コンピュータに、 動画像を入力する動画入力手順と、 前記動画入力手順により入力された動画像をシーン単位
    に分割するシーン分割手順と、 前記シーン分割手順により分割されたシーンをグルーピ
    ングするグループ作成手順と、 前記グループ作成手順によりグルーピングされた結果に
    基づいてシーンの優先度を設定する優先度設定手順と、 前記優先度設定手順により設定された優先度情報と任意
    に設定される出力優先度とに基づいてシーンの取捨選択
    を行い、要約動画像を作成する要約出力手順と、 を実行させるためのプログラムを記録したコンピュータ
    読み取り可能な記録媒体。
  14. 【請求項１４】 前記優先度設定手順は、グループの先
    頭シーンに最高の優先度を設定することを特徴とする請
    求項１３に記載のコンピュータ読み取り可能な記録媒
    体。
  15. 【請求項１５】 前記グループ作成手順は、 シーン開始位置近辺の画像にタイトル文字が含まれてい
    ることを判定するタイトル判定手順と、 前記タイトル判定手順の結果からタイトル文字ありと判
    定されたシーン分割点を話題転換点として設定する話題
    転換点設定手順と、 各話題転換点間を一つのグループとしてグルーピングす
    る自動グルーピング手順と、 を有していることを特徴とする請求項１３または１４に
    記載のコンピュータ読み取り可能な記録媒体。
  16. 【請求項１６】 前記グループ作成手順は、 シーン分割点近辺の音声特徴を検出する音声特徴検出手
    順と、 前記音声特徴検出手順の結果から音声特徴ありと判定さ
    れたシーン分割点を話題転換点として設定する話題転換
    点設定手順と、 各話題転換点間を一つのグループとしてグルーピングす
    る自動グルーピング手順と、 を有していることを特徴とする請求項１３または１４に
    記載のコンピュータ読み取り可能な記録媒体。
  17. 【請求項１７】 前記グループ作成手順は、 シーン開始位置近辺の画像にタイトル文字が含まれてい
    ることを判定するタイトル判定手順と、 シーン分割点近辺の音声特徴を検出する音声特徴検出手
    順と、 前記タイトル判定手順においてタイトル文字が含まれて
    いると判定され、かつ、前記音声特徴検出手順において
    音声特徴があったと判定されたシーン分割点を話題転換
    点として設定する話題転換点設定手順と、 各話題転換点間を一つのグループとしてグルーピングす
    る自動グルーピング手順と、 を有していることを特徴とする請求項１３または１４に
    記載のコンピュータ読み取り可能な記録媒体。
  18. 【請求項１８】 前記音声特徴検出手順は、音声のフェ
    ードインを検出することを特徴とする請求項１６または
    １７に記載のコンピュータ読み取り可能な記録媒体。
  19. 【請求項１９】 前記音声特徴検出手順は、音声レベル
    の急激な増加を検出することを特徴とする請求項１６ま
    たは１７に記載のコンピュータ読み取り可能な記録媒
    体。
  20. 【請求項２０】 前記優先度設定手順は、 シーン中で要約に採用する際の開始点とする位置を設定
    する開始位置設定手順と、 開始位置からの継続時間を設定する継続区間設定手順
    と、 を有していることを特徴とする請求項１３〜１９のいず
    れか一つに記載のコンピュータ読み取り可能な記録媒
    体。
  21. 【請求項２１】 前記動画入力手順において入力された
    動画像へのポインタ情報と前記優先度設定手順により設
    定された優先度情報をシーン分割手順により記憶されて
    いるシーン情報と関連づけた結果を構造化して出力する
    設定情報出力手順を有していることを特徴とする請求項
    １３〜２０のいずれか一つに記載のコンピュータ読み取
    り可能な記録媒体。
  22. 【請求項２２】 請求項２１に記載のコンピュータ読み
    取り可能な記録媒体の前記設定情報出力手順により設定
    された設定情報を読み込む設定値読み込み手順と、 設定情報に記述されている動画像へのポインタ情報を基
    に動画像を読み込む再生動画入力手順と、 再生する対象優先度を設定する再生優先度設定手順と、 読み込んだ優先度情報と動画像と前記再生優先度設定手
    順により設定された再生優先度を基に要約再生を行う要
    約再生手順と、 を有していることを特徴とするコンピュータ読み取り可
    能な記録媒体。
  23. 【請求項２３】 前記設定情報出力手順は、再生可能と
    する優先度の最低値を設定する再生限界優先度設定手順
    と、限界優先度を解除するためのキーを設定する限界優
    先度解除キー設定手順とを有していることを特徴とする
    請求項２１に記載のコンピュータ読み取り可能な記録媒
    体。
  24. 【請求項２４】 請求項２３に記載のコンピュータ読み
    取り可能な記録媒体の前記設定情報出力手順により設定
    された設定情報を読み込む設定値読み込み手順と、 設定情報に記述されている動画像へのポインタ情報を基
    に動画像を読み込む再生動画入力手順と、 再生する対象優先度を請求項２３記載のコンピュータ読
    み取り可能な記録媒体の前記再生限界優先度設定手順に
    より設定された再生限界優先度以下に設定不可能として
    再生する対象優先度を設定する制限付き再生優先度設定
    手順と、 請求項２３に記載のコンピュータ読み取り可能な記録媒
    体の前記限界優先度解除キー設定手順により設定された
    限界優先度解除キーの指定により再生限界優先度の制限
    を解除する制限解除手順と、 読み込んだ優先度情報と動画像と前記制限付き再生優先
    度設定手順と設定された再生優先度を基に要約再生を行
    う要約再生手順と、 を有していることを特徴とするコンピュータ読み取り可
    能な記録媒体。
JP05325899A 1999-03-01 1999-03-01 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP3934274B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05325899A JP3934274B2 (ja) 1999-03-01 1999-03-01 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05325899A JP3934274B2 (ja) 1999-03-01 1999-03-01 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2000253351A true JP2000253351A (ja) 2000-09-14
JP3934274B2 JP3934274B2 (ja) 2007-06-20

Family

ID=12937769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05325899A Expired - Fee Related JP3934274B2 (ja) 1999-03-01 1999-03-01 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP3934274B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199347A (ja) * 2000-12-27 2002-07-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
WO2003010768A1 (fr) * 2001-07-11 2003-02-06 Sony Corporation Dispositif de reproduction et dispositif d'edition
JP2003087728A (ja) * 2001-06-26 2003-03-20 Pioneer Electronic Corp 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
JP2003288096A (ja) * 2002-03-27 2003-10-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム
JP2006012300A (ja) * 2004-06-25 2006-01-12 Funai Electric Co Ltd ディスク再生装置
US7149156B2 (en) 2001-07-11 2006-12-12 Sony Corporation Editing apparatus for optical reproducing device
US7177857B2 (en) 2000-11-24 2007-02-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for creating distribution content
JP2009105702A (ja) * 2007-10-24 2009-05-14 Victor Co Of Japan Ltd ダイジェストデータ作成装置およびダイジェストデータ作成方法
US7697815B2 (en) 2001-02-28 2010-04-13 Kddi Corporation Video playback unit, video delivery unit and recording medium
CN1870073B (zh) * 2005-05-27 2010-05-12 国誉S&T株式会社 数据再生装置、数据编辑装置
JP2010225270A (ja) * 2001-11-30 2010-10-07 Sony Corp 情報記録媒体
WO2011059029A1 (ja) * 2009-11-13 2011-05-19 Ｊｖｃ・ケンウッド・ホールディングス株式会社 映像処理装置、映像処理方法、および映像処理プログラム
JP2011124681A (ja) * 2009-12-09 2011-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像編集装置，映像編集方法および映像編集プログラム
US7982796B2 (en) 2001-03-21 2011-07-19 Apple Inc. Track for improved video compression
WO2012070371A1 (ja) * 2010-11-22 2012-05-31 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法及び映像処理プログラム
JP2012227645A (ja) * 2011-04-18 2012-11-15 Nikon Corp 画像処理プログラム、画像処理方法、画像処理装置、撮像装置
US8793124B2 (en) 2001-08-08 2014-07-29 Nippon Telegraph And Telephone Corporation Speech processing method and apparatus for deciding emphasized portions of speech, and program therefor
CN104363490A (zh) * 2014-12-05 2015-02-18 四川中时代科技有限公司 一种基于互联网的家用移动视频接收终端
WO2015125815A1 (ja) * 2014-02-20 2015-08-27 シャープ株式会社 映像編集装置
WO2022209211A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 情報処理装置、生成方法、およびプログラム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177857B2 (en) 2000-11-24 2007-02-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for creating distribution content
JP2002199347A (ja) * 2000-12-27 2002-07-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
US7697815B2 (en) 2001-02-28 2010-04-13 Kddi Corporation Video playback unit, video delivery unit and recording medium
US7982796B2 (en) 2001-03-21 2011-07-19 Apple Inc. Track for improved video compression
US8605796B2 (en) 2001-03-21 2013-12-10 Apple Inc. Chroma-key video blending with improved compression
JP2003087728A (ja) * 2001-06-26 2003-03-20 Pioneer Electronic Corp 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
JP4546682B2 (ja) * 2001-06-26 2010-09-15 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
US7149156B2 (en) 2001-07-11 2006-12-12 Sony Corporation Editing apparatus for optical reproducing device
WO2003010768A1 (fr) * 2001-07-11 2003-02-06 Sony Corporation Dispositif de reproduction et dispositif d'edition
US7701811B2 (en) 2001-07-11 2010-04-20 Sony Corporation Editing apparatus for optical disc reproducing device
CN1465069B (zh) * 2001-07-11 2010-05-05 索尼株式会社 再生装置和编辑装置
KR100956861B1 (ko) * 2001-07-11 2010-05-11 소니 주식회사 재생장치 및 편집장치
US7782719B2 (en) 2001-07-11 2010-08-24 Sony Corporation Editing apparatus for optical disc reproducing device
US8793124B2 (en) 2001-08-08 2014-07-29 Nippon Telegraph And Telephone Corporation Speech processing method and apparatus for deciding emphasized portions of speech, and program therefor
JP2010225270A (ja) * 2001-11-30 2010-10-07 Sony Corp 情報記録媒体
JP2003288096A (ja) * 2002-03-27 2003-10-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム
JP2006012300A (ja) * 2004-06-25 2006-01-12 Funai Electric Co Ltd ディスク再生装置
US7734156B2 (en) 2004-06-25 2010-06-08 Funai Electric Co., Ltd. Disc reproduction apparatus capable of digest reproduction
CN1870073B (zh) * 2005-05-27 2010-05-12 国誉S&T株式会社 数据再生装置、数据编辑装置
JP2009105702A (ja) * 2007-10-24 2009-05-14 Victor Co Of Japan Ltd ダイジェストデータ作成装置およびダイジェストデータ作成方法
WO2011059029A1 (ja) * 2009-11-13 2011-05-19 Ｊｖｃ・ケンウッド・ホールディングス株式会社 映像処理装置、映像処理方法、および映像処理プログラム
JP2011124681A (ja) * 2009-12-09 2011-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像編集装置，映像編集方法および映像編集プログラム
WO2012070371A1 (ja) * 2010-11-22 2012-05-31 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法及び映像処理プログラム
JP2012114559A (ja) * 2010-11-22 2012-06-14 Jvc Kenwood Corp 映像処理装置、映像処理方法及び映像処理プログラム
JP2012227645A (ja) * 2011-04-18 2012-11-15 Nikon Corp 画像処理プログラム、画像処理方法、画像処理装置、撮像装置
WO2015125815A1 (ja) * 2014-02-20 2015-08-27 シャープ株式会社 映像編集装置
JPWO2015125815A1 (ja) * 2014-02-20 2017-03-30 シャープ株式会社 映像編集装置
CN104363490A (zh) * 2014-12-05 2015-02-18 四川中时代科技有限公司 一种基于互联网的家用移动视频接收终端
WO2022209211A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 情報処理装置、生成方法、およびプログラム

Also Published As

Publication number Publication date
JP3934274B2 (ja) 2007-06-20

Similar Documents

Publication Publication Date Title
JP3934274B2 (ja) 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4551668B2 (ja) 議事録ファイル生成方法、議事録ファイル管理方法、会議サーバおよびネットワーク会議システム
JP3892342B2 (ja) ビデオプロジェクトを編集するためのビデオ編集方法および装置
KR100387387B1 (ko) 콘텐츠를 액세싱하기 위한 방법 및 장치
US20070127888A1 (en) Audio and video recording and reproducing apparatus, audio and video recording method, and audio and video reproducing method
KR102055766B1 (ko) 동영상 요약 정보 재생 장치, 동영상 요약 정보 제공 서버 및 그 방법
JPH11205718A (ja) 情報再生装置及び情報記録再生装置
KR960032445A (ko) 기록 매체 재생 장치
JP2005116161A (ja) イベント発生情報が記録された情報保存媒体、その再生装置及び再生方法
RU2315370C2 (ru) Носитель данных, на котором записаны аудиовизуальные данные с информацией о событии, устройство воспроизведения и способ их воспроизведения
JP5079817B2 (ja) サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機
EP1520410B1 (en) Method and device for linking multimedia data
JP2000350156A (ja) 動画像情報の記憶方法及びこれを記録した記録媒体
JP4555214B2 (ja) 情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体
JP2001285760A (ja) 映像信号再生装置及び映像信号再生方法
KR101009341B1 (ko) 기록 장치, 재생 장치, 기록 방법, 재생 방법 및 그기록매체
JP2003283946A (ja) 映像関連情報提示装置および方法、ならびに、この方法の実行プログラムおよびこの実行プログラムを記録した記録媒体
JP2007267259A (ja) 画像処理装置およびファイル再生方法
JP3439034B2 (ja) 要約映像ブラウジング方法および装置
JP2007274233A (ja) 映像情報処理装置およびデジタル情報記録媒体、映像情報処理方法、映像情報処理プログラム
JP2004520674A (ja) オーディオビジュアル情報をコピー及び処理する方法及び装置
KR101022479B1 (ko) 이벤트 정보가 포함된 동영상 데이터가 기록된 저장 매체, 재생 장치 및 재생 방법
JP3614074B2 (ja) 画像及び音声の再生装置及び方法
US20090214176A1 (en) Information processing apparatus, information processing method, and program
JP2000152141A (ja) 情報記憶媒体、および動画音声記録再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees