JP2002271741A - 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法 - Google Patents

映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法

Info

Publication number
JP2002271741A
JP2002271741A JP2001069969A JP2001069969A JP2002271741A JP 2002271741 A JP2002271741 A JP 2002271741A JP 2001069969 A JP2001069969 A JP 2001069969A JP 2001069969 A JP2001069969 A JP 2001069969A JP 2002271741 A JP2002271741 A JP 2002271741A
Authority
JP
Japan
Prior art keywords
information
video
audio
index
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001069969A
Other languages
English (en)
Other versions
JP2002271741A5 (ja
Inventor
Kiyo Hara
紀代 原
Ikuo Inoue
郁夫 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001069969A priority Critical patent/JP2002271741A/ja
Publication of JP2002271741A publication Critical patent/JP2002271741A/ja
Publication of JP2002271741A5 publication Critical patent/JP2002271741A5/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 映像的にも音響的にも意味の有る位置をシー
ンとして検出することを目的とする。 【解決手段】 映像音響コンテンツに対して、映像情報
を用いて映像カット位置を検出するビデオセグメンテー
ション手段2と、音響情報を用いて音響クラスタリング
を行うオーディオセグメンテーション手段3と、それぞ
れの情報を統合してインデックスを付与するインデック
ス付与手段4と、前記映像カット位置と前記音響クラス
タリング位置と時間情報を同時に関連付けて表示する表
示手段6と、それらの情報を蓄積する蓄積手段7と、イ
ンデックスの情報にしたがって編集、検索、選択視聴す
る編集手段5とを設けたもので、効率的なコンテンツ編
集、検索および視聴を可能とするものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映画やTV番組、
講演、家庭で撮影したホームビデオ等の映像音響コンテ
ンツを、編集したり検索したりダイジェスト視聴したり
するための映像音響コンテンツ編集装置およびインデッ
クス付与方法に関わる。
【0002】
【従来の技術】大量の映像コンテンツを検索したり要約
視聴を行うために、ビデオ信号が大きく変化したフレー
ムをカット点として検出し、カット点の画像表示を行う
システムは既によく知られている(例えば、特表平10
−507555号公報、「Infomedia:CMUディジタ
ルビデオライブラリプロジェクト」 情報処理 Vol.37 N
o.9 1996 )。
【0003】図8は、そのようなシステムの一例の基本
構成を示した図である。コンテンツ入力部1で入力され
た映像音響コンテンツに対して、ビデオセグメンテーシ
ョン手段2で、ビデオ信号が大きく変化したフレームを
カット点として出力する。表示手段6には、カット点を
静止画として連続表示する。図9に表示画面の一例を示
す。編集手段5では、表示手段5に表示されたカット点
情報等を利用して、必要な映像を編集したり、編集結果
やインデックス情報を蓄積手段7に蓄積したり、尽くせ
期された情報を読み出して検索や部分視聴を行う。図9
は、編集手段の一例として、カット点検出結果図9
(a)から、図9(b)に示すように選択したカットを
接続して編集を行う模式図を示した図である。
【0004】
【発明が解決しようとする課題】以上のような従来のコ
ンテンツ編集装置には、以下のような課題があった。
【0005】・ビデオ信号の変化だけでカット点を検出
しているため、カット点間の関連が不明である。
【0006】・カット点の過剰検出が多い。
【0007】・同じ映像のままで、話題が変わったとき
などは検出できない。
【0008】・カット点情報を用いて編集したり部分再
生した場合、音響情報が途中から始まったり、あるいは
無音の状態が続いたりして、うまく接続できない。
【0009】本発明は、このような課題を解決すべくな
されたもので、カット点情報に加えて、音響情報をセグ
メント化する音響クラスタリング手段を用いて、各々の
統合を図ることにより、映像的にも音響的にも意味の有
る位置をシーンとして検出することを目的とする。
【0010】
【課題を解決するための手段】上記の課題を解決するた
めに本発明は、映像音響コンテンツに対して、映像情報
を用いて映像カット位置を検出するビデオセグメンテー
ション手段と、音響情報を用いて音響クラスタリングを
行うオーディオセグメンテーション手段と、それぞれの
情報を統合してインデックスを付与するインデックス付
与手段と、それらの情報を蓄積する蓄積手段と設けたも
のである。
【0011】これにより本発明は、効率的なコンテンツ
編集、検索および視聴を可能とするものである。
【0012】
【発明の実施の形態】本発明の請求項1に記載の発明
は、映像音響コンテンツ(以下単にコンテンツと称す
る)に対して、映像情報を用いて映像カット位置を検出
するビデオセグメンテーション手段と、音響情報を用い
て音響クラスタリングを行うオーディオセグメンテーシ
ョン手段と、それぞれの情報を統合してインデックスを
付与するインデックス付与手段と、前記コンテンツやイ
ンデックス情報を蓄積する蓄積手段とを具備するもの
で、効率的なコンテンツ編集、検索、選択試聴を可能と
するという作用を有する。
【0013】請求項2に記載の発明は、請求項1記載の
映像音響コンテンツの編集装置において、前記インデッ
クス付与手段は、ビデオセグメンテーション情報とオー
ディオセグメンテーション情報の継続時間長を用いて統
合を図り、インデックスを付与することを特徴とするも
ので、効率的なコンテンツ編集、検索および選択視聴を
可能とするという作用を有するものである。
【0014】請求項3に記載の発明は、映像音響コンテ
ンツに対して、映像情報を用いて映像カット位置を検出
するビデオセグメンテーション手段と、音響情報を用い
て音響クラスタリングを行うオーディオセグメンテーシ
ョン手段と、それぞれの情報を統合してインデックスを
付与するインデックス付与手段と、前記映像カット位置
と前記音響クラスタリング位置と時間情報を同時に関連
付けて表示する表示手段と、前記コンテンツや前記イン
デックス情報を蓄積する蓄積手段とを有するもので、効
率的なコンテンツ編集、検索、選択視聴を可能とすると
いう作用を有するものである。
【0015】請求項4に記載の発明は、映像音響コンテ
ンツに対して、音響情報を用いて音響クラスタリングを
行うオーディオセグメンテーション手段と、その情報に
インデックスを付与するインデックス付与手段と、前記
コンテンツやインデックス情報を蓄積する蓄積手段とを
有することにより、効果的なコンテンツの編集、検索、
および選択視聴を可能とするという作用を有するもので
ある、請求項5に記載の発明は、映像音響コンテンツを
受信する手段と、受信したコンテンツに対して、映像情
報を用いて映像カット位置を検出するビデオセグメンテ
ーション手段と、音響情報を用いて音響クラスタリング
を行うオーディオセグメンテーション手段と、それぞれ
の情報を統合してインデックスを付与するインデックス
付与手段と、前記コンテンツと前記インデックス情報を
蓄積する蓄積手段とを有するもので、配信されるコンテ
ンツの効果的な編集、検索、選択視聴を可能とするとい
う作用を有するものである。
【0016】請求項6に記載の発明は、映像音響コンテ
ンツに対して、映像情報を用いて映像カット位置を検出
するビデオセグメンテーション手段と、音響情報を用い
て音響クラスタリングを行うオーディオセグメンテーシ
ョン手段と、それぞれの情報を統合してインデックスを
付与するインデックス付与手段と、映像音響コンテンツ
とインデックス情報を送信しかつ利用者からの要求を受
信する送受信手段と、インデックス情報と映像音響コン
テンツを受信しかつ要求情報を送信する送受信手段と、
受信した情報を蓄積する蓄積手段と、インデックスの情
報にしたがって編集、検索、選択視聴する編集手段とを
有するもので、効果的なコンテンツの編集、検索、選択
視聴を可能とするという作用を有するものである。
【0017】請求項7に記載の発明は、映像音響コンテ
ンツに対して、映像情報を用いて映像カット位置を検出
するビデオセグメンテーションステップと、音響情報を
用いて音響クラスタリングを行うオーディオセグメンテ
ーションステップと、それぞれの情報を統合してインデ
ックスを付与するステップを有することにより、効率的
な検索・視聴ができるインデックス付与を可能とすると
いう作用を有するものである。
【0018】請求項8に記載の発明は、請求項7記載の
映像音響コンテンツのインデックス付与方法において、
前記インデックス付与ステップは、ビデオセグメンテー
ション情報とオーディオセグメンテーション情報の継続
時間長を用いて統合を図ることにより、効率的な検索・
視聴ができるインデックス付与を行うという作用を有す
るものである。
【0019】請求項9に記載の発明は、請求項7記載の
映像音響コンテンツのインデックス付与方法において、
映像音響コンテンツに対して、映像情報を用いて映像カ
ット位置を検出するビデオセグメンテーションステップ
と、音響情報を用いて音響クラスタリングを行うオーデ
ィオセグメンテーションステップと、それぞれの情報を
統合してインデックスを付与するインデックス付与ステ
ップと、映像カット位置と音響クラスタリング位置と時
間情報を同時に関連付けて表示する表示ステップとを有
するもので、効率的な検索・視聴ができるインデックス
付与を行うという作用を有するものである。
【0020】請求項10に記載の発明は、コンピュータ
で、映像音響コンテンツ(以下単にコンテンツと称す
る)に対して、映像情報を用いて映像カット位置を検出
するビデオセグメンテーション手段と、音響情報を用い
て音響クラスタリングを行うオーディオセグメンテーシ
ョン手段と、それぞれの情報を統合してインデックスを
付与するインデックス付与手段と、前記コンテンツやイ
ンデックス情報を蓄積する蓄積手段として機能させるた
めの映像音響コンテンツの編集プログラムであり、コン
ピュータにインストールして実行することにより、効率
的な検索・視聴ができる映像音響コンテンツの編集を行
うことができるという作用を有するものである。
【0021】請求項11に記載の発明は、コンピュータ
に、映像音響コンテンツに対して、映像情報を用いて映
像カット位置を検出するビデオセグメンテーションステ
ップと、音響情報を用いて音響クラスタリングを行うオ
ーディオセグメンテーションステップと、それぞれの情
報を統合してインデックスを付与するステップを実行さ
せるための映像音響コンテンツのインデックス付与プロ
グラムであり、コンピュータにインストールして実行す
ることにより、効率的な検索・視聴ができるインデック
ス付与を行うという作用を有するものである。
【0022】以下、本発明の実施の形態について、図を
用いて説明する。
【0023】(実施の形態1)図1は、本発明の実施の
形態1における映像音響コンテンツ編集装置の構成の一
例を示した図である。
【0024】図1において、1はインターネット、放
送、VTRまたは蓄積装置等から映像音響コンテンツを
入力する入力手段、2は入力された映像音響コンテンツ
からビデオ信号が大きく変化したフレームをカット点と
して抽出し、ビデオセグメンテーション情報として出力
するビデオセグメンテーション手段、3は入力された映
像音響コンテンツからの音響信号を用いて音声区間、無
音区間、音楽区間等の分類し、オーディオセグメンテー
ション情報として出力するオーディオセグメンテーショ
ン手段、4はビデオセグメンテーション情報(カット
点)およびオーディオセグメンテーション情報を統合し
てインデックスを作成するインデックス付与手段、5は
オーディオセグメンテーション情報とビデオセグメンテ
ーション情報を利用して必要な映像を検索したり、編集
したり、部分視聴などを行う編集手段、6は編集手段5
で必要に応じて映像を表示する表示手段、7は映像音響
コンテンツおよびインデックス情報、編集結果などの情
報を蓄積する蓄積手段である。
【0025】上記のように構成された映像音響コンテン
ツ編集装置の動作を以下に説明する。
【0026】インターネット、放送、VTRまたは蓄積
装置から配信された映像音響コンテンツや、家庭で撮影
したホームビデオから映像音響コンテンツを入力する。
【0027】ビデオセグメンテーション手段2では、入
力された映像音響コンテンツに対して、ビデオ信号が大
きく変化したフレームであるカット点をビデオセグメン
テーション情報(カット点のフレーム番号等)として出
力する。
【0028】オーディオセグメンテーション手段3で
は、音響信号を用いて、オーディオセグメンテーション
情報として音声区間、無音区間、音楽区間等の分類し、
時間と共に出力をする。ビデオセグメンテーション手段
2でのカット点検出やオーディオセグメンテーション手
段3での音声区間、無音区間、音楽区間等の分類を行う
手法については、既にいくつかの手法が報告されてい
る。
【0029】例えば、オーディオセグメンテーション手
法としては、一定時間毎(フレーム:10msec/20msecが
よく用いられる)のパワーを求めて、次に数10フレー
ム毎にパワーの分散、最小値、最大値を求める事によ
り、無音/音声/音楽 等のセグメンテーションを行う
事が可能である。また、ビデオセグメンテーションで
は、映像情報のフレーム毎の差分をとり、その値がある
閾値を越えたときに、カット点として検出する方法等が
ある。
【0030】インデックス付与手段4では、ビデオセグ
メンテーション情報(カット点)およびオーディオセグ
メンテーション情報を統合して、新たな分割位置(シー
ン)の決定を行い、インデックスを作成する。
【0031】表示手段6では、カット点を静止画として
連続表示し、さらにオーディオセグメントおよび統合結
果についても表示を行う。
【0032】編集手段5では、表示手段6に表示された
カット点情報とオーディオ情報を利用して、必要な映像
を検索したり、編集したり、部分視聴などを行う。ま
た、コンテンツおよびインデックス情報、編集結果など
の情報は、蓄積手段7に蓄積され、再編集、検索、視聴
に利用される。
【0033】あるカット点からの再生を指定したときの
動作について、図2を用いて説明する。C1、C2、C
3は各々検出されたカット点である。また、P1、P
2、S1、S2は、各々オーディオ情報から検出された
ポーズ区間および音声区間である。今、C2からの再生
要求に対して、C2位置から再生すると音響情報が途中
から再生されてしまうことになる。そこで、C2の再生
要求に対して、S1の開始地点から再生することによ
り、音声区間の最初から再生することが可能となる。
【0034】また、C3の再生要求に対して、そのまま
再生を開始すると、音響情報がない状態の再生となるの
で、S2のスタート位置から再生することにより、無駄
な再生を削除することができる。この際、S1の開始位
置をインデックス1の開始位置I1S、S1の終了1を
インデックス1の終了位置I1E、S2の開始位置をイ
ンデックス2の開始位置I2Sとしてインデックスを付
与する。
【0035】このように映像情報と音響情報から得られ
る各々のセグメント情報を統合して用いることにより、
より効果的な映像音響コンテンツ編集装置を提供するこ
とができる。
【0036】次に、インデックス付与手段4のビデオセ
グメンテーション情報(カット点)およびオーディオセ
グメンテーション情報の統合の方法について説明する。 音声セグメントの継続時間長を、sd(n) speech duratio
n ポーズセグメントの継続時間長を、pd(n) pause durati
on 音楽セグメントの継続時間長を、md(n) music duration その他のセグメントの継続時間長を、od(n) other segm
ent duration とすると、ポーズ時間長が長いときは、
話題の切り替え等内容的に大きな切れ目であることが多
く、逆に短い場合は、前後のセグメントの関係が深い場
合が多い。また音声セグメントの継続時間長が短い場合
には、「次のニュースです」等のようなつなぎの内容で
ある場合が多い。また、音楽番組では、一般的に音楽セ
グメントの継続時間長が長い場合が多い。
【0037】インデックス付与手段4において、オーデ
ィオセグメンテーション情報とビデオセグメンテーショ
ン情報から得られる各々のセグメント情報を統合する際
に、オーディオセグメントの継続時間長を利用するもの
である。例えば、 pd(n) > TH1(ex. 3sec)→ シーン区切りを追加、 pd(n) < TH2 (ex. 1sec) → 音声セグメントを統合、 音声セグメント中のカット点 → シーン区切りとしな
い、 等の簡単な規則を用いて、カット点と音声セグメントの
統合を行うことにより、各カット点、音声セグメントの
内容のまとまりを考慮した効果的なシーン分割を行うこ
とができる。
【0038】また、カット点を静止画として表示して映
像音響コンテンツの内容一覧を行う場合、従来はカット
点の開始時間を無視して連続表示を行う場合が多い。ま
た、そのカットに同時に音声等の情報の有無を表示する
例もあるが、音声セグメントやポーズセグメントの時間
長の情報やカット位置との関係は示されていない。効果
的な映像音響コンテンツの編集・検索・視聴を行うため
には、映像カット点と音響セグメントの時間的位置関係
や関連が把握できることが望ましい。
【0039】そこで、本実施の形態では、時間軸上にカ
ット点を配置して表示し、かつ音響セグメントの内容も
表示することとする。表示画面の一例を図3に示す。図
3内の矢印は、長いポーズや短い音声セグメント(つな
ぎの言葉と考えられる)を介するするため、より大きな
シーンの区切りと考えられるインデックス位置を示すも
のである。
【0040】また、本発明の映像音響コンテンツ編集装
置は、映像音響コンテンツ編集プログラムをインストー
ルし、実行することによりコンピュータでも実現するこ
とができる。以下、図4のフローチャートを用いてその
動作を説明する。
【0041】インターネット、放送、VTRまたは蓄積
装置から配信された映像音響コンテンツや、家庭で撮影
したホームビデオから映像音響コンテンツを入力する
(S10)。ビデオセグメンテーション・ステップ(S
20)では、入力された映像音響コンテンツに対して、
ビデオ信号が大きく変化したフレームであるカット点を
ビデオセグメンテーション情報(カット点のフレーム番
号等)として出力する。オーディオセグメンテーション
・ステップ(S30)では、音響信号を用いて、オーデ
ィオセグメンテーション情報として音声区間、無音区
間、音楽区間等の分類し、時間と共に出力をする。イン
デックス付与ステップ(S40)では、ビデオセグメン
テーション情報(カット点)およびオーディオセグメン
テーション情報を統合して、新たな分割位置(シーン)
の決定を行い、インデックスを作成する。編集ステップ
(S50)では、表示装置6に表示されたカット点情報
とオーディオ情報を利用して、必要な映像を検索した
り、編集したり、部分視聴などを行う。また、コンテン
ツおよびインデックス情報、編集結果などの情報は、蓄
積装置7に蓄積され、再編集、検索、視聴に利用され
る。
【0042】このように、本発明によれば、より効果的
なコンテンツの編集・検索・選択視聴を行うことができ
る。
【0043】(実施の形態2)図5は、本発明の実施の
形態2における映像音響コンテンツ編集装置の構成の一
例を示した図である。本実施の形態2では、実施の形態
1に対して、ビデオ・セグメンテーション手段2、イン
デックス付与手段4が存在せず、オーディオ情報だけを
用いてセグメンテーションを行うことを特徴とするもの
で、ビデオ・セグメンテーション手段2、インデックス
付与手段4以外の機能及びその動作は実施の形態1とほ
ぼ同様であるので説明は省略する。
【0044】本実施の形態では、例えば、音楽番組のオ
ーディオ情報を用いて、音楽/トーク/その他のクラス
タリングを行い、音楽の部分だけを選択視聴する、もし
くは頭だしを行うことが可能となる。
【0045】このように、本発明によれば、音響情報だ
けを用いて、効果的な映像音響コンテンツの編集・検索
・選択視聴を行うことができる。本発明は、映像情報を
持たない情報(例えばラジオ放送など)にも適用可能で
ある。
【0046】(実施の形態3)図6は、本発明の実施の
形態3における映像音響コンテンツ編集システムの構成
の一例を示した図である。実施の形態1の構成に加え
て、配信された映像音響コンテンツを受信する受信手段
9を設けたものである。また、映像音響コンテンツ編集
装置100は、実施の形態1または実施の形態2の映像
音響コンテンツ編集装置を用いるものとして説明を省略
する。
【0047】地上放送、衛星放送、CATV、インター
ネット等の伝送手段9を介して配信された映像音響コン
テンツは、受信手段10により受信し、映像音響コンテ
ンツ編集装置100に供給される。
【0048】なお、伝送手段9は、特に限定したもので
はない。
【0049】また、伝送手段9が双方向にし、送信手段
・受信手段をそれぞれ送受信手段とすることにより、使
用者からのリクエストによって配信することが可能とな
る。
【0050】本構成により、配信された映像音響コンテ
ンツを蓄積し、より効果的な映像音響コンテンツの編集
・検索・選択視聴を行うことができる。
【0051】(実施の形態4)図7は、本発明の実施の
形態4における映像音響コンテンツ編集システムの構成
の一例を示した図である。実施の形態3の構成に対し
て、映像音響コンテンツと共にインデックス情報の配信
をコンテンツ配信側に持つ構成としたものである。
【0052】映像音響コンテンツと共にインデックス情
報の配信を行うコンテンツ配信側は、実施の形態1また
は実施の形態2で説明した映像音響コンテンツ編集装置
100と、映像音響コンテンツを配信する通信手段11
から構成される。
【0053】伝送手段9は、地上放送、衛星放送、CA
TV、インターネット等、特に限定するものではない。
また、伝送手段9が双方向にし、使用者からのリクエス
トによって配信することが可能となり、インデックス情
報に基づいた各セグメントの先頭情報のみを送付して、
受信者からのリクエストに応じて必要な情報を配信する
ことができる。
【0054】受信側は、配信された映像音響コンテンツ
を受信する通信手段11と、受信した映像音響コンテン
ツをインデックス情報に従ってこの映像音響コンテンツ
の編集・検索・視聴を行う編集手段5と、編集された映
像音響コンテンツを表示する表示手段6と、受信または
編集した映像音響コンテンツ蓄積する蓄積手段7から構
成される。
【0055】なお、映像音響コンテンツ及びインデック
ス情報は、コンピュータ上で表現する構造記述データの
一例として、Extensible Markup Language(XML)を用い
てもよい。XMLは、World Wide Web Consortium(W3C)に
よって標準化されたデータ記述言語である。
【0056】本構成により、ユーザ(受信)側はインデ
ックス付与作業を行うことなく、より効果的な映像音響
コンテンツの編集・検索・選択視聴を行うことができ
る。
【0057】
【発明の効果】以上示したように、本発明によれば、映
像音響コンテンツの映像情報および音響情報を用いて効
果的なシーン・インデキシングを行うことにより、効果
的にコンテンツの編集や検索、ダイジェスト試聴を行う
ことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における映像音響コンテ
ンツ編集装置の基本的な構成を示す図
【図2】本発明における映像音響コンテンツ編集装置の
処理の一例を示す図
【図3】本発明における映像音響コンテンツ編集装置の
表示画面の一例を示す図
【図4】本発明の映像音響コンテンツ編集装置の動作を
説明するフローチャート
【図5】本発明の実施の形態2における映像音響コンテ
ンツ編集装置の基本的な構成を示す図
【図6】本発明の実施の形態3における映像音響コンテ
ンツ編集システムの基本的な構成を示す図
【図7】本発明の実施の形態4における映像音響コンテ
ンツ編集システムの基本的な構成を示す図
【図8】従来例におけるコンテンツ処理装置の基本的な
構成を示す図
【図9】従来例におけるコンテンツ処理装置の表示画面
の一例を示す図
【符号の説明】
1 映像音響コンテンツ入力手段 2 ビデオセグメンテーション手段 3 オーディオセグメンテーション手段 4 インデックス付与手段 5 編集手段 6 表示手段 7 蓄積手段 8 送信手段 9 伝送手段 10 受信手段 11 通信手段 100 映像音響コンテンツ編集装置
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B075 ND12 ND14 NK21 NR12 PQ02 PQ05 UU40 5C052 AB03 AC08 DD04 5C053 FA14 FA29 FA30 GB40 HA29 HA40 LA06 LA07 LA11 LA14

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 映像音響コンテンツ(以下単にコンテン
    ツと称する)に対して、映像情報を用いて映像カット位
    置を検出するビデオセグメンテーション手段と、音響情
    報を用いて音響クラスタリングを行うオーディオセグメ
    ンテーション手段と、それぞれの情報を統合してインデ
    ックスを付与するインデックス付与手段と、前記コンテ
    ンツやインデックス情報を蓄積する蓄積手段とを有する
    ことを特徴とする映像音響コンテンツの編集装置。
  2. 【請求項2】 前記インデックス付与手段は、ビデオセ
    グメンテーション情報とオーディオセグメンテーション
    情報の継続時間長を用いて統合を図り、インデックスを
    付与することを特徴とする請求項1記載の映像音響コン
    テンツの編集装置。
  3. 【請求項3】 映像音響コンテンツに対して、映像情報
    を用いて映像カット位置を検出するビデオセグメンテー
    ション手段と、音響情報を用いて音響クラスタリングを
    行うオーディオセグメンテーション手段と、それぞれの
    情報を統合してインデックスを付与するインデックス付
    与手段と、前記映像カット位置と前記音響クラスタリン
    グ位置と時間情報を同時に関連付けて表示する表示手段
    と、前記コンテンツや前記インデックス情報を蓄積する
    蓄積手段とを有することを特徴とする映像音響コンテン
    ツの編集装置。
  4. 【請求項4】 映像音響コンテンツに対して、音響情報
    を用いて音響クラスタリングを行うオーディオセグメン
    テーション手段と、その情報にインデックスを付与する
    インデックス付与手段と、前記コンテンツやインデック
    ス情報を蓄積する蓄積手段とを有する事を特徴とする映
    像音響コンテンツの編集装置。
  5. 【請求項5】 映像音響コンテンツを受信する手段と、
    受信したコンテンツに対して、映像情報を用いて映像カ
    ット位置を検出するビデオセグメンテーション手段と、
    音響情報を用いて音響クラスタリングを行うオーディオ
    セグメンテーション手段と、それぞれの情報を統合して
    インデックスを付与するインデックス付与手段と、前記
    コンテンツと前記インデックス情報を蓄積する蓄積手段
    とを有することを特徴とする映像音響コンテンツの編集
    装置。
  6. 【請求項6】 映像音響コンテンツに対して、映像情報
    を用いて映像カット位置を検出するビデオセグメンテー
    ション手段と、音響情報を用いて音響クラスタリングを
    行うオーディオセグメンテーション手段と、それぞれの
    情報を統合してインデックスを付与するインデックス付
    与手段と、映像音響コンテンツとインデックス情報を送
    信しかつ利用者からの要求を受信する送受信手段と、イ
    ンデックス情報と映像音響コンテンツを受信しかつ要求
    情報を送信する送受信手段と、受信した情報を蓄積する
    蓄積手段と、インデックスの情報にしたがって編集、検
    索、選択視聴する編集手段とを有することを特徴とする
    映像音響コンテンツの編集装置。
  7. 【請求項7】 映像音響コンテンツに対して、映像情報
    を用いて映像カット位置を検出するビデオセグメンテー
    ションステップと、音響情報を用いて音響クラスタリン
    グを行うオーディオセグメンテーションステップと、そ
    れぞれの情報を統合してインデックスを付与するステッ
    プを有することを特徴とする映像音響コンテンツのイン
    デックス付与方法。
  8. 【請求項8】 前記インデックス付与ステップは、ビデ
    オセグメンテーション情報とオーディオセグメンテーシ
    ョン情報の継続時間長を用いて統合を図ることを特徴と
    する請求項7記載の映像音響コンテンツのインデックス
    付与方法。
  9. 【請求項9】 映像音響コンテンツに対して、映像情報
    を用いて映像カット位置を検出するビデオセグメンテー
    ションステップと、音響情報を用いて音響クラスタリン
    グを行うオーディオセグメンテーションステップと、そ
    れぞれの情報を統合してインデックスを付与するインデ
    ックス付与ステップと、映像カット位置と音響クラスタ
    リング位置と時間情報を同時に関連付けて表示する表示
    ステップとを有することを特徴とする請求項7記載の映
    像音響コンテンツのインデックス付与方法。
  10. 【請求項10】 コンピュータで、映像音響コンテンツ
    (以下単にコンテンツと称する)に対して、映像情報を
    用いて映像カット位置を検出するビデオセグメンテーシ
    ョン手段と、音響情報を用いて音響クラスタリングを行
    うオーディオセグメンテーション手段と、それぞれの情
    報を統合してインデックスを付与するインデックス付与
    手段と、前記コンテンツやインデックス情報を蓄積する
    蓄積手段として機能させるための映像音響コンテンツの
    編集プログラム。
  11. 【請求項11】 コンピュータに、映像音響コンテンツ
    に対して、映像情報を用いて映像カット位置を検出する
    ビデオセグメンテーションステップと、音響情報を用い
    て音響クラスタリングを行うオーディオセグメンテーシ
    ョンステップと、それぞれの情報を統合してインデック
    スを付与するステップを実行させるための映像音響コン
    テンツのインデックス付与プログラム。
JP2001069969A 2001-03-13 2001-03-13 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法 Withdrawn JP2002271741A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001069969A JP2002271741A (ja) 2001-03-13 2001-03-13 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001069969A JP2002271741A (ja) 2001-03-13 2001-03-13 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法

Publications (2)

Publication Number Publication Date
JP2002271741A true JP2002271741A (ja) 2002-09-20
JP2002271741A5 JP2002271741A5 (ja) 2008-03-06

Family

ID=18927923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001069969A Withdrawn JP2002271741A (ja) 2001-03-13 2001-03-13 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法

Country Status (1)

Country Link
JP (1) JP2002271741A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100617098B1 (ko) 2005-01-17 2006-08-31 엘지전자 주식회사 휴대폰용 동영상 인덱싱 및 검색 방법과 그를 위한 시스템
JP2006323792A (ja) * 2005-05-20 2006-11-30 Nippon Hoso Kyokai <Nhk> メタデータ統合装置及びメタデータ統合プログラム
JP2007304933A (ja) * 2006-05-12 2007-11-22 Sony Corp 情報処理システム、端末装置、情報処理方法、プログラム
JP2008070868A (ja) * 2006-08-14 2008-03-27 Sanyo Electric Co Ltd 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム
KR100826959B1 (ko) 2007-03-26 2008-05-02 정상국 동영상 제작 방법 및 시스템
JP2008515011A (ja) * 2004-09-28 2008-05-08 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ オーディオ作品のセグメンテーションを変更するための装置および方法
JP2009278339A (ja) * 2008-05-14 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像トピック区間定義装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体
CN105389318A (zh) * 2014-09-09 2016-03-09 联想(北京)有限公司 一种信息处理方法及电子设备
CN107688792A (zh) * 2017-09-05 2018-02-13 语联网(武汉)信息技术有限公司 一种视频翻译方法及其系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008515011A (ja) * 2004-09-28 2008-05-08 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ オーディオ作品のセグメンテーションを変更するための装置および方法
KR100617098B1 (ko) 2005-01-17 2006-08-31 엘지전자 주식회사 휴대폰용 동영상 인덱싱 및 검색 방법과 그를 위한 시스템
JP2006323792A (ja) * 2005-05-20 2006-11-30 Nippon Hoso Kyokai <Nhk> メタデータ統合装置及びメタデータ統合プログラム
JP2007304933A (ja) * 2006-05-12 2007-11-22 Sony Corp 情報処理システム、端末装置、情報処理方法、プログラム
JP2008070868A (ja) * 2006-08-14 2008-03-27 Sanyo Electric Co Ltd 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム
KR100826959B1 (ko) 2007-03-26 2008-05-02 정상국 동영상 제작 방법 및 시스템
WO2008118001A1 (en) * 2007-03-26 2008-10-02 Sang Kug Jung Program designed master animation and method for producing thereof
US8451276B2 (en) 2007-03-26 2013-05-28 Sang Kug Jung Program designed master animation and method for producing thereof
JP2009278339A (ja) * 2008-05-14 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像トピック区間定義装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体
CN105389318A (zh) * 2014-09-09 2016-03-09 联想(北京)有限公司 一种信息处理方法及电子设备
CN107688792A (zh) * 2017-09-05 2018-02-13 语联网(武汉)信息技术有限公司 一种视频翻译方法及其系统
CN107688792B (zh) * 2017-09-05 2020-06-05 语联网(武汉)信息技术有限公司 一种视频翻译方法及其系统

Similar Documents

Publication Publication Date Title
US7499630B2 (en) Method for playing back multimedia data using an entertainment device
US5946050A (en) Keyword listening device
JP4216190B2 (ja) 番組のコマーシャル部分を識別しかつ学習するために、トランスクリプト情報を用いる方法
US7149411B2 (en) Non-linear reproduction control method of multimedia stream and apparatus thereof
JP4198786B2 (ja) 情報フィルタリングシステム、情報フィルタリング装置、映像機器および情報フィルタリング方法
KR100467613B1 (ko) 방송 프로그램 중복 기록 방지 방법 및 장치
US20070186269A1 (en) Interactive program manager and methods for presenting program content
JP2002533841A (ja) 個人用ビデオ分類及び検索システム
CN104869467A (zh) 媒体播放中的信息输出方法、装置和系统
JP2008148077A (ja) 動画再生装置
KR20040058285A (ko) 개인 정보 검색, 업데이트 및 제공을 위한 방법 및 시스템
EP1964406A1 (en) Triggerless interactive television
JP5076892B2 (ja) 同一シーン検出装置およびプログラムを格納した記憶媒体
JP2008028985A (ja) コンテンツ視聴支援回路およびコンテンツ視聴支援装置
JP2002271741A (ja) 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法
GB2326516A (en) Method of and apparatus for editing audio or audio-visual recordings
JP3517065B2 (ja) 放送型リアルタイムハイパ−テキスト通信方法および受信装置
JP3766280B2 (ja) コンテンツ仲介装置およびコンテンツ仲介処理方法
JP2002271741A5 (ja)
JP2004134909A (ja) コンテンツ解説データ生成装置、その方法及びそのプログラム、並びに、コンテンツ解説データ提示装置、その方法及びそのプログラム
KR20020060964A (ko) 오디오/비디오 내용을 인덱스/요약하기 위한 시스템
JP3838775B2 (ja) マルチメディア処理装置、記録媒体
JP2005020165A (ja) ユーザ辞書を用いたテロップ監視システム
JP2007272975A (ja) オーサリング支援装置、オーサリング支援方法及びプログラム、並びにオーサリング情報共有システム
JP2005267278A (ja) 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080121

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080213

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090406