JP2003274353A - 映像情報とイベント情報の同期装置 - Google Patents

映像情報とイベント情報の同期装置

Info

Publication number
JP2003274353A
JP2003274353A JP2002077326A JP2002077326A JP2003274353A JP 2003274353 A JP2003274353 A JP 2003274353A JP 2002077326 A JP2002077326 A JP 2002077326A JP 2002077326 A JP2002077326 A JP 2002077326A JP 2003274353 A JP2003274353 A JP 2003274353A
Authority
JP
Japan
Prior art keywords
information
video
event
list
event information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002077326A
Other languages
English (en)
Inventor
Nozomi Takahashi
望 高橋
Takayuki Kunieda
孝之 國枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002077326A priority Critical patent/JP2003274353A/ja
Publication of JP2003274353A publication Critical patent/JP2003274353A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 映像とイベント情報の同期を取ることで、あ
るいは複数のイベント情報間の同期をとることで、イベ
ント情報を効率よく映像と対応づけることができる映像
情報とイベント情報の同期装置を提供する。 【解決手段】 映像の特徴的な情報あるいは関連する情
報と、それに該当する映像の時間情報とを組で保持する
イベント情報のリストを読み込む機能を有するイベント
リスト読み込み手段と、映像情報を読み込む手段とを有
し、映像情報とイベントリストの相対開始時刻を合わせ
ることで同期をとる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像情報とイベン
ト情報の同期装置に関し、特に、映像情報とイベント情
報リストを同期する手法に関する。
【0002】
【従来の技術】パーソナルコンピュータのコストダウン
やネットワーク技術の発達に伴いコンピュータ上で映像
を視聴する機会が増加している。そのため、カットや意
味的なシーンのまとまりといった部分映像の単位ごとに
インデックスをつけることで映像シーンの検索を行うシ
ステムも構築されてきている。
【0003】従来、映像のインデックスはコンピュータ
上で視聴できるファイル形式などに保存された一つの映
像ファイルに対して、音声認識や画像特徴抽出あるいは
人間が手で入力することで生成されるのが一般的であっ
た。この場合、映像ファイルが既に存在する状態である
ので、インデックスと映像ファイルの時間情報は同期を
とることは容易に可能であった。
【0004】また、特開2000−324444号公報
には、番組構造化方法、番組編集支援方法、番組編集支
援システム、イベントリスト記録媒体、番組インデック
ス政策方法、及び番組インデックス編集装置が記載され
ている。この装置は、編集対象となる生番組に対してイ
ベントリストを作成するものである。
【0005】
【発明が解決しようとする課題】しかしながら、映像の
撮影中に撮影機材とは独立した手段で生成されるインデ
ックスは、撮影された映像との同期を取る必要が生じる
という問題がある。例えば、プレゼンテーションの撮影
で、映像撮影中のカメラとは独立して、マウス操作のイ
ベント情報を時間情報と共に記録しておき、そのイベン
ト情報をインデックスとして利用する場合がある。
【0006】また、映像とインデックスの同期はとれて
いたとしても、映像が別々に撮影されていた場合にはこ
のインデックス間での同期をとる必要があるという問題
がある。例えば、複数の人が同じテレビ放送を別々に録
画し、その映像を視聴しながらインデックスを生成した
とすると、それぞれの映像とインデックスは同期が取ら
れているかもしれないが、録画を開始するタイミングに
ズレがある場合、インデックスを共通に扱うことはでき
ないという場合がある。
【0007】さらに、特開2000−324444号公
報記載の方法、システム、装置によると、イベントリス
トと映像の同期は人手によるものであるという問題があ
った。
【0008】そこで、本発明は、上記問題を鑑み、映像
とイベント情報の同期を取ることで、あるいは複数のイ
ベント情報間の同期をとることで、イベント情報を効率
よく映像と対応づけることができる映像情報とイベント
情報の同期装置を提供することを目的とする。なお、本
書でイベント情報とは、映像の特徴的な情報あるいは関
連する情報と、それに該当する映像の時間情報とを組で
保持する情報を指している。
【0009】
【課題を解決するための手段】請求項1記載の発明によ
れば、映像情報とイベント情報の同期装置は、映像の特
徴的な情報あるいは関連する情報と、それに該当する映
像の時間情報とを組で保持するイベント情報のリストを
読み込む機能を有するイベントリスト読み込み手段と、
映像情報を読み込む手段とを有し、映像情報とイベント
リストの相対開始時刻を合わせることで同期をとること
を特徴とするものである。
【0010】請求項2記載の発明によれば、映像情報と
イベント情報の同期装置は、映像の特徴的な情報あるい
は関連する情報と、それに該当する映像の時間情報とを
組で保持するイベント情報のリストを読み込む機能を有
するイベントリスト読み込み手段と、映像情報を読み込
み画像特徴によるシーン変化点候補を検出し、シーン変
化点リストを生成するシーン変化点リスト生成手段と、
イベントリストの各イベント情報の時間情報とシーン変
化点リストの各シーン変化点のマッチングを行い、その
適合度が最大のイベント情報の時間情報とシーン変化点
の時間情報の組み合わせを特定するシーン変化点とイベ
ント情報のマッチング手段とを有し、非同期で生成され
た映像情報とイベント情報の同期をとることを特徴とす
るものである。
【0011】請求項3記載の発明によれば、映像情報と
イベント情報の同期装置は、請求項2記載の映像情報と
イベント情報の同期装置であって、マッチングした結果
の適合度の順にイベント情報と時間情報の組み合わせの
リストを生成し出力する手段をさらに有し、非同期で生
成された映像情報とイベント情報の同期候補を出力する
ことを特徴とするものである。
【0012】請求項4記載の発明によれば、映像情報と
イベント情報の同期装置は、請求項2記載の映像情報と
イベント情報の同期装置において、シーン変化点リスト
生成手段に代えて、映像情報から無音部開始点を抽出
し、無音部開始点リストを生成する無音部開始点リスト
生成手段を有し、非同期で生成された映像情報とイベン
ト情報の同期をとることを特徴とするものである。
【0013】
【発明の実施の形態】添付図面を参照して、本発明によ
る映像情報とイベント情報との同期装置の実施の形態を
以下詳細に説明する。
【0014】まず、本発明による映像情報とイベント情
報の同期装置の一実施形態たる実施例1について説明す
る。この実施例1は請求項2に関するものである。
【0015】基本的フローを図1に示す。この図1は、
映像情報とイベント情報が独立して生成されている状態
で、本発明により映像情報とイベント情報の同期がとら
れ、結果として映像構造情報が生成されるという動作を
示している。
【0016】また、同期をとる様子を図示したものが図
2であり、図2中横軸は時間軸である。以下図1のフロ
ーに従い説明する。
【0017】ステップS1において、イベント情報リス
トAを読み込む。この実施例1では、後に画像特徴を利
用して抽出されたシーン変化点との比較を行うので、イ
ベント情報リストAは映像変化に依存度が高いプレゼン
テーションの切り替えなどをイベントとした場合には同
期の精度が高くなる。
【0018】ステップS2において、映像情報Bを読み
込む。
【0019】ステップS3において、ステップS2で読
み込んだ映像情報Bから画像特徴によりシーン変化点の
候補リストを生成する。この処理は、連続する2フレー
ム間で抽出した静止画特徴を比較し、その差が、ある閾
値を超えるなど一定の条件を満たした場合にシーン変化
点と決定するという手法で公知の技術である。この手法
は閾値などの設定によって必要以上に変化点を抽出した
り、変化点が不足する場合があることも知られている
が、本発明では、厳密なシーン変化点抽出の精度は必要
としない手法であるので、問題とならない。図2中の三
段目は、この画像特徴によるシーン変化点の候補リスト
(Scene-Change 1〜3) によって、Scene1〜4が生成
されたことを示している。
【0020】ステップS4において、イベント情報リス
トAのEvent 1の時刻をScene-Change1の時刻に合わせ
た時、他のEvent 2〜5の時刻がScene-Change2〜3の
時刻と一致するかどうかを調べ、一致していた数がEven
t 1とScene-Change1の組み合わせの得点となる。この
処理を、残りの組み合わせであるEvent 1とScene-Chan
ge2〜3及びEvent 2〜5とScene-Change1〜3につい
ても行う(図3)。これはマッチングの基本的な手法で
あるが、最も適切なEvent とScene-Changeの組み合わせ
を発見できれば特にその手法には依存しない。
【0021】ステップS5において、最も得点の高いEv
ent とScene-Changeの組み合わせを、映像とイベント情
報の同期がとれている組み合わせとする
【0022】次に、本発明による映像情報とイベント情
報の同期装置の一実施形態たる実施例2について説明す
る。この実施例2は請求項1に関するものである。
【0023】実施例1におけるイベント情報リストAと
映像情報Bの組のそれぞれに記録されている開始時刻を
あわせることで同期をとり、イベント情報リストAを利
用して映像情報Bのインデックスを生成する。例えば、
イベント情報リストAの絶対的な開始時刻が10:00:00で
あり、映像情報Bに記録されている絶対的な開始時刻が
10:00:05であれば、イベント情報リストAの10:03:00か
らのイベント情報を映像情報Bのインデックスとして利
用する。
【0024】次に、本発明による映像情報とイベント情
報の同期装置の一実施形態たる実施例4について説明す
る。この実施例3は請求項3に関するものである。実施
例1では、最も得点の高い組み合わせを同期がとれてい
るものと特定したが、代わって得点の高い順のリストを
生成し出力する。
【0025】まず、本発明による映像情報とイベント情
報の同期装置の一実施形態たる実施例1について説明す
る。この実施例4は請求項4に関するものである。イベ
ント情報リスト中のイベントをマイクから直接録音した
音声情報の無音部開始点とし、画像特徴によるシーン変
化点抽出ではなく無音部による映像情報の分割点リスト
にすることで、映像撮影装置が遠方にあるため音声が小
さく録音された映像と、マイクから直接録音した音声情
報の同期も行うことができる。
【0026】本発明による映像情報とイベント情報の同
期装置の一実施形態たる実施例5について説明する。こ
の実施例5は請求項2〜4の応用に関するものである。
イベント情報リスト中のイベントを人間が映像情報αを
視聴しながら生成したものであり、かつ映像情報αと図
2中の映像情報Bとは、部分的には完全に一致するが
(テレビ放送の録画を両者が別々に行ったときのよう
に)録画開始時刻がずれている場合に、適用できる。
【0027】なお、実施例1、4、5が示すように、本
発明はイベント情報リストの生成方法と映像情報の分割
点の抽出方法の組み合わせは、特に限定していない。
【0028】
【発明の効果】請求項1、2または4記載の発明によれ
ば、独立して生成された映像情報とイベント情報の自動
的に同期を取ることで、映像情報の検索インデックスを
イベント情報から効率よく生成できる。
【0029】請求項3記載の発明によれば、同期の誤り
を減少できる。
【図面の簡単な説明】
【図1】本発明による映像情報とイベント情報の同期装
置の一実施形態において映像構造情報が生成される動作
を示しているフローチャートである。
【図2】本発明による映像情報とイベント情報の同期装
置の一実施形態において同期がとられる様子を示す図で
ある。
【図3】本発明による映像情報とイベント情報の同期装
置の一実施形態における組み合わせ候補からの選択の説
明図である。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 映像の特徴的な情報あるいは関連する情
    報と、それに該当する映像の時間情報とを組で保持する
    イベント情報のリストを読み込む機能を有するイベント
    リスト読み込み手段と、 映像情報を読み込む手段とを有し、 前記映像情報と前記イベントリストの相対開始時刻を合
    わせることで同期をとることを特徴とする映像情報とイ
    ベント情報の同期装置。
  2. 【請求項2】 映像の特徴的な情報あるいは関連する情
    報と、それに該当する映像の時間情報とを組で保持する
    イベント情報のリストを読み込む機能を有するイベント
    リスト読み込み手段と、 映像情報を読み込み画像特徴によるシーン変化点候補を
    検出し、シーン変化点リストを生成するシーン変化点リ
    スト生成手段と、 前記イベントリストの前記各イベント情報の前記時間情
    報と前記シーン変化点リストの前記各シーン変化点のマ
    ッチングを行い、その適合度が最大の前記イベント情報
    の前記時間情報と前記シーン変化点の前記時間情報の組
    み合わせを特定する前記シーン変化点と前記イベント情
    報のマッチング手段とを有し、 非同期で生成された前記映像情報と前記イベント情報の
    同期をとることを特徴とする映像情報とイベント情報の
    同期装置。
  3. 【請求項3】 請求項2記載の映像情報とイベント情報
    の同期装置であって、 前記マッチングした結果の適合度の順に前記イベント情
    報と前記時間情報の組み合わせのリストを生成し出力す
    る手段をさらに有し、 非同期で生成された前記映像情報と前記イベント情報の
    同期候補を出力することを特徴とする映像情報とイベン
    ト情報の同期装置。
  4. 【請求項4】 請求項2記載の映像情報とイベント情報
    の同期装置において、 前記シーン変化点リスト生成手段に代えて、 映像情報から無音部開始点を抽出し、無音部開始点リス
    トを生成する無音部開始点リスト生成手段を有し、 非同期で生成された前記映像情報と前記イベント情報の
    同期をとることを特徴とする映像情報とイベント情報の
    同期装置。
JP2002077326A 2002-03-19 2002-03-19 映像情報とイベント情報の同期装置 Pending JP2003274353A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002077326A JP2003274353A (ja) 2002-03-19 2002-03-19 映像情報とイベント情報の同期装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002077326A JP2003274353A (ja) 2002-03-19 2002-03-19 映像情報とイベント情報の同期装置

Publications (1)

Publication Number Publication Date
JP2003274353A true JP2003274353A (ja) 2003-09-26

Family

ID=29205673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002077326A Pending JP2003274353A (ja) 2002-03-19 2002-03-19 映像情報とイベント情報の同期装置

Country Status (1)

Country Link
JP (1) JP2003274353A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210434A (ja) * 2004-01-22 2005-08-04 Hitachi Kokusai Electric Inc 映像閲覧方法及び映像閲覧システム
JP2005229509A (ja) * 2004-02-16 2005-08-25 Ricoh Co Ltd コンテンツ・メタデータ送受信システム、コンテンツ・メタデータ同期方法、その方法をコンピュータに実行させるプログラム、並びにコンテンツおよびメタデータの対応付け可能な受信端末
US9344699B2 (en) 2012-10-10 2016-05-17 Sony Corporation Information processing apparatus, information processing method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210434A (ja) * 2004-01-22 2005-08-04 Hitachi Kokusai Electric Inc 映像閲覧方法及び映像閲覧システム
JP2005229509A (ja) * 2004-02-16 2005-08-25 Ricoh Co Ltd コンテンツ・メタデータ送受信システム、コンテンツ・メタデータ同期方法、その方法をコンピュータに実行させるプログラム、並びにコンテンツおよびメタデータの対応付け可能な受信端末
JP4494821B2 (ja) * 2004-02-16 2010-06-30 株式会社リコー コンテンツ・メタデータ送受信システム、コンテンツ・メタデータ同期方法、その方法をコンピュータに実行させるプログラム、並びに受信端末
US9344699B2 (en) 2012-10-10 2016-05-17 Sony Corporation Information processing apparatus, information processing method, and program

Similar Documents

Publication Publication Date Title
JP4250301B2 (ja) 映像シーケンスを編集する方法及びシステム
RU2440606C2 (ru) Способ и устройство автоматического генерирования сводки множества изображений
US9036977B2 (en) Automatic detection, removal, replacement and tagging of flash frames in a video
EP1347455A2 (en) Contents recording/playback apparatus and contents edit method
EP2062260A2 (en) Method and apparatus for generating a summary
JP2007525900A (ja) 番組内のコンテンツを位置特定する方法及び装置
JP3781715B2 (ja) メタデータ制作装置及び検索装置
JP2009225116A (ja) ネットワーク伝送機能を備えた映像記録装置
JP2006115052A (ja) コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体
US20080016068A1 (en) Media-personality information search system, media-personality information acquiring apparatus, media-personality information search apparatus, and method and program therefor
JP2004023661A (ja) 記録情報処理方法、記録媒体及び記録情報処理装置
JP2003274353A (ja) 映像情報とイベント情報の同期装置
JP2014130536A (ja) 情報管理装置、サーバ及び制御方法
KR101749420B1 (ko) 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치 및 방법
JP4016424B2 (ja) 動画像編集装置および動画像編集方法
JP2004185424A (ja) プレゼンテーション記録装置
KR101716109B1 (ko) 복수의 영상의 시간 동기화 방법 및 이러한 방법을 사용하는 멀티 영상 재생 시스템
JP4171316B2 (ja) 情報編集装置、情報編集方法、および情報編集プログラム
KR102625045B1 (ko) 영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램
KR20150023492A (ko) 동기화된 영화 요약
JP2005175630A (ja) データ編集装置およびデータ編集方法
JP2005117330A (ja) コンテンツ編集装置及びプログラム
JP4295532B2 (ja) 情報編集装置、情報編集方法、および情報編集プログラム
JP4161459B2 (ja) メディア処理方法
JP4250662B2 (ja) デジタルデータ編集装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060418

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060808