JPH08101845A - 動画像検索システム - Google Patents

Abstract

(57)【要約】 【目的】本発明は、動画像のシーン変化点を抽出して、
抽出した変化点と時間検索とを組み合わせることによ
り、動画像のシーン検索を容易にした動画像検索システ
ムを構築することを主な特徴とする。 【構成】制御装置（ＰＣ２）が司る変化点検索は、ＲＡ
Ｍ１１に割り付けられるインデックスファイルをオープ
ンし、検索を行いたいインデックスを選択してタイムコ
ードを抽出し、更に、変化点ファイルをオープンしてシ
ーン変化点のタイムコードを読み込み、インデックスタ
イムコードの直前のシーン変化点にあることを認識して
そのシーン変化点に相当する動画像データを検索する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、再生または録画中のビ
デオ動画より、所望のシーンを容易に検索することので
きる動画像検索システムに関する。

【０００２】

【従来の技術】従来、再生または録画中の動画像に対
し、後の検索準備のために重要と思われるシーンに対す
るインデックス情報の付加は、動画像を見て、人が重要
と思う所でタイトル名からなるインデックス情報を打ち
込み、あるいはメモを書き込んだ位置を示すインデック
ス情報を打ち込むことによって行われる。

【０００３】この場合、シーン検索に使用されるキーワ
ードとしては、タイトル名入力によるインデックス、ま
たはメモを書き込んだ時のインデックス、フレーム番号
等が挙げられる。

【０００４】従来のシーン検索は、動画像そのものを解
析して、動画像情報のシーン変化点を検出する手法を使
用している。具体的には、フレーム毎キャプチャデータ
を記憶し、そのキャプチャデータと以前のフレームのキ
ャプチャデータと比較して差分を求め、その差分が予め
定義されたある値を越えることを確認してシーン変化と
見做しそのタイムコードを登録してシーン変化点を検出
するものである。この技術は、動画像そのものを解析し
て、動画像情報のシーン変化点を検出するものである。

【０００５】

【発明が解決しようとする課題】上述した従来例に従え
ば、キーワードを利用してシーン検索を行った場合、再
生の開始されたフレームより以前に検索したい重要シー
ンが存在することが多々あり、従って、シーン変化点検
出後、更に検索したいシーンに対する頭出しの作業が必
要となり、シーン検索が複雑になるばかりか無駄な時間
を要していた。

【０００６】本発明は上記事情に鑑みてなされたもので
あり、動画像のシーン変化点を抽出して、抽出した変化
点と時間検索とを組み合わせることにより、動画像のシ
ーン検索を容易にした動画像検索システムを提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】本発明の動画像検索シス
テムは、ＮＴＳＣ動画像信号をキャプチャしたディジタ
ルフレームデータを使用して見たい動画像シーンを検索
することのできる動画像シーン検索手段と、検索の際に
キーワードとなるタイトルとタイムコードで構成される
インデックス情報を動画像再生または録画中にリアルタ
イムにファイルに登録する手段と、再生または録画中の
動画像に対してリアルタイムにシーン変化点を検出して
そのタイムコードとともにファイルに登録する手段と、
見たいシーンを検索する際、検索を行いたいインデック
スを選択し、抽出されたシーン変化点の情報を使用して
そのインデックス情報の直前にあるシーン変化点を検出
する変化点検出手段を持つことを特徴とする。

【０００８】また、本発明の動画像検索システムは、ビ
デオカメラ、ＶＴＲ等の映像機器と、これら映像機器と
はＲＳ２３２ＣケーブルならびにアナログＲＧＢケーブ
ルを介して接続され、アナログＲＧＢケーブルを介して
入力されるＮＴＳＣ動画像信号をキャプチャしてディジ
タルフレームデータに変換するキャプチャボード、及び
ＲＳ２３２Ｃインタフェースを内蔵し、外部から入力さ
れるインデックス情報をタイムコード付きで内蔵する記
憶装置に登録するとともに上記キャプチャボードを介し
て入力される動画像の再生あるいは録画と同時にシーン
変化点を抽出し、抽出されたシーン変化点と時間検索と
を組み合わせてインデックスデータの直前にあるシーン
変化点を検索し見たい動画像データを得る制御装置とを
具備することを特徴とする。

【０００９】

【作用】検索の際にキーワードとなるタイトルとタイム
コードで構成されるインデックス情報は、動画像再生ま
たは録画中にリアルタイムにファイル登録され、また、
再生または録画中の動画像に対してリアルタイムにシー
ン変化点を検出して、そのタイムコードとともにファイ
ル登録される。

【００１０】シーン検索の手順は、まずインデックスフ
ァイルをオープンして検索を行いたいインデックスを選
択しタイムコードを抽出し、シーン変化点ファイルをオ
ープンしてシーン変化点のタイムコードを読み込み、イ
ンデックスタイムコードの直前のシーン変化点にあるこ
とを認識してそのシーン変化点に相当する動画像データ
を検索する。

【００１１】このことにより、人が動画像を見て重要と
思った時に打ち込むインデックスデータと、動画像の再
生または録画と同時にシーン変化点を抽出して、抽出さ
れたシーン変化点と時間検索を組み合わせインデックス
データの直前にあるシーン変化点を検出することによ
り、動画でのシーン検索を容易にすることができる。

【００１２】

【実施例】以下図面を参照して本発明の一実施例を説明
する。図１は本発明の一実施例によるシステムの構成を
示すブロック図である。図１に於いて、符号１は外部接
続されるモニタ、符号２はパーソナルコンピュータ（Ｐ
Ｃ）、符号３はビデオモニタ、符号４はビデオ録画再生
装置（ＶＩＳＣＡ−ＶＴＲ）、符号５は８ミリビデオカ
メラである。

【００１３】モニタ１はアナログＲＧＢケーブル１０１
を介してパーソナルコンピュータ２に接続され、ビデオ
モニタ３はアナログケーブル１０４を介してビデオ録画
再生装置４に接続される。

【００１４】ビデオ録画再生装置４は、アナログケーブ
ル１０２とＲＳー２３２Ｃケーブル１０５を介してパー
ソナルコンピュータ２に接続される。８ミリビデオカメ
ラ５は、アナログケーブル１０３を介してビデオ録画再
生装置４に接続される。

【００１５】図２は図１に示すパーソナルコンピュータ
（ＰＣ）２の内部構成を示すブロック図である。図に於
いて、符号１０は制御中枢となるＣＰＵである。符号１
１はインデックス情報、シーン変化点情報等がリアルタ
イムに格納されるＲＡＭである。符号１２は入力される
ＮＴＳＣ動画像信号をキャプチャしたディジタルフレー
ムデータを生成するキャプチャボードである。符号１３
はＲＳ２３２Ｃインタフェースである。上記ＣＰＵ１
０、ＲＡＭ１１、キャプチャーボード１２、ＲＳー２３
２Ｃインターフェース１３は、それぞれバス１１０を介
して共通接続される。

【００１６】図１に於けるアナログケーブル１０２はキ
ャプチャボード１２に接続され、ＲＳー２３２Ｃケーブ
ル１０５はＲＳー２３２Ｃインタフェース１３に接続さ
れる。

【００１７】図３は本発明の一実施例に於けるシーン変
化点検出の処理手順を示すフローチャートである。図４
は本発明の一実施例に於ける装置のコントロールパネル
の外観を示す図である。コントロールパネル３０は、イ
ンデックス設定、メモ書き込みを行うために使用される
ものであり、インデックス設定ボタン３１、メモ書き込
み領域３２、カーソル３３、メモページの切り替えを行
うボタン３４等で構成される。

【００１８】図５乃至図７はそれぞれ本発明の実施例に
於ける動作を説明するためのもので、図５はインデック
ス情報、メモ情報、及びシーン変化点情報のファイル上
でのイメージを示す図、図６はシーン変化点情報とイン
デックス情報を使用して行うシーン検索をビデオストリ
ーム上で示した概念図、図７はシーン検索の処理手順を
示すフローチャートである。

【００１９】以下、図１乃至図７を使用して本発明の実
施例に於ける動作を説明する。ここでシーン検索を行う
対象となる動画像は、例えば、ＴＶ会議等途中でその再
生または録画を止められない場合であって、途中での重
要ポイントへのインデックス、またはメモを書き込んだ
位置を示すメモ書き込みインデックスをリアルタイムに
書き込みを行い、再生または録画の終了後、重要ポイン
トを含むシーン検索を行う場合であるものとする。

【００２０】図１に於いて、ビデオ録画再生装置４によ
って生成される再生画像に対しシーン検索を行う場合、
ビデオ録画再生装置４からのＮＴＳＣ動画像信号は、ア
ナログケーブル１０２を介してキャプチャーボード１２
に入力される。パーソナルコンピュータ２は、入力され
た動画象に対してシーン変換点の検出を行い、その変化
点をファイルとして登録していく。この際のシーン変化
点検出の方法に関しては後述する。

【００２１】そして、人がビデオモニタ３に再生される
動画像を見て重要と思った時に、インデックス情報とメ
モ書き込みインデックス情報を、図４に示すコントロー
ルパネル３０を利用してパーソナルコンピュータ２に入
力することにより、パーソナルコンピュータ２によって
それらの情報がファイル登録される。

【００２２】パーソナルコンピュータ２上では、シーン
変化点検出、変化点のファイル登録とインデックス情
報、メモ書き込みインデックス情報のファイル登録は同
時にリアルタイムに行われる。

【００２３】図１において、８ミリビデカメラ５からの
出力であるＮＴＳＣ動画像データは、アナログケーブル
１０３を介してビデオ録画再生装置４に入力される。ビ
デオ録画再生装置４がＮＴＳＣ動画像の録画状態におい
てシーン検索を行う場合、録画状態のビデオ録画再生装
置４からのＮＴＳＣ動画像信号は、アナログケーブル１
０２を介してパーソナルコンピュータ２に接続され、図
２に示されるキャプチャボード１２に入力される。以下
の動作は、再生に於ける場合と同じである。

【００２４】図５にファイル上での登録データイメージ
を示す。シーン変化点、インデックス情報、メモ書き込
みインデックス情報はタイトルとタイムコードで登録さ
れる。タイムコードは、時、分、秒、フレーム番号から
構成される。尚、メモ書き込みインデックス情報には、
メモ書き込まれた時のタイムコードが書き込まれる。

【００２５】図４にシーン変化点検出の過程を示す。ビ
デオ録画再生装置４からの出力であるＮＴＳＣ動画像信
号は、アナログケーブル１０２を介して図２のキャプチ
ャーボード１２に入力される。

【００２６】図３に示す、処理２０ではキャプチャーボ
ード１２に入力された動画象データの１フレームのキャ
プチャを行い、そのアナログデータがデジタルデータへ
変換される。

【００２７】処理２１では変換されたデジタルフレーム
画像データが図２のＲＡＭ１１に格納される。処理２２
では動画像データより次のフレームのキャプチャを行
う。

【００２８】処理２３ではキャプチャ動画像データとＲ
ＡＭ１１に格納されているフレームデータとの差分を求
める。処理２４では上記求めた差分と予め設定されてい
る判断してスレッショルド値と比較を行い、スレッショ
ルド値を越えた場合にシーン変化ありと判断し、処理２
６でシーン変化点のタイムコードをファイルに登録して
処理２５に移る。又、シーン変化点が無い場合も処理２
５に移る。

【００２９】処理２５では、入力動画像データの終了チ
ェックを行い、動画像データ終了であれば、シーン変化
点検出を終了する。終了でなければ、処理２０に戻る。
以上がシーン変化点検出の過程である。

【００３０】図６に本発明のシーン検索の説明を概念図
として示す。ファイル化されたシーン変化点、インデッ
クス情報、メモ書き込みインデックス情報は、それぞれ
タイムコードで表現されている。

【００３１】今、図６に示されるように、ビデオストリ
ーム４０の中で、シーン変化点のタイムコードが、シー
ン変化点４１〜４４を示し、インデックス情報のタイム
コードが、インデックス４５を示していると仮定する。
シーン検索では、インデックス情報が示すビデオストリ
ームの位置の直前にあるシーン変化点の検索を行う。

【００３２】以上の動作を図７に示すフローチャートを
参照しながら説明する。処理５０では図５に示すインデ
ックスファイルＡをオープンする。処理５１では検索を
行いたいインデックスの選択を行う。

【００３３】処理５２では選択したインデックスまたは
メモ書き込みインデックスのタイムコードを抽出する。
処理５３では図５に示すシーン変化点ファイルＢをオー
プンする。

【００３４】処理５４ではシーン変化点のタイムコード
を読み込む。処理５５では、検索したいインデックスタ
イムコードとシーン変化点を表すタイムコードとの比較
を行い、シーン変化点のタイムコードが、インデックス
タイムコードの直前にあるのであれば処理５６に移り、
そのシーン変化点への検索を行う。

【００３５】尚、直前のタイムコードでなければ、処理
５４に移り、次のシーン変化点タイムコードを読み込
む。以上が、シーン検索の手順である。

【００３６】図６に示す例で説明すると、インデックス
４５で示すビットストリーム４０の位置の直前のシーン
変化点４２の検索を行う。シーン検索では、パーソナル
コンピュータ２が、ＲＳー２３２Ｃケーブル１０３をを
介してビデオ録画再生装置４の動作を制御することで行
われる。パーソナルコンピュータ２からビデオ録画再生
装置４を制御できる機能としては、ビデオ録画再生装置
４に備えられたタイムコードを使用した検索、再生手段
等である。このような検索を行うことによって、重要と
思われるシーンへのシーン検索を容易に行うことができ
る。

【００３７】

【発明の効果】以上詳記したように本発明によれば、人
が動画像を見て重要と思った時に打ち込むインデックス
データと、動画像の再生または録画と同時にシーン変化
点を抽出して、抽出されたシーン変化点と時間検索を組
み合わせインデックスデータの直前にあるシーン変化点
を検出することにより、動画でのシーン検索を容易にす
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図。

【図２】図１に示すパーソナルコンピュータの内部構成
を示すブロック図。

【図３】上記実施例に於けるシーン変化点検出の手順を
示すフローチャート。

【図４】上記実施例に於けるコントロールパネルの外観
図。

【図５】上記実施例に於いて登録される情報のファイル
上でのイメージを示す図。

【図６】上記実施例に於けるシーン検索の動作をビデオ
ストリーム上で示す概念図。

【図７】上記実施例に於けるシーン検索の手順を示すフ
ローチャート。

【符号の説明】

１…モニタ、２…パーソナルコンピュータ（ＰＣ）、３
…ビデオモニタ、４…画像録画再生装置（ＶＩＳＣＡ−
ＶＴＲ）、５…８ミリビデオカメラ、１０…ＣＰＵ、１
１…ＲＡＭ、１２…キャプチャボード、１３…ＲＳ２３
２Ｃインタフェース、３０…コントロールパネル、３１
…インデックス設定ボタン、１０２，１０３…アナログ
ケーブル、１０５…ＲＳー２３２Ｃケーブル。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ＮＴＳＣ動画像信号をキャプチャしたデ
   ィジタルフレームデータを使用して見たい動画像シーン
   を検索することのできる動画像シーン検索手段と、検索
   の際にキーワードとなるタイトルとタイムコードで構成
   されるインデックス情報を動画像再生または録画中にリ
   アルタイムにファイルに登録する手段と、再生または録
   画中の動画像に対してリアルタイムにシーン変化点を検
   出してそのタイムコードとともにファイルに登録する手
   段と、見たいシーンを検索する際、検索を行いたいイン
   デックスを選択し、抽出されたシーン変化点の情報を使
   用してそのインデックス情報の直前にあるシーン変化点
   を検出する変化点検出手段とを持つことを特徴とする動
   画像検索システム
2. 【請求項２】 上記変化点検索手段は、第１のファイル
   をオープンして検索を行いたいインデックスを選択しタ
   イムコードを抽出し、第２のファイルをオープンしてシ
   ーン変化点のタイムコードを読み込み上記インデックス
   タイムコードの直前のシーン変化点にあることを認識し
   てそのシーン変化点に相当する動画像データを検索する
   ことを特徴とする請求項１記載の動画像検索システム。
3. 【請求項３】 フレーム毎キャプチャデータを記憶し、
   そのキャプチャデータと以前のフレームのキャプチャデ
   ータと比較して差分を求め、その差分があらかじめ定義
   された値を越えることを確認してシーン変化と見做しそ
   のタイムコードを登録してシーン変化点を検出すること
   を特徴とする請求項１記載の動画像検索システム。
4. 【請求項４】 映像の再生又は記録再生機能をもつ映像
   機器をＲＳ２３２Ｃケーブルを介して接続しＮＴＳＣ動
   画像信号をキャプチャしてディジタルフレームデータに
   変換するキャプチャボードと、上記映像機器をＲＳ２３
   ２Ｃインタフェースを介して接続するＲＳ２３２Ｃイン
   タフェースと、記憶装置とを内蔵し、外部から入力され
   るインデックス情報をタイムコード付きで上記記憶装置
   に登録するとともに、上記キャプチャボードを介して入
   力される動画像の再生あるいは録画と同時にシーン変化
   点を抽出し、抽出されたシーン変化点と時間検索とを組
   み合わせてインデックスデータの直前にあるシーン変化
   点を検索し動画像データを得る制御装置とを具備するこ
   とを特徴とする動画像検索システム。