JP2002324071A - コンテンツ検索システム、コンテンツ検索方法 - Google Patents

Abstract

(57)【要約】 【課題】 コンテンツ検索の利便性が向上するコンテン
ツ検索技術を提供する。 【解決手段】 インデクシング処理部２１に、オペレー
タによってキーボード等から複数のキーワードと、それ
ぞれのキーワードに関連付けられた特定の画像または特
定の音声を入力する。次に、コンテンツ５０において、
画像認識処理部２１ａでは、入力された特定の画像に対
応する場面が現れるコンテンツ５の時間帯を検出すると
ともに、音響認識処理部２１ｂでは、入力された特定の
音声に対応する音響が現れるコンテンツ５の時間帯を検
出する。そして、検出された時間帯の情報と、キーワー
ドとを関連付けてインデックスファイル５５を生成す
る。このインデックスファイルを利用すれば、時間軸を
考慮したコンテンツ５の検索が可能となり、コンテンツ
を検索する利便性が向上する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンテンツ検索技
術に関し、特に時間情報を有するコンテンツを検索する
コンテンツ検索技術に関する。

【０００２】

【従来の技術】コンテンツ検索技術として、コンテンツ
にインデックスデータを埋込む、または別途用意するこ
とにより、映像、音声などのコンテンツの検索を容易に
するものがある。このインデックスデータを利用するこ
とにより、通常の文字（文章検索）をキーワードとして
検索が可能となる。

【０００３】また、映像、音声などのコンテンツには、
タイムコード(Time Code)と呼ばれる時間情報が埋め込
まれている。例えば、ＳＭＰＴＥやＭＩＤＩ(Musical I
nstrument Digital Interface)ＣＬＯＣＫなどである。

【０００４】ＳＭＰＴＥとは、アメリカの映画テレビ技
術者協会(Society of Motion Picture and Television
Engineers)の略称であり、この協会が音と映像の同期を
とるために定めたタイムコードとなっている。

【０００５】上記のタイムコードとは、フィルムやＭＴ
ＲやＶＴＲで音声、映像を記録、再生する際に時間とフ
ィルムやテープの位置と対応付けるための時間情報を各
媒体に応じた形で記録するものである。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
コンテンツ検索技術においては、特定のキーワードによ
り、コンテンツ全体を特定・検索することは可能である
が、特定のキーワードに対応するコンテンツの一部、例
えばタイムコードを考慮したコンテンツ内のある時刻位
置からある時刻位置までの情報を特定することはでき
ず、不便である。

【０００７】ここで、特開2001-084743では、時間軸に
対してインデックスを配置する方法についての記載はあ
るが、ほぼ全てのキーワードをタイムコード上に手動で
配置しなければならず、効率的ではない。また、特開20
01-084743では、検索する際にコンテンツ内部に埋込ま
れたインデックス情報をもとに処理を行うため、コンテ
ンツの再生を伴い、迅速さや汎用性に欠ける状況となっ
ている。

【０００８】本発明は、上記課題に鑑みてなされたもの
であり、コンテンツ検索の利便性が向上するコンテンツ
検索技術を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明は、コンテンツ入力装置と、コンテ
ンツ管理装置とを含む情報処理要素群が相互にデータ伝
送可能に結合されたコンテンツ検索システムであって、
前記情報処理要素群が、時間情報を有するコンテンツを
格納する格納手段と、前記コンテンツに係る言語的な付
加情報と、前記付加情報に関連する前記コンテンツの時
間帯情報とを対応付けた索引情報を生成する索引生成手
段とを備える。

【００１０】また、請求項２の発明は、請求項１の発明
に係るコンテンツ検索システムにおいて、前記索引生成
手段は、前記索引情報を、前記コンテンツと別ファイル
として生成する。

【００１１】また、請求項３の発明は、請求項１または
請求項２の発明に係るコンテンツ検索システムにおい
て、前記索引生成手段は、前記付加情報に関連付けらた
コンテンツ要素を入力する手段と、前記コンテンツ要素
に対応する前記コンテンツの時間帯を検出し、前記時間
帯情報を生成する手段とを有する。

【００１２】また、請求項４の発明は、請求項１ないし
請求項３のいずれかの発明に係るコンテンツ検索システ
ムにおいて、前記情報処理要素群が、言語的な検索情報
を入力する入力手段と、前記入力手段で入力された検索
情報と前記付加情報とが関連する場合には、前記索引情
報における前記コンテンツの時間帯情報に基づき、前記
コンテンツの一部の情報を抽出する抽出手段とをさらに
備える。

【００１３】また、請求項５の発明は、請求項４の発明
に係るコンテンツ検索システムにおいて、前記抽出手段
は、前記コンテンツの一部の情報に基づき、プレビュー
情報を生成する手段を有する。

【００１４】また、請求項６の発明は、時間情報を有す
るコンテンツを検索するコンテンツ検索方法であって、
前記コンテンツを格納する格納工程と、前記コンテンツ
に係る言語的な付加情報と、前記付加情報に関連する前
記コンテンツの時間帯情報とを対応付けた索引情報を、
前記コンテンツと別ファイルとして生成する索引生成工
程と、言語的な検索情報を入力する入力工程と、前記入
力手段で入力された検索情報と前記付加情報とが関連す
る場合には、前記索引情報における前記コンテンツの時
間帯情報に基づき、前記コンテンツの一部の情報を抽出
する抽出工程とを備える。

【００１５】

【発明の実施の形態】図１は、本発明の実施形態に係る
コンテンツ検索システム１の構成を示す概略図である。
図１に示すように、このコンテンツ検索システム１は、
コンテンツ入力装置２と、コンテンツ管理装置として機
能するサーバ３と、端末４とが、インターネット等の通
信網９に接続されることにより、情報処理要素群が相互
にデータ伝送可能に結合されたシステム構成とされてい
る。このコンテンツ入力装置２とサーバ３と端末４と
は、メモリ、ＣＰＵ、磁気ディスク、キーボード、ディ
スプレイ、ハードディスクなどの固定記憶部等を備える
一般的なコンピュータとして構成されている。

【００１６】コンテンツ入力装置２は、入力された画像
コンテンツ５１や音響コンテンツ５２などのストリーミ
ングコンテンツに基づき、後述するインデクシング処理
が行われる。このコンテンツとは、画像、音楽、文字、
文章およびその他の情報を指している。

【００１７】図２は、コンテンツ検索システム１の構成
を示すブロック図である。

【００１８】コンテンツ入力装置２は、ＣＰＵを用いて
所定のソフトウェアプログラムに従って動作するインデ
クシング処理部２１を有している。

【００１９】インデクシング処理部２１は、画像配信サ
ーバやビデオなどの情報源５から入力され、固定記憶部
に格納されたストリーミングコンテンツ５０に関して、
オペレータがキーボードなどを操作し入力された入力条
件を参照して、インデックスファイルを生成する部位で
ある。

【００２０】インデクシング処理の流れについて、以下
で説明する。

【００２１】図３は、ストリーミングコンテンツ５０に
ついて説明する図である。

【００２２】例えばビデオテープ５９などの映像源、音
響源から、デジタル信号に変換して映像および音声デー
タであるデジタルコンテンツ５０を生成する。そして、
ストリーミングコンテンツ５０は、通信網９を介してサ
ーバ３の固定記憶部内のデータベース３１に伝送される
こととなる。

【００２３】ストリーミングコンテンツ５０では、図３
(ａ)に示すように、時間情報であるタイムコードを有
し、時間軸に沿って画像または音響が進行する。よっ
て、コンテンツの再生開始から、人物Ａが登場する時
刻、また場所Ｂが現れる時刻などが予め定められてい
る。

【００２４】そして、ストリーミングコンテンツ５０に
は、タイムコードに対応し人物Ａなどの発生時刻が書込
まれたインデックスファイル５５が、別ファイルとして
添付されている。

【００２５】図４は、インデックスファイル５５を説明
するための図である。

【００２６】インデックスファイル５５は、索引情報で
あり、イベントの発生時刻が記録されたキューシート５
５ａで構成となっている。すなわち、言語的な付加情報
である人物Ａの登場などのイベントＩＶと、イベントＩ
Ｖの発生時刻Ｔｓとの情報を記録するものである。ま
た、このキューシート５５ａでは、発生時刻とともにイ
ベントの終了時刻も記録し、時間帯情報を構成すること
となる。従って、これらのイベントを指定することによ
って、ストリーミングコンテンツ５０から、所望のイベ
ントが現れる時間帯を検索し、切り出すことが容易とな
る。

【００２７】次に、このインデックスファイル５５を生
成するための処理を説明する。

【００２８】図５は、コンテンツ入力装置２のインデク
シング処理部２１の動作を説明するための図である。

【００２９】まず、インデクシング処理部２１は、オペ
レータによってキーボード等から条件などが入力され
る。すなわち、複数のキーワードと、それぞれのキーワ
ードに関連付けられた特定の画像または特定の音声(コ
ンテンツ要素)が入力される。具体的には、画像に関し
ては、例えば「富士山」というキーワードでは、「富士
山」の静止画が入力される。また、音響に関しては、例
えば「サクラ」というキーワードでは、「サクラ」とい
う音声が入力されることとなる。

【００３０】次に、ストリーミングコンテンツ５０が、
映像コンテンツである場合には、インデックス処理部２
１内の画像認識処理部２１ａが、「富士山」の画像など
入力された特定の画像に対応(類似)する場面が現れる映
像コンテンツの時間帯(発生時刻及び終了時刻)を検出
し、キーワードと結び付けて、図４に示すようなキュー
シートで記述されるインデックスファイル５５を生成す
る。

【００３１】なお、画像認識の対象は画面上の１つに限
らず、例えば、３機の飛行機などの複数の対象物が画面
に現れる場合でも良い。

【００３２】また、ストリーミングコンテンツ５０が、
音響コンテンツである場合には、インデックス処理部２
１内の音声認識処理部２１ｂが、「サクラ」の音声など
入力された特定の音声が現れる音響コンテンツの時間帯
(発生時刻及び終了時刻)を検出し、キーワードと結び付
けて、図４に示すようなキューシートで記述されるイン
デックスファイル５５を生成する。

【００３３】なお、音響コンテンツについては、キーワ
ードとしての人物名(固有名詞)と、その人物の特徴、例
えば声紋などを入力し、それに対応する音響コンテンツ
の時間帯を検出しても良い。

【００３４】図６は、音声認識処理の例を示す図であ
る。

【００３５】歌曲については、入力された特定の音声の
調子が一定でない場合があり、このテンポの違いを考慮
して、認識処理が行われなければならない。以下では、
歌曲の中での「サ〜ク〜ラ」という部分を、「サクラ」
と認識する処理の具体例を説明する。

【００３６】図６(ａ)に示すように歌曲中に「サ〜ク〜
ラ」という音声信号ＷＢがある場合には、この音声信号
ＷＢに対して、エンベロープフォロア部２１１、レベル
検出部２１２およびピッチ抽出部２１３によって、平滑
化を行い、波形成分のエンベロープ、レベル、ピッチな
どの特徴情報を抽出する（図６(ｂ)参照）。また、バッ
ファメモリに「サ〜ク〜ラ」の音声を含む時間分のデー
タを保存する。そして、この特徴情報に基づき、バッフ
ァメモリ内の音声データを補正・変換・分解することに
より、レベル、ピッチなどを標準的なものに揃えるよう
に変換して、時間長の短い音節で構成される「サ・ク・
ラ」という音声データを出力する(図６(ｄ))。これよ
り、この生成された音声データと、入力された音声「サ
クラ」との対応が図れることとなる。

【００３７】インデックスファイル５５等を受信したサ
ーバ３では、以下の動作が行われる。この動作を図２を
参照しつつ説明する。

【００３８】コンテンツ入力装置２から送信されたスト
リーミングコンテンツ５０、およびインデックスファイ
ル５５は、サーバ３の固定記憶部に格納される。

【００３９】図７は、インデックスファイル５５と語彙
データベースとの関連付けを説明する図である。

【００４０】インデックスファイル５５は、例えばシソ
ーラスなどの語彙データベース(ＤＢ)３２に対して関連
付けが行われる。これにより、インデックスファイル５
５上のインデックスと、入力されるキーワードが完全に
一致する場合に限らず、ある程度あいまいな検索を許容
する自由度の高い検索が可能となる。

【００４１】なお、インデックスファイル５５は、多次
元ベクトル類似群データベースに関連付けしても良い。
この場合にも、検索自由度が向上することとなる。

【００４２】図８は、テキスト入力によるコンテンツの
検索動作を説明するための図である。

【００４３】インデックスファイル５５は、図７で説明
したように語彙ＤＢ３２を利用して、オペレータにより
テキスト入力されるキーワード(言語的な検索情報)に対
して、一致検索または、複数のキーワードに関連する用
語を抽出するための多項目ベクトル演算Ｓａを行うこと
により、キーワードに関連するストリーミングコンテン
ツ５０の時間帯が、検索結果Ｓｂとして得られる。

【００４４】また、図９に示すように、上記の検索結果
Ｓｂを利用し、他メディアの検索を行っても良い。ここ
では、サーバ３の固定記憶部内のインデックスファイル
５５Ｐに対して検索結果との類似検索を行うことによ
り、コンテンツＤＢ３１Ｐ内の他のコンテンツにおいて
対応する時間帯を検出できることとなる。

【００４５】図１０は、検索結果を反映したコンテンツ
の加工処理を説明する図である。

【００４６】検索結果Ｓｂから、対象となるストリーミ
ングコンテンツ５０の時間帯、すなわち、時間軸情報Ａ
(始点)と時間軸情報Ｂ(終点)との時間の幅を取得する処
理Ｓｃが行われる。

【００４７】次に、タイムコード上の始点から終点ま
で、ストリーミングコンテンツ５０を切り出し加工する
処理Ｓｄが行われ、ストリーミングコンテンツ５０の一
部(例えば３分間)の情報であるコンテンツファイル５５
ｆが抽出されることとなる。

【００４８】図１１は、プレビューファイルの生成を説
明する図である。

【００４９】コンテンツファイル５５ｆが切り出された
後、このファイル５５ｆからプレビューファイル５６を
生成するプレビュー作成処理Ｓｅが行われる。このプレ
ビューファイル５６は、コンテンツファイル５５ｆの代
表的な場面、音響を抽出するもので、映像コンテンツの
場合には、例えば先頭の１画像が、音響コンテンツの場
合には、例えばイントロ部分などがプレビューとして抽
出されることとなる。

【００５０】次に、このプレビューファイル５６を、端
末４における性能情報を考慮して、端末４で実行可能な
形式にフォーマット変換Ｓｆし、フォーマット変換後の
プレビューファイル５６ｋを生成する。

【００５１】図１２は、切出されたストリーミングコン
テンツ５５の配信を説明する図である。

【００５２】サーバ３は、変換後のプレビューファイル
５６ｋを、送出ゲート３３から通信網９を介して端末４
に配信する。端末４において、配信された変換後のプレ
ビューファイル５６ｋをユーザが確認して所望のコンテ
ンツであるか否かを判断する。

【００５３】そして、プレビューファイル５６ｋでＯＫ
であれば、切出されたコンテンツファイル５５ｆのフォ
ーマット変換Ｓｆを行い、フォーマット変換後のコンテ
ンツファイル５５ｋが生成される。この変換後のコンテ
ンツファイル５５ｋが、送出ゲート３３から通信網９を
介して本配信され端末４に届けられる。

【００５４】以上のコンテンツ検索システム１の動作に
より、ユーザが指定する特定のキーワードに対応するス
トリーミングコンテンツの一部の情報を抽出でき、コン
テンツ検索においてユーザの利便性が向上する。

【００５５】また、コンテンツと別ファイルとなるイン
デックスファイルを利用することにより、検索されたコ
ンテンツの再生は、所望の時間帯のみ再生処理されるの
で、再生プロセスを簡略化できるとともに、抽出された
コンテンツを他形式に変換（コンバート）する処理が容
易となる。

【００５６】＜変形例＞上記の実施形態におけるインデ
ックス処理については、図５に示すように格納したコン
テンツファイルに基づき、インデックス処理を行うのは
必須でなく、図１３に示すように、生のストリーミング
情報源から、インデクシング処理部２１Ａによってコン
テンツファイルとインデックスファイルとを同時に生成
するようにしても良い。

【００５７】上記の実施形態におけるコンテンツ検索に
ついては、図１４に示すように、異なるストリーミング
コンテンツ同士から生成されるインデックスファイル５
５Ａ、５５Ｂを対比させて、キーワードの一致検索など
を行い、時間軸同期をとっても良い。これにより、音響
コンテンツにおける特定の時間帯と、これに対応する映
像コンテンツの時間帯を合成することなどが可能とな
る。

【００５８】上記の実施形態については、サーバと通信
可能な端末からキーワードを入力するのは必須でなく、
サーバにおけるコンソール３９からキーワードを入力し
ても良い。

【００５９】上記の実施形態のコンテンツ配信について
は、キーワードに対応する部分をコンテンツから切出し
て配信するのは必須でなく、コンテンツ全体をそのまま
配信しても良い。

【００６０】上記の実施形態については、名詞のみをキ
ーワードとして入力するのは必須でなく、例えば「赤い
山」、「大きいサクラ」などの形容詞的表現を追加して
も良い。ここでは、数値的表現を条件として、上記「赤
い」の場合には、パーソナルコンピュータにおけるカラ
ーパレットの番号、光の波長などに基づき判定すること
となる。また、上記「大きい」の場合には、画面全体に
占める割合が、例えば５０％以上であるかを判定するこ
ととなる。

【００６１】上記の実施形態のインデクシング処理にお
いては、コンテンツのタイムコード上にイベントとその
発生時刻などの情報が既に埋め込まれている場合(図３
(ａ)参照)には、この情報を抽出しインデクッスファイ
ルを生成するようにしても良い。

【００６２】

【発明の効果】以上説明したように、請求項１ないし請
求項６の発明によれば、コンテンツに係る言語的な付加
情報と、付加情報に関連する前記コンテンツの時間帯情
報とを対応付けた索引情報を生成するため、索引情報を
利用すればコンテンツ検索の利便性が向上する。

【００６３】特に、請求項２の発明においては、索引情
報がコンテンツを別ファイルとして生成するため、コン
テンツの再生を伴うことなく検索を行える。

【００６４】また、請求項３の発明においては、付加情
報に関連付けらたコンテンツ要素に対応するコンテンツ
の時間帯を検出し、時間帯情報を生成するため、索引情
報を簡易に作成できる。

【００６５】また、請求項４の発明においては、入力さ
れた検索情報と付加情報とが関連する場合には、索引情
報におけるコンテンツの時間帯情報に基づきコンテンツ
の一部の情報を抽出するため、所望のコンテンツの部分
のみを取出すことができる。

【００６６】また、請求項５の発明においては、コンテ
ンツの一部の情報に基づきプレビュー情報を生成するた
め、コンテンツの確認が容易となる。

【図面の簡単な説明】

【図１】本発明の実施形態に係るコンテンツ検索システ
ム１の構成を示す概要図である。

【図２】コンテンツ検索システム１の構成を示すブロッ
ク図である。

【図３】ストリーミングコンテンツ５について説明する
図である。

【図４】インデックスファイル５５を説明するための図
である。

【図５】インデクシング処理部２１の動作を説明するた
めの図である。

【図６】音声認識処理の例を示す図である。

【図７】インデックスファイル５５と語彙データベース
との関連付けを説明する図である。

【図８】テキスト入力によるコンテンツの検索方法を説
明するための図である。

【図９】他のコンテンツの検索方法を説明するための図
である。

【図１０】検索結果を反映したコンテンツの加工処理を
説明する図である。

【図１１】プレビューファイルの生成を説明する図であ
る。

【図１２】切出されたストリーミングコンテンツ５５の
配信を説明する図である。

【図１３】本発明の変形例に係るインデクシング処理を
説明するための図である。

【図１４】本発明の変形例に係るコンテンツ検索を説明
するための図である。

【符号の説明】

１ コンテンツ検索システム ２ コンテンツ入力装置 ３ サーバ ４ 端末 ２１ インデクシング処理部 ２１ａ 画像認識処理部 ２１ｂ 音声認識処理部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５５１Ｇ 15/20 3/02 ３０１Ａ 21/02

Claims (6)

【特許請求の範囲】
1. 【請求項１】 コンテンツ入力装置と、コンテンツ管理
   装置とを含む情報処理要素群が相互にデータ伝送可能に
   結合されたコンテンツ検索システムであって、 前記情報処理要素群が、 時間情報を有するコンテンツを格納する格納手段と、 前記コンテンツに係る言語的な付加情報と、前記付加情
   報に関連する前記コンテンツの時間帯情報とを対応付け
   た索引情報を生成する索引生成手段と、を備えることを
   特徴とするコンテンツ検索システム。
2. 【請求項２】 請求項１に記載のコンテンツ検索システ
   ムにおいて、 前記索引生成手段は、前記索引情報を、前記コンテンツ
   と別ファイルとして生成することを特徴とするコンテン
   ツ検索システム。
3. 【請求項３】 請求項１または請求項２に記載のコンテ
   ンツ検索システムにおいて、 前記索引生成手段は、 前記付加情報に関連付けらたコンテンツ要素を入力する
   手段と、 前記コンテンツ要素に対応する前記コンテンツの時間帯
   を検出し、前記時間帯情報を生成する手段と、を有する
   ことを特徴とするコンテンツ検索システム。
4. 【請求項４】 請求項１ないし請求項３のいずれかに記
   載のコンテンツ検索システムにおいて、 前記情報処理要素群が、 言語的な検索情報を入力する入力手段と、 前記入力手段で入力された検索情報と前記付加情報とが
   関連する場合には、前記索引情報における前記コンテン
   ツの時間帯情報に基づき、前記コンテンツの一部の情報
   を抽出する抽出手段と、をさらに備えることを特徴とす
   るコンテンツ検索システム。
5. 【請求項５】 請求項４に記載のコンテンツ検索システ
   ムにおいて、 前記抽出手段は、 前記コンテンツの一部の情報に基づき、プレビュー情報
   を生成する手段、を有することを特徴とするコンテンツ
   検索システム。
6. 【請求項６】 時間情報を有するコンテンツを検索する
   コンテンツ検索方法であって、 前記コンテンツを格納する格納工程と、 前記コンテンツに係る言語的な付加情報と、前記付加情
   報に関連する前記コンテンツの時間帯情報とを対応付け
   た索引情報を、前記コンテンツと別ファイルとして生成
   する索引生成工程と、 言語的な検索情報を入力する入力工程と、 前記入力手段で入力された検索情報と前記付加情報とが
   関連する場合には、前記索引情報における前記コンテン
   ツの時間帯情報に基づき、前記コンテンツの一部の情報
   を抽出する抽出工程と、を備えることを特徴とするコン
   テンツ検索方法。