JP2002132775A - 検索情報生成装置 - Google Patents

Abstract

(57)【要約】 【課題】 検索情報全体を解釈することなく、特定の検
索情報要素にシークすることが可能な検索情報を生成す
る検索情報生成装置を提供する。 【解決手段】 マルチメディアコンテンツに対応する木
構造を有した検索情報に対して、該検索情報を構成する
各検索情報要素の情報長を固定長とするか可変長とする
かを指定する制御部１０１と、前記検索情報要素の情報
長が固定長であるか可変長であるかの識別情報を、前記
マルチメディアコンテンツの検索情報に付加する識別情
報付加部１０２と、前記検索情報要素の情報長を固定長
とするよう指定された場合に、前記検索情報要素の情報
長を固定長とする検索情報長調整部１０３とを備えたも
のである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル動画像
等のマルチメディアコンテンツを検索するための木構造
を有した検索情報を記憶または伝送するための装置に関
し、より詳細には、効率的な記憶または伝送が可能な検
索情報を生成する検索情報生成装置に関するものであ
る。

【０００２】

【従来の技術】ディジタル動画像等のマルチメディアコ
ンテンツは、コンテンツ内のあらゆる時間的あるいは空
間（画面）的な箇所が検索の対象となり得る。このた
め、厳密に検索を実行するためには、コンテンツ全体を
再生して細部まで確認する必要がある。しかしながら、
そのような検索方法はおよそ効率的ではなく、検索対象
となるマルチメディアコンテンツの数が増えると更に現
実的ではない。

【０００３】このような場合に、ユーザが所望のコンテ
ンツあるいはコンテンツ内の所望の箇所を素早く、効率
的に探し出すための方法として、コンテンツに対応した
検索用の付加情報＝検索情報（検索用メタデータとも呼
ばれる）を用意し、この検索情報に基づいて検索を実行
して、所望のコンテンツあるいはコンテンツ内の所望の
箇所を得る方法が、従来から各種提案されている。

【０００４】図９乃至図１１は動画像コンテンツに付加
される検索情報の例を示している。尚、図９は一般的な
動画像コンテンツの構造を模式化して表したものであ
る。このような構造は、特開平10-108071号公報や特開
平10-257436号公報等でも開示されており、広く知られ
たものである。

【０００５】図９に示すように、１つの動画像全体は、
時間的に幾つかのシーンに分割される。ここで言うシー
ンとは、主に意味的なまとまりから成る時間的な区切り
を指し、映画の第1部、第２部のような大きい区切りか
ら、「AとBがけんかをする」シーンといったごく小さな
区切りまでを含む。このため、実際の動画像全体からシ
ーンへの分割は、図９に示したような１段階の分割に限
るものではなく、複数の階層にわたって次第に細分化さ
れるものである。

【０００６】１つのシーンは更に、時間的に幾つかのシ
ョット（あるいは更に細かいシーン）に分割される。こ
こで言うショットとは、１回の動作で撮影された連続す
るフレーム画像から構成される時間的な１区切りであ
り、動画像中においては２つの編集点（カット点）で挟
まれた区切りを指す。

【０００７】ショットは一種のシーンであり、ショット
を更に細かいショット（サブショット）に分割すること
も可能である。また、図示はしていないが、ショットは
最終的に１つ１つのフレーム画像にまで分割することが
可能である。

【０００８】このように、動画像コンテンツは、全体か
ら部分、更に細かい部分へと細分化されていく階層的な
構造を持つ。そして、各階層毎に対応した検索情報が付
される。

【０００９】図１０は図９の動画像コンテンツに対する
検索情報を表したものである。動画像コンテンツの検索
情報は、図１０に示すような木構造で表され、根（ルー
ト）が動画像全体を表し、各節（ノード）が分割された
各シーンあるいはショットを表す。

【００１０】各節（ノード）には、連結された葉（リー
フ）として、動画像コンテンツ全体に対するタイトル、
製作者情報、シーンに対する開始／終了時刻情報、情景
描写、代表色、ショット（あるいはその代表フレーム画
像）に対する登場人物、色頻度情報、動き強度情報等が
与えられる。

【００１１】図１１は図１０に示された木構造から成る
検索情報を記録する際の記録形式を示したものである。
図１１に示されるように、図１０の木構造から成る検索
情報は、木を左端（時間的に前）の根、節、葉から順に
手繰る順に記録される。

【００１２】図９乃至図１１では、最上位層（木の根）
を１つの動画像コンテンツ全体としているが、これは１
つの動画像コンテンツに限らず、複数の動画像の集合と
して考えることも可能である。

【００１３】例えば、最上位層を１つのチャンネルで一
日に放送される映像番組全体とする。１つのチャンネル
で一日に放送される映像番組全体は、次の階層で１つ１
つの番組、即ち各々の動画像コンテンツに分割される。
更に各動画像コンテンツは複数のシーンに分割され、シ
ーンは複数のショットへと分割される。

【００１４】木構造を有するマルチメディアコンテンツ
の検索情報では、コンテンツの持つ時間的な構造を、各
種の検索情報と結び付けてユーザに理解し易い形で提供
することができる。そのため、検索情報に基づいてユー
ザが視認を行いながらコンテンツを編集する、あるいは
検索情報そのものを編集する、等の作業に非常に適して
いる。但し、コンテンツのサイズが大きくなると検索情
報を表す木のサイズも膨大なものとなる。

【００１５】尚、本願明細書では、タイトル、行動描写
情報、色頻度情報、動き強度情報等の各検索情報を、
「検索情報要素」と呼称する。

【００１６】

【発明が解決しようとする課題】上述した従来の木構造
を有するマルチメディアコンテンツの検索情報の検索情
報要素には、代表色、色頻度情報、動き強度情報といっ
た予め決められたフォーマットで与えられるものと、タ
イトル、情景描写、登場人物、行動描写といった長さが
不定のフリーテキストで与えられるものがある。

【００１７】従来の検索情報記録方式では、これら２種
類の検索情報が入り組んだ形で記録されているため、特
定の検索情報要素を抜き出す場合においても、検索情報
全体を解析する必要があった。

【００１８】すなわち、予めフォーマットの定まった検
索情報はデータサイズが固定であるために、シークして
効率的に探すことが可能であっても、フリーテキスト等
で表されたデータサイズ不定の情報が混在する場合は、
盲目的にシークすることができず、検索時に検索情報の
全体を解釈する必要がある。このため、検索者の負担が
大きくなるという問題があった。

【００１９】本発明は、上記課題に鑑みてなされたもの
であり、検索情報全体を解釈することなく、特定の検索
情報要素にシークすることが可能な検索情報を生成する
検索情報生成装置を提供するものである。

【００２０】

【課題を解決するための手段】本願の第１の発明は、マ
ルチメディアコンテンツに対応する木構造を有した検索
情報に対して、該検索情報を構成する各検索情報要素の
情報長を固定長とするか可変長とするかを指定する制御
手段と、前記制御手段により前記検索情報要素の情報長
を固定長とするよう指定された場合に、前記検索情報要
素の情報長を固定長とする検索情報長調整手段とを備え
たことを特徴とする。

【００２１】本願の第２の発明は、さらに、前記検索情
報要素の情報長が固定長であるか可変長であるかの識別
情報を、前記マルチメディアコンテンツの検索情報に付
加する識別情報付加手段を備えたことを特徴とする。

【００２２】本願の第３の発明は、さらに、前記検索情
報要素の種別を解析する検索情報解析手段を備えたこと
を特徴とする。

【００２３】本願の第４の発明は、前記検索情報長調整
手段が、前記検索情報要素に所定のデータを付加して固
定の長さとなるようにすることを特徴とする。

【００２４】本願の第５の発明は、前記所定のデータ
を、予め定められたダミーデータとしたことを特徴とす
る。

【００２５】本願の第６の発明は、前記所定のデータ
を、任意に定められるユーザデータとしたことを特徴と
する。

【００２６】

【発明の実施の形態】以下、本発明の第１の実施形態
を、図１乃至図４とともに詳細に説明する。

【００２７】図１は本実施形態の検索情報生成装置にお
ける概略構成を示す機能プロック図である。本装置は、
制御部１０１、識別情報付加部１０２、検索情報長調整
部１０３を備えている。

【００２８】制御部１０１では、識別情報付加部１０２
に順次入力されるマルチメディアコンテンツの検索情報
要素に対して、その情報長を固定長とするか可変長とす
るかを指定する制御情報を生成し、識別情報付加部１０
２、および検索情報長調整部１０３に出力する。

【００２９】これは、アプリケーションによっては、可
変長を用いる場合もあるため、その切替えを可能にする
ためのものである。

【００３０】識別情報付加部１０２では、制御部１０１
で指定された固定長／可変長の制御情報に従って、順次
入力されるマルチメディアコンテンツの検索情報要素の
先頭に、固定長または可変長であることを識別するため
の情報を付加し出力する。

【００３１】固定長／可変長を識別するための情報に
は、例えば、固定長の場合は“０”、可変長の場合は
“１”とするような１ビットのフラグを用いることがで
きる。

【００３２】また、検索情報要素のすべてに対して、あ
るいは特定の検索情報要素の全てに対して、固定長ある
いは可変長のどちらかにすることを前提としているよう
な場合では、検索情報要素の全てあるいは特定の検索情
報要素の全てについて、固定長／可変長識別情報の付加
を省略してもよい。

【００３３】検索情報長調整部１０３では、識別情報の
付加された検索情報要素、および固定長にするか可変長
にするかの制御情報が入力される。制御情報が検索情報
要素を固定長とすることを示している場合には、ダミー
データを付加することにより、検索情報要素が予め定め
られた固定の長さとなるように調整して、出力する。

【００３４】また、制御情報が可変長とすることを示し
ている場合には、入力された識別情報の付加された検索
情報要素をそのまま出力する。出力された検索情報要素
は、伝送あるいは蓄積され、さまざまな検索に利用され
る。

【００３５】ここでは、固定の長さへの調整方法とし
て、調整する固定の長さが予め定められた長さとなるよ
うに、ダミーデータを付加するとしたが、制御部１０１
にて更に、検索情報要素の種別毎に固定の長さ（語長）
を指定し、各種別の検索情報要素が対応する語長で指定
された長さとなるように、ダミーデータを付加するよう
にしても良い。この場合には、識別情報付加部１０２で
は、固定の長さ（語長）を示す情報も合わせて付加す
る。

【００３６】図２は図１で示された検索情報生成装置に
より出力された検索情報要素を示す説明図である。図２
(a)は制御部１０１で固定長を指定し、予め定められた
固定の長さとなるように、ダミーデータを付加した場合
である。

【００３７】図２(b)は制御部１０１で固定長及びその
長さを指定し、指定された固定の長さに従ってダミーデ
ータを付加した場合である。図２(c)は制御部１０１で
可変長を指定した場合であり、ダミーデータは付加され
ない。

【００３８】図３はある動画像シーケンスに対応した検
索情報のツリー構造を示す説明図である。ここでは説明
のため、シーケンスは３つのシーン（シーン＃１、シー
ン＃２、シーン＃３）に分割され、さらにそれぞれのシ
ーンは、２つのショット（ショット＃１−１、ショット
＃１−２；ショット＃２−１、ショット＃２−２；ショ
ット＃３−１、ショット＃３−２の計６ショット）に分
割されているものとする。

【００３９】各シーンは、検索情報要素として、フリー
テキスト形式で表された“シーンタイトル”を持ち、各
ショットは、検索情報要素として、フリーテキスト形式
で表された“行動描写”情報を持つものとする。

【００４０】上述の検索情報生成装置を、図３のツリー
構造で表された検索情報に適用した場合、長さが不定
（フリーテキスト）である検索情報要素（シーンタイト
ル＃１、＃２、＃３；行動描写＃１−１、＃１−２、＃
２−１、＃２−２、＃３−１、＃３−２）に対して、固
定長／可変長の識別情報、及び固定長である場合には、
固定の長さとするためのダミーデータを付加する。

【００４１】図４は各検索情報要素を固定長とする場合
の、固定長／可変長識別情報、及びダミーデータを付加
した検索情報を示している。図４において、４０１〜４
０９は、固定長であることを識別するためのフラグであ
り、４１０〜４１７は、各検索情報要素を予め定められ
た固定長とするために付加されたダミーデータである。

【００４２】また、ここでは、木構造の葉（リーフ）の
部分のみを示したが、木構造の節（ノード）あるいは根
（ルート）部分については、例えば各節（ノード）、根
（ルート）にＩＤ番号を設けるなどして、区別すること
が出来る。

【００４３】このように、各検索情報要素の長さを固定
長にし、その長さを明らかにすることによって、検索情
報全体を解釈することなく特定の検索情報要素にシーク
することが可能となる。

【００４４】次に、本発明の第２の実施形態について、
図５を参照して説明するが、上記第１の実施形態と同一
部分には同一符号を付し、その説明は省略する。

【００４５】図５は、本実施形態の検索情報生成装置に
おける概略構成を示す機能ブロック図である。本装置
は、制御部１０１、識別情報付加部１０２、検索情報長
調整部５０３、付加情報生成部５０４を備えている。

【００４６】検索情報長調整部５０３では、制御部１０
１で固定長が指定された場合、ダミーデータを付加する
のではなく、付加情報生成部５０４で生成された情報
（ユーザデータ）を付加することが、第１の実施形態と
は異なる点である。

【００４７】付加情報生成部５０４では、例えば、検索
情報のツリー構造における関連する節（ノード）へのリ
ンク情報、あるいはコンテンツデータの一部等のデータ
が生成され、検索情報長調整部５０３にユーザデータと
して入力される。

【００４８】ここで、節（ノード）へのリンク情報付加
の例としては、各節（ノード）にＩＤ番号を設け、関連
する節（ノード）のＩＤ番号を付加データとして挿入す
る方法があげられる。

【００４９】図３において、シーン＃１、シーン＃２、
シーン＃３のＩＤ番号を、それぞれＩＤ＃１、ＩＤ＃
２、ＩＤ＃３とし、ショット＃１−１、ショット＃１−
２、ショット＃２−１、ショット＃２−２、ショット＃
３−１、ショット＃３−２のＩＤ番号を、それぞれＩＤ
＃１−１、ＩＤ＃１−２、ＩＤ＃２−１、ＩＤ＃２−
２、ＩＤ＃３−１、ＩＤ＃３−２とする。

【００５０】例えば、ショット＃３−２の行動描写情報
が、ショット＃１−１と関連がある場合、ショット＃３
−２の行動描写情報の後に位置する付加部分（図４の４
１７）に、ショット＃１−１のＩＤ番号であるＩＤ＃１
−１を付加する。

【００５１】また、ＩＤ番号の代わりに、関連する節
（ノード）へのデータストリーム上でのオフセット値を
記述しても良い。また、コンテンツデータの一部を付加
する場合等で、付加情報生成部５０４で生成されたユー
ザデータがダミーデータ領域におさまらないような場
合、複数のダミーデータ領域を利用して、１つのユーザ
データを分散する形で挿入しても良い。

【００５２】この場合、各ユーザデータ領域の末尾に、
ユーザデータが終了したか否かを示すフラグや、ユーザ
データ領域の先頭に、新規のユーザデータであるか否か
を示すフラグを付加する必要がある。また、複数のダミ
ーデータ領域の全てあるいは一部を利用して、ウォータ
ーマーク等の著作権保護機能を組み込んだ構成としても
良い。

【００５３】このように、ダミーデータの代わりに意味
をもったユーザデータを付加することにより、検索情報
資源を有効活用することができるとともに、各検索情報
要素の長さを固定長にし、その長さを明らかにすること
によって、検索情報全体を解釈することなく特定の検索
情報要素にシークすることが可能となる。

【００５４】次に、本発明の第３の実施形態について、
図６乃至図８を参照して説明するが、上記第１の実施形
態と同一部分には同一符号を付し、その説明は省略す
る。説明する。

【００５５】図６は本実施形態の検索情報生成装置にお
ける概略構成を示す機能ブロック図である。本装置は、
制御部１０１、識別情報付加部１０２、検索情報長調整
部１０３、検索情報解析部６０４を備えている。

【００５６】一般に、検索情報要素には、これまでに挙
げてきたような長さが不定のフリーテキストで記述され
るものと、予め決められたフォーマットに従って記述さ
れるものがある。

【００５７】前者は、“タイトル”、“行動描写”など
であり、後者は、“色頻度”情報、“動き強度”情報な
どである。例えば、色頻度情報の場合では、色空間を予
め定められた特定数の区間に区切り各区間のサンプル数
を固定のビット数で表現した、固定のフォーマットで与
えられる。

【００５８】検索情報解析部６０４では、上述の２種類
の検索情報種別の判定を行い、前者（長さが不定のフリ
ーテキスト）である場合には、識別情報付加部１０２に
送られ、上記第１の実施形態と同様に、固定長／可変長
を示す識別情報を付加するとともに、検索情報長調整部
１０３に送られ、固定長とするためのダミーデータ等が
付加される。

【００５９】後者（予め決められたフォーマット）であ
る場合には、特にデータは付加されずに、そのまま伝送
／蓄積される。

【００６０】図７はある動画像シーケンスに対応した検
索情報のツリー構造を示した説明図である。ここでは説
明のため、シーケンスは３つのシーン（シーン＃１、シ
ーン＃２、シーン＃３）に分割され、さらにそれぞれの
シーンは、２つのショット（ショット＃１−１、ショッ
ト＃１−２；ショット＃２−１、ショット＃２−２；シ
ョット＃３−１、ショット＃３−２の計６ショット）に
分割されている。

【００６１】各シーンは、検索情報要素として、フリー
テキスト形式で表された“シーンタイトル”を持ち、各
ショットは、検索情報要素として、フリーテキスト形式
で表された“行動描写”情報と、予め決められたフォー
マットで記述された“色頻度”情報を持っているものと
する。

【００６２】上述の検索情報生成装置を、図７のツリー
構造で表された検索情報に適用した場合、“シーンタイ
トル”、及び“行動描写”情報は、検索情報解析部６０
４において、検索情報種別が前者（長さ不定のフリーテ
キスト）と判別され、識別情報付加部１０２に送られ
る。

【００６３】また、“色頻度”情報は、検索情報解析部
６０４において、検索情報種別が後者（予め決められた
フォーマット）と判別され、そのまま伝送／蓄積され
る。

【００６４】図８はフリーテキストで表された検索情報
要素を固定長とする場合の、検索情報を示している。図
８において、８０１〜８０９は固定長であることを識別
するためのフラグであり、８１０〜８１７は各検索情報
要素を予め定められた固定長とするために付加されたダ
ミーデータである。尚、ダミーデータではなく、上記第
２の実施形態で用いたようなユーザデータを付加しても
良い。

【００６５】このように、検索情報要素の種別に応じて
切替えることによって、効率の良い検索情報の生成が可
能となるとともに、検索情報全体を解釈することなく特
定の検索情報要素にシークすることが可能となる。

【００６６】尚、上記第１〜第３の実施形態において
は、各検索情報要素毎に識別情報を付加する構成とした
が、例えば、シーンタイトル＃１〜＃３、あるいは行動
描写情報＃１−１〜＃３−２等、検索情報要素種別毎に
まとめて伝送する場合などでは、各検索情報要素毎に識
別情報を付加するのではなく、種別毎にまとめた検索情
報要素群の先頭に１つのみ識別情報を付加する構成とし
ても良い。

【００６７】

【発明の効果】本発明の検索情報生成装置によれば、予
め決められたフォーマットで記述された検索情報要素
と、長さが不定のフリーテキストで記述された検索情報
要素が入り組んだ検索情報においても、固定長か可変長
かの識別情報を付加することにより、その検索情報要素
が、固定長か可変長かを前もって把握することができ
る。

【００６８】さらに、各検索情報要素の長さをダミーデ
ータを付加することにより固定長にし、その長さを明ら
かにすることにより、検索者は、検索情報全体を解釈す
ることなく、特定の検索情報要素にシークすることが可
能となる。

【００６９】また、検索情報要素に意味をもったユーザ
データを付加し、固定長に調整することにより、検索情
報資源を有効活用することができるとともに、検索情報
全体を解釈することなく、特定の検索情報要素にシーク
することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における概略構成を示
す機能ブロック図である。

【図２】本発明の第１の実施形態における動作を示す説
明図である。

【図３】本発明の第１の実施形態で用いる木構造で表さ
れた検索情報を示す説明図である。

【図４】本発明の第１の実施形態により生成される各検
索情報要素を示す説明図である。

【図５】本発明の第２の実施形態における概略構成を示
す機能ブロック図である。

【図６】本発明の第３の実施形態における概略構成を示
す機能ブロック図である。

【図７】本発明の第３の実施形態で用いる木構造で表さ
れた検索情報を示す説明図である。

【図８】本発明の第３の実施形態により生成される各検
索情報要素を示す説明図である。

【図９】動画像コンテンツの一般的な構造を説明するた
めの説明図である。

【図１０】図９の動画像コンテンツに付される検索情報
を木構造で表した説明図である。

【図１１】図９の動画像コンテンツの検索情報を説明す
るための説明図である。

【符号の説明】

１０１ 制御部 １０２ 識別情報付加部 １０３ 検索情報長調整部 ４０１〜４０９ 固定長／可変長識別情報 ４１０〜４１７ ダミーデータ ５０３ 検索情報長調整部 ５０４ 付加情報生成部 ６０４ 検索情報解析部 ８０１〜８０９ 固定長／可変長識別情報 ８１０〜８１７ ダミーデータ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 浩行 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B075 ND16 NK21 NK43 NR05

Claims (6)

【特許請求の範囲】
1. 【請求項１】 マルチメディアコンテンツに対応する木
   構造を有した検索情報に対して、該検索情報を構成する
   各検索情報要素の情報長を固定長とするか可変長とする
   かを指定する制御手段と、 前記制御手段により前記検索情報要素の情報長を固定長
   とするよう指定された場合に、前記検索情報要素の情報
   長を固定長とする検索情報長調整手段とを備えたことを
   特徴とする検索情報生成装置。
2. 【請求項２】 前記請求項１に記載の検索情報生成装置
   において、 さらに、前記検索情報要素の情報長が固定長であるか可
   変長であるかの識別情報を、前記マルチメディアコンテ
   ンツの検索情報に付加する識別情報付加手段を備えたこ
   とを特徴とする検索情報生成装置。
3. 【請求項３】 前記請求項１または２に記載の検索情報
   生成装置において、 さらに、前記検索情報要素の種別を解析する検索情報解
   析手段を備えたことを特徴とする検索情報生成装置。
4. 【請求項４】 前記請求項１乃至３のいずれかに記載の
   検索情報生成装置において、 前記検索情報長調整手段は、前記検索情報要素に所定の
   データを付加して固定の長さとなるようにすることを特
   徴とする検索情報生成装置。
5. 【請求項５】 前記請求項４に記載の検索情報生成装置
   において、 前記所定のデータは、予め定められたダミーデータであ
   ることを特徴とする検索情報生成装置。
6. 【請求項６】 前記請求項４に記載の検索情報生成装置
   において、 前記所定のデータは、任意に定められるユーザデータで
   あることを特徴とする検索情報生成装置。