JP2003323452A

JP2003323452A - データ識別方法及び装置及びデータ識別プログラム及びデータ識別プログラムを格納した記憶媒体

Info

Publication number: JP2003323452A
Application number: JP2002130746A
Authority: JP
Inventors: Masashi Morimoto; 正志森本; Haruhiko Kojima; 治彦児島; Hidekatsu Kuwano; 秀豪桑野; Masakatsu Aoki; 政勝青木; Kazu Miyagawa; 和宮川; Akihisa Kobayashi; 昭久小林; Kazuo Yamada; 一穂山田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-05-02
Filing date: 2002-05-02
Publication date: 2003-11-14
Anticipated expiration: 2022-05-02
Also published as: JP4010179B2

Abstract

(57)【要約】【課題】識別・検索のためのデータ量を抑えつつ、特
徴量抽出誤りや特徴量誤差に起因する識別性能低下を防
ぐ。【解決手段】本発明は、利用者が識別を要求する時間
長を有するデータに対し、ある特徴が存在する時間位置
のシーケンスからなるデータの構造情報Ｘを取得し、構
造情報データベースに格納し、構造情報データベースか
ら構造情報Ｙｉを取得し、構造情報Ｘ及び構造情報Ｙｉ
をシーケンス照合することで、両シーケンス照合区間に
おける一致項目数Ｍｉ及び不一致項目数Ｕｉを算出し、
Ｍｉ及びＵｉにより構造情報Ｘに対する構造情報Ｙｉの
類似性を判定し、類似している構造情報の識別子ｉを識
別結果として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ識別方法及
び装置及びデータ識別プログラム及びデータ識別プログ
ラムを格納した記憶媒体に係り、特に、映像や音楽コン
テンツなどのように表示・再生処理における時間長を有
するデータに係り、そのようなデータを蓄積したデータ
ベースから提示データに対する類似データを識別・検索
するためのデータ識別方法及び装置及びデータ識別プロ
グラム及びデータ識別プログラムを格納した記憶媒体に
関する。

【０００２】

【従来の技術】映像や音楽コンテンツなどのように、表
示・再生処理における時間長を有するデータは、その性
質上瞬時に内容を確認することが難しい。そこで、その
内容を表す各種関連情報を付与することで、その識別性
能を向上させることができる。予めデータベースに蓄積
されたこのようなデータに対する識別・検索処理は、一
般的にはこれらの関連情報を対象とするキーワード検索
により実現することができる。以下では、映像コンテン
ツをこのようなデータの代表例として記すことにする。

【０００３】映像コンテンツ検索における問題点の一つ
に、上記の関連情報が必ずしも映像コンテンツを十分に
表現しているとは限らない点を挙げることができる。即
ち、あるオペレータにより付与されたキーワードは、必
ずしも利用ユーザが想起するキーワードと一致しないこ
とが起こり得るわけである。この問題を解決するための
一つの手法に、キーワードではなく映像コンテンツが保
有する、もしくは、保有すると想定される特徴量を提示
することで検索を行う、類似映像検索がある。この場合
は、オペレータやユーザによる主観が入らないため、常
に同じ検索処理が期待される。しかし、その一方で、ど
のような特徴量を用いるか、検索時にユーザはその特徴
量をどのように求め、提示するのか、どのように照合を
行うのかなどの技術課題が発生する。

【０００４】以下、従来の類似映像検索について説明す
る。

【０００５】類似映像検索の一例として、ユーザが特徴
量を直接指示する手法がある。例えば、「ビデオデータ
を対象とする異種検索方式の統合システム」（第１０回
データ工学ワークショップ、１９９９）では、フレーム
内の色の分布と移動方向を特徴量として抽出する一方、
ユーザはそれらを直接指示することによって映像を検索
する。しかしこの手法は、ユーザがあまり複雑な特徴量
やその変化を指示できないという問題がある。

【０００６】そこで、別の手法として、映像自身（多く
は部分映像）もしくは、映像から抽出される特徴量をそ
のまま提示することによって検索する手法が考えられ
る。“Quick Audio Retrieval using Active Search ”
(ICASSP,1998) では、蓄積される映像に関して特徴量の
スペクトルを計算しておき、提示映像に対しても同様に
スペクトルヒストグラムを算出した後、図２６に示すよ
うに、その比較を行うことで検索を実行する。上記の手
法は、基本的に映像のフレーム毎に特徴量を抽出する。
従って、その特徴量照合は、高速化処理の有無はあると
しても、フレーム毎の特徴量シーケンスを逐一比較する
ことにより実現される。

【０００７】上記のようなフレーム単位の特徴量とは異
なり、映像コンテンツのショット長、もしくは、シーン
長を特徴量として用いた類似映像検索手法が提案されて
いる（特開平５−１７４０７２、特開平７−４６５１
７）。これらの方法では、映像シーンの切り替わり（一
般にカット点）で区切ることができる部分映像を１つの
ショットとして定義し、その時間長を特徴量とする方法
である。特徴量照合は、図２７に示すように、ショット
長のシーケンスをその項目毎に逐一比較することにより
実現される。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来の類似検索技術には、以下のような相補的な問題点が
ある。

【０００９】まず、最初の２例のようなフレーム毎の特
徴量を用いる手法では、総フレーム数に比例した特徴量
データ量を必要とする。従って、総フレーム数の増大に
伴い特徴量自身のデータ量が膨大になるという問題があ
る。一方、３つ目のショット長を用いる手法では、多数
のフレームがまとまって１つのショットを構成する。特
徴量はショット毎に抽出されるために、前者よりデータ
量の増加を抑えることができると考えられる。

【００１０】その一方で、ショット長のシーケンスを逐
一比較することにより照合を行う場合、図２８に示すよ
うに、カット点検出誤りが存在した場合、その誤りによ
り特徴量が大幅に変わってしまい、照合失敗となるとい
う問題がある。何らかの手段により比較処理を継続した
としても、その後のショット長比較対象の選択誤りにつ
ながる。即ち、誤り伝播を起こしてしまうという問題も
ある。なお、最初の２例の場合には、予め決められたフ
レーム毎の比較であるために、この問題が発生しない。
この問題を回避する手法として、例えば、比較処理をシ
ョット長のシーケンス順に行わず、ショット長の集合同
士を比較する手法を考えることができる。しかしその場
合、順序情報が失われるために（例えば、１０，２０，
３０と３０，１０，２０を区別できない）、識別性能が
低下する。また、照合失敗時点で次ショット長との加算
を行うなどの例外処理を行う手法も考えられるが、例外
処理停止のためのルールを導入する必要があり（例え
ば、３つ先までは加算可能など）、処理が複雑になる。

【００１１】また、いずれの従来技術においても、抽出
された特徴量そのものを比較対象、即ち、類似性の根拠
としている。従って、例えば、映像フォーマットや解像
度の変化に起因する特徴量変化の影響を受けやすいとい
う問題が存在する。

【００１２】本発明は、上記の点に鑑みなされたもの
で、識別・検索のためのデータ量を抑えつつ、特徴量抽
出誤りや特徴量誤差に起因する識別性能低下を防ぐこと
が可能なデータ識別方法及び装置及びデータ識別プログ
ラム及びデータ識別プログラムを格納した記憶媒体を提
供することを目的とする。

【００１３】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。

【００１４】本発明は、映像や音楽コンテンツなどのよ
うに表示・再生処理における時間長を有するデータを蓄
積したデータベースからユーザからの提示データに対す
る類似データを識別・検索するデータ識別方法におい
て、表示・再生処理における時間長を有するデータから
得られる、ある特徴が存在する時間位置のシーケンスか
らなる、該データの構造情報Ｘを取得する構造情報取得
手順（ステップ１）と、構造情報Ｘを、該構造情報の識
別子と共に構造情報データベースに格納する構造情報格
納手順（ステップ２）と、構造情報データベースから別
の構造情報Ｙｉを取得する検索手順（ステップ３）と、
構造情報Ｘ及び構造情報Ｙｉをシーケンス照合すること
で、両シーケンス照合区間における一致項目数Ｍｉ及び
不一致項目数Ｕｉを算出する構造情報照合手順（ステッ
プ４）と、構造情報照合手順から得られる一致項目数Ｍ
ｉ及び不一致項目数Ｕｉにより構造情報Ｘに対する構造
情報Ｙｉの類似性を判定する類似性判定手順（ステップ
５）と、類似している場合には、類似している構造情報
の識別子ｉを識別結果として出力する識別結果出力手順
（ステップ６）と、更に他の構造情報に対して識別処理
を行うかどうかを判定する識別判定手順（ステップ７）
とを有する。

【００１５】本発明のデータ識別方法は、構造情報照合
手順において、構造情報データベースから得られる構造
情報Ｙｉ中の時間位置シーケンスと、構造情報取得手順
から得られる構造情報Ｘ中の時間位置シーケンスから、
両者の開始時間位置のずれ（オフセット）の候補値集合
｛Ｏ｝を算出する手順と、各オフセットＯｊを、構造情
報Ｘの各シーケンス項目に加算することで、修正構造情
報Ｘｊを生成する手順と、各修正構造情報Ｘｊと、構造
情報Ｙｉを各々シーケンス照合することにより、両シー
ケンス照合区間における一致項目数Ｍｉｊ及び不一致項
目数Ｕｉｊを各々算出する手順と、を有し、類似性判定
手順において、全ての一致項目数Ｍｉｊ及び不一致項目
数Ｕｉｊから構造情報Ｙｉに最も類似している最類似修
正構造情報Ｘｊを判定する手順と、最類似修正構造情報
Ｘｊに対応する一致項目数及び不一致項目数を、Ｍｉ、
Ｕｉとして出力する手順と、を有する。

【００１６】本発明のデータ識別方法は、構造情報照合
手順において、入力される構造情報Ｘ，Ｙにおいて、照
合する可能性のある各時間区間を算出する時間区間算出
手順と、時間区間内で、構造情報Ｘ，Ｙを時間順に比較
することで得られる、シーケンス間での一致項目数の時
間変化を計測する一致項目数遷移計測手順と、時間区間
内で、構造情報Ｘ，Ｙを時間順に比較することで得られ
る、シーケンス間での不一致項目数の時間変化を計測す
る不一致項目数遷移計測手順と、一致項目数遷移計測手
順と不一致項目数遷移計測手順により得られる一致項目
数の時間変化及び不一致項目数の時間変化から、構造情
報Ｘ，Ｙ中で照合していると考えられる部分シーケンス
の開始・終了時間を判定する手順と、開始時間・終了時
間の範囲内における一致項目数及び不一致項目数を算出
する手順と、を有する。

【００１７】図２は、本発明の原理構成図である。

【００１８】本発明は、映像や音楽コンテンツなどのよ
うに表示・再生処理における時間長を有するデータを蓄
積したデータベースからユーザからの提示データに対す
る類似データを識別・検索するデータ識別装置１であっ
て、表示・再生処理における時間長を有するデータから
得られる、ある特徴が存在する時間位置のシーケンスか
らなる、該データの構造情報を取得する構造情報取得手
段１１と、構造情報取得手段１１で取得した構造情報Ｘ
を、該構造情報の識別子と共に格納する構造情報データ
ベース１２と、構造情報取得手段１１から得られる利用
者提示の構造情報Ｘを、構造情報データベースから得ら
れる構造情報Ｙｉとシーケンス照合することで、両シー
ケンス照合区間における一致項目数Ｍｉ及び不一致項目
数Ｕｉを算出する構造情報照合手段１３と、構造情報照
合手段１３から得られる一致項目数Ｍｉ及び不一致項目
数Ｕｉにより構造情報Ｘに対する構造情報Ｙｉの類似性
を判定し、類似している場合には、類似している構造情
報の識別子ｉを識別結果として出力する類似構造情報識
別手段１４と、を有する。

【００１９】本発明のデータ識別装置１の構造情報照合
手段１３は、構造情報データベース１２から得られる構
造情報Ｙｉ中の時間位置シーケンスと、構造情報取得手
段から得られる構造情報Ｘ中の時間位置シーケンスか
ら、両者の開始時間位置のずれ（オフセット）の候補値
集合｛Ｏ｝を算出するオフセット算出手段と、オフセッ
ト算出手段から得られる各オフセットＯｊを、構造情報
Ｘの各シーケンス項目に加算することで、開始時間位置
ずれを考慮した修正構造情報Ｘｊを生成する修正構造情
報生成手段と、修正構造情報生成手段から得られる各修
正構造情報Ｘｊと、構造情報データベース１２から得ら
れている構造情報Ｙｉを各々シーケンス照合することに
より、両シーケンス照合区間における一致項目数Ｍｉｊ
及び不一致項目数Ｕｉｊを各々算出する修正構造情報照
合手段と、を有し、修正構造情報照合手段から得られる
一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊにより構造情
報Ｙｉに対する修正構造情報Ｘｊの類似性を判定し、最
も類似している最類似修正構造情報Ｘｊに対応する一致
項目数及び不一致項目数を、その結果の項目数Ｍｉ、Ｕ
ｉとして出力する最適照合判定手段と、を有する。

【００２０】本発明のデータ識別装置１の構造情報照合
手段１３は、入力される構造情報Ｘ，Ｙにおいて、照合
する可能性のある各時間区間を算出するシーケンス照合
区間算出手段と、シーケンス照合区間算出手段から得ら
れる時間区間内で、構造情報Ｘ，Ｙを時間順に比較する
ことで得られる、シーケンス間での一致項目数の時間変
化を計測する一致項目数遷移計測手段と、シーケンス照
合区間算出手段から得られる時間区間内で、構造情報
Ｘ，Ｙを時間順に比較することで得られる、シーケンス
間での不一致項目数の時間変化を計測する不一致項目数
遷移計測手段と、一致項目数遷移計測手段と不一致項目
数遷移計測手段により得られる一致項目数の時間変化及
び不一致項目数の時間変化から、構造情報Ｘ，Ｙ中で照
合していると考えられる部分シーケンスの開始・終了時
間を判定する最適部分シーケンス判定手段と、最適部分
シーケンス判定手段から得られる開始時間・終了時間の
範囲内における一致項目数及び不一致項目数を算出する
一致・不一致項目数算出手段と、を有する。

【００２１】本発明は、映像や音楽コンテンツなどのよ
うに表示・再生処理における時間長を有するデータを蓄
積したデータベースからユーザからの提示データに対す
る類似データを識別・検索するデータ識別プログラムで
あって、表示・再生処理における時間長を有するデータ
から得られる、ある特徴が存在する時間位置のシーケン
スからなる、該データの構造情報Ｘを取得する構造情報
取得ステップと、構造情報Ｘを、該構造情報の識別子と
共に構造情報データベースに格納する構造情報格納ステ
ップと、構造情報取得ステップからの構造情報Ｘを、構
造情報データベースから得られる構造情報Ｙｉとシーケ
ンス照合することにより、両シーケンス照合区間におけ
る一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する構造
情報照合ステップと、構造情報照合ステップから得られ
る一致項目数Ｍｉ及び不一致項目数Ｕｉにより構造情報
Ｘに対する構造情報Ｙｉの類似性を判定し、類似してい
る場合にはその識別子ｉを識別結果として出力する類似
構造情報識別ステップと、をコンピュータに実現させ
る。

【００２２】本発明のデータ識別プログラムの構造情報
照合ステップは、構造情報データベースから得られる構
造情報Ｙｉ中の時間位置シーケンスと、構造情報取得ス
テップから得られる構造情報Ｘ中の時間位置シーケンス
から、両者の開始時間位置のずれ（オフセット）の候補
値集合｛Ｏ｝を算出するオフセット算出ステップと、オ
フセット算出ステップから得られる各オフセットＯｊ
を、構造情報Ｘの各シーケンス項目に加算することで、
修正構造情報Ｘｊを生成する修正構造情報生成ステップ
と、修正構造情報生成ステップから得られる各修正構造
情報Ｘｊと、構造情報Ｙｉを各々シーケンス照合するこ
とにより、両シーケンス照合区間における一致項目数Ｍ
ｉｊ及び不一致項目数Ｕｉｊを各々算出する修正構造情
報照合ステップと、修正構造情報照合ステップから得ら
れる全ての一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊに
より構造情報Ｙｉに対する修正構造情報Ｘｊの類似性を
判定し、最も類似している修正構造情報Ｘｊに対応する
一致項目数及び不一致項目数をその結果の項目数Ｍｉ、
Ｕｉとして出力する最適照合判定ステップと、をコンピ
ュータに実現させる。

【００２３】本発明のデータ識別プログラムの修正構造
情報照合ステップにおいて、入力される構造情報Ｘ，Ｙ
において、照合する可能性のある最小時間及び最大時間
を算出するシーケンス照合区間算出ステップと、シーケ
ンス照合区間算出ステップから得られる照合区間内で、
構造情報Ｘ，Ｙを時間順に比較することで得られる、シ
ーケンス間での一致項目数の時間変化を計測する一致項
目数遷移計測ステップと、シーケンス照合区間算出ステ
ップから得られる時間区間内で、構造情報Ｘ，Ｙを時間
順に比較することで得られる、シーケンス間での不一致
項目数の時間変化を計測する不一致項目数遷移計測ステ
ップと、一致項目数遷移計測ステップと不一致項目数遷
移計測ステップにより得られる一致項目数遷移情報及び
不一致項目数遷移情報から、構造情報Ｘ，Ｙ中で照合し
ていると考えられるシーケンス位置を判定する最適部分
シーケンス判定ステップと、最適部分シーケンス判定ス
テップから得られる開始時間・終了時間の範囲内におけ
る一致項目数Ｍ及び不一致項目数Ｕを算出する一致・不
一致項目数算出ステップとを更にコンピュータに実現さ
せる。本発明は、映像や音楽コンテンツなどのように表
示・再生処理における時間長を有するデータを蓄積した
データベースからユーザからの提示データに対する類似
データを識別・検索するデータ識別プログラムを格納し
た記憶媒体であって、請求項７乃至請求項９記載のプロ
グラムを格納する。

【００２４】上記のように、本発明では、提示されたデ
ータにおける、ある特徴が存在する時間位置のシーケン
スからなる構造情報を用いることで、フレーム毎の特徴
量に比べて識別・検索のためのデータ量を抑えることが
可能となる。

【００２５】

【発明の実施の形態】以下、図面と共に本発明の実施の
形態を説明する。

【００２６】図３は、本発明の一実施の形態におけるデ
ータ識別装置の構成を示す。

【００２７】同図に示すデータ識別装置１は、構造情報
取得部１１、構造情報データベース１２、構造情報照合
部１３、類似構造情報識別部１４から構成される。

【００２８】構造情報取得部１１は、表示・再生処理に
おける時間長を有するデータに関し、そのデータから得
られる、ある特徴が存在する時間位置のシーケンスから
なる、そのデータの構造情報を取得する。

【００２９】構造情報データベース１２は、構造情報取
得部１１からの構造情報を、そのデータの識別子と共に
格納する。

【００３０】構造情報照合部１３は、構造情報取得部１
１から得られる利用者提示の構造情報Ｘを、構造情報デ
ータベース１２から得られる構造情報Ｙｉとシーケンス
照合することにより、両シーケンス照合区間における一
致項目数Ｍｉ及び不一致項目数Ｕｉを算出する。

【００３１】類似構造情報識別部１４は、構造情報照合
部１３から得られる一致項目数Ｍｉ及び不一致項目数Ｕ
ｉにより構造情報Ｘに対する構造情報Ｙｉの類似性を判
定し、類似している場合には、その識別子ｉを識別結果
として出力する。

【００３２】図４は、本発明の一実施の形態における構
造情報の概念図を示し、図５は、本発明の一実施の形態
における構造情報照合を説明するための図である。

【００３３】図４に示すように、提示されたデータにお
ける、ある特徴が存在する時間位置のシーケンスからな
る構造情報を用いることで、フレーム毎の特徴量に比べ
て識別・検索のためのデータ量を抑えることができる。
また、図５に示すように、抽出される特徴量そのもので
はなく、抽出された特徴量が存在する時間位置を照合に
用いることで、特徴量の誤差に起因する比較誤りを回避
することができる。

【００３４】図６は、本発明の一実施の形態における検
出誤りに対する照合処理を説明するための図である。同
図に示すように、構造情報におけるシーケンスの一部項
目が誤検出もしくは、検出漏れされたとしても、その影
響がその後の比較処理に伝播しない。これにより、特徴
量抽出誤りを許容できるデータ識別を行うことができ
る。

【００３５】次に、構造情報照合部１３について説明す
る。

【００３６】図７は、本発明の一実施の形態における構
造情報照合部の構成を示す。

【００３７】同図に示す構造情報照合部１３は、オフセ
ット算出部２１、修正構造情報生成部２２、修正構造情
報照合部２３、最適照合判定部２４から構成される。

【００３８】オフセット算出部２１は、構造情報データ
ベース１２から得られる構造情報Ｙｉ中の時間位置シー
ケンスと、構造情報取得部１１から得られる利用者提示
の構造情報Ｘ中の時間位置シーケンスから、両者の開始
時間位置のずれを候補値集合｛Ｏ｝を算出する。

【００３９】修正構造生成部２２は、オフセット算出部
２１から得られる各オフセットＯｊを、構造情報取得部
１１から得られる構造情報Ｘの各シーケンス項目に加算
することで、開始時間位置ずれを考慮した修正構造情報
Ｘｊを生成する。

【００４０】修正構造情報照合部２３は、修正構造生成
部２２から得られる各修正構造情報Ｘｊと、構造情報デ
ータベース１２から取得している構造情報Ｙｉを各々シ
ーケンス照合することにより、両シーケンス照合区間に
おける一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊを算出
する。

【００４１】最適照合判定部２４は、修正構造情報照合
部２３から得られる一致項目数Ｍｉｊ及び不一致項目数
Ｕｉｊにより構造情報Ｙｉに対する修正構造情報Ｘｊの
類似性を判定し、最も類似している修正構造情報Ｘｊに
対応する一致項目数及び不一致項目数をその結果の項目
数Ｍｉ，Ｕｉとして出力する。

【００４２】これにより、利用者から提示されたデータ
と構造情報データベース１２中の該当データとの開始時
間にずれがあったとしても、そのずれを考慮したデータ
識別を行うことができる。

【００４３】次に、上記の構造情報照合部１３の修正構
造情報照合部２３の構成について説明する。

【００４４】図８は、本発明の一実施の形態における構
造情報照合部の修正構造情報照合部の構成を示す。

【００４５】修正構造情報照合部２３は、シーケンス照
合区間算出部３１、一致項目数遷移計測部３２、不一致
項目数遷移計測部３３、最適部分シーケンス判定部３
４、一致・不一致項目数算出部３５から構成される。

【００４６】シーケンス照合区間算出部３１は、入力さ
れる両構造情報Ｘ，Ｙにおいて照合する可能性のある最
小時間及び最大時間を算出する。

【００４７】一致項目数遷移計測部３２は、シーケンス
照合区間算出部３１から得られる照合区間内で、両構造
情報Ｘ，Ｙを時間順に比較することで得られる、シーケ
ンス間での一致項目数の時間変化を計測する。

【００４８】不一致項目数遷移計測部３３は、シーケン
ス照合区間算出部３１から得られる照合区間内で、両構
造情報Ｘ，Ｙを時間順に比較することで得られる、シー
ケンス間での不一致項目数の時間変化を計測する。

【００４９】最適部分シーケンス判定部３４は、一致項
目数遷移計測部３２及び不一致項目数遷移計測部３３か
ら得られる一致項目数遷移情報及び不一致項目遷移情報
から、両構造情報Ｘ，Ｙ中で照合していると考えられる
シーケンス位置を判定する。一致・不一致項目数算出部
３５は、最適部分シーケンス判定部３４から得られる開
始時間・終了時間の範囲内における一致項目数Ｍ及び不
一致項目数Ｕを算出する。

【００５０】このような構成により、提示されたデータ
が構造情報データベース１２に登録されているデータの
一部分を包含するデータであったとしても、その開始・
終了時間を推定した上で、データ識別を行うことができ
る。

【００５１】次に、データ識別情報を利用者に提供する
方法について説明する。

【００５２】図９は、本発明の一実施の形態におけるデ
ータ識別方法のフローチャートである。

【００５３】表示・再生処理における時間長を有するデ
ータに関し、そのデータの構造情報を取得する（ステッ
プ１０１）。

【００５４】取得した構造情報Ｘを、そのデータの識別
子と共に、構造情報データベース１２に格納する（ステ
ップ１０２）。

【００５５】構造情報データベース１２から別の構造情
報Ｙｉを取得し（ステップ１０３）、構造情報Ｘ及びＹ
ｉをシーケンス照合することで、両シーケンスの照合区
間における一致項目数Ｍｉ及び不一致項目数Ｕｉを算出
する（ステップ１０４）。

【００５６】一致項目数Ｍｉ及び不一致項目数Ｕｉによ
り、構造情報Ｘに対する構造情報Ｙｉの類似性を判定し
（ステップ１０５）、類似している場合には、その識別
子ｉを識別結果として出力し（ステップ１０６）、更
に、他の構造情報に対して識別処理を行うかどうかを判
定する（ステップ１０７）。

【００５７】上記のステップ１０４における、ある構造
情報Ｘ及びＹｉとのシーケンス照合による一致項目数及
び不一致項目数を算出する際に、ＸとＹｉの間に開始時
間のずれがある場合に、その照合情報を的確に提供する
方法を説明する。

【００５８】図１０は、本発明の一実施の形態における
構造情報照合方法のフローチャートである。

【００５９】構造情報データベース１２から得られる構
造情報Ｙｉ中の時間位置シーケンスと、構造情報取得部
１１から得られる構造情報Ｘ中の時間位置シーケンスか
ら、両者の開始時間位置のずれ（オフセット）の候補値
集合｛Ｏ｝を算出する（ステップ２０１）。

【００６０】上記のオフセットＯｊを、構造情報Ｘの各
シーケンス項目に加算することで、修正構造情報Ｘｊを
生成する（ステップ２０２）。

【００６１】上記の各修正構造情報Ｘｊと、構造情報Ｙ
ｉを各々シーケンス照合することにより、両シーケンス
照合区間における一致項目数Ｍｉｊ及び不一致項目数Ｕ
ｉｊを各々算出する（ステップ２０３）。

【００６２】上記の全ての一致項目数Ｍｉｊ及び不一致
項目数Ｕｉｊから構造情報Ｙｉに最も類似している修正
構造情報Ｘｊを判定する（ステップ２０４）。

【００６３】上記の最類似修正構造情報Ｘｊに対応する
一致項目数及び不一致項目数をその結果の項目数Ｍｉ、
Ｕｉとして出力する（ステップ２０５）。

【００６４】上記の図１０におけるステップ２０３にお
ける、構造情報Ｘ及びＹとのシーケンス照合による一致
項目数及び不一致項目数算出処理において、ＸとＹのシ
ーケンスの一部分だけが照合するような場合に、その照
合情報を的確に提供するための方法を説明する。

【００６５】図１１は、本発明の一実施の形態における
構造情報照合方法の詳細な処理のフローチャートであ
る。

【００６６】入力される両構造情報Ｘ，Ｙにおいて照合
する可能性のある各々の時間区間を算出する（ステップ
３０１）。

【００６７】上記の時間区間内で、両構造情報Ｘ，Ｙを
時間順に比較することで得られる、シーケンス間での一
致項目数の時間変化を計測する（ステップ３０２）と共
に、同様に、上記の時間区間内で、両構造情報Ｘ，Ｙを
時間順に比較することで得られる、シーケンス間での不
一致項目数の時間変化を計測する（ステップ３０３）。

【００６８】上記の２つの手順（ステップ３０２、３０
３）により得られる一致項目数の時間変化及び不一致項
目数の時間変化から、両構造情報Ｘ，Ｙ中で照合してい
ると考えられる部分シーケンスの開始・終了時間を判定
する（ステップ３０４）。

【００６９】上記により得られる開始時間・終了時間の
範囲内における一致項目数及び不一致項目数を算出する
（ステップ３０５）。

【００７０】

【実施例】以下、図面と共に本発明の実施例を説明す
る。

【００７１】［第１の実施例］図１２は、本発明の第１
の実施例によるシステム構成を示す。

【００７２】同図に示すシステムにおけるデータとして
は、映像コンテンツを対象としている。利用者は、識別
対象となる映像を提示し、その映像に類似していると判
定された登録済映像の識別子を、その識別結果として受
け取る。

【００７３】また、本システムでの構造情報において検
出すべき特徴としては、映像におけるシーンの切り替わ
り（カット点）を用いる。カット点検出により得られる
カット点の各時間位置（当該映像コンテンツにおけるタ
イムコード）を構造情報の各項目とし、これらの項目を
昇順に並べた数値シーケンスを、当該映像コンテンツの
構造情報と規定する。

【００７４】同図に示すシステムは、利用者側のクライ
アント装置１００と、サービス提供側のサーバ装置２０
０とを有する。

【００７５】サーバ装置２００には、複数のクライアン
ト装置１００が接続され得る。また、各装置間は同一Ｌ
ＡＮで接続されていても、異種ＷＡＮで接続されていて
もよい。

【００７６】クライアント装置１００は、構造情報解析
部１１１、構造情報ファイル１１２、構造情報送信部１
１３、識別子受信部１１４、及び利用者インタフェース
１１５から構成される。

【００７７】構造情報解析部１１１は、利用者インタフ
ェース１１５から対象となる映像コンテンツを受け取
り、解析処理により映像中のシーンの切り替わりをカッ
ト点として検出し、その時間位置シーケンスを構造情報
として構成し、出力する。

【００７８】構造情報ファイル１１２は、構造情報解析
部１１１が出力した構造情報をファイル化したものであ
る。なお、その実現方法としては、どのようなファイル
形式であってもよく、また、データベース中の１項目と
してクライアント装置１００に格納されていてもよい。

【００７９】構造情報送信部１１３は、構造情報ファイ
ル１１２の記述内容（以下、構造情報Ｘと記す）をサー
バ装置２００に送信する。

【００８０】識別子受信部１１４は、サーバ装置２００
から、提示した映像に類似していると判定された映像を
表す識別子を受信する。

【００８１】利用者インタフェース１１５は、利用者が
映像コンテンツを指示するためのインタフェースであ
り、その指示を受けて構造情報解析部１１１に映像コン
テンツを転送する。また、当該インタフェース１１５
は、識別子受信部１１４が受信した識別子を利用者に表
示する。なお、この識別子に基づいて該当映像コンテン
ツ及びその関連情報を表示するシステムを構成すること
が別途実現可能である。

【００８２】サーバ装置２００は、構造情報受信部２２
１、構造情報データベース２２２、構造情報抽出部２２
３、構造情報照合部２２４、類似性判定部２２５、識別
子送信部２２６から構成される。

【００８３】構造情報受信部２２１は、クライアント装
置１００により送信された構造情報Ｘを受信し、構造情
報データベース２２２に登録すると同時に、構造情報照
合部２２４に転送する。

【００８４】構造情報データベース２２２は、構造情報
受信部２２１において受信された構造情報Ｘを格納する
と同時に、構造情報抽出部２２３からのリクエストを待
ち受ける。構造情報データベース２２２、既存のデータ
ベース製品により実現することも可能であり、また、構
造情報毎のファイルを格納することでも実現すること
も、１つのファイル内の１エントリとして記述すること
で実現することも可能である。

【００８５】構造情報抽出部２２３は、クライアント装
置１００から送信された構造情報Ｘの受信を識別処理開
始要求と見做し、構造情報データベース２２２から順次
構造情報抽出を行い、構造情報照合部２２４に転送す
る。構造情報抽出部２２３は、構造情報データベース２
２２から抽出すべき構造情報の識別子を指示するが、そ
の識別子はデータベース中のすべての構造情報を対象と
してもよく、また何らかのルールに基づいて対象を制限
してもよい。

【００８６】構造情報照合部２２４は、構造情報抽出部
２２３から順次転送される各識別子及び構造情報（以
下、その識別子をｉとし、その構造情報をＹｉと記す）
及び、構造情報受信部２２１により受信された構造情報
Ｘとの照合処理を行い、構造情報間の一致項目数Ｍｉ及
び不一致項目数Ｕｉを算出し、識別子ｉと共に類似性判
定部２２５に転送する。

【００８７】類似性判定部２２５は、構造情報照合部２
２４から転送された一致項目数及び不一致項目数に基づ
いて、構造情報Ｙｉと構造情報Ｘの類似性を判定する。
類似していると判定された場合は、その識別子ｉを識別
子送信部２２６に転送する。識別子送信部２２６は、類
似性判定部２２５から転送された識別子ｉをクライアン
ト装置１００に送信する。

【００８８】図１３は、本発明の第１の実施例における
データ識別方法手順を示すシーケンスチャートである。
以下、図１３を参照して、本実施例におけるデータ識別
方法の動作について説明する。

【００８９】まず、利用者は、利用者インタフェース１
１５を介して識別対象となる映像コンテンツを指示する
（ステップ４０１）。

【００９０】次に、利用者インタフェース１１５から転
送された映像コンテンツを構造情報解析部１１１が解析
し、構造情報を取得する（ステップ４０２）。本実施例
における構造情報解析手段であるカット点検出処理とし
ては、特許２８３９１３２号に記載されているカット・
ディゾルブを検出する方法を用いることができる。ある
カット（または、ディゾルブ）が検出された時間位置
（タイムコード）を構造情報の１つの項目とし、これら
の項目を昇順に並べた数値シーケンスを、当該映像コン
テンツの構造情報とする。本実施例における構造情報の
例を図１４に示す（なお、本例では、映像の開始時間
（ゼロ）もカット点に含まれると見做している）。

【００９１】次に、構造情報解析部１１１が取得した構
造情報を、構造情報ファイル１１２としてクライアント
装置１００内に書き込む（ステップ４０３）。ファイル
形式として、例えば、ｃｓｖ形式を用いることができ
る。

【００９２】次に、構造情報送信部１１３が構造情報フ
ァイル１１２内の構造情報Ｘをサーバ装置２００へ送信
する（ステップ４０４）。サーバ装置２００内の構造情
報受信部２２１は、その構造情報Ｘを受信する（ステッ
プ４０５）。

【００９３】次に、構造情報受信部２２１は、構造情報
データベース２２２に構造情報Ｘを格納する（ステップ
４０６）。構造情報データベース２２２として、例え
ば、１つのファイル内のｃｓｖエントリとしての登録・
参照で実現することができる。本実施例における構造情
報データベース２２２の例を図１５に示す。

【００９４】次に、構造情報抽出部２２３は、構造情報
データベース２２２内の構造情報を順次抽出する（ステ
ップ４０７）。構造情報抽出部２２３は、抽出すべき識
別子を指示するが、ここでは、Ｘ以外のすべての識別子
を対象とする。その場合、図１５に示したデータベース
を１エントリずつ取り出し、最初の項目を識別子、以降
を構造情報として抽出し、Ｘを除く１エントリごとに以
降のステップ４０８からステップ４１０までの処理を繰
り返すことで、すべての識別子に対する処理を実現する
ことができる。

【００９５】次に、構造情報照合部２２４は、構造情報
抽出部２２３により抽出された構造情報Ｙｉと、構造情
報受信部２２１により受信された構造情報Ｘを照合し
て、一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する
（ステップ４０８）。

【００９６】次に、類似性判定部２２５は、一致項目数
Ｍｉ及び不一致項目数Ｕｉから類似性を判定する（ステ
ップ４０９）。類似性判定は、Ｍｉ及びＵｉを用いた評
価式により実現することができる。本実施例における評
価式の一例として、Ｆｉ＝Ｍｉ／（Ｍｉ＋Ｕｉ）を用い
ることができる。Ｆｉは、一致項目数Ｍｉが多いほど、
また、不一致項目数Ｕｉが少ないほど大きい値をとり、
その範囲は０から１までである。Ｆｉが閾値Ｆｔｈを上
回る場合、構造情報ＸとＹｉが類似していると判定する
ことができる。類似していると判定された場合は、識別
子ｉを識別子送信部２２６に転送する。

【００９７】次に、識別子送信部２２６は、識別子ｉを
クライアント装置１００に送信する（ステップ４１
０）。クライアント装置１００内の識別子受信部１１４
は、その識別子ｉを受信する（ステップ４１１）。そし
て、利用者インタフェース１１５がその識別子ｉを表示
する（ステップ４１２）。

【００９８】図１６は、本発明の第１の実施例における
構造情報照合処理の動作のフローチャートである。以
下、構造情報照合処理について説明する。

【００９９】まず、構造情報Ｘにおける最末尾項目の値
と構造情報Ｙｉにおける最末尾項目の値を比較し、その
値が小さい方を数列ｐ、大きい方を数列ｑとして扱う。
数列ｐの項目数をｍ、数列ｑの項目数をｎとする（ステ
ップ５０１）。図１５の例を参考にすると、構造情報Ｙ
ｉの方がｐ、構造情報Ｘの方がｑとなる。また、ｍ＝ｎ
＝６となる。

【０１００】次に、初期値として、一致項目数Ｍｉ及び
不一致項目数Ｕｉをゼロに、数列の引数としての変数ｔ
及びｋを２とする。数列ｐ及びｑにおける各項目の参照
は、これらｔ及びｋを用いて先頭から順番で行われるも
のとする。従って、ｔは１からｍまで、ｋは１からｎま
での値をとる。以下、参照される項目の値をそれぞれｐ
［ｔ］及びｐ［ｋ］と表す。ここで、本実施例の照合処
理例における構造情報の時間位置（カット点位置）の定
義上、ｐ［１］＝ｑ［１］＝０なので、照合処理は、ｔ
＝ｋ＝２から開始される（ステップ５０２）。

【０１０１】以降のステップでは、変数ｔ及びｋの値に
基づく数列参照が行われる。

【０１０２】まず、ｐ［ｔ］＞ｑ［ｋ］＋ｔｈ（式１）が成立するかどうかを調べる（ステップ５０３）。ここ
で、ｔｈは閾値であり、カット点検出処理における誤差
を考慮した値を設定する。式１が成立する場合には、ｐ
［ｔ］とｑ［ｋ］は一致していないと判断され、不一致
項目数Ｕｉに１が加算される（ステップ５０４）。その
後、引数ｋが最大項目数ｎ未満であるかどうか判断され
（ステップ５０５）、ｎ未満である場合は、ｋに１加え
て（ステップ５０６）、ステップ５０３の手順に戻る。
一方、ｋがｎに達していた場合には、照合処理を終了す
る。

【０１０３】式１が成立しない場合は、続いて、ｑ［ｋ］＞ｐ［ｔ］＋ｔｈ（式２）が成立するかどうか調べる（ステップ５０７）。成立す
る場合には、やはりｐ［ｔ］とｑ［ｋ］は一致していな
いと判断され、不一致項目数Ｕｉに１が加算される（ス
テップ５０８）。その後、引数ｔが最大項目数ｍ未満で
あるかどうか判断され（ステップ５０９）、ｍ未満であ
る場合にはｔに１加えて（ステップ５１０）、ステップ
５０３の手順に戻る。一方、ｔがｍに達していた場合に
は、照合処理を終了する。

【０１０４】式１及び式２が成立しない場合は、ｐ
［ｔ］とｑ［ｋ］が一致していると判断され、一致項目
数Ｍｉに１が加算される（ステップ５１１）。その後、
引数ｋ及びｔの範囲を確認後加算処理が行われ、最終項
目に到達していた場合には、照合処理を終了する（ステ
ップ５１２、５１３、５０９、５１０）。

【０１０５】以上の構造情報照合処理を図１５の例に対
して行った場合の処理例を図１７に示す。同図中の表
は、図１６のフローチャートに従い処理を実行した際
の、引数ｔ及びｋの遷移、各数列中の値の比較結果、Ｍ
ｉ及びＵｉの遷移を示している。比較を繰り返した結
果、正しい一致項目数Ｍｉ及び不一致項目数Ｕｉが得ら
れることがわかる。

【０１０６】［第２の実施例］図１８は、本発明の第２
の実施例によるシステム構成を示す。同図に示すシステ
ムにおけるデータとしては、前述の第１の実施例と同様
に、映像コンテンツを対象としている。利用者は、識別
対象となる映像を提示し、その映像に類似していると判
定された登録済映像の識別子を、その識別結果として受
け取る。

【０１０７】また、本システムでの構造情報において用
いる特徴としても、第１の実施例と同様に映像における
シーンの切り替わり（カット点）を用いる。しかし、本
実施例では、利用者の指示により人手でカット点を編集
することで構造情報を作成する。

【０１０８】本システムの装置構成は、第１の実施例と
同様に、利用者側のクライアント装置１００とサービス
提供側のサーバ装置２００とを含む。クライアント装置
１００は、構造情報ファイル１１２、構造情報送信部１
１３、識別子受信部１１４、利用者インタフェース１１
５に加え、構造情報編集部１１６及び映像再生制御部１
１７から構成される。

【０１０９】構造情報ファイル１１２から識別子受信部
１１４までは、第１の実施例と同様の機能を有する。利
用者インタフェース１１５は、映像再生制御部１１７と
連動し、利用者が映像コンテンツのカット点を発見し、
その時間位置を指示・編集するためのインターフェース
である。また、同インタフェース１１５は、識別子受信
部１１４が受信した識別子を利用者に表示する。

【０１１０】構造情報編集部１１６は、利用者インタフ
ェース１１５からのカット点編集指示を受け、構造情報
へのカット点時間位置追加・修正・削除を行う。編集終
了時には、構造情報ファイル１１２に書込みを行う。

【０１１１】映像再生制御部１１７は、利用者から映像
コンテンツの指示を受け、その再生及び停止・早送り・
巻き戻し・コマ送りなどの機能を提供すると共に、利用
者インタフェース１１５からカット点検出指示があった
際に、その時間位置を返答する。

【０１１２】サーバ装置２００は、第１の実施例におけ
る構造情報受信部２２１、構造情報データベース２２
２、構造情報抽出部２２３、類似性判定部２２５、識別
子送信部２２６に加え、オフセット算出部２２７、修正
構造情報生成部２２８、修正構造情報照合部２２９、及
び、最適照合判定部２３０から構成される。

【０１１３】構造情報受信部２２１から構造情報抽出部
２２３及び類似性判定部２２５、識別子送信部２２６
は、第１の実施例と同様の機能を有する。

【０１１４】オフセット算出部２２７は、構造情報Ｘ及
び構造情報Ｙｉに基づいて、両者の開始時間位置のずれ
を表すオフセットを算出する。オフセットは候補集合と
して複数算出される。その算出ルールとして、ある一定
の時間間隔でオフセットを算出する方法が考えられる。
他に、構造情報Ｘのｔ番目の項目Ｘ［ｔ］及び、構造情
報Ｙｉのｋ番目の項目Ｙｉ［ｋ］より、（Ｙｉ［ｋ］−
Ｘ［ｔ］）をオフセット値として算出する方法も考えら
れる。本実施例では、後者の方法を想定し、その値を以
下、Ｏｊと表す。引数ｊは、構造情報Ｘの項目数がｍ
個、構造情報Ｙｉの項目数がｎ個である場合、１から最
大ｍｎまでの値を取り得る。

【０１１５】修正構造情報生成部２２８は、オフセット
算出部２２７から算出される各オフセットＯｊの値を用
いて、構造情報Ｘの各項目の値を修正し、修正構造情報
Ｘｊを生成する。修正構造情報Ｘｊのｔ番目の項目Ｘｊ
［ｔ］は、Ｘｊ［ｔ］＝Ｘ［ｔ］＋Ｏｊにより算出される。

【０１１６】修正構造情報照合部２２９は、修正構造情
報Ｘｊと構造情報Ｙｉの照合を行う。図１９は、本発明
の第２の実施例における修正構造情報照合処理の動作の
フローチャートである。

【０１１７】同図に示す処理フローは、第１の実施例に
おける図１６のフローチャートとほぼ同様である。但
し、ステップ５０１における最末尾項目の値の代わりに
構造情報の全時間長を用いて判定する（ステップ６０１
〜６０３）。また、ｔ及びｋの初期値を１に、ＸをＸｊ
に、Ｍｉ・ＵｉをＭｉｊ・Ｕｉｊとする（ステップ６０
４）。

【０１１８】最適照合判定部２３０は、修正構造情報照
合部２２９から出力される各Ｍｉｊ・Ｕｉｊに基づき、
最も照合していると思われるＸｊを判定、そのＭｉｊ・
ＵｉｊをＭｉ・Ｕｉとして識別子ｉと共に出力する。そ
の判定には、第１の実施例と同様に評価式Ｆｉｊ＝Ｍｉｊ／（Ｍｉｊ＋Ｕｉｊ）を用いることができる。この場合、最も大きいＦｉｊに
対応する修正構造情報Ｘｊを採用することで、最適照合
を判定する。

【０１１９】本実施例におけるオフセット算出から修正
構造情報照合までを、図２０の構造情報データベース２
２２の例に対して行った場合の例を図２１に示す。この
場合、オフセットは、２０個算出され、そのうち、オフ
セット値５０に対して最適な照合（Ｍｉｊ＝５，Ｕｉｊ
＝２）が行われることがわかる。

【０１２０】［第３の実施例］図２２は、本発明の第３
の実施例によるシステム構成を示す。

【０１２１】本実施例におけるデータとしては、第１、
第２の実施例と同様に、映像コンテンツを対象としてい
る。利用者は識別対象となる映像を提示し、その映像に
類似していると判定された登録済映像の識別子をその識
別結果として受け取る。

【０１２２】また、本システムでの構造情報において用
いる特徴としても、第１、第２の実施例と同様に、映像
におけるシーンの切り替わり（カット点）を用いる。本
実施例では、利用者が映像コンテンツそのものをサーバ
装置２００に送信し、構造情報はサーバ装置２００内で
作成される。

【０１２３】本システムの装置構成は、第１の実施例と
同様に、利用者側のクライアント装置１００と、サービ
ス提供側のサーバ装置２００とを含む。

【０１２４】クライアント装置１００は、識別子受信部
１１４、利用者インタフェース１１５及び映像コンテン
ツ送信部１１８から構成される。

【０１２５】識別子受信部１１４及び利用者インタフェ
ース１１５は、第１の実施例と同様の機能を有する。映
像コンテンツ送信部１１８は、利用者インタフェース１
１５に提示された映像コンテンツをサーバ装置２００に
送信する。これは、ＨＴＭＬ文やJava（登録商標）Scri
pt文などを用い、Ｗｅｂブラウザ上で動作するインタフ
ェースシステムとして容易に実現できる。

【０１２６】サーバ装置２００は、第２の実施例におけ
る構造情報データベース２２２から最適照合判定部２３
０に加え、映像コンテンツ受信部２３２、構造情報解析
部２３２、シーケンス照合区間算出部２３３、一致項目
数遷移計測部２３４、不一致項目数遷移計測部２３５、
最適部分シーケンス判定部２３６、一致・不一致項目数
算出部２３７から構成される。

【０１２７】映像コンテンツ受信部２３１は、クライア
ント装置１００から映像コンテンツを受信する。

【０１２８】構造情報解析部２３２は、第１の実施例に
おけるクライアント装置１００内の構造情報解析部１１
１と同様の機能を有する。映像コンテンツ受信部２３１
が受信した映像コンテンツを解析し、構造情報Ｘを出力
する。

【０１２９】構造情報データベース２２２、構造情報抽
出部２２３、オフセット算出部２２７、及び修正構造情
報生成部２２８は、第２の実施例と同様の機能を有す
る。

【０１３０】シーケンス照合区間算出部２３３は、入力
される構造情報Ｙｉ及び修正構造情報Ｘｊより、照合の
可能性がある最小時間ｍｉｎ及び最大時間ｍａｘを時間
区間として算出する。本実施例では、図２３の構造情報
データベース２２２を例にとり、オフセットＯｊ＝９０
であるときの修正構造情報Ｘｊと構造情報Ｙｉを対象に
して説明する。この場合、シーケンス照合区間算出部２
３３において算出される値は、ｍｉｎ＝０，ｍａｘ＝１
８０となる。本算出は、両構造情報における項目の最小
値及び最大値を求めることで実現される。

【０１３１】一致項目数遷移計測部２３４及び不一致項
目数遷移計測部２３５は、シーケンス照合区間算出部２
３３より出力される時間区間内で、両構造情報における
一致項目数、不一致項目数の時間遷移を計測する。本計
測部２３４、２３５における計測処理は、第２の実施例
における修正構造情報照合処理フロー上で実現できる。
即ち、図１９に示した動作フローチャートに基づく照合
処理を実施する際に、変数ｔ及びｋの値変化に対応する
一致項目数及び不一致項目数の値変化を、図１７におけ
る表のように全て保存しておけばよい。図２４は、この
ようにして得られる計測処理結果を時間軸にマッピング
した例を表している。

【０１３２】最適部分シーケンス判定部２３６は、一致
項目数遷移計測部２３４及び不一致項目数遷移計測部２
３５から得られる遷移情報に基づき、照合していると考
えられるシーケンス位置を判定する。本実施例では、一
致項目数遷移情報Ｍｔが増加傾向にあり、不一致項目数
遷移情報Ｕｔが増加しない時間区間をその部分シーケン
スとして判定する。図２５に判定処理の例を示す。この
図の場合、Ｍｔが増加を開始する１００秒目から、Ｍｔ
が増加しなくなる１６０秒目までを最適部分シーケンス
として判定する。実際の処理として、Ｍｔが増加してい
る間はフラグ処理などにより、シーケンス継続中と見做
し、ある閾値以内でＵｔが増加してもノイズと見做すこ
とにより最適部分シーケンスを判定する方法などを用い
ることができる。

【０１３３】一致・不一致項目数算出部２３７は、最適
部分シーケンス判定部２３６から得られるシーケンス位
置としての開始・終了時間に基づき、一致項目数遷移情
報Ｍｔ及び不一致項目数遷移情報Ｕｔから、一致項目Ｍ
ｉｊ及び不一致項目数Ｕｉｊを算出する。本実施例にお
ける算出式としては、Ｍｉｊ＝Ｍｔ｛ＯＵＴ＋｝−Ｍｔ｛ＩＮ−｝Ｕｉｊ＝Ｕｔ｛ＯＵＴ＋｝−Ｕｔ｛ＩＮ−｝を用いる。ここで、Ｍｔ｛ＯＵＴ＋｝とは、終了時間Ｏ
ＵＴ直後におけるＭｔの値であり、Ｍｔ｛ＩＮ−｝と
は、開始時間ＩＮ直前におけるＭｔの値である。図２５
の場合、Ｍｔ｛ＯＵＴ＋｝＝４，Ｍｔ｛ＩＮ−｝＝０で
ある。従って、Ｍｉｊ＝４−０＝４となる。同様に、Ｕ
ｉｊ＝２−２＝０となる。

【０１３４】最適照合判定部２３０、類似性判定部２２
５及び識別子送信部２２６は、第２の実施例と同様の機
能を有する。

【０１３５】以上の３つの実施例は、映像コンテンツを
対象データと想定し、その構造情報取得において用いら
れる特徴としてカット点を想定している。この他にも、
例えば、音楽コンテンツを対象データと想定し、一定長
以上の無音区間が検出される点をその特徴点と定義する
ことが可能である。

【０１３６】また、３つの実施例においては、構造情報
取得のための特徴を１種類としたが、複数の特徴を用
い、それぞれに対する構造情報を取得した上で、各々の
照合処理を行い、それらの結果（それぞれの構造情報に
よる一致・不一致項目数）を合成することで、類似性判
定を行うことも可能である。合成方法としては、単純に
評価式の積をとる方法や、ルールによる場合分けを行う
方法などが考えられる。また、上記の３つの実施例にお
いては、構造情報の各項目の比較により、一致・不一致
を判定したが、同時に取得される特徴量を勘案した上
で、一致・不一致を判定することも可能である。例え
ば、あまりにも算出される特徴量に隔たりがある場合に
は、その比較判定を留保する（一致とも不一致とも見做
さない）等の方法をとることができる。

【０１３７】なお、図１１、図１８、図２２で示したシ
ステムにおける装置（クライアント、サーバ）各部の一
部もしくは全部の機能をコンピュータのプログラムで構
成し、そのプログラムをコンピュータを用いて実行して
本発明を実現することができること、あるいは、図１
６、図１９の各フローチャートや本文中記載の説明文や
式で示した処理の手順をコンピュータのプログラムで構
成し、そのプログラムをコンピュータに実行させること
ができることは言うまでもなく、コンピュータでその機
能を実現するためのプログラム、あるいは、コンピュー
タにその処理の手順を実行させるためのプログラムを、
そのコンピュータが読み取り可能な記憶媒体、例えば、
フレキシブルディスク、ＭＯ，ＲＯＭ，メモリカード、
ＣＤ，ＤＶＤ、リムーバブルディスクなどの記録して、
保存したり、配布したりすることが可能である。

【０１３８】上記のプログラムは、インターネットや電
子メールなど、ネットワークを通して提供することも可
能である。また、上記のプログラムは、サーバやクライ
アントのコンピュータ別に作成されることは当然である
が、記録媒体への記録や、ネットワークを通しての提供
に際しては、一まとめにしたり、個別にしたり、組み合
わせたりして行ってもよい。

【０１３９】以上、本発明の代表的な実施例を説明した
が、本発明は、上記の実施例に限定されることなく、特
許請求の範囲内において、種々変更・応用が可能であ
る。

【０１４０】

【発明の効果】上述のように、本発明によれば、提示さ
れたデータにおけるある特徴が存在する時間位置のシー
ケンスからなる構造情報を用いることで、フレーム毎の
特徴量に比べ、識別・検索のためのデータ量を抑えるこ
とができる。

【０１４１】また、抽出される特徴量そのものではな
く、抽出された特徴量が存在する時間位置を照合に用い
ることで、特徴量の誤差に起因する比較誤りを回避する
ことができる。同様に、特徴量抽出誤りを許容できるデ
ータ識別を行うことができる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明の一実施の形態におけるデータ識別装置
の構成図である。

【図４】本発明の一実施の形態における構造情報の概念
図である。

【図５】本発明の一実施の形態における構造情報照合を
説明するための図である。

【図６】本発明の一実施の形態における検出誤りに対す
る照合処理を説明するための図である。

【図７】本発明の一実施の形態における構造情報照合部
の構成図である。

【図８】本発明の一実施の形態における構造情報照合部
の修正構造情報照合部の構成図である。

【図９】本発明の一実施の形態におけるデータ識別方法
のフローチャートである。

【図１０】本発明の一実施の形態における構造情報照合
方法のフローチャートである。

【図１１】本発明の一実施の形態における構造情報照合
方法の詳細な処理のフローチャートである。

【図１２】本発明の第１の実施例によるシステム構成図
である。

【図１３】本発明の第１の実施例におけるデータ識別方
法手順を示すフローチャートである。

【図１４】本発明の第１の実施例における構造情報例で
ある。

【図１５】本発明の第１の実施例における構造情報デー
タベース例である。

【図１６】本発明の第１の実施例における構造情報照合
処理の動作のフローチャートである。

【図１７】本発明の第１の実施例における構造情報照合
処理例である。

【図１８】本発明の第２の実施例によるシステム構成図
である。

【図１９】本発明の第２の実施例における修正構造情報
照合処理の動作フローチャートである。

【図２０】本発明の第２の実施例における構造情報デー
タベース例である。

【図２１】本発明の第２の実施例におけるオフセット算
出修正構造情報生成及び照合処理例である。

【図２２】本発明の第３の実施例によるシステム構成図
である。

【図２３】本発明の第３の実施例における構造情報デー
タベース例及びオフセット算出に基づく修正構造情報の
例である。

【図２４】本発明の第３の実施例における一致・不一致
項目数遷移計測の処理例である。

【図２５】本発明の第３の実施例における最適部分シー
ケンス判定及び一致・不一致項目数算出の処理例であ
る。

【図２６】従来手法におけるフレーム毎の特徴量比較に
関する説明図である。

【図２７】従来手法におけるショット毎の特徴量比較に
関する説明図である。

【図２８】ショット毎の特徴量比較における問題点の説
明図である。

【符号の説明】

１データ識別装置１１構造情報取得手段、構造情報取得部１２構造情報データベース１３構造情報照合手段、構造情報照合部１４類似構造情報識別手段、類似構造情報識別部２１オフセット算出部２２修正構造情報生成部２３修正構造情報照合部２４最適照合判定部３１シーケンス照合区間算出部３２一致項目数遷移計測部３３不一致項目数遷移計測部３４最適部分シーケンス判定部３５一致・不一致項目数算出部１００クライアント装置１１１構造情報解析部１１２構造情報ファイル１１３構造情報送信部１１４識別子受信部１１５インタフェース利用者１１６構造情報編集部１１７映像再生制御部１１８映像コンテンツ送信部２００サーバ装置２２１構造情報受信部２２２構造情報データベース２２３構造情報抽出部２２４構造情報照合部２２５類似性判定部２２６識別子送信部２２７オフセット算出部２２８修正構造情報生成部２２９修正構造情報照合部２３０最適照合判定部２３１映像コンテンツ受信部２３２構造情報解析部２３３シーケンス照合区間算出部２３４一致項目数遷移計測部２３５不一致項目数遷移計測部２３６最適部分シーケンス判定部２３７一致・不一致項目数算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者桑野秀豪東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者青木政勝東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者宮川和東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者小林昭久東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者山田一穂東京都千代田区大手町二丁目３番１号日本電信電話株式会社内Ｆターム(参考） 5B075 ND12 ND14 QM08 UU40 5C052 AA01 AB02 AB03 AB04 AC08 CC01 DD04 DD06 EE03

Claims

【特許請求の範囲】

【請求項１】映像や音楽コンテンツなどのように表示
・再生処理における時間長を有するデータを蓄積したデ
ータベースからユーザからの提示データに対する類似デ
ータを識別・検索するデータ識別方法において、表示・再生処理における時間長を有するデータから得ら
れる、ある特徴が存在する時間位置のシーケンスからな
る、該データの構造情報Ｘを取得する構造情報取得手順
と、前記構造情報Ｘを、該構造情報の識別子と共に構造情報
データベースに格納する構造情報格納手順と、前記構造情報データベースから別の構造情報Ｙｉを取得
する検索手順と、前記構造情報Ｘ及び構造情報Ｙｉをシーケンス照合する
ことで、両シーケンス照合区間における一致項目数Ｍｉ
及び不一致項目数Ｕｉを算出する構造情報照合手順と、前記構造情報照合手順から得られる一致項目数Ｍｉ及び
不一致項目数Ｕｉにより前記構造情報Ｘに対する構造情
報Ｙｉの類似性を判定する類似性判定手順と、類似している場合には、類似している構造情報の識別子
ｉを識別結果として出力する識別結果出力手順と、更に他の構造情報に対して識別処理を行うかどうかを判
定する識別判定手順とを有することを特徴とするデータ
識別方法。
【請求項２】前記構造情報照合手順において、前記構造情報データベースから得られる構造情報Ｙｉ中
の時間位置シーケンスと、前記構造情報取得手順から得
られる構造情報Ｘ中の時間位置シーケンスから、両者の
開始時間位置のずれ（オフセット）の候補値集合｛Ｏ｝
を算出する手順と、前記各オフセットＯｊを、前記構造情報Ｘの各シーケン
ス項目に加算することで、修正構造情報Ｘｊを生成する
手順と、前記各修正構造情報Ｘｊと、前記構造情報Ｙｉを各々シ
ーケンス照合することにより、両シーケンス照合区間に
おける一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊを各々
算出する手順と、を有し、前記類似性判定手順において、全ての前記一致項目数Ｍｉｊ及び前記不一致項目数Ｕｉ
ｊから構造情報Ｙｉに最も類似している最類似修正構造
情報Ｘｊを判定する手順と、前記最類似修正構造情報Ｘｊに対応する一致項目数及び
不一致項目数を、Ｍｉ、Ｕｉとして出力する手順と、を
有する請求項１記載のデータ識別方法。
【請求項３】前記構造情報照合手順において、入力される前記構造情報Ｘ，Ｙにおいて、照合する可能
性のある各時間区間を算出する時間区間算出手順と、前記時間区間内で、前記構造情報Ｘ，Ｙを時間順に比較
することで得られる、シーケンス間での一致項目数の時
間変化を計測する一致項目数遷移計測手順と、前記時間区間内で、前記構造情報Ｘ，Ｙを時間順に比較
することで得られる、シーケンス間での不一致項目数の
時間変化を計測する不一致項目数遷移計測手順と、前記一致項目数遷移計測手順と前記不一致項目数遷移計
測手順により得られる一致項目数の時間変化及び不一致
項目数の時間変化から、前記構造情報Ｘ，Ｙ中で照合し
ていると考えられる部分シーケンスの開始・終了時間を
判定する手順と、前記開始時間・前記終了時間の範囲内における一致項目
数及び不一致項目数を算出する手順と、を有する請求項
１または、２記載のデータ識別方法。
【請求項４】映像や音楽コンテンツなどのように表示
・再生処理における時間長を有するデータを蓄積したデ
ータベースからユーザからの提示データに対する類似デ
ータを識別・検索するデータ識別装置であって、表示・再生処理における時間長を有するデータから得ら
れる、ある特徴が存在する時間位置のシーケンスからな
る、該データの構造情報を取得する構造情報取得手段
と、前記構造情報取得手段で取得した前記構造情報Ｘを、該
構造情報の識別子と共に格納する構造情報データベース
と、前記構造情報取得手段から得られる利用者提示の構造情
報Ｘを、前記構造情報データベースから得られる構造情
報Ｙｉとシーケンス照合することで、両シーケンス照合
区間における一致項目数Ｍｉ及び不一致項目数Ｕｉを算
出する構造情報照合手段と、前記構造情報照合手段から得られる一致項目数Ｍｉ及び
不一致項目数Ｕｉにより前記構造情報Ｘに対する構造情
報Ｙｉの類似性を判定し、類似している場合には、類似
している構造情報の識別子ｉを識別結果として出力する
類似構造情報識別手段と、を有することを特徴とするデ
ータ識別装置。
【請求項５】前記構造情報照合手段は、前記構造情報データベースから得られる構造情報Ｙｉ中
の時間位置シーケンスと、構造情報取得手段から得られ
る構造情報Ｘ中の時間位置シーケンスから、両者の開始
時間位置のずれ（オフセット）の候補値集合｛Ｏ｝を算
出するオフセット算出手段と、前記オフセット算出手段から得られる前記各オフセット
Ｏｊを、前記構造情報Ｘの各シーケンス項目に加算する
ことで、開始時間位置ずれを考慮した修正構造情報Ｘｊ
を生成する修正構造情報生成手段と、前記修正構造情報生成手段から得られる前記各修正構造
情報Ｘｊと、前記構造情報データベースから得られてい
る前記構造情報Ｙｉを各々シーケンス照合することによ
り、両シーケンス照合区間における一致項目数Ｍｉｊ及
び不一致項目数Ｕｉｊを各々算出する修正構造情報照合
手段と、を有し、前記修正構造情報照合手段から得られる前記一致項目数
Ｍｉｊ及び前記不一致項目数Ｕｉｊにより前記構造情報
Ｙｉに対する修正構造情報Ｘｊの類似性を判定し、最も
類似している最類似修正構造情報Ｘｊに対応する一致項
目数及び不一致項目数を、その結果の項目数Ｍｉ、Ｕｉ
として出力する最適照合判定手段と、を有する請求項４
記載のデータ識別装置。
【請求項６】前記構造情報照合手段は、入力される前記構造情報Ｘ，Ｙにおいて、照合する可能
性のある各時間区間を算出するシーケンス照合区間算出
手段と、前記シーケンス照合区間算出手段から得られる前記時間
区間内で、前記構造情報Ｘ，Ｙを時間順に比較すること
で得られる、シーケンス間での一致項目数の時間変化を
計測する一致項目数遷移計測手段と、前記シーケンス照合区間算出手段から得られる前記時間
区間内で、前記構造情報Ｘ，Ｙを時間順に比較すること
で得られる、シーケンス間での不一致項目数の時間変化
を計測する不一致項目数遷移計測手段と、前記一致項目数遷移計測手段と前記不一致項目数遷移計
測手段により得られる一致項目数の時間変化及び不一致
項目数の時間変化から、前記構造情報Ｘ，Ｙ中で照合し
ていると考えられる部分シーケンスの開始・終了時間を
判定する最適部分シーケンス判定手段と、前記最適部分シーケンス判定手段から得られる前記開始
時間・前記終了時間の範囲内における一致項目数及び不
一致項目数を算出する一致・不一致項目数算出手段と、
を有する請求項５記載のデータ識別装置。
【請求項７】映像や音楽コンテンツなどのように表示
・再生処理における時間長を有するデータを蓄積したデ
ータベースからユーザからの提示データに対する類似デ
ータを識別・検索するデータ識別プログラムであって、表示・再生処理における時間長を有するデータから得ら
れる、ある特徴が存在する時間位置のシーケンスからな
る、該データの構造情報Ｘを取得する構造情報取得ステ
ップと、前記構造情報Ｘを、該構造情報の識別子と共に構造情報
データベースに格納する構造情報格納ステップと、前記構造情報取得ステップからの前記構造情報Ｘを、前
記構造情報データベースから得られる構造情報Ｙｉとシ
ーケンス照合することにより、両シーケンス照合区間に
おける一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する
構造情報照合ステップと、前記構造情報照合ステップから得られる一致項目数Ｍｉ
及び不一致項目数Ｕｉにより前記構造情報Ｘに対する構
造情報Ｙｉの類似性を判定し、類似している場合にはそ
の識別子ｉを識別結果として出力する類似構造情報識別
ステップと、をコンピュータに実現させることを特徴と
するデータ識別プログラム。
【請求項８】前記構造情報照合ステップにおいて、前記構造情報データベースから得られる構造情報Ｙｉ中
の時間位置シーケンスと、構造情報取得ステップから得
られる構造情報Ｘ中の時間位置シーケンスから、両者の
開始時間位置のずれ（オフセット）の候補値集合｛Ｏ｝
を算出するオフセット算出ステップと、前記オフセット算出ステップから得られる前記各オフセ
ットＯｊを、前記構造情報Ｘの各シーケンス項目に加算
することで、修正構造情報Ｘｊを生成する修正構造情報
生成ステップと、前記修正構造情報生成ステップから得られる前記各修正
構造情報Ｘｊと、前記構造情報Ｙｉを各々シーケンス照
合することにより、両シーケンス照合区間における一致
項目数Ｍｉｊ及び不一致項目数Ｕｉｊを各々算出する修
正構造情報照合ステップと、前記修正構造情報照合ステップから得られる全ての前記
一致項目数Ｍｉｊ及び前記不一致項目数Ｕｉｊにより構
造情報Ｙｉに対する修正構造情報Ｘｊの類似性を判定
し、最も類似している修正構造情報Ｘｊに対応する一致
項目数及び不一致項目数をその結果の項目数Ｍｉ、Ｕｉ
として出力する最適照合判定ステップと、をコンピュー
タに実現させる請求項７記載のデータ識別プログラム。
【請求項９】前記修正構造情報照合ステップにおい
て、入力される前記構造情報Ｘ，Ｙにおいて、照合する可能
性のある最小時間及び最大時間を算出するシーケンス照
合区間算出ステップと、前記シーケンス照合区間算出ステップから得られる照合
区間内で、前記構造情報Ｘ，Ｙを時間順に比較すること
で得られる、シーケンス間での一致項目数の時間変化を
計測する一致項目数遷移計測ステップと、前記シーケンス照合区間算出ステップから得られる時間
区間内で、前記構造情報Ｘ，Ｙを時間順に比較すること
で得られる、シーケンス間での不一致項目数の時間変化
を計測する不一致項目数遷移計測ステップと、前記一致項目数遷移計測ステップと前記不一致項目数遷
移計測ステップにより得られる一致項目数遷移情報及び
不一致項目数遷移情報から、前記構造情報Ｘ，Ｙ中で照
合していると考えられるシーケンス位置を判定する最適
部分シーケンス判定ステップと、前記最適部分シーケンス判定ステップから得られる開始
時間・終了時間の範囲内における一致項目数Ｍ及び不一
致項目数Ｕを算出する一致・不一致項目数算出ステップ
と、を更にコンピュータに実現させる請求項８記載のデ
ータ識別プログラム。
【請求項１０】映像や音楽コンテンツなどのように表
示・再生処理における時間長を有するデータを蓄積した
データベースからユーザからの提示データに対する類似
データを識別・検索するデータ識別プログラムを格納し
た記憶媒体であって、前記請求項７乃至前記請求項９記載のプログラムを格納
したことを特徴とするデータ識別プログラムを格納した
記憶媒体。