JP2003196658A - 類似性判定方法および装置 - Google Patents

類似性判定方法および装置

Info

Publication number
JP2003196658A
JP2003196658A JP2001400481A JP2001400481A JP2003196658A JP 2003196658 A JP2003196658 A JP 2003196658A JP 2001400481 A JP2001400481 A JP 2001400481A JP 2001400481 A JP2001400481 A JP 2001400481A JP 2003196658 A JP2003196658 A JP 2003196658A
Authority
JP
Japan
Prior art keywords
signal
activity
similarity
feature amount
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001400481A
Other languages
English (en)
Other versions
JP3951707B2 (ja
Inventor
Eiji Kasuya
英司 粕谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001400481A priority Critical patent/JP3951707B2/ja
Publication of JP2003196658A publication Critical patent/JP2003196658A/ja
Application granted granted Critical
Publication of JP3951707B2 publication Critical patent/JP3951707B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 検索対象信号と問合せ信号との類似性を判定
する際の判定精度を向上させる類似性判定方法および装
置を提供する。 【解決手段】検索対象特徴量生成部31は、検索対象信
号入力端子2から検索対象信号が入力される毎に、検索
対象信号より特徴量を生成する。問合せ特徴量生成部3
2は、問合せ信号入力端子1から入力された問合せ信号
より特徴量を生成する。アクティビティ算出部33は、
問合せ信号を解析してそのアクティビティ(複雑度)を
算出する。類似性判定部35は、類似条件決定部34に
より決定された条件に基づき、問い合わせ特徴量生成部
32で生成された特徴量と検索対象特徴量生成部31で
生成された特徴量との間の類似性を判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像信号や音響信号
などの類似性を判定する技術に係り、特に、信号検索な
どに利用される類似性判定方法および装置に関する。
【0002】
【従来の技術】信号データベースに蓄積された映像や音
響などの信号データから、所望の問合せ信号に類似する
信号データを検索する類似信号検索技術が種々提案され
ている。このような類似信号検索技術は、たとえば、現
在放送されている映像信号と、データベースで管理され
ているコマーシャルの映像信号とを逐次比較することに
より現在放送されているコマーシャルを特定することを
可能とする。
【0003】従来、この種の類似信号検索技術は、類似
性を判定する際、主として、問合せ信号および検索対象
信号から特徴量系列を抽出する。そして双方の特徴量系
列間の類似度を算出したうえで、算出された類似度とあ
らかじめ定められたしきい値との比較結果に基づいて、
問合せ信号と類似した信号が検索対象信号中に存在する
か否かを判定する。
【0004】類似度算出に要する計算量を削減する方法
は、たとえば特開平10−320400号公報、特開2
001−167118号公報、および特開平11−13
0630号公報に記載されている。特開平10−320
400号公報記載のシステムでは、特徴量系列中の同じ
特徴量が続く冗長な区間を一つにまとめ、特徴量サイズ
を減らした上で類似度算出を行うことにより計算量を削
減する。また、特開2001−167118号公報記載
のシステムでは、画像データベースの検索対象画像の特
徴量と問い合わせ画像の特徴量とをそれぞれ係数変換
し、係数変換されたそれぞれの画像特徴量を用いて類似
度計算を実行する。これによって類似度計算量および必
要な蓄積容量を削減することができる。さらに、特開平
11−130630号公報記載のシステムは,問合せ信
号が、ある1つの検索対象信号系列のどの部分に含まれ
ているか検索を行うシステムである。検索対象信号系列
に対して注目窓を設け、注目窓の移動量を適応的に定め
ることにより計算量を削減する。ただし、各注目窓に対
する類似度計算の削減については検討されていない。
【0005】一方、類似信号検索における検索精度を向
上させるためには、類似性の判定精度を高いものにする
ことが必要になる。類似性の判定精度を高めるために、
我々は、すでに「画像特徴量生成装置、画像検索装置、
ならびにその生成方法及び検索方法」(特開2000−
259832号公報)において、画像特徴量を周波数領
域で効率よく表現することにより類似性の判定精度を向
上させる動画像検索方法について提案した。
【0006】
【発明が解決しようとする課題】しかしながら,上記従
来の検索方法では,変化の少ない問合せ信号の場合と、
動きなどの変化が激しい問合せ信号の場合とでは検索結
果にばらつきが生じる。すなわち、同一の条件(類似度
のしきい値処理など)で類似性判定を行うと、変化の少
ない方では過剰検出が増え,変化の大きい方では未検出
が増える、という問題点があった。
【0007】このことを、例えば映像信号で考えると,
問合せ信号の持つ動きや明るさの変化が激しい場合、サ
ンプル位置の違いによる誤差が蓄積しやすいため,類似
とみなすしきい値を厳しくするにつれて検出漏れが増え
る。逆に、問合せ信号が動きのほとんどない変化の少な
い映像である場合には、時間軸方向で個々の信号を区別
することが難しくなるため,類似とみなすしきい値を厳
しくする必要がある。
【0008】同様に、例えば音響信号で考えると,問合
せ信号の持つ振幅の変化やパワーの変化が激しい場合、
サンプル位置の違いによる誤差が蓄積しやすいため,類
似とみなすしきい値を厳しくするにつれて検出漏れが増
える。逆に、問合せ信号が振幅の変化やパワーの変化の
少ない音響信号である場合、例えば無音状態が続くよう
な場合には,時間軸方向で個々の信号を区別することが
難しくなるため,類似とみなすしきい値を厳しくする必
要がある。
【0009】このため、しきい値を甘くするにつれて類
似していない信号の過剰検出が増える。この問題を解決
するために、問合せ信号に実際に類似する信号と類似し
ない信号とを十分区別できるように特徴量の数や種類を
増やすことも可能である。しかしながら、特徴量の数や
種類が冗長となるために、無駄に特徴量の照合が行われ
てしまうという問題があった。これらの問題は、問合せ
信号の性質に関係なく一定のしきい値を設定することに
より類似性の判定を行うことが原因で生じるものであ
る。
【0010】本発明は、上述の事情に鑑みてなされたも
のであり、その目的は、信号の性質に合わせて適応的に
特徴量の抽出および類似性の判定を行うことにより、効
率よく高い精度で類似性を判定できる類似性判定方法お
よび装置を提供することにある。
【0011】
【課題を解決するための手段】上記課題を解決するため
に、本発明の第1の観点によれば、第1の信号および第
2の信号それぞれの特徴量に基づいて前記第1の信号と
第2の信号との類似性を判定する類似性判定装置におい
て、前記第1の信号および第2の信号の少なくとも一方
のアクティビティを算出するアクティビティ算出手段
と、前記アクティビティに基づいて、類似性判定のため
の判定条件を決定する類似条件決定手段と、前記判定条
件に基づいて、前記第1の信号と第2の信号との類似性
を判定する類似性判定手段と、を有することを特徴とす
る。
【0012】さらに、前記アクティビティに基づいて、
抽出すべき特徴量を定義する特徴量条件を決定する特徴
量決定手段と、前記特徴量条件にしたがって、前記第1
の信号および第2の信号のうちの対応する信号から特徴
量を抽出する特徴量抽出手段と、を有することが望まし
い。
【0013】本発明の第2の観点によれば、第1の信号
および第2の信号それぞれの特徴量に基づいて前記第1
の信号と第2の信号との類似性を判定する類似性判定装
置において、前記第1の信号および第2の信号の少なく
とも一方のアクティビティを算出するアクティビティ算
出手段と、前記アクティビティに基づいて、抽出すべき
特徴量を定義する特徴量条件を決定する特徴量決定手段
と、前記特徴量条件にしたがって、前記第1の信号およ
び第2の信号のうちの対応する信号から特徴量を抽出す
る特徴量抽出手段と、前記第1の信号および第2の信号
それぞれの特徴量に基づいて前記第1の信号と第2の信
号との類似性を判定する類似性判定手段と、を有するこ
とを特徴とする。
【0014】上述したように、本発明によれば、アクテ
ィビティ算出手段により、信号を解析してそのアクティ
ビティ(複雑度)を算出し、算出されたアクティビティ
より信号から抽出する特徴量および類似性の判定を行う
際の条件を決定する。つまり、信号のアクティビティに
応じて特徴量の抽出を行い、信号のアクティビティに応
じて類似性の判定を行うことができ、この結果、信号の
性質に合わせて適応的に特徴量の抽出および類似性の判
定を行うことができる。
【0015】
【発明の実施の形態】本発明は、さまざまな種類の信号
に適用可能であるが、以下の説明では、一例として、映
像信号を用いた場合について説明する。また、本発明で
は、さまざまな特徴量を用いることができるが、ここで
は一例として、映像の各フレームを固定サイズの画像に
変換したうえで、画像の色のスペクトラムの周波数分布
を複数の帯域に分割し、離散コサイン変換(DCT)を
行い、低周波成分を抽出し、非線形変換を行うことによ
り得られる特徴量の時系列集合を用いる。
【0016】(第1実施形態)図1は、本発明に係る類
似性判定装置の第1実施形態の構成例を示すブロック図
である。本実施形態は、映像検索システムや音響検索シ
ステムといった信号検索システムの一部として利用され
得る。
【0017】図1に示すように、本実施形態に係る類似
性判定装置3には、検索に用いる問合せ映像信号を入力
する問合せ信号入力端子1と、検索対象となる映像信号
を入力する検索対象信号入力端子2とが設けられてい
る。類似性判定装置3は、入力した問合せ信号と検索対
象信号との類似性を判定し、その類似性判定結果をディ
スプレイ装置や印刷装置等の出力装置4へ出力する。
【0018】類似性判定装置3は、検索対象特徴量生成
部31、問合せ特徴量生成部32、アクティビティ算出
部33,類似条件決定部34および類似性判定部35を
有する。以下、各構成ブロックについて説明する。
【0019】1.1)特徴量生成 検索対象特徴量生成部31は、検索対象信号入力端子2
から検索対象信号が入力される毎に、検索対象信号より
特徴量を生成する。問合せ特徴量生成部32は、問合せ
信号入力端子1から入力された問合せ信号より特徴量を
生成する。ここで、特徴量としてはさまざまなものが考
えられるが、例えば、映像中に含まれる一部または全体
のフレームより、色や形状、テクスチャを表す特徴量
を、例えば文献;"COLOR AND TEXTUR
E DESCRIPTORS"(IEEE Trans
actions on Circuts and Sy
stems for Video Technolog
y Vol.11、No.6、June2001)に記
載された方法を用いて生成することができる。
【0020】また、映像信号より、映像の動きを表す特
徴量、例えば映像中の動きの激しさ(例えば動きベクト
ルの総量)、動きの方向性、時空間的分布状況などを生
成することもできる。例えば、文献;"MPEG−7
Visual MotionDesscriptor
s"(IEEE Transactions onCi
rcuts and Systems for Vid
eo Technology Vol.11、No.
6、June2001)記載の方法を利用して生成する
ことも出来る。
【0021】さらに、映像信号のみならず音響信号から
も特徴量を生成することができる。例えば文献;"OV
ERVIEW OF MPEG−7 AUDIO"(I
EEETransactions on Circut
s and Systemsfor Video Te
chnology Vol.11、No.6、June
2001)に記載された方法を用いて音響信号から特徴
量を生成することもできる。
【0022】図2は、本実施形態で用いられる特徴量生
成部31および32の構成例を示すブロック図である。
フレーム抽出部301は、入力された信号中のフレーム
を抽出し、各フレームを画像サイズ変換部302に入力
する。画像サイズ変換部302は、入力されたフレーム
を合計64(8×8)個のブロックに分割し、それぞれ
の区画の代表色(平均色など)を算出することにより、
8画素×8画素の縮退画像を生成する。なお縮退画像の
色空間はYCbCrを採用する。
【0023】周波数変換部303は、画像サイズ変換部
302により得られた縮退画像に対してDCT(離散コ
サイン変換)を行う。変換係数抽出部304は、周波数
変換部303により得られた変換係数をジグザグスキャ
ンにより低周波成分から順に定められた個数を抽出す
る。非線形量子化部305は、変換係数抽出部304よ
り抽出された各係数について、直流成分を6ビット、交
流成分を5ビットでそれぞれ量子化しフレーム特徴量を
構築する。こうして、信号特徴量は各フレームより得ら
れたフレーム特徴量の時系列集合となる。
【0024】1.2)アクティビティ算出 アクティビティ算出部33は、問合せ信号を解析してそ
のアクティビティ(複雑度)を算出する。アクティビテ
ィとは信号の複雑度を表し、例えば信号分布の相関や分
散、映像信号内に含まれるカット数、音響信号内に含ま
れる無音区間の分散などをアクティビティとすることが
できる。
【0025】たとえば、図3に示すように、アクティビ
ティ算出部33が特徴量抽出部331とアクティビティ
計算部332とからなり、問い合わせ信号から特徴量を
生成したのちに、抽出された特徴量を解析してアクティ
ビティを算出することもできる。ここで、アクティビテ
ィ算出に用いる特徴量は種々のものを用いることができ
るが、例えば検索対象特徴量生成部31に挙げた各種特
徴量生成方法を利用することもできる。
【0026】さらに、図4に示すように、問合せ特徴量
生成部32より生成された特徴量、つまり類似性判定部
35に入力するものと同一の特徴量を解析してアクティ
ビティを算出してもよい。また、別途用意された任意の
特徴量をアクティビティ算出に用いてもよい。
【0027】図5は、アクティビティとしてカット数を
用いる場合のアクティビティ算出部の動作を概略的に示
すフローチャートである。はじめに、信号入力端子より
信号を入力する(ステップA1)。次に、入力された信
号よりカット検出を行う(ステップA2)。カット検出
方法としてはさまざまな方法が考えられる。例えば入力
信号が映像である場合には、画素ベースでフレーム間差
分を算出することによりカット検出を行うことができ
る。また、各フレームより例えば色ヒストグラムのよう
な画像特徴量を生成して、画像特徴量間の距離を算出す
ることによりカット検出を行うこともできる。そして、
検出されたカット数を入力信号のアクティビティとして
出力する(ステップA3)。
【0028】1.3)類似性判定 類似条件決定部34は、アクティビティ算出部33で算
出されたアクティビティに従って、類似性判定を行うた
めの条件を決定する。類似性判定部35は、類似条件決
定部34により決定された条件に基づき、問い合わせ特
徴量生成部32で生成された特徴量と検索対象特徴量生
成部31で生成された特徴量との間の類似性を判定す
る。
【0029】より具体的には、例えば、検索対象映像が
入力されるごとに検索対象映像に識別子を割り当て、類
似していると判定された場合には、割り当てられた識別
子を出力装置4に出力する。このような処理により、出
力装置4には問合せ信号と類似性が高い検索対象信号の
識別子が出力されるので、ユーザは、例えば、識別子を
指定することにより、問合せ信号と類似性の高い検索対
象信号を得ることができる。また、例えば識別子として
特定コンテンツの名称を与えることにより、ユーザは識
別子を見ることにより問合せ映像がどのコンテンツであ
るか、または類似しているかを知ることが出来る。
【0030】図6は、類似性判定部35の構成例を示す
ブロック図である。特徴量間類似度算出部105は、問
い合わせ特徴量生成部32で生成された特徴量と、検索
対象特徴量生成部31で生成された特徴量との間の類似
度を示す値を算出する。検出判定部106は、特徴量間
類似度算出部105で算出された類似度値が、類似条件
決定部34により決定された条件を満たすか否かを判定
する。
【0031】1.4)類似条件 類似性の判定を行う際の条件の定め方としては、さまざ
まな方法が考えられる。例えば類似条件決定部34が検
索対象信号と問合せ信号が類似しているとみなすしきい
値を決定し、類似度値がこのしきい値を越えるか否か
(類似度値が特徴量ベクトル間の距離であれば距離値が
しきい値より低いか否か)により検索対象信号と問合せ
信号が類似しているか否かを判定することができる。
【0032】例えば、カット数の多い問合せ信号や動き
の激しい問合せ信号に対しては、検索対象信号と問合せ
信号が類似しているとみなすしきい値を甘く(類似度の
場合は低く、距離の場合は高く)設定しておき、カット
数の少ない信号や動きの少ない信号に対してはしきい値
を厳しく(類似度の場合は高く、距離の場合は低く)設
定しておく。このように問合せ信号のアクティビティに
合わせてしきい値を設定することができる。ただし、類
似性の判定条件はしきい値である必要はない。複数次元
のしきい値ベクトルや評価関数などを判定条件として用
いてもよい。
【0033】1.5)動作 次に、本実施形態の動作をフローチャートを用いて説明
する。ここでは、一例として、アクティビティがカット
点の数で表され、また、検索対象信号は複数あるものと
する。
【0034】図7は、第1実施形態による類似性判定装
置の動作を示すフローチャートである。先ず、問合せ信
号入力端子1から問合せ映像を入力する(ステップB
1)。これにより、問合せ特徴量算出部32が、問合せ
映像の特徴量を生成する(ステップB2)。
【0035】次に、アクティビティ算出部33は、問合
せ映像よりカット検出を行い、カットの数を算出する
(ステップB3)。カットを検出する処理としては適宜
のものを使用することが出来るが、例えば映像中の連続
するフレームより特徴量抽出を行い、連続するフレーム
の特徴量間距離を算出したうえで、距離があるしきい値
を越える場合にカットとみなすことにより行うことが出
来る。
【0036】類似条件決定部34は、アクティビティ算
出部33により算出されたカットの数に応じて、問合せ
映像と検索対象映像の類似性の判定を行う際の条件(し
きい値)を決定する(ステップB4)。
【0037】続いて、検索対象信号入力端子2から検索
対象映像を1つ入力し(ステップB5)、すべての検索
対象信号の入力が終了したか否かを判定する(ステップ
B6)。この時点では第1番目の検索対象映像が入力し
ただけなので(ステップB6のNO)、検索対象特徴量
算出部31は検索対象映像の特徴量を生成する(ステッ
プB7)。
【0038】その後、特徴量間類似度算出部104が、
問合せ映像の特徴量と検索対象映像の特徴量との類似度
を算出する(ステップB8)。そして、類似性判定部3
5は、算出された類似度が、類似条件決定部34により
決定された類似条件を満たすか否かを判定し、類似条件
を満たす検索対象映像と識別子とを対応付けて保持する
(ステップB9)。
【0039】以上の処理ステップB5〜B9を全ての検
索対象映像に対して行う。そして、全ての検索対象映像
に対して上記処理が行われると(ステップB6のYE
S)、類似していると判定された場合に、割り当てられ
た識別子を出力装置4に出力する(ステップB10)。
【0040】このようにして、出力装置4は問合せ信号
と類似性が高い検索対象信号の識別子を受け取るので、
ユーザは、例えば、識別子を指定することにより、問合
せ信号と類似性の高い検索対象信号を得ることができ
る。また、例えば識別子として特定コマーシャルの名称
を与えることにより、ユーザは識別子を見ることにより
問合せ映像がどのコマーシャルであるかを知ることが出
来る。
【0041】上述したように、本実施の形態では、アク
ティビティ算出部33は、問合せ信号を解析してそのア
クティビティ(複雑度)を算出し、類似条件決定部34
はそのアクティビティに基づいて類似性の判定条件を決
定する。従って、信号のアクティビティに応じた類似性
の判定を類似性判定部35で行うことができる。この結
果、信号の性質に合わせて適応的に類似性の判定を行う
ことができ、効率よく高い精度で類似性を判定できるよ
うにすることができる。
【0042】なお、図8に示すように、第1実施形態に
おいて、問合せ信号と検索対象信号とを入れ替えても、
同様の効果が得られることはいうまでもない。この例で
は、検索対象信号を用いてアクティビティを算出してい
る点が、図1の例と異なるだけであるから、説明は省略
する。
【0043】(第2実施形態)図9は、本発明による類
似性判定装置の第2実施形態の構成例を示すブロック図
である。本実施形態による類似性判定装置3aには、検
索に用いる問合せ映像信号を入力する問合せ信号入力端
子1と、検索対象となる映像信号を入力する検索対象信
号入力端子2とが設けられている。類似性判定装置3a
は、入力した問合せ信号と検索対象信号との類似性を判
定し、その類似性判定結果をディスプレイ装置や印刷装
置等の出力装置4へ出力する。
【0044】類似性判定装置3aは、検索対象特徴量生
成部31a、問合せ特徴量生成部32a、アクティビテ
ィ算出部33a、類似性判定部35a、および問合せ特
徴量決定部36aを有する。以下、各構成ブロックにつ
いて説明する。
【0045】検索対象特徴量生成部31aは、検索対象
信号入力端子2から検索対象信号が入力される毎に、検
索対象信号より特徴量を生成する。アクティビティ算出
部33aは、問合せ信号を解析してそのアクティビティ
(複雑度)を算出する。第1実施形態におけるアクティ
ビティ算出部33と同様の動作を行う。
【0046】問合せ特徴量決定部36aは、アクティビ
ティ算出部33aにより算出されたアクティビティに基
づいて、問合せ信号から抽出する特徴量の数や種類など
といった特徴量抽出条件を決定する。問合せ特徴量生成
部32aは、問合せ信号入力端子1から入力された問合
せ信号より、問合せ特徴量決定部36aにより決定され
た特徴量抽出条件に基づき特徴量を生成する。
【0047】図10は、特徴量生成部32aの構成例を
示すブロック図である。図1に示した特徴量生成部31
および32との相違点は、変換係数抽出部304の代わ
りに変換係数抽出部304aを備えている点である。
変換係数抽出部304aは、特徴量決定部36aにより
算出された特徴量抽出条件に応じて、周波数変換部30
3から入力した変換係数のうちどの係数を抽出するかを
決定する。なお、問合せ映像全体のアクティビティを算
出して、各フレームから抽出する特徴量を一括で定める
ことも、フレーム単位でアクティビティを算出してフレ
ーム毎に抽出する特徴量を設定することも、また例えば
カット点フレームに対しては特定の条件で特徴量を抽出
することもできる。
【0048】類似性判定部35aは、問い合わせ特徴量
生成部32aで生成された特徴量と、検索対象特徴量生
成部31aで生成された特徴量との間の類似性を算出
し、問合せ信号が検索対象信号に類似しているか否かを
判定する。より具体的には、例えば、検索対象信号入力
端子2から検索対象映像が入力されるごとに、検索対象
映像に識別子を割り当て、類似していると判定された場
合には割り当てられた識別子を出力装置4に出力する。
以上の処理により、出力装置4には問合せ信号と類似性
が高い検索対象信号の識別子が出力されるので、ユーザ
は、例えば、識別子を指定することにより、問合せ信号
と類似性の高い検索対象信号を得ることができる。ま
た、例えば識別子として特定コマーシャルの名称を与え
ることにより、ユーザは識別子を見ることにより問合せ
映像がどのコマーシャルであるか(どのコマーシャルと
類似しているか)を知ることが出来る。
【0049】なお、問合せ映像の特徴量と、検索対象映
像の特徴量とで保持している係数が異なる場合がある
が、異なる構成要素を持つ画像特徴量どうしの類似度算
出方法としては、本発明者らによる特願2001−22
4547号記載の方法などがある。
【0050】上述したように、本実施形態において、ア
クティビティ算出部33aは問合せ信号を解析してその
アクティビティ(複雑度)を算出し、特徴量決定部36
aはそのアクティビティに基づいて問合せ信号より抽出
する特徴量を決定する。従って、信号のアクティビティ
に応じた特徴量の抽出は、問合せ特徴量生成部32aで
行われる。この結果、信号の性質に合わせて適応的に特
徴量の抽出を行うことができ、効率よく高い精度で類似
性を判定できるようにすることができる。
【0051】(第3実施形態)図11は、本発明による
類似性判定装置の第3実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3bには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
bは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
【0052】類似性判定装置3bは、検索対象特徴量生
成部31b、問合せ特徴量生成部32b、アクティビテ
ィ算出部33b、類似条件決定部34b、類似性判定部
35b、および問合せ特徴量決定部36bを有する。以
下、各構成ブロックについて説明する。
【0053】検索対象特徴量生成部31bは、検索対象
信号入力端子2から検索対象信号が入力される毎に、検
索対象信号より特徴量を生成する。アクティビティ算出
部33bは、問合せ信号を解析してそのアクティビティ
(複雑度)を算出する。第1実施形態におけるアクティ
ビティ算出部33と同様の動作を行う。
【0054】問合せ特徴量決定部36bは、アクティビ
ティ算出部33bにより算出されたアクティビティに基
づいて、問合せ特徴量より抽出する特徴量の数や種類な
どといった特徴量抽出条件を決定する。類似条件決定部
34bは、アクティビティ算出部33bにより算出され
たアクティビティに基づいて、類似性の判定を行う際の
条件を決定する。
【0055】問合せ特徴量生成部32bは、問合せ特徴
量決定部36bにより決定された特徴量抽出条件に基づ
き、問合せ信号入力端子1から入力された問合せ信号か
ら特徴量を生成する。
【0056】類似性判定部35bは、類似条件決定部3
4bにより決定された条件に基づき、問い合わせ特徴量
生成部32bで生成された特徴量と検索対象特徴量生成
部31bで生成された特徴量との間の類似性を判定す
る。
【0057】上述したように、本実施形態では、アクテ
ィビティ算出部33bが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36bが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。
【0058】さらに、類似条件決定部34bが、アクテ
ィビティ算出部33bにより算出されたアクティビティ
に基づいて類似性の判定を行う際の条件を決定する。従
って、信号のアクティビティに応じた特徴量の抽出を問
合せ特徴量生成部32bで行い、信号のアクティビティ
に応じた類似性の判定を類似性判定部35bで行うこと
ができる。この結果、信号の性質に合わせて適応的に特
徴量の抽出および類似性の判定を行うことができ、効率
よく高い精度で類似性を判定できるようにすることがで
きる。
【0059】(第4実施形態)図12は、本発明による
類似性判定装置の第4実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3cには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
cは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
【0060】類似性判定装置3cは、検索対象特徴量生
成部31c、問合せ特徴量生成部32c、アクティビテ
ィ算出部33c、類似条件決定部34c、類似性判定部
35c、およびアクティビティ算出部37cを有する。
以下、各構成ブロックについて説明する。
【0061】検索対象特徴量生成部31cは、検索対象
信号入力端子2から入力された問合せ信号より特徴量を
生成する。問合せ特徴量生成部32cは、問合せ信号入
力端子1から入力された問合せ信号から特徴量を生成す
る。
【0062】アクティビティ算出部33cは、問合せ信
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37cは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。これ
らアクティビティ算出部33cおよび37cは、第1実
施形態におけるアクティビティ算出部33と同様の動作
を行う。
【0063】類似条件決定部34cは、アクティビティ
算出部33cにより算出されたアクティビティおよびア
クティビティ算出部37cにより算出されたアクティビ
ティに基づいて、類似性の判定を行う際の条件を決定す
る。
【0064】類似性判定部35cは、類似条件決定部3
4cにより決定された条件に基づき、問い合わせ特徴量
生成部32cで生成された特徴量と検索対象特徴量生成
部31cで生成された特徴量との間の類似性を判定す
る。
【0065】上述したように、本実施形態では、アクテ
ィビティ算出部33cおよび37cがそれぞれ問合せ信
号および検索対象信号を解析してそれらアクティビティ
(複雑度)を算出し、類似条件決定部34cが、それら
アクティビティに基づいて、類似性の判定を行う際の条
件を決定する。従って、信号のアクティビティに応じた
類似性の判定を類似性判定部35cで行うことができ
る。この結果、信号の性質に合わせて適応的に類似性の
判定を行うことができ、効率よく高い精度で類似性を判
定できるようにすることができる。
【0066】(第5実施形態)図13は、本発明による
類似性判定装置の第5実施形態の構成例を示すブロック
図である。本実施形態における類似性判定装置3dに
は、検索に用いる問合せ映像信号を入力する問合せ信号
入力端子1と、検索対象となる映像信号を入力する検索
対象信号入力端子2とが設けられている。類似性判定装
置3dは、入力した問合せ信号と検索対象信号との類似
性を判定し、その類似性判定結果をディスプレイ装置や
印刷装置等の出力装置4へ出力する。
【0067】類似性判定装置3dは、検索対象特徴量生
成部31d、問合せ特徴量生成部32d、アクティビテ
ィ算出部33d、類似条件決定部34d、類似性判定部
35d、問合せ特徴量決定部36d、およびアクティビ
ティ算出部37dを有する。以下、各構成ブロックにつ
いて説明する。
【0068】アクティビティ算出部33dは、問合せ信
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37dは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
【0069】問合せ特徴量決定部36dは、アクティビ
ティ算出部33dにより算出されたアクティビティより
問合せ信号より抽出する特徴量の数や種類などといった
特徴量抽出条件を決定する。問合せ特徴量生成部32d
は、問合せ特徴量決定部36dにより決定された特徴量
抽出条件に基づき、問合せ信号入力端子1から入力され
た問合せ信号より特徴量を生成する。
【0070】検索対象特徴量生成部31dは、検索対象
信号入力端子2から入力された検索対象信号より特徴量
を生成する。類似条件決定部34dは、アクティビティ
算出部37dにより算出されたアクティビティより類似
性の判定を行う際の条件を決定する。
【0071】類似性判定部35dは、類似条件決定部3
4dにより決定された条件に基づき、問い合わせ特徴量
生成部32dで生成された特徴量と検索対象特徴量生成
部31dで生成された特徴量との間の類似性、すなわち
問合せ信号が検索対象信号に類似しているか否かを判定
する。
【0072】上述したように、本実施形態では、アクテ
ィビティ算出部33dが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36dが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。さらに、類似条件決定部34dがア
クティビティ算出部37dにより算出されたアクティビ
ティに基づいて類似性の判定を行う際の条件を決定す
る。したがって、信号のアクティビティに応じた特徴量
の抽出が問合せ特徴量生成部32dで行われ、信号のア
クティビティに応じた類似性の判定が類似性判定部35
dで行われる。
【0073】この結果、信号の性質に合わせて適応的に
特徴量の抽出および類似性の判定を行うことができ、効
率よく高い精度で類似性を判定できるようにすることが
できる。
【0074】(第6実施形態)図14は、本発明による
類似性判定装置の第6実施形態の構成例を示すブロック
図である。本実施形態における類似性判定装置3eに
は、検索に用いる問合せ映像信号を入力する問合せ信号
入力端子1と、検索対象となる映像信号を入力する検索
対象信号入力端子2とが設けられている。類似性判定装
置3eは、入力した問合せ信号と検索対象信号との類似
性を判定し、その類似性判定結果をディスプレイ装置や
印刷装置等の出力装置4へ出力する。
【0075】類似性判定装置3eは、検索対象特徴量生
成部31e、問合せ特徴量生成部32e、アクティビテ
ィ算出部33e、類似条件決定部34e、類似性判定部
35e、問合せ特徴量決定部36e、およびアクティビ
ティ算出部37eを有する。以下、各構成ブロックにつ
いて説明する。
【0076】アクティビティ算出部33eは、問合せ信
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37eは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
【0077】問合せ特徴量決定部36eは、アクティビ
ティ算出部33eにより算出されたアクティビティに基
づいて、問合せ信号より抽出する特徴量の数や種類など
といった特徴量抽出条件を決定する。問合せ特徴量生成
部32eは、問合せ特徴量決定部36eにより決定され
た特徴量抽出条件に基づき、問合せ信号から特徴量を生
成する。検索対象特徴量生成部31eは、検索対象信号
入力端子2から入力された検索対象信号から特徴量を生
成する。
【0078】類似条件決定部34eは、アクティビティ
算出部33eおよび37eによりそれぞれ算出されたア
クティビティに基づいて、類似性の判定を行う際の条件
を決定する。類似性判定部35eは、類似条件決定部3
4eにより決定された条件に基づき、問い合わせ特徴量
生成部32eで生成された特徴量と検索対象特徴量生成
部31eで生成された特徴量との間の類似性、すなわち
問合せ信号が検索対象信号に類似しているか否かを判定
する。
【0079】上述したように、本実施形態では、アクテ
ィビティ算出部33eが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36eが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。さらに、類似条件決定部34eが、
アクティビティ算出部33eにより算出されたアクティ
ビティおよびアクティビティ算出部37eにより算出さ
れたアクティビティに基づいて類似性の判定を行う際の
条件を決定する。従って、信号のアクティビティに応じ
た特徴量の抽出を問合せ特徴量生成部32eで行い、信
号のアクティビティに応じた類似性の判定を類似性判定
部35eで行うことができる。この結果、信号の性質に
合わせて適応的に特徴量の抽出および類似性の判定を行
うことができ、効率よく高い精度で類似性を判定できる
ようにすることができる。
【0080】(第7実施形態)図15は、本発明による
類似性判定装置の第7実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3fには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
fは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
【0081】類似性判定装置3fは、検索対象特徴量生
成部31f、問合せ特徴量生成部32f、アクティビテ
ィ算出部33f、類似条件決定部34f、類似性判定部
35f、問合せ特徴量決定部36f、アクティビティ算
出部37f、および検索対象特徴量決定部38fを有す
る。以下、各構成ブロックについて説明する。
【0082】アクティビティ算出部33fは、問合せ信
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37fは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
【0083】問合せ特徴量決定部36fは、アクティビ
ティ算出部33fにより算出されたアクティビティに基
づいて、問合せ信号より抽出する特徴量の数や種類など
といった特徴量抽出条件を決定する。問合せ特徴量生成
部32fは、検索対象特徴量決定部36fにより決定さ
れた特徴量抽出条件に基づき、問合せ信号入力端子1か
ら入力された問合せ信号から特徴量を生成する。
【0084】検索対象特徴量決定部38fは、アクティ
ビティ算出部33fにより算出されたアクティビティよ
り検索対象信号より抽出する特徴量の数や種類などとい
った特徴量抽出条件を決定する。検索対象特徴量生成部
31fは、検索対象特徴量決定部36fにより決定され
た特徴量抽出条件に基づき、検索対象信号から特徴量を
生成する。
【0085】類似条件決定部34fは、アクティビティ
算出部33fにより算出されたアクティビティにより算
出されたアクティビティに基づいて類似性の判定を行う
際の条件を決定する。類似性判定部35fは類似条件決
定部34fにより決定された条件に基づき、問い合わせ
特徴量生成部32fで生成された特徴量と検索対象特徴
量生成部31fで生成された特徴量との間の類似性、す
なわち問合せ信号が検索対象信号に類似しているか否か
を判定する。
【0086】上述したように、本実施形態では、アクテ
ィビティ算出部33fが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36fが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。また、アクティビティ算出部37f
が検索対象信号を解析してそのアクティビティ(複雑
度)を算出し、特徴量決定部38fがそのアクティビテ
ィに基づいて検索対象信号より抽出する特徴量を決定す
る。さらに、類似条件決定部34fがアクティビティ算
出部33fにより算出されたアクティビティより類似性
の判定を行う際の条件を決定する。
【0087】従って、信号のアクティビティに応じて特
徴量の抽出を問合せ特徴量生成部32fおよび検索対象
特徴量生成部31fで行い、信号のアクティビティに応
じた類似性の判定を類似性判定部35fで行うことがで
きる。この結果、信号の性質に合わせて適応的に特徴量
の抽出および類似性の判定を行うことができ、効率よく
高い精度で類似性を判定できるようにすることができ
る。
【0088】(第8実施形態)図16は、本発明による
類似性判定装置の第8実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3gには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
gは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
【0089】類似性判定装置3gは、検索対象特徴量生
成部31g、問合せ特徴量生成部32g、アクティビテ
ィ算出部33g、類似性判定部35g、問合せ特徴量決
定部36g、アクティビティ算出部37g、および検索
対象特徴量決定部38gを有する。以下、各構成ブロッ
クについて説明する。
【0090】アクティビティ算出部33gは、問合せ信
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37gは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
【0091】問合せ特徴量決定部36gは、アクティビ
ティ算出部33gにより算出されたアクティビティに基
づいて問合せ信号より抽出する特徴量の数や種類などと
いった特徴量抽出条件を決定する。問合せ特徴量生成部
32gは、問合せ特徴量決定部36gにより決定された
特徴量抽出条件に基づき、問合せ信号入力端子1から入
力された問合せ信号より特徴量を生成する。
【0092】検索対処特徴量決定部38gは、アクティ
ビティ算出部37gにより算出されたアクティビティに
基づいて検索対象信号から抽出する特徴量の数や種類な
どといった特徴量抽出条件を決定する。検索対象特徴量
生成部31gは、検索対象特徴量決定部38gにより決
定された特徴量抽出条件に基づき、検索対象信号から特
徴量を生成する。
【0093】類似性判定部35gは、問い合わせ特徴量
生成部32gで生成された特徴量と検索対象特徴量生成
部31gで生成された特徴量との間の類似性、すなわち
問合せ信号が検索対象信号に類似しているか否かを判定
する。
【0094】上述したように、本実施形態では、アクテ
ィビティ算出部33gが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36gが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。また、アクティビティ算出部37g
は、検索対象信号を解析してそのアクティビティ(複雑
度)を算出し、特徴量決定部38gはそのアクティビテ
ィに基づいて検索対象信号より抽出する特徴量を決定す
る。従って、信号のアクティビティに応じた特徴量の抽
出が問合せ特徴量生成部32gおよび検索対象特徴量生
成部31gで行われ、信号のアクティビティに応じた類
似性の判定が類似性判定部35gで行われる。この結
果、信号の性質に合わせて適応的に特徴量の抽出および
類似性の判定を行うことができ、効率よく高い精度で類
似性を判定できるようにすることができる。
【0095】(第9実施形態)図17は、本発明による
類似性判定装置の第9実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3hには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
hは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
【0096】類似性判定装置3hは、検索対象特徴量生
成部31h、問合せ特徴量生成部32h、アクティビテ
ィ算出部33h、類似条件決定部34h、類似性判定部
35h、問合せ特徴量決定部36h、アクティビティ算
出部37h、および検索対象特徴量決定部38hを有す
る。以下、各構成ブロックについて説明する。
【0097】アクティビティ算出部33hは、問合せ信
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37hは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
【0098】問合せ特徴量決定部36hは、アクティビ
ティ算出部33hにより算出されたアクティビティに基
づいて問合せ信号より抽出する特徴量の数や種類などと
いった特徴量抽出条件を決定する。問合せ特徴量生成部
32hは、問合せ特徴量決定部36hにより決定された
特徴量抽出条件に基づき、問合せ信号入力端子1から入
力された問合せ信号から特徴量を生成する。
【0099】検索対象特徴量決定部38hは、アクティ
ビティ算出部37hにより算出されたアクティビティに
基づいて検索対象信号より抽出する特徴量の数や種類な
どといった特徴量抽出条件を決定する。検索対象特徴量
生成部31hは、検索対象特徴量決定部36hにより決
定された特徴量抽出条件に基づき、検索対象信号入力端
子2から入力された検索対象信号から特徴量を生成す
る。
【0100】類似条件決定部34hは、アクティビティ
算出部33hおよび37hによりそれぞれ算出されたア
クティビティに基づいて、類似性の判定を行う際の条件
を決定する。類似性判定部35hは、類似条件決定部3
4hにより決定された条件に基づき、問合せ特徴量生成
部32hで生成された特徴量と検索対象特徴量生成部3
1hで生成された特徴量との間の類似性、すなわち問合
せ信号が検索対象信号に類似しているか否かを判定す
る。
【0101】上述したように、本実施形態において、ア
クティビティ算出部33hは問合せ信号を解析してその
アクティビティ(複雑度)を算出し、特徴量決定部36
hはアクティビティ算出部33hにより算出されたアク
ティビティに基づいて問合せ信号より抽出する特徴量を
決定する。また、アクティビティ算出部37hは検索対
象信号を解析してそのアクティビティ(複雑度)を算出
し、特徴量決定部38hはそのアクティビティに基づい
て検索対象信号より抽出する特徴量を決定する。さら
に、類似条件決定部34hはアクティビティ算出部33
hおよび37hによりそれぞれ算出されたアクティビテ
ィに基づいて、類似性の判定を行う際の条件を決定す
る。
【0102】従って、信号のアクティビティに応じた特
徴量の抽出が問合せ特徴量生成部32hおよび検索対象
特徴量生成部31hで行われ、信号のアクティビティに
応じた類似性の判定が類似性判定部35hで行われる。
この結果、信号の性質に合わせて適応的に特徴量の抽出
および類似性の判定を行うことができ、効率よく高い精
度で類似性を判定できるようにすることができる。 (第10実施形態)図18は、本発明による類似性判定
装置の第10実施形態の構成例を示すブロック図であ
る。本実施形態は、図1に示した第1実施形態による類
似性判定装置の処理速度を向上させるようにしたもので
ある。
【0103】図18に示すように、本実施形態による類
似性判定装置3iには、検索に用いる問合せ映像信号を
入力する問合せ信号入力端子1と、検索対象となる映像
信号を入力する検索対象信号入力端子2とが設けられて
いる。類似性判定装置3iは、入力した問合せ信号と検
索対象信号との類似性を判定し、その類似性判定結果を
ディスプレイ装置や印刷装置等の出力装置4へ出力す
る。
【0104】類似性判定装置3iは、検索対象特徴量生
成部31、問合せ特徴量生成部32、アクティビティ算
出部33、類似条件決定部34i、類似条件決定部34
iおよび類似性判定部35iを有する。なお、図1と同
一機能のブロックには同一参照番号を付して説明は省略
する。
【0105】類似条件決定部34iは、アクティビティ
算出部33により算出されたアクティビティに基づいて
類似性の判定を行う際の条件を決定し、3種類の条件
(第1の条件、第2の条件、第3の条件)を類似性判定
部35iへ出力する。
【0106】類似性判定部35iは、似条件決定部34
iにより決定された第3の条件にしたがって、問い合わ
せ特徴量生成部32で生成された特徴量と検索対象特徴
量生成部31で生成された特徴量との間の類似性、すな
わち問合せ信号が検索対象信号に類似しているか否かを
判定する。
【0107】類似性判定部35iは、特徴量間類似度算
出部105と検出判定部106とからなる。特徴量間類
似度算出部105は、問い合わせ特徴量生成部32で生
成された特徴量と検索対象特徴量生成部31で生成され
た特徴量との間の類似度を示す値を算出する。検出判定
部106は、特徴量間類似度算出部105で算出された
類似度値が類似条件決定部34により決定された第3の
条件を満たすか否かを判定する。
【0108】特徴量間類似度算出部105は、さらに、
特徴量分割部101、部分特徴量間類似度算出部10
2、部分特徴量間類似性判定部103、および類似度算
出部104を有する。
【0109】特徴量分割部101は、問合せ信号の特徴
量(問合せ特徴量)を複数の部分特徴量に分割する。部
分特徴量間類似度算出部102は、分割した各部分特徴
量と検索対象信号の特徴量(検索対象特徴量)の一部と
の部分的な類似度を算出する。部分特徴量間類似性判定
部103は、分割した各部分特徴量に対応した各類似度
が、類似条件決定部34により決定された第1の条件を
満たすか否かをそれぞれ判定し、第1の条件を満たさな
い部分特徴量の数を出力する。
【0110】部分的な類似度算出方法としては、例え
ば、問合せ特徴量に含まれる各フレームに対応した特徴
量を抽出し、検索対象特徴量(の同じ時間位置)に含ま
れるフレームに対応した特徴量との距離を算出する方法
が考えられる。距離としてはさまざまな定義が可能であ
る。例えば、DCT係数の低周波成分間の距離計算方法
としては、2つの特徴量間の距離Dは式(1)で表すこ
とができる。
【0111】
【数1】 ・・・(1)。
【0112】ここで、Yi、 Cbi、Criはi番目のD
CT係数であり、w1i〜w3iは重み係数である。重み
係数はDCT係数の周波数帯域によって異なる値を設定
することができる。
【0113】また、部分特徴量間の類似度が類似条件決
定部34により決定された第1の条件を満たすか否かを
判定する方法としては、例えば、算出された部分特徴量
間の類似度をのしきい値を、カット数の多い問合せ信号
や動きの激しい問合せ信号に対しては甘く(類似度の場
合は低く、距離の場合は高く)設定しておき、カット数
の少ない信号や動きの少ない信号に対してはしきい値を
厳しく(類似度の場合は高く、距離の場合は低く)設定
しておくなど、問合せ信号のアクティビティに合わせて
しきい値を設定する方法が考えられる。
【0114】類似度算出部104は、部分特徴量間類似
性判定部103より出力された数が、類似条件決定部3
4により決定された第2の条件を満たすか否かを判定す
る。部分特徴量間類似性判定部103より出力された数
が第2の条件を満たす場合、部分特徴量間類似度算出部
102により算出された各類似度を用いて問合せ特徴量
と検索対象特徴量と間の類似度の算出を行う。
【0115】この類似度の算出方法としてはさまざまな
方法が考えられる。例えば、部分特徴量間類似度算出部
101により算出された全ての類似度の平均値を利用す
る方法、部分特徴量間類似度算出部101により算出さ
れた部分的な類似度が類似条件決定部34により決定さ
れた条件を満たす場合のみの類似度の平均値を利用する
方法などがある。また、部分特徴量間類似性判定部10
3より出力された数が第2の条件を満たさない場合は、
類似度計算処理を打ち切ってもよいし、類似度として0
を出力することもできる。
【0116】本実施の形態では、問合せ信号と検索対象
信号が類似しないとみなされた場合に類似度算出を途中
で打ち切ることにより、類似性の判定処理に要する時間
を短くすることができる。
【0117】なお、第3実施形態〜第7実施形態(図1
1〜図15)および第9実施形態(図17)のいずれに
おいても、図18に示した第10実施形態と同様に、問
合せ信号と検索対象信号が類似しないとみなされた場合
に類似度算出を途中で打ち切るように類似性を判定して
もよい。具体的には、図11〜図15および図17に示
した類似性判定部を、図18に示した類似性判定部35
iと同様に、特徴量分割部101、部分特徴量間類似度
算出部102、部分特徴量間類似性判定部103、類似
度算出部104および検出判定部106で構成すること
ができる。
【0118】また、第2実施形態〜第10実施形態のい
ずれにおいても、図8に示すように、問合せ信号と検索
対象信号とを入れ替えてもよい。
【0119】(第11実施形態)図19は、本発明によ
る類似性判定装置の第11実施形態の構成例を示すブロ
ック図である。本実施形態は、図1に示した第1実施形
態による類似性判定装置を、テレビのリアルタイム放送
など逐次入力される信号を問合せ信号として用いること
ができるようにしたものである。
【0120】本実施形態による類似性判定装置は、図1
に示す類似性判定装置3の問合せ信号入力端子1に固定
サイズの信号バッファリング部6が接続され、逐次入力
される問合せ信号が信号バッファリング部6に順次蓄積
された後、アクティビティ算出部33および問合せ特徴
量生成部32に入力する。例えば、15秒のバッファを
設けた場合には、たとえばテレビのリアルタイム放送の
15秒分の映像信号を信号バッファリング部6に格納す
ることができる。バッファに信号を格納する際に、新規
フレームがバッファに入力されるたびにバッファを更新
していくことも、一定時間間隔でバッファを更新するこ
ともできる。
【0121】また、テレビのリアルタイム放送の映像信
号がバッファに格納されると同時に、バッファの映像信
号と、検索対象信号との類似性を判定することにより、
現在放送されているコンテンツを特定したり、類似コン
テンツを提示したりすることもできる。例えば、現在放
送されている映像信号と、検索対象信号であるコマーシ
ャルの映像信号とを逐次比較することにより、現在放送
されているコマーシャルを特定することが可能となる。
【0122】本実施形態では、逐次入力される問合せ信
号に対して信号バッファリング部6によりバッファを設
けて問合せ信号の一部を格納しておき、問合せ信号がバ
ッファに入力される毎に検索対象信号との類似性判定を
行う。これにより、テレビのリアルタイム放送など逐次
入力される信号を問合せ信号として対応させることがで
きる。
【0123】上述した第2実施形態〜第10実施形態に
おいても、図19に示した実施形態と同様に、信号バッ
ファリング部6を設けて問合せ信号を逐一バッファに格
納することにより、テレビのリアルタイム放送など逐次
入力される信号を問合せ信号として対応させるようにし
ても良い。
【0124】(第12実施形態)図20は、本発明によ
る類似性判定装置の第12実施形態の構成例を示すブロ
ック図である。本実施形態は、図1に示した第1実施形
態による類似性判定装置の処理速度を向上させるように
したものである。
【0125】本実施形態による類似性判定装置は、図1
の第1実施形態と同様に、問合せ特徴量生成部32、ア
クティビティ算出部33、類似条件決定部34、類似性
判定部35c、および検索対象信号登録部100を有す
る。検索対象画像登録部100は検索対象特徴量生成部
31aと検索対象特徴量蓄積部5とを備えている。問合
せ信号入力端子1は問合せ特徴量生成部32およびアク
ティビティ算出部33に接続され、検索対象信号入力端
子2は検索対象画像登録部100の検索対象特徴量生成
部31aに接続されている。
【0126】検索対象特徴量生成部31aは、検索対象
信号入力端子2から検索対象信号が入力される毎に、検
索対象信号より特徴量を生成し、検索対象特徴量蓄積部
5に蓄積する。検索対象特徴量生成部31aが生成する
特徴量は、第1実施形態における検索対象特徴量生成部
31が生成するものと同じにすることができる。
【0127】類似性判定部35cは、類似条件決定部3
4により決定された条件に基づき、検索対象特徴量蓄積
部5に蓄積されている各検索対象信号の特徴量と問合せ
特徴量生成部32で生成された特徴量との間の類似性、
すなわち問合せ信号が検索対象信号に類似しているか否
かを判定する。
【0128】本実施形態では、各検索対象信号の特徴量
を検索対象特徴量記憶部5に蓄積しておき、問合せ信号
が入力されたとき、検索対象特徴量記憶部5に蓄積され
ている特徴量を使用して類似性の判定を行っている。こ
れにより、問合せ信号が入力される毎に検索対象信号の
特徴量を求める処理が不要になるので、類似性の判定処
理に要する時間を短くすることができる。
【0129】なお、第2実施形態〜第11実施形態のい
ずれにおいても、図20に示した実施形態と同様に、各
検索対象信号の特徴量を検索対象特徴量記憶部に登録し
ておき、この登録された特徴量を用いて問合せ信号との
類似性を判定するようにしても良い。
【0130】(実施例)次に、本発明の効果を確認する
ために、2255本の検索対象信号(15秒および30
秒)の特徴量を登録したデータベースに対して、240
時間の映像信号を問合せ信号として実験を行った。図1
9に示すように、問合せ信号に対して15秒のバッファ
を設け、問合せ信号の一部を逐一バッファに格納しなが
ら、新規フレームがバッファに入力されるたびにバッフ
ァを更新していき、バッファ内の信号と検索対象信号と
の類似性を評価する。これにより、リアルタイムにバッ
ファ内のコンテンツを特定する実験を行うことができ
る。信号特徴量としては、図2に示した方法で得られる
フレーム特徴量の時系列集合とする。
【0131】バッファ内の信号に対してカット検出を行
い、カット数を算出する。そして、カット数に応じて類
似性判定に利用する3種類のしきい値f(x)、g
(x)、h(x)を設定する。また、バッファ内の信号
に対して抽出する係数の数c(x)を設定する。具体的
には、カット数をxとした場合、抽出する係数の数をc
(x)=−mx+n、フレーム間のしきい値1をf(x)=
ax+b、しきい値2をg(x)=cx+d、しきい値3
をh(x)=ex+fと定める。ただしa,b,c,d,
m,n は経験的に定めた数である。
【0132】類似性判定手順は以下のとおりである。は
じめに、問合せ特徴量に含まれる各フレームに対応した
特徴量を抽出し、検索対象特徴量の同じ時間位置に含ま
れるフレームに対応した特徴量との距離をそれぞれ算出
する。同時に、算出された各距離がしきい値f(x)を
超えるか否かを判定し、しきい値f(x)を超える距離
をもつ特徴量の数を集計する。このとき、集計した数が
しきい値g(x)を超えた時点で、類似度計算を打ち切
るものとする。次に、算出された各フレーム特徴量間距
離の平均値を算出し、バッファ内の信号と検索対象信号
との距離とする。そして、この距離が,しきい値h
(x)を下回る場合に、バッファ内の信号と検索対象信
号が類似していると判定する。
【0133】上記の条件によってコンテンツ特定を行っ
たところ、しきい値1,しきい値2,しきい値3および
抽出する特徴量数を固定値として利用した場合には過剰
検出20件、未検出2件という結果であったのに対し
て、バッファ内のカット数に応じて適応的にしきい値お
よび抽出する特徴量数を定めることで、前者の実験より
も少ない特徴量数で、全ての正解コンテンツを過剰検出
0で特定することができた。
【0134】以上の実験により、信号の性質に合わせて
適応的に特徴量の抽出および類似性の判定を行うことで
効率よくかつ高い精度で類似性を判定できるという効果
が確認された。
【0135】本発明にしたがって問合せ信号と検索対象
信号との類似性判定を行うことにより、データベースに
登録された検索対象コンテンツからの現在放送中のコン
テンツや指定したコンテンツの特定を行うことができ
る。また、データベースに登録された長時間の映像・音
響コンテンツから、現在放送中のコンテンツや指定した
コンテンツの放送箇所をデータベースの中の映像から特
定することによる履歴検索をも行うことができる。
【0136】以上、本発明の実施の形態を図面により詳
述してきたが、具体的な構成はこの実施の形態に限られ
たものではなく、この発明の要旨を逸脱しない範囲の設
計の変更等があってもこの発明に含まれる。
【0137】また、本発明をソフトウエアによって実現
することも可能である。
【0138】図21は、本発明をソフトウエアにより実
現するための装置構成を示すブロック図である。ハード
ウェア構成として、中央処理装置(CPU)81を含む
主制御部80と、ROM,RAM,HDD等からなるメ
モリ部82と、マン・マシンインタフェースをとる入出
力部83と、表示部84とからなる処理装置を用いるこ
とができる。本発明を実現するためのプログラムを処理
装置が読み取り可能な任意の形式の記録媒体85に記録
した状態で予め用意しておく。このような媒体として
は、磁気テープ,磁気ディスク、フロッピィディスク,
CD−ROM等の任意の形式のものを使用することがで
きる。
【0139】CPU81がプログラムを読み込むことに
よって、上述した第1〜第12実施形態と同等の機能を
実現することができる。プログラム制御プロセッサが記
録媒体85を解読できる限り、このようなプログラムを
格納した記録媒体85を同様な処理システムに接続する
ことで、本発明をいわば普遍的に実現することができ
る。
【0140】例えば、本発明の第1実施形態を実現する
場合には、記録媒体85に記録されているプログラム
は、主制御部80によって読み取られ、その動作を制御
することで、主制御部80上に、図1に示した検索対象
特徴量生成部31、問合せ特徴量生成部32、アクティ
ビティ算出部33、類似条件決定部34、および類似性
判定部35を実現する。また、本発明の第2実施形態を
実現する場合には、記録媒体85に記録されているプロ
グラムは、主制御部80によって読み取られ、その動作
を制御することで、主制御部80上に、図9に示した検
索対象特徴量生成部31a、問合せ特徴量生成部32
a、アクティビティ算出部33a、類似性判定部35
a、および問合せ特徴量決定部36aを実現する。第3
〜第12実施形態についても同様である。
【0141】
【発明の効果】以上詳細に説明したように、本発明によ
れば、アクティビティ算出部により信号を解析してその
アクティビティ(複雑度)を算出し、算出されたアクテ
ィビティによって信号から抽出する特徴量および類似性
の判定を行う際の条件を決定する。つまり、信号のアク
ティビティに応じて特徴量の抽出を行い、信号のアクテ
ィビティに応じて類似性の判定を行うことができ、この
結果、信号の性質に合わせて適応的に特徴量の抽出およ
び類似性の判定を行うことができる。これにより、問合
せ信号と検索対象信号との類似性の判定精度を向上させ
ることができる。
【図面の簡単な説明】
【図1】本発明に係る類似性判定装置の第1実施形態の
構成例を示すブロック図である。
【図2】第1実施形態で用いられる特徴量生成部31お
よび32の構成例を示すブロック図である。
【図3】第1実施形態におけるアクティビティ算出部の
構成例を示すブロック図である。
【図4】第1実施形態の第1の構成例を示すブロック図
である。
【図5】アクティビティとしてカット数を用いる場合の
アクティビティ算出部の動作を概略的に示すフローチャ
ートである。
【図6】類似性判定部35の構成例を示すブロック図で
ある。
【図7】第1実施形態による類似性判定装置の動作を示
すフローチャートである。
【図8】本発明の第1実施形態の第2の構成例を示すブ
ロック図である。
【図9】本発明による類似性判定装置の第2実施形態の
構成例を示すブロック図である。
【図10】第2実施形態における特徴量生成部32aの
構成例を示すブロック図である。
【図11】本発明による類似性判定装置の第3実施形態
の構成例を示すブロック図である。
【図12】本発明による類似性判定装置の第4実施形態
の構成例を示すブロック図である。
【図13】本発明による類似性判定装置の第5実施形態
の構成例を示すブロック図である。
【図14】本発明による類似性判定装置の第6実施形態
の構成例を示すブロック図である。
【図15】本発明による類似性判定装置の第7実施形態
の構成例を示すブロック図である。
【図16】本発明による類似性判定装置の第8実施形態
の構成例を示すブロック図である。
【図17】本発明による類似性判定装置の第9実施形態
の構成例を示すブロック図である。
【図18】本発明による類似性判定装置の第10実施形
態の構成例を示すブロック図である。
【図19】本発明による類似性判定装置の第11実施形
態の構成例を示すブロック図である。
【図20】本発明による類似性判定装置の第12実施形
態の構成例を示すブロック図である。
【図21】本発明をソフトウエアにより実現するための
装置構成を示すブロック図である。
【符号の説明】 1 問合せ信号入力端点 2 検索対象信号入力端点 3 類似性判定装置 4 出力装置 5 検索対象特徴量記憶部 31 検索対象特徴量生成部 32 色構成比特徴量生成部 33 アクティビティ算出部 34 類似条件決定部 35 類似性判定部 36 問合せ特徴量決定部 37 アクティビティ算出部 38 検索対象特徴量決定部 100 検索対象信号登録部

Claims (25)

    【特許請求の範囲】
  1. 【請求項1】 第1の信号および第2の信号それぞれの
    特徴量に基づいて前記第1の信号と第2の信号との類似
    性を判定する類似性判定装置において、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出するアクティビティ算出手段と、 前記アクティビティに基づいて、類似性判定のための判
    定条件を決定する類似条件決定手段と、 前記判定条件に基づいて、前記第1の信号と第2の信号
    との類似性を判定する類似性判定手段と、 を有することを特徴とする類似性判定装置。
  2. 【請求項2】 前記アクティビティ算出手段は、前記第
    1の信号および第2の信号の一方のアクティビティを算
    出することを特徴とする請求項1記載の類似性判定装
    置。
  3. 【請求項3】 前記アクティビティ算出手段は、前記第
    1の信号の第1アクティビティと第2の信号の第2アク
    ティビティとをそれぞれ算出し、 前記類似条件決定手段は、前記第1アクティビティおよ
    び前記第2アクティビティに基づいて前記判定条件を決
    定する、 ことを特徴とする請求項1記載の類似性判定装置。
  4. 【請求項4】 さらに、 前記アクティビティに基づいて、抽出すべき特徴量を定
    義する特徴量条件を決定する特徴量決定手段と、 前記特徴量条件にしたがって、前記第1の信号および第
    2の信号のうちの対応する信号から特徴量を抽出する特
    徴量抽出手段と、 を有することを特徴とする請求項1記載の類似性判定装
    置。
  5. 【請求項5】 前記アクティビティ算出手段は、前記第
    1の信号のアクティビティを算出し、 前記特徴量決定手段は、前記アクティビティに基づい
    て、前記第1の信号から抽出すべき特徴量条件を決定
    し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
    前記第1の信号から特徴量を抽出し、 前記類似性判定手段は、前記判定条件に基づいて、前記
    特徴量抽出手段により得られる第1の信号の特徴量と前
    記第2の信号の特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。
  6. 【請求項6】 前記アクティビティ算出手段は、前記第
    1の信号の第1アクティビティと第2の信号の第2アク
    ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティに基づ
    いて、前記第1の信号から抽出すべき特徴量条件を決定
    し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
    前記第1の信号から特徴量を抽出し、 前記類似条件決定手段は、前記第2アクティビティに基
    づいて前記判定条件を決定し、 前記類似性判定手段は、前記判定条件に基づいて、前記
    特徴量抽出手段により得られる第1の信号の特徴量と前
    記第2の信号の特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。
  7. 【請求項7】 前記アクティビティ算出手段は、前記第
    1の信号の第1アクティビティと第2の信号の第2アク
    ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティに基づ
    いて、前記第1の信号から抽出すべき特徴量条件を決定
    し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
    前記第1の信号から特徴量を抽出し、 前記類似条件決定手段は、前記第1アクティビティおよ
    び第2アクティビティに基づいて前記判定条件を決定
    し、 前記類似性判定手段は、前記判定条件に基づいて、前記
    特徴量抽出手段により得られる第1の信号の特徴量と前
    記第2の信号の特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。
  8. 【請求項8】 前記アクティビティ算出手段は、前記第
    1の信号の第1アクティビティと第2の信号の第2アク
    ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティおよび
    前記第2アクティビティに基づいて、前記第1の信号お
    よび前記第2の信号から抽出すべき第1特徴量条件およ
    び第2特徴量条件をそれぞれ決定し、 前記特徴量抽出手段は、前記第1特徴量条件および前記
    第2特徴量条件にしたがって、前記第1の信号および前
    記第2の信号から第1特徴量および第2特徴量をそれぞ
    れ抽出し、 前記類似条件決定手段は、前記第1アクティビティに基
    づいて前記判定条件を決定し、 前記類似性判定手段は、前記判定条件に基づいて、前記
    特徴量抽出手段によりそれぞれ得られる第1特徴量と前
    記第2特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。
  9. 【請求項9】 前記アクティビティ算出手段は、前記第
    1の信号の第1アクティビティと第2の信号の第2アク
    ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティおよび
    前記第2アクティビティに基づいて、前記第1の信号お
    よび前記第2の信号から抽出すべき第1特徴量条件およ
    び第2特徴量条件をそれぞれ決定し、 前記特徴量抽出手段は、前記第1特徴量条件および前記
    第2特徴量条件にしたがって、前記第1の信号および前
    記第2の信号から第1特徴量および第2特徴量をそれぞ
    れ抽出し、 前記類似条件決定手段は、前記第1アクティビティおよ
    び前記第2アクティビティに基づいて前記判定条件を決
    定し、 前記類似性判定手段は、前記判定条件に基づいて、前記
    特徴量抽出手段によりそれぞれ得られる第1特徴量と前
    記第2特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。
  10. 【請求項10】 前記類似性判定手段は、 前記第1の信号の特徴量と前記第2の信号の特徴量との
    間の類似度を算出する特徴量間類似度算出手段と、 前記類似度が前記判定条件を満たすか否かを判定する検
    出判定手段と、 を備えることを特徴とする請求項1ないし請求項9のい
    ずれかに記載の類似性判定装置。
  11. 【請求項11】 第1の信号および第2の信号それぞれ
    の特徴量に基づいて前記第1の信号と第2の信号との類
    似性を判定する類似性判定装置において、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出するアクティビティ算出手段と、 前記アクティビティに基づいて、抽出すべき特徴量を定
    義する特徴量条件を決定する特徴量決定手段と、 前記特徴量条件にしたがって、前記第1の信号および第
    2の信号のうちの対応する信号から特徴量を抽出する特
    徴量抽出手段と、 前記第1の信号および第2の信号それぞれの特徴量に基
    づいて前記第1の信号と第2の信号との類似性を判定す
    る類似性判定手段と、 を有することを特徴とする類似性判定装置。
  12. 【請求項12】 前記アクティビティ算出手段は、前記
    第1の信号のアクティビティを算出し、 前記特徴量決定手段は、前記アクティビティに基づい
    て、抽出すべき特徴量を定義する特徴量条件を決定し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
    前記第1の信号から特徴量を抽出し、 前記類似性判定手段は、前記第1の信号の前記特徴量お
    よび前記第2の信号の特徴量に基づいて前記第1の信号
    と第2の信号との類似性を判定する、 ことを特徴とする請求項11記載の類似性判定装置。
  13. 【請求項13】 前記アクティビティ算出手段は、前記
    第1の信号および前記第2の信号から第1アクティビテ
    ィおよび第2アクティビティをそれぞれ算出し、 前記特徴量決定手段は、前記アクティビティおよび第2
    アクティビティに基づいて、第1の信号から抽出すべき
    特徴量を定義する第1特徴量条件および第2の信号から
    抽出すべき特徴量を定義する第2特徴量条件をそれぞれ
    決定し、 前記特徴量抽出手段は、前記第1特徴量条件および第2
    特徴量条件にしたがって、前記第1の信号および前記第
    2の信号から第1特徴量および第2特徴量をそれぞれ抽
    出し、 前記類似性判定手段は、前記第1特徴量および前記第2
    特徴量に基づいて前記第1の信号と第2の信号との類似
    性を判定する、 ことを特徴とする請求項11記載の類似性判定装置。
  14. 【請求項14】 前記アクティビティ算出手段は、 入力される信号から特徴量を抽出するアクティビティ用
    特徴量抽出手段と、 前記アクティビティ用特徴量抽出手段により得られる特
    徴量に基づいてアクティビティの算出を行うアクティビ
    ティ計算手段と、 を有することを特徴とする請求項1ないし請求項13の
    いずれかに記載の類似性判定装置。
  15. 【請求項15】 前記第1の信号および前記第2の信号
    は映像信号であることを特徴とする請求項1ないし請求
    項13のいずれかに記載の類似性判定装置。
  16. 【請求項16】 前記アクティビティは、カット検出に
    よって前記映像信号から得られたカットの数であること
    を特徴とする請求項15記載の類似性判定装置。
  17. 【請求項17】 前記アクティビティは、前記映像信号
    の動きアクティビティであることを特徴とする請求項1
    5記載の類似性判定装置。
  18. 【請求項18】 前記第1の信号および前記第2の信号
    は音響信号であることを特徴とする請求項1ないし請求
    項13のいずれかに記載の類似性判定装置。
  19. 【請求項19】 前記アクティビティは、無音区間の検
    出によって前記音響信号から得られた無音区間の分散で
    あることを特徴とする請求項18記載の類似性判定装
    置。
  20. 【請求項20】 第1の信号および第2の信号それぞれ
    の特徴量に基づいて前記第1の信号と第2の信号との類
    似性を判定する類似性判定方法において、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出し、 前記アクティビティに基づいて、類似性判定のための判
    定条件を決定し、 前記判定条件に基づいて、前記第1の信号と第2の信号
    との類似性を判定する、 ことを特徴とする類似性判定方法。
  21. 【請求項21】 第1の信号および第2の信号それぞれ
    の特徴量に基づいて前記第1の信号と第2の信号との類
    似性を判定する類似性判定方法において、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出し、 前記アクティビティに基づいて、類似性判定のための判
    定条件を決定し、 前記アクティビティに基づいて、抽出すべき特徴量を定
    義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
    2の信号のうちの対応する信号から特徴量を抽出し、 前記判定条件および前記第1の信号および第2の信号そ
    れぞれの特徴量に基づいて、前記第1の信号と第2の信
    号との類似性を判定する、 ことを特徴とする類似性判定方法。
  22. 【請求項22】 第1の信号および第2の信号それぞれ
    の特徴量に基づいて前記第1の信号と第2の信号との類
    似性を判定する類似性判定方法において、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出し、 前記アクティビティに基づいて、抽出すべき特徴量を定
    義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
    2の信号のうちの対応する信号から特徴量を抽出し、 前記第1の信号および第2の信号それぞれの特徴量に基
    づいて前記第1の信号と第2の信号との類似性を判定す
    る、 ことを特徴とする類似性判定方法。
  23. 【請求項23】 コンピュータを、第1の信号および第
    2の信号それぞれの信号特徴量に基づいて前記第1の信
    号と第2の信号との類似性を判定する類似性判定装置と
    して機能させるためのコンピュータプログラムであっ
    て、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出し、 前記アクティビティに基づいて、類似性判定のための判
    定条件を決定し、 前記アクティビティに基づいて、抽出すべき特徴量を定
    義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
    2の信号のうちの対応する信号から特徴量を抽出し、 前記判定条件および前記第1の信号および第2の信号そ
    れぞれの特徴量に基づいて、前記第1の信号と第2の信
    号との類似性を判定する、 ステップを有することを特徴とするコンピュータプログ
    ラム。
  24. 【請求項24】 コンピュータを、第1の信号および第
    2の信号それぞれの信号特徴量に基づいて前記第1の信
    号と第2の信号との類似性を判定する類似性判定装置と
    して機能させるためのコンピュータプログラムであっ
    て、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出し、 前記アクティビティに基づいて、抽出すべき特徴量を定
    義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
    2の信号のうちの対応する信号から特徴量を抽出し、 前記第1の信号および第2の信号それぞれの特徴量に基
    づいて前記第1の信号と第2の信号との類似性を判定す
    る、 ステップを有することを特徴とするコンピュータプログ
    ラム。
  25. 【請求項25】 コンピュータを、第1の信号および第
    2の信号それぞれの信号特徴量に基づいて前記第1の信
    号と第2の信号との類似性を判定する類似性判定装置と
    して機能させるためのコンピュータプログラムであっ
    て、 前記第1の信号および第2の信号の少なくとも一方のア
    クティビティを算出し、 前記アクティビティに基づいて、抽出すべき特徴量を定
    義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
    2の信号のうちの対応する信号から特徴量を抽出し、 前記第1の信号および第2の信号それぞれの特徴量に基
    づいて前記第1の信号と第2の信号との類似性を判定す
    る、 ステップを有することを特徴とするコンピュータプログ
    ラム。
JP2001400481A 2001-12-28 2001-12-28 類似性判定方法および装置 Expired - Lifetime JP3951707B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001400481A JP3951707B2 (ja) 2001-12-28 2001-12-28 類似性判定方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001400481A JP3951707B2 (ja) 2001-12-28 2001-12-28 類似性判定方法および装置

Publications (2)

Publication Number Publication Date
JP2003196658A true JP2003196658A (ja) 2003-07-11
JP3951707B2 JP3951707B2 (ja) 2007-08-01

Family

ID=27605032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001400481A Expired - Lifetime JP3951707B2 (ja) 2001-12-28 2001-12-28 類似性判定方法および装置

Country Status (1)

Country Link
JP (1) JP3951707B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006237878A (ja) * 2005-02-23 2006-09-07 Sony Corp Cm付加情報供給方法、cm付加情報供給装置、cm付加情報受給装置及びcm付加情報供給システム
US8312489B2 (en) 2005-02-23 2012-11-13 Sony Corporation CM searching method and apparatus, and CM-appendant information supplying method and apparatus
KR101369915B1 (ko) 2009-01-23 2014-03-06 닛본 덴끼 가부시끼가이샤 영상 식별자 추출 장치
JP2015132939A (ja) * 2014-01-10 2015-07-23 三菱電機株式会社 データ処理装置及びデータ処理方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4518141B2 (ja) 2007-12-17 2010-08-04 日本電気株式会社 画像照合方法及び画像照合装置並びに画像照合プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006237878A (ja) * 2005-02-23 2006-09-07 Sony Corp Cm付加情報供給方法、cm付加情報供給装置、cm付加情報受給装置及びcm付加情報供給システム
JP4710350B2 (ja) * 2005-02-23 2011-06-29 ソニー株式会社 Cm付加情報供給方法、cm付加情報供給装置、cm付加情報受給装置及びcm付加情報供給システム
US8312489B2 (en) 2005-02-23 2012-11-13 Sony Corporation CM searching method and apparatus, and CM-appendant information supplying method and apparatus
KR101369915B1 (ko) 2009-01-23 2014-03-06 닛본 덴끼 가부시끼가이샤 영상 식별자 추출 장치
JP2015132939A (ja) * 2014-01-10 2015-07-23 三菱電機株式会社 データ処理装置及びデータ処理方法及びプログラム

Also Published As

Publication number Publication date
JP3951707B2 (ja) 2007-08-01

Similar Documents

Publication Publication Date Title
KR100737176B1 (ko) 신호 처리 방법 및 영상 음성 처리 장치
JP4907938B2 (ja) 少なくとも1つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び/又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び/又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
EP2321964B1 (en) Method and apparatus for detecting near-duplicate videos using perceptual video signatures
JP4201454B2 (ja) 動画要約生成方法及び動画要約生成装置
JP5097280B2 (ja) 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体
EP1081960B1 (en) Signal processing method and video/voice processing device
JP4841553B2 (ja) 映像シーン分類装置、映像シーン分類方法、プログラム、記録媒体、集積回路およびサーバ−クライアントシステム
JP5005154B2 (ja) 記憶媒体上に記憶された情報信号を再生する装置
JP3948249B2 (ja) 類似性判定装置及び類似性判定方法並びにプログラム
JP5117670B2 (ja) 画像及び画像群を表現する方法、画像又は画像群を比較する方法、画像又は画像群を検索する方法、各方法を実行する装置およびシステム、プログラム、及びコンピュータ読み取り可能な記憶媒体
KR20080111376A (ko) 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털비디오 관리 시스템
EP1067786A1 (en) Data describing method and data processor
JP2012010265A (ja) 要約映像生成装置及び要約映像生成プログラム
JP5360979B2 (ja) 重要情報抽出方法および装置
US20050002569A1 (en) Method and apparatus for processing images
JP5644505B2 (ja) 照合加重情報抽出装置
JP2003196658A (ja) 類似性判定方法および装置
JP4447602B2 (ja) 信号検出方法,信号検出システム,信号検出処理プログラム及びそのプログラムを記録した記録媒体
EP2325801A2 (en) Methods of representing and analysing images
Yeo et al. A framework for sub-window shot detection
JP3983981B2 (ja) デジタル映像処理方法及びその装置
KR100304370B1 (ko) 억제 색 히스토그램을 이용한 객체의 대표색과 그의 부가정보추출, 색인화 및 검색 방법
JP2014123220A (ja) 映像検索装置
Pan et al. Visual features extraction through spatiotemporal slice analysis
Ren et al. A novel approach to key-frame detection in video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

R150 Certificate of patent or registration of utility model

Ref document number: 3951707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

EXPY Cancellation because of completion of term