JP2003196658A - 類似性判定方法および装置 - Google Patents
類似性判定方法および装置Info
- Publication number
- JP2003196658A JP2003196658A JP2001400481A JP2001400481A JP2003196658A JP 2003196658 A JP2003196658 A JP 2003196658A JP 2001400481 A JP2001400481 A JP 2001400481A JP 2001400481 A JP2001400481 A JP 2001400481A JP 2003196658 A JP2003196658 A JP 2003196658A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- activity
- similarity
- feature amount
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
する際の判定精度を向上させる類似性判定方法および装
置を提供する。 【解決手段】検索対象特徴量生成部31は、検索対象信
号入力端子2から検索対象信号が入力される毎に、検索
対象信号より特徴量を生成する。問合せ特徴量生成部3
2は、問合せ信号入力端子1から入力された問合せ信号
より特徴量を生成する。アクティビティ算出部33は、
問合せ信号を解析してそのアクティビティ(複雑度)を
算出する。類似性判定部35は、類似条件決定部34に
より決定された条件に基づき、問い合わせ特徴量生成部
32で生成された特徴量と検索対象特徴量生成部31で
生成された特徴量との間の類似性を判定する。
Description
などの類似性を判定する技術に係り、特に、信号検索な
どに利用される類似性判定方法および装置に関する。
響などの信号データから、所望の問合せ信号に類似する
信号データを検索する類似信号検索技術が種々提案され
ている。このような類似信号検索技術は、たとえば、現
在放送されている映像信号と、データベースで管理され
ているコマーシャルの映像信号とを逐次比較することに
より現在放送されているコマーシャルを特定することを
可能とする。
性を判定する際、主として、問合せ信号および検索対象
信号から特徴量系列を抽出する。そして双方の特徴量系
列間の類似度を算出したうえで、算出された類似度とあ
らかじめ定められたしきい値との比較結果に基づいて、
問合せ信号と類似した信号が検索対象信号中に存在する
か否かを判定する。
は、たとえば特開平10−320400号公報、特開2
001−167118号公報、および特開平11−13
0630号公報に記載されている。特開平10−320
400号公報記載のシステムでは、特徴量系列中の同じ
特徴量が続く冗長な区間を一つにまとめ、特徴量サイズ
を減らした上で類似度算出を行うことにより計算量を削
減する。また、特開2001−167118号公報記載
のシステムでは、画像データベースの検索対象画像の特
徴量と問い合わせ画像の特徴量とをそれぞれ係数変換
し、係数変換されたそれぞれの画像特徴量を用いて類似
度計算を実行する。これによって類似度計算量および必
要な蓄積容量を削減することができる。さらに、特開平
11−130630号公報記載のシステムは,問合せ信
号が、ある1つの検索対象信号系列のどの部分に含まれ
ているか検索を行うシステムである。検索対象信号系列
に対して注目窓を設け、注目窓の移動量を適応的に定め
ることにより計算量を削減する。ただし、各注目窓に対
する類似度計算の削減については検討されていない。
上させるためには、類似性の判定精度を高いものにする
ことが必要になる。類似性の判定精度を高めるために、
我々は、すでに「画像特徴量生成装置、画像検索装置、
ならびにその生成方法及び検索方法」(特開2000−
259832号公報)において、画像特徴量を周波数領
域で効率よく表現することにより類似性の判定精度を向
上させる動画像検索方法について提案した。
来の検索方法では,変化の少ない問合せ信号の場合と、
動きなどの変化が激しい問合せ信号の場合とでは検索結
果にばらつきが生じる。すなわち、同一の条件(類似度
のしきい値処理など)で類似性判定を行うと、変化の少
ない方では過剰検出が増え,変化の大きい方では未検出
が増える、という問題点があった。
問合せ信号の持つ動きや明るさの変化が激しい場合、サ
ンプル位置の違いによる誤差が蓄積しやすいため,類似
とみなすしきい値を厳しくするにつれて検出漏れが増え
る。逆に、問合せ信号が動きのほとんどない変化の少な
い映像である場合には、時間軸方向で個々の信号を区別
することが難しくなるため,類似とみなすしきい値を厳
しくする必要がある。
せ信号の持つ振幅の変化やパワーの変化が激しい場合、
サンプル位置の違いによる誤差が蓄積しやすいため,類
似とみなすしきい値を厳しくするにつれて検出漏れが増
える。逆に、問合せ信号が振幅の変化やパワーの変化の
少ない音響信号である場合、例えば無音状態が続くよう
な場合には,時間軸方向で個々の信号を区別することが
難しくなるため,類似とみなすしきい値を厳しくする必
要がある。
似していない信号の過剰検出が増える。この問題を解決
するために、問合せ信号に実際に類似する信号と類似し
ない信号とを十分区別できるように特徴量の数や種類を
増やすことも可能である。しかしながら、特徴量の数や
種類が冗長となるために、無駄に特徴量の照合が行われ
てしまうという問題があった。これらの問題は、問合せ
信号の性質に関係なく一定のしきい値を設定することに
より類似性の判定を行うことが原因で生じるものであ
る。
のであり、その目的は、信号の性質に合わせて適応的に
特徴量の抽出および類似性の判定を行うことにより、効
率よく高い精度で類似性を判定できる類似性判定方法お
よび装置を提供することにある。
に、本発明の第1の観点によれば、第1の信号および第
2の信号それぞれの特徴量に基づいて前記第1の信号と
第2の信号との類似性を判定する類似性判定装置におい
て、前記第1の信号および第2の信号の少なくとも一方
のアクティビティを算出するアクティビティ算出手段
と、前記アクティビティに基づいて、類似性判定のため
の判定条件を決定する類似条件決定手段と、前記判定条
件に基づいて、前記第1の信号と第2の信号との類似性
を判定する類似性判定手段と、を有することを特徴とす
る。
抽出すべき特徴量を定義する特徴量条件を決定する特徴
量決定手段と、前記特徴量条件にしたがって、前記第1
の信号および第2の信号のうちの対応する信号から特徴
量を抽出する特徴量抽出手段と、を有することが望まし
い。
および第2の信号それぞれの特徴量に基づいて前記第1
の信号と第2の信号との類似性を判定する類似性判定装
置において、前記第1の信号および第2の信号の少なく
とも一方のアクティビティを算出するアクティビティ算
出手段と、前記アクティビティに基づいて、抽出すべき
特徴量を定義する特徴量条件を決定する特徴量決定手段
と、前記特徴量条件にしたがって、前記第1の信号およ
び第2の信号のうちの対応する信号から特徴量を抽出す
る特徴量抽出手段と、前記第1の信号および第2の信号
それぞれの特徴量に基づいて前記第1の信号と第2の信
号との類似性を判定する類似性判定手段と、を有するこ
とを特徴とする。
ィビティ算出手段により、信号を解析してそのアクティ
ビティ(複雑度)を算出し、算出されたアクティビティ
より信号から抽出する特徴量および類似性の判定を行う
際の条件を決定する。つまり、信号のアクティビティに
応じて特徴量の抽出を行い、信号のアクティビティに応
じて類似性の判定を行うことができ、この結果、信号の
性質に合わせて適応的に特徴量の抽出および類似性の判
定を行うことができる。
に適用可能であるが、以下の説明では、一例として、映
像信号を用いた場合について説明する。また、本発明で
は、さまざまな特徴量を用いることができるが、ここで
は一例として、映像の各フレームを固定サイズの画像に
変換したうえで、画像の色のスペクトラムの周波数分布
を複数の帯域に分割し、離散コサイン変換(DCT)を
行い、低周波成分を抽出し、非線形変換を行うことによ
り得られる特徴量の時系列集合を用いる。
似性判定装置の第1実施形態の構成例を示すブロック図
である。本実施形態は、映像検索システムや音響検索シ
ステムといった信号検索システムの一部として利用され
得る。
性判定装置3には、検索に用いる問合せ映像信号を入力
する問合せ信号入力端子1と、検索対象となる映像信号
を入力する検索対象信号入力端子2とが設けられてい
る。類似性判定装置3は、入力した問合せ信号と検索対
象信号との類似性を判定し、その類似性判定結果をディ
スプレイ装置や印刷装置等の出力装置4へ出力する。
部31、問合せ特徴量生成部32、アクティビティ算出
部33,類似条件決定部34および類似性判定部35を
有する。以下、各構成ブロックについて説明する。
から検索対象信号が入力される毎に、検索対象信号より
特徴量を生成する。問合せ特徴量生成部32は、問合せ
信号入力端子1から入力された問合せ信号より特徴量を
生成する。ここで、特徴量としてはさまざまなものが考
えられるが、例えば、映像中に含まれる一部または全体
のフレームより、色や形状、テクスチャを表す特徴量
を、例えば文献;"COLOR AND TEXTUR
E DESCRIPTORS"(IEEE Trans
actions on Circuts and Sy
stems for Video Technolog
y Vol.11、No.6、June2001)に記
載された方法を用いて生成することができる。
徴量、例えば映像中の動きの激しさ(例えば動きベクト
ルの総量)、動きの方向性、時空間的分布状況などを生
成することもできる。例えば、文献;"MPEG−7
Visual MotionDesscriptor
s"(IEEE Transactions onCi
rcuts and Systems for Vid
eo Technology Vol.11、No.
6、June2001)記載の方法を利用して生成する
ことも出来る。
も特徴量を生成することができる。例えば文献;"OV
ERVIEW OF MPEG−7 AUDIO"(I
EEETransactions on Circut
s and Systemsfor Video Te
chnology Vol.11、No.6、June
2001)に記載された方法を用いて音響信号から特徴
量を生成することもできる。
成部31および32の構成例を示すブロック図である。
フレーム抽出部301は、入力された信号中のフレーム
を抽出し、各フレームを画像サイズ変換部302に入力
する。画像サイズ変換部302は、入力されたフレーム
を合計64(8×8)個のブロックに分割し、それぞれ
の区画の代表色(平均色など)を算出することにより、
8画素×8画素の縮退画像を生成する。なお縮退画像の
色空間はYCbCrを採用する。
302により得られた縮退画像に対してDCT(離散コ
サイン変換)を行う。変換係数抽出部304は、周波数
変換部303により得られた変換係数をジグザグスキャ
ンにより低周波成分から順に定められた個数を抽出す
る。非線形量子化部305は、変換係数抽出部304よ
り抽出された各係数について、直流成分を6ビット、交
流成分を5ビットでそれぞれ量子化しフレーム特徴量を
構築する。こうして、信号特徴量は各フレームより得ら
れたフレーム特徴量の時系列集合となる。
のアクティビティ(複雑度)を算出する。アクティビテ
ィとは信号の複雑度を表し、例えば信号分布の相関や分
散、映像信号内に含まれるカット数、音響信号内に含ま
れる無音区間の分散などをアクティビティとすることが
できる。
ティ算出部33が特徴量抽出部331とアクティビティ
計算部332とからなり、問い合わせ信号から特徴量を
生成したのちに、抽出された特徴量を解析してアクティ
ビティを算出することもできる。ここで、アクティビテ
ィ算出に用いる特徴量は種々のものを用いることができ
るが、例えば検索対象特徴量生成部31に挙げた各種特
徴量生成方法を利用することもできる。
生成部32より生成された特徴量、つまり類似性判定部
35に入力するものと同一の特徴量を解析してアクティ
ビティを算出してもよい。また、別途用意された任意の
特徴量をアクティビティ算出に用いてもよい。
用いる場合のアクティビティ算出部の動作を概略的に示
すフローチャートである。はじめに、信号入力端子より
信号を入力する(ステップA1)。次に、入力された信
号よりカット検出を行う(ステップA2)。カット検出
方法としてはさまざまな方法が考えられる。例えば入力
信号が映像である場合には、画素ベースでフレーム間差
分を算出することによりカット検出を行うことができ
る。また、各フレームより例えば色ヒストグラムのよう
な画像特徴量を生成して、画像特徴量間の距離を算出す
ることによりカット検出を行うこともできる。そして、
検出されたカット数を入力信号のアクティビティとして
出力する(ステップA3)。
出されたアクティビティに従って、類似性判定を行うた
めの条件を決定する。類似性判定部35は、類似条件決
定部34により決定された条件に基づき、問い合わせ特
徴量生成部32で生成された特徴量と検索対象特徴量生
成部31で生成された特徴量との間の類似性を判定す
る。
入力されるごとに検索対象映像に識別子を割り当て、類
似していると判定された場合には、割り当てられた識別
子を出力装置4に出力する。このような処理により、出
力装置4には問合せ信号と類似性が高い検索対象信号の
識別子が出力されるので、ユーザは、例えば、識別子を
指定することにより、問合せ信号と類似性の高い検索対
象信号を得ることができる。また、例えば識別子として
特定コンテンツの名称を与えることにより、ユーザは識
別子を見ることにより問合せ映像がどのコンテンツであ
るか、または類似しているかを知ることが出来る。
ブロック図である。特徴量間類似度算出部105は、問
い合わせ特徴量生成部32で生成された特徴量と、検索
対象特徴量生成部31で生成された特徴量との間の類似
度を示す値を算出する。検出判定部106は、特徴量間
類似度算出部105で算出された類似度値が、類似条件
決定部34により決定された条件を満たすか否かを判定
する。
まな方法が考えられる。例えば類似条件決定部34が検
索対象信号と問合せ信号が類似しているとみなすしきい
値を決定し、類似度値がこのしきい値を越えるか否か
(類似度値が特徴量ベクトル間の距離であれば距離値が
しきい値より低いか否か)により検索対象信号と問合せ
信号が類似しているか否かを判定することができる。
の激しい問合せ信号に対しては、検索対象信号と問合せ
信号が類似しているとみなすしきい値を甘く(類似度の
場合は低く、距離の場合は高く)設定しておき、カット
数の少ない信号や動きの少ない信号に対してはしきい値
を厳しく(類似度の場合は高く、距離の場合は低く)設
定しておく。このように問合せ信号のアクティビティに
合わせてしきい値を設定することができる。ただし、類
似性の判定条件はしきい値である必要はない。複数次元
のしきい値ベクトルや評価関数などを判定条件として用
いてもよい。
する。ここでは、一例として、アクティビティがカット
点の数で表され、また、検索対象信号は複数あるものと
する。
置の動作を示すフローチャートである。先ず、問合せ信
号入力端子1から問合せ映像を入力する(ステップB
1)。これにより、問合せ特徴量算出部32が、問合せ
映像の特徴量を生成する(ステップB2)。
せ映像よりカット検出を行い、カットの数を算出する
(ステップB3)。カットを検出する処理としては適宜
のものを使用することが出来るが、例えば映像中の連続
するフレームより特徴量抽出を行い、連続するフレーム
の特徴量間距離を算出したうえで、距離があるしきい値
を越える場合にカットとみなすことにより行うことが出
来る。
出部33により算出されたカットの数に応じて、問合せ
映像と検索対象映像の類似性の判定を行う際の条件(し
きい値)を決定する(ステップB4)。
対象映像を1つ入力し(ステップB5)、すべての検索
対象信号の入力が終了したか否かを判定する(ステップ
B6)。この時点では第1番目の検索対象映像が入力し
ただけなので(ステップB6のNO)、検索対象特徴量
算出部31は検索対象映像の特徴量を生成する(ステッ
プB7)。
問合せ映像の特徴量と検索対象映像の特徴量との類似度
を算出する(ステップB8)。そして、類似性判定部3
5は、算出された類似度が、類似条件決定部34により
決定された類似条件を満たすか否かを判定し、類似条件
を満たす検索対象映像と識別子とを対応付けて保持する
(ステップB9)。
索対象映像に対して行う。そして、全ての検索対象映像
に対して上記処理が行われると(ステップB6のYE
S)、類似していると判定された場合に、割り当てられ
た識別子を出力装置4に出力する(ステップB10)。
と類似性が高い検索対象信号の識別子を受け取るので、
ユーザは、例えば、識別子を指定することにより、問合
せ信号と類似性の高い検索対象信号を得ることができ
る。また、例えば識別子として特定コマーシャルの名称
を与えることにより、ユーザは識別子を見ることにより
問合せ映像がどのコマーシャルであるかを知ることが出
来る。
ティビティ算出部33は、問合せ信号を解析してそのア
クティビティ(複雑度)を算出し、類似条件決定部34
はそのアクティビティに基づいて類似性の判定条件を決
定する。従って、信号のアクティビティに応じた類似性
の判定を類似性判定部35で行うことができる。この結
果、信号の性質に合わせて適応的に類似性の判定を行う
ことができ、効率よく高い精度で類似性を判定できるよ
うにすることができる。
おいて、問合せ信号と検索対象信号とを入れ替えても、
同様の効果が得られることはいうまでもない。この例で
は、検索対象信号を用いてアクティビティを算出してい
る点が、図1の例と異なるだけであるから、説明は省略
する。
似性判定装置の第2実施形態の構成例を示すブロック図
である。本実施形態による類似性判定装置3aには、検
索に用いる問合せ映像信号を入力する問合せ信号入力端
子1と、検索対象となる映像信号を入力する検索対象信
号入力端子2とが設けられている。類似性判定装置3a
は、入力した問合せ信号と検索対象信号との類似性を判
定し、その類似性判定結果をディスプレイ装置や印刷装
置等の出力装置4へ出力する。
成部31a、問合せ特徴量生成部32a、アクティビテ
ィ算出部33a、類似性判定部35a、および問合せ特
徴量決定部36aを有する。以下、各構成ブロックにつ
いて説明する。
信号入力端子2から検索対象信号が入力される毎に、検
索対象信号より特徴量を生成する。アクティビティ算出
部33aは、問合せ信号を解析してそのアクティビティ
(複雑度)を算出する。第1実施形態におけるアクティ
ビティ算出部33と同様の動作を行う。
ティ算出部33aにより算出されたアクティビティに基
づいて、問合せ信号から抽出する特徴量の数や種類など
といった特徴量抽出条件を決定する。問合せ特徴量生成
部32aは、問合せ信号入力端子1から入力された問合
せ信号より、問合せ特徴量決定部36aにより決定され
た特徴量抽出条件に基づき特徴量を生成する。
示すブロック図である。図1に示した特徴量生成部31
および32との相違点は、変換係数抽出部304の代わ
りに変換係数抽出部304aを備えている点である。
変換係数抽出部304aは、特徴量決定部36aにより
算出された特徴量抽出条件に応じて、周波数変換部30
3から入力した変換係数のうちどの係数を抽出するかを
決定する。なお、問合せ映像全体のアクティビティを算
出して、各フレームから抽出する特徴量を一括で定める
ことも、フレーム単位でアクティビティを算出してフレ
ーム毎に抽出する特徴量を設定することも、また例えば
カット点フレームに対しては特定の条件で特徴量を抽出
することもできる。
生成部32aで生成された特徴量と、検索対象特徴量生
成部31aで生成された特徴量との間の類似性を算出
し、問合せ信号が検索対象信号に類似しているか否かを
判定する。より具体的には、例えば、検索対象信号入力
端子2から検索対象映像が入力されるごとに、検索対象
映像に識別子を割り当て、類似していると判定された場
合には割り当てられた識別子を出力装置4に出力する。
以上の処理により、出力装置4には問合せ信号と類似性
が高い検索対象信号の識別子が出力されるので、ユーザ
は、例えば、識別子を指定することにより、問合せ信号
と類似性の高い検索対象信号を得ることができる。ま
た、例えば識別子として特定コマーシャルの名称を与え
ることにより、ユーザは識別子を見ることにより問合せ
映像がどのコマーシャルであるか(どのコマーシャルと
類似しているか)を知ることが出来る。
像の特徴量とで保持している係数が異なる場合がある
が、異なる構成要素を持つ画像特徴量どうしの類似度算
出方法としては、本発明者らによる特願2001−22
4547号記載の方法などがある。
クティビティ算出部33aは問合せ信号を解析してその
アクティビティ(複雑度)を算出し、特徴量決定部36
aはそのアクティビティに基づいて問合せ信号より抽出
する特徴量を決定する。従って、信号のアクティビティ
に応じた特徴量の抽出は、問合せ特徴量生成部32aで
行われる。この結果、信号の性質に合わせて適応的に特
徴量の抽出を行うことができ、効率よく高い精度で類似
性を判定できるようにすることができる。
類似性判定装置の第3実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3bには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
bは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
成部31b、問合せ特徴量生成部32b、アクティビテ
ィ算出部33b、類似条件決定部34b、類似性判定部
35b、および問合せ特徴量決定部36bを有する。以
下、各構成ブロックについて説明する。
信号入力端子2から検索対象信号が入力される毎に、検
索対象信号より特徴量を生成する。アクティビティ算出
部33bは、問合せ信号を解析してそのアクティビティ
(複雑度)を算出する。第1実施形態におけるアクティ
ビティ算出部33と同様の動作を行う。
ティ算出部33bにより算出されたアクティビティに基
づいて、問合せ特徴量より抽出する特徴量の数や種類な
どといった特徴量抽出条件を決定する。類似条件決定部
34bは、アクティビティ算出部33bにより算出され
たアクティビティに基づいて、類似性の判定を行う際の
条件を決定する。
量決定部36bにより決定された特徴量抽出条件に基づ
き、問合せ信号入力端子1から入力された問合せ信号か
ら特徴量を生成する。
4bにより決定された条件に基づき、問い合わせ特徴量
生成部32bで生成された特徴量と検索対象特徴量生成
部31bで生成された特徴量との間の類似性を判定す
る。
ィビティ算出部33bが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36bが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。
ィビティ算出部33bにより算出されたアクティビティ
に基づいて類似性の判定を行う際の条件を決定する。従
って、信号のアクティビティに応じた特徴量の抽出を問
合せ特徴量生成部32bで行い、信号のアクティビティ
に応じた類似性の判定を類似性判定部35bで行うこと
ができる。この結果、信号の性質に合わせて適応的に特
徴量の抽出および類似性の判定を行うことができ、効率
よく高い精度で類似性を判定できるようにすることがで
きる。
類似性判定装置の第4実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3cには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
cは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
成部31c、問合せ特徴量生成部32c、アクティビテ
ィ算出部33c、類似条件決定部34c、類似性判定部
35c、およびアクティビティ算出部37cを有する。
以下、各構成ブロックについて説明する。
信号入力端子2から入力された問合せ信号より特徴量を
生成する。問合せ特徴量生成部32cは、問合せ信号入
力端子1から入力された問合せ信号から特徴量を生成す
る。
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37cは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。これ
らアクティビティ算出部33cおよび37cは、第1実
施形態におけるアクティビティ算出部33と同様の動作
を行う。
算出部33cにより算出されたアクティビティおよびア
クティビティ算出部37cにより算出されたアクティビ
ティに基づいて、類似性の判定を行う際の条件を決定す
る。
4cにより決定された条件に基づき、問い合わせ特徴量
生成部32cで生成された特徴量と検索対象特徴量生成
部31cで生成された特徴量との間の類似性を判定す
る。
ィビティ算出部33cおよび37cがそれぞれ問合せ信
号および検索対象信号を解析してそれらアクティビティ
(複雑度)を算出し、類似条件決定部34cが、それら
アクティビティに基づいて、類似性の判定を行う際の条
件を決定する。従って、信号のアクティビティに応じた
類似性の判定を類似性判定部35cで行うことができ
る。この結果、信号の性質に合わせて適応的に類似性の
判定を行うことができ、効率よく高い精度で類似性を判
定できるようにすることができる。
類似性判定装置の第5実施形態の構成例を示すブロック
図である。本実施形態における類似性判定装置3dに
は、検索に用いる問合せ映像信号を入力する問合せ信号
入力端子1と、検索対象となる映像信号を入力する検索
対象信号入力端子2とが設けられている。類似性判定装
置3dは、入力した問合せ信号と検索対象信号との類似
性を判定し、その類似性判定結果をディスプレイ装置や
印刷装置等の出力装置4へ出力する。
成部31d、問合せ特徴量生成部32d、アクティビテ
ィ算出部33d、類似条件決定部34d、類似性判定部
35d、問合せ特徴量決定部36d、およびアクティビ
ティ算出部37dを有する。以下、各構成ブロックにつ
いて説明する。
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37dは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
ティ算出部33dにより算出されたアクティビティより
問合せ信号より抽出する特徴量の数や種類などといった
特徴量抽出条件を決定する。問合せ特徴量生成部32d
は、問合せ特徴量決定部36dにより決定された特徴量
抽出条件に基づき、問合せ信号入力端子1から入力され
た問合せ信号より特徴量を生成する。
信号入力端子2から入力された検索対象信号より特徴量
を生成する。類似条件決定部34dは、アクティビティ
算出部37dにより算出されたアクティビティより類似
性の判定を行う際の条件を決定する。
4dにより決定された条件に基づき、問い合わせ特徴量
生成部32dで生成された特徴量と検索対象特徴量生成
部31dで生成された特徴量との間の類似性、すなわち
問合せ信号が検索対象信号に類似しているか否かを判定
する。
ィビティ算出部33dが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36dが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。さらに、類似条件決定部34dがア
クティビティ算出部37dにより算出されたアクティビ
ティに基づいて類似性の判定を行う際の条件を決定す
る。したがって、信号のアクティビティに応じた特徴量
の抽出が問合せ特徴量生成部32dで行われ、信号のア
クティビティに応じた類似性の判定が類似性判定部35
dで行われる。
特徴量の抽出および類似性の判定を行うことができ、効
率よく高い精度で類似性を判定できるようにすることが
できる。
類似性判定装置の第6実施形態の構成例を示すブロック
図である。本実施形態における類似性判定装置3eに
は、検索に用いる問合せ映像信号を入力する問合せ信号
入力端子1と、検索対象となる映像信号を入力する検索
対象信号入力端子2とが設けられている。類似性判定装
置3eは、入力した問合せ信号と検索対象信号との類似
性を判定し、その類似性判定結果をディスプレイ装置や
印刷装置等の出力装置4へ出力する。
成部31e、問合せ特徴量生成部32e、アクティビテ
ィ算出部33e、類似条件決定部34e、類似性判定部
35e、問合せ特徴量決定部36e、およびアクティビ
ティ算出部37eを有する。以下、各構成ブロックにつ
いて説明する。
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37eは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
ティ算出部33eにより算出されたアクティビティに基
づいて、問合せ信号より抽出する特徴量の数や種類など
といった特徴量抽出条件を決定する。問合せ特徴量生成
部32eは、問合せ特徴量決定部36eにより決定され
た特徴量抽出条件に基づき、問合せ信号から特徴量を生
成する。検索対象特徴量生成部31eは、検索対象信号
入力端子2から入力された検索対象信号から特徴量を生
成する。
算出部33eおよび37eによりそれぞれ算出されたア
クティビティに基づいて、類似性の判定を行う際の条件
を決定する。類似性判定部35eは、類似条件決定部3
4eにより決定された条件に基づき、問い合わせ特徴量
生成部32eで生成された特徴量と検索対象特徴量生成
部31eで生成された特徴量との間の類似性、すなわち
問合せ信号が検索対象信号に類似しているか否かを判定
する。
ィビティ算出部33eが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36eが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。さらに、類似条件決定部34eが、
アクティビティ算出部33eにより算出されたアクティ
ビティおよびアクティビティ算出部37eにより算出さ
れたアクティビティに基づいて類似性の判定を行う際の
条件を決定する。従って、信号のアクティビティに応じ
た特徴量の抽出を問合せ特徴量生成部32eで行い、信
号のアクティビティに応じた類似性の判定を類似性判定
部35eで行うことができる。この結果、信号の性質に
合わせて適応的に特徴量の抽出および類似性の判定を行
うことができ、効率よく高い精度で類似性を判定できる
ようにすることができる。
類似性判定装置の第7実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3fには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
fは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
成部31f、問合せ特徴量生成部32f、アクティビテ
ィ算出部33f、類似条件決定部34f、類似性判定部
35f、問合せ特徴量決定部36f、アクティビティ算
出部37f、および検索対象特徴量決定部38fを有す
る。以下、各構成ブロックについて説明する。
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37fは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
ティ算出部33fにより算出されたアクティビティに基
づいて、問合せ信号より抽出する特徴量の数や種類など
といった特徴量抽出条件を決定する。問合せ特徴量生成
部32fは、検索対象特徴量決定部36fにより決定さ
れた特徴量抽出条件に基づき、問合せ信号入力端子1か
ら入力された問合せ信号から特徴量を生成する。
ビティ算出部33fにより算出されたアクティビティよ
り検索対象信号より抽出する特徴量の数や種類などとい
った特徴量抽出条件を決定する。検索対象特徴量生成部
31fは、検索対象特徴量決定部36fにより決定され
た特徴量抽出条件に基づき、検索対象信号から特徴量を
生成する。
算出部33fにより算出されたアクティビティにより算
出されたアクティビティに基づいて類似性の判定を行う
際の条件を決定する。類似性判定部35fは類似条件決
定部34fにより決定された条件に基づき、問い合わせ
特徴量生成部32fで生成された特徴量と検索対象特徴
量生成部31fで生成された特徴量との間の類似性、す
なわち問合せ信号が検索対象信号に類似しているか否か
を判定する。
ィビティ算出部33fが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36fが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。また、アクティビティ算出部37f
が検索対象信号を解析してそのアクティビティ(複雑
度)を算出し、特徴量決定部38fがそのアクティビテ
ィに基づいて検索対象信号より抽出する特徴量を決定す
る。さらに、類似条件決定部34fがアクティビティ算
出部33fにより算出されたアクティビティより類似性
の判定を行う際の条件を決定する。
徴量の抽出を問合せ特徴量生成部32fおよび検索対象
特徴量生成部31fで行い、信号のアクティビティに応
じた類似性の判定を類似性判定部35fで行うことがで
きる。この結果、信号の性質に合わせて適応的に特徴量
の抽出および類似性の判定を行うことができ、効率よく
高い精度で類似性を判定できるようにすることができ
る。
類似性判定装置の第8実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3gには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
gは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
成部31g、問合せ特徴量生成部32g、アクティビテ
ィ算出部33g、類似性判定部35g、問合せ特徴量決
定部36g、アクティビティ算出部37g、および検索
対象特徴量決定部38gを有する。以下、各構成ブロッ
クについて説明する。
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37gは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
ティ算出部33gにより算出されたアクティビティに基
づいて問合せ信号より抽出する特徴量の数や種類などと
いった特徴量抽出条件を決定する。問合せ特徴量生成部
32gは、問合せ特徴量決定部36gにより決定された
特徴量抽出条件に基づき、問合せ信号入力端子1から入
力された問合せ信号より特徴量を生成する。
ビティ算出部37gにより算出されたアクティビティに
基づいて検索対象信号から抽出する特徴量の数や種類な
どといった特徴量抽出条件を決定する。検索対象特徴量
生成部31gは、検索対象特徴量決定部38gにより決
定された特徴量抽出条件に基づき、検索対象信号から特
徴量を生成する。
生成部32gで生成された特徴量と検索対象特徴量生成
部31gで生成された特徴量との間の類似性、すなわち
問合せ信号が検索対象信号に類似しているか否かを判定
する。
ィビティ算出部33gが問合せ信号を解析してそのアク
ティビティ(複雑度)を算出し、特徴量決定部36gが
そのアクティビティに基づいて問合せ信号より抽出する
特徴量を決定する。また、アクティビティ算出部37g
は、検索対象信号を解析してそのアクティビティ(複雑
度)を算出し、特徴量決定部38gはそのアクティビテ
ィに基づいて検索対象信号より抽出する特徴量を決定す
る。従って、信号のアクティビティに応じた特徴量の抽
出が問合せ特徴量生成部32gおよび検索対象特徴量生
成部31gで行われ、信号のアクティビティに応じた類
似性の判定が類似性判定部35gで行われる。この結
果、信号の性質に合わせて適応的に特徴量の抽出および
類似性の判定を行うことができ、効率よく高い精度で類
似性を判定できるようにすることができる。
類似性判定装置の第9実施形態の構成例を示すブロック
図である。本実施形態による類似性判定装置3hには、
検索に用いる問合せ映像信号を入力する問合せ信号入力
端子1と、検索対象となる映像信号を入力する検索対象
信号入力端子2とが設けられている。類似性判定装置3
hは、入力した問合せ信号と検索対象信号との類似性を
判定し、その類似性判定結果をディスプレイ装置や印刷
装置等の出力装置4へ出力する。
成部31h、問合せ特徴量生成部32h、アクティビテ
ィ算出部33h、類似条件決定部34h、類似性判定部
35h、問合せ特徴量決定部36h、アクティビティ算
出部37h、および検索対象特徴量決定部38hを有す
る。以下、各構成ブロックについて説明する。
号を解析してそのアクティビティ(複雑度)を算出す
る。アクティビティ算出部37hは、検索対象信号を解
析してそのアクティビティ(複雑度)を算出する。いず
れも、第1実施形態におけるアクティビティ算出部33
と同様の動作を行う。
ティ算出部33hにより算出されたアクティビティに基
づいて問合せ信号より抽出する特徴量の数や種類などと
いった特徴量抽出条件を決定する。問合せ特徴量生成部
32hは、問合せ特徴量決定部36hにより決定された
特徴量抽出条件に基づき、問合せ信号入力端子1から入
力された問合せ信号から特徴量を生成する。
ビティ算出部37hにより算出されたアクティビティに
基づいて検索対象信号より抽出する特徴量の数や種類な
どといった特徴量抽出条件を決定する。検索対象特徴量
生成部31hは、検索対象特徴量決定部36hにより決
定された特徴量抽出条件に基づき、検索対象信号入力端
子2から入力された検索対象信号から特徴量を生成す
る。
算出部33hおよび37hによりそれぞれ算出されたア
クティビティに基づいて、類似性の判定を行う際の条件
を決定する。類似性判定部35hは、類似条件決定部3
4hにより決定された条件に基づき、問合せ特徴量生成
部32hで生成された特徴量と検索対象特徴量生成部3
1hで生成された特徴量との間の類似性、すなわち問合
せ信号が検索対象信号に類似しているか否かを判定す
る。
クティビティ算出部33hは問合せ信号を解析してその
アクティビティ(複雑度)を算出し、特徴量決定部36
hはアクティビティ算出部33hにより算出されたアク
ティビティに基づいて問合せ信号より抽出する特徴量を
決定する。また、アクティビティ算出部37hは検索対
象信号を解析してそのアクティビティ(複雑度)を算出
し、特徴量決定部38hはそのアクティビティに基づい
て検索対象信号より抽出する特徴量を決定する。さら
に、類似条件決定部34hはアクティビティ算出部33
hおよび37hによりそれぞれ算出されたアクティビテ
ィに基づいて、類似性の判定を行う際の条件を決定す
る。
徴量の抽出が問合せ特徴量生成部32hおよび検索対象
特徴量生成部31hで行われ、信号のアクティビティに
応じた類似性の判定が類似性判定部35hで行われる。
この結果、信号の性質に合わせて適応的に特徴量の抽出
および類似性の判定を行うことができ、効率よく高い精
度で類似性を判定できるようにすることができる。 (第10実施形態)図18は、本発明による類似性判定
装置の第10実施形態の構成例を示すブロック図であ
る。本実施形態は、図1に示した第1実施形態による類
似性判定装置の処理速度を向上させるようにしたもので
ある。
似性判定装置3iには、検索に用いる問合せ映像信号を
入力する問合せ信号入力端子1と、検索対象となる映像
信号を入力する検索対象信号入力端子2とが設けられて
いる。類似性判定装置3iは、入力した問合せ信号と検
索対象信号との類似性を判定し、その類似性判定結果を
ディスプレイ装置や印刷装置等の出力装置4へ出力す
る。
成部31、問合せ特徴量生成部32、アクティビティ算
出部33、類似条件決定部34i、類似条件決定部34
iおよび類似性判定部35iを有する。なお、図1と同
一機能のブロックには同一参照番号を付して説明は省略
する。
算出部33により算出されたアクティビティに基づいて
類似性の判定を行う際の条件を決定し、3種類の条件
(第1の条件、第2の条件、第3の条件)を類似性判定
部35iへ出力する。
iにより決定された第3の条件にしたがって、問い合わ
せ特徴量生成部32で生成された特徴量と検索対象特徴
量生成部31で生成された特徴量との間の類似性、すな
わち問合せ信号が検索対象信号に類似しているか否かを
判定する。
出部105と検出判定部106とからなる。特徴量間類
似度算出部105は、問い合わせ特徴量生成部32で生
成された特徴量と検索対象特徴量生成部31で生成され
た特徴量との間の類似度を示す値を算出する。検出判定
部106は、特徴量間類似度算出部105で算出された
類似度値が類似条件決定部34により決定された第3の
条件を満たすか否かを判定する。
特徴量分割部101、部分特徴量間類似度算出部10
2、部分特徴量間類似性判定部103、および類似度算
出部104を有する。
量(問合せ特徴量)を複数の部分特徴量に分割する。部
分特徴量間類似度算出部102は、分割した各部分特徴
量と検索対象信号の特徴量(検索対象特徴量)の一部と
の部分的な類似度を算出する。部分特徴量間類似性判定
部103は、分割した各部分特徴量に対応した各類似度
が、類似条件決定部34により決定された第1の条件を
満たすか否かをそれぞれ判定し、第1の条件を満たさな
い部分特徴量の数を出力する。
ば、問合せ特徴量に含まれる各フレームに対応した特徴
量を抽出し、検索対象特徴量(の同じ時間位置)に含ま
れるフレームに対応した特徴量との距離を算出する方法
が考えられる。距離としてはさまざまな定義が可能であ
る。例えば、DCT係数の低周波成分間の距離計算方法
としては、2つの特徴量間の距離Dは式(1)で表すこ
とができる。
CT係数であり、w1i〜w3iは重み係数である。重み
係数はDCT係数の周波数帯域によって異なる値を設定
することができる。
定部34により決定された第1の条件を満たすか否かを
判定する方法としては、例えば、算出された部分特徴量
間の類似度をのしきい値を、カット数の多い問合せ信号
や動きの激しい問合せ信号に対しては甘く(類似度の場
合は低く、距離の場合は高く)設定しておき、カット数
の少ない信号や動きの少ない信号に対してはしきい値を
厳しく(類似度の場合は高く、距離の場合は低く)設定
しておくなど、問合せ信号のアクティビティに合わせて
しきい値を設定する方法が考えられる。
性判定部103より出力された数が、類似条件決定部3
4により決定された第2の条件を満たすか否かを判定す
る。部分特徴量間類似性判定部103より出力された数
が第2の条件を満たす場合、部分特徴量間類似度算出部
102により算出された各類似度を用いて問合せ特徴量
と検索対象特徴量と間の類似度の算出を行う。
方法が考えられる。例えば、部分特徴量間類似度算出部
101により算出された全ての類似度の平均値を利用す
る方法、部分特徴量間類似度算出部101により算出さ
れた部分的な類似度が類似条件決定部34により決定さ
れた条件を満たす場合のみの類似度の平均値を利用する
方法などがある。また、部分特徴量間類似性判定部10
3より出力された数が第2の条件を満たさない場合は、
類似度計算処理を打ち切ってもよいし、類似度として0
を出力することもできる。
信号が類似しないとみなされた場合に類似度算出を途中
で打ち切ることにより、類似性の判定処理に要する時間
を短くすることができる。
1〜図15)および第9実施形態(図17)のいずれに
おいても、図18に示した第10実施形態と同様に、問
合せ信号と検索対象信号が類似しないとみなされた場合
に類似度算出を途中で打ち切るように類似性を判定して
もよい。具体的には、図11〜図15および図17に示
した類似性判定部を、図18に示した類似性判定部35
iと同様に、特徴量分割部101、部分特徴量間類似度
算出部102、部分特徴量間類似性判定部103、類似
度算出部104および検出判定部106で構成すること
ができる。
ずれにおいても、図8に示すように、問合せ信号と検索
対象信号とを入れ替えてもよい。
る類似性判定装置の第11実施形態の構成例を示すブロ
ック図である。本実施形態は、図1に示した第1実施形
態による類似性判定装置を、テレビのリアルタイム放送
など逐次入力される信号を問合せ信号として用いること
ができるようにしたものである。
に示す類似性判定装置3の問合せ信号入力端子1に固定
サイズの信号バッファリング部6が接続され、逐次入力
される問合せ信号が信号バッファリング部6に順次蓄積
された後、アクティビティ算出部33および問合せ特徴
量生成部32に入力する。例えば、15秒のバッファを
設けた場合には、たとえばテレビのリアルタイム放送の
15秒分の映像信号を信号バッファリング部6に格納す
ることができる。バッファに信号を格納する際に、新規
フレームがバッファに入力されるたびにバッファを更新
していくことも、一定時間間隔でバッファを更新するこ
ともできる。
号がバッファに格納されると同時に、バッファの映像信
号と、検索対象信号との類似性を判定することにより、
現在放送されているコンテンツを特定したり、類似コン
テンツを提示したりすることもできる。例えば、現在放
送されている映像信号と、検索対象信号であるコマーシ
ャルの映像信号とを逐次比較することにより、現在放送
されているコマーシャルを特定することが可能となる。
号に対して信号バッファリング部6によりバッファを設
けて問合せ信号の一部を格納しておき、問合せ信号がバ
ッファに入力される毎に検索対象信号との類似性判定を
行う。これにより、テレビのリアルタイム放送など逐次
入力される信号を問合せ信号として対応させることがで
きる。
おいても、図19に示した実施形態と同様に、信号バッ
ファリング部6を設けて問合せ信号を逐一バッファに格
納することにより、テレビのリアルタイム放送など逐次
入力される信号を問合せ信号として対応させるようにし
ても良い。
る類似性判定装置の第12実施形態の構成例を示すブロ
ック図である。本実施形態は、図1に示した第1実施形
態による類似性判定装置の処理速度を向上させるように
したものである。
の第1実施形態と同様に、問合せ特徴量生成部32、ア
クティビティ算出部33、類似条件決定部34、類似性
判定部35c、および検索対象信号登録部100を有す
る。検索対象画像登録部100は検索対象特徴量生成部
31aと検索対象特徴量蓄積部5とを備えている。問合
せ信号入力端子1は問合せ特徴量生成部32およびアク
ティビティ算出部33に接続され、検索対象信号入力端
子2は検索対象画像登録部100の検索対象特徴量生成
部31aに接続されている。
信号入力端子2から検索対象信号が入力される毎に、検
索対象信号より特徴量を生成し、検索対象特徴量蓄積部
5に蓄積する。検索対象特徴量生成部31aが生成する
特徴量は、第1実施形態における検索対象特徴量生成部
31が生成するものと同じにすることができる。
4により決定された条件に基づき、検索対象特徴量蓄積
部5に蓄積されている各検索対象信号の特徴量と問合せ
特徴量生成部32で生成された特徴量との間の類似性、
すなわち問合せ信号が検索対象信号に類似しているか否
かを判定する。
を検索対象特徴量記憶部5に蓄積しておき、問合せ信号
が入力されたとき、検索対象特徴量記憶部5に蓄積され
ている特徴量を使用して類似性の判定を行っている。こ
れにより、問合せ信号が入力される毎に検索対象信号の
特徴量を求める処理が不要になるので、類似性の判定処
理に要する時間を短くすることができる。
ずれにおいても、図20に示した実施形態と同様に、各
検索対象信号の特徴量を検索対象特徴量記憶部に登録し
ておき、この登録された特徴量を用いて問合せ信号との
類似性を判定するようにしても良い。
ために、2255本の検索対象信号(15秒および30
秒)の特徴量を登録したデータベースに対して、240
時間の映像信号を問合せ信号として実験を行った。図1
9に示すように、問合せ信号に対して15秒のバッファ
を設け、問合せ信号の一部を逐一バッファに格納しなが
ら、新規フレームがバッファに入力されるたびにバッフ
ァを更新していき、バッファ内の信号と検索対象信号と
の類似性を評価する。これにより、リアルタイムにバッ
ファ内のコンテンツを特定する実験を行うことができ
る。信号特徴量としては、図2に示した方法で得られる
フレーム特徴量の時系列集合とする。
い、カット数を算出する。そして、カット数に応じて類
似性判定に利用する3種類のしきい値f(x)、g
(x)、h(x)を設定する。また、バッファ内の信号
に対して抽出する係数の数c(x)を設定する。具体的
には、カット数をxとした場合、抽出する係数の数をc
(x)=−mx+n、フレーム間のしきい値1をf(x)=
ax+b、しきい値2をg(x)=cx+d、しきい値3
をh(x)=ex+fと定める。ただしa,b,c,d,
m,n は経験的に定めた数である。
じめに、問合せ特徴量に含まれる各フレームに対応した
特徴量を抽出し、検索対象特徴量の同じ時間位置に含ま
れるフレームに対応した特徴量との距離をそれぞれ算出
する。同時に、算出された各距離がしきい値f(x)を
超えるか否かを判定し、しきい値f(x)を超える距離
をもつ特徴量の数を集計する。このとき、集計した数が
しきい値g(x)を超えた時点で、類似度計算を打ち切
るものとする。次に、算出された各フレーム特徴量間距
離の平均値を算出し、バッファ内の信号と検索対象信号
との距離とする。そして、この距離が,しきい値h
(x)を下回る場合に、バッファ内の信号と検索対象信
号が類似していると判定する。
たところ、しきい値1,しきい値2,しきい値3および
抽出する特徴量数を固定値として利用した場合には過剰
検出20件、未検出2件という結果であったのに対し
て、バッファ内のカット数に応じて適応的にしきい値お
よび抽出する特徴量数を定めることで、前者の実験より
も少ない特徴量数で、全ての正解コンテンツを過剰検出
0で特定することができた。
適応的に特徴量の抽出および類似性の判定を行うことで
効率よくかつ高い精度で類似性を判定できるという効果
が確認された。
信号との類似性判定を行うことにより、データベースに
登録された検索対象コンテンツからの現在放送中のコン
テンツや指定したコンテンツの特定を行うことができ
る。また、データベースに登録された長時間の映像・音
響コンテンツから、現在放送中のコンテンツや指定した
コンテンツの放送箇所をデータベースの中の映像から特
定することによる履歴検索をも行うことができる。
述してきたが、具体的な構成はこの実施の形態に限られ
たものではなく、この発明の要旨を逸脱しない範囲の設
計の変更等があってもこの発明に含まれる。
することも可能である。
現するための装置構成を示すブロック図である。ハード
ウェア構成として、中央処理装置(CPU)81を含む
主制御部80と、ROM,RAM,HDD等からなるメ
モリ部82と、マン・マシンインタフェースをとる入出
力部83と、表示部84とからなる処理装置を用いるこ
とができる。本発明を実現するためのプログラムを処理
装置が読み取り可能な任意の形式の記録媒体85に記録
した状態で予め用意しておく。このような媒体として
は、磁気テープ,磁気ディスク、フロッピィディスク,
CD−ROM等の任意の形式のものを使用することがで
きる。
よって、上述した第1〜第12実施形態と同等の機能を
実現することができる。プログラム制御プロセッサが記
録媒体85を解読できる限り、このようなプログラムを
格納した記録媒体85を同様な処理システムに接続する
ことで、本発明をいわば普遍的に実現することができ
る。
場合には、記録媒体85に記録されているプログラム
は、主制御部80によって読み取られ、その動作を制御
することで、主制御部80上に、図1に示した検索対象
特徴量生成部31、問合せ特徴量生成部32、アクティ
ビティ算出部33、類似条件決定部34、および類似性
判定部35を実現する。また、本発明の第2実施形態を
実現する場合には、記録媒体85に記録されているプロ
グラムは、主制御部80によって読み取られ、その動作
を制御することで、主制御部80上に、図9に示した検
索対象特徴量生成部31a、問合せ特徴量生成部32
a、アクティビティ算出部33a、類似性判定部35
a、および問合せ特徴量決定部36aを実現する。第3
〜第12実施形態についても同様である。
れば、アクティビティ算出部により信号を解析してその
アクティビティ(複雑度)を算出し、算出されたアクテ
ィビティによって信号から抽出する特徴量および類似性
の判定を行う際の条件を決定する。つまり、信号のアク
ティビティに応じて特徴量の抽出を行い、信号のアクテ
ィビティに応じて類似性の判定を行うことができ、この
結果、信号の性質に合わせて適応的に特徴量の抽出およ
び類似性の判定を行うことができる。これにより、問合
せ信号と検索対象信号との類似性の判定精度を向上させ
ることができる。
構成例を示すブロック図である。
よび32の構成例を示すブロック図である。
構成例を示すブロック図である。
である。
アクティビティ算出部の動作を概略的に示すフローチャ
ートである。
ある。
すフローチャートである。
ロック図である。
構成例を示すブロック図である。
構成例を示すブロック図である。
の構成例を示すブロック図である。
の構成例を示すブロック図である。
の構成例を示すブロック図である。
の構成例を示すブロック図である。
の構成例を示すブロック図である。
の構成例を示すブロック図である。
の構成例を示すブロック図である。
態の構成例を示すブロック図である。
態の構成例を示すブロック図である。
態の構成例を示すブロック図である。
装置構成を示すブロック図である。
Claims (25)
- 【請求項1】 第1の信号および第2の信号それぞれの
特徴量に基づいて前記第1の信号と第2の信号との類似
性を判定する類似性判定装置において、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出するアクティビティ算出手段と、 前記アクティビティに基づいて、類似性判定のための判
定条件を決定する類似条件決定手段と、 前記判定条件に基づいて、前記第1の信号と第2の信号
との類似性を判定する類似性判定手段と、 を有することを特徴とする類似性判定装置。 - 【請求項2】 前記アクティビティ算出手段は、前記第
1の信号および第2の信号の一方のアクティビティを算
出することを特徴とする請求項1記載の類似性判定装
置。 - 【請求項3】 前記アクティビティ算出手段は、前記第
1の信号の第1アクティビティと第2の信号の第2アク
ティビティとをそれぞれ算出し、 前記類似条件決定手段は、前記第1アクティビティおよ
び前記第2アクティビティに基づいて前記判定条件を決
定する、 ことを特徴とする請求項1記載の類似性判定装置。 - 【請求項4】 さらに、 前記アクティビティに基づいて、抽出すべき特徴量を定
義する特徴量条件を決定する特徴量決定手段と、 前記特徴量条件にしたがって、前記第1の信号および第
2の信号のうちの対応する信号から特徴量を抽出する特
徴量抽出手段と、 を有することを特徴とする請求項1記載の類似性判定装
置。 - 【請求項5】 前記アクティビティ算出手段は、前記第
1の信号のアクティビティを算出し、 前記特徴量決定手段は、前記アクティビティに基づい
て、前記第1の信号から抽出すべき特徴量条件を決定
し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
前記第1の信号から特徴量を抽出し、 前記類似性判定手段は、前記判定条件に基づいて、前記
特徴量抽出手段により得られる第1の信号の特徴量と前
記第2の信号の特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。 - 【請求項6】 前記アクティビティ算出手段は、前記第
1の信号の第1アクティビティと第2の信号の第2アク
ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティに基づ
いて、前記第1の信号から抽出すべき特徴量条件を決定
し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
前記第1の信号から特徴量を抽出し、 前記類似条件決定手段は、前記第2アクティビティに基
づいて前記判定条件を決定し、 前記類似性判定手段は、前記判定条件に基づいて、前記
特徴量抽出手段により得られる第1の信号の特徴量と前
記第2の信号の特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。 - 【請求項7】 前記アクティビティ算出手段は、前記第
1の信号の第1アクティビティと第2の信号の第2アク
ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティに基づ
いて、前記第1の信号から抽出すべき特徴量条件を決定
し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
前記第1の信号から特徴量を抽出し、 前記類似条件決定手段は、前記第1アクティビティおよ
び第2アクティビティに基づいて前記判定条件を決定
し、 前記類似性判定手段は、前記判定条件に基づいて、前記
特徴量抽出手段により得られる第1の信号の特徴量と前
記第2の信号の特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。 - 【請求項8】 前記アクティビティ算出手段は、前記第
1の信号の第1アクティビティと第2の信号の第2アク
ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティおよび
前記第2アクティビティに基づいて、前記第1の信号お
よび前記第2の信号から抽出すべき第1特徴量条件およ
び第2特徴量条件をそれぞれ決定し、 前記特徴量抽出手段は、前記第1特徴量条件および前記
第2特徴量条件にしたがって、前記第1の信号および前
記第2の信号から第1特徴量および第2特徴量をそれぞ
れ抽出し、 前記類似条件決定手段は、前記第1アクティビティに基
づいて前記判定条件を決定し、 前記類似性判定手段は、前記判定条件に基づいて、前記
特徴量抽出手段によりそれぞれ得られる第1特徴量と前
記第2特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。 - 【請求項9】 前記アクティビティ算出手段は、前記第
1の信号の第1アクティビティと第2の信号の第2アク
ティビティとをそれぞれ算出し、 前記特徴量決定手段は、前記第1アクティビティおよび
前記第2アクティビティに基づいて、前記第1の信号お
よび前記第2の信号から抽出すべき第1特徴量条件およ
び第2特徴量条件をそれぞれ決定し、 前記特徴量抽出手段は、前記第1特徴量条件および前記
第2特徴量条件にしたがって、前記第1の信号および前
記第2の信号から第1特徴量および第2特徴量をそれぞ
れ抽出し、 前記類似条件決定手段は、前記第1アクティビティおよ
び前記第2アクティビティに基づいて前記判定条件を決
定し、 前記類似性判定手段は、前記判定条件に基づいて、前記
特徴量抽出手段によりそれぞれ得られる第1特徴量と前
記第2特徴量との類似性を判定する、 ことを特徴とする請求項4記載の類似性判定装置。 - 【請求項10】 前記類似性判定手段は、 前記第1の信号の特徴量と前記第2の信号の特徴量との
間の類似度を算出する特徴量間類似度算出手段と、 前記類似度が前記判定条件を満たすか否かを判定する検
出判定手段と、 を備えることを特徴とする請求項1ないし請求項9のい
ずれかに記載の類似性判定装置。 - 【請求項11】 第1の信号および第2の信号それぞれ
の特徴量に基づいて前記第1の信号と第2の信号との類
似性を判定する類似性判定装置において、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出するアクティビティ算出手段と、 前記アクティビティに基づいて、抽出すべき特徴量を定
義する特徴量条件を決定する特徴量決定手段と、 前記特徴量条件にしたがって、前記第1の信号および第
2の信号のうちの対応する信号から特徴量を抽出する特
徴量抽出手段と、 前記第1の信号および第2の信号それぞれの特徴量に基
づいて前記第1の信号と第2の信号との類似性を判定す
る類似性判定手段と、 を有することを特徴とする類似性判定装置。 - 【請求項12】 前記アクティビティ算出手段は、前記
第1の信号のアクティビティを算出し、 前記特徴量決定手段は、前記アクティビティに基づい
て、抽出すべき特徴量を定義する特徴量条件を決定し、 前記特徴量抽出手段は、前記特徴量条件にしたがって、
前記第1の信号から特徴量を抽出し、 前記類似性判定手段は、前記第1の信号の前記特徴量お
よび前記第2の信号の特徴量に基づいて前記第1の信号
と第2の信号との類似性を判定する、 ことを特徴とする請求項11記載の類似性判定装置。 - 【請求項13】 前記アクティビティ算出手段は、前記
第1の信号および前記第2の信号から第1アクティビテ
ィおよび第2アクティビティをそれぞれ算出し、 前記特徴量決定手段は、前記アクティビティおよび第2
アクティビティに基づいて、第1の信号から抽出すべき
特徴量を定義する第1特徴量条件および第2の信号から
抽出すべき特徴量を定義する第2特徴量条件をそれぞれ
決定し、 前記特徴量抽出手段は、前記第1特徴量条件および第2
特徴量条件にしたがって、前記第1の信号および前記第
2の信号から第1特徴量および第2特徴量をそれぞれ抽
出し、 前記類似性判定手段は、前記第1特徴量および前記第2
特徴量に基づいて前記第1の信号と第2の信号との類似
性を判定する、 ことを特徴とする請求項11記載の類似性判定装置。 - 【請求項14】 前記アクティビティ算出手段は、 入力される信号から特徴量を抽出するアクティビティ用
特徴量抽出手段と、 前記アクティビティ用特徴量抽出手段により得られる特
徴量に基づいてアクティビティの算出を行うアクティビ
ティ計算手段と、 を有することを特徴とする請求項1ないし請求項13の
いずれかに記載の類似性判定装置。 - 【請求項15】 前記第1の信号および前記第2の信号
は映像信号であることを特徴とする請求項1ないし請求
項13のいずれかに記載の類似性判定装置。 - 【請求項16】 前記アクティビティは、カット検出に
よって前記映像信号から得られたカットの数であること
を特徴とする請求項15記載の類似性判定装置。 - 【請求項17】 前記アクティビティは、前記映像信号
の動きアクティビティであることを特徴とする請求項1
5記載の類似性判定装置。 - 【請求項18】 前記第1の信号および前記第2の信号
は音響信号であることを特徴とする請求項1ないし請求
項13のいずれかに記載の類似性判定装置。 - 【請求項19】 前記アクティビティは、無音区間の検
出によって前記音響信号から得られた無音区間の分散で
あることを特徴とする請求項18記載の類似性判定装
置。 - 【請求項20】 第1の信号および第2の信号それぞれ
の特徴量に基づいて前記第1の信号と第2の信号との類
似性を判定する類似性判定方法において、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出し、 前記アクティビティに基づいて、類似性判定のための判
定条件を決定し、 前記判定条件に基づいて、前記第1の信号と第2の信号
との類似性を判定する、 ことを特徴とする類似性判定方法。 - 【請求項21】 第1の信号および第2の信号それぞれ
の特徴量に基づいて前記第1の信号と第2の信号との類
似性を判定する類似性判定方法において、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出し、 前記アクティビティに基づいて、類似性判定のための判
定条件を決定し、 前記アクティビティに基づいて、抽出すべき特徴量を定
義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
2の信号のうちの対応する信号から特徴量を抽出し、 前記判定条件および前記第1の信号および第2の信号そ
れぞれの特徴量に基づいて、前記第1の信号と第2の信
号との類似性を判定する、 ことを特徴とする類似性判定方法。 - 【請求項22】 第1の信号および第2の信号それぞれ
の特徴量に基づいて前記第1の信号と第2の信号との類
似性を判定する類似性判定方法において、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出し、 前記アクティビティに基づいて、抽出すべき特徴量を定
義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
2の信号のうちの対応する信号から特徴量を抽出し、 前記第1の信号および第2の信号それぞれの特徴量に基
づいて前記第1の信号と第2の信号との類似性を判定す
る、 ことを特徴とする類似性判定方法。 - 【請求項23】 コンピュータを、第1の信号および第
2の信号それぞれの信号特徴量に基づいて前記第1の信
号と第2の信号との類似性を判定する類似性判定装置と
して機能させるためのコンピュータプログラムであっ
て、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出し、 前記アクティビティに基づいて、類似性判定のための判
定条件を決定し、 前記アクティビティに基づいて、抽出すべき特徴量を定
義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
2の信号のうちの対応する信号から特徴量を抽出し、 前記判定条件および前記第1の信号および第2の信号そ
れぞれの特徴量に基づいて、前記第1の信号と第2の信
号との類似性を判定する、 ステップを有することを特徴とするコンピュータプログ
ラム。 - 【請求項24】 コンピュータを、第1の信号および第
2の信号それぞれの信号特徴量に基づいて前記第1の信
号と第2の信号との類似性を判定する類似性判定装置と
して機能させるためのコンピュータプログラムであっ
て、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出し、 前記アクティビティに基づいて、抽出すべき特徴量を定
義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
2の信号のうちの対応する信号から特徴量を抽出し、 前記第1の信号および第2の信号それぞれの特徴量に基
づいて前記第1の信号と第2の信号との類似性を判定す
る、 ステップを有することを特徴とするコンピュータプログ
ラム。 - 【請求項25】 コンピュータを、第1の信号および第
2の信号それぞれの信号特徴量に基づいて前記第1の信
号と第2の信号との類似性を判定する類似性判定装置と
して機能させるためのコンピュータプログラムであっ
て、 前記第1の信号および第2の信号の少なくとも一方のア
クティビティを算出し、 前記アクティビティに基づいて、抽出すべき特徴量を定
義する特徴量条件を決定し、 前記特徴量条件にしたがって、前記第1の信号および第
2の信号のうちの対応する信号から特徴量を抽出し、 前記第1の信号および第2の信号それぞれの特徴量に基
づいて前記第1の信号と第2の信号との類似性を判定す
る、 ステップを有することを特徴とするコンピュータプログ
ラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400481A JP3951707B2 (ja) | 2001-12-28 | 2001-12-28 | 類似性判定方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400481A JP3951707B2 (ja) | 2001-12-28 | 2001-12-28 | 類似性判定方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003196658A true JP2003196658A (ja) | 2003-07-11 |
JP3951707B2 JP3951707B2 (ja) | 2007-08-01 |
Family
ID=27605032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001400481A Expired - Lifetime JP3951707B2 (ja) | 2001-12-28 | 2001-12-28 | 類似性判定方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3951707B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006237878A (ja) * | 2005-02-23 | 2006-09-07 | Sony Corp | Cm付加情報供給方法、cm付加情報供給装置、cm付加情報受給装置及びcm付加情報供給システム |
US8312489B2 (en) | 2005-02-23 | 2012-11-13 | Sony Corporation | CM searching method and apparatus, and CM-appendant information supplying method and apparatus |
KR101369915B1 (ko) | 2009-01-23 | 2014-03-06 | 닛본 덴끼 가부시끼가이샤 | 영상 식별자 추출 장치 |
JP2015132939A (ja) * | 2014-01-10 | 2015-07-23 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4518141B2 (ja) | 2007-12-17 | 2010-08-04 | 日本電気株式会社 | 画像照合方法及び画像照合装置並びに画像照合プログラム |
-
2001
- 2001-12-28 JP JP2001400481A patent/JP3951707B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006237878A (ja) * | 2005-02-23 | 2006-09-07 | Sony Corp | Cm付加情報供給方法、cm付加情報供給装置、cm付加情報受給装置及びcm付加情報供給システム |
JP4710350B2 (ja) * | 2005-02-23 | 2011-06-29 | ソニー株式会社 | Cm付加情報供給方法、cm付加情報供給装置、cm付加情報受給装置及びcm付加情報供給システム |
US8312489B2 (en) | 2005-02-23 | 2012-11-13 | Sony Corporation | CM searching method and apparatus, and CM-appendant information supplying method and apparatus |
KR101369915B1 (ko) | 2009-01-23 | 2014-03-06 | 닛본 덴끼 가부시끼가이샤 | 영상 식별자 추출 장치 |
JP2015132939A (ja) * | 2014-01-10 | 2015-07-23 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3951707B2 (ja) | 2007-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100737176B1 (ko) | 신호 처리 방법 및 영상 음성 처리 장치 | |
JP4907938B2 (ja) | 少なくとも1つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び/又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び/又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
EP2321964B1 (en) | Method and apparatus for detecting near-duplicate videos using perceptual video signatures | |
JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
JP5097280B2 (ja) | 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体 | |
EP1081960B1 (en) | Signal processing method and video/voice processing device | |
JP4841553B2 (ja) | 映像シーン分類装置、映像シーン分類方法、プログラム、記録媒体、集積回路およびサーバ−クライアントシステム | |
JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
JP3948249B2 (ja) | 類似性判定装置及び類似性判定方法並びにプログラム | |
JP5117670B2 (ja) | 画像及び画像群を表現する方法、画像又は画像群を比較する方法、画像又は画像群を検索する方法、各方法を実行する装置およびシステム、プログラム、及びコンピュータ読み取り可能な記憶媒体 | |
KR20080111376A (ko) | 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털비디오 관리 시스템 | |
EP1067786A1 (en) | Data describing method and data processor | |
JP2012010265A (ja) | 要約映像生成装置及び要約映像生成プログラム | |
JP5360979B2 (ja) | 重要情報抽出方法および装置 | |
US20050002569A1 (en) | Method and apparatus for processing images | |
JP5644505B2 (ja) | 照合加重情報抽出装置 | |
JP2003196658A (ja) | 類似性判定方法および装置 | |
JP4447602B2 (ja) | 信号検出方法,信号検出システム,信号検出処理プログラム及びそのプログラムを記録した記録媒体 | |
EP2325801A2 (en) | Methods of representing and analysing images | |
Yeo et al. | A framework for sub-window shot detection | |
JP3983981B2 (ja) | デジタル映像処理方法及びその装置 | |
KR100304370B1 (ko) | 억제 색 히스토그램을 이용한 객체의 대표색과 그의 부가정보추출, 색인화 및 검색 방법 | |
JP2014123220A (ja) | 映像検索装置 | |
Pan et al. | Visual features extraction through spatiotemporal slice analysis | |
Ren et al. | A novel approach to key-frame detection in video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3951707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |