JP2003131685A - 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 - Google Patents

信号処理方法及び装置、信号処理プログラム、並びに記録媒体

Info

Publication number
JP2003131685A
JP2003131685A JP2001324254A JP2001324254A JP2003131685A JP 2003131685 A JP2003131685 A JP 2003131685A JP 2001324254 A JP2001324254 A JP 2001324254A JP 2001324254 A JP2001324254 A JP 2001324254A JP 2003131685 A JP2003131685 A JP 2003131685A
Authority
JP
Japan
Prior art keywords
signal
similar
acoustic signals
similarity
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001324254A
Other languages
English (en)
Other versions
JP3750583B2 (ja
Inventor
Mototsugu Abe
素嗣 安部
Masayuki Nishiguchi
正之 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001324254A priority Critical patent/JP3750583B2/ja
Priority to US10/273,529 priority patent/US7720235B2/en
Publication of JP2003131685A publication Critical patent/JP2003131685A/ja
Application granted granted Critical
Publication of JP3750583B2 publication Critical patent/JP3750583B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Abstract

(57)【要約】 【課題】 異なる信号が重畳されているような状況にお
いても、信号中から類似する信号成分を抽出し、その類
似性を定量的に評価する。 【解決手段】 類似性を比較したい2つの信号のうち、
第1の信号を小領域に分割し、1つの小領域を選択して
相関法を用いて第2の信号との相関を計算する。そし
て、相関値の自乗である類似度が最大となる領域におけ
る時間差、拡大率及び類似度を求め、その時間差及び拡
大率で表される位置に類似度に基づく値を積算してい
く。全ての小領域について同様の処理を行い、類似度の
積算値が最大となるピークにおいて、その大きさを閾値
と比較して、類似性の評価を行う。また、そのピークに
投票した小領域を抽出することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、信号処理方法及び
装置、信号処理プログラム、並びに記録媒体に関し、特
に、複数の音響信号若しくは一の音響信号の異なる部分
区間に同一若しくは類似する音響信号成分が含まれる場
合の類似性を評価する信号処理方法及びその装置、信号
処理プログラム、並びにその信号処理プログラムの記録
された記録媒体に関する。
【0002】
【従来の技術】一般に音響信号は、幾つかの音響信号成
分が同時的或いは継時的に重畳されることで構成されて
いるが、異なる音響信号であっても、同一若しくは類似
する音響信号成分が含まれていることがある。例えば、
テレビジョン放送やラジオ放送において、異なる会話音
声やナレーションであっても、その背景に重畳される音
楽は共通のものである場合がよく見受けられる。
【0003】また、シリーズで放送される番組の開始時
や終了時の音声、音楽又は効果音も共通で用いられるこ
とが多い。また、同一会社の提供するコマーシャル中に
は、異なる商品の宣伝に対しても、何処かに共通の音響
信号成分を用いることで、同一会社をイメージさせるこ
とがよく行われている。
【0004】このように、何らかの関連のあるシーン
(映像音声信号中でまとまりのある区間)の間には、背
景に共通の音響信号成分が用いられることが多い。従っ
て、このような音響信号中から部分的に同一若しくは類
似する信号を検出することができれば、類似する音響信
号やそれに付随する映像信号、1つの番組中の関連ある
シーン、シリーズ番組中の関連あるシーン、或いは同一
会社のコマーシャル等といった、あるシーンと関連のあ
る他のシーンを高速に検索することが可能となる。
【0005】
【発明が解決しようとする課題】ところで、従来、入力
された信号を予め登録された信号と比較し、それらが同
一であるか否かを検出する技術としては、例えば音響信
号やそのスペクトルの相関を用いる技術や、特開200
0−312343号公報に記載されている技術等があ
る。
【0006】この相関を用いる技術では、複数の音響信
号やそのスペクトル間の相違する成分が十分に弱い場合
には、両信号間の時間をずらしながら相関をとり、最大
となる時刻の相関値により類似性を評価することができ
るものの、相違する成分が十分に弱くない場合には、類
似性を適切に評価することができないという問題があっ
た。
【0007】また、特開2000−312343号公報
に記載されている技術では、多少のノイズによる差異を
除いて、登録された音響信号とほぼ完全に同一であるも
のしか検出できないという問題があった。
【0008】したがって、これらの技術によっては、上
述したように、番組の背景音楽として用いられている音
楽や、同一会社の異なるコマーシャルに用いられている
音響信号成分を検出することができなかった。
【0009】本発明は、このような従来の実情に鑑みて
提案されたものであり、異なる信号が重畳されているよ
うな状況においても、信号中から類似する信号成分を検
出し、その類似性を定量的に評価する信号処理方法及び
その装置、信号処理プログラム、並びにその信号処理プ
ログラムの記録された記録媒体を提供することを目的と
する。
【0010】
【課題を解決するための手段】上述した目的を達成する
ために、本発明に係る信号処理方法は、複数の音響信号
を入力し、当該複数の音響信号を時間周波数分布に変換
するスペクトル変換工程と、時間周波数分布に変換され
た上記複数の音響信号のうち、少なくとも1つの音響信
号を複数の小領域に分割する分割工程と、上記小領域を
他の音響信号と類似するように変換したときの変換パラ
メータを抽出するパラメータ抽出工程と、上記変換パラ
メータに基づいて求めた類似の度合いを示す値を集計す
る集計工程と、当該集計の結果に基づき、上記複数の音
響信号間の類似性を評価する類似性評価工程とを有する
ことを特徴としている。
【0011】ここで、信号処理方法は、上記複数の音響
信号間の類似する区間を抽出する類似区間抽出工程をさ
らに有してもよい。
【0012】また、信号処理方法では、相関法を用いて
上記変換パラメータを求めてもよい。この場合、上記変
換パラメータは、例えば上記小領域と上記他の音響信号
との相関値が最大となるところにおける拡大率及び/又
は時間差であり、上記集計工程では、上記変換パラメー
タを軸とする空間に、上記複数の音響信号間の類似度に
基づく値が集計される。
【0013】このような信号処理方法では、入力され、
時間周波数分布に変換された複数の音響信号の少なくと
も1つが複数の小領域に分割され、その小領域毎に他の
音響信号との類似性が求められ、それらを集計すること
によって複数の音響信号間の類似性が評価される。ま
た、その類似性に基づいて、複数の音響信号間の類似す
る区間が抽出される。
【0014】また、上述した目的を達成するために、本
発明に係る信号処理方法は、記録手段に記録されている
音響信号を再生する再生工程と、再生されている上記音
響信号の中から所望の検索位置を指定する検索位置指定
工程と、上記所望の検索位置の信号と上記記録手段に記
録されている検索対象音響信号とを時間周波数分布に変
換するスペクトル変換工程と、時間周波数分布に変換さ
れた上記所望の検索位置の信号を複数の小領域に分割す
る分割工程と、上記小領域を上記検索対象音響信号と類
似するように変換したときの変換パラメータを抽出する
パラメータ抽出工程と、上記変換パラメータに基づいて
求めた類似の度合いを示す値を集計する集計工程と、当
該集計の結果に基づき、上記所望の検索位置の信号と上
記検索対象音響信号との類似性を評価する類似性評価工
程と、上記所望の検索位置の信号と上記検索対象音響信
号とが類似する領域を検出する類似領域検出工程とを有
することを特徴としている。
【0015】このような信号処理方法では、再生されて
いる上記音響信号の中から所望の検索位置が指定される
と、検索位置の信号と記録手段に記録されている検索対
象音響信号とが時間周波数分布に変換され、時間周波数
分布に変換された所望の検索位置の信号が複数の小領域
に分割され、その小領域毎に検索対象音響信号との類似
性が求められ、それらを集計することによって複数の類
似性が評価され、その類似性に基づいて類似する区間が
抽出される。
【0016】また、上述した目的を達成するために、本
発明に係る信号処理方法は、複数の音響信号を入力し、
当該複数の音響信号を時間周波数分布に変換するスペク
トル変換工程と、時間周波数分布に変換された上記複数
の音響信号のうち、少なくとも1つの音響信号を複数の
小領域に分割する分割工程と、上記小領域を他の音響信
号と類似するように変換したときの変換パラメータを抽
出するパラメータ抽出工程と、上記変換パラメータに基
づいて求めた類似の度合いを示す値を集計する集計工程
と、当該集計の結果に基づき、上記複数の音響信号間の
類似性を評価する類似性評価工程と、上記複数の音響信
号間の類似する領域を検出する類似区間抽出工程と、上
記類似領域検出工程で抽出された上記複数の信号間の類
似する領域を符号化する第1の符号化工程と、上記類似
する領域以外を符号化する第2の符号化工程とを有する
ことを特徴としている。
【0017】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化工程
では、上記類似する区間の位置、拡大率及び当該類似す
る領域の形状の情報が符号化される。
【0018】このような信号処理方法では、入力され、
時間周波数分布に変換された複数の音響信号の少なくと
も1つが複数の小領域に分割され、その小領域毎に他の
音響信号との類似性が求められ、それらを集計すること
によって複数の音響信号間の類似性が評価される。そし
て、その類似性に基づいて、複数の音響信号間の類似す
る区間が抽出され、その類似する区間とそれ以外の区間
とが別々に符号化される。
【0019】また、上述した目的を達成するために、本
発明に係る信号処理装置は、複数の音響信号を入力し、
当該複数の音響信号を時間周波数分布に変換するスペク
トル変換手段と、時間周波数分布に変換された上記複数
の音響信号のうち、少なくとも1つの音響信号を複数の
小領域に分割する分割手段と、上記小領域を他の音響信
号と類似するように変換したときの変換パラメータを抽
出するパラメータ抽出手段と、上記変換パラメータに基
づいて求めた類似の度合いを示す値を集計する投票手段
と、当該集計の結果に基づき、上記複数の音響信号間の
類似性を評価する類似性評価手段とを備えることを特徴
としている。
【0020】ここで、信号処理装置は、上記複数の音響
信号間の類似する区間を抽出する類似区間抽出手段をさ
らに備えてもよい。
【0021】また、信号処理装置では、相関法を用いて
上記変換パラメータを求めるようにしてもよい。この場
合、上記変換パラメータは、例えば、上記小領域と上記
他の信号との相関値が最大となるところにおける拡大率
及び/又は時間差であり、上記集計手段は、上記変換パ
ラメータを軸とする空間に、上記複数の音響信号間の類
似の度合いを示す値を集計する。
【0022】このような信号処理装置は、入力され、時
間周波数分布に変換された複数の音響信号の少なくとも
1つを複数の小領域に分割し、その小領域毎に他の音響
信号との類似性を求め、それらを集計することによって
複数の音響信号間の類似性を評価する。また、その類似
性に基づいて、複数の音響信号間の類似する区間を抽出
する。
【0023】また、上述した目的を達成するために、本
発明に係る信号処理装置は、複数の音響信号が記録され
ている記録手段と、上記複数の音響信号を再生する再生
手段と、再生されている上記音響信号の中から所望の検
索位置を指定する検索位置指定手段と、上記所望の検索
位置の信号と上記記録手段に記録されている検索対象音
響信号とを時間周波数分布に変換するスペクトル変換手
段と、時間周波数分布に変換された上記所望の検索位置
の信号を複数の小領域に分割する分割手段と、上記小領
域を上記検索対象音響信号と類似するように変換したと
きの変換パラメータを抽出するパラメータ抽出手段と、
上記変換パラメータに基づいて求めた類似の度合いを示
す値を集計する投票手段と、当該集計の結果に基づき、
上記所望の検索位置の信号と上記音響信号との類似性を
評価する類似性評価手段と、上記所望の検索位置の信号
と上記音響信号とが類似する領域を検出する類似領域検
出手段とを備えることを特徴としている。
【0024】このような信号処理装置は、再生されてい
る上記音響信号の中から所望の検索位置が指定される
と、検索位置の信号と記録手段に記録されている検索対
象音響信号とを時間周波数分布に変換し、時間周波数分
布に変換された所望の検索位置の信号を複数の小領域に
分割し、その小領域毎に検索対象音響信号との類似性を
求め、それらを集計することによって複数の類似性を評
価して、その類似性に基づいて類似する区間を抽出す
る。
【0025】また、上述した目的を達成するために、本
発明に係る信号処理装置は、複数の音響信号を入力し、
当該複数の音響信号を時間周波数分布に変換するスペク
トル変換手段と、時間周波数分布に変換された上記複数
の音響信号のうち、少なくとも1つの音響信号を複数の
小領域に分割する分割手段と、上記小領域を他の音響信
号と類似するように変換したときの変換パラメータを抽
出するパラメータ抽出手段と、上記変換パラメータに基
づいて求めた類似の度合いを示す値を集計する投票手段
と、当該集計の結果に基づき、上記複数の音響信号間の
類似性を評価する類似性評価手段と、上記複数の音響信
号間の類似する領域を検出する類似区間抽出手段と、上
記類似領域検出手段によって抽出された上記複数の信号
間の類似する領域を符号化する第1の符号化手段と、上
記類似する領域以外を符号化する第2の符号化手段とを
備えることを特徴としている。
【0026】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化手段
は、上記類似する区間の位置、拡大率及び当該類似する
領域の形状の情報を符号化する。
【0027】このような信号処理装置は、入力され、時
間周波数分布に変換された複数の音響信号の少なくとも
1つを複数の小領域に分割し、その小領域毎に他の音響
信号との類似性を求め、それらを集計することによって
複数の音響信号間の類似性を評価する。そして、その類
似性に基づいて、複数の音響信号間の類似する区間を抽
出し、その類似する区間とそれ以外の区間とを別々に符
号化する。
【0028】また、上述した目的を達成するために、本
発明に係る信号処理プログラムは、複数の音響信号を入
力し、当該複数の音響信号を時間周波数分布に変換する
スペクトル変換工程と、時間周波数分布に変換された上
記複数の音響信号のうち、少なくとも1つの音響信号を
複数の小領域に分割する分割工程と、上記小領域を他の
音響信号と類似するように変換したときの変換パラメー
タを抽出するパラメータ抽出工程と、上記変換パラメー
タに基づいて求めた類似の度合いを示す値を集計する集
計工程と、当該集計の結果に基づき、上記複数の音響信
号間の類似性を評価する類似性評価工程とを有すること
を特徴としている。
【0029】ここで、信号処理プログラムは、上記複数
の音響信号間の類似する区間を抽出する類似区間抽出工
程をさらに有してもよい。
【0030】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めてもよい。この場合、
上記変換パラメータは、例えば上記小領域と上記他の音
響信号との相関値が最大となるところにおける拡大率及
び/又は時間差であり、上記集計工程では、上記変換パ
ラメータを軸とする空間に、上記複数の音響信号間の類
似の度合いを示す値が集計される。
【0031】このような信号処理プログラムは、入力さ
れ、時間周波数分布に変換された複数の音響信号の少な
くとも1つを複数の小領域に分割し、その小領域毎に他
の音響信号との類似性を求め、それらを集計することに
よって複数の音響信号間の類似性を評価する。また、そ
の類似性に基づいて、複数の音響信号間の類似する区間
を抽出する。
【0032】また、上述した目的を達成するために、本
発明に係る信号処理プログラムは、記録手段に記録され
ている音響信号を再生する再生工程と、再生されている
上記音響信号の中から所望の検索位置を指定する検索位
置指定工程と、上記所望の検索位置の信号と上記記録手
段に記録されている検索対象音響信号とを時間周波数分
布に変換するスペクトル変換工程と、時間周波数分布に
変換された上記所望の検索位置の信号を複数の小領域に
分割する分割工程と、上記小領域を上記検索対象音響信
号と類似するように変換したときの変換パラメータを抽
出するパラメータ抽出工程と、上記変換パラメータに基
づいて求めた類似の度合いを示す値を集計する集計工程
と、当該集計の結果に基づき、上記所望の検索位置の信
号と上記検索対象音響信号との類似性を評価する類似性
評価工程と、上記所望の検索位置の信号と上記検索対象
音響信号とが類似する領域を検出する類似領域検出工程
とを有することを特徴としている。
【0033】このような信号処理プログラムは、再生さ
れている上記音響信号の中から所望の検索位置が指定さ
れると、検索位置の信号と記録手段に記録されている検
索対象音響信号とを時間周波数分布に変換し、時間周波
数分布に変換された所望の検索位置の信号を複数の小領
域に分割し、その小領域毎に検索対象音響信号との類似
性を求め、それらを集計することによって複数の類似性
を評価して、その類似性に基づいて類似する区間を抽出
する。
【0034】また、上述した目的を達成するために、本
発明に係る信号処理プログラムは、複数の音響信号を入
力し、当該複数の音響信号を時間周波数分布に変換する
スペクトル変換工程と、時間周波数分布に変換された上
記複数の音響信号のうち、少なくとも1つの音響信号を
複数の小領域に分割する分割工程と、上記小領域を他の
音響信号と類似するように変換したときの変換パラメー
タを抽出するパラメータ抽出工程と、上記変換パラメー
タに基づいて求めた類似の度合いを示す値を集計する集
計工程と、当該集計の結果に基づき、上記複数の音響信
号間の類似性を評価する類似性評価工程と、上記複数の
音響信号間の類似する領域を検出する類似区間抽出工程
と、上記類似領域検出工程で抽出された上記複数の信号
間の類似する領域を符号化する第1の符号化工程と、上
記類似する領域以外を符号化する第2の符号化工程とを
有することを特徴としている。
【0035】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化工程
では、上記類似する区間の位置、拡大率及び当該類似す
る領域の形状の情報が符号化される。
【0036】このような信号処理プログラムは、入力さ
れ、時間周波数分布に変換された複数の音響信号の少な
くとも1つを複数の小領域に分割し、その小領域毎に他
の音響信号との類似性を求め、それらを集計することに
よって複数の音響信号間の類似性を評価する。そして、
その類似性に基づいて、複数の音響信号間の類似する区
間を抽出し、その類似する区間とそれ以外の区間とを別
々に符号化する。
【0037】また、上述した目的を達成するために、本
発明に係る記録媒体は、複数の音響信号を入力し、当該
複数の音響信号を時間周波数分布に変換するスペクトル
変換工程と、時間周波数分布に変換された上記複数の音
響信号のうち、少なくとも1つの音響信号を複数の小領
域に分割する分割工程と、上記小領域を他の音響信号と
類似するように変換したときの変換パラメータを抽出す
るパラメータ抽出工程と、上記変換パラメータに基づい
て求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記複数の音響信号間の類似
性を評価する類似性評価工程とを有することを特徴とす
る信号処理プログラムが記録されたコンピュータ制御可
能なものである。
【0038】ここで、信号処理プログラムは、上記複数
の音響信号間の類似する区間を抽出する類似区間抽出工
程をさらに有してもよい。
【0039】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めてもよい。この場合、
上記変換パラメータは、例えば上記小領域と上記他の音
響信号との相関値が最大となるところにおける拡大率及
び/又は時間差であり、上記集計工程では、上記変換パ
ラメータを軸とする空間に、上記複数の音響信号間の類
似の度合いを示す値が集計される。
【0040】このような記録媒体に記録されている信号
処理プログラムは、入力され、時間周波数分布に変換さ
れた複数の音響信号の少なくとも1つを複数の小領域に
分割し、その小領域毎に他の音響信号との類似性を求
め、それらを集計することによって複数の音響信号間の
類似性を評価する。また、その類似性に基づいて、複数
の音響信号間の類似する区間を抽出する。
【0041】また、上述した目的を達成するために、本
発明に係る記録媒体は、記録手段に記録されている音響
信号を再生する再生工程と、再生されている上記音響信
号の中から所望の検索位置を指定する検索位置指定工程
と、上記所望の検索位置の信号と上記記録手段に記録さ
れている検索対象音響信号とを時間周波数分布に変換す
るスペクトル変換工程と、時間周波数分布に変換された
上記所望の検索位置の信号を複数の小領域に分割する分
割工程と、上記小領域を上記検索対象音響信号と類似す
るように変換したときの変換パラメータを抽出するパラ
メータ抽出工程と、上記変換パラメータに基づいて求め
た類似の度合いを示す値を集計する集計工程と、当該集
計の結果に基づき、上記所望の検索位置の信号と上記検
索対象音響信号との類似性を評価する類似性評価工程
と、上記所望の検索位置の信号と上記検索対象音響信号
とが類似する領域を検出する類似領域検出工程とを有す
ることを特徴とする信号処理プログラムが記録されたコ
ンピュータ制御可能なものである。
【0042】このような記録媒体に記録されている信号
処理プログラムは、再生されている上記音響信号の中か
ら所望の検索位置が指定されると、検索位置の信号と記
録手段に記録されている検索対象音響信号とを時間周波
数分布に変換し、時間周波数分布に変換された所望の検
索位置の信号を複数の小領域に分割し、その小領域毎に
検索対象音響信号との類似性を求め、それらを集計する
ことによって複数の類似性を評価して、その類似性に基
づいて類似する区間を抽出する。
【0043】また、上述した目的を達成するために、本
発明に係る記録媒体は、複数の音響信号を入力し、当該
複数の音響信号を時間周波数分布に変換するスペクトル
変換工程と、時間周波数分布に変換された上記複数の音
響信号のうち、少なくとも1つの音響信号を複数の小領
域に分割する分割工程と、上記小領域を他の音響信号と
類似するように変換したときの変換パラメータを抽出す
るパラメータ抽出工程と、上記変換パラメータに基づい
て求めた類似の度合いを示す値を集計する集計工程と、
当該集計の結果に基づき、上記複数の音響信号間の類似
性を評価する類似性評価工程と、上記複数の音響信号間
の類似する領域を検出する類似区間抽出工程と、上記類
似領域検出工程で抽出された上記複数の信号間の類似す
る領域を符号化する第1の符号化工程と、上記類似する
領域以外を符号化する第2の符号化工程とを有すること
を特徴とする信号処理プログラムが記録されたものであ
る。
【0044】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化工程
では、上記類似する区間の位置、拡大率及び当該類似す
る領域の形状の情報が符号化される。
【0045】このような記録媒体に記録されている信号
処理プログラムは、入力され、時間周波数分布に変換さ
れた複数の音響信号の少なくとも1つを複数の小領域に
分割し、その小領域毎に他の音響信号との類似性を求
め、それらを集計することによって複数の音響信号間の
類似性を評価する。そして、その類似性に基づいて、複
数の音響信号間の類似する区間を抽出し、その類似する
区間とそれ以外の区間とを別々に符号化する。
【0046】
【発明の実施の形態】以下、本発明を適用した具体的な
実施の形態について、図面を参照しながら詳細に説明す
る。この実施の形態は、本発明を、複数の音響信号若し
くは一の音響信号の異なる部分区間に同一若しくは類似
する音響信号成分が含まれる場合の類似性を評価し、類
似部分を抽出する信号処理装置に適用したものである。
【0047】従来、入力された信号を予め登録された信
号と比較し、それらが同一であるか否かを検出するに
は、両信号間の時間をずらしながら相関をとり、最大と
なる時刻の相関値により類似性を評価することが一般的
に行われていた。しかし、複数の音響信号やそのスペク
トル間の相違する成分が十分に弱くない場合には、類似
性を適切に評価することができないという問題があっ
た。以下、具体的に説明する。
【0048】3つの音響信号(信号A、信号B、信号
C)に短時間スペクトル分布、いわゆるスペクトログラ
ムを、それぞれ図1乃至図3に示す。これらは、実際に
放送されているコマーシャルの最後の2秒間より得られ
たものである。なお、信号Aと信号Bとは、同一会社の
異なる商品のコマーシャルであり、信号Cは、別会社の
コマーシャルである。
【0049】図1及び図2から分かるように、信号A及
び信号Bには、その会社をイメージさせるような聴感上
よく類似する成分を含んでいるのに対して、図3に示す
信号Cには、そのような成分は含まれていない。また、
図1に示す信号Aのスペクトル分布と図2に示す信号B
のスペクトル分布とは、時間的なずれはあるものの、類
似する成分が観察され、同時に、異なる成分が重畳され
ていることも観察される。
【0050】このような3つの音響信号について、信号
Aのスペクトルの一部の区間をテンプレートとし、信号
Bのスペクトルと信号Cのスペクトルとに対して相関演
算を行った結果を、それぞれ図2に示す。なお、テンプ
レートとしては、信号Aのそれぞれ0.0秒、0.25
秒、0.5秒、0.75秒、1秒、1.25秒、1.5
秒の位置から始まる長さ0.5秒間の区間を用いる。
【0051】信号Bのスペクトルに対して相関検出を行
った結果を図4(A)に示す。これは、信号Aのスペク
トルの時刻1.5秒から始まるテンプレートを用いたも
のである。また、信号Cのスペクトルに対して相関検出
を行った結果を図4(B)に示す。これは、信号Aのス
ペクトルの時刻0.75秒から始まるテンプレートを用
いたものである。
【0052】図4(A)、(B)の矢印で示すように、
信号Aと信号Bとの最大相関値は0.657であるのに
対して、信号Aと信号Cとの最大相関値は0.642で
あり、両者は殆ど変わらない。これは、相関値が0.6
5程度しかないため、信号Aと信号Cとが類似している
というよりも、信号Aと信号Bとの間の相違する成分が
弱くないことが原因である。
【0053】このように、相関法では、必ずしも類似す
るシーンの検出、分類、検索に対して適するものではな
い。
【0054】そこで、本実施の形態における信号処理装
置では、以下に説明するように、複数の音響信号間の局
所的な類似性を求め、それらを統合することによって、
全体の類似性を評価し、その類似部分を抽出する。
【0055】先ず、本実施の形態における信号処理装置
の概略構成を図5に示す。図5に示すように、信号処理
装置10は、第1のスペクトル計算部11と、領域分割
部12と、第2のスペクトル計算部13と、類似度計算
部14と、投票部15と、類似判定部16と、類似領域
検出部17とを備えている。
【0056】第1のスペクトル計算部11は、比較する
2つの信号のうち、第1の信号を短時間スペクトル分布
に変換する。このスペクトル計算部11は、フィルタバ
ンク、フーリエ変換、ウェーブレット変換等を用いて構
成される。なお、比較する2つの信号は、同一の信号の
異なる部分区間の信号であってもよい。
【0057】領域分割部12は、第1の信号のスペクト
ル分布を小領域に分割する。例えば、図6(A)に示す
ように、63個の小領域に分割する。なお、分割数がこ
れに限定されないことは勿論であり、任意に設定するこ
とができる。また、図6(A)では、それぞれの小領域
が重ならないように分割しているが、重なりを持たせて
小領域をとるようにしても構わない。
【0058】第2のスペクトル計算部13は、比較する
2つの信号のうち、第2の信号を短時間スペクトル分布
に変換する。また、このスペクトル計算部13は、上述
したスペクトル計算部11と同様に、フィルタバンク、
フーリエ変換、ウェーブレット変換等を用いて構成され
る。
【0059】類似度計算部14は、領域分割部12にお
いて分割された小領域のそれぞれについて、第2の信号
との間で相関を計算する。相関を計算するには、通常
は、図6(B)に示すように、同一の周波数帯で時間差
のみを変えながら行えばよい。但し、類似する周波数変
化パターンをとるものは基本周波数が違っても類似信号
であると考える場合には、周波数方向へのシフトも行う
ようにしてもよい。そして類似度計算部14は、得られ
た相関値の中で最も相関値の高いものを探索し、類似度
s、時間差t及び拡大率aを取得する。ここで、類似度
sは、相関値の自乗である。また、拡大率aとは、小領
域のパターンが第2の信号のパターンと最も一致するよ
うな大きさとなる乗算係数である。
【0060】投票部15は、得られた類似度s、時間差
t及び拡大率aを投票空間に投票する。投票空間は、図
6(C)に示すように、時間差tと拡大率aを変数と
し、類似度sの積算を値とする特徴空間であり、小領域
から得られる時間差t、拡大率aの位置に類似度sを積
算する。
【0061】第1の信号と第2の信号との間に類似する
音響信号成分が含まれている場合、該当する小領域にお
いては、そのパターンが類似するため、類似度sは高
く、その時間差t及び拡大率aは他の小領域と概ね一致
する。
【0062】一方、類似しない部分に該当する小領域で
は、偶然に最も類似する位置にて最大相関値が取得され
るため、概してその類似度sは低く、その時間差t及び
拡大率aは他の小領域とは無関係なものとなる。
【0063】従って、類似する音響信号成分がある場合
には、それに対応する複数の小領域の投票が同じ位置に
集中するため、有意な大きさのピークを形成することが
期待され、類似する音響信号成分がない場合には、そも
そも投票値が小さく、また、全ての投票が異なる位置に
分散するため、有意なピークは形成されない。
【0064】そこで類似判定部16は、全ての小領域に
関して投票が行われた後、投票空間中の最大類似度s
を探索し、その最大類似度sを閾値sthsdと比較
することで、類似判定を行う。
【0065】類似領域検出部17は、類似判定部16に
おいて類似していると判定された場合に、類似している
領域を検出する。類似領域検出部17は、例えば、各小
領域の時間差t及び拡大率aがピーク位置の時間差t
及び拡大率aと十分近いもののみを選択することで、
類似領域を検出する。
【0066】以下、上述したような構成を有する信号処
理装置10の動作について、図7のフローチャートを用
いて説明する。先ずステップS10において、第1の信
号及び第2の信号をスペクトルに変換する。
【0067】次にステップS11において、第1の信号
を上述したように小領域に分割し、続くステップS12
において、その小領域の中から1つの小領域を選択す
る。
【0068】ステップS13では、ステップS12にお
いて選択された小領域について、第2の信号との相関を
計算する。すなわち例えば、選択した小領域について、
同一の周波数帯で時間差のみを変えることで、第2の信
号との相関を計算する。
【0069】ステップS14では、ステップS13にお
いて得られた相関値の中で最も相関値の高いものを探索
し、類似度s、時間差t及び拡大率aを取得する。
【0070】続くステップS15では、ステップS14
において得られた類似度s、時間差t及び拡大率aを投
票空間に投票する。すなわち、小領域から得られる時間
差t、拡大率aの位置に類似度sを積算する。
【0071】ステップS16では、全ての小領域につい
て処理を終えたか否かが判別される。ステップS16に
おいて、処理を終えていない小領域がある場合には、ス
テップS12に戻って、残りの小領域について上述の処
理を繰り返し、全ての小領域の処理を終えている場合に
は、ステップS17に進む。
【0072】ステップS17では、投票空間中の最大類
似度sを探索して取得し、続くステップS18では、
その最大類似度sが所定の閾値sthsdを超えてい
るか否かが判別される。ステップS18において、最大
類似度sが所定の閾値s hsdを超えていない場合
(No)、有意なピークが形成されていないとしてステッ
プS21に進み、第1の信号と第2の信号とは類似しな
いと判定して終了する。ステップS18において、最大
類似度sが所定の閾値sthsdを超えている場合
(Yes)、有意なピークが形成されているとしてステッ
プS19に進む。
【0073】ステップS19では、第1の信号と第2の
信号とは類似していると判定し、その時間差t及び拡
大率aを取得する。また、第1の信号と第2の信号と
の類似度をsとする。
【0074】ステップS20では、類似している領域を
検出する。すなわち、各小領域の時間差t及び拡大率a
がピーク位置の時間差t及び拡大率aと十分近いも
ののみを選択して終了する。
【0075】このような信号処理方法を、図1乃至図3
に示した信号A、信号B及び信号Cに適用した例を図8
に示す。ここで、図8(A)は、上述した信号A(図
1)を第1の信号として領域分割し、第2の信号である
信号B(図2)との間で上記処理を行った際の投票結果
の分布を示したものである。また、図8(B)は、同じ
く信号Aを領域分割し、第2の信号である信号C(図
3)との間で上記処理を行った際の投票結果の分布を示
したものである。なお、これらは、図7のステップS1
6において、全ての小領域について処理を終えた際に形
成される分布である。
【0076】図8(A)では、時間差−0.13秒、拡
大率1.0程度の位置で有意なピークを形成しているの
に対し、図8(B)では、投票は分散し、有意なピーク
を形成しないことが確認される。また、図8(A)の最
大ピーク値、すなわち類似度は、0.18であるのに対
し、図8(B)の最大ピーク値は、0.019であり、
明らかに大きな差が生じている。
【0077】このように、本実施の形態における信号処
理装置10によれば、一般の相関法では有意な差が出な
い信号に対しても、有意に類似又は非類似の検出、評価
が可能とされる。
【0078】また、上述したように、信号処理装置10
は、各小領域の時間差t及び拡大率aがピーク位置の時
間差t及び拡大率aと十分近いもののみを選択する
ことで、類似している領域を検出することができる。
【0079】そこで、信号Aの中で信号Bと類似する領
域を検出した結果を図9に示す。ここで、図中でスペク
トログラムが示されている領域が類似すると判定された
領域であり、黒で示される領域が類似しないと判定され
た領域である。図1と比較すると、類似する成分のある
領域が検出され、類似しない成分で占められる領域が排
除されていることが確認できる。
【0080】なお、上述の説明では、小領域毎に第2の
信号との相関が最も高くなる1カ所における類似度s、
時間差t及び拡大率aを取得して投票するものとして説
明したが、これに限定されるものではなく、相関の高い
数カ所の類似度s、時間差t及び拡大率aを取得して投
票するようにしても構わない。
【0081】また、上述の説明では、投票空間のピーク
位置での最大類似度sについてのみ閾値sthsd
比較し、閾値sthsdを超えている場合に、そのピー
クに投票した小領域を逆に求めたが、これに限定される
ものではなく、閾値sthsdを超えるピーク全てにつ
いて、そのピークに投票した小領域を求めるようにして
も構わない。これにより、第2の信号中に第1の信号と
類似する領域が複数ある場合にも、それらの全てを抽出
することができる。
【0082】以上説明した信号処理装置10は、例えば
図10に示すような音響映像検索装置20に用いること
ができる。この音響映像検索装置20は、録画された音
響映像信号、ネットワークを通じて得られる音響映像信
号、又は放送される音響映像信号から類似するシーンを
検索するものである。
【0083】図10に示すように、音響映像検索装置2
0は、記録部21と、再生/表示部22と、入力部23
と、類似探索部24とを備えている。ここで、類似探索
部24は、上述した信号処理装置10に相当するもので
ある。
【0084】このような構成を有する音響映像検索装置
20の動作について、図11のフローチャートを用いて
説明する。ここで、記録部21には、音響信号が記録さ
れている。なお、この音響信号には、映像や画像、その
他の情報が付随していてもよい。
【0085】先ずステップS30において、ユーザは、
記録部21に記録されている信号、或いは実時間で放送
されている信号を再生/表示部22にて再生する。
【0086】次にステップS31において、その中で検
索したい箇所を入力部23を介して指定する。指定され
た箇所は、類似探索部24に通知される。
【0087】続いてステップS32において、類似探索
部24は、記録部21に記録されている検索対象音響信
号から類似部分がある音響信号を探索する。
【0088】なお、検索対象となる音響信号は、磁気記
録媒体等に予め記録されているものに限らず、実時間で
放送されている信号やネットワークを介して得られる信
号であってもよい。ここで、実時間放送の場合には、受
信しながら類似部分がある音響信号を待つことになる。
【0089】類似部分が発見されると、ステップS33
において、それを再生/表示部22に表示して終了す
る。
【0090】なお、上述の例では、ユーザが再生されて
いる音響信号の中で検索したい箇所を指定するものとし
て説明したが、これに限定されるものではなく、例えば
ユーザが音響信号のファイル名等を指定し、指定された
ファイル名の音響信号に類似する音響信号を検索するよ
うにしても構わない。また、上述の例では、ユーザが検
索したい個所を直接指定するものとして説明したが、こ
れに限定されるものではなく、例えば他の装置とのイン
ターフェースを介して指定されるようにしても構わな
い。
【0091】このような音響映像検索装置20によれ
ば、例えば放送のコマーシャル部分の音響信号をユーザ
が指定した場合、通例、同一会社の提供するコマーシャ
ル等の関連の強いコマーシャルには類似する音響信号成
分が含まれているため、そのような関連の強いコマーシ
ャルを検索することができる。また、ユーザが指定した
音響信号が類似する放送番組に共通に用いられている場
合、そのような類似する放送番組を検索することができ
る。
【0092】また、上述した信号処理装置10は、図1
2に示すような音響信号符号化装置30に用いることも
できる。すなわち、上述した信号処理装置10を従来の
音響符号化装置に設け、予め類似する信号を別途まとめ
て符号化する前処理を行うことで、符号化効率を向上さ
せることができる。
【0093】この音響信号符号化装置30は、図12に
示すように、類似領域検出部31と、類似成分分離部3
2と、類似成分符号化部33と、類似成分減算部34
と、信号符号化部35と、統合部36とを備える。ここ
で、類似領域検出部31は、上述した信号処理装置10
に相当するものである。
【0094】以上のような構成を有する音響信号符号化
装置30の動作について、図13のフローチャート及び
図14を用いて説明する。先ずステップS40におい
て、類似領域検出部31は、図14(A)に示すよう
に、入力された第1の信号から適当な長さの第1の部分
区間を選択し、続くステップS41において、それとは
異なる第2の部分区間を選択する。
【0095】続いてステップS42において、類似領域
検出部31は、第2の部分区間の中で第1の部分区間と
類似する区間があるか否かを検出する。ステップS42
において、類似する区間がある場合(Yes)にはステッ
プS43に進み、類似する区間がない場合にはステップ
S44に進む。
【0096】ステップS43では、図14(B)に示す
ように、類似成分分離部32がその類似区間の位置、拡
大率及び類似形状を抽出し、類似成分符号化部33がこ
れらを符号化してステップS42に戻り、さらに類似す
る区間を検出する。
【0097】類似する区間を全て抽出及び符号化した
後、ステップS44では、図14(C)に示すように、
類似成分減算部34が、第2の部分区間から第1の部分
区間と類似する区間を減算する。なお、減算の際には、
検出された拡大率を用いて大きさを合わせて減算する。
減算後には、それぞれの類似区間で非類似成分が残る。
【0098】ステップS45では、信号符号化部35が
第1の部分区間の信号を、一般的な信号符号化方法(例
えばサブバンド符号化や変換符号化等)を用いて符号化
する。
【0099】ステップS46では、統合部36が、ステ
ップS43で符号化された類似区間の位置等の情報とス
テップS45で符号化された第1の部分区間の信号とを
1つの符号化信号として統合して出力し、図14(D)
に示すように、新たに第1の部分区間を取り直し、処理
を繰り返す。
【0100】このように、音響映像検索装置30によれ
ば、最初の部分区間では、一般的な符号化方法がそのま
ま適用されるため、符号化効率は、一般的な符号化方法
によるものと変わらないが、2番目以降の部分区間で
は、最初の部分区間の信号と類似する成分が予め減算さ
れており、信号の持つ情報量が減少する。このため、部
分的に類似するパターンが繰り返す音響信号について、
通常の符号化方法をそのまま適用するよりも符号化効率
を向上させることができる。
【0101】以上説明したように、本実施の形態におけ
る信号処理装置によれば、入力され、時間周波数分布に
変換された音響信号の少なくとも1つを小領域に分割
し、その小領域毎に時間周波数分布に変換された他の音
響信号との類似性を求め、それらを統合して全体の類似
性を評価することにより、従来では検出が困難であった
部分的に類似する音響信号について、類似性の評価及び
類似領域の検出が可能とされる。
【0102】また、この信号処理装置を音響映像検索装
置に設けることにより、再生している音響信号のうち所
望の検索位置を指定することで、記録媒体に記録されて
いる音響信号、或いはネットワーク等を介して取得した
音響信号の中から、当該所望の検索位置の信号に類似す
る音響信号を検索することができる。
【0103】また、この信号処理装置を音響信号符号化
装置に設け、予め類似する信号を別途まとめて符号化す
る前処理を行うことにより、音響信号の符号化効率が上
昇し、高音質化或いは高圧縮率化が可能とされる。この
他、本実施の形態における信号処理方法は、音響信号に
限らず、信号検出、音響処理、画像処理、レーダ技術等
のあらゆる信号処理分野において類似信号を検出する際
に適用することができる。
【0104】なお、本発明は上述した実施の形態のみに
限定されるものではなく、本発明の要旨を逸脱しない範
囲において種々の変更が可能であることは勿論である。
【0105】例えば、上述の説明では、最も一般的であ
る拡大変換及びシフト変換を行い、拡大率及び時間差を
変換パラメータとして用いたが、これに限定されるもの
ではなく、非線形変換を含むあらゆる変換に適用するこ
とができる。
【0106】また、上述の説明では、最も一般的な類似
性評価量である2次誤差エネルギを最小化する手法、す
なわち相関法を用いたが、これに限定されるものではな
く、他の類似性評価量に対しても適用することができ
る。
【0107】
【発明の効果】以上詳細に説明したように本発明に係る
信号処理方法は、複数の音響信号を入力し、当該複数の
音響信号を時間周波数分布に変換するスペクトル変換工
程と、時間周波数分布に変換された上記複数の音響信号
のうち、少なくとも1つの音響信号を複数の小領域に分
割する分割工程と、上記小領域を他の音響信号と類似す
るように変換したときの変換パラメータを抽出するパラ
メータ抽出工程と、上記変換パラメータに基づいて求め
た類似の度合いを示す値を集計する集計工程と、当該集
計の結果に基づき、上記複数の音響信号間の類似性を評
価する類似性評価工程とを有することを特徴としてい
る。
【0108】ここで、信号処理方法は、上記複数の音響
信号間の類似する区間を抽出する類似区間抽出工程をさ
らに有してもよい。
【0109】また、信号処理方法では、相関法を用いて
上記変換パラメータを求めてもよい。この場合、上記変
換パラメータは、例えば上記小領域と上記他の音響信号
との相関値が最大となるところにおける拡大率及び/又
は時間差であり、上記集計工程では、上記変換パラメー
タを軸とする空間に、上記複数の音響信号間の類似の度
合いを示す値が集計される。
【0110】このような信号処理方法では、入力され、
時間周波数分布に変換された複数の音響信号の少なくと
も1つが複数の小領域に分割され、その小領域毎に他の
音響信号との類似性が求められ、それらを集計すること
によって複数の音響信号間の類似性が評価される。ま
た、その類似性に基づいて、複数の音響信号間の類似す
る区間が抽出される。
【0111】これにより、従来では検出が困難であった
部分的に類似する音響信号について、類似性の評価及び
類似領域の検出が可能とされる。
【0112】また、本発明に係る信号処理方法は、記録
手段に記録されている音響信号を再生する再生工程と、
再生されている上記音響信号の中から所望の検索位置を
指定する検索位置指定工程と、上記所望の検索位置の信
号と上記記録手段に記録されている検索対象音響信号と
を時間周波数分布に変換するスペクトル変換工程と、時
間周波数分布に変換された上記所望の検索位置の信号を
複数の小領域に分割する分割工程と、上記小領域を上記
検索対象音響信号と類似するように変換したときの変換
パラメータを抽出するパラメータ抽出工程と、上記変換
パラメータに基づいて求めた類似の度合いを示す値を集
計する集計工程と、当該集計の結果に基づき、上記所望
の検索位置の信号と上記検索対象音響信号との類似性を
評価する類似性評価工程と、上記所望の検索位置の信号
と上記検索対象音響信号とが類似する領域を検出する類
似領域検出工程とを有することを特徴としている。
【0113】このような信号処理方法では、再生されて
いる上記音響信号の中から所望の検索位置が指定される
と、検索位置の信号と記録手段に記録されている検索対
象音響信号とが時間周波数分布に変換され、時間周波数
分布に変換された所望の検索位置の信号が複数の小領域
に分割され、その小領域毎に検索対象音響信号との類似
性が求められ、それらを集計することによって複数の類
似性が評価され、その類似性に基づいて類似する区間が
抽出される。
【0114】これにより、再生している音響信号のうち
所望の検索位置を指定することで、記録媒体に記録され
ている音響信号の中から、当該所望の検索位置の信号に
類似する音響信号を検索することができる。
【0115】また、本発明に係る信号処理方法は、複数
の音響信号を入力し、当該複数の音響信号を時間周波数
分布に変換するスペクトル変換工程と、時間周波数分布
に変換された上記複数の音響信号のうち、少なくとも1
つの音響信号を複数の小領域に分割する分割工程と、上
記小領域を他の音響信号と類似するように変換したとき
の変換パラメータを抽出するパラメータ抽出工程と、上
記変換パラメータに基づいて求めた類似の度合いを示す
値を集計する集計工程と、当該集計の結果に基づき、上
記複数の音響信号間の類似性を評価する類似性評価工程
と、上記複数の音響信号間の類似する領域を検出する類
似区間抽出工程と、上記類似領域検出工程で抽出された
上記複数の信号間の類似する領域を符号化する第1の符
号化工程と、上記類似する領域以外を符号化する第2の
符号化工程とを有することを特徴としている。
【0116】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化工程
では、上記類似する区間の位置、拡大率及び当該類似す
る領域の形状の情報が符号化される。
【0117】このような信号処理方法では、入力され、
時間周波数分布に変換された複数の音響信号の少なくと
も1つが複数の小領域に分割され、その小領域毎に他の
音響信号との類似性が求められ、それらを集計すること
によって複数の音響信号間の類似性が評価される。そし
て、その類似性に基づいて、複数の音響信号間の類似す
る区間が抽出され、その類似する区間とそれ以外の区間
とが別々に符号化される。
【0118】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【0119】また、本発明に係る信号処理装置は、複数
の音響信号を入力し、当該複数の音響信号を時間周波数
分布に変換するスペクトル変換手段と、時間周波数分布
に変換された上記複数の音響信号のうち、少なくとも1
つの音響信号を複数の小領域に分割する分割手段と、上
記小領域を他の音響信号と類似するように変換したとき
の変換パラメータを抽出するパラメータ抽出手段と、上
記変換パラメータに基づいて求めた類似の度合いを示す
値を集計する投票手段と、当該集計の結果に基づき、上
記複数の音響信号間の類似性を評価する類似性評価手段
とを備えることを特徴としている。
【0120】ここで、信号処理装置は、上記複数の音響
信号間の類似する区間を抽出する類似区間抽出手段をさ
らに備えてもよい。
【0121】また、信号処理装置では、相関法を用いて
上記変換パラメータを求めるようにしてもよい。この場
合、上記変換パラメータは、例えば、上記小領域と上記
他の信号との相関値が最大となるところにおける拡大率
及び/又は時間差であり、上記集計手段は、上記変換パ
ラメータを軸とする空間に、上記複数の音響信号間の類
似の度合いを示す値を集計する。
【0122】このような信号処理装置は、入力され、時
間周波数分布に変換された複数の音響信号の少なくとも
1つを複数の小領域に分割し、その小領域毎に他の音響
信号との類似性を求め、それらを集計することによって
複数の音響信号間の類似性を評価する。また、その類似
性に基づいて、複数の音響信号間の類似する区間を抽出
する。
【0123】これにより、従来では検出が困難であった
部分的に類似する音響信号について、類似性の評価及び
類似領域の検出が可能とされる。
【0124】また、本発明に係る信号処理装置は、複数
の音響信号が記録されている記録手段と、上記複数の音
響信号を再生する再生手段と、再生されている上記音響
信号の中から所望の検索位置を指定する検索位置指定手
段と、上記所望の検索位置の信号と上記記録手段に記録
されている検索対象音響信号とを時間周波数分布に変換
するスペクトル変換手段と、時間周波数分布に変換され
た上記所望の検索位置の信号を複数の小領域に分割する
分割手段と、上記小領域を上記検索対象音響信号と類似
するように変換したときの変換パラメータを抽出するパ
ラメータ抽出手段と、上記変換パラメータに基づいて求
めた類似の度合いを示す値を集計する投票手段と、当該
集計の結果に基づき、上記所望の検索位置の信号と上記
音響信号との類似性を評価する類似性評価手段と、上記
所望の検索位置の信号と上記音響信号とが類似する領域
を検出する類似領域検出手段とを備えることを特徴とし
ている。
【0125】このような信号処理装置は、再生されてい
る上記音響信号の中から所望の検索位置が指定される
と、検索位置の信号と記録手段に記録されている検索対
象音響信号とを時間周波数分布に変換し、時間周波数分
布に変換された所望の検索位置の信号を複数の小領域に
分割し、その小領域毎に検索対象音響信号との類似性を
求め、それらを集計することによって複数の類似性を評
価して、その類似性に基づいて類似する区間を抽出す
る。
【0126】これにより、再生している音響信号のうち
所望の検索位置を指定することで、記録媒体に記録され
ている音響信号の中から、当該所望の検索位置の信号に
類似する音響信号を検索することができる。
【0127】また、本発明に係る信号処理装置は、複数
の音響信号を入力し、当該複数の音響信号を時間周波数
分布に変換するスペクトル変換手段と、時間周波数分布
に変換された上記複数の音響信号のうち、少なくとも1
つの音響信号を複数の小領域に分割する分割手段と、上
記小領域を他の音響信号と類似するように変換したとき
の変換パラメータを抽出するパラメータ抽出手段と、上
記変換パラメータに基づいて求めた類似の度合いを示す
値を集計する投票手段と、当該集計の結果に基づき、上
記複数の音響信号間の類似性を評価する類似性評価手段
と、上記複数の音響信号間の類似する領域を検出する類
似区間抽出手段と、上記類似領域検出手段によって抽出
された上記複数の信号間の類似する領域を符号化する第
1の符号化手段と、上記類似する領域以外を符号化する
第2の符号化手段とを備えることを特徴としている。
【0128】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化手段
は、上記類似する区間の位置、拡大率及び当該類似する
領域の形状の情報を符号化する。
【0129】このような信号処理装置は、入力され、時
間周波数分布に変換された複数の音響信号の少なくとも
1つを複数の小領域に分割し、その小領域毎に他の音響
信号との類似性を求め、それらを集計することによって
複数の音響信号間の類似性を評価する。そして、その類
似性に基づいて、複数の音響信号間の類似する区間を抽
出し、その類似する区間とそれ以外の区間とを別々に符
号化する。
【0130】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【0131】また、本発明に係る信号処理プログラム
は、複数の音響信号を入力し、当該複数の音響信号を時
間周波数分布に変換するスペクトル変換工程と、時間周
波数分布に変換された上記複数の音響信号のうち、少な
くとも1つの音響信号を複数の小領域に分割する分割工
程と、上記小領域を他の音響信号と類似するように変換
したときの変換パラメータを抽出するパラメータ抽出工
程と、上記変換パラメータに基づいて求めた類似の度合
いを示す値を集計する集計工程と、当該集計の結果に基
づき、上記複数の音響信号間の類似性を評価する類似性
評価工程とを有することを特徴としている。
【0132】ここで、信号処理プログラムは、上記複数
の音響信号間の類似する区間を抽出する類似区間抽出工
程をさらに有してもよい。
【0133】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めてもよい。この場合、
上記変換パラメータは、例えば上記小領域と上記他の音
響信号との相関値が最大となるところにおける拡大率及
び/又は時間差であり、上記集計工程では、上記変換パ
ラメータを軸とする空間に、上記複数の音響信号間の類
似の度合いを示す値が集計される。
【0134】このような信号処理プログラムは、入力さ
れ、時間周波数分布に変換された複数の音響信号の少な
くとも1つを複数の小領域に分割し、その小領域毎に他
の音響信号との類似性を求め、それらを集計することに
よって複数の音響信号間の類似性を評価する。また、そ
の類似性に基づいて、複数の音響信号間の類似する区間
を抽出する。
【0135】これにより、従来では検出が困難であった
部分的に類似する音響信号について、類似性の評価及び
類似領域の検出が可能とされる。
【0136】また、本発明に係る信号処理プログラム
は、記録手段に記録されている音響信号を再生する再生
工程と、再生されている上記音響信号の中から所望の検
索位置を指定する検索位置指定工程と、上記所望の検索
位置の信号と上記記録手段に記録されている検索対象音
響信号とを時間周波数分布に変換するスペクトル変換工
程と、時間周波数分布に変換された上記所望の検索位置
の信号を複数の小領域に分割する分割工程と、上記小領
域を上記検索対象音響信号と類似するように変換したと
きの変換パラメータを抽出するパラメータ抽出工程と、
上記変換パラメータに基づいて求めた類似の度合いを示
す値を集計する集計工程と、当該集計の結果に基づき、
上記所望の検索位置の信号と上記検索対象音響信号との
類似性を評価する類似性評価工程と、上記所望の検索位
置の信号と上記検索対象音響信号とが類似する領域を検
出する類似領域検出工程とを有することを特徴としてい
る。
【0137】このような信号処理プログラムは、再生さ
れている上記音響信号の中から所望の検索位置が指定さ
れると、検索位置の信号と記録手段に記録されている検
索対象音響信号とを時間周波数分布に変換し、時間周波
数分布に変換された所望の検索位置の信号を複数の小領
域に分割し、その小領域毎に検索対象音響信号との類似
性を求め、それらを集計することによって複数の類似性
を評価して、その類似性に基づいて類似する区間を抽出
する。
【0138】これにより、再生している音響信号のうち
所望の検索位置を指定することで、記録媒体に記録され
ている音響信号の中から、当該所望の検索位置の信号に
類似する音響信号を検索することができる。
【0139】また、本発明に係る信号処理プログラム
は、複数の音響信号を入力し、当該複数の音響信号を時
間周波数分布に変換するスペクトル変換工程と、時間周
波数分布に変換された上記複数の音響信号のうち、少な
くとも1つの音響信号を複数の小領域に分割する分割工
程と、上記小領域を他の音響信号と類似するように変換
したときの変換パラメータを抽出するパラメータ抽出工
程と、上記変換パラメータに基づいて求めた類似の度合
いを示す値を集計する集計工程と、当該集計の結果に基
づき、上記複数の音響信号間の類似性を評価する類似性
評価工程と、上記複数の音響信号間の類似する領域を検
出する類似区間抽出工程と、上記類似領域検出工程で抽
出された上記複数の信号間の類似する領域を符号化する
第1の符号化工程と、上記類似する領域以外を符号化す
る第2の符号化工程とを有することを特徴としている。
【0140】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化工程
では、上記類似する区間の位置、拡大率及び当該類似す
る領域の形状の情報が符号化される。
【0141】このような信号処理プログラムは、入力さ
れ、時間周波数分布に変換された複数の音響信号の少な
くとも1つを複数の小領域に分割し、その小領域毎に他
の音響信号との類似性を求め、それらを集計することに
よって複数の音響信号間の類似性を評価する。そして、
その類似性に基づいて、複数の音響信号間の類似する区
間を抽出し、その類似する区間とそれ以外の区間とを別
々に符号化する。
【0142】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【0143】また、本発明に係る記録媒体は、複数の音
響信号を入力し、当該複数の音響信号を時間周波数分布
に変換するスペクトル変換工程と、時間周波数分布に変
換された上記複数の音響信号のうち、少なくとも1つの
音響信号を複数の小領域に分割する分割工程と、上記小
領域を他の音響信号と類似するように変換したときの変
換パラメータを抽出するパラメータ抽出工程と、上記変
換パラメータに基づいて求めた類似の度合いを示す値を
集計する集計工程と、当該集計の結果に基づき、上記複
数の音響信号間の類似性を評価する類似性評価工程とを
有することを特徴とする信号処理プログラムが記録され
たコンピュータ制御可能なものである。
【0144】ここで、信号処理プログラムは、上記複数
の音響信号間の類似する区間を抽出する類似区間抽出工
程をさらに有してもよい。
【0145】また、信号処理プログラムでは、相関法を
用いて上記変換パラメータを求めてもよい。この場合、
上記変換パラメータは、例えば上記小領域と上記他の音
響信号との相関値が最大となるところにおける拡大率及
び/又は時間差であり、上記集計工程では、上記変換パ
ラメータを軸とする空間に、上記複数の音響信号間の類
似の度合いを示す値が集計される。
【0146】このような記録媒体に記録されている信号
処理プログラムは、入力され、時間周波数分布に変換さ
れた複数の音響信号の少なくとも1つを複数の小領域に
分割し、その小領域毎に他の音響信号との類似性を求
め、それらを集計することによって複数の音響信号間の
類似性を評価する。また、その類似性に基づいて、複数
の音響信号間の類似する区間を抽出する。
【0147】これにより、従来では検出が困難であった
部分的に類似する音響信号について、類似性の評価及び
類似領域の検出が可能とされる。
【0148】また、本発明に係る記録媒体は、記録手段
に記録されている音響信号を再生する再生工程と、再生
されている上記音響信号の中から所望の検索位置を指定
する検索位置指定工程と、上記所望の検索位置の信号と
上記記録手段に記録されている検索対象音響信号とを時
間周波数分布に変換するスペクトル変換工程と、時間周
波数分布に変換された上記所望の検索位置の信号を複数
の小領域に分割する分割工程と、上記小領域を上記検索
対象音響信号と類似するように変換したときの変換パラ
メータを抽出するパラメータ抽出工程と、上記変換パラ
メータに基づいて求めた類似の度合いを示す値を集計す
る集計工程と、当該集計の結果に基づき、上記所望の検
索位置の信号と上記検索対象音響信号との類似性を評価
する類似性評価工程と、上記所望の検索位置の信号と上
記検索対象音響信号とが類似する領域を検出する類似領
域検出工程とを有することを特徴とする信号処理プログ
ラムが記録されたコンピュータ制御可能なものである。
【0149】このような記録媒体に記録されている信号
処理プログラムは、再生されている上記音響信号の中か
ら所望の検索位置が指定されると、検索位置の信号と記
録手段に記録されている検索対象音響信号とを時間周波
数分布に変換し、時間周波数分布に変換された所望の検
索位置の信号を複数の小領域に分割し、その小領域毎に
検索対象音響信号との類似性を求め、それらを集計する
ことによって複数の類似性を評価して、その類似性に基
づいて類似する区間を抽出する。
【0150】これにより、再生している音響信号のうち
所望の検索位置を指定することで、記録媒体に記録され
ている音響信号の中から、当該所望の検索位置の信号に
類似する音響信号を検索することができる。
【0151】また、本発明に係る記録媒体は、複数の音
響信号を入力し、当該複数の音響信号を時間周波数分布
に変換するスペクトル変換工程と、時間周波数分布に変
換された上記複数の音響信号のうち、少なくとも1つの
音響信号を複数の小領域に分割する分割工程と、上記小
領域を他の音響信号と類似するように変換したときの変
換パラメータを抽出するパラメータ抽出工程と、上記変
換パラメータに基づいて求めた類似の度合いを示す値を
集計する集計工程と、当該集計の結果に基づき、上記複
数の音響信号間の類似性を評価する類似性評価工程と、
上記複数の音響信号間の類似する領域を検出する類似区
間抽出工程と、上記類似領域検出工程で抽出された上記
複数の信号間の類似する領域を符号化する第1の符号化
工程と、上記類似する領域以外を符号化する第2の符号
化工程とを有することを特徴とする信号処理プログラム
が記録されたものである。
【0152】ここで、上記変換は、例えば拡大及び/又
はシフト変換であり、この場合、上記第1の符号化工程
では、上記類似する区間の位置、拡大率及び当該類似す
る領域の形状の情報が符号化される。
【0153】このような記録媒体に記録されている信号
処理プログラムは、入力され、時間周波数分布に変換さ
れた複数の音響信号の少なくとも1つを複数の小領域に
分割し、その小領域毎に他の音響信号との類似性を求
め、それらを集計することによって複数の音響信号間の
類似性を評価する。そして、その類似性に基づいて、複
数の音響信号間の類似する区間を抽出し、その類似する
区間とそれ以外の区間とを別々に符号化する。
【0154】これにより、通常の符号化方法によって符
号化する場合と比較して、符号化効率を向上させること
ができる。
【図面の簡単な説明】
【図1】従来の相関法によって、類似度が適切に求めら
れない例について説明するための図であり、信号Aの短
時間スペクトル分布を示す。
【図2】従来の相関法によって、類似度が適切に求めら
れない例について説明するための図であり、信号Bの短
時間スペクトル分布を示す。
【図3】従来の相関法によって、類似度が適切に求めら
れない例について説明するための図であり、信号Bの短
時間スペクトル分布を示す。
【図4】信号Aのスペクトルの一部の区間をテンプレー
トとし、信号Bのスペクトルと信号Cのスペクトルとに
対して相関演算を行った結果を説明する図であり、同図
(A)は、信号Bのスペクトルに対して相関検出を行っ
た結果を示し、同図(B)は、信号Cのスペクトルに対
して相関検出を行った結果を示す。
【図5】本実施の形態における信号処理装置の概略構成
を説明する図である。
【図6】同信号処理装置の動作の原理を説明する図であ
り、同図(A)は、第1の信号を小領域に分割する様子
を示し、同図(B)は、信号g(x)中で類似する領域が検
出された様子を示し、同図(C)は、その領域のパラメ
ータを投票空間に投票する様子を示す。
【図7】同信号処理装置の動作を説明するフローチャー
トである。
【図8】同信号処理装置の信号処理方法を信号A、信号
B及び信号Cに適用した例を説明する図であり、図図
(A)は、信号Aを第1の信号とし、信号Bを第2の信
号とした場合の投票結果の分布を示し、図8(B)は、
信号Aを第1の信号とし、信号Cを第2の信号とした場
合の投票結果の分布を示す。
【図9】信号Aのうち、信号Bと類似する領域が抽出さ
れた例を示す。
【図10】同信号処理装置を適用した音響映像検索装置
の概略構成を説明する図である。
【図11】同音響映像検索装置の動作を説明するフロー
チャートである。
【図12】同信号処理装置を適用した音響信号符号化装
置の概略構成を説明する図である。
【図13】同音響信号符号化装置の動作を説明するフロ
ーチャートである。
【図14】同音響信号符号化装置の動作を説明する図で
あり、同図(A)は、第1の部分区間及び第2の部分区
間を選択する様子を示し、同図(B)は、第2の部分区
間のうち第2の部分区間と類似する区間が抽出された様
子を示し、同図(C)は、第1の部分区間を符号化する
様子を示し、同図(D)は、新たに第1の部分区間を選
択する様子を示す。
【符号の説明】
10 信号処理装置、11 第1のスペクトル計算部、
12 領域分割部、13 第2のスペクトル計算部、1
4 類似度計算部、15 投票部、16 類似判定部、
17 類似領域検出部、20 音響映像検索装置、21
記録部、22再生/表示部、23 入力部、24 類
似探索部、30 音響信号符号化装置、31 類似領域
検出部、32 類似成分分離部、33 類似成分符号化
部、34 類似成分減算部、35 信号符号化部、36
統合部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 3/00 531E 7/02 A Fターム(参考) 5C052 AB02 DD06 5D015 AA06 CC03 HH04 KK00 5D045 DA20

Claims (60)

    【特許請求の範囲】
  1. 【請求項1】 複数の音響信号を入力し、当該複数の音
    響信号を時間周波数分布に変換するスペクトル変換工程
    と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割工程と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価工程と を有することを特徴とする信号処理方法。
  2. 【請求項2】 上記複数の音響信号間の類似する領域を
    検出する類似区間抽出工程をさらに有することを特徴と
    する請求項1記載の信号処理方法。
  3. 【請求項3】 上記類似区間抽出工程では、上記集計の
    結果が最大となるところにおける上記変換パラメータと
    略等しい変換パラメータの抽出された上記小領域が検出
    されることを特徴とする請求項2記載の信号処理方法。
  4. 【請求項4】 上記変換は、拡大及び/又はシフト変換
    であることを特徴とする請求項1記載の信号処理方法。
  5. 【請求項5】 相関法を用いて上記変換パラメータを求
    めることを特徴とする請求項4記載の信号処理方法。
  6. 【請求項6】 上記変換パラメータは、上記小領域と上
    記他の音響信号との相関値が最大となるところにおける
    拡大率及び/又は時間差であることを特徴とする請求項
    5記載の信号処理方法。
  7. 【請求項7】 上記集計工程では、上記変換パラメータ
    を軸とする空間に、上記複数の音響信号間の類似の度合
    いを示す値が集計されることを特徴とする請求項1記載
    の信号処理方法。
  8. 【請求項8】 上記集計工程における上記類似の度合い
    を示す値は、上記複数の音響信号間の類似度に比例した
    値であることを特徴する請求項1記載の信号処理方法。
  9. 【請求項9】 上記類似度として、上記複数の音響信号
    間の相関値又は当該相関値の自乗を用いることを特徴す
    る請求項8記載の信号処理方法。
  10. 【請求項10】 上記複数の音響信号は、一の音響信号
    の異なる部分の信号であることを特徴とする請求項1記
    載の信号処理方法。
  11. 【請求項11】 記録手段に記録されている音響信号を
    再生する再生工程と、 再生されている上記音響信号の中から所望の検索位置を
    指定する検索位置指定工程と、 上記所望の検索位置の信号と上記記録手段に記録されて
    いる検索対象音響信号とを時間周波数分布に変換するス
    ペクトル変換工程と、 時間周波数分布に変換された上記所望の検索位置の信号
    を複数の小領域に分割する分割工程と、 上記小領域を上記検索対象音響信号と類似するように変
    換したときの変換パラメータを抽出するパラメータ抽出
    工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記所望の検索位置の信号と
    上記検索対象音響信号との類似性を評価する類似性評価
    工程と、 上記所望の検索位置の信号と上記検索対象音響信号とが
    類似する領域を検出する類似領域検出工程とを有するこ
    とを特徴とする信号処理方法。
  12. 【請求項12】 ネットワーク又は放送信号から上記検
    索対象音響信号を取得することを特徴とする請求項11
    記載の信号処理方法。
  13. 【請求項13】 上記所望の検索位置の信号が放送信号
    のコマーシャル部分の音響信号又は類似する放送番組群
    に共通に用いられている音響信号であることを特徴とす
    る請求項12記載の信号処理方法。
  14. 【請求項14】 複数の音響信号を入力し、当該複数の
    音響信号を時間周波数分布に変換するスペクトル変換工
    程と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割工程と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価工程と、 上記複数の音響信号間の類似する領域を検出する類似区
    間抽出工程と、 上記類似領域検出工程で抽出された上記複数の信号間の
    類似する領域を符号化する第1の符号化工程と、 上記類似する領域以外を符号化する第2の符号化工程と
    を有することを特徴とする信号処理方法。
  15. 【請求項15】 上記変換は、拡大及び/又はシフト変
    換であり、 上記第1の符号化工程では、上記類似する区間の位置、
    拡大率及び当該類似する領域の形状の情報が符号化され
    ることを特徴とする請求項14記載の信号処理方法。
  16. 【請求項16】 複数の音響信号を入力し、当該複数の
    音響信号を時間周波数分布に変換するスペクトル変換手
    段と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割手段と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出手段と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する投票手段と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価手段とを備えることを特徴とす
    る信号処理装置。
  17. 【請求項17】 上記複数の音響信号間の類似する領域
    を検出する類似区間抽出手段をさらに備えることを特徴
    とする請求項16記載の信号処理装置。
  18. 【請求項18】 上記類似区間抽出手段は、上記集計の
    結果が最大となるところにおける上記変換パラメータと
    略等しい変換パラメータの抽出された上記小領域を検出
    することを特徴とする請求項17記載の信号処理装置。
  19. 【請求項19】 上記変換は、拡大及び/又はシフト変
    換であることを特徴とする請求項16記載の信号処理装
    置。
  20. 【請求項20】 相関法を用いて上記変換パラメータを
    求めることを特徴とする請求項19記載の信号処理装
    置。
  21. 【請求項21】 上記変換パラメータは、上記小領域と
    上記他の音響信号との相関値が最大となるところにおけ
    る拡大率及び/又は時間差であることを特徴とする請求
    項20記載の信号処理装置。
  22. 【請求項22】 上記集計手段は、上記変換パラメータ
    を軸とする空間に、上記複数の信号間の類似の度合いを
    示す値を集計することを特徴とする請求項16記載の信
    号処理装置。
  23. 【請求項23】 上記類似の度合いを示す値は、上記複
    数の音響信号間の類似度に比例した値であることを特徴
    する請求項16記載の信号処理装置。
  24. 【請求項24】 上記類似度として、上記複数の音響信
    号間の相関値又は当該相関値の自乗を用いることを特徴
    する請求項23記載の信号処理装置。
  25. 【請求項25】 上記複数の音響信号は、一の音響信号
    の異なる部分の信号であることを特徴とする請求項16
    記載の信号処理装置。
  26. 【請求項26】 複数の音響信号が記録されている記録
    手段と、 上記複数の音響信号を再生する再生手段と、 再生されている上記音響信号の中から所望の検索位置を
    指定する検索位置指定手段と、 上記所望の検索位置の信号と上記記録手段に記録されて
    いる検索対象音響信号とを時間周波数分布に変換するス
    ペクトル変換手段と、 時間周波数分布に変換された上記所望の検索位置の信号
    を複数の小領域に分割する分割手段と、 上記小領域を上記検索対象音響信号と類似するように変
    換したときの変換パラメータを抽出するパラメータ抽出
    手段と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する投票手段と、 当該集計の結果に基づき、上記所望の検索位置の信号と
    上記音響信号との類似性を評価する類似性評価手段と、 上記所望の検索位置の信号と上記音響信号とが類似する
    領域を検出する類似領域検出手段とを備えることを特徴
    とする信号処理装置。
  27. 【請求項27】 ネットワーク又は放送信号から上記検
    索対象音響信号を取得することを特徴とする請求項26
    記載の信号処理装置。
  28. 【請求項28】 上記所望の検索位置の信号が放送信号
    のコマーシャル部分の音響信号又は類似する放送番組群
    に共通に用いられている音響信号であることを特徴とす
    る請求項27記載の信号処理装置。
  29. 【請求項29】 複数の音響信号を入力し、当該複数の
    音響信号を時間周波数分布に変換するスペクトル変換手
    段と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割手段と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出手段と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する投票手段と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価手段と、 上記複数の音響信号間の類似する領域を検出する類似区
    間抽出手段と、 上記類似領域検出手段によって抽出された上記複数の信
    号間の類似する領域を符号化する第1の符号化手段と、 上記類似する領域以外を符号化する第2の符号化手段と
    を備えることを特徴とする信号処理装置。
  30. 【請求項30】 上記変換は、拡大及び/又はシフト変
    換であり、 上記第1の符号化手段は、上記類似する区間の位置、拡
    大率及び当該類似する領域の形状の情報を符号化するこ
    とを特徴とする請求項29記載の信号処理装置。
  31. 【請求項31】 複数の音響信号を入力し、当該複数の
    音響信号を時間周波数分布に変換するスペクトル変換工
    程と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割工程と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価工程とを有することを特徴とす
    る信号処理プログラム。
  32. 【請求項32】 上記複数の音響信号間の類似する領域
    を検出する類似区間抽出工程をさらに有することを特徴
    とする請求項31記載の信号処理プログラム。
  33. 【請求項33】 上記類似区間抽出工程では、上記集計
    の結果が最大となるところにおける上記変換パラメータ
    と略等しい変換パラメータの抽出された上記小領域が検
    出されることを特徴とする請求項32記載の信号処理プ
    ログラム。
  34. 【請求項34】 上記変換は、拡大及び/又はシフト変
    換であることを特徴とする請求項31記載の信号処理プ
    ログラム。
  35. 【請求項35】 相関法を用いて上記変換パラメータを
    求めることを特徴とする請求項34記載の信号処理プロ
    グラム。
  36. 【請求項36】 上記変換パラメータは、上記小領域と
    上記他の音響信号との相関値が最大となるところにおけ
    る拡大率及び/又は時間差であることを特徴とする請求
    項35記載の信号処理プログラム。
  37. 【請求項37】 上記集計工程では、上記変換パラメー
    タを軸とする空間に、上記複数の音響信号間の類似の度
    合いを示す値が集計されることを特徴とする請求項31
    記載の信号処理プログラム。
  38. 【請求項38】 上記集計工程における上記類似の度合
    いを示す値は、上記複数の音響信号間の類似度に比例し
    た値であることを特徴する請求項31記載の信号処理プ
    ログラム。
  39. 【請求項39】 上記類似度として、上記複数の音響信
    号間の相関値又は当該相関値の自乗を用いることを特徴
    する請求項38記載の信号処理プログラム。
  40. 【請求項40】 上記複数の音響信号は、一の音響信号
    の異なる部分の信号であることを特徴とする請求項31
    記載の信号処理プログラム。
  41. 【請求項41】 記録手段に記録されている音響信号を
    再生する再生工程と、 再生されている上記音響信号の中から所望の検索位置を
    指定する検索位置指定工程と、 上記所望の検索位置の信号と上記記録手段に記録されて
    いる検索対象音響信号とを時間周波数分布に変換するス
    ペクトル変換工程と、 時間周波数分布に変換された上記所望の検索位置の信号
    を複数の小領域に分割する分割工程と、 上記小領域を上記検索対象音響信号と類似するように変
    換したときの変換パラメータを抽出するパラメータ抽出
    工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記所望の検索位置の信号と
    上記検索対象音響信号との類似性を評価する類似性評価
    工程と、 上記所望の検索位置の信号と上記検索対象音響信号とが
    類似する領域を検出する類似領域検出工程とを有するこ
    とを特徴とする信号処理プログラム。
  42. 【請求項42】 ネットワーク又は放送信号から上記検
    索対象音響信号を取得することを特徴とする請求項41
    記載の信号処理プログラム。
  43. 【請求項43】 上記所望の検索位置の信号が放送信号
    のコマーシャル部分の音響信号又は類似する放送番組群
    に共通に用いられている音響信号であることを特徴とす
    る請求項42記載の信号処理プログラム。
  44. 【請求項44】 複数の音響信号を入力し、当該複数の
    音響信号を時間周波数分布に変換するスペクトル変換工
    程と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割工程と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価工程と、 上記複数の音響信号間の類似する領域を検出する類似区
    間抽出工程と、 上記類似領域検出工程で抽出された上記複数の信号間の
    類似する領域を符号化する第1の符号化工程と、 上記類似する領域以外を符号化する第2の符号化工程と
    を有することを特徴とする信号処理プログラム。
  45. 【請求項45】 上記変換は、拡大及び/又はシフト変
    換であり、 上記第1の符号化工程では、上記類似する区間の位置、
    拡大率及び当該類似する領域の形状の情報が符号化され
    ることを特徴とする請求項44記載の信号処理プログラ
    ム。
  46. 【請求項46】 複数の音響信号を入力し、当該複数の
    音響信号を時間周波数分布に変換するスペクトル変換工
    程と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割工程と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価工程とを有することを特徴とす
    る信号処理プログラムが記録されたコンピュータ制御可
    能な記録媒体。
  47. 【請求項47】 上記複数の音響信号間の類似する領域
    を検出する類似区間抽出工程をさらに有することを特徴
    とする信号処理プログラムが記録された請求項46記載
    の記録媒体。
  48. 【請求項48】 上記類似区間抽出工程では、上記集計
    の結果が最大となるところにおける上記変換パラメータ
    と略等しい変換パラメータの抽出された上記小領域が検
    出されることを特徴とする信号処理プログラムが記録さ
    れた請求項47記載の記録媒体。
  49. 【請求項49】 上記変換は、拡大及び/又はシフト変
    換であることを特徴とする信号処理プログラムが記録さ
    れた請求項46記載の記録媒体。
  50. 【請求項50】 相関法を用いて上記変換パラメータを
    求めることを特徴とする信号処理プログラムが記録され
    た請求項49記載の記録媒体。
  51. 【請求項51】 上記変換パラメータは、上記小領域と
    上記他の音響信号との相関値が最大となるところにおけ
    る拡大率及び/又は時間差であることを特徴とする信号
    処理プログラムが記録された請求項50記載の記録媒
    体。
  52. 【請求項52】 上記集計工程では、上記変換パラメー
    タを軸とする空間に、上記複数の音響信号間の類似の度
    合いを示す値が集計されることを特徴とする信号処理プ
    ログラムが記録された請求項46記載の記録媒体。
  53. 【請求項53】 上記集計工程における上記類似の度合
    いを示す値は、上記複数の音響信号間の類似度に比例し
    た値であることを特徴する信号処理プログラムが記録さ
    れた請求項46記載の記録媒体。
  54. 【請求項54】 上記類似度として、上記複数の音響信
    号間の相関値又は当該相関値の自乗を用いることを特徴
    する信号処理プログラムが記録された請求項53記載の
    記録媒体。
  55. 【請求項55】 上記複数の音響信号は、一の音響信号
    の異なる部分の信号であることを特徴とする信号処理プ
    ログラムが記録された請求項46記載の記録媒体。
  56. 【請求項56】 記録手段に記録されている音響信号を
    再生する再生工程と、再生されている上記音響信号の中
    から所望の検索位置を指定する検索位置指定工程と、 上記所望の検索位置の信号と上記記録手段に記録されて
    いる検索対象音響信号とを時間周波数分布に変換するス
    ペクトル変換工程と、 時間周波数分布に変換された上記所望の検索位置の信号
    を複数の小領域に分割する分割工程と、 上記小領域を上記検索対象音響信号と類似するように変
    換したときの変換パラメータを抽出するパラメータ抽出
    工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記所望の検索位置の信号と
    上記検索対象音響信号との類似性を評価する類似性評価
    工程と、 上記所望の検索位置の信号と上記検索対象音響信号とが
    類似する領域を検出する類似領域検出工程とを有するこ
    とを特徴とする信号処理プログラムが記録されたコンピ
    ュータ制御可能な記録媒体。
  57. 【請求項57】 ネットワーク又は放送信号から上記検
    索対象音響信号を取得することを特徴とする信号処理プ
    ログラムが記録された請求項56記載の記録媒体。
  58. 【請求項58】 上記所望の検索位置の信号が放送信号
    のコマーシャル部分の音響信号又は類似する放送番組群
    に共通に用いられている音響信号であることを特徴とす
    る信号処理プログラムが記録された請求項57記載の記
    録媒体。
  59. 【請求項59】 複数の音響信号を入力し、当該複数の
    音響信号を時間周波数分布に変換するスペクトル変換工
    程と、 時間周波数分布に変換された上記複数の音響信号のう
    ち、少なくとも1つの音響信号を複数の小領域に分割す
    る分割工程と、 上記小領域を他の音響信号と類似するように変換したと
    きの変換パラメータを抽出するパラメータ抽出工程と、 上記変換パラメータに基づいて求めた類似の度合いを示
    す値を集計する集計工程と、 当該集計の結果に基づき、上記複数の音響信号間の類似
    性を評価する類似性評価工程と、 上記複数の音響信号間の類似する領域を検出する類似区
    間抽出工程と、 上記類似領域検出工程で抽出された上記複数の信号間の
    類似する領域を符号化する第1の符号化工程と、 上記類似する領域以外を符号化する第2の符号化工程と
    を有することを特徴とする信号処理プログラムが記録さ
    れたコンピュータ制御可能な記録媒体。
  60. 【請求項60】 上記変換は、拡大及び/又はシフト変
    換であり、 上記第1の符号化工程では、上記類似する区間の位置、
    拡大率及び当該類似する領域の形状の情報が符号化され
    ることを特徴とする信号処理プログラムが記録された請
    求項59記載の記録媒体。
JP2001324254A 2001-10-22 2001-10-22 信号処理方法及び装置、並びに信号処理プログラム Expired - Fee Related JP3750583B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001324254A JP3750583B2 (ja) 2001-10-22 2001-10-22 信号処理方法及び装置、並びに信号処理プログラム
US10/273,529 US7720235B2 (en) 2001-10-22 2002-10-18 Signal processing method and apparatus, signal processing program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001324254A JP3750583B2 (ja) 2001-10-22 2001-10-22 信号処理方法及び装置、並びに信号処理プログラム

Publications (2)

Publication Number Publication Date
JP2003131685A true JP2003131685A (ja) 2003-05-09
JP3750583B2 JP3750583B2 (ja) 2006-03-01

Family

ID=19141004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001324254A Expired - Fee Related JP3750583B2 (ja) 2001-10-22 2001-10-22 信号処理方法及び装置、並びに信号処理プログラム

Country Status (2)

Country Link
US (1) US7720235B2 (ja)
JP (1) JP3750583B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026836A (ja) * 2006-07-25 2008-02-07 Yamaha Corp 音声の類似度を評価する方法、装置およびプログラム
JP2017033169A (ja) * 2015-07-30 2017-02-09 日本電信電話株式会社 映像同定装置、方法、及びプログラム
US11551706B2 (en) * 2018-07-12 2023-01-10 Alibaba Group Holding Limited Crosstalk data detection method and electronic device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7667120B2 (en) * 2006-03-30 2010-02-23 The Tsi Company Training method using specific audio patterns and techniques
WO2008071353A2 (en) 2006-12-12 2008-06-19 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V: Encoder, decoder and methods for encoding and decoding data segments representing a time-domain data stream
ATE456908T1 (de) * 2007-11-12 2010-02-15 Harman Becker Automotive Sys Mischung von ersten und zweiten tonsignalen
US9897328B2 (en) * 2013-05-02 2018-02-20 William B. McEvoy Tabletop cooking assembly
US8942803B1 (en) 2013-08-30 2015-01-27 Zoll Medical Corporation System and method for distinguishing manual from automated CPR
DE102015201073A1 (de) * 2015-01-22 2016-07-28 Sivantos Pte. Ltd. Verfahren und Vorrichtung zur Rauschunterdrückung basierend auf Inter-Subband-Korrelation
CN110910899B (zh) * 2019-11-27 2022-04-08 杭州联汇科技股份有限公司 一种实时音频信号一致性对比检测方法
US11454402B1 (en) 2021-12-01 2022-09-27 Mcevoy William B Tabletop cooking assembly

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082106B2 (ja) 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
JP2941846B2 (ja) 1989-05-26 1999-08-30 キヤノン株式会社 符号化及び復号化装置
JP3373008B2 (ja) * 1993-10-20 2003-02-04 オリンパス光学工業株式会社 画像像域分離装置
JPH0879760A (ja) 1994-09-05 1996-03-22 Oki Electric Ind Co Ltd 動きベクトル検出回路
JP2778567B2 (ja) * 1995-12-23 1998-07-23 日本電気株式会社 信号符号化装置及び方法
US5845241A (en) * 1996-09-04 1998-12-01 Hughes Electronics Corporation High-accuracy, low-distortion time-frequency analysis of signals using rotated-window spectrograms
JPH1083623A (ja) * 1996-09-10 1998-03-31 Sony Corp 信号記録方法、信号記録装置、記録媒体および信号処理方法
EP0869445A3 (en) 1997-03-31 2002-11-06 Hitachi, Ltd. Video signal processing system and method using time code
JPH10336593A (ja) 1997-03-31 1998-12-18 Hitachi Ltd 同期型映像処理システムおよび方法
JPH11328311A (ja) 1997-08-06 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 画像内のパターン抽出方法、画像内のパターン認識方法及び画像異常判定方法並びに記憶媒体
US6438165B2 (en) * 1998-03-09 2002-08-20 Lg Electronics Method and apparatus for advanced encoder system
JP3065314B1 (ja) 1998-06-01 2000-07-17 日本電信電話株式会社 高速信号探索方法、装置およびその記録媒体
JP4057147B2 (ja) * 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
JP2000078589A (ja) 1998-08-27 2000-03-14 Sony Corp 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
EP0973336A2 (en) 1998-07-15 2000-01-19 Sony Corporation Motion vector detecting, picture encoding and recording method and apparatus
US6226606B1 (en) * 1998-11-24 2001-05-01 Microsoft Corporation Method and apparatus for pitch tracking
US6661918B1 (en) * 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6330428B1 (en) * 1998-12-23 2001-12-11 Nortel Networks Limited Voice quality performance evaluator and method of operation in conjunction with a communication network
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2001228900A (ja) 1999-12-10 2001-08-24 Ricoh Co Ltd 音声パラメータ符号化装置およびその装置に用いられる符号化方式およびその符号化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体、および、音声パラメータ量子化装置およびその装置に用いられる量子化方法およびその量子化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体
JP3742279B2 (ja) * 2000-06-09 2006-02-01 日本電信電話株式会社 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体
US6859552B2 (en) * 2000-11-07 2005-02-22 Minolta Co., Ltd. Image retrieving apparatus
US6907367B2 (en) * 2001-08-31 2005-06-14 The United States Of America As Represented By The Secretary Of The Navy Time-series segmentation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026836A (ja) * 2006-07-25 2008-02-07 Yamaha Corp 音声の類似度を評価する方法、装置およびプログラム
JP2017033169A (ja) * 2015-07-30 2017-02-09 日本電信電話株式会社 映像同定装置、方法、及びプログラム
US11551706B2 (en) * 2018-07-12 2023-01-10 Alibaba Group Holding Limited Crosstalk data detection method and electronic device

Also Published As

Publication number Publication date
JP3750583B2 (ja) 2006-03-01
US20030125823A1 (en) 2003-07-03
US7720235B2 (en) 2010-05-18

Similar Documents

Publication Publication Date Title
JP4683253B2 (ja) Av信号処理装置および方法、プログラム、並びに記録媒体
US6604072B2 (en) Feature-based audio content identification
CN102084416B (zh) 音视频签名、导出签名的方法以及比较音视频数据的方法
JP5826291B2 (ja) 音声信号からの特徴フィンガープリントの抽出及びマッチング方法
US6744922B1 (en) Signal processing method and video/voice processing device
JP3891111B2 (ja) 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
US7085613B2 (en) System for monitoring audio content in a video broadcast
US20060075237A1 (en) Fingerprinting multimedia contents
US6574594B2 (en) System for monitoring broadcast audio content
EP1081960A1 (en) Signal processing method and video/voice processing device
JP3997749B2 (ja) 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
US7865063B2 (en) Signal processing apparatus and method, recording medium, and program
US20020082837A1 (en) System for monitoring audio content available over a network
JP2004530153A6 (ja) 信号を特徴付ける方法および装置、および、索引信号を生成する方法および装置
KR20040026634A (ko) 특징량 추출장치
JP2003131685A (ja) 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
WO2003088534A1 (en) Feature-based audio content identification
JP2003132041A (ja) 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
JP6462111B2 (ja) 情報信号の指紋を生成するための方法及び装置
JP2000285242A (ja) 信号処理方法及び映像音声処理装置
JP4512969B2 (ja) 信号処理装置及び方法、記録媒体、並びにプログラム
Kathirvel et al. Automated referee whistle sound detection for extraction of highlights from sports video
Sankaran Analysis of audio fingerprinting techniques
Senechal et al. Audio, video and audio-visual signatures for short video clip detection: experiments on trecvid2003
JP2006293902A (ja) 信号探索装置、信号探索方法、信号探索プログラム及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051128

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131216

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees