JP2006293902A - 信号探索装置、信号探索方法、信号探索プログラム及び記録媒体 - Google Patents
信号探索装置、信号探索方法、信号探索プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2006293902A JP2006293902A JP2005116983A JP2005116983A JP2006293902A JP 2006293902 A JP2006293902 A JP 2006293902A JP 2005116983 A JP2005116983 A JP 2005116983A JP 2005116983 A JP2005116983 A JP 2005116983A JP 2006293902 A JP2006293902 A JP 2006293902A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- signal
- series
- accumulated
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】蓄積信号から得られる蓄積特徴系列に対して情報量の削減を行うことで、探索時のメモリ容量の削減を可能とする信号探索装置を提供する。
【解決手段】信号探索装置100において、蓄積特徴計算部1は、蓄積信号から蓄積特徴系列を算出する。蓄積特徴ヒストグラム系列生成部2は、蓄積特徴系列から蓄積特徴ヒストグラム系列を生成して、蓄積特徴ヒストグラム系列DB3に記録する。入力特徴計算部4は、入力信号について入力特徴系列を算出する。部分蓄積特徴ヒストグラム系列生成部6は、蓄積特徴ヒストグラム系列に基づいて部分蓄積特徴ヒストグラム系列を生成する。特徴照合部7は、注目領域設定部5に設定される注目領域に照合区間を順次設定し、照合区間における入力特徴ヒストグラム系列を生成し、入力特徴ヒストグラム系列及び部分蓄積特徴ヒストグラム系列に基づいて入力信号に含まれる蓄積信号に関連する部分を検出する。
【選択図】 図1
【解決手段】信号探索装置100において、蓄積特徴計算部1は、蓄積信号から蓄積特徴系列を算出する。蓄積特徴ヒストグラム系列生成部2は、蓄積特徴系列から蓄積特徴ヒストグラム系列を生成して、蓄積特徴ヒストグラム系列DB3に記録する。入力特徴計算部4は、入力信号について入力特徴系列を算出する。部分蓄積特徴ヒストグラム系列生成部6は、蓄積特徴ヒストグラム系列に基づいて部分蓄積特徴ヒストグラム系列を生成する。特徴照合部7は、注目領域設定部5に設定される注目領域に照合区間を順次設定し、照合区間における入力特徴ヒストグラム系列を生成し、入力特徴ヒストグラム系列及び部分蓄積特徴ヒストグラム系列に基づいて入力信号に含まれる蓄積信号に関連する部分を検出する。
【選択図】 図1
Description
本発明は、本発明は、信号系列の中から、予め登録した信号と類似した信号の位置を探し出すのに好適な、信号探索装置、信号探索方法、信号探索プログラム及び該信号探索プログラムを記録した記録媒体に関する。
放送の音響信号の中から特定のコマーシャルが放映された時刻を検出し、自動記録し、または、特定のテーマソングを検出してビデオ録画を開始し、あるいは停止するのに音響信号検出技術が用いられる。
上記した音響信号検出技術により、ある信号系列の中から、予め登録した信号と類似した信号の位置を割り出すことが可能となる。また、放送から拍手音の発せられた時刻や、笑い声が発せられた時刻等を自動的に監視し、あるいは特定シーンの検索を行うこともできる。上述した音響信号検出技術の代表的なものが、特許文献1に記載されている。
特許第3065314号明細書
上記した音響信号検出技術により、ある信号系列の中から、予め登録した信号と類似した信号の位置を割り出すことが可能となる。また、放送から拍手音の発せられた時刻や、笑い声が発せられた時刻等を自動的に監視し、あるいは特定シーンの検索を行うこともできる。上述した音響信号検出技術の代表的なものが、特許文献1に記載されている。
しかしながら、従来の音響信号などを探索することにより検出する信号探索装置では、入力信号に対し、既知の蓄積信号に類似する信号が存在するか否かを探索するために、蓄積信号から得られるデータを予めメモリに展開しておく必要がある。このとき、蓄積信号の時間長が長いと、それに伴い蓄積信号のデータ量が多くなり、当該データを展開しておくために多くのメモリ容量を必要としてしまう問題がある。
本発明は、このような問題を解決するためになされたものであり、蓄積信号から得られる蓄積特徴系列に対して情報量の削減を行ない、探索時において必要となるメモリ容量の削減を可能とする信号探索装置、信号探索方法、信号探索プログラム及び記録媒体を提供することを目的とする。
上記目的を達成するために本発明は、時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索装置であって、蓄積信号から蓄積特徴系列を算出する蓄積特徴計算部と、前記蓄積特徴計算部が算出する前記蓄積特徴系列に基づく統計量によって示される蓄積特徴統計系列を算出する蓄積特徴統計生成部と、前記蓄積特徴統計生成部が生成する前記蓄積特徴統計系列を一定間隔で分割し、分割範囲ごとの前記蓄積特徴統計系列に基づいて部分蓄積特徴系列を生成する部分蓄積特徴生成部と、入力信号について入力特徴系列を算出する入力特徴計算部と、前記入力特徴計算部が算出する前記入力特徴系列に対して一定の時間幅を有する注目領域を設定する注目領域設定部と、前記注目領域設定部が設定する前記注目領域に前記部分蓄積特徴系列の時間長に対応する照合区間を順次設定し、設定する前記照合区間ごとに、当該照合区間に含まれる入力特徴系列及び前記部分蓄積特徴系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出する特徴照合部と、を備えることを特徴とする信号探索装置である。
また、本発明は、時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索装置であって、前記蓄積信号から蓄積特徴系列を算出する蓄積特徴計算部と、前記蓄積特徴計算部が算出する前記蓄積特徴系列に基づくヒストグラムによって示される蓄積特徴ヒストグラム系列を生成して、蓄積特徴ヒストグラム系列記憶部に記録する蓄積特徴ヒストグラム系列生成部と、入力信号について入力特徴系列を算出する入力特徴計算部と、前記入力特徴計算部が算出する前記入力特徴系列に対して一定の時間幅を有する注目領域を設定する注目領域設定部と、前記蓄積特徴ヒストグラム系列記憶部から前記蓄積特徴ヒストグラム系列を読み出し、読み出した前記蓄積特徴ヒストグラム系列を一定間隔で分割し、分割範囲ごとに含まれる前記蓄積特徴ヒストグラム系列に基づいて部分蓄積特徴ヒストグラム系列を生成する部分蓄積特徴ヒストグラム系列生成部と、前記注目領域設定部が設定する前記注目領域に前記部分蓄積特徴ヒストグラム系列の時間長に対応する照合区間を順次設定し、設定する前記照合区間ごとに、当該照合区間に含まれる前記入力特徴系列から入力特徴ヒストグラム系列を生成し、生成した前記入力特徴ヒストグラム系列及び前記部分蓄積特徴ヒストグラム系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出する特徴照合部と、を備えることを特徴とする信号探索装置である。
また、本発明は、上記に記載の発明において、前記注目領域設定部が、前記入力特徴系列について前記注目領域を設定する際、前記注目領域が前記入力特徴系列において重複する領域を有するように設定することを特徴とする。
また、本発明は、上記に記載の発明において、前記蓄積特徴ヒストグラム系列は、複数存在し、前記特徴照合部は、検出した際、前記入力信号と関連する部分を有する前記蓄積信号に対応する前記蓄積特徴ヒストグラム系列が、前記蓄積特徴ヒストグラム系列記憶部から先に前記部分蓄積特徴ヒストグラム系列生成部によって読み出されるように前記蓄積特徴ヒストグラム系列記憶部の中の順序を並べ替えることを特徴とする。
また、本発明は、時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索方法であって、蓄積信号から蓄積特徴系列を算出するステップと、算出される前記蓄積特徴系列に基づく統計量によって示される蓄積特徴統計系列を算出するステップと、算出される前記蓄積特徴統計系列を一定間隔で分割し、分割範囲ごとの前記蓄積特徴統計系列に基づいて部分蓄積特徴系列を生成するステップと、入力信号について入力特徴系列を算出するステップと、算出される前記入力特徴系列に対して一定の時間幅を有する注目領域を設定するステップと、設定される前記注目領域に前記部分蓄積特徴系列の時間長に対応する照合区間を順次設定するステップと、設定される前記照合区間ごとに、当該照合区間に含まれる入力特徴系列及び前記部分蓄積特徴系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出するステップと、を有することを特徴とする信号探索方法である。
また、本発明は、時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索方法であって、前記蓄積信号から蓄積特徴系列を算出するステップと、算出される前記蓄積特徴系列に基づくヒストグラムによって示される蓄積特徴ヒストグラム系列を生成するステップと、生成される前記蓄積特徴ヒストグラム系列を生成する蓄積特徴ヒストグラム系列記憶部に記録するステップと、入力信号について入力特徴系列を算出するステップと、算出される前記入力特徴系列に対して一定の時間幅を有する注目領域を設定するステップと、設定される蓄積特徴ヒストグラム系列記憶部から前記蓄積特徴ヒストグラム系列を読み出すステップと、読み出される前記蓄積特徴ヒストグラム系列を一定間隔で分割するステップと、分割した分割範囲ごとに含まれる前記蓄積特徴ヒストグラム系列に基づいて部分蓄積特徴ヒストグラム系列を生成するステップと、設定される前記注目領域に前記部分蓄積特徴ヒストグラム系列の時間長に対応する照合区間を順次設定するステップと、設定される前記照合区間ごとに、前記照合区間に含まれる前記入力特徴系列から入力特徴ヒストグラム系列を生成するステップと、生成される前記入力特徴ヒストグラム系列及び前記部分蓄積特徴ヒストグラム系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出するステップと、を有することを特徴とする信号探索方法である。
また、本発明は、上記に記載の信号探索装置としてコンピュータを機能させるための信号探索プログラムである。
また、本発明は、上記に記載の信号探索プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、信号探索装置は、予め設定される蓄積信号から蓄積特徴系列を算出し、算出した蓄積特徴系列に基づく統計量によって示される蓄積特徴統計系列を算出する。算出される蓄積特徴統計系列を一定間隔で分割し、分割範囲ごとの蓄積特徴統計系列に基づいて部分蓄積特徴系列を生成する。また、時系列信号である入力信号について入力特徴系列を算出し、算出される入力特徴系列に対して一定の時間幅を有する注目領域を設定し、注目領域に部分蓄積特徴系列の時間長に対応する照合区間を順次設定する。設定される照合区間ごとに、当該照合区間に含まれる入力特徴系列及び部分蓄積特徴系列に基づいて入力信号に含まれる蓄積信号に関連する部分を検出する構成とした。
これにより、蓄積特徴系列から統計によって得られる蓄積統計系列を算出することで、蓄積特徴系列の特徴を縮退させ、情報量の削減を行うことが可能となる。それによって、信号探索装置が蓄積特徴を展開する際に使用するメモリ容量を削減することができる。
また、部分蓄積特徴系列を生成することで、入力信号から得られる入力特徴系列との対比の際に蓄積特徴系列のままで比較を行う場合よりも大きな時間間隔に含まれる入力特徴系列を参照して対比を行うことが可能となる。それによって、探索回数を削減でき、より短い時間で入力信号の探索を行うことが可能となり、また、時系列信号である入力信号を一次記憶させておくバッファ量の削減を図ることもできる。
これにより、蓄積特徴系列から統計によって得られる蓄積統計系列を算出することで、蓄積特徴系列の特徴を縮退させ、情報量の削減を行うことが可能となる。それによって、信号探索装置が蓄積特徴を展開する際に使用するメモリ容量を削減することができる。
また、部分蓄積特徴系列を生成することで、入力信号から得られる入力特徴系列との対比の際に蓄積特徴系列のままで比較を行う場合よりも大きな時間間隔に含まれる入力特徴系列を参照して対比を行うことが可能となる。それによって、探索回数を削減でき、より短い時間で入力信号の探索を行うことが可能となり、また、時系列信号である入力信号を一次記憶させておくバッファ量の削減を図ることもできる。
また、この発明によれば、信号探索装置は、予め設定される蓄積信号から蓄積特徴系列を算出し、算出される蓄積特徴系列に基づくヒストグラムによって示される蓄積特徴ヒストグラム系列を生成して、蓄積特徴ヒストグラム系列記憶部に記録する。また、時系列信号である入力信号について入力特徴系列を算出し、算出される入力特徴系列に対して一定の時間幅を有する注目領域を設定する。蓄積特徴ヒストグラム系列記憶部から蓄積特徴ヒストグラム系列を読み出し、読み出される蓄積特徴ヒストグラム系列を一定間隔で分割し、分割範囲ごとに含まれる蓄積特徴ヒストグラム系列に基づいて部分蓄積特徴ヒストグラム系列を生成する。そして、注目領域に部分蓄積特徴ヒストグラム系列の時間長に対応する照合区間を順次設定し、設定される照合区間ごとに、照合区間に含まれる入力特徴系列から入力特徴ヒストグラム系列を生成し、生成した入力特徴ヒストグラム系列及び部分蓄積特徴ヒストグラム系列に基づいて入力信号に含まれる蓄積信号に関連する部分を検出する構成とした。
これにより、蓄積特徴系列から蓄積特徴ヒストグラム系列を算出することで、蓄積特徴系列の特徴を縮退させ、情報量の削減を行うことが可能となる。それによって、信号探索装置が蓄積特徴を展開する際に使用するメモリ容量を削減することができる。また、非常に容量の大きい入力信号や、一度に照合する情報量が膨大である場合にも高速に関連した部分の探索が可能となる。
また、部分蓄積特徴ヒストグラム系列を生成することで、入力信号から得られる入力特徴ヒストグラム系列との対比の際に蓄積特徴系列のままで比較を行う場合よりも大きな時間間隔に含まれる入力特徴系列を参照して対比を行うことが可能となる。それによって、探索回数を削減でき、より短い時間で入力信号の探索を行うことが可能となり、また、時系列信号である入力信号を一次記憶させておくバッファ量の削減を図ることもできる。
また、部分蓄積特徴ヒストグラム系列を用いることで、計算コストの大きい信号処理においても高い探索精度を維持しながら高速に関連した部分の探索が可能となる。
これにより、蓄積特徴系列から蓄積特徴ヒストグラム系列を算出することで、蓄積特徴系列の特徴を縮退させ、情報量の削減を行うことが可能となる。それによって、信号探索装置が蓄積特徴を展開する際に使用するメモリ容量を削減することができる。また、非常に容量の大きい入力信号や、一度に照合する情報量が膨大である場合にも高速に関連した部分の探索が可能となる。
また、部分蓄積特徴ヒストグラム系列を生成することで、入力信号から得られる入力特徴ヒストグラム系列との対比の際に蓄積特徴系列のままで比較を行う場合よりも大きな時間間隔に含まれる入力特徴系列を参照して対比を行うことが可能となる。それによって、探索回数を削減でき、より短い時間で入力信号の探索を行うことが可能となり、また、時系列信号である入力信号を一次記憶させておくバッファ量の削減を図ることもできる。
また、部分蓄積特徴ヒストグラム系列を用いることで、計算コストの大きい信号処理においても高い探索精度を維持しながら高速に関連した部分の探索が可能となる。
また、この発明によれば、信号探索装置は、入力特徴系列について注目領域を設定する際、注目領域が入力特徴系列において重複する領域を有するように設定する構成とした。これにより、注目領域の最終部分より始まる蓄積信号を検出漏れなく連続して照合を行うことが可能となる。
また、この発明によれば、信号探索装置は、複数の蓄積特徴ヒストグラム系列が存在する場合に、検出した際、入力信号と関連する部分を有する蓄積信号に対応する蓄積特徴ヒストグラム系列が、蓄積特徴ヒストグラム系列記憶部から先に読み出されるように蓄積特徴ヒストグラム系列記憶部の中の順序を並べ替える構成とした。これにより、次回の探索から関連する部分を有する可能性が高い蓄積特徴ヒストグラム系列から探索を行うことができ、より速く関連した部分の探索を行うことが可能となる。
以下、本発明の実施形態を、図面を参照して詳細に説明する。
図1は本発明に係る信号探索装置100の一実施形態の構成を示すブロック図である。同図において、信号探索装置100は、蓄積特徴計算部1と、蓄積特徴ヒストグラム系列生成部2と、蓄積特徴ヒストグラム系列データベース3(以下、蓄積特徴ヒストグラム系列DB3と記載)と、入力特徴計算部4と、注目領域設定部5と、部分蓄積特徴ヒストグラム系列生成部6と、特徴照合部7とを有している。
信号探索装置100は、例えば、予め録画、録音されている映像信号や音響信号などの既知の情報である蓄積信号と、蓄積信号の全情報あるいは断片情報をその一部として含む可能性を有する入力信号とを照合し、蓄積信号との類似度があらかじめ設定された探索閾値(以下、探索閾値をθとして記載)を上回る入力信号中の箇所を探索結果として出力する。
図1は本発明に係る信号探索装置100の一実施形態の構成を示すブロック図である。同図において、信号探索装置100は、蓄積特徴計算部1と、蓄積特徴ヒストグラム系列生成部2と、蓄積特徴ヒストグラム系列データベース3(以下、蓄積特徴ヒストグラム系列DB3と記載)と、入力特徴計算部4と、注目領域設定部5と、部分蓄積特徴ヒストグラム系列生成部6と、特徴照合部7とを有している。
信号探索装置100は、例えば、予め録画、録音されている映像信号や音響信号などの既知の情報である蓄積信号と、蓄積信号の全情報あるいは断片情報をその一部として含む可能性を有する入力信号とを照合し、蓄積信号との類似度があらかじめ設定された探索閾値(以下、探索閾値をθとして記載)を上回る入力信号中の箇所を探索結果として出力する。
ここで、上記の蓄積信号及び入力信号の信号とは時系列データであり、所定の再生装置があれば再生することが可能な情報全般を意味している。例えば音楽で言えば、音楽そのものであるアナログデータ,CD(Compact Disc)に記録されているデータ,WAVファイル(Windows(登録商標)標準の音声ファイルの形式)のデータ、MP3(MPEG-1 Audio Layer III)ファイルのデータ等を示す。また映像で言えば、映像そのものであるアナログデータ,MPEG−2(Moving Picture Experts Group-2)に代表されるデジタルデータ等を示す。
なお、本実施形態において、映像信号の場合における蓄積信号とは、例えば、あるCM(Commercial Message)放送の映像信号であり、音響信号の場合は、CD1枚に含まれる複数の楽曲の音響信号等を想定している。また、入力信号としては、あるテレビ局の1日の放送番組の映像信号やあるラジオ局の1日の放送番組の音響信号などの極めて長い信号を想定している。
また、想定している提供サービスの形態を考えると映像は動画が主体となるが、静止画であっても良い。
また、想定している提供サービスの形態を考えると映像は動画が主体となるが、静止画であっても良い。
信号探索装置100において、蓄積特徴計算部1は、既知の情報である蓄積信号から蓄積特徴を計算により算出する。蓄積特徴ヒストグラム系列生成部2は、蓄積特徴に関するヒストグラムを算出して蓄積特徴ヒストグラム系列を生成する。蓄積特徴ヒストグラム系列DB3は、蓄積特徴ヒストグラム系列を蓄積、すなわち記憶するデータベースであり蓄積特徴ヒストグラム系列生成部2により蓄積特徴ヒストグラム系列が書き込まれる。
部分蓄積特徴ヒストグラム系列生成部6は、蓄積ヒストグラム系列データベース3に格納された蓄積特徴ヒストグラム系列の集合Qから蓄積特徴ヒストグラム系列を読み出し、後述する注目領域設定部5で設定される注目領域の時間長より短い時間で分割し、部分蓄積特徴ヒストグラム系列を生成する。
入力特徴計算部4は、入力信号について入力特徴を計算により算出する。注目領域設定部5は、算出される入力特徴において、所定長の時間窓(後述する第2の時間窓)で注目領域を設定する。
特徴照合部7は、後述する注目領域設定部5により設定される入力特徴上の注目領域に対して、部分蓄積特徴ヒストグラム系列生成部6によって生成される部分蓄積特徴ヒストグラム系列の時間長と同じ、あるいはそれ以上となる時間長の照合区間を設定する。また、特徴照合部7は、部分蓄積特徴ヒストグラム系列と該照合区間に含まれる入力特徴との類似度を計算する。
また、特徴照合部7は、上記照合区間の照合処理が終了すると、新たな照合区間を設定するため、入力特徴上の注目領域内で配列の隣接する同一時間長の範囲に照合区間をずらす。また、特徴照合部7は、各照合区間において算出される類似度から入力信号中に含まれる蓄積信号の領域を探索により検出し、検出結果を出力する。また、特徴照合部7は、当該注目領域の終端まで照合が終了し、また部分蓄積特徴ヒストグラム系列の集合におけるすべての部分蓄積特徴ヒストグラム系列について注目領域内での照合がすべて終了した場合、注目領域設定部5に次の注目領域を設定させる。
なお、上述した蓄積特徴ヒストグラム系列生成部2において、蓄積特徴からヒストグラムを算出して蓄積特徴ヒストグラム系列を生成するとしたが、ヒストグラムに限られず、特徴を縮退、すなわちある程度の特徴を残しつつ、情報量を削減するような統計量算出手段であればどのようなものであってもよい。例えば、蓄積特徴がベクトルとして得られる場合に、ベクトル空間において全ての蓄積特徴ベクトルに基づくベクトル量子化を行うことで、ヒストグラムでは失われてしまう時間軸の情報を維持しつつ特徴を縮退させ、情報量を削減するといった統計量算出手段を適用することも可能である。
また、上述した蓄積特徴統計生成部は、蓄積特徴ヒストグラム系列生成部2に対応し、部分蓄積特徴生成部は、部分蓄積特徴ヒストグラム系列生成部6に対応し、蓄積特徴ヒストグラム系列記憶部は、蓄積特徴ヒストグラム系列DB3に対応する。
次に、図1に示した本発明の実施形態に係る信号探索装置100の動作を図2及び図3に示すフローチャートを参照し、蓄積信号から予め生成し記録しておく蓄積ヒストグラム系列の算出処理(ステップS1〜S4)と、入力信号から探索を行う信号探索処理(ステップS5〜S18)に分けて説明する。最初に蓄積ヒストグラム系列の算出処理について説明する。
(蓄積ヒストグラム算出処理)
まず最初に、蓄積特徴計算部1は、与えられた蓄積信号を読み込む(ステップS1)。次に、読み込んだ蓄積信号に対して特徴抽出を行い蓄積特徴系列を算出する(ステップS2)。蓄積特徴ヒストグラム系列生成部2は、蓄積特徴計算部1により算出される蓄積信号の蓄積特徴系列に対して予め定められる所定長の時間窓を設定し、当該時間窓内の特徴系列を分類計数することによって、その蓄積信号の各時点における蓄積特徴のヒストグラムを生成する(ステップS3)。そして、蓄積特徴ヒストグラム系列生成部2は、生成した蓄積特徴のヒストグラムを蓄積特徴ヒストグラム系列DB3に記録する(ステップS4)。
まず最初に、蓄積特徴計算部1は、与えられた蓄積信号を読み込む(ステップS1)。次に、読み込んだ蓄積信号に対して特徴抽出を行い蓄積特徴系列を算出する(ステップS2)。蓄積特徴ヒストグラム系列生成部2は、蓄積特徴計算部1により算出される蓄積信号の蓄積特徴系列に対して予め定められる所定長の時間窓を設定し、当該時間窓内の特徴系列を分類計数することによって、その蓄積信号の各時点における蓄積特徴のヒストグラムを生成する(ステップS3)。そして、蓄積特徴ヒストグラム系列生成部2は、生成した蓄積特徴のヒストグラムを蓄積特徴ヒストグラム系列DB3に記録する(ステップS4)。
ここで、各時点における蓄積特徴のヒストグラムは、蓄積特徴ヒストグラム系列qkで表され、与えられる蓄積信号に対応する全ての蓄積特徴ヒストグラム系列の集合はQ(Q={q0,q1,・・・,qk,・・・,qn})で表されるものとする。また、蓄積特徴ヒストグラム系列DB3に記録される際に、系列毎に各系列を表すヘッダが付与され、当該ヘッダとともに記録される。ヘッダとは例えば、曲名や映像名、或いは各CM提供者名といったデータに関する情報を示すメタデータなどである。
ステップS1〜ステップS4の処理を予め行い、蓄積特徴ヒストグラム系列を具体的な入力信号についての信号探索処理に先立って記録媒体に記録蓄積しておくことで、後述する入力信号に基づく信号探索処理を高速化できる。蓄積の技術的方法としては、データベースに関する公知の技術であればどのような方法であってもよい。
以下に、ステップS1〜ステップS4の処理について音響信号の場合と映像信号の場合に分けて図4から図10を参照して具体的に説明する。
(音響信号の場合)
(音響信号の場合)
音響信号の場合、特徴としてスペクトル特徴を利用することができるため、特徴抽出は、例えば、帯域通過フィルタにより以下のように特徴抽出することができる。まず蓄積特徴計算部1は、図4に示すように与えられる蓄積信号である音響信号に対して、ある一定時間(例えば、60msec)の時間窓を設定し、当該時間窓に含まれる音響信号を読み出す。次に、蓄積特徴計算部1は、読み出した音響信号に対して図5に示す7個の帯域通過フィルタを用い、それらの中心周波数を対数軸上で等間隔に300Hz〜3500Hzの範囲で設定し、各帯域通過フィルタの出力の自乗の平均値を計算し、得られた7個の値を一組にして7次元特徴ベクトルV(V:{v1,v2,v3,v4,v5,v6,v7})を生成する。この処理を、上記の時間窓を一定の移動量(例えば、10ミリ秒ずつ)で移動させながら繰り返し行うことにより、当該移動量間隔で特徴ベクトルVj(ここで、jは時系列ごとに得られる特徴ベクトルの順番を示す。)を得ることができる(ステップS2)。
次に、蓄積特徴ヒストグラム系列生成部2は、ヒストグラムを算出する蓄積特徴計算部1によって得られる特徴ベクトルVjを分類する。まず、図6に示すように、いくつかの特徴ベクトルVjが含まれるように先頭の特徴ベクトルV0より時間窓(以下、第1時間窓と記載)を設定する。図6は、4つの特徴ベクトルが含まれるように第1時間窓を設定した例を示している。次に、特徴ベクトルVjの各要素の値viを分割されるいくつかのビン(以下、区間と記載)に分類する。すなわち、各要素の値viは、分割される区間の数に相当する多値に離散化した離散表現で表されることになる。
特徴ベクトルVjが7次元で表される場合に、各特徴ベクトルVj各要素viを3つの区間に分割すると、全体の区間数、すなわち、ヒストグラムの横軸に配置される区間の数は3の7乗となる。各要素の値viは3値に離散化された離散表現で示され、特徴ベクトルVjは3の7乗個のスカラー値の1つに写像(スカラー量子化)される。つまり、各特徴ベクトルVjは、この3の7乗個の区間のうちどれか1つに分類されたこととなる。
これを、第1時間窓に含まれる特徴ベクトルV0〜V3について行うことで、図7に示すような特徴ベクトルのヒストグラム系列q0を生成することができる。
これを、第1時間窓に含まれる特徴ベクトルV0〜V3について行うことで、図7に示すような特徴ベクトルのヒストグラム系列q0を生成することができる。
蓄積特徴ヒストグラム系列生成部2は、上記のヒストグラムの生成を、上記第1時間窓が前の時間窓に重ならないように時間軸方向に順次移動しながら繰り返し行い、時間窓ごとにヒストグラム系列qkを算出し(ステップS3)、算出した蓄積特徴ヒストグラム系列を、蓄積特徴ヒストグラム系列DB3に記録する(ステップS4)。
ここで、第1時間窓の移動量をzとした場合に、図6の例はz=4の場合を示したものとなるが、特徴ベクトル1つずつについてヒストグラムを算出する場合にはz=1とすることで算出することができる。また、この移動量は、上記のz=4のように複数の特徴ベクトルを含むようにしてもよいが、その場合、信号検出の精度を損なわない程度にzの値を設定する必要がある。
なお、特徴ベクトルの分類を行う方法は、上述したスカラー値へ写像するスカラー量子化に限られず、ベクトル量子化の技術を用いることもできる。ベクトル量子化を用いる場合には、予め特徴ベクトル空間を幾つかのクラスタに分割し、各クラスタの代表ベクトルを予め算出しておく、そして、第1時間窓内の特徴ベクトルをクラスタリングすることで、図8に示す横軸を代表ベクトルとしたヒストグラム系列qkを得ることができる。
(映像信号の場合)
次に、映像信号の場合について説明する。図9に示すように映像信号は、時系列のフレームとして蓄積信号が与えられるため、蓄積特徴計算部1は、時系列フレームから1フレームを読み出し、図5に示すように1フレームの画像を横に4等分かつ縦に3等分して合計12の領域に分割する。そして、蓄積特徴計算部1は、分割領域内におけるRGBの各色の画素について平均値を算出する。すなわち、第1分割領域では、RGBのそれぞれに対応する平均値がv1,v2,v3として算出され、12個の分割領域におけるRGBそれぞれの平均画素値は(v1,v2,v3,・・・v34,v35,v36)として表される。
次に、映像信号の場合について説明する。図9に示すように映像信号は、時系列のフレームとして蓄積信号が与えられるため、蓄積特徴計算部1は、時系列フレームから1フレームを読み出し、図5に示すように1フレームの画像を横に4等分かつ縦に3等分して合計12の領域に分割する。そして、蓄積特徴計算部1は、分割領域内におけるRGBの各色の画素について平均値を算出する。すなわち、第1分割領域では、RGBのそれぞれに対応する平均値がv1,v2,v3として算出され、12個の分割領域におけるRGBそれぞれの平均画素値は(v1,v2,v3,・・・v34,v35,v36)として表される。
このようにして、RGBそれぞれの平均画素値を要素とする36次元のベクトルが映像信号における特徴ベクトルVjとして得られる。この場合、特徴ベクトルVjは、1フレーム毎に得られる(ステップS1)。当該特徴ベクトルVjに対して上述した音響信号の場合におけるステップS2からS4に対応する処理を行うことによりヒストグラム系列qkを算出することができる。
なお、映像信号の特徴抽出方法は、上記の各画素値の平均値を用いる方法に限られず、ディジタル動画像圧縮技術であるMPEG符号化方式(MC+DCT+VLC:Motion Compensated coding + Discreet Cosign Transform+ Variable Length Coding)や、フーリエ変換の振幅成分を使用してもよい。
(信号探索処理)
次に、入力信号から信号を探索する信号探索処理について図2、図3、図11、図12を参照して説明する。
まず最初に、入力特徴計算部4は、入力信号を読み込み(ステップS5)、読み込んだ入力信号に対して特徴抽出を行う(ステップS6)。当該特徴抽出は、上述した蓄積特徴計算部1における特徴抽出方法と同じ方法により行われ、入力特徴ベクトルUj(U={u0,u1,u2,・・,ui})として算出される。ここで、uiは入力特徴ベクトルの要素であり、添え字のiは入力特徴ベクトルの次元数の数を示している。入力特徴ベクトルの次元数は、入力される信号によって異なり、例えば、上述した音響信号の具体例の場合には7次元、映像信号の具体例の場合には36次元となる。
次に、入力信号から信号を探索する信号探索処理について図2、図3、図11、図12を参照して説明する。
まず最初に、入力特徴計算部4は、入力信号を読み込み(ステップS5)、読み込んだ入力信号に対して特徴抽出を行う(ステップS6)。当該特徴抽出は、上述した蓄積特徴計算部1における特徴抽出方法と同じ方法により行われ、入力特徴ベクトルUj(U={u0,u1,u2,・・,ui})として算出される。ここで、uiは入力特徴ベクトルの要素であり、添え字のiは入力特徴ベクトルの次元数の数を示している。入力特徴ベクトルの次元数は、入力される信号によって異なり、例えば、上述した音響信号の具体例の場合には7次元、映像信号の具体例の場合には36次元となる。
注目領域設定部5は、図11に示すように入力特徴計算部4により算出される入力特徴ベクトルUjから構成される入力特徴ベクトル系列(U0,U1,U2,・・・・)の先頭より、時系列の配列において所定長の時間窓(以下、第2時間窓と記載)で、注目領域を設定できるか否かを判定する(ステップS7)。注目領域が設定できる場合、すなわち入力信号から入力特徴ベクトルが第2時間窓の時間長以上の量が算出されている場合、注目領域設定部5は、注目領域を設定する(ステップS8)。注目領域が設定できない場合、入力特徴計算部4は、追加する入力信号が存在するか否かを判定し、追加する入力信号が存在しない場合には処理を終了し、追加する入力信号が存在する場合にはステップS5の処理に戻る(ステップS9)。
ここで、注目領域は検索処理の進行に伴い図11に示す所定の移動量に従って順次設定されるが、このとき、次に設定される注目領域の先頭部分は、一つ前に設定された注目領域に重複するように設定される。重複させることで、注目領域の最終部分より始まる蓄積信号を検出漏れなく連続して照合可能になる。すなわち、所定の移動量は、検出精度に従って設定されることになる。
例えば、上述した音響信号が入力信号として与えられている場合に、入力特徴ベクトルが10ミリ秒ずつ算出されるとし、第2時間窓の時間窓長が60秒の場合には、最初の第2時間窓にはU0からU5999までの入力特徴ベクトルが含められる。このとき、15秒の情報(U4500〜U5999)を重複させ、さらに隣接する新規の情報45秒を含むように次の注目領域を設定する。
例えば、上述した音響信号が入力信号として与えられている場合に、入力特徴ベクトルが10ミリ秒ずつ算出されるとし、第2時間窓の時間窓長が60秒の場合には、最初の第2時間窓にはU0からU5999までの入力特徴ベクトルが含められる。このとき、15秒の情報(U4500〜U5999)を重複させ、さらに隣接する新規の情報45秒を含むように次の注目領域を設定する。
注目領域が設定された後、次に、部分蓄積特徴ヒストグラム系列生成部6は、蓄積特徴ヒストグラム系列DB3に記憶されている蓄積特徴ヒストグラム系列Qの中から、当該注目領域の探索において選択されていない蓄積特徴ヒストグラム系列qkが存在するか否かを判定する(ステップS10)。最初の場合には、どの蓄積特徴ヒストグラム系列も選択されていないため、部分蓄積特徴ヒストグラム系列生成部6は、蓄積特徴ヒストグラム系列をいくつか選択する。そして、選択した蓄積ヒストグラム系列から部分蓄積特徴ヒストグラム系列を生成する。
ここで、部分蓄積特徴ヒストグラム系列の生成について説明する。まず最初に、注目領域を設定する際に用いた第2時間窓長よりも短い間隔で蓄積特徴ヒストグラム系列の集合Qを分割する。次に、分割される蓄積特徴ヒストグラム系列の部分系列{q0,q1,・・・,qk}の各ヒストグラムに基づいて1つのヒストグラムを生成することにより、生成したヒストグラムが部分蓄積特徴ヒストグラムとなる。部分蓄積特徴ヒストグラムの生成は、例えば、図12に示すように各ヒストグラムの出現頻度(度数)を加算することによって行うことができる。このとき、生成される部分蓄積特徴ヒストグラムwmで示し、その集合をW(W=w1,w2,…)で表す。
部分蓄積特徴ヒストグラム系列を生成する際に用いられる蓄積特徴ヒストグラム系列の数に従って、特徴照合部7において設定する照合区間の区間長を長く設定することが可能となり、照合区間の区間長を長くできることは、注目領域における探索回数の削減を行うことができることになり、最終的には、入力信号における探索処理を高速にすることが可能となる。
部分蓄積特徴ヒストグラム系列を生成する際に用いられる蓄積特徴ヒストグラム系列の数に従って、特徴照合部7において設定する照合区間の区間長を長く設定することが可能となり、照合区間の区間長を長くできることは、注目領域における探索回数の削減を行うことができることになり、最終的には、入力信号における探索処理を高速にすることが可能となる。
部分蓄積特徴ヒストグラム系列生成部6は、生成した部分蓄積特徴ヒストグラム系列wmの集合Wを特徴照合部7へ送出する(ステップS11)。一方、ステップS10において、選択されている蓄積特徴ヒストグラム系列qkがない場合、ステップS7に戻り、注目領域設定部5において再度注目領域設定を行う。
次に、特徴照合部7は、選択した蓄積特徴ヒストグラム系列に基づく探索において部分蓄積特徴ヒストグラム系列の集合Wより選択されていない部分蓄積特徴ヒストグラム系列wmが存在するか否かを判定する(ステップS12)。最初の場合には、どの部分蓄積特徴ヒストグラム系列wmも選択されていないため、特徴照合部7は、部分蓄積特徴ヒストグラム系列wmを1つ選択する(ステップS13)。
特徴照合部7は、注目領域設定部5で設定された注目領域において照合区間が設定できるか否かを判定する(ステップS14)。最初の場合には、照合区間が設定されていないため、入力特徴ベクトルUjの先頭より予め定められる時間長の時間窓(以下、第3時間窓と記載)で照合区間を設定する(ステップS15)。一方、照合区間が設定できない場合、すなわち注目領域の終端を超えてしまった場合にはステップS12に戻り、選択されていない部分蓄積特徴ヒストグラム系列について処理を繰り返す。
ここで、特徴照合部7が設定する第3時間窓の時間長について説明する。当該第3時間窓の時間長は、注目領域の設定に用いられる第2時間窓よりも短く、部分蓄積特徴ヒストグラム系列を生成する際に蓄積ヒストグラム系列を分割した間隔と同じ、あるいはそれ以上となる値であって、検索効率に応じて設定される。
特徴照合部7は、設定された入力信号の照合区間における入力特徴ベクトルUjを順次読み込み、入力特徴ベクトルのヒストグラムを生成する(ステップS16)。ヒストグラムの作成は、上述した蓄積特徴ヒストグラム系列生成部2と同様に行うことで生成される。
次に、特徴照合部7は、先に選択された部分蓄積特徴ヒストグラム系列の部分蓄積特徴ヒストグラムHRと、生成された入力信号の照合区間における入力特徴ヒストグラムHIとの類似度SRIを計算する(ステップS17)。類似度SRIの計算は、次式によって行うことができる。
式(1)において、Lは部分蓄積特徴ヒストグラムHR及び入力特徴ヒストグラムHIにおける分類の総数、すなわちヒストグラムの横軸に設定される値の最大値であり、Dはヒストグラムの総度数、すなわち1つの入力信号から算出される特徴ベクトルの総数である。hRl、hIlは、それぞれHR、HIのl番目の分類に含まれる特徴ベクトルの数、すなわちヒストグラムにおける度数を表す。
特徴照合部7では算出された類似度の値が予め設定した探索閾値(θ)を超えているか否かを判定する(ステップS18)。判定の結果、類似度が探索閾値(θ)を超えている場合には、判定に用いられた部分蓄積特徴ヒストグラムHRに対応する蓄積信号あるいはその一部の信号が入力信号中に存在したことを示していることになる。そのとき、特徴照合部7は、信号検出結果として、判定に用いられた部分蓄積特徴ヒストグラムHRに対応する蓄積信号のメタデータと、入力信号に対する照合区間の現在位置、すなわちその時点で第3時間窓が設定されている時間軸上の値とを出力する(ステップS19)。出力する際に、特徴照合部7は、当該類似度を新たな探索閾値(θ)として設定するとともに、蓄積特徴ヒストグラム系列DB3における蓄積特徴ヒストグラム系列の格納順位を更新、すなわち、類似度の大きい蓄積特徴ヒストグラム系列ほど読み出される順位が高くなるように格納順位を入れ替えて蓄積特徴ヒストグラム系列DB3に記録する。これにより、信号の探索処理を途中で終了させた後に、同一の信号探索を再開させる際に、信号探索処理時間が短縮され、また入力信号に存在する可能性が高い人気のある音楽の音響信号や映画の映像信号の部分を速く探索することができる。
特徴照合部7は、設定された照合区間における類似度計算が終了した場合、あるいはステップS18において類似度が探索閾値(θ)以下であった場合、入力信号の注目領域において新たな照合区間を設定する。このとき、算出された類似度SRIに基づき、次の時点で注目領域内のどの位置に照合区間を設定することで、探索の効率を高められるかを示す注目領域内で照合区間をスキップさせることが可能な幅、すなわち移動可能量ωを計算する(ステップS20)。ここで、移動可能量ωは、次式で求められる。
式(2)において、SRl<θの場合、移動可能量ωの単位は、特徴ベクトルの個数、すなわち特徴ベクトル系列において隣接する特徴ベクトル間の時間間隔を単位とした時間であり、floor(・)は切り下げを表す。一方、SRl≧θならば、類似度のローカルピークを見出すためにω=1、すなわちスキップさせずに全探索とする。つまり、照合区間の設定は、類似度計算により計算された類似度から、照合区間の現在位置近傍における類似度上限値を求め、当該上限値に基づいて次に設定される注目領域における照合区間の位置を求めることになる。
特徴照合部7は、以上のようにして照合区間を順次設定し、注目領域の末端に達するまで部分蓄積特徴ヒストグラムとの照合を繰り返す(ステップS14〜S20)。注目領域の末端まで照合が終了した場合、ステップS12に戻り当該部分蓄積特徴ヒストグラムに隣接する次の部分蓄積特徴ヒストグラム系列をWより選択する。
Wが空集合、すなわち全ての部分蓄積特徴ヒストグラム系列が選択された場合、ステップS10に戻り、部分蓄積特徴ヒストグラム系列生成部6は蓄積特徴ヒストグラム系列DB3の蓄積特徴ヒストグラム系列の集合Qより、次の蓄積特徴ヒストグラム系列を再度選択し、特徴照合部7に送出して照合を繰り返す(ステップS12〜S20)。
Wが空集合、すなわち全ての部分蓄積特徴ヒストグラム系列が選択された場合、ステップS10に戻り、部分蓄積特徴ヒストグラム系列生成部6は蓄積特徴ヒストグラム系列DB3の蓄積特徴ヒストグラム系列の集合Qより、次の蓄積特徴ヒストグラム系列を再度選択し、特徴照合部7に送出して照合を繰り返す(ステップS12〜S20)。
蓄積特徴ヒストグラム系列の集合Qが空集合、すなわち全ての蓄積ヒストグラム系列が選択された場合、ステップS7に戻り、注目領域設定部5において入力特徴上に次の注目領域が設定され特徴照合部に送出し照合を繰り返す(ステップS10〜S20)。入力特徴の末端まで検索処理が終了した場合、新たに追加する入力信号がある場合には、ステップS5に戻り、入力信号から特徴抽出を行い信号探索の処理を繰り返す(ステップS7〜ステップS20)。一方、追加する入力信号が存在しない場合には、探索処理を終了する。
上記の構成により、与えられる蓄積信号に基づいて蓄積特徴ベクトルを算出し、さらに、算出した蓄積特徴ベクトルを幾つかまとめてヒストグラムを生成し、探索処理前に生成したヒストグラムを用いることで、蓄積特徴の情報量を削減することができる。これにより、メモリ上の展開しておく蓄積特徴の情報も少なくなり、メモリの消費量を削減することができる。具体的には、例えば、音響信号を蓄積信号とする場合に、当該音響信号が8次元の特徴ベクトルとして表され、特徴ベクトルの各要素が分割される2つの区間で離散化されるとする。このとき、特徴ベクトルは2の8乗(=256)の離散値に量子化される。量子化される情報が、1バイトの場合、10ミリ秒ごとに特徴抽出すると1時間の蓄積信号を360キロバイトの容量となる。ここで、1時間の蓄積信号を15秒ごとに分割して蓄積特徴ヒストグラム系列を生成し、各ヒストグラムの出現頻度を1バイトで表した場合、61キロバイト(=(360×28)/(15×100))の容量となり、必要となるメモリ容量は6分の1となる。
この場合、部分蓄積特徴ヒストグラム系列の間隔を例えば30秒とした場合、2つの蓄積ヒストグラム系列の出現頻度を加算することになるが、61キロバイトの情報量は維持しつつ、照合区間を30秒、あるいは30秒以上の長さにすることができる。
また、上記の実施形態によれば、例えば、図13のように蓄積特徴計算部1、蓄積特徴ヒストグラム系列生成部2、蓄積特徴ヒストグラム系列データベース3を、コンテンツ登録システムあるいはコンテンツ管理センターとして設置し、入力特徴計算部4、注目領域設定部5、部分蓄積特徴ヒストグラム系列生成部6、特徴照合部7をコンテンツ検索システムとして構成することが可能である。
このように構成することで、テレビやラジオの放送を多チャンネル同時に24時間連続でキャプチャした入力信号に対し、コンテンツデータベースに膨大に蓄積された蓄積信号とリアルタイムで照合を行う自動モニタリングが可能となる。
また、プレイリストを、ネットワークを通じてストリーミング方式で配信することにより、当該プレイリストを用いた放送コンテンツ検索サービスが可能となる。ここで、プレイリストとは、放送中の音楽やCMの情報を網羅したデータベストのリストであり、このプレイリストを利用することにより曲名、アーティスト名、番組、CM、広告主、商品、タレント、CDレーベルなどの楽曲やCMに関し、登録されている情報を検索することができる。
また、プレイリストを、ネットワークを通じてストリーミング方式で配信することにより、当該プレイリストを用いた放送コンテンツ検索サービスが可能となる。ここで、プレイリストとは、放送中の音楽やCMの情報を網羅したデータベストのリストであり、このプレイリストを利用することにより曲名、アーティスト名、番組、CM、広告主、商品、タレント、CDレーベルなどの楽曲やCMに関し、登録されている情報を検索することができる。
また、露出データ統計や著作権情報の監視や、更にはビデオオンデマンド(VOD)にも対応可能である。
また、上記の実施形態では時系列信号について説明したが、時系列信号のみならず、画像パターン等一般の信号の検出に応用させることも可能である。
また、他の実施形態においては、蓄積信号に対応する情報が番組に含まれている場合に、自動でチューニングを行い録画、録音を開始するようにしてもよいし、該当するチャンネルが存在していることをオンスクリーンディスプレイ(OSD)機能でモニタに表示させるようにしてもよい。
また、上記の実施形態では時系列信号について説明したが、時系列信号のみならず、画像パターン等一般の信号の検出に応用させることも可能である。
また、他の実施形態においては、蓄積信号に対応する情報が番組に含まれている場合に、自動でチューニングを行い録画、録音を開始するようにしてもよいし、該当するチャンネルが存在していることをオンスクリーンディスプレイ(OSD)機能でモニタに表示させるようにしてもよい。
図1に示される信号探索装置は、具体的には、CPUおよびその周辺LSIで構成されるコンピュータ装置で構成される。このコンピュータ装置は、所定の記録媒体(半導体メモリ、磁気ディスク、光メモリ等)に記録された制御プログラム(具体的には図2及び図3に示す処理内容を実現するプログラム)をCPUが読み出し実行することによって図1に示される各ブロックとして機能する。また、この制御プログラムは、通信回線を介して頒布することも可能である。
実際に高速信号検索システムを構築する際には、高速信号検索システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムで実行することにより、蓄積信号のデータベースへの登録処理および入力信号検出処理を行っても良い。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、本発明の高速信号探索は音響や映像といった信号探索のみならず、画像パターン等一般の信号の検出にも応用可能であり、地図情報を蓄積させ車両自動誘導システムを構成することや、医療分野における遺伝子情報検索などにも活用することが可能である。
100 信号探索装置
1 蓄積特徴計算部
2 蓄積特徴ヒストグラム系列生成部
3 蓄積特徴ヒストグラム系列DB
4 入力特徴計算部
5 注目領域設定部
6 部分蓄積特徴ヒストグラム系列生成部
7 特徴照合部
1 蓄積特徴計算部
2 蓄積特徴ヒストグラム系列生成部
3 蓄積特徴ヒストグラム系列DB
4 入力特徴計算部
5 注目領域設定部
6 部分蓄積特徴ヒストグラム系列生成部
7 特徴照合部
Claims (8)
- 時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索装置であって、
蓄積信号から蓄積特徴系列を算出する蓄積特徴計算部と、
前記蓄積特徴計算部が算出する前記蓄積特徴系列に基づく統計量によって示される蓄積特徴統計系列を算出する蓄積特徴統計生成部と、
前記蓄積特徴統計生成部が生成する前記蓄積特徴統計系列を一定間隔で分割し、分割範囲ごとの前記蓄積特徴統計系列に基づいて部分蓄積特徴系列を生成する部分蓄積特徴生成部と、
入力信号について入力特徴系列を算出する入力特徴計算部と、
前記入力特徴計算部が算出する前記入力特徴系列に対して一定の時間幅を有する注目領域を設定する注目領域設定部と、
前記注目領域設定部が設定する前記注目領域に前記部分蓄積特徴系列の時間長に対応する照合区間を順次設定し、設定する前記照合区間ごとに、当該照合区間に含まれる入力特徴系列及び前記部分蓄積特徴系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出する特徴照合部と、
を備えることを特徴とする信号探索装置。 - 時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索装置であって、
前記蓄積信号から蓄積特徴系列を算出する蓄積特徴計算部と、
前記蓄積特徴計算部が算出する前記蓄積特徴系列に基づくヒストグラムによって示される蓄積特徴ヒストグラム系列を生成して、蓄積特徴ヒストグラム系列記憶部に記録する蓄積特徴ヒストグラム系列生成部と、
入力信号について入力特徴系列を算出する入力特徴計算部と、
前記入力特徴計算部が算出する前記入力特徴系列に対して一定の時間幅を有する注目領域を設定する注目領域設定部と、
前記蓄積特徴ヒストグラム系列記憶部から前記蓄積特徴ヒストグラム系列を読み出し、読み出した前記蓄積特徴ヒストグラム系列を一定間隔で分割し、分割範囲ごとに含まれる前記蓄積特徴ヒストグラム系列に基づいて部分蓄積特徴ヒストグラム系列を生成する部分蓄積特徴ヒストグラム系列生成部と、
前記注目領域設定部が設定する前記注目領域に前記部分蓄積特徴ヒストグラム系列の時間長に対応する照合区間を順次設定し、設定する前記照合区間ごとに、当該照合区間に含まれる前記入力特徴系列から入力特徴ヒストグラム系列を生成し、生成した前記入力特徴ヒストグラム系列及び前記部分蓄積特徴ヒストグラム系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出する特徴照合部と、
を備えることを特徴とする信号探索装置。 - 前記注目領域設定部が、前記入力特徴系列について前記注目領域を設定する際、前記注目領域が前記入力特徴系列において重複する領域を有するように設定することを特徴とする請求項1または2のいずれかに記載の信号探索装置。
- 前記蓄積特徴ヒストグラム系列は、複数存在し、
前記特徴照合部は、
検出した際、前記入力信号と関連する部分を有する前記蓄積信号に対応する前記蓄積特徴ヒストグラム系列が、前記蓄積特徴ヒストグラム系列記憶部から先に前記部分蓄積特徴ヒストグラム系列生成部によって読み出されるように前記蓄積特徴ヒストグラム系列記憶部の中の順序を並べ替えることを特徴とする請求項2または3に記載の信号探索装置。 - 時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索方法であって、
蓄積信号から蓄積特徴系列を算出するステップと、
算出される前記蓄積特徴系列に基づく統計量によって示される蓄積特徴統計系列を算出するステップと、
算出される前記蓄積特徴統計系列を一定間隔で分割し、分割範囲ごとの前記蓄積特徴統計系列に基づいて部分蓄積特徴系列を生成するステップと、
入力信号について入力特徴系列を算出するステップと、
算出される前記入力特徴系列に対して一定の時間幅を有する注目領域を設定するステップと、
設定される前記注目領域に前記部分蓄積特徴系列の時間長に対応する照合区間を順次設定するステップと、
設定される前記照合区間ごとに、当該照合区間に含まれる入力特徴系列及び前記部分蓄積特徴系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出するステップと、
を有することを特徴とする信号探索方法。 - 時系列信号として入力される入力信号から、予め設定される蓄積信号に関連する部分を探し出す信号探索方法であって、
前記蓄積信号から蓄積特徴系列を算出するステップと、
算出される前記蓄積特徴系列に基づくヒストグラムによって示される蓄積特徴ヒストグラム系列を生成するステップと、
生成される前記蓄積特徴ヒストグラム系列を生成する蓄積特徴ヒストグラム系列記憶部に記録するステップと、
入力信号について入力特徴系列を算出するステップと、
算出される前記入力特徴系列に対して一定の時間幅を有する注目領域を設定するステップと、
設定される蓄積特徴ヒストグラム系列記憶部から前記蓄積特徴ヒストグラム系列を読み出すステップと、
読み出される前記蓄積特徴ヒストグラム系列を一定間隔で分割するステップと、
分割した分割範囲ごとに含まれる前記蓄積特徴ヒストグラム系列に基づいて部分蓄積特徴ヒストグラム系列を生成するステップと、
設定される前記注目領域に前記部分蓄積特徴ヒストグラム系列の時間長に対応する照合区間を順次設定するステップと、
設定される前記照合区間ごとに、前記照合区間に含まれる前記入力特徴系列から入力特徴ヒストグラム系列を生成するステップと、
生成される前記入力特徴ヒストグラム系列及び前記部分蓄積特徴ヒストグラム系列に基づいて前記入力信号に含まれる前記蓄積信号に関連する部分を検出するステップと、
を有することを特徴とする信号探索方法。 - 請求項1から4に記載の信号探索装置としてコンピュータを機能させるための信号探索プログラム。
- 請求項7に記載の信号探索プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005116983A JP2006293902A (ja) | 2005-04-14 | 2005-04-14 | 信号探索装置、信号探索方法、信号探索プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005116983A JP2006293902A (ja) | 2005-04-14 | 2005-04-14 | 信号探索装置、信号探索方法、信号探索プログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006293902A true JP2006293902A (ja) | 2006-10-26 |
Family
ID=37414380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005116983A Pending JP2006293902A (ja) | 2005-04-14 | 2005-04-14 | 信号探索装置、信号探索方法、信号探索プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006293902A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107358A (ja) * | 2014-09-17 | 2020-07-09 | サーコーナス, インコーポレイテッド | 効率的時系列ヒストグラム |
-
2005
- 2005-04-14 JP JP2005116983A patent/JP2006293902A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107358A (ja) * | 2014-09-17 | 2020-07-09 | サーコーナス, インコーポレイテッド | 効率的時系列ヒストグラム |
JP7104386B2 (ja) | 2014-09-17 | 2022-07-21 | サーコーナス, インコーポレイテッド | 効率的時系列ヒストグラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9646007B2 (en) | Distributed and tiered architecture for content search and content monitoring | |
CN100409236C (zh) | 流式视频书签 | |
US9113109B2 (en) | Collection and concurrent integration of supplemental information related to currently playing media | |
WO2000045604A1 (en) | Signal processing method and video/voice processing device | |
US20120191231A1 (en) | Methods and Systems for Identifying Content in Data Stream by a Client Device | |
US10757468B2 (en) | Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings | |
US10178365B1 (en) | System and method for combining audio tracks with video files | |
JP2005513663A (ja) | コマーシャル及び他のビデオ内容の検出用のファミリーヒストグラムに基づく技術 | |
US20020140721A1 (en) | Creating a multimedia presentation from full motion video using significance measures | |
JP2000285243A (ja) | 信号処理方法及び映像音声処理装置 | |
EP2676208A1 (en) | Methods and systems for identifying content in a data stream by a client device | |
EP2306719B1 (en) | Content reproduction control system and method and program thereof | |
JP4432823B2 (ja) | 特定条件区間検出装置および特定条件区間検出方法 | |
JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
WO2008062145A1 (en) | Creating fingerprints | |
US20100169248A1 (en) | Content division position determination device, content viewing control device, and program | |
JPWO2009157403A1 (ja) | コンテンツ再生順序決定システムと、その方法及びプログラム | |
JP2003131685A (ja) | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 | |
JP2007267211A (ja) | コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体 | |
JP2006293902A (ja) | 信号探索装置、信号探索方法、信号探索プログラム及び記録媒体 | |
JP3408800B2 (ja) | 信号検出方法、装置及びそのプログラム、記録媒体 | |
JP2002330390A (ja) | 録画装置 | |
JP3730179B2 (ja) | 信号検索装置、信号検索方法、信号検索プログラム及び信号検索プログラムを記録した記録媒体 | |
JP2002199332A (ja) | オーディオ概要情報、オーディオビデオ概要情報の抽出装置、再生装置、および記録媒体 | |
JP5788030B2 (ja) | 放送のマルチメディア遺伝子を用いたグルーピングサーバ、方法及びコンピュータ読み取り可能な記録媒体 |