JP2004334160A - 特徴量抽出装置 - Google Patents

Abstract

【課題】 音声信号と他の音声信号との識別をより明確に行うことができる特徴量抽出装置を提供する。
【解決手段】 周波数変換部１１は、入力された音声信号に含まれる所定時間長の信号部分に対して周波数変換を行うことによって、当該信号部分の周波数スペクトルを導出する。帯域抽出部１２は、周波数変換部１１によって導出された周波数スペクトルから複数の帯域を抽出し、抽出した帯域毎の周波数スペクトルである帯域スペクトルを出力する。特徴量算出部１３は、帯域スペクトルの各々について所定の特徴量を算出し、算出された各所定の特徴量を音声信号の特徴量とする。
【選択図】 図１

Description

本発明は、特徴量抽出装置に関し、より特定的には、音声信号に含まれる特徴量を抽出する装置に関する。

近年、音声信号を識別する技術として、音声指紋技術が注目されている。音声指紋とは、音声信号から抽出することができる固有の特徴量であり、人間の指紋のように、音声信号を特定することができるものである。音声指紋技術は、音声信号から音声指紋を抽出し、データベース等に予め蓄積されている音声指紋と照合して音声信号を識別する技術である。音声指紋技術を用いた例としては、インターネット上でファイル交換を行うソフトウェアにおいて、送受信されるファイルの内容を音声指紋によってチェックしてフィルタリングを行う技術が存在する。その他にも、楽曲の検索等に音声指紋を用いることが考えられる。

次に、図２８および図２９を参照しながら、音声指紋技術について説明する。図２８は、従来の音声指紋技術における音声指紋情報を蓄積する過程を説明するブロック図である。図２８においては、楽曲情報データベース２８２は、楽曲のタイトル、作曲者、作詞者、歌手名等の書誌情報および管理情報を予め格納している。特徴量抽出部２８１は音声信号を入力し、音声信号から音声指紋（ＦＰ）を算出する。算出された音声指紋と楽曲情報データベース２８２に格納されている楽曲情報とが対応付けられて、音声指紋情報として音声指紋情報データベース２８３に格納される。

図２９は、音声指紋を用いて音声信号の特定を行う過程を説明するブロック図である。以下、未知の音声信号から音声指紋を抽出し、音声指紋を用いて音声信号の特定を行う過程を説明する。まず、未知の音声信号が特徴量抽出部に入力され、特徴量抽出部２９１によって音声信号の音声指紋が抽出される。抽出された音声指紋は、指紋比較部２９３に入力される。指紋比較部２９３では、入力された音声指紋と、音声指紋情報データベース２９２に蓄積されている音声指紋とを比較する。そして、蓄積されている音声指紋の中から、入力された音声指紋と一致する音声指紋、あるいは、ある基準の範囲内で類似する音声指紋を検出する。以上のように、検出された音声指紋に関する楽曲情報が出力されることによって、未知の音声信号の楽曲情報が得られることとなる。

なお、音声信号を識別するための他の方法として、電子透かしを用いる方法も考えられている。電子透かしを用いる方法は、音声信号に予め楽曲情報を電子透かしとして埋め込んでおき、埋め込んだ楽曲情報を用いて音声信号を識別するものである。この電子透かし技術では、音声信号自体に情報を埋め込む必要があるので、音声信号の音質が劣化するおそれがある。これに対して、音声指紋を用いる技術では、音声信号自体を変化させるわけではないので、音声信号の音質を劣化させることがないという利点がある。

また、従来、音声指紋として抽出される特徴量には、信号振幅、帯域幅、ピッチ数、メル周波数ケプストラム係数等の物理量が用いられていた。さらに、これらの物理量の各々の平均や標準偏差等の統計的性質が特徴量として算出され、音声信号の識別が行われている（例えば、特許文献１参照）。
米国特許第５９１８２２３号明細書

音声指紋技術においては、音声信号を他の音声信号と明確に識別することができることが要求される。しかし、従来においては、音声指紋として抽出される特徴量は音声信号の基本的な物理量であった。従って、音声信号の基本的な物理量を音声指紋とする場合には、似た特徴を有する音声信号を明確に識別することができないおそれがあった。この場合、当該物理量は、音声指紋としての機能を果たさないこととなる。

それ故、本発明の目的は、ある音声信号と他の音声信号との識別をより明確に行うことができる特徴量抽出装置を提供することである。

上記目的を達成するために、本発明の特徴量抽出装置は、以下の特徴を有する。すなわち、第１の発明は、周波数変換部と、帯域抽出部と、特徴量算出部とを備える、特徴量抽出装置である。周波数変換部は、入力された音声信号に含まれる所定時間長の信号部分に対して周波数変換を行うことによって、当該信号部分の周波数スペクトルを導出する。帯域抽出部は、周波数変換部によって導出された周波数スペクトルから複数の帯域を抽出し、抽出した帯域毎の周波数スペクトルである帯域スペクトルを出力する。特徴量算出部は、帯域スペクトルの各々について所定の特徴量を算出し、算出された各所定の特徴量を音声信号の特徴量とする。

なお、帯域抽出部は、周波数変換部によって導出された周波数スペクトルから、周波数軸上の線形目盛りに従って等間隔に分割された複数の帯域を抽出してもよい。また、帯域抽出部は、周波数変換部によって導出された周波数スペクトルから、周波数軸上の対数目盛りに従って等間隔に分割された複数の帯域を抽出してもよい。

また、帯域抽出部は、周波数変換部によって導出された周波数スペクトルから、周波数が所定の範囲内にある帯域のみを抽出してもよい。

また、帯域抽出部は、抽出すべき各帯域の間に所定の間隔が生じるように当該帯域を抽出してもよい。

また、典型的には、特徴量算出部は、帯域スペクトルの各々について、スペクトルがピークとなる値であるピーク値を算出する。そして、典型的には、ある帯域のピーク値と他の帯域のピーク値との差分値を所定の特徴量とする。さらに、当該差分値を、その符号を示す２値の値によって表現してもよい。

また、典型的には、特徴量算出部は、帯域スペクトルの各々について、スペクトルがピーク値となる周波数であるピーク周波数を算出し、算出したピーク周波数に関する数値を所定の特徴量とする。なお、特徴量算出部は、ある帯域のピーク周波数と他の帯域のピーク周波数との差分値を所定の特徴量として算出してもよい。さらに、当該差分値を、その符号を示す２値の値によって表現してもよい。

また、周波数変換部は、音声信号から所定時間長の信号部分を所定の時間間隔で抽出してもよい。このとき、特徴量算出部は、帯域スペクトルの各々について、スペクトルがピーク値となる周波数であるピーク周波数を算出するピーク周波数算出部と、ピーク周波数算出部によって算出された各ピーク周波数の時間変化量に関する数値を所定の特徴量として算出するピーク周波数時間変化算出部とを含んでいる。

さらに、ピーク周波数時間変化算出部は、各ピーク周波数の時間変化量の符号を示す２値の値を所定の特徴量としてもよい。また、ピーク周波数時間変化算出部は、各ピーク周波数の時間変化量が所定量よりも多いか否かを示す２値の値を所定の特徴量としてもよい。

また、特徴量算出部は、帯域スペクトルの各々について、当該帯域の周波数スペクトルの実効値を所定の特徴量として算出してもよい。

また、周波数変換部は、音声信号から所定時間長の信号部分を所定の時間間隔で抽出してもよい。このとき、特徴量算出部は、帯域スペクトルの各々について、当該帯域の周波数スペクトルの実効値を算出する実効値算出部と、実効値算出部によって算出された各実効値の時間変化量に関する数値を所定の特徴量として算出する実効値時間変化算出部とを含んでいる。

さらに、実効値時間変化算出部は、各実効値の時間変化量の符号を示す２値の値を所定の特徴量としてもよい。また、実効値時間変化算出部は、各実効値の時間変化量が所定量よりも多いか否かを示す２値の値を所定の特徴量としてもよい。

また、周波数変換部は、音声信号から所定時間長の信号部分を所定の時間間隔で抽出してもよい。このとき、特徴量算出部は、帯域抽出部によって抽出された帯域の周波数スペクトルと、当該帯域と同じ帯域の周波数スペクトルであって当該周波数スペクトルが導出された信号部分とは異なる信号部分の周波数スペクトルとの相関値を、帯域抽出部によって抽出された各帯域の各々について算出し、算出された各相関値に関する数値を所定の特徴量として算出する。

さらに、特徴量算出部は、算出された各相関値の符号を示す２値の値を所定の特徴量として算出してもよい。また、特徴量算出部は、算出された各相関値の時間変化量に関する数値を所定の特徴量として算出してもよい。

次に、第２の発明は、信号抽出部と、特徴量算出部とを備える特徴量抽出装置である。信号抽出部は、入力された音声信号から所定時間長の信号部分を複数抽出する。特徴量算出部は、信号抽出部によって抽出された複数の信号部分のうち、ある信号部分と、当該信号部分とは異なる信号部分との相関値を算出し、算出された相関値に関する値を音声信号の特徴量として算出する。

なお、特徴量算出部は、典型的には、相関値を音声信号の特徴量とする。さらに、特徴量算出部は、相関値の符号を示す２値の値を音声信号の特徴量としてもよい。

また、信号抽出部は、所定の時間間隔で信号部分を抽出してもよい。このとき、特徴量算出部は、所定の時間間隔で相関値を算出する相関値算出部と、相関値の時間変化量を音声信号の特徴量として算出する相関値時間変化算出部とを含む。

次に、第３の発明は、周波数変換部と、包絡線導出部と、特徴量算出部とを備える、特徴量抽出装置である。周波数変換部は、入力された音声信号に含まれる所定時間長の信号部分に対して周波数変換を行うことによって、当該信号部分の周波数スペクトルを導出する。包絡線導出部は、周波数変換部によって導出された周波数スペクトルの包絡線を示す包絡線信号を導出する。特徴量算出部は、包絡線導出部によって導出された包絡線信号の極値に関する数値を音声信号の特徴量として算出する。

なお、特徴量算出部は、包絡線導出部によって導出された包絡線信号の極値をとる周波数である極値周波数を音声信号の特徴量としてもよい。

また、特徴量算出部は、包絡線導出部によって導出された包絡線信号の極値をとる周波数である極値周波数を算出する極値周波数算出部と、隣接する極値周波数の間隔を音声信号の特徴量として算出する間隔算出部とを含んでいてもよい。さらに、間隔算出部は、間隔を所定の基準値に対する割合によって表現した数値を音声信号の特徴量としてもよい。

さらに、上記において、間隔算出部は、極値周波数のうち最も低い周波数を、所定の基準値としてもよい。また、間隔算出部は、極値周波数のうち最も低い周波数と２番目に低い周波数との差分値を、所定の基準値としてもよい。

なお、本発明は、第１から第３の発明に係る特徴量抽出装置を含む番組記録装置として提供されてもよい。また、第１から第３の発明に係る特徴量抽出装置を含む番組再生制御装置として提供されてもよい。

上記のように、第１の発明によれば、周波数スペクトルを複数の帯域に分割し、各帯域毎に特徴量が抽出される。これによって、周波数を分割しない場合に比べてより多くの特徴量を容易に得ることができる。さらに、より多くの特徴量を得ることができるので、音声信号の識別をより明確に行うことができる。

また、帯域抽出部が、抽出すべき各帯域の間に所定の間隔が生じるように当該帯域を抽出する場合には、音声信号の加工や外部雑音に対するロバスト性を向上することができる。

また、特徴量を時間変化量（例えば、ピーク周波数の時間変化量や、実効値の時間変化量）とする場合には、音声信号の時間軸上における変化に対してロバスト性を向上することができる。

また、分割した帯域間の変化に関する量を特徴量とする場合には、音声信号の周波数軸上における変化に対してロバスト性を向上することができる。

また、第２の発明によれば、時間変化に関する量を特徴量とすることによって、音声信号の時間軸上における変化に対してロバスト性を向上することができる。

また、第３の発明によれば、周波数スペクトルの包絡線の極値を特徴量とすることによって、容易に特徴量を算出することができる。さらに、極値周波数の間隔比を特徴量とする場合には、テンポが変更される等の加工が音声信号になされる場合に対するロバスト性を向上することができる。

また、特徴量を２値で表現することによって、特徴量のデータ量を減らすことができる。従って、特徴量を音声指紋として用いて音声信号の検索等を行う装置において、記憶しなければならないデータ量を減らすことができる。また、音声指紋を他の音声指紋と比較する処理が簡易になる。

（実施の形態１）
まず、本発明の実施の形態１に係る特徴量抽出装置について説明する。実施の形態１では、音声信号から複数の周波数帯域の周波数スペクトルを抽出し、抽出した各帯域の周波数スペクトルから特徴量を算出する。

図１は、実施の形態１に係る特徴量抽出装置の構成を示すブロック図である。図１において、特徴量抽出装置は、周波数変換部１１と、帯域抽出部１２と、特徴量算出部１３とを備えている。周波数変換部１１には、特徴量を抽出すべき音声信号が入力される。周波数変換部１１は、入力された音声信号に含まれる所定時間長の信号部分に対して周波数変換を行うことによって、当該信号部分の周波数スペクトルを導出する。つまり、周波数変換部１１は、音声信号を時間で分割し、分割した信号部分について周波数スペクトルを導出する。帯域抽出部１２は、周波数変換部１１によって導出された周波数スペクトルから複数の帯域を抽出する。つまり、帯域抽出部１２は、時間で分割された音声信号の一部の周波数スペクトルを周波数で分割し、分割された複数の帯域の一部または全部を抽出する。特徴量算出部１３は、帯域抽出部１２によって抽出された帯域の周波数スペクトルの各々について後述する所定の演算を行い、演算結果を音声信号の特徴量（音声信号を他の音声信号と識別するために用いる情報、すなわち、音声指紋）とする。以下、実施の形態１に係る特徴量抽出装置の動作を説明する。

図１において、特徴量を抽出すべき音声信号が周波数変換部１１に入力されると、周波数変換部１１が音声信号を周波数変換することによって周波数スペクトルが導出される。周波数変換は、例えば、高速フーリエ変換によって行われる。高速フーリエ変換では、音声信号から抽出される有限個のサンプル点を用いて演算を行うので、周波数変換部１１は、演算処理を行う前に音声信号から高速フーリエ変換に必要なサンプル点数に相当する時間長の信号を切り出す。周波数変換部１１によって切り出される信号部分は、１つであってもよいし、複数であってもよい。さらに、複数の信号部分が切り出される場合、各信号部分は時間軸上で重複するように切り出されてもよいし、重複しないように切り出されてもよい。切り出された各信号部分についてそれぞれ周波数変換が行われることによって、各信号部分の周波数スペクトルが導出される。周波数変換部１１にて導出された周波数スペクトル帯域抽出部１２へ出力される。複数の信号部分が切り出される場合、各周波数スペクトルは、音声信号において先に含まれる信号部分の周波数スペクトルから順番に出力される。

帯域抽出部１２は、周波数変換部１１から出力された周波数スペクトルを複数の帯域に分割する。図２は、周波数スペクトルを複数の帯域に分割する一例を説明する図である。図２に示す例では、周波数スペクトルは、図２に示す４つの点線によって５つの帯域に分割される。さらに、帯域抽出部１２は、分割した周波数スペクトルのうち複数の帯域の周波数スペクトルを抽出する。ここで、帯域に分割された周波数スペクトルを帯域スペクトルと呼ぶ。帯域抽出部１２は、周波数変換部１１から順番に出力されてくる各信号部分の周波数スペクトルから、それぞれ同じ帯域を抽出する。抽出された複数の帯域スペクトルは、特徴量算出部１３へ出力される。複数の信号部分が切り出される場合、帯域抽出部１２は、１つの周波数スペクトルを単位として帯域スペクトルを出力する。つまり、帯域抽出部１２は、１つの周波数スペクトルを入力するたびに、入力された周波数スペクトルから抽出される複数の帯域スペクトルを出力する。

帯域抽出部１２にて行われる分割の方法としては、周波数を線形目盛りに従って等間隔に分割する方法が最も単純で効率的な方法である。また、音階の調和等の性質を考慮すると、周波数を対数目盛りに従って等間隔に分割することも考えられる。その他、分割の方法はどのような方法であってもよい。

帯域抽出部１２は、図２に示すように任意の方法にて分割された帯域のうち、特定の帯域を選択して特徴量の算出に用いるようにしてもよい。図３は、帯域抽出部１２によって抽出される帯域スペクトルの一例を示す図である。図３に示す例では、周波数ｆ１よりも高い帯域であって、周波数ｆ２よりも低い帯域に含まれる帯域スペクトルのみが抽出される。この場合、図３に示す斜線部分の帯域スペクトル、すなわち、周波数ｆ１よりも低い帯域に含まれる帯域スペクトル、および周波数ｆ２よりも高い帯域に含まれる帯域スペクトルについては特徴量の算出が行われない。例えば、ＭＰ３のような圧縮技術を用いて符号化されている音声信号では、人間の聴覚特性上聞き取れないような高い周波数帯域の情報を削除するといった操作がなされている。従って、このような操作がなされている音声信号について特徴量を抽出する場合、情報が削除される高帯域の特徴量は音声指紋としての役割を果たし得ない。それ故、この場合には、図３に示すように、特徴量が削除される可能性の高い帯域の帯域スペクトルを特徴量の算出対象から除くことによって、無駄な特徴量の算出処理をなくすことができる。すなわち、少ない演算量で音声信号の特定に有効な特徴量のみを抽出することができる。さらに、特徴量のデータ量を少なくすることができる。

また、帯域抽出部１２は、分割すべき各帯域が互いに接する部分および重複部分がないように、離散的に分割されてもよい。図４は、周波数スペクトルが離散的に分割される一例を示す図である。図４に示すように、周波数スペクトルが離散的に分割される場合には、帯域抽出部１２によって抽出される各帯域スペクトルの間には間隔が生じることとなる。これによって、音声信号が何らかの要因によって変化した場合（例えば、音声信号が加工された場合や、音声信号に外部雑音が含まれた場合）であっても、当該音声信号を正確に識別することができる。つまり、音声信号の加工や外部雑音に対するロバスト性を向上することができる。以下、詳細を説明する。

音声信号が雑音等によって変化してしまう場合には、周波数変換部１１から出力される周波数スペクトルにも歪みやずれが生じてしまう。その結果、特徴量として算出される値も大きく変化してしまう可能性がある。ここで、例えば、図２に示すような分割の方法（離散的に分割しない方法）では、分割される境界の付近に特徴量として算出される情報が存在すると、周波数スペクトルに生じた歪みやずれが、歪みやずれが生じた帯域にのみならず、それに隣接する帯域に対しても影響を及ぼす可能性がある。具体的に、帯域スペクトルのピーク値をとる周波数（以下、「ピーク周波数」と呼ぶ。）を特徴量として用いる場合において、音声信号が変化したことによってピーク周波数が変化してしまう場合を考える。この場合においては、音声信号が変化したことによって、ピーク周波数がある帯域から隣接する帯域へ移動してしまうこととなる。その結果、隣接する２つの帯域において特徴量が変化してしまう。つまり、抽出される特徴量が大きく変化することになる。これに対して、図４に示すように離散的に分割する場合には、仮にピーク周波数が変化しても、当該変化が隣接する２つの帯域に影響を及ぼすことがない。従って、離散的に分割することによって、音声信号が変化したことによる特徴量の多少の変動を吸収することができ、特徴量の抽出におけるロバスト性の向上を図ることが可能である。

以上のように、周波数スペクトルを複数の帯域スペクトルに分割することによって、分割をしない場合に比べて多くの特徴量を少ない演算量で抽出することができる。従って、多くの特徴量を用いてより精度の高い音声指紋を生成することが可能である。また、複数の帯域スペクトルを用いて特徴量を算出することによって、新たな特徴量を音声指紋として用いることが可能である。

次に、特徴量算出部１３の動作について詳しい説明を行う。以下、算出すべき特徴量の具体例として、ピーク周波数、ピーク周波数の時間変化量、ピーク周波数の帯域間の差分値、実効値、実効値の時間変化量、相関値、および、相関値の時間変化量を算出する場合について説明する。

まず、特徴量がピーク周波数である場合ついて説明する。図５は、ピーク値の算出方法を説明する図である。ピーク周波数とは、上述したように、帯域スペクトルにおいてピーク値をとる周波数である。図５においては、ピーク周波数は、ｆｐ１〜ｆｐ４の４つである。なお、図５では、周波数ｆ３より低い周波数帯域および周波数ｆ４より高い周波数帯域は、帯域スペクトルとして抽出されないものとする。特徴量算出部１３は、各帯域スペクトルについてピーク周波数を特徴量として算出する。具体的には、帯域抽出部１２によって抽出された各帯域スペクトルが特徴量算出部１３に入力されると、特徴量算出部１３は、分割された帯域毎にスペクトルの大きさが最も大きい値を示す周波数を探し出す。そして、各帯域内でそれぞれ最もスペクトルの値が大きい周波数をピーク周波数とする。以上によって、ピーク周波数を容易に検出することができる。また、ピーク周波数を特徴量として用いることによって、異なる音声信号との比較において十分な識別が可能な特徴量を抽出することができる。

次に、特徴量がピーク周波数の時間変化量である場合について説明する。図６は、ピーク周波数の時間変化量を算出する場合における特徴量算出部１３の構成を示すブロック図である。図６においては、特徴量算出部１３は、ピーク周波数算出部６１と、ピーク周波数保持部６２と、ピーク周波数時間変化算出部６３とを備えている。ピーク周波数算出部６１は、入力される帯域スペクトルからピーク周波数を算出する。ピーク周波数の算出方法は上述したとおりである。ピーク周波数の算出は、入力される各帯域スペクトルについて行われる。算出された各ピーク周波数は、ピーク周波数保持部６２およびピーク周波数時間変化算出部６３に出力される。

ピーク周波数保持部６２は、ピーク周波数算出部６１から出力されたピーク周波数を所定時間保持する。所定時間は、帯域抽出部１２がある信号部分の周波数スペクトルから抽出される各帯域スペクトルを出力してから、次の信号部分の周波数スペクトルから抽出される各帯域スペクトルを出力するまでの時間である。所定時間経過後、ピーク周波数保持部６２は、保持していたピーク周波数をピーク周波数時間変化算出部６３へ出力する。

ピーク周波数時間変化算出部６３は、ピーク周波数算出部６１から出力されたピーク周波数と、ピーク周波数保持部６２から出力されたピーク周波数との差分値を算出する。この差分値の算出は、同じ帯域の帯域スペクトルから算出された２つのピーク周波数について行われる。また、この差分値の算出は帯域スペクトルの各々について行われる。各帯域スペクトルについて算出された差分値が特徴量となる。

なお、特徴量がピーク周波数の時間変化量である場合、ピーク周波数保持部６２は、上記所定時間の整数倍の時間、ピーク周波数を保持するものでもかまわない。

また、ピーク周波数時間変化算出部６３は、上記差分値を２値によって表現してもよい。例えば、差分値の符号が正であれば１、負であれば０となるような２値によって表現してもよい。このとき、２値によって表現される特徴量は、ピーク周波数の時間軸上の増減を示す。また、例えば、差分値の絶対値がある所定のしきい値を超えれば１、そうでなければ０となるような２値によって表現してもよい。このとき、２値によって表現される特徴量は、ピーク周波数が時間軸上で変化したかほぼ不変であるかを示す。特徴量である差分値を２値によって表現することによって、特徴量のデータ量を少なくすることができる。特に、実施の形態１では、帯域を分割することによって特徴量の数が、帯域を分割しない場合に比べて多くなるので、特徴量を２値によって表現することでデータ量を少なくすることが有効である。

以上のように、特徴量をピーク周波数の時間変化量とすることによって、容易に特徴量を算出することができる。さらに、時間変化に関する量を特徴量とすることによって、音声信号の時間軸上における変化に対してロバスト性を向上することができる。

次に、特徴量がピーク周波数の帯域間の差分値である場合について説明する。図７は、ピーク周波数の帯域間の差分値を算出する場合における特徴量算出部１３の構成を示すブロック図である。図７においては、特徴量算出部１３は、第１のピーク周波数算出部７１と、第２のピーク周波数算出部７２と、ピーク周波数差分算出部７３とを備えている。第１のピーク周波数算出部７１は、入力される帯域スペクトルからピーク周波数を算出する。ピーク周波数の算出方法は上述したとおりである。ピーク周波数の算出は、入力される各帯域スペクトルについて行われる。算出された各ピーク周波数は、ピーク周波数差分算出部７３に出力される。

第２のピーク周波数算出部７２は、第１のピーク周波数算出部７１と同様の処理を行う。ピーク周波数差分算出部７３は、第１のピーク周波数算出部７１から出力されたピーク周波数と、第２のピーク周波数算出部７２から出力されたピーク周波数との差分値を算出する。この差分値の算出は、隣り合う２つの帯域の帯域スペクトルからそれぞれ算出された２つのピーク周波数について行われる。例えば、あるピーク周波数と、そのピーク周波数が算出された帯域スペクトルと周波数が高い側で隣り合う帯域スペクトルから算出されるピーク周波数との差分値が算出される。この差分値の算出は帯域スペクトルの各々について行われる。各帯域スペクトルについて算出された差分値が特徴量となる。

以上のように、特徴量をピーク周波数の帯域間の差分値とすることによって、容易に特徴量を算出することができる。さらに、帯域間の変化に関する量を特徴量とすることによって、音声信号の周波数軸上における変化に対してロバスト性を向上することができる。

なお、帯域間の差分値は、時間変化量の場合と同様、２値によって表現されるものであってもよい。特徴量である差分値を２値によって表現することによって、特徴量のデータ量を少なくすることができる。

なお、本実施の形態において、ピーク周波数の差分値を計算する２つの帯域は、隣り合う２つの帯域に限定するものではなく、帯域抽出部１２によって抽出される複数の帯域の中から選ばれた任意の２つの帯域であってもよい。

次に、特徴量が実効値である場合について説明する。この場合、特徴量算出部１３は、入力される各帯域スペクトルの実効値、すなわち、スペクトルの二乗平均平方根を計算し、特徴量として出力する。これによって、特徴量の算出が容易であり、かつ異なる音声信号との比較において十分な識別が可能な特徴量を抽出することができる。

次に、特徴量が実効値の時間変化量である場合について説明する。図８は、実効値の時間変化量を算出する場合における特徴量算出部１３の構成を示すブロック図である。図８においては、特徴量算出部１３は、実効値算出部８１と、実効値保持部８２と、実効値時間変化算出部８３とを備えている。実効値算出部８１は、入力される帯域スペクトルから実効値を算出する。実効値算出部８１の処理は、ピーク周波数の代わりに実効値を算出する点以外は、ピーク周波数算出部６１の処理と同様である。算出された各実効値は、実効値保持部８２および実効値時間変化算出部８３に出力される。また、実効値保持部８２および実効値時間変化算出部８３の処理は、ピーク周波数の代わりに実効値を算出する点以外は、ピーク周波数保持部６２およびピーク周波数時間変化算出部６３の処理と同様である。また、ピーク周波数の差分値を特徴量とする場合と同様、実効値の時間変化量を２値によって表現してもよい。

以上のように、特徴量を実効値の時間変化量とすることによって、容易に特徴量を算出することができる。さらに、時間変化に関する量を特徴量とすることによって、音声信号の時間軸上における変化に対してロバスト性を向上することができる。

次に、特徴量が相関値である場合について説明する。図９は、相関値を算出する場合における特徴量算出部１３の構成を示すブロック図である。図９においては、特徴量算出部１３は、スペクトル保持部９１と、相関値算出部９２とを備えている。

スペクトル保持部９１は、帯域抽出部１２から出力された各帯域スペクトルを所定時間保持する。所定時間は、帯域抽出部１２がある信号部分の周波数スペクトルから抽出される各帯域スペクトルを出力してから、次の信号部分の周波数スペクトルから抽出される各帯域スペクトルを出力するまでの時間である。所定時間経過後、スペクトル保持部９１は、保持していた帯域スペクトルを相関値算出部９２へ出力する。

相関値算出部９２は、帯域抽出部１２から出力された帯域スペクトルと、スペクトル保持部９１から出力された帯域スペクトルとの相関値を算出する。この相関値の算出は、同じ帯域の帯域スペクトルについて行われる。また、この相関値の算出は帯域スペクトルの各々について行われる。各帯域スペクトルについて算出された相関値が特徴量となる。

なお、相関値算出部９２は、上記相関値を２値によって表現してもよい。例えば、相関値の符号が正であれば１、負であれば０となるような２値によって表現してもよい。これによって、特徴量のデータ量を少なくすることができる。

以上のように、特徴量を相関値とすることによって、容易に特徴量を算出することができる。さらに、時間変化に関する量を特徴量とすることによって、音声信号の時間軸上における変化に対してロバスト性を向上することができる。

次に、特徴量が相関値の時間変化量である場合について説明する。図１０は、相関値の時間変化量を算出する場合における特徴量算出部１３の構成を示すブロック図である。図９においては、特徴量算出部１３は、スペクトル保持部１０１と、相関値算出部１０２と、相関値保持部１０３と、相関値時間変化算出部１０４とを備えている。

スペクトル保持部１０１および相関値算出部１０２の処理は、図９に示したスペクトル保持部９１および相関値算出部９２と同様である。算出された各相関値は、相関値保持部１０３および相関値時間変化算出部１０４に出力される。相関値保持部１０３の処理は、ピーク周波数の代わりに相関値を保持する点以外は、ピーク周波数保持部６２の処理と同様である。また、相関値時間変化算出部１０４の処理は、ピーク周波数の代わりに相関値を算出する点以外は、ピーク周波数時間変化算出部６３の処理と同様である。また、ピーク周波数の差分値を特徴量とする場合と同様、差分値を２値によって表現してもよい。

以上のように、特徴量を相関値の時間変化量とすることによって、容易に特徴量を算出することができる。さらに、時間変化に関する量を特徴量とすることによって、音声信号の時間軸上における変化に対してロバスト性を向上することができる。

なお、上記の他、特徴量としてピーク値の帯域間の差分値を用いることも可能である。具体的には、特徴量算出部１３は、各帯域スペクトルについてピーク値を算出する。そして、例えば、隣り合う帯域スペクトルのピーク値について差分値を算出し、特徴量としてもよい。なお、差分値を算出する２つの帯域スペクトルは、必ずしも隣り合う帯域スペクトルである必要はない。この点は、ピーク周波数の差分値についても同様である。

（実施の形態２）
次に、本発明の実施の形態２に係る特徴量抽出装置について説明する。実施の形態２では、音声信号から時間が異なる複数の信号部分を抽出し、抽出した信号部分間での相関値に関する数値を特徴量とする。このような数値を特徴量とすることによって、特徴量抽出のロバスト性を向上することができる。

図１１は、実施の形態１に係る特徴量抽出装置の構成を示すブロック図である。図１において、特徴量抽出装置は、信号抽出部１１１と、信号保持部１１２と、特徴量算出部１１３とを備えている。信号抽出部１１１には、特徴量を抽出すべき音声信号が入力される。信号抽出部１１１は、入力された音声信号から所定時間長の信号部分を複数抽出する。信号保持部１１２は、信号抽出部１１１によって抽出された信号部分を所定時間保持した後、特徴量算出部１１３へ出力する。特徴量算出部１１３は、信号抽出部１１１によって抽出された信号部分と、信号保持部１１２から出力された信号部分との相関値を算出する。以下、実施の形態２に係る特徴量抽出装置の動作を詳細に説明する。

図１１において、音声信号が信号抽出部１１１に入力されると、当該音声信号から所定時間長の信号部分が複数抽出される。図１２は、実施の形態２における特徴量の算出方法を説明する図である。図１２において、斜線で示される部分が信号抽出部１１１によって抽出される信号部分である。図１２においては、所定時間長Ｔ１の信号部分が複数抽出される。所定時間長は、信号抽出部１１１において予め定められている。また、各信号部分は、音声信号の時間軸上における時間Ｔ２の間隔で抽出される。なお、このことは、信号部分を抽出する処理が時間Ｔ２で行われることを意味しない。抽出された信号部分は、音声信号において先に含まれる信号部分から順番に信号保持部１１２および特徴量算出部１１３へ出力される。なお、信号部分の抽出方法は、同じ時間長（図１２では、Ｔ１）の信号部分を抽出する方法であればどのような方法であってもよい。例えば、図１２においては、抽出される各信号部分は互いに重複しないように抽出されたが、重複が生じるように抽出されてもよい。また、図１２においては、各信号部分間に間隔を空けて各信号部分が抽出されたが、各信号部分間に間隔を空けずに各信号部分が抽出されてもよい。

信号保持部１１２は、信号抽出部１１１から出力された信号部分を所定時間保持する。この所定時間は、信号抽出部１１１がある信号部分を出力してから、次の信号部分を出力するまでの時間である。所定時間経過後、信号保持部１１２は、保持していた信号部分を特徴量算出部１１３へ出力する。従って、信号保持部１１２は、その時点で信号抽出部１１１から出力された信号部分よりも時間Ｔ１だけ前の信号部分を出力する。図１２を例にとって説明すると、信号抽出部１１１から信号部分１２２が出力される時点では、信号保持部１１２は信号部分１２１を出力する。信号抽出部１１１から信号部分１２３が出力される時点では、信号保持部１１２は信号部分１２２を出力する。

特徴量算出部１１３は、信号抽出部１１１から出力された信号部分と、信号保持部１１２から出力された信号部分との相関値を算出する。図１２を例にとって説明すると、例えば、特徴量算出部１１３は、信号部分１２１と信号部分１２２との相関値、および、信号部分１２２と信号部分１２３との相関値を算出する。実施の形態２では、この相関値に関する数値が特徴量となる。例えば、特徴量は、相関値そのものであってもよいし、相関値の時間変化量であってもよい。以下、特徴量が相関値である場合と、相関値の時間変化量である場合について詳細を説明する。

まず、特徴量が相関値である場合について説明する。この場合、特徴量抽出部１１３は、上記相関値そのものを特徴量とする。図１２では、信号抽出部１１１によって抽出された信号部分の各々について、当該信号部分と、次の信号部分（音声信号における時間Ｔ２後の信号部分）との相関値が特徴量として算出される。なお、特徴量算出部１１３は、相関値の符号を示す２値の値を特徴量としてもよい。

次に、特徴量が相関値の時間変化量である場合について説明する。図１３は、特徴量として相関値の時間変化量を算出する場合における特徴量算出部１１３の構成を示すブロック図である。図１３においては、特徴量算出部１１３は、相関値算出部１３１と、相関値保持部１３２と、相関値時間変化算出部１３３とを備えている。

相関値算出部１３１は、信号抽出部１１１および信号保持部１１２から出力される信号部分を入力し、入力した２つの信号部分の相関値を算出する。算出された相関値は、相関値保持部１３２および相関値時間変化算出部１３３へ出力される。

相関値保持部１３２は、相関値算出部１３１から出力された相関値を所定時間保持する。この所定時間は、相関値算出部１３１がある相関値を出力してから、次の相関値を出力するまでの時間である。所定時間経過後、相関値保持部１３２は、保持していた相関値を相関値時間変化算出部１３３へ出力する。従って、相関値保持部１３２は、その時点で相関値算出部１３１から出力された相関値よりも１回前に相関値算出部１３１から出力された相関値を出力する。

相関値時間変化算出部１３３は、相関値保持部１３２から出力された相関値から、相関値算出部１３１から出力された相関値を引いた差分値を特徴量として算出する。この差分値は相関値の時間変化量を示す。なお、相関値時間変化算出部１３３は、相関値の時間変化量の符号を示す２値の値を特徴量としてもよい。

以上のように、実施の形態２では、時間の異なる２つの信号部分の相関値に関する数値が特徴量として用いられる。このように、特徴量を相関値に関する数値とすることによって、容易に特徴量を算出することができる。さらに、時間変化に関する量を特徴量とすることによって、音声信号の時間軸上における変化に対してロバスト性を向上することができる。

なお、実施の形態２においては、相関値の算出において、ある信号部分とそれに隣り合う信号部分との相関値を算出した。具体的には、図１２に示すように、信号部分１２１とその次の信号部分である信号部分１２２との相関値が算出された。ここで、他の実施の形態においては、相関値は、必ずしも隣り合う２つの信号部分の相関値を算出しなくともよい。例えば、ある信号部分とその信号部分の２つ次の信号部分との相関値を算出するようにしてもよい。図１２を例にとって説明すると、信号部分１２１と信号部分１２３との相関値を算出するようにしてもよい。

（実施の形態３）
次に、本発明の実施の形態３に係る特徴量抽出装置について説明する。実施の形態３では、音声信号から導出される周波数スペクトルの包絡線信号をさらに導出し、包絡線信号の極値をとる周波数やそれに関する数値を特徴量とする。このような数値を特徴量とすることによって、特徴量抽出のロバスト性を向上することができる。

図１４は、実施の形態３に係る特徴量抽出装置の構成を示すブロック図である。図１において、特徴量抽出装置は、周波数変換部１４１と、包絡線導出部１４２と、特徴量算出部１４３とを備えている。周波数変換部１４１は、図１に示す周波数変換部１と同様である。包絡線導出部１４２は、周波数変換部１４１から出力されてくる周波数スペクトルの包絡線を示す包絡線信号を導出する。特徴量算出部１４３は、包絡線導出部１４２によって導出された包絡線信号の極値をとる周波数（以下、「極値周波数」と呼ぶ。）を算出し、極値周波数に関する数値を特徴量とする。以下、実施の形態３に係る特徴量抽出装置の動作を詳細に説明する。

図１４に示す周波数変換部１４１は、図１に示す周波数変換部１と同様であるので、詳細な説明を省略する。周波数変換部１４１から音声信号の周波数スペクトルが出力されてくると、包絡線導出部１４２によって周波数スペクトルの包絡線が検出される。周波数スペクトルの包絡線を得ることによって、音声信号の周波数領域のゆるやかな変動を捉えることができる。包絡線導出部１４２によって検出された包絡線を示す包絡線信号は特徴量算出部１４３へ出力される。

特徴量算出部１４３は、包絡線導出部１４２から出力される包絡線信号から極値周波数を算出する。さらに、極値周波数に関する数値を音声信号の特徴量とする。極値周波数に関する数値としては、例えば、極値周波数そのものの他、極値周波数の間隔比が考えられる。以下、特徴量として算出される極値周波数に関する数値について詳細を説明する。

図１５および図１６は、包絡線信号から極値周波数を算出する方法を説明する図である。極値周波数を特徴量とする場合、包絡線信号の極値をとるすべての周波数を特徴量としなくともよい。例えば、図１５に示すように、包絡線信号の極大値をとる周波数（以下、「極大値周波数」と呼ぶ。）のみを特徴量としてもよい。あるいは、図１６に示すように、包絡線信号の極小値をとる周波数（以下、「極小値周波数」と呼ぶ。）のみを特徴量としてもよい。

また、実施の形態３において、特徴量は、極値周波数の間隔比であってもよい。図１７は、特徴量が極値周波数の間隔比を算出する場合における特徴量算出部１４３の構成を示すブロック図である。図１７において、特徴量算出部１４３は、極値周波数算出部１７１と、間隔算出部１７２とを備えている。

極値周波数算出部１７１は、包絡線導出部１４２から出力されてくる包絡線信号から極値周波数を算出する。極値周波数は、極大値周波数または極小値周波数のみであってもよいし、極大値周波数および極小値周波数の双方であってもよい。算出された極値周波数は、間隔算出部１７２へ出力される。

間隔算出部１７２は、極値周波数の間隔を算出する。図１８は、極値周波数の間隔を算出する方法を説明する図である。極値周波数の間隔の算出処理において、間隔算出部１７２は、まず、極値周波数の各々について、隣接する極値周波数との差分値を求める。図１８を例にとって説明すると、差分値ｄ１〜ｄ５が求められる。なお、図１８では、極値周波数算出部１７１は極大値周波数のみを極値周波数として算出するものとする。なお、この差分値を特徴量として用いてもよい。実施の形態３では、間隔算出部１７２は、さらに、算出した各差分値と予め定められた基準値との比を算出する。算出された比が極値周波数の間隔比であり、音楽信号の特徴量となる。なお、基準値は、どのような値であってもよい。例えば、極値周波数の中で最も低い周波数の値や、最も低い周波数と２番目に低い周波数との差分値等を基準値とする。

以上のように、実施の形態３では、周波数スペクトルの包絡線の極値を特徴量とすることによって、容易に特徴量を算出することができる。さらに、極値周波数の間隔比を特徴量とする場合には、テンポが変更される等の加工が音声信号になされる場合に対するロバスト性を向上することができる。

（実施の形態４）
次に、上記実施の形態１〜３において説明した特徴量抽出装置を用いた応用例を説明する。実施の形態４は、実施の形態１〜３に係る特徴量抽出装置をテレビ番組を録画する番組記録装置に応用した形態である。この番組記録装置は、番組中に流れる楽曲から番組を特定することによって所望の番組を自動的に録画する。

図１９は、実施の形態４に係る番組記録装置が用いられるシステムの構成を示す図である。図１９に示すシステムは、受信装置１９１と、番組記録装置１９２と、記録媒体１９３とを備えている。受信装置１９１は、例えばアンテナ等によって構成され、放送信号を受信する。放送信号は、放送局（図示しない）から無線によって放送されてくる他、ケーブルや光ファイバのような有線を経由して放送されてもよい。受信装置１９１によって受信された放送信号は、番組記録装置１９２へ出力される。番組記録装置１９２は、放送信号に含まれる番組のうち、録画すべき番組を当該番組中に流れる楽曲によって特定し、当該番組を記録媒体１９３に記録する。番組を記録する記録媒体１９３は、例えば、磁気テープであったり、ＣＤ−ＲやＤＶＤ−ＲＡＭのような記録型光ディスクであったり、ハードディスクドライブであったり、半導体メモリであってもよい。以下、番組記録装置１９２の詳細な動作を説明する。

図２０は、実施の形態４に係る番組記録装置の詳細な構成を示すブロック図である。図２０において、番組記録装置１９２は、特徴量抽出部２０１と、特徴量比較部２０２と、特徴量記憶部２０３と、記録制御部２０４とを備えている。

受信装置１９１から出力された放送信号は、記録制御部２０４および特徴量抽出部２０１に入力される。放送信号には、映像信号および音声信号が少なくとも含まれている。記録制御部２０４には、映像信号および音声信号が入力される。一方、特徴量抽出部２０１には、放送信号に含まれる音声信号のみが入力される。あるいは、特徴量抽出部２０１自体が、放送信号から音声信号を抽出する機能を有するものであってもよい。特徴量抽出部２０１は、音声信号の特徴量を抽出する。特徴量抽出部２０１は、実施の形態１〜３に係る特徴量抽出装置のいずれかである。従って、特徴量は、実施の形態１〜３において説明した数値（例えば、ピーク周波数や相関値等）である。なお、特徴量の抽出方法は実施の形態１〜３と同様であるので、ここでは詳細を説明しない。抽出された特徴量は、特徴量比較部２０２へ出力される。

一方、特徴量記憶部２０３は、録画すべき番組中において流れる音楽の音声信号の特徴量を予め記憶している。例えば、記録すべき番組の主題曲、挿入曲あるいはエンディング曲等、記録すべき番組中で流れる楽曲の特徴量が記憶されている。特徴量記憶部２０３に保持される特徴量の取得方法はどのような方法であってもよい。特徴量の具体的な取得方法は後述する実施の形態５および６において述べる。

また、特徴量記憶部２０３は、上記特徴量に加えて、制御指示を示す情報（以下、「制御指示情報」と呼ぶ。）を特徴量に対応付けて記憶している。制御指示とは、記録制御部２０４の動作を制御するための指示である。制御指示情報の内容は、典型的には、「記録開始」や「記録終了」である。記録制御部２０４は、記録開始を示す制御指示情報を受け取ると、番組の記録を開始する。一方、記録終了を示す制御指示情報を受け取ると、番組の記録を終了する。特徴量記憶部２０３は、特徴量と制御指示情報との組を１以上記憶している。

例えば、特徴量記憶部２０３において、番組の開始時に流れる主題曲の特徴量に対しては、「記録開始」という制御指示情報を対応付けておき、番組のエンディング曲の特徴量に対しては、「記録終了」という制御指示情報を対応付けておく。これによって、番組の開始および終了を確実に検知することができる。その他、番組中にＣＭが入る場合には、ＣＭに入る前に流れる楽曲の特徴量に対して「記録終了」という制御指示情報を対応付け、ＣＭが終了し番組が再開した時に流れる楽曲の特徴量に対して「記録開始」という制御指示情報を対応付けておくことも考えられる。これによって、ＣＭを録画せずにすむという利点がある。

特徴量比較部２０２は、特徴量抽出部２０１によって抽出された特徴量と、特徴量記憶部２０３において記憶されている特徴量とを比較する。そして、２つの特徴量が一致しているか否かを判定する。この判定は、特徴量記憶部２０３において記憶されているすべての特徴量に対して行われる。判定の結果、２つの特徴量が一致していると判定される場合、特徴量比較部２０２は、記録制御部２０４へ制御指示情報が出力される。記録制御部２０４へ出力される制御指示情報の内容は、特徴量記憶部２０３において記憶されている内容に基づいて決められる。具体的には、特徴量記憶部２０３において、一致すると判定された特徴量に対応付けられている制御指示情報の内容が、記録制御部２０４に出力される。一方、２つの特徴量が一致していないと判定される場合、制御指示情報は出力されない。

なお、上記において、特徴量の比較は、２つの特徴量が一致しているか否かを判定することに代えて、２つの特徴量が類似しているか否かを判定するようにしてもよい。

記録制御部２０４では、特徴量比較部２０２から出力される制御指示情報に従って動作を行う。例えば、特徴量比較部２０２から、「記録開始」という制御指示情報を受け取った場合には、それに応じて番組の記録を開始する。一方、特徴量比較部２０２から、「記録終了」という制御指示情報を受け取った場合には、それに応じて番組の記録を終了する。

以上のように、実施の形態１〜３に係る特徴量抽出装置を番組記録装置として応用することが可能である。この番組記録装置では、特徴量記憶部において番組中に流れる楽曲データ自体を記憶しておく必要がなく、特徴量を記憶しておけばよい。従って、この番組記録装置では、楽曲データ自体を記憶しておく場合に比べて、記憶しておくデータ量を少なくすることができる。

以上に説明した番組記録装置は、番組の放送開始時刻が急に変更されたり、番組の放送が急に延長された場合であっても、番組を確実に記録することが可能である。また、上述したように、ＣＭを除いて番組を記録することも可能である。その他、ユーザの気に入った楽曲の特徴量を特徴量記憶部に記憶させておけば、番組中においてユーザの気に入った楽曲が流れるシーンのみを記録することも可能である（例えば、歌番組においてユーザの気に入った歌のみを記録することができる）。

（実施の形態５）
次に、実施の形態５について説明する。実施の形態５は、実施の形態４と同様、実施の形態１〜３に係る特徴量抽出装置を番組記録装置に応用した形態である。実施の形態５では、番組記録装置において必要となる、特徴量と制御指示情報との対応を含むデータ（後述する、予約情報）の取得方法について詳細に説明する。

図２１は、実施の形態５に係る番組記録装置が用いられるシステムの構成を示す図である。図２１に示すシステムは、受信装置２１１と、番組記録装置２１２と、記録媒体２１３と、予約情報取得装置２１４と、予約情報データベース２１５と、特徴量データベース２１６とを備えている。なお、受信装置２１１は図１９に示す受信装置１９１と同じであり、記憶媒体２１３は図１９に示す記憶媒体１９３と同じである。

実施の形態５に係る番組記録装置においては、番組を記録する処理を行う際に必要となる予約情報が、予約情報取得装置２１４を介して予約情報データベース２１５から取得される。予約情報とは、特徴量と制御指示情報との対応を含む情報である。予約情報には、その他、番組に関する情報が含まれていてもよい。

予約情報取得装置２１４は、例えばネットワークに接続されたパーソナルコンピュータである。ユーザは、予約情報取得装置２１４を用いて、記録したい番組の予約情報を予約情報データベース２１５から取得する。具体的には、予約情報取得装置２１４は、ユーザの入力に従って、ユーザが記録したい番組を特定する情報と当該番組の予約情報を取得する要求とを予約情報データベース２１５にネットワークを介して送信する。予約情報データベース２１５は、予約情報取得装置２１４からの要求を受け取ると、該当する番組の予約情報を予約情報取得装置２１４へ送信する。これによって、予約情報取得装置２１４は、記録すべき番組の予約情報を取得することができる。予約情報取得装置２１４は、取得した予約情報を番組記録装置２１２に出力する。これによって、番組記録装置２１２に予約情報を設定されたことになる。

図２２は、予約情報の一例を示す図である。予約情報は、１つの番組を単位として生成され、番組に関する情報を含んでいる。図２２に示す例では、番組に関する情報として、番組ＩＤ、番組名、放送日、開始時刻、終了時刻、チャンネルおよび録画情報を含んでいる。これらは、予約情報として取得される他、番組記録装置２１２または予約情報取得装置２１４においてユーザによって入力されてもよい。予約情報は、付加情報をさらに含んでいる。付加情報は、番組の内容に関する情報であり、具体的には、出演者、番組内容、楽曲情報を含んでいる。番組記録装置２１２における番組の記録処理において必要となる、特徴量と制御指示情報との組は、この楽曲情報に含まれている。その他、楽曲情報は、楽曲種類、楽曲ＩＤ、楽曲名、および楽曲片データが含まれている。楽曲種類とは、その楽曲が番組の中でどのように使われるかを示す情報である。楽曲種類としては、例えば、番組開始時に流れる主題曲、番組終了時に流れるエンディング曲、ＣＭに入る前に流れるＣＭ前挿入曲、およびＣＭが終了し番組が再開した時に流れるＣＭ後挿入曲等が考えられる。楽曲種類に基づいて、番組の記録を開始するかまたは終了するかを判断することが可能である。従って、他の実施の形態においては、楽曲種類を制御指示情報として用いても構わない。楽曲片データとは、その楽曲の音声信号データの一部である。

なお、図２１に示す特徴量データベース２１６は、上記予約情報に含まれている楽曲名、楽曲ＩＤ、および特徴量を格納している。従って、予約情報取得装置２１４が予約情報を取得する際、楽曲名、楽曲ＩＤ、および特徴量については、特徴量データベース２１６から取得するようにしてもよい。

なお、図２１に示すシステムの構成では、予約情報データベース２１５および特徴量データベース２１６は別体であるとしたが、他の実施の形態においては、単一の装置によって構成されてもよい。また、図２１に示すシステムの構成では、予約情報データベース２１５および特徴量データベース２１６は、ネットワークを介して予約情報取得装置２１４に接続されたが、直接予約情報取得装置２１４に接続されてもよい。

次に、実施の形態５に係る番組記録装置２１２の詳細な構成を説明する。図２３は、実施の形態４に係る番組記録装置の詳細な構成を示すブロック図である。図２３において、番組記録装置２１２は、特徴量抽出部２３１と、特徴量比較部２３２と、特徴量記憶部２３３と、記録制御部２３４と、予約情報管理部２３５と、予備記録部２３６とを備えている。以下、番組記録装置２１２の動作を詳細に説明する。

図２４は、実施の形態５における番組記録装置の処理の流れを示すフローチャートである。図２４においては、番組記録装置２１２に予約情報が入力され、番組の記録が開始されるまでの処理を示す。なお、実施の形態５において、特徴量抽出部２３１、特徴量比較部２３２、特徴量記憶部２３３、および記録制御部２３４は、図２０に示す特徴量抽出部２０１、特徴量比較部２０２、特徴量記憶部２０３、および記録制御部２０４と同様の動作を行う。

図２４において、まず、予約情報管理部２３５は、予約情報取得装置２１４から予約情報を取得する（ステップＳ１）。次に、予約情報管理部２３５は、予約情報に含まれている番組の開始時刻を監視し（ステップＳ２）、開始時刻に基づいて、番組を記録するための処理を開始するか否かを判定する（ステップＳ３）。この判定処理は、現在時刻が開始時刻になったか否かに基づいて行われる。すなわち、現在時刻が開始時刻になると、ステップＳ４以降の処理が行われることによって番組を記録するための処理が開始される。一方、現在時刻が開始時刻になっていない場合、予約情報管理部２３５は、ステップＳ２の処理に戻る。つまり、予約情報管理部２３５は、現在時刻が開始時刻になるまで待機する。

番組を記録するための処理において、まず、予約情報管理部２３５は、放送信号のモニタを開始する（ステップＳ４）。すなわち、記録制御部２３４に放送信号の入力を開始させる。さらに、ステップＳ４において、予約情報管理部２３５は、ステップＳ１において取得した予約情報に含まれている特徴量と制御指示情報との組を特徴量記憶部２３３に記憶させる。

ステップＳ４の次に、特徴量抽出部２３１は、放送信号に含まれる音声信号の特徴量を抽出する（ステップＳ５）。次に、特徴量比較部２３２は、ステップＳ５において特徴量抽出部２３１によって抽出された特徴量と、ステップＳ４において特徴量記憶部２３３に記憶された特徴量とを比較する。そして、２つの特徴量が一致するか否かを判定する（ステップＳ６）。２つの特徴量が一致する場合、ステップＳ７の処理が行われる。一方、２つの特徴量が一致しない場合、ステップＳ５の処理が行われ、２つの特徴量が一致するまでステップＳ５およびＳ６の処理が繰り返される。

ステップＳ６の判定が肯定であった場合、記録制御部２３４は、番組の記録を開始する（ステップＳ７）。なお、図２４の説明では、ステップＳ６において特徴量が一致すると判定された音楽信号は、制御指示情報が「記録開始」を示すものであるとする。以上で図２４に示す処理が終了する。なお、この後、番組の記録が終了されることとなるが、番組の記録を終了する処理は実施の形態４の場合と同様である。

なお、実施の形態５においては、番組記録装置２１２は、番組の記録を開始する前に、予備記録部２３６に放送信号を予め一時的に記録するようにしてもよい。例えば、記録すべき番組の主題曲が番組開始から１０分後に流れることが予約情報として与えられて既知である場合を考える。この場合、記録制御部２３４は、特徴量比較部２３２から出力されてくる制御指示情報の有無にかかわらず、所定時間分の放送信号を予備記録部２３６に記録する。上記例では、１０分の放送信号を記録すれば足りる。予備記録部２３６は、現在時刻から所定時間だけ前までの放送信号を記録すればよく、所定時間以上前の放送信号は破棄してよい。この状態において、特徴量比較部２３２から制御指示情報が出力されてくると、記録制御部２３４は、それ以降に受信されてくる放送信号とともに、予備記録部２３６に記録されている放送信号を記録媒体２１３へ記録する。以上によって、番組の記録を開始するための主題曲が番組の放送開始時点で流れない場合でも、番組を最初から記録することができる。

以上のように、実施の形態５においても、実施の形態４と同様の効果を得ることができる。さらに、実施の形態５によれば、番組記録装置は予約情報を予約情報データベースから容易に取得することができるので、ユーザが予約情報を入力したり、番組記録装置において特徴量の算出処理を行う必要がない。

なお、実施の形態５においては、予約情報データベースから取得される予約情報を予約情報取得装置によってユーザが編集することができるようにしてもよい。例えば、開始時刻や終了時刻等の情報をユーザが独自に設定してもよい。また、予約情報の一部についてはユーザが入力するようにしてもよい。ユーザが入力する形態には、Ｇコードを用いて入力を行う形態を含まれる。また、予約情報データベースにおいて格納される予約情報は、デジタル放送において用いられるＥＰＧを含んでいてもよい。さらに、予約情報が放送信号に含まれており、放送信号を受信することによって予約情報を取得することが可能な形態としてもよい。

また、実施の形態５においては、予約情報は、番組を記録する際の画質および音質を設定する情報や、記録ビットレート情報等を含んでいてもよい。さらに、予約情報管理部２３５は、これらの情報に基づいて記録制御部２３４を制御するようにしてもよい。

（実施の形態６）
次に、実施の形態６について説明する。実施の形態６は、実施の形態４と同様、実施の形態１〜３に係る特徴量抽出装置を番組記録装置に応用した形態である。実施の形態６は、過去に記録媒体に記録した情報から予約情報を入手する点で異なる。

図２５は、実施の形態６に係る番組記録装置が用いられるシステムの構成を示す図である。図２５に示すシステムは、受信装置２５１と、番組記録装置２５２と、記録媒体２５３と、予約情報取得装置２５４とを備えている。図２５に示すシステムにおいて、予約情報取得装置２５４以外の各装置の動作は、実施の形態４または５と同様である。

実施の形態６では、放送信号に予約情報となる情報が含まれており、番組を記録する際には当該情報も含めて記録媒体２５３に記録されるものとする。予約情報取得装置２５４は、ユーザの入力に応じて予約情報の取得を行う際に、記録媒体２５３から予約情報を取得する。なお、予約情報に含まれる特徴量は、放送信号が記録媒体２５３に記録される際に放送信号とともに記録されてもよいし、予約情報取得装置２５４が予約情報の取得を行う際に番組記録装置２５２内の特徴量抽出部によって抽出されてもよい。

以上のようにして、実施の形態６では、ネットワークを介して予約情報データベースから取得しなくとも、予約情報を取得することができる。実施の形態６に示すシステムは、過去に記録した番組のデータを再利用することができるので、同じ予約情報を繰り返し取得する必要がなく、最初に一度取得すれば２回目以降の取得処理が簡単化できるという利点がある。具体的には、毎日放送されるニュース番組や、毎週放送される連続ドラマ等、定期的に放送される番組を録画する場合に有利である。

（実施の形態７）
次に、実施の形態７について説明する。実施の形態７は、実施の形態１〜３に係る特徴量抽出装置を番組再生制御装置に応用した形態である。

図２６は、実施の形態７に係る番組再生制御装置が用いられるシステムの構成を示す図である。図２６に示すシステムは、番組再生制御装置２６１と、再生装置２６２とを備える。また、図示していないが、本システムには受信装置が含まれる。受信装置は、図１９に示す受信装置１９１と同様の機能である。

番組再生制御装置２６１は、特徴量抽出部２６３と、特徴量比較部２６４と、特徴量記憶部２６５と、再生制御部２６６とを備えている。再生制御部２６６以外の構成要素については、図１９に示す構成要素と同様の動作を行う。再生制御部２６６は、特徴量比較部２６４から出力されてくる制御指示情報に従い、再生の開始や再生の終了といった動作を行う。なお、実施の形態７においては、制御指示情報は、「再生開始」や「再生終了」といった、放送信号の再生動作に関する動作を指示する情報である。なお、再生が開始される前、および再生が終了した後は、再生装置２６２は再生動作を行わない。

上記の構成によって、再生装置２６２は、ユーザの所望する番組のみを再生することとなる。また、ＣＭを除いて再生を行うことが可能である。なお、放送信号が既に受信され、番組再生制御装置２６１または受信装置において保持されている場合には、放送信号の再生をＣＭの間停止するのではなく、ＣＭを飛ばして番組を連続して再生を行うことが可能である。

（実施の形態８）
次に、実施の形態８について説明する。実施の形態８は、実施の形態７と同様、実施の形態１〜３に係る特徴量抽出装置を番組編集装置に応用した形態である。

図２７は、実施の形態８に係る番組編集装置が用いられるシステムの構成を示す図である。図２７に示すシステムは、番組編集装置２７１と、再生装置２７２と、記録媒体２７７とを備える。

実施の形態８が実施の形態７と異なる点は、受信装置に代えて記録媒体２７７を備える点である。また、番組編集装置２７１が、編集部２７８をさらに備える点である。これら以外は実施の形態７と同様であり、記録媒体２７７に格納されている番組のうち、ユーザの所望する番組のみが再生される点は、実施の形態７と同様である。このように再生された番組を試聴しながら、ユーザは、編集部２７８によって当該番組の編集を行うことができる。編集部２７８によって編集された番組のデータは、記録媒体２７７に記録される。このとき、編集前の番組データに上書きして記録してもよいし、別のデータとして記録してもよい。

以上のように、実施の形態８における番組編集装置では、記録媒体に記録されている多数の番組データの中から編集を行いたい番組を的確に抽出し、再生することが可能である。

以上に示した特徴量抽出装置は、音声信号と他の音声信号との識別をより明確に行うこと等を目的として利用することが可能である。

実施の形態１に係る特徴量抽出装置の構成を示すブロック図 周波数スペクトルを複数の帯域に分割する一例を説明する図 帯域抽出部１２によって抽出される帯域スペクトルの一例を示す図 周波数スペクトルが離散的に分割される一例を示す図 ピーク値の算出方法を説明する図 ピーク周波数の時間変化量を算出する場合における特徴量算出部１３の構成を示すブロック図 ピーク周波数の帯域間の差分値を算出する場合における特徴量算出部１３の構成を示すブロック図 実効値の時間変化量を算出する場合における特徴量算出部１３の構成を示すブロック図 相関値を算出する場合における特徴量算出部１３の構成を示すブロック図 相関値の時間変化量を算出する場合における特徴量算出部１３の構成を示すブロック図 実施の形態１に係る特徴量抽出装置の構成を示すブロック図 実施の形態２における特徴量の算出方法を説明する図 特徴量として相関値の時間変化量を算出する場合における特徴量算出部１１３の構成を示すブロック図 実施の形態３に係る特徴量抽出装置の構成を示すブロック図 包絡線信号から極値周波数を算出する方法を説明する図 包絡線信号から極値周波数を算出する方法を説明する図 特徴量が極値周波数の間隔比を算出する場合における特徴量算出部１４３の構成を示すブロック図 極値周波数の間隔を算出する方法を説明する図 実施の形態４に係る番組記録装置が用いられるシステムの構成を示す図 実施の形態４に係る番組記録装置の詳細な構成を示すブロック図 実施の形態５に係る番組記録装置が用いられるシステムの構成を示す図 予約情報の一例を示す図 実施の形態４に係る番組記録装置の詳細な構成を示すブロック図 実施の形態５における番組記録装置の処理の流れを示すフローチャート 実施の形態６に係る番組記録装置が用いられるシステムの構成を示す図 実施の形態７に係る番組再生制御装置が用いられるシステムの構成を示す図 実施の形態８に係る番組編集装置が用いられるシステムの構成を示す図 従来の音声指紋技術における音声指紋情報を蓄積する過程を説明するブロック図 音声指紋を用いて音声信号の特定を行う過程を説明するブロック図

符号の説明

１１ 周波数変換部
１２ 帯域抽出部
１３ 特徴量算出部
１１１ 信号抽出部
１１２ 信号保持部
１１３ 特徴量算出部
１４１ 周波数変換部
１４２ 包絡線導出部
１４３ 特徴量算出部
１９２，２１２，２５２ 番組記録装置
２６１，２７１ 番組再生制御装置

Claims (34)

1. 入力された音声信号に含まれる所定時間長の信号部分に対して周波数変換を行うことによって、当該信号部分の周波数スペクトルを導出する周波数変換部と、
   前記周波数変換部によって導出された周波数スペクトルから複数の帯域を抽出し、抽出した帯域毎の周波数スペクトルである帯域スペクトルを出力する帯域抽出部と、
   前記帯域スペクトルの各々について所定の特徴量を算出し、算出された各所定の特徴量を前記音声信号の特徴量とする特徴量算出部とを備える、特徴量抽出装置。
2. 前記帯域抽出部は、前記周波数変換部によって導出された周波数スペクトルから、周波数軸上の線形目盛りに従って等間隔に分割された複数の帯域を抽出する、請求項１に記載の特徴量抽出装置。
3. 前記帯域抽出部は、前記周波数変換部によって導出された周波数スペクトルから、周波数軸上の対数目盛りに従って等間隔に分割された複数の帯域を抽出する、請求項１に記載の特徴量抽出装置。
4. 前記帯域抽出部は、前記周波数変換部によって導出された周波数スペクトルから、周波数が所定の範囲内にある帯域のみを抽出する、請求項１に記載の特徴量抽出装置。
5. 前記帯域抽出部は、抽出すべき各帯域の間に所定の間隔が生じるように当該帯域を抽出する、請求項１に記載の特徴量抽出装置。
6. 前記特徴量算出部は、前記帯域スペクトルの各々について、スペクトルがピークとなる値であるピーク値を算出し、ある帯域のピーク値と他の帯域のピーク値との差分値を前記所定の特徴量とする、請求項１に記載の特徴量抽出装置。
7. 前記特徴量算出部は、ある帯域のピーク値と他の帯域のピーク値との差分値を、その符号を示す２値の値によって表現する、請求項６に記載の特徴量抽出装置。
8. 前記特徴量算出部は、前記帯域スペクトルの各々について、スペクトルがピーク値となる周波数であるピーク周波数を算出し、算出したピーク周波数に関する数値を前記所定の特徴量とする、請求項１に記載の特徴量抽出装置。
9. 前記特徴量算出部は、ある帯域のピーク周波数と他の帯域のピーク周波数との差分値を前記所定の特徴量として算出する、請求項８に記載の特徴量抽出装置。
10. 前記特徴量算出部は、ある帯域のピーク周波数と他の帯域のピーク周波数との差分値を、当該差分値が所定量より多いか否かを示す２値の値によって表現する、請求項９に記載の特徴量抽出装置。
11. 前記周波数変換部は、前記音声信号から前記所定時間長の信号部分を所定の時間間隔で抽出し、
    前記特徴量算出部は、
    前記帯域スペクトルの各々について、スペクトルがピーク値となる周波数であるピーク周波数を算出するピーク周波数算出部と、
    前記ピーク周波数算出部によって算出された各ピーク周波数の時間変化量に関する数値を前記所定の特徴量として算出するピーク周波数時間変化算出部とを含む、請求項１に記載の特徴量抽出装置。
12. 前記ピーク周波数時間変化算出部は、前記各ピーク周波数の時間変化量の符号を示す２値の値を前記所定の特徴量とする、請求項１１に記載の特徴量抽出装置。
13. 前記ピーク周波数時間変化算出部は、前記各ピーク周波数の時間変化量が所定量よりも多いか否かを示す２値の値を前記所定の特徴量とする、請求項１１に記載の特徴量抽出装置。
14. 前記特徴量算出部は、前記帯域スペクトルの各々について、当該帯域の周波数スペクトルの実効値を前記所定の特徴量として算出する、請求項１に記載の特徴量抽出装置。
15. 前記周波数変換部は、前記音声信号から前記所定時間長の信号部分を所定の時間間隔で抽出し、
    前記特徴量算出部は、
    前記帯域スペクトルの各々について、当該帯域の周波数スペクトルの実効値を算出する実効値算出部と、
    前記実効値算出部によって算出された各実効値の時間変化量に関する数値を前記所定の特徴量として算出する実効値時間変化算出部とを含む、請求項１に記載の特徴量抽出装置。
16. 前記実効値時間変化算出部は、前記各実効値の時間変化量の符号を示す２値の値を前記所定の特徴量とする、請求項１５に記載の特徴量抽出装置。
17. 前記実効値時間変化算出部は、前記各実効値の時間変化量が所定量よりも多いか否かを示す２値の値を前記所定の特徴量とする、請求項１５に記載の特徴量抽出装置。
18. 前記周波数変換部は、前記音声信号から前記所定時間長の信号部分を所定の時間間隔で抽出し、
    前記特徴量算出部は、前記帯域抽出部によって抽出された帯域の周波数スペクトルと、当該帯域と同じ帯域の周波数スペクトルであって当該周波数スペクトルが導出された信号部分とは異なる信号部分の周波数スペクトルとの相関値を、前記帯域抽出部によって抽出された各帯域の各々について算出し、算出された各相関値に関する数値を前記所定の特徴量として算出する、請求項１に記載の特徴量抽出装置。
19. 前記特徴量算出部は、算出された各相関値の符号を示す２値の値を前記所定の特徴量として算出する、請求項１８に記載の特徴量抽出装置。
20. 前記特徴量算出部は、算出された各相関値の時間変化量に関する数値を前記所定の特徴量として算出する、請求項１８に記載の特徴量抽出装置。
21. 入力された音声信号から所定時間長の信号部分を複数抽出する信号抽出部と、
    前記信号抽出部によって抽出された複数の信号部分のうち、ある信号部分と、当該信号部分とは異なる信号部分との相関値を算出し、算出された相関値に関する値を前記音声信号の特徴量として算出する特徴量算出部とを備える、特徴量抽出装置。
22. 前記特徴量算出部は、前記相関値を前記音声信号の特徴量とする、請求項２１に記載の特徴量抽出装置。
23. 前記特徴量算出部は、前記相関値の符号を示す２値の値を前記音声信号の特徴量とする、請求項２１に記載の特徴量抽出装置。
24. 前記信号抽出部は、所定の時間間隔で前記信号部分を抽出し、
    前記特徴量算出部は、
    前記所定の時間間隔で前記相関値を算出する相関値算出部と、
    前記相関値の時間変化量を前記音声信号の特徴量として算出する相関値時間変化算出部とを含む、請求項２１に記載の特徴量抽出装置。
25. 入力された音声信号に含まれる所定時間長の信号部分に対して周波数変換を行うことによって、当該信号部分の周波数スペクトルを導出する周波数変換部と、
    前記周波数変換部によって導出された周波数スペクトルの包絡線を示す包絡線信号を導出する包絡線導出部と、
    前記包絡線導出部によって導出された包絡線信号の極値に関する数値を前記音声信号の特徴量として算出する特徴量算出部とを備える、特徴量抽出装置。
26. 前記特徴量算出部は、前記包絡線導出部によって導出された包絡線信号の極値をとる周波数である極値周波数を前記音声信号の特徴量とする、請求項２５に記載の特徴量抽出装置。
27. 前記特徴量算出部は、
    前記包絡線導出部によって導出された包絡線信号の極値をとる周波数である極値周波数を算出する極値周波数算出部と、
    隣接する極値周波数の間隔を前記音声信号の特徴量として算出する間隔算出部とを含む、請求項２５に記載の特徴量抽出装置。
28. 前記間隔算出部は、前記間隔を所定の基準値に対する割合によって表現した数値を前記音声信号の特徴量とする、請求項２７に記載の特徴量抽出装置。
29. 前記間隔算出部は、前記極値周波数のうち最も低い周波数を、前記所定の基準値とする、請求項２８に記載の特徴量抽出装置。
30. 前記間隔算出部は、前記極値周波数のうち最も低い周波数と２番目に低い周波数との差分値を、前記所定の基準値とする、請求項２８に記載の特徴量抽出装置。
31. 請求項１に記載の特徴量抽出装置を含み、音声信号および映像信号を含む番組データを入力するとともに、当該番組データを記録媒体に記録可能な番組記録装置であって、
    前記特徴量抽出装置は、前記番組データに含まれる音声信号の特徴量を算出し、
    前記番組データの前記記録媒体への記録の制御を行う記録制御部と、
    記録すべき番組において流れる音楽の音声信号の特徴量と、前記記録制御部に対して当該番組の記録を行う旨の指示、または記録を停止する旨の指示を示す制御指示情報とを対応付けた組を少なくとも１組記憶する特徴量記憶部と、
    前記特徴量抽出装置によって導出された特徴量と、前記特徴量記憶部に記憶されている特徴量とに基づいて、前記番組データに含まれる音声信号が前記記録すべき番組において流れる音楽の音声信号と一致するか否かを判定する特徴量比較部とを備え、
    前記記録制御部は、前記特徴量比較部が一致すると判定した場合、一致すると判定された音声信号の特徴量に前記特徴量記憶部において対応付けられている制御指示情報により示される指示に従って前記制御を行う、番組記録装置。
32. 入力される番組データを所定の量だけ記録する予備記録部をさらに備え、
    前記特徴量記憶部は、特徴量と制御指示情報との対応に加え、前記記録すべき番組の開始から、当該特徴量を有する音声信号の音楽が当該番組において流れるまでの経過時間を示す情報をさらに対応付けて記憶し、
    前記記録制御部は、前記特徴量比較部が一致すると判定した場合であって、一致すると判定された音声信号の特徴量に前記特徴量記憶部において対応付けられている制御指示情報により示される指示が番組の記録を示す場合、入力される番組データの前記記録媒体への記録を開始するとともに、前記予備記録部に記録されている番組データのうち、当該制御指示情報に対応付けられている情報により示される経過時間分の番組データを前記記録媒体へ記録する、請求項３１に記載の番組記録装置。
33. 請求項１に記載の特徴量抽出装置を含み、音声信号および映像信号を含む番組データを入力するとともに、当該番組データを再生可能な再生装置に接続される番組再生制御装置であって、
    前記特徴量抽出装置は、前記番組データに含まれる音声信号の特徴量を算出し、
    前記番組データの前記再生装置による再生の制御を行う再生制御部と、
    再生すべき番組において流れる音楽の音声信号の特徴量と、前記再生制御部に対して当該番組の再生を行う旨の指示、または再生を停止する旨の指示を示す制御指示情報とを対応付けた組を少なくとも１組記憶する特徴量記憶部と、
    前記特徴量抽出装置によって導出された特徴量と、前記特徴量記憶部に記憶されている特徴量とに基づいて、前記番組データに含まれる音声信号が前記再生すべき番組において流れる音楽の音声信号と一致するか否かを判定する特徴量比較部とを備え、
    前記再生制御部は、前記特徴量比較部が一致すると判定した場合、一致すると判定された音声信号の特徴量に前記特徴量記憶部において対応付けられている制御指示情報により示される指示に従って前記制御を行う、番組再生制御装置。
34. 前記番組データは、記録媒体に記録されており、
    前記記録媒体に記録されている番組データを編集可能な編集部をさらに備える、請求項３３に記載の番組再生制御装置。
    
    

Images