JP2008241850A - 録音または再生装置 - Google Patents

Abstract

【課題】軽い演算処理により、楽曲と話し声から成る音声から楽曲を識別することができる録音または再生装置を提供する。
【解決手段】音声信号レベルの変化量が所定値以上である時点をカット点として検出するカット点検出部と、カット点近傍においてのみ前記音声信号の周波数領域における特徴量を算出する周波数特徴量算出部と、算出された周波数特徴量に基づき、カット点の属性を判定するカット点判定部と、前記属性とサンプリング点との間隔に基づき、楽曲区間の始点と終点とを検出する楽曲区間検出部とを備える。
【選択図】図２

Description

本発明は、話し声（ｓｐｅａｃｈ）の区間や音楽（ｍｕｓｉｃ）の区間が混在する音声（ａｕｄｉｏ）の中から音楽（楽曲）の区間を検出する録音または再生装置に関する。

通常の放送される音声にはアナウンサーの話し声の区間や音楽の区間が混在している。

使用者が希望する音楽の録音しようとする場合、音楽の開始タイミングに合わせて録音を手動で開始し、音楽の終了タイミングに合わせて録音を手動で終了するという厄介な操作を行わねばならなかった。しかし、ラジオ等の放送を聴いているときに、好みの音楽を録音しようとしても通常は音楽の開始タイミングまで遡って確実に録音することはできない。

そこで、放送を録音しておき、好みの音楽だけを後で編集作業によって切出すことが有効になる。しかし、少なくとも編集に際して、できるだけ音楽区間だけを識別して再生する方が編集作業も容易となる。

そこで、音楽が持つ特徴と話し声が持つ特徴とを分析し、両者を自動的に識別する技術が必要となる。

特許文献１によれば、ＭＦＣＣ（メルケール周波数ケプストラム計数）などの周波数特徴量を用いて、音楽と話し声の識別を行っている。
特開２００４−２５８５６９号公報

しかし、特許文献１の技術は、音声信号の周波数領域の特徴量を算出する処理が複雑で大掛かりになり、処理のための負荷が大きくなるという問題点がある。

本発明は、斯かる問題に鑑みてなされたものであり、軽い演算処理により、楽曲と話し声から成る音声から楽曲を識別することができる録音または再生装置を提供することを目的とする。

本願発明に係る録音または再生装置のある態様は、音声信号中の楽曲区間を検出する録音または再生装置であって、音声信号レベルの変化量が所定値以上である時点をカット点として検出するカット点検出部と、カット点近傍においてのみ前記音声信号の周波数領域における特徴量を算出する周波数特徴量算出部と、算出された周波数特徴量に基づき、カット点の属性を判定するカット点判定部と、前記属性とサンプリング点との間隔に基づき、楽曲区間の始点と終点とを検出する楽曲区間検出部とを備えることを特徴とする。

好ましくは、前記カット点判定部は、算出された周波数特徴量に基づいてカット点近傍の音声信号が楽曲部分のものか、非楽曲部分のものかを判別し、隣り合う２つの非楽曲部分の間隔が所定時間以上であるとき、これらの非楽曲部分の間にある音声信号を楽曲区間として推定する。

或いは、隣り合う２つの非楽曲部分のカット点の間隔が所定時間以上であるとき、これらの非楽曲部分のカット点の間にある音声信号を楽曲区間として推定するものでもよい。

本願発明に係る録音または再生装置の他の態様は、音声信号中の楽曲区間を検出する録音または再生装置であって、音声信号レベル又はその変化量が所定値以上である時点をカット点として検出するカット点検出部と、前記音声信号の周波数領域における特徴量を算出する周波数特徴量算出部と、算出された周波数特徴量と、検出されたカット点の情報に基づいて楽曲区間の始点と終点を検出する楽曲区間検出部を備えることを特徴とする。

本発明の録音または再生装置によれば、軽い演算処理により、楽曲と話し声から成る音声から楽曲を識別することができる。

以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は、本発明の実施の形態に係る録音または再生装置中の楽曲検出機能を説明するための構成図である。図１に示すように、本実施の形態に係る録音または再生装置は、受信したテレビジョン放送、ラジオ放送等の放送信号を、選局して受信して音声信号に復調する。Ａ／Ｄ変換器２は、チューナ部１により選択されたアナログの音声信号をディジタル信号に変換する。

ＭＰ３（MPEG Audio Layer-3）コーデック３は、ディジタル音声データを符号化し、データ圧縮した符号化データを生成して時刻情報とペアで出力するエンコーダ機能と、符号化データを復号するデコーダ機能とを有する。Ｄ／Ａ変換器４は、ＭＰ３コーデック３にて復号されたディジタル音声データをアナログ信号データに変換する。そして、このアナログ信号データは、図時省略したアンプを介してスピーカ５に入力される。

ＤＳＰ７は、音声信号に基づいて、音声信号レベルを検出するため音声信号の振幅値を二乗した音声パワーを算出する。また、ＤＳＰ７は、音声信号レベルの変化量を検出するため音声パワーの変化量を算出する。また、ＤＳＰ７は、音声パワーの変化量が所定値以上となるタイミングをカット点と定義して検出する。また、ＤＳＰ７は、カット点近傍においてのみの周波数領域の特徴量、例えばＭＦＣＣを算出し、サンプル音声信号に基づいて算出されたＭＦＣＣとの尤度を算出する。

ＣＰＵ８は、バス６を介して本実施の形態に係る録音または再生装置全体の動作を制御する。また、カット点が楽曲の始点または終点であるか否かについて推定処理等を実行する。ＨＤＤ１０は、例えばＡＴＡインタフェースを実現するＨＤＤインタフェース部９を介して符号化データと時刻情報とを記録する大容量記録装置である。メモリ１１は、実行プログラムを展開し、演算処理により生じるデータを一時記憶すると共に、ＡＤ変換直後の音声データを一定期間遅延する機能を持っている。なお、ＭＰ３コーデック３、ＤＳＰ７、ＣＰＵ８、ＨＤＤインタフェース部９及びメモリ１１は、バス６を介して各種のデータを互いに授受する。

図２は、本実施の形態に係る録音または再生装置の一部を示す機能ブロック図である。図２に示すように、本実施の形態に係る録音または再生装置は、チューナ１で選局された音声信号を、Ａ／Ｄ変換器２に入力してディジタルに変換した後、時刻情報とともにＭＰ３コーデック３に入力しMP3データに入力しMP3データに圧縮符号化して時刻情報とペアで録音期間中、HDDインタフェース部９を介してＨＤＤ１０に継続的に記録する。

Ａ／Ｄ変換器２からのディジタル音声データをＤＳＰ７の処理に要する時間分だけ遅延する遅延メモリ１１ａに記憶するとともに、ＤＳＰ７内の音声パワー算出部７１にて音声信号レベルに相当する音声パワー即ち、音声信号の振幅の二乗値を算出する。

ＤＳＰ７内のカット点検出部７２では、音声信号レベルの変化が大きいタイミング、即ち音声パワー値の変化量が所定値より大きいタイミングをカット点として検出して、検出出力を発する。同時にカット点における時刻情報とその変化量を一時記憶メモリ１１Ｃに記憶する。

図３は、カット点検出部７２の動作を説明するための波形図である。図３（ａ）は、音声パワー値の変化を、図３（ｂ）は変化量（微分値）の変化を、それぞれ示している。図３に示すように、カット点検出部７２は音声パワー算出部７１にて算出された音声パワー値に基づいて、その微分値が所定の閾値より大きい極大点となる時刻Ｔｍ、Ｔｍ＋１をカット点として検出する。そして、その検出結果を、周波数特徴量算出部７３に入力する。

周波数特徴量算出部７３では、遅延メモリ１１ａから所定時間遅延されて出力される音声データを、カット点検出部７２からの出力に同期して、カット点に僅か先行するタイミングからカット点より僅か遅れたタイミングにおける微小期間において一時的にＭＦＣＣ等の周波数の特徴量を算出して尤度算出部７４に入力する。

本実施例では、楽曲と話し声とは周波数特徴量が異なることに着目して、典型的な楽曲の周波数特徴量と話し声の周波数特徴量を、比較に際して基準データとして外部メモリ１１ｂに予め記憶している。従って、ＤＳＰ内の尤度検出部７４は、周波数特徴量算出部７３から入力されるカット点前後の特徴量算出出力と、基準データとの尤度を算出し、その尤度算出出力を、ＣＰＵ８内のカット点判定部８１に入力する。

なお、尤度算出に際しては、基準データと比較により尤度を求める前述の方式に代えて、周波数特徴量をあらかじめ設定した評価関数に代入して尤度を求めることにより、楽曲である可能性を算出する方法もあり、必ずしも基準データと比較する必要はない。

次に、カット点判定部８１は、尤度算出出力に基づいてカット点における音声信号が音楽か話し声かを判定する。カット点検出部７２より得た時刻情報と変化量が記憶されている一時記憶メモリ１１Ｃには、更に判定結果が関連付けて記憶される。

図４は、上記のような判定結果が関連付けて記憶されている一時記憶メモリ１１Ｃのテーブルを示している。

時間長判定部８３は、楽曲が所定時間たとえば１００秒以上継続するということ経験的に見出しており、話し声のサンプリング点間隔が１００秒未満の場合、その間のサンプリング点が楽曲と判定された場合でも、当該区間は楽曲とはみなさないことにしており、話し声即ち楽曲以外と判定されたサンプリング点間の間隔を測定し、１００秒以上の区間を楽曲区間として判定している。

時間長判定部８３から得られる判定出力を入力する楽曲区間検出部８２は、一時記憶メモリ１１Ｃのテーブルを書換え、楽曲毎のテーブル（最終テーブル）に変更する。

図５は、一時記憶メモリ１１Ｃで書き換えられた最終のテーブルを示す図である。この最終のテーブルでは、Ｔ６が一旦楽曲と判定されたが話し声と判定された前後のサンプリング点Ｔ５とＴ７の間隔が短いことを理由に、楽曲とは看做されなかったので、テーブルから削除されたということが示されている。

この最終のテーブルは、録音動作が終了した時点で、楽曲区間検出部８２を経由して、ＨＤＤインタフェース部９へ供給され、更にＨＤＤ１０に記憶される。

尚、最終テーブルは、楽曲の始点と終了点以外に、中間のカット点や、変化量を残したまま、ＨＤＤ１０に記録されているが、再生に際してサビ部分を再生する目的で利用される。

ＨＤＤ１０に記録されている符号化データは、編集再生操作に応じて最終テーブルに特定された楽曲区間にのみ対応する符号化データを順次読み出し、ＭＰ３コーデック３に入力される。ＭＰ３コーデック３は、符号化データを復号し、Ｄ／Ａ変換器４にて音声信号に変換された後、スピーカ５から出力される。これにより、会話等を含んだ音声信号から、楽曲だけを検出し、楽曲を抽出して再生することができる。

以上の実施形態によれば、カット点の情報と、周波数特徴量の両方の情報を用いて楽曲区間の検出を行うから、楽曲を正確に検出することができる。

更に、カット点近傍においてのみ音声信号の周波数領域における特徴量を算出して、楽曲区間の検出を行うから、軽い演算処理により楽曲区間を検出することもできる。

なお、本実施の形態では、ＤＳＰ７とＣＰＵ８とで機能分散しているが、特にこれに限定されるものではなく、ＣＰＵ８のみで両機能を実現しても良いし、Ａ／Ｄ変換器２、ＭＰ３コーデック３、及びＤ／Ａ変換器４の機能も含めて、全てＣＰＵ８によりソフトウェア処理する構成であっても良い。また、本実施例では、遅延メモリ１１ａ、外部メモリ１１ｂ、一時記憶メモリ１１Ｃを個別に表したが、これらのメモリは図１中のメモリ１１内に形成されるものである。

本実施例では、録音期間中に楽曲区間を検出して最終テーブルを作成して記録したが、一旦録音期間が終了した空き時間にＨＤＤより録音したデジタル音声データを順次再生しながら楽曲区間を検出して最終テーブルを作成してもよい。また、再生操作に連動して本実施例の動作をすべて実行させるような回路構成にしてもよく、これらの構成が本発明に含まれることは言うまでもない。

また、本実施例では、音声信号のレベルを音声信号の振幅を二乗値として検出したが、振幅の絶対値に置き換えても等価である。

更に、本実施例のカット点は、音声信号レベルが大きく変化するタイミングであり、楽曲の正確な開始点や終了点に対応するものではないが、楽曲の再生開始点と終了点として利用するには十分である。

本実施例は、録音後の編集に際して、録音した全ての楽曲の一部を再生して、操作者が要否を判断し必要な楽曲のみを後で改めてライブラリとして残という利用方法として有益な構成であり、高い精度等を問わない使い方を追求するものである。

（変形例）
以下の手順により楽曲区間を検出してもよい。
（１）まず、音声信号の周波数特徴量を算出し、算出した周波数特徴量から楽曲に対する尤度を算出する。
（２）次に、尤度の値が所定値を超える時点を楽曲区間の仮の開始点とし、尤度の値が所定値を下回る時点を楽曲区間の仮の終了点であると判断する。
（３）次に、仮の開始点の近傍にあるカット点を楽曲区間の真の開始点であると、前記仮の終了点の近傍にあるカット点を楽曲区間の真の終了点であると判断する。
（４）そして、真の開始点から前記真の終了点までを楽曲区間として推定する。

上記変形例のような検出によれば、周波数特徴量をだけを使って楽曲区間を検出する特許文献１の技術と比較して、楽曲区間の検出精度が向上する。

また、本発明は上記実施例に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形、置換等が可能であることは言うまでもない。

本発明の実施の形態に係る録音または再生装置中の楽曲検出機能を説明するための構成図である。 本実施の形態に係る録音または再生装置の一部を示す機能ブロック図である。 カット点検出部７２の動作を説明するための波形図である。 一時記憶メモリ１１Ｃに記憶されているテーブルを示している。 一時記憶メモリ１１Ｃで書き換えられた最終のテーブルを示す図である。

符号の説明

１ チューナ部
２ Ａ／Ｄ変換器
３ ＭＰ３コーデック
４ Ｄ／Ａ変換器
５ スピーカ
６ バス
７ ＤＳＰ
８ ＣＰＵ
９ ＨＤＤインタフェース部
１０ ＨＤＤ
１１ メモリ

Claims (4)

1. 音声信号中の楽曲区間を検出する録音または再生装置であって、
   音声信号レベル又はその変化量が所定値以上である時点をカット点として検出するカット点検出部と、
   カット点近傍においてのみ前記音声信号の周波数領域における特徴量を算出する周波数特徴量算出部と、
   算出された周波数特徴量に基づき、カット点の属性を判定するカット点判定部と、
   前記属性とサンプリング点との間隔に基づき、楽曲区間の始点と終点とを検出する楽曲区間検出部を備えることを特徴とする、録音または再生装置。
   
2. 前記カット点判定部は、算出された周波数特徴量に基づいてカット点近傍の音声信号が楽曲部分のものか、非楽曲部分のものかを判別し、
   隣り合う２つの非楽曲部分の間隔が所定時間以上であるとき、これらの非楽曲部分の間にある音声信号を楽曲区間として推定することを特徴とする、請求項１に記載の録音または再生装置。
   
3. 前記カット点判定部は、算出された周波数特徴量に基づいてカット点近傍の音声信号が楽曲部分のものか、非楽曲部分のものかを判別し、
   隣り合う２つの非楽曲部分のカット点の間隔が所定時間以上であるとき、これらの非楽曲部分のカット点の間にある音声信号を楽曲区間として推定することを特徴とする、請求項１に記載の録音または再生装置。
   
4. 音声信号中の楽曲区間を検出する録音または再生装置であって、
   音声信号レベル又はその変化量が所定値以上である時点をカット点として検出するカット点検出部と、
   前記音声信号の周波数領域における特徴量を算出する周波数特徴量算出部と、
   算出された周波数特徴量と、検出されたカット点の情報に基づいて楽曲区間の始点と終点を検出する楽曲区間検出部を備えることを特徴とする、録音または再生装置。