JP2006301134A - 音楽検出装置、音楽検出方法及び録音再生装置 - Google Patents

Abstract

【課題】
コンテンツ内の音楽部分を、比較的演算コストをかけずに検出する方法を提供する。
【解決手段】
上記課題を解決するために、２チャネル音声の各チャネルのパワーの合計を算出する第１のパワー算出部と、２チャネル音声の各チャネルのパワーの差を算出する第２のパワー算出部と、 前記第１及び第２のパワー算出部により算出されるパワーの比を求めるパワー比算出部と、前記パワー比算出部により算出された前記比を所定の閾値と比較する比較部と、前記比較部により比較された比較結果に基づいて音楽区間の判定を行う判定部とを備えるように構成すればよい。
【選択図】 図３

Description

本発明は、動画または音声コンテンツの再生の制御方法に関する。

近年、ハードディスクを内蔵した長時間録画が可能なテレビ方法受信装置や、通信ネットワークを経由して配信される同化コンテンツを閲覧可能なビデオ閲覧装置が普及し始めている。このため視聴者が扱う動画コンテンツの量は急速に増加している。

しかし、視聴者がこれら大量の動画コンテンツを視聴する時間は限られている。そのため、動画コンテンツを効率よく視聴することを可能にする技術が求められている。

このような要求に対して、各動画コンテンツの要約を再生したり、動画コンテンツ内の各シーン(場面、ショット)のサムネイル画像を並べて表示したりして、短時間に動画コンテンツの概要の把握する手助けをする技術が開発されている（たとえば特許文献１、特許文献２参照）
ところで、音楽番組では、音楽部分野や、トーク部分をすばやくサーチしたいという要求がある。この場合、コンテンツ内の音楽部分を検出しなければならない。

従来、音楽部分の検出する方法として、特許文献３がある。この方法では、音を複数の周波数バンドに分解し、それぞれのパワーの時系列変化を測定する。そして、各バンドのパワーが周期的に変化している部分を音楽部分と見なす。

特許第３３６７２６８号公報 特開２００４−３１２５６７号公報 特許第３０８８８３８号公報 電波産業会、「ＢＳデジタル放送用受信装置 標準規格 ＡＲＩＢ ＳＴＤ−Ｂ２１ １．２版」、頁２３〜頁２４、「６．２．１ 音声復号処理」

しかしながら、特許文献３に示された従来の方法では、周波数バンドの分解や、周期性の計算は、比較的重い計算処理であるため、処理に時間がかかるという問題があった。これば、ユーザにとっては好ましくない現象であり、さらに、ハードウェアコストが高くなるという問題もある。そのため、より処理負荷の軽い実現方法が望まれる。

上記課題を解決するために、例えば、２チャネル音声の各チャネルのパワーの合計を算出する第１のパワー算出部と、２チャネル音声の各チャネルのパワーの差を算出する第２のパワー算出部と、前記第１及び第２のパワー算出部により算出されるパワーの比を求めるパワー比算出部と、前記パワー比算出部により算出された前記比と所定の閾値とを比較する比較部と、前記比較部により比較された比較結果に基づいて音楽区間の判定を行う判定部とを備えるように構成すればよい。

本発明によれば、低コストで音楽検出を行うことができ、応用システムの低コスト化が実現できる。

以下に、本発明の実施の形態を説明する。

図１から図３を用いて、第一の実施例を説明する。コンテンツの音声データは、２チャネルステレオ音声入力１１または多チャネルステレオ音声入力１２として入力される。

多チャネルステレオとは、５．１チャネルや７チャネルサラウンド音声のことである。多チャネルステレオ音声入力１２は、２チャネルダウンミックス装置１３によって、２チャネルステレオ音声に変換される。変換は、多チャネルの信号を２つ線形結合式によって、２つのチャネルの信号を出力することで行われる。線形結合の式の例としては、例えば、非特許文献１に述べられている。

チャネル数判定装置１４は、２チャネルステレオ音声入力１１と多チャネルステレオ音声入力１２とから、入力された音声のチャネル数を判断し、２チャネルステレオ音声であるか否かを出力する。切り替え装置１５は、２チャネルステレオ音声入力１１と２チャネルダウンミックス装置１３の出力を入力し、チャネル数判定装置１４からの信号によって、２チャネルステレオ音声入力１１または、２チャネルダウンミックス装置１３の出力を、２チャネルステレオデータ１６１として出力する。チャネル数判定装置１４が２チャネルステレオ音声であるという信号を出力した場合、切り替え装置１５は、２チャネルステレオ音声入力１１を出力する。また、チャネル数判定装置１４が２チャネルステレオ音声でないという信号を出力した場合、切り替え装置１５は、２チャネルダウンミックス装置１３の出力を、２チャネルステレオデータ１６１として出力する。

音声特徴量計算装置１６は、切り替え装置１５からの出力である２チャネルステレオデータ１６１を入力し、Ｌ＋Ｒパワーデータ１７１と、Ｌ−Ｒパワーデータ１７２を出力する。音声特徴量計算装置１６の詳細は、後に述べる。

音楽区間判定装置１７は、Ｌ＋Ｒパワーデータ１７１と、Ｌ−Ｒパワーデータ１７２を入力し、音楽区間リスト１８を出力する。音楽区間リスト１８は、音楽区間の始まり位置と終わり位置の組の列である。位置は、コンテンツの初めからの時刻であらわしても良いし、コンテンツデータのバイトアドレスで表してもよい。音楽区間判定装置１７の詳細は、後に述べる。

次に図２を用いて、音声特徴量計算装置１６の詳細を述べる。入力された２チャネルステレオデータ１６１は、Ｌ／Ｒ分離装置１６２によって、左チャネルの音声と右チャネルの音声に分離される。Ｌパワー計算装置１６３は、左チャネルの音声データの振幅値の分散を計算することで、左チャネルのパワーを求める。Ｒパワー計算装置１６４も、同様に、右チャネルの音声データから左チャネルのパワーを求める。Ｌ＋Ｒパワー加算装置１６５は、Ｌパワー計算装置１６３とＲパワー計算装置１６４の出力を加算し、Ｌ＋Ｒパワーデータ１７１を出力する
Ｌ−Ｒ計算装置１６６は、左チャネルと右チャネルの振幅値の差データを、Ｌ−Ｒパワー計算装置１６７に出力する。Ｌ−Ｒパワー計算装置１６７は、差データの分散を計算することで、Ｌ−Ｒパワーデータ１７２を求め、出力する。

以上から、音声特徴量計算装置１６は、切り替え装置１５からの出力である２チャネルステレオデータ１６１を入力し、Ｌ＋Ｒパワーデータ１７１と、Ｌ−Ｒパワーデータ１７２を出力する。

次に、図３を用いて、音楽区間判定装置１７の詳細を述べる。閾値設定装置１７３は、入力されたＬ＋Ｒパワーデータ１７１の最大値と、コンテンツのカテゴリ（洋楽、邦楽、ポップス、クラシックなど）から、閾値比較装置１７５と瞬断部接続装置１７６と短区間排除装置１７７で用いるそれぞれの閾値を設定する。設定方法は、入力の値を用いた数式で実現してもよいし、表を用いて実現してもよい。コンテンツのカテゴリの指定は、コンテンツに付属するデータ、たとえば、電子番組表のデータを用いても良いし、ユーザがキー入力で選定してもよい。

比率計算装置１７４は、Ｌ−Ｒパワーデータ１７２の、Ｌ＋Ｒパワーデータ１７１に対する比を算出し出力する。つまり、（Ｌ−Ｒパワーデータ１７２）÷（Ｌ＋Ｒパワーデータ１７１）を計算する。ただし、Ｌ＋Ｒパワーデータ１７１がゼロの場合は、出力はゼロとする。また、上記の式の代わりに、（Ｌ−Ｒパワーデータ１７２）÷√（Ｌ＋Ｒパワーデータ１７１）でもよい。比の計算は、比較的静かな音楽の検出率を向上させるために行う。

閾値比較装置１７５は、比率計算装置１７４の出力と、閾値設定装置１７３によって設定された閾値を比較し、比率計算装置１７４の出力が大きい区間を、第一音楽区間リストとして出力する。

瞬断部接続装置１７６は、閾値比較装置１７５の出力である第一音楽区間リストの中で、時間的に隣り合う２つ音楽区間の隙間の時間間隔が、閾値設定装置１７３によって設定された閾値よりも短い場合、１つの区間に接続するものである。たとえば、隣あう２つ音楽区間が（ｔ０，ｔ１）と（ｔ２，ｔ３）とする。この場合、一方の音楽区間の開始がｔ０で終了がｔ２であり、他方の音楽区間の開始がｔ２で終了がｔ３であることを示すとする。また、ｔ０＜ｔ１＜ｔ２＜ｔ３の関係が成り立つ。このとき、ｔ２とｔ１差（ｔ２―ｔ１）が、閾値以下の場合は、１つの音楽区間（ｔ０，ｔ３）とする。つまり、開始がｔ０で終了がｔ３となる。逆に、（ｔ２―ｔ１）が、閾値より長い場合は、そのまま２つの音楽区間（ｔ０，ｔ１）と（ｔ２，ｔ３）として出力する。閾値としては、０．１秒から、１秒程度が適切である。この処理は、全ての隣り合った２つの音楽区間で行う。そして、瞬断部接続装置１７６の出力は、第二音楽区間リストとして、短区間排除装置１７７に出力される。

短区間排除装置１７７は、入力された第二音楽区間リストの各音楽区間の長さを計算し、閾値設定装置１７３によって設定された閾値以下の区間はリストから削除し、閾値より長い区間は、そのまま音楽区間リスト１８として出力する。閾値は、１０秒から３０秒程度が適切である。

以上の動作により、音楽区間判定装置１７は、Ｌ＋Ｒパワーデータ１７１と、Ｌ−Ｒパワーデータ１７２を入力し、音楽区間リスト１８を出力する。

以上の図１から図３の動作説明により、実施例１の音楽検出装置が実現される。

次に図４を用いて、第二の実施例を説明する。コンテンツの音声データは、ＭＰＥＧオーディオのような音声圧縮ストリーム入力２１として入力される。一般にＭＰＥＧオーディオなどの多くの音声圧縮ストリームのデコードは、ハフマン符号や算術符号などで符号化されたシンボルの復号処理と、シンボル値の逆量子化と、周波数領域から時間領域への変換処理から成る。

音声圧縮ストリーム入力２１は、まず、シンボル復号装置２２によって、ハフマン符号や算術符号を復号する。復号されたシンボルは、逆量子化装置２２１によって、逆量子化され、周波数領域のデータとなる。

チャネル数判定装置２４は、シンボル復号装置２２で復号されたシンボルから、チャネル数を判定し、２チャネルステレオ音声であるか否かを出力する。

２チャネルステレオ音声で無い場合、２チャネルミックスダウン装置２３は、逆量子化装置２２１の出力データを、２チャネルミックスダウン装置１３と同様の線形結合によって、２チャネルのデータを生成する。この場合、線形結合は、各チャネルの同じ周波数成分同士で行う。

切り替え装置２５は、チャネル数判定装置２４が２チャネルステレオ音声であるという信号を出力した場合、逆量子化装置２２１の出力データを、逆量子化係数データ２６１として出力する。また、チャネル数判定装置２４が２チャネルステレオ音声でないという信号を出力した場合、切り替え装置２５は、２チャネルミックスダウン装置２３の出力を、逆量子化係数データ２６１として出力する。

音声特徴量計算装置２６は、実施例１の音声特徴量計算装置１６と同様に、Ｌ＋Ｒパワーデータ１７１とＬ−Ｒパワーデータ１７２を出力する。音声特徴量計算装置２６の詳細図は、実施例１の音声特徴量計算装置１６と同様である。ただし、左チャネルと右チャネルの差の計算には、同じ周波数成分同士の差を計算し求める。パワーの計算には、振幅の分散の代わりに、各周波数成分の二乗和を計算する。なお、音楽区間判定装置１７は、実施例１と同じである。以上により、実施例２の音楽検出装置が実現される。

第三の実施例は、実施例１または実施例２の方法を、図５に示す電子計算機システムで実現するものである。このシステムは、システムバス３１に、中央演算装置３２と、主記憶装置３３と、外部記憶装置３４と、チューナー・ネットワーク接続装置３５と、着脱式記憶装置３６と、表示装置３８と、入力装置３７が接続された構成となっている。

外部記憶装置３４には、システム全体の動作制御を行うプログラムや、コンテンツデータや、音楽区間データ、各種中間データなどが置かれる。外部記憶装置３４内のプログラムは主記憶装置３３に読み込まれ、中央演算装置２２は、主記憶装置３３上のプログラムを順番に読み出してはそのプログラム通りに演算を行う。

図６は、図５に示した電子計算機システム上のプログラムのフローチャートを示す。プログラムは図６の４０から開始し、４７で終了となる。

図６の開始４０で開始すると、まず、録音・録画４１では、チューナー・ネットワーク接続装置３５からコンテンツを受信し、外部記憶装置３４または着脱式記憶装置３６に録音または録画する。チューナー・ネットワーク接続装置３５は、ラジオ放送やテレビ放送を受信したり、ネットワーク配信されたコンテンツを受信する。着脱式記憶装置３６は、ＤＶ、ＣＤ、磁気テープ、磁気ディスク、半導体メモリなどで構成される。

次に、音楽部検出４２では、音楽部検出開始４２０から復帰４２７の一連の動作により、音楽区間リストを求め、外部記憶装置３４または着脱式記憶装置３６に記憶する。そして、キー入力４３において、入力装置３７からリモコンキーや本体操作キーなどの入力を受け付け、終了判定４４によって、終了キーが押されたかどうか判断する。終了キーが押された場合、終了４７で終了となる。

終了キーが押されない場合、シーク処理４５において、シーク処理開始４５０から復帰４５４の一連の処理により、次に再生するべきコンテンツ内の位置に、再生位置を移し、再生４６処理を行う。その後、キー入力４３に戻る。

次に、音楽部検出４２を詳しく説明する。まず、パワー計算４２１によって、Ｌ＋ＲパワーデータとＬ−Ｒパワーデータを計算する。計算方法は、実施例１のように、音声データを復号し、振幅から求めても良いし、実施例２のように、圧縮ストリーム中の周波数データから直接求めても良い。

閾値設定４２２は、実施例１の閾値設定装置１７３と同様に、Ｌ＋Ｒパワーデータと、コンテンツのカテゴリ情報から、各種閾値を設定する。パワー比較４２３では、実施例１の比率計算装置１７４と同様に比率を計算し、実施例１の閾値比較装置１７５と同様に閾値と比較し、第一音楽区間リストを求める。

瞬断区間接続４２４では、実施例１の瞬断部接続装置１７６と同様に、第一音楽区間リスト内の隣接した音楽区間の隙間が閾値以下の場合、音楽区間を接合し、第二音楽区間リストを生成する。短区間排除４２５では、実施例１の短区間排除装置１７７と同様に、第二音楽区間リストの各音楽区間の長さを求め、閾値以下の場合、音楽区間リストから削除し、第三音楽区間リストを生成する。

音楽区間リスト出力４２６では、短区間排除４２５で求めた第三音楽区間リストを、音楽部検出結果として、外部記憶装置３４または着脱式記憶装置３６に記憶する。

次に、シーク処理４５を詳しく説明する。まず、音楽区間リスト読み込み４５１において、音楽区間リスト出力４２６で記憶した音楽区間リストを、外部記憶装置３４または着脱式記憶装置３６から読み込む。次に再生位置検索４５２において、現在再生位置と、キー入力によって、次に再生するべき位置を検索する。たとえば、次の曲の頭に飛ぶキーが押された場合、音楽区間の開始位置が、現在再生位置より時刻が大きくて、最も時刻が小さい音楽区間を検索し、その区間の開始位置を求める。また、１つ前の曲の先頭に飛ぶキーが押された場合は、音楽区間の終了位置が、現在再生位置より時刻が小さくて、最も時刻が大きい音楽区間を検索し、その区間の開始位置を求める。

再生位置シーク４５３では、再生位置検索４５２で求めた位置に、再生位置を移動させる。そして、復帰４５４によって、シーク処理４５を終える。

以上の実施例３によって、曲の頭だし機能付き録音録画再生装置が実現できる。

また、上記実施例に限らず，その要旨を逸脱しない範囲内で種々変形して実施することが可能である。更に、上記実施の形態には種々の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される前構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明となるのは言うまでもない。

音声データから音楽区間を求める装置の全体ブロック図 音声特徴量計算装置のブロック図 音楽区間判定装置のブロック図 音声圧縮ストリームから音楽区間を求める装置の全体ブロック図 応用システムのブロック図 応用システムのフローチャート

符号の説明

１１…２チャネルステレオ音声入力
１２…多チャネルステレオ音声入力
１３…２チャネルミックスダウン装置
１４…チャネル数判定装置
１５…切替え装置
１６…音声特徴量計算装置
１６１…２チャネルステレオデータ
１６２…Ｌ／Ｒ分離装置
１６３…Ｌパワー計算装置
１６４…Ｒパワー計算装置
１６５…Ｌ＋Ｒパワー加算装置
１６６…Ｌ−Ｒ計算装置
１６７…Ｌ−Ｒパワー計算装置
１７…音楽区間判定装置
１７１…Ｌ＋Ｒパワーデータ
１７２…Ｌ−Ｒパワーデータ
１７３…閾値設定装置
１７４…比率計算装置
１７５…閾値比較装置
１７６…瞬断部接続装置
１７７…短区間排除装置
１８…音楽区間リスト
２１…音声圧縮ストリーム入力
２２…シンボル復号装置
２２１…逆量子化装置
２３…２チャネルミックスダウン装置
２４…チャネル数判定装置
２５…切り替え装置
２６…音声特徴量計算装置
２６１…逆量子化係数データ
３１…システムバス
３２…中央演算装置
３３…主記憶装置
３４…外部記憶装置
３５…チューナー・ネットワーク接続装置
３６…着脱式記憶装置
３７…入力装置
３８…表示装置
４０…開始
４１…録音・録画
４２…音楽部検出
４２０…音楽部検出開始
４２１…パワー計算
４２２…閾値設定
４２３…パワー比較
４２４…瞬断区間接続
４２５…短区間排除
４２６…音楽区間リスト出力
４２７…復帰
４３…キー入力
４４…終了判定
４５…シーク処理
４５０…シーク処理開始
４５１…音楽区間リスト読み込み
４５２…再生位置検索
４５３…再生位置シーク
４５４…復帰
４６…再生
４７…終了

Claims (9)

1. ２チャネル音声の各チャネルのパワーの合計を算出する第１のパワー算出部と、
   ２チャネル音声の各チャネルのパワーの差を算出する第２のパワー算出部と、
   前記第１及び第２のパワー算出部により算出されたパワーの比を求めるパワー比算出部と、
   前記パワー比算出部により算出された前記比と所定の閾値とを比較する比較部と、
   前記比較部により比較された比較結果に基づいて音楽区間の判定を行う判定部とを備えることを特徴とする音楽検出装置。
2. 請求項１記載の音楽検出装置において、
   前記判定部は、前記パワー比算出部により算出された前記比が所定の閾値より大きい場合に、その部分を音楽区間と判定することを特徴とする音楽検出装置。
3. 請求項１また２記載の音楽検出装置において、
   前記判定部は、隣接した２つの音楽区間の隙間が閾値より短い場合は音楽区間が連続していると判断することを特徴とする音楽検出装置。
4. 請求項１から３いずれかに記載の音楽検出装置において、
   前記判定部は、検出した区間が閾値より短い場合は、音楽区間ではないと判断することを特徴とする音楽検出装置。
5. 請求項１から４いずれかに記載の音楽検出装置において、
   多チャンネルステレオ音声をダウンミックスして２チャネルデータに変換する変換部を備え、ダウンミックスした２チャネル音声を基に音楽区間を検出する検出部を備えることを特徴とする音楽検出装置。
6. 請求項１から５いずれかに記載の音楽検出装置において、
   圧縮された音声ビットストリーム中のシンボルを復号する復号部と、
   前記復号されたシンボルを逆量子化し周波数成分を算出する周波数成分算出部と、
   前記周波数成分の各周波数の２チャネルの差の二乗和によって２チャネルの差のパワーを算出する
   パワー差算出部と、
   前記周波数成分の各周波数の二乗和によってパワーの合計を算出する算出部とを備えることを特徴とする音楽検出装置。
7. 請求項１から５いずれかに記載の音楽検出装置と、
   前記音楽検出装置により求めた音楽区間リストを格納する手段と、
   曲の頭出しを行う曲頭出しキーの操作によって曲の頭の位置を検索する手段と、
   前記の検索によって求めた曲の頭の位置に再生位置を移す手段とを備えた録音再生装置。
8. ２チャネル音声の各チャネルのパワーの合計を算出する第１のパワー算出部と、
   ２チャネル音声の各チャネルのパワーの差を算出する第２のパワー算出部と、
   前記第１及び第２のパワー算出部により算出されたパワーの比を求めるパワー比算出部と、
   前記パワー比算出手段により求められた比が所定の閾値以上の部分を第１の音楽部分と判定する第１の判定部と、
   前記第１の判断第一の音楽部分が瞬断された部分を接続して第２の音楽部分とする第２の判定部と、
   第２の音楽部分がある時間より短い部分を取り除いて第３の音楽部分とする第３の判定部とを備えたことを特徴とする音楽検出装置。
9. ２チャネル音声の各チャネルのパワーの合計を算出する第１のパワー算出ステップと、
   ２チャネル音声の各チャネルのパワーの差を算出する第２のパワー算出ステップと、
   前記第１及び第２のパワー算出ステップにより算出されたパワーの比を求めるパワー比算出ステップと、
   前記パワー比算出部により算出された前記比と所定の閾値とを比較する比較ステップと、
   前記比較ステップにより比較された比較結果に基づいて音楽区間の判定を行う判定ステップとを備えることを特徴とする音楽検出方法。
   

Images