JP2006106475A

JP2006106475A - 圧縮オーディオデータ処理方法

Info

Publication number: JP2006106475A
Application number: JP2004294851A
Authority: JP
Inventors: Koichi Takagi; 幸一高木; Shigeyuki Sakasawa; 茂之酒澤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-10-07
Filing date: 2004-10-07
Publication date: 2006-04-20
Anticipated expiration: 2024-10-07
Also published as: JP4618634B2

Abstract

【課題】長時間のコンテンツから任意箇所を自由に、しかもオーディオデータを再生可能に切り出すことができるようにすること。
【解決手段】ACC/SBR分離部４１は、符号化ストリームからSBRデータを分離する。SBR解析部４２はSBRデータを解析する。SBR再構成部４４は、切り出し先頭（ＩＮ点）のフレームが前方参照となっている場合、該フレームのSBRデータのベースとなるサブバンドのデータを過去のフレームの情報に基づいて前方参照しないように再構成し、それ以外のサブバンドのデータについては周波数方向に順次参照するように表現を置き換え、さらに、参照方向を示すフラグを変更する。
【選択図】図４

Description

本発明は、圧縮オーディオデータ処理方法に関し、特に、圧縮符号化されてフレーム構造をとるオーディオデータから任意箇所のフレームを切り出して良好に再生することができる圧縮オーディオデータ処理方法に関する。

コンテンツ配信サーバに格納されている音楽などのオーディオデータを携帯電話機にダウンロードし、着信音として利用することができる配信サービスがある。携帯電話機では、ダウンロードしたオーディオデータをメモリに記憶しておき、着信時などに読み出し再生して着信音として鳴動させることができる。

また、メモリに記憶したオーディオデータの任意箇所のデータを切り出して再生する技術も知られている。例えば、特許文献１には、メモリに記憶したオーディオデータ（着信メロディデータ）の読み出し開始点および折り返し点を設定可能とし、着信音の鳴動区間を自由に設定可能とした携帯電話機の着信メロディ再生方式が記載されている。

このような配信サービスを利用すれば、ユーザは、メモリに記憶したオーディオデータの任意箇所を指定して着信音として容易に再生できる。また、コンテンツ作成上も、コンテンツ配信サーバに格納する１つのコンテンツを作成するのみでよいのでコスト削減につながる。

MPEG-4オーディオのHE AAC(high efficiency advanced audio coding)プロファイルで圧縮符号化されたオーディオデータはフレーム構造をとる。このフレーム構造は、前フレームを参照して符号化を行う前方参照モードを伴うものであるため、そこから直ちに復号が可能なフレームとそれより前のフレームが存在してはじめて復号が可能となるフレームとがある。

従って、長時間のコンテンツから必要な箇所を切り出すに際しては、上記フレーム構造を考慮して、元のコンテンツが持っている周期的なシンクポイント（そこから直ちに復号可能なデータ位置）に合わせて切り出しを行うように考慮する必要がある。また、切り出し後にフェードイン／フェードアウト処理を行うことで、自然なオーディオを聞くことができるようにすることができる。
特開２００４−２３２９８号公報特願２００４−１０９７２８号（先願）

上記従来技術では、元のコンテンツが持っている周期的なシンクポイントで切り出しが行われた場合、オーディオデータを直ちに再生することができる。しかし、それ以外の位置で切り出しが行われた場合には、参照とする前フレームがなくなり、オーディオデータを直ちに再生することはできない。切り出し位置がシンクポイントに限定される結果、ユーザは、長時間のコンテンツから任意箇所を自由に切り出すことができず、編集上の自由度が制限されるという課題がある。

本発明の目的は、上記課題を解決し、メモリや演算能力が限られた環境下でも、長時間のコンテンツから任意箇所を自由に、しかもオーディオデータを再生可能に切り出すことができ、従って、編集上の自由度を増すことができる圧縮オーディオデータ処理方法を提供することにある。

上記課題を解決するために、本発明は、圧縮符号化されてフレーム構造をとるオーディオデータにおける任意箇所のフレームを切り出すに際し、前記任意箇所の先頭フレームのオーディオデータの、前フレームを参照するオーディオデータ表現を、自フレーム内を参照するオーディオデータ表現に置換することを特徴としている。

また、本発明は、圧縮符号化されてフレーム構造をとるオーディオデータの各フレームがサブバンド表現されている場合、前記自フレーム内を参照するオーディオデータ表現は、自フレーム内のサブバンドを周波数方向に順次参照するオーディオデータ表現であることを特徴としている。

ここで、置換したオーディオデータ表現に必要なビット数の増大量がある閾値以上になる場合には、オーディオデータ表現の置換は行わないようにしてもよい。

本発明によれば、ユーザは、長時間のコンテンツから任意箇所を自由に、オーディオデータを再生可能に切り出すことができ、従って、編集上の自由度を増すことができる。また、HE AACでは、SBRデータをそのまま直ちに再生できるので、オーディオ出力の音質を良好に保つことができる。

以下、図面を参照して本発明を詳細に説明する。まず、本発明の原理について説明する。ここでは、オーディオデータがMPEG-4オーディオのHE AAC Profileであるとする。オーディオ符号化においては、サンプリングされたデジタルオーディオデータを所定のサンプル数ずつまとめ、この単位で符号化を行う。代表的なサンプリング周波数は44.1kHzであり、2048サンプルを単位として符号化を行ってオーディオフレーム（以下、単にフレームと称する。）を構成する。この場合、１フレーム当たりの時間は約46msecとなる。

HE AACでは、オーディオの低周波成分をAAC方式で符号化し、高周波成分をSBR(spectral band replication)方式で符号化し、それにより得られたAACデータとSBRデータとで各フレームを構成する。適宜のSBRデータにはSBRヘッダを含ませる。

図１は、HE AACによるフレーム(ａ)、およびAACデータとSBRデータにより再生可能な周波数帯域（ｂ）を概略的に示す。AACデータはオーディオの0〜11.025kHz成分（低周波成分）、SBRデータはオーディオの11.025〜22.05kHz成分（高周波成分）の再生を可能とする。従って、デコードに際し、AACデータを用いれば0〜11.025kHzの低周波数帯域のオーディオを再生でき、さらにSBRデータを用いれば11.025〜22.05kHzの高周波数帯域までのオーディオを再生できる。

オーディオデータを再生する場合、AACデータについては全てのフレームがシンクポイントであるので、先頭のフレームがどのフレームであっても再生でき、低周波成分のオーディオを直ちに再生できる。

これに対し、SBRデータについては任意のフレームから直ちに再生できるわけではない。まず、各SBRデータを十分に再生するにはSBRヘッダが必要である。また、フレーム間予測が行われている場合には前のフレームが必要である。SBRデータについては定期的にフレーム間予測のないフレームが設定されており、そのフレームからであれば直ちに再生できる。フレーム間予測のないフレーム間周期は、代表的には１秒である。この場合、オーディオデータを再生可能にしつつ切り出すことができる周期も１秒に１回となる。

HE AAC ProfileのSBRデータには、１つ前のフレームを参照して符号化を行う前方参照モードがある。このとき、SBRデータ内部を複数のサブバンドに分け、サブバンドごとに参照を行っている。SBRデータのデータにおいて、シンタックス上、参照方向を示すフラグbs_df_env[i][j]が、bs_df_env[i][j]＝1(time direction)となっている箇所がそれにあたる。

図２は、SBRデータの符号化における参照の説明図である。第ｋフレームがbs_df_env[i][j]＝1(time direction)、つまり時間方向の参照になっているとすると、第ｋフレームのSBRデータの各サブバンドは、時間的に先行する第(ｋ−１)フレームの対応するサブバンドを参照して符号化されている。

第ｋフレームをトリミングの開始点（以下、ＩＮ点と称する。）としてそのまま切り出すと、第ｋフレームが参照している第(ｋ−１)フレームが存在しなくなるため、再生できない状態になってしまう。一方、AACデータは、前方参照を行っていないため、第ｋフレームから問題なく再生できる。

以上の理由から、一般的な構成のHE AAC Profileのデコーダは、当該フレームから再生可能なフレームに行き当たるまでAACデータのみの再生を行い、それをアップサンプリングして出力することを行う。

これまでのSBRデータの観測では、長くても５フレーム程度の間に前方参照のないフレームが出現してリフレッシュされるため、SBRデータの復号できない期間は、理論的には230msec程度である。

しかし、５フレーム程度の間に必ずリフレッシュされることの保証はなく、さらに、SBRデータのシンクポイントを表すsbr_headerが来るまでSBRデータの再生を開始しない実装もあり得るため、意図的なリフレッシュが実現される方式が望まれる。特許文献２には、ＩＮ点から遡ったフレーム情報に基づいてsbr_headerを構成してＩＮ点のフレームに付与する対策を行うことが記載されているが、bs_df_env[i][j]＝1(time direction)対策は記載されていない。

本発明では、bs_df_env[i][j]＝1(time direction)対策を行うことにより、意図的なリフレッシュが実現されるようにする。つまり、ＩＮ点のフレームのオーディオデータの、前フレームを参照するオーディオデータ表現を、自フレーム内を参照するオーディオデータ表現に置換して、ＩＮ点のフレームを再構成する。これにより、ＩＮ点のフレームは自フレーム内の参照という形でリフレッシュされ、直ちに再生可能となる。ＩＮ点のフレームが再生されれば、続くフレームは自フレームより前のフレームを参照して再生できる。以上が本発明の原理である。

次に、本発明の実施形態について説明する。本実施形態では、ＩＮ点のフレームがbs_df_env[i][j]＝1(time direction)となっている場合、該フレームのベースとなるサブバンドを過去のフレームの情報に基づいて再構成し、ベースとなるサブバンド以外のサブバンドについては周波数方向に順次参照するように表現を置き換える。さらに、参照方向を周波数方向とする変更に伴い、参照方向のフラグbs_df_env[i][j]を、bs_df_env[i][j]＝0(time direction)に変更する。

例えば、図３に示すように、bs_df_env[i][j]＝1(time direction)となっている第ｋフレームがＩＮ点となったとき、第ｋフレームに過去のシンクポイントからのSBRヘッダを付加するとともに、第ｋフレームのサブバンドの中でベースとなるバンドについては過去のフレームを用いて、前フレームを参照しないデータ表現に再構成し、ベースとなるサブバンド以外のサブバンドについては同フレーム(第ｋフレーム)内で周波数方向に順次参照（フレーム内参照）する表現に置き換える。さらに、bs_df_env[i][j]＝0(time direction)とする変更を加える。これにより第ｋフレームがシンクポイントとして作り替えられるので、SBRデータについてもここから直ちに再生可能となる。

図４は、本発明が適用された圧縮オーディオデータ処理装置の一例を示す機能ブロック図である。本例の圧縮オーディオデータ処理装置は、AAC/SBR分離部４１、SBR解析部４２、ハフマン復号部４３、SBR再構成部４４、AAC・SBR合成部４５を備える。AAC/SBR分離部４１、SBR解析部４２、ハフマン復号部４３は、通常のHE AACデコーダにおけるAAC/SBR分離、SBR解析、ハフマン復号の機能と等価である。

AAC/SBR分離部４１は、HE ACC符号化ストリームからSBRデータを分離する。SBR解析部４２は、AAC/SBR分離部４１で分離されたSBRデータを解析する。ハフマン復号部４３は、切り取りが行われる際にSBR再構成部４４でSBR再構成に必要な過去のフレームおよび当該フレームを再生している。ＩＮ点のフレームがbs_df_env[i][j]＝1(time direction)となっている場合、SBR再構成部４４は、ハフマン復号部４３で再生されたフレームを用いて当該フレームのSBRデータを再構成する。すなわち、上述のように、ベースとなるサブバンドについては過去のフレームを用いて、前フレームを参照しないデータ表現に再構成し、それ以外のサブバンドについては同フレーム内で周波数方向に順次参照（フレーム内参照）する表現に置き換える。また、過去のシンクポイントにおけるSBRヘッダを付加する。ＩＮ点のフレーム以外のフレームについては何らの処理も行わない。

以上のようにしてＩＮ点のフレームがフレーム内参照に表現され、それに続くフレームは時間方向に順次参照するSBRストリームが送出される。AAC・SBR合成部４５は、AACストリームとSBRストリームを合成して符号化ストリームを生成する。

図５は、本発明による再生可能フレーム(AACデータおよびSBRデータ)を示す説明図である。AACデータについては、全てのフレームがシンクポイントであるので、オーディオ信号の0〜11.025kHz成分（低周波成分）は、ＩＮ点がフレーム(1)、(2)、・・・のどのフレームであってもそこから直ちに再生できる。

SBRデータについては、シンクポイントであるフレーム(8)が到来した以降に復号可能になるので、フレーム(8)、(9)では11.025〜22.05kHz成分（高周波成分）まで再生でき、それ以前のフレームのSBRデータは再生できないことになる。しかし、本発明によれば、例えばＩＮ点のフレームがフレーム(4)であったとすると、該フレーム(4)は自フレーム内を参照するオーディオデータ表現に再構成され、これにより意図的なリフレッシュが実現されるので、フレーム(4)〜(7)のSBRデータが理論的に再生可能となる。

bs_df_env[i][j]＝1(time direction)対策の結果、ＩＮ点のフレームのサイズが増大する。特に、MPEG-4オーディオのHE AAC Profileでは参照値の表現にはハフマン符号を用いるため、より長い符号語が使われることになり、それだけ情報量が増えることになる。ただし、サイズが増大するのはＩＮ点のフレームだけであり、それ以降のフレームのサイズに変化はない。

フレームサイズの変化量について、ハフマン符号でエスケープ表現を最大限に使うなどの理論的最悪値を求めたところ、500Byteであった。実際に、多数のオーディオファイルでフレームサイズの変化量を実験的に求めたところ、平均で4.32Byteの増加であった。48kbps、44.1kHzの条件では、元々、１フレームあたりのサイズは286Byteであるので、平均的には特に問題がない。

フレームサイズの増大が問題になる場合には上記理論的最悪値に備えて、符号サイズの増大が余りに大きくなったとき、例えば上限値64Byteを超えた場合には、前方参照の解消を中止し、前方参照状態を残したままトリミング・フェード処理を行わせるようにすることもできる。

以上説明したように、本発明によれば、長時間のコンテンツから任意箇所のデータを自由に切り出すことができ、また、オーディオ出力の音質を良好に保つことができるので、携帯電話をはじめとするモバイル、ポータブル機器でのオーディオ配信サービスなどに利用できる。

HE AACによるフレーム(a)、および各フレームのAACデータ、SBRデータの周波数帯域(b)を概略的に示す図である。本発明による置換前のSBRデータの参照を示す説明図である。本発明による置換後のSBRデータの参照を示す説明図である。本発明が適用された圧縮オーディオデータ処理装置の一例を示す機能ブロック図である。本発明により復号が可能なフレームを示す説明図である。

符号の説明

４１・・・AAC/SBR分離部、４２・・・SBR解析部、４３・・・ハフマン復号部、４４・・・SBR再構成部、４５・・・AAC・SBR合成部

Claims

圧縮符号化されてフレーム構造をとるオーディオデータにおける任意箇所のフレームを切り出すに際し、前記任意箇所の先頭フレームのオーディオデータの、前フレームを参照するオーディオデータ表現を、自フレーム内を参照するオーディオデータ表現に置換することを特徴とする圧縮オーディオデータ処理方法。
圧縮符号化されてフレーム構造をとるオーディオデータの各フレームがサブバンド表現されている場合、前記自フレーム内を参照するオーディオデータ表現は、自フレーム内のサブバンドを周波数方向に順次参照するオーディオデータ表現であることを特徴とする請求項１に記載の圧縮オーディオデータ処理方法。
置換したオーディオデータ表現に必要なビット数の増大量がある閾値以上になる場合には、オーディオデータ表現の置換は行わないことを特徴とする請求項２に記載の圧縮オーディオデータ処理方法。