JP2006010818A - 音響信号符号化装置 - Google Patents

Abstract

【課題】 マルチメディアを扱うＤＳＰやＣＰＵなどの信号処理チップに急激な負荷がかかった場合、音響信号の符号化信号は生成できても、他のデータにおいて信号処理が間に合わない恐れがある。また、強制的な高速処理を行っているため、音質上問題がある。
【解決手段】 符号化制御情報により高速処理が要求されると、量子化モード選択部１３は現ブロックにて高速処理が可能か否かを判断するため、音響特性比較部１２からの音響特性比較情報を参照し、現ブロックに対し前ブロックの音響信号特性が近似していると判定した時は低負荷量子化器１５３を選択し、そうでない時は符号化処理を一旦中断する。低負荷量子化器１５３は、前ブロックの量子化時に用いた量子化精度情報をそのまま利用して、現ブロックの周波数信号に対して簡易型の量子化を行う。符号化制御情報が通常の符号化処理を要求した場合、量子化モード選択部１３は高負荷量子化器１５１を選択する。
【選択図】 図２

Description

本発明は音響信号符号化装置に係り、特にその時々で異なる符号化品質要求又は符号化処理速度要求に適切に対応して音響信号を符号化する音響信号符号化装置に関する。

時間領域のディジタル音響信号を周波数領域に変換した後、周波数領域にて情報圧縮を行って符号化信号を生成する音響信号符号化装置では、ビデオＣＤ等で用いられるMPEG-1 AUDIO Layer2、インターネット等のデータ配信で利用されているMPEG-1 Layer3（略称ＭＰ３）、ＢＳディジタル放送で採用されているMPEG-2 AUDIO NBC、別名アドバンスト・オーディオ・コーディング（Advanced Audio Coding：略称ＡＡＣ）、ＤＶＤ（Digital Versatile Disk）の音声フォーマットであるドルビーディジタル（Dolby Digital）、ＭＤ（ミニディスク）の圧縮方式ＡＴＲＡＣまたはＡＴＲＡＣ３などの符号化方式で符号化を行う。

これらは時間領域のディジタル音響信号を周波数領域に変換し、特定の周波数帯に偏りを持つ音響信号の特徴と、人間の聴覚の特性を考慮した聴覚の感度に応じた周波数帯毎の重み付けに従い、聴感的に重要とされない周波数帯の情報を削減又は減少することによって情報圧縮を行っている。

上記の符号化方式において、聴感上の品質に大きく関わる部分は情報削減によって生じる周波数帯域毎の量子化雑音を検知されないよう制御する量子化部である。人間の聴感特性の一つにマスキング効果があり、このマスキング効果には、「ある周波数に比較的音圧の高い信号が存在する場合、その周波数近傍の音圧の低い信号は聞き取りにくくなる。」という動的マスキングと、「周波数によって決まる音圧の低い信号はそれ自体聞き取れない」という静的マスキング（最小可聴限）の二つが知られている。

これら二つのマスキング特性を用い、所定の時間間隔によってブロック化された音響信号の周波数帯に依存する感度、言い換えると、周波数帯に依存するあるレベル以下の信号は検知されないという目安である許容マスキングレベルを求めることができる。心理音響理論上この許容マスキングレベル以下のノイズは一般的な人間の耳では把握できないとされている。従って、周波数信号を所定の帯域毎に許容マスキングレベル以下になるよう粗く量子化しても、音質劣化は知覚できない。量子化部は、許容マスキングレベル以下に量子化雑音を制御する部分である。

量子化雑音の制御は符号化レートに従ったブロック内情報割り当て量以内に符号化量を抑制することと、許容マスキングレベルに沿った量子化雑音レベルを所定の周波数帯を単位として最適化を図ることで成される。しかしながら、この量子化雑音を制御するための処理は符号化処理の大半を占め、非常に負荷がかかっている。

特に、ＭＰ３やＡＡＣは量子化雑音の制御に二重の繰り返し構造を取り入れており、非常に細かい量子化精度の調整によって帯域毎の情報量を制御している。繰り返し処理の一方は圧縮信号の品質を向上するための個々の帯域毎における量子化雑音を制御するものであり、もう一方は圧縮率に従ったブロック毎の割り当て情報量以内で符号化を行うために符号化情報量を制御するものである。両者の条件を満足するために、一方の繰り返し処理が終了した後、他方の繰り返し処理へと移行し、相互に渡り合う事によって品質及び符号化情報量の要求を両立している。

近年、オーディオのみならずビデオや静止画、その他様々なデータを使った信号処理が一つのディジタル信号処理プロセッサ（ＤＳＰ）、中央処理装置（ＣＰＵ）等の信号処理用チップで実現されるようになった。しかしながら、複数の情報をリアルタイムで処理する場合、符号化処理に遅延が生じるとシステムが破綻する恐れがある。すると、生成された符号化信号にエラーや欠落が発生し、復号側で正しい信号が再生できず音声が歪んだり動画が停止したり、所望のデータが取得できなくなったりと不具合が起きてしまう。

そこで、ＤＳＰやＣＰＵの負荷を監視しながら音響信号符号化の処理量を調整し、リアルタイム処理に破綻を来たす様な状況を未然に防ぐ方法が開示されている（例えば、特許文献１、２参照）。

上記の特許文献１記載の符号化装置は、外部からの制御信号にＣＰＵ負荷情報を用い、ＣＰＵ負荷量に応じ、音響信号符号化装置内の複数の量子化器の中から最適な量子化器を選択し符号化を行うものである。量子化器は帯域毎に選択可能であり、負荷は重いが高効率で品質優先型や負荷が軽く低効率で速度優先型が設けられている。

一方、上記の特許文献２記載の符号化装置は、外部からの制御信号に入力音響信号のバッファ占有量を用い、バッファ占有量に応じ、音響信号符号化装置内の量子化手段における反復処理回数に適当な制限を与え高速化を図るものである。

特開２０００−７８０１８号公報 特開２００１−２４２８９５号公報

しかしながら、上記の特許文献１及び２記載の従来の音響信号符号化装置は、共に入力バッファの容量が豊富にある場合を想定しており、ＣＰＵやＤＳＰ等の信号処理ユニットに急激な負荷がかかった場合、音響信号の符号化信号は生成できても、他のデータにおいて信号処理が間に合わない恐れがある。

例えば、動画信号の符号化と音響信号の符号化をリアルタイムで処理する場合、動画信号の符号化処理の空いた時間帯で音響信号の符号化処理を行わなければならない。音響信号におけるサンプリング周波数や映像信号におけるフレームレート、更には断続的に挿入される静止画情報や文字情報は、それぞれ無関係の時間間隔で処理されるため、常に固定の動作許容時間が保障されるものではない。このように、符号化処理にかかる負荷量が著しく異なると、ある時間帯では音響信号符号化処理に対し許容される時間が極端に短い状況が起きることもある。

また、低コストが要求される符号化処理装置では、入出力のバッファ容量が符号化又は復号化に要する最低限の領域しか所有していないことがある。特に映像信号の場合その入力バッファ容量は非常に大きく、音響信号と比較しても相当量の領域を確保しなくてならない。音響信号符号化処理に遅延が生じると、動画信号の符号化処理において入力バッファに確保されているピクチャ信号の取得に間に合わず、フレーム落ち（ピクチャ落ち）が発生し、再生される映像は一瞬動きが停止したかのような違和感を視聴者に与えてしまう。特に音響信号は連続性の維持に重点が置かれるため、他の情報の符号化処理が犠牲とならざるを得ない。

上記の従来の高速な音響信号符号化装置は、比較的に緩やかに変動する負荷量に対しては有効であるが、このような急激に変動するＣＰＵやＤＳＰ等の信号処理ユニットに対する負荷には対処していない。また、符号化中の音響信号の特性を考慮しておらず、低品位の符号化に適さない時間帯においても外部の制御信号に従って強制的に高速処理を行っているため、音質上問題がある場合がある。

本発明は以上の点に鑑みてなされたもので、時間的に変化する異なった符号化品質要求または符号化処理速度要求に適切に対応し、高音質、かつ、高速処理を実現する音響信号符号化装置を提供することを目的とする。

上記目的を達成するため、本発明の音響信号符号化装置は、ディジタル化された音響信号を一定の時間間隔でブロック化した後、そのブロック内の時間領域音響信号を複数の周波数帯域に分割し、分割した各周波数帯域毎の聴感上の重み付け情報に応じた量子化精度で、各周波数帯域の音響信号の量子化を行って符号化信号を生成する音響信号符号化装置において、時間領域のディジタル化された音響信号又は各周波数帯域の音響信号の、前ブロックと現ブロックの音響信号特性を比較して、隣接するブロック間の相関性を判定して音響特性比較情報を得る音響特性比較手段と、現ブロックの各周波数帯域の音響信号に対して、各周波数帯域毎の聴感上の重み付け情報に応じた量子化精度で量子化を行う第１の量子化手段と、前ブロックの各周波数帯域の音響信号に対して量子化したときの量子化精度情報を用いて、現ブロックの各周波数帯域の音響信号の簡易的な量子化を行う第２の量子化手段と、音響特性比較手段により得られた音響特性比較情報、及び外部から入力される符号化速度を指定する符号化制御情報の一方又は両方に基づいて、第１及び第２の量子化手段の一方を選択して量子化動作させる量子化モード選択手段とを有する構成としたものである。

この発明では、隣接するブロック間の相関性を示す音響特性比較情報、及び外部から入力される符号化速度を指定する符号化制御情報の一方又は両方に基づいて、現ブロックの各周波数帯域の音響信号に対して、各周波数帯域毎の聴感上の重み付け情報に応じた量子化精度で量子化を行う第１の量子化手段と、前ブロックの各周波数帯域の音響信号に対して量子化したときの量子化精度情報を用いて、現ブロックの各周波数帯域の音響信号の簡易的な量子化を行う第２の量子化手段の一方を選択して量子化動作させるようにしたため、隣接するブロック間の相関性が高い時には、第２の量子化手段を選択して、前ブロックの各周波数帯域の音響信号に対して量子化したときの量子化精度情報を用いて、現ブロックの各周波数帯域の音響信号の簡易的な量子化を行うことができる。

また、上記の目的を達成するため、上記の音響特性比較手段は、隣接する前ブロックの時間領域のディジタル化された音響信号と現ブロックの時間領域のディジタル化された音響信号との相関値を求める相関測定手段と、相関測定手段により測定された相関値が、設定した閾値を満足するかどうか判定して前ブロックと現ブロック間の相関の程度を示す音響特性比較情報を生成する相関判定手段とを備えることを特徴とする。

また、上記の目的を達成するため、上記の音響特性比較手段は、時間領域のディジタル化された音響信号のブロック内の総エネルギー、又は時間領域のディジタル化された音響信号を複数の周波数帯域に分割して得られた各周波数帯域毎の音響信号のブロック内の総エネルギーを、前ブロックと現ブロック間で比較してブロック間エネルギー比を測定する比率測定手段と、ブロック間エネルギー比に応じた値と予め設定した閾値とを比較して前ブロックと現ブロック間の相関の程度を示す音響特性比較情報を生成する比率判定手段とを備えることを特徴とする。

また、上記の目的を達成するため、本発明は、上記の量子化モード選択手段は、符号化制御情報により第２の量子化手段による量子化を指示されたとき、又は符号化処理のスキップ回数が１以上のときは、現ブロックの各周波数帯域の音響信号が第２の量子化手段による量子化が可能かどうかを、音響特性比較情報が示す相関の程度に基づき判定する量子化判定手段と、量子化判定手段により音響特性比較情報に基づき第２の量子化手段による量子化が不可能と判定された時には、第１及び第２の量子化手段の何れも非選択として現ブロックの符号化処理のスキップを行わせる非選択手段と、量子化判定手段により音響特性比較情報に基づき第２の量子化手段による量子化が可能と判定された時には、第２の量子化手段を選択して現ブロックよりも前のブロックの各周波数帯域の音響信号の量子化を前のブロックの量子化精度情報を用いて実行させる量子化選択実行手段とを有し、
量子化判定手段により音響特性比較情報に基づき第２の量子化手段による量子化が不可能と判定された時には、量子化選択実行手段による量子化実行のために用いる現ブロックの各周波数帯域の音響信号と各周波数帯域毎の聴感上の重み付け情報に応じた量子化精度情報とを蓄積する蓄積手段と、量子化判定手段により音響特性比較情報に基づき第２の量子化手段による量子化が不可能と判定された時には、符号化処理のスキップ回数を計数する計数手段と、量子化選択実行手段による量子化実行後に符号化制御情報が第２の量子化手段による量子化を指示していることを検出した時は、計数手段の値を所定値減算して次のブロックの各周波数帯域の音響信号の第２の量子化手段による量子化のために量子化判定手段による判定を行わせ、量子化選択実行手段による量子化実行後に符号化制御情報が第１の量子化手段による量子化を指示していることを検出した時は、符号化処理を終了する符号化制御手段とを更に有することを特徴とする。

この発明では、符号化制御情報により第２の量子化手段による量子化を指示されたときに、現ブロックの各周波数帯域の音響信号が第２の量子化手段による量子化が可能かどうかを、音響特性比較情報が示す相関の程度に基づき判定し、第２の量子化手段による量子化が不可能と判定された時には、第１及び第２の量子化手段の何れも非選択として現ブロックの符号化処理のスキップを行わせ、その後のブロックの第２の量子化手段による量子化が可能と判定された時点で、スキップしたブロックから現ブロックの各周波数帯域の音響信号の第２の量子化手段による量子化を連続して行うことができる。

本発明によれば、現ブロックの各周波数帯域の音響信号に対して、各周波数帯域毎の聴感上の重み付け情報に応じた量子化精度で通常の量子化を行う第１の量子化手段と、隣接するブロック間の相関性が高い時に選択されて、前ブロックの各周波数帯域の音響信号に対して量子化したときの量子化精度情報を用いて、現ブロックの各周波数帯域の音響信号の簡易的な量子化を行う第２の量子化手段とを備え、マルチメディアを扱うＤＳＰやＣＰＵなどの信号処理チップ等でリアルタイム処理を行う時、高負荷時において音響信号の連続性を維持するために映像信号のフレーム落ちなどで処理系の破綻を防いでいたものを、突発的な高速処理要求と音響信号の特性に対応して上記の第１及び第２の量子化手段の一方を選択実行するようにしたため、高品質、かつ、高速な音響信号符号化装置を実現できる。また、本発明の音響信号符号化装置を用いることでマルチメディア符号化処理システムの安定化を図ることができる。

次に、本発明を実施するための最良の形態について図面と共に説明する。図１は一般的な音響信号符号化装置のブロック図を示す。同図において、時間領域のディジタル音響信号は、時間−周波数変換部１に供給され、ある一定の時間間隔によってブロック化された後、ブロック内のディジタル音響信号が複数の周波数帯域に分割され周波数信号へと変換される。また、上記の時間領域のディジタル音響信号は、周波数帯重み付け情報算出部２に供給され、上記のブロック化された周波数信号の特徴を抽出するため、上記の分割された周波数帯域毎に人間の聴覚特性を用いた聴感的な感度を示す周波数帯重み付け情報が算出される。

時間−周波数変換部１から出力された周波数帯域に変換された信号は、周波数帯重み付け情報算出部２から出力された周波数帯重み付け情報を基に、量子化部３にて周波数帯域毎に異なる量子化精度で量子化されて情報圧縮される。量子化部３にて得られた量子化信号は、符号化信号生成部４に供給され、ここで周波数帯重み付け情報や個別の周波数帯域量子化精度情報などからなる補助情報と多重化されて音響信号符号化信号が生成される。

上記の周波数帯重み付け情報算出部２は聴覚心理モデルとも呼ばれ、前述のマスキングレベルを算出する部分である。マスキングレベルは周波数領域に変換された周波数信号を複数にまとめ、個々の符号化方式に依存するグループを単位として求めている。マスキングレベルは個々の周波数サンプルが自分自身と近接する周波数サンプルに及ぼすマスキング量と最小可聴限レベルによって決まるマスキング量とから決定するため、周波数信号の振幅値が重要な要素となる。ほぼ同レベルの周波数特性を持つブロックであるならば、このマスキングレベルもブロック間で同程度であり、結果的に周波数サンプルを量子化する量子化精度も同じ値が適用されると推測される。

音響信号は刻々と変化するが、音響信号そのものは連続しており、限られた時間で見れば定常的な状態を保っていることも多い。図３はパルス符号変調（ＰＣＭ）された音響信号の時間推移をグラフ化したものであり、その幅は一般的な音響符号化方式のブロック長２つ分（２０４８サンプル）に相当する。音源は信号変化に富んでいる交響曲から抽出した。

図３の音源を使用しブロック単位で周波数特性を比較した周波数特性図を図４に示す。図４は図３の前半のブロック１０２４サンプルと後半のブロック１０２４サンプルにおける周波数特性をグラフ化し重ね合わせている。図４に示すように、あたかも周波数特性を示した対象が一つであるかのように重なっており、ブロック間での音響特性が非常に似かよっていることが読み取れる。この場合、得られる周波数帯重み付け情報も前後のブロック間で酷似していると推測できる。

よって、量子化時に適用される周波数帯域毎の量子化精度も前者のブロックの情報を後者のブロックに適用したとしても音質に与える影響は極めて低いと考えられる。すなわち、ブロック内音響信号の音響特性が隣り合うブロック間で近似していれば、後者のブロックにおいて量子化時の量子化精度情報を前ブロックから引継ぎ適用することが可能である。本発明はこの点に着目して後述するように、低負荷量子化を行うものである。

図３及び図４は使用される音響信号符号化方式が時間軸上の隣り合うブロック間でオーバーラップをしない場合を例にしたが、ＡＡＣやＭＰ３のようにＭＤＣＴ（変形離散コサイン変換）のようなオーバーラップを行う周波数変換を採用した音響信号符号化方式においても同様の現象が見られることは容易に想像できる。

図２は本発明になる音響信号符号化装置の一実施の形態のブロック図を示す。本実施の形態の時間−周波数変換部１１及び符号化信号生成部１６は、図１に示した時間−周波数変換部１及び符号化信号生成部４と同様の構成であるが、周波数帯重み付け情報算出部１４及び量子化部１５が図１に示した周波数帯重み付け情報算出部２及び量子化部３の構成と異なり、更に図２に示す本実施の形態では、新たに音響特性比較部１２と量子化モード選択部１３が追加されている点に特徴がある。

量子化部１５は、高負荷量子化器１５１、量子化情報蓄積器１５２及び低負荷量子化器１５３から構成されており、量子化モード選択部１３からの選択信号により、高負荷量子化器１５１及び低負荷量子化器１５３の一方が選択される。量子化情報蓄積器１５２は、高負荷量子化器１５１からの量子化精度情報を蓄積して低負荷量子化器１５３へ出力する。

高負荷量子化器１５１は、従来の量子化器と同様に、現ブロックの音響信号特性に基づいた各周波数帯域毎の聴感上の重み付け情報に従い現ブロックの周波数信号に対して量子化を行う。これに対し、低負荷量子化器１５３は、前ブロックの量子化時に用いた量子化精度情報をそのまま利用して、現ブロックの周波数信号に対して簡易型の量子化を行う。

図２において、入力された時間領域のディジタル音響信号は時間‐周波数変換部１１で一定時間間隔でブロック化された後、各ブロック毎に複数の周波数帯域に分割され、分割された各周波数帯域の音響信号からなる周波数信号へ変換される。音響特性比較部１２は入力部にあるセレクタを通して時間−周波数変換部１１から出力される周波数信号と、時間−周波数変換部１１に入力される時間領域のディジタル音響信号のいずれか一方の信号だけが入力される構成とされている。

音響特性比較部１２は、後述する図５に示す構成の場合は、時間領域のディジタル音響信号から抽出した現ブロックの音響特性と前ブロックの音響特性の相関を判定し、その相関判定結果を音響特性比較情報として量子化モード選択部１３へと伝送する。なお、音響特性比較部１２は、後述するように図６の構成としてもよく、その場合は、時間−周波数変換部１１からの周波数領域の音響信号を用いて、ある所定の比較対象よって音響特性比較情報を取得してもよく、この場合は周波数分析による詳細な特性比較が可能となることで音響特性比較情報の信頼性も向上する。

量子化モード選択部１３は後段の量子化部１５において、高速な量子化処理を行うか、低速であるが最適値を導く量子化処理を行うかを選択する。様々な情報をリアルタイムで処理するシステムを想定すると、個々の情報の信号処理を時分割し、破綻がないように制御しなければならない。その制御信号として、音響信号符号化装置を含むＤＳＰやＣＰＵ等の信号処理装置から音響信号符号化装置へ通常に符号化処理するかそれとも高速に符号化処理するかを切り替えるための情報（符号化制御情報）が、量子化モード選択部１３に入力される。

この時、符号化制御情報により高速処理が要求されると、量子化モード選択部１３は現ブロックにて高速処理が可能か否かを判断するため、音響特性比較部１２からの音響特性比較情報を参照し、現ブロックに対し前ブロックの量子化精度情報を適用できるかを判定する。

量子化モード選択部１３は判定結果が真であれば（すなわち、音響特性比較情報が現ブロックと前ブロックの音響信号特性が近似しているとの比較結果を示している時）、低負荷量子化器１５３を選択し、偽であれば符号化処理を一旦中断させ、音響信号以外の他の情報に費やされる信号処理のためにＤＳＰやＣＰＵなどの占有権を譲り渡す。現ブロックは次の符号化処理要請を受けた時点で再度符号化処理を行う。そのためには音響信号の入力バッファに余裕を持たす必要があるが、例えば同時に映像信号の符号化処理を行う場合、映像信号の入力バッファを増加させるよりも遥かに少ない領域を確保するだけで済む。

外部から入力される符号化制御情報が通常の符号化処理を要求（高速符号化要求ではない時）した場合、量子化モード選択部１３は従来の最適化を図る高負荷量子化器１５１を選択する。

また、入力音響信号はそのブロックにおける周波数帯毎の重み付けを行うために周波数帯重み付け情報算出部１４に供給される。ここで、前述のマスキングレベルを導き、単位周波数帯グループにおける周波数サンプルの量子化精度の初期値若しくは相対値を決定する。従来は量子化するブロック毎にそのブロックの周波数帯重み付け情報を導いていたが、仮に量子化モード選択部１３において低負荷量子化器１５３が選択されると、低負荷量子化器１５３では量子化情報蓄積器１５２からの前ブロックの量子化精度情報を用いて時間領域の周波数信号の量子化を行うため、現ブロックの周波数帯重み付け情報は必要でなくなる。

従って、この場合、周波数帯重み付け情報算出部１４の処理を省略することができる。周波数帯重み付け情報の算出にかかる演算量は量子化部１５に次いで多く、この部分を省略することによって符号化処理の高速化に果たす影響も大きい。

量子化モード情報に従い量子化部１５では選択された量子化器１５１又は１５３を用いて周波数信号を量子化する。通常、符号化モードが指定され高負荷量子化器１５１が選択されると、従来の音響信号符号化装置と同様に量子化雑音レベルと符号化情報量の最適な関係を導くための処理を行い最適化する。また、最終的に得られた帯域毎の量子化精度情報は次ブロックで使用するために、量子化情報蓄積器１５２に備えて確保しておく。

反対に高速符号化モードが指定され低負荷量子化器１５３が選択されると、量子化情報蓄積器１５２に保持しておいた前ブロックの量子化精度情報を用いて、直ちに周波数信号を量子化する。一般的に、最も負荷がかかる量子化部１５において、低負荷量子化器１５３が行う処理は、周波数サンプルの量子化と割り当て情報量の制限のみとなり、極めて短時間で終了することが可能である。なお、低負荷量子化器１５３により、現ブロックの周波数信号に対して低負荷量子化を実行する際に用いる前ブロックの量子化精度情報としては、前ブロックの周波数帯域毎の重み付け情報を単独で、又は量子化精度情報と組み合わせて用いることも可能である。

割り当て情報量を満足させるには帯域制限をとればよい。低域の周波数帯から量子化し情報配分を行い、割り当て情報量を超えてしまった場合はそれ以上の帯域を符号化しなければ割り当て情報量の要求を満足できる。一般に、音響信号は次第に減衰していくものであり、音響特性比較部１２においても音響信号の減衰傾向を検出して判定を行えば、現ブロックが前ブロックに比べ同一の量子化精度を用いて符号化を行っても著しく符号量が増大することはなく、ほぼ前ブロックと同様の周波数帯域を維持できる。

最後に量子化部１５１から出力された周波数信号の量子化値（量子化信号）は、符号化処理に伴う補助情報と符号化信号生成部１６において多重化されて符号化信号として生成された後出力される。

次に、音響特性比較部１２の構成について更に詳細に説明する。まず、図５と共に時間領域の音響信号を使用して隣接するブロック間における相関性を判定する構成について説明する。図５はタイムシフトを行い自己相関を取りながら相関性を図る音響特性比較部１２ａのブロック図を示す。図５において、入力された時間領域の音響信号は前ブロック音響信号バッファ１２１に蓄積されると共に、符号化方式に依存する単位長ブロックにおける主要周波数成分の位相のずれを修整するため位相ずれ修整器１２２に送られ、前ブロック音響信号バッファ１２１に蓄積されている前ブロック音響信号との相関がより正確に取得できるように修整される。

相関測定器１２３は、前ブロック音響信号バッファ１２１からの前ブロックの音響信号と、位相ずれ修整器１２２により位相ずれが修整されて前ブロックと位相が揃えられた現ブロックの音響信号との間の自己相関をとり、隣接する前ブロックと現ブロック間における自己相関性を判定する。相関判定器１２４は、相関測定器１２３で得られた相関値が、ある所定の閾値を満足するかどうか判定し、満足するものであれば、前ブロックの量子化精度値を用いた低負荷量子化器１５３を使用するよう、量子化モード選択部１３に対し音響特性比較情報によって指定する。

また、別の例としてエネルギー比や振幅比を用いてブロック間の相関度を測定することもできる。例えば時間領域若しくは周波数領域での音響信号を用いてブロック内の総エネルギーを比較してもよい。

量子化精度は周波数信号を基に帯域重み付け情報算出部で求められるＭＮＲ（マスキングレベル対ノイズレベル比）から決定される。従って、ブロック間の相関性も時間領域信号より周波数信号で判定した方がより正確に測定できる。具体的には、ブロック間で同周波数であるサンプルの振幅比又はエネルギー比のブロック平均や集中度を表す標準偏差値等から判断可能である。更に、音響信号符号化方式に依存する周波数帯毎にグループ化された周波数信号のグループ代表あるいは最大振幅値又はグループ平均振幅値又はグループ内周波数信号平均パワー値又はグループ内総パワー値を用いて算出したブロック間の比から相関性があるか否かを判定し音響特性比較情報を生成することもできる。

次に、音響特性比較部１２の他の実施の形態の構成について説明する。図６は音響特性比較部１２の他の実施の形態のブロック図で、ある所定の比較対象によって音響特性比較情報を取得する音響特性比較部１２ｂの構成を示す。図２の時間−周波数変換部１１から出力された周波数領域の音響信号（周波数信号）は、図６の音響特性比較部１２ｂ内の前ブロック音響信号比較データバッファ１２５に供給されて次ブロックで再利用するため一時記憶されると共に、比較データ生成器１２６に供給されて比較データが生成される。

ここで、音響信号の周波数帯毎によるエネルギー変化率を具体例に挙げて説明する。まず、比較データ生成器１２６において、周波数信号の周波数帯別にエネルギー量が算出される。この周波数帯は用いている音響信号符号化方式に準ずることで、より正確な音響信号の特徴を比較することができる。比較データ生成器１２６で求められた周波数帯毎のエネルギー量は比較データとして比率測定器１２７に供給され、ここで前ブロック音響信号比較データバッファ１２５からの前ブロックのエネルギー量との比率（変化率）が周波数帯別に測定される。

比率判定器１２８は比率測定器１２７で測定された比率（変化率）の平均値が、或る定められた閾値に収まっていれば、現ブロックと前ブロックとの音響信号は相関が高いと判定する。比率判定器１２８の比率判定に基づく判定結果は、音響特性比較情報として、図２の量子化モード選択部１３に供給される。比率判定器１２８により相関が高いと判定された音響特性比較情報が出力されるときには、図２の低負荷量子化器１５３を使用するよう、量子化モード選択部１３に対し音響特性比較情報によって指定し、周波数帯重み付け情報算出部１４の処理を省略させる。

なお、上記のような比率測定に利用できる信号としては、上記の周波数帯別のエネルギー量の他に、時間領域のエネルギー量や最大振幅値周波数領域の全エネルギー量、周波数サンプルの振幅最大値、帯域別振幅最大値などが挙げられる。

次に、音響特性比較情報に従い適応的に量子化モードを切り替えて動作する手順について説明する。図７は本発明による音響信号符号化装置が外部からの制御信号と符号化を行う音響信号の特性に従って、適応的に動作する手順を示したフローチャートである。まず、入力された時間領域のディジタル音響信号は、図２の時間−周波数変換部１１において、ある一定の時間間隔によってブロック化された後、ブロック内のディジタル音響信号が複数の周波数帯域に分割され、周波数帯域毎の周波数信号へと変換される（ステップＳ１）。

続いて、変換された周波数信号又は時間領域の音響信号に基づき、音響特性比較部１２において、前述したように現ブロック（現フレーム）の音響信号特性情報が生成された後（ステップＳ２）、前ブロック音響信号特性情報と現ブロック音響信号特性情報とが比較される（ステップＳ３）。続いて、量子化モード選択部１３において、外部制御信号（図２では符号化制御情報）が現フレーム処理時にて高速符号化処理を指定する信号であるかどうか判定し（ステップＳ４）、高速符号化処理を指定する信号であると判定した時には、現ブロックの周波数信号の低負荷量子化が可能か否か判定を行う（ステップＳ５）。この低負荷量子化が可能か否かの判定は、ステップＳ３で得られた前ブロックと現ブロックの音響信号特性情報の比較結果が、予め設定した閾値以下の近似している比較結果を示しているときには、現ブロックに対し前ブロックの量子化精度情報を適用できるので、低負荷量子化が可能であると判定する。

低負荷量子化が可能であれば、量子化モード選択部１３の制御に基づき、量子化部１５は帯域重み付け情報の算出処理を行わずに、蓄積されてある前ブロック量子化精度情報を取得し（ステップＳ６）、その前ブロック量子化精度情報に基づき、直ちに周波数信号を低負荷量子化器１５３において量子化する（ステップＳ７）。

一方、外部制御信号（図２では符号化制御情報）により高速符号化処理が指定されているにも拘らず、ステップＳ５で低負荷量子化が不可能と判定された場合は、現時間帯で音響信号の符号化を行わず、現ブロックの周波数領域に変換された周波数信号や音響信号特性情報を蓄積し（ステップＳ８）、符号化処理自体をスキップする。このとき、現ブロックの符号化（量子化）が行われず、１ブロック分遅延が生じるため、遅延情報としてスキップカウンタ（初期値０）のカウンタ値を１加算する（ステップＳ９）。

また、外部制御信号（図２では符号化制御情報）が現フレーム処理時にて高速符号化処理を指定しない信号であると判定されたときには（ステップＳ４）、通常の符号化処理を行うため、量子化モード選択部１３により高負荷量子化器１５１が動作するように選択され、従来通り周波数帯重み付け情報算出部１４にて帯域重み付け情報を算出し（ステップＳ１０）、それを用いて周波数信号に対して高負荷量子化器１５１で高負荷量子化を実行する（ステップＳ１１）。使用した量子化精度情報は次ブロックの低負荷量子化器の使用に備え量子化情報蓄積器１５２に保存しておく（ステップＳ１２）。

以上の動作手順は遅延が生じていない場合であるが、続いて符号化処理がスキップされた状況に対応するための動作手順を説明する。図８はブロック遅延が生じた状況に対応して量子化モードを切り替え、かつ、複数ブロックを連続して処理することを可能にした動作手順を示したフローチャートである。

まず、スキップカウンタの値が０より大、すなわちブロック処理遅延が生じているかどうか判定する（ステップＳ２１）。スキップカウンタの値が０であれば、ブロック処理遅延が生じていないので、前述の図７（遅延無し）による動作手順に従って通常の符号化処理が行われるが（ステップＳ２２）、スキップカウンタの値が０より大であり、ブロック処理遅延が生じているならば、その遅延分を取り戻すために複数のブロックを連続して処理する必要がある。

そこで、スキップカウンタの値が例えば１のときには、まず、音響特性比較部１２において、その時点のスキップカウンタの値に応じて、現ブロック以前の隣接する二つのブロック（ここでは、スキップカウンタの値が１であるので、二つ前のブロックと一つ前のブロック）の音響信号特性を比較し（ステップＳ２３）、その比較結果に基づき量子化モード選択部１３がステップＳ５と同様の判断基準で低負荷量子化が可能であるかどうか判定する（ステップＳ２４）。

低負荷量子化が可能であると判定されれば、低負荷量子化器１５３が動作するように選択し、量子化情報蓄積器１５２から直前に量子化したときの二つ前のブロックの量子化精度情報を取得し（ステップＳ２５）、ステップＳ８で蓄積していた一つ前のブロックの周波数信号を上記量子化精度情報に基づき低負荷量子化器１５３で低負荷量子化させる（ステップＳ２６）。

続いて、量子化モード選択部１３は外部制御信号（図２では符号化制御情報）により高速符号化処理が指定されているかどうか判定し（ステップＳ２７）、高速符号化処理が指定されているときには、時間的な余裕が無いため符号化処理を終了するが、高速符号化処理が指定されていなければ、ステップＳ２６で低負荷量子化を実行したことによって十分な時間がまだ残されていると考えられる。そこで、スキップカウンタを１減算し（ステップＳ２８）、ステップＳ２１に戻り以後のステップで連続した符号化処理が行われる。ここでは、ステップＳ２８によりスキップカウンタの値が０になるので、ステップＳ２１からＳ２２に進み、図７のフローチャートにより、一つ前のブロックの符号化が行われることになる。

一方、量子化モード選択部１３はステップＳ２４で低負荷量子化が可能でないと判定したときには、外部制御信号（図２では符号化制御情報）により高速符号化処理が指定されているかどうか判定し（ステップＳ２９）、高速符号化処理が指定されているときには、符号化処理を行わずに既に求めてある現ブロックの周波数信号と音響信号特性情報を蓄積し（ステップＳ３０）、スキップカウンタを１加算して（ステップＳ３１）、これ以降の動作をスキップする。

また、ステップＳ２９において、外部制御信号（図２では符号化制御情報）により通常符号化処理の指定を受けたと判定したときには、量子化モード選択部１３により高負荷量子化器１５１が動作するように選択され、従来通り周波数帯重み付け情報算出部１４にて帯域重み付け情報を算出し（ステップＳ３２）、それを用いて周波数信号に対して高負荷量子化器１５１で高負荷量子化を実行する（ステップＳ３３）。使用した量子化精度情報は次ブロックの低負荷量子化器の使用に備え量子化情報蓄積器１５２に保存しておく（ステップＳ３４）。

このように、スキップカウンタの値が１以上で、かつ、高速符号化処理が指定されていない時には、ブロック処理遅延分を取り戻すために、複数ブロック連続して符号化処理を行う。ここで、符号化処理にかかる負荷量を１０とすると、おおよそ時間−周波数変換部１１の負荷量が１、帯域重み付け情報算出部１４のそれが２、量子化部１５とその他の処理が７の割合を占める。低負荷量子化が実行されると、帯域重み付け情報算出部１４の負荷量が０、量子化部１５とその他の処理が１程度の負荷で可能となるので、２ブロック連続して処理しても通常より２割程の増加で済ませられる。

以上、これらの動作手順によって、外部制御信号（符号化制御情報）と符号化処理を実行する音響信号の特性に対応して、システム全体の保全を維持しながら、高音質で高速な音響信号符号化処理を実現することができる。

なお、本発明は上記の実施の形態に限定されるものではなく、例えば図６の入力信号は時間−周波数変換部１１の入力である時間領域のディジタル音響信号でもよい。また、量子化モード選択部１３は、音響特性比較部１２からの音響特性比較情報及び符号化制御情報のいずれか一方のみに基づいて、量子化モードを選択することも可能である。

更に、本発明は上記の音響信号符号化装置の機能をコンピュータに実現させるコンピュータプログラムも包含するものである。このプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

一般的な音響信号符号化装置の一例を示すブロック図である。 本発明になる音響信号符号化装置の一実施の形態のブロック図である。 音響信号（交響曲）の時間対振幅特性（２０４８サンプル分）の一例を示す図である。 図３の音響信号の前後１０２４サンプル分を重ね合わせた周波数特性図である。 図２中の音響特性比較部の第１の実施の形態のブロック図である。 図２中の音響特性比較部の第２の実施の形態のブロック図である。 本発明装置の動作の一例を説明するフローチャートである。 本発明装置の動作の他の例を説明するフローチャートである。

符号の説明

１、１１ 時間−周波数変換器
２、１４ 周波数帯重み付け情報算出部
３、１５ 量子化部
４、１６ 符号化信号生成部
１２、１２ａ、１２ｂ 音響特性比較部
１３ 量子化モード選択部
１２１ 前ブロック音響信号バッファ
１２２ 位相ずれ修整器
１２３ 相関測定器
１２４ 相関判定器
１２５ 前ブロック音響信号比較データバッファ
１２６ 比較データ生成器
１２７ 比率測定器
１２８ 比率判定器
１５１ 高負荷量子化器
１５２ 量子化情報蓄積器
１５３ 低負荷量子化器

Claims (4)

1. ディジタル化された音響信号を一定の時間間隔でブロック化した後、そのブロック内の時間領域音響信号を複数の周波数帯域に分割し、分割した各周波数帯域毎の聴感上の重み付け情報に応じた量子化精度で、各周波数帯域の音響信号の量子化を行って符号化信号を生成する音響信号符号化装置において、
   時間領域の前記ディジタル化された音響信号又は前記各周波数帯域の音響信号の、前ブロックと現ブロックの音響信号特性を比較して、隣接するブロック間の相関性を判定して音響特性比較情報を得る音響特性比較手段と、
   前記現ブロックの前記各周波数帯域の音響信号に対して、前記各周波数帯域毎の聴感上の重み付け情報に応じた量子化精度で量子化を行う第１の量子化手段と、
   前ブロックの前記各周波数帯域の音響信号に対して量子化したときの量子化精度情報を用いて、前記現ブロックの前記各周波数帯域の音響信号の簡易的な量子化を行う第２の量子化手段と、
   前記音響特性比較手段により得られた前記音響特性比較情報、及び外部から入力される符号化速度を指定する符号化制御情報の一方又は両方に基づいて、前記第１及び第２の量子化手段の一方を選択して量子化動作させる量子化モード選択手段と
   を有することを特徴とする音響信号符号化装置。
2. 前記音響特性比較手段は、隣接する前ブロックの前記時間領域のディジタル化された音響信号と現ブロックの前記時間領域のディジタル化された音響信号との相関値を求める相関測定手段と、前記相関測定手段により測定された前記相関値が、設定した閾値を満足するかどうか判定して前記前ブロックと現ブロック間の相関の程度を示す前記音響特性比較情報を生成する相関判定手段とを備えることを特徴とする請求項１記載の音響信号符号化装置。
3. 前記音響特性比較手段は、前記時間領域のディジタル化された音響信号の前記ブロック内の総エネルギー、又は前記時間領域のディジタル化された音響信号を複数の周波数帯域に分割して得られた各周波数帯域毎の音響信号の前記ブロック内の総エネルギーを、前記前ブロックと前記現ブロック間で比較してブロック間エネルギー比を測定する比率測定手段と、前記ブロック間エネルギー比に応じた値と予め設定した閾値とを比較して前記前ブロックと現ブロック間の相関の程度を示す前記音響特性比較情報を生成する比率判定手段とを備えることを特徴とする請求項１記載の音響信号符号化装置。
4. 前記量子化モード選択手段は、
   前記符号化制御情報により前記第２の量子化手段による量子化を指示されたとき、又は符号化処理のスキップ回数が１以上のときは、現ブロックの前記各周波数帯域の音響信号が前記第２の量子化手段による量子化が可能かどうかを、前記音響特性比較情報が示す相関の程度に基づき判定する量子化判定手段と、
   前記量子化判定手段により前記音響特性比較情報に基づき前記第２の量子化手段による量子化が不可能と判定された時には、前記第１及び第２の量子化手段の何れも非選択として現ブロックの符号化処理のスキップを行わせる非選択手段と、
   前記量子化判定手段により前記音響特性比較情報に基づき前記第２の量子化手段による量子化が可能と判定された時には、前記第２の量子化手段を選択して現ブロックよりも前のブロックの各周波数帯域の音響信号の量子化を前記前のブロックの量子化精度情報を用いて実行させる量子化選択実行手段とを有し、
   前記非選択手段は、
   前記量子化判定手段により前記音響特性比較情報に基づき前記第２の量子化手段による量子化が不可能と判定された時には、前記量子化選択実行手段による量子化実行のために用いる前記現ブロックの各周波数帯域の音響信号と前記各周波数帯域毎の聴感上の重み付け情報に応じた前記量子化精度情報とを蓄積する蓄積手段と、
   前記量子化判定手段により前記音響特性比較情報に基づき前記第２の量子化手段による量子化が不可能と判定された時には、前記符号化処理のスキップ回数を計数する計数手段と、
   前記量子化選択実行手段による量子化実行後に前記符号化制御情報が前記第２の量子化手段による量子化を指示していることを検出した時は、前記計数手段の値を所定値減算して次のブロックの各周波数帯域の音響信号の前記第２の量子化手段による量子化のために前記量子化判定手段による判定を行わせ、前記量子化選択実行手段による量子化実行後に前記符号化制御情報が前記第１の量子化手段による量子化を指示していることを検出した時は、符号化処理を終了する符号化制御手段と
   を備えることを特徴とする請求項１記載の音響信号符号化装置。
   
   
   

Images