JP2009047914A - 音声復号化装置、音声復号化方法、音声復号化プログラムおよびプログラム記録媒体 - Google Patents

Abstract

【課題】復号化段階にてノイズが発生する可能性が高いフレームのみにミュート処理を施す音声復号化装置を提供する。
【解決手段】復号化データ抽出部１にて、ストリーム音声データとして入力されたＰＥＳデータＰＤからＥＳデータＥＤを抽出して復号化部２に出力するとともに、タイムスタンプ情報を抽出してミュート処理制御部４に出力する。復号化部２では、入力されたＥＳデータＥＤを復号化して音声データＡＤを復号化バッファ３に出力して保存するとともに、音声モード情報を抽出してミュート処理制御部４に出力する。ミュート処理制御部４では、タイムスタンプ情報が一つ前のフレームと不連続であった場合、あるいは、音声モードが一つ前のフレームから変化していた場合、復号化段階においてノイズが発生するフレームであると判定して、復号化バッファ３に保存された音声データＡＤにミュート処理を施す。しかる後、音声データＯＤとして出力する。
【選択図】図１

Description

本発明は、音声復号化装置、音声復号化方法、音声復号化プログラムおよびプログラム記録媒体に関する。

最近の音響装置では、音楽再生時の音響効果を高めるために、サラウンド等の機能が備えられており、例えば、特許文献１の特開平６−４０８８号公報「音声音楽判別装置」に記載されているように、音源の音声モードが、モノラルかステレオかの区別なく、例えば音楽であるか音声であるかを判別して、それぞれで最適な音場、周波数特性に制御する技術が開示されている。

しかしながら、前記特許文献１のような従来技術においては、音声モードが変化した場合や、あるいは、タイムスタンプが不連続となった場合、復号化した音声データにノイズが発生することがあった。また、例えば、特許文献２の特開平７−１６２３７４号公報「ディジタル音声信号再生装置および再生方法」に記載のように、音声モードの切り替えが発生した際に、ノイズの発生を抑える技術を提案しているものもあるが、１フレーム単位でのミュート処理が行われておらず、ミュートが不要になる区間に対してもミュート処理が行われてしまうため、ミュート時間が長くなるという問題があった。
特開平６−４０８８号公報（第３−５頁） 特開平７−１６２３７４号公報（第２−３頁）

本発明は、前述のような事情に鑑みてなされたものであり、音声モードが変化した場合や、あるいは、タイムスタンプが不連続となった場合に、１フレーム単位に、復号化した音声データのミュート処理を行うことにより、最短のミュート時間にて、ノイズの除去が可能な音声復号化装置、音声復号化方法、音声復号化プログラムおよびプログラム記録媒体を提供することを、その目的としている。

前述の課題を解決するため、本発明による音声復号化装置、音声復号化方法、音声復号化プログラムおよびプログラム記録媒体は、次のような特徴的な構成を採用している。

（１）ストリームデータとしてフレーム単位に分割された音声データを復号化する音声復号化装置において、各フレーム内に含まれている情報から、復号化段階においてノイズが発生するか否かを判定するための情報をノイズ判定情報として抽出し、該ノイズ判定情報に基づいて、ノイズが発生すると判定した場合には、該当するフレームの復号化音声データにミュート処理を施すミュート処理制御手段を少なくとも備えている復号化装置。

本発明の音声復号化装置、音声復号化方法、音声復号化プログラムおよびプログラム記録媒体によれば、以下のような効果を得ることができる。

タイムスタンプが不連続となった場合や、音声モードが変化した場合には、１フレーム単位にてミュート処理を行うことにより、復号化した音声データに発生するノイズを抑えるだけでなく、ミュート処理が必要な区間にのみミュート処理を行うため、復号化した音声データを、ミュート処理から短時間で復帰させることができる。

以下、本発明による音声復号化装置、音声復号化方法、音声復号化プログラムおよびプログラム記録媒体の好適な実施形態について添付図を参照して説明する。なお、以下の説明においては、本発明による音声復号化装置、音声復号化方法を説明するが、かかる音声復号化方法をコンピュータにより実行可能な音声復号化プログラムとして実施するようにしても良いし、あるいは、音声復号化プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。

（本発明の特徴）
本発明の実施形態の説明に先立って、まず、本発明の特徴についてその概要を説明する。本発明は、単位時間当たりのストリーム音声データとして符号化された１フレームのデータを復号化し、復号化した音声データを出力する音声復号化回路において、タイムスタンプの不連続や符号化データの音声モードの変化を検出した際に、該当するフレームの復号化音声データに対して１フレーム単位でミュート処理を行うことにより、かかる事態において発生するノイズを抑え、かつ、短時間で、音声データをミュート処理から復帰させて、再生可能とする点に特徴がある。

（実施形態の構成例）
次に、本発明による音声復号化装置の構成について、その一例を、図面を参照して説明する。図１は、本発明の音声復号化装置のブロック構成の一例を示すブロッ構成図であり、ＭＰＥＧ２−ＡＡＣ(Advanced Audio Coding)方式における一実施形態を示している。

図１に示す音声復号化装置は、復号化データ抽出部１、復号化部２、復号化バッファ３、ミュート処理制御部４を少なくとも含んで構成されている。復号化データ抽出部１は、ストリームデータとして入力されてきたＰＥＳ(Packetized Elementary Stream)データＰＤからＥＳ(Elementary Stream)データＥＤを抽出して、復号化部２へ出力する。また、復号化データ抽出部１は、出力したＥＳデータＥＤに対応するタイムスタンプ情報をミュート処理制御部４に通知する。

復号化部２は、入力されたＥＳデータＥＤを復号化し、復号化した音声データＡＤを復号化バッファ３に出力する。また、復号化したＥＳデータＥＤに含まれる音声モード情報をミュート処理制御部４に通知する。

次に、ミュート処理制御部４は、復号化データ抽出部１より通知された現フレームのタイムスタンプ情報と１フレーム前のタイムスタンプ情報とから、タイムスタンプが連続しているか否かを確認する。また、復号化部２より通知された現フレームの音声モードと１フレーム前の音声モードとを比較し、音声モードが一致しているか否かを確認する。

タイムスタンプ情報が連続していた場合で、かつ、音声モードが一致していた場合には、ミュート処理制御部４は、復号化バッファ３に対してミュート処理の指示を行うことなく、そのまま、出力するように指示する。この結果、復号化バッファ３は、復号化部２から入力されて一時保存している復号化した音声データＡＤを、そのまま、出力用音声データＯＤとして出力する。

一方、タイムスタンプ情報が不連続な場合、あるいは、音声モードが変化していた場合には、ミュート処理制御部４は、ミュート処理の実行を復号化バッファ３に対して指示する。この結果、復号化バッファ３は、復号化部２から入力されて一時保存している復号化した音声データＡＤに対して、ミュート処理を行い、出力用音声データＯＤとしてミュート処理を施した音声データを出力する。

（図１の実施形態の動作の説明）
図１に示す音声復号化装置の動作の一例について、図２に示すフローチャートおよび図３、図４の説明図を用いて説明する。図２は、図１の音声復号化装置の復号化動作の一例を説明するためのフローチャートであり、図３は、図１の音声復号化装置の復号化データ抽出部１に入力されたＰＥＳデータＰＤの一例を示すデータ構成図であり、図４は、図１の音声復号化装置の復号化バッファ３から出力される出力用音声データＯＤの一例を示す波形図である。

また、図３において、ＰＥＳデータＰＤは、フレーム１，２，３，４，…の順に、ＰＥＳデータＰＤ１，ＰＤ２，ＰＤ３，ＰＤ４，…と入力されてきており、各フレームそれぞれは、ＰＥＳヘッダとＥＳデータとによって構成され、各フレームそれぞれのＰＥＳヘッダには、タイムスタンプ情報が設定されており、それぞれのストリーム音声データを示すＥＳデータは、音声モードに関する情報を含み、ＥＳデータＥＤ１，ＥＤ２，ＥＤ３，ＥＤ４，…からなっている。また、図３のＥＳデータＥＤ１を復号化部２にて復号化して復号化バッファ３から出力される音声データが図４の出力用音声データＯＤ１となり、ＥＳデータＥＤ２，ＥＤ３，ＥＤ４，…それぞれを復号化して復号化バッファ３から出力される音声データが図４の出力用音声データＯＤ２，ＯＤ３，ＯＤ４，…となる。

まず、図２のフローチャートを用いて、復号化動作の一例を説明する。図２のフローチャートは、フレーム単位に入力されてくるＰＥＳデータＰＤのストリーム音声データを、１フレーム分、復号化処理する場合の動作を示している。最初のフレームとして入力されたＰＥＳデータＰＤ１から復号化データ抽出部１にて音声データすなわちＥＳデータＥＤ１を抽出して、復号化部２に送出する（ステップＳ１）。さらに、復号化データ抽出部１にて、ＰＥＳデータＰＤ１のヘッダ部つまりＰＥＳヘッダからタイムスタンプ情報を抽出して、ミュート処理制御部４に送出する（ステップＳ２）。

次に、ミュート処理制御部４において、入力されたタイムスタンプ情報と、ミュート処理制御部４に保存されている一つ前のフレームのタイムスタンプ情報との連続性をチェックする（ステップＳ３）。連続していた場合には（ステップＳ３のＹＥＳ）、復号化部２にて、入力されてきた音声データすなわちＥＳデータＥＤ１を復号化し、音声データＡＤ１として、復号化バッファ３に送出する（ステップＳ４）。なお、最初のフレームの場合は、ミュート処理制御部４には、一つ前のフレームのタイムスタンプ情報がまだ保存されていないので、タイムスタンプ情報は連続しているものとして扱われる。

さらに、復号化部２にて、復号化した音声データＡＤ１の音声モードに関する情報を抽出して、ミュート処理制御部４に送出する（ステップＳ５）。ミュート処理制御部４においては、入力された音声モードが、ミュート処理制御部４に保存されている一つ前のフレームの音声モードから変化しているか否かをチェックする（ステップＳ６）。音声モードが変化していない場合には（ステップＳ６のＮＯ）、復号化段階でのノイズは発生しないので、ミュート処理制御部４は、復号化バッファ３に対してミュート処理を行うような指示をすることなく、復号化した音声データＡＤ１をそのまま出力するように指示する。なお、最初のフレームの場合は、ミュート処理制御部４には、一つ前のフレームの音声モードがまだ保存されていないので、音声モードは変化していないものとして扱われる。

一方、ステップＳ３において、タイムスタンプ情報が連続していなかった場合（ステップＳ３のＮＯ）、あるいは、ステップＳ６において、音声モードが変化していると判定した場合には（ステップＳ６のＹＥＳ）、復号化段階で発生するノイズを抑止するために、復号化部２にて復号化されて、復号化バッファ３に送出された音声データＡＤ１のミュート処理を行って、復号化バッファ３に保存し直す（ステップＳ７）。

しかる後、復号化バッファ３に保存した音声データＡＤ１を、出力用音声データＯＤ１として、出力し（ステップＳ８）、さらに、ステップＳ２、ステップＳ５にてそれぞれ抽出した現フレームのタイムスタンプ情報、音声モードを、次のフレームの復号化時に参照可能とするために、ミュート処理制御部４にて一時保存する（ステップＳ９）。しかる後、ステップＳ１に復帰して、次のフレームに関する復号化動作に移行する。

以上のように、各フレーム内に含まれている情報から、復号化段階においてノイズが発生するか否かを判定するためのノイズ判定情報として、タイムスタンプ情報および／または音声モードを示す情報を抽出して、一つ前のフレームとの間でタイムスタンプ情報が不連続になっている場合、あるいは、一つ前のフレームとの間で音声モードが変化している場合には、復号化段階でノイズが発生する条件が成立しているものと判断して、出力する音声データに対してミュート処理を施すように動作する。また、かかるミュート処理を施すか否かは、フレーム単位に実施される。

次に、以上の動作を、図３、図４を用いてさらに説明する。図３において、フレーム１のＰＥＳデータＰＤ１とフレーム２のＰＥＳデータＰＤ２との間にて、タイムスタンプ情報が不連続となった場合、あるいは、音声モードが変化した場合には、前述したように、後続するフレーム２のＥＳデータＥＤ２を復号化部２にて復号化した音声データＡＤ２には、ノイズが発生し、ノイズを含む音声データＡＤ２を復号化バッファ３から出力する出力用音声データＯＤ２には、図４のフレーム２に点線で示すようなノイズ成分が含まれた状態になる。

そのため、フレーム２を復号化した際に、ミュート処理制御部４が、復号化データ抽出部１にてフレーム２のＰＥＳデータＰＤ２より抽出したタイムスタンプ情報と１フレーム前のフレーム１のＰＥＳデータＰＤ１より抽出したタイムスタンプ情報とが不連続となっていることを検出した場合、あるいは、復号化部２にてフレーム２のＥＳデータＥＤ２より抽出した音声モード情報が１フレーム前のフレーム１のＥＳデータＥＤ１より抽出した音声モードから変化していることを検出した場合には、復号化時に発生するノイズを抑えるために、復号化バッファ３に対して一時保存しているフレーム２の音声データＡＤ２のミュート処理の実行を指示する。

復号化バッファ３は、ミュート処理制御部４からの指示に従い、フレーム２のＥＳデータＥＤ２を復号化した音声データＡＤ２に対してミュート処理を実行し、復号化バッファ３から出力するフレーム２の出力用音声データＯＤ２には、図４のフレーム２に実線で示すようなミュート処理が施されて、出力用音声データＯＤ２として音声信号成分とともにノイズ成分も除去された音声データが出力される状態になる。

かくのごとく、本実施形態においては、タイムスタンプ情報が不連続となっていることを検出した場合、あるいは、音声モード情報が変化たことを検出した場合、１フレーム単位に、ミュート処理を行うものであり、図３の例においては、フレーム１とタイムスタンプ情報が不連続になったか、あるいは、音声モードが変化したフレーム２の期間のみ、復号化した音声データＡＤ２がミュートされるだけであり、以降は、ミュート処理から復帰し、フレーム３以降に復号化した音声データＡＤ３，ＡＤ４には、ミュート処理が実施されず、そのまま、出力用音声データＯＤ３，ＯＤ４として出力されるようになる。

（本実施形態の効果の説明）
タイムスタンプが不連続となった場合や、音声モードが変化した場合には、１フレーム単位にてミュート処理を行うことにより、復号化した音声データに発生するノイズを抑えるだけでなく、ミュート処理が必要な区間にのみミュート処理を行うため、復号化した音声データを、ミュート処理から短時間で復帰させることができる。

以上、本発明の好適実施例の構成を説明した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。例えば、本発明の実施態様は、課題を解決する手段における構成（１）に加えて、次のような構成として表現できる。

（２）前記ノイズ判定情報として抽出する情報が、タイムスタンプ情報および／または音声モードを示す情報である上記（１）の音声復号化装置。
（３）前記ミュート処理制御手段は、前記ノイズ判定情報として抽出した現フレームのタイムスタンプ情報が、一つ前のフレームのタイムスタンプ情報と連続していないか、あるいは、前記ノイズ判定情報として抽出した現フレームの音声モードが、一つ前のフレームの音声モードから変化していると判定した場合、現フレームの復号化音声データにミュート処理を施す上記（２）の音声復号化装置。
（４）ストリームデータとしてフレーム単位に分割された音声データを復号化する音声復号化方法において、各フレーム内に含まれている情報から、復号化段階においてノイズが発生するか否かを判定するための情報をノイズ判定情報として抽出し、該ノイズ判定情報に基づいて、ノイズが発生すると判定した場合には、該当するフレームの復号化音声データにミュート処理を施す音声復号化方法。
（５）前記ノイズ判定情報として抽出する情報が、タイムスタンプ情報および／または音声モードを示す情報である上記（４）の音声復号化方法。
（６）前記ノイズ判定情報として抽出した現フレームのタイムスタンプ情報が、一つ前のフレームのタイムスタンプ情報と連続していないか、あるいは、前記ノイズ判定情報として抽出した現フレームの音声モードが、一つ前のフレームの音声モードから変化していると判定した場合、現フレームの復号化音声データにミュート処理を施す上記（６）の音声復号化方法。
（７）上記（４）ないし（６）のいずれかの音声復号化方法を、コンピュータにより実行可能なプログラムとして実施している音声復号化プログラム。
（８）上記（７）の音声復号化プログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体。

本発明の音声復号化装置のブロック構成の一例を示すブロッ構成図である。 図１の音声復号化装置の復号化動作の一例を説明するためのフローチャートである。 図１の音声復号化装置の復号化データ抽出部に入力されたＰＥＳデータＰＤの一例を示すデータ構成図である。 図１の音声復号化装置の復号化バッファから出力される出力用音声データＯＤの一例を示す波形図である。

符号の説明

１ 復号化データ抽出部
２ 復号化部
３ 復号化バッファ
４ ミュート処理制御部

Claims (8)

1. ストリームデータとしてフレーム単位に分割された音声データを復号化する音声復号化装置において、各フレーム内に含まれている情報から、復号化段階においてノイズが発生するか否かを判定するための情報をノイズ判定情報として抽出し、該ノイズ判定情報に基づいて、ノイズが発生すると判定した場合には、該当するフレームの復号化音声データにミュート処理を施すミュート処理制御手段を少なくとも備えていることを特徴とする音声復号化装置。
2. 前記ノイズ判定情報として抽出する情報が、タイムスタンプ情報および／または音声モードを示す情報であることを特徴とする請求項１に記載の音声復号化装置。
3. 前記ミュート処理制御手段は、前記ノイズ判定情報として抽出した現フレームのタイムスタンプ情報が、一つ前のフレームのタイムスタンプ情報と連続していないか、あるいは、前記ノイズ判定情報として抽出した現フレームの音声モードが、一つ前のフレームの音声モードから変化していると判定した場合、現フレームの復号化音声データにミュート処理を施すことを特徴とする請求項２に記載の音声復号化装置。
4. ストリームデータとしてフレーム単位に分割された音声データを復号化する音声復号化方法において、各フレーム内に含まれている情報から、復号化段階においてノイズが発生するか否かを判定するための情報をノイズ判定情報として抽出し、該ノイズ判定情報に基づいて、ノイズが発生すると判定した場合には、該当するフレームの復号化音声データにミュート処理を施すことを特徴とする音声復号化方法。
5. 前記ノイズ判定情報として抽出する情報が、タイムスタンプ情報および／または音声モードを示す情報であることを特徴とする請求項４に記載の音声復号化方法。
6. 前記ノイズ判定情報として抽出した現フレームのタイムスタンプ情報が、一つ前のフレームのタイムスタンプ情報と連続していないか、あるいは、前記ノイズ判定情報として抽出した現フレームの音声モードが、一つ前のフレームの音声モードから変化していると判定した場合、現フレームの復号化音声データにミュート処理を施すことを特徴とする請求項６に記載の音声復号化方法。
7. 請求項４ないし６のいずれかに記載の音声復号化方法を、コンピュータにより実行可能なプログラムとして実施していることを特徴とする音声復号化プログラム。
8. 請求項７に記載の音声復号化プログラムを、コンピュータにより読み取り可能な記録媒体に記録していることを特徴とするプログラム記録媒体。

Images