JP2004126214A - オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents
オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP2004126214A JP2004126214A JP2002290046A JP2002290046A JP2004126214A JP 2004126214 A JP2004126214 A JP 2004126214A JP 2002290046 A JP2002290046 A JP 2002290046A JP 2002290046 A JP2002290046 A JP 2002290046A JP 2004126214 A JP2004126214 A JP 2004126214A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- watermark
- effect
- signal
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【課題】オーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生することができ、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうオーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【解決手段】マイク４でオーディオ信号を入力し、符号化器６で前記入力されたオーディオ信号を符号化し、エフェクタ５で前記入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生し、透かし生成器７で前記エフェクト情報から透かし信号を生成し、透かし挿入器８で前記生成された透かし信号を符号化されたオーディオ符号化データに埋め込む。
【選択図】 図１
【解決手段】マイク４でオーディオ信号を入力し、符号化器６で前記入力されたオーディオ信号を符号化し、エフェクタ５で前記入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生し、透かし生成器７で前記エフェクト情報から透かし信号を生成し、透かし挿入器８で前記生成された透かし信号を符号化されたオーディオ符号化データに埋め込む。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関し、特にエフェクト制御処理に関するものである。
【０００２】
【従来の技術】
高音質オーディオの符号化方式として、変換符号化方式である、ドルビーデジタル（ＡＣ−３）や、ＡＴＲＡＣ−３、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１ ＬａｙｅｒＩＩ、ＬａｙｅｒＩＩＩ（ＭＰ３）、ＭＰＥＧ２−ＡＡＣ （Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などの符号化方式が世の中に広く使われている。
【０００３】
これらの符号化方式の一部はＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）によって国際標準化されている。
【０００４】
上述したようなディジタル符号化規格の普及に伴い、これらをコンピュータなどの上で扱うためのファイルフォーマットが策定されている。例えばＭＰＥＧ−４ではその規格にファイルフォーマットが定義されている。さらにはコンピュータのＯＳやネットワークの構成に依存して、多くのファイルフォーマットが普及している。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対して、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。これはデータ再生時にデータが変化しない、あるいは、変化が知覚できないレベルで少量の情報を埋め込む技術である。オーディオデータに対して電子透かしを埋め込む技術としては、ＰＣＭデータをＭＰ３データにエンコードする際、エンコードしたハフマンコードと符号長が等しいハフマンコードから所定のビット位置のビットデータを変えたハフマンコードを選択し、この選択したハフマンコードで前記エンコードした元のハフマンコードを置換する方法（例えば、特許文献１参照。）や時間領域の信号から周波数領域の信号に置換され量子化処理を施されたオーディオデータに対して電子透かしを挿入する方法（例えば、特許文献２参照。）などがある。
【０００６】
一方、このようなデジタル化されたオーディオデータが一般に幅広く普及するにつれ、これらを加工する技術も年々深化し、リバーブ（オーディオ原信号の残響音を人工的に生成、合成するエフェクト）、コーラス（オーディオ原信号の位相をずらした信号を生成、合成するエフェクト）、エコー（オーディオ原信号を一時保存し、時間を遅らせたり振幅を変化させて指定された回数分原信号と合成するエフェクト）、ピッチシフト（オーディオ原信号の周波数スペクトル分布を保持したまま、周波数方向にずらして原信号と合成するエフェクト）、ディストーション（オーディオ原信号の時間波形のピーク部を平坦にする（削る）ことで、オーディオ原信号に歪みを加えるエフェクト）などのオーディオエフェクトもＤＳＰ等の汎用的なチップを用いて安価なコストで実現することができるようになった。
【０００７】
これらのエフェクトは、制御用のパラメータ（原信号との合成量、周波数や時間などのずらし幅、振幅の増幅度、回数、変化後の時間波形の指定、変化させる周波数帯域の指定、エフェクトリンクの指定（複数のエフェクトを原信号に掛ける場合の、エフェクトを掛ける順序の指定）など）を適宜制御することによって、様々な音響上の効果を得ることが可能である。
【０００８】
これらのエフェクトは、通常コンテンツ製作者側で使用され、オーディオ原信号がエフェクトにより加工された結果が符号化される。その際、コンテンツ製作者側で指定された各種エフェクトパラメータは符号化データには保存されない。
【０００９】
【特許文献１】
特開２００１−２０２０８９号公報
【特許文献２】
特開平１１−３１６５９９号公報
【００１０】
【発明が解決しようとする課題】
ところが、これらのエフェクトは不可逆であるため、オーディオデータの再生時に、ユーザが好みの音質に加工したり、サンプリングしてリミックスしたいといった場合、既に加工済みのオーディオデータを更に加工するしかなく、加工する前の原音が得られないという問題がある。その一方で、エフェクトの結果まで含めたオーディオコンテンツを提供したいというコンテンツ製作者の要求を同時に満たす必要がある。
【００１１】
このような場合、例えば原音とそのエフェクト情報を別々に符号化して重畳するという解決方法があるが、エフェクト情報の分だけ符号量が増してしまう。更に、特殊なフォーマットになってしまうため、通常の復号化器では復号再生できなくなってしまう。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、ＭＰＥＧ１−Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩであればアンシラリデータ域に追加情報を記載できるが、この領域に格納されるデータは各アプリケーションごとに任意となっており、互換性が取れないという問題がある。
【００１２】
従って、本発明は前記課題を考慮して、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生することができ、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうオーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するために本発明のオーディオ処理装置は、オーディオ信号を入力する入力手段と、前記入力手段によって入力されたオーディオ信号を符号化する符号化手段と、前記入力手段によって入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生手段と、前記エフェクト発生手段で発生されたエフェクト情報から透かし信号を生成する透かし信号生成手段と、前記透かし信号生成手段で生成された透かし信号を前記符号化手段で符号化されたオーディオ符号化データに埋め込む透かし埋め込み手段とを有することを特徴とする。
【００１４】
また、本発明のオーディオ処理装置は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力手段と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出手段と、前記透かし抽出手段で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得手段と、前記透かし抽出手段で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化手段と、前記エフェクト情報取得手段で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御手段とを有することを特徴とする。
【００１５】
また、本発明のオーディオ処理方法は、オーディオ信号を入力する入力工程と、 前記入力工程で入力されたオーディオ信号を符号化する符号化工程と、前記入力工程で入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生工程と、前記エフェクト発生工程で発生されたエフェクト情報から透かし信号を生成する透かし信号生成工程と、前記透かし信号生成工程で生成された透かし信号を前記符号化工程で符号化されたオーディオ符号化データに埋め込む透かし埋め込み工程とを有することを特徴とする。
【００１６】
また、本発明のオーディオ処理方法は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力工程と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出工程と、前記透かし抽出工程で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得工程と、前記透かし抽出工程で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化工程と、前記エフェクト情報取得工程で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御工程とを有することを特徴とする。
【００１７】
【発明の実施の形態】
〈実施例１〉
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。図１は本発明を適用するオーディオ符号化システムの構成を示すブロック図である。
【００１８】
図１において、１は本発明に基づくオーディオ処理装置である。２はエフェクトを掛けた音声を耳で確認するためのモニタースピーカーである。３は、不図示のコンテンツ製作者が各種エフェクトの設定、操作を行なうための操作部である。４は、オーディオ信号を入力するマイクである。５はオーディオ信号にコーラス、リバーブ、ピッチシフトなど様々なエフェクトを掛けて変化させるエフェクタである。６は、オーディオをフレーム単位で符号化する符号化器である。７はエフェクタから出力される各種エフェクトパラメータから透かしデータを生成する透かし生成器であり、８は透かしデータを符号化データに埋め込む透かし挿入器である。９は生成された符号化データを記録する記憶装置である。
【００１９】
上記のように構成されたオーディオ符号化システムにおけるオーディオ信号の処理動作を以下に説明する。
【００２０】
本実施例では、コンテンツ製作者が操作部３を操作してエフェクタ５の各種エフェクトを設定し、エフェクト情報が付加される場合について説明する。また、説明の便宜のため、符号化方式としてＭＰＥＧ２−ＡＡＣを用いるが、ＭＰＥＧ１ Ａｕｄｉｏ ＬａｙｅｒＩ，ＩＩ，ＩＩＩ，ＡＴＲＡＣ３，ＡＣ−３などのその他の変換符号化方式についても全く同様な方法で実現可能である。
【００２１】
処理に先立ち、各部を初期化する。
【００２２】
マイク４で集音されたオーディオ信号は連続してエフェクタ５と符号化器６に同時に入力される。
【００２３】
不図示のコンテンツ製作者は、逐次エフェクトの効果をモニタースピーカー２で確認しつつ、操作部３を操作してエフェクタ５の各種パラメータを設定する。
【００２４】
エフェクタ５は操作部３から送信される制御信号によって各種エフェクトパラメータを設定し、マイク４から送出されるオーディオ信号に逐次エフェクトを掛け、その結果をモニタースピーカー２へ出力する。また、符号化器６は入力されたオーディオ信号に対してＡＡＣ符号化方式で符号化し、その符号化データを保持する。
【００２５】
透かし生成器７は、エフェクタ５から送出されるエフェクトの種類やエフェクトリンク、エフェクトの深さやディレイタイムなどの各種エフェクトパラメータを受け取り、これらを例えば、計６４ビットのデータとして扱い、透かしデータとする。生成された透かしデータと埋め込み位置は透かし挿入器８に入力される。
【００２６】
透かし挿入器８は、符号化器６から読み出した符号化フレームデータに、透かし生成器７で生成された透かしデータを埋め込む。埋め込みの方法としては、例えば各オーディオ符号化フレームにおける最も高周波のサブバンドにおける、各周波数係数を±１の範囲で増減させ、意図的に奇数、もしくは偶数にして符号化データを変更する方法などで透かしデータを用いれば良い。すなわち、埋め込むデータの１ビットが０であれば、最後の係数を偶数に、１であれば奇数にする。
【００２７】
なお、電子透かし埋め込み方法として、本発明はこれに限定されず、既存の方法を使用しても良い。
【００２８】
このようにして透かしデータが埋め込まれた符号化データは記憶装置９の所定の位置に蓄積される。
【００２９】
以下、符号化データの蓄積までの処理の簡単な流れを、図７を用いて説明する。 図７は、本第１の実施例に係るオーディオ符号化システムにおけるオーディオ符号化処理を示すフローチャートである。
【００３０】
まずステップＳ１０１にて、装置の初期化を行なう。
【００３１】
次に、ステップＳ１０２にて符号化処理の終了かどうかの判定を行う。符号化処理を終了する場合はそのまま処理を終了する。符号化処理を終了しない場合は、ステップＳ１０３とステップＳ１０４に同時に進む。
【００３２】
ステップＳ１０３では、マイク４から入力されたオーディオ信号の符号化を行なう。同時に、ステップＳ１０４では、まず、操作部３の操作があったかどうかを判定し、操作があった場合はステップＳ１０５に進む。操作が無い場合は、ステップＳ１０６へ進む。
【００３３】
ステップＳ１０５では、操作部３から送出される制御信号によって、エフェクタ５の各種エフェクトパラメータ設定を変更し、ステップＳ１０６へ進む。
【００３４】
ステップＳ１０６では、エフェクタ５に入力されるオーディオ信号にエフェクトを施して、モニタースピーカー２に送出し、ステップＳ１０７へ進む。
【００３５】
ステップＳ１０７では、エフェクタ５の各種エフェクトパラメータを読み出し、透かし生成器７へ送出し、ステップＳ１０８へ進む。ステップＳ１０８では、エフェクタ５から読み出した各種エフェクトパラメータを透かしデータに変換し、ステップＳ１０９にてステップＳ１０３で符号化された符号化データに透かしデータを埋め込み、ステップＳ１１０にて記憶装置９に蓄積する。
【００３６】
このような一連の選択動作により、エフェクトパラメータを透かしとして符号化データに埋め込むことにより、符号量を増やすことなく復号側に原音のオーディオデータとエフェクトパラメータを別々に送信することが可能となる。
【００３７】
〈実施例２〉
図２は本発明の第２の実施例としてのオーディオ復号化システムの構成を示す図である。本実施例においてもＭＰＥＧ２−ＡＡＣ符号化方式を例にとって説明するが、これに限定されない。
【００３８】
図２において、１１は本発明に基づくオーディオ処理装置である。１２は記憶装置であり、符号化データが記録されている。１３は符号化データから透かしデータを抽出する透かし抽出器である。１４は抽出された透かしデータから各種エフェクトパラメータ情報を再生するエフェクト情報再生器である。１５は符号化されたオーディオデータを復号する復号器である。１６は復号されたオーディオ信号に各種エフェクトを掛けるエフェクタである。１７はエフェクタ１６の各種エフェクトパラメータを不図示のユーザが操作する操作部である。なお、本実施例において、エフェクタ１６の各種エフェクトパラメータの設定は逐次操作部上の各種スイッチに反映される。１８はエフェクトの掛かったオーディオ信号を出力するスピーカーである。
【００３９】
上記のように構成されたオーディオ復号システムにおけるオーディオ符号化データの処理動作を以下に説明する。
【００４０】
第２の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【００４１】
記憶装置１２から読み出されたオーディオ符号化データはフレーム単位でオーディオ処理装置１１に入力され、透かし抽出器１３に入力される。透かし抽出器１３では第１の実施例の図１における透かし挿入器８の逆の手順に従って６４ビットの透かしデータを抽出し、エフェクト情報再生器１４に入力する。透かしデータの抽出が終わった符号化データはそのまま復号化器１５に入力され、復号処理されてオーディオ信号に戻され、エフェクタ１６に入力される。
【００４２】
エフェクト情報再生器１４は６４ビットのデータから各種エフェクトパラメータを再生し、エフェクタ１６に送出する。操作部１７がユーザによって操作されると、変更されたエフェクトパラメータがエフェクタ１６に送出される。エフェクタ１６は、操作部１７から送出されるパラメータを優先して逐次各種エフェクトパラメータの設定を行なうとともに、パラメータ情報を操作部１７へ送出する。同時に、復号化器１５から送出されるオーディオ信号に逐次エフェクトを掛けて、その結果をスピーカー１８へ送出する。その結果、適宜エフェクトが掛かったオーディオ信号がスピーカー１８によって再生される。
【００４３】
以下、符号化データの再生までの処理の簡単な流れを、図８を用いて説明する。
【００４４】
図８は、第２の実施例に係るオーディオ復号化システムにおけるオーディオ復号化処理を示すフローチャートである。
【００４５】
まずステップＳ２０１にて、装置の初期化を行ない、ステップＳ２０２にて処理の終了判断を行なう。ステップＳ２０３にて記憶装置１２の所定の位置から１フレーム分の符号化データを読み込む。ステップＳ２０４にて符号化データから透かしデータを抽出し、６４ビットのエフェクトパラメータが再生され、ステップＳ２０５において１フレームの符号化データがオーディオ信号に復号される。
【００４６】
ステップＳ２０６にてユーザによって操作部１７が操作されたかどうかを判断し、操作されていない場合はステップＳ２０７に進み、操作された場合はＳ２０８へ進む。ステップＳ２０７では、ステップＳ２０４で再生されたエフェクトパラメータを操作部の各スイッチに反映し、ステップＳ２０９へ進む。ステップＳ２０８では、操作部から送出されるエフェクトパラメータ値を読み取り、ステップＳ２０９へ進む。
【００４７】
ステップＳ２０９では、前ステップまでに読み込まれたエフェクトパラメータに従ってエフェクタを設定し、ステップＳ２１０にて、ステップＳ２０５で復号されたオーディオ信号に対してエフェクト処理を実行し、ステップＳ２１１にてエフェクト処理されたオーディオ信号をモニタースピーカーに出力することによって、エフェクトの結果が実際の音として再生される。処理を終えるとステップＳ２０２へ進む。
【００４８】
このような一連の選択動作により、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生する場合に、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうことが可能になる。
【００４９】
〈実施例３〉
図３は本発明の第３の実施例としてのオーディオ符号化システムの構成を示す図である。なお、前述の実施例の図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００５０】
図３において、１０１は本発明に基づくオーディオ処理装置である。１０２は動画像符号化システムであり、本実施例におけるオーディオ符号化システムに対して、映像に同期したオーディオエフェクトＩＤを出力する。１０３はエフェクトパラメータ検索器であり、予めプリセットされたエフェクトパラメータセットテーブルを内部に持ち、外部から送信されるエフェクトＩＤを受信し、エフェクトＩＤによってエフェクトパラメータテーブルを検索し、適宜エフェクトパラメータセットの切り替えを瞬時に行なうことができる。
【００５１】
上記のように構成されたオーディオ符号化システムにおけるオーディオデータの処理動作を以下で説明する。
【００５２】
第３の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【００５３】
マイク４で集音されたオーディオ信号は連続して符号化器６に入力され、符号化器６は入力されたオーディオ信号に対してＡＡＣ符号化方式で符号化し、その符号化データを透かし挿入器８へ出力する。
【００５４】
エフェクトパラメータ検索器１０３は、動画像符号化システム１０２からエフェクトＩＤを受信し、これによって内部のエフェクトパラメータテーブルを検索し、得られたエフェクトパラメータセットを透かし生成器７へ送出する。なお、本実施例において、動画像によるエフェクトＩＤの選択決定は、動画像符号化システムにおいて動画像の分析によって自動選択されても良いし、ユーザが意図して選択したものであっても良い。すなわち、どのような手法で生成されたかには関わらない。
【００５５】
透かし生成器７は実施例１と同様に、入力されたエフェクトパラメータから６４ビットの透かしデータを生成し、透かし挿入器８に入力される。透かし挿入器８は、実施例１と同様に、符号化器６から読み出した符号化データに、生成された透かしデータを埋め込む。透かしデータが埋め込まれた符号化データは記憶装置９の所定の位置に蓄積される。
【００５６】
なお、本実施例によって符号化されたオーディオデータは、実施例２で説明したオーディオ処理装置で復号可能であり、実施例２と同様に再生時のエフェクト制御を好適に行なうことができる。
【００５７】
〈実施例４〉
図４は、本発明の第４の実施例に係るオーディオ処理装置の構成を示すブロック図である。図４において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【００５８】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。３０３は装置の起動、各種条件の設定、各種エフェクトの設定を行なうための端末である。３０４はソフトウェアを蓄積する記憶装置である。３０５はオーディオデータを蓄積する記憶装置である。記憶装置３０４および、３０５はシステムから切り離して移動できるメディアで構成することも出来る。３０６は音を集音してオーディオ信号に変換するマイク、３０７はオーディオ信号を音として出力するスピーカーであり、３０８は通信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回線３０８を介してオーディオデータを送受信する通信インターフェースである。
【００５９】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、オーディオデータを格納するオーディオエリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードやエフェクトパラメータ等を格納しておくワーキングエリアが存在する。
【００６０】
このような構成において、オーディオデータの符号化処理について説明する。
【００６１】
処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００６２】
図５は、実施例４におけるメモリ３０１のメモリの使用、格納状況を示す。
【００６３】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、オーディオを符号化する符号化ソフトウェア、透かしデータの生成と埋め込みを行なう透かし埋め込みソフトウェア、エフェクトパラメータに基づいてオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、本実施例において、符号化ソフトウェアとしてＭＰＥＧ２−ＡＡＣで符号化するソフトウェアの説明を行なうが、これに限定されない。
【００６４】
また、符号化やエフェクト処理の際にオーディオ信号を格納するオーディオエリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。
【００６５】
このような構成において、処理に先立ち、端末３０３からオーディオ信号の入力をマイク３０６から行なうものと設定しておく。
【００６６】
次に、ＣＰＵ３００によるオーディオデータの符号化動作を図９に示すフローチャートに従って説明する。図９は、第４の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【００６７】
まず、ステップＳ３０１では、各部の初期化を行なう。ステップＳ３０２では、マイク３０６からの入力が終了したか否かを判定し、終了していなければステップＳ３０３に、終了していれば符号化動作を終える。
【００６８】
ステップＳ３０３では、マイク３０６からオーディオ信号を１フレーム分入力し、メモリ３０１のオーディオエリアに格納し、ステップＳ３０４に進む。ステップＳ３０４では、メモリ３０１上の符号化ソフトウェアを用いてＭＰＥＧ２−ＡＡＣ符号化を行ない、符号化データをメモリ３０１上の符号エリアに格納し、ステップＳ３０５に進む。
【００６９】
ステップＳ３０５では、コンテンツ製作者が端末３０３を操作してエフェクトの変更操作をしたかどうかを判定する。エフェクト変更操作がある場合は、ステップＳ３０６へ進み、変更操作が無い場合はステップＳ３０７へ進む。ステップＳ３０６では、端末３０３のエフェクト変更操作によって送出される制御信号に従って、メモリ３０１上のワークエリアに格納されているエフェクトパラメータを適宜変更し、ステップＳ３０７へ進む。ステップＳ３０７では、メモリ３０１上のエフェクトソフトウェアを用いて、メモリ３０１のオーディオエリアに格納されているオーディオ信号に対してエフェクト処理を実行し、次のステップＳ３０８でその結果をスピーカー３０７に出力し、ステップＳ３０９へ進む。これにより、エフェクト処理を施されたオーディオ信号がスピーカー３０７から音として出力される。
【００７０】
ステップＳ３０９では、メモリ３０１のワークエリアに格納されているエフェクトパラメータから透かしを生成し、ステップＳ３１０へ進む。ステップＳ３１０では、メモリ３０１の符号エリアに格納されている符号化データに透かしを埋め込み、ステップＳ３１１へ進む。ステップＳ３１１では、メモリ３０１上の符号エリアに格納されている透かしが埋め込まれた符号化データを記憶装置３０４に出力して所定の位置に書き込んだり、通信インターフェース３０９を介して通信回線３０８に送出したりして、ステップＳ２へ進む。
【００７１】
このような一連の選択動作により、エフェクト操作に必要な情報を生成し、透かしとして埋め込むことにより、符号量を無駄に増やすことなく復号側でのエフェクト再生を好適に行なえるようにすることが可能である。
【００７２】
〈実施例５〉
本実施例では符号化オーディオデータの復号化処理について説明する。オーディオ処理装置の構成は実施例４の図４を用いる。本説明でもＭＰＥＧ２−ＡＡＣ符号化方式を例にとって説明するが、本発明は特にこれに限定されることはない。本実施例では実施例４で生成され、記憶装置３０４に格納された符号化データの復号処理を例にとって説明する。
【００７３】
図４の構成において、処理に先立ち、端末３０３から記憶装置３０４に蓄積されているオーディオ符号化データから復号する符号化データを選択し、装置の起動が指示される。すると記憶装置３０５に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００７４】
図６は、実施例５におけるメモリ３０１のメモリの使用、格納状況を示す。
【００７５】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、オーディオを復号する復号ソフトウェア、透かしデータの抽出と解析を行なう透かし抽出ソフトウェア、エフェクトパラメータに基づいて復号化されたオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、復号ソフトウェアはＭＰＥＧ２−ＡＡＣを復号するソフトウェアとして説明をするが、これに限定されない。 このような構成において、処理に先立ち、端末３０３からオーディオ信号の出力をスピーカ３０７から行なうものと設定する。
【００７６】
次に、ＣＰＵ５００によるオーディオ符号化データの復号化動作を図１０に示すフローチャートに従って説明する。図１０は、第５の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【００７７】
ステップＳ４０１では、復号の際の各種パラメータの初期化を行いステップＳ４０２へ進む。ステップＳ４０２では、符号化データの全ての復号が終了したか否かを判定し、終了していなければステップＳ４０３に、終了していれば全ての処理を終了する。
【００７８】
ステップＳ４０３では、記憶装置３０４からフレームの符号化データを読み出して、メモリ３０１上の符号エリアに格納し、ステップＳ４０４に進む。ステップＳ４０４では、メモリ３０１上の透かし抽出ソフトウェアを用いて、Ｓ４０３でメモリ３０１上に読み出された符号化データから透かしデータの抽出を行ない、得られた透かしデータをエフェクトパラメータとしてメモリ３０１上のワークエリアに格納し、ステップＳ４０５へ進む。ステップＳ４０５では、透かしデータの抽出が終わった符号化データの復号化を行ない、得られたオーディオ信号をメモリ３０１上のオーディオエリアに格納し、Ｓ４０６へ進む。
【００７９】
ステップＳ４０６では、端末３０３を操作してユーザがエフェクト設定を操作したか否かを判定する。ユーザがエフェクト設定操作を行なった場合は、ステップＳ４０７へ進む。そうでない場合は、ステップＳ４０８へ進む。ステップＳ４０７では、ユーザが端末３０３を操作して行なったエフェクトパラメータの変更を、端末３０３から送信される制御情報から読み取り、ステップＳ４０８へ進む。ステップＳ４０８では、メモリ３０１のワークエリアに格納されているエフェクトパラメータに、ユーザによる設定変更がある場合は、エフェクトパラメータを再設定し、ステップＳ４０９へ進む。
【００８０】
ステップＳ４０９では、メモリ３０１上のエフェクトソフトウェアを用いて、メモリ３０１上のオーディオエリアに格納されている復号化されたオーディオ信号に対して、ワークエリアのエフェクトパラメータを参照しつつ、エフェクト処理を行い、ステップＳ４１０へ進む。ステップＳ１１０では、エフェクト処理が施されたオーディオ信号をスピーカー３０７へ出力する。これにより、エフェクト処理されたオーディオ信号が実際の音としてスピーカー３０７から再生される。処理を終えると、Ｓ４０２へ進む。
【００８１】
このような一連の選択動作により、透かしデータからエフェクトパラメータを読み出すことにより、コンテンツ製作者が意図した音の再生が可能になるばかりではなく、必要な場合はユーザの好みに再生音を変更することが可能になる。更に、符号量を無駄に増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【００８２】
〈その他実施例〉
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【００８３】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
上記実施例に加えて出力時に新たなファイルフォーマットで記述することはもちろん可能である。この際に例えばアンシラリデータ領域等にエフェクトパラメータを記載することはもちろんかまわない。
【００８６】
また、上記実施例において、オーディオの符号化方式をＭＰＥＧ２−ＡＡＣとしたが他の符号化方式、たとえば、ＭＰＥＧ１ Ａｕｄｉｏ Ｌａｙｅｒ Ｉ，ＩＩ，ＩＩＩ、ＭＰＥＧ４、ＡＴＲＡＣ３，ＡＣ−３でももちろんかまわない。
【００８７】
また、上記実施例において、エフェクトパラメータをそのまま透かしデータとして符号化データに埋め込んでいるが、これは他の方法をとってもかまわない。例えば、予めプリセットされたエフェクトパラメータセットのＩＤを符号化側で透かしとして埋め込み、復号化側で透かし抽出後、エフェクトパラメータＩＤをエフェクトパラメータのセットに再生することによって実現することも可能である。この場合、透かしとして埋め込むデータ量を更に圧縮することが可能である。
【００８８】
また、上記実施例において、エフェクトパラメータを透かしデータとして符号化データの中に埋め込んだため、特定のファイルフォーマットに依存せず、どのようなファイルフォーマットで記述された場合でも、再生に関して問題を生じない効果がある。
【００８９】
【発明の効果】
以上の説明から明らかなように、本発明では、コンテンツ製作者が意図したエフェクトパラメータを透かしデータとして符号化データの中に埋め込むことにより、コンテンツ製作者が意図した音声を再現することが可能になるばかりではなく、必要な場合は再生側においてユーザの好みのエフェクトを施して再生することが可能になる。また、無駄に符号量を増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【図面の簡単な説明】
【図１】第１の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図２】第２の実施例におけるオーディオ復号化システムの構成を示すブロック図である。
【図３】第３の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図４】第４の実施例、第５の実施例におけるオーディオ処理システムの構成を示すブロック図である。
【図５】第４の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図６】第５の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図７】第１の実施例に係るオーディオ符号化システムにおける符号化処理を示すフローチャート図である。
【図８】第２の実施例に係るオーディオ復号化システムにおける復号化処理を示すフローチャート図である。
【図９】第４の実施例に係るオーディオ処理システムにおける符号化処理を示すフローチャート図である。
【図１０】第５の実施例に係るオーディオ処理システムにおける復号化処理を示すフローチャート図である。
【発明の属する技術分野】
本発明は、オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関し、特にエフェクト制御処理に関するものである。
【０００２】
【従来の技術】
高音質オーディオの符号化方式として、変換符号化方式である、ドルビーデジタル（ＡＣ−３）や、ＡＴＲＡＣ−３、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１ ＬａｙｅｒＩＩ、ＬａｙｅｒＩＩＩ（ＭＰ３）、ＭＰＥＧ２−ＡＡＣ （Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などの符号化方式が世の中に広く使われている。
【０００３】
これらの符号化方式の一部はＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）によって国際標準化されている。
【０００４】
上述したようなディジタル符号化規格の普及に伴い、これらをコンピュータなどの上で扱うためのファイルフォーマットが策定されている。例えばＭＰＥＧ−４ではその規格にファイルフォーマットが定義されている。さらにはコンピュータのＯＳやネットワークの構成に依存して、多くのファイルフォーマットが普及している。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対して、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。これはデータ再生時にデータが変化しない、あるいは、変化が知覚できないレベルで少量の情報を埋め込む技術である。オーディオデータに対して電子透かしを埋め込む技術としては、ＰＣＭデータをＭＰ３データにエンコードする際、エンコードしたハフマンコードと符号長が等しいハフマンコードから所定のビット位置のビットデータを変えたハフマンコードを選択し、この選択したハフマンコードで前記エンコードした元のハフマンコードを置換する方法（例えば、特許文献１参照。）や時間領域の信号から周波数領域の信号に置換され量子化処理を施されたオーディオデータに対して電子透かしを挿入する方法（例えば、特許文献２参照。）などがある。
【０００６】
一方、このようなデジタル化されたオーディオデータが一般に幅広く普及するにつれ、これらを加工する技術も年々深化し、リバーブ（オーディオ原信号の残響音を人工的に生成、合成するエフェクト）、コーラス（オーディオ原信号の位相をずらした信号を生成、合成するエフェクト）、エコー（オーディオ原信号を一時保存し、時間を遅らせたり振幅を変化させて指定された回数分原信号と合成するエフェクト）、ピッチシフト（オーディオ原信号の周波数スペクトル分布を保持したまま、周波数方向にずらして原信号と合成するエフェクト）、ディストーション（オーディオ原信号の時間波形のピーク部を平坦にする（削る）ことで、オーディオ原信号に歪みを加えるエフェクト）などのオーディオエフェクトもＤＳＰ等の汎用的なチップを用いて安価なコストで実現することができるようになった。
【０００７】
これらのエフェクトは、制御用のパラメータ（原信号との合成量、周波数や時間などのずらし幅、振幅の増幅度、回数、変化後の時間波形の指定、変化させる周波数帯域の指定、エフェクトリンクの指定（複数のエフェクトを原信号に掛ける場合の、エフェクトを掛ける順序の指定）など）を適宜制御することによって、様々な音響上の効果を得ることが可能である。
【０００８】
これらのエフェクトは、通常コンテンツ製作者側で使用され、オーディオ原信号がエフェクトにより加工された結果が符号化される。その際、コンテンツ製作者側で指定された各種エフェクトパラメータは符号化データには保存されない。
【０００９】
【特許文献１】
特開２００１−２０２０８９号公報
【特許文献２】
特開平１１−３１６５９９号公報
【００１０】
【発明が解決しようとする課題】
ところが、これらのエフェクトは不可逆であるため、オーディオデータの再生時に、ユーザが好みの音質に加工したり、サンプリングしてリミックスしたいといった場合、既に加工済みのオーディオデータを更に加工するしかなく、加工する前の原音が得られないという問題がある。その一方で、エフェクトの結果まで含めたオーディオコンテンツを提供したいというコンテンツ製作者の要求を同時に満たす必要がある。
【００１１】
このような場合、例えば原音とそのエフェクト情報を別々に符号化して重畳するという解決方法があるが、エフェクト情報の分だけ符号量が増してしまう。更に、特殊なフォーマットになってしまうため、通常の復号化器では復号再生できなくなってしまう。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、ＭＰＥＧ１−Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩであればアンシラリデータ域に追加情報を記載できるが、この領域に格納されるデータは各アプリケーションごとに任意となっており、互換性が取れないという問題がある。
【００１２】
従って、本発明は前記課題を考慮して、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生することができ、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうオーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するために本発明のオーディオ処理装置は、オーディオ信号を入力する入力手段と、前記入力手段によって入力されたオーディオ信号を符号化する符号化手段と、前記入力手段によって入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生手段と、前記エフェクト発生手段で発生されたエフェクト情報から透かし信号を生成する透かし信号生成手段と、前記透かし信号生成手段で生成された透かし信号を前記符号化手段で符号化されたオーディオ符号化データに埋め込む透かし埋め込み手段とを有することを特徴とする。
【００１４】
また、本発明のオーディオ処理装置は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力手段と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出手段と、前記透かし抽出手段で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得手段と、前記透かし抽出手段で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化手段と、前記エフェクト情報取得手段で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御手段とを有することを特徴とする。
【００１５】
また、本発明のオーディオ処理方法は、オーディオ信号を入力する入力工程と、 前記入力工程で入力されたオーディオ信号を符号化する符号化工程と、前記入力工程で入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生工程と、前記エフェクト発生工程で発生されたエフェクト情報から透かし信号を生成する透かし信号生成工程と、前記透かし信号生成工程で生成された透かし信号を前記符号化工程で符号化されたオーディオ符号化データに埋め込む透かし埋め込み工程とを有することを特徴とする。
【００１６】
また、本発明のオーディオ処理方法は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力工程と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出工程と、前記透かし抽出工程で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得工程と、前記透かし抽出工程で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化工程と、前記エフェクト情報取得工程で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御工程とを有することを特徴とする。
【００１７】
【発明の実施の形態】
〈実施例１〉
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。図１は本発明を適用するオーディオ符号化システムの構成を示すブロック図である。
【００１８】
図１において、１は本発明に基づくオーディオ処理装置である。２はエフェクトを掛けた音声を耳で確認するためのモニタースピーカーである。３は、不図示のコンテンツ製作者が各種エフェクトの設定、操作を行なうための操作部である。４は、オーディオ信号を入力するマイクである。５はオーディオ信号にコーラス、リバーブ、ピッチシフトなど様々なエフェクトを掛けて変化させるエフェクタである。６は、オーディオをフレーム単位で符号化する符号化器である。７はエフェクタから出力される各種エフェクトパラメータから透かしデータを生成する透かし生成器であり、８は透かしデータを符号化データに埋め込む透かし挿入器である。９は生成された符号化データを記録する記憶装置である。
【００１９】
上記のように構成されたオーディオ符号化システムにおけるオーディオ信号の処理動作を以下に説明する。
【００２０】
本実施例では、コンテンツ製作者が操作部３を操作してエフェクタ５の各種エフェクトを設定し、エフェクト情報が付加される場合について説明する。また、説明の便宜のため、符号化方式としてＭＰＥＧ２−ＡＡＣを用いるが、ＭＰＥＧ１ Ａｕｄｉｏ ＬａｙｅｒＩ，ＩＩ，ＩＩＩ，ＡＴＲＡＣ３，ＡＣ−３などのその他の変換符号化方式についても全く同様な方法で実現可能である。
【００２１】
処理に先立ち、各部を初期化する。
【００２２】
マイク４で集音されたオーディオ信号は連続してエフェクタ５と符号化器６に同時に入力される。
【００２３】
不図示のコンテンツ製作者は、逐次エフェクトの効果をモニタースピーカー２で確認しつつ、操作部３を操作してエフェクタ５の各種パラメータを設定する。
【００２４】
エフェクタ５は操作部３から送信される制御信号によって各種エフェクトパラメータを設定し、マイク４から送出されるオーディオ信号に逐次エフェクトを掛け、その結果をモニタースピーカー２へ出力する。また、符号化器６は入力されたオーディオ信号に対してＡＡＣ符号化方式で符号化し、その符号化データを保持する。
【００２５】
透かし生成器７は、エフェクタ５から送出されるエフェクトの種類やエフェクトリンク、エフェクトの深さやディレイタイムなどの各種エフェクトパラメータを受け取り、これらを例えば、計６４ビットのデータとして扱い、透かしデータとする。生成された透かしデータと埋め込み位置は透かし挿入器８に入力される。
【００２６】
透かし挿入器８は、符号化器６から読み出した符号化フレームデータに、透かし生成器７で生成された透かしデータを埋め込む。埋め込みの方法としては、例えば各オーディオ符号化フレームにおける最も高周波のサブバンドにおける、各周波数係数を±１の範囲で増減させ、意図的に奇数、もしくは偶数にして符号化データを変更する方法などで透かしデータを用いれば良い。すなわち、埋め込むデータの１ビットが０であれば、最後の係数を偶数に、１であれば奇数にする。
【００２７】
なお、電子透かし埋め込み方法として、本発明はこれに限定されず、既存の方法を使用しても良い。
【００２８】
このようにして透かしデータが埋め込まれた符号化データは記憶装置９の所定の位置に蓄積される。
【００２９】
以下、符号化データの蓄積までの処理の簡単な流れを、図７を用いて説明する。 図７は、本第１の実施例に係るオーディオ符号化システムにおけるオーディオ符号化処理を示すフローチャートである。
【００３０】
まずステップＳ１０１にて、装置の初期化を行なう。
【００３１】
次に、ステップＳ１０２にて符号化処理の終了かどうかの判定を行う。符号化処理を終了する場合はそのまま処理を終了する。符号化処理を終了しない場合は、ステップＳ１０３とステップＳ１０４に同時に進む。
【００３２】
ステップＳ１０３では、マイク４から入力されたオーディオ信号の符号化を行なう。同時に、ステップＳ１０４では、まず、操作部３の操作があったかどうかを判定し、操作があった場合はステップＳ１０５に進む。操作が無い場合は、ステップＳ１０６へ進む。
【００３３】
ステップＳ１０５では、操作部３から送出される制御信号によって、エフェクタ５の各種エフェクトパラメータ設定を変更し、ステップＳ１０６へ進む。
【００３４】
ステップＳ１０６では、エフェクタ５に入力されるオーディオ信号にエフェクトを施して、モニタースピーカー２に送出し、ステップＳ１０７へ進む。
【００３５】
ステップＳ１０７では、エフェクタ５の各種エフェクトパラメータを読み出し、透かし生成器７へ送出し、ステップＳ１０８へ進む。ステップＳ１０８では、エフェクタ５から読み出した各種エフェクトパラメータを透かしデータに変換し、ステップＳ１０９にてステップＳ１０３で符号化された符号化データに透かしデータを埋め込み、ステップＳ１１０にて記憶装置９に蓄積する。
【００３６】
このような一連の選択動作により、エフェクトパラメータを透かしとして符号化データに埋め込むことにより、符号量を増やすことなく復号側に原音のオーディオデータとエフェクトパラメータを別々に送信することが可能となる。
【００３７】
〈実施例２〉
図２は本発明の第２の実施例としてのオーディオ復号化システムの構成を示す図である。本実施例においてもＭＰＥＧ２−ＡＡＣ符号化方式を例にとって説明するが、これに限定されない。
【００３８】
図２において、１１は本発明に基づくオーディオ処理装置である。１２は記憶装置であり、符号化データが記録されている。１３は符号化データから透かしデータを抽出する透かし抽出器である。１４は抽出された透かしデータから各種エフェクトパラメータ情報を再生するエフェクト情報再生器である。１５は符号化されたオーディオデータを復号する復号器である。１６は復号されたオーディオ信号に各種エフェクトを掛けるエフェクタである。１７はエフェクタ１６の各種エフェクトパラメータを不図示のユーザが操作する操作部である。なお、本実施例において、エフェクタ１６の各種エフェクトパラメータの設定は逐次操作部上の各種スイッチに反映される。１８はエフェクトの掛かったオーディオ信号を出力するスピーカーである。
【００３９】
上記のように構成されたオーディオ復号システムにおけるオーディオ符号化データの処理動作を以下に説明する。
【００４０】
第２の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【００４１】
記憶装置１２から読み出されたオーディオ符号化データはフレーム単位でオーディオ処理装置１１に入力され、透かし抽出器１３に入力される。透かし抽出器１３では第１の実施例の図１における透かし挿入器８の逆の手順に従って６４ビットの透かしデータを抽出し、エフェクト情報再生器１４に入力する。透かしデータの抽出が終わった符号化データはそのまま復号化器１５に入力され、復号処理されてオーディオ信号に戻され、エフェクタ１６に入力される。
【００４２】
エフェクト情報再生器１４は６４ビットのデータから各種エフェクトパラメータを再生し、エフェクタ１６に送出する。操作部１７がユーザによって操作されると、変更されたエフェクトパラメータがエフェクタ１６に送出される。エフェクタ１６は、操作部１７から送出されるパラメータを優先して逐次各種エフェクトパラメータの設定を行なうとともに、パラメータ情報を操作部１７へ送出する。同時に、復号化器１５から送出されるオーディオ信号に逐次エフェクトを掛けて、その結果をスピーカー１８へ送出する。その結果、適宜エフェクトが掛かったオーディオ信号がスピーカー１８によって再生される。
【００４３】
以下、符号化データの再生までの処理の簡単な流れを、図８を用いて説明する。
【００４４】
図８は、第２の実施例に係るオーディオ復号化システムにおけるオーディオ復号化処理を示すフローチャートである。
【００４５】
まずステップＳ２０１にて、装置の初期化を行ない、ステップＳ２０２にて処理の終了判断を行なう。ステップＳ２０３にて記憶装置１２の所定の位置から１フレーム分の符号化データを読み込む。ステップＳ２０４にて符号化データから透かしデータを抽出し、６４ビットのエフェクトパラメータが再生され、ステップＳ２０５において１フレームの符号化データがオーディオ信号に復号される。
【００４６】
ステップＳ２０６にてユーザによって操作部１７が操作されたかどうかを判断し、操作されていない場合はステップＳ２０７に進み、操作された場合はＳ２０８へ進む。ステップＳ２０７では、ステップＳ２０４で再生されたエフェクトパラメータを操作部の各スイッチに反映し、ステップＳ２０９へ進む。ステップＳ２０８では、操作部から送出されるエフェクトパラメータ値を読み取り、ステップＳ２０９へ進む。
【００４７】
ステップＳ２０９では、前ステップまでに読み込まれたエフェクトパラメータに従ってエフェクタを設定し、ステップＳ２１０にて、ステップＳ２０５で復号されたオーディオ信号に対してエフェクト処理を実行し、ステップＳ２１１にてエフェクト処理されたオーディオ信号をモニタースピーカーに出力することによって、エフェクトの結果が実際の音として再生される。処理を終えるとステップＳ２０２へ進む。
【００４８】
このような一連の選択動作により、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生する場合に、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうことが可能になる。
【００４９】
〈実施例３〉
図３は本発明の第３の実施例としてのオーディオ符号化システムの構成を示す図である。なお、前述の実施例の図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００５０】
図３において、１０１は本発明に基づくオーディオ処理装置である。１０２は動画像符号化システムであり、本実施例におけるオーディオ符号化システムに対して、映像に同期したオーディオエフェクトＩＤを出力する。１０３はエフェクトパラメータ検索器であり、予めプリセットされたエフェクトパラメータセットテーブルを内部に持ち、外部から送信されるエフェクトＩＤを受信し、エフェクトＩＤによってエフェクトパラメータテーブルを検索し、適宜エフェクトパラメータセットの切り替えを瞬時に行なうことができる。
【００５１】
上記のように構成されたオーディオ符号化システムにおけるオーディオデータの処理動作を以下で説明する。
【００５２】
第３の実施例において第１の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【００５３】
マイク４で集音されたオーディオ信号は連続して符号化器６に入力され、符号化器６は入力されたオーディオ信号に対してＡＡＣ符号化方式で符号化し、その符号化データを透かし挿入器８へ出力する。
【００５４】
エフェクトパラメータ検索器１０３は、動画像符号化システム１０２からエフェクトＩＤを受信し、これによって内部のエフェクトパラメータテーブルを検索し、得られたエフェクトパラメータセットを透かし生成器７へ送出する。なお、本実施例において、動画像によるエフェクトＩＤの選択決定は、動画像符号化システムにおいて動画像の分析によって自動選択されても良いし、ユーザが意図して選択したものであっても良い。すなわち、どのような手法で生成されたかには関わらない。
【００５５】
透かし生成器７は実施例１と同様に、入力されたエフェクトパラメータから６４ビットの透かしデータを生成し、透かし挿入器８に入力される。透かし挿入器８は、実施例１と同様に、符号化器６から読み出した符号化データに、生成された透かしデータを埋め込む。透かしデータが埋め込まれた符号化データは記憶装置９の所定の位置に蓄積される。
【００５６】
なお、本実施例によって符号化されたオーディオデータは、実施例２で説明したオーディオ処理装置で復号可能であり、実施例２と同様に再生時のエフェクト制御を好適に行なうことができる。
【００５７】
〈実施例４〉
図４は、本発明の第４の実施例に係るオーディオ処理装置の構成を示すブロック図である。図４において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【００５８】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。３０３は装置の起動、各種条件の設定、各種エフェクトの設定を行なうための端末である。３０４はソフトウェアを蓄積する記憶装置である。３０５はオーディオデータを蓄積する記憶装置である。記憶装置３０４および、３０５はシステムから切り離して移動できるメディアで構成することも出来る。３０６は音を集音してオーディオ信号に変換するマイク、３０７はオーディオ信号を音として出力するスピーカーであり、３０８は通信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回線３０８を介してオーディオデータを送受信する通信インターフェースである。
【００５９】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、オーディオデータを格納するオーディオエリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードやエフェクトパラメータ等を格納しておくワーキングエリアが存在する。
【００６０】
このような構成において、オーディオデータの符号化処理について説明する。
【００６１】
処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００６２】
図５は、実施例４におけるメモリ３０１のメモリの使用、格納状況を示す。
【００６３】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、オーディオを符号化する符号化ソフトウェア、透かしデータの生成と埋め込みを行なう透かし埋め込みソフトウェア、エフェクトパラメータに基づいてオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、本実施例において、符号化ソフトウェアとしてＭＰＥＧ２−ＡＡＣで符号化するソフトウェアの説明を行なうが、これに限定されない。
【００６４】
また、符号化やエフェクト処理の際にオーディオ信号を格納するオーディオエリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。
【００６５】
このような構成において、処理に先立ち、端末３０３からオーディオ信号の入力をマイク３０６から行なうものと設定しておく。
【００６６】
次に、ＣＰＵ３００によるオーディオデータの符号化動作を図９に示すフローチャートに従って説明する。図９は、第４の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【００６７】
まず、ステップＳ３０１では、各部の初期化を行なう。ステップＳ３０２では、マイク３０６からの入力が終了したか否かを判定し、終了していなければステップＳ３０３に、終了していれば符号化動作を終える。
【００６８】
ステップＳ３０３では、マイク３０６からオーディオ信号を１フレーム分入力し、メモリ３０１のオーディオエリアに格納し、ステップＳ３０４に進む。ステップＳ３０４では、メモリ３０１上の符号化ソフトウェアを用いてＭＰＥＧ２−ＡＡＣ符号化を行ない、符号化データをメモリ３０１上の符号エリアに格納し、ステップＳ３０５に進む。
【００６９】
ステップＳ３０５では、コンテンツ製作者が端末３０３を操作してエフェクトの変更操作をしたかどうかを判定する。エフェクト変更操作がある場合は、ステップＳ３０６へ進み、変更操作が無い場合はステップＳ３０７へ進む。ステップＳ３０６では、端末３０３のエフェクト変更操作によって送出される制御信号に従って、メモリ３０１上のワークエリアに格納されているエフェクトパラメータを適宜変更し、ステップＳ３０７へ進む。ステップＳ３０７では、メモリ３０１上のエフェクトソフトウェアを用いて、メモリ３０１のオーディオエリアに格納されているオーディオ信号に対してエフェクト処理を実行し、次のステップＳ３０８でその結果をスピーカー３０７に出力し、ステップＳ３０９へ進む。これにより、エフェクト処理を施されたオーディオ信号がスピーカー３０７から音として出力される。
【００７０】
ステップＳ３０９では、メモリ３０１のワークエリアに格納されているエフェクトパラメータから透かしを生成し、ステップＳ３１０へ進む。ステップＳ３１０では、メモリ３０１の符号エリアに格納されている符号化データに透かしを埋め込み、ステップＳ３１１へ進む。ステップＳ３１１では、メモリ３０１上の符号エリアに格納されている透かしが埋め込まれた符号化データを記憶装置３０４に出力して所定の位置に書き込んだり、通信インターフェース３０９を介して通信回線３０８に送出したりして、ステップＳ２へ進む。
【００７１】
このような一連の選択動作により、エフェクト操作に必要な情報を生成し、透かしとして埋め込むことにより、符号量を無駄に増やすことなく復号側でのエフェクト再生を好適に行なえるようにすることが可能である。
【００７２】
〈実施例５〉
本実施例では符号化オーディオデータの復号化処理について説明する。オーディオ処理装置の構成は実施例４の図４を用いる。本説明でもＭＰＥＧ２−ＡＡＣ符号化方式を例にとって説明するが、本発明は特にこれに限定されることはない。本実施例では実施例４で生成され、記憶装置３０４に格納された符号化データの復号処理を例にとって説明する。
【００７３】
図４の構成において、処理に先立ち、端末３０３から記憶装置３０４に蓄積されているオーディオ符号化データから復号する符号化データを選択し、装置の起動が指示される。すると記憶装置３０５に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００７４】
図６は、実施例５におけるメモリ３０１のメモリの使用、格納状況を示す。
【００７５】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、オーディオを復号する復号ソフトウェア、透かしデータの抽出と解析を行なう透かし抽出ソフトウェア、エフェクトパラメータに基づいて復号化されたオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、復号ソフトウェアはＭＰＥＧ２−ＡＡＣを復号するソフトウェアとして説明をするが、これに限定されない。 このような構成において、処理に先立ち、端末３０３からオーディオ信号の出力をスピーカ３０７から行なうものと設定する。
【００７６】
次に、ＣＰＵ５００によるオーディオ符号化データの復号化動作を図１０に示すフローチャートに従って説明する。図１０は、第５の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【００７７】
ステップＳ４０１では、復号の際の各種パラメータの初期化を行いステップＳ４０２へ進む。ステップＳ４０２では、符号化データの全ての復号が終了したか否かを判定し、終了していなければステップＳ４０３に、終了していれば全ての処理を終了する。
【００７８】
ステップＳ４０３では、記憶装置３０４からフレームの符号化データを読み出して、メモリ３０１上の符号エリアに格納し、ステップＳ４０４に進む。ステップＳ４０４では、メモリ３０１上の透かし抽出ソフトウェアを用いて、Ｓ４０３でメモリ３０１上に読み出された符号化データから透かしデータの抽出を行ない、得られた透かしデータをエフェクトパラメータとしてメモリ３０１上のワークエリアに格納し、ステップＳ４０５へ進む。ステップＳ４０５では、透かしデータの抽出が終わった符号化データの復号化を行ない、得られたオーディオ信号をメモリ３０１上のオーディオエリアに格納し、Ｓ４０６へ進む。
【００７９】
ステップＳ４０６では、端末３０３を操作してユーザがエフェクト設定を操作したか否かを判定する。ユーザがエフェクト設定操作を行なった場合は、ステップＳ４０７へ進む。そうでない場合は、ステップＳ４０８へ進む。ステップＳ４０７では、ユーザが端末３０３を操作して行なったエフェクトパラメータの変更を、端末３０３から送信される制御情報から読み取り、ステップＳ４０８へ進む。ステップＳ４０８では、メモリ３０１のワークエリアに格納されているエフェクトパラメータに、ユーザによる設定変更がある場合は、エフェクトパラメータを再設定し、ステップＳ４０９へ進む。
【００８０】
ステップＳ４０９では、メモリ３０１上のエフェクトソフトウェアを用いて、メモリ３０１上のオーディオエリアに格納されている復号化されたオーディオ信号に対して、ワークエリアのエフェクトパラメータを参照しつつ、エフェクト処理を行い、ステップＳ４１０へ進む。ステップＳ１１０では、エフェクト処理が施されたオーディオ信号をスピーカー３０７へ出力する。これにより、エフェクト処理されたオーディオ信号が実際の音としてスピーカー３０７から再生される。処理を終えると、Ｓ４０２へ進む。
【００８１】
このような一連の選択動作により、透かしデータからエフェクトパラメータを読み出すことにより、コンテンツ製作者が意図した音の再生が可能になるばかりではなく、必要な場合はユーザの好みに再生音を変更することが可能になる。更に、符号量を無駄に増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【００８２】
〈その他実施例〉
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【００８３】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
上記実施例に加えて出力時に新たなファイルフォーマットで記述することはもちろん可能である。この際に例えばアンシラリデータ領域等にエフェクトパラメータを記載することはもちろんかまわない。
【００８６】
また、上記実施例において、オーディオの符号化方式をＭＰＥＧ２−ＡＡＣとしたが他の符号化方式、たとえば、ＭＰＥＧ１ Ａｕｄｉｏ Ｌａｙｅｒ Ｉ，ＩＩ，ＩＩＩ、ＭＰＥＧ４、ＡＴＲＡＣ３，ＡＣ−３でももちろんかまわない。
【００８７】
また、上記実施例において、エフェクトパラメータをそのまま透かしデータとして符号化データに埋め込んでいるが、これは他の方法をとってもかまわない。例えば、予めプリセットされたエフェクトパラメータセットのＩＤを符号化側で透かしとして埋め込み、復号化側で透かし抽出後、エフェクトパラメータＩＤをエフェクトパラメータのセットに再生することによって実現することも可能である。この場合、透かしとして埋め込むデータ量を更に圧縮することが可能である。
【００８８】
また、上記実施例において、エフェクトパラメータを透かしデータとして符号化データの中に埋め込んだため、特定のファイルフォーマットに依存せず、どのようなファイルフォーマットで記述された場合でも、再生に関して問題を生じない効果がある。
【００８９】
【発明の効果】
以上の説明から明らかなように、本発明では、コンテンツ製作者が意図したエフェクトパラメータを透かしデータとして符号化データの中に埋め込むことにより、コンテンツ製作者が意図した音声を再現することが可能になるばかりではなく、必要な場合は再生側においてユーザの好みのエフェクトを施して再生することが可能になる。また、無駄に符号量を増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【図面の簡単な説明】
【図１】第１の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図２】第２の実施例におけるオーディオ復号化システムの構成を示すブロック図である。
【図３】第３の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図４】第４の実施例、第５の実施例におけるオーディオ処理システムの構成を示すブロック図である。
【図５】第４の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図６】第５の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図７】第１の実施例に係るオーディオ符号化システムにおける符号化処理を示すフローチャート図である。
【図８】第２の実施例に係るオーディオ復号化システムにおける復号化処理を示すフローチャート図である。
【図９】第４の実施例に係るオーディオ処理システムにおける符号化処理を示すフローチャート図である。
【図１０】第５の実施例に係るオーディオ処理システムにおける復号化処理を示すフローチャート図である。
Claims (10)
- オーディオ信号を入力する入力手段と、
前記入力手段によって入力されたオーディオ信号を符号化する符号化手段と、前記入力手段によって入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生手段と、
前記エフェクト発生手段で発生されたエフェクト情報から透かし信号を生成する透かし信号生成手段と、
前記透かし信号生成手段で生成された透かし信号を前記符号化手段で符号化されたオーディオ符号化データに埋め込む透かし埋め込み手段とを有することを特徴とするオーディオ処理装置。 - 透かし信号が埋め込まれたオーディオ符号化データを入力する入力手段と、
前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出手段と、
前記透かし抽出手段で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得手段と、
前記透かし抽出手段で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化手段と、
前記エフェクト情報取得手段で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御手段とを有することを特徴とするオーディオ処理装置。 - 前記エフェクト情報は、前記オーディオ信号との合成量、前記オーディオ信号の周波数あるいは時間のずらし幅、前記オーディオ信号の振幅の増幅度、前記オーディオ信号と合成する回数、前記オーディオ信号を変化させる周波数帯域の指定、前記オーディオ信号を変化させた後の時間波形の指定、エフェクトの種類、エフェクトリンクの指定のいずれかであることを特徴とする請求項１又は請求項２に記載のオーディオ処理装置。
- 前記オーディオ信号は、動画像に付随する音声信号であることを特徴とする請求項１又は請求項２に記載のオーディオ処理装置。
- 前記オーディオ符号化データは、変換符号化によって符号化されたデータであることを特徴とする請求項１又は請求項２に記載のオーディオ処理装置。
- 前記オーディオ符号化データは、ＭＰＥＧ Ａｕｄｉｏ符号化方式に準拠して符号化されたデータであることを特徴とする請求項１又は請求項２に記載のオーディオ処理装置。
- オーディオ信号を入力する入力工程と、
前記入力工程で入力されたオーディオ信号を符号化する符号化工程と、
前記入力工程で入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生工程と、
前記エフェクト発生工程で発生されたエフェクト情報から透かし信号を生成する透かし信号生成工程と、
前記透かし信号生成工程で生成された透かし信号を前記符号化工程で符号化されたオーディオ符号化データに埋め込む透かし埋め込み工程とを有することを特徴とするオーディオ処理方法。 - 透かし信号が埋め込まれたオーディオ符号化データを入力する入力工程と、
前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出工程と、
前記透かし抽出工程で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得工程と、
前記透かし抽出工程で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化工程と、
前記エフェクト情報取得工程で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御工程とを有することを特徴とするオーディオ処理方法。 - 請求項８に記載のオーディオ処理方法を実行するコンピュータプログラム。
- 請求項９に記載のプログラムを格納し、コンピュータが読み取り可能なコンピュータ可読記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002290046A JP2004126214A (ja) | 2002-10-02 | 2002-10-02 | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002290046A JP2004126214A (ja) | 2002-10-02 | 2002-10-02 | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004126214A true JP2004126214A (ja) | 2004-04-22 |
Family
ID=32282043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002290046A Pending JP2004126214A (ja) | 2002-10-02 | 2002-10-02 | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004126214A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008224707A (ja) * | 2007-03-08 | 2008-09-25 | Yamaha Corp | 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム |
| JP2010152153A (ja) * | 2008-12-25 | 2010-07-08 | Yamaha Corp | オーディオ信号処理システム |
| JP2012058394A (ja) * | 2010-09-07 | 2012-03-22 | Brother Ind Ltd | 認証システムおよび認証装置 |
| JP2012168552A (ja) * | 2007-02-16 | 2012-09-06 | Electronics & Telecommunications Research Inst | オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法 |
| US8697975B2 (en) | 2008-07-29 | 2014-04-15 | Yamaha Corporation | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
| US8737638B2 (en) | 2008-07-30 | 2014-05-27 | Yamaha Corporation | Audio signal processing device, audio signal processing system, and audio signal processing method |
| US9029676B2 (en) | 2010-03-31 | 2015-05-12 | Yamaha Corporation | Musical score device that identifies and displays a musical score from emitted sound and a method thereof |
| US9040801B2 (en) | 2011-09-25 | 2015-05-26 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
| US9082382B2 (en) | 2012-01-06 | 2015-07-14 | Yamaha Corporation | Musical performance apparatus and musical performance program |
-
2002
- 2002-10-02 JP JP2002290046A patent/JP2004126214A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012168552A (ja) * | 2007-02-16 | 2012-09-06 | Electronics & Telecommunications Research Inst | オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法 |
| US9135953B2 (en) | 2007-02-16 | 2015-09-15 | Electronics And Telecommunications Research Institute | Method for creating, editing, and reproducing multi-object audio contents files for object-based audio service, and method for creating audio presets |
| JP2008224707A (ja) * | 2007-03-08 | 2008-09-25 | Yamaha Corp | 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム |
| US8697975B2 (en) | 2008-07-29 | 2014-04-15 | Yamaha Corporation | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
| US9006551B2 (en) | 2008-07-29 | 2015-04-14 | Yamaha Corporation | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
| US8737638B2 (en) | 2008-07-30 | 2014-05-27 | Yamaha Corporation | Audio signal processing device, audio signal processing system, and audio signal processing method |
| JP2010152153A (ja) * | 2008-12-25 | 2010-07-08 | Yamaha Corp | オーディオ信号処理システム |
| US9029676B2 (en) | 2010-03-31 | 2015-05-12 | Yamaha Corporation | Musical score device that identifies and displays a musical score from emitted sound and a method thereof |
| JP2012058394A (ja) * | 2010-09-07 | 2012-03-22 | Brother Ind Ltd | 認証システムおよび認証装置 |
| US9040801B2 (en) | 2011-09-25 | 2015-05-26 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
| US9524706B2 (en) | 2011-09-25 | 2016-12-20 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
| US9082382B2 (en) | 2012-01-06 | 2015-07-14 | Yamaha Corporation | Musical performance apparatus and musical performance program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101652810B (zh) | 用于处理混合信号的装置及其方法 | |
| RU2491658C2 (ru) | Синтезатор аудиосигнала и кодирующее устройство аудиосигнала | |
| AU2002318813B2 (en) | Audio signal decoding device and audio signal encoding device | |
| JP4856641B2 (ja) | 符号化されたマルチチャネル信号を発生するための装置および方法並びに符号化されたマルチチャネル信号を復号化するための装置および方法 | |
| US7613306B2 (en) | Audio encoder and audio decoder | |
| TW200531554A (en) | A transcoder and method of transcoding therefore | |
| JP2006011456A (ja) | 低ビット率符号化／復号化方法及び装置並びにコンピュータ可読媒体 | |
| JP2006048043A (ja) | オーディオデータの高周波数の復元方法及びその装置 | |
| WO2004036501A3 (en) | Parameter selection in data compression and decompression | |
| JP2976860B2 (ja) | 再生装置 | |
| CN1411171A (zh) | 信息编码/译码方法和装置信息记录媒体和信息传输方法 | |
| JP2002014697A (ja) | ディジタルオーディオ装置 | |
| JP2013528825A (ja) | サンプルごとに正確なオーディオ信号表記のための方法、エンコーダ及びデコーダ | |
| EP1446797A1 (en) | Method of transmission of wideband audio signals on a transmission channel with reduced bandwidth | |
| US20070052560A1 (en) | Bit-stream watermarking | |
| JP2004126214A (ja) | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP4359499B2 (ja) | オーディオ信号の編集 | |
| EP1259956A1 (en) | Method of and apparatus for converting an audio signal between data compression formats | |
| JP4022504B2 (ja) | 少ない計算量で高周波数成分を復元するオーディオデコーディング方法及び装置 | |
| JP2007503026A (ja) | サブバンドフィルタ処理を用いた透かし埋め込みの装置と方法 | |
| JP2007109328A (ja) | 再生装置 | |
| KR100433984B1 (ko) | 디지털 오디오 부호화/복호화 장치 및 방법 | |
| JP2008033211A (ja) | 付加信号生成装置、信号変換された信号の復元装置、付加信号生成方法、信号変換された信号の復元方法および付加信号生成プログラム | |
| JP2014021162A (ja) | 復号装置、復号方法、及びプログラム | |
| JP2008028574A (ja) | オーディオ処理装置、オーディオ処理方法、プログラム、および集積回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070626 |