JP4990377B2 - 音響再生装置 - Google Patents

音響再生装置 Download PDF

Info

Publication number
JP4990377B2
JP4990377B2 JP2009550450A JP2009550450A JP4990377B2 JP 4990377 B2 JP4990377 B2 JP 4990377B2 JP 2009550450 A JP2009550450 A JP 2009550450A JP 2009550450 A JP2009550450 A JP 2009550450A JP 4990377 B2 JP4990377 B2 JP 4990377B2
Authority
JP
Japan
Prior art keywords
processing
additional audio
unit
additional
pcm signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009550450A
Other languages
English (en)
Other versions
JPWO2009093421A1 (ja
Inventor
剛史 藤田
宏之 後藤
伸一 秋吉
周平 山田
正治 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009550450A priority Critical patent/JP4990377B2/ja
Publication of JPWO2009093421A1 publication Critical patent/JPWO2009093421A1/ja
Application granted granted Critical
Publication of JP4990377B2 publication Critical patent/JP4990377B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10805—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer overflow

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、ディジタル信号処理技術に関し、特に、外部より入力される音声信号ビットストリームをデコードして復号PCM信号を生成し、更に外部から入力される付加音声データを加工して上記復号PCM信号と加算し外部へ出力する音響再生装置に関する。
近年、ディジタルテレビや光ディスク装置など各種ディジタルメディア再生機器の普及と技術進歩により、ディジタル処理を伴うメディア再生機器にさまざまな機能が搭載されてきている。そうした背景の中のひとつの機能として、たとえばディジタルテレビ本放送音声やディスク再生音声にガイド音声や警告音などの外部音声をミックスして出力する機能が搭載されるようになってきている。更にこうした外部音声のミックス処理を同一機器の上で、とりわけシステムLSIなど半導体デバイスで機能を実現する場合、機能拡張に伴うコストアップ要因を最低限に抑えるため、ビットストリームの復号再生処理、再生音の音響処理、さらに外部音声とのミキシング処理までを同時に実現することが要求されてきている。
こうした要求にこたえるための音響再生装置は例えば図41に示されるような構成により実現される。
図41に示される音響再生装置7000は、制御部1100，デコード部1200，サンプリング周波数変換部1300，音響処理部1400，付加音声加算部1500を備えている。付加音声加算部1500は内部に付加音声生成部1510と加算器1520とを備えている。
音響処理部1400内部に搭載される機能としては、例えばオーバーサンプリング処理を伴う高音質化処理，スピーカセッティングのための音質調整機能，チャンネル拡張処理，音量処理などが含まれ、それらの処理の実施については外部から制御部1100を通じて指示される。
音響再生装置7000による再生処理は図42〜図43に示されるフローチャートに従って行われる。
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST701,ST702)、さらに、オーディオビットストリームを復号する際に取得されるデコーダタイプ情報，サンプリング周波数情報，チャンネル構成情報などを含むデコード情報を制御部1100へ出力する(ST703)。
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し(ST705)、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定する(ST706,ST707)。たとえば、外部から入手する再生指示情報の中には、音響処理部1400内部に搭載されるオーバーサンプリング処理を伴う高音質化処理をはじめとする音響処理の指示が含まれる。ここではオーバーサンプリング処理を伴う高音質化処理が指示された場合を例に説明する。この場合、音響再生装置7000から出力されるPCM出力信号のサンプリング周波数は、外部から入手する再生指示情報の中にオーバーサンプリング処理を伴う高音質化処理の指示が含まれているため、復号PCM信号のサンプリング周波数とは異なり、オーバーサンプリング処理後のサンプリング周波数となる。たとえば、復号PCM信号が48kHz、高音質化処理のためのサンプリング周波数が96kHzである場合、PCM出力信号のサンプリング周波数は96kHzとなる。
その場合、制御部1100はサンプリング周波数の変換を実施すると判断するため(ST707でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST708)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST709)。
次に音響処理部1400では制御部1100より再生指示情報を受信し(ST710)、指示に従い復号PCM信号に対して音響処理を実施する(ST711)。ここでの再生指示情報では高音質化処理が含まれているので音響処理の中には高音質化処理が含まれている。
次に制御部1100は、付加音声加算部1500に対して、出力PCM信号のサンプリング周波数情報の送信，付加音声PCM信号の生成，付加音声PCM信号と音響処理後の復号PCM信号との加算処理，を指示する(ST712)。
付加音声加算部1500ではまず、外部から付加音声データを入力し(ST713)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST714)。その際の付加音声PCM信号のサンプリング周波数は音響処理後の復号PCM信号と同一である必要があるため、付加音声PCM信号生成の際にサンプリング周波数を96kHzにするオーバーサンプリング処理が含まれることとなる。更に、付加音声生成部1510にて生成された付加音声PCM信号と音響処理部1400で音響処理が施された復号PCM信号とが加算器1520により加算され(ST715)、出力PCM信号として外部に出力される(ST716)。
以上のような一連の処理を施すことで、オーディオビットストリームから得られる復号PCM信号と外部から入力される付加音声データとのミックス処理は実現される。
尚、本従来例の類似技術として[特許文献1]が挙げられる。[特許文献1]はサンプリング周波数が異なる複数のデジタル音声データをミックスする処理に関するもので、デジタル信号のままミックス処理を実現することを目的としている。
特開平11-213558号公報
上記のような音響再生装置を実現する場合、オーディオビットストリームのデコード処理，必要に応じてオーバーサンプリング処理を伴う高音質化処理，スピーカセッティングのための音質調整機能，チャンネル拡張処理，音量処理などさまざまな音響処理，更には外部から入力される付加音声データの変換処理や加算処理などが含まれることとなる。
しかしながらこうした処理を実施する場合、デコードするストリームの属性や要求される音響処理機能、更には付加音声データの加工処理などが含まれるため、同一のデバイスで上記処理を実現する場合、ストリームの属性や再生条件によって必要となる処理能力が異なってくる。とりわけ、たとえばビットストリームの属性や高音質化処理の再生の要求によって再生PCMのサンプリング周波数が高くなる場合、それに伴い外部音声の加工処理にかかる処理量が増大し音響再生装置全体の処理量が破綻をきたす可能性がある。
また、それを回避するために再生PCMのサンプリング周波数を下げる必要があるが、その場合、デコードされたPCMの音質劣化や外部から要求される高音質化処理の実現ができなくなる可能性がある。
本発明の目的は、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することである。
本発明による第1の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工する、
ことを特徴とする。
本発明による第2の音響再生装置は、第1の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。
本発明による第3の音響再生装置は、第1または第2の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備えることを特徴とする。
本発明による第4の音響再生装置は、第1〜3の音響再生装置のいずれか1つにおいて、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと前記複数の加工手段のいずれかとが対応付けられた外部音声生成条件判定テーブルを備えることを特徴とする。
第1〜4の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求,あるいは,再生PCMのサンプリング周波数が高くなる場合でも、再生条件にともなう外部音声の加工処理にかかる処理負荷を最小限に抑えることが可能となるので、音響再生装置全体の処理量の破綻を防ぐことがその分容易となる。更に付加音声生成における音声加工手段の負荷を調整するだけなので出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能である。
本発明による第5の音響再生装置は、第1〜3の音響再生装置のいずれか1つにおいて、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記複数の加工手段のうちのいずれか１つを特定することを特徴とする。
本発明による第6の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記デコード部で生成した復号PCM信号に対して音響処理を施す音響処理部と、外部から入力される付加音声データを加工し、前記音響処理部により音響処理が施された復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定し、前記音響処理部は、前記制御部によって特定された音響処理条件により前記復号PCM信号に対する音響処理を実施することを特徴とする。
本発明による第7の音響再生装置は、第6の音響再生装置において、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと音響処理条件とが対応付けられた音響処理条件判定テーブルを備えることを特徴とする。
本発明による第8の音響再生装置は、第6または第7の音響再生装置において、前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。
第6〜8の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求、あるいは再生PCMのサンプリング周波数が高くなる場合でも、音響処理部に対して処理の一部を省く、もしくは簡易再生に切り替えることで、その分音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理部に対して処理の一部を省く、もしくは簡易再生に切り替えられるために、再生条件によっては要求される音響処理が十分満たされない場合もあるが、限定された処理量に対して優先度の高い処理を有効に実施することが可能である。
本発明による第9の音響再生装置は、第6の音響再生装置において、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定することを特徴とする。
本発明による第10の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部と、前記デコード部もしくは前記サンプリング周波数変換部より出力される復号PCM信号に対して、前記制御部から伝送される再生指示に応じて音響処理を実施する音響処理部と、外部から入力される付加音声データを加工し、前記デコード部もしくは前記音響処理部より出力される復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定することを特徴とする。
本発明による第11の音響再生装置は、第10の音響再生装置において、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと,前記サンプリング周波数変換部によるサンプリング周波数変換処理と前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序と,が対応付けられた処理フロー判定テーブルを備えることを特徴とする。
第10〜11の音響再生装置によれば、サンプリング周波数変換処理,付加音声データの加工処理,加算処理の処理順序を処理負荷に応じて決定するので、たとえば、処理負荷が大きい場合に付加音声データの加工処理,加算処理をサンプリング周波数変換処理より前段で実施するように設定することで、付加音声データの加工処理で発生するサンプリング周波数変換の処理負荷を削減することが可能となるのでその分、音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理が付加音声ミックス処理後に実施されるため、付加音声に対しても音響処理が施されることになってしまうが、出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。
本発明による第12の音響再生装置は、第10の音響再生装置において、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定することを特徴とする。
本発明による第13の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、前記音響再生装置内部に実装される付加音声データ(内部実装付加音声データ)を格納する内部実装付加音声データバッファと、外部から入力される付加音声データ(外部入力付加音声データ),もしくは,前記内部実装付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記制御部は、前記再生指示情報および前記デコード情報に基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定し、前記付加音声加算部は、前記外部入力付加音声データおよび前記内部実装付加音声データのうち前記制御部により特定されたほうの付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備えることを特徴とする。
本発明による第14の音響再生装置は、第13の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備えることを特徴とする。
本発明による第15の音響再生装置は、第13または第14の音響再生装置において、前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備えることを特徴とする。
本発明による第16の音響再生装置は、第13〜15の音響再生装置のいずれか1つにおいて、前記制御部は、前記デコード情報と前記再生指示情報との組み合わせと,前記外部入力付加音声データまたは前記内部実装付加音声データを示す情報と,が対応付けられた外部音声生成条件判定テーブルを備えることを特徴とする。
第13〜16の音響再生装置によれば、再生ビットストリームの属性や高音質化処理の再生要求、あるいは再生PCMのサンプリング周波数が高くなる場合でも、たとえば内部実装付加音声データバッファに再生に必要な全サンプリング周波数に対応した付加音声データを備えることで、処理負荷が大きい場合に内部実装の付加音声データを用い、付加音声データから付加音声PCM信号生成の際のサンプリング周波数変換処理を省略することが可能となるのでその分、再生条件にともなう外部音声の加工処理にかかる処理負荷を最小限に抑えることが可能となるため、音響再生装置全体の処理量の破綻を防ぐことがその分容易となる。この場合、内部実装付加音声データを用いるために、付加音声データの音源の種類は限定されるが、出力PCM信号のサンプリング周波数を下げる必要もないのでデコード部によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。
本発明による第17の音響再生装置は、第13〜15の音響再生装置のいずれか1つにおいて、前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、前記制御部は、外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定することを特徴とする。
本発明による第18の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、前記付加音声加算部より出力されるPCM出力信号を蓄積するPCM出力バッファとを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記PCM出力バッファの出力PCM信号の残量を監視するPCM出力バッファ残量モニタ手段を備え、前記PCM出力バッファの出力PCM信号の残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工することを特徴とする。
第18の音響再生装置によれば、PCM出力バッファ残量を監視し残量状態に応じて、たとえばPCM出力バッファがアンダーフロー気味の場合に処理量負荷が大きいと判断し、付加音声生成方法を切り替えることが可能となるため、その分音響再生装置全体の処理負荷を容易に調整することが可能となる。
本発明による第19の音響再生装置は、外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、外部より入力される付加音声データを蓄積する付加音声データ入力バッファと、前記付加音声データ入力バッファに蓄積された付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部とを備え、前記付加音声加算部は、前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、前記付加音声生成部は、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、前記制御部は、前記付加音声データ入力バッファの付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段を備え、前記付加音声データ入力バッファの付加音声データの残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、前記付加音声生成部は、前記制御部によって特定された加工手段により前記付加音声データを加工することを特徴とする。
第19の音響再生装置によれば、付加音声データ入力バッファ残量を監視し残量状態に応じて、たとえば付加音声データ入力バッファがオーバーフロー気味の場合に処理量負荷が大きいと判断し、付加音声生成方法を切り替えることが可能となるため、その分音響再生装置全体の処理負荷を容易に調整することが可能となる。
本発明の音響再生装置によれば、デコード処理や再生条件によって処理負荷が増大する場合でも、内部で自動的に処理負荷軽減が図れるため、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することが可能となる。
第1の実施形態による音響再生装置の構成を示すブロック図である。 第1の実施形態による音響再生装置の処理手順を示すフローチャートである。 第1の実施形態による音響再生装置の処理手順を示すフローチャートである。 外部音声生成条件判定テーブルの例である。 第2の実施形態による音響再生装置の構成を示すブロック図である。 第2の実施形態による音響再生装置の処理手順を示すフローチャートである。 第2の実施形態による音響再生装置の処理手順を示すフローチャートである。 第2の実施形態による音響再生装置の処理手順を示すフローチャートである。 外部音声生成条件判定テーブルの例である。 第3の実施形態による音響再生装置の構成を示すブロック図である。 第3の実施形態による音響再生装置の処理手順を示すフローチャートである。 第3の実施形態による音響再生装置の処理手順を示すフローチャートである。 第3の実施形態による音響再生装置の処理手順を示すフローチャートである。 外部音声生成条件判定テーブルの例である。 第4の実施形態による音響再生装置の構成を示すブロック図である。 第4の実施形態による音響再生装置の処理手順を示すフローチャートである。 第4の実施形態による音響再生装置の処理手順を示すフローチャートである。 外部音声生成条件判定テーブルの例である。 第5の実施形態による音響再生装置の構成を示すブロック図である。 第5の実施形態による音響再生装置の処理手順を示すフローチャートである。 第5の実施形態による音響再生装置の処理手順を示すフローチャートである。 音響処理条件判定テーブルの例である。 第6の実施形態による音響再生装置の構成を示すブロック図である。 第6の実施形態による音響再生装置の処理手順を示すフローチャートである。 第6の実施形態による音響再生装置の処理手順を示すフローチャートである。 第6の実施形態による音響再生装置の処理手順を示すフローチャートである。 外部音声生成条件判定テーブルの例である。 第7の実施形態による音響再生装置の構成を示すブロック図である。 音響処理負荷条件判定テーブルの例である。 加工手段選定テーブルの例である。 第7の実施形態による音響再生装置の処理手順を示すフローチャートである。 第7の実施形態による音響再生装置の処理手順を示すフローチャートである。 第8の実施形態による音響処理負荷条件判定テーブル,ユースケース情報変換テーブル,ポインタ情報変換テーブルの例である。 第8の実施形態による音響再生装置の処理手順を示すフローチャートである。 第9の実施形態による音響処理負荷条件判定テーブル,ユースケース情報変換テーブル,ポインタ情報変換テーブルの例である。 第9の実施形態による音響再生装置の処理手順を示すフローチャートである。 第10の実施形態によるデコード処理負荷条件変換テーブル,ユースケース情報変換テーブル,音響処理負荷条件判定テーブルの例である。 第10の実施形態による音響再生装置の処理手順を示すフローチャートである。 第11の実施形態によるデコード処理負荷条件変換テーブル,ユースケース情報変換テーブル,処理フロー判定テーブルの例である。 第11の実施形態による音響再生装置の処理手順を示すフローチャートである。 従来の音響再生装置の構成例を示すブロック図である。 従来の音響再生装置の処理手順を示すフローチャートである。 従来の音響再生装置の処理手順を示すフローチャートである。
以下、好ましい実施形態について図面を参照しながら説明する。なお、実質的に同一の機能を有する構成要素については、図面において同じ参照符号を付け、その説明を省略する場合がある。
(第1の実施形態)
第1の実施形態による音響再生装置の構成を図1に示す。この音響再生装置1000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。
デコード部1200は、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し出力する。デコード部1200は、オーディオビットストリームを復号する際に、デコード情報としてデコーダタイプ情報，サンプリング周波数情報，チャンネル構成情報を制御部1100へ出力する。
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。制御部1100は、内部に外部音声生成条件判定テーブル1110を有しており、デコード情報と再生指示情報から、外部音声生成条件判定テーブル1110を参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
サンプリング周波数変換部1300は、制御部1100の指示に従い必要に応じて、デコード部1200から出力される復号PCM信号に対してサンプリング周波数の変換処理を実施する。
音響処理部1400は、制御部1100より再生指示情報を受信し、この指示に従い復号PCM信号に対して音響処理を実施する。音響処理部1400内部に搭載される機能としては、例えばオーバーサンプリング処理を伴う高音質化処理や、スピーカセッティングのための音質調整機能、チャンネル拡張処理、音量処理などが含まれ、それらの処理の実施については制御部1100により指示される。
付加音声加算部1500は、付加音声生成部1510と加算器1520とを備えている。付加音声生成部1510は、外部から入力される付加音声データを受信し、受信した付加音声データを復号PCM信号と加算ができるよう加工して付加音声PCM信号を生成する。付加音声生成部1510は、付加音声PCM信号を生成するための2種類の加工手段1511,1512を備える。加工手段1(1511)は、演算処理負荷が大きいが加工結果の音響特性に優れることを特徴とする。加工手段2(1512)は、加工結果の音響特性は加工手段1より劣るが演算処理負荷が加工手段1より小さいことを特徴とする。この2種類の加工手段1511,1512は制御部1100からの指示により使い分けられる。加算器1520は、付加音声生成部1510で生成された付加音声PCM信号と復号PCM信号とを加算する。なお、ここでは説明を簡単にするため、付加音声生成部1510が備える加工手段を2種類としているが、加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じて3種類以上の加工手段を付加音声生成部1510に設けてもよい。これは他の実施形態においても同様である。
図4は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。外部音声生成条件判定テーブル1110には、デコード情報と再生指示情報との組み合わせと加工手段とが対応付けられている。図4の外部音声生成条件判定テーブル1110では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図4の外部音声生成条件判定テーブル1110では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図4の外部音声生成条件判定テーブル1110では、これらの各デコード情報と各再生指示情報との組み合わせに対して加工手段1または加工手段2が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
次に、以上のように構成された音響再生装置1000の動作について図2〜図3のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST101,ST102)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST103)。
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し、デコード部1200からデコード情報を受信する(ST105)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST107でYes)。
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST107でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST108,ST109)を実施する必要がない。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST110)、この指示に従い復号PCM信号に対して機能Aに対応する音響処理を実施する(ST111)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。
制御部1100は、外部音声生成条件判定テーブル1110(図4)を参照して外部音声生成条件を特定する(ST112)。ここでは、デコード情報(AC3,FS＝48kHz,2チャンネル)および再生指示情報(機能A)から、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST113)。
付加音声加算部1500では、外部から付加音声データを入力し(ST114)、付加音声生成部1510にて付加音声PCM信号を生成する(ST115)。その際、制御部1100からは付加音声PCM信号生成の際に用いる加工手段として加工手段1(1511)が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST116)、PCM出力信号として外部に出力される(ST117)。
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST101,ST102)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST103)。
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し、デコード部1200からデコード情報を受信する(ST105)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること，機能Bの実施が指示されていることから、復号PCM信号に対してサンプリング周波数変換処理が必要と判断される(ST107でNo)。
制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST107でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST108)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST109)。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST110)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対応する音響処理を実施する(ST111)。
制御部1100は、外部音声生成条件判定テーブル1110(図4)を参照して外部音声生成条件を特定する(ST112)。ここでは、デコード情報(AAC,FS＝48kHz,マルチチャンネル)および再生指示情報(機能A＋機能B)から、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST113)。
付加音声加算部1500では、外部から付加音声データを入力し(ST114)、付加音声生成部1510にて付加音声PCM信号を生成する(ST115)。その際、制御部1100からは付加音声PCM信号生成の際に用いる加工手段として加工手段2(1512)が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、機能Bの処理が実施されているため、復号PCM信号のサンプリング周波数は96kHzである。このため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST116)、PCM出力信号として外部に出力される(ST117)。
以上のように第1の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら付加音声加算部1500で使用する加工手段として加工手段2(1512)が指定されるため、付加音声PCM信号の生成に対する処理負荷が抑えられ、その分、音響再生装置1000全体にかかる処理負荷が軽減される。
(第2の実施形態)
第2の実施形態による音響再生装置の構成を図5に示す。この音響再生装置2000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500,内部実装付加音声データバッファ1600を備えている。
内部実装負荷音声データバッファ1600は、音響再生装置2000内部に実装される付加音声データを格納するバッファであり、再生に必要な各サンプリング周波数に対応した付加音声データを格納している。
制御部1100は、デコード情報と再生指示情報に基づいて外部音声生成条件判定テーブル1110を参照して、付加音声加算部1500において付加音声生成部1510から加算器1520に与えられる付加音声PCM信号の音源として外部入力付加音声データ，もしくは，内部実装付加音声データのいずれを使用するかを決定する。
付加音声加算部1500は、付加音声切替スイッチ1530と付加音声生成部1510と加算器1520とを備えている。付加音声切替スイッチ1530は、制御部1100からの指示に従い、外部から入力される外部入力付加音声データ,もしくは,内部実装負荷音声データバッファ1600に格納されている付加音声データのいずれかを選択する。付加音声生成部1510は、付加音声切替スイッチ1530で選択された付加音声データを復号PCM信号と加算できるように加工して付加音声PCM信号を生成する。加算器1520は、付加音声生成部1510で生成された付加音声PCM信号と復号PCM信号とを加算する。
図9は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、外部から入力される付加音声データ，内部実装負荷音声データバッファ1600に格納されている付加音声データのいずれを付加音声切替スイッチ1530において選択すべきかの指示をデコード情報と再生指示情報とから判定するためのテーブルである。外部音声生成条件判定テーブル1110には、デコード情報と再生指示情報との組み合わせと選択すべき付加音声データを示す情報とが対応付けられている。図9の外部音声生成条件判定テーブル1110では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3,AAC,リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3,AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネル，マルチチャンネルの2種類が設定されている。また、図9の外部音声生成条件判定テーブル1110では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図9の外部音声生成条件判定テーブル1110では、これらの各デコード情報と各再生指示情報との組み合わせに対して(外部入力)または(内部実装)が対応付けられている。(外部入力)は、外部から入力される付加音声データを示す情報である。(内部実装)は、内部実装負荷音声データバッファ1600に格納されている付加音声データを示す情報である。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
次に、以上のように構成された音響再生装置2000の動作について図6〜図8のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST201,ST202)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST203)。
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し、デコード部1200からデコード情報を受信する(ST205)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST207でYes)。
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST207でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST208,ST209)を実施する必要がない。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST210)、この指示に従い復号PCM信号に対して機能Aに対応する音響処理を実施する(ST211)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。
制御部1100は、外部音声生成条件判定テーブル1110(図9)を参照して付加音声データ(付加音声PCM信号の音源)を特定する(ST212)。ここでは、デコード情報(AC3,FS＝48kHz,2チャンネル)および再生指示情報(機能A)から、外部から入力される付加音声データ(外部入力)が特定される。
さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST213)。
付加音声加算部1500では、外部から入力される付加音声データを選択するように制御部1100から指示されるため、付加音声切替スイッチ1530は、外部入力付加音声データを選択し付加音声生成部1510へ送信する(ST214,ST215,ST216でYes)。
付加音声生成部1510は、付加音声切替スイッチ1530から送信された付加音声データから付加音声PCM信号を生成する(ST217,ST218)。付加音声生成部1510にて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST221)、PCM出力信号として外部に出力される(ST222)。
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号して復号PCM信号を生成し(ST201,ST202)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST203)。
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し、デコード部1200からデコード情報を受信する(ST205)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること、機能Bの実施が指示されていることから、復号PCM信号に対してサンプリング周波数変換処理が必要と判断される(ST207でNo)。
制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST207でNo)、サンプリング周波数変換部1300に対して復号PCM信号のオーバーサンプリング処理を指示し(ST208)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST209)。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST210)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対応する音響処理を実施する(ST211)。
制御部1100は、外部音声生成条件判定テーブル1110(図9)を参照して付加音声データ(付加音声PCM信号の音源)を特定する(ST212)。ここでは、デコード情報(AAC,FS＝48kHz,マルチチャンネル)および再生指示情報(機能A＋機能B)から、音声データバッファ1600に格納されている付加音声データ(内部実装)が特定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST213)。
付加音声加算部1500では、内部実装付加音声データバッファ1600に蓄積されている付加音声データを選択するように制御部1100から指示されるため、付加音声切替スイッチ1530は、出力PCM信号のサンプリング周波数情報を参照し内部実装付加音声データバッファ1600から必要な付加音声データを選択して付加音声生成部1510へ送信する(ST215,ST216でNo,ST219)。
付加音声生成部1510は、付加音声切替スイッチ1530から送信された付加音声データから付加音声PCM信号を生成する(ST220)。ここでは、デコード情報のサンプリング周波数は48kHzであるが、機能Bの処理が実施されているため、復号PCM信号のサンプリング周波数は96kHzである。このため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があるが、すでに付加音声切替スイッチ1530にて出力PCM信号のサンプリング周波数情報を参照し必要な付加音声データを選択しているため、改めてオーバーサンプリング処理を施す必要はない(ST220)。
付加音声生成部1510にて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST221)、PCM出力信号として外部に出力される(ST222)。
以上のように第2の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら付加音声加算部1500で処理される付加音声データとして、内部実装付加音声データバッファ1600に格納されている付加音声データが選択され、付加音声PCM信号の生成の際のオーバーサンプリング処理が省かれるため、付加音声PCM信号の生成に対する処理負荷が抑えられ、その分、音響再生装置2000全体にかかる処理負荷が軽減される。
(第3の実施形態)
第3の実施形態による音響再生装置の構成を図10に示す。この音響再生装置3000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500,PCM出力バッファ1700を備えている。
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。本実施形態では、外部から入手する再生指示情報として、各音響処理機能の処理指示のほか、PCM出力バッファ残量のアンダーフロー条件の指定を含むものとする。たとえば、アンダーフロー判定の開始タイミング(デコード初期タイミングではPCM出力バッファ残量は必ずアンダーフローから開始するため、判定開始タイミングを遅延させる必要がある)，アンダーフロー判定のためのバッファ残量閾値などが条件として考えられる。制御部1100は、内部にPCM出力バッファ残量モニタ手段1120および外部音声生成条件テーブル1110を有している。PCM出力バッファ残量モニタ手段1120は、PCM出力バッファ1700の出力PCM信号の残量を監視する。PCM出力バッファ残量モニタ手段1120は、外部から指定される開始タイミング以降にPCM出力バッファ1700の出力PCM信号の残量状態を監視し、アンダーフロー(バッファ残量が閾値未満)かどうか監視する。制御部1110は、PCM出力バッファ1700の出力PCM信号の残量状態に基づいて外部音声生成条件テーブル1110を参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
図14は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示をPCM出力バッファ1700の出力PCM信号の残量状態に基づいて判定するためのテーブルである。
外部音声生成条件判定テーブル1110には、PCM出力バッファ1700の出力PCM信号の残量状態(PCM出力バッファ残量)と選択する加工手段とが対応付けられている。図14の外部音声生成条件判定テーブル1110では、PCM出力バッファ残量があらかじめ設定した閾値以上に対して加工手段1が対応付けられ、PCM出力バッファ残量があらかじめ設定した閾値未満に対して加工手段2が対応付けられている。
次に、以上のように構成された音響再生装置3000の動作について図11〜図13のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)…処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出されない場合
(ケース2)…処理負荷が大きくPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出される場合
(ケース1における動作)
説明を容易とするためここでは、デコード開始から既に外部から指定されるアンダーフロー判定の開始タイミング以降の時間が経過しているものとする。
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST301,ST302)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST303)。
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST305)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするため、復号PCM信号に対してのサンプリング周波数変換処理は不要と判断されたものとする(ST308でYes)。
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST307でYes)、サンプリング周波数変換部1300では復号PCM信号のサンプリング周波数変換処理(ST308,ST309)を実施する必要がない。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST310)、この指示に従い復号PCM信号に対して音響処理を実施する(ST311)。
制御部1100は、PCM出力バッファ残量モニタ手段1120により、PCM出力バッファ1700の出力PCM信号の残量状態をモニタする(ST312)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図14)を参照し、PCM出力バッファ1700の出力PCM信号の残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST313)。ここでは、処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出されない(PCM出力バッファ残量が予め設定した閾値以上である)場合であるため、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST314)。
付加音声加算部1500では、外部から付加音声データを入力し(ST315)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST316)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段1(1511)の処理が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST317)、PCM出力信号として外部に出力される(ST318)。
(ケース2における動作)
尚、ここでも説明を容易とするためここでは、デコード開始から既に外部から指定されるアンダーフロー判定の開始タイミング以降の時間が経過しているものとする。
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST301,ST302)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST303)。
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST305)。尚、本実施の形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするためデコード情報のサンプリング周波数FSが48kHz、さらに再生指示情報において高音質化処理が指示され、復号PCM信号に対して96kHzへのオーバーサンプリング処理が必要と判断されたものとする(ST307でNo)。
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST307でNo)、サンプリング周波数変換部1300に対して復号PCM信号のオーバーサンプリング処理を指示し(ST308)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST309)。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST310)、この指示に従い復号PCM信号に対して音響処理を実施する(ST311)。
制御部1100は、PCM出力バッファ残量モニタ手段1120により、PCM出力バッファ1700の出力PCM信号の残量状態をモニタする(ST312)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図14)を参照し、PCM出力バッファ1700の出力PCM信号の残量状態から外部音声生成条件(付加音声生成における加工手段)を決定する(ST313)。ここでは、処理負荷が比較的軽くPCM出力バッファ1700の出力PCM信号の残量状態としてアンダーフローが検出される(PCM出力バッファ残量が予め設定した閾値未満である)場合であるため、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST314)。
付加音声加算部1500では、外部から付加音声データを入力し(ST315)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST316)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段2(1512)の処理が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、サンプリング周波数変換処理が実施され、復号PCM信号のサンプリング周波数は96kHzであるため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST317)、PCM出力信号として外部に出力される(ST318)。
以上のように第3の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部にPCM出力バッファ残量モニタ手段1120、付加音声生成部1510内部に処理負荷に応じて切り替え可能な複数の加工手段1511,1512を具備しているので、PCM出力バッファ残量を監視し、残量状態に応じて、付加音声生成方法を切り替えることが可能であるため、付加音声加算部1500での加工手段として加工手段2(1512)の処理を指定することで、付加音声PCM信号の生成に対する処理負荷が抑えられる分、音響再生装置全体にかかる処理負荷が軽減される。
(第4の実施形態)
第4の実施形態による音響再生装置の構成を図15に示す。この音響再生装置4000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部11500,付加音声データ入力バッファ1800を備えている。
制御部1100は、外部から再生指示情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。ここで本実施形態では、外部から入手する再生指示情報として、各音響処理機能の処理指示のほか、付加音声データ入力バッファ残量のオーバーフロー条件の指定を含むものとする。たとえば、オーバーフロー判定のバッファ残量閾値などが条件として考えられる。更に制御部1100は、内部に付加音声データ入力バッファ1800の付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段1130および外部音声生成条件テーブル1110を有している。付加音声データ入力バッファ残量モニタ手段1130は、付加音声データ入力バッファ1800の付加音声データの残量状態を監視し、オーバーフロー(バッファ残量が閾値以上)かどうか監視する。更に制御部1110では、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件テーブル1110を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態に応じて付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
図18は、外部音声生成条件判定テーブル1110の内容を示したものである。外部音声生成条件判定テーブル1110は、付加音声生成部1510における付加音声PCM信号の加工手段を特定するための指示を付加音声データ入力バッファ1800の付加音声データの残量状態に基づいて判定するためのテーブルである。
外部音声生成条件判定テーブル1110には、付加音声データ入力バッファ1800の付加音声データの残量状態(付加音声データ入力バッファ残量)と選択する加工手段とが対応付けられている。図18の外部音声生成条件判定テーブル1110では、付加音声データ入力バッファ残量があらかじめ設定した閾値未満に対して加工手段1が対応付けられ、付加音声データ入力バッファ残量があらかじめ設定した閾値以上に対して加工手段2が対応付けられている。
次に、以上のように構成された音響再生装置4000の動作について図16〜図17のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)…処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出されない場合
(ケース2)…処理負荷が大きく付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出される場合
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST401,ST402)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST403)。
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST405)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするため、復号PCM信号に対してのサンプリング周波数変換処理は不要と判断されたものとする(ST407でYes)。
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST407でYes)、サンプリング周波数変換部1300では特に復号PCM信号のサンプリング周波数変換処理(ST408,ST409)を実施する必要がない。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST410)、指示に従い復号PCM信号に対して音響処理を実施する(ST411)。
制御部1100は、付加音声データ入力バッファ残量モニタ手段1130により、付加音声データ入力バッファ1800の付加音声データの残量状態をモニタする(ST412)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図18)を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST413)。ここでは、処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出されない(付加音声データ入力バッファ残量が予め設定した閾値未満である)場合であるため、演算処理負荷が大きいが加工結果の音響特性に優れる加工手段1(1511)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST414)。
付加音声加算部1500では、外部から付加音声データを入力し(ST415)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST416)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段1(1511)の処理が指定される。加工手段1(1511)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST417)、PCM出力信号として外部に出力される(ST418)。
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST401,ST402)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST403)。
制御部1100は、外部から再生指示情報を受信し、デコード部1200からデコード情報を受信する(ST405)。尚、本実施形態では特にデコード情報の内容についての説明は省略するが、説明を容易とするためデコード情報のサンプリング周波数FSが48kHz、さらに再生指示情報において高音質化処理が指示され、復号PCM信号に対して96kHzへのオーバーサンプリング処理が必要と判断されたものとする(ST407でNo)。
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST407でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST408)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST409)。
次に音響処理部1400では、制御部1100より再生指示情報を受信し(ST410)、指示に従い復号PCM信号に対して音響処理を実施する(ST411)。
制御部1100は、付加音声データ入力バッファ残量モニタ手段1130により、付加音声データ入力バッファ1800の付加音声データの残量状態をモニタする(ST412)。さらに制御部1100は、外部音声生成条件判定テーブル1110(図18)を参照し、付加音声データ入力バッファ1800の付加音声データの残量状態から外部音声生成条件(付加音声生成に使用する加工手段)を決定する(ST413)。ここでは、処理負荷が比較的軽く付加音声データ入力バッファ1800の付加音声データの残量状態としてオーバーフローが検出される(付加音声データ入力バッファ残量が予め設定した閾値以上である)場合であるため、加工結果の音響特性は加工手段1(1511)より劣るが演算処理負荷が加工手段1(1511)より小さい加工手段2(1512)を用いると判定される。さらに制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST414)。
付加音声加算部1500では、外部から付加音声データを入力し(ST415)、内部の付加音声生成部1510にて付加音声PCM信号を生成する(ST416)。その際、制御部1100からは付加音声PCM信号生成の際の加工手段として加工手段2(1512)の処理が指定される。ここでは、デコード情報のサンプリング周波数は48kHzであるが、サンプリング周波数変換処理が実施され、復号PCM信号のサンプリング周波数は96kHzであるため、付加音声PCM信号のサンプリング周波数も96kHzにする必要があり、その分処理負荷が大きくなるが、加工手段2(1512)を用いることで処理負荷がおさえられる。付加音声生成部1510にて加工手段2(1512)を用いて付加音声PCM信号を生成した後、加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST417)、PCM出力信号として外部に出力される(ST418)。
以上のように第4の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に付加音声データ入力バッファ残量モニタ手段1130、付加音声生成部1510内部に処理負荷に応じて切り替え可能な複数の加工手段1511,1512を具備しているので、付加音声データ入力バッファ残量を監視し、残量状態に応じて、付加音声生成方法を切り替えることが可能であるため、付加音声加算部1500での加工手段として加工手段2(1512)の処理を指定することで、付加音声PCM信号の生成に対する処理負荷が抑えられる分、音響再生装置全体にかかる処理負荷が軽減される。
(第5の実施形態)
第5の実施形態による音響再生装置の構成を図19に示す。この音響再生装置5000は、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。
制御部1100は、内部に音響処理条件判定テーブル1140を有している。制御部1100は、デコード情報と再生指示情報に基づいて音響処理条件判定テーブル1140を参照し、音響処理部1400に対する音響処理条件の指示(通常の処理，処理の一部を省く，簡易再生)を決定する。
図22は、音響処理条件判定テーブル1140の内容を示したものである。音響処理条件判定テーブル1140は、音響処理部1400における音響処理条件を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。音響処理条件判定テーブル1140には、デコード情報と再生指示情報との組み合わせと音響処理条件とが対応付けられている。図22の音響処理条件判定テーブル1140では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図22の音響処理条件判定テーブル1140では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。図22の音響処理条件判定テーブル1140では、これらの各デコード情報と各再生指示情報との組み合わせに対して音響処理条件,ここでは,音響処理を行わない(なし)，通常の音響処理(通常版)，通常の音響処理の一部を省く(間引き)，簡易音響処理(簡易版)が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
次に、以上のように構成された音響再生装置5000の動作について図20〜図21のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル(AC3,FS＝48kHz,2チャンネル)
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施(機能A)
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル(AAC,FS＝48kHz,マルチチャンネル)
・再生指示情報…機能Aと機能Bの両方を実施(機能A＋機能B)
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST501,ST502)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST503)。
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し，デコード部1200からデコード情報を受信する(ST506)。ここでは、デコード情報として、デコーダタイプ(AC3)，サンプリング周波数(48kHz)，チャンネル構成(2チャンネル)の情報を取得する。ここでは機能Bの実施が指示されていないため復号PCM信号に対してのサンプリング周波数変換処理は不要と判断される(ST507でYes)。
制御部1100ではサンプリング周波数の変換が不要と判断されるので(ST507でYes)、サンプリング周波数変換部1300では特に復号PCM信号のサンプリング周波数変換処理(ST508,ST509)を実施する必要がない。
制御部1100は、音響処理条件判定のために音響処理条件判定テーブル1140(図22)を参照し、デコード情報(デコーダタイプ:AC3,サンプリング周波数FS:48kHz,チャンネル構成:2チャンネル)および再生指示情報(機能Aのみ実施)から、音響処理部1400へ指示する音響処理として機能Aを通常版で実施すると判定し(ST506)、音響処理部1400に対して当該音響処理の実施を指示する(ST510)。
次に音響処理部1400では、制御部1100より音響処理の指示を受信し(ST510)、この指示に従い復号PCM信号に対して機能Aに対する音響処理を実施する(ST511)。ここでの再生指示情報では機能Bに対応する高音質化処理が含まれていない。
制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し，付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST512)。
付加音声加算部1500では、外部から付加音声データを入力し(ST513)、付加音声生成部1510にて付加音声PCM信号を生成し(ST514)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算され(ST515)、PCM出力信号として外部に出力される(ST516)。
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST501,ST502)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST503)。
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信し，デコード部1200からデコード情報を受信する(ST505)。ここでは、デコード情報として、デコーダタイプ(AAC)，サンプリング周波数(48kHz)，チャンネル構成(マルチチャンネル)の情報を取得する。ここではサンプリング周波数が48kHzであること，機能Bの実施が指示されていることから、復号PCM信号に対してオーバーサンプリング周波数変換処理が必要と判断される(ST507でNo)。
制御部1100ではサンプリング周波数の変換が必要と判断されるので(ST507でNo)、サンプリング周波数変換部1300に対して、復号PCM信号のオーバーサンプリング処理を指示し(ST508)、サンプリング周波数変換部1300では、制御部1100の指示に従いオーバーサンプリング処理を実施する(ST509)。
制御部1100は、音響処理条件判定のために音響処理条件判定テーブル1140(図22)を参照し、デコード情報(デコーダタイプ:AAC,サンプリング周波数FS:48kHz,チャンネル構成:マルチチャンネル)および再生指示情報(機能Aおよび機能Bを実施)から、音響処理部1400へ指示する音響処理として機能Aを通常版，機能Bを簡易版で実施すると判定し(ST506)、音響処理部1400に対して当該音響処理の実施を指示する(ST510)。
次に音響処理部1400では、制御部1100より音響処理の指示を受信し(ST510)、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対する音響処理を実施する(ST511)。
制御部1100は、出力PCM信号のサンプリング周波数情報を付加音声加算部1500に送信し、付加音声PCM信号の生成処理を付加音声加算部1500に指示し、付加音声PCM信号と音響処理後の復号PCM信号との加算処理を付加音声加算部1500に指示する(ST512)。
付加音声加算部1500では、外部から付加音声データを入力し(ST513)、付加音声生成部1510にて付加音声PCM信号を生成し(ST514)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算され(ST515)、PCM出力信号として外部に出力される(ST516)。
以上のように第5の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に音響処理条件判定テーブル1140を具備し、処理負荷が大きくなる場合でも、音響処理部1400に対して処理の一部を省く,もしくは,簡易再生に切り替える指示を与えることで、その分音響再生装置全体にかかる処理負荷が軽減されるため処理量の破綻を防ぐことが容易となる。
(第6の実施形態)
第6の実施形態による音響再生装置の構成を図23に示す。この音響再生装置6000は、第5の実施形態(図19)と同様、制御部1100,デコード部1200,サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500を備えている。
第5の実施形態(図19)との違いは、制御部1100内部に具備されるテーブルが処理フロー判定テーブル1150であり、処理フロー判定テーブル1150で示される判定条件の内容および制御部1100からサンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500へ指示される処理順序が異なる点である。
図27は、処理フロー判定テーブル1150の内容を示したものである。処理フロー判定テーブル1150は、サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500の処理順序を特定するための指示をデコード情報と再生指示情報とから判定するためのテーブルである。処理フロー判定テーブル1150には、デコード情報と再生指示情報との組み合わせと処理順序とが対応付けられている。図27の処理フロー判定テーブル1150では、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネルもしくはマルチチャンネルの2種類が設定されている。また、図27の処理フロー判定テーブル1150では、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。図27の処理フロー判定テーブル1150では、これらの各デコード情報と各再生指示情報との組み合わせに対して処理順序,ここでは,通常の処理順序(通常フロー)，付加音声加算部1500の処理を先行して行う(付加音声加算処理先行)が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
次に、以上のように構成された音響再生装置6000の動作について図24〜図26のフローチャートを参照しつつ説明する。なお、ここでは説明を容易とするため、以下の2つのケースにおける動作について説明する。
(ケース1)
・デコード情報…デコーダタイプ:AC3,サンプリング周波数:48kHz,チャンネル構成:2チャンネル
・再生指示情報…機能Aと機能Bのうち機能Aのみの実施
(ケース2)
・デコード情報…デコーダタイプ:AAC,サンプリング周波数:48kHz,チャンネル構成:マルチチャンネル
・再生指示情報…機能Aと機能Bの両方を実施
(ケース1における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST601,ST602)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST603)。
制御部1100は、外部から再生指示情報として機能A実施の指示を受信し，デコード部1200からデコード情報を受信する(ST605)。さらにデコード部1200のデコード処理以降の処理フロー判定のために処理フロー判定テーブル1150(図27)を参照し、デコード情報(デコーダタイプ:AC3,サンプリング周波数FS:48kHz,チャンネル構成:2チャンネル)および再生指示情報(機能Aのみ実施)から処理順序を判定する(ST606)。ここでは、サンプリング周波数変換部1300の処理は不要、音響処理部1400における処理の後に付加音声加算処理を実施する(通常フロー)と判定する(ST607でYes)。処理フロー判定テーブル1150の参照結果に従い、まず音響処理部1400に対して音響処理の実施を指示する(ST611)。
音響処理部1400では、制御部1100より音響処理の指示を受信し、この指示に従い復号PCM信号に対して機能Aに対する音響処理を実施する(ST612)。ここでの音響処理指示情報では機能Bに対応する高音質化処理が含まれていない。
付加音声加算部1500では、外部から付加音声データを入力し(ST614)、付加音声生成部1510にて付加音声PCM信号を生成し(ST615)、更に加算器1520により、復号PCM信号と付加音声PCM信号とが加算され(ST616)、PCM出力信号として外部に出力される(ST617)。
(ケース2における動作)
まず、デコード部1200では、外部より入力されるオーディオビットストリームを復号し復号PCM信号を生成し(ST601,ST602)、さらにオーディオビットストリームを復号する際にデコード情報を取得し制御部1100へ出力する(ST603)。
制御部1100は、外部から再生指示情報として機能Aおよび機能B実施の指示を受信，デコード部1200からデコード情報を受信する(ST605)。さらにデコード部1200のデコード処理以降の処理フロー判定のために処理フロー判定テーブル1150(図27)を参照し、デコード情報(デコーダタイプ:AAC,サンプリング周波数FS:48kHz,チャンネル構成:マルチチャンネル)および再生指示情報(機能Aおよび機能Bを実施)から処理順序を判定する(ST606)。ここでは、まず、付加音声加算部1500での付加音声加算処理を実施し，次にサンプリング周波数変換部1300での処理，次に音響処理部1400での音響処理を実施する(付加音声加算処理先行)と判定する(ST607でNo)。処理フロー判定テーブル1150の参照結果に従い、まず付加音声加算部1500に対して付加音声加算処理の実施を指示する(ST618)。
付加音声加算部1500では、外部から付加音声データを入力し(ST619)、付加音声生成部1510にて付加音声PCM信号を生成し(ST620)、更に加算器1520により復号PCM信号と付加音声PCM信号とが加算される(ST621)。ここで、付加音声生成部1510にて付加音声PCM信号に対するオーバーサンプリング処理は実施されない。
次に制御部1100では、サンプリング周波数の変換が必要と判断されるので(ST623でNo)、付加音声加算部1500から出力されるPCM出力信号に対するオーバーサンプリング処理をサンプリング周波数変換部1300に指示し(ST624)、サンプリング周波数変換部1300は制御部1100の指示に従いオーバーサンプリング処理を実施する(ST625)。
更に制御部1100は、音響処理部1400に音響処理の実施を指示する(ST626)。音響処理部1400は、制御部1100より音響処理の指示を受信し、この指示に従い復号PCM信号に対して機能Aおよび機能Bに対する音響処理を実施し(ST627)、PCM出力信号として外部に出力する(ST628)。
以上のように第6の実施形態では、(ケース1)の場合に比べ、(ケース2)の場合はデコード部1200でのデコード処理の負荷が大きく、更にサンプリング周波数変換部1300でのオーバーサンプリング処理が施されるためその分再生処理にかかる処理負荷が大きくなる。しかしながら制御部1100内部に処理フロー判定テーブル1150を具備し、処理負荷が大きくなる場合には、付加音声加算部1500での付加音声データの加工処理，加算処理をサンプリング周波数変換部1300でのサンプリング周波数変換処理よりも前段で実施するように設定することで、付加音声データの加工処理で発生するサンプリング周波数変換の処理負荷を削減することが可能となり、その分、音響再生装置全体の処理量の破綻を防ぐことが容易となる。この場合、音響処理部1400での音響処理が付加音声ミックス処理後に実施されるため、付加音声に対しても音響処理が施されることになってしまうが、出力PCM信号のサンプリング周波数を下げる必要もないので、デコード部1200によりデコードされたPCMの音質劣化の抑制や外部から要求される高音質化処理の実現は可能となる。
(第7の実施形態)
第1〜6の実施形態では、音響再生装置1000〜6000が独立した1つのプロセッサで実現される形態を想定しているため、音響再生装置1000〜6000全体の処理負荷は固定される。これに対し、これ以降の第7〜11の実施形態では、音響再生装置が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定する。この場合、音響再生装置全体の処理負荷はシステムの負荷(たとえばユースケース等)に応じて変化するため、音響再生装置全体の処理負荷の管理が必要になる。
第7の実施形態による音響再生装置の構成を図28に示す。この音響再生装置は、第1の実施形態の音響再生装置1000(図1)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定している。
本実施形態において、制御部1100は、外部から再生指示情報およびユースケース情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。ユースケース情報は、音響再生装置1000が組み込まれているシステムの負荷を示す情報の一例である。制御部1100は、内部に音響処理負荷条件判定テーブル1110aと加工手段選定テーブル1110bとを有しており、デコード情報と再生指示情報とユースケース情報から、音響処理負荷条件判定テーブル1110aと加工手段選定テーブル1110bを参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
付加音声生成部1510は、付加音声PCM信号を生成するための3種類の加工手段1511,1512,1513を備える。ここでは演算処理負荷の大きい順番は加工手段1(1511),加工手段2(1512),加工手段3(1513)であり、加工結果の音響特性が優れている順番は加工手段1(1511),加工手段2(1512),加工手段3(1513)であるものとする。これら3種類の加工手段1511,1512,1513は制御部1100からの指示により使い分けられる。
図29は、音響処理負荷条件判定テーブル1110aの内容を示したものである。音響処理負荷条件判定テーブル1110aには、デコード情報と再生指示情報との組み合わせと加工手段ポインタ情報とが対応付けられている。図29の音響処理負荷条件判定テーブル1110aでは、デコーダタイプ，サンプリング周波数FS，チャンネル構成の組み合わせがデコード情報として設定されている。ここでは、デコーダタイプとして、AC3，AAC，リニアPCMが設定されている。サンプリング周波数FSとして、デコーダタイプがAC3，AACの場合は48kHzのみ、デコーダタイプがリニアPCMの場合は48kHzまたは96kHzが設定されている。チャンネル構成として、各デコーダタイプとも2チャンネル,マルチチャンネルの2種類が設定されている。また、図29の音響処理負荷条件判定テーブル1110aでは、再生指示情報として、機能Aおよび機能Bの両方を実施しない(なし)，機能Aのみ実施(機能A)，機能Bのみ実施(機能B)，機能Aおよび機能Bの両方を実施(機能A＋機能B)が設定されている。そして、図29の音響処理負荷条件判定テーブル1110aでは、これらの各デコード情報と各再生指示情報との組み合わせに対してポインタ1またはポインタ2が対応付けられている。なお、ここでは説明を簡単にするため、機能Bの実施の場合にはサンプリング周波数を96kHzに変換する必要があるものとする。
図30は、加工手段選定テーブル1110bの内容を示したものである。加工手段選定テーブル1110bには、ユースケース情報と加工手段ポインタ情報との組み合わせと加工手段とが対応付けられている。図30の加工手段選定テーブル1110bでは、ユースケース情報として、ユースケース1,2,3が設定されており、加工手段ポインタ情報としてポインタ1,2が設定されている。そして、これらの各ユースケース情報と各加工手段ポインタ情報との組み合わせに対して加工手段1または加工手段2または加工手段3が対応付けられている。なお、ここでは一例として、ユースケース1としてメディア(映像と音声)の単独再生が設定され、ユースケース2としてメディア(音声のみ)の単独再生が設定され、ユースケース3としてメディア再生とインターネット接続の同時処理が設定されているものとする。
本実施形態による音響再生装置1000が実行する処理の流れを図31〜図32に示す。図31〜図32に示すフローチャートは、図2〜図3のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST105(図2)に代えてステップST105a(図31)を実行し、ステップST112(図3)に代えてステップST112a,ST112b(図32)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
ステップST105aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。
ステップST112aにおいて、制御部1100は、音響処理負荷条件判定テーブル1110a(図29)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている加工手段ポインタ情報を特定する。
ステップST112bにおいて、制御部1100は、加工手段選定テーブル1110b(図30)を参照し、ステップST105aで受信したユースケース情報とステップST112aで特定した加工手段ポインタ情報とに対応付けられている加工手段を特定する。
以上のように第7の実施形態では、システム負荷情報(ユースケース情報)と音響処理負荷条件(再生指示情報，デコード情報)から加工手段を特定するため、音響再生装置1000が他の処理装置とあわせて1つのプロセッサ(システム)で実現される場合においても、第1の実施形態で説明したのと同様の効果が得られる。
(第8の実施形態)
第8の実施形態による音響再生装置は、第7の実施形態による音響再生装置の変形例でありその構成は同様である。ただし本実施形態では、制御部1100は、内部に音響処理負荷条件判定テーブル1110cとユースケース情報変換テーブル1110dとポインタ情報変換テーブル1110eとを有しており、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1110c,1110d,1110eを参照し、付加音声生成部1510における付加音声PCM信号の加工手段を決定する。
図33は、音響処理負荷条件判定テーブル1110c，ユースケース情報変換テーブル1110d，ポインタ情報変換テーブル1110eの内容を示したものである。音響処理負荷条件判定テーブル1110cには、デコード情報と再生指示情報との組み合わせと差分ポインタ値とが対応付けられている。また、ユースケース情報変換テーブル1110dには、ユースケース情報と差分ポインタ値とが対応付けられている。ポインタ情報変換テーブル1110eにはトータルポインタ値と加工手段とが対応付けられている。
本実施形態による音響再生装置が実行する処理の流れは図31〜図32のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST112a,ST112b(図32)に代えてステップST112c,ST112d,ST112e,ST112f(図34)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
ステップST112cにおいて、制御部1100は、音響処理負荷条件判定テーブル1110c(図33)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている差分ポインタ値を特定する。
ステップST112dにおいて、制御部1100は、ユースケース情報変換テーブル1110d(図33)を参照し、ステップST105aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
ステップST112eにおいて、制御部1100は、ステップST112cで特定した差分ポインタ値とステップST112dで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
ステップST112fにおいて、制御部1100は、ポインタ情報変換テーブル1110e(図33)を参照し、ステップST112eで算出したトータルポインタ値に対応付けられている加工手段を特定する。
(第9の実施形態)
第9の実施形態による音響再生装置は、第2の実施形態の音響再生装置2000(図5)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。
ただし本実施形態では、制御部1100は、外部から再生指示情報およびユースケース情報，デコード部1200からデコード情報を受信し、復号PCM信号に対してのサンプリング周波数変換の有無や各種音響処理の有無を判定し、サンプリング周波数変換部1300，音響処理部1400および付加音声加算部1500に対して処理を指示する。制御部1100は、内部に音響処理負荷条件判定テーブル1110cとユースケース情報変換テーブル1110dとポインタ情報変換テーブル1110eとを有しており、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1110c,1110d,1110eを参照して、付加音声加算部1500において付加音声生成部1510から加算器1520に与えられる付加音声PCM信号の音源として外部入力付加音声データ，もしくは，内部実装付加音声データのいずれを使用するかを決定する。
図35は、音響処理負荷条件判定テーブル1110c，ユースケース情報変換テーブル1110d，ポインタ情報変換テーブル1110eの内容を示したものである。音響処理負荷条件判定テーブル1110cには、デコード情報と再生指示情報との組み合わせと差分ポインタ値とが対応付けられている。また、ユースケース情報変換テーブル1110dには、ユースケース情報と差分ポインタ値とが対応付けられている。ポインタ情報変換テーブル1110eにはトータルポインタ値と外部音声生成条件(外部入力，内部実装)とが対応付けられている。
本実施形態による音響再生装置が実行する処理の流れは図6〜図8のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST205(図6)に代えてステップST105a(図31)を実行し、ステップST212(図7)に代えてステップST212c,ST212d,ST212e,ST212f(図34)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
ステップST105aにおける処理は上記第7の実施形態と同様である。
ステップST212cにおいて、制御部1100は、音響処理負荷条件判定テーブル1110c(図35)を参照し、ステップST105aで受信した再生指示情報とデコード情報に対応付けられている差分ポインタ値を特定する。
ステップST212dにおいて、制御部1100は、ユースケース情報変換テーブル1110d(図35)を参照し、ステップST105aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
ステップST212eにおいて、制御部1100は、ステップST212cで特定した差分ポインタ値とステップST212dで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
ステップST212fにおいて、制御部1100は、ポインタ情報変換テーブル1110e(図35)を参照し、ステップST212eで算出したトータルポインタ値に対応付けられている外部音声生成条件(外部入力，内部実装)を特定する。
(第10の実施形態)
第10の実施形態による音響再生装置は、第5の実施形態の音響再生装置5000(図19)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。
ただし本実施形態では、制御部1100は、内部にデコード処理負荷条件変換テーブル1140aとユースケース情報変換テーブル1140bと音響処理負荷条件判定テーブル1140cを有している。制御部1100は、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1140a,1140b,1140cを参照し、音響処理部1400に対する音響処理条件の指示(通常の処理，処理の一部を省く，簡易再生)を決定する。
図37は、デコード処理負荷条件変換テーブル1140a，ユースケース情報変換テーブル1140b，音響処理負荷条件判定テーブル1140cの内容を示したものである。デコード処理負荷条件変換テーブル1140aには、デコード情報とポインタ値とが対応付けられている。ユースケース情報変換テーブル1140bには、ユースケース情報と差分ポインタ値とが対応付けられている。音響処理負荷条件判定テーブル1140cには、トータルポインタ値と再生指示情報との組み合わせと音響処理条件(なし，通常版，間引き，簡易版)とが対応付けられている。
本実施形態による音響再生装置が実行する処理の流れは図20〜図21のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST505(図20)に代えてステップST505a(図38)を実行し、ステップST506(図20)に代えてステップST506a,ST506b,ST506c,ST506d(図38)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
ステップST505aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。
ステップST506aにおいて、制御部1100は、デコード処理負荷条件変換テーブル1140a(図37)を参照し、ステップST505aで受信したデコード情報に対応付けられているポインタ値を特定する。
ステップST506bにおいて、制御部1100は、ユースケース情報変換テーブル1140b(図37)を参照し、ステップST505aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
ステップST506cにおいて、制御部1100は、ステップST506aで特定したポインタ値とステップST506bで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
ステップST506dにおいて、制御部1100は、音響処理負荷条件判定テーブル1140c(図37)を参照し、ステップST506cで算出したトータルポインタ値とステップST505aで受信した再生指示情報とに対応付けられている音響処理条件を特定する。
(第11の実施形態)
第11の実施形態による音響再生装置は、第6の実施形態の音響再生装置6000(図23)が他の処理装置とあわせて1つのプロセッサ(システム)で実現される形態を想定しておりその構成は同様である。
ただし本実施形態では、制御部1100は、内部にデコード処理負荷条件変換テーブル1150aとユースケース情報変換テーブル1150bと処理フロー判定テーブル1150cを有している。制御部1100は、デコード情報と再生指示情報とユースケース情報から、これらのテーブル1150a,1150b,1150cを参照し、サンプリング周波数変換部1300,音響処理部1400,付加音声加算部1500における処理順序を決定する。
図39は、デコード処理負荷条件変換テーブル1150a，ユースケース情報変換テーブル1150b，処理フロー判定テーブル1150cの内容を示したものである。デコード処理負荷条件変換テーブル1150aには、デコード情報とポインタ値とが対応付けられている。ユースケース情報変換テーブル1150bには、ユースケース情報と差分ポインタ値とが対応付けられている。処理フロー判定テーブル1150cには、トータルポインタ値と再生指示情報との組み合わせと処理順序とが対応付けられている。
本実施形態による音響再生装置が実行する処理の流れは図24〜図26のフローチャートとほぼ同様である。ただし、本実施形態では、ステップST605(図24)に代えてステップST605a(図40)を実行し、ステップST606(図24)に代えてステップST606a,ST606b,ST606c,ST606d(図40)を実行する点が異なっている。以下、これら異なるステップにおける処理について説明する。
ステップST605aにおいて、制御部1100は、外部から再生指示情報に加えてユースケース情報も受信し、デコード部1200からデコード情報を受信する。
ステップST606aにおいて、制御部1100は、デコード処理負荷条件変換テーブル1150a(図39)を参照し、ステップST605aで受信したデコード情報に対応付けられているポインタ値を特定する。
ステップST606bにおいて、制御部1100は、ユースケース情報変換テーブル1150b(図39)を参照し、ステップST605aで受信したユースケース情報に対応付けられている差分ポインタ値を特定する。
ステップST606cにおいて、制御部1100は、ステップST606aで特定したポインタ値とステップST606bで特定した差分ポインタ値とを加算しトータルポインタ値を算出する。
ステップST606dにおいて、制御部1100は、処理フロー判定テーブル1150c(図39)を参照し、ステップST606cで算出したトータルポインタ値とステップST605aで受信した再生指示情報とに対応付けられている処理フローを特定する。
本発明によれば、デコード処理や再生条件によって処理負荷が増大する場合でも、内部で自動的に処理負荷軽減が図れるため、さまざまなビットストリームのデコード条件、音響処理の再生条件ごとに発生する処理能力の制限・音質劣化を最小限に抑え、できるだけ容易に最適な状態で付加音声とのミキシング処理を実現することが可能となる。
1000,2000,3000,4000,5000,6000,7000…音響再生装置
1100…制御部
1110…外部音声生成条件判定テーブル
1110a,1110c…音響処理負荷条件判定テーブル
1110b…加工手段選定テーブル
1110d…ユースケース情報変換テーブル
1110e…ポインタ情報変換テーブル
1120…PCM出力バッファ残量モニタ手段
1130…付加音声データ入力バッファ残量モニタ手段
1140…音響処理条件判定テーブル
1140a…デコード処理負荷条件変換テーブル
1140b…ユースケース情報変換テーブル
1140c…音響処理負荷条件判定テーブル
1150…処理フロー判定テーブル
1150a…デコード処理負荷条件変換テーブル
1150b…ユースケース情報変換テーブル
1150c…処理フロー判定テーブル
1200…デコード部
1300…サンプリング周波数変換部
1400…音響処理部
1500…付加音声加算部
1510…付加音声生成部
1511…加工手段1
1512…加工手段2
1513…加工手段3
1520…加算器
1530…付加音声切替スイッチ
1600…内部実装付加音声データバッファ
1700…PCM出力バッファ
1800…付加音声データ入力バッファ

Claims (19)

  1. 外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
    外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
    外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
    を備え、
    前記付加音声加算部は、
    前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
    前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
    前記付加音声生成部は、
    加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
    前記制御部は、
    前記再生指示情報および前記デコード情報に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
    前記付加音声生成部は、
    前記制御部によって特定された加工手段により前記付加音声データを加工する、
    ことを特徴とする音響再生装置。
  2. 請求項１において、
    前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
    ことを特徴とする音響再生装置。
  3. 請求項１または２において、
    前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備える、
    ことを特徴とする音響再生装置。
  4. 請求項１〜３のいずれか１つにおいて、
    前記制御部は、
    前記デコード情報と前記再生指示情報との組み合わせと前記複数の加工手段のいずれかとが対応付けられた外部音声生成条件判定テーブルを備える、
    ことを特徴とする音響再生装置。
  5. 請求項１〜３のいずれか１つにおいて、
    前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
    前記制御部は、
    外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記複数の加工手段のうちのいずれか１つを特定する、
    ことを特徴とする音響再生装置。
  6. 外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
    外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
    前記デコード部で生成した復号PCM信号に対して音響処理を施す音響処理部と、
    外部から入力される付加音声データを加工し、前記音響処理部により音響処理が施された復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
    を備え、
    前記付加音声加算部は、
    外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
    前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
    前記制御部は、
    前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定し、
    前記音響処理部は、
    前記制御部によって特定された音響処理条件により前記復号PCM信号に対する音響処理を実施する、
    ことを特徴とする音響再生装置。
  7. 請求項６において、
    前記制御部は、
    前記デコード情報と前記再生指示情報との組み合わせと音響処理条件とが対応付けられた音響処理条件判定テーブルを備える、
    ことを特徴とする音響再生装置。
  8. 請求項６または７において、
    前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
    ことを特徴とする音響再生装置。
  9. 請求項６において、
    前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
    前記制御部は、
    外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて前記音響処理部における音響処理条件を特定する、
    ことを特徴とする音響再生装置。
  10. 外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
    外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
    前記デコード部で生成した復号PCM信号に対して、前記制御部から伝送される再生指示に応じてサンプリング周波数変換処理を実施するサンプリング周波数変換部と、
    前記デコード部もしくは前記サンプリング周波数変換部より出力される復号PCM信号に対して、前記制御部から伝送される再生指示に応じて音響処理を実施する音響処理部と、
    外部から入力される付加音声データを加工し、前記デコード部もしくは前記音響処理部より出力される復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
    を備え、
    前記付加音声加算部は、
    外部から入力される付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
    前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
    前記制御部は、
    前記再生指示情報および前記デコード情報に基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定する、
    ことを特徴とする音響再生装置。
  11. 請求項１０において、
    前記制御部は、
    前記デコード情報と前記再生指示情報との組み合わせと,前記サンプリング周波数変換部によるサンプリング周波数変換処理と前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序と,が対応付けられた処理フロー判定テーブルを備える、
    ことを特徴とする音響再生装置。
  12. 請求項１０において、
    前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
    前記制御部は、
    外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、処理負荷を特定し、その処理負荷に応じて、前記サンプリング周波数変換部によるサンプリング周波数変換処理と、前記付加音声加算部による付加音声データの加工処理および加算処理の処理順序を決定する、
    ことを特徴とする音響再生装置。
  13. 音響再生装置であって、
    外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
    外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
    前記音響再生装置内部に実装される付加音声データ(内部実装付加音声データ)を格納する内部実装付加音声データバッファと、
    外部から入力される付加音声データ(外部入力付加音声データ),もしくは,前記内部実装付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
    を備え、
    前記制御部は、
    前記再生指示情報および前記デコード情報に基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定し、
    前記付加音声加算部は、
    前記外部入力付加音声データおよび前記内部実装付加音声データのうち前記制御部により特定されたほうの付加音声データを前記復号PCM信号と加算できるように加工し付加音声PCM信号として出力する付加音声生成部と、
    前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備える、
    ことを特徴とする音響再生装置。
  14. 請求項１３において、
    前記制御部から伝送される再生指示に応じて前記復号PCM信号に対してサンプリング周波数変換処理を実施するサンプリング周波数変換部をさらに備える、
    ことを特徴とする音響再生装置。
  15. 請求項１３または１４において、
    前記制御部から伝送される再生指示に応じて前記復号PCM信号に対して音響処理を実施する音響処理部をさらに備える、
    ことを特徴とする音響再生装置。
  16. 請求項１３〜１５のいずれか１つにおいて、
    前記制御部は、
    前記デコード情報と前記再生指示情報との組み合わせと,前記外部入力付加音声データまたは前記内部実装付加音声データを示す情報と,が対応付けられた外部音声生成条件判定テーブルを備える、
    ことを特徴とする音響再生装置。
  17. 請求項１３〜１５のいずれか１つにおいて、
    前記音響再生装置は、他の処理装置とあわせて１つのプロセッサ(システム)で実現されるものであり、
    前記制御部は、
    外部から得られるシステム負荷情報と前記再生指示情報および前記デコード情報とに基づいて、前記外部入力付加音声データ,もしくは,前記内部実装付加音声データを特定する、
    ことを特徴とする音響再生装置。
  18. 外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
    外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
    外部から入力される付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
    前記付加音声加算部より出力されるPCM出力信号を蓄積するPCM出力バッファと、
    を備え、
    前記付加音声加算部は、
    前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
    前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
    前記付加音声生成部は、
    加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
    前記制御部は、
    前記PCM出力バッファの出力PCM信号の残量を監視するPCM出力バッファ残量モニタ手段を備え、
    前記PCM出力バッファの出力PCM信号の残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
    前記付加音声生成部は、
    前記制御部によって特定された加工手段により前記付加音声データを加工する、
    ことを特徴とする音響再生装置。
  19. 外部から入力される音声信号ビットストリームをデコードし復号PCM信号を生成するデコード部と、
    外部から得られる再生指示情報および前記デコード部より得られるデコード情報から再生条件を特定し再生指示を行う制御部と、
    外部より入力される付加音声データを蓄積する付加音声データ入力バッファと、
    前記付加音声データ入力バッファに蓄積された付加音声データを加工して前記復号PCM信号と加算しPCM出力信号として出力する付加音声加算部と、
    を備え、
    前記付加音声加算部は、
    前記復号PCM信号と加算できるように前記付加音声データを加工し付加音声PCM信号として出力する付加音声生成部と、
    前記付加音声PCM信号と前記復号PCM信号とをミックスする加算器とを備え、
    前記付加音声生成部は、
    加工の演算処理の負荷の大きさと加工結果の音響特性とのトレードオフに応じた複数の加工手段を備え、
    前記制御部は、
    前記付加音声データ入力バッファの付加音声データの残量を監視する付加音声データ入力バッファ残量モニタ手段を備え、
    前記付加音声データ入力バッファの付加音声データの残量状態に基づいて、前記複数の加工手段のうちのいずれか１つを特定し、
    前記付加音声生成部は、
    前記制御部によって特定された加工手段により前記付加音声データを加工する、
    ことを特徴とする音響再生装置。
JP2009550450A 2008-01-21 2009-01-14 音響再生装置 Expired - Fee Related JP4990377B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009550450A JP4990377B2 (ja) 2008-01-21 2009-01-14 音響再生装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008010878 2008-01-21
JP2008010878 2008-01-21
PCT/JP2009/000113 WO2009093421A1 (ja) 2008-01-21 2009-01-14 音響再生装置
JP2009550450A JP4990377B2 (ja) 2008-01-21 2009-01-14 音響再生装置

Publications (2)

Publication Number Publication Date
JPWO2009093421A1 JPWO2009093421A1 (ja) 2011-05-26
JP4990377B2 true JP4990377B2 (ja) 2012-08-01

Family

ID=40900933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009550450A Expired - Fee Related JP4990377B2 (ja) 2008-01-21 2009-01-14 音響再生装置

Country Status (4)

Country Link
US (1) US8571879B2 (ja)
JP (1) JP4990377B2 (ja)
CN (1) CN101925952B (ja)
WO (1) WO2009093421A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012154618A2 (en) 2011-05-06 2012-11-15 Seyyer, Inc. Video generation based on text
US9064392B2 (en) * 2012-10-23 2015-06-23 Verizon Patent And Licensing Inc. Method and system for awareness detection
KR102356702B1 (ko) * 2015-11-24 2022-01-27 삼성전자주식회사 호스트 cpu 지원형 오디오 프로세싱 방법 및 이를 수행하는 컴퓨팅 시스템
JP7147211B2 (ja) * 2018-03-22 2022-10-05 ヤマハ株式会社 情報処理方法および情報処理装置
CN111445914B (zh) * 2020-03-23 2023-10-17 全景声科技南京有限公司 可拆解和再编辑音频信号的处理方法及装置
US20230386496A1 (en) * 2020-12-07 2023-11-30 Denso Ten Limited Audio signal processing device and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187269A (ja) * 1996-12-25 1998-07-14 Oki Electric Ind Co Ltd 電話会議装置
JPH10268877A (ja) * 1997-03-25 1998-10-09 Yamaha Corp 音声信号処理装置およびカラオケ装置
JPH11213558A (ja) * 1998-01-27 1999-08-06 Toshiba Corp 音声データ処理装置およびコンピュータシステム並びに音声データ処理方法
JP2002366179A (ja) * 2001-06-04 2002-12-20 Casio Comput Co Ltd 情報端末装置、及びプログラム
JP2006268931A (ja) * 2005-03-23 2006-10-05 Alpine Electronics Inc オーディオ再生装置
JP2007295144A (ja) * 2006-04-24 2007-11-08 Pioneer Electronic Corp 音声処理装置、再生装置、その方法、そのプログラム、およびそのプログラムを記録した記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3415398B2 (ja) 1997-08-07 2003-06-09 パイオニア株式会社 音声信号処理装置
JP2005518051A (ja) 2002-01-23 2005-06-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーバーサンプリングされたデジタルオーディオ信号をミキシングするためのミキシングシステム
JP2005535915A (ja) * 2002-08-08 2005-11-24 コスモタン インク 可変長さ合成と相関度計算減縮技法を利用したオーディオ信号の時間スケール修正方法
US7418606B2 (en) 2003-09-18 2008-08-26 Nvidia Corporation High quality and high performance three-dimensional graphics architecture for portable handheld devices
US8270439B2 (en) * 2005-07-08 2012-09-18 Activevideo Networks, Inc. Video game system using pre-encoded digital audio mixing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187269A (ja) * 1996-12-25 1998-07-14 Oki Electric Ind Co Ltd 電話会議装置
JPH10268877A (ja) * 1997-03-25 1998-10-09 Yamaha Corp 音声信号処理装置およびカラオケ装置
JPH11213558A (ja) * 1998-01-27 1999-08-06 Toshiba Corp 音声データ処理装置およびコンピュータシステム並びに音声データ処理方法
JP2002366179A (ja) * 2001-06-04 2002-12-20 Casio Comput Co Ltd 情報端末装置、及びプログラム
JP2006268931A (ja) * 2005-03-23 2006-10-05 Alpine Electronics Inc オーディオ再生装置
JP2007295144A (ja) * 2006-04-24 2007-11-08 Pioneer Electronic Corp 音声処理装置、再生装置、その方法、そのプログラム、およびそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
CN101925952A (zh) 2010-12-22
JPWO2009093421A1 (ja) 2011-05-26
CN101925952B (zh) 2012-06-06
US20100296676A1 (en) 2010-11-25
US8571879B2 (en) 2013-10-29
WO2009093421A1 (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
JP4990377B2 (ja) 音響再生装置
TWI485619B (zh) 基於音訊輸出裝置之自動音訊組態
US6714826B1 (en) Facility for simultaneously outputting both a mixed digital audio signal and an unmixed digital audio signal multiple concurrently received streams of digital audio data
US8855319B2 (en) Audio signal processing apparatus and audio signal processing method
US20070050479A1 (en) Content receiving apparatus and content receiving method
US20050036453A1 (en) Controlling method and device for data transmission
TW201042637A (en) Signal clipping protection using pre-existing audio gain metadata
JP2005519537A (ja) トリック・モードで再生中の音声データの削除および消音
EP1945002A2 (en) Multiple output audio system
JP2014187510A (ja) ストリーミング配信システム、ストリーミング配信方法、ストリーミング配信プログラムおよびストリーミング配信サーバ
JP2001505348A (ja) 記録担体からディジタルオーディオ信号を再生する装置及び方法
KR20090082951A (ko) 멀티미디어 프로세서 칩 및 오디오 신호 처리 방법
WO2015119141A1 (ja) コンテンツ再生装置
US8543230B2 (en) Optimizing seek functionality in media content
US8750801B2 (en) Selective transcoding of encoded media files
US9819429B2 (en) Efficient load sharing and accelerating of audio post-processing
US20030210617A1 (en) Shock protection for compressed audio on a CD player
JP4256331B2 (ja) 音声データエンコード装置および音声データデコード装置
JP2008301208A (ja) 映像記録装置
US8229583B2 (en) Apparatus and method of setting received broadcasting sound source data as functional sound of mobile phone
RU2007135871A (ru) Устройство предоставления источника звука и способ предоставления источника звука
JP4191221B2 (ja) 記録再生装置、同時記録再生制御方法、および同時記録再生制御プログラム
JP2009146550A (ja) 情報データストリームの同時記録再生装置、及び方法
JP3966814B2 (ja) 簡易再生方法とこの方法に利用可能な簡易再生装置、復号方法、復号装置
JPH11306666A (ja) 情報伝送装置および情報再生装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120501

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees