JP2001292446A

JP2001292446A - 映像及び音声符号化方法

Info

Publication number: JP2001292446A
Application number: JP2000103092A
Authority: JP
Inventors: Satoshi Hasegawa; 聡長谷川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-04-05
Filing date: 2000-04-05
Publication date: 2001-10-19

Abstract

(57)【要約】【課題】映像と音声を同時に符号化処理する場合、効
率の良い符号化環境を提供する。【解決手段】映像及び音声符号化装置は、入力映像デ
ータを符号化し映像符号化データを出力する映像符号化
処理を行う映像符号化処理部５と、入力音声データを符
号化し音声符号化データを出力する音声符号化処理を行
う音声符号化処理部６と、映像符号化処理の負荷の状況
を判断し、判断した映像符号化処理の負荷状況に応じ
て、音声符号化処理部６における音声符号化処理の負荷
量を変化させる判断部７とを有する。判断部７は、判断
した映像符号化処理の負荷状況が重い負荷を示していれ
ばいるほど、音声符号化処理部における音声符号化処理
の負荷量を減少させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像及び音声を符
号化する方法及び装置に関する。

【０００２】

【従来の技術】ＭＰＥＧ(Moving Picture Experts Grou
p)規格による映像及び音声の符号化装置において、特に
パーソナルコンピュータなどのＣＰＵ(Central Process
ing Unit)上で動作するソフトウェアにより、映像と音
声を同時に符号化する装置を実現した場合、一般的に映
像符号化処理の負荷が重く、さらに入力画像の状態によ
ってもその負荷が大きく左右される。

【０００３】また、符号化処理を実現するパーソナルコ
ンピュータ等の性能によっても符号化性能が大きく左右
され、特にその性能が低い場合、映像のコマ落ちが顕著
に発生した。

【０００４】これは、特に実時間符号化（リアルタイム
符号化）処理を施した場合に見られる現象であった。

【０００５】

【発明が解決しようとする課題】このため、ＣＰＵにお
ける限られた単位時間あたりの処理量に占める映像符号
化処理の割合を増やすため、音声符号化処理の割合を少
しでも減らし、映像符号化処理に割り当てる必要が生じ
ていた。

【０００６】本発明の課題は、映像と音声を同時に符号
化処理する場合、効率の良い符号化環境を提供するもの
である。

【０００７】

【課題を解決するための手段】本発明の第１の態様によ
れば、入力映像データを符号化し映像符号化データを出
力する映像符号化処理を行う映像符号化処理ステップ
と、入力音声データを符号化し音声符号化データを出力
する音声符号化処理を行う音声符号化処理ステップと、
前記映像符号化処理の負荷の状況を判断し、判断した前
記映像符号化処理の負荷状況に応じて、前記音声符号化
処理ステップにおける前記音声符号化処理の負荷量を変
化させる判断ステップとを有することを特徴とする映像
及び音声符号化方法が得られる。

【０００８】本発明の第２の態様によれば、上記第１の
態様による映像及び音声符号化方法において、前記判断
ステップは、前記判断した前記映像符号化処理の負荷状
況が重い負荷を示していればいるほど、前記音声符号化
処理ステップにおける前記音声符号化処理の負荷量を減
少させることを特徴とする映像及び音声符号化方法が得
られる。

【０００９】本発明の第３の態様によれば、上記第２の
態様による映像及び音声符号化方法において、前記判断
ステップは、前記判断した前記映像符号化処理の負荷状
況が重い負荷を示していればいるほど、前記音声符号化
処理ステップにおける前記音声符号化処理の負荷量を、
前記音声符号化処理の心理聴覚分析において高音域側の
臨界帯域から段階的に処理を省かせることにより、減少
させることを特徴とする映像及び音声符号化方法が得ら
れる。

【００１０】本発明の第４の態様によれば、上記第１乃
至第３の態様のいずれかによる映像及び音声符号化方法
において、前記映像符号化データ及び前記音声符号化デ
ータを多重化し、多重化されたデータを出力するステッ
プを更に有することを特徴とする映像及び音声符号化方
法が得られる。

【００１１】本発明の第５の態様によれば、入力映像デ
ータを符号化し映像符号化データを出力する映像符号化
処理を行う映像符号化処理部と、入力音声データを符号
化し音声符号化データを出力する音声符号化処理を行う
音声符号化処理部と、前記映像符号化処理の負荷の状況
を判断し、判断した前記映像符号化処理の負荷状況に応
じて、前記音声符号化処理部における前記音声符号化処
理の負荷量を変化させる判断部とを有することを特徴と
する映像及び音声符号化装置が得られる。

【００１２】本発明の第６の態様によれば、上記第５の
態様による映像及び音声符号化装置において、前記判断
部は、前記判断した前記映像符号化処理の負荷状況が重
い負荷を示していればいるほど、前記音声符号化処理部
における前記音声符号化処理の負荷量を減少させること
を特徴とする映像及び音声符号化装置が得られる。

【００１３】本発明の第７の態様によれば、上記第６の
態様による映像及び音声符号化装置において、前記判断
部は、前記判断した前記映像符号化処理の負荷状況が重
い負荷を示していればいるほど、前記音声符号化処理部
における前記音声符号化処理の負荷量を、前記音声符号
化処理の心理聴覚分析において高音域側の臨界帯域から
段階的に処理を省かせることにより、減少させることを
特徴とする映像及び音声符号化装置が得られる。

【００１４】本発明の第８の態様によれば、上記第５乃
至第７の態様による映像及び音声符号化装置において、
前記映像符号化データ及び前記音声符号化データを多重
化し、多重化されたデータを出力する多重化部を更に有
することを特徴とする映像及び音声符号化装置が得られ
る。

【００１５】

【作用】パーソナルコンピュータなどのＣＰＵ上で動作
するソフトウェアで符号化処理を実現した場合、一般に
画像符号化処理は音声符号化処理と比較して処理負荷が
重く、また符号化する画像の状態によってその処理負荷
が大きく変化する。このため、単位時間あたりの処理量
が限られるＣＰＵ等では、本発明に従って、その処理量
を符号化状態に応じて効率良く分配する事で、コマ落ち
数の低減等につなげることが可能になる。

【００１６】また、本発明は、音声符号化処理の中では
心理聴覚分析処理がもっとも負荷が重く、この処理負荷
を低減することにより、全体の処理に余裕が生まれるこ
とに着目したものである。加えて本発明は、人間の聴覚
は、個人差はあるが高音域は低音域に比べ聞き取りにく
いという特性にも着目したものである。

【００１７】特開平１０−３０４３６０号公報に、映像
符号化処理の負荷軽減方法ならびに音声処理の負荷軽減
方法が記述されており、映像符号化処理の負荷軽減方法
としては、その負荷状態に応じて符号化パラメータを変
更し、そのフレームの符号化形態フレーム内符号化処理
するものと順方向予測符号化処理をするものを適宜切り
替える方式が提案されている。また音声符号化処理の負
荷軽減方法としては、音声符号化処理の中で最も処理負
荷の重い心理聴覚分析処理に代わる心理聴覚分析代替制
御方式によるビット割り当てをする方式が提案されてい
る。しかしながら、本発明のように、映像符号化処理の
負荷の状況を判断し、判断した映像符号化処理の負荷状
況に応じて、音声符号化処理ステップ（音声符号化処理
部）における音声符号化処理の負荷量を変化させること
は開示がない。

【００１８】国際公開ＷＯ９４／３００１３には、音声
信号の圧縮率を高めることで伝送情報量の削減をするこ
とが開示されている。しかしながら、本発明のように、
映像符号化処理の負荷の状況を判断し、判断した映像符
号化処理の負荷状況に応じて、音声符号化処理ステップ
（音声符号化処理部）における音声符号化処理の負荷量
を変化させることは開示がない。

【００１９】特開平７−２００４３９号公報は、ＣＰＵ
での処理負荷を軽減するための手法を述べたものである
が、内容は映像符号化の解像度を適応的に変化させるこ
とで負荷を軽減するものであり、本発明のように、映像
符号化処理の負荷の状況を判断し、判断した映像符号化
処理の負荷状況に応じて、音声符号化処理ステップ（音
声符号化処理部）における音声符号化処理の負荷量を変
化させることは開示がない。

【００２０】

【発明の実施の形態】次に本発明の実施例について図面
を参照して説明する。

【００２１】図１（ａ）は実時間（リアルタイム）処理
する場合の本発明の一実施例による映像及び音声符号化
装置の構成を示したブロック図であり、図１（ｂ）は図
１（ａ）における音声符号化部の詳細を示したブロック
図である。

【００２２】先ず、本発明の特徴を説明する。

【００２３】図１（ａ）において、映像符号化部５の負
荷状態を処理能力判断部７で検出し、パーソナルコンピ
ュータの性能（スペック）も考慮した状態で、音声符号
化部６に対し処理の削減を指示する。

【００２４】図１（ｂ）において、音声符号化部６の心
理聴覚分析部１３は、音声符号化処理の中で半分以上の
負荷を占める処理の重い部分である。ここで、処理能力
判断部７から処理削減の指示を受けると、心理聴覚分析
部１３は、処理するスペクトル量を高音域側から臨界帯
域にしたがって削減することで、心理聴覚分析処理の負
荷軽減をはかる。また、その指示に応じて、高音域側か
ら段階的に処理するスペクトル量を削減できる。人間の
聴覚は、低音域より高音域のほうが認知しにくい特性を
持っているため、高音域側の処理を削減しても、音質の
劣化は判断しにくい。このことから、音声符号化の負荷
が軽減され、映像符号化に割り当てられる単位時間あた
りの処理量が増加するので、映像のコマ落ちを軽減する
ことが出来る。

【００２５】次に本発明の実施例の構成について説明す
る。

【００２６】図１（ａ）において、カメラ１及びマイク
２を介して映像キャプチャ部３及び音声キャプチャ部４
でキャプチャされた入力映像データと入力音声データ
は、それぞれ映像符号化部５及び音声符号化部６でＭＰ
ＥＧ方式による符号化処理が施され、システム符号化部
（又は多重化部）８で映像符号化信号（映像符号化デー
タ）と音声符号化信号（音声符号化データ）を多重化
し、一本のビット列として記録媒体９に保存する。ここ
で、映像符号化部５における負荷状況を処理能力判断部
７で検出し、その解析結果を音声符号化部６に渡すこと
で音声符号化処理の負荷を増減させる。

【００２７】図１（ｂ)において、音声符号化部６にお
いて入力音声データはサブバンド分割部１０と心理聴覚
分析部１３にそれぞれ入力される。サブバンド分割部１
０で処理された入力音声データは、Ｎ個の帯域に分割さ
れて出力される。心理聴覚分析部１３では、処理能力判
断部７からの解析結果に応じて、サブバンド単位でのマ
スキング量が求められ、この結果を元にビット割り当て
部１１でサブバンド単位のビット割当量を決定し、量子
化部１２で量子化されて音声符号化データとして出力さ
れる。

【００２８】図２は音声符号化部６における心理聴覚分
析部１３の詳細を示したブロック図である。ＦＦＴ（高
速フーリエ変換）部２０は、入力音声データをスペクト
ル分解する。スペクトル検出部２１は、処理能力判断部
７からの解析結果を受け、ＦＦＴ部２０から受けたスペ
クトルのうち、マスカーとなり得るスペクトルのみを検
出する。マスキングしきい値計算部２２では、スペクト
ル検出部２１で検出されたスペクトルに対し、最小可聴
しきい値との比較や、マスキング効果の分析を施した
後、処理能力判断部７からの解析結果に応じて、各サブ
バンド当たりのマスキング量を算出する。最終的に、信
号対マスク比算出部２３は、音圧レベル算出部２４で処
理能力判断部７からの解析結果に応じて算出された各サ
ブバンド当たりの音圧レベルとマスキング量を信号対マ
スク比（ＳＭＲ）としてビット割り当て部１１に対して
出力する。

【００２９】図３は絶対可聴しきい値曲線を示したグラ
フであり、人間は個人差はあるものの、この絶対可聴し
きい値より小さな音圧は知覚する事が出来ない。最も知
覚しやすいのは１ｋＨｚから４ｋＨｚ付近であり、高音
域より低音域の方が人間にとって知覚しやすいことがこ
のグラフから判断できる。

【００３０】図４は臨界帯域（クリティカルバンド）と
ＦＦＴスペクトル及び周波数帯域の関係を示した表であ
る。心理聴覚分析部１３からの出力は、サブバンド単位
でビット割り当て部１１に渡されるが、実際の処理は臨
界帯域と呼ばれる、マスキング効果の及ぶ周波数帯域に
分割して処理されており、サブバンド分割のように等間
隔分割ではない。この表に示した内容は、ＭＰＥＧ／Ａ
ｕｄｉｏレイヤIIで、サンプリング周波数が４４．１ｋ
Ｈｚの場合であって、符号化条件によってその内容は異
なる。この臨界帯域での処理が終了した後、あらためて
サブバンド単位に結果を分割し、サブバンド単位の結果
として出力される。

【００３１】次に、図１、図２、図３、図４、及び図５
を参照して、上記実施例の動作について詳細に説明す
る。

【００３２】実時間（リアルタイム）処理の場合を例に
以降説明する。

【００３３】最初に映像符号化処理についてであるが、
映像キャプチャ部３でキャプチャされた入力映像データ
は、映像符号化部５でＭＰＥＧ方式による符号化処理が
施される。ここで、映像符号化部５の負荷状況を処理能
力判断部７が取得するが、その負荷状況は入力される映
像データの状態や、符号化（圧縮）パラメータの状態に
よって大きく異なる。

【００３４】まず、符号化パラメータの状態の一例につ
いて説明する。もっとも顕著に負荷状態が異なるのは、
全てのフレームをフレーム内符号化（Ｉ）で処理する
か、動き補償を利用した予測符号化で処理するかで異な
るが、さらに予測符号化でも順方向予測符号化（Ｐ）の
みで処理するか、双方向予測符号化（Ｂ）で処理するか
によっても負荷状態に大きな差分が発生する。負荷状態
の大小関係は、Ｉ＜Ｐ＜Ｂとなる。

【００３５】次に、入力映像データの状態が影響する場
合について説明する。動き補償を利用した予測符号化で
処理する場合、動きベクトル検出での演算量が入力映像
データの状態によって大きく異なる。動きの激しいもし
くはシーンチェンジが頻発するような入力映像データの
場合、動きベクトル検出の際、参照画面を広範囲に検索
しなければならず、演算量が増大する。一方動きの少な
いもしくは静止画のような入力映像データの場合は、動
きベクトル検出の際、参照画面を広範囲に検索しなくて
もベクトル検出が出来るため、演算量は少なくて済む。
このように一例ではあるが、映像符号化の負荷状態は、
その条件によって大きく変動する。

【００３６】また、この負荷状態は符号化装置を動作さ
せる環境によっても大きく左右される。例えば、パーソ
ナルコンピュータ上で符号化装置を動作させた場合、Ｃ
ＰＵの動作速度によって負荷状態は大きく変わる。映像
符号化で、１秒間に１５フレーム符号化させるのに２０
０メガサイクル必要な場合、ＣＰＵの動作速度が３００
メガサイクルなら、その負荷率は６７％であるが、４０
０メガサイクルなら負荷率は５０％ということになり、
ＣＰＵの負荷に余裕が生まれる。今回は一例としてＣＰ
Ｕの動作速度を取り上げたが、その他の要因でも負荷状
態は変化する。

【００３７】このような入力映像データの状態や装置の
状態を、処理能力判断部７で取得する。どのような手段
で映像符号化部５の負荷状態を取得するかは特に定めな
いが、次のような方式が考えられる。

【００３８】１．マシンのスペックと圧縮パラメータか
ら判断２．バッファに残っているデータ量から判断３．平均処理フレームレートから判断このようにして取得した映像符号化部５の負荷状態によ
り、処理能力判断部７では現在の映像符号化処理の状態
を判断し、使用者から設定された１秒当たりのフレーム
数や画質にするためには、どの程度音声符号化処理負荷
を下げたら良いかの判断をして、その情報を音声符号化
部６に渡す。

【００３９】次に音声符号化処理について説明する。音
声キャプチャ部４でキャプチャされた入力音声データ
は、音声符号化部６に入力され、ＭＰＥＧ方式による符
号化処理が施される。ここで、音声符号化部６では図１
（ｂ）に示すような処理をするが、このうち心理聴覚分
析部１３は音声符号化処理のうち約半分の処理量を占
め、非常に負荷が重い。人間の聴覚を利用した符号化方
式の場合、心理聴覚分析は重要な役割を担っているた
め、この処理は省略できない。

【００４０】ここで、心理聴覚分析部１３の負荷を低減
させるための手法を以下に示す。人間の聴覚は、図３に
示すとおり低音域より高音域のほうが認知しにくい。ま
た、図４に示すように、心理聴覚分析の処理単位である
臨界帯域について見てみると、高音になるにしたがって
１臨界帯域当たりに含まれるＦＦＴスペクトル数が増加
している事が判断できる。心理聴覚分析で処理するＦＦ
Ｔスペクトル数が少なくなれば、当然心理聴覚分析部の
負荷は低減される。加えて人間の聴覚を考慮し、認知し
にくい高音域から削減していく事で、多少の音質劣化が
発生する可能性はあるものの、その差分がはっきりとわ
かるものではない。このような事から、臨界帯域のもっ
とも高音域側に含まれるＦＦＴスペクトルは全てマスキ
ングされているものとして処理を施さないことで、実際
に処理するＦＦＴスペクトル数が大幅に減るため、心理
聴覚分析部１３の処理負荷を低減できる。また、段階的
に高音域側から複数の臨界帯域に含まれるＦＦＴスペク
トルを処理しないようにする事で、更なる処理負荷低減
になる。

【００４１】処理能力判断部７で判断された映像符号化
処理の負荷状態に関する情報を音声符号化部６が受ける
と、心理聴覚分析処理部１３では高音域側の臨界帯域に
関する処理を何帯域分削除するかを判断し、削除した臨
界帯域に含まれるＦＦＴスペクトルについては、全てマ
スクされたものとして処理しない。

【００４２】この具体例を図５を用いて説明する。

【００４３】処理能力判断部７からの情報を取得し（ス
テップＳ１）その状況及び前回の状況との差分を判断す
る（ステップＳ２）。

【００４４】ここで、心理聴覚分析部１３で処理する臨
界帯域数を削減するかどうかの判断をする。削減すると
判断された場合は（ステップＳ３：Ｙ）、まず前回の処
理で既に処理する臨界帯域数が削減されているかどうか
の判断をする。まだ削減されていないと判断された場合
は（ステップＳ５：Ｎ）、ステップＳ２で判断された状
況に従い、所定臨界帯域分の処理削減をする（ステップ
Ｓ６）。

【００４５】また、既に削減されていると判断された場
合（ステップＳ５：Ｙ）、処理臨界帯域をさらに削減す
る余裕があるかどうかの判断をする。これは、あまり広
範囲にわたって臨界帯域を削減すると、人間の聴覚で感
知しやすい周波数帯域についても削減してしまい、音質
劣化が顕著に認識できる可能性があるため、臨界帯域の
削減範囲にしきい値を設けているためである。

【００４６】処理を削減する余裕があると判断された場
合には（ステップＳ７：Ｙ）、削減できる範囲内でさら
に処理する臨界帯域数を削減する（ステップＳ８）。ま
た処理を削減する余裕がないと判断された場合には（ス
テップＳ７：Ｎ）、現状の処理臨界帯域数を維持したま
ま継続する。

【００４７】次に、処理する臨界帯域数を削減しないと
判断された場合（ステップＳ３：Ｎ）について説明す
る。

【００４８】まず、現在の処理臨界帯域数を維持するか
どうかの判断をする。維持すると判断された場合（ステ
ップＳ４：Ｙ）、処理臨界帯域数を変更せず、そのまま
の状態で処理を継続する。維持しないと判断された場合
（ステップＳ４：Ｎ）は、映像符号化処理負荷に余裕が
出来たということを意味する。つまり音声符号化処理負
荷を高めても良いということになる。

【００４９】前回の処理までに、処理臨界帯域数の削減
をしていた場合には（ステップＳ９：Ｙ）、ステップＳ
２で判断された状況に従い、所定臨界帯域分の処理を復
活させる（ステップＳ１０）。また、処理臨界帯域数の
削減をしていない場合には（ステップＳ９：Ｎ）、現状
を維持して処理を継続する。

【００５０】このように、映像符号化処理の負荷状態を
判断し、その状態に応じて音声符号化処理における心理
聴覚分析処理を削減することで、削減した分余裕の出た
処理能力を映像符号化処理に与えることで、映像符号化
処理に余裕が生じ、コマ落ち発生の低減につなげること
が出来る。特に実時間符号化（リアルタイム符号化）処
理では有効な手段である。

【００５１】

【発明の効果】以上説明したように本発明によれば、画
像符号化処理に対し入力映像信号や使用者設定のパラメ
ータ及び動作環境に応じた効率の良い符号化環境を提供
する事ができることである。その理由は、映像符号化処
理の負荷状況ならびに符号化装置を動作させる環境をも
考慮して、音声符号化処理における心理聴覚分析処理の
負荷を低減させるため、余裕の出た処理能力を映像符号
化処理に対し与える事が出来るためである。

【図面の簡単な説明】

【図１】（ａ）は本発明の一実施例による映像及び音声
符号化装置の構成を示したブロック図であり、（ｂ）は
（ａ）における音声符号化部の詳細を示したブロック図
である。

【図２】図１（ｂ）における心理聴覚分析部の詳細を示
したブロック図である。

【図３】図１（ｂ）における心理聴覚分析部の心理聴覚
分析に応用される絶対可聴しきい値曲線を示す図であ
る。

【図４】図１（ｂ）における心理聴覚分析部の心理聴覚
分析処理における臨界帯域とＦＦＴスペクトル及び対応
周波数範囲の関係を示した図である。

【図５】図１（ｂ）における心理聴覚分析部の心理聴覚
分析処理における処理臨界帯域数の制御方式の一例を示
したフローチャートである。

【符号の説明】

１カメラ２マイク３映像キャプチャ部４音声キャプチャ部５映像符号化部６音声符号化部７処理能力判断部８システム符号化部９記録媒体１０サブバンド分割部１１ビット割り当て部１２量子化部１３心理聴覚分析部２０ＦＦＴ部２１スペクトル検出部２２マスキングしきい値計算部２３信号対マスク比算出部２４音圧レベル算出部

Claims

【特許請求の範囲】

【請求項１】入力映像データを符号化し映像符号化デ
ータを出力する映像符号化処理を行う映像符号化処理ス
テップと、入力音声データを符号化し音声符号化データを出力する
音声符号化処理を行う音声符号化処理ステップと、前記映像符号化処理の負荷の状況を判断し、判断した前
記映像符号化処理の負荷状況に応じて、前記音声符号化
処理ステップにおける前記音声符号化処理の負荷量を変
化させる判断ステップとを有することを特徴とする映像
及び音声符号化方法。
【請求項２】請求項１に記載の映像及び音声符号化方
法において、前記判断ステップは、前記判断した前記映像符号化処理
の負荷状況が重い負荷を示していればいるほど、前記音
声符号化処理ステップにおける前記音声符号化処理の負
荷量を減少させることを特徴とする映像及び音声符号化
方法。
【請求項３】請求項２に記載の映像及び音声符号化方
法において、前記判断ステップは、前記判断した前記映像符号化処理
の負荷状況が重い負荷を示していればいるほど、前記音
声符号化処理ステップにおける前記音声符号化処理の負
荷量を、前記音声符号化処理の心理聴覚分析において高
音域側の臨界帯域から段階的に処理を省かせることによ
り、減少させることを特徴とする映像及び音声符号化方
法。
【請求項４】請求項１〜３のいずれかに記載の映像及
び音声符号化方法において、前記映像符号化データ及び前記音声符号化データを多重
化し、多重化されたデータを出力するステップを更に有
することを特徴とする映像及び音声符号化方法。
【請求項５】入力映像データを符号化し映像符号化デ
ータを出力する映像符号化処理を行う映像符号化処理部
と、入力音声データを符号化し音声符号化データを出力する
音声符号化処理を行う音声符号化処理部と、前記映像符号化処理の負荷の状況を判断し、判断した前
記映像符号化処理の負荷状況に応じて、前記音声符号化
処理部における前記音声符号化処理の負荷量を変化させ
る判断部とを有することを特徴とする映像及び音声符号
化装置。
【請求項６】請求項５に記載の映像及び音声符号化装
置において、前記判断部は、前記判断した前記映像符号化処理の負荷
状況が重い負荷を示していればいるほど、前記音声符号
化処理部における前記音声符号化処理の負荷量を減少さ
せることを特徴とする映像及び音声符号化装置。
【請求項７】請求項６に記載の映像及び音声符号化装
置において、前記判断部は、前記判断した前記映像符号化処理の負荷
状況が重い負荷を示していればいるほど、前記音声符号
化処理部における前記音声符号化処理の負荷量を、前記
音声符号化処理の心理聴覚分析において高音域側の臨界
帯域から段階的に処理を省かせることにより、減少させ
ることを特徴とする映像及び音声符号化装置。
【請求項８】請求項５〜７のいずれかに記載の映像及
び音声符号化装置において、前記映像符号化データ及び前記音声符号化データを多重
化し、多重化されたデータを出力する多重化部を更に有
することを特徴とする映像及び音声符号化装置。