JP2007058541A - プロセッサ、処理方法及び処理プログラム - Google Patents

Abstract

【課題】
組み込みシステムのプロセッサにおいて、周期的に所定量の処理を実行しなければならない処理の遅延を抑制することを目的とする。
【解決手段】
ラウンドロビンで処理を実行するプロセッサにおいて、周期的に所定量を実行する処理を第１処理、第１処理よりも緩やかな時間的制約を有しながら実行する処理を第２処理とした場合に、定められた所定期間内において実行される第２処理の合計処理量が、定められた規定値を上回った場合に、その所定期間内において第２処理の実行を抑制し、第２処理に割り当てられるはずだった時間を第１処理に割り当てる。
【選択図】図３

Description

本発明は、マルチタスクで処理を実行するプロセッサに関し、特に音声と画像を多重化あるいは多重化されたデータを音声と画像に分離するプロセッサに関する。

組み込みシステムは、量産品に組み込まれるシステムであり、コスト抑制のためなどにより、単一のプロセッサによって構成されることが多い。この組み込みシステムにおいて複数の処理を行う場合には、プロセッサが単一であるために、処理を巡回的に切り替えて実行することになる。この場合、基本的に、プロセッサの処理効率が高くなるようにしたい。しかし、同時にコストを抑制したいという要望もあり、このようなプロセッサの処理能力は必要最低限のものを要求することになり、その処理能力はあまり高くない。

そのような組み込みシステムの中には、映像、音声の連続入力に応じて音声を符号化した音声データと、映像を符号化した画像データとを生成し、音声データと画像データを多重化して記録、外部出力する組み込みシステムがある。例えば、デジタルビデオカメラに搭載されるようなシステムである。音声データと画像データとを多重化することには、１つのデータとして扱うことでデータ転送の利便性を向上させる目的がある。

単一のプロセッサで構成される組み込みシステムにおいて、音声の符号化と、映像の符号化と、多重化との３つの処理を行う場合に、音声の符号化及び映像の符号化などは処理時間単位が定められており、周期的に所定量の処理を行う必要がある。
一方、多重化の処理に関しては、厳しい時間的制約はなく、処理すべきデータがバッファからオーバーフローしない程度に処理を実行すればよい。バッファ容量は無限ではなく、コストの観点からすれば小さく抑えることが望ましいことを考えると、基本的に多重化の処理は、周期的に行われる音声の符号化処理や、映像の符号化処理の合間に多重化処理を行うことになる。つまり、バッファとの兼ね合いにより比較的ゆるやかな処理時間の制約を受ける。

特許文献１には、多重化を行うタイミングを指示する多重化データ生成装置が開示されている。
特許第３２１６５０３号公報

ところで、従来の多重化装置においては一定量の音声データと映像データがバッファに蓄積されてから、多重化をまとめて行っていた。
しかし、この場合、多重化の処理に要する時間が多くかかってしまい、周期的に実行されて所定時間までに終了しているべき音声データの符号化、あるいは映像データの符号化が終了していないという問題が発生することがある。この符号化が終了していないと、次の符号化対象となる音声あるいは映像を符号化できないことになる。

そこで、本願発明は、上記問題を鑑みてなされたものであり、音声データと映像データを多重化するものを含め、周期的に実行される処理の合間に入る種々の処理によって、時間に拘束される処理が時間通りに実行できないという事態を抑えることができるプロセッサを提供することを目的とする。

上記課題を解決するため、本発明に係るプロセッサは、処理対象となるデータを格納する格納手段と、第１の処理と、前記格納手段に処理対象となるデータが格納されている場合に限り実行する第２の処理とを、それぞれに割り当てられた一回に連続して実行できる単位時間を上限として、巡回的に逐次実行する実行手段と、前記単位時間よりも長い所定時間内において第２の処理の処理量の合計値が所定値を上回ったときから、前記所定時間内における第２の処理の実行を抑止し、第２の処理の実行に換えて第１の処理を実行するよう前記実行手段を制御する制御手段とを備えることを特徴としている。

ここで、「巡回的」とは、総じて複数の処理が、順繰りに交代で実行されることを巡回と言うが、場合によっては、いくつかの処理が省略される場合も含んだ概念である。

上述のような構成によって、組み込みシステムにおけるプロセッサは、予め定められた所定時間内において、第２の処理の合計処理量により、その処理を制限するので、周期的に繰り返される第１の処理が所定周期内において定められた最低限の処理量を処理できないと言う事態を防ぐことができる。
また、前記制御手段は、前記実行手段が前記第２の処理で処理した合計データ量を前記処理量の合計値とみなして、前記抑止を実行することとしてよい。

これにより、処理量を処理したデータ量の合計によって規定することができる。データ量の合計によって第２の処理の実行を制限できるので、第１の処理について、所定時間内において処理すべき最低限の処理量を処理できないという事態を防ぐことができる。
また、前記プロセッサは更に、前記実行手段において、前記第２の処理を実行している際に、前記所定時間内において前記第２の処理を実行した合計時間を監視する監視手段を備え、前記制御手段は、前記監視手段が監視している合計時間を前記処理量の合計値とみなして、前記抑止を実行することとしてよい。

これにより、処理量を合計時間によって規定することができる。第２の処理の処理量が予め定めることがしにくい場合などにおいて、プロセッサを第２の処理が占有する時間の合計で処理量を規定して第２の処理の実行を制限することができるようになる。時間によって規定しても第２の処理が制限でき、第１の処理を所定時間内において処理すべき最低限の処理量を処理できないという事態を防ぐことができる。

また、前記プロセッサは更に、映像入力を受けて、当該映像を符号化し映像データを生成する映像符号化手段と、前記映像データとその他のデータを多重化する多重化手段を備え、前記第１の処理は、映像符号化処理を含み、前記第２の処理は多重化処理を含むこととしてよい。
ここでいうその他のデータとは映像データ以外のデータをいい、例えば、音声データ、あるいは字幕のデータなどであったりする。

これにより、映像の符号化処理を第１の処理として、映像データとその他のデータを多重化する処理を第２の処理として、プロセッサは処理を実行する。プロセッサは、映像データの符号化や、その映像データとその他のデータを多重化できるのでデジタルビデオカメラなどに搭載して活用することができる。
また、前記プロセッサは更に、音声入力を受けて、当該音声を符号化し音声データを生成する音声符号化手段を備え、前記その他のデータは、音声データであることとしてよい。

これにより、音声の符号化処理を、第１の処理として、プロセッサは処理を実行する。音声データと映像データを処理できるので、プロセッサは、デジタルビデオカメラなどに搭載して活用することができるようになる。
また、前記プロセッサは更に、前記多重化手段で多重化されるデータのデータ構成を推測し、当該データ構成に基づいて前記規定値を決定する推測決定手段を備え、前記制御手段は、前記所定時間内において、前記推測決定手段により決定された規定値を、前記多重化手段で実行される多重化処理の合計量が越えた場合に前記所定時間内における多重化処理を抑制することとしてよい。

これにより、多重化するデータの多重化後のデータを推測し、それによって、所定時間ごとに多重化する処理量を流動的に変更して、適宜処理量を決定することができる。こうすると、短期的に見た場合には多重化の処理が増加することもありえるが、長期的に見た場合には多重化処理は平均化されており、第１の処理が遅れることはない。
また、前記プロセッサは更に、前記音声符号化手段と、前記映像符号化手段と、前記多重化手段とのそれぞれで実行される処理の優先度を決定する優先度決定手段を備え、前記多重化手段における多重化処理の合計値が前記規定値を超えた場合に、前記優先度決定手段は、多重化処理の優先度を低下させ、前記制御手段は、前記優先度決定手段が決定した優先度に基づいて多重化処理の抑制を行うこととしてよい。

これにより、第２の処理に与えられた処理の優先度を変更低下させることで、第２の処理である多重化処理の実行を抑制することができるようになる。
また、前記プロセッサは更に、多重化データを受けて、当該多重化データを映像データとその他のデータに分離する分離手段と、映像データを受けて、当該映像データを復号化する映像復号化手段とを備え、前記第１の処理は、映像復号化処理を含み、前記第２の処理は分離処理を含むこととしてよい。

これにより、プロセッサは、多重化されたデータを映像データとその他のデータに分解することができるようになる。例えば、この多重化されたデータが音声データと映像データとを多重化したものであったならば、音声データと映像データに分離することになる。分離された映像データを復号することで、ディスプレイなどで再生が可能になり映像を見ることができるようになる。

また、前記プロセッサは更に、音声データを受けて、当該音声データを復号する音声復号化手段を備え、前期その他のデータは音声データを含み、前記第１の処理は、音声復号化処理を含むこととしてよい。
これにより、プロセッサは、音声データを復号でき、復号された音声はスピーカなどから再生できるようになる。

また、前記プロセッサは更に、前記分離手段で分離される多重化データのデータ構成を解析し、当該データ構成に基づいて前記規定値を決定する解析決定手段を備え、前記制御手段は、前記所定時間内において、前記解析決定手段により決定された規定値を、前記分離手段で実行される分離処理の合計量が越えた場合に前記所定時間内における分離処理を抑制することとしてよい。

これにより、プロセッサは、多重化されたデータの構成を解析して、所定時間内における分離の処理量を決定することができる。多重化データの構成を解析することで、適切な処理時間を与え、無駄なく動作することができるようになる。
また、前記プロセッサは更に、前記音声復号化手段と、前記映像復号化手段と、前記分離手段とのそれぞれで実行される処理の優先度を決定する優先度決定手段を備え、前記分離手段における分離処理の合計値が前記規定値を超えた場合に、前記優先度決定手段は、分離処理の優先度を低下させ、前記制御手段は、前記優先度決定手段が決定した優先度に基づいて分離処理の抑制を行うこととしてよい。

これにより、分離処理の優先度を下げたりすることで、プロセッサは分離処理の抑制を実行することができるようになる。
また、前記制御手段は、前記所定時間内における第２処理の抑制を実行した後で、第１の処理がなくなった場合に、前記所定時間内であっても、前記抑制を解除して第２の処理を実行することとしてよい。

これにより、プロセッサは、第１の処理がなくなった場合に第２の処理が、例え抑制下にあっても第２の処理を実行するようになるのでプロセッサにおいて更に効率よく処理を実行することができるようになる。
また、複数の処理を実行するプロセッサにおける処理方法であって処理対象となるデータを格納する格納ステップと、第１の処理と、前記格納ステップで処理対象となるデータが格納されている場合に限り実行する第２の処理とを、それぞれに割り当てられた、一回に前記プロセッサを占有できる時間を上限として、巡回的に逐次実行する実行ステップと、前記実行ステップにおいて、所定時間内において逐次実行される第２の処理の処理量の合計値が所定値を上回ったときから、前記所定時間内における第２の処理の実行を抑止し、第２の処理の実行に換えて第１の処理を実行するよう制御する制御ステップとを含むこととしてよい。

この方法をとることにより、プロセッサは、所定時間内において実行しなければならない第１の処理の最低量を、第２の処理を抑制することで、キープできるようになる。
また、プロセッサに複数の処理を実行させる処理手順を示した処理プログラムであって、前記処理手順は、処理対象となるデータを格納する格納ステップと、第１の処理と、前記格納ステップで処理対象となるデータが格納されている場合に限り実行する第２の処理とを、それぞれに割り当てられた、一回に前記プロセッサを占有できる時間を上限として、巡回的に逐次実行する実行ステップと、前記実行ステップにおいて、所定時間内において逐次実行される第２の処理の処理量の合計値が所定値を上回ったときから、前記所定時間内における第２の処理の実行を抑止し、第２の処理の実行に換えて第１の処理を実行するよう制御する制御ステップとを含むこととしてよい。

このプログラムを読み出して実行することで、プロセッサは、所定時間内において最低限実行しなければならない第１の処理の量を、第２の処理を抑制することで、キープできるようになる。

以下、本発明の一実施形態である多重化装置及び分離装置について図面を用いて説明する。
＜実施の形態１＞
実施の形態１においては多重化の処理、あるいは分離の処理が所定時間内において予め定められたデータ量によって抑制されることを示す。
＜構成＞
＜多重化装置の構成＞
まず、実施の形態１に係る多重化装置の機能構成について図１の機能ブロック図を用いて説明する。

図１に示すように、多重化装置１００は、ＰＥ（Processor Element）１１０と、タイマ１３０と、記憶部１４０と、出力部１５０とを含んで構成される。
ＰＥ１１０は、マルチタスクで処理を実行するプロセッサであり、音声符号化部１１１と、画像符号化部１１２と、レート制御部１１３と、音声画像多重化部１２０を含んで構成される。

音声符号化部１１１は、マイク１６０からの音声入力を受けて、符号化を行い、符号化された音声データを生成する機能を有する。また、生成した音声データを音声画像多重化部１２０のバッファ１２１に出力する機能も有する。
画像符号化部１１２は、カメラ１７０からの映像入力を受けて、符号化を行い、符号化された画像データを生成する機能を有する。また、生成した画像データを音声画像多重化部１２０のバッファ１２１に出力する機能も有する。

レート制御部１１３は、３３msecの間で、音声画像多重化部１２０が、合計で処理できる最大データ量を記憶しており、音声画像多重化部１２０がこの最大データ量を超えた場合に音声画像多重化部１２０における多重化処理を抑制する機能を有する。
ＰＥ１１０は、レート制御部１１３を除く音声符号化部１１１と画像符号化部１１２と音声画像多重化部１２０の各部の処理を巡回的にそれぞれの処理に１回ごとに与えられた時間を上限に実行する機能を有する。

音声画像多重化部１２０は、バッファ１２１を含んで構成される。音声画像多重化部１２０は、バッファ１２１に格納されている音声データ及び画像データを多重化する機能を有する。ここでいう多重化とは、音声データと画像データとの２つのデータを一つのストリームデータに纏めることである。また、この多重化の際には、音声データと画像データが同期して再生できるように、音声データと画像データがストリーム全体のどの部分にあたるのかの同期情報もともに多重化している。

バッファ１２１は、音声データ及び画像データを格納するためのメモリである。なお、音声画像多重化部１２０は、バッファ１２１に所定量以上のデータ量が蓄積されていない限り多重化は行わない。
多重化において処理されるデータ量は、多重化ビットレートを１０Mbpsとした場合には、３３msec以内においては、４１２５０byteとする。これをパケット数にすると２０ＰＡＣＫ（１ＰＡＣＫ＝２０４８byteと仮定）となる。また、多重化ビットレートが２Mbpsの場合は、処理データ量は、８２５０byteで、処理パケットに換算すると４ＰＡＣＫとなる。

タイマ１３０は、時間の経過を計時し、３３msecからカウントダウンして０になったときにレート制御部１１３に３３msec経過を通知する機能を有する。また、０になった場合には、３３msecにカウントを戻しそこからカウントダウンを再び実行する。
記憶部１４０は、音声画像多重化部１２１によって生成される多重化データを記憶しておくメモリであり、例えばハードディスクなどによって実現される。

出力部１５０は、記憶部１４０に記憶されている多重化データを外部の機器に出力する機能を有する。
＜分離装置の構成＞
図２には、多重化データを受けて、多重化されていたデータを音声データと画像データに再び分割して、音声と画像を再生できるようにする分離装置の機能構成を示している。

図２に示すように、分離装置２００は、タイマ２１０と、受付部２２０と、ＰＥ２３０とを含んで構成される。
タイマ２１０は、時間の経過を計時し、３３msecからカウントダウンして０になったときにレート制御部２３１に３３msec経過を通知する機能を有する。また、０になった場合には、３３msecにカウントを戻しそこからカウントダウンを再び実行する。

受付部２２０は、外部の機器から多重化データを受け付けて、音声画像多重分離部２４０のバッファ２４１に出力する機能を有する。
ＰＥ２３０は、レート制御部２３１と、音声画像多重分離部２４０と、音声復号化部２３２と、画像復号化部２３３とを含んで構成される。ＰＥ２３０は、マルチタスクで処理を実行するプロセッサである。

レート制御部２３１は、音声画像多重分離部２４０が３３msecの期間内において処理するデータ量を予め記憶しており、当該データ量に基づいて音声画像多重分離部２４０で行っている多重分離処理を抑制する機能を有する。
音声画像多重分離部２４０は、バッファ２４１を含んで構成され、受け付けた多重化データを、レート制御部２３１の指示に基づいて、音声データと画像データに分離する機能を有する。分離した音声データは同期情報とともに音声復号化部２３２に、画像データは同期情報とともに画像復号化部２３３に出力する。

音声復号化部２３２は、音声データを復号して、スピーカ２５０に出力する機能を有する。
画像復号化部２３３は、画像データを復号して、ディスプレイ２６０に出力する機能を有する。
なお、音声復号化部２３２と画像復号化部２３３は、スピーカ２５０とディスプレイ２５０とで出力される音声と映像とが同期が取れるように、同期情報を基にしてデータを出力する。
＜動作＞
まず、本実施の形態に係る多重化装置１００及び分離装置２００が行っている処理を概念的に図３及び図４のタイミングチャートを用いて説明する。
＜多重化の装置の処理のタイムチャート＞
図３は、多重化装置１００の処理を示している。多重化装置１００は、３３msecのオーダーで作業を繰り返して行う。図中においては、画像符号化処理を「Ｖ」で、音声符号化処理を「Ａ」で、多重化処理を「Ｍ」で示している。また、ここでは本願の特徴を理解しやすくするために、バッファ１２１には必ず、所定量以上のデータ量が蓄積されているものとする。

時刻Ｔ０〜Ｔ１にかけては、画像符号化処理を行っている。時刻Ｔ１〜Ｔ２にかけては、音声符号化処理を行う。時刻Ｔ２〜Ｔ３にかけては、多重化処理を行う。そしてＴ３〜Ｔ４にかけては、また、画像符号化処理を行う。時刻Ｔ４〜Ｔ５にかけては、また、音声符号化処理を行う。時刻Ｔ５〜Ｔ６にかけては、また、多重化処理を行う。このようにして、多重化装置１００のＰＥ１１０は、画像符号化処理と、音声符号化処理と、多重化処理とを巡回的に繰り返して行う。

Ｔ６〜Ｔ７で画像符号化処理を、Ｔ７〜Ｔ８で音声符号化処理を、Ｔ８〜Ｔ９で多重化処理を行う。ここで、多重化処理が、レート制御部１１３で定められている多重化処理の３３msec以内での処理量規定値を超えたとすると、３３msecの期間内においては、多重化処理は抑制される。そして図３に示すように、Ｔ９以降Ｔ１３までは、Ｔ９〜Ｔ１０までは画像符号化処理、Ｔ１０〜Ｔ１１までは音声符号化処理、Ｔ１１〜Ｔ１２までは画像符号化処理、…、というように画像符号化処理と音声符号化処理とを繰り返して処理を行う。

そして次の３３msecに移行した場合には、Ｔ１５〜Ｔ１６で行っているように多重化処理の抑止が解除されて多重化の処理を再び行えるようになっている。
なお、画像符号化処理と、音声符号化処理と、多重化処理とは、およそ６：３：１の比率で、数十〜数百μsecのオーダーで行われている。また、図中の▽は、３３msecの期間内における多重化処理の抑制のタイミングを示している。即ち、時刻Ｔ９においてレート制御部１１３に定められている処理量を超えたタイミングである。
＜分離装置の処理のタイムチャート＞
一方、図４は、分離装置２００の処理を示している。

図４に示しますように、分離装置２００も３３msecのオーダーで処理を繰り返す。ここでは、分離処理を「Ｍ」で、画像復号化処理を「Ｖ」で、音声復号化処理を「Ａ」で示している。また、バッファ２２１には、分離する多重化データが所定量以上蓄積されているものとする。
時刻Ｔ０〜Ｔ１にかけては、分離処理を行っている。時刻Ｔ１〜Ｔ２にかけては、画像復号化処理を行う。時刻Ｔ２〜Ｔ３にかけては、音声復号化処理を行う。そしてＴ３〜Ｔ４にかけては、また、分離処理を行う。時刻Ｔ４〜Ｔ５にかけては、また、画像復号化処理を行う。時刻Ｔ５〜Ｔ６にかけては、また、音声復号化処理を行う。このようにして、分離装置２００のＰＥ２３０は、分離処理と、画像復号化処理と、音声復号化処理とを巡回的に繰り返して行う。

Ｔ６〜Ｔ７で多重化処理を行っている。Ｔ７の時点で多重分離の処理量がレート制御部２３１で定められた処理量を超えたとする。Ｔ７〜Ｔ８で画像復号化処理を、Ｔ８〜Ｔ９で音声復号化処理を行う。そしてＴ９〜Ｔ１０にかけて、今までは分離処理を行っていたが、画像復号化処理を行う。そして３３msecが再び、経過するまでは、分離処理を抑制し、画像復号化処理と音声復号化処理とを巡回的に実行する。

そしてＴ１６において３３msecが経過し、次の３３msecに移行した場合には、Ｔ１１〜Ｔ１２に示すようにそこから再び分離処理が行われるようになる。
なお、画像復号化処理と、音声復号化処理と、分離処理とは、およそ６：３：１の比率で、数十〜数百μsecのオーダーで行われている。また、図中の▽は、３３msecの期間内における多重化処理の抑制のタイミングを示している。即ち、時刻Ｔ９においてレート制御部２３１に定められている処理量を超えたタイミングである。

ある期間内（ここでは３３msec）において、多重化処理、あるいは分離処理の処理量が規定値を超えた場合に抑制されることが、本願の大きな特徴になる。
＜多重化装置の動作＞
次に、実施の形態１に係る多重化装置１００及び分離装置２００の動作を、それぞれ図５及び図６に示すフローチャートを用いて説明する。

図５は、多重化装置１００の動作を示している。
まず、多重化装置１００のタイマ１３０は、３３msecのカウントダウンを開始して、３０からカウントを減らしていく（ステップＳ５０１）。ＰＥ１１０の画像符号化部１１２は、画像の符号化を行って、符号化された画像データを生成し、音声画像多重化部１２０のバッファ１２１に格納する（ステップＳ５０３）。画像符号化に割り当てられた１回の時間が終了すると、次に音声符号化部１１２が音声を符号化して、符号化された音声データを生成し、バッファ１２１に格納する（ステップＳ５０５）。音声符号化に割り当てられた１回の時間が終了すると、次に音声画像多重化部１２０がバッファ１２１に格納されている画像データと音声データとを格納された順に、多重化していく（ステップＳ５０７）。

そしてレート制御部１１３は、タイマ１３０からの３３msec経過の通知が到来したかどうかをみて（ステップＳ５０９）、到来していた場合には、タイマ１３０のカウンタを３３msecにリセットして（ステップＳ５１９）、ステップＳ５０１の処理に戻る。
３３msecが経過していないならば、レート制御部１１３は、音声画像多重化部１２０が多重化処理したデータ量が、レート制御部１１３が記憶している規定値を上回ったかどうかを判断する（ステップＳ５１１）。上回っていなかった場合には（ステップＳ５１１のＮＯ）、ステップＳ５０３に戻り、以降の処理を継続する。

多重化処理したデータのデータ量がレート制御部１１３に記憶されている規定値を上回っていた場合には（ステップＳ５１１のＹＥＳ）、レート制御部１１３は、それ以降その３３msecの期間内においては多重化処理を抑制するように音声画像多重化部１２０に通知する。
そしてＰＥ１１０は、映像の符号化処理を行い（ステップＳ５１３）、音声の符号化を行う（ステップＳ５１５）。そして３３msecの経過がタイマ１３０より通知されてこないならば（ステップＳ５１７のＮＯ）、ステップＳ５１３に戻り以降の処理を実行する。

３３msec経過の通知がタイマ１３０からレート制御部１１３になされた場合に（ステップＳ５１７のＹＥＳ）、レート制御部１１３は、音声画像多重化部への多重化処理の抑制を解除する。また、タイマ１３０は、タイマ１３０のカウントを３３msecに戻し（ステップＳ５１９）、ステップＳ５０１に戻って以降の処理を実行する。
この処理は、マイク１６０とカメラ１７０から音声と映像が入力される限り、実行される。
＜分離装置の動作＞
図６は、分離装置２００の動作を示したフローチャートである。

図６に示すように、分離装置２００は、受付部２２０で多重化データを多重化装置から受け付ける。受け付けたデータをバッファ２４１に逐次記憶していく。
タイマ２１０は、３３msecのカウントダウンを開始する（ステップＳ６０１）。受け付けた多重化データがバッファに蓄積されていると音声画像多重分離部２４０は分離処理を行う（ステップＳ６０３）。多重分離されて生成された符号化された画像データは、画像復号化部２３３で復号化される（ステップＳ６０５）。一回分の処理時間が過ぎると次に音声復号化部２３２が、分離され生成された符号化された音声データを復号する（ステップＳ６０７）。そしてタイマ２１０から、３３msecの経過が通知されたかどうかをみる（ステップＳ６０９）。

レート制御部２３１は、タイマ２１０から３３msec経過の通知が来ていた場合は（ステップＳ６０９のＹＥＳ）、ステップＳ６１９に移行し、以降の処理を実行する。通知が来ていない場合には（ステップＳ６０９のＮＯ）、分離した処理量の合計量がレート制御部２３１が記憶している規定値を超えたかどうかを判断する（ステップＳ６１１）。
分離の処理量の合計値が規定値を超えていない場合には（ステップＳ６１１のＮＯ）、ステップＳ６０３の処理に戻って以降の処理を実行する。超えていた場合には（ステップＳ６１１のＹＥＳ）、レート制御部２３１は、音声画像多重分離部２４０に対して、分離処理を抑制するように通知する。

そして画像復号化部２３３は、画像の復号化を行う（ステップＳ６１３）。画像の復号化の次に、音声復号化部２３２が音声データを復号する（ステップＳ６１５）。なお、音声復号化部２３２及び画像復号化部２３３は、音声と映像が同期して再生されるように、それぞれ音声と映像を出力する。
レート制御部２３１は、タイマ２１０から３３msec経過の通知が来ていないかどうかを判断する（ステップＳ６１７）。経過していなかったならば（ステップＳ６１７のＮＯ）、ステップＳ６１３の処理に戻り以降の処理を実行する。経過していたならば（ステップＳ６１７のＹＥＳ）、レート制御部２３１は、音声画像多重分離部２４０の分離処理の抑制を解除する。また、タイマ２１０は、カウントを３３msecにリセットする（ステップＳ６１９）。そしてステップＳ６０１に移行して、以降の処理を再度実行する。

この一連の処理は、受付部２２０で多重化データを受け続ける限り繰り返し実行される。
＜実施の形態２＞
実施の形態２においては、実施の形態１と異なり、レート制御部１１３で規定されていた多重化及び分離の処理が処理データ量で規定されるのではなく、時間によって規定されることを示す。実施の形態１においては、多重化によって処理される時間毎のデータ量が固定である場合、つまり多重化で処理すべきデータ量が予測がつく場合を示している。しかし、多重化の対象となるデータが可変ビットレートのデータである場合には、予測がつきにくいため、予めレート制御部に規定値として処理データ量を設定しておきにくい。実施の形態２は、そのように処理データ量を定められない場合を鑑みてなされたものである。
＜構成＞
＜多重化装置の構成＞
図７は、実施の形態２に係る多重化装置７００の機能構成を示したブロック図である。多重化装置７００の基本的な構成は、多重化装置１００のものと変わらず、それぞれにおいて同名の各部の機能は、多重化装置１００のものに準ずる。よって、同一の名前で、同一の機能を有する機能部の説明を省略し、多重化装置１００とは異なる部分を説明する。

多重化装置７００は、多重化装置１００と異なり、多重化時間監視部７１４を備える。
多重化時間監視部７１４は、音声画像多重化部７２０が実行している多重化の合計時間を監視し、その合計時間をレート制御部７１３に逐次通知する機能を有する。
レート制御部７１３は、音声画像多重化部７２０が３３msec以内において多重化に費やしても良い合計時間を記憶している。そして多重化時間監視部７１４から、出力される時間と記憶している合計時間とを比較し、出力されてきた時間が合計時間を超えた時点で、音声画像多重化部７２０に対して、音声データと画像データの多重化を抑制する機能を有する。
＜分離装置の構成＞
図８は、実施の形態２に係る分離装置８００の機能構成を示したブロック図である。分離装置８００の基本的な構成は、分離装置２００のものと変わらず、それぞれにおいて同名の各部の機能は、分離装置２００のものに準ずるので説明を省略し、分離装置２００とは異なる部分を説明する。

分離装置８００は、分離装置２００とは異なり、分離時間監視部８７０を備える。
分離時間監視部８７０は、音声画像多重分離部８４０が実行している分離処理に費やした合計時間を監視し、その時間をレート制御部８３１に通知する機能を有する。
レート制御部８３１は、音声画像多重分離部８４０が、３３msec以内において多重化データの分離に費やしてもよい合計時間を規定値として記憶している。そして分離時間監視部８７０から出力される時間と、記憶している規定時間とを比較し、規定時間を超えていた場合に、そこから音声画像多重分離部８４０の、多重化データの分離処理を抑制する機能を有する。
＜動作＞
多重化装置７００の動作を図９のフローチャートを用いて、分離装置８００の動作を図１０のフローチャートを用いて説明する。

まず、多重化装置７００の動作を説明する。
多重化装置７００のタイマ７３０は、３３msecのカウントダウンを開始する（ステップＳ９０１）。
ＰＥ７１０の画像符号化部７１２は、カメラ７７０からの映像入力を受けて、それを符号化し、符号化された画像データを生成する（ステップＳ９０３）。生成された符号化画像データは逐次バッファ７２１に出力されて蓄積されていく。

音声符号化部７１１は、マイク７６０からの音声入力を受けて、それを符号化し、符号化された音声データを生成する（ステップＳ９０５）。生成された符号化音声データは逐次バッファ７２１に出力されて蓄積されていく。
音声画像多重化部７２０は、バッファ７２１に蓄積されている画像データと音声データとを多重化する（ステップＳ９０７）。

そしてレート制御部７１３は、タイマ７３０からの３３msecの経過が通知されたかどうかを見て（ステップＳ９０９）、経過していたならば（ステップＳ９０９のＹＥＳ）のタイマ７３０はカウント３３msecにリセットして、ステップＳ９０１に戻る。経過していなかったならば（ステップＳ９０９のＮＯ）、音声画像多重化部７２０は、多重化に費やした合計時間がレート制御部７１３に記憶されている規定時間を超えているかどうかを判断する（ステップＳ９１１）。

多重化処理の合計時間が規定値を超えていなかった場合には（ステップＳ９１１のＮＯ）、ステップＳ９０３に戻り、以降の処理を実行する。超えていた場合に（ステップＳ９１１のＹＥＳ）、レート制御部７１３は、音声画像多重化部７２０に多重化の処理を、以降３３msec以内において、抑制する。
そして、画像符号化部７１２は、画像を符号化して画像データを生成する（ステップＳ９１３）。音声符号化部７１１は、音声を符号化して音声データを生成する(ステップＳ９１５)。

そしてレート制御部７１３は、タイマ７３０から３３msec経過の通知が到来したかどうかを判断する（ステップＳ９１７）。３３msecが経過していなかったならば（ステップＳ９１７のＮＯ）、ステップＳ９１３に戻り、以降の処理を実行する。３３msecが経過していたならば（ステップＳ９１７のＹＥＳ）、レート制御部７１３は、音声画像多重化部７２０に対して多重化処理の抑制を解除を通知する。そしてタイマ７３０は、タイマカウントを３３msecにリセットし（Ｓ９１９）、多重化装置７００は、次の３３msecのサイクルに移行する。

この処理は、マイク７６０あるいはカメラ７７０から、音声入力あるいは映像入力がある限り実行される。
＜分離装置の動作＞
次に分離装置８００の動作を説明する。
図１０は、分離装置８００の動作を示したフローチャートである。

図１０に示すように、分離装置８００は、受付部８２０で多重化データを、例えば、多重化装置から受け付ける。受け付けたデータをバッファ８４１に逐次記憶していく。
タイマ８１０は、３３msecのカウントダウンを開始する（ステップＳ１００１）。音声画像多重分離部８４０は、受け付けた多重化データがバッファ８４１に所定値以上蓄積していると分離処理を行う（ステップＳ１００３）。分離された画像データは、画像復号化部８３３で復号化される（ステップＳ１００５）。一回分の処理時間が過ぎると次に音声復号化部８３２は、分離された音声データを復号する（ステップＳ１００７）。そしてレート制御部８３１は、タイマ８１０から、３３msecの経過が通知されたかどうかをみる（ステップＳ１００９）。

レート制御部８３１は、タイマ８１０から３３msec経過の通知が来ていた場合は（ステップＳ１００９のＹＥＳ）、ステップＳ１０１９に移行し、以降の処理を実行する。通知が来ていない場合には（ステップＳ１００９のＮＯ）、分離した処理量の合計量がレート制御部８３１が記憶している規定値を超えたかどうかを判断する（ステップＳ１０１１）。

分離の処理量の合計値が規定値を超えていない場合には（ステップＳ１０１１のＮＯ）、ステップＳ１００３の処理に戻って以降の処理を実行する。超えていた場合には（ステップＳ１０１１のＹＥＳ）、レート制御部８３１は、音声画像多重分離部８４０に対して、分離処理を抑制するよう通知する。
そして画像復号化部８３３は、画像の復号化を行う（ステップＳ１０１３）。画像の復号化の次に、音声復号化部１０３２が音声データを復号する（ステップＳ１０１５）。なお、音声復号化部８３２及び画像復号化部８３３は、音声と映像が同期して再生されるように、それぞれ音声と映像を出力する。

レート制御部８３１は、タイマ８１０から３３msec経過の通知が来ていないかどうかを判断する（ステップＳ１０１７）。経過していなかったならば（ステップＳ１０１７のＮＯ）、ステップＳ１０１３の処理に戻り以降の処理を実行する。経過していたならば（ステップＳ１０１７のＹＥＳ）、レート制御部８３１は、音声画像多重分離部８４０の分離処理の抑制を解除する。また、タイマ８１０は、カウントを３３msecにリセットする（ステップＳ１０１９）。そしてステップＳ１００１に移行して、以降の処理を再度実行する。

この一連の処理は、受付部８２０で多重化データを受け続ける限り繰り返し実行される。
＜実施の形態３＞
実施の形態３においては、実施の形態１及び２とは異なり、多重化データの構成に基づいて処理量の規定値を設定する多重化装置、及び分離装置を開示する。
＜構成＞
＜多重化装置の構成＞
図１１は、実施の形態３に係る多重化装置１１００の機能構成を示したブロック図である。

多重化装置１１００の機能構成は、多重化装置１００のものと異なり、多重化構成推測部１１１４を備える。
多重化構成推測部１１１４は、音声符号化部１１１１と画像符号化部１１１２とからバッファ１１２１に接続されている信号線を監視する。そして信号線上を伝送される音声データ及び画像データの順序、データサイズなどにより、音声画像多重化部１１２０で生成される多重化データの構成（I/P/B-VOP、Padding、e.t.c.）を推測し、それに基づいて３３msec内において多重化処理を実行しても良い合計処理量を算出してレート制御部１１１３に通知する機能を有する。

ここで多重化データの構成に基づいて合計処理量を算出する方法について説明しておく。
多重化処理において生成される多重化データは、パケット単位で生成されるが、１つのパケットのデータ容量の上限は予め定められており、当然、それによって１つのパケットに含まれる音声データあるいは画像データの容量も決定される。１つのパケットに含まれる音声データあるいは画像データが決定するとそこから、それらの多重化処理に要する時間がおおよそ逆算できる。逆算された時間と、３３msec以内で最低限なされなければならない音声符号化処理と画像符号化処理の合計時間とから、３３msec以内において多重化処理を実行してもよいデータ量の合計値を算出する。具体的には、音声符号化処理と画像符号化処理の合計時間を３３msecの時間から減算した時間と、逆算した時間とを比較して短い方を多重化処理に費やしてよい時間の規定値とする。よって、各３３msecの期間毎における多重化処理に割くデータ容量は基本的に毎回異なってくる。

レート制御部１１１３は、多重化構成推測部１１１４から通知されたデータ量を規定値に設定し、そのデータ量に到達すると多重化処理を抑制する。そして３３msecが経過したら、その抑制を解除する。
＜分離装置の構成＞
図１２は、実施の形態３に係る分離装置１２００の機能構成を示したブロック図である。

分離装置１２００の機能構成は、多重化装置２００のものと異なり、多重化構成解析部１２７０を備える。
多重化構成解析部１２７０は、受付部１２２０で受け付けてバッファ１２４１に伝送される多重化データの構成を解析する。ここで多重化データの解析とは、多重化されているストリームデータの順序構成を解析することであり、バッファに蓄積されるデータの先頭から、分離されていく。よって、分離されて生成される音声データ及び画像データの順序もわかる。

図１３に多重化データの模式的な構成を示した。図１３において、画像データを「Ｖ１」、「Ｖ２」、「Ｖ３」で、音声データを「Ａ１」、「Ａ２」で示している。ここでは画像データＶ１は音声データＡ１と、画像データＶ２は音声データＡ２と同期する。つまり画像データと音声データは、互いに対応して同期するデータがないと正しく再生できないことになり、対応するデータがないと音声のみ、あるいは映像のみの再生になってしまう。

多重化データは、図１３（ａ）のように順序だてて多重化されているのが望ましいが、実際には図１３（ｂ）のように順序がバラバラに多重化されていることのほうが多い。よって、多重化データが、図１３（ｂ）のような構成になっていた場合には、少なくとも音声データ「Ａ１」までは分離しないと「Ａ１」と「Ｖ１」とを同期させて再生することができないので、このような場合には「Ａ１」までは１回の分離で分離するようにする。

そこで多重化構成解析部１２７０は、３３msecの期間内において、どこまで分離しておけばスピーカ１２５０とディスプレイ１２６０で画像と音声が同期して再生できるかを判断して、３３msecでのデータ処理量を決定し、レート制御部１２３１に、３３msecごとの処理データ量を逐次通知する。
レート制御部１２３１は、多重化構成解析部１２７０から通知されたデータ量を、規定値に設定して、音声画像分離部１２４０で実行される分離処理の抑制を行う。３３msecが経過したら抑制を解除する。
＜動作＞
＜多重化装置の動作＞
図１４は、多重化装置１１００の動作を示したフローチャートである。

図１４に示すように、まず、多重化装置１１００は、マイクで音声を、カメラで映像を取得する。と同時にタイマは、３３msecからカウントダウンを開始する（ステップＳ１４０１）。
取得した画像は、画像符号化部１１１２で符号化され、符号化された画像データが生成される（ステップＳ１４０３）。次にマイクで取得された音声が、音声符号化部１１１１で符号化され、符号化された音声データが生成される(ステップＳ１４０５)。そして、符号化された画像データあるいは音声データはバッファ１１２１に蓄積されていく。多重化構成推測部１１１４は、音声符号化部１１１１及び画像符号化部１１１２とバッファ１１２１とを接続する信号線を監視し、多重化データの構成を推測し、多重化処理の規定値を決定する（ステップＳ１４０７）。決定された規定値は、レート制御部１１１３で多重化処理の合計値として設定される。バッファ１１２１に蓄積されたデータは音声画像多重化部１１２１で多重化される（ステップＳ１４０９）。

レート制御部１１１３は、タイマ１４３０から３３msec経過の通知が来たかどうかをみる（ステップＳ１４１１）。通知が到来していたならば（ステップＳ１４１１のＹＥＳ）、ステップＳ１４２１に移行し、以降の処理を実行する。通知が到来していないならば（ステップＳ１４１１のＮＯ）、多重化処理の時間が規定値を上回っているかどうかを判断する（ステップＳ１４１３）。

多重化処理の処理量が規定値を超えていない場合には（ステップＳ１４１３のＮＯ）、ステップＳ１４０３に戻り、以降の処理を実行する。超えていた場合には（ステップＳ１４１３のＹＥＳ）、レート制御部１１１３は、音声画像多重化部１１２０に多重化処理の抑制を通知する。
そして、画像符号化部１１１２が、カメラ１１７０から入力されてくる画像を符号化する（ステップＳ１４１５）。また、その後に、音声符号化部１１１１が、マイク１１６０から入力されてくる音声を符号化する（ステップＳ１４１７）。そしてレート制御部１１１３は、タイマ１１３０から３３msec経過の通知が到来したかどうかをみる（ステップＳ１４１９）。

３３msec経過の通知が来ていなかった場合には（ステップＳ１４１９のＮＯ）、ステップＳ１４１５に戻り、以降の処理を実行する。
３３msec経過の通知が来ていた場合には（ステップＳ１４１９のＹＥＳ）、タイマ１１３０は、タイマカウントを３３msecにリセットし（ステップＳ１４２１）、ステップＳ１４０１に戻り、以降の処理を実行する。

この処理は、マイク１１６０からの音声入力、あるいはカメラ１１７０からの画像入力がある限り繰り返し実行される。
＜分離装置の動作＞
図１５は、実施の形態３に係る分離装置１２００の動作を示したフローチャートである。

分離装置１２００は、受付部１２２０で、多重化装置などから多重化データを受け取る。受け取った多重化データは逐次バッファ１２３１に蓄積されていく。
タイマ１２１０は、３３msecのカウントダウンを開始する（ステップＳ１５０１）。多重化構成解析部１２７０は、受付部１２２０とバッファ１２４１とを接続する信号線を監視し、流れる多重化データの構成を解析し、それに基づいて、３３msec以内に分離処理を施してよいデータ量を算出する（ステップＳ１５０３）。そしてレート制御部１２３１は、多重化構成解析部で算出されたデータ量を規定値に設定する。

そして音声画像多重分離部１２４０は、バッファ１２４１内にある多重化データを、その先頭から画像データと音声データとに分離していく（ステップＳ１５０５）。
分離された生成された符号化された画像データは、画像復号化部１２３３で復号される（ステップＳ１５０７）。また、符号化された音声データは、音声復号化部１２３２で復号される（ステップＳ１５０９）。

そこでレート制御部１２３１は、タイマ１２１０から３３msec経過の通知が到来したかどうかをみる（ステップＳ１５１１）。到来していた場合（ステップＳ１５１１のＹＥＳ）、タイマ１２１０のカウントを３３msecにリセットし（ステップＳ１５２１）、ステップＳ１５０１に戻って以降の処理を実行する。
到来していない場合（ステップＳ１５１１のＮＯ）、分離処理で処理したデータのデータ合計量が規定値を超えたかどうかを判断する（ステップＳ１５１３）。規定値を超えていない場合には（ステップＳ１５１３のＮＯ）、ステップＳ１５０３に戻り、以降の処理を実行する。規定値を超えていた場合には（ステップＳ１５１３のＹＥＳ）、レート制御部１２３１は、音声画像多重分離部１２４０の分離処理を抑制する。そして画像復号化部１２３３は画像の復号化を実行する（ステップＳ１５１５）。また、音声復号化部１２３２は音声の復号化を実行する（ステップＳ１５１７）。

レート制御部１２３１は、タイマ１２１０から３３msec経過の通知が到来したかどうかをみる（ステップＳ１５１９）。到来していなかった場合には（ステップＳ１５１９のＮＯ）、ステップＳ１５１５に戻って以降の処理を実行する。到来していた場合には（ステップＳ１５１９のＹＥＳ）、タイマ１２１０は、タイマカウントを３３msecにリセットし（ステップＳ１５２１）、ステップＳ１５０１に戻って以降の処理を実行する。

この処理は、多重化データがバッファ１２４１に蓄積されている限り繰り返し実行される。
＜実施の形態４＞
実施の形態４は、実施の形態２及び３の変形例であり、多重化あるいは分離の処理を、多重化データの構成に基づき多重化処理あるいは分離処理の時間を決定し、それぞれの処理のプロセッサ占有合計時間によって制限するものである。
＜構成＞
＜多重化装置の構成＞
図１６は、実施の形態４に係る多重化装置１６００の機能構成を示したブロック図である。

多重化装置１６００の構成は、実施の形態２の多重化装置７００と、実施の形態３の多重化装置１１００とを組み合わせた形になっている。
多重化構成推測部１６１３は、多重化データの構成を推測して、それに基づいて、多重化処理時間を決定する。決定方法に関しては、実施の形態３に示したものと同様である。そして決定した多重化処理時間をレート制御部１６１５に通知する機能を有する。

多重化時間監視部１６１４は、音声画像多重化部１６２０が３３msec以内において、多重化処理を行った合計時間を監視し、その時間をレート制御部１６１５に通知する。
レート制御部１６１５は、通知された多重化処理時間を規定値に設定する。そして多重化時間監視部１６１４から通知される時間が、設定した規定値を超えた場合に、音声画像多重化部１６２０の多重化処理を抑制する機能を有する。そしてタイマ１６３０から３３msec経過の通知を受けたら多重化処理の抑制を解除する。
＜分離装置の構成＞
図１７は、実施の形態４に係る分離装置１７００の機能構成を示したブロック図である。

分離装置１７００は、多重化装置２００と異なり、更に、多重化構成解析部１７３１と分離時間監視部１７３２とを備える。
多重化構成解析部１７３１は、実施の形態２における多重化構成解析部１２３１と同様の機能を有する。但し、多重化構成解析部１７３１は多重化構成解析部と異なり、レート制御部１７３３が記憶する規定値として、各３３msec毎の合計処理データ量ではなく合計処理時間を通知する。

レート制御部１７３３は、多重化構成解析部１７３１から通知された合計処理時間を規定値に設定して、その規定値を音声画像多重分離部１７４０が行っている分離処理の合計時間が超えた場合に、分離処理を抑制する機能を有する。
＜動作＞
＜多重化装置の動作＞
図１８は、多重化装置１６００の動作を示したフローチャートである。

多重化装置１６００は、マイク１６６０で音声を、カメラ１６７０で映像を取得する。同時にタイマ１６３０は、３３msecからカウントダウンを開始する（ステップＳ１８０１）。
取得した画像は、画像符号化部１６１２で符号化され、符号化された画像データが生成される（ステップＳ１８０３）。次にマイクで取得された音声が、音声符号化部１６１１で符号化され、符号化された音声データが生成される(ステップＳ１８０５)。そして、符号化された画像データあるいは音声データはバッファ１６２１に蓄積されていく。多重化構成推測部１６１３は、音声符号化部１６３２及び画像符号化部１６３３とバッファ１６２１とを接続する信号線を監視し、多重化データの構成を推測して多重化時間を算出する（ステップＳ１８０７）。そして、レート制御部１６１５は、算出された多重化時間を規定値に設定する。バッファ１６２１に蓄積されたデータは、音声画像多重化部１６２０で多重化される（ステップＳ１８０９）。

レート制御部１６１５は、タイマ１６３０から３３msec経過の通知が来たかどうかをみる（ステップＳ１８１１）。通知が到来していたならば（ステップＳ１８１１のＹＥＳ）、ステップ１８２１に移行し、以降の処理を実行する。通知が到来していないならば（ステップＳ１８１１のＮＯ）、多重化処理の合計処理時間が規定値を上回っているかどうかを判断する（ステップＳ１８１３）。

多重化処理の合計処理時間が規定値を超えていない場合には（ステップＳ１８１３のＮＯ）、ステップＳ１８０３に戻り、以降の処理を実行する。超えていた場合には（ステップＳ１８１３のＹＥＳ）、レート制御部１６１５は、音声画像多重化部１６２０に多重化処理の抑制を通知する。
そして、画像符号化部１６１２が、カメラから入力されてくる画像を符号化する（ステップＳ１８１５）。また、その後に、音声符号化部１６１１が、マイクから入力されてくる音声を符号化する（ステップＳ１８１７）。そしてレート制御部１６１５は、タイマ１６３０から３３msec経過の通知が到来したかどうかをみる（ステップＳ１８１９）。

３３msec経過の通知が来ていなかった場合には（ステップＳ１８１９のＮＯ）、ステップＳ１８１５に戻り、以降の処理を実行する。
３３msec経過の通知が来ていた場合には（ステップＳ１８１９のＹＥＳ）、タイマ１６３０は、タイマカウントを３３msecにリセットし（ステップＳ１８２１）、ステップＳ１８０１に戻り、以降の処理を実行する。

この処理は、マイクからの音声入力、あるいはカメラからの画像入力がある限り繰り返し実行される。
＜分離装置の動作＞
図１９は、分離装置１７００の動作を示したフローチャートである。
分離装置１７００は、受付部１７２０で、多重化装置などから多重化データを受け取る。受け取った多重化データは逐次バッファ１７４１に蓄積されていく。

タイマ１７１０は、３３msecのカウントダウンを開始する（ステップＳ１９０１）。多重化構成解析部１７３１は、受付部１７２０とバッファ１７４１とを接続する信号線を監視し、流れる多重化データの構成を解析し、それに基づいて、３３msec以内に分離処理を施してよいデータ量を算出する（ステップＳ１９０３）。そしてレート制御部１７３３は、決定されたデータ量を規定値に設定する。

そして音声画像多重分離部１７４０は、バッファ１７４１内にある多重化データを、その先頭から符号化された画像データと音声データとに分離していく（ステップＳ１９０５）。
分離された画像データは、画像復号化部１７３５で復号される（ステップＳ１９０７）。また、音声データは、音声復号化部１７３４で復号される（ステップＳ１９０９）。

そこでレート制御部１７３１は、タイマ１７１０から３３msec経過の通知が到来したかどうかをみる（ステップＳ１９１１）。到来していた場合（ステップＳ１９１１のＹＥＳ）、タイマ１７１０のカウントを３３msecにリセットし（ステップＳ１９２１）、ステップＳ１７０１に戻って以降の処理を実行する。
到来していない場合（ステップＳ１９１１のＮＯ）、分離処理でデータを処理した合計時間が規定値を超えたかどうかを判断する（ステップＳ１９１３）。規定値を超えていない場合には（ステップＳ１９１３のＮＯ）、ステップＳ１９０３に戻り、以降の処理を実行する。規定値を超えていた場合には（ステップＳ１９１３のＹＥＳ）、レート制御部１７３１は、音声画像多重分離部１７４０の分離処理を抑制する。そして画像復号化部１７３５は、画像の復号化を実行する（ステップＳ１９１５）。また、音声復号化部１７３４は、音声の復号化を実行する（ステップＳ１９１７）。

レート制御部１７３１は、タイマ１７１０から３３msec経過の通知が到来したかどうかをみる（ステップＳ１９１９）。到来していなかった場合には（ステップＳ１９１９のＮＯ）、ステップＳ１９１５に戻って以降の処理を実行する。到来していた場合には（ステップＳ１９１９のＹＥＳ）、タイマ１７１０は、タイマカウントを３３msecにリセットし（ステップＳ１９２１）、ステップＳ１７０１に戻って以降の処理を実行する。

この処理は、多重化データがバッファ１７４１に蓄積されている限り繰り返し実行される。
＜補足＞
上記実施の形態１〜４に基づいて本発明に係るプロセッサを搭載した多重化装置及び分離装置を解説してきたが、本発明の実施の形態はこれらに限るものではない。以下にその変形例について述べていく。
（１）上記実施の形態においては、本発明に係るプロセッサを搭載した多重化装置、あるいは分離装置を開示したが、ラウンドロビンで処理を実行するプロセッサを搭載した組み込みシステムにおいて、所定時間内（上記実施の形態においては３３msec）において、ある処理（上記実施の形態においては多重化あるいは多重分離の処理）の合計処理量が、定められた規定値を超えた場合に、制限するプロセッサであるならばなんでもよい。

例えば、計算装置で第１処理として所定の演算を実行して、第２処理として第１処理の演算結果を利用した演算を実行するプロセッサが考えられる。この場合第１処理の所定の演算は、逐次データを与えられて逐次演算を実行しなければならないものとする。また、第２処理の演算は、第１処理の演算の結果を利用して、第１処理の演算結果を格納しているバッファからオーバーフローしないうちに演算が行われればよい。
（２）上記実施の形態においては、３３msecの中において多重化の処理あるいは分離の処理を制限したが、これは別に３３msecである必要はなく、例えば６０msecであっても良いし、毎回異なる設定にしても良い。多重化の処理あるいは、分離の処理は音声あるいは画像の、符号化あるいは復号化に比してより広い緩やかなタイムスパンが与えられているが、そのタイムスパン内において多重化あるいは分離の処理が間に合うように、制限されるように設定される。
（３）上記実施の形態においては、組み込みシステムのプロセッサとして説明してきたが、上記発明を実行するプログラムを多重化装置あるいは分離装置が記憶し、そのプログラムを読み出して実行してもよい。
（４）上記実施の形態における各動作フローにおいて、３３msecの経過の通知がタイマからなされたかを判断しているが、これは常時タイマからの連絡を受け付ける状態になっていて、通知があった場合に、割り込み処理をかけて、そのタイミングから多重化もしくは分離の処理が再び実行できるようにしてもよい。
（５）上記実施の形態においては、ラウンドロビンの中の一処理をあるタイムスパン（上記実施の形態においては３３msec）において制限していたが、これを優先度をもって、行うことも考えられる。

その場合の、多重化装置の構成を図２０に示し、分離装置の構成を図２１に示した。そして図２２に多重化装置の動作を示すフローチャートを、図２３に分離装置の動作を示すフローチャートを示した。
それぞれの図面について簡潔に説明する。
図２０にあるように、多重化装置２０００は、多重化装置１００と異なり、多重優先度変更部２０１４を備える。音声符号化処理、画像符号化処理、多重化処理それぞれは、実行優先度が定められている。なお、各処理の優先度は、設計者が好みに応じて設定できる。ここでは、各処理の優先度を「１」としておく。

多重優先度変更部２０１４は、多重化の処理が３３msecの期間内において処理量を超えた場合に、多重化処理の実行優先度を「０」に設定する。「０」に設定されると多重化処理は行われなくなる。タイマが３３msec経過の通知を行うと再び優先度を「１」に戻す。すると多重化処理は再び実行されるようになる。
また、「０」に設定した後に、３３msec経過前に、各符号化処理が無くなれば、つまり、マイク２０６０やカメラ２０７０から音声入力、画像入力がなくなれば、そこから３３msecの期間内においてでも多重化処理の抑制を解除、即ち優先度を「１」に戻し、多重化処理を実行する機能も有する。

分離装置２１００の方も、分離装置２００とは異なり、分離優先度変更部２１３２を備え、分離処理の優先度を変更する機能を有している。分離装置２１００においても、分離処理、音声復号化処理、画像復号化処理のいずれもが、その優先度は、基本的に「１」に設定されている。
分離優先度変更部２１３２は、分離処理の優先度を、分離処理の処理量が３３msecの期間内において規定値を超えた場合に「０」に設定し、その３３msecが経過した場合に、「１」に戻す機能を有する。「０」に設定されている間、分離処理は実行されなくなり、その間代わりに画像復号化処理あるいは音声復号化処理が実行される。

また、分離優先度変更部２１３２は、分離処理の優先度を「０」に設定した後に、３３msecの期間内において、音声復号化あるいは画像復号化すべき対象がなくなった場合に、３３msecの期間内であっても、分離処理の優先度を「１」に戻す機能も有する。
分離装置２１００の処理を、図２３のフローチャートにおいて示してある。
分離装置２１００の場合も、分離処理、音声復号化処理、画像復号化処理のそれぞれに優先度を設定し、分離処理の処理量が、定めれらた所定量を超えた場合に、３３msecの期間内における分離処理を制限する。但し、この制限は、優先度設定によるものであり、優先度が高い処理、即ちここでは音声復号化処理あるいは画像復号化処理が、分離処理よりも高い優先度を与えられているために、分離処理は実行されなくなる。
（６）上記実施の形態においては、画像符号化処理と音声符号化処理と多重化処理の比率を、６：３：１としたが、これは必ずしもそうである必要は無くそれ以外の比率であってもよい。これらの処理の比率は、多重化装置の製作者によって設定される。

これは分離装置においても同様であり、各処理の比率は、上記実施の形態の比率に限るものではない。
（７）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

本発明に係る多重化装置はデジタルビデオカメラやＤＶＤレコーダとして、分離装置はＤＶＤプレイヤとして活用することができる。

実施の形態１に係る多重化装置１００の機能構成を示したブロック図である。 実施の形態１に係る分離装置２００の機能構成を示したブロック図である。 多重化装置で実行されている処理のタイミング例を示したタイミングチャートである。 分離装置で実行されている処理のタイミング例を示したタイミングチャートである。 多重化装置１００の動作を示したフローチャートである。 分離装置２００の動作を示したフローチャートである。 実施の形態２に係る多重化装置７００の機能構成を示したブロック図である。 実施の形態２に係る分離装置８００の機能構成を示したブロック図である。 多重化装置７００の動作を示したフローチャートである。 分離装置８００の動作を示したフローチャートである。 実施の形態３に係る多重化装置１１００の機能構成を示したブロック図である。 実施の形態３に係る分離装置１２００の機能構成を示したブロック図である。 多重化の構成例を示したストリームデータの概念図である。 多重化装置１１００の動作を示したフローチャートである。 分離装置１２００の動作を示したフローチャートである。 実施の形態４に係る多重化装置１６００の機能構成を示したブロック図である。 実施の形態４に係る分離装置１７００の機能構成を示したブロック図である。 多重化装置１６００の動作を示したフローチャートである。 分離装置１７００の動作を示したフローチャートである。 多重化装置２０００の機能構成を示したブロック図である。 分離装置２１００の機能構成を示したブロック図である。 多重化装置２０００の動作を示したフローチャートである。 分離装置２１００の動作を示したフローチャートである。

符号の説明

１００、７００、１１００、１６００、２０００ 多重化装置
１１０、７１０、１１１０、１６１０、２０１０ ＰＥ
１１１、７１１、１１１１、１６１１、２０１１ 音声符号化部
１１２、７１２、１１１２、１６１２、２０１２ 画像符号化部
１１３、７１３、１１１３、１６１３、２０１３ レート制御部
１２０、７２０、１１２０、１６２０、２０２０ 音声画像多重化部
１２１、７２１、１１２１、１６２１、２０２１ バッファ
１３０、７３０、１１３０、１６３０、２０３０ タイマ
１４０、７４０、１１４０、１６４０、２０４０ 記憶部
１５０、７５０、１１５０、１６５０、２０５０ 出力部
１６０、７６０、１１６０、１６６０、２０６０ マイク
１７０、７７０、１１７０、１６７０、２０７０ カメラ
２００、８００、１２００、１７００、２１００ 分離装置
２１０、８１０、１２１０、１７１０、２１１０ タイマ
２２０、８２０、１２２０、１７２０、２１２０ 受付部
２３０、８３０、１２３０、１７３０、２１３０ ＰＥ
２３１、８３１、１２３１、１７３３、２１３１ レート制御部
２３２、８３２、１２３２、１７３４、２１３３ 音声復号化部
２３３、８３３、１２３３、１７３５、２１３４ 画像復号化部
２４０、８４０、１２４０、１７４０、２１４０ 音声画像多重分離部
２４１、８４１、１２４１、１７４１、２１４１ バッファ
２５０、８５０、１２５０、１７５０、２１５０ スピーカ
２６０、８６０、１２６０、１７６０、２１６０ ディスプレイ
７１４、１６１４ 多重化時間監視部
８７０、１７３２ 分離時間監視部
１１１４、１６１３ 多重化構成推測部
１２７０、１７３１ 多重化構成解析部
２０１４ 多重化優先度変更部
２１３２ 分離優先度変更部

Claims (14)

1. 処理対象となるデータを格納する格納手段と、
   第１の処理と、前記格納手段に処理対象となるデータが格納されている場合に限り実行する第２の処理とを、それぞれに割り当てられた一回に連続して実行できる単位時間を上限として、巡回的に逐次実行する実行手段と、
   前記単位時間よりも長い所定時間内において第２の処理の処理量の合計値が所定値を上回ったときから、前記所定時間内における第２の処理の実行を抑止し、第２の処理の実行に換えて第１の処理を実行するよう前記実行手段を制御する制御手段とを備える
   ことを特徴とするプロセッサ。
2. 前記制御手段は、前記実行手段が前記第２の処理で処理した合計データ量を前記処理量の合計値とみなして、前記抑止を実行する
   ことを特徴とする請求項１記載のプロセッサ。
3. 前記プロセッサは更に、
   前記実行手段において、前記第２の処理を実行している際に、前記所定時間内において前記第２の処理を実行した合計時間を監視する監視手段を備え、
   前記制御手段は、前記監視手段が監視している合計時間を前記処理量の合計値とみなして、前記抑止を実行する
   ことを特徴とする請求項１記載のプロセッサ。
4. 前記プロセッサは更に、映像入力を受けて、当該映像を符号化し映像データを生成する映像符号化手段と、
   前記映像データとその他のデータを多重化する多重化手段を備え、
   前記第１の処理は、映像符号化処理を含み、前記第２の処理は多重化処理を含む
   ことを特徴とする請求項１〜３記載のプロセッサ。
5. 前記プロセッサは更に、音声入力を受けて、当該音声を符号化し音声データを生成する音声符号化手段を備え、
   前記その他のデータは、音声データである
   ことを特徴とする請求項４記載のプロセッサ。
6. 前記プロセッサは更に、
   前記多重化手段で多重化されるデータのデータ構成を推測し、当該データ構成に基づいて前記規定値を決定する推測決定手段を備え、
   前記制御手段は、前記所定時間内において、前記推測決定手段により決定された規定値を、前記多重化手段で実行される多重化処理の合計量が越えた場合に前記所定時間内における多重化処理を抑制する
   ことを特徴とする請求項４又は５記載のプロセッサ。
7. 前記プロセッサは更に、
   前記音声符号化手段と、前記映像符号化手段と、前記多重化手段とのそれぞれで実行される処理の優先度を決定する優先度決定手段を備え、
   前記多重化手段における多重化処理の合計値が前記規定値を超えた場合に、前記優先度決定手段は、多重化処理の優先度を低下させ、前記制御手段は、前記優先度決定手段が決定した優先度に基づいて多重化処理の抑制を行う
   ことを特徴とする請求項４又は５記載のプロセッサ。
8. 前記プロセッサは更に、
   多重化データを受けて、当該多重化データを映像データとその他のデータに分離する分離手段と、
   映像データを受けて、当該映像データを復号化する映像復号化手段とを備え、
   前記第１の処理は、映像復号化処理を含み、前記第２の処理は分離処理を含む
   ことを特徴とする請求項１〜３記載のプロセッサ。
9. 前記プロセッサは更に、音声データを受けて、当該音声データを復号する音声復号化手段を備え、
   前記その他のデータは音声データを含み、前記第１の処理は、音声復号化処理を含む
   ことを特徴とする請求項８記載のプロセッサ。
10. 前記プロセッサは更に、
    前記分離手段で分離される多重化データのデータ構成を解析し、当該データ構成に基づいて前記規定値を決定する解析決定手段を備え、
    前記制御手段は、前記所定時間内において、前記解析決定手段により決定された規定値を、前記分離手段で実行される分離処理の合計量が越えた場合に前記所定時間内における分離処理を抑制する
    ことを特徴とする請求項８又は９記載のプロセッサ。
11. 前記プロセッサは更に、
    前記音声復号化手段と、前記映像復号化手段と、前記分離手段とのそれぞれで実行される処理の優先度を決定する優先度決定手段を備え、
    前記分離手段における分離処理の合計値が前記規定値を超えた場合に、前記優先度決定手段は、分離処理の優先度を低下させ、前記制御手段は、前記優先度決定手段が決定した優先度に基づいて分離処理の抑制を行う
    ことを特徴とする請求項８又は９記載のプロセッサ。
12. 前記制御手段は、前記所定時間内における第２処理の抑制を実行した後で、第１の処理がなくなった場合に、前記所定時間内であっても、前記抑制を解除して第２の処理を実行する
    ことを特徴とする請求項１記載のプロセッサ。
13. 複数の処理を実行するプロセッサにおける処理方法であって、
    処理対象となるデータを格納する格納ステップと、
    第１の処理と、前記格納ステップで処理対象となるデータが格納されている場合に限り実行する第２の処理とを、それぞれに割り当てられた、一回に前記プロセッサを占有できる時間を上限として、巡回的に逐次実行する実行ステップと、
    前記実行ステップにおいて、所定時間内において逐次実行される第２の処理の処理量の合計値が所定値を上回ったときから、前記所定時間内における第２の処理の実行を抑止し、第２の処理の実行に換えて第１の処理を実行するよう制御する制御ステップとを含む
    ことを特徴とする処理方法。
14. プロセッサに複数の処理を実行させる処理手順を示した処理プログラムであって、前記処理手順は、
    処理対象となるデータを格納する格納ステップと、
    第１の処理と、前記格納ステップで処理対象となるデータが格納されている場合に限り実行する第２の処理とを、それぞれに割り当てられた、一回に前記プロセッサを占有できる時間を上限として、巡回的に逐次実行する実行ステップと、
    前記実行ステップにおいて、所定時間内において逐次実行される第２の処理の処理量の合計値が所定値を上回ったときから、前記所定時間内における第２の処理の実行を抑止し、第２の処理の実行に換えて第１の処理を実行するよう制御する制御ステップとを含む
    ことを特徴とする処理プログラム。

Images