JP2008160535A - 符号化伝送方法、その装置、そのプログラム、およびその記録媒体 - Google Patents

Abstract

【課題】ディジタル信号の圧縮、伝送、伸張にかかる合計時間を効率的に短縮させる。
【解決手段】ディジタル信号をフレーム分割し（６２）、前フレームの伝送終了までの伝送合計時間と（７２６）、各符号化方式による現フレームの現フレーム伝送時間と（７４６）、前フレームの圧縮終了までの圧縮合計時間と（７２０）、前フレームの伸張終了までの伸張合計時間と（７３２）、各符号化方式による現フレームの現フレーム圧縮時間と（７３８）、各符号化方式による現フレームの現フレーム伸張時間と（７５２）を算出もしくは推定して、圧縮合計時間と、伝送合計時間と、伸張合計時間と、現フレーム圧縮時間と、現フレーム伝送時間と、現フレーム伸張時間と、に基づいて、現フレームの伸張終了までの合計時間等が最小となる符号化方式を現フレームの符号化方式として選択する（７０、Ｓ９）。
【選択図】図１３

Description

この発明は、圧縮処理、伝送、伸張処理の一連の処理にかかる時間を短くすることを目的として、ファイル、音声情報、映像情報などを圧縮して伝送する符号化伝送方法、その装置、そのプログラム、およびその記録媒体に関する。

音響信号データや映像情報データを通信路により伝送する場合や、情報記録媒体に記録する場合には、音響信号データや映像情報データを情報圧縮符号化により圧縮データに変換し、変換された圧縮データを伝送する方法や、変換された圧縮データを記録する方法が、伝送効率や記録効率の点で、有効である。

図１は、例えば音声信号データを送信する送信側コンピュータと、送信された音声信号データを受信する受信側コンピュータの機能構成例を示したブロック図である。送信側コンピュータ２は送信側データ記憶部４、送信側フレーム分割部５、送信側データ圧縮部６、送信側データ送信部８とで構成されている。また、受信側コンピュータ１０は受信側データ受信部１２、受信側データ伸張部１４、受信側データ蓄積部１６、受信側データ記憶部１８とで構成されている。

まず送信側データ記憶部４で記憶されているディジタル化された音声信号が送信側フレーム分割部５に入力され、所定時間区間（以下、フレームという）ごとに分割される。フレーム分割された音声信号データはフレーム毎に、送信側データ圧縮部６に入力され、任意の圧縮方法でフレーム毎に圧縮される。この圧縮方法として、例えば非特許文献１示されているＭＰＥＧ４ ＡＬＳやＭＰＥＧ ＡＡＣなどがある。また、画像信号データの圧縮方法として、ＭＰＥＧ Ｖｉｄｅｏ等がある。

圧縮された音声信号データは送信側データ送信部８に入力され、送信側データ送信部８から送信される。送信された音声信号データは、伝送路９を介して、受信側データ受信部１２で受信される。受信された音声信号データは、受信側データ伸張部１４に入力され、受信側データ伸張部１４で圧縮方法と対応する伸張方法でフレーム毎に伸張される。伸張された音声信号データは受信側データ蓄積部１６で蓄積される。受信側データ蓄積部１６で、ある程度の音声信号データが蓄積されると、受信側データ記憶部１８で記憶される。

また、送信側コンピュータ２と受信側コンピュータ１０との間に、サーバコンピュータが介する場合もある。図２は、例えば音声信号データをサーバコンピュータへ送信する送信側コンピュータと、サーバコンピュータを介して、送信された音声信号データを受信する受信側コンピュータの機能構成例を示したブロック図である。図１と同一機能構成部分には、同一参照番号を付け、重複説明を省略する。またこのことは以下の図面の説明においても同様である。サーバコンピュータ２４はサーバ受信部２６、サーバ伸張部２８、サーバ圧縮部３０、サーバ送信部３２、とで構成されている。

送信側データ送信部８から送信された圧縮後のフレームごとの音声信号データは伝送路２２を介して、サーバコンピュータ２４中のサーバ受信部２６で受信される。受信された音声信号データはサーバ伸張部２８で伸張される。伸張された音声信号データはサーバ圧縮部３０に入力され、再び、任意の符号化方式で、圧縮される。圧縮されたフレームごとの音声信号データはサーバ送信部３２から送信され、伝送路３４を介して、受信側コンピュータ１０へ送信される。

しかし、全てのフレームについて圧縮処理を行うとすると、圧縮処理に計算時間を要する。このためフレームによっては、圧縮処理によるデータ量削減によって、伝送時間が短縮されたとしても、圧縮時間と伝送時間との合計時間（以下、伝送終了合計時間という）が、圧縮処理を行わない場合の伝送終了合計時間より長くなってしまう問題が生じる。

この問題を解決した従来の符号化伝送装置を以下に説明する。図３は従来の符号化伝送装置４１の機能構成例である。入力部４０から入力されたディジタル化された音声信号データがフレーム分割部４２に入力される。フレーム分割部４２では、一定のフレーム間隔に分割される。フレーム分割された音声信号データはサイズ推定部４４、およびスイッチ４３に入力される。

サイズ推定部４４では、予め定められた任意の圧縮方法で圧縮された場合のサイズを推定する。推定されたサイズは圧縮判定部５０に入力される。閾値テーブル記憶部５２に記憶されている閾値テーブルを使用して、圧縮判定部５０ではフレーム毎に、圧縮部４６で圧縮した場合の伝送終了合計時間と、圧縮しない場合の伝送終了合計時間を比較して、伝送終了合計時間が短い方を選択する。以下にその原理を説明する。なお、具体的な処理の説明については以下で述べる。

図４は、１フレームを無圧縮で伝送する場合と、圧縮して伝送する場合とを比較した図である。ここで、無圧縮の方式を符号化方式１とし、任意の符号化方式で圧縮する方式を符号化方式２とする。フレーム分割された全フレーム数をＭとし（Ｍは２以上の整数）、第ｍフレームの符号化方式ｎ（ｎ＝１、２）での圧縮時間をＡ_ｍｎと表し、伝送時間をＢ_ｍｎと表す。また、第ｍフレームの符号化方式ｎで圧縮した場合の圧縮時間Ａ_ｍｎと伝送時間Ｂ_ｍｎとの合計時間、つまり伝送終了合計時間をＸ_ｍｎと表す。簡略化のために、第１フレーム、第２フレーム、第３フレームについて説明する。つまりｍ＝１〜３である。

図４（Ａ）、図４（Ｂ）、図４（Ｃ）は符号化方式１を採用した場合、つまり、無圧縮の場合の第１フレーム、第２フレーム、第３フレームの合計時間を示したものである。図４（Ａ）、図４（Ｂ）、図４（Ｃ）では、無圧縮であるため、圧縮時間は考慮されず、伝送時間Ｂ_ｍ１（ｍ＝１〜３）が伝送終了合計時間Ｘ_ｍ１（ｍ＝１〜３）になる。

図４（Ｄ）、図４（Ｅ）、図４（Ｆ）は符号化方式２を採用した場合、つまり、圧縮した場合の第１フレーム、第２フレーム、第３フレームの伝送終了合計時間を示したものである。つまり、Ｘ_ｍ２（ｍ＝１〜３）はそれぞれ対応するフレームの圧縮時間Ａ_ｍ２と伝送時間Ｂ_ｍ２との和になる。

図４（Ａ）の伝送終了合計時間Ｘ_１１と図４（Ｄ）の伝送終了合計時間Ｘ_１２とを比較すると、伝送終了合計時間が図４（Ｄ）、つまり圧縮された場合の伝送終了合計時間Ｘ_１２の方が短い。よって、第１フレームでは、圧縮する、つまり、符号化方式２を選択する。
同様に、図４（Ｂ）の伝送終了合計時間Ｘ_２１と図４（Ｅ）の伝送終了合計時間Ｘ_２２とを比較すると、伝送終了合計時間が図４（Ｂ）つまり、無圧縮の場合の伝送終了合計時間Ｘ_２１のほうが短い。よって、第２フレームでは、無圧縮、つまり、符号化方式１を選択する。
同様に、図４（Ｃ）の伝送終了合計時間Ｘ_３１と図４（Ｆ）の伝送終了合計時間Ｘ_３２とを比較すると、伝送終了合計時間が図４（Ｆ）つまり、圧縮された場合の伝送終了合計時間Ｘ_３２のほうが短い。よって、第３フレームでは、圧縮する、つまり、符号化方式２を選択する。
つまり、第１フレーム、第３フレームでは符号化方式２が選択され、第２フレームでは符号化方式１が選択される。よって、第１〜３フレームの伝送終了合計時間の合計は図４（Ｇ）に示すようになる。

図５（Ａ）、（Ｂ）、（Ｃ）はそれぞれ、３フレームとも無圧縮した場合の伝送終了合計時間、３フレームとも圧縮した場合の伝送終了合計時間、符号化伝送装置４１を適用した場合の伝送終了合計時間を比較したものである。図５（Ａ）は、３フレームとも無圧縮の場合の伝送終了合計時間の合計であるＸ_１１＋Ｘ_２１＋Ｘ_３１（Ｂ_１１＋Ｂ_２１＋Ｂ_３１）を示し、図５（Ｂ）は、３フレームとも圧縮した場合の伝送終了合計時間の合計であるＸ_１２＋Ｘ_２２＋Ｘ_３２（Ａ_１２＋Ｂ_１２＋Ａ_２２＋Ｂ_２２＋Ａ_３２＋Ｂ_３２）を示し、図５（Ｃ）は、符号化伝送装置４１を使用した場合の、３フレーム分の伝送終了合計時間の合計であるＸ_１２＋Ｘ_２１＋Ｘ_３２を示したものである。図５（Ｃ）から明らかなように、従来の技術を用いて、フレーム毎に伝送終了合計時間を短くするように、圧縮するか圧縮しないかを選択することで、全フレームの伝送終了合計時間を短くすることが出来る。

次に、フレーム毎に、圧縮するか否かをどのように判別するかを具体的に説明する。以下の説明では、伝送するデータを画像データとし、この画像データに対してフレーム分割部４２でフレーム（ブロック）化を行う。図６は、図３中の閾値テーブル記憶部５２に記憶されているテーブルの具体例である。この具体例では、１フレームのデータサイズが１ＭＢの場合の伝送路の伝送時間と圧縮時間に対する例である。伝送路の転送速度が１０００ｋｂｉｔ／ｓ、圧縮時間が２秒の場合について説明する。圧縮せずに、つまり符号化方式１で、１フレームを伝送する場合の伝送時間は、１ＭＢは８０００ｋｂｉｔであることから、８０００／１０００＝８秒となる。一方、圧縮して伝送する場合、つまり符号化方式２で１フレームを伝送する場合の伝送時間は、圧縮時間が２秒であるから、伝送時間が８−２＝６秒以下でなければ、符号化方式１より長く時間がかかってしまう。よって、圧縮処理を行わない場合に８ｂｉｔ／ｐｉｘｅｌの画像に対して、サイズ（符号長）を６ｂｉｔ／ｐｉｘｅｌ以下に圧縮できる場合は圧縮を行い、圧縮しても、それ以上のサイズにしかならない場合は、圧縮を行わないようにする。よって閾値テーブルで転送速度が１０００ｋｂｉｔ／ｓ、圧縮時間が２秒の場合、最低値は６ｂｉｔ／ｐｉｘｅｌとなる。このようにして、圧縮判定部５０では、サイズ推定部４４で推定されたサイズを用いてフレーム毎に、圧縮するか否かを判定する。圧縮すると判定すれば、スイッチ４３を４３２側に切替え、圧縮しないと判定すれば、スイッチ４３を４３１側に切替える。圧縮すると判定されたフレームは、圧縮部４６で圧縮され、圧縮したことを示すフラグ、例えば「１」を添付して、出力部４８から出力される。圧縮しないと判定されたフレームは圧縮しないことを示すフラグ、例えば「０」を添付して、出力部４８から出力される。
ISO/IEC 14496-3 AMENDMENT2:Audio Lossless Coding(ALS),new audio profiles and BSAC extensions 特開２００１−３２６９３０号

上述したように、従来の符号化伝送装置４１では、フレーム毎に合計時間または推定合計時間が短くなるように、符号化方式１（無圧縮）もしくは符号化方式２（圧縮）が選択されている。そのため、フレーム毎の伝送に要する合計時間または推定合計時間は最短となっている。以下に、特許文献１に示す符号化伝送装置４１の問題点を述べる。

図７は、従来の符号化伝送装置４１を実施した場合の、第ｍ−１フレーム、第ｍフレーム、第ｍ+１フレーム（ｍ＝1、．．．、Ｍ Ｍは全体のフレーム数）である圧縮時間、伝送時間を示した図である。この場合は、第ｍ−１フレームと第ｍ+１フレームについては、符号化方式２（圧縮）が選択され、第ｍフレームについては、符号化方式１（無圧縮）選択されている。

図７に示すように、第ｍ−１フレームを圧縮している時間Ａ_{（ｍ−１）２}つまり図６に示すａの時間に、第ｍ−２フレーム（図示せず）を伝送することができ、つまり、第ｍ−２フレームの伝送時間Ｂ_{（ｍ−２）２}（図示せず）をａの時間に充てることが出来る。また、第ｍ−１フレームの伝送時間Ｂ_{（ｍ−１）２}と第ｍフレームの伝送時間Ｂ_ｍ１の時間であるｂの時間に第ｍ＋１フレームを圧縮する、つまり圧縮時間Ａ_{（ｍ＋１）２}を充てることが出来る。同様に、第ｍ+１フレームの圧縮時間Ａ_{（ｍ+１）２}の時間であるｃの時間に第ｍ+１フレームの伝送時間Ｂ_{（ｍ+１）２}を充てることができる。同様に、第ｍ+１フレームの伝送時間Ｂ_{（ｍ+１）２}である時間ｄに第ｍ+２フレームを圧縮する場合は圧縮時間Ａ_{（ｍ+２）２}を充て、圧縮しない場合は伝送時間Ｂ_{（ｍ+２）１}を充てることができる。よって複数のフレームで見ると、伝送に要する全体的な合計時間または推定合計時間は最短となっていない。

また、従来の符号化伝送装置４１では、圧縮されたフレームを受信する受信側の伸張処理にかかる時間である伸張時間が考慮されていない。よって、実際の処理では、受信側が圧縮されたフレームを伸張して、フレームを蓄積する場合が多いので、従来の符号化伝送装置では、正確に圧縮時間、伝送時間、伸張時間の全体的な合計時間または推定合計時間を縮小することは出来ない。

また、符号化伝送装置では、符号化方式を２種類のみ、つまり、１種類の任意の符号化方式で圧縮するか、無圧縮かの２種類であった。よって、圧縮処理の柔軟性に欠けていた。

この発明によれば、ディジタル信号を所定時間区間（以下、フレームという）ごとに分割し、前フレームのディジタル信号の伝送終了までの合計時間または推定合計時間を伝送合計時間として算出し、各符号化方式による現フレームの伝送時間または推定伝送時間を現フレーム伝送時間として算出し、上記前フレームのディジタル信号の圧縮終了までの合計時間または推定合計時間を圧縮合計時間として算出し、上記前フレームのディジタル信号の伸張終了までの合計時間または推定合計時間を伸張合計時間として算出し、上記各符号化方式による現フレームの圧縮時間または推定圧縮時間を現フレーム圧縮時間として算出し、上記各符号化方式による現フレームの伸張時間または推定伸張時間を現フレーム伸張時間として算出し、上記圧縮合計時間と、上記伝送合計時間と、上記伸張合計時間と、上記現フレーム圧縮時間と、上記現フレーム伝送時間と、上記現フレーム伸張時間と、に基づいて、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する。

上記の構成により、フレーム毎に圧縮時間または推定圧縮時間、伝送時間または推定伝送時間、伸張時間または推定伸張時間のうち、最も、ボトルネックになる要素の稼働率を向上させる符号化方式を選択することができるため、複数フレーム単位で見ても、伸張終了までの合計時間または推定合計時間が最短となるように、符号化方式を選択することが可能になる。

まず、この発明の原理を説明する。この発明は、ファイル、音声情報、映像情報などのディジタル信号を伝送することができる。
この発明の原理の説明および以下で述べる実施例の説明で使用する用語、記号について説明する。また、この発明で使用される符号化方式は予め用意されており、Ｎ個（Ｎは２以上の任意の整数）であり、フレーム分割されたフレーム数をＭ個とする。図８に示すように、第ｍフレーム（ｍ＝１、．．．、Ｍ）の第ｎ番目の符号化方式（ｎ＝１、．．．、Ｎ）で、送信側で圧縮処理にかかる時間を現フレーム圧縮時間Ａ_ｍｎ、送信側から出力された圧縮されたフレームが伝送路を経由して、受信側に到着するまでの伝送時間を現フレーム伝送時間Ｂ_ｍｎ、受信側で圧縮された受信フレームの伸張処理にかかる時間を現フレーム伸張時間Ｃ_ｍｎと表す。また、第１フレームの圧縮開始時刻を０とすると、現フレーム（第ｍフレーム）の圧縮処理が終了するまでの合計時間を圧縮合計時間ＴＡ_ｍｎ、現フレームの伝送処理が終了するまでの合計時間を伝送合計時間ＴＢ_ｍｎ、現フレームの伸張処理が終了するまでの合計時間を伸張合計時間ＴＣ_ｍｎと表す。

現フレームのフレーム番号をｍとし、前フレームを現フレームの１つ前のフレームとし、過去のフレームを第１フレームから前フレームまで全てのフレームを示す。

この発明は、全Ｍフレームの圧縮処理、伝送、伸張処理の総合計時間が最も短くなるように、予め用意されたＮ種類の符号化方式から、フレーム毎に符号化方式を選択するというものである。以下に具体的に説明する。

発明の原理の説明については、簡略化のために、予め用意された符号化方式の数は３個（Ｎ＝３）であり、無圧縮方式である符号化方式１、任意の圧縮方式である符号化方式２と符号化方式３とする。フレーム分割された信号のうち、第１フレーム、第２フレーム、第３フレームの信号、つまりフレーム番号ｍ＝１〜３について説明をする。

図９Ａは、第ｍフレームの信号に符号化方式１を適用した場合の伝送時間Ｂ_ｍ１を示した図である。符号化方式１は無圧縮方式であるので、圧縮処理、伸張処理を行わず、圧縮時間、伸張時間については考慮されない。図９Ｂは第ｍフレームの信号に符号化方式２を適用した場合の圧縮時間Ａ_ｍ２、伝送時間Ｂ_ｍ２、伸張時間Ｃ_ｍ２を示した図である。図９Ｃは第ｍフレームの信号に符号化方式３を適用した場合の圧縮時間Ａ_ｍ３、伝送時間Ｂ_ｍ３、伸張時間Ｃ_ｍ３を示した図である。

図１０Ａは符号化方式１が選択された場合の現フレームである第１フレームの信号の伝送時間Ｂ_１１を簡略的に破線で示したものである。符号化方式１は無圧縮方式であり、圧縮処理、伸張処理が行われないため、第１フレームの伸張処理が終了するまでの合計時間である伸張合計時間ＴＣ_１１は、ＴＣ_１１＝Ｂ_１１になる。

図１０Ｂは符号化方式２が選択された場合の現フレームである第１フレームの信号の圧縮時間Ａ_１２、伝送時間Ｂ_１２、伸張時間Ｃ_１２、を簡略的に破線で示したものである。この場合は、現フレームの伸張処理が終了するまでの合計時間である伸張合計時間ＴＣ_１２は、ＴＣ_１２＝Ａ_１２＋Ｂ_１２＋Ｃ_１２になる。

図１０Ｃは符号化方式３が選択された場合の現フレームである第１フレームの信号の圧縮時間Ａ_１３、伝送時間Ｂ_１３、伸張時間Ｃ_１３、を簡略的に破線で示したものである。この場合は、現フレームの伸張処理が終了するまでの合計時間である伸張合計時間ＴＣ_１３は、ＴＣ_１３＝Ａ_１３＋Ｂ_１３＋Ｃ_１３になる。ＴＣ_１１、ＴＣ_１２、ＴＣ_１３を比較すると、図１０Ａ〜Ｃから明らかなように、ＴＣ_１１が最も短い。よって１フレーム目は符号化方式１が選択される。

次に、現フレームが第２フレームの信号である場合について説明する。図１１Ａは符号化方式１が選択された場合の現フレームである第２フレームの信号の伝送時間Ｂ_２１を簡略的に破線で示したものである。この場合は、ＴＣ_２１＝Ｂ_１１＋Ｂ_２１になる。

図１１Ｂ、図１１Ｂ’は符号化方式２が選択された場合の現フレームである第２フレームの信号の圧縮時間Ａ_２２、伝送時間Ｂ_２２、伸張時間Ｃ_２２を簡略的に破線で示したものである。ここで、現フレームの圧縮終了時刻が前フレーム、つまり第１フレームの伝送終了時刻より早い場合と遅い場合がある。

現フレームの圧縮終了時刻が前フレーム、つまり第１フレームの伝送終了時刻より早い場合は、図１１Ｂに示すように、前フレーム、つまり第１フレームの伝送処理の間、つまり伝送時間Ｂ_１１の間に、第２フレームの信号を圧縮することが出来る。よって、ＴＣ_２２の値については、ＴＣ_２２＝Ｂ_１１＋Ｂ_２２＋Ｃ_２２となる。

現フレームの圧縮終了時刻が、前フレームつまり第１フレームの伝送終了時刻より遅い場合を図１１Ｂ’に示す。現フレームの圧縮処理が終了した後でなければ、現フレームを伝送できない。前フレームの伝送終了時刻が前フレームの圧縮終了時刻がより早い場合は、ＴＣ_２２は図１１Ｂ’に示すようになる。しかし、この場合は、符号化方式２であり、前フレームの伝送終了時刻と前フレームの圧縮終了時刻が同時であるので、図１１Ｂのようになる。

図１１Ｃは符号化方式３が選択された場合の現フレームである第２フレームの信号の圧縮時間Ａ_２３、伝送時間Ｂ_２３、伸張時間Ｃ_２３を簡略的に破線で示したものである。この場合は、ＴＣ_２３＝Ｂ_１１＋Ｂ_２３＋Ｃ_２３になる。
図１１Ａ〜Ｃから明らかなように、ＴＣ_２２が最も短い。よって、符号化方式２が選択される。

次に現フレームが第３フレームの場合について説明する。図１２Ａは符号化方式１が選択された場合の現フレームである第３フレームの信号の伝送時間Ｂ_３１を簡略的に破線で示したものである。符号化方式１は無圧縮方式であり、圧縮処理、伸張処理が行われない。また、前フレームつまり２フレーム目の信号の伝送終了時刻に、現フレームの伝送を行うことが出来、前フレームの伸張処理と並行して現フレームの伝送処理を行うことができるため、ＴＣ_３１＝Ｂ_１１＋Ｂ_２２＋Ｂ_３１となる。

図１２Ｂは、符号化方式２が選択された場合の現フレームである第３フレームの信号の圧縮時間Ａ_３２、伝送時間Ｂ_３２、伸張時間Ｃ_３２を簡略的に破線で示したものである。この場合、前フレームである第２フレームの信号の伝送終了時刻より、現フレームである第３フレームの信号の圧縮終了時刻の方が遅い。また、現フレームの信号は圧縮処理が終了しないと、伝送することが出来ない。よって、現フレームの圧縮処理が終了するまで、現フレームの伝送処理は始まらない。第３フレームの伸張処理が終了するまでの伸張合計時間ＴＣ_３２は図１３Ｂに示すようになる。

図１２Ｃは符号化方式３を選択された場合の現フレームである第３フレームの信号の圧縮時間Ａ_３３、伝送時間Ｂ_３３、伸張時間Ｃ_３３、を簡略的に破線で示したものである。この場合は、第３フレームである現フレームの信号の圧縮終了時刻が第２フレームである前フレームの信号の伝送終了時刻より早い。よって、前フレームの信号の伝送終了後、現フレームの伝送処理を開始することができる。第３フレームの伸張処理が終了するまでの伸張合計時間ＴＣ_３３は図１２Ｃに示すようになる。

図１２Ａ〜Ｃから明らかなように、ＴＣ_３３が最も短い。よって３フレーム目は符号化方式３が選択される。このようにして、フレーム毎に、現フレームである第ｍフレームの信号の伸張処理が終了するまでの伸張合計時間が最も短くなるように、フレーム毎に符号化方式を選択する。

つまり、一般的なフレーム番号ｍを用いて、現フレームである第ｍフレームの伸張終了までの合計時間または推定合計時間であるＴＣ_ｍｎは以下の式（１）で表すことができる。
ＴＣ_ｍｎ＝Ｃ_ｍｎ＋ｍａｘ（Ｂ_ｍｎ＋ｍａｘ（ＴＡ_{（ｍ―１）ｎ}＋Ａ_ｍｎ、ＴＢ_{（ｍ―１）ｎ}）、ＴＣ_{（ｍ―１）ｎ}） （１）
ただし、ｍａｘ（）は大きい方の値を選択して返す関数である。この式（１）で求められるＴＣ_ｍｎが最も短くなるように、フレーム毎に、符号化方式が選択される。

次に実施例１について説明する。以下で説明する実施例は、対象とするディジタル信号を音声ディジタル信号とし、この音声のディジタル信号をフレームに分割し、当該フレーム毎に、線形予測係数と線形予測残差信号を求めて処理を行う実施例について説明する。

図１３はこの実施例１の機能構成例を示した図である。入力部６０から入力されたディジタル音声信号はフレーム分割部６２に入力される。フレーム分割部６２で、ディジタル音声信号は所定時間区間（以下、フレームという）、例えば１０ｍｓの区間ごと分割される。分割されたフレーム数をＭ個とし、Ｍは１以上の任意の整数とする。以下の説明ではフレーム番号をｍ（ｍ＝１、．．．、Ｍ）として説明する。ディジタル音声信号はフレーム毎に、線形予測分析部６６および、線形予測残差算出部６４に入力される。

線形予測分析部６６では、フレーム毎のディジタル音声信号に対して、公知の技術である後方適応予測などを用いて、線形予測分析が行われ、フレーム毎に線形予測係数が求められる。求められた線形予測係数は線形予測係数符号化部６７に入力される。線形予測係数符号化部６７で、線形予測係数は任意の符号化方式で符号化され、符号決定部６９に入力される。

一方、線形予測残差算出部６４では、フレームごとの線形予測残差信号が求められる。また、符号化方式制御部７０で、予め用意されたＮ種類の符号化方式から、１つの符号化方式がフレームごとに選択される。選択された符号化方式で線形予測残差信号がフレーム毎に圧縮される。符号化方式が選択される基準は、第１フレームの圧縮を開始してから、最後のフレームである第Ｍフレームの受信側での伸張処理が終了するまでの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する。

以下に符号化方式制御部７０による符号化方式の選択処理について説明する。図１４は、符号化方式制御部７０の機能構成例であり、図１５は符号化方式制御部７０中の符号化方式選択部７３４の機能構成例であり、図１６は、符号化方式を選択する主な手順を示したフローチャートである。図１７は予め用意されたＮ種類の符号化方式を表したテーブル表の例であり、この例では予め用意された符号化方式は５種類、つまりＮ＝５である。
例えば、符号化方式１は無圧縮であり、圧縮比は１であり、１フレームの圧縮に要する時間の最大値は０．１ｍｓであり、１フレームの伸張に要する時間の最大値は０．１ｍｓである。

符号化方式２は、Ｒｉｃｅ符号化方式であり、予測次数は５であり、圧縮比は０．７であり、１フレームの圧縮に要する時間の最大値は５ｍｓであり、１フレームの伸張に要する時間の最大値は５ｍｓである。

符号化方式３は、ＬＴＰ符号化方式とＲｉｃｅ符号化方式を組み合わせたものであり、予測次数は１０であり、圧縮比は０．６であり、１フレームの圧縮に要する時間の最大値は２０ｍｓであり、１フレームの伸張に要する時間の最大値は１０ｍｓである。以下、符号化方式４、符号化方式５についても、図１７に記載のとおりである。

図１４中の符号化方式制御部７０は、所要時間記憶部７０２、テーブル記憶部７０６、制御部７０８、サイズ推定部７１０、圧縮合計時間算出部７２０、伝送合計時間算出部７２６、伸張合計時間算出部７３２、現フレーム圧縮時間算出部７３８、現フレーム伝送時間算出部７４６、現フレーム伸張時間算出部７５２とで構成されている。テーブル記憶部７０６で図１７に示すテーブル表が記憶されている。

更に、圧縮合計時間算出部７２０は前フレーム実測圧縮合計時間算出部７２２、前フレーム推定圧縮合計時間算出部７２４のうち少なくとも一方で構成され、伝送合計時間算出部７２６は前フレーム実測伝送合計時間算出部７２８、前フレーム推定伝送合計時間算出部７３０のうち少なくとも一方で構成され、伸張合計時間算出部７３２は前フレーム実測伸張合計時間算出部７３３、前フレーム推定伸張合計時間算出部７３６のうち少なくとも一方で構成され、現フレーム圧縮時間算出部７３８は現フレーム実測圧縮時間算出部７４０、現フレーム推定圧縮時間算出部７４２のうち少なくとも一方で構成され、現フレーム伝送時間算出部７４６は現フレーム実測伝送時間算出部７４８、現フレーム推定伝送時間算出部７５０のうち少なくとも一方で構成され、現フレーム伸張時間算出部７５２は現フレーム実測伸張時間算出部７５４、現フレーム推定伸張時間算出部７５６のうち少なくとも一方で構成される。

図１６記載のステップＳ２で、初期化として、ＴＡ_０ｎ＝０、ＴＢ_０ｎ＝０、ＴＣ_０ｎ＝０、フレーム番号ｍについて、ｍ＝１とする。ステップＳ４で、図１４記載の符号化方式制御部７０中の制御部７０８が図１３記載の線形予測残差信号記憶部６５を見て、全てのフレームであるＭフレームについての全ての処理が終了したか否かが判断される。なおステップＳ６以降の説明については、現フレームである第ｍフレームについて説明する。

ステップＳ８では、前フレームの信号の圧縮終了までの合計時間または推定合計時間である圧縮合計時間ＴＡ_{（ｍ−１）ｎ}と、前フレームの信号の伝送終了までの合計時間または推定合計時間である伝送合計時間ＴＢ_{（ｍ−１）ｎ}、前フレームの信号の伸張終了までの合計時間または推定合計時間である伸張合計時間ＴＣ_{（ｍ−１）ｎ}について算出され、取得される。

ここで、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}、伝送合計時間ＴＢ_{（ｍ−１）ｎ}、伸張合計時間ＴＣ_{（ｍ−１）ｎ}の求め方については算出する方法と推測する方法がある。まず算出する方法について、説明する。
図１８は所要時間記憶部７０２の記憶形式の例である。この記憶形式の例では、フレーム番号ｍごとに、符号化方式の番号ｎ（この例ではｎ＝１〜５）、フレームの圧縮時間Ａ_ｍｎ、フレームの伝送時間Ｂ_ｍｎ、フレームの伸張時間Ｃ_ｍｎ、前フレームまでの圧縮合計時間ＴＡ_{（ｍ−１）ｎ}、前フレームまでの伝送合計時間ＴＢ_{（ｍ−１）ｎ}、前フレームまでの伸張合計時間ＴＣ_{（ｍ−１）ｎ}を記憶する。第１フレームから前フレーム（第ｍ−１フレーム）は既に伝送処理が終了したフレームである。そこで、図１３中の送信部６３から破線で示すように、実際の符号化方式や、圧縮処理、伝送、伸張処理にかかった時間を逐次、記憶していく。これらの各フレームの符号化方式を記憶しておけば、これらの圧縮時間であるＡ_１ｎ〜Ａ_{（ｍ―１）ｎ}を求めることが出来る。また圧縮比も符号化方式と対応しており、読み出すことが出来るので、１フレームのサイズに圧縮比を乗算して、伝送路の伝送速度で除算することで、フレーム毎に伝送時間Ｂ_１ｎ〜Ｂ_{（ｍ―１）ｎ}も求めることが出来る。また、受信側のＣＰＵなどの能力が分かっていれば、伸張時間Ｃ_１ｎ〜Ｃ_{（ｍ―１）ｎ}も求めることが出来る。また受信側から実際、伸張処理にかかった時間Ｃ_１ｎ〜Ｃ_{（ｍ―１）ｎ}を送り返してもらうことでも、伸張時間Ｃ_１ｎ〜Ｃ_{（ｍ―１）ｎ}を記憶することが出来る。

また同時にフレーム毎に、圧縮合計時間ＴＡ_{（ｍ―１）ｎ}、伝送合計時間ＴＢ_{（ｍ―１）ｎ}、伸張合計時間ＴＣ_{（ｍ―１）ｎ}を計算して、所要時間記憶部７０２に、記憶する。

前フレーム実測圧縮合計時間算出部７２２が所要時間記憶部７０２を読み込むことで、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}を求め、前フレーム実測伝送合計時間算出部７２８が所要時間記憶部７０２を読み込むことで、伝送合計時間ＴＢ_{（ｍ−１）ｎ}を求め、前フレーム実測伸張合計時間算出部７３３が所要時間記憶部７０２を読み込むことで、伸張合計時間ＴＣ_{（ｍ−１）ｎ}を求める。

次に、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}、圧縮合計時間ＴＢ_{（ｍ−１）ｎ}、伸張合計時間ＴＣ_{（ｍ−１）ｎ}の推定方法について説明する。具体的にはテーブル記憶部７０６で記憶されている図１７記載のテーブル表を用いて推定される。第１フレーム〜第ｍ−１フレームの各フレームについての符号化方式が分かっているので、第１フレーム〜第ｍ−１フレームの各フレームについての圧縮時間Ａ_１ｎ〜Ａ_{（ｍ―１）ｎ}、伸張時間Ｃ_１ｎ〜Ｃ_{（ｍ―１）ｎ}をテーブル表から読み込むことで推定することが出来る。伝送時間Ｂ_１ｎ〜Ｂ_{（ｍ―１）ｎ}については、圧縮比をテーブル表から読み込むことが出来る。よって、１フレームのサイズに圧縮比を乗算して、伝送路の伝送速度で除算することで、フレーム毎に推定することが出来る。第１フレームから第ｍ−１フレームの圧縮時間Ａ_１ｎ〜Ａ_{（ｍ―１）ｎ}、伝送時間Ｂ_１ｎ〜Ｂ_{（ｍ―１）ｎ}、伸張時間Ｃ_１ｎ〜Ｃ_{（ｍ―１）ｎ}を推定できれば、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}、伝送合計時間ＴＢ_{（ｍ−１）ｎ}、伸張合計時間ＴＣ_{（ｍ−１）ｎ}についても推定することが出来る。実際の処理は、前フレーム推定圧縮合計時間算出部７２４で圧縮合計時間ＴＡ_{（ｍ−１）ｎ}が推定され、前フレーム推定伝送合計時間算出部７３０で伝送合計時間ＴＢ_{（ｍ−１）ｎ}が推定され、前フレーム推定伸張合計時間算出部７３６で伸張合計時間ＴＣ_{（ｍ−１）ｎ}が推定される。

説明を図１６に戻す。破線で示すステップＳ９では、符号化方式制御部７０が、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}と、伝送合計時間ＴＢ_{（ｍ−１）ｎ}と、伸張合計時間ＴＣ_{（ｍ−１）ｎ}と、現フレーム圧縮時間Ａ_ｍｎと、上記現フレーム伝送時間Ｂ_ｍｎと、上記現フレーム伸張時間Ｃ_ｍｎと、に基づいて、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する。具体的には、上記式（１）に示すＴＣ_ｍｎの値が最小となる符号化方式を現フレームの符号化方式として選択する。ステップＳ１０では、変数ｎと、変数最低値ｍｉｎＪ、時間最低値ｍｉｎＴＣ_ｍｎ、が新たに導入される。初期化として、ｎ＝１、ｍｉｎＪ＝１とされ、ｍｉｎＴＣ_ｍｎを十分大きな数にする。

ステップＳ１２では、図１４中の制御部７０８により、変数ｎの値と符号化方式の数Ｎの値との比較が行われる。変数ｎの値の方が小さい場合は、つまり全ての符号化方式Ｎについて検討していない場合、ステップＳ１４に進む。ステップＳ１４では、各符号化方式ｎ（ｎ＝１、．．．、Ｎ）による現フレームの圧縮時間または推定圧縮時間である現フレーム圧縮時間Ａ_ｍｎと、各符号化方式ｎによる現フレームの伝送時間または推定伝送時間である現フレーム伝送時間Ｂ_ｍｎと、各符号化方式ｎによる現フレームの伸張時間または推定伸張時間である現フレーム伸張時間Ｃ_ｍｎが算出、または推定される。

一方、現フレーム圧縮時間Ａ_ｍｎ、現フレーム伝送時間Ｂ_ｍｎ、現フレーム伸張時間Ｃ_ｍｎの求め方については、算出する方法と推測する方法がある。まず算出する方法について、説明する。

現フレーム圧縮時間Ａ_ｍｎの算出については、上述した図１８のように、所要時間記憶部７０２には第１フレームから第ｍ−１フレームまでの信号の符号化方式などが記憶されている。よって、過去のフレーム、例えば第ｍ_１フレームの信号と同一の符号化方式であれば、その第ｍ_１フレームの圧縮時間を現フレーム実測圧縮時間算出部７４０が読み込むことで、現フレーム圧縮時間Ａ_ｍｎを求めることが出来る。また、同じ装置で、違うディジタル信号中で圧縮処理にかかった時間とその圧縮処理に使用した符号化方式とを対応させたデータ（図示せず）を所要時間記憶部７０２に記憶させておけば、そのデータを使用して、圧縮時間を算出することが出来る。

現フレーム伝送時間Ｂ_ｍｎの算出については、符号化方式ｎでの圧縮比が分かっているので、圧縮後のサイズを求めることが出来る。求められた圧縮後のサイズを伝送路の伝送速度で除算することで、現フレーム伝送時間Ｂ_ｍｎを求めることが出来る。

現フレーム伸張時間Ｃ_ｍｎの算出については、受信側のＣＰＵ等の性能がわかっていれば、現フレーム実測伸張時間算出部７５４で現フレーム伸張時間Ｃ_ｍｎを求めることができる。また、例えば第ｍ_１フレームの信号と同一の符号化方式であれば、その第ｍ_１フレームの伸張時間を現フレーム実測伸張時間算出部が読み込むことで、現フレーム圧縮時間Ａ_ｍｎを求めることが出来る。また、同一のディジタル信号内で、受信側で伸張した時間つまり現フレーム伸張時間Ｃ_ｍｎを測定し、それを送信側に送り返すことで、現フレーム伸張時間Ｃ_ｍｎを求めることが出来る。

実際の処理としては、現フレーム実測圧縮時間算出部７４０で現フレーム圧縮時間Ａ_ｍｎが算出され、現フレーム実測伝送時間算出部７４８で現フレーム伝送時間Ｂ_ｍｎが算出され、現フレーム実測伸張時間算出部７５４で現フレーム伸張時間Ｃ_ｍｎが算出される。

次に、現フレーム圧縮時間Ａ_ｍｎ、現フレーム伝送時間Ｂ_ｍｎ、現フレーム伸張時間Ｃ_ｍｎの推定について説明する。これらの推定は、テーブル記憶部７０６に記憶されている図１７に示すテーブル表を用いて行われる。

現フレーム圧縮時間Ａ_ｍｎの推定については、テーブル表の符号化方式ｎに対応する圧縮時間の最大値を現フレーム推定圧縮時間算出部７４２が読み込むことで行われる。現フレーム伸張時間Ｃ_ｍｎの推定については、テーブル表の符号化方式ｎに対応する圧縮時間の最大値を現フレーム推定伸張時間算出部が読み込むことで行われる。

現フレーム伝送時間Ｂ_ｍｎの推定については、上述したサイズ推定部７１０で推定されたサイズＳ_ｍｎを伝送路の伝送速度で除算することで求めることが出来る。

実際の処理としては、現フレーム推定圧縮時間算出部７４２で現フレーム圧縮時間Ａ_ｍｎが算出され、現フレーム推定伝送時間算出部７５０で現フレーム伝送時間Ｂ_ｍｎが算出され、現フレーム推定伸張時間算出部７５６で現フレーム伸張時間Ｃ_ｍｎが算出される。

次のステップＳ１６では、上記式（１）より伸張合計時間ＴＣ_ｍｎが推定される。以下に、伸張合計時間ＴＣ_ｍｎの推定方法の具体的な説明をする。

ＴＣ_ｍｎ＝Ｃ_ｍｎ＋ｍａｘ（Ｂ_ｍｎ＋ｍａｘ（ＴＡ_{（ｍ―１）ｎ}＋Ａ_ｍｎ、ＴＢ_{（ｍ―１）ｎ}）、ＴＣ_{（ｍ―１）ｎ}） （１）
更に、式（１）を分けて、以下の式（２）〜（４）で示すことができる。
ＴＡ_ｍｎ＝ＴＡ_{（ｍ−１）ｎ}＋Ａ_ｍｎ （２）
ＴＢ_ｍｎ＝Ｂ_ｍｎ＋ｍａｘ（ＴＡ_ｍｎ、ＴＢ_{（ｍ―１）ｎ}） （３）
ＴＣ_ｍｎ＝Ｃ_ｍｎ＋ｍａｘ（ＴＢ_ｍｎ、ＴＣ_{（ｍ―１）ｎ}） （４）
図１５は、符号化方式選択部７３４とそれに関係のある部分を示した機能構成例である。符号化方式選択部７３４は、例えば、第１の加算部８００と、第１の選択部８０２と、第２の加算部８０４と、第２の選択部８０６と、第３の加算部８０８とで構成されている。

まず圧縮合計時間算出部７２０よりの圧縮合計時間ＴＡ_{（ｍ―１）ｎ}と、現フレーム圧縮時間算出部７３８よりの圧縮時間Ａ_ｍｎとが第１の加算部８００に入力され、第１の加算部８００で、ＴＡ_{（ｍ―１）ｎ}とＡ_ｍｎとの加算処理が行われる、つまり上記式（２）の演算が行われ、ＴＡ_ｍｎが求められる。

次に、加算部８００よりのＴＡ_ｍｎと、伝送合計時間算出部７２６よりのＴＢ_{（ｍ―１）ｎ}とが第１の選択部８０２に入力される。第１の選択部８０２で、ＴＡ_ｍｎと、ＴＢ_{（ｍ―１）ｎ}との値の大小が比較され、値が大きい方が出力される、つまり、上記式（３）中のｍａｘ（ＴＡ_ｍｎ、ＴＢ_{（ｍ―１）ｎ}）の演算が行われ、この演算結果であるαが出力される。このｍａｘ（ＴＡ_ｍｎ、ＴＢ_{（ｍ―１）ｎ}）の演算の意味するところは第ｍフレームの圧縮処理と第ｍ−１フレームの伝送処理のうち最もボトルネックになっている処理を考慮しているということである。

第１の選択部８０２よりのαと現フレーム伝送時間算出部７４６よりのＢ_ｍｎとが第２の加算部８０４に入力される。

第２の加算部８０４では、αとＢ_ｍｎとの加算処理が行われる、つまり上記式（３）の演算が行われ、ＴＢ_ｍｎが求められる。このＴＢ_ｍｎと伸張合計時間算出部７３２よりのＴＣ_{（ｍ−１）ｎ}とが第２の選択部８０６に入力される。第２の選択部８０６では、ＴＢ_ｍｎとＴＣ_{（ｍ−１）ｎ}との値の大小が比較され、値の大きい方が出力される、つまり上記式（４）中のｍａｘ（ＴＢ_ｍｎ、ＴＣ_{（ｍ―１）ｎ}）の演算が行われ、この演算結果であるβが出力される。このｍａｘ（ＴＢ_ｍｎ、ＴＣ_{（ｍ―１）ｎ}）の演算処理の意味するところは、第ｍフレームの伝送処理と第ｍ−１フレームの伸張処理のうち最もボトルネックになっている処理を考慮しているということである。

第２の選択部８０６よりのβと現フレーム伸張時間算出部７５２よりのＣ_ｍｎとが、第３の加算部８０８に入力される。第３の加算部８０８では、β＋Ｃ_ｍｎの演算、つまり、上記式（４）の演算が行われる。この演算により求められたＴＣ_ｍｎが出力される。

また、符号化方式選択部７３４の変形例である符号化方式選択部７３５を図１９に示す。この変形例では、上記式（１）を異なる視点から見て、考えられる全ての合計を算出して、つまり以下の式（５）〜（７）を演算して、その合計の中で最も大である値をＴＣ_ｍｎとして出力する。
Ｐ_ｍｎ＝Ｃ_ｍｎ＋Ｂ_ｍｎ＋ＴＡ_{（ｍ―１）ｎ}＋Ａ_ｍｎ （５）
Ｑ_ｍｎ＝Ｃ_ｍｎ＋Ｂ_ｍｎ＋ＴＢ_{（ｍ―１）ｎ} （６）
Ｒ_ｍｎ＝Ｃ_ｍｎ＋ＴＣ_{（ｍ―１）ｎ} （７）
この変形例では、符号化方式選択部７３５は、第１の加算部９００、第２の加算部９０２、第３の加算部９０４、選択部９０６とで構成されている。

第１の加算部９００では上記式（５）が演算されてＰ_ｍｎが求められ、第２の加算部９０２では上記式（６）が演算されてＱ_ｍｎが求められ、第３の加算部９０４では上記式（７）が演算されてＲ_ｍｎが求められる。

具体的には、圧縮合計時間算出部７２０よりのＴＡ_{（ｍ―１）ｎ}と、現フレーム圧縮時間算出部７３８よりのＡ_ｍｎと、現フレーム伝送時間算出部７４６よりのＢ_ｍｎと、現フレーム伸張時間算出部７５２よりのＣ_ｍｎとが第１の加算部９００に入力される。第１の加算部９００で、これら全てが加算され、つまり上記式（５）が演算され、Ｐ_ｍｎが求められる。

伝送合計時間算出部７２６よりのＴＢ_{（ｍ―１）ｎ}と、現フレーム伝送時間算出部７４６よりのＢ_ｍｎと、現フレーム伸張時間算出部７５２よりのＣ_ｍｎとが第２の加算部９０２に入力される。第２の加算部９０２で、これら全てが加算され、つまり、上記式（６）が演算され、Ｑ_ｍｎが求められる。

伸張合計時間算出部７３２よりのＴＣ_{（ｍ―１）ｎ}と現フレーム伸張時間算出部７５２よりのＣ_ｍｎとが第３の加算部９０４に入力される。第３の加算部９０４で、これら全てが加算され、つまり、上記式（７）が演算され、Ｒ_ｍｎが求められる。

第１の加算部９００よりのＰ_ｍｎと、第２の加算部９０２よりのＱ_ｍｎと、第３の加算部よりのＲ_ｍｎとが選択部９０６に入力される。選択部９０６では、Ｐ_ｍｎ、Ｑ_ｍｎ、Ｒ_ｍｎとの値の大小が比較され、最も大きな値であるものが、ＴＣ_ｍｎとして出力される。

説明を図１６に戻す。ステップＳ１８において、図１４中の制御部７０８が、ＴＣ_ｍｎと時間最低値ｍｉｎＴＣ_ｍｎとが比較され、時間最低値ｍｉｎＴＣ_ｍｎの方が大であれば、ステップＳ２０に進む。ステップＳ２０では、時間最低値ｍｉｎＴＣ_ｍｎがＴＣ_ｍｎの値に更新され、変数最低値ｍｉｎＪが現在の符号化方式の番号であるｎに更新される。ステップＳ２２に進むと、符号化方式の番号であるｎが「１」インクリメントされ、ステップＳ１２に戻る。ステップＳ１２で、Ｊ＞Ｎの場合、つまり、予め用意されたＮ個の符号化方式を全て検討した場合はステップＳ２４に進む。

また、ステップＳ１８において、時間最低値ｍｉｎＴＣ_ｍｎの方が大であれば、時間最低値ｍｉｎＴＣ_ｍｎ、変数最低値ｍｉｎＪの更新は行われない。

ステップＳ２４では、決定した符号化方式ｍｉｎＪで第ｍフレームを圧縮する。次のステップＳ２６ではｍを「１」インクリメントして、ステップＳ４に戻る。今度は第ｍ＋１フレームについて同様の処理を行う。Ｍ個のフレーム全てについて、符号化選択方式が決定して、全てのフレームが圧縮されれば、ステップＳ４で処理が終了となる。

以上の説明から、ステップＳ９全体で、現フレームである第ｍフレームにおいて、全ての符号化方式ｎ（ｎ＝１、．．．、Ｎ）を検討することで、上記式（１）に示すＴＣ_ｍｎが最も短くなる符号化方式ｍｉｎＪが現フレームｍの符号化方式として選択されていることが理解できよう。

以上のような処理を行うことで、前フレームの伝送をしている間に現フレームの圧縮を行うことができ、前フレームの伸張をしている間に現フレームの伝送を行うことが出来る。よって、従来の符号化伝送装置４１と比較して、より短い時間で、圧縮処理、伝送、伸張処理を行うことが出来る。

また、フレーム毎に現フレーム圧縮時間Ａ_ｍｎ、現フレーム伝送時間Ｂ_ｍｎ、現フレーム伝送時間Ｃ_ｍｎ、のうち最もボトルネックになる要素の可動率を向上させる符号化方式を選択することができるため、圧縮処理、伝送、伸張処理全てを含む送受信処理の時間が最短となる符号化方式を選択することができる。

この実施例２では、受信側でデータを伸張する必要がなく、圧縮されたまま蓄積する場合つまり、伸張処理の演算処理量の制限がない場合は、現フレーム伸張時間Ｃ_ｍｎ、伸張合計時間ＴＣ_ｍｎを考慮する必要がない。また、受信側で圧縮されたまま蓄積するので、圧縮されたデータのサイズは小さいほうが保存効率が良い。その点を踏まえて、実施例１と相違している部分を中心に説明する。

この実施例２を実施例１と比較すると、図１３中の符号化方式制御部７０が符号化方式制御部７０’に置き換えられ、そのほかの部分については同一である。

図２０は符号化方式制御部７０’の機能構成例である。符号化方式制御部７０と比較して、伸張合計時間算出部７３２、現フレーム伸張時間算出部７５２が削除されており、その他の部分に関しては同様の処理を行う。この実施例２の主な処理の流れを図２１に示す。実施例１の説明で使用した図１６と違っているステップについては「’」を付している。以下に相違している部分について説明する。

ステップＳ２’においては、初期化として、ＴＣ_０＝０とする必要がない。ステップＳ８’においては、ＴＣ_ｍ−１を取得する必要がない。ステップＳ１０’においては、ｍｉｎＴＣ_ｍｎを十分大きな数とするのではなく、ｍｉｎＴＢ_ｍｎを十分大きな数とする。また、符号化方式ｎを使用して圧縮した第ｍフレームの信号のサイズをＳ_ｍｎと表し、このサイズの最低値をｍｉｎＳ_ｍｎと表すと、初期化として、ステップＳ１０’では、サイズ最低値ｍｉｎＳ_ｍｎを十分大きな数とする。

ステップＳ１４’では、Ｃ_ｍｎの推定を行わず、図２０中のサイズ推定部７１０で新たに符号化方式ｎによる圧縮後のサイズＳ_ｍｎを推定する。ここで、サイズＳ_ｍｎの推定方法として、サイズ推定部７１０が第ｍフレームの圧縮前のサイズに符号化方式ｎの圧縮比をテーブル記憶部７０６から読み込み、この圧縮比と当該フレームのサイズを乗算することで、圧縮後のサイズＳ_ｍｎを推定することが出来る。ステップＳ１６’では以下の式（８）を計算する。

ＴＢ_ｍｎ＝Ｂ_ｍｎ＋ｍａｘ（ＴＡ_{（ｍ―１）ｎ}＋Ａ_ｍｎ、ＴＢ_{（ｍ―１）ｎ}） (８)
図２２は図１９中の符号化方式選択部７３４’とその他関係のある部分の機能構成例である。実施例１で説明した符号化方式選択部７３４と比較して、第２の選択部８０６、第３の加算部８０８が省略されている。そのほかの処理については同じであるので、符号化方式選択部７３４’で上記式（８）を演算してＴＢ_ｍｎを求めることが出来る。

ステップＳ１８’で、ＴＢ_ｍｎとｍｉｎＴＢ_ｍｎとの比較が行われる。ｍｉｎＴＢ_ｍｎの値の方が大きい場合は、ステップＳ２０’に進む。ステップＳ２０’では、ｍｉｎＴＢ_ｍｎがＴＢ_ｍｎに更新され、ｍｉｎＳ_ｍｎがＳ_ｍｎに更新され、ｍｉｎＪがｎに更新される。

ステップＳ１８’でＴＢ_ｍｎの値がｍｉｎＴＢ_ｍｎの値以下である場合は、ステップＳ２４に進む。ステップＳ２４では、ＴＢ_ｍｎの値とｍｉｎＴＢ_ｍｎの値とが等しく、かつ現フレームである第ｍフレームの圧縮サイズＳ_ｍｎがｍｉｎＳ_ｍｎより小さいか否かを判定する。この判定の意味は、受信側では圧縮されたデータを蓄積する際に、サイズが小さければ、記憶効率が良いことから、現在のサイズ最低値ｍｉｎＳ_ｍｎより現フレームのサイズＳ_ｍｎが小さければ、ステップＳ２０’に進んで、更新するということである。

また、ステップＳ２４でＴＢ_ｍｎの値とｍｉｎＴＢ_ｍｎの値とが等しくない場合、またはＴＢ_ｍｎの値とｍｉｎＴＢ_ｍｎの値とが等しくても、現フレームである第ｍフレームの圧縮サイズＳ_ｍｎの値がｍｉｎＳ_ｍｎの値以上である場合は、ステップＳ２０’に進まず、ステップＳ２２に進む。

図２３は符号化方式選択部７３４’の変形例である符号化方式選択部７３５’の機能構成例であり、符号化方式選択部７３５と対応するものである。符号化方式選択部７３５と比較して、第３の加算部９０４が省かれており、対応する部分については、「’」を付ける。

また演算する式は以下の式（５’）（６’）である。
Ｐ’_ｍｎ＝Ｂ_ｍｎ＋ＴＡ_{（ｍ―１）ｎ}＋Ａ_ｍｎ （５’）
Ｑ’_ｍｎ＝Ｂ_ｍｎ＋ＴＢ_{（ｍ―１）ｎ} （６’）
第１の加算部９００’で（５’）を演算して、Ｐ’_ｍｎを求め、第２の加算部９０２’で式（６’）を演算して、Ｑ’_ｍｎを求める。Ｐ’_ｍｎとＱ’_ｍｎはそれぞれ選択部９０６に入力され、両者の値がどちらが大であるかを選択し、大である方をＴＢ_ｍｎとして出力する。
また、この実施例２では、実施例１で説明した符号化方式制御部７０の処理において、ＴＣ_{（ｍ―１）ｎ}、Ｃ_ｍｎを「０」として実施しても問題はない。

この実施例３では、送信側で、既にデータを圧縮しており、その圧縮したものを伝送する場合など、圧縮処理の演算処理量の制限がない場合は、現フレーム圧縮時間Ａ_ｍｎ、圧縮合計時間ＴＡ_ｍｎを考慮する必要がない。また送信側の保存状態は、圧縮されたデータと、適用されている圧縮符号化方式ｎとを対応させて、保存させること等が考えられる。

この実施例３と実施例１とを比較して、図１３中の符号化方式制御部７０が符号化方式制御部７０”に置き換えられ、そのほかの部分については同一である。

図２４は符号化方式制御部７０”の機能構成例である。符号化方式制御部７０と比較して、圧縮合計時間算出部７２０、現フレーム圧縮時間算出部７３８が削除されており、その他の部分に関しては同様の処理を行う。この実施例３の主な処理の流れを図２５に示す。実施例１の説明で使用した図１６と違っているステップについては「”」を付している。以下に相違している部分について説明する。

ステップＳ２”においては、初期化として、ＴＡ_０＝０とする必要がない。ステップＳ８”においては、ＴＡ_ｍ−１を取得する必要はない。ステップＳ１４”では、Ａ_ｍｎの推定を行わない。ステップＳ１６”では以下の式（９）を計算する。

ＴＣ_ｍｎ＝Ｃ_ｍｎ＋ｍａｘ（ＴＢ_{（ｍ―１）ｎ}＋Ｂ_ｍｎ、ＴＣ_{（ｍ―１）ｎ}） (９)
図２６は図２４中の符号化方式選択部７３４”とその他関係のある部分の機能構成例である。実施例１で説明した符号化方式選択部７３４と比較して、第１の加算部８００、第１の選択部８０２が省略されている。そのほかの処理については同じであるので、符号化方式選択部７３４”で上記式（９）を演算してＴＣ_ｍｎを求めることが出来る。
図２７は符号化方式選択部７３４”の変形例である符号化方式選択部７３５”の機能構成例であり、符号化方式選択部７３５と対応するものである。対応する部分については「“」を付する。演算する式は、以下の式である。

Ｐ”_ｍｎ＝Ｃ_ｍｎ＋Ｂ_ｍｎ （５”）
Ｑ_ｍｎ＝Ｃ_ｍｎ＋Ｂ_ｍｎ＋ＴＢ_{（ｍ―１）ｎ} （６）
Ｒ_ｍｎ＝Ｃ_ｍｎ＋ＴＣ_{（ｍ―１）ｎ} （７）
第１の加算部９００では上記式（５”）が演算されてＰ”_ｍｎが求められ、第２の加算部９０２では上記式（６）が演算されてＱ_ｍｎが求められ、第３の加算部９０４では上記式（７）が演算されてＲ_ｍｎが求められる。Ｐ”_ｍｎ、Ｑ_ｍｎ、Ｒ_ｍｎはそれぞれ選択部９０６に入力されて、３者の値の大小が比較され、最も大きな値であるものが、ＴＣ_ｍｎとして出力される。
また、この実施例３では、実施例１で説明した符号化方式制御部７０の処理において、ＴＡ_ｍｎ、Ａ_ｍｎを「０」として実施しても問題はない。

以上で説明した実施例１〜実施例３において、図１６、図２１、図２５に示す破線で示すステップＳ２７、ステップＳ２７’、ステップＳ２７”で、ステップＳ８、Ｓ８’、Ｓ８”で取得されたＴＡ_{（ｍ―１）ｎ}、ＴＢ_{（ｍ―１）ｎ}、ＴＣ_{（ｍ―１）ｎ}を補正することが出来る。具体的には、図１４、図２０、図２４に破線で示すテーブル補正部７１１または所要時間補正部７１２で補正をすることが出来る。

まず、テーブル補正部７１１による補正を説明する。具体的な補正をする箇所は、図１４中に示すテーブル記憶部７０６に記憶されているテーブル表（図１７参照）中の圧縮時間の最大値、伸張時間の最大値である。

テーブル表中の圧縮時間の最大値を、過去のフレームの実際の圧縮処理にかかった時間に基づいて更新補正し、テーブル表中の伸張時間の最大値を、過去のフレームにおける伸張処理にかかった時間に更新補正をする。この補正されたテーブル表中の値を用いることにより、現フレーム圧縮時間Ａ_ｍ、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}、現フレーム伝送時間Ｂ_ｍ、伝送合計時間ＴＢ_{（ｍ−１）ｎ}、現フレーム伸張時間Ｃ_ｍ、伸張合計時間ＴＣ_{（ｍ−１）ｎ}、のうち少なくとも１つを補正することが出来る。

所要時間補正部７１２によるもう一つの補正を図２８を用いて、以下に説明する。以下の説明では、簡略化のために現フレーム伝送時間Ｂ_ｍおよび伝送合計時間ＴＢ_ｍｎの推定値の補正について説明するが、現フレーム圧縮時間Ａ_ｍ、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}、現フレーム伸張時間Ｃ_ｍ、伸張合計時間ＴＣ_{（ｍ−１）ｎ}、についても同様に補正することが出来る。

前フレームを第ｍ−１フレームとし、現フレームを第ｍフレームとし、図２８を用いて説明する。現在の時刻を符号化方式２で圧縮した第ｍフレームの伝送中（つまり現フレーム伝送時間Ｂ_ｍ２中の任意の時間）とする。図２８（Ａ）に示す伝送時間Ｂ’_{（ｍ―１）１}は推定された時間であり、図２８（Ｂ）に示す伝送時間Ｂ”_{（ｍ―１）１}は実際にかかった時間とする。この場合、図２８（Ａ）のハッチングを付している部分が推定された伝送時間と、実際にかかった伝送時間との差をγとする。図２８（Ｃ）に示すように、この差γを、推定された伝送時間Ｂ”_{（ｍ―１）１}から差し引くことで、伝送時間をＢ’’’_{（ｍ―１）１}として補正すれば、第ｍフレームの伝送開始時刻をより正確にすることが出来て、より正確な第ｍフレーム伝送合計時間ＴＢ_ｍ２、第ｍフレーム伸張合計時間ＴＣ_ｍ２を推定することができる。この値を用いて、以降のフレームに関する処理を行う。

また、実際にかかった伝送時間Ｂ”_{（ｍ―１）１}を補正後の伝送時間Ｂ’’’_{（ｍ―１）１}とすることも出来る。具体的には、所要時間記憶部７０２による記憶形式において、図１８に破線で示すように、過去のフレームの推定圧縮時間Ａ’_ｍｎ、推定伝送時間Ｂ’_ｍｎ、推定伸張時間Ｃ’_ｍｎ、を記憶しておくことで、所要時間補正部７１２の補正をすることが出来る。

実施例１〜３では、線形予測をして、線形予測係数、および線形予測残差信号を求める方式を説明したが、例えばＺＩＰ方式であれば、これらを求める必要はない。

以上の実施例１〜３の説明では、現フレームである第ｍフレームの圧縮時間Ａ_ｍｎ、伝送時間Ｂ_ｍｎ、伸張時間Ｃ_ｍｎ、圧縮合計時間ＴＡ_{（ｍ−１）ｎ}、伝送合計時間ＴＢ_{（ｍ−１）ｎ}、伸張合計時間ＴＣ_{（ｍ−１）ｎ}を用いた場合を説明した。以下で説明するこの発明の変形例では、第ｍフレームのみなならず、未来のフレームつまり第ｍ＋１フレーム、第ｍ＋２フレーム、．．．、第Ｍフレームの伸張合計時間を検討して実施することが出来る。

以下の説明では、第ｍフレームと第ｍ＋１フレームを検討した場合を説明する。図２９は実施例１〜３の変形例を説明するための概念図である。四角がフレームを表し、四角内の○内の数字が符号化方式の番号ｎを示している。矢印で示すように、第ｍフレームでは符号化方式ｎ（ｎ＝１、．．．、Ｎ）を選択した場合の伸張合計時間ＴＣ_ｍｎと、第ｍ＋１フレームでは符号化方式ｎを選択した場合の伸張合計時間ＴＣ_{（ｍ＋１）ｎ}を推定して、検討する。つまり、Ｎ^２個の伸張合計時間を推定することになる。この方式による符号化方式決定方法において、決定される符号化方式はあくまで、第ｍフレームの符号化方式であり、第ｍ＋１フレームの符号化方式について決定されるのではないことに留意されたい。

以下に、具体的な処理の流れを説明する。なお、これらの処理は符号化方式制御部７０内の制御部７０８が行う。図３０は、この変形例の主な処理の流れを示したフローチャートである。図３０の破線で示すステップＳ１００は、図１６中のステップＳ９と同様に、ＴＣ_ｍｎが最小となるような符号化方式を選択するステップである。しかし、ステップＳ１００の具体的な処理についてはステップＳ９とは違う。また、図１６のステップ番号と同一であるステップについては、説明を省略する。

ステップＳ１６で、ＴＣ_ｍｎが推定されると、ステップＳ１０２に進み、第ｍ＋１フレームが存在するか否かが判定される。第ｍ＋１フレームが存在する場合は、ステップＳ１０４に進む。

ステップＳ１０４では、新たな変数ｋが導入される。変数ｋは第ｍ＋１フレームの符号化方式の番号である（ｋ＝１、．．．、Ｎ）。初期化として、ｋ＝１、伸張合計時間最低値ｍｉｎＴＣ_{（ｍ＋１）}を十分大きな数、変数最低値ｍｉｎｋ＝１、サイズ最低値ｍｉｎＳ_ｎを十分大きな数とする。ステップＳ１０６で、ｋとＮの値の大小が比較される。ｋの方が小さくない場合は、ステップＳ１０８に進み、ステップＳ１０８で、第ｍ＋１フレームの符号化方式ｋが選択された場合の圧縮時間Ａ_{（ｍ＋１）ｋ}、伝送時間Ｂ_{（ｍ＋１）ｋ}、伸張時間Ｃ_{（ｍ＋１）ｋ}、圧縮後のサイズＳ_{（ｍ＋１）ｋ}が推定、または算出される。

ステップＳ１１０で、上記式（１）を用いて、第ｍ＋１フレームの伸張終了の合計時間ＴＣ_{（ｍ＋１）ｋ}が推定される。ステップＳ１１２では、ｍｉｎＴＣ_{（ｍ＋１）ｋ}の値とＴＣ_{（ｍ＋１）ｋ}の値との大小が比較され、ＴＣ_{（ｍ＋１）ｋ}がｍｉｎＴＣ_{（ｍ＋１）ｋ}より小である場合は、ステップＳ１１４に進む。

ステップＳ１１４では更新処理として、ｍｉｎＴＣ_{（ｍ＋１）ｋ}がＴＣ_{（ｍ＋１）ｋ}に更新され、ｍｉｎｋがｋに更新され、ｍｉｎＳ_ｋがＳ_{（ｍ＋１）ｋ}に更新される。更新処理が終了すると、ｋを「１」インクリメントする、つまり、第ｍ＋１フレームで、次の符号化方式が選択される。また、ステップＳ１１２で、ＴＣ_{（ｍ＋１）ｋ}がｍｉｎＴＣ_{（ｍ＋１）ｋ}より小でない場合は、ステップＳ１１４の更新処理は行われず、ステップＳ１１６に進む。ステップＳ１１６でｋを「１」インクリメントした後、ステップS１０６に進む。

また、ステップＳ１１２で、第ｍ＋１フレームが存在しない、つまり、第ｍフレームが最後のフレームである場合は、ステップＳ１１７に進む。ステップＳ１１７で、ｍｉｎＴＣ_{（ｍ＋１）}がＴＣ_ｍｎに更新され、ｍｉｎＳ_ｋがＳ_ｍｎに更新される。ステップＳ１１８で、ｍｉｎＴＣ_{（ｍ＋１）}の値とｍｉｎＴＣ_ｍの値との大小が比較される。ｍｉｎＴＣ_{（ｍ＋１）}の値よりｍｉｎＴＣ_ｍの値の方が大であると、ステップＳ１２０では以下の更新処理が行われる。つまり、ｍｉｎＴＣ_ｍがｍｉｎＴＣ_ｍ＋１に更新され、ｍｉｎＪがｎに更新され、ｍｉｎＳ_ｎがｍｉｎＳ_ｋに更新される。ステップＳ１２２で、ｎの値を「１」インクリメントする、つまり、第ｍフレームにおいて、次の符号化方式が選択される。

ステップＳ１１８で、ｍｉｎＴＣ_{（ｍ＋１）}の値よりｍｉｎＴＣ_ｍの値の方が小であると、ステップＳ１２０の更新処理は行われず、ステップＳ１２２に進む。
また、ステップＳ１０６で、ｋの値がＮの値より大きい場合、つまり、第ｍ＋１フレームで全ての符号化方式が検討された場合には、ステップＳ１１８に進む。
よって以上の説明から分かるように、検討するフレーム数が多ければ多いほど、一連の処理（圧縮処理、伝送、伸張処理）の合計時間がより短い符号化方式を選択することができる。

なお、実施例２や実施例３で説明したように、圧縮処理について考えなくて良い場合、伸張処理を考えなくて良い場合についても、この変形例を実施することが出来る。また、破線で示すステップＳ２７で、ＴＡ_{（ｍ―１）ｎ}、ＴＢ_{（ｍ―１）ｎ}、ＴＣ_{（ｍ―１）ｎ}に対する上述した補正をテーブル補正部７１１、所要時間補正部７１２により（例えば図１４参照）することが出来る。

次に、実施例４を説明する。この実施例４は、実施例１〜３で説明した符号化方式選択方法と比べて、簡易に符号化方式を選択できる実施例である。
実施例１〜３では、１フレームごとの圧縮処理、伝送、伸張処理にかかる合計時間が最小となる符号化方式を現フレームの符号化方式として選択した。しかし、この実施例４は、全フレームの合計時間Ｔを算出し、その合計時間Ｔが最小となるように、各フレームの符号化方式を選択するというものである。

図３１は第ｍ−４フレームから第ｍ＋２フレームの圧縮時間、伝送時間、伸張時間を示した概念図である。図３１に示すように、この実施例４では、図３１に示すように、第ｍ−１フレームの圧縮処理、第ｍ−２フレームの伝送、第ｍ−３フレームの伸張処理が全て終了してから、第ｍフレームの圧縮処理、第ｍ−１フレームの伝送、第ｍ−２フレームの伸張処理が同時に行われると考える。

具体的には、この実施例４では、分割されたＭフレーム、それぞれについて、全ての符号化方式ｎ（ｎ＝１、．．．、Ｎ）を適用し、圧縮処理、伝送、伸張処理にかかる合計時間Ｔを算出する。この算出した合計時間Ｔから最も短い合計時間を選び出し、その場合の符号化方式を選択する。

全体のフレーム数Ｍが「１」の場合の合計時間のうちもっとも短い合計時間をＴ_１、全体のフレーム数Ｍが「２」の場合の合計時間のうちもっとも短い合計時間をＴ_２、全体のフレーム数ＭがＭ≧３の場合の合計時間のうちもっとも短い合計時間をＴ_Ｍとすると、Ｔ_１、Ｔ_２、Ｔ_Ｍは以下の式で表すことができる。
Ｍ＝１の場合 Ｔ_１＝Ａ_１＋Ｂ_１＋Ｃ_１ （１０）
Ｍ＝２の場合 Ｔ_２＝Ａ_１＋ｍａｘ（Ａ_１、Ｂ_１）＋ｍａｘ（Ｂ_２、Ｃ_１）＋Ｃ_２
（１１）
Ｍ≧３の場合 Ｔ_Ｍ＝Ａ_１＋ｍａｘ（Ａ_２、Ｂ_１）＋Σ_ｍ＝３ ^Ｎｍａｘ（Ａ_ｍ、Ｂ_ｍ−１、Ｃ_ｍ−２）＋ｍａｘ（Ｂ_Ｍ、Ｂ_Ｍ−１）＋Ｃ_Ｍ （１２）
なお、上述した図３１の各列は式（１２）のｍａｘ（Ａ_ｍ、Ｂ_ｍ−１、Ｃ_ｍ−２）を示している。

Ａ_１の値、つまり符号化方式を変更することで、Ｔ_１、Ｔ_２、Ｔ_Ｍが最小となるように、制御部７０８（図１４、図２０、図２４参照）が制御する。

このことはＭ≧３の場合ではＡ_ｍ、Ｂ_ｍ−１、Ｃ_ｍ−２のうち、最大のものが小さくなるように符号化方式を制御する、つまり最もスループットが悪いものを休ませないように制御しているということである。

また上記式（１０）〜（１２）を更に簡略化すると、合計時間Ｔは以下の式（１３）のように表すことができる。
Ｔ＝Σ_ｍ＝１ ^Ｎ＋２ｍａｘ（Ａ_ｍ、Ｂ_ｍ−１、Ｃ_ｍ−２） （１３）
ただし、Ａ_Ｎ＋１＝Ａ_Ｎ＋２＝Ｂ_０＝Ｂ_Ｎ＋１＝Ｃ_０＝Ｃ_−１＝０
上記式（１０）〜（１３）に示した伝送時間であるＢ_１、Ｂ_２、Ｂ_ｍの値は、上述の通り、該当するフレームの圧縮後のサイズに比例する。

また、実施例２で説明したように、フレームの伸張時間を考慮しない場合には、上記式（１０）中のＣ_１、上記式（１１）中のＣ_１、Ｃ_２、上記式（１２）、（１３）中のＣ_ｍ−２の値を全て常に０にする。そしてＡ_ｍの値がＢ_ｍ−１の値以下であり、最も圧縮率が高くなるように符号化方式を制御すれば良い。

次に、この発明の受信側について説明する。図３２は受信側の受信コンピュータの機能構成例を示すブロック図である。送信側で送信された符号化信号が受信部９５０で受信されると、符号分離部９５１に入力される。符号分離部９５１で、符号化方式を示す情報が圧縮された選択符号、線形予測係数が符号化された係数符号、線形予測残差信号が符号化された予測残差符号がそれぞれ、復号処理選択部９５２、線形予測係数復号部９６０、スイッチ９５４に入力される。

まず復号処理選択部９５２で、選択符号が伸張され、符号化方式を示す情報、例えば、ｎの値が求められる。ｎの値は、スイッチ９５４、予測残差復号化部９５６ｎ（ｎ＝１、．．．、Ｎ）、スイッチ９５８に入力される。スイッチ９５４、スイッチ９５８により、ｎの値に応じて、対応する予測残差復号化部９５６ｎに切り替えられる。予測残差符号は対応する予測残差復号化部９５６ｎにフレーム毎に入力され、予測残差符号は伸張され、線形予測合成部９６２に入力される。

一方、線形予測係数復号部９６０で、係数符号が伸張され、線形予測係数が求められる。求められた線形予測係数は線形予測合成部９６２に入力される。線形予測合成部９６２で、符号化方式の情報と線形予測係数とを用いて、フレーム毎にディジタル信号が求められる。求められたディジタル信号は復号信号蓄積出力部９６４で、蓄積されて、ディジタル信号が出力される。
以上で説明した実施例は上述したサーバコンピュータを途中に介しても実施することが出来る。

以上の各実施形態の他、本発明である符号化伝送装置は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、符号化伝送装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、この発明の符号化伝送装置における処理をコンピュータによって実現する場合、符号化伝送装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、符号化伝送装置における処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、ＤＶＤ−ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）等を、光磁気記録媒体として、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｃ）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（ＥｌｅｃｔｒｏｎｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（ＡｐｐｌｉｃａｔｉｏｎＳｅｒｖｉｃｅＰｒｏｖｉｄｅｒ）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、符号化伝送装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

従来技術の符号化伝送装置の機能構成例を示すブロック図。 従来技術の符号化伝送装置にサーバコンピュータ２４を加えた機能構成図。 従来技術の符号化伝送装置４１の機能構成例を示すブロック図。 従来技術の符号化伝送装置４１を用いて、第１〜３フレームに符号化方式を適用した場合の圧縮時間、伝送時間を示す概念図であり、図４Ａは第１フレームに符号化方式１を適用した場合、図４Ｂは第２フレームに符号化方式２を適用した場合、図４Ｃは第３フレームに符号化方式１を適用した場合、図４Ｄは第１フレームに符号化方式２を適用した場合、図４Ｅは第２フレームに符号化方式２を適用した場合、図４Ｆは第３フレームに符号化方式２を適用した場合、図４Ｇは第１〜３フレームまでの圧縮時間、伝送時間の合計を示した図。 第１〜３フレームに符号化方式を適用した場合の圧縮時間、伝送時間の合計時間を示す概念図であり、図５Ａは３フレームとも無圧縮の場合、図５Ｂは３フレームとも圧縮した場合、図５Ｃは従来の技術を適用した場合を示した図である。 従来の符号化伝送装置の閾値テーブル記憶部５２に記憶されている閾値テーブルの例を示した図。 従来の符号化伝送装置の問題点を説明するための図。 この発明の用語の説明をした図。 この発明の原理を説明する際の１フレームに符号化方式１〜３を適用した圧縮処理、伝送、伸張処理の合計時間を示した概念図。 この発明の原理を説明する際の第１フレームに符号化方式１〜３を適用した場合にかかる時間を示す図。 この発明の原理を説明する際の第２フレームに符号化方式１〜３を適用した場合にかかる時間を示す図。 この発明の原理を説明する際の第３フレームに符号化方式１〜３を適用した場合にかかる時間を示す図。 この発明の実施例１〜３の符号化伝送装置の機能構成例を示すブロック図。 この発明の実施例１の符号化方式制御部７０の機能構成例を示すブロック図。 この発明の実施例１の符号化方式選択部７３４の機能構成例を示すブロック図。 この発明の実施例１の主な処理の流れを示すフローチャート。 この発明の実施例１〜３のテーブル記憶部７０６に記憶されているテーブルの一例を示す図。 この発明の実施例１〜３の所要時間記憶部７０２に記憶されている記憶形態の一例を示す図。 この発明の実施例１〜３の符号化方式選択部７３５の機能構成例を示すブロック図。 この発明の実施例２の符号化方式制御部７０’の機能構成例を示すブロック図。 この発明の実施例２の主な処理の流れを示すフローチャート。 この発明の実施例２の符号化方式選択部７３４’の機能構成例を示すブロック図。 この発明の実施例２の符号化方式選択部７３５’の機能構成例を示すブロック図。 この発明の実施例３の符号化方式制御部７０”の機能構成例を示すブロック図。 この発明の実施例３の主な流れを示すフローチャート。 この発明の実施例３の符号化方式選択部７３４”の機能構成例を示すブロック図。 この発明の実施例３の符号化方式選択部７３５”の機能構成例を示すブロック図。 この発明の実施例１〜３において、補正をして、処理時間が短縮されていることを示す概念図。 この発明の実施例１〜３の変形例を説明するための概念図。 この発明の実施例１の変形例の主な処理の流れを示したフローチャート。 この発明の実施例４の処理時間を説明するための概念図。 この発明の実施例１〜４の送信側に対応する受信側の受信コンピュータの機能構成例を示したブロック図。

Claims (16)

1. ディジタル信号を所定時間区間（以下、フレームという）ごとに分割する分割過程と、
   前フレームのディジタル信号の伝送終了までの合計時間または推定合計時間を伝送合計時間として算出する伝送合計時間算出過程と、
   各符号化方式による現フレームの伝送時間または推定伝送時間を現フレーム伝送時間として算出する現フレーム伝送時間算出過程と、
   上記前フレームのディジタル信号の圧縮終了までの合計時間または推定合計時間を圧縮合計時間として算出する圧縮合計時間算出過程と、上記前フレームのディジタル信号の伸張終了までの合計時間または推定合計時間を伸張合計時間として算出する伸張合計時間算出過程とのうち、どちらか一方の過程（以下、符号化方式による処理合計時間算出過程という）と、
   上記各符号化方式による現フレームの圧縮時間または推定圧縮時間を現フレーム圧縮時間として算出する現フレーム圧縮時間算出過程と、上記各符号化方式による現フレームの伸張時間または推定伸張時間を現フレーム伸張時間として算出する現フレーム伸張時間算出過程とのうち、上記符号化方式による処理合計時間算出過程と対応する過程（以下、符号化方式による現フレーム処理時間算出過程という）と、
   上記伝送合計時間と、上記現フレーム伝送時間と、上記符号化方式による処理合計時間算出過程で算出した処理合計時間と、上記符号化方式による現フレーム処理時間算出過程で算出した現フレーム処理時間とに基づいて、現フレームの伸張終了までの合計時間または推定合計時間と、現フレームの伝送終了までの合計時間または推定合計時間とのうち、上記符号化方式による処理合計時間算出過程に対応するどちらか一方が最小となる上記符号化方式を上記現フレームの符号化方式として選択する符号化方式選択過程と、を有することを特徴とする符号化伝送方法。
2. 請求項１記載の符号化伝送方法において、
   上記符号化方式による処理合計時間算出過程が上記圧縮合計時間算出過程である場合、
   上記符号化方式選択過程は、ｍａｘ（）を大きい方の値を選択して返す関数とし、各符号化方式ｎ（ｎ＝１、．．．、Ｎ Ｎは符号化方式の数であり、１以上の整数である）による上記圧縮合計時間をＴＡ_{（ｍ−１）ｎ}とし、上記伝送合計時間をＴＢ_{（ｍ−１）ｎ}とし、上記現フレーム圧縮時間をＡ_ｍｎとし、上記現フレーム伝送時間をＢ_ｍｎとし、Ｂ_ｍｎ＋ｍａｘ（ＴＡ_{（ｍ−１）ｎ}＋Ａ_ｍｎ、ＴＢ_{（ｍ−１）ｎ}）又はこれと等価な式を演算することで、現フレームの伝送終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する過程であることを特徴とする符号化伝送方法。
3. 請求項１記載の符号化伝送方法において、
   上記符号化方式による処理合計時間算出過程が上記伸張合計時間算出過程である場合、
   上記符号化方式選択過程は、ｍａｘ（）を大きい方の値を選択して返す関数とし、各符号化方式ｎ（ｎ＝１、．．．、Ｎ Ｎは符号化方式の数であり、１以上の整数である）による上記伝送合計時間をＴＢ_{（ｍ−１）ｎ}とし、上記伸張合計時間をＴＣ_{（ｍ−１）ｎ}とし、上記現フレーム伝送時間をＢ_ｍｎとし、上記現フレーム伸張時間をＣ_ｍｎとして、Ｃ_ｍｎ＋ｍａｘ（ＴＢ_{（ｍ−１）ｎ}＋Ｂ_ｍｎ、ＴＣ_{（ｍ−１）ｎ}）又はこれと等価な式を演算することで、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する過程であることを特徴とする符号化伝送方法。
4. ディジタル信号を所定時間区間（以下、フレームという）ごとに分割する分割過程と、
   前フレームのディジタル信号の伝送終了までの合計時間または推定合計時間を伝送合計時間として算出する伝送合計時間算出過程と、
   各符号化方式による現フレームの伝送時間または推定伝送時間を現フレーム伝送時間として算出する現フレーム伝送時間算出過程と、
   上記前フレームのディジタル信号の圧縮終了までの合計時間または推定合計時間を圧縮合計時間として算出する圧縮合計時間算出過程と、
   上記前フレームのディジタル信号の伸張終了までの合計時間または推定合計時間を伸張合計時間として算出する伸張合計時間算出過程と、
   上記各符号化方式による現フレームの圧縮時間または推定圧縮時間を現フレーム圧縮時間として算出する現フレーム圧縮時間算出過程と、
   上記各符号化方式による現フレームの伸張時間または推定伸張時間を現フレーム伸張時間として算出する現フレーム伸張時間算出過程と、
   上記圧縮合計時間と、上記伝送合計時間と、上記伸張合計時間と、上記現フレーム圧縮時間と、上記現フレーム伝送時間と、上記現フレーム伸張時間と、に基づいて、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する符号化方式選択過程と、を有することを特徴とする符号化伝送方法。
5. 請求項４記載の符号化伝送方法において、
   上記符号化方式選択過程は、ｍａｘ（）を大きい方の値を選択して返す関数とし、各符号化方式ｎ（ｎ＝１、．．．、Ｎ Ｎは符号化方式の数であり、１以上の整数である）による上記圧縮合計時間をＴＡ_{（ｍ−１）ｎ}とし、上記伝送合計時間をＴＢ_{（ｍ−１）ｎ}とし、上記伸張合計時間をＴＣ_{（ｍ−１）ｎ}とし、上記現フレーム圧縮時間をＡ_ｍｎとし、上記現フレーム伝送時間をＢ_ｍｎとし、上記現フレーム伸張時間をＣ_ｍｎとして、Ｃ_ｍｎ＋ｍａｘ（Ｂ_ｍｎ＋ｍａｘ（ＴＡ_{（ｍ−１）ｎ}＋Ａ_ｍｎ、ＴＢ_{（ｍ−１）ｎ}）、ＴＣ_{（ｍ−１）ｎ}）又はこれと等価な式を演算することで、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する過程であることを特徴とする符号化伝送方法。
6. 請求項１〜３の何れかに記載の符号化伝送方法において、
   過去のフレームの圧縮時間または推定圧縮時間と、過去のフレームの伸張時間または推定伸張時間とのうち上記符号化方式による処理合計時間算出過程と対応する一方と、過去のフレームの伝送時間または推定伝送時間とのうち少なくとも１つを補正することで、上記現フレーム圧縮時間と、上記圧縮合計時間と、上記現フレーム伝送時間と、上記伝送合計時間と、上記現フレーム伸張時間と、上記伸張合計時間のうち少なくとも１つを補正する補正過程を有することを特徴とする符号化伝送方法。
7. 請求項４または５に記載の符号化伝送方法において、
   過去のフレームの圧縮時間または推定圧縮時間と、過去のフレームの伝送時間または推定伝送時間と、過去のフレームの伸張時間または推定伸張時間と、のうち少なくとも１つを補正することで、上記現フレーム圧縮時間と、上記圧縮合計時間と、上記現フレーム伝送時間と、上記伝送合計時間と、上記現フレーム伸張時間と、上記伸張合計時間のうち少なくとも１つを補正する補正過程を有することを特徴とする符号化伝送方法。
8. ディジタル信号を所定時間区間（以下、フレームという）ごとに分割する分割手段と、
   前フレームのディジタル信号の伝送終了までの合計時間または推定合計時間を伝送合計時間として算出する伝送合計時間算出手段と、
   各符号化方式による現フレームの伝送時間または推定伝送時間を現フレーム伝送時間として算出する現フレーム伝送時間算出手段と、
   上記前フレームのディジタル信号の圧縮終了までの合計時間または推定合計時間を圧縮合計時間として算出する圧縮合計時間算出手段と、上記前フレームのディジタル信号の伸張終了までの合計時間または推定合計時間を伸張合計時間として算出する伸張合計時間算出手段とのうち、どちらか一方の手段（以下、符号化方式による処理合計時間算出手段という）と、
   上記各符号化方式による現フレームの圧縮時間または推定圧縮時間を現フレーム圧縮時間として算出する現フレーム圧縮時間算出手段と、上記各符号化方式による現フレームの伸張時間または推定伸張時間を現フレーム伸張時間として算出する現フレーム伸張時間算出手段とのうち、上記符号化方式による処理合計時間算出手段と対応する手段（以下、符号化方式による現フレーム処理時間算出手段という）と、
   上記伝送合計時間と、上記現フレーム伝送時間と、上記符号化方式による処理合計時間算出手段で算出した処理合計時間と、上記符号化方式による現フレーム処理時間算出手段で算出した現フレーム処理時間とに基づいて、現フレームの伸張終了までの合計時間または推定合計時間と、現フレームの伝送終了までの合計時間または推定合計時間とのうち、上記符号化方式による処理合計時間算出手段に対応するどちらか一方が最小となる上記符号化方式を上記現フレームの符号化方式として選択する符号化方式選択手段と、を有することを特徴とする符号化伝送装置。
9. 請求項８記載の符号化伝送装置において、
   上記符号化方式による処理合計時間算出手段が上記圧縮合計時間算出手段である場合、
   上記符号化方式選択手段は、ｍａｘ（）を大きい方の値を選択して返す関数とし、各符号化方式ｎ（ｎ＝１、．．．、Ｎ Ｎは符号化方式の数であり、１以上の整数である）による上記圧縮合計時間をＴＡ_{（ｍ−１）ｎ}とし、上記伝送合計時間をＴＢ_{（ｍ−１）ｎ}とし、上記現フレーム圧縮時間をＡ_ｍｎとし、上記現フレーム伝送時間をＢ_ｍｎとし、Ｂ_ｍｎ＋ｍａｘ（ＴＡ_{（ｍ−１）ｎ}＋Ａ_ｍｎ、ＴＢ_{（ｍ−１）ｎ}）又はこれと等価な式を演算することで、現フレームの伝送終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する手段であることを特徴とする符号化伝送装置。
10. 請求項８記載の符号化伝送装置において、
    上記符号化方式による処理合計時間算出手段が上記伸張合計時間算出手段である場合、
    上記符号化方式選択手段は、ｍａｘ（）を大きい方の値を選択して返す関数とし、各符号化方式ｎ（ｎ＝１、．．．、Ｎ Ｎは符号化方式の数であり、１以上の整数である）による上記伝送合計時間をＴＢ_{（ｍ−１）ｎ}とし、上記伸張合計時間をＴＣ_{（ｍ−１）ｎ}とし、上記現フレーム伝送時間をＢ_ｍｎとし、上記現フレーム伸張時間をＣ_ｍｎとして、Ｃ_ｍｎ＋ｍａｘ（ＴＢ_{（ｍ−１）ｎ}＋Ｂ_ｍｎ、ＴＣ_{（ｍ−１）ｎ}）又はこれと等価な式を演算することで、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する手段であることを特徴とする符号化伝送装置。
11. ディジタル信号を所定時間区間（以下、フレームという）ごとに分割する分割手段と、
    前フレームのディジタル信号の伝送終了までの合計時間または推定合計時間を伝送合計時間として算出する伝送合計時間算出手段と、
    各符号化方式による現フレームの伝送時間または推定伝送時間を現フレーム伝送時間として算出する現フレーム伝送時間算出手段と、
    上記前フレームのディジタル信号の圧縮終了までの合計時間または推定合計時間を圧縮合計時間として算出する圧縮合計時間算出手段と、
    上記前フレームのディジタル信号の伸張終了までの合計時間または推定合計時間を伸張合計時間として算出する伸張合計時間算出手段と、
    上記各符号化方式による現フレームの圧縮時間または推定圧縮時間を現フレーム圧縮時間として算出する現フレーム圧縮時間算出手段と、
    上記各符号化方式による現フレームの伸張時間または推定伸張時間を現フレーム伸張時間として算出する現フレーム伸張時間算出手段と、
    上記圧縮合計時間と、上記伝送合計時間と、上記伸張合計時間と、上記現フレーム圧縮時間と、上記現フレーム伝送時間と、上記現フレーム伸張時間と、に基づいて、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する符号化方式選択手段と、を有することを特徴とする符号化伝送装置。
12. 請求項１１記載の符号化伝送装置において、
    上記符号化方式選択手段は、ｍａｘ（）を大きい方の値を選択して返す関数とし、各符号化方式ｎ（ｎ＝１、．．．、Ｎ Ｎは符号化方式の数であり、１以上の整数である）による上記圧縮合計時間をＴＡ_{（ｍ−１）ｎ}とし、上記伝送合計時間をＴＢ_{（ｍ−１）ｎ}とし、上記伸張合計時間をＴＣ_{（ｍ−１）ｎ}とし、上記現フレーム圧縮時間をＡ_ｍｎとし、上記現フレーム伝送時間をＢ_ｍｎとし、上記現フレーム伸張時間をＣ_ｍｎとして、Ｃ_ｍｎ＋ｍａｘ（Ｂ_ｍｎ＋ｍａｘ（ＴＡ_{（ｍ−１）ｎ}＋Ａ_ｍｎ、ＴＢ_{（ｍ−１）ｎ}）、ＴＣ_{（ｍ−１）ｎ}）又はこれと等価な式を演算することで、現フレームの伸張終了までの合計時間または推定合計時間が最小となる符号化方式を現フレームの符号化方式として選択する手段であることを特徴とする符号化伝送装置。
13. 請求項８〜１０の何れかに記載の符号化伝送装置において、
    過去のフレームの圧縮時間または推定圧縮時間と、過去のフレームの伸張時間または推定伸張時間とのうち上記符号化方式による処理合計時間算出過程と対応する一方と、過去のフレームの伝送時間または推定伝送時間とのうち少なくとも１つを補正することで、上記現フレーム圧縮時間と、上記圧縮合計時間と、上記現フレーム伝送時間と、上記伝送合計時間と、上記現フレーム伸張時間と、上記伸張合計時間のうち少なくとも１つを補正する補正手段を有することを特徴とする符号化伝送装置。
14. 請求項１１または１２に記載の符号化伝送装置において、
    過去のフレームの圧縮時間または推定圧縮時間と、過去のフレームの伝送時間または推定伝送時間と、過去のフレームの伸張時間または推定伸張時間と、のうち少なくとも１つを補正することで、上記現フレーム圧縮時間と、上記圧縮合計時間と、上記現フレーム伝送時間と、上記伝送合計時間と、上記現フレーム伸張時間と、上記伸張合計時間のうち少なくとも１つを補正する補正手段を有することを特徴とする符号化伝送装置。
15. 請求項１〜７の何れかに記載の符号化伝送方法の各過程をコンピュータに実行させるための符号化伝送プログラム。
16. 請求項１５記載の符号化伝送プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images