JP2006180236A - 通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法 - Google Patents
通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法 Download PDFInfo
- Publication number
- JP2006180236A JP2006180236A JP2004371646A JP2004371646A JP2006180236A JP 2006180236 A JP2006180236 A JP 2006180236A JP 2004371646 A JP2004371646 A JP 2004371646A JP 2004371646 A JP2004371646 A JP 2004371646A JP 2006180236 A JP2006180236 A JP 2006180236A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- voice
- section
- identifier
- retransmission request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
【解決手段】 フレーム番号、符号化列、音声区間か非音声区間かを示す音声区間識別子、および音声区間開始の先頭フレーム番号を示す音声区間開始フレーム識別子を記録しておく。音声区間開始フレーム識別子は、音声区間の各フレームに対して上記音声区間識別子より当該フレームが属する音声区間の先頭フレームを示す値を求め、音声区間開始フレーム識別子とする。
バーストロスが発生すると、音声区間開始フレーム識別子から再送対象のフレームが属する音声区間の先頭フレームのフレーム番号を求める。
当該先頭フレームから現在のフレームまでの符号化列を含む音声パケットを送信するなどの方法により、音声区間の先頭フレームから復号化する。
【選択図】図2
Description
現在広く使われているインターネットはベストエフォート型のIPネットワークであり、パケットが確実に送信先に到着する保証がないため、パケットが通信の途中で消失してしまうことがあり(以下、「パケットロス」という。)、ネットワークの輻輳等の原因により長時間(例えば1秒以上)パケット通信が途絶えてしまうこともある(以下、「バーストパケットロス」という。)。
"Intenet Protocol",RFC791,1981. "Transmission Control Protocol",RFC793,1981.
求めた先頭フレームのフレーム番号を以下の方法などにより、音声区間の先頭フレームから復号化する。
(1)送信手段で当該先頭フレームから現在のフレームまでの符号化列を含む音声パケットを送信する方法。
(2)再送要求手段により、当該先頭フレームから現在のフレームまでの符号化列のフレーム番号を含む再送要求情報を送信する方法。
本発明は、受信側でバーストロスの発生の判定を行い、バーストロス発生時にバーストロス直前のフレームの次のフレームの再送要求を行い、送信側で、再送要求されたフレームが属する音声区間の先頭フレームを検索し、先頭フレームから符号列データを再送するものである。
なお、「送信」または「受信」というときは、音声パケットを送受信するネットワークを介して装置が信号をやり取りすることをいう。また、「入力」または「出力」というときは、装置内部の情報のやり取り、もしくは上記ネットワーク以外のインターフェイス(例えば、マン・マシン・インターフェース)を通じて装置外部と音声パケット以外の信号をやり取りを指す。
図2は、本発明の符号化列送信装置の機能構成例である。符号化部201、フレーム番号発生部202、音声/非音声判定部203には、入力音声信号がフレームと呼ばれる一定の時間単位(一般的には10ミリ秒〜20ミリ秒)ごとに入力される。処理を行うフレームのことを以下では現フレームと呼び、現フレームの入力音声信号をフレーム音声信号と呼ぶ。また、符号化部201、フレーム番号発生部202、音声/非音声判定部203、音声区間開始フレーム判定部204、符号化列蓄積制御部206はフレームごとに動作する。
符号化部201は、入力された現フレームのフレーム音声信号を符号化して現フレームの符号化列を生成して符号化列蓄積制御部206に対して出力する。符号化部201で用いる符号化のアルゴリズムは対向する符号列受信装置の復号化部で用いる復号化のアルゴリズムと対応するものであれば何でもよく、例えば、ITU−T標準のG.711、G.728、G.729などを用いる。
フレーム番号発生部202
フレーム番号発生部202は、現フレームのフレーム音声信号が入力されるごとに、現フレームのフレーム番号を生成して出力する。フレーム番号は、本発明では、初期値を0とし、1ずつ増加する正の整数値とするが、フレームを一意に特定することができる情報であれば何でもよい。
音声/非音声判定部203では、入力された現フレームのフレーム音声信号が音声区間であるか非音声区間であるかを判定し、音声区間であるか非音声区間であるかを示す情報を出力する。音声区間であるか非音声区間であるかの情報は、例えば、音声区間である場合は1、非音声区間である場合には0の値とした音声区間識別子とする。
フレーム音声信号が音声区間であるか非音声区間であるかの判定は、例えば、現フレームのフレーム音声信号のパワを計算し、パワがあらかじめ設定したある閾値を超える場合には音声区間、閾値以下の場合には非音声区間であると判定する。もしくは、例えば、フレーム音声信号のパワがある閾値以下の状態があらかじめ設定したある一定数のフレーム連続した場合は非音声区間であると判定し、その他の場合は音声区間であると判定する。もしくは、音声の特に母音区間にはピッチ構造と呼ばれる独特の周波数特性があり、この特性を検知して音声区間の判定に用いることもできる。つまり、現フレームのフレーム音声信号が音声区間であるか非音声区間であるかを判定できればよいので、フレーム毎の音声信号が音声区間であるか非音声区間であるかを判定する方法はすでに数多く提案されていることから、これらの従来方法を採用しても良い。
音声区間開始フレーム判定部204には、フレーム番号発生部202から出力されたフレーム番号と、音声/非音声判定部203から出力された音声区間識別子とが入力される。音声区間開始フレーム判定部204は、入力された現フレームのフレーム番号と音声区間識別子とを組みにして、音声区間識別子蓄積部205に蓄積する。また、音声区間開始フレーム判定部204は、現フレームの音声区間識別子が1、すなわち、現フレームが音声区間である場合は、音声区間識別子蓄積部205を検索し、現フレームが属する音声区間の最初のフレーム番号を音声区間開始フレーム識別子として出力する。なお、現フレームが属する音声区間の最初のフレーム番号と現フレームのフレーム番号との番号差の絶対値(相対表現)を、音声区間開始フレーム識別子としてもよい。現フレームの音声区間識別子が0、すなわち、現フレームが非音声区間である場合は、音声区間が開始するフレーム番号は存在しないため、音声区間開始フレーム識別子を−1として出力する。音声区間開始フレーム判定部204の処理フローを図3に示す。なお、音声区間開始フレーム判定部204が課題を解決するための手段に示した音声区間開始フレーム判断手段に該当する。
符号化列蓄積制御部206には、符号化部201が出力した符号化列、フレーム番号発生部202が出力したフレーム番号、音声区間開始フレーム判定部204が出力した音声区間開始フレーム識別子が入力される。符号化列蓄積制御部206は、入力された現フレームの符号化列と、入力された現フレームのフレーム番号と、入力された現フレームの音声区間開始フレーム識別子とを組み合わせて符号化列バッファ蓄積データを作成して、作成した符号化列バッファ蓄積データを符号化列蓄積部207に出力する。図4に符号化列バッファ蓄積データの構成を示す。
符号化列蓄積部207は、符号化列蓄積制御部206からの符号列バッファ蓄積データを蓄積しておくものである。蓄積できる符号列バッファ蓄積データの数を符号化列蓄積バッファサイズとする。符号化列蓄積バッファサイズはあらかじめ決めておいてもよいし、パケットを伝送するネットワークの状況に応じて可変としてもよい。符号化列蓄積部207に蓄積されているバッファ蓄積データが符号化列蓄積バッファサイズと等しい場合には、符号化列蓄積制御部206は、符号化列蓄積部207に蓄積された符号列バッファ蓄積データのうちフレーム番号が一番小さいものを削除し、符号列バッファ蓄積データを符号化列蓄積部207に入力して蓄積する。また、符号化列蓄積バッファサイズを可変とする場合であって、符号化列蓄積バッファサイズを減ずるときには、符号化列蓄積制御部206は、符号化列蓄積部207に蓄積されている符号列バッファ蓄積データのうち、フレーム番号が一番小さいものから順に符号列バッファ蓄積データから削除して、蓄積されている符号列バッファ蓄積データの数を符号化列蓄積バッファサイズに合わせる。
再送要求パケット受信復号部208
再送要求パケット受信復号部208には、対向する符号化列受信装置が出力した再送要求パケットが入力される。再送要求パケット受信復号部208は、入力された再送要求パケットから、再送要求識別子と再送要求フレーム番号とからなる再送要求情報を取出して出力する。再送要求情報の構成例を図5に示す。
再送要求フレーム番号については、再送要求情報生成部905の説明にて後述する。対向する符号化列受信装置から再送要求パケットが届かない(受信装置が再送要求パケットを送信しない)場合も、対向する符号化列受信装置が受け取りたい符号化列がないものとして再送要求情報を生成して出力する。
符号化列選択部209には、再送要求パケット受信復号部208が出力した再送要求情報が入力される。符号化列選択部209は、入力された再送要求情報中の再送要求識別子が0である場合、すなわち、対向する符号化列受信装置からの再送要求がない場合は、符号化列蓄積部207中にある、フレーム番号が一番大きい符号化列バッファ蓄積データから、符号化列を送信符号化列、フレーム番号を送信フレーム番号として、送信符号化列と送信フレーム番号を組にして音声パケット作成部210に出力する。入力された再送要求情報中の再送要求識別子が1である場合、すなわち、対向する符号化列受信装置からの再送要求がある場合は、入力された再送要求情報中の再送要求フレーム番号に該当する符号化列バッファ蓄積データを符号化列蓄積制御部207から検索し、検索された再送要求フレーム番号に該当する符号化列バッファ蓄積データ中の音声区間開始フレーム識別子を読み出す。読み出した音声区間開始フレーム識別子が−1である場合、すなわち、検索された再送要求フレーム番号に該当する符号化列バッファ蓄積データが音声区間でない場合は、フレーム番号が検索された再送要求フレーム番号であるものからフレーム番号が最大であるものまでのすべての符号化列バッファ蓄積データから、それぞれに含まれる符号化列を送信符号化列、フレーム番号を送信フレーム番号として、送信フレーム番号ごとに送信符号化列と送信フレーム番号を組にして音声パケット作成部210に出力する。読み出した音声区間開始フレーム識別子が正の整数である場合、すなわち、検索された符号化列バッファ蓄積データが音声区間である場合は、フレーム番号が音声区間開始フレーム識別子の示すものから、フレーム番号が最大であるものまでのすべての符号化列バッファ蓄積データから、それぞれに含まれる符号化列を送信符号化列、フレーム番号を送信フレーム番号として、送信フレーム番号ごとに送信符号化列と送信フレーム番号を組にして音声パケット作成部210に出力する。符号列選択部209の処理フローを図6に示す。また、符号化列蓄積部207に蓄積されている符号化列バッファ蓄積データが図7である場合の、符号列選択部209の処理経過および出力の例を図8に示す。なお、本発明では、符号列選択部209が課題を解決するための手段に示した検索手段に該当する。
音声パケット作成部210には、符号化列選択部209が出力する1つまたは複数の送信符号化列と送信フレーム番号の組が入力される。音声パケット作成部210は、入力された送信符号化列と送信フレーム番号の組を1つまたは複数まとめたものにパケット通信用のヘッダを付加することにより、1つまたは複数の音声パケットを生成し、音声パケット送信蓄積部211に出力する。入力された送信符号化列と送信フレーム番号の組を複数まとめてからパケット通信用のヘッダを付加して1つの音声パケットとする場合は、送信フレーム番号が連続している送信符号化列と送信フレーム番号の組を複数まとめて1つの音声パケットに格納することとする。ここで付加するパケット通信用のヘッダ、および、音声パケットの構成は、パケットを伝送するネットワークの仕様に準拠したものとする。また、パケットを伝送するネットワークの誤り率やジッタ、コンピュータやネットワークインタフェースの負荷状況などに応じて、1つの音声パケットに格納する送信符号化列と送信フレーム番号の組の数を変化させてもよい。また、音声パケットには、少なくともパケット通信用のヘッダと送信符号化列と送信フレーム番号の組とを含んでいれば、必要に応じてこれ以外の情報も含めてもよい。
音声パケット作成部210で作成された音声パケットは、音声パケット送信蓄積部211に蓄積される。
音声パケット送出部212
音声パケット送信蓄積部211に蓄積された音声パケットは、あらかじめ対向する符号化列受信装置と取り決めた伝送プロトコルに従って、音声パケット送出部212から対向する符号化列受信装置が接続されたネットワークに送出される。
符号化列受信装置
図10は、本発明の符号化列受信装置の機能構成例である。
音声パケット受信復号部901
音声パケット受信復号部901は、対向する符号化列送信装置が送出した音声パケットを受信して、受信した音声パケットから、音声パケットに含まれる1つまたは複数の符号化列とフレーム番号の組を取出し、その符号化列とフレーム番号の組を受信符号化列蓄積制御部902に出力する。
受信符号化列蓄積制御部902には、音声パケット受信部復号部901が出力した1つまたは複数の符号化列とフレーム番号の組が入力される。受信符号化列蓄積制御部902は、入力された符号化列とフレーム番号の組を受信符号化列蓄積部903に出力して蓄積させる。入力されたフレーム番号とフレーム番号が同一の符号化列とフレーム番号の組が受信符号化列蓄積部903にすでに蓄積されている場合は、受信符号化列蓄積部903に蓄積されている符号化列を削除して、入力された符号化列を受信符号化列蓄積部903に出力して、符号化列とフレーム番号を組にして蓄積させる。逆に、受信符号化列蓄積部903に蓄積されている符号化列とフレーム番号の組を残して、入力された符号化列とフレーム番号の組を削除しても良い。
受信符号化列蓄積部903に蓄積できる符号化列とフレーム番号の組の数は、必要かつ十分な数にあらかじめ決めておく。必要かつ十分な数は、使用するネットワークでのバーストロスの時間の平均と分散や発生率などによって異なるため、使用するネットワークごとにあらかじめ実験等により求めるものとする。
受信符号化列取出し制御部904
受信符号化列取出し制御部904は、フレームごとに受信符号化列蓄積部903に蓄積された符号化列とフレーム番号の組のうち、フレーム番号が最も小さい符号化列とフレーム番号の組を取出し、フレーム番号を現フレーム番号として再送要求情報生成部905に、符号化列を復号化部908に出力する。取出した符号化列とフレーム番号の組は、受信符号化列蓄積部903から削除する。もし、受信符号化列蓄積部903に蓄積された符号化列とフレーム番号の組がない場合は、蓄積されるまで停止する。
再送要求情報生成部905には、受信符号化列取出し制御部904が出力した現フレーム番号とフレーム番号蓄積部906に蓄積された前フレーム番号が入力される。再送要求情報生成部905は、現フレーム番号から前フレーム番号を減算した差分をバーストロス判定識別子として計算する。次に再送要求情報生成部905は、バーストロス判定識別子があらかじめ設定された正の整数である閾値を超える場合は、再送要求識別子を1、再送要求フレーム番号を前フレーム番号に1を加算した値とした再送要求情報を生成し、再送要求パケット作成部907に出力する(case1)。バーストロス判定識別子が閾値を超えない場合は、再送要求識別子を0、再送要求フレーム番号を任意の値とした再送要求情報を生成し、再送要求パケット作成部907に出力する(case2)。なお、再送要求フレーム番号は、再送要求識別子が0の場合は、対向する符号列送信装置に再送を要求しないので、再送要求フレーム番号は使用しない。したがって、再送要求識別子が0の場合は再送要求フレーム番号にはどのような値が格納されていても良い。もしくは再送要求識別子が0の場合は、再送要求情報に再送要求フレーム番号を含めず、再送要求情報を再送要求識別子のみで構成しても良い。さらに再送要求情報生成部905は、フレーム番号蓄積部906に蓄積された前フレーム番号を削除し、現フレーム番号を前フレーム番号として蓄積する。なお、再送要求パケット作成部907への出力とフレーム番号蓄積部906への蓄積の手順は逆でもよい。再送要求情報生成部905の処理フローを図11に示す。
再送要求パケット作成送出部907には、再送要求情報生成部905が出力した再送要求情報が入力される。再送要求パケット作成送出部907は、入力された再送要求情報にパケット通信用のヘッダを付加した再送要求パケットを生成し、あらかじめ対向する符号化列送信装置と取り決めた伝送プロトコルにしたがって、生成した再送要求パケットを対向する符号化列送信装置が接続されたネットワークに送出する。再送要求パケットには、少なくともパケット通信用のヘッダと再送要求情報とを含んでいれば、必要に応じてこれ以外の情報も含めてもよい。なお、再送要求識別子が0の場合は、再送要求パケットそのものを送出しないことにして、前述のように対向する符号化列送信装置の再送要求パケット受信復号部208で再送要求パケットが受信されない場合は再送要求がないものとして扱ってもよい。
復号化部908には、受信符号化列取出し制御部904が出力した符号化列が入力さ
れる。復号化部908は、入力された符号化列を復号化し、フレーム毎の出力音声信号を出力する。復号化部908で用いる復号化アルゴリズムは、対向する符号化列送信装置の符号化部201における符号化アルゴリズムに対応したものとする。
図12に符号化列受信方法のフローを示す。
[第2実施形態]
本発明は、第1実施形態では送信側で行っていた音声区間の先頭フレームの検索を受信側で行うものである。すなわち、本発明では、受信側でバーストロスの発生の判定を行い、バーストロス発生時にバーストロス直前のフレームが属する音声区間の先頭フレームを検索して、先頭フレームの再送要求を行い、送信側では、再送要求されたフレームから符号列データを再送するものである。本発明は、第1実施形態に比べ、送信側の処理が簡易となることに特徴がある。
本発明の符号化列送信装置の機能構成例を図13に示す。本発明では、第1実施形態の音声区間開始フレーム判定部204、音声区間識別子蓄積部205は符号化列送信装置側に存在しない。以下の説明で図2と共通する部分は説明を省略する。
音声/非音声判定部203−2
音声/非音声判定部203−2では、第1実施形態と同様に現フレームのフレーム音声信号が音声区間でるか非音声区間であるかを判定し、音声区間識別子を符号化列蓄積制御部206−2に送る。
符号化列蓄積制御部206−2には、符号化部201が出力した符号化列、フレーム番号発生部202が出力したフレーム番号、音声/非音声判定部203−2が出力した音声区間識別子が入力される。符号化列蓄積制御部206−2は、入力された現フレームの符号化列と、入力された現フレームのフレーム番号と、入力された現フレームの音声区間識別子とを組にして符号化列バッファ蓄積データを作成して、作成した符号化列バッファ蓄積データを符号化列蓄積部207に出力する。図14に符号化列バッファ蓄積データの構成例を示す。
符号化列選択部209−2には、再送要求パケット受信復号部208が出力した再送要求情報が入力される。符号化列選択部209−2は、入力された再送要求情報中の再送要求識別子が0である場合、すなわち、対向する符号化列受信装置からの再送要求がない場合は、符号化列蓄積部207中にある、フレーム番号が一番大きい符号化列バッファ蓄積データから、符号化列を送信符号化列、フレーム番号を送信フレーム番号、音声区間識別子を送信音声区間識別子として、送信符号化列と送信フレーム番号と送信音声区間識別子を組にして音声パケット作成部210−2に出力する。入力された再送要求情報中の再送要求識別子が1である場合、すなわち、対向する符号化列受信装置からの再送要求がある場合は、フレーム番号が再送要求フレーム番号であるものからフレーム番号が最大であるものまでのすべての符号化列バッファ蓄積データから、それぞれに含まれる符号化列を送信符号化列、フレーム番号を送信フレーム番号、音声区間識別子を送信音声区間識別子として、送信フレーム番号ごとに送信符号化列と送信フレーム番号と送信音声区間識別子を組にして音声パケット作成部210−2に出力する。符号列選択部209−2の処理フローを図15に示す。また、符号化列蓄積部207に蓄積されている符号化列バッファ蓄積データが図16である場合の、符号列選択部209−2の処理経過および出力の例を図17に示す。
音声パケット作成部210−2には、符号化列選択部209−2が出力する1つまたは複数の送信符号化列と送信フレーム番号と送信音声区間識別子の組が入力される。音声パケット作成部210−2は、入力された送信符号化列と送信フレーム番号と送信音声区間識別子の組を1つまたは複数まとめたものにパケット通信用のヘッダを付加することにより、1つまたは複数の音声パケットを生成し、音声パケット送信蓄積部211に出力する。入力された送信符号化列と送信フレーム番号と送信音声区間識別子の組を複数まとめてからパケット通信用のヘッダを付加して1つの音声パケットとする場合は、送信フレーム番号が連続している送信符号化列と送信フレーム番号の組を複数まとめて1つの音声パケットに格納することとする。ここで付加するパケット通信用のヘッダ、および音声パケットの構成は、パケットを伝送するネットワークの仕様に準拠したものとする。また、パケットを伝送するネットワークの誤り率やジッタ、コンピュータやネットワークインタフェースの負荷状況などに応じて、1つの音声パケットに格納する送信符号化列と送信フレーム番号の組の数を変化させてもよい。なお、音声パケットには、少なくともパケット通信用のヘッダと送信符号化列と送信フレーム番号と送信音声区間識別子の組とを含んでいれば、必要に応じてこれ以外の情報も含めてもよい。
符号化列受信装置
本発明の符号化列受信装置の機能構成例を図19に示す。図10に示した第1実施形態の音声区間開始フレーム判定部909、音声区間識別子蓄積部910、音声区間開始フレーム識別子蓄積部911が大きく変更されている。以下の説明では、図10と共通する部分は説明を省略する。
音声パケット受信復号部901−2
音声パケット受信復号部901−2は、対向する符号化列送信装置が送出した音声パケットを受信して、受信した音声パケットから、音声パケットに含まれる1つまたは複数の符号化列とフレーム番号と音声区間識別子の組を取出し、その符号化列とフレーム番号と音声区間識別子の組を受信符号化列蓄積制御部902−2に出力する。
受信符号化列蓄積制御部902−2には、音声パケット受信復号部901−2が出力した1つまたは複数の符号化列とフレーム番号と音声区間識別子の組が入力される。受信符号化列蓄積制御部902−2は、入力された符号化列とフレーム番号と音声区間識別子の組を受信符号化列蓄積部903−2に出力して蓄積させる。入力されたフレーム番号とフレーム番号が同一の符号化列とフレーム番号と音声区間識別子の組が受信符号化列蓄積部903−2にすでに蓄積されている場合は、受信符号化列蓄積部903−2に蓄積されている符号化列と音声区間識別子を削除して、入力された符号化列と音声区間識別子を受信符号化列蓄積部903−2に出力して、符号化列とフレーム番号と音声区間識別子を組にして蓄積させる。逆に、受信符号化列蓄積部903−2に蓄積されている符号化列とフレーム番号と音声区間識別子の組を残して、入力された符号化列とフレーム番号と音声区間識別子の組を削除してもよい。
受信符号化列蓄積部903−2に蓄積できる符号化列とフレーム番号と音声区間識別子の組の数は必要かつ十分な数にあらかじめ決めておく。必要かつ十分な数は、ネットワークごとに異なるため、実験等によりあらかじめ求めるものとする。
受信符号化列取出し制御部904−2
受信符号化列取出し制御部904−2は、フレームごとに受信符号化列蓄積部903−2に蓄積された符号化列とフレーム番号と音声区間識別子の組のうち、フレーム番号が最も小さい符号化列とフレーム番号と音声区間識別子の組を取出し、フレーム番号を現フレーム番号として再送要求情報生成部905−2と音声区間開始フレーム判定部909−2に、音声区間識別子を現音声区間識別子として音声区間開始フレーム判定部909−2に、符号化列を復号化部908に出力する。取出した符号化列とフレーム番号と音声区間識別子の組は、受信符号化列蓄積部903−2から削除する。バーストパケットロスの発生などによって受信符号化列蓄積部903−2に蓄積された符号化列とフレーム番号と音声区間識別子の組がなくなってしまった場合は、蓄積されるまで停止する。
音声区間開始フレーム判定部909−2には、受信符号化列取出し制御部904−2から出力されたフレーム番号と音声区間識別子とが入力される。音声区間開始フレーム判定部909−2は、入力された現フレームのフレーム番号と音声区間識別子とを組みにして、音声区間識別子蓄積部910−2に蓄積する。また、音声区間開始フレーム判定部909−2は、現フレームの音声区間識別子が1、すなわち現フレームが音声区間の場合は、音声区間識別子蓄積部910−2を検索し、現フレームが属する音声区間の最初のフレーム番号を音声区間開始フレーム識別子として出力する。なお、現フレームが属する音声区間の最初のフレーム番号と現フレームのフレーム番号との番号差の絶対値(相対表現)を、音声区間開始フレーム識別子としてもよい。現フレームの音声区間識別子が0、すなわち現フレームが非音声区間の場合は、音声区間が開始するフレーム番号は存在しないため、音声区間開始フレーム識別子を−1として出力する。音声区間開始フレーム判定部909−2の出力である音声区間開始フレーム識別子は、フレーム番号と組にして音声区間開始フレーム識別子蓄積部911−2に送られる。なお、音声区間開始フレーム判定部909−2が課題を解決するための手段に示した音声区間開始フレーム判断手段に該当する。
音声区間開始フレーム識別子蓄積部911−2には、音声区間開始フレーム判定部909−2から出力された音声区間開始フレーム識別子とフレーム番号の組が入力され、蓄積される。音声区間開始フレーム識別子蓄積部911−2に蓄積できる音声区間開始フレーム識別子とフレーム番号の組の数は、必要かつ十分な数にあらかじめ決めておく。必要かつ十分な数はあらかじめ実験等により求めるものとする。蓄積された音声区間開始フレーム識別子とフレーム番号の組の数があらかじめ決められた数に達している場合は、新たに音声区間開始フレーム識別子とフレーム番号の組を蓄積する際に、フレーム番号の最も小さい組を削除してから現フレームの音声区間開始フレーム識別子とフレーム番号の組を蓄積する。
再送要求情報生成部905−2には、受信符号化列取出し制御部904−2が出力した現フレーム番号とフレーム番号蓄積部906に蓄積された前フレーム番号が入力される。再送要求情報生成部905−2は、現フレーム番号から前フレーム番号を減算した差分をバーストロス判定識別子として計算する。
次に再送要求情報生成部905−2は、バーストロス判定識別子が、あらかじめ設定された正の整数である閾値を超える場合は、音声区間開始フレーム識別子蓄積部911−2を検索して、前フレーム番号に対応する音声区間開始フレーム識別子を読み出し(case1)、前フレーム番号に対応する音声区間開始フレーム識別子が−1である場合は、再送要求識別子を1、再送要求フレーム番号を前フレーム番号に1を加算した値とした再送要求情報を生成し、再送要求パケット作成部907に出力する(case1−1)。前フレーム番号に対応する音声区間開始フレーム識別子が正の整数である場合は、再送要求識別子を1、再送要求フレーム番号を前フレーム番号に対応する音声区間開始フレーム識別子の示すフレーム番号とした再送要求情報を生成し、再送要求パケット作成部907に出力する(case1−2)。バーストロス判定識別子が閾値を超えない場合は、再送要求識別子を0、再送要求フレーム番号を任意の値とした再送要求情報を生成し、再送要求パケット作成部907に出力する(case2)。
さらに再送要求情報生成部905−2は、フレーム番号蓄積部906に蓄積された前フレーム番号を削除し、現フレーム番号を前フレーム番号として蓄積する。なお、再送要求パケット作成部907への出力とフレーム番号蓄積部906への蓄積の手順は逆でもよい。再送要求情報生成部905−2の処理フローを図20に示す。なお、本発明では、再送要求情報生成部905−2が課題を解決するための手段に示した検索手段に該当する。
[第3実施形態]
本発明は、第2実施形態では再送要求フレーム番号以降のすべてのフレームについて符号化列、フレーム番号、音声区間開始フレーム識別子の組を再送していたのに対し、受信側に符号化列、フレーム番号、音声区間開始フレーム識別子の組がすでに送達されているフレームについては符号化列、フレーム番号、音声区間開始フレーム識別子の組を再送しないものである。本発明は、第2実施形態に比べ、再送するフレーム数を減らすことができ、ネットワークヘの負荷を軽減できる特徴がある。
本発明の符号化列送信装置の機能構成は、図13に示した第2実施形態の符号化列選択部209−2のみが異なる。本発明の符号化列送信装置の機能構成例を図22に示す。それ以外の各部の処理は第2実施形態と全く同じであるため説明を省略する。
符号列選択部209−3
符号化列選択部209−3には、再送要求パケット受信復号部208が出力した再送要求情報が入力される。符号化列選択部209−3は、入力された再送要求情報中の再送要求識別子が0の場合、すなわち、対向する符号化列受信装置からの再送要求がない場合は、符号化列蓄積部207中にある、フレーム番号が一番大きい符号化列バッファ蓄積データから、符号化列を送信符号化列、フレーム番号を送信フレーム番号、音声区間識別子を送信音声区間識別子として、送信符号化列と送信フレーム番号と送信音声区間識別子を組にして音声パケット作成部210−2に出力する。入力された再送要求情報中の再送要求識別子が1の場合、すなわち、対向する符号化列受信装置からの再送要求がある場合は、フレーム番号が再送要求情報中の再送要求フレーム番号である符号化列バッファ蓄積データに含まれる符号化列を送信符号化列、フレーム番号を送信フレーム番号、音声区間識別子を送信音声区間識別子として、送信符号化列と送信フレーム番号と送信音声区間識別子を組にして音声パケット作成部210−2に出力する。第2実施形態では、1つの再送要求パケットに対して、再送要求フレーム番号であるものからフレーム番号が最大であるものまでのすべてを再送していたが、本発明では、再送要求フレーム番号指定されたフレームのみを再送する。符号列選択部209−3の処理フローを図23に示す。
符号化列受信装置
本発明の符号化列受信装置の機能構成例を図25に示す。図19の第2実施形態の符号化列受信装置との差異は、受信符号化列取出し制御部904−2と復号化部908との間に、復号符号化列蓄積制御部1510と復号符号化列蓄積部1509が付加されたところである。本発明の符号化列受信装置の構成のうち音声パケット受信復号部901−2、受信符号化列蓄積制御部902−2、受信符号化列蓄積部903−2は、第2実施形態と同一の処理を行うので、説明を省略する。
受信符号化列取出し制御部904−3は、フレームごとに受信符号化列蓄積部903−2に蓄積された符号化列とフレーム番号と音声区間識別子の組のうち、フレーム番号が最も小さい符号化列とフレーム番号と音声区間識別子の組を取出し、フレーム番号を現フレーム番号として再送要求情報生成部905−3と音声区間開始フレーム判定部909−2と復号符号化列蓄積制御部1510に、音声区間識別子を現音声区間識別子として音声区間開始フレーム判定部909−2に、符号化列を現符号化列として復号符号化列蓄積制御部1510に出力する。取出した符号化列とフレーム番号と音声区間識別子の組は、受信符号化列蓄積部903−2から削除する。バーストパケットロスの発生によって受信符号化列蓄積部903−2に蓄積された符号化列とフレーム番号と音声区間識別子の組がなくなってしまった場合は、蓄積されるまで停止する。
再送要求情報生成部905−3には、受信符号化列取出し制御部904−3が出力した現フレーム番号とフレーム番号蓄積部906に蓄積された前フレーム番号が入力される。再送要求情報生成部905−3は、現フレーム番号から前フレーム番号を減算した差分をバーストロス判定識別子として計算する。
次に再送要求情報生成部905−3は、バーストロス判定識別子があらかじめ設定された正の整数である閾値を超える場合は、前フレーム番号に1を加算した値から現フレーム番号から1を減算した値までのそれぞれについて、これらの値それぞれを再送要求フレーム番号とし、再送要求識別子を1とした再送要求情報を生成し、再送要求パケット作成部907−3に出力する(case1)。この場合は、再送要求情報は複数である。具体的には、{再送要求フレーム番号1,再送要求フレーム番号2,…,再送要求フレーム番号M}={前フレーム番号+1,前フレーム番号+2,…,現フレーム番号−1}が再送要求情報となる。
再送要求識別子が0の場合は対向する符号列送信装置に再送を要求しないので、再送要求フレーム番号は使用しない。したがって、再送要求識別子が0の場合は再送要求フレーム番号にはどのような値が格納されていても良い。もしくは再送要求識別子が0の場合は、再送要求情報に再送要求フレーム番号を含めず、再送要求情報を再送要求識別子のみで構成しても良い。さらに、再送要求情報生成部905−3は、フレーム番号蓄積部906に蓄積された前フレーム番号を削除し、現フレーム番号を前フレーム番号として蓄積する。なお、再送要求パケット作成部907−3への出力とフレーム番号蓄積部906への蓄積の手順は逆でもよい。再送要求情報生成部905−3の処理フローを図26に示す。
再送要求パケット作成送出部907−3には、再送要求情報生成部905−3が出力した1つまたは複数の再送要求情報が入力される。再送要求パケット作成送出部907−3は、入力された1つまたは複数の再送要求情報のそれぞれに、または、複数まとめたものに、パケット通信用のヘッダを付加した再送要求パケットを生成し、あらかじめ対向する符号化列送信装置と取り決めた伝送プロトコルに従って、生成した再送要求パケットを対向する符号化列送信装置が接続されたネットワークに送出する。生成される再送要求パケットは1つまたは複数である。再送要求パケットには、少なくともパケット通信用のヘッダと再送要求情報とを含んでいれば、必要に応じてこれ以外の情報も含めてもよい。
復号符号化列蓄積制御部1510には、受信符号化列取出し制御部904−3が出力した符号化列とフレーム番号、再送要求情報生成部905−3が出力した再生開始フレーム情報が入力される。復号符号化列蓄積制御部1510は、受信符号化列取出し制御部904−3が出力した符号化列とフレーム番号を復号符号化列蓄積部1509に蓄積する。また、再送要求情報生成部905−3から出力された再生開始フレーム情報が現フレームを指しているときは、符号化列を復号化部908へも送る。再生開始フレーム情報が現フレームよりも前を指しているときは、現フレームの符号化列とフレーム番号を復号符号化列蓄積部1509に蓄積するとともに、再生開始フレーム情報の示すフレーム番号から現フレームまでのすべてのフレームに対応する符号化列を復号符号化列蓄積部1509の中から検索して取出し、フレーム番号順に復号化部908へ送る。なお、本発明では、再送要求情報生成部905−3が課題を解決するための手段に示した検索手段に該当する。
復号符号化列蓄積部1509には、受信符号化列取出し制御部904−3が出力した符号化列とフレーム番号の組が復号符号化列蓄積制御部1510を経由して蓄積される。復号符号化列蓄積部1509に蓄積できる符号化列とフレーム番号の組の数は、必要かつ十分な数にあらかじめ決めておく。必要かつ十分な数はあらかじめ実験等により求めるものとする。復号符号化列蓄積部1509に蓄積された符号化列とフレーム番号の組があらかじめ決められた数に達している場合は、フレーム番号の最も小さい組を削除して新しい組
を蓄積する。
図27に本発明の符号化列受信方法のフローを示す。
Claims (19)
- フレームごとに入力される音声信号を符号化して得られた符号列に、フレームの時刻順を示す情報を付したものを送信側から受信し、符号列を復号して時刻順のフレームごとの復号音声信号を得る符号列受信復号方法であって、
受信された符号列をフレームの時刻順に取り出して、当該取り出された符号列(以下、「今回取り出された符号列」という。)に付された時刻順を示す情報と、直前に取り出された符号列に付された時刻順を示す情報との差が、あらかじめ設定した閾値以上であるか否かを判断し、
前記差があらかじめ設定した閾値以上であると判定された場合には、直前に取り出された符号列のフレームの1つ後のフレームから今回取り出された符号列のフレームの1つ前のフレームまでの符号列が受信されなかったものとみなして、符号列の再送信を送信側に要求するとともに、
直前に取り出された符号列のフレームの1つ後のフレーム、または直前に取り出された符号列のフレームが属する音声区間の先頭フレームの符号列からの復号音声信号を得ること
を特徴とする符号列受信復号方法。 - バーストロスが発生した場合に、あらかじめ定めた手順により受信側通信装置で音声区間の先頭フレームから復号化された音声信号を得る再送機能に対応した通信装置であって、
フレーム化された音声信号のフレーム番号と各フレームの音声信号を符号化した符号化列とを記録する蓄積手段と、
フレームが音声区間の場合に、各フレームが音声区間か非音声区間かを示す音声区間識別子より当該フレームが属する音声区間の先頭フレームを示す値を求める手段と、
を備える通信装置。 - バーストロスが発生した場合に、あらかじめ定めた手順により受信側通信装置で音声区間の先頭フレームから復号化された音声信号を得る再送機能に対応した通信装置であって、
フレーム化された音声信号のフレーム番号と各フレームの音声信号を符号化した符号化列とを記録する蓄積手段と、
バーストロスが発生した場合または再送要求情報を受信した場合に、各フレームが音声区間か非音声区間かを示す音声区間識別子または音声区間の先頭フレームを示す値である音声区間開始フレーム識別子から、対象のフレームが属する音声区間の先頭フレームのフレーム番号を求める検索手段と、
を備える通信装置。 - 請求項3記載の通信装置であって、
上記先頭フレームから現在のフレームまでの符号化列を送信する送信手段
を備える通信装置。 - 請求項3記載の通信装置であって、
上記先頭フレームから現在のフレームまでの符号化列を含む音声パケットの再送を求める再送要求情報を送信する送信手段
を備える通信装置。 - 請求項3記載の通信装置であって、
未受信の音声パケットの再送を求める再送要求情報を送信する送信手段と、
上記先頭フレームから現在のフレームまでの符号化列を復号化する復号化手段と、
を備える通信装置。 - 音声パケットの送信および再送要求パケットの受信をする符号化列送信装置であって、
フレーム化された音声信号のフレーム番号、各フレームの音声信号を符号化した符号化列、各フレームが音声区間か非音声区間かを示す音声区間識別子、および音声区間の先頭フレームを示す値である音声区間開始フレーム識別子を記録する蓄積部と、
フレームが音声区間の場合に、上記音声区間識別子より当該フレームが属する音声区間の先頭フレームを示す値を求め、音声区間開始フレーム識別子とする音声区間開始フレーム判定部と、
音声区間開始フレーム識別子により再送要求されたフレームが属する音声区間の先頭フレームを検索し、当該先頭フレームから現在のフレームまでの符号列を再送する符号化列選択部と、
を備える符号化列送信装置。 - 請求項7記載の符号化列送信装置と対向して音声パケットの受信および再送要求パケットの送信をする符号化列受信装置であって、
フレーム化された音声信号のフレーム番号、および各フレームの音声信号を符号化した符号化列を記録する蓄積手段と、
バーストロスの発生を検出する受信符号化列取出し制御部と、
バーストロス直前のフレームの次のフレーム番号を再送要求情報として再送要求を行う再送要求情報生成部と、
を備える符号化列受信装置。 - 音声パケットの受信および再送要求パケットの送信をする符号化列受信装置であって、
フレーム化された音声信号のフレーム番号、各フレームの音声信号を符号化した符号化列、各フレームが音声区間か非音声区間かを示す音声区間識別子、および音声区間の先頭フレームを示す値である音声区間開始フレーム識別子を記録する蓄積部と、
フレーム番号、符号化列および音声区間識別子を対向する符号化列送信装置から受信する音声パケット受信復号部と、
フレームが音声区間の場合に、上記音声区間識別子より当該フレームが属する音声区間の先頭フレームを示す値を求め、音声区間開始フレーム識別子とする音声区間開始フレーム判定部と、
バーストロスの発生を検出する受信符号化列取出し制御部と、
バーストロス直前のフレーム番号から当該フレームが属する音声区間の先頭フレームを検索し、当該先頭フレームのフレーム番号を再送要求情報として再送要求を行う再送要求情報生成部と、
を備える符号化列受信装置。 - 請求項9記載の符号化列受信装置と対向して音声パケットの送信および再送要求パケットの受信をする符号化列送信装置であって、
フレーム化された音声信号のフレーム番号、各フレームの音声信号を符号化した符号化列、および各フレームが音声区間か非音声区間かを示す音声区間識別子を記録する蓄積部と、
フレーム番号、符号化列および音声区間識別子の組を音声パケットとする音声パケット作成部と、
再送要求されたフレームから現在のフレームまでの符号列を含む情報を再送する符号化列選択部と、
を備える符号化列送信装置。 - 音声パケットの受信および再送要求パケットの送信をする符号化列受信装置であって、
フレーム化された音声信号のフレーム番号、各フレームの音声信号を符号化した符号化列、各フレームが音声区間か非音声区間かを示す音声区間識別子、および音声区間の先頭フレームを示す値である音声区間開始フレーム識別子を記録する蓄積部と、
フレーム番号、符号化列および音声区間識別子を対向する符号化列送信装置から受信する音声パケット受信復号部と、
フレームが音声区間の場合に、上記音声区間識別子より当該フレームが属する音声区間の先頭フレームを示す値を求め、音声区間開始フレーム識別子とする音声区間開始フレーム判定部と、
バーストロスの発生を検出する受信符号化列取出し制御部と、
未受信のフレームのフレーム番号を再送要求情報として再送要求を行う再送要求情報生成部と、
バーストロス直前のフレーム番号から当該フレームが属する音声区間の先頭フレームを検索し、当該先頭フレームから現フレームまでの符号化列を復号化させる復号符号化列蓄積制御部と、
を備える符号化列受信装置。 - 請求項11記載の符号化列受信装置と対向して音声パケットの送信および再送要求パケットの受信をする符号化列送信装置であって、
フレーム化された音声信号のフレーム番号、各フレームの音声信号を符号化した符号化列、および各フレームが音声区間か非音声区間かを示す音声区間識別子を記録する蓄積部と、
フレーム番号、符号化列および音声区間識別子の組を音声パケットとする音声パケット作成部と、
再送要求された少なくとも1つのフレームの符号列を含む情報を再送する符号化列選択部と、
を備える符号化列送信装置。 - バーストロスが発生した場合に、あらかじめ定めた手順により受信側通信装置で音声区間の先頭フレームから復号化された音声信号を得る再送機能に対応した通信装置の制御方法であって、
蓄積手段で、フレーム化された音声信号のフレーム番号と各フレームの音声信号を符号化した符号化列とを記録し、
音声区間開始フレーム判断手段で、フレームが音声区間の場合に、各フレームが音声区間か非音声区間かを示す音声区間識別子より当該フレームが属する音声区間の先頭フレームを示す値を求める
ことを特徴とする通信装置の制御方法。 - バーストロスが発生した場合に、あらかじめ定めた手順により受信側通信装置で音声区間の先頭フレームから復号化する再送機能に対応した通信装置の制御方法であって、
あらかじめ蓄積手段で、フレーム化された音声信号のフレーム番号と各フレームの音声信号を符号化した符号化列とを記録し、
バーストロスが発生した場合または再送要求情報を受信した場合に、検索手段で、各フレームが音声区間か非音声区間かを示す音声区間識別子または音声区間の先頭フレームを示す値である音声区間開始フレーム識別子から、対象のフレームが属する音声区間の先頭フレームのフレーム番号を求める
ことを特徴とする通信装置の制御方法。 - 請求項14記載の通信装置の制御方法であって、
送信手段により、上記先頭フレームから現在のフレームまでの符号化列を送信する
ことを特徴とする通信装置の制御方法。 - 請求項14記載の通信装置の制御方法であって、
送信手段により、上記先頭フレームから現在のフレームまでの未受信の符号化列を含む音声パケットの再送を求める再送要求情報を送信する
ことを特徴とする通信装置の制御方法。 - 請求項14記載の通信装置の制御方法であって、
送信手段により、未受信の音声パケットの再送を求める再送要求情報を送信し、
再送要求した符号化列の受信後、復号化手段により、上記先頭フレームから現在のフレームまでの符号化列を復号化する
ことを特徴とする通信装置の制御方法。 - コンピュータを請求項2〜12のいずれかに記載の装置として機能させるプログラム。
- 請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004371646A JP3980592B2 (ja) | 2004-12-22 | 2004-12-22 | 通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004371646A JP3980592B2 (ja) | 2004-12-22 | 2004-12-22 | 通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006180236A true JP2006180236A (ja) | 2006-07-06 |
JP3980592B2 JP3980592B2 (ja) | 2007-09-26 |
Family
ID=36733907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004371646A Active JP3980592B2 (ja) | 2004-12-22 | 2004-12-22 | 通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3980592B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2088746A1 (en) | 2008-02-05 | 2009-08-12 | Fujitsu Limited | Transmitter apparatus, receiver apparatus, moving image and audio transmission evaluation method, and computer readable storage medium storing program thereof |
US11528311B2 (en) * | 2020-01-17 | 2022-12-13 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for transmitting multimedia resource and terminal |
-
2004
- 2004-12-22 JP JP2004371646A patent/JP3980592B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2088746A1 (en) | 2008-02-05 | 2009-08-12 | Fujitsu Limited | Transmitter apparatus, receiver apparatus, moving image and audio transmission evaluation method, and computer readable storage medium storing program thereof |
US11528311B2 (en) * | 2020-01-17 | 2022-12-13 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for transmitting multimedia resource and terminal |
Also Published As
Publication number | Publication date |
---|---|
JP3980592B2 (ja) | 2007-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4328602B2 (ja) | パケットエラー訂正装置及び方法 | |
JP4405875B2 (ja) | エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体 | |
US8320391B2 (en) | Acoustic signal packet communication method, transmission method, reception method, and device and program thereof | |
WO2017157303A1 (zh) | 实时通信中的抗丢包方法、装置和系统 | |
CN104917671A (zh) | 基于移动终端的音频处理方法和装置 | |
CN101697504A (zh) | 一种提高数据传输质量的方法及装置 | |
JP2007288342A (ja) | メディアストリーム中継装置および方法 | |
CN108696491B (zh) | 音频数据的发送处理方法与装置、接收处理方法与装置 | |
JP4834013B2 (ja) | 送信装置、送信プログラム、受信装置及び受信プログラム | |
JP5012897B2 (ja) | 音声パケット受信装置、音声パケット受信方法、およびプログラム | |
JP4862262B2 (ja) | Dtmf信号処理方法、処理装置、中継装置、及び通信端末装置 | |
WO2013072765A2 (en) | Method and apparatus for compressing communication packets | |
JP3980592B2 (ja) | 通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法 | |
KR100770907B1 (ko) | 멀티미디어 패킷 데이터의 디패킷화 방법 | |
JP4714074B2 (ja) | 伝送装置、送信装置及び受信装置 | |
WO2010009660A1 (zh) | 一种数据帧的转换方法及装置 | |
JP4400571B2 (ja) | 異種通信網間接続における符号化データの処理方法及びゲートウェイ装置 | |
JP2005020590A (ja) | 通信装置、その方法およびそのシステム | |
JP4050961B2 (ja) | パケット型音声通信端末 | |
JP4406382B2 (ja) | 音声符号化選択制御方法 | |
JP4392378B2 (ja) | 音声符号化選択制御方法 | |
CN114448588B (zh) | 音频传输方法、装置、电子设备及计算机可读存储介质 | |
US20150063103A1 (en) | Bandwidth-dependent compressor for robust header compression and method of use thereof | |
JP2011082708A (ja) | パケット挿入削除方法及び通話システム | |
JP2002344394A (ja) | 適応的符号化伝送装置および受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3980592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |