JP2000078582A - 画像符号化データ送信装置，画像符号化データ送信方法およびそのプログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 送信側に参照画像を蓄積するための大容量の
バッファを用意することなく，入力した画像符号化デー
タを，受信側から指定された参照画像を持つ画像符号化
データに変換して送信することができるようにする。 【解決手段】 第１の画像符号化データを入力して蓄積
部15に蓄積し，復号装置20からの参照画像の指定信号の
受信状況に応じて，変換部17によって，蓄積部15のデー
タに対して動き補償処理を行うことにより，第１の画像
符号化データを参照画像の異なる第２の画像符号化デー
タに変換し，前記指定信号に基づいて，データ選択部18
により，第１の画像符号化データまたは第２の画像符号
化データを選択して送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，ネットワークを介
して画像符号化データを送受信する画像通信システムに
係り，特に動画像送信側における画像符号化データの送
信装置および送信方法に関する。

【０００２】

【従来の技術】画像データのデータ圧縮を目的とした画
像符号化方式として，主にフレーム間差分符号化を用い
た方法が用いられており，以下の２通りの方式がある。

【０００３】第１に，ＭＰＥＧ２やＨ．２６３に代表さ
れる画像符号化方式では，画像メモリに参照画像とする
画像データを蓄積しておき，符号化対象のフレームの画
像情報と参照画像との差分情報に対して，ＤＣＴなどの
直交変換を行い，その結果を量子化することなどによっ
て符号化して，画像符号化データを作成する。

【０００４】図１９は，その第１の方式による画像デー
タの符号化器と復号器の構成例を示す。符号化器６０
は，画像データを入力し，符号化部６１で画像バッファ
６３に蓄積された参照画像との差分情報を符号化する。
符号化データは，逆量子化部６２により逆量子化され，
結果を後の符号化における参照画像とするために，画像
バッファ６３に蓄積される。復号器６４では，受信した
符号化データを復号部６５にて，画像バッファ６６に蓄
積した参照画像を参照することにより復号する。復号し
た画像データは，後の復号のために画像バッファ６６に
蓄積する。

【０００５】以上のように，フレーム間誤差情報を符号
化することによって画像符号化データを作成する。ただ
し，シーン・チェンジ（急に画面が変わった画像）な
ど，フレーム間の相関の低い部分については，通常，フ
レーム間の差分情報の符号化ではなく，フレーム内符号
化が選ばれる。また，フレーム間予測を続けていくと，
直交変換・逆変換等の誤差が蓄積していくため，一定回
数符号化する間に少なくとも１回はフレーム内符号化を
行って，誤差の蓄積を除去するなどの仕組みも定められ
ている。

【０００６】しかし，この方式では，伝送エラーが発生
したりデータの一部が破棄されたりした場合には，以降
のフレームにもその影響が伝搬し，満足な動画像伝送が
できないという問題があった。

【０００７】この問題を解決し，モバイル環境に代表さ
れる高エラー環境下での高品質な画像通信を実現するこ
とを目的として，復号側が符号化側に対して参照画像を
指定する方式（例えばＨ．２６３ＡｎｎｅｘＮ）が提案
されている。図２０に，その第２の方式による符号化器
と復号器の構成例を示す。

【０００８】この第２の方式では，符号化器７０側と復
号器７５側の双方が複数の画像（通常，往復の伝送遅延
に相当する３〜９フレーム）を画像バッファ７３，７８
に蓄積しておき，復号側から符号化側にフレームごと
に，参照画像指定信号送信部７９によって，参照画像の
指定信号を含む異常信号あるいは正常信号を送る。この
とき異常信号，正常信号のいずれかを必ず送ってもよい
し，エラーが発生したときにだけ異常信号を送ってもよ
い。符号化器７０では，参照画像指定信号受信部７４に
よってこの異常信号を受信すると，符号化部７１は指定
された画像を画像バッファ７３から読み出して参照画像
として，次の送信対象のフレームの画像符号化データを
作成して送信する。エラーが発生した画像ではなく，復
号側が正常に復号しているフレームを参照画像とするこ
とで，フレーム間差分符号化を継続しながらエラーの波
及を防ぐことができる。

【０００９】また，従来，フレーム間差分符号化を用い
た画像符号化において，伝送ビットレートが小さい場合
などに，符号化側がフレーム間の誤差情報を利用して，
一部のフレームを間引くことにより符号化データ量を削
減するフレーム間引き技術が用いられている。そのフレ
ーム間引きの技術について簡単に説明する。図２１は，
そのフレーム間引きを行う符号化データ作成装置の構成
例を示す。

【００１０】符号化データ作成装置５０は，符号化器５
２により画像データを符号化し，動画像符号化データＸ
をフレーム間引き部５３へ送る。フレーム間引き部５３
では，動画像符号化データＸを符号化データバッファに
蓄積しておき，間引き制御部５１の制御により，伝送ビ
ットレートが小さい場合などに一部のフレームを間引
き，その動画像符号化データＸ’を送信する。

【００１１】

【発明が解決しようとする課題】図２０で説明した第２
の方式には，以下のような問題がある。

【００１２】（１）符号化側は，参照画像として指定さ
れる可能性のある画像を蓄積しておく必要があり，画像
データは画像符号化データよりも圧倒的にデータ量が大
きい（２０〜５０倍）ため，符号化側に大容量の参照用
の画像バッファ７３を用意しておく必要がある。

【００１３】（２）例えば図２２に示すように，送信装
置８０，中継サーバ８１，複数の受信装置８２〜８５か
らなる画像通信システムにおいて，送信装置８０に上記
第２の方式による画像符号化を用い，中継サーバ８１が
受信した画像符号化データを各受信装置８２〜８５に配
送する場合，各受信装置８２〜８５から要求される参照
画像が異なるため，中継サーバ８１は参照画像の指定信
号を送信装置８０へ通知し，送信装置８０は一つのフレ
ームに対して要求された数だけ異なる画像符号化データ
を作成して，中継サーバ８１へ送信する必要が生じる。
その結果，受信装置の数が増えると，送信装置８０の処
理負荷，送信装置８０と中継サーバ８１との間のデータ
送信量が増大し，中継サーバ８１を設置する意味がなく
なってしまう。

【００１４】（３）符号化装置と復号装置を同時に動作
させる必要があるため，予め画像符号化データを蓄積し
ておきそれを配信するような画像通信システムには適用
できない。

【００１５】

【課題を解決するための手段】本発明における第１の構
成では，第１の画像符号化データを入力として，参照画
像とする画像データそのものを蓄積せずに，復号装置か
ら指定された参照画像をもつ第２の画像符号化データに
変換して送信するために，図１の画像符号化データ送信
装置１４に示す通り，第１の画像符号化データを蓄積す
る蓄積部１５，復号装置２０から参照画像の指定信号を
受信する信号受信部１６，該指定信号に基づき，蓄積部
１５のデータに対して動き補償処理を行うことにより，
該第１の画像符号化データを参照画像の異なる第２の画
像符号化データに変換する変換部１７，該指定信号に基
づいて第１の画像符号化データまたは第２の画像符号化
データを選択して送信するデータ選択部１８を具備して
いる。

【００１６】また，本発明における第２の構成では，画
像符号化データを入力として，参照画像とする画像デー
タそのものを蓄積せずに，参照画像の異なる複数の画像
符号化データを予め作成して蓄積しておき，復号装置か
ら指定された参照画像をもつ画像符号化データを選択し
て出力するために，図３の画像符号化データ送信装置３
０に示す通り，参照画像の指定を変更しながら動き補償
処理を繰り返し行うことにより，第１の画像符号化デー
タを参照画像の異なる複数の第２の画像符号化データに
変換する変換部３１，この変換部３１で作成した複数の
第２の画像符号化データを蓄積する蓄積部３２，参照画
像の指定信号を受信する信号受信部３３，第１の画像符
号化データおよび複数の第２の画像符号化データの中か
ら参照画像の指定信号に基づいて選択したデータを送信
するデータ選択部３４を具備している。

【００１７】さらに，第２の構成では，図５の画像符号
化データ送信装置３０に示す通り，フレーム内符号化し
たイントラ符号化データを作成するイントラ符号化部３
５を具備することにより，例えば，消去済みのフレーム
が参照画像として指定された場合等にイントラ符号化デ
ータを送信することができるので，蓄積部３２に蓄積す
べき符号化データ数を削減することができる。

【００１８】請求項１，請求項６，請求項１１に係る本
発明の第１の構成の動作原理を，図１および図２を用い
て説明する。図１に示す符号化器１０は，画像データを
入力し，符号化部１１で画像バッファ１３に蓄積された
参照画像との差分情報を符号化する。画像符号化データ
は，画像符号化データ送信装置１４へ送られるととも
に，逆量子化部１２により逆量子化され，結果を後の符
号化で参照するために，画像バッファ１３に蓄積され
る。

【００１９】符号化器１０から画像符号化データ送信装
置１４に画像符号化データが入力されると（図２のＳ
１），変換部１７は，フレーム単位の画像符号化データ
に分解し，フレーム単位に以下を実行する（Ｓ２〜Ｓ
６）。

【００２０】まず，当該フレームを蓄積部１５に蓄積す
るとともに（Ｓ２），データ選択部１８に送る。このと
き，信号受信部１６が参照画像の指定信号（フレーム番
号）を受信すると（Ｓ３），変換部１７に対し，参照画
像のフレーム番号を指定して，当該フレームの画像符号
化データの変換を指示する。変換部１７は蓄積済みのデ
ータを用いて，当該フレームの画像符号化データに対し
て動き補償を行うことにより，指定されたフレームを参
照画像とする画像符号化データに変換し（Ｓ５），デー
タ選択部１８へ送る。信号受信部１６はデータ選択部１
８に対して，変換後の画像符号化データを選択するよう
指示する。データ選択部１８は変換後の画像符号化デー
タを復号装置２０へ送信する（Ｓ６）。

【００２１】信号受信部１６が参照画像の指定信号を受
信しなければ，信号受信部１６は，データ選択部１８に
入力時の画像符号化データを送信するよう指示する。デ
ータ選択部１８は入力時の画像符号化データを復号装置
２０へ送信する（Ｓ４）。

【００２２】変換部１７では，蓄積部１５のデータを用
いて，当該フレームの画像符号化データに対して，動き
補償処理（動きベクトル信号，動き補償信号の再編成）
を行い，参照画像の異なる画像符号化データに変換す
る。その際，図２１で説明したようなフレーム間引き技
術，すなわちフレーム間差分符号化を用いた画像符号化
において，伝送ビットレートが小さい場合などに，符号
化側がフレーム間の誤差情報を利用して，一部のフレー
ムを間引くことにより符号化データ量を削減するフレー
ム間引き技術を利用することが可能である。

【００２３】例えば，「フレームレート変換トランスコ
ーダの検討」（田治米他，１９９８年電子情報通信学会
総合大会）では，予測誤差信号に動きベクトルを用いて
動き補償処理を行い，その結果と動きベクトルを蓄積し
ておくことにより画像が復号できることに着目して，フ
レーム間引きを行う。つまり，処理済みのフレームに対
する動きベクトルと予測誤差信号に対する動き補償結果
を蓄積しておく。処理対象のフレームの画像符号化デー
タに対して，動きベクトルを取り出すとともに，予測誤
差信号を逆量子化する。次に，逆量子化した信号に対し
て，蓄積した動きベクトル，動き補償結果を用いて，周
波数領域で動き補償処理を行い，間引きしないフレーム
を参照画像とするように動きベクトル，予測誤差信号の
再編成を行う。その結果を再度量子化し，動きベクトル
と多重化して出力するとともに，動き補償結果および動
きベクトルを蓄積する。

【００２４】以上は，後述する本発明の第２，第３，第
４の構成における変換部についても同様である。

【００２５】一方，復号装置２０は，フレーム単位に画
像符号化データを受信すると，まず，誤り検出部２１に
おいて，受信した画像符号化データの伝送エラー等をチ
ェックする。誤り検出部２１が誤りを検出すると，その
結果を参照画像指定信号送信部２４へ送る。参照画像指
定信号送信部２４は画像蓄積部（画像バッファ）２３を
参照し，すでに復号済みの画像データを選択して，その
画像のフレーム番号を画像符号化データ送信装置１４へ
送信し，当該フレームの復号は行わない。

【００２６】誤り検出部２１が誤りを検出しないとき
は，受信した画像符号化データを復号部２２へ送り，復
号部２２は，画像蓄積部２３に格納した復号済みの画像
データを参照して当該フレームの画像符号化データを復
号し，復号した画像データを画像蓄積部２３へ蓄積する
とともに出力する。

【００２７】なお，復号装置２０が復号の成否に応じ
て，正常信号または参照画像の指定信号を信号受信部１
６へ送信するようにしてもよいし，エラー等が発生した
場合にだけ参照画像の指定信号を送信し，信号受信部１
６は一定時間内に参照画像の指定信号を受信しなけれ
ば，受信なしとみなすようにしてもよい。

【００２８】また，図１では，画像符号化データ送信装
置１４は，符号化器１０から出力される画像符号化デー
タを入力としているが，予め蓄積しておいた画像符号化
データを入力としてもよい。

【００２９】例えば，リアルタイム画像の通信の場合は
以下のように動作する。リアルタイム画像の通信におけ
る手順としては，まず，画像データを符号化する符号化
器１０から得られる符号化データを，受信側の復号装置
２０に送信する一方で，予め蓄積部１５に蓄積してお
く。復号装置２０では，受信した符号化データを復号部
２２にて復号し，参照画像として指定する画像を画像蓄
積部２３に蓄積し，参照画像指定信号送信部２４にてそ
のフレーム番号を送信側の画像符号化データ送信装置１
４に送信する。送信側では，信号受信部１６にてフレー
ム番号を受信すると，変換部１７は蓄積部１５に蓄積し
てある符号化データを用いて，指定された画像を参照画
像にするように設定し最新の時刻の符号化データを作成
する。作成した符号化データを受信側の復号装置２０に
送信する。復号装置２０では，その符号化データを受信
すると，画像蓄積部２３に蓄積してある画像を参照画像
に用いて符号化データを復号する。

【００３０】また，蓄積データの通信の場合は以下のよ
うに動作する。蓄積データの通信における手順として
は，符号化器１０にて符号化された画像符号化データ
は，すでに蓄積されているので，リアルタイム画像の通
信の場合と同様に，受信側から指定される画像を参照画
像にするように，蓄積してある符号化データに対してフ
レーム間引きを行う。送信側は参照画像を変更した符号
化データを受信側の復号装置２０に送信し，復号装置２
０はその符号化データを画像蓄積部２３に蓄積してある
画像を用いて復号する。これらの手順に関して，中継サ
ーバを利用した符号化データの配信の場合には，フレー
ム間引きを中継サーバが行うことによって，符号化器か
ら中継サーバまでの通信量を増加することなく実行する
ことができる。

【００３１】以上説明した画像符号化データ送信装置１
４の各手段を計算機によって実現するためのプログラム
は，計算機が読み取り可能な可搬媒体メモリ，半導体メ
モリ，ハードディスクなどの適当な記録媒体に格納する
ことができる。

【００３２】以上に示したように，本発明の第１の構成
では，次の作用効果がある。画像符号化データを蓄積す
るための符号化データ蓄積部のみを用意すればよく，画
像データを蓄積するための大量の画像メモリが不要とな
る。また，画像符号化データを入力として，それらを復
号せずに画像符号化データの変換が可能なので，画像デ
ータベースのように予め画像データを符号化して蓄積し
ておいた画像符号化データを用いた画像通信システムに
適用することができる。

【００３３】次に，請求項２，請求項７，請求項１２に
係る本発明の第２の構成を図３および図４を用いて説明
する。図３の画像符号化データ送信装置３０に画像符号
化データが入力されると（図４のＳ１０），フレーム単
位に以下を実行する（Ｓ１１〜Ｓ１３）。

【００３４】まず，当該フレームの画像符号化データを
変換部３１およびデータ選択部３４へ送る。変換部３１
は，まず当該フレームの画像符号化データをフレーム単
位に分解し，変換部３１内に蓄積する。次に，変換部３
１内に蓄積済みの画像符号化データの各フレームを参照
画像として変更しながら，当該フレームの画像符号化デ
ータに対して動き補償を繰り返し行うことにより，参照
画像の異なる複数の画像符号化データを作成し，蓄積部
３２に蓄積する（Ｓ１１）。

【００３５】このとき，信号受信部３３が参照画像の指
定信号（フレーム番号）を受信すると（Ｓ１２），デー
タ選択部３４に対して，参照画像のフレーム番号を指定
し，該当する画像符号化データを送信するよう指示す
る。データ選択部３４は，蓄積部３２から該当する画像
符号化データを選択して復号装置２０へ送信する（Ｓ１
３）。

【００３６】信号受信部３３が参照画像の指定信号を受
信しなければ，データ選択部３４に対して，入力時の当
該フレームの画像符号化データを送信するよう指示す
る。データ選択部３４は，入力時の当該フレームの画像
符号化データを復号装置２０へ送信する。

【００３７】例えば，変換部３１に，Ｆ１，Ｆ２，Ｆ３
の３フレーム分の入力画像符号化データが蓄積され，蓄
積部３２に，Ｆ１３，Ｆ２３（Ｆｉｊはフレームｉを参
照画像とするフレームｊの画像符号化データ）が蓄積さ
れているとき，フレームＦ４が入力されると，変換部３
１はＦ４を変換部３１に蓄積するとともに，蓄積済みの
Ｆ１，Ｆ２，Ｆ３を用いて，Ｆ４をＦ１４，Ｆ２４，Ｆ
３４へ変換し，蓄積部３２のＦ１２，Ｆ１３を削除し
て，Ｆ１４，Ｆ２４，Ｆ３４を蓄積する。

【００３８】信号受信部３３が復号装置２０から参照画
像の指定信号を受信すると，Ｆ１４〜Ｆ３４からその指
定信号（フレーム番号）に応じた画像符号化データを選
択して送信する。信号受信部３３が復号装置２０から参
照画像の指定信号を受信しなければ，Ｆ４をそのまま送
信する。復号装置２０の動作は，図１で説明した本発明
の第１の構成の場合と全く同じである。

【００３９】なお，図３では，画像符号化データ送信装
置３０は，符号化器１０から出力される画像符号化デー
タを入力としているが，予め蓄積しておいた画像符号化
データを入力としてもよい。

【００４０】例えば，リアルタイム画像の通信の場合は
以下のように動作する。リアルタイム画像の通信におけ
る手順としては，まず，画像データを符号化する符号化
器１０から得られる符号化データを，受信側の復号装置
２０に送信する一方で，この符号化データから，変換部
３１は，間引くフレーム数を変更しながら，異なる参照
画像に対する最新時刻の符号化データを予め作成してお
く。復号装置２０では，受信した符号化データを復号
し，参照画像として指定する画像を画像蓄積部２３に蓄
積し，参照画像指定信号送信部２４にてそのフレーム番
号を，画像符号化データ送信装置３０に送信する。画像
符号化データ送信装置３０では，信号受信部３３にてフ
レーム番号を受信すると，予め作成して蓄積部３２に蓄
積してある符号化データのうち，参照画像の該当する符
号化データを選択し，受信側に送信する。復号装置２０
では，その符号化データを受信すると画像蓄積部２３に
蓄積してある画像を参照画像に用いて符号化データを復
号する。

【００４１】また，蓄積データの通信の場合は以下のよ
うに動作する。蓄積データの通信における手順として
は，予め蓄積されている符号化データから，リアルタイ
ム画像の通信の場合と同様に，変換部３１は，間引くフ
レーム数を変更しながら，異なる参照画像に対する最新
時刻の符号化データを予め作成しておく。画像符号化デ
ータ送信装置３０は，受信側の復号装置２０から指定さ
れた画像を参照画像にする符号化データを選択して受信
側に送信し，復号装置２０はその符号化データを画像蓄
積部２３に蓄積してある画像を用いて復号する。これら
の手順に関して，中継サーバを利用した符号化データの
配信の場合には，フレーム間引きを中継サーバが行うこ
とによって，符号化器から中継サーバまでの通信量を増
加することなく実行することができる。

【００４２】以上によって，参照画像バッファを増加す
ることなく，蓄積データの送信にも有効に対応でき，中
継サーバを有効に経由することができる。複数の参照画
像を蓄積するためのバッファが必要ないことは言うまで
もない。

【００４３】以上説明した画像符号化データ送信装置３
０の各手段を計算機によって実現するためのプログラム
は，計算機が読み取り可能な可搬媒体メモリ，半導体メ
モリ，ハードディスクなどの適当な記録媒体に格納する
ことができる。

【００４４】以上に示したように，本発明の第２の構成
では，参照画像の異なる画像符号化データを予め作成し
ておくので，第１の構成で示した効果に加えて，送信す
べき復号装置２０の数が増えても，画像符号化データの
変換に要する時間が変わらないという作用効果がある。

【００４５】請求項３，請求項８，請求項１３に係る本
発明の第３の構成は，図５および図６に示す通り，第２
の構成に画像符号化データを入力してフレーム内符号化
処理を行うイントラ符号化部３５を追加したものであ
る。

【００４６】図５の画像符号化データ送信装置３０に画
像符号化データが入力されると（図６のＳ２０），フレ
ーム単位に以下を実行する（Ｓ２１〜Ｓ２７）。まず，
当該フレームを変換部３１，イントラ符号化部３５およ
びデータ選択部３４に送る。変換部３１は，まず当該フ
レームの画像符号化データを変換部３１内に蓄積する。
次に，変換部３１内に蓄積済みの画像符号化データの各
フレームを参照画像として変更しながら，当該フレーム
の画像符号化データに対して動き補償を繰り返し行うこ
とにより，参照画像の異なる複数の画像符号化データを
作成し，蓄積部３２に蓄積する（Ｓ２１）。

【００４７】イントラ符号化部３５は，フレーム内符号
化処理を行って，当該フレームのイントラ符号化データ
を作成し，蓄積部３２に蓄積する（Ｓ２２）。

【００４８】このとき，信号受信部３３が参照画像の指
定信号（フレーム番号）を受信すると（Ｓ２３），デー
タ選択部３４に対して，参照画像のフレーム番号を指定
し，該当する当該フレームの画像符号化データを送信す
るよう指示する。データ選択部３４は，信号受信部３３
から参照画像を指定されたとき，該当する画像符号化デ
ータがあるかどうか蓄積部３２をチェックする（Ｓ２
５）。該当する画像符号化データが蓄積部３２にあれ
ば，それを選択して復号装置２０へ送信する（Ｓ２
７）。なければイントラ符号化データを選択して復号装
置２０へ送信する（Ｓ２６）。

【００４９】信号受信部３３が参照画像の指定信号を受
信しなければ，データ選択部３４に対して，入力時の当
該フレームの画像符号化データを送信するよう指示す
る。データ選択部３４は，入力時の当該フレームの画像
符号化データを復号装置２０へ送信する（Ｓ２４）。

【００５０】例えば，変換部３１に，Ｆ１，Ｆ２，Ｆ３
の３フレーム分の入力画像符号化データが蓄積され，蓄
積部３２に，Ｆ１３，Ｆ２３，Ｆ３３（Ｆｉｊはフレー
ムｉを参照画像とするフレームｊの画像符号化データ，
Ｆｉi はフレームｉのイントラ符号化データ）が蓄積さ
れている場合を考える。

【００５１】フレームＦ４が入力されると，変換部３１
はＦ４を変換部３１に蓄積するとともに，蓄積済みのＦ
１，Ｆ２，Ｆ３を用いてＦ４をＦ１４，Ｆ２４，Ｆ３４
へ変換し，蓄積部３２のＦ１２，Ｆ１３を削除してＦ１
４，Ｆ２４，Ｆ３４を蓄積する。また，イントラ符号化
部３５はＦ４４を作成して蓄積部３２に蓄積する。

【００５２】信号受信部３３が復号装置２０から参照画
像の指定信号を受信すると，Ｆ１４〜Ｆ３４からその指
定信号（フレーム番号）に応じた画像符号化データを選
択して送信する。変換部３１が削除済みのフレームを参
照画像として指定された場合（例えばＦ０４）には，Ｆ
４４を選択して送信する。信号受信部３３が復号装置２
０から参照画像の指定信号を受信しなければ，Ｆ４をそ
のまま送信する。復号装置２０の動作は，前述した本発
明の第１の構成の場合と同じである。

【００５３】以上説明した本発明の第３の構成に係る画
像符号化データ送信装置３０の各手段を計算機によって
実現するためのプログラムは，計算機が読み取り可能な
可搬媒体メモリ，半導体メモリ，ハードディスクなどの
適当な記録媒体に格納することができる。

【００５４】以上，示したように，第３の構成では，復
号装置２０から指定された参照画像をもつ画像符号化デ
ータが蓄積されていない場合にも対処することができ，
蓄積部３２のメモリ量をさらに削減できるという作用効
果がある。

【００５５】請求項４，請求項９，請求項１４に係る本
発明の第４の構成は，図７および図８に示す通り，本発
明の第２および第３の構成を，図２２に示すような画像
通信システムにおける中継サーバ８１に適用したもので
ある。

【００５６】図７の画像符号化データ送信装置３０に画
像符号化データが入力されると（図８のＳ３０），フレ
ーム単位に以下を実行する（Ｓ３１〜Ｓ３７）。まず，
当該フレームを変換部３１，イントラ符号化部３５およ
びデータ選択部３４に送る。変換部３１は，まず当該フ
レームの画像符号化データを変換部３１内に蓄積する。
次に，変換部３１内に蓄積済みの画像符号化データの各
フレームを参照画像として変更しながら，当該フレーム
の画像符号化データに対して動き補償を繰り返し行うこ
とにより，参照画像の異なる複数の画像符号化データを
作成し，蓄積部３２に蓄積する（Ｓ３１）。

【００５７】イントラ符号化部３５は，フレーム内符号
化処理を行って，当該フレームのイントラ符号化データ
を作成し，蓄積部３２に蓄積する（Ｓ３２）。

【００５８】復号装置から参照画像の指定信号および送
信先の指定信号を受信しなければ（Ｓ３３），データ選
択部３４は，入力時の画像符号化データを各復号装置２
０，２０’…に対して送信する（Ｓ３４）。

【００５９】図７に破線で示すように，ある復号装置２
０から上記２つの信号を受信すると，データ選択部３４
は，該当する画像符号化データがあるかどうか蓄積部３
２をチェックする（Ｓ３５）。該当する画像符号化デー
タが蓄積部３２にあれば，それを選択して復号装置２０
へ送信する（Ｓ３７）。なければイントラ符号化データ
を選択して復号装置２０へ送信する（Ｓ３６）。また，
入力時の画像符号化データをその他の復号装置へ送信す
る。

【００６０】例えば，図７に示す画像符号化データ送信
装置３０をＡ，イントラ符号化部をもたない第２の構成
を適用した中継サーバをＢ，２台の復号装置をＣ，Ｄと
する構成で，各復号装置が参照画像の指定信号を含む異
常信号または正常信号を中継サーバへ送信する場合を考
える。

【００６１】いま，変換部３１に，Ｆ１，Ｆ２，Ｆ３の
３フレーム分の入力画像符号化データが蓄積され，蓄積
部３２に，Ｆ１３，Ｆ２３，（Ｆｉｊはフレームｉを参
照画像とするフレームｊの画像符号化データ）が蓄積さ
れており，２台の復号装置Ｃ，Ｄへ第３フレームの画像
符号化データＦ３を送信し，復号装置Ｃでエラーが発生
し，復号装置Ｄで正常受信した場合のフローを図９に示
す。

【００６２】このように，画像通信システムの中継サー
バに適用すれば，参照画像を変更した符号化データの変
換および配信を中継サーバで実行することができるの
で，受信装置の数が増えても送信装置から中継サーバへ
の通信量が増加しないという作用効果がある。

【００６３】

【発明の実施の形態】〔本発明の第１の実施の形態〕本
発明に係る装置と復号装置との１対１通信の実施の形態
について図面を参照して説明する。受信側は，送信側に
て蓄積メディアに蓄積してある符号化したデータを，無
線伝送路などの伝送エラーの載る通信路を介して受信
し，リアルタイムに復号画像を出力するために，誤りの
載ったデータの再送を行わない場合の例である。また，
本実施の形態では，符号化データに誤りが載った場合に
は，指定した参照画像の符号化データを受信するまで復
号処理を行わないとする。

【００６４】符号化方式はＭＰＥＧ−２を用いており，
第１フレームをＩフレームで符号化し，その他のフレー
ムをＰフレームで符号化してある，すなわち直前のフレ
ームを参照画像にしているものとする。送信側と受信側
との遅延時間は１フレームとする。

【００６５】図１０は，本発明の第１の実施の形態の構
成を示す。本実施の形態では，送信側に，符号化データ
蓄積部１０１に蓄積されている符号化データを符号化デ
ータ間引き部１０２に送信するのか，直接受信側に送信
するのかを変更する符号化データ変更手段１０４と，符
号化データ蓄積部１０１に蓄積してある符号化データを
フレーム間引きを行わずに送信する符号化データ送信部
１１１と，受信側からフレーム間引きを実行する信号を
受信する間引き実行受信部１１２と，間引きを行ったこ
とを伝える間引き実行確認信号を送信する間引き実行確
認送信部１１３と，送信側からの符号化データと信号を
多重化する送信側多重化部１１６とを備える。

【００６６】受信側には，受信した符号化データに誤り
が載っているかどうかを検出する誤り検出部１０６と，
送信側にフレーム間引きを行うことを指定する間引き実
行指定部１０５と，間引きを実行したことを確認する間
引き実行確認信号を受信する間引き実行確認受信部１１
４と，受信した符号化データを誤り検出部１０６に送信
するかどうかを変更するデータ受信変更手段１１５と，
受信したデータを符号化データと信号に分解する受信側
多重化部１１７とを備える。

【００６７】本実施の形態では，参照画像を指定する手
段は，復号した画像の番号を蓄積する復号画像指定部１
１０と，復号画像指定部１１０に蓄積してあるフレーム
番号を送信する参照画像指定送信部１０７とで構成され
る。

【００６８】送信側では，符号化データ変更手段１０４
は，受信側からフレーム間引きを実行する信号である間
引き実行信号を受信すると，受信直後の符号化データ送
信部１１１からの符号化データを送信することを停止す
るように変更され，次の符号化データに関しては，符号
化データ送信部１１１からの符号化データを送信するよ
うに変更される。初期状態は，符号化データ送信部１１
１から符号化データを送信する方向になっているものと
する。間引き実行確認送信部１１３は，符号化データの
間引きが行われると，間引き実行確認信号を送信する。

【００６９】受信側では，誤り検出部１０６は，一度符
号化データに誤りを検出すると，復号部１０８に符号化
データを送信せず，データ受信変更手段１１５を変更
し，符号化データを誤り検出部１０６に入力しない。間
引き実行確認受信部１１４は，間引き実行確認信号を受
信すると，データ受信変更手段１１５を変更し，符号化
データを誤り検出部１０６に入力する。参照画像指定送
信部１０７は，誤り検出部１０６にて誤りが検出される
と，復号画像指定部１１０に蓄積されているフレーム番
号を送信する。間引き実行指定部１０５は，誤り検出部
１０６にて誤りが検出されると，送信側にフレーム間引
きを実行させる間引き実行信号を送信する。

【００７０】送信側多重化部１１６で多重化され，受信
側多重化部１１７で分解されるデータのうち，送信側か
ら受信側に送信されるデータは，符号化データ送信部１
１１から送信される符号化データまたは符号化データ間
引き部１０２から送信される符号化データに続き，間引
きを行った場合には間引き実行確認信号となる。このデ
ータフォーマットを，図１１に示す。他方，受信側から
送信側に送信されるデータは，間引き実行指定部１０５
から送信される間引き実行信号に続き，参照画像指定送
信部１０７から送信されるフレーム番号となる。このデ
ータフォーマットを，図１２に示す。

【００７１】以上の構成のもと，第１フレームの符号化
データから通信を開始し，第２フレームにて伝送エラー
が載り，受信側が，エラーの載っていない第１フレーム
を参照画像に指定するものとする。このときの第１フレ
ームから第５フレームを送信するまでの例を説明する。
図１３は，本実施の形態の送信側と受信側の動作フロー
を表すものである。送信側にてフレーム単位に符号化デ
ータを読み出す時刻に実行される処理をＳＴＥＰにて表
すこととする。

【００７２】ＳＴＥＰ１にて，第１フレームを読み出す
時には，送信側では，符号化データ送信部１１１は，符
号化データ蓄積部１０１から第１フレームの符号化デー
タを読み出す。符号化データ変更手段１０４は符号化デ
ータ送信部１１１から符号化データを送信する方向にな
っているため，符号化データ送信部１１１から送信側多
重化部１１６に符号化データは送信される。送信側多重
化部１１６は，符号化データのみ受信側に送信する。

【００７３】ＳＴＥＰ２にて，第２フレームを読み出す
時には，送信側では，符号化データ送信部１１１は，符
号化データ蓄積部１０１から第２フレームの符号化デー
タを読み出す。符号化データ変更手段１０４は，符号化
データ送信部１１１から符号化データを送信する方向に
なっているため，符号化データ送信部１１１から送信側
多重化部１１６に符号化データは送信される。送信側多
重化部１１６は，符号化データのみ受信側に送信する。
一方，受信側では，この時点で第１フレームの符号化デ
ータを受信する。受信側多重化部１１７は，データ受信
変更手段１１５が受信した符号化データを誤り検出部１
０６に入力するようになっているため，符号化データを
誤り検出部１０６に送信する。誤り検出部１０６は誤り
を検出しないので，復号部１０８に符号化データを送信
する。復号部１０８は，Ｉフレームであるため参照画像
を利用せずに符号化データを復号し，画像蓄積部１０９
に蓄積する。復号された画像のフレーム番号１は，復号
画像指定部１１０に蓄積される。受信側多重化部１１７
は，送信側には何も送信しない。

【００７４】ＳＴＥＰ３にて，第３フレームを読み出す
時には，送信側では，符号化データ送信部１１１は，符
号化データ蓄積部１０１から第３フレームの符号化デー
タを読み出す。符号化データ変更手段１０４は，符号化
データ送信部１１１から符号化データを送信する方向に
なっているため，符号化データ送信部１１１から送信側
多重化部１１６に符号化データは送信される。送信側多
重化部１１６は，符号化データのみ受信側に送信する。
一方，受信側では，この時点で第２フレームの符号化デ
ータを受信する。受信側多重化部１１７は，データ受信
変更手段１１５が受信した符号化データを誤り検出部１
０６に入力するようになっているため，符号化データを
誤り検出部１０６に送信する。誤り検出部１０６は誤り
を検出するので，復号部１０８に符号化データを送信し
ない。また，データ受信変更手段１１５を，符号化デー
タを誤り検出部１０６に入力しないように変更する。そ
して，参照画像指定送信部１０７は誤りが検出されたの
で，復号画像指定部１１０に蓄積してあるフレーム番号
１を受信側多重化部１１７に送信する。間引き実行指定
部１０５は，誤りが検出されたので，受信側多重化部１
１７に間引き実行信号を送信する。受信側多重化部１１
７は，間引き実行信号とフレーム番号１のフレーム番号
を送信する。

【００７５】ＳＴＥＰ４にて，第４フレームを読み出す
時には，送信側では，符号化データ送信部１１１は，符
号化データ蓄積部１０１から第４フレームの符号化デー
タを読み出す。送信側多重化部１１６は，間引き実行信
号を間引き実行受信部１１２に送信し，フレーム番号を
画像指定信号受信部１０３に送信する。間引き実行受信
部１１２は，受信側にて第２フレームに対して行われ
た，間引き実行信号を受信すると，符号化データ送信部
１１１から符号化データを送信しないように変更する。
画像指定信号受信部１０３がフレーム番号１を受信する
と，符号化データ間引き部１０２は，フレーム番号１か
らフレーム番号４までの符号化データを符号化データ蓄
積部１０１から読み込み，フレーム番号１の画像を参照
画像にしたフレーム番号４の符号化データを作成するよ
うに，フレーム間引き処理を行い，符号化データを送信
側多重化部１１６に送信する。間引き実行確認送信部１
１３は，間引き実行確認信号を送信側多重化部１１６に
送信する。送信側多重化部１１６は，符号化データと間
引き実行確認信号を受信側に送信する。一方，受信側で
は，この時点で第３フレームの符号化データを受信す
る。受信側多重化部１１７は，データ受信変更手段１１
５が受信した符号化データを誤り検出部１０６に入力す
るようになっていないため，符号化データを誤り検出部
１０６に送信しない。受信側多重化部１１７は送信側に
何も送信しない。

【００７６】ＳＴＥＰ５にて，第５フレームを読み出す
時には，送信側では，符号化データ送信部１１１は，符
号化データ蓄積部１０１から第５フレームの符号化デー
タを読み出す。符号化データ変更手段１０４は符号化デ
ータ送信部１１１から符号化データを送信する方向にな
っているため，符号化データ送信部１１１から送信側多
重化部１１６に符号化データは送信される。送信側多重
化部１１６は，符号化データのみ受信側に送信する。一
方，受信側では，この時点で第４フレームの符号化デー
タを受信する。受信側多重化部１１７は，間引き実行確
認受信部１１４に間引き実行確認信号を送信する。間引
き実行確認受信部１１４は，データ受信変更手段１１５
を，符号化データを誤り検出部１０６に入力するように
変更する。誤り検出部１０６は誤りを検出しないため，
受信した符号化データを復号部１０８に送信する。復号
部１０８では，画像蓄積部１０９に蓄積された第１フレ
ームの復号画像を参照画像にして，符号化データを復号
する。復号した画像は，画像蓄積部１０９に蓄積する。
復号された画像のフレーム番号４は復号画像指定部１１
０に蓄積される。受信側多重化部１１７は送信側に何も
送信しない。

【００７７】本実施の形態では，符号化データ蓄積部１
０１に予め蓄積された符号化データに対して，フレーム
間引き処理を行って参照画像を変更し，受信側にて蓄積
された復号画像を参照して復号することができる。

【００７８】以上では簡潔にするため，符号化したフレ
ームをＩフレームとＰフレームのみとして説明したが，
図１０の実施の形態はこれに限るものではなく，Ｂフレ
ームなどを混合した符号化データに対しても適用でき，
効果的なフレーム間引き処理を用いた参照画像の変更が
できることは言うまでもない。さらに，本実施の形態で
は，ＭＰＥＧ−２符号化方式を利用したが，符号化方式
はこれに限定されるものではなく，一般的にフレーム単
位に符号化を行う符号化方式であれば同様に適用可能で
あることは言うまでもない。

【００７９】〔本発明の第２の実施の形態〕本発明によ
る装置を画像通信システムにおける中継サーバに適用
し，複数の受信装置（復号装置）と通信する場合の例
を，図面を参照して説明する。

【００８０】この第２の実施の形態は，１つの画像符号
化サーバと１つの中継サーバと２つのクライアントとか
ら構成されるネットワークにおいて，符号化データの配
信中に伝送エラーが発生すると，中継サーバにてフレー
ム間引きを行い，２つのクライアントに対して独立に参
照画像変更による誤りからの回復を行うシステムの例で
ある。この例では，受信側からの参照画像の指定を受け
る前に，予めフレーム間引きを行った符号化データを作
成しておくが，その他に中継サーバでは受信した符号化
データを用いてイントラ符号化した符号化データを作成
しておくものとする。

【００８１】符号化方式はＨ．２６３を用いており，画
像符号化サーバでは，第１フレームをＩフレームで符号
化し，その他のフレームをＰフレームで符号化してある
ものとする。すなわち，直前のフレームを参照画像にし
ているものとする。本実施の形態では，画像符号化サー
バは符号化直後に中継サーバに符号化データを送信し，
中継サーバは受信した符号化データを直接もしくはフレ
ーム間引きを行ってクライアントに送信する。中継サー
バと各クライアントとの遅延時間は１フレームとする。
中継サーバと２つのクライアントにのみ着目して説明を
行う。

【００８２】本実施の形態では，符号化データに誤りが
載った場合には，指定した参照画像の符号化データを受
信するまで復号処理を行わないとする。また，中継サー
バは，入力された符号化データに対してフレーム間引き
処理を行い，続いてクライアント１からの信号に従って
符号化データを送信し，続いてクライアント２からの信
号に従って符号化データを送信するものとする。クライ
アント２への符号化データの送信が終わった後で，次の
フレームの符号化データを入力するものとする。

【００８３】図１４は，本発明の第２の実施の形態の構
成を示す。本実施の形態では，中継サーバに，入力され
る符号化データを蓄積する符号化データ送信部２０１
と，符号化データ送信部２０１に蓄積された符号化デー
タを送信側多重化部２１２に送信するのかしないのかを
変更する符号化データ変更手段２０２と，各クライアン
トからフレーム間引きを実行する信号を受信する間引き
実行受信部２０３と，間引きを行った符号化データを送
信することを伝える間引き実行確認信号を送信する間引
き実行確認送信部２０５と，中継サーバからの符号化デ
ータと信号を多重化する送信側多重化部２１２と，入力
される符号化データから，最新のフレームのイントラ符
号化された符号化データを作成するイントラ符号化部２
０９と，２つのクライアントに対して，クライアント１
に符号化データを送信するのか，クライアント２に送信
するのか，またはどちらにも送信するのかを変更する受
信側選択手段２１３と，２つのクライアントのうちのど
ちらに対する符号化データなのかを指定する信号である
受信側指定信号を受信し，受信側選択手段２１３を変更
する受信側指定信号受信部２１１とを備える。

【００８４】また，クライアント１に，受信した符号化
データに誤りが載っているかどうかを検出する誤り検出
部(1) ２１７と，中継サーバにフレーム間引きを行うこ
とを指定する間引き実行指定部(1) ２１５と，間引きを
実行したことを確認する間引き実行確認信号を受信する
間引き実行確認受信部(1) ２１９と，受信した符号化デ
ータを誤り検出部(1) ２１７に送信するかどうかを変更
するデータ受信変更手段(1) ２１６と，受信したデータ
を符号化データと信号に分解する受信側多重化部(1) ２
１４とを備える。クライアント２に，受信した符号化デ
ータに誤りが載っているかどうかを検出する誤り検出部
(2) ２２６と，中継サーバにフレーム間引きを行うこと
を指定する間引き実行指定部(2) ２２４と，間引きを実
行したことを確認する間引き実行確認信号を受信する間
引き実行確認受信部(2) ２３１と，受信した符号化デー
タを誤り検出部(2) ２２６に送信するかどうかを変更す
るデータ受信変更手段(2) ２２８と，受信したデータを
符号化データと信号に分解する受信側多重化部(2) ２２
５とを備える。

【００８５】本実施の形態では，クライアント１の参照
画像の指定部は，復号した画像の番号を蓄積する復号画
像指定部(1) ２２３と，復号画像指定部(1) ２２３に蓄
積してあるフレーム番号を送信する参照画像指定送信部
(1) ２２０とで構成され，クライアント２の参照画像の
指定部は，復号した画像の番号を蓄積する復号画像指定
部(2) ２３０と，復号画像指定部(2) ２３０に蓄積して
あるフレーム番号を送信する参照画像指定送信部(2) ２
３２とで構成される。

【００８６】中継サーバの符号化データ間引き部２０６
は，１フレームの間引きを行うＣ１と，２フレームの間
引きを行うＣ２と，３フレームの間引きを行うＣ３とで
構成され，符号化データ蓄積部２０７は，１フレームの
間引きを行った符号化データを蓄積するＭ１と，２フレ
ームの間引きをった符号化データを蓄積するＭ２と，３
フレームの間引きを行った符号化データを蓄積するＭ３
と，イントラ符号化部２０９にてイントラ符号化された
符号化データを蓄積するＭ４とで構成される。符号化デ
ータ間引き部２０６のＣ１とＣ２とＣ３は，フレーム間
引きを行うために使用する符号化データを蓄積すること
ができるものとする。

【００８７】本実施の形態において，中継サーバでは，
間引き実行確認送信部２０５は，符号化データの間引き
が行われると，間引き実行確認信号を送信する。受信側
指定信号受信部２１１は，２つのクライアントのうち，
どちらに符号化データと信号を送信するのかを指定する
受信側指定信号を受信すると，受信側選択手段２１３
を，指定されたクライアント側にデータを送信するよう
に変更する。受信側指定信号を受信しない場合には，両
方のクライアントに符号化データを送信する。

【００８８】符号化データ選択手段２０８は，符号化デ
ータ蓄積部２０７に蓄積された，フレーム間引きされた
符号化データのみを選択するだけではなく，イントラ符
号化部２０９にてイントラ符号化された符号化データも
選択できるものとする。符号化データ変更手段２０２
は，受信側指定信号受信部２１１が受信側指定信号を受
信し，フレーム間引きを実行する信号である間引き実行
信号を受信すると，符号化データ送信部２０１からの符
号化データを送信することを停止するように変更され，
受信側指定信号受信部２１１が受信側指定信号を受信
し，フレーム間引きを実行する信号である間引き実行信
号を受信しないと，符号化データ送信部２０１からの符
号化データを送信するように変更される。初期状態は，
符号化データ送信部２０１の符号化データを送信する方
向になっているものとする。

【００８９】また，符号化データ送信部２０１と，符号
化データ蓄積部２０７のＭ１とＭ２とＭ３とＭ４に蓄積
された符号化データは，次のフレームの符号化データを
入力するまで保持され，次のフレームの符号化データを
入力した場合には破棄されるものとする。

【００９０】クライアント１では，誤り検出部(1) ２１
７は，一度符号化データに誤りを検出すると，復号部
(1) ２１８に符号化データを送信せず，データ受信変更
手段(1) ２１６を変更し，符号化データを誤り検出部
(1) ２１７に入力しない。間引き実行確認受信部(1) ２
１９は，間引き実行確認信号を受信すると，データ受信
変更手段(1) ２１６を変更し，符号化データを誤り検出
部(1) ２１７に入力する。参照画像指定送信部(1) ２２
０は，誤り検出部(1) ２１７にて誤りが検出されると，
復号画像指定部(1) ２２３に蓄積されているフレーム番
号を送信する。間引き実行指定部(1) ２１５は，誤り検
出部(1) ２１７にて誤りが検出されると，送信側にフレ
ーム間引きを実行させる間引き実行信号を送信する。受
信側指定信号送信部(1) ２２１は，クライアント１が中
継サーバに各信号を送信する際に，信号がクライアント
１のものであることを示す受信側指定信号を送信する。

【００９１】クライアント２では，誤り検出部(2) ２２
６は，一度符号化データに誤りを検出すると，復号部
(2) ２２７に符号化データを送信せず，データ受信変更
手段(2) ２２８を変更し，符号化データを誤り検出部
(2) ２２６に入力しない。間引き実行確認受信部(2) ２
３１は，間引き実行確認信号を受信すると，データ受信
変更手段(2) ２２８を変更し，符号化データを誤り検出
部(2) ２２６に入力する。参照画像指定送信部(2) ２３
２は，誤り検出部(2) ２２６にて誤りが検出されると，
復号画像指定部(2) ２３０に蓄積されているフレーム番
号を送信する。間引き実行指定部(2) ２２４は，誤り検
出部(2) ２２６にて誤りが検出されると，送信側にフレ
ーム間引きを実行させる間引き実行信号を送信する。受
信側指定信号送信部(2) ２０４は，クライアント２が中
継サーバに各信号を送信する際に，信号がクライアント
２のものであることを示す受信側指定信号を送信する。

【００９２】送信側多重化部２１２で多重化され，受信
側多重化部(1) ２１４または受信側多重化部(2) ２２５
で分解されるデータのうち，中継サーバからクライアン
トに送信されるデータは，符号化データ送信部２０１か
ら送信される符号化データまたは符号化データ間引き部
２０６にてフレーム間引きされた符号化データに続き，
間引きを行った場合には間引き実行確認信号となる。こ
のデータフォーマットを，図１５に示す。他方，各クラ
イアントから中継サーバに送信されるデータは，受信側
指定信号送信部(1) ２２１または受信側指定信号送信部
(2) ２０４から送信される受信側指定信号に続き，間引
き実行指定部(1) ２１５または間引き実行指定部(2) ２
２４から送信される間引き実行信号，さらに，参照画像
指定送信部(1) ２２０または参照画像指定送信部(2) ２
３２から送信されるフレーム番号となる。このデータフ
ォーマットを，図１６に示す。

【００９３】以上の構成のもと，中継サーバは，第１フ
レームの符号化データから通信を開始し，フレーム間引
きを行いながら第７フレームの符号化データを送信する
までを示す。クライアント１は，第２フレームにて伝送
エラーが載り，エラーの載っていない第１フレームを参
照画像に指定するものとする。クライアント２は，第２
フレームから第４フレームまで伝送エラーが載り，エラ
ーの載っていない第１フレームを参照画像に指定するも
のとする。

【００９４】図１７は，本実施の形態の中継サーバとク
ライアント１の動作フローを表し，図１８は，本実施の
形態の中継サーバとクライアント２の動作フローを表
す。送信側にてフレーム単位に符号化データを送信する
時刻に実行される処理をＳＴＥＰにて表すものとする。

【００９５】ＳＴＥＰ１にて，第１フレームの符号化デ
ータを送信する時には，中継サーバでは，符号化データ
は符号化データ送信部２０１と，符号化データ間引き部
２０６のＣ１，Ｃ２，Ｃ３と，イントラ符号化部２０９
に入力される。符号化データ送信部２０１は，入力され
た符号化データを蓄積する。符号化データ間引き部２０
６のＣ１，Ｃ２，Ｃ３は，第１フレームの符号化データ
を蓄積しておく。イントラ符号化部２０９は，第１フレ
ームの符号化データを蓄積するが，第１フレームはイン
トラ符号化されているため符号化データを作成しない。
受信側指定信号受信部２１１は，クライアントから信号
を受信しないので，符号化データを両方のクライアント
に送信するように，受信側選択手段２１３を変更する。
符号化データ変更手段２０２は符号化データ送信部２０
１から符号化データを送信する方向になっているため，
符号化データ送信部２０１から送信側多重化部２１２に
符号化データは送信される。送信側多重化部２１２は，
符号化データのみ各クライアントに送信する。

【００９６】ＳＴＥＰ２にて，第２フレームの符号化デ
ータを送信する時には，中継サーバでは，符号化データ
は符号化データ送信部２０１と，符号化データ間引き部
２０６のＣ１，Ｃ２，Ｃ３と，イントラ符号化部２０９
に入力される。符号化データ送信部２０１は，入力され
た符号化データを蓄積する。符号化データ間引き部２０
６のＣ１，Ｃ２，Ｃ３は，第２フレームの符号化データ
を蓄積しておく。イントラ符号化部２０９は，第１フレ
ームと第２フレームの符号化データから第２フレームの
イントラ符号化した符号化データを作成する。符号化デ
ータ蓄積部２０７のＭ４はイントラ符号化された符号化
データを蓄積する。受信側指定信号受信部２１１は，ク
ライアントから信号を受信しないので，符号化データを
両方のクライアントに送信するように，受信側選択手段
２１３を変更する。符号化データ変更手段２０２は符号
化データ送信部２０１から符号化データを送信する方向
になっているため，符号化データ送信部２０１から送信
側多重化部２１２に符号化データは送信される。送信側
多重化部２１２は，符号化データのみ各クライアントに
送信する。

【００９７】一方，クライアント１では，この時点で第
１フレームの符号化データを受信する。受信側多重化部
(1) ２１４は，データ受信変更手段(1) ２１６が受信し
た符号化データを誤り検出部(1) ２１７に入力するよう
になっているため，符号化データを誤り検出部(1) ２１
７に送信する。誤り検出部(1) ２１７は誤りを検出しな
いので，復号部(1) ２１８に符号化データを送信する。
復号部(1) ２１８は，Ｉフレームであるため参照画像を
利用せずに符号化データを復号し，画像蓄積部(1) ２２
２に蓄積する。復号された画像のフレーム番号１は復号
画像指定部(1)２２３に蓄積される。受信側指定信号送
信部(1) ２２１は，クライアント１からの信号であるこ
とを指定する受信側指定信号を受信側多重化部(1) ２１
４に送信する。受信側多重化部(1) ２１４は，中継サー
バにクライアント１の受信側指定信号を送信する。

【００９８】クライアント２では，この時点で同様に第
１フレームの符号化データを受信する。受信側多重化部
(2) ２２５は，データ受信変更手段(2) ２２８が受信し
た符号化データを誤り検出部(2) ２２６に入力するよう
になっているため，符号化データを誤り検出部(2) ２２
６に送信する。誤り検出部(2) ２２６は誤りを検出しな
いので，復号部(2) ２２７に符号化データを送信する。
復号部(2) ２２７は，Ｉフレームであるため参照画像を
利用せずに符号化データを復号し，画像蓄積部(2) ２２
９に蓄積する。復号された画像のフレーム番号１は復号
画像指定部(2)２３０に蓄積される。受信側指定信号送
信部(2) ２０４は，クライアント２からの信号であるこ
とを指定する受信側指定信号を受信側多重化部(2) ２２
５に送信する。受信側多重化部(2) ２２５は，中継サー
バにクライアント２の受信側指定信号を送信する。

【００９９】ＳＴＥＰ３にて，第３フレームの符号化デ
ータを送信する時には，中継サーバでは，符号化データ
は符号化データ送信部２０１と，符号化データ間引き部
２０６のＣ１，Ｃ２，Ｃ３と，イントラ符号化部２０９
に入力される。符号化データ送信部２０１は，入力され
た符号化データを蓄積する。符号化データ間引き部２０
６のＣ１は，第３フレームの符号化データを蓄積し，さ
らに第１フレームから第３フレームまでの符号化データ
から第２フレームを間引きして，第１フレームを参照画
像にした第３フレームの符号化データを作成する。符号
化データ間引き部２０６のＣ２，Ｃ３は，第３フレーム
の符号化データを蓄積しておく。イントラ符号化部２０
９は，第１フレームから第３フレームまでの符号化デー
タから第３フレームのイントラ符号化した符号化データ
を作成する。符号化データ蓄積部２０７のＭ１は，符号
化データ間引き部２０６のＣ１にて作成された符号化デ
ータを蓄積し，符号化データ蓄積部２０７のＭ４は，イ
ントラ符号化された符号化データを蓄積する。

【０１００】まず，受信側指定信号受信部２１１は，ク
ライアント１から受信側指定信号を受信し，受信側選択
部２１３をクライアント１に符号化データを送信するよ
うに変更する。受信した信号は受信側指定信号のみであ
るため，符号化データ変更手段２０２は，符号化データ
送信部２０１から符号化データを送信する方向に変更さ
れ，符号化データは送信側多重化部２１２に送信され
る。送信側多重化部２１２は，符号化データのみクライ
アント１に送信する。続いて，受信側指定信号受信部２
１１は，クライアント２から受信側指定信号を受信し，
受信側選択部２１３を，クライアント２に符号化データ
を送信するように変更する。受信した信号は受信側指定
信号のみであるため，符号化データ変更手段２０２は，
符号化データ送信部２０１から符号化データを送信する
方向に変更され，符号化データは送信側多重化部２１２
に送信される。送信側多重化部２１２は，符号化データ
のみクライアント２に送信する。

【０１０１】一方，クライアント１では，この時点で第
２フレームの符号化データを受信する。受信側多重化部
(1) ２１４は，データ受信変更手段(1) ２１６が受信し
た符号化データを誤り検出部(1) ２１７に入力するよう
になっているため，符号化データを誤り検出部(1) ２１
７に送信する。誤り検出部(1) ２１７は誤りを検出する
ので，復号部(1) ２１８に符号化データを送信しない。
また，データ受信変更手段(1) ２１６を，符号化データ
を誤り検出部(1) ２１７に入力しないように変更する。
そして，参照画像指定送信部(1) ２２０は誤りが検出さ
れたので，復号画像指定部(1) ２２３に蓄積してあるフ
レーム番号１を受信側多重化部(1) ２１４に送信する。
間引き実行指定部(1) ２１５は，誤りが検出されたの
で，受信側多重化部(1) ２１４に間引き実行信号を送信
する。受信側指定信号送信部(1) ２２１は，クライアン
ト１からの信号であることを指定する受信側指定信号を
受信側多重化部(1) ２１４に送信する。受信側多重化部
(1) ２１４は，中継サーバにクライアント１の受信側指
定信号と間引き実行信号とフレーム番号１のフレーム番
号を送信する。

【０１０２】クライアント２では，この時点で第２フレ
ームの符号化データを受信する。受信側多重化部(2) ２
２５は，データ受信変更手段(2) ２２８が受信した符号
化データを誤り検出部(2) ２２６に入力するようになっ
ているため，符号化データを誤り検出部(2) ２２６に送
信する。誤り検出部(2) ２２６は誤りを検出するので，
復号部(2) ２２７に符号化データを送信しない。また，
データ受信変更手段(2) ２２８を符号化データを誤り検
出部(2) ２２６に入力しないように変更する。そして，
参照画像指定送信部(2) ２３２は誤りが検出されたの
で，復号画像指定部(2) ２３０に蓄積してあるフレーム
番号１を受信側多重化部(2) ２２５に送信する。間引き
実行指定部(2) ２２４は，誤りが検出されたので，受信
側多重化部(2) ２２５に間引き実行信号を送信する。受
信側指定信号送信部(2) ２０４は，クライアント２から
の信号であることを指定する受信側指定信号を受信側多
重化部(2) ２２５に送信する。受信側多重化部(2) ２２
５は，中継サーバにクライアント２の受信側指定信号と
間引き実行信号とフレーム番号１のフレーム番号を送信
する。

【０１０３】ＳＴＥＰ４にて，第４フレームの符号化デ
ータを送信する時には，中継サーバでは，符号化データ
は符号化データ送信部２０１と，符号化データ間引き部
２０６のＣ１，Ｃ２，Ｃ３と，イントラ符号化部２０９
に入力される。符号化データ送信部２０１は，入力され
た符号化データを蓄積する。符号化データ間引き部２０
６のＣ１は，第４フレームの符号化データを蓄積し，さ
らに第１フレームから第４フレームまでの符号化データ
から第３フレームを間引きして，第２フレームを参照画
像にした第４フレームの符号化データを作成する。符号
化データ間引き部２０６のＣ２は，第４フレームの符号
化データを蓄積し，さらに第１フレームから第４フレー
ムまでの符号化データから第２フレームと第３フレーム
を間引きして，第１フレームを参照画像にした第４フレ
ームの符号化データを作成する。符号化データ間引き部
２０６のＣ３は，第４フレームの符号化データを蓄積し
ておく。イントラ符号化部２０９は，第１フレームから
第４フレームまでの符号化データから第４フレームのイ
ントラ符号化した符号化データを作成する。符号化デー
タ蓄積部２０７のＭ１は，符号化データ間引き部２０６
のＣ１にて作成された符号化データを蓄積し，符号化デ
ータ蓄積部２０７のＭ２は，符号化データ間引き部２０
６のＣ２にて作成された符号化データを蓄積し，符号化
データ蓄積部２０７のＭ４は，イントラ符号化された符
号化データを蓄積する。

【０１０４】まず，受信側指定信号受信部２１１は，ク
ライアント１から受信側指定信号を受信し，受信側選択
部２１３をクライアント１に符号化データを送信するよ
うに変更する。受信側指定信号と間引き実行指定信号を
受信するため，符号化データ変更手段２０２は，符号化
データ送信部２０１から符号化データを送信しない方向
に変更される。画像指定信号受信部２１０は，フレーム
番号１を受信すると，符号化データ蓄積部２０７に蓄積
されている符号化データのうち，フレーム番号１を参照
画像にする符号化データを蓄積しているＭ２を選択する
ように，符号化データ選択手段２０８を変更する。符号
化データ蓄積部２０７のＭ２に蓄積された符号化データ
は，送信側多重化部２１２に送信される。間引き実行確
認送信部２０５は，間引き実行確認信号を送信側多重化
部２１２に送信する。送信側多重化部２１２は，符号化
データと間引き実行確認信号をクライアント１に送信す
る。

【０１０５】続いて，受信側指定信号受信部２１１は，
クライアント２から受信側指定信号を受信し，受信側選
択部２１３をクライアント２に符号化データを送信する
ように変更する。受信側指定信号と間引き実行指定信号
を受信するため，符号化データ変更手段２０２は，符号
化データ送信部２０１から符号化データを送信しない方
向に変更される。画像指定信号受信部２１０は，フレー
ム番号１を受信すると，符号化データ蓄積部２０７に蓄
積されている符号化データのうち，フレーム番号１を参
照画像にする符号化データを蓄積しているＭ２を選択す
るように，符号化データ選択手段２０８を変更する。符
号化データ蓄積部２０７のＭ２に蓄積された符号化デー
タは，送信側多重化部２１２に送信される。間引き実行
確認送信部２０５は，間引き実行確認信号を送信側多重
化部２１２に送信する。送信側多重化部２１２は，符号
化データと間引き実行確認信号をクライアント２に送信
する。

【０１０６】一方，クライアント１では，この時点で第
３フレームの符号化データを受信する。受信側多重化部
(1) ２１４は，データ受信変更手段(1) ２１６が受信し
た符号化データを誤り検出部(1) ２１７に入力しないよ
うになっているため，符号化データを誤り検出部(1) ２
１７に送信しない。受信側指定信号送信部(1) ２２１
は，クライアント１からの信号であることを指定する受
信側指定信号を受信側多重化部(1) ２１４に送信する。
受信側多重化部(1) ２１４は，中継サーバにクライアン
ト１の受信側指定信号を送信する。

【０１０７】また，クライアント２では，この時点で第
３フレームの符号化データを受信する。受信側多重化部
(2) ２２５は，データ受信変更手段(2) ２２８が受信し
た符号化データを誤り検出部(2) ２２６に入力しないよ
うになっているため，符号化データを誤り検出部(2) ２
２６に送信しない。受信側指定信号送信部(2) ２０４
は，クライアント２からの信号であることを指定する受
信側指定信号を受信側多重化部(2) ２２５に送信する。
受信側多重化部(2) ２２５は，中継サーバにクライアン
ト２の受信側指定信号を送信する。

【０１０８】ＳＴＥＰ５にて，第５フレームの符号化デ
ータを送信する時には，中継サーバでは，符号化データ
は符号化データ送信部２０１と，符号化データ間引き部
２０６のＣ１，Ｃ２，Ｃ３と，イントラ符号化部２０９
に入力される。符号化データ送信部２０１は，入力され
た符号化データを蓄積する。符号化データ間引き部２０
６のＣ１は，第５フレームの符号化データを蓄積し，さ
らに第１フレームから第５フレームまでの符号化データ
から第４フレームを間引きして，第３フレームを参照画
像にした第５フレームの符号化データを作成する。符号
化データ間引き部２０６のＣ２は，第５フレームの符号
化データを蓄積し，さらに第１フレームから第５フレー
ムまでの符号化データから第３フレームと第４フレーム
を間引きして，第２フレームを参照画像にした第５フレ
ームの符号化データを作成する。符号化データ間引き部
２０６のＣ３は，第５フレームの符号化データを蓄積
し，さらに第１フレームから第５フレームまでの符号化
データから第２フレームと第３フレームと第４フレーム
を間引きして，第１フレームを参照画像にした第５フレ
ームの符号化データを作成する。イントラ符号化部２０
９は，第１フレームから第５フレームまでの符号化デー
タから第５フレームのイントラ符号化した符号化データ
を作成する。符号化データ蓄積部２０７のＭ１は，符号
化データ間引き部２０６のＣ１にて作成された符号化デ
ータを蓄積し，符号化データ蓄積部２０７のＭ２は，符
号化データ間引き部２０６のＣ２にて作成された符号化
データを蓄積し，符号化データ蓄積部２０７のＭ３は，
符号化データ間引き部２０６のＣ３にて作成された符号
化データを蓄積し，符号化データ蓄積部２０７のＭ４
は，イントラ符号化された符号化データを蓄積する。

【０１０９】まず，受信側指定信号受信部２１１は，ク
ライアント１から受信側指定信号を受信し，受信側選択
部２１３をクライアント１に符号化データを送信するよ
うに変更する。受信した信号は受信側指定信号のみであ
るため，符号化データ変更手段２０２は，符号化データ
送信部２０１から符号化データを送信する方向に変更さ
れ，符号化データは，送信側多重化部２１２に送信され
る。送信側多重化部２１２は，符号化データのみクライ
アント１に送信する。続いて，受信側指定信号受信部２
１１は，クライアント２から受信側指定信号を受信し，
受信側選択部２１３をクライアント２に符号化データを
送信するように変更する。受信した信号は受信側指定信
号のみであるため，符号化データ変更手段２０２は，符
号化データ送信部２０１から符号化データを送信する方
向に変更され，符号化データは送信側多重化部２１２に
送信される。

【０１１０】一方，クライアント１では，この時点で第
４フレームの符号化データを受信する。間引き実行確認
受信部(1) ２１９は間引き実行確認信号を受信すると，
受信した符号化データを誤り検出部(1) ２１７に送信す
るように，データ受信変更手段(1) ２１６を変更する。
受信側多重化部(1) ２１４は，符号化データを誤り検出
部(1) ２１７に送信する。誤り検出部(1) ２１７は誤り
を検出しないので，復号部(1) ２１８に符号化データを
送信する。復号部(1) ２１８は，画像蓄積部(1) ２２２
に蓄積してある第１フレームの復号画像を参照画像にし
て符号化データを復号し，画像蓄積部(1) ２２２に蓄積
する。復号された画像のフレーム番号４は復号画像指定
部(1) ２２３に蓄積される。受信側指定信号送信部(1)
２２１は，クライアント１からの信号であることを指定
する受信側指定信号を受信側多重化部(1) ２１４に送信
する。受信側多重化部(1) ２１４は，中継サーバにクラ
イアント１の受信側指定信号を送信する。

【０１１１】クライアント２では，この時点で第４フレ
ームの符号化データを受信する。間引き実行確認受信部
(2) ２３１は間引き実行確認信号を受信すると，受信し
た符号化データを誤り検出部(2) ２２６に送信するよう
に，データ受信変更手段(2)２２８を変更する。受信側
多重化部(2) ２２５は，符号化データを誤り検出部(2)
２２６に送信する。誤り検出部(2) ２２６は誤りを検出
するので，復号部(2)２２７に符号化データを送信しな
い。また，データ受信変更手段(2) ２２８を符号化デー
タを誤り検出部(2) ２２６に入力しないように変更す
る。そして，参照画像指定送信部(2) ２３２は誤りが検
出されたので，復号画像指定部(2) ２３０に蓄積してあ
るフレーム番号１を受信側多重化部(2) ２２５に送信す
る。間引き実行指定部(2) ２２４は，誤りが検出された
ので，受信側多重化部(2) ２２５に間引き実行信号を送
信する。受信側指定信号送信部(2) ２０４は，クライア
ント２からの信号であることを指定する受信側指定信号
を受信側多重化部(2) ２２５に送信する。受信側多重化
部(2) ２２５は，中継サーバにクライアント２の受信側
指定信号と間引き実行信号とフレーム番号１のフレーム
番号を送信する。

【０１１２】ＳＴＥＰ６にて，第６フレームの符号化デ
ータを送信する時には，中継サーバでは，符号化データ
は符号化データ送信部２０１と，符号化データ間引き部
２０６のＣ１，Ｃ２，Ｃ３と，イントラ符号化部２０９
に入力される。符号化データ送信部２０１は，入力され
た符号化データを蓄積する。符号化データ間引き部２０
６のＣ１は，第６フレームの符号化データを蓄積し，さ
らに第１フレームから第６フレームまでの符号化データ
から第５フレームを間引きして，第４フレームを参照画
像にした第６フレームの符号化データを作成する。符号
化データ間引き部２０６のＣ２は，第６フレームの符号
化データを蓄積し，さらに第１フレームから第６フレー
ムまでの符号化データから第４フレームと第５フレーム
を間引きして，第３フレームを参照画像にした第６フレ
ームの符号化データを作成する。符号化データ間引き部
２０６のＣ３は，第６フレームの符号化データを蓄積
し，さらに第１フレームから第６フレームまでの符号化
データから第３フレームと第４フレームと第５フレーム
を間引きして，第２フレームを参照画像にした第６フレ
ームの符号化データを作成する。イントラ符号化部２０
９は，第１フレームから第６フレームまでの符号化デー
タから第６フレームのイントラ符号化した符号化データ
を作成する。符号化データ蓄積部２０７のＭ１は，符号
化データ間引き部２０６のＣ１にて作成された符号化デ
ータを蓄積し，符号化データ蓄積部２０７のＭ２は，符
号化データ間引き部２０６のＣ２にて作成された符号化
データを蓄積し，符号化データ蓄積部２０７のＭ３は，
符号化データ間引き部２０６のＣ３にて作成された符号
化データを蓄積し，符号化データ蓄積部２０７のＭ４
は，イントラ符号化された符号化データを蓄積する。

【０１１３】まず，受信側指定信号受信部２１１は，ク
ライアント１から受信側指定信号を受信し，受信側選択
部２１３をクライアント１に符号化データを送信するよ
うに変更する。受信した信号は受信側指定信号のみであ
るため，符号化データ変更手段２０２は，符号化データ
送信部２０１から符号化データを送信する方向に変更さ
れ，符号化データは送信側多重化部２１２に送信され
る。送信側多重化部２１２は，符号化データのみクライ
アント１に送信する。

【０１１４】続いて，受信側指定信号受信部２１１は，
クライアント２から受信側指定信号を受信し，受信側選
択部２１３をクライアント２に符号化データを送信する
ように変更する。受信側指定信号と間引き実行指定信号
を受信するため，符号化データ変更手段２０２は，符号
化データ送信部２０１から符号化データを送信しない方
向に変更される。画像指定信号受信部２１０は，フレー
ム番号１を受信すると，符号化データ蓄積部２０７に蓄
積されている符号化データのうち，フレーム番号１を参
照画像にする符号化データを蓄積していないため，Ｍ４
に蓄積されているイントラ符号化された符号化データを
選択するように符号化データ選択手段２０８を変更す
る。符号化データ蓄積部２０７のＭ４に蓄積された符号
化データは，送信側多重化部２１２に送信される。間引
き実行確認送信部２０５は，間引き実行確認信号を送信
側多重化部２１２に送信する。送信側多重化部２１２
は，符号化データと間引き実行確認信号をクライアント
２に送信する。

【０１１５】一方，クライアント１では，この時点で第
５フレームの符号化データを受信する。受信側多重化部
(1) ２１４は，符号化データを誤り検出部(1) ２１７に
送信する。誤り検出部(1) ２１７は誤りを検出しないの
で，復号部(1) ２１８に符号化データを送信する。復号
部(1) ２１８は，画像蓄積部(1) ２２２に蓄積してある
第４フレームの復号画像を参照画像にして符号化データ
を復号し，画像蓄積部(1) ２２２に蓄積する。復号され
た画像のフレーム番号５は復号画像指定部(1)２２３に
蓄積される。受信側指定信号送信部(1) ２２１は，クラ
イアント１からの信号であることを指定する受信側指定
信号を受信側多重化部(1) ２１４に送信する。受信側多
重化部(1) ２１４は，中継サーバにクライアント１の受
信側指定信号を送信する。

【０１１６】クライアント２では，この時点で第５フレ
ームの符号化データを受信する。受信側多重化部(2) ２
２５は，データ受信変更手段(2) ２２８が受信した符号
化データを誤り検出部(2) ２２６に入力しないようにな
っているため，符号化データを誤り検出部(2) ２２６に
送信しない。受信側指定信号送信部(2) ２０４は，クラ
イアント２からの信号であることを指定する受信側指定
信号を受信側多重化部(2) ２２５に送信する。受信側多
重化部(2) ２２５は，中継サーバにクライアント２の受
信側指定信号を送信する。

【０１１７】ＳＴＥＰ７にて，第７フレームの符号化デ
ータを送信する時には，中継サーバでは，符号化データ
は符号化データ送信部２０１と，符号化データ間引き部
２０６のＣ１，Ｃ２，Ｃ３と，イントラ符号化部２０９
に入力される。符号化データ送信部２０１は，入力され
た符号化データを蓄積する。符号化データ間引き部２０
６のＣ１は，第７フレームの符号化データを蓄積し，さ
らに第１フレームから第７フレームまでの符号化データ
から第６フレームを間引きして，第５フレームを参照画
像にした第７フレームの符号化データを作成する。符号
化データ間引き部２０６のＣ２は，第７フレームの符号
化データを蓄積し，さらに第１フレームから第７フレー
ムまでの符号化データから第５フレームと第６フレーム
を間引きして，第４フレームを参照画像にした第７フレ
ームの符号化データを作成する。符号化データ間引き部
２０６のＣ３は，第７フレームの符号化データを蓄積
し，さらに第１フレームから第７フレームまでの符号化
データから第４フレームと第５フレームと第６フレーム
を間引きして，第３フレームを参照画像にした第７フレ
ームの符号化データを作成する。イントラ符号化部２０
９は，第１フレームから第７フレームまでの符号化デー
タから第７フレームのイントラ符号化した符号化データ
を作成する。符号化データ蓄積部２０７のＭ１は，符号
化データ間引き部２０６のＣ１にて作成された符号化デ
ータを蓄積し，符号化データ蓄積部２０７のＭ２は，符
号化データ間引き部２０６のＣ２にて作成された符号化
データを蓄積し，符号化データ蓄積部２０７のＭ３は，
符号化データ間引き部２０６のＣ３にて作成された符号
化データを蓄積し，符号化データ蓄積部２０７のＭ４
は，イントラ符号化された符号化データを蓄積する。

【０１１８】まず，受信側指定信号受信部２１１は，ク
ライアント１から受信側指定信号を受信し，受信側選択
部２１３をクライアント１に符号化データを送信するよ
うに変更する。受信した信号は受信側指定信号のみであ
るため，符号化データ変更手段２０２は，符号化データ
送信部２０１から符号化データを送信する方向に変更さ
れ，符号化データは送信側多重化部２１２に送信され
る。送信側多重化部２１２は，符号化データのみクライ
アント１に送信する。続いて，受信側指定信号受信部２
１１は，クライアント２から受信側指定信号を受信し，
受信側選択部２１３をクライアント２に符号化データを
送信するように変更する。受信した信号は受信側指定信
号のみであるため，符号化データ変更手段２０２は，符
号化データ送信部２０１から符号化データを送信する方
向に変更され，符号化データは送信側多重化部２１２に
送信される。送信側多重化部２１２は，符号化データの
みクライアント２に送信する。

【０１１９】一方，クライアント１では，この時点で第
６フレームの符号化データを受信する。受信側多重化部
(1) ２１４は，符号化データを誤り検出部(1) ２１７に
送信する。誤り検出部(1) ２１７は誤り検出しないの
で，復号部(1) ２１８に符号化データを送信する。復号
部(1) ２１８は，画像蓄積部(1) ２２２に蓄積してある
第５フレームの復号画像を参照画像にして符号化データ
を復号し，画像蓄積部(1) ２２２に蓄積する。復号され
た画像のフレーム番号６は復号画像指定部(1) ２２３に
蓄積される。受信側指定信号送信部(1) ２２１は，クラ
イアント１からの信号であることを指定する受信側指定
信号を受信側多重化部(1) ２１４に送信する。受信側多
重化部(1) ２１４は，中継サーバにクライアント１の受
信側指定信号を送信する。

【０１２０】クライアント２では，この時点で第６フレ
ームの符号化データを受信する。受信側多重化部(2) ２
２５は，データ受信変更手段(2) ２２８が受信した符号
化データを誤り検出部(2) ２２６に入力するようになっ
ているため，符号化データを誤り検出部(2) ２２６に送
信する。誤り検出部(2) ２２６は誤りを検出しないの
で，復号部(2) ２２７に符号化データを送信する。復号
部(2) ２２７は，Ｉフレームであるため参照画像を利用
せずに符号化データを復号し，画像蓄積部(2) ２２９に
蓄積する。復号された画像のフレーム番号６は復号画像
指定部(2) ２３０に蓄積される。受信側指定信号送信部
(2) ２０４は，クライアント２からの信号であることを
指定する受信側指定信号を受信側多重化部(2) ２２５に
送信する。受信側多重化部(2) ２２５は，中継サーバに
クライアント２の受信側指定信号を送信する。

【０１２１】本実施の形態では，中継サーバにて各クラ
イアントからのフレーム間引きの要求に従った符号化デ
ータを送信することによって，各クライアントにて蓄積
された復号画像を参照して復号することができる。

【０１２２】以上では簡潔にするため，符号化したフレ
ームをＩフレームとＰフレームのみとして説明したが，
図１４の実施の形態はこれに限るものではなく，Ｂフレ
ームなどを混合した符号化データに対しても適用でき，
効果的なフレーム間引き処理を用いた参照画像の変更が
できることは言うまでもない。さらに，本実施の形態で
はＨ．２６３符号化方式を利用したが，符号化方式はこ
れに限定されるものではなく，一般的にフレーム単位に
符号化を行う符号化方式であれば同様に適用可能である
ことは言うまでもない。

【０１２３】以上の第１および第２の実施の形態におけ
る送信側の装置または中継サーバは，各構成要素をプロ
グラムとして構築し，本発明を実施する計算機に接続さ
れるディスク装置やフロッピィディスク，ＣＤ−ＲＯＭ
等の可搬記録媒体に格納しておき，本発明を実施する際
にインストールすることにより，容易に実現することが
可能である。

【０１２４】

【発明の効果】以上説明したように，本発明によれば，
以下の効果がある。

【０１２５】画像符号化データ送信側に参照画像を蓄積
するためのバッファを持たずに，入力された画像符号化
データを，受信装置から指定された参照画像をもつ画像
符号化データに変換して送信することができる。

【０１２６】画像符号化データを入力として処理するこ
とができるので，蓄積済みの画像符号化データを送受信
する画像通信システムにも適用できる。

【０１２７】本発明を画像通信システムにおける中継装
置に適用した場合，受信装置から参照画像の指定信号を
受信しても，送信装置に対して受信装置ごとに異なる画
像符号化データを送信するよう要求する必要がない。し
たがって，送信装置から中継装置へ送信された画像符号
化データを削減できるとともに，各受信装置への送信遅
延を減少させることができる。

【０１２８】特に，本発明の第２の構成では，参照画像
の異なる複数の画像符号化データを予め作成して蓄積し
ておくので，受信装置の数や受信装置から指定される参
照画像の数によらずに画像符号化データを作成すること
ができ，画像通信システムの中継装置に適用した場合，
その効果が大きい。

【０１２９】また，本発明の第３の構成では，イントラ
符号化部を具備することにより，蓄積部のメモリ量をさ
らに削減することができる。

【図面の簡単な説明】

【図１】本発明の第１の構成例を示す図である。

【図２】本発明の第１の構成のフローチャートである。

【図３】本発明の第２の構成例を示す図である。

【図４】本発明の第２の構成のフローチャートである。

【図５】本発明の第３の構成例を示す図である。

【図６】本発明の第３の構成のフローチャートである。

【図７】本発明の第４の構成例を示す図である。

【図８】本発明の第４の構成のフローチャートである。

【図９】画像符号化データ送信装置と中継サーバと２台
の復号装置の動作例を説明する図である。

【図１０】本発明の第１の実施の形態の構成を示す図で
ある。

【図１１】本発明の第１の実施の形態の送信側のデータ
フォーマットを示す図である。

【図１２】本発明の第１の実施の形態の受信側のデータ
フォーマットを示す図である。

【図１３】本発明の第１の実施の形態の送信側と受信側
の動作フロー図である。

【図１４】本発明の第２の実施の形態の構成を示す図で
ある。

【図１５】本発明の第２の実施の形態の中継サーバのデ
ータフォーマットを示す図である。

【図１６】本発明の第２の実施の形態のクライアントの
データフォーマットを示す図である。

【図１７】本発明の第２の実施の形態と中継サーバとク
ライアント１の動作フロー図である。

【図１８】本発明の第２の実施の形態と中継サーバとク
ライアント２の動作フロー図である。

【図１９】従来の第１の方式による符号化器と復号器の
構成例を示す図である。

【図２０】従来の第２の方式による符号化器と復号器の
構成例を示す図である。

【図２１】フレーム間引きを行う符号化データ作成装置
の構成例を示す図である。

【図２２】送信装置，中継サーバ，複数の受信装置から
なる画像通信システムの例を示す図である。

【符号の説明】

１０ 符号化器 １１ 符号化部 １２ 逆量子化部 １３ 画像バッファ １４ 画像符号化データ送信装置 １５ 蓄積部 １６ 信号受信部 １７ 変換部 １８ データ選択部 ２０ 復号装置 ２１ 誤り検出部 ２２ 復号部 ２３ 画像蓄積部 ２４ 参照画像指定信号送信部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK08 KK27 LB07 MA04 MA05 MD02 NN01 PP04 RB02 RF01 SS06 SS20 UA02 UA05 UA32 UA33 UA38 UA39

Claims (15)

【特許請求の範囲】
1. 【請求項１】 フレーム間差分符号化による第１の画像
   符号化データを入力とする画像符号化データ送信装置で
   あって，入力データを蓄積する蓄積部と，復号装置から
   参照画像の指定信号を受信する信号受信部と，該指定信
   号に基づき，前記蓄積部のデータに対して動き補償処理
   を行うことにより，前記第１の画像符号化データを参照
   画像の異なる第２の画像符号化データに変換する変換部
   と，前記指定信号に基づいて前記第１の画像符号化デー
   タまたは前記第２の画像符号化データを選択して送信す
   るデータ選択部とを備えることを特徴とする画像符号化
   データ送信装置。
2. 【請求項２】 フレーム間差分符号化による第１の画像
   符号化データを入力とする画像符号化データ送信装置で
   あって，参照画像の指定を変更しながら動き補償処理を
   繰り返し行うことにより，前記第１の画像符号化データ
   を参照画像の異なる複数の第２の画像符号化データに変
   換する変換部と，前記変換部で作成した複数の第２の画
   像符号化データを蓄積する蓄積部と，参照画像の指定信
   号を受信する信号受信部と，前記第１の画像符号化デー
   タおよび前記複数の第２の画像符号化データの中から，
   受信した指定信号に基づいて選択したデータを送信する
   データ選択部とを備えることを特徴とする画像符号化デ
   ータ送信装置。
3. 【請求項３】 請求項２記載の画像符号化データ送信装
   置において，前記第１の画像符号化データをフレーム内
   符号化したイントラ符号化データを作成するイントラ符
   号化部を備えることを特徴とする画像符号化データ送信
   装置。
4. 【請求項４】 請求項２または請求項３記載の画像符号
   化データ送信装置において，復号装置から送信先の指定
   信号を受信し，前記データ選択部で選択したデータを送
   信する復号装置を指示する送信先受信部と，該送信先の
   指定信号の受信状況に応じて１以上の送信先を決定し，
   前記データ選択部が選択した画像符号化データを送信す
   る送信先選択部とを備えることを特徴とする画像符号化
   データ送信装置。
5. 【請求項５】 請求項１ないし請求項４のいずれかに記
   載の画像符号化データ送信装置において，前記変換部
   は，前記参照画像の次フレームから処理対象フレームの
   直前フレームまでを間引きし画像符号化データを出力す
   るフレーム間引き処理を用いることによって，前記第１
   の画像符号化データを前記第２の画像符号化データに変
   換することを特徴とする画像符号化データ送信装置。
6. 【請求項６】 フレーム間差分符号化による第１の画像
   符号化データを入力し，該第１の画像符号化データを蓄
   積し，復号装置からの参照画像の指定信号の受信状況に
   応じて，前記第１の画像符号化データ，または前記蓄積
   したデータに対して動き補償処理を行うことにより該第
   １の画像符号化データを変換した参照画像の異なる第２
   の画像符号化データを送信することを特徴とする画像符
   号化データ送信方法。
7. 【請求項７】 フレーム間差分符号化による第１の画像
   符号化データを入力し，参照画像の指定を変更しながら
   動き補償処理を繰り返し行うことにより，該第１の画像
   符号化データを参照画像の異なる複数の第２の画像符号
   化データに変換して蓄積し，復号装置からの参照画像の
   指定信号の受信状況に応じて，前記第１の画像符号化デ
   ータおよび前記複数の第２の画像符号化データの中から
   選択して送信することを特徴とする画像符号化データ送
   信方法。
8. 【請求項８】 請求項７記載の画像符号化データ送信方
   法において，前記第１の画像符号化データに対して，フ
   レーム内符号化したイントラ符号化データを作成して前
   記複数の第２の画像符号化データの１つとすることを特
   徴とする画像符号化データ送信方法。
9. 【請求項９】 請求項７または請求項８記載の画像符号
   化データ送信方法において，復号装置からの送信先の指
   定信号の受信状況に応じて，１以上の送信先を決定し，
   復号装置から参照画像の指定信号の受信状況に応じて，
   前記第１の画像符号化データおよび前記複数の第２の画
   像符号化データの中から選択して，前記送信先へ送信す
   ることを特徴とする画像符号化データ送信方法。
10. 【請求項１０】 請求項６ないし請求項９のいずれかに
    記載の画像符号化データ送信方法において，前記参照画
    像の次フレームから処理対象フレームの直前フレームま
    でを間引きしてフレームレートを変更した画像符号化デ
    ータを出力するフレーム間引き処理を用いることによっ
    て，前記第１の画像符号化データを前記第２の画像符号
    化データに変換することを特徴とする画像符号化データ
    送信方法。
11. 【請求項１１】 フレーム間差分符号化による第１の画
    像符号化データを入力するステップと，該第１の画像符
    号化データを蓄積するステップと，復号装置から参照画
    像の指定信号を受信するステップと，該参照画像の指定
    信号の受信状況に応じて，前記第１の画像符号化デー
    タ，または前記蓄積したデータに対して動き補償処理を
    行うことにより該第１の画像符号化データを変換した参
    照画像の異なる第２の画像符号化データを送信するステ
    ップとを，計算機に実行させるプログラムを記録したこ
    とを特徴とする画像符号化データ送信プログラム記録媒
    体。
12. 【請求項１２】 フレーム間差分符号化による第１の画
    像符号化データを入力するステップと，参照画像の指定
    を変更しながら動き補償処理を繰り返し行うことによ
    り，前記第１の画像符号化データを参照画像の異なる複
    数の第２の画像符号化データに変換して蓄積するステッ
    プと，復号装置からの参照画像の指定信号の受信状況に
    応じて，前記第１の画像符号化データおよび前記複数の
    第２の画像符号化データの中から選択して送信するステ
    ップとを，計算機に実行させるプログラムを記録したこ
    とを特徴とする画像符号化データ送信プログラム記録媒
    体。
13. 【請求項１３】 請求項１２記載の画像符号化データ送
    信プログラム記録媒体において，前記プログラム中に，
    前記第１の画像符号化データに対して，フレーム内符号
    化したイントラ符号化データを作成して前記複数の第２
    の画像符号化データの１つとするステップを含むことを
    特徴とする画像符号化データ送信プログラム記録媒体。
14. 【請求項１４】 請求項１２または請求項１３記載の画
    像符号化データ送信プログラム記録媒体において，前記
    プログラム中に，復号装置からの送信先の指定信号の受
    信状況に応じて，１以上の送信先を決定するステップ
    と，復号装置から参照画像の指定信号の受信状況に応じ
    て，前記第１の画像符号化データおよび前記複数の第２
    の画像符号化データの中から選択して，前記送信先へ送
    信するステップとを含むことを特徴とする画像符号化デ
    ータ送信プログラム記録媒体。
15. 【請求項１５】 請求項１１ないし請求項１４のいずれ
    かに記載の画像符号化データ送信プログラム記録媒体に
    おいて，前記プログラム中に，前記参照画像の次フレー
    ムから処理対象フレームの直前フレームまでを間引きし
    てフレームレートを変更した画像符号化データを出力す
    るフレーム間引き処理を用いることによって前記第１の
    画像符号化データを前記第２の画像符号化データに変換
    するステップを含むことを特徴とする画像符号化データ
    送信プログラム記録媒体。