JP2000197055A - 画像通信装置およびロ―カルデコ―ド処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 参照画像にならない画像に対する無駄な処理
を回避して処理量を削減できる画像通信装置およびロー
カルデコード処理の提供。 【解決手段】 動画像通信装置10は、確認信号受信部14
a で復号正常を示すACK 信号を受信したときだけ更新制
御部14b の制御により符号化情報格納部14cから情報を
読み出し、復号部14d で復号し、参照フレームメモリ部
14e に最新の参照画像を更新させて、異常時のローカル
デコード処理を回避し無駄な処理をなくしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像通信装置およ
びローカルデコード処理に関し、特に、ディジタル化さ
れた参照画像を適応的に切り換えてフレーム間符号化を
行なって圧縮した動画像を送受信する動画像通信装置に
用いて好適なものである。

【０００２】

【従来の技術】移動体通信のインフラ基盤の整備が各国
で行なわれつつある。これらを利用した移動端末装置が
マルチメディア情報を扱う上で高度な圧縮技術および伝
送路における誤り対策が問題になる。そして、帯域を保
証しないネットワークでは、輻輳等でパケットが途中で
欠落する虞れがあるので、このパケットロス対策も重要
な対策項目になる。

【０００３】現在、国際標準規格、たとえば、ITU-T H.
263 （International Telecommunications Union H.26
3）やISO/IEC MPEG-2（International Organization fo
r Standardization/International Electrotechnical C
ommission Moving Picture coding Experts Group-2）
等の伝送では、時間的に近いフレームの相関性が強いと
いう性質を利用して動画像の圧縮を行なうフレーム間符
号化が行なわれている。この符号化を用いた際に誤りが
生じると、大規模な画質劣化とともに、時間的・空間的
にその影響が伝搬することが知られている。このような
画質劣化の防止を行なう方式としてデマンドイントラリ
フレッシュ方式がある。

【０００４】この方式は、誤りの発生に応じてフレーム
内符号化を行なう。この符号化はフレーム間符号化に比
べて発生する符号量が多いので、伝送に遅延が発生す
る。また、符号量の多いことから伝送誤りが発生する虞
れも大きく、この誤りが生じると、より一層伝送遅延が
大きくなる。また、誤りが生じた際にH.263 ではGOB
（Group of Block）という部分画像単位でリフレッシュ
させると符号化効率を向上させることができる。しかし
ながら、誤りのある画像劣化が著しく、動画の連続性が
損なわれてしまう場合がある。

【０００５】ところで、この誤りによる画質劣化の時間
的・空間的な伝搬を回避するように、福永など、「受信
確認を利用した誤り耐性動画像符号化方式における適応
的モード切替方式」、映像情報メディア学会誌、Vol.5
1, No.10, pp.1715-1721, (1997) が提案されている。
この方式は、復号器からの確認信号に合わせて参照画像
を動的に更新する符号化方式である。確認信号には、AC
K 信号またはNACK信号を用いる。第１のモード（ACK モ
ード）は、GOB 単位にGOB が到着毎に受信確認の信号と
して供給されるACK 信号を受けたGOB だけを参照画像に
する方式で、誤りの多い伝送路で有効である。また第２
のモード（NACKモード）は、GOB 誤り発生毎に返される
NACK信号を受けたGOB だけ参照画像を古い画像に戻す方
式で、誤りの少ない伝送路で有効である。これらの方式
の有効性を鑑み、伝送路の状況に適応したモード切替を
行なうと全体として誤り状況の変化によく適応でき、常
によい符号化効率を実現できることが判った。

【０００６】

【発明が解決しようとする課題】ところで、前述したフ
レーム間符号化を行なうとともに、送信側での復号、す
なわちローカルデコードを行なっている際に、復号異常
信号を受ける場合がある。しかしながら、このときの画
像は参照画像にはならない。したがって、このローカル
デコード処理が意味をなさない。誤りの多い伝送路では
無駄が増大することになる。また、ローカルデコードに
多くの処理が費やされる符号化方法を用いている場合、
たとえ誤りが少ない伝送路であっても無駄な処理量が大
きくなってしまう。

【０００７】そして、復号正常信号を受けた場合には、
最新のフレームを優先してフレームメモリに残す制御を
行なわなければならない。

【０００８】本発明はこのような従来技術の欠点を解消
し、参照画像にならない画像に対する無駄な処理を回避
して処理量を削減できる画像通信装置およびローカルデ
コード処理を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上述の課題を解
決するために、入力画像に対する前処理を施すデータ作
成手段、このデータ作成手段から出力される画像のう
ち、基準をなす参照画像に一画像を設定しこの参照画像
に基づいて画像に対して予測符号化を行なう第１の符号
化手段、およびこの符号化手段の出力に変換符号化を行
なう第２の符号化手段を有する送信装置と、この送信装
置の送出先での受信状況を示す通知情報を受信する情報
受信手段、この情報受信手段に基づいて符号化された画
像の復号を行なう復号手段、この復号手段の処理、かつ
復号した画像を参照画像とする更新の場合の制御を行な
う更新制御手段、およびデータ作成手段に参照画像を供
給するメモリ手段を有するローカル復号装置とを備える
画像通信装置において、ローカル復号装置に、第１の符
号化手段の符号化情報を復号する場合にはこの符号化情
報を保存する情報保存手段を含み、更新制御手段は、情
報受信手段で受信した通知情報が復号正常を示した際
に、情報保存手段の情報の出力、この情報の復号および
メモリ手段の制御をそれぞれ行なうことを特徴とする。

【００１０】ここで、ローカル復号装置は、第２の符号
化手段の送信データを復号する場合、この送信データを
保存する送信データ保存手段と、この送信データ保存手
段からの出力に第２の符号化手段で施した変換の逆変換
を施す逆変換手段とを含み、更新制御手段は、情報受信
手段で受信した通知情報が復号正常を示した際に、送信
データ保存手段の送信データの出力、逆変換手段の制
御、この送信データの復号およびメモリ手段の制御をそ
れぞれ行なうことが好ましい。

【００１１】本発明の画像通信装置は、情報受信手段で
復号正常を示す通知情報を受信したときだけ情報保存手
段から情報を読出し、復号・参照画像の更新という一連
のローカルデコード処理を行なうことにより、異常時の
ローカルデコード処理を回避している。

【００１２】また、本発明は、入力画像に対する前処理
を施し、この前処理した画像のうち、基準をなす参照画
像に一画像を設定しこの参照画像に基づいて画像に対し
て予測符号化を行い、この予測符号化した出力に変換符
号化を行なって得られた送信データを送出した際に、こ
の送信データの送出先での受信状況を示す通知情報を受
信して得られた通知情報に基づいて符号化された画像の
復号をローカルに行なって得られた画像を適応的に参照
画像に用いるローカルデコード処理方法において、ロー
カルデコード処理に備えて予め符号化された画像情報を
記憶させる記憶工程と、送信データの送出先からの通知
情報のうち、復号が正常におこなわれたことを示す情報
が供給された際に記憶工程で記憶された画像情報を読み
出す画像読出し工程と、この画像読出し工程で読み出し
た画像情報に対して復号を行なう復号工程と、この復号
工程で得られた画像を参照画像として記憶する参照画像
記憶工程とを含むことを特徴とする。

【００１３】ここで、記憶工程は、予め符号化された画
像情報に予測符号化された画像あるいは変換符号化され
た画像を用い、記憶工程で変換符号化された画像を記憶
した場合、前記画像読出し工程で読み出した画像に対し
て前記変換符号化の逆変換を施した後に復号を行なうこ
とが望ましい。

【００１４】本発明のローカルデコード処理方法は、復
号が正常におこなわれたことを示す情報が供給された際
に予め記憶していた画像情報を読み出して復号・参照画
像の更新という一連のローカルデコード処理を行なうこ
とにより、異常時のローカルデコード処理を回避してい
る。

【００１５】

【発明の実施の形態】次に添付図面を参照して本発明に
よる画像通信装置およびローカルデコード処理の実施例
を詳細に説明する。

【００１６】本発明の画像通信装置は、送出した画像デ
ータが正常に復号されたときだけに得られる通知情報を
認識し、そのとき予め記憶しておいた情報を情報保存手
段から読出し、復号・参照画像の更新という一連のロー
カルデコード処理を行なうことに特徴がある。本発明を
適用した動画像の通信に用いる動画像通信装置10につい
て図１〜図５を参照しながら説明する。

【００１７】動画像通信装置10には、送信装置12および
ローカル復号装置14が備えられている。送信装置12に
は、入力データ作成部12a 、符号化部12b およびビット
ストリーム変換部12c が備えられている。入力データ作
成部12a には、すでにディジタル化された入力画像デー
タの符号化を行なう際の前処理等を行なう構成が備えら
れている。この前処理には、入力画像を、たとえば、水
平・垂直部ブランキングの除去、フィルタリング、サブ
サンプリング処理、サブライン処理、およびk ×kビッ
ト毎にブロック化等を行なう。これらにより、規定され
たディジタル信号が符号化部12b に供給される。入力デ
ータ作成部12a は、たとえば、NTSC方式の画像データを
他の解像度に変換する解像度変換も行なっている。本実
施例では、入力画像データと参照画像との差分値を算出
する処理も行なっている。

【００１８】符号化部12b は高能率符号化の基本技術で
ある予測符号化を行なう。予測符号化は、画像信号の相
関に基づく冗長度の除去を行なって、既知の画素値を基
に原画素値を予測し、真値と予測値との差分値を符号化
する。本実施例では、入力画像と参照画像の差分値の符
号化が行なわれる。動画像を送信する場合、画面には動
画だけでなく動きのない静止画も含まれるし、絵柄とし
ても平坦なものから非常に精細なものまで多種多様であ
る。このような画像が入力されるので、符号化には適応
予測を用いると効果的である。このとき、通常、複数の
画素をブロックとして扱いブロック単位で適応予測を行
なう。この適応予測では、動き補償を考慮したフレーム
間予測符号化（interframe predictive ）とフレーム内
予測符号化（intraframe predictive ）が適宜行なわれ
る。

【００１９】図示しないが適応予測符号化器は、たとえ
ば、入力との差分をとる第１減算器、この第１減算器か
らの出力を量子化する量子化器、この量子化器の出力と
一つ前の予測値とを加算する加算器、この加算器からと
もに出力を供給して予測するフレーム間予測回路とフレ
ーム内予測回路、上記加算器の出力とフレーム間予測回
路との差をとる第２減算器、上記加算器の出力とフレー
ム内予測回路との差をとる第３減算器、第２および第３
減算器の出力を比較する比較器、比較器の出力を１画素
分遅延させる遅延回路、ならびにこの遅延回路の出力を
予測切換信号としてフレーム間予測回路とフレーム内予
測回路からの出力を切り換える切換スイッチを有してい
る。この処理の他に、MPEG等で用いられている直交変換
符号化を用いてもよい。そして、伝送レートを低減させ
るため、量子化が行なわれる。ところで、本実施例で
は、図１に示すように前述した適応予測符号化器の第１
減算器を入力データ作成部12a 内に配している。

【００２０】ビットストリーム変換部12c は、符号化部
12b で符号化された画像データ（量子化代表値）に２進
符号化を施して冗長性の除去を行なう。ここでは、平均
ビット長を最小とする可変長符号のハフマン符号（Haff
man coding）を用いる。この符号化されたデータ、すな
わちビットストリームが送信データとして出力される。
図示しないが、動画像通信装置10は、このような送信装
置12が複数ある場合、それぞれからの出力信号を各チャ
ンネルとして扱って多重化して受信側の復号装置に供給
する。

【００２１】ローカル復号装置14には、確認信号受信部
14a 、更新制御部14b 、符号化情報格納部14c 、復号部
14d および参照フレームメモリ部14e が備えられてい
る。確認信号受信部14a は、図示しない復号装置から受
信した画像データの受信状況を確認信号として受信す
る。復号装置は正常な受信が行なわれた場合、ACK 信号
（A ）を送信し、異常な受信が行なわれた場合、NACK信
号（N ）を送信する。確認信号受信部14a は、この復号
装置から応答信号としてACK 信号またはNACK信号を受信
する。受信結果は更新制御部14b に供給される。

【００２２】更新制御部14b は、確認信号受信部14から
ACK 信号が供給されたとき、符号化情報格納部14c 、復
号部14d および参照フレームメモリ部14e の動作を制御
する。この動作制御については、後段の各部で説明す
る。符号化情報格納部14c には、送信装置12の符号化部
12b からビットストリーム変換部12c に供給するデータ
と同じデータが供給される。符号化情報格納部14c は、
供給されたデータを更新制御部14b によりブロック毎に
整理して格納するメモリである。更新制御部14bは、上
述した３つの各部をACK 信号の供給に応じて制御するだ
けでなく、符号化部12b からのデータ書込みにおいても
制御を行なっている。符号化情報格納部14c は、フレー
ム毎の符号化されたデータおよびフレーム番号が格納さ
れている。

【００２３】復号部14d は、符号化情報格納部14c から
の読み出しにおいて読出し制御に対応するフレーム番号
が存在するとき、格納されている符号化されたデータに
読み出して復号処理を施す。この復号処理は、符号化部
12b での処理と全く逆の処理をGOB 単位に行なう。これ
らの一連の処理をローカルデコード処理という。この処
理は、更新制御部14b からの制御信号に応じて行なわれ
る。参照フレームメモリ部14e は、更新制御部14b の制
御により復号した画像を参照画像として記憶する。この
ローカルな再生画像の記憶において更新制御部14b は参
照フレームメモリ部14e を書込み制御する。ローカルな
再生画像には、記憶する画像データがフレーム間差分の
データの場合、現在、参照フレームメモリ部14e 内に加
える書込み制御が行なわれ、保存される。また、この再
生画像がフレーム内符号化データの復号による場合、画
像の書き換えを行なう。参照フレームメモリ部14e は、
前述したように入力データ作成部12a に参照データを更
新制御部14b の制御に応じて出力する。このように構成
して正常な復号が復号装置で行なわれた場合にだけロー
カルデコード処理をするので、動画像通信装置10は、無
駄な処理を行なわずに済ますことができる。

【００２４】次に動画像通信装置10の参照フレームメモ
リ部14e の動作について図２を参照しながら説明する。
ここで、動作は確認信号受信部14a にACK 信号が供給さ
れ確認された場合のモード（ACK モード）を説明する。
動画像通信装置10の入力データ作成部12a には、入力画
像データa 〜h が順次供給される。入力データ作成部12
a の前置処理を経て符号化部12b に画像データa 〜h が
供給される。この中で最初に供給される画像データa は
符号化部12b でフレーム内符号化される。このフレーム
内符号化された画像データに復号部14d で復号処理が施
された後、得られた画像が参照画像として参照フレーム
メモリ部14e に格納される。受信側からの応答がない
間、更新制御部14b は、参照画像に対する評価が決まら
ないので、符号化情報格納部14c には参照画像a の次の
符号化した画像データ、すなわち画像データb を格納
し、参照フレームメモリ部14e の参照画像をそのままに
する。

【００２５】次に供給される画像データb には、入力デ
ータ作成部12a で参照画像a とフレーム間差分が施され
る。符号化部14b はフレーム間符号化の行なわれた画像
データb をビットストリーム変換部12c および符号化情
報格納部14c にそれぞれ供給する。この場合も参照フレ
ームメモリ部14e のデータ書き換えを行なわない。符号
化情報格納部14c には、上述したように符号化した画像
データb が格納される。

【００２６】画像データb と画像データc とが供給され
る間に、たとえば、受信側の復号装置100 の復号部（図
示せず）から正常な復号が行なわれたことを示す画像デ
ータa に対するACK 信号（A ）が確認信号受信部14a で
受信されたとき、更新制御部14b は、符号化情報格納部
14c へのデータ書込み制御、復号部14d の復号処理およ
び参照フレームメモリ部14e の参照画像の更新を行な
い、参照フレームメモリ部14e の参照画像a にフラグを
付ける制御を行なう。このフラグが、図２の丸印であ
る。更新制御部14b は、特に参照フレームメモリ部14e
にすでにある参照画像と更新される参照画像が同じ中で
も最初の場合、フラグだけを付ける制御だけ行なうよう
にしてもよい。

【００２７】次に画像データc が供給されたとき、画像
データc と参照画像a との差分値を符号化部14b で符号
化してビットストリーム変換部12c および符号化情報格
納部14c に出力を供給する。この段階で正常受信の確認
された最新のフレームを参照フレームメモリ部14e に保
持する規則にしていることから、画像データa が保持さ
れる。このときも符号化情報格納部14c には画像データ
a が消去され、結果として画像データb, cが格納される
ことになる。

【００２８】次に画像データc と画像データd との間に
受信側から画像データb が正常に復号されたことを示す
ACK 信号（A ）が供給される。ここで、更新制御部14b
は、これまでの参照画像a とは異なる最新の画像として
画像データb の正常受信が確認されたことを受けて供給
符号化情報格納部14c から画像データb のデータ読出し
制御、復号部14d の復号処理および参照フレームメモリ
部14e の参照画像の更新を制御する。ACK 信号（A ）の
確認により参照フレームメモリ部14e には参照画像b の
更新が行なわれるとともに、フラグも付与される。

【００２９】画像データd が供給されたとき、入力デー
タ作成部12a では画像データd とフラグ付き参照画像b
との差分値が符号化部12b に供給される。この段階で
は、更新制御部14b の制御により符号化情報格納部14c
には符号化した画像データc, dが格納される。

【００３０】画像データd と画像データe の間で受信側
から画像データc の復号に異常があたことを示すNACK信
号（N ）が供給される。NACK信号（N ）を受信した際
に、参照画像の書換え、すなわち参照画像の変更をしな
い規則により、この段階ではフラグ付き参照画像b をそ
のままにする。更新制御部14b は、このとき画像データ
c が参照画像になることがないのでこの画像データを消
去する。

【００３１】次に画像データe が供給されたとき、フラ
グ付き参照画像b と画像データe との差分値を符号化し
てビットストリーム変換部12c と符号化情報格納部14c
とにそれぞれ供給する。符号化情報格納部14c には、画
像データe に関する符号化した差分値が格納される。こ
の結果、符号化情報格納部14c は、画像データd, eを格
納することになる。

【００３２】次に画像データe と画像データf との間で
画像データd の復号に対する確認をした結果が異常であ
ったことを示すNACK信号（N ）の受信を受けて、この場
合も参照フレームメモリ部14e では参照画像の更新が行
なわれないのでフラグ付き参照画像b をそのままにな
る。更新制御部14b は、このとき画像データd が参照画
像になることがないのでこの画像データを消去する。

【００３３】画像データe と画像データf との間に供給
される確認信号が、この場合、NACK信号（N ）なので、
参照画像の書換えは行なわれない。次に画像データf が
供給されたとき、参照画像は、フラグ付きの画像データ
b である。符号化情報格納部14c は、画像データe, fを
格納する。画像データf と画像データg との間で送信し
た画像データe に対する復号が正常に行なわれたことを
示すACK 信号が供給されている（図２を参照）。このAC
K 信号の受信により、更新制御部14b は、符号化情報格
納部14c の情報、画像データe を読み出す制御を行な
う。更新制御部14b は、読み出した情報（画像データe
）が復号部14d で復号処理されるように復号部14d を
制御する。更新制御部14b は、データ書込みの制御して
この復号された画像データe を参照フレームメモリ部14
e に書き込ませる。画像データe に対するACK 信号が供
給されているので参照画像e にはフラグも同時に付け
る。

【００３４】画像データg が供給されるとき、参照画像
e と画像データg との差分値が得られる。符号化部12b
では、この差分値を符号化して画像データg に対する符
号化したデータをビットストリーム変換部12c と符号化
情報格納部14c とに供給する。これにより、符号化情報
格納部14c には画像データf, gの符号化したデータが格
納されている。同様に、画像データg と画像データh と
の間で画像データf の復号に関するACK 信号が供給され
るので、参照画像f にフラグを付加して参照符号の更新
が行なわれる。

【００３５】これに対して、図３に示すこれまで行なわ
れてきた動画像通信装置20と本実施例との比較について
簡単に説明する。動画像通信装置20には、送信装置22と
ローカル復号装置24とを備えられている。送信装置22
は、本実施例の送信装置12と同じ構成である。一方、ロ
ーカル復号装置24には、確認信号受信部24a 、フレーム
メモリ部24b 、メモリ制御部24c 、復号部24d 、加算器
24e および参照フレームメモリ部24f が備えられてい
る。この中で、確認信号受信部24a 、復号部24d および
参照フレームメモリ部24f はローカル復号装置14の対応
する各部と同じ構成であるので説明を省略する。フレー
ムメモリ部24b は、復号部24d からの信号と参照フレー
ムメモリ部24f からの出力を加算した画像データを格納
する記憶部である。また、メモリ制御部24c は、このフ
レームメモリ部24b の動作（たとえば、格納方法等）を
制御する。

【００３６】動画像通信装置20の動作について図４を用
いて説明する。ここで、送信装置22は、送信装置12と同
じ動作を行ない入力される画像データを符号化した送信
データにして復号装置200 に送信する。復号装置200 は
供給されるデータを復号するがその復号が正常に行なわ
れたか否かを確認信号（ACK 信号あるいはNACK信号）を
送信装置22に応答してくる。ローカル復号装置24の確認
信号受信部24a は、確認信号を受信する。このときの受
信した信号がACK 信号かNACK信号かに応じた信号がフレ
ームメモリ部24b とメモリ制御部24c に供給される。AC
K 信号は、前述した通り正常な受信がされたことを示す
信号である。また、NACK信号は、異常な受信がされたこ
とを示す信号である。

【００３７】ACK 信号が確認受信された場合、ACK モー
ドにして正常に受信されたデータを参照画像にするよう
にフレームメモリ部24b から画像データを出力させる。
また、NACK信号が確認受信された場合、NACKモードにし
て要求する画像データを参照画像にするようにフレーム
メモリ部24b から画像データを出力させる。確認信号受
信部24a は、このように命令する制御データをフレーム
メモリ部24b に供給する。確認信号受信部24a は、別の
方法で制御するためのデータをメモリ制御部24c に供給
している（図３を参照）。

【００３８】フレームメモリ部24b には、符号化部22b
で符号化した差分データを復号部24d で復号する。これ
により、差分データが得られる。この差分データを加算
器24e の一端側に供給し、他端側には参照画像が供給さ
れる。この加算により元の入力した画像データが復元さ
れ、フレームメモリ部24b に供給される。図４のフレー
ムメモリ部24b には、４フレーム分のメモリが設けられ
ている。したがって、図４のフレームメモリ部24b に
は、供給される画像データが順次画像データa 〜h が格
納される。しかも最も古い画像データは消去しながら次
の画像データを記憶させている。弧を描く矢印は差分を
とる画像データ同士を示すものである。メモリ制御部24
c は、フレーム間符号化が行なえるように正常に受信さ
れた画像データを優先してフレームメモリ部24f に格納
させる処理を行なう。正常受信の確認された画像データ
にはフラグを付加している。この規則を端的に表してい
るのが、たとえば、画像データe と画像データf とが供
給される間にある。すなわち、供給される確認信号がNA
CK信号のため参照画像はフラグ付きの画像データb のま
まで、参照画像に要求される可能性があるので保存して
おかなければならない。画像データf が次に供給される
場合、最も古い画像データは、画像データb を除いて一
つ前の状態から明らかなように画像データc である。こ
の画像データcは消去し、最新の画像データf がフレー
ムメモリ部24b に入力される（画像データ「f, e, d,
b」）。

【００３９】この場合、フレームメモリ部24b には、最
新の画像データと参照画像になる画像データを含め、復
号部24d で復号処理されて、その時点で参照画像になり
得ない画像データも記憶されている。このように参照画
像になり得ない画像の復号処理は無駄である。本実施例
では、復号処理を最小限に抑えることにより、参照フレ
ームメモリ部14e のメモリ容量を従来のフレームメモリ
部24b に比べて少なくすることができる。本実施例のよ
うな手順で処理を抑えることにより、復号処理にかかる
負担を軽減させるとともに、消費電力も下げることがで
きる。

【００４０】たとえば、伝送路の誤り率が10^-4、伝送路
の伝送レートが30kbpsの場合、30,000ビットに3 ビット
の誤りがあることになる。また受信確認信号をフレーム
単位に復号装置から受信するときのフレームレートが10
Hzとすると、正常に受信できないフレームは最大10フレ
ーム中3 フレームになる。ここで、ローカルデコードに
要する処理が全体の処理の10％とすると、１フレームあ
たり3 ％の処理量を削減させることができる。上述した
仮定でなく、誤り率がさらに上がれば、その処理量はさ
らに削減されることになる。またローカルデコードに時
間を要する符号化方法を用いている場合であれば、より
一層の削減効果を見込むことができる。

【００４１】比較例では、復号部24d の後段に配したフ
レームメモリ部24b に複数の画像データを保存した上で
正常に受信の確認された最新のフレーム（画像データ）
を優先してメモリに残す処理をしているが、本実施例で
は正常に受信され確認のとれた最新のフレームだけを復
号して参照画像に用いるので、比較例の動画像通信装置
20が行なっている別の方法によるメモリ制御が不要にな
る。また、参照フレームメモリ部14e のおよび符号化情
報格納部14c のメモリ容量が少なくて済ませることがで
きる。

【００４２】本発明の画像通信装置を適用した動画像通
信装置10の他の実施例について図５を参照しながら簡単
に説明する。ここで、先の実施例と共通する部分には、
同じ参照符号を付して説明を省略する。先の実施例で
は、符号化部12b から取り出した画像データを用いた
が、ビットストリーム変換部12c から送信データをロー
カルデコード用に取り出してもよい。この場合、ローカ
ル復号装置14は、符号化情報格納部14c に相当するもの
にビットストリーム格納部14f が用いられる。ビットス
トリーム格納部14f の適用により、ビットストリーム変
換部12c で行なった変換に対する逆変換が必要になる。
これがビットストリーム逆変換部14g である。ビットス
トリーム逆変換部14g は、符号化した段階の差分データ
にして復号部14d に供給する。復号部14d は、更新制御
部14b の制御により復号処理を行なっている。この制御
は、復号装置での正常な復号が行なわれたことが確認さ
れたときだけ前述した実施例の場合と全く同じに復号処
理をし、参照画像を生成する。この参照画像は、入力デ
ータ作成部12a でのフレーム間の差分値を生成するため
に用いられる。

【００４３】このようにローカルデコードするために用
いるデータをビットストリームにすることにより、情報
の圧縮が一層進んでいるので、先の実施例で用いたメモ
リ容量よりも大幅に少なく抑えることができる。参照フ
レームメモリ部14e 以外の部分でデータを格納する領域
を比較例のフレームメモリ部24b の4 フレーム分とす
る。輝度信号の解像度が176 ×144 、色差信号の解像度
が88×72の場合メモリ容量は、{(176 ×144+88×72×2)
×4}=152,064byteとほぼ150kbyteが必要である。図５に
示した実施例においてビットストリーム格納部14に4 フ
レーム分のデータを格納した場合、たとえば、伝送路の
伝送レートが30kbps、フレームレート10Hz、圧縮率1/8
と条件を仮定すると、{(30,000/10/8)×4}=1,500byte=
1.5kbyte となる。これは、90％以上の削減となる。こ
のように送信データを格納してローカルデコードする
と、大幅なメモリ節減ができるようになる。

【００４４】以上のように構成することにより、応答で
供給される確認信号のうち、正常な受信が行なわれたと
きだけ復号処理を行なって参照画像を生成することによ
り、消費電力およびメモリ容量の大幅な削減を行なうこ
とができる。

【００４５】

【発明の効果】このように本発明の画像通信装置によれ
ば、情報受信手段で復号正常を示す通知情報を受信した
ときだけ情報保存手段から情報を読出し、復号・参照画
像の更新という一連のローカルデコード処理を行ない、
異常時のローカルデコード処理を回避すると、処理回数
の減少して消費電力を大幅に減少させることができる。
また、上述の条件により保存する情報も少なく抑えるの
で、メモリ容量も大幅に削減させることができる。

【００４６】また、本発明のローカルデコード処理によ
れば、復号が正常におこなわれたことを示す情報が供給
された際に予め記憶していた画像情報を読み出して復号
・参照画像の更新という一連のローカルデコード処理を
行なうことにより、異常時のローカルデコード処理を回
避している。これにより、処理回数を大幅に減少させる
ことができ、結果としてこの方法を適用した装置の消費
電力を大幅に低下させることができる。また、上述の条
件により保存する情報も少なく抑えるので、メモリ容量
も大幅に削減させることができる。

【図面の簡単な説明】

【図１】本発明の画像通信装置を適用した実施例の動画
像通信装置の概略的な構成を示すブロック図である。

【図２】図１の装置における動作のうち、参照フレーム
メモリ部に供給される画像データの関係を説明する模式
図である。

【図３】本発明の画像通信装置の比較例である従来の装
置の概略的な構成を示すブロック図である。

【図４】図３の装置のフレームメモリ部と本発明を適用
した場合の参照フレームメモリ部との動作、手順の違い
を比較するために模式図である。

【図５】本発明の画像通信装置を適用した他の実施例の
動画像通信装置の概略的な構成を示すブロック図であ
る。

【符号の説明】

10 動画像通信装置 12 送信装置 14 ローカル復号装置 12a 入力データ作成部 12b 符号化部 12c ビットストリーム変換部 14a 確認信号受信部 14b 更新制御部 14c 符号化情報格納部 14d 復号部 14e 参照フレームメモリ部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力画像に対する前処理を施すデータ作
   成手段、該データ作成手段から出力される画像のうち、
   基準をなす参照画像に一画像を設定し該参照画像に基づ
   いて画像に対して予測符号化を行なう第１の符号化手
   段、および該符号化手段の出力に変換符号化を行なう第
   ２の符号化手段を有する送信装置と、該送信装置の送出
   先での受信状況を示す通知情報を受信する情報受信手
   段、該情報受信手段に基づいて符号化された画像の復号
   を行なう復号手段、該復号手段の処理、かつ復号した画
   像を参照画像とする更新の場合の制御を行なう更新制御
   手段、および前記データ作成手段に前記参照画像を供給
   するメモリ手段を有するローカル復号装置とを備える画
   像通信装置において、該装置は、 前記ローカル復号装置に、前記第１の符号化手段の符号
   化情報を復号する場合には該符号化情報を保存する情報
   保存手段を含み、 前記更新制御手段は、前記情報受信手段で受信した通知
   情報が復号正常を示した際に、前記情報保存手段の情報
   の出力、該情報の復号および前記メモリ手段の制御をそ
   れぞれ行なうことを特徴とする画像通信装置。
2. 【請求項２】 請求項１に記載の画像通信装置におい
   て、前記ローカル復号装置は、前記第２の符号化手段の
   送信データを復号する場合、該送信データを保存する送
   信データ保存手段と、 該送信データ保存手段からの出力に前記第２の符号化手
   段で施した変換の逆変換を施す逆変換手段とを含み、 前記更新制御手段は、前記情報受信手段で受信した通知
   情報が復号正常を示した際に、前記送信データ保存手段
   の送信データの出力、前記逆変換手段の制御、該送信デ
   ータの復号および前記メモリ手段の制御をそれぞれ行な
   うことを特徴とする画像通信装置。
3. 【請求項３】 入力画像に対する前処理を施し、該前処
   理した画像のうち、基準をなす参照画像に一画像を設定
   し該参照画像に基づいて画像に対して予測符号化を行
   い、該予測符号化した出力に変換符号化を行なって得ら
   れた送信データを送出した際に、該送出データの送出先
   での受信状況を示す通知情報を受信して得られた通知情
   報に基づいて符号化された画像の復号をローカルに行な
   って得られた画像を適応的に参照画像に用いるローカル
   デコード処理方法において、該方法は、 前記ローカルデコード処理に備えて予め符号化された画
   像情報を記憶させる記憶工程と、 前記送信データの送出先からの通知情報のうち、復号が
   正常におこなわれたことを示す情報が供給された際に前
   記記憶工程で記憶された画像情報を読み出す画像読出し
   工程と、 該画像読出し工程で読み出した画像情報に対して復号を
   行なう復号工程と、 該復号工程で得られた画像を参照画像として記憶する参
   照画像記憶工程とを含むことを特徴とするローカルデコ
   ード処理方法。
4. 【請求項４】 請求項３に記載の方法において、前記記
   憶工程は、予め符号化された画像情報に予測符号化され
   た画像あるいは変換符号化された画像を用い、 前記記憶工程で変換符号化された画像を記憶した場合、
   前記画像読出し工程で読み出した画像に対して前記変換
   符号化の逆変換を施した後に復号を行なうことを特徴と
   するローカルデコード処理方法。