JP2002010265A

JP2002010265A - 送信装置およびその方法と受信装置およびその方法

Info

Publication number: JP2002010265A
Application number: JP2000189761A
Authority: JP
Inventors: Akiyoshi Murayama; 明佳村山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-06-20
Filing date: 2000-06-20
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】参照画像を用いて符合化した信号を複数の端
末装置に、エラーが発生する通信網を用いて送信する場
合に、処理負担を軽減でき、小規模化が図れる送信装置
を提供する。【解決手段】時系列に並べられた複数の画像の各々を
符合化して所定の送信先に送信する送信装置であって、
前記複数の画像の各々を参照画像を用いて符合化する動
き検出／動き補償回路３０、動きベクトル予測回路３２
および符合化回路３３と、符合化した画像を復号した画
像を記憶するメモリ１２２と、送信された画像が送信先
で適切に復号されなかった場合に、前記送信先で適切に
復号された画像に対応する画像であって予め指定した画
像を前記参照画像としてメモリ１２２から読み出す基準
参照画像選択回路３５₂とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、フレーム
間予測を用いて符号化した画像の信号を送信する送信装
置およびその方法と、当該信号を受信する受信装置およ
びその方法に関する。

【０００２】

【従来の技術】例えば、テレビ電話システム、テレビ会
議システムおよびビデオオンデマンドシステムなどの動
画像伝送システムの実現に向け、ＩＴＵ−Ｔ勧告Ｈ．２
６３やＭＰＥＧ(Moving Picture Experts Group)などで
動画像符号化方式の標準化が進められている。これらの
動画像符号化方式では、符号化しようとする対象フレー
ムと、直前に符号化したフレームとの差分情報のみを符
号化するという、フレーム間予測方式により圧縮効率の
向上を図っている。このフレーム間予測方式は、圧縮率
の劇的な向上をもたらすが、あるフレームに伝送エラー
やパケットロスなどが生じると、受信側において、当該
フレームを参照画像としている後のフレームの復号がで
きなくなるという問題がある。そのため、受信側では、
伝送エラーなどでフレームを受信できなかった場合に、
ＮＡＣＫ信号を送信側に送る。送信側では、ＮＡＣＫ信
号を受けると、それ以後に送信するフレームを、受信側
が以前に適切に受信および復号したフレームを参照画像
として符号化する。

【０００３】例えば、図８に示すように、フレーム
「３」に伝送エラーが生じた場合を考えると、フレーム
「４」はフレーム「３」を参照画像として符号化されて
いるため、受信側では、フレーム「３」および「４」を
適切に復号できない。受信側では、フレーム「３」を受
信できないこと検出すると、ＮＡＣＫ信号を送信側に送
信する。送信側では、ＮＡＣＫ信号を受けると、以後の
フレーム「５」を、受信側が既に適切に復号した最後の
フレーム「２」を参照画像として符号化する。従って、
受信側では、フレーム「２」を参照画像として、受信し
たフレーム「５」を復号できる。

【０００４】ところで、例えば、多地点間通信を行うテ
レビ会議システムなどのような多地点間通信システムで
は、上述したような参照画像を用いた予測符号化を行う
と、サーバ装置と複数の端末装置との間の通信経路の相
違や、端末装置の受信感度の違いなどにより、端末装置
毎に伝送エラーやパケットロスの発生状況が異なり、複
数の端末装置がサーバ装置にそれぞれ異なる参照画像の
選択を要求することになる。そのため、サーバ装置は、
複数の端末装置のそれぞれについて、異なる参照画像を
用いてフレームの符号化を行うことなり、端末装置の数
が増えるに従ってサーバ装置の処理の負荷が著しく増加
してしまうという問題がある。

【０００５】以下、具体例を用いて説明する。図９は、
多地点間通信システム１の構成図である。多地点間通信
システム１では、端末装置２₁〜２₄が送信した画像信
号および音声信号がネットワーク４を介してサーバ装置
３で受信され、サーバ装置３において画像合成および音
声合成を行い、それによって得られた画像信号および音
声信号がサーバ装置３から端末装置２₁〜２₄にネット
ワーク４を介して送信される。

【０００６】図１０は図９に示す端末装置２₁〜２₃の
構成図、図１１は図９に示すサーバ装置３の構成図であ
る。図１０に示すように、端末装置２₁〜２₃では、受
信した信号を復号回路１０で復号した後に、動きベクト
ル抽出回路１１で動きベクトルを検出して動き補償回路
１２に出力する。また、参照画像選択回路１３が選択し
たフレームを参照画像として、動き補償回路１２に出力
する。動き補償回路１２では、動きベクトル抽出回路１
１からの動きベクトルと、参照画像選択回路１３からの
参照画像とを用いて動き補償を行い、その結果を加算回
路１５に出力する。加算回路１５では、復号回路１０か
らの復号信号と、動き補償回路１２からの動き補償信号
とを加算した信号をディスプレイ１６に出力する。ま
た、制御回路１７は、フレームが連続して受信および復
号されたか否かを監視し、受信または復号できないフレ
ームを検出すると、ＮＡＣＫ信号をサーバ装置３に送信
する。

【０００７】また、図１１に示すように、サーバ装置３
は、端末装置２₁〜２₃のそれぞれに対応した符号化モ
ジュール２１₁，２１₂，２１₃と、メモリ２２と、制
御回路２３と、復号回路３４とを有する。符号化モジュ
ール２１₁、動き検出／動き補償回路３０において、参
照画像選択回路３５がメモリ２２から読み出した参照画
像と、原画像との間で動き検出を行い、その結果を減算
回路３１に出力する。減算回路３１では、原画像と動き
検出結果とを用いて所定の減算を行い、その減算結果を
符号化回路３３に出力する。また、動きベクトル予測回
路３２では、動き検出結果を用いて動きベクトルを予測
し、その結果を符号化回路３３に出力する。符号化回路
３３では、動きベクトル予測結果と、減算回路３１から
の減算結果とを用いて符号化を行い、それによって得ら
れた信号をネットワーク４を介して端末装置２₁に送信
すると共に、復号回路３４に出力する。復号回路３４で
は、符号化回路３３からの信号を復号してメモリ２２に
記憶する。

【０００８】符号化モジュール２１₂，２１₃は、基本
的に、符号化モジュール２１₁と同じ動作を行い、符号
化した信号をそれぞれネットワーク４を介して端末装置
２₂，２₃にそれぞれ送信する。

【０００９】以下、例えば、図９に示すネットワーク４
を介したサーバ装置３から端末装置２₁，２₂、２₃へ
の動画像の送信状態が、図１２、図１３および図１４に
示すようになった場合の動作を説明する。図１２〜図１
４において、フレーム「１」〜「８」は、フレーム
「１」から「８」に向かって時系列に並べられた画像の
画像信号である。図１２に示すように、サーバ装置３
は、図１１に示す符号化モジュール２１₁を用いて、制
御回路２３からの制御に基づいて、フレーム「１」をそ
のまま符号化し、フレーム「２」〜「８」をそれぞれフ
レーム「１」〜「７」を参照画像として符号化し、当該
符号化によって生成したフレーム「１」〜「８」をリア
ルタイムにネットワーク４を介して端末装置２₁〜２₃
に送信する。このとき、ネットワーク４上のサーバ装置
３と端末装置２₁との間の通信経路では、フレーム
「１」〜「８」には伝送エラー等が発生せず、フレーム
「１」〜「８」は端末装置２₁で適切に受信および復号
される。

【００１０】また、図１３では、端末装置２₂によるフ
レーム「５」の受信にエラーが生じ、端末装置２₂にお
いてフレーム「５」および「６」の復号が適切に行えな
い状態を示している。この場合に、端末装置２₂からサ
ーバ装置３に送信されたＮＡＣＫ信号によって、図１１
に示す符号化モジュール２１₂では、フレーム「４」を
参照画像として、フレーム「７」が符号化されて端末装
置２₂に送信される。

【００１１】また、図１４では、端末装置２₃によるフ
レーム「３」の受信にエラーが生じ、端末装置２₃にお
いてフレーム「３」および「４」の適切な復号が行え
ず、端末装置２₃からサーバ装置３に送信されたＮＡＣ
Ｋ信号によって、図１１に示す符号化モジュール２１₃
で、フレーム「２」を参照画像としてフレーム「５」が
符号化されて端末装置２₃に送信されている。しかし、
端末装置２₃によるフレーム「５」の受信にさらにエラ
ーが生じ、端末装置２₃においてフレーム「５」および
「６」の適切な復号が行えず、端末装置２₃からサーバ
装置３に送信されたＮＡＣＫ信号によって、図１１に示
す符号化モジュール２１₃で、フレーム「２」を参照画
像としてフレーム「６」が符号化されて端末装置２₃に
送信されている。

【００１２】

【発明が解決しようとする課題】上述した図１２〜図１
４に示す場合に、サーバ装置３によるフレーム「７」の
符号化に着目すると、端末装置２₁についてはフレーム
「６」を参照画像として用い、端末装置２₂については
フレーム「４」を参照画像として用い、端末装置２₃に
ついてはフレーム「２」を参照画像として用いることに
なり、サーバ装置３の処理の負担が大きいと共に、この
ような最悪の場合に対応するために、端末装置の数だけ
符号化モジュールを設ける必要があり、大規模化してし
まうという問題がある。

【００１３】本発明は上述した従来技術の問題点に鑑み
てなされ、参照画像を用いて符号化した信号を複数の端
末装置に、エラーが発生する通信網を用いて送信する場
合に、処理負担を軽減でき、小規模化が図れる送信装置
およびその方法を提供することを目的とする。また、本
発明は、上述した送信装置に対応した受信装置およびそ
の方法を提供することを目的とする。

【００１４】

【課題を解決するための手段】上述した従来技術の問題
点を解決し、上述した目的を達成するために、第１の発
明の送信装置は、時系列に並べられた複数の画像の各々
を符号化して所定の送信先に送信する送信装置であっ
て、前記複数の画像の各々を参照画像を用いて符号化す
る符号化手段と、前記符号化した画像を復号した画像を
記憶する記憶手段と、前記送信された画像が送信先で適
切に復号されなかった場合に、前記送信先で適切に復号
された画像に対応する画像であって予め指定した画像を
前記参照画像として前記記憶手段から読み出す読み出し
手段とを有する。

【００１５】第１の発明の送信装置の作用は以下のよう
になる。符号化手段において、複数の画像の各々が参照
画像を用いて符号化され、当該符号化された画像が、送
信先に送信されると共に、復号された後に記憶手段に記
憶される。そして、前記送信された画像が送信先で適切
に復号されなかった場合に、読み出し手段によって、前
記送信先で適切に復号された画像に対応する画像であっ
て予め指定した画像が前記記憶手段から前記参照画像と
して読み出される。そして、前記符号化手段によって、
当該読み出された参照画像を用いて、画像が符号化さ
れ、前記送信先に送信される。第１の発明の送信装置で
は、前記送信された画像が送信先で適切に復号されなか
った場合に、記憶手段から読み出される参照画像が、例
えば、１枚など予め指定されていることから、送信先が
複数であった場合でも、送信先毎に符号化手段を設ける
必要がない。

【００１６】また、第１の発明の送信装置は、好ましく
は、前記符号化手段は、前記参照画像を用いて前記複数
の画像の各々をフレーム間予測によって符号化する。

【００１７】また、第１の発明の送信装置は、好ましく
は、前記読み出し手段は、前記参照画像として用いる画
像を、前記時系列に並べられた複数の画像のなかから所
定のフレーム間隔で指定する。

【００１８】また、第１の発明の送信装置は、好ましく
は、前記読み出し手段は、前記参照画像として読み出す
前記指定した画像を、定期的あるいは不定期に更新す
る。

【００１９】また、第２の発明の送信装置は、時系列に
並べられた複数の画像の各々を符号化して送信する送信
装置であって、前記符号化された画像を復号する復号手
段と、前記復号された画像を記憶する記憶手段と、前記
画像を符号化する際に、当該符号化を行う画像よりも時
間が前の画像を参照画像として前記記憶手段から読み出
す読み出し手段と、前記複数の画像の各々を前記参照画
像を用いて符号化する符号化手段と、前記符号化した画
像を送信する送信手段とを有し、前記読み出し手段は、
前記送信された画像が送信先で適切に復号されなかった
場合に、前記送信先で適切に復号された画像に対応する
画像であって予め指定した画像を前記参照画像として前
記記憶手段から読み出す。

【００２０】また、第３の発明の送信装置は、時系列に
並べられた複数の画像の各々を符号化して送信する送信
装置であって、第１の符号化モジュールと、第２の符号
化モジュールと、前記第１の符号化モジュールが符号化
した画像を復号する復号手段と、前記復号された画像を
記憶する記憶手段とを有し、前記第１の符号化モジュー
ルは、前記画像を符号化する際に、当該符号化を行う画
像よりも時間が前の画像を第１の参照画像として前記記
憶手段から順に読み出す第１の読み出し手段と、前記複
数の画像の各々を前記第１の参照画像を用いて符号化す
る第１の符号化手段と、前記第１の符号化手段が符号化
した画像を送信する第１の送信手段とを有し、前記第２
の符号化モジュールは、前記画像を符号化する際に、当
該符号化を行う画像よりも時間が前の画像を第２の参照
画像として前記記憶手段から読み出す第２の読み出し手
段と、前記複数の画像の各々を前記第２の参照画像を用
いて符号化する第２の符号化手段と、前記第２の符号化
手段が符号化した画像を送信する第２の送信手段とを有
し、前記第２の読み出し手段は、前記送信された画像が
送信先で適切に復号されなかった場合に、前記送信先で
適切に復号された画像に対応する画像であって予め指定
した画像を前記第２の参照画像として前記記憶手段から
読み出す。

【００２１】また、第４の発明の受信装置は、参照画像
を用いて符号化された画像を受信して復号する受信装置
であって、前記符号化された画像を受信する受信手段
と、前記復号した画像を記憶する記憶手段と、前記受信
した画像を、所定の参照画像を用いて復号する復号手段
と、前記画像の受信または前記復号が適切に行われてな
かった場合に、予め指定した画像を前記参照画像として
前記記憶手段から読み出す読み出し手段とを有する。

【００２２】第４の発明の受信装置の作用は以下のよう
になる。受信手段によって、符号化された画像が受信さ
れる。そして、当該受信された画像が、復号手段によっ
て、所定の参照画像を用いて復号された後に、記憶手段
に記憶される。そして、前記画像の受信または前記復号
が適切に行われてなかった場合に、読み出し手段によっ
て、予め指定した画像が前記参照画像として前記記憶手
段から読み出される。そして、前記復号手段によって、
前記読み出された参照画像を用いて、画像の復号が行わ
れる。

【００２３】また、第４の発明の受信装置は、好ましく
は、前記復号手段は、前記参照画像を用いて、前記複数
の画像の各々をフレーム間予測によって復号化する。

【００２４】また、第４の発明の受信装置は、好ましく
は、前記読み出し手段は、前記参照画像として用いる画
像を、時系列に並べられた複数の画像のなかから所定の
フレーム間隔で指定する。

【００２５】また、第４の発明の受信装置は、好ましく
は、前記読み出し手段は、前記参照画像として読み出す
前記指定した画像を、定期的あるいは不定期に更新す
る。

【００２６】また、第４の発明の受信装置は、好ましく
は、前記前記画像の受信または前記復号が適切に行われ
てなかった場合に、その旨を前記画像の送信元に通知す
る制御手段をさらに有する。

【００２７】また、第５の発明の送信方法は、時系列に
並べられた複数の画像の各々を符号化して所定の送信先
に送信する送信方法であって、前記複数の画像の各々を
参照画像を用いて符号化し、前記符号化した画像を前記
送信先に送信し、前記符号化した画像を復号した画像を
記憶手段に記憶し、前記送信された画像が送信先で適切
に復号されなかった場合に、前記送信先で適切に復号さ
れた画像に対応する画像であって予め指定した画像を前
記参照画像として前記記憶手段から読み出し、当該読み
出した参照画像を用いて画像の符号化を行い、当該符号
化した画像を前記送信先に送信する。

【００２８】また、第６の発明の受信方法は、参照画像
を用いて符号化された画像を受信して復号する受信方法
であって、前記符号化された画像を受信し、所定の参照
画像を用いて前記受信した画像を復号し、当該復号した
画像を記憶手段に記憶し、前記画像の受信または前記復
号が適切に行われてなかった場合に、予め指定した画像
を前記参照画像として前記記憶手段から読み出し、当該
読み出した参照画像を用いて受信した画像の復号を行
う。

【００２９】

【発明の実施の形態】以下、本発明の実施形態の多地点
間通信システムについて説明する。図１は、本実施形態
の多地点間通信システム１０１の構成図である。図１に
示すように、多地点間通信システム１０１では、端末装
置１０２₁〜１０２₃およびサーバ装置１０３がネット
ワーク４を介して接続されている。ここで、ネットワー
ク４は、例えば、帯域保証がされておらず、伝送エラー
やパケットロスなどが発生する可能性があるインターネ
ットなどの通信網である。なお、端末装置１０２₁〜１
０２₃がそれぞれ本発明の受信装置に対応し、サーバ装
置１０３が本発明の送信装置に対応している。

【００３０】多地点間通信システム１０１では、端末装
置１０２₁〜１０２₄が送信した例えばリアルタイムの
画像信号および音声信号がネットワーク４を介してサー
バ装置１０３で受信され、サーバ装置１０３において画
像合成および音声合成を行い、それによって得られた画
像信号および音声信号がサーバ装置１０３から端末装置
１０２₁〜１０２₄にネットワーク４を介して送信され
る。以下、サーバ装置１０３による合成した画像の送信
機能、端末装置１０２₁〜１０２₄の受信機能について
説明する。

【００３１】サーバ装置１０３は、参照画像として使用
する画像を例えば所定のフレーム間隔、例えば１０枚あ
るいは１５枚などのフレーム間隔で予め指定し（以下、
当該指定した画像を指定参照画像とも記す）、端末装置
１０２₁〜１０２₃からＮＡＣＫ信号を受けたときに、
端末装置１０２₁〜１０２₃で適切な復号が行われた最
も近い位置にある指定参照画像を用いて次のフレームを
符号化する。例えば、図２に示すように、端末装置１０
２₁によるフレーム「３」の受信にエラーが生じ、端末
装置１０２₁においてフレーム「３」および「４」の適
切な復号が行えず、端末装置１０２₁からサーバ装置１
０３にＮＡＣＫ信号が送信される。サーバ装置１０３
は、端末装置１０２₁からＮＡＣＫ信号を受信すると、
それ以前の指定参照画像であるフレーム「１」を参照画
像としてフレーム「５」が符号化される。この場合に、
例えば、端末装置１０２₂，１０２₃において、フレー
ム「２」や「４」の適切が行えない場合でも、サーバ装
置１０３は、端末装置１０２₂，１０２₃からＮＡＣＫ
信号に応じて、それ以前の指定参照画像であるフレーム
「１」を参照画像としてフレーム「４」，「６」を符号
化する。

【００３２】〔端末装置１０２₁〜１０２₃〕図３は図
１に示す端末装置１０２₁の構成図である。なお、端末
装置１０２₂，１０２₃は、端末装置１０２₁と同じ構
成をしている。図３に示すように、端末装置１０２
₁は、復号回路１０、動きベクトル抽出回路１１、動き
補償回路１２、指定参照画像選択回路１１３、メモリ１
１４、加算回路１５、ディスプレイ１６、制御回路１１
７、受信回路１１８および送信回路１１９を有する。こ
こで、受信回路１１８が第４の発明の受信手段に対応
し、メモリ１１４が第４の発明の記憶手段に対応し、復
号回路１０、動きベクトル抽出回路１１および動き補償
回路１２が第４の発明の復号手段に対応し、指定参照画
像選択回路１１３が第４の発明の読み出し手段に対応し
ている。

【００３３】受信回路１１８は、ネットワーク４を介し
てサーバ装置１０３から符号化された信号を受信する。
復号回路１０は、受信回路１１８が受信した信号の可変
長復号、逆量子化および逆ＤＣＴなどの処理を行い、そ
の結果を加算回路１５に出力する。

【００３４】動きベクトル抽出回路１１は、復号回路１
０の復号結果に基づいて動きベクトルを抽出し、当該抽
出した動きベクトルを動き補償回路１２に出力する。動
き補償回路１２は、動きベクトル抽出回路１１から入力
した動きベクトルと、指定参照画像選択回路１１３がメ
モリ１１４から読み出した指定参照画像とを用いて動き
補償を行い、その結果を加算回路１５に出力する。指定
参照画像選択回路１１３は、制御回路１１７からの制御
に基づいて、対応する指定参照画像を選択してメモリ１
１４から読み出し、これを動き補償回路１２に出力す
る。

【００３５】加算回路１５は、復号回路１０からの復号
結果と、動き補償回路１２からの動き補償結果とを加算
した信号をディスプレイ１６に出力する。ディスプレイ
１６は、加算回路１５から入力した信号に応じた画像を
表示する。制御回路１１７は、例えば、受信回路１１８
および復号回路１０において、信号の受信および復号が
適切に行われたか否かを監視、適切に行われなかった場
合には、ＮＡＣＫ信号を送信回路１１９を介してサーバ
装置３に送信する。また、制御回路１１７は、この場合
に、サーバ装置１０３がＮＡＣＫ信号に応じて以後の信
号を符号化する際に用いる指定参照画像を指定参照画像
選択回路１１３がメモリ１１４から読み出すように、指
定参照画像選択回路１１３を制御する。

【００３６】以下、端末装置１０２₁の動作を説明す
る。図２に示すように、端末装置２₁〜２₃では、受信
回路１１８が受信した信号を復号回路１０で復号した後
に、動きベクトル抽出回路１１で動きベクトルを検出し
て動き補償回路１２に出力する。また、指定参照画像選
択回路１１３が選択した指定参照画像がメモリ１１４か
ら読み出されて動き補償回路１２に出力される。動き補
償回路１２では、動きベクトル抽出回路１１からの動き
ベクトルと、指定参照画像選択回路１１３からの参照画
像とを用いて動き補償を行い、その結果を加算回路１５
に出力する。加算回路１５では、復号回路１０からの復
号信号と、動き補償回路１２からの動き補償信号とを加
算した信号をディスプレイ１６に出力する。加算回路１
５の加算結果は、メモリ１１４に格納される。このと
き、制御回路１１７は、フレームが連続して受信および
復号されたか否かを監視し、受信または復号できないフ
レームを検出すると、ＮＡＣＫ信号をサーバ装置１０３
に送信する。

【００３７】〔サーバ装置１０３〕図４は、図１に示す
サーバ装置１０３の構成図である。図４に示すように、
サーバ装置１０３は、符号化モジュール１２１₁，１２
１₂、復号回路３４、メモリ１２２および制御回路１２
３を有する。ここで、符号化モジュール１２１₁が第３
の発明の第１の符号化モジュールに対応し、符号化モジ
ュール１２１₂が第３の発明の第２の符号化モジュール
に対応し、復号回路３４が第３の発明の復号手段に対応
し、メモリ１２２が第３の発明の記憶手段に対応してい
る。

【００３８】図４に示すように、符号化モジュール１２
１₁は、動き検出／動き補償回路３０、減算回路３１、
動きベクトル予測回路３２、符号化回路３３指定参照画
像選択回路３５₁を有する。

【００３９】動き検出／動き補償回路３０は、原画像の
動き検出および動き補償を行い、その結果を減算回路３
１および動きベクトル予測回路３２に出力する。減算回
路３１は、原画像から、動き検出／動き補償回路３０の
結果を減算し、その差分を符号化回路３３に出力する。
動きベクトル予測回路３２は、動き検出／動き補償回路
３０の結果を用いて、動きベクトル予測を行い、その結
果を符号化回路３３に出力する。符号化回路３３は、減
算回路３１からの差分と、動きベクトル予測回路３２の
結果とを用いて符号化を行い、それによって得られた信
号を図１に示すネットワーク４を介して、制御回路１２
３によって指定された端末装置１０２₁〜１０２₃に送
信する。指定参照画像選択回路３５₁は、制御回路１２
３によって指定された指定参照画像をメモリ１２２から
読み出して動き検出／動き補償回路３０および復号回路
３４に出力する。

【００４０】図４に示すように、符号化モジュール１２
１₂は、符号化モジュール１２１_１と同様に、動き検出
／動き補償回路３０、減算回路３１、動きベクトル予測
回路３２、符号化回路３３および指定参照画像選択回路
３５_２を有する。ここで、符号化モジュール１２１₂
の動き検出／動き補償回路３０、動きベクトル予測回路
３２および符号化回路３３が第１の発明等の符号化手段
に対応し、メモリ１２２が第１の発明等の記憶手段に対
応し、指定参照画像選択回路３５₂が第１の発明等の読
み出し手段に対応している。

【００４１】制御回路１２３は、符号化モジュール１２
１₁，１２１₂およびメモリ１２２の動作を統括的に制
御する。また、制御回路１２３は、所定のフレーム間隔
で位置する２枚のフレームを指定参照画像として指定す
る。そして、制御回路１２３は、端末装置１０２₁〜１
０２₃からＮＡＣＫ信号を受信すると、端末装置１０２
₁〜１０２₃で適切な復号が行われた最も近い位置にあ
る指定参照画像を選択するように、指定参照画像選択回
路３５₁，３５₂を制御する。

【００４２】復号回路３４は、指定参照画像選択回路３
５₁から入力した指定参照画像を用いて、符号化回路３
３が出力した信号の復号を行い、その結果をメモリ１２
２に書き込む。

【００４３】なお、多地点間通信システム１０１では、
サーバ装置１０３において符号化を行う際に用いた指定
参照画像と、端末装置１０２₁〜１０２₃が復号を行う
際に用いる指定参照画像とを同じにするために、図３に
示す制御回路１１７と図４に示す制御回路１２３との間
で共通の処理ルールを規定する必要がある。また、サー
バ装置１０３から端末装置１０２₁〜１０２₃に符号化
を行う際に用いた指定参照画像を特定する信号を送信
し、端末装置１０２₁〜１０２₃において、当該信号を
用いて、指定参照画像を特定してもよい。また、ネット
ワーク４を介してサーバ装置１０３から端末装置１０２
₁〜１０２₃に、指定参照画像となる画像の画像信号を
送信する際に伝送エラー等が生じると、端末装置１０２
₁〜１０２₃における復号が適切に行えなくなるため、
このような場合には、サーバ装置１０３から端末装置１
０２₁〜１０２₃に、指定参照画像となる画像の画像信
号を再送信するようにする。また、サーバ装置１０３お
よび端末装置１０２₁〜１０２₃において、符号化効率
があまり落ちない程度に、定期的あるいは不定期に指定
参照画像を更新する。

【００４４】以下、例えば、図２に示すサーバ装置１０
３から端末装置２₁，２₂、２₃への動画像のリアルタ
イム送信状態が、図５、図６および図７に示すようにな
った場合の動作を説明する。図５〜図７において、フレ
ーム「１」〜「８」は、フレーム「１」から「８」に向
かって時系列に並べられた画像の画像信号である。ま
た、以下に示す例では、フレーム「１」が指定参照画像
として指定されている場合を説明する。

【００４５】図５に示すように、サーバ装置１０３は、
図４に示す符号化モジュール１２１₁を用いて、制御回
路１２３からの制御に基づいて、フレーム「１」をその
まま符号化し、フレーム「２」〜「８」をそれぞれフレ
ーム「１」〜「７」を参照画像として符号化し、当該符
号化によって生成したフレーム「１」〜「８」をリアル
タイムにネットワーク４を介して端末装置１０２₁〜１
０２₃に送信する。このとき、ネットワーク４上のサー
バ装置１０３と端末装置１０２₁との間の通信経路で
は、フレーム「１」〜「８」には伝送エラー等が発生せ
ず、フレーム「１」〜「８」は端末装置１０２₁で適切
に受信および復号される。

【００４６】これに対して、ネットワーク４上のサーバ
装置１０３と端末装置１０２₂との間の通信経路では図
６に示すように、フレーム「５」に伝送エラーが生じ、
端末装置１０２₂においてフレーム「５」および「６」
の適切な復号が行えない。そして、端末装置２₂は、フ
レーム「５」の復号に失敗したときに、サーバ装置１０
３にＮＡＣＫ信号を送信する。サーバ装置１０３は、端
末装置１０２₂からのＮＡＣＫ信号を受信すると、図４
に示す制御回路１２３の制御に基づいて、符号化モジュ
ール１２１₂の指定参照画像選択回路３５₂が指定参照
画像であるフレーム「１」を選択してメモリ１２２から
読み出して動き検出／動き補償回路３０に出力する。こ
れにより、符号化モジュール１２１₂において、次のフ
レーム「７」が、フレーム「１」を参照画像として符号
化されて、ネットワーク４を介して端末装置１０２₂に
送信される。端末装置１０２₂では、制御回路１１７の
制御に基づいて、指定参照画像選択回路１１３によって
メモリ１１４からフレーム「１」が読み出されて動き補
償回路１２に出力される。そして、端末装置１０２₂に
おいて、フレーム「１」を参照画像として、フレーム
「７」が復号される。

【００４７】また、ネットワーク４上のサーバ装置１０
３と端末装置１０２₃との間の通信経路では図７に示す
ように、フレーム「３」に伝送エラーが生じ、端末装置
１０２₃においてフレーム「３」および「４」の適切な
復号が行えない。そして、端末装置２₃は、フレーム
「３」の復号に失敗したときに、サーバ装置１０３にＮ
ＡＣＫ信号を送信する。サーバ装置１０３は、端末装置
１０２₃からのＮＡＣＫ信号を受信すると、図４に示す
制御回路１２３の制御に基づいて、符号化モジュール１
２１₂の指定参照画像選択回路３５₂が指定参照画像で
あるフレーム「１」を選択してメモリ１２２から読み出
して動き検出／動き補償回路３０に出力する。これによ
り、符号化モジュール１２１₂において、次のフレーム
「５」が、フレーム「１」を参照画像として符号化され
て、ネットワーク４を介して端末装置１０２₃に送信さ
れる。

【００４８】そして、ネットワーク４上のサーバ装置１
０３と端末装置１０２₃との間の通信経路では図６に示
すように、フレーム「５」にさらに伝送エラーが生じ、
端末装置１０２₃においてフレーム「５」および「６」
の適切な復号が行えない。そして、端末装置２₃は、フ
レーム「５」の復号に失敗したときに、サーバ装置１０
３にＮＡＣＫ信号を送信する。サーバ装置１０３は、端
末装置１０２₃からのＮＡＣＫ信号を受信すると、図４
に示す制御回路１２３の制御に基づいて、符号化モジュ
ール１２１₂の指定参照画像選択回路３５₂が指定参照
画像であるフレーム「１」を選択してメモリ１２２から
読み出して動き検出／動き補償回路３０に出力する。こ
れにより、符号化モジュール１２１₂において、次のフ
レーム「７」が、フレーム「１」を参照画像として符号
化されて、ネットワーク４を介して端末装置１０２₃に
送信される。そして、端末装置１０２₃において、フレ
ーム「１」を参照画像として、フレーム「７」が復号さ
れる。

【００４９】以上説明したように、多地点間通信システ
ム１０１によれば、サーバ装置１０３および端末装置１
０２₁〜１０２₃において、伝送エラー等が発生した後
の符号化および復号に用いる参照画像として単数の指定
参照画像を予め決定しているため、図４に示すように、
サーバ装置１０３は、端末装置の数とは無関係に、２個
の符号化モジュール１２１₁，１２１₂を備えていれば
よく、サーバ装置１０３を小規模化できると共に、サー
バ装置１０３の処理負担を軽減できる。また、多地点間
通信システム１０１によれば、メモリ１２２には、符号
化モジュール１２１₁で参照画像として用いるフレーム
と、符号化モジュール１２１₂で用いる指定参照画像と
を記憶していればよく、図１１に示す従来のメモリ２２
に比べて、記憶容量が小さなものを用いることができ
る。

【００５０】本発明は上述した実施形態には限定されな
い。例えば、上述した実施形態では、指定参照画像とし
て１枚の画像を指定する場合を例示したが、指定参照画
像として複数枚の画像を同時に指定してもよい。この場
合に、図４に示すサーバ装置１０３には、符号化モジュ
ール１２１₁と、同時に指定する指定参照画像の数分の
符号化モジュール１２１₂とが必要になる。

【００５１】また、上述した実施形態では、サーバ装置
１０３から端末装置１０２₁〜１０２₃に、画像の画像
信号を符号化して送信する場合を例示したが、音声の音
声信号を符号化して送信してもよい。この場合に、音声
の情報量は少ないため上述したようなフレーム間予測符
号化は行う必要はない。

【００５２】

【発明の効果】以上説明したように、本発明によれば、
参照画像を用いて符号化した画像を複数の送信先に、エ
ラーが発生する通信網を用いて送信する場合に、処理負
担を軽減でき、小規模化が図れる送信装置およびその方
法を提供できる。また、本発明によれば、上述した送信
装置および方法に対応した受信装置およびその方法を提
供できる。

【図面の簡単な説明】

【図１】図１は、本発明の実施形態の多地点間通信シス
テムの構成図である。

【図２】図２は、図１に示す多地点間通信システムの特
徴となる処理の概要を説明するための図である。

【図３】図３は、図１に示す端末装置の構成図である。

【図４】図４は、図１に示すサーバ装置の構成図であ
る。

【図５】図５は、図１に示すサーバ装置と端末装置１０
２₁との間の通信処理を説明するための図である。

【図６】図６は、図１に示すサーバ装置と端末装置１０
２₂との間の通信処理を説明するための図である。

【図７】図７は、図１に示すサーバ装置と端末装置１０
２₃との間の通信処理を説明するための図である。

【図８】図８は、従来のフレーム間予測符号化をした信
号の送受信の一例を説明するための図である。

【図９】図９は、従来の多地点間通信システムの構成図
である。

【図１０】図１０は、図９に示す端末装置の構成図であ
る。

【図１１】図１１は、図９に示すサーバ装置の構成図で
ある。

【図１２】図１２は、図９に示すサーバ装置と端末装置
２₁との間の通信処理を説明するための図である。

【図１３】図１３は、図９に示すサーバ装置と端末装置
２₂との間の通信処理を説明するための図である。

【図１４】図１４は、図９に示すサーバ装置と端末装置
２₃との間の通信処理を説明するための図である。

【符号の説明】

４…ネットワーク、１０…復号回路、１１…動きベクト
ル抽出回路、１２…動き補償回路、１５…加算回路、１
６…ディスプレイ、３０…動き検出／動き補償回路、３
１…減算回路、３２…動きベクトル予測回路、３３…符
号化回路、３４…復号回路、３５₁，３５₂…基準参照
画像選択回路、１０１…多地点間通信システム、１０２
₁，１０２₂，１０２₃…端末装置、１１３…指定参照
画像選択回路、１１４…メモリ、１１８…受信回路、１
１９…送信回路、１２２…メモリ、１２３…制御回路

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 GA11 GB14 GB29 GB37 KA03 5C059 KK06 MA00 MA05 NN01 PP04 RA08 RF15 RF23 SS07 SS30 TA21 TB04 TC22 TC45 TD19 UA02 UA05 UA33 UA38 5C064 AA02 AB04 AC01 AC11 AD02 AD06 AD14 5K014 AA01 BA01 FA05 FA06

Claims

【特許請求の範囲】

【請求項１】時系列に並べられた複数の画像の各々を符
号化して所定の送信先に送信する送信装置であって、前記複数の画像の各々を参照画像を用いて符号化する符
号化手段と、前記符号化した画像を復号した画像を記憶する記憶手段
と、前記送信された画像が送信先で適切に復号されなかった
場合に、前記送信先で適切に復号された画像に対応する
画像であって予め指定した画像を前記参照画像として前
記記憶手段から読み出す読み出し手段とを有する送信装
置。
【請求項２】前記符号化手段は、前記参照画像を用いて
前記複数の画像の各々をフレーム間予測によって符号化
する請求項１に記載の送信装置。
【請求項３】前記読み出し手段は、前記参照画像として
用いる画像を、前記時系列に並べられた複数の画像のな
かから所定のフレーム間隔で指定する請求項１に記載の
送信装置。
【請求項４】前記読み出し手段は、前記参照画像として
読み出す前記指定した画像を、定期的あるいは不定期に
更新する請求項１に記載の送信装置。
【請求項５】時系列に並べられた複数の画像の各々を符
号化して送信する送信装置であって、前記符号化された画像を復号する復号手段と、前記復号された画像を記憶する記憶手段と、前記画像を符号化する際に、当該符号化を行う画像より
も時間が前の画像を参照画像として前記記憶手段から読
み出す読み出し手段と、前記複数の画像の各々を前記参照画像を用いて符号化す
る符号化手段と、前記符号化した画像を送信する送信手段とを有し、前記読み出し手段は、前記送信された画像が送信先で適
切に復号されなかった場合に、前記送信先で適切に復号
された画像に対応する画像であって予め指定した画像を
前記参照画像として前記記憶手段から読み出す送信装
置。
【請求項６】前記符号化手段は、前記参照画像を用い
て、前記複数の画像の各々をフレーム間予測によって符
号化する請求項５に記載の送信装置。
【請求項７】前記読み出し手段は、前記参照画像として
用いる画像を、時系列に並べられた複数の画像のなかか
ら、所定のフレーム間隔で指定する請求項５に記載の送
信装置。
【請求項８】前記読み出し手段は、前記参照画像として
読み出す前記指定した画像を、定期的あるいは不定期に
更新する請求項５に記載の送信装置。
【請求項９】時系列に並べられた複数の画像の各々を符
号化して送信する送信装置であって、第１の符号化モジュールと、第２の符号化モジュールと、前記第１の符号化モジュールが符号化した画像を復号す
る復号手段と、前記復号された画像を記憶する記憶手段とを有し、前記第１の符号化モジュールは、前記画像を符号化する際に、当該符号化を行う画像より
も時間が前の画像を第１の参照画像として前記記憶手段
から順に読み出す第１の読み出し手段と、前記複数の画像の各々を前記第１の参照画像を用いて符
号化する第１の符号化手段と、前記第１の符号化手段が符号化した画像を送信する第１
の送信手段とを有し、前記第２の符号化モジュールは、前記画像を符号化する際に、当該符号化を行う画像より
も時間が前の画像を第２の参照画像として前記記憶手段
から読み出す第２の読み出し手段と、前記複数の画像の各々を前記第２の参照画像を用いて符
号化する第２の符号化手段と、前記第２の符号化手段が符号化した画像を送信する第２
の送信手段とを有し、前記第２の読み出し手段は、前記送信された画像が送信
先で適切に復号されなかった場合に、前記送信先で適切
に復号された画像に対応する画像であって予め指定した
画像を前記第２の参照画像として前記記憶手段から読み
出す送信装置。
【請求項１０】参照画像を用いて符号化された画像を受
信して復号する受信装置であって、前記符号化された画像を受信する受信手段と、前記復号した画像を記憶する記憶手段と、前記受信した画像を、所定の参照画像を用いて復号する
復号手段と、前記画像の受信または前記復号が適切に行われていなか
った場合に、予め指定した画像を前記参照画像として前
記記憶手段から読み出す読み出し手段とを有する受信装
置。
【請求項１１】前記復号手段は、前記参照画像を用い
て、前記複数の画像の各々をフレーム間予測によって復
号化する請求項１０に記載の受信装置。
【請求項１２】前記読み出し手段は、前記参照画像とし
て用いる画像を、時系列に並べられた複数の画像のなか
から所定のフレーム間隔で指定する請求項１０に記載の
受信装置。
【請求項１３】前記読み出し手段は、前記参照画像とし
て読み出す前記指定した画像を、定期的あるいは不定期
に更新する請求項１０に記載の受信装置。
【請求項１４】前記前記画像の受信または前記復号が適
切に行われていなかった場合に、その旨を前記画像の送
信元に通知する制御手段をさらに有する請求項１０に記
載の受信装置。
【請求項１５】時系列に並べられた複数の画像の各々を
符号化して所定の送信先に送信する送信方法であって、前記複数の画像の各々を参照画像を用いて符号化し、前記符号化した画像を前記送信先に送信し、前記符号化した画像を復号した画像を記憶手段に記憶
し、前記送信された画像が送信先で適切に復号されなかった
場合に、前記送信先で適切に復号された画像に対応する
画像であって予め指定した画像を前記参照画像として前
記記憶手段から読み出し、当該読み出した参照画像を用いて画像の符号化を行い、
当該符号化した画像を前記送信先に送信する送信方法。
【請求項１６】前記参照画像を用いて、前記複数の画像
の各々をフレーム間予測によって符号化する請求項１５
に記載の送信方法。
【請求項１７】前記参照画像として用いる画像を、時系
列に並べられた複数の画像のなかから所定のフレーム間
隔で指定する請求項１５に記載の送信方法。
【請求項１８】前記参照画像として読み出す前記指定し
た画像を、定期的あるいは不定期に更新する請求項１５
に記載の送信方法。
【請求項１９】参照画像を用いて符号化された画像を受
信して復号する受信方法であって、前記符号化された画像を受信し、所定の参照画像を用いて前記受信した画像を復号し、当該復号した画像を記憶手段に記憶し、前記画像の受信または前記復号が適切に行われていなか
った場合に、予め指定した画像を前記参照画像として前
記記憶手段から読み出し、当該読み出した参照画像を用いて受信した画像の復号を
行う受信方法。
【請求項２０】前記参照画像を用いて、前記複数の画像
の各々をフレーム間予測によって復号する請求項１９に
記載の受信方法。
【請求項２１】前記参照画像として用いる画像を、時系
列に並べられた複数の画像のなかから所定のフレーム間
隔で指定する請求項１９に記載の受信方法。
【請求項２２】前記参照画像として読み出す前記指定し
た画像を、定期的あるいは不定期に更新する請求項１９
に記載の受信方法。