JP2003259375A - 動画像送受信システム、動画像送受信方法及びそれらのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 ストリーミングデータの通信エラー時の動画
像の画質を向上する。 【解決手段】 各フレームを複数のＧＯＢに分割し、そ
のうちの一部のキーＧＯＢをフレーム内符号化する一
方、他のＧＯＢをフレーム間符号化し、かかる状態のス
トリーミングデータを送信局１２から受信局１４に送信
する。送信局１２では、キーＧＯＢのみを記憶部１８に
記憶させておく。受信局１４では、キーＧＯＢについて
エラー検出を行い、エラー時にキーＧＯＢの再送要求を
行う。画質劣化の主原因となるキーＧＯＢのみを再送要
求の対象とすることで、通信負荷及び処理負荷を可及的
に増加させずに、ストリーミングデータの画質を向上す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、圧縮符号化され
た動画像を送受信する動画像送受信システム及びそれに
関連する技術に関する。

【０００２】

【従来の技術】一般に、動画像を遠隔地に送信すること
が行われている。例えば、図１１の如く、監視対象に向
けて撮像カメラ１を設置しておき、この撮像カメラ１で
撮像された監視映像（動画像）を、サーバ２からネット
ワーク３を通じて遠隔地のクライアント４に送信し、こ
のクライアント４側のモニタ装置５で監視映像を監視す
る。

【０００３】ところで、ネットワーク３を通じて動画像
を送信する場合、通信速度や記録時のデータ容量を考慮
すると、動画像を圧縮符号化してデータサイズを低減す
ることが望ましい。即ち、図１１及び図１２の如く、例
えば撮像カメラ１で撮像した動画像を符号化器６で圧縮
符号化し、サーバ２からネットワーク３を通じて遠隔地
のクライアント４に送信する。クライアント４側では、
サーバ２から与えられた圧縮符号化された動画像を復号
器７で復号し、モニタ装置５に表示する。

【０００４】このような監視映像等の動画像を圧縮符号
化する方法としては、ＤＣＴ（Discrete Cosine Transf
orm；離散コサイン変換）と動き補償予測符号化を組み
合わせた方法（第１従来技術）が一般的であり、この方
法はＭＰＥＧ（Moving Picture Experts Group）方式で
も採用されている。通常、ＤＣＴは空間方向の冗長性を
低下させるべくフレーム（静止画像）内の情報だけで符
号化するフレーム内（イントラ）符号化に適用される。
また動き補償予測符号化（フレーム間（インター）符号
化）は時間方向の冗長性を低下させるべく、符号化対象
フレームを他の時刻のフレームから予測し、その符号化
対象フレームと予測したフレームとの差分信号に対して
ＤＣＴや量子化などを施すものである。この場合、差分
を小さく抑えるため、符号化対象フレームは時間的に隣
接するフレームから予測されることが多い。このような
フレーム内符号化や動き補償予測符号化（フレーム間符
号化）の処理は、フレームを複数分割したブロックを基
本処理単位として行われる。

【０００５】図１３を参照しつつ従来の差分符号化方式
の概略を説明する。撮像カメラ１から順次出力される複
数のフレームｆ１，ｆ２，…は、符号化器６（図１１及
び図１２）に順次入力される。このように、符号化器６
に各フレームｆｎ（ｎ＝１，２，…）が入力されると
（ＳＴ１００）、ステップＳＴ１０１で当該入力フレー
ムｆｎがキーフレームか否かが条件判定される。フレー
ムｆｎがキーフレームである場合、ステップＳＴ１０２
でフレーム内符号化処理が実行される。即ち、当該フレ
ームｆｎをブロックに分割して各ブロック毎にＤＣＴを
施し、その変換係数が算出される。次いで、その変換係
数を量子化した量子化係数が出力される。次にステップ
ＳＴ１０３で、その量子化係数を可変長符号化（エント
ロピ符号化）した符号化データが生成され、ビットスト
リームにされて出力される。また、上述のステップＳＴ
１０２で算出された量子化係数が、ステップＳＴ１０４
で復号化（逆量子化および逆ＤＣＴ）を施された後にキ
ーフレームメモリ１００に記憶される。

【０００６】次に、ステップＳＴ１００で次のフレーム
ｆｍ（ｍ＝ｎ＋１）が入力されると、ステップＳＴ１０
１でフレームｆｍがキーフレームか否かが条件判定され
る。フレームｆｍがキーフレームで無い場合はステップ
ＳＴ１０５に処理が移行し、キーフレームメモリ１００
に記憶したキーフレームｆｎとフレームｆｍとの間でブ
ロック単位で画素値の差分値が算出される。次いで、ス
テップＳＴ１０６で、その差分値が所定範囲内か否かが
判定される。その差分値が所定範囲内にある場合は、ス
テップＳＴ１０７でフレーム間（インター）符号化、即
ちキーフレームと入力フレームｆｍとの間の差分信号に
対してＤＣＴおよび量子化が施される。他方、その差分
値が所定範囲を超える場合は、ステップＳＴ１０８でフ
レーム内符号化が実行される。このようにステップＳＴ
１０７，ＳＴ１０８で算出した量子化係数は、ステップ
ＳＴ１０３で可変長符号化されビットストリームに変換
後に、サーバ２を通じてネットワーク３へ出力される。

【０００７】このようなビットストリームの復号化処理
の例を図１４を参照しつつ以下に説明する。上記したビ
ットストリームがネットワーク３を通じてクライアント
４側に入力されると（ＳＴ１１０）、復号器７におい
て、このビットストリームから圧縮符号化信号が取り出
され、可変長復号化されて上記量子化係数が得られる。
続くステップＳＴ１１１において、その量子化係数が上
記圧縮符号化処理のステップＳＴ１０２でフレーム内符
号化されていた場合、その復号化（フレーム内復号化）
を施されて所定のキーフレームメモリ１０１に蓄積され
る。そしてステップＳＴ１０８において、その量子化係
数がフレーム内符号化されていた場合は、その復号化が
施される。他方、その量子化係数が上記ステップＳＴ１
０７でフレーム間符号化されていた場合は、キーフレー
ムメモリ１０１に蓄積したキーフレームを参照してその
復号化（フレーム間復号化）を施される。そして、この
ようにフレーム内またはフレーム間復号化された復号化
画像が、モニタ装置５に表示される（ＳＴ１１２）。

【０００８】このようなＭＰＥＧ方式に代表される動画
像の圧縮符号化方式では、フレーム間の差分情報の圧縮
をとることで高い圧縮効率を得ることができる。

【０００９】この他、ＭｏｔｉｏｎＪＰＥＧ方式のよう
に、静止画像の圧縮方式（フレーム内符号化方式）を採
用し、かかる静止画像を時系列的に切り替えて表示する
ことで、見かけ上、動画像のように再生する方式（第２
従来技術）もある。

【００１０】

【発明が解決しようとする課題】上記した第１従来技術
に係る差分符号化方式では、キーフレームと時間的に離
間したフレームとの差分符号化を行うため、キーフレー
ムの画質が動画像全体の画質に直接関係することから、
キーフレームは高画質のものでなければならず、キーフ
レームに対してはフレーム内の情報のみで圧縮符号化を
行うフレーム内符号化が施される。この結果、動画像の
符号化処理量はキーフレームの符号化時に急激に増大
し、キーフレームの圧縮符号化データの伝送が遅延した
り間欠したりする問題が生じていた。特に動画像をネッ
トワークを通じてリアルタイムに伝送し再生（ストリー
ミング）する場合は、復号化した動画像の再生速度の変
化や画像の間欠が著しく生じることがあった。

【００１１】また、第２従来技術に係る差分符号化方式
では、全てのフレームについてにフレーム内符号化を行
っているため、データサイズが大きくなり、その結果、
動画像の連続的な送受信が困難であるため、フレームレ
ートが減少するという問題があった。

【００１２】そこで、本出願人は、特願２０００−３６
８５１０において、ストリーミングデータの送受信に際
し、各フレーム間のデータサイズの不均衡を可及的に軽
減する差分符号化方式（提案例）を提案している。

【００１３】この提案例では、撮像カメラ１から与えら
れる動画像の各フレームの画像を複数のブロック（ＧＯ
Ｂ＝Group of Block）に分割し、各フレーム毎にそれぞ
れ振り分けられた特定のブロック（キーＧＯＢ）につい
てフレーム内符号化を行う一方、その特定のブロック
（キーＧＯＢ）以外のブロック（ＧＯＢ）についてフレ
ーム間符号化を行うようにする。こうして一定のフレー
ム数の動画像が符号化されて、上記したキーＧＯＢを繋
ぎ合わせて画像全体の領域に相当するデータ量が得られ
た時点で、このキーＧＯＢを繋ぎ合わせた画像を参照フ
レームとし、この参照フレームに基づく画像全体の経時
的差分データを生成する。この経時的差分データに基づ
いて復号化される画像をキーフレームとする。そして、
その次にフレーム間符号化する際には、このキーフレー
ムに基づいてフレーム間符号化を行うようにする。

【００１４】これにより、キーフレーム以外のフレーム
を送受信する際には、一部のブロック（キーＧＯＢ）の
みをフレーム内符号化することになるため、フレーム間
符号化したデータのみを送受信する第１従来技術に係る
差分符号化方式に比べてデータサイズが若干増大するも
のの、キーフレームの送信時には、時系列差分データを
送信するだけでよく、キーフレーム全体につきフレーム
内符号化したデータを送信していた第１従来技術に係る
差分符号化方式に比べて、キーフレームの送信データ量
を大幅に削減できる。したがって、ストリーミングデー
タの送受信において、第１従来技術で最も問題となって
いたキーフレームの符号化処理量の急激な増大を抑制す
ることができ、その符号化処理量を時間的に平坦化し且
つ動画像の画質を良好にすることが可能となる。

【００１５】ところで、近年、通信技術の向上とコンピ
ュータ機器の普及に伴って、インターネットを通じたデ
ータの送受信が、活発に行われている。したがって、遠
隔地に動画像を送受信する場合においても、インターネ
ットの通信基盤を活用して送受信を行うことが、通信コ
スト及び設備コストを低減する上で望ましいと考えられ
ている。

【００１６】ここで、インターネットを通じたデータ送
受信のプロトコルとしては、ＴＣＰ／ＩＰ（Ｔｒａｎｓ
ｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／
Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）やＵＤＰ（Ｕｓ
ｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等があ
る。このうち、ＴＣＰ／ＩＰが採用しているＴＣＰは、
誤り検出、再送及びフロー制御等の上位処理を行うもの
であり、何らかの通信エラーがあったときには必ず再送
するようになっている。これに対して、ＵＤＰは、主と
してパケット伝送を行う下位処理のプロトコルのＩＰを
ほとんどそのまま採用しただけのものであり、故に、こ
のＵＤＰでデータを送受信する場合、そのままでは通信
エラー時の再送が行われる仕組みとはなっていない。

【００１７】しかしながら、上述した提案例にかかる符
号化方式で動画像を送受信する場合は、例えばキーＧＯ
Ｂの送受信時に何らかの通信エラーがあった場合であっ
ても、ＵＤＰを採用した場合は、そのままではそのキー
ＧＯＢが再送されることがなく、後続するフレームの再
生に重大な損失を与え、後の動画像をクライアント４側
で再生不能となる事態が生じ得る。

【００１８】即ち、キーＧＯＢにエラーが発生すると、
そのキーＧＯＢを含むフレームだけでなく、エラーが発
生したフレームを参照して復号されるキーフレームやそ
のキーフレームを参照して復号される後続のフレームに
まで大きな影響を及ぼす。このエラーの影響は、次のキ
ーフレームが復号されるまで続く。またキーＧＯＢを含
むフレームの符号量の中では、キーＧＯＢの符号量が大
半を占めているので、キーＧＯＢの符号でパケット落ち
によるバイト欠落やビット反転によるエラーが発生する
確率が大きくなる。

【００１９】このような問題に鑑みてこの発明が解決し
ようとするところは、動画像を高い圧縮率で効率よく送
受信しつつ、通信エラーがあっても速やかに対処し得る
動画像送受信システム及びそれに関連する技術を提供す
る点にある。

【００２０】

【課題を解決するための手段】上記課題を解決すべく、
請求項１に記載の発明は、動画像を圧縮符号化して送信
する送信局と、前記送信局で圧縮符号化されネットワー
クを通じて与えられた前記動画像のデータを受信する受
信局とを備え、前記送信局が、前記動画像の複数のフレ
ームの中から一定の周期毎に指定された複数のキーフレ
ームと、前記各キーフレームの後に入力されて複数のブ
ロック領域に分割され且つ前記各ブロック領域の中から
特定領域が指定された複数の他のフレームとを有し、前
記特定領域を除く前記各ブロック領域と前記キーフレー
ムとの間の第１の差分が所定より大きい場合に当該ブロ
ック領域を前記他のフレーム内の情報のみで圧縮符号化
する一方、前記第１の差分が所定より小さい場合に前記
差分信号を圧縮符号化し、複数の前記他のフレーム内の
前記特定領域のみをフレーム１枚分蓄積して生成された
参照フレームと前記キーフレームとの間の第２の差分が
所定より大きい場合に前記キーフレームを前記フレーム
内の情報のみで圧縮符号化する一方、前記第２の差分が
所定より小さい場合に前記差分信号を圧縮符号化する符
号化手段と、前記符号化手段から与えられた圧縮符号化
された動画像のデータを前記ネットワークに送出するデ
ータ送出手段とを備え、前記受信局が、前記ネットワー
クを通じて前記データ送出手段から与えられた圧縮符号
化された前記動画像のデータを受信する受信手段と、前
記受信手段で受信した圧縮符号化された前記動画像のデ
ータを復号化する復号化手段とを備え、前記受信手段の
前記復号化手段が、前記動画像のデータのうちの前記特
定領域のエラーの有無を検出し、前記受信手段が、前記
復号化手段で前記特定領域にエラーが有る旨を検出した
ときに、当該特定領域の再送要求を前記ネットワークを
通じて前記送信局に送信し、前記送信局が、前記受信手
段から前記ネットワークを通じて前記特定領域の前記再
送要求が与えられた際に、前記特定領域を前記受信手段
に再送するものである。

【００２１】請求項２に記載の発明は、請求項１に記載
の動画像送受信システムであって、前記送信局が、前記
動画像のデータを前記受信手段に送信する際に、再送要
求に備えて前記特定領域を一時的に格納する特定領域デ
ータ記憶部を有するものである。

【００２２】請求項３に記載の発明は、請求項１または
請求項２に記載の動画像送受信システムであって、前記
送信局が、所定の撮像対象を撮像する撮像カメラを有
し、前記受信局が、前記撮像カメラで撮像された動画像
を表示または記録するものである。

【００２３】請求項４に記載の発明は、ａ）送信局にお
いて、複数のフレームの中から一定の周期毎に指定され
た複数のキーフレームと、前記各キーフレームの後に入
力されて複数のブロック領域に分割され且つ前記各ブロ
ック領域の中から特定領域が指定された複数の他のフレ
ームとを有せしめ、前記特定領域を除く前記各ブロック
領域と前記キーフレームとの間の第１の差分が所定より
大きい場合に当該ブロック領域を前記他のフレーム内の
情報のみで圧縮符号化する一方、前記第１の差分が所定
より小さい場合に前記差分信号を圧縮符号化し、複数の
前記他のフレーム内の前記特定領域のみをフレーム１枚
分蓄積して生成された参照フレームと前記キーフレーム
との間の第２の差分が所定より大きい場合に前記キーフ
レームを前記フレーム内の情報のみで圧縮符号化する一
方、前記第２の差分が所定より小さい場合に前記差分信
号を圧縮符号化する工程と、ｂ）前記送信局において、
前記特定領域のデータを所定の特定領域データ記憶部内
に記憶する工程と、ｃ）前記送信局において、前記ａ）
の工程で圧縮符号化された動画像のデータを受信局に送
信する工程と、ｄ）前記受信局において、前記ｃ）の工
程で送信された前記動画像のデータのうち、前記特定領
域のデータのエラーの有無を検出する工程と、ｅ）前記
ｄ）の工程で前記特定領域のデータにエラーがある旨を
検出した場合に、前記受信局が、前記送信局に対して前
記特定領域のデータの再送要求を行う工程と、ｆ）前記
送信局において、前記ｅ）の工程で前記受信局から与え
られた再送要求に応じて、前記特定領域データ記憶部内
に記憶された前記特定領域のデータを前記受信局に対し
て再送する工程とを備える。

【００２４】請求項５に記載の発明は、請求項４に記載
の動画像送受信方法をコンピュータ上で実現するため
に、前記各工程をコンピュータに実行させるためのプロ
グラムである。

【００２５】

【発明の実施の形態】＜動画像送受信システムの基本的
概念＞まず、この発明の一の実施の形態に使用する動画
像送受信システムの基本的概念について説明する。この
動画像送受信システムは、図１の如く、例えば撮像カメ
ラ１１で撮像した監視映像等の動画像を符号化器１６で
圧縮符号化し、この動画像（圧縮フレームデータ）を、
図２中のステップＳ１，Ｓ２のように送信局としてのサ
ーバ１２（サーバ機１２ａ）からネットワーク１３を通
じて遠隔地の受信局としてのクライアント１４（クライ
アント機１４ａ）に送信する。クライアント１４側で
は、サーバ１２から与えられた圧縮符号化された動画像
（圧縮フレームデータ）を復号器１７で復号し、モニタ
装置１５に表示する。

【００２６】この復号器１７での復号処理において、与
えられた動画像のうちキーＧＯＢについてエラー検出を
行い、図２中のステップＳ３のようにキーＧＯＢにエラ
ーが発見された場合には、クライアント１４を通じてキ
ーＧＯＢの再送要求をサーバ１２に送信する（図２中の
ステップＳ４）。サーバ１２では、圧縮フレームデータ
を送信している途中であっても（図２中のステップＳ
５）、クライアント１４から与えられた再送要求に応じ
て、ステップＳ６，Ｓ７のように、エラーのあったキー
ＧＯＢをクライアント１４側に再送する。クライアント
１４側の復号器１７では、ステップＳ８において、再送
された正常なキーＧＯＢを受信し、この正常なキーＧＯ
Ｂを用いて復号処理を行う。しかる後、ステップＳ９及
びステップＳ１０のように、通常通りに、クライアント
１４側から圧縮フレームデータ及びキーフレームデータ
を順次送信する。

【００２７】ここで、サーバ機（データ送出手段）１２
ａ及びクライアント機１４ａは、ＲＡＭ、ＲＯＭ、ハー
ドディスクドライブ等の所定のデータ記録装置及び中央
演算処理装置（ＣＰＵ）を備えたコンピュータ機器が利
用され、中央演算処理装置により、データ記録装置に格
納された圧縮画像データを管理し、また動画像の送受信
に応じた再生を行うための圧縮画像データの処理順序を
決定する。この中央演算処理装置の動作手順は、データ
記録装置内に予め格納されたソフトウェアプログラムに
おいて規律され、このソフトウェアプログラムに従っ
て、以下の各方法を実行するようになっている。

【００２８】＜圧縮符号化方法＞上記の動画像送受信シ
ステムを使用した圧縮符号化方法を詳説する。図３は、
この圧縮符号化方法を説明するための模式図、図４は、
この圧縮符号化方法を実現するためのフローチャートで
ある。

【００２９】この実施の形態の圧縮符号化方法は、符号
化器（符号化手段）１６（図１及び図２）において、直
前のフレームを基準として差分をとるＭＰＥＧ方式とは
異なり、図３のように、基準フレームを固定して圧縮す
るものであり、これにより、再生時の間引きや逆の時間
方向への再生を比較的に容易に行っている。

【００３０】この圧縮符号化方法では、図３の如く、例
えば、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサ
などの撮像カメラ１で時間軸に沿って順次撮像した複数
の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が
符号化器１６に入力される（図４中のステップＳＴ
１）。尚、図４中のキーブロックメモリ２１Ａには、フ
レームｆ１が入力される前に、所定の特定領域（キーＧ
ＯＢ）をそのまま繋ぎ合わせて構成される参照フレーム
ｆ０（図示省略）が格納されている。この参照フレーム
ｆ０は、後述する復号器（復号化手段）１７のキーブロ
ックメモリ２１Ｂに圧縮伝送された後、復号化されて格
納されることになる。

【００３１】そして、この圧縮符号化方法で使用される
符号化器１６は、入力フレームｆ１，ｆ２，ｆ３，ｆ
４，…の中から周期的にキーフレームを指定するように
なっており、図３においては、入力フレームｆ１がキー
フレームとなっている。

【００３２】図４中のステップＳＴ２において、その入
力フレームｆ１がキーフレームか否かを条件判定する。
図３においては、フレームｆ１は上述のようにキーフレ
ームであるから、そのままステップＳＴ３に処理が移行
し、フレーム内（イントラ）／フレーム間（インター）
符号化処理を実行する。

【００３３】このステップＳＴ３の処理手順を図５に示
している。図５に示すように、ステップＳＴ４でキーブ
ロックメモリ２１Ａに格納した参照フレームｆ０（図示
省略）と入力フレームｆ１（キーフレーム）との間の画
素値の差分値と、その差分値の絶対値和（差分絶対値
和）Ｓとが算出される。

【００３４】次いで、図５中のステップＳＴ５で、差分
絶対値和が所定の閾値以下か否かが条件判定される。例
えば、その差分値をΔＰｉ（ｉ：各画素に対応する番
号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ１｜
＋｜ΔＰ２｜＋…＋｜ΔＰｎ｜（ｎ：画素数）で表現さ
れる。差分絶対値和Ｓが閾値以下の場合は、両フレーム
ｆ０，ｆ１間の時間的な変化が小さいとして、入力フレ
ームｆ１はフレームｆ０を用いたフレーム間符号化を施
される（ステップＳＴ６）。具体的には入力フレームｆ
１とフレームｆ０との間の差分信号に対してＤＣＴ（離
散コサイン変換）などの直交変換を施し、その変換係数
を量子化した量子化係数が算出される。また、このよう
なフレーム間符号化処理は８×８画素や１６×１６画素
などのサイズをもつ小ブロック（マクロブロック）単位
で実行される。これ以後の処理も同様である。尚、この
実施の形態では変換方式としてＤＣＴなどの直交変換を
採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレ
ット変換）を採用してもよい。この場合、フレーム間符
号化処理は上記小ブロック単位で行う代わりに、実行メ
モリ容量などを考慮してフレーム単位、もしくはフレー
ムをタイルと称する複数の領域に分割し各タイル単位で
実行されてもよい。

【００３５】他方、図５中のステップＳＴ５において、
上記ステップＳＴ４で算出した差分絶対値和Ｓが所定の
閾値を超える場合は、ステップＳＴ７に処理が移行す
る。そして、入力フレームｆ１（キーフレーム）につい
て、フレーム内の情報だけで符号化するフレーム内符号
化が施される。具体的にはフレームｆ１の画素値に対し
てＤＣＴなどの直交変換を施し、その変換係数を量子化
した量子化係数が算出される。

【００３６】尚、実際には、フレームの圧縮率を高める
観点から、上記フレーム内符号化（ステップＳＴ７）ま
たはフレーム間符号化（ステップＳＴ６）を実行する前
に、入力フレームに対して色空間変換が施される。例え
ば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成
分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合
は、これをＮＴＳＣ（National Television System Com
mittee）方式などで採用されているＹＵＶ座標系、ＹＩ
Ｑ座標系、ＹＣｂＣｒ座標系などを使用すればよい。例
えば、ＹＣｂＣｒ座標系を使用した場合、そのＲＧＢ成
分は輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒとからなる
ＹＣｂＣｒ成分の座標系へと変換される。ＹＣｂＣｒ成
分はＲＧＢ成分よりも各成分間の相関が小さいため、画
像サイズを圧縮できる。

【００３７】フレーム内／フレーム間符号化処理（ステ
ップＳＴ３、即ち、図５の処理）の実行後、図４中のス
テップＳＴ１９に処理が移行する。この際、上記ステッ
プＳＴ６，ＳＴ７（図５）で算出された量子化係数はハ
フマン符号化などを含むエントロピ符号化を施され、そ
の後フレームの画像サイズや量子化ビット数などの画像
情報や、量子化テーブルや各小ブロック領域の符号化方
法（フレーム内符号化、フレーム間符号化）などの圧縮
情報と共に多重化されて、ビットストリームとしてサー
バ機１２ａに出力される。また、上記ステップＳＴ６，
ＳＴ７（図５）で算出された量子化係数は、図４中のス
テップＳＴ８で局部復号化（逆量子化および逆ＤＣＴな
どの逆直交変換）がなされ、図４に示したキーフレーム
メモリ２０Ａに格納される。よって、キーフレームメモ
リ２０Ａには符号化（ＳＴ６，ＳＴ７）と局部復号化
（ＳＴ８）を通じて、量子化誤差を含んで変化したキー
フレームが格納される。これにより、そのキーフレーム
の画像は、後述する復号器１７で復号化（フレーム間復
号化）される際に参照されるキーフレームの画像と同一
となり、復号化する動画像の画質を劣化させることが無
くなる。以上で入力フレームｆ１（キーフレーム）に対
する圧縮符号化処理が終了する。

【００３８】次に、図３に示すように、上記フレームｆ
１に続いてフレームｆ２が符号化器１６に入力される。
そうすると、図４中のステップＳＴ２でそのフレームｆ
２がキーフレームか否かが条件判定される。図３におい
て、フレームｆ２はキーフレームでは無い。したがっ
て、図４においてはステップＳＴ９に処理が移行する。

【００３９】ステップＳＴ９では、フレームｆ２は複数
のブロック領域（ＧＯＢ）に分割される。ここで、ＧＯ
Ｂは、１フレームの画像において、例えば１６ラインま
たは３２ライン分の領域で構成されており、例えば１６
ラインの領域を１つのＧＯＢとした場合、６４０×４８
０画素の画像だと、１フレームが３０（＝４８０／１
６）個のＧＯＢに分割される。

【００４０】次いで、ステップＳＴ１０において、これ
らＧＯＢの中から単数または複数の特定領域（キーＧＯ
Ｂ）が指定される。

【００４１】ここで、図７（ａ）に、４個のＧＯＢに分
割されたフレームｆ２を模式的に示す。フレームｆ２は
垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分
割されており、その第１段目ＧＯＢがキーＧＯＢ（「キ
ーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）
に示すようにフレームｆ２に続いて符号化器１６に順次
入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され
ることになる。ただし、それぞれのキーＧＯＢとして
は、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ
２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ
３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ
４」）が指定される。これら、キーフレームｆ１及びキ
ーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５
は、図３に示すように、時間軸に沿って配列されること
になる。

【００４２】再びフレームｆ２の説明に戻る。この時点
で、図４中のステップＳＴ１１に処理が移行し、以後、
フレームｆ２はＧＯＢを更に８×８画素または１６×１
６画素程度の基本処理単位に分割した小ブロック毎に順
次処理されることになる。ただし、このステップＳＴ１
１では、処理対象であるブロックがキーＧＯＢに属する
か否かが条件判定される。当該ブロックがキーＧＯＢに
属する場合、ステップＳＴ１２に進む。そして、当該ブ
ロックが上記フレーム内符号化を施された後に、ステッ
プＳＴ１９でエントロピ符号化され上記画像情報および
上記圧縮情報と共に多重化されてビットストリームとな
ってサーバ機１２ａに出力される。またステップＳＴ１
２でブロックをフレーム内符号化して出力される量子化
係数は、ステップＳＴ１３で局部復号化（逆量子化およ
び逆ＤＣＴなどの逆直交変換）を施された後にキーブロ
ックメモリ２１Ａに蓄積される。

【００４３】このようにしてキーＧＯＢをフレーム内符
号化する際には、各キーＧＯＢのデータの先頭に、キー
ＧＯＢであることを示すフラグを付与しておく。

【００４４】また、ここでフレーム内符号化されたキー
ＧＯＢのデータは、揮発性メモリ（ＲＡＭ）等の所定の
キーＧＯＢデータ記憶部（特定領域データ記憶部）１８
に格納しておく。特にキーＧＯＢについては、クライア
ント１４に送信した後も、そのクライアント１４から再
送要求が送られてくる可能性があるため、少なくともそ
のキーＧＯＢが含まれる周期の符号化が終了する時点、
即ち、次のキーフレームが作成される際に開放される。

【００４５】他方、上記ステップＳＴ１１において、ブ
ロックがキーＧＯＢに属しない場合はステップＳＴ１４
のフレーム内／フレーム間符号化処理に処理が移行す
る。ここで、図６はフレーム内／フレーム間符号化処理
のサブルーチンの処理手順を示すフローチャートであ
る。この図６に示すように、まずステップＳＴ１５で入
力フレームの当該ブロックとキーフレームメモリ２０Ａ
に格納されたキーフレームとの差分値と、差分絶対値和
Ｓとが算出される。次いで、ステップＳＴ１６でその差
分絶対値和Ｓが閾値以下か否かの条件判定がなされ、そ
の差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７
に処理が移行し、当該ブロックはキーフレームメモリ２
０Ａに格納したキーフレームを参照して上記フレーム間
符号化を施される。他方、その差分絶対値和Ｓが閾値を
超えている場合はステップＳＴ１８に処理が移行し、当
該ブロックは上記フレーム内符号化を施される。

【００４６】このように上記ステップＳＴ１７，ＳＴ１
８で符号化された量子化係数は、図４に示すステップＳ
Ｔ１９で可変長符号化（エントロピ符号化）と上記多重
化処理を施されビットストリームとなってサーバ機１２
ａに出力される。以上で入力フレームｆ２に対する圧縮
符号化処理が終了する。

【００４７】次に、図３において、上記フレームｆ２に
続いて符号化器１６に入力するフレームｆ３，ｆ４，…
も、キーフレームが入力される迄はフレームｆ２の場合
と同様に処理される。ただし、上述のように、各フレー
ムｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯ
Ｂ１〜キーＧＯＢ４）の位置は互いに異なっている。こ
のようにして、上記ステップＳＴ１３で局部復号化され
たキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ２
１Ａにフレーム１枚分蓄積され、図３に模式的に図示す
るように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロッ
クメモリ２１Ａ内において、参照フレームＡに合成され
る。この参照フレームＡは、後に入力するキーフレーム
を上記ステップＳＴ３のサブルーチンでフレーム間符号
化する際に利用される。

【００４８】そして、符号化器１６で圧縮符号化された
動画像（圧縮画像データ）は、サーバ機１２ａからネッ
トワーク１３を通じてＵＤＰ等の所定のプロトコルでク
ライアント１４側へ送信される。

【００４９】このように、上記ステップＳＴ３でキーブ
ロックメモリ２１Ａに蓄積した参照フレームとの差分の
大小によりフレーム内符号化とフレーム間符号化とを選
択的に実行しており、また上記ステップＳＴ９，ＳＴ１
０で入力フレームを複数のＧＯＢに分割してキーＧＯＢ
を指定し、時間軸に沿った複数のフレームにフレーム１
枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフ
レーム内符号化される。このためフレーム内符号化処理
量が時間的に分散されることとなり、圧縮符号化処理量
の急激な増大が抑えられて符号化処理量が時間的に平坦
化し、伝送先において動画像の再生速度が変化せず良質
の動画像を圧縮伝送できる。特にインターネットなどの
帯域幅が制限された伝送路において有効である。

【００５０】またキーブロックメモリ２１Ａでは複数の
フレームに分散された上記キーＧＯＢが蓄積され、これ
らキーＧＯＢからなる参照フレームＡが構成される。こ
の参照フレームＡは異なる時刻のキーＧＯＢの集積体で
ある。この実施の形態ではこの参照フレームＡとキーフ
レームとの差分の大小によりフレーム内符号化とフレー
ム間符号化とが選択的に実行される。このため、異なる
時刻のキーＧＯＢからなる参照フレームＡを用いること
に起因するＧＯＢ間の画質の差が緩和され、良質の動画
像を圧縮伝送することが可能となる。

【００５１】＜復号化方法＞次に、復号化方法を詳説す
る。図８は、この復号化方法を説明するための模式図、
図９は、この復号化方法を実現するためのフローチャー
トである。

【００５２】まず、図１及び図２の如く、サーバ１２側
からネットワーク１３を通じて与えられた圧縮画像デー
タが、ビットストリームデータとしてクライアント機１
４ａに与えられ、復号器１７に入力される（図９中のス
テップＳＴ２０）。その圧縮画像データはそのビットス
トリームから分離された後にステップＳＴ２１で復号化
される。即ち、上記符号化器１６から所定の復号器１７
に、図８に示したフレームｆ１，ｆ２，…の圧縮データ
が順次入力される。この際、図９中のステップＳＴ２１
において、キーフレームｆ１の圧縮データに対して、図
５のステップＳＴ４〜ＳＴ７に示した処理手順と同様に
して、フレーム内符号化あるいはフレーム間符号化の復
号化処理が、８×８画素や１６×１６画素程度の小ブロ
ック単位で施される。ここで、図８中のキーフレームｆ
１の圧縮データを復号化する際、予めキーブロックメモ
リ２１Ｂ（図９）に格納した参照フレームｆ０（図示省
略）が利用される。ここで復号化したキーフレームｆ１
は、キーフレームメモリ２０Ｂ（図９）に格納される。

【００５３】また、図８において、キーフレームｆ１の
圧縮データに続いて復号器１７に入力するフレームｆ
２，ｆ３，…の圧縮データに対して、図４中のステップ
ＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号
化あるいはフレーム間符号化の復号化処理と同様の処理
が上記小ブロック単位で施される。尚、フレーム間符号
化の復号化処理を行う際は、キーフレームメモリ２０Ｂ
に格納したキーフレームｆ１が利用される。またフレー
ムｆ２，ｆ３，…が復号化される際、基本処理単位であ
る小ブロックがキーＧＯＢに属する場合は、当該小ブロ
ックはキーブロックメモリ２１Ｂに蓄積される。フレー
ム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯ
Ｂからなる参照フレームＡ（図３参照）が合成される。
この合成された参照フレームＡは、復号器１７に入力す
るキーフレームの圧縮データを復号化する際に利用され
る。例えば、図７（ａ）〜（ｄ）に示したフレームｆ２
〜ｆ５の圧縮データを復号器１７に入力する場合、各キ
ーＧＯＢを構成するブロックの圧縮データは、フレーム
内復号化を施された後に、キーブロックメモリ２１Ｂに
順次蓄積され、参照フレームＡを再構成する。

【００５４】ところで、このように、ステップＳＴ２１
で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画
像として表示する場合、上記符号化器１６でフレーム内
符号化したＧＯＢとフレーム間符号化したＧＯＢとの間
で動画像の画質の差が顕れやすく、特にフレーム内符号
化したキーＧＯＢが動画像中に判然と観られる場合があ
る。このことを考慮して、この実施の形態では、図９に
示すステップＳＴ２２において、上記ステップＳＴ２１
で復号化したキーＧＯＢのみを再び符号化した後に復号
化するキーＧＯＢ再量子化処理を実行する。

【００５５】図１０は、ステップＳＴ２２のキーＧＯＢ
再量子化処理のサブルーチンの処理手順を示すフローチ
ャートである。図１０に示すように、先ず８×８画素ま
たは１６×１６画素程度の小ブロックが入力される（ス
テップＳＴ３０）。次にそのブロックはステップＳＴ３
１でキーＧＯＢに属するか否かを条件判定される。具体
的に、このステップＳＴ３１では、データの先頭にキー
ＧＯＢであることを示すフラグがあるか否かをもって、
当該データがキーＧＯＢであるか否かを判断する。

【００５６】ここで、当該ブロックがキーＧＯＢに属し
ない場合は、当該ブロックは再量子化されず、キーＧＯ
Ｂ再量子化処理は終了し、図９に示すステップＳＴ２３
に処理が移行する。

【００５７】他方、ステップＳＴ３１において、当該ブ
ロックがキーＧＯＢに属すると判断された場合は、続い
てステップＳＴ３１ａにおいて、そのキーＧＯＢにエラ
ーがあるか否かを判断する。このステップＳＴ３１ａで
のエラー判定方法としては、例えば、復号中の可変長符
号が予め保有している符号表に存在しているかどうか判
断し、符号表中に存在していない場合に、当該キーＧＯ
Ｂ上に伝送によるエラーが発生した旨を判定する。ある
いは、キーＧＯＢ内のマクロブロックの数が、予め定め
られた個数と異なるという矛盾が生じた場合に、当該キ
ーＧＯＢ上に伝送によるエラーがに発生した旨を判定し
てもよい。そのほか、符号化器１６側で、キーＧＯＢの
データの先頭部分に誤り検出符号を付しておき、この符
号が正常なものかどうかを判断するなど、通常知られて
いるどのようなエラー検出方法を採用してもよく、これ
らの複数のエラー検出方法を組み合わせて採用してもよ
い。

【００５８】このステップＳＴ３１ａで、エラーがある
と判定された場合は、ステップＳＴ３１ｂに進み、キー
ＧＯＢの再送要求を行う（図２中のステップＳ４）。こ
のときのキーＧＯＢの再送方法は後述する。

【００５９】一方、このステップＳＴ３１ａで、エラー
がないと判定された場合は、ステップＳＴ３２に処理が
移行し、キーフレームメモリ２０Ｂに蓄積されたキーフ
レームと当該ブロックとの画素値の差分値と、その差分
値の差分絶対値和Ｓとが算出される。

【００６０】次いでステップＳＴ３３で、その差分絶対
値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対
値和Ｓが閾値を超えた場合は当該ブロックは再量子化さ
れず、キーＧＯＢ再量子化処理は終了し、図９に示すス
テップＳＴ２３に処理が移行する。

【００６１】他方、上記ステップＳＴ３３で差分絶対値
和Ｓが閾値以下であると判定された場合は、ステップＳ
Ｔ３４以後に処理が移行する。先ずステップＳＴ３４に
おいて、当該ブロックとキーフレームとの差分信号を変
換符号化し、次いでステップＳＴ３５でその変換係数を
量子化する。これらステップＳＴ３３〜ＳＴ３５の処理
は、上記符号化器１６で行った差分絶対値和Ｓによる符
号化方法（フレーム間符号化、フレーム内符号化）の判
定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量
子化処理（ＳＴ１７）と同じものである。

【００６２】その後、ステップＳＴ３６でその量子化係
数を逆量子化し、次いでステップＳＴ３７で上記ステッ
プＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直
交変換）を実行する。この結果、上記ステップＳＴ３４
〜ＳＴ３７の処理に伴い、上記符号化器１６でキーＧＯ
Ｂ以外のブロック領域をフレーム間符号化した後に復号
器１７でその符号化信号を復号化した時と同様に量子化
誤差を含む不可逆の差分信号が得られる。

【００６３】次に、ステップＳＴ３８でキーフレームメ
モリ２０Ｂに格納したキーフレームを用いてその差分信
号からブロックが再構成され出力される。

【００６４】このキーＧＯＢ再量子化処理を施されたブ
ロックは、図９に示すステップＳＴ２３においてフレー
ム（復号化画像）に合成された後に出力される。

【００６５】以上のキーＧＯＢ再量子化工程を図７に示
したフレームｆ２〜ｆ５を例に挙げて説明すると、図８
に模式的に示すように、上記ステップＳＴ２１で復号化
されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレー
ムメモリ２０Ｂに格納したキーフレームとの差分をとら
れる。

【００６６】次に、上記ステップＳＴ３３でその差分値
の差分絶対値和Ｓが閾値以下か否か、即ちフレーム間符
号化するか否かの判定がなされ、差分絶対値和Ｓが閾値
以下の場合はキーＧＯＢに対してフレーム間符号化（変
換符号化および量子化）が施され、次いでそのフレーム
間符号化の復号化（逆量子化および逆変換復号化）が施
されることで、上記フレームｆ２〜ｆ５に対応する復号
化画像Ｆ１〜Ｆ５が生成される。

【００６７】このようにして、圧縮符号化処理（ＳＴ１
５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレ
ームとの差が小ならば当該キーＧＯＢとキーフレームと
の差分信号に対して圧縮符号化を施した後に、その復号
化を施しキーＧＯＢを再構成するから、上記符号化器１
６でキーＧＯＢ以外のブロック領域をフレーム間符号化
した後に復号器１７でその符号化信号を復号化した場合
と同様に、キーＧＯＢにフレーム間符号化およびその復
号化に伴う誤差が混入される。よって、復号化した動画
像を表示する際にキーＧＯＢが動画像中で目立つことが
無く、その動画像を観る人に違和感を与えることが無い
という効果が得られる。

【００６８】＜キーＧＯＢの再送方法＞次に、上記のス
テップＳＴ３１ａ（図１０）において、クライアント１
４側で受信したキーＧＯＢにエラーが検出された場合の
手順について説明する。

【００６９】まず、図２中のステップＳ３及び図１０中
のステップＳＴ３１ａにおいて、復号器１７に与えられ
たキーＧＯＢにエラーが検出されると、その旨の信号が
復号器１７からクライアント機１４ａに通知される。ク
ライアント機１４ａは、図２中のステップＳ４におい
て、ネットワーク１３を通じて、キーＧＯＢの再送要求
をサーバ１２側に送信する。

【００７０】この再送要求を受信したサーバ機１２ａ
は、図２中のステップＳ５のような圧縮フレームデータ
の送信を実行する合間に、キーＧＯＢデータ記憶部１８
内に格納されているキーＧＯＢを読み出して、図２中の
ステップＳ６，Ｓ７のように、ネットワーク１３を通じ
てクライアント機１４ａに再送する。

【００７１】クライアント機１４ａは、正常なキーＧＯ
Ｂのデータを受信し、これを復号器１７に出力する。そ
して復号器１７は、図２中のステップＳ８において、受
信した正常なキーＧＯＢについて、上述した図９中のス
テップＳＴ２０〜ＳＴ２３（図１０中のステップＳＴ３
０〜ＳＴ３８を含む）の処理を再度実行する。

【００７２】ここで、クライアント１４側の処理におい
ては、或るキーＧＯＢを受信して復号してから、次のキ
ーフレームとなるフレームをサーバ１２側から受信する
までにかなりの時間差が生じる。この時間差を利用し、
キーＧＯＢにエラーが検出されたときに、クライアント
１４側からサーバ１２側へキーＧＯＢの再送要求を送信
し、続けて正常なキーＧＯＢの再送を行う。これによ
り、通信処理の効率を大きく妨げることなく、エラーの
伝播を防ぐことが可能となる。

【００７３】尚、再送の対象をキーＧＯＢに限定したの
は次の理由による。即ち、上記した復号化方法において
は、復号器１７においては、復号器は１フレーム分のキ
ーＧＯＢである参照フレームを参照してキーフレームを
復号し、さらにそれを参照して各フレームを復号してい
く。そのため、もしキーＧＯＢにエラーが発生すると、
そのキーＧＯＢを含むフレームだけでなく、エラーが発
生したキーＧＯＢを参照して復号されるキーフレームや
そのキーフレームを参照して復号される後続のフレーム
にまで次々と影響を及ぼすことになり、このエラーの影
響は次のキーフレームが復号されるまで続く。即ち、キ
ーＧＯＢ内に発生したエラーは、他のＧＯＢに発生した
エラーよりも圧倒的に悪影響が大きいと言える。したが
って、このキーＧＯＢの再送を確実に行うことは、他の
ＧＯＢの再送を行うよりも動画像の品質の向上に寄与す
る度合いが高いと言える。また、監視映像のように動き
が少ない動画像の場合、フレーム間符号化したデータの
サイズは限りなくゼロ値に近くなり、フレーム内符号化
したデータのサイズに比べて極めて小さい。即ち、各フ
レームにおいて、キーＧＯＢのデータサイズはキーＧＯ
Ｂ以外のＧＯＢのデータサイズよりも圧倒的に大きくな
る。このことから、キーＧＯＢを含むフレームのデータ
量の中では、キーＧＯＢの符号量が大半を占めることに
なる。このため、各フレームにおいてパケット落ちによ
るバイト欠落やビット反転によるエラー等が生じる部分
は、キーＧＯＢ内である確率が極めて高い。したがっ
て、エラーの検出対象としてキーＧＯＢのみを対象と
し、また再送の対象をキーＧＯＢに限定するだけで、か
なり大きな確率で動画像の品質を保つことが可能とな
る。

【００７４】しかる後、図２中のステップＳ９，Ｓ１０
のように、後続するフレームデータについての送受信を
繰り返し実行すればよい。

【００７５】以上のように、インターネット上で例えば
ＵＤＰによりデータを送受信する場合のように、そのま
までは通信エラー時の再送が行われる仕組みとはなって
いない場合においても、キーＧＯＢの再送要求を速やか
に行うことができ、動画像の再生品質を極めて高い確率
で向上できる。しかも、全てのデータについてエラー検
出及び再送を行うのではなく、キーＧＯＢに限定してエ
ラー検出及び再送を行うので、例えば次のキーフレーム
となるフレームをサーバ１２側から受信するまでに生じ
た時間差を利用して、ストリーミングデータの送受信に
支障を来さないようにキーＧＯＢの再送を行うことがで
き、よって、サーバ１２及びクライアント１４の処理負
荷を可及的に低く維持でき、また、送受信データのデー
タ量を抑制することで、速やかな送受信を実現できる。

【００７６】尚、上記実施の形態では、インターネット
上で例えばＵＤＰによりデータを送受信する場合を例示
して説明したが、例えばＴＣＰ／ＩＰのように、エラー
時の再送要求がある場合に適用しても差し支えない。こ
の場合であっても、再送される信号をキーＧＯＢに限定
する点で、信号の全てを送信する場合に比べて通信デー
タ量の軽減化を実現できる。

【００７７】また、上記実施の形態では、クライアント
１４側において、送信されてきた動画像をモニタ装置１
５に表示する例を説明したが、これに代えてまたはこれ
に加えて、クライアント１４側において、動画像を所定
の記録装置に蓄積的に記録するようしても差し支えな
い。

【００７８】さらに、上記実施の形態では、送信局とし
て「サーバ」という用語を、受信局として「クライアン
ト」という用語を使用したが、必ずしもこれに拘泥され
るものではなく、例えば各地域に分散された撮像カメラ
で撮像された動画像を集中センターで集中的に管理する
場合には、送信局として「クライアント」を、受信局と
して「サーバ」をそれぞれ適用してもよいことは勿論で
ある。

【００７９】

【発明の効果】請求項１、請求項４及び請求項５に記載
の発明によれば、受信局において、エラー時の動画像の
劣化に影響度の高い特定領域のデータの再送要求を行う
ようにしているので、動画像の画質を飛躍的に向上でき
る。そして、再送要求の対象を特定領域とすることで、
その他の領域の再送を行わずに、例えば次のキーフレー
ムとなるフレームを受信するまでの時間差を利用するな
どして再送を行うことができ、トラフィックを阻害する
ことなく、動画像の画質を効率よく向上できる。

【００８０】請求項２請求項４及び請求項５に記載の発
明によれば、送信局において特定領域のデータを特定領
域データ記憶部に記憶させているので、受信局から特定
領域のデータの再送要求があった際に、その特定領域の
データを特定領域データ記憶部から読み出すだけで、効
率よく特定領域のデータを受信局に再送できる。

【００８１】請求項３に記載の発明によれば、送信局側
の撮像カメラで撮像された動画像を受信局側に送信する
ようなストリーミングデータの場合に、フレーム内符号
化処理量が時間的に分散されて、送信局及び受信局双方
の処理負荷が時間的に平坦化するとともに、送信局と受
信局との間の伝送路における通信負荷も低減できる。

【図面の簡単な説明】

【図１】この発明の一の実施の形態で使用される動画像
送受信システムの基本的構成を示すブロック図である。

【図２】この発明の一の実施の形態に係る動画像送受信
システムの動画像送受信方法を説明するためのフローチ
ャートである。

【図３】この発明の一の実施の形態に係る圧縮符号化方
法を説明するための模式図である。

【図４】この発明の一の実施の形態に係る圧縮符号化方
法を実現するフローチャートである。

【図５】この発明の一の実施の形態に係る圧縮符号化方
法を実現するフローチャートである。

【図６】この発明の一の実施の形態に係る圧縮符号化方
法を実現するフローチャートである。

【図７】４つのブロック領域に分割された各フレームを
示す説明図である。

【図８】この発明の一の実施の形態に係る復号化方法を
説明するための模式図である。

【図９】この発明の一の実施の形態に係る復号化方法を
実現するフローチャートである。

【図１０】再量子化処理を説明するためのフローチャー
トである。

【図１１】従来の動画像送受信システムの概要を示す概
念図である。

【図１２】従来の動画像送受信システムを示すブロック
図である。

【図１３】従来の符号化方法を説明するためのフローチ
ャートである。

【図１４】従来の符号化方法を説明するためのフローチ
ャートである。

【符号の説明】

１１ 撮像カメラ １２ サーバ １２ａ サーバ機 １３ ネットワーク １４ クライアント １４ａ クライアント機 １５ モニタ装置 １６ 符号化器 １７ 復号器 １８ キーＧＯＢデータ記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 日下部 敏彦 大阪市淀川区宮原４丁目１番６号 株式会 社メガチップス内 (72)発明者 杉本 隆 大阪市淀川区宮原４丁目１番６号 株式会 社メガチップス内 Ｆターム(参考） 5C059 KK22 MA05 MA21 MC11 PP05 PP06 RB02 RF02 RF23 SS06 SS20 UA02 UA05 UA38 UA39 5J064 AA02 BB01 BB08 BC01 BC16 BC25 BC26

Claims (5)

【特許請求の範囲】
1. 【請求項１】 動画像を圧縮符号化して送信する送信局
   と、 前記送信局で圧縮符号化されネットワークを通じて与え
   られた前記動画像のデータを受信する受信局とを備え、 前記送信局が、 前記動画像の複数のフレームの中から一定の周期毎に指
   定された複数のキーフレームと、前記各キーフレームの
   後に入力されて複数のブロック領域に分割され且つ前記
   各ブロック領域の中から特定領域が指定された複数の他
   のフレームとを有し、前記特定領域を除く前記各ブロッ
   ク領域と前記キーフレームとの間の第１の差分が所定よ
   り大きい場合に当該ブロック領域を前記他のフレーム内
   の情報のみで圧縮符号化する一方、前記第１の差分が所
   定より小さい場合に前記差分信号を圧縮符号化し、複数
   の前記他のフレーム内の前記特定領域のみをフレーム１
   枚分蓄積して生成された参照フレームと前記キーフレー
   ムとの間の第２の差分が所定より大きい場合に前記キー
   フレームを前記フレーム内の情報のみで圧縮符号化する
   一方、前記第２の差分が所定より小さい場合に前記差分
   信号を圧縮符号化する符号化手段と、 前記符号化手段から与えられた圧縮符号化された動画像
   のデータを前記ネットワークに送出するデータ送出手段
   とを備え、 前記受信局が、 前記ネットワークを通じて前記データ送出手段から与え
   られた圧縮符号化された前記動画像のデータを受信する
   受信手段と、 前記受信手段で受信した圧縮符号化された前記動画像の
   データを復号化する復号化手段とを備え、 前記受信手段の前記復号化手段が、前記動画像のデータ
   のうちの前記特定領域のエラーの有無を検出し、 前記受信手段が、前記復号化手段で前記特定領域にエラ
   ーが有る旨を検出したときに、当該特定領域の再送要求
   を前記ネットワークを通じて前記送信局に送信し、 前記送信局が、前記受信手段から前記ネットワークを通
   じて前記特定領域の前記再送要求が与えられた際に、前
   記特定領域を前記受信手段に再送することを特徴とする
   動画像送受信システム。
2. 【請求項２】 請求項１に記載の動画像送受信システム
   であって、 前記送信局が、前記動画像のデータを前記受信手段に送
   信する際に、再送要求に備えて前記特定領域を一時的に
   格納する特定領域データ記憶部を有することを特徴とす
   る動画像送受信システム。
3. 【請求項３】 請求項１または請求項２に記載の動画像
   送受信システムであって、 前記送信局が、所定の撮像対象を撮像する撮像カメラを
   有し、 前記受信局が、前記撮像カメラで撮像された動画像を表
   示または記録することを特徴とする動画像送受信システ
   ム。
4. 【請求項４】 ａ）送信局において、複数のフレームの
   中から一定の周期毎に指定された複数のキーフレーム
   と、前記各キーフレームの後に入力されて複数のブロッ
   ク領域に分割され且つ前記各ブロック領域の中から特定
   領域が指定された複数の他のフレームとを有せしめ、前
   記特定領域を除く前記各ブロック領域と前記キーフレー
   ムとの間の第１の差分が所定より大きい場合に当該ブロ
   ック領域を前記他のフレーム内の情報のみで圧縮符号化
   する一方、前記第１の差分が所定より小さい場合に前記
   差分信号を圧縮符号化し、複数の前記他のフレーム内の
   前記特定領域のみをフレーム１枚分蓄積して生成された
   参照フレームと前記キーフレームとの間の第２の差分が
   所定より大きい場合に前記キーフレームを前記フレーム
   内の情報のみで圧縮符号化する一方、前記第２の差分が
   所定より小さい場合に前記差分信号を圧縮符号化する工
   程と、 ｂ）前記送信局において、前記特定領域のデータを所定
   の特定領域データ記憶部内に記憶する工程と、 ｃ）前記送信局において、前記ａ）の工程で圧縮符号化
   された動画像のデータを受信局に送信する工程と、 ｄ）前記受信局において、前記ｃ）の工程で送信された
   前記動画像のデータのうち、前記特定領域のデータのエ
   ラーの有無を検出する工程と、 ｅ）前記ｄ）の工程で前記特定領域のデータにエラーが
   ある旨を検出した場合に、前記受信局が、前記送信局に
   対して前記特定領域のデータの再送要求を行う工程と、 ｆ）前記送信局において、前記ｅ）の工程で前記受信局
   から与えられた再送要求に応じて、前記特定領域データ
   記憶部内に記憶された前記特定領域のデータを前記受信
   局に対して再送する工程とを備える動画像送受信方法。
5. 【請求項５】 請求項４に記載の動画像送受信方法をコ
   ンピュータ上で実現するために、前記各工程をコンピュ
   ータに実行させるためのプログラム。