JP2001231045A - 動画像符号化および復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 動きベクトルが零にもかかわらず大きなフレ
ーム間差分が生じても効率的な動画像伝送を可能とする
動画像符号化および復号化装置を提供する。 【解決手段】 分割された小ブロックごとに、動画像入
力データ１０とフレームメモリ１３に蓄積された前フレ
ームの局所復号動画像データ１４とからＭＥ１１におい
て動きベクトル１５を検出し、ＧＥ６０において動画像
入力データ１０との差分絶対値和が最小となる前フレー
ムの局所復号動画像データ１４の各輝度信号画素に乗算
する係数である輝度ゲイン６３を検出する。検出した動
きベクトル１５が零ベクトルのとき、ＭＣ１６で動き補
償した動き補償動画像データ１７に対して輝度ゲイン６
３でゲイン補償したゲイン補償動画像データ６４を生成
し、これを基準にフレーム間差分データ６５を生成して
時間的冗長を削除し、この輝度ゲイン６３を動きベクト
ル１５とともに可変長符号化器６１で統計的情報圧縮を
行って動画像復号化装置に通知する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像信号を伝送す
るための動画像符号化および復号化装置に係わり、詳細
には前フレームの動画像信号との間で検出した動きベク
トルに基づいて高能率で動画像信号を伝送するための動
画像符号化および復号化装置に関する。

【０００２】

【従来の技術】近年、デジタルデータ伝送の提供を可能
とする総合サービスデジタル通信網（Integrated Servi
ces Digital Network：以下、ＩＳＤＮと略す。）回線
やパケット化されたデータを伝送するＩＰ（Internet P
rotocol）ネットワークの普及により、情報処理技術の
高度化および高速化とあいまって、ビデオコミュニケー
ションや遠隔画像監視といった動画像データの伝送を行
うシステムの利用が急速に拡大している。この伝送され
る動画像データは符号化装置で情報量を圧縮するために
符号化することで、低ビットレートのネットワークであ
っても良好な画像品質を実現することができる。この動
画像データの符号化技術としては、例えば国際電気通信
連合電気通信標準化部門（International Telecommunic
ation Union-Telecommunication Standardization Sect
or：以下、ＩＴＵ−Ｔと略す。）勧告Ｈ．２６１やＨ．
２６３で採用されている技術がある。

【０００３】ＩＴＵ−Ｔ勧告Ｈ．２６１やＨ．２６３
は、主にテレビ会議やテレビ電話といったカラー映像信
号のデジタル符号化を規定する。すなわち、動き補償フ
レーム間予測技術と離散コサイン変換（Discrete Cosin
e Transform：以下、ＤＣＴと略す。）技術とにより、
画像信号を高能率で符号化し、比較的低い伝送速度で良
好な画像品質と、短時間の符号化および復号化処理を両
立する。

【０００４】図４は、従来の動画像データの符号化を行
う動画像符号化装置の構成の概要を表わしたものであ
る。この動画像符号化装置において、伝送すべき動画像
が所定の小ブロック単位に分割された動画像入力データ
１０は、動きベクトル検出器（Motion Estimation：以
下、ＭＥと略す。）１１と、差分器１２とに入力され
る。ＭＥ１１は、動画像入力データ１０と、フレームメ
モリ１３に蓄積された前フレームの局所復号動画像デー
タ１４とから、動きベクトル１５を検出する。動きベク
トルは、現フレームと前フレームとの間の画素値の空間
的なずれを２次元の動き情報であって、あるフレーム内
の画像が次のフレーム内のどの位置に移動したかを示
す。前フレームの局所復号動画像データ１４と動きベク
トル１５とは、動き補償器（Motion Compensation：以
下、ＭＣと略す。）１６に入力される。ＭＣ１６は、前
フレームの局所復号動画像データ１４を動きベクトル１
５で補償し、動き補償動画像データ１７として出力す
る。動き補償動画像データ１７は、差分器１２と、加算
器１８とに入力される。

【０００５】差分器１２は、動画像入力データ１０と、
動き補償動画像データ１７との差分を算出し、フレーム
間差分データ１９としてＤＣＴ回路２０に供給する。Ｄ
ＣＴ回路２０は、フレーム間差分データ１９に対して直
行変換としてのＤＣＴを行う。これにより、フレーム間
差分データ１９から各周波数成分のコサイン関数の係数
として変換されたＤＣＴデータ２１が得られる。自然画
像では、画素ごとに近い周波数成分を有していることが
知られており、このＤＣＴによって得られた係数は、Ｄ
Ｃ成分といったある特定の周波数成分の係数周辺部に集
中する。したがって、このＤＣＴデータ２１は、量子化
器２２で量子化されると、この集中した係数周辺部のみ
が残る。量子化器２２で量子化された量子化データ２３
は、逆量子化器２４と可変長符号化器２５とに入力され
る。

【０００６】逆量子化器２４は、量子化器２２で行った
量子化とは逆の逆量子化を行ってＤＣＴデータ２１に相
当する逆量子化データ２６を生成し、逆ＤＣＴ回路２７
に供給する。逆ＤＣＴ回路２７は、ＤＣＴ回路２０で行
ったＤＣＴに対応する逆ＤＣＴを行って、逆ＤＣＴデー
タ２８を生成する。逆ＤＣＴデータ２８は、加算器１８
に入力される。加算器１８は、逆ＤＣＴデータ２８と動
き補償動画像データ１７とを加算して、局所復号動画像
データ２９を生成する。局所復号動画像データ２９は、
フレームメモリ１３に入力され、次のフレームタイミン
グで、前フレームの局所復号動画像データ１４として出
力される。

【０００７】可変長符号化器２５は、量子化データ２３
と動きベクトル１５とから、統計的情報圧縮を行って、
符号化出力データ３０を出力する。

【０００８】このような構成の動画像符号化装置は、動
画像入力データ１０と前フレームの局所復号化データ１
４における各フレーム内の同一画像の位置関係を示すＭ
Ｅ１１で動きベクトル１５を検出し、まず動き補償器１
６で動き補償動画像データ１７と動画像入力データ１０
との間のフレーム間差分データ１９を生成する。すなわ
ち、前フレームの局所復号動画像データ１４から動きベ
クトル１５に基づいた予測画像データである動き補償動
画像データ１７を基準に、その差分だけを求める。これ
により、伝送すべき情報の時間軸方向の冗長を低減す
る。

【０００９】さらに動画像符号化装置は、フレーム間差
分データ１９に対してＤＣＴ回路２０によりＤＣＴを行
って、変換された各周波数成分のコサイン関数同士が互
いに関連性があるという画像データの特性を利用し、量
子化器２２で量子化することによって、復号化しても画
質に影響を与えないコサイン関数の周波数成分を除去す
ることによって、伝送すべきＤＣＴデータ２１の量をさ
らに削除する。そして、可変長符号化器２５で、これと
動きベクトル１５とを統計的情報圧縮を行って伝送す
る。これにより、伝送すべき情報の空間軸方向の冗長を
低減する。

【００１０】このように符号化された符号化出力データ
３０は、例えばＩＳＤＮ回線やＩＰネットワークを介し
て伝送され、動画像復号化装置で受信される。動画像復
号化装置では、動画像符号化装置と逆の手順で、可変長
復号化、逆量子化、逆ＤＣＴ、動き補償を経て、受信し
た動画像の復号化を行う。

【００１１】このような動画像符号化および復号化装置
については、種々提案されている。例えば特開平５−９
５５４５号公報「画像信号の高能率符号化および復号化
装置」には、ＭＰＥＧ（Moving Picture Experts Grou
p）の画像による高能率符号化において、動きの少ない
画像と動きの多い画像が混在した動画像であっても、各
ブロックを２分割して一方から他方を動き予測可能とす
る第１のモードと、２分割しない第２のモードとを適応
的に切り替えることで、効率良く動画像を符号化する技
術が開示されている。

【００１２】また、特開平７−３０８９６号公報「動き
ベクトル符号化および復号化方法」には、ブロックごと
に検出した動きベクトルと１フレーム前の同じブロック
の動きベクトルとの差分である差分動きベクトルを検出
することによって、差分動きベクトルの大小に応じて符
号化を変更し、高能率符号化を実現する技術が開示され
ている。

【００１３】

【発明が解決しようとする課題】このように従来の動画
像符号化装置では、動画像入力データと前フレームの局
所復号動画像データから動きベクトルを求め、この動き
ベクトルで動き補償された前フレームの画像データとの
間で差分を取るようにしたので、被写体が動いた場合で
あってもフレーム間差分を最小にし、伝送すべき情報量
を大幅に低減することができる。

【００１４】しかしながら、例えばちらつき（flicke
r：以下、フリッカと略す。）のある蛍光灯による照明
下のカメラ動画像を符号化する場合、被写体の動きがな
くても、時間的な輝度変化に伴うフレーム間差分信号が
生じてしまうという問題がある。ここで、このフリッカ
によって生じる輝度変化について説明する。

【００１５】図５は、フリッカのある蛍光灯による照明
下のカメラ動画像の一例を表わしたものである。カメラ
動画像データ５０は、所定のブロックごとに分割され、
ここでは８×８ブロックに分割されている。カメラ動画
像データ５０内には三角形の図形である被写体５１があ
り、ある時間におけるストライプ状のフリッカ５２が発
生している場合を示している。このとき、被写体５１の
一部に、ストライプ状のフリッカ５２が重なっているた
め、正確な画像ではなくなっている。

【００１６】図６は、図５の前フレームにおけるフリッ
カのある蛍光灯による照明下のカメラ動画像の一例を表
わしたものである。ここでは、ストライプ状のフリッカ
が時間的に上から下に移動しているため、前フレームの
局所復号動画像データ５５における被写体５１の移動は
ないものの、ストライプ状のフリッカ５６が発生する場
所が異なる。すなわち、被写体５１の一部にストライプ
状のフリッカが重なる部分が異なっている。したがっ
て、図５のカメラ動画像データ５０と前フレームの局所
復号動画像データ５５における同一ブロック５７に着目
すると、被写体５１の動きベクトルが零であるにもかか
わらず、大きな輝度変化が生じ、これにともなう大きな
フレーム間差分信号が生じる。

【００１７】このように大きなフレーム間差分信号が生
じることは、被写体の動きがないにもかかわらず動き補
償による伝送情報圧縮の効果を期待できないことを意味
し、効率的な動画像信号の伝送が不可能となる。

【００１８】そこで本発明の目的は、動きベクトルが零
にもかかわらず大きなフレーム間差分が生じても効率的
な動画像伝送を可能とする動画像符号化および復号化装
置を提供することにある。

【００１９】

【課題を解決するための手段】請求項１記載の発明で
は、（イ）１フレーム前の動画像データを蓄積するフレ
ームメモリと、（ロ）入力された動画像データとこのフ
レームメモリに蓄積された１フレーム前の動画像データ
とから各フレーム間の画素値の空間的なずれを示す動き
ベクトルを検出する動きベクトル検出手段と、（ハ）入
力された動画像データと１フレーム前の動画像データの
各フレーム間の各画素の輝度変化が最小となるように１
フレーム前の動画像データの補償すべきゲインを検出す
るゲイン検出手段と、（ニ）動きベクトル検出手段によ
って検出された動きベクトルが零ベクトルのときゲイン
検出手段によって検出されたゲインに基づいて１フレー
ム前の動画像データをゲイン補償するゲイン補償手段
と、（ホ）入力された動画像データとゲイン補償手段に
よってゲイン補償された画像データとの差分であるフレ
ーム間差分データを生成するフレーム間差分データ生成
手段と、（ヘ）このフレーム間差分データ生成手段によ
って生成されたフレーム間差分データと動きベクトルと
ゲインとを符号化して送信する送信手段とを動画像符号
化装置に具備させる。

【００２０】すなわち請求項１記載の発明では、ゲイン
検出手段を設け、入力された動画像データとフレームメ
モリに蓄積された１フレーム前の動画像データの各フレ
ーム間の各画素の輝度変化が最小となるように、１フレ
ーム前の動画像データの補償すべきゲインを検出し、動
きベクトル検出手段によって検出された動きベクトルが
零ベクトルのときゲイン補償手段により、この検出され
たゲインに基づいて１フレーム前の動画像データをゲイ
ン補償させるようにした。そして、フレーム間差分デー
タ生成手段により、入力された動画像データとゲイン補
償手段によってゲイン補償された画像データとの差分で
あるフレーム間差分データを生成させ、これと動きベク
トルとゲインとを符号化して復号化装置に対して送信さ
せるようにした。

【００２１】請求項２記載の発明では、（イ）１フレー
ム前の動画像データを蓄積するフレームメモリと、
（ロ）入力された動画像データとこのフレームメモリに
蓄積された１フレーム前の動画像データとから各フレー
ム間の画素値の空間的なずれを示す動きベクトルを検出
する動きベクトル検出手段と、（ハ）入力された動画像
データと１フレーム前の動画像データの各フレーム間の
各画素の輝度変化が最小となるように１フレーム前の動
画像データの補償すべきゲインを検出するゲイン検出手
段と、（ニ）動きベクトル検出手段によって検出された
動きベクトルに基づいて１フレーム前の動画像データを
動き補償する動き補償手段と、（ホ）ゲイン検出手段に
よって検出されたゲインに基づいてこの動き補償手段に
よって動き補償された動画像データをゲイン補償するゲ
イン補償手段と、（ヘ）入力された動画像データとこの
ゲイン補償手段によってゲイン補償された画像データと
の差分であるフレーム間差分データを生成するフレーム
間差分データ生成手段と、（ト）このフレーム間差分デ
ータ生成手段によって生成されたフレーム間差分データ
と動きベクトルとゲインとを符号化して送信する送信手
段とを動画像符号化装置に具備させる。

【００２２】すなわち請求項２記載の発明では、入力さ
れた動画像データとフレームメモリに蓄積される１フレ
ーム前の動画像データとに対して、動きベクトル検出手
段により各フレーム間の画素値の空間的なずれを示す動
きベクトルを検出させるとともに、ゲイン検出手段によ
り各フレーム間の各画素の輝度変化が最小となるように
１フレーム前の動画像データの補償すべきゲインを検出
させるようにした。そして、１フレーム前の動画像デー
タを検出された動きベクトルで動き補償し、これを検出
されたゲインでゲイン補償し、フレーム間差分データ生
成手段で入力される動画像データとの間のフレーム間差
分データを生成させるようにした。そして、このフレー
ム間差分データと動きベクトルとゲインとを符号化して
復号化装置に対して送信させるようにした。

【００２３】請求項３記載の発明では、請求項２記載の
動画像符号化装置で、フレーム間差分データを直交変換
する直交変換手段と、この直交変換手段の変換データを
量子化する量子化手段とを備え、送信手段は量子化手段
で量子化された量子化データと動きベクトルとゲインと
から各発生頻度に応じて符号化して送信することを特徴
としている。

【００２４】すなわち請求項３記載の発明では、直交変
換手段によりフレーム間差分データを直交変換して、動
画像データ特有の高い相関により、特定の変換係数に集
中する。そして、これを量子化することで、丸め込みを
行って空間的な冗長を除去し、さらにフレーム間差分デ
ータと動きベクトルとゲインとでその発生頻度に応じた
符号化を行うことによって、さらに空間的な冗長を除去
し、伝送すべき情報量を大幅に削減する。

【００２５】請求項４記載の発明では、（イ）１フレー
ム前の動画像データを蓄積するフレームメモリと、
（ロ）入力された符号化データから符号動画像データ
と、１フレーム前の動画像データとの間の画素値の空間
的なずれを示す動きベクトルと、１フレーム前の動画像
データとの間の各画素の輝度変化が最小となる１フレー
ム前の動画像データの補償すべきゲインとを抽出する抽
出手段と、（ハ）この抽出手段によって抽出された動き
ベクトルが零ベクトルのとき１フレーム前の動画像デー
タをゲインに基づいてゲイン補償するゲイン補償手段
と、（ニ）このゲイン補償手段でゲイン補償された画像
データと符号動画像データとから復号動画像データを生
成する復号動画像データ生成手段とを動画像復号化装置
に具備させる。

【００２６】すなわち請求項４記載の発明では、抽出手
段により、入力された符号化データから符号動画像デー
タと、フレームメモリに蓄積された１フレーム前の動画
像データとの間の画素値の空間的なずれを示す動きベク
トルと、１フレーム前の動画像データとの間の各画素の
輝度変化が最小となる１フレーム前の動画像データの補
償すべきゲインとを抽出させるようにした。そして、こ
の抽出手段によって抽出された動きベクトルが零ベクト
ルのとき１フレーム前の動画像データをゲインに基づい
てゲイン補償し、これと符号動画像データとから復号動
画像データを生成するようにした。

【００２７】請求項５記載の発明では、（イ）１フレー
ム前の動画像データを蓄積するフレームメモリと、
（ロ）入力された符号化データから符号動画像データ
と、１フレーム前の動画像データとの間の画素値の空間
的なずれを示す動きベクトルと、１フレーム前の動画像
データとの間の各画素の輝度変化が最小となる１フレー
ム前の動画像データの補償すべきゲインとを抽出する抽
出手段と、（ハ）この抽出手段によって抽出された動き
ベクトルに基づいて１フレーム前の動画像データを動き
補償する動き補償手段と、（ニ）この動き補償手段によ
って動き補償された画像データをゲインに基づいてゲイ
ン補償するゲイン補償手段と、（ホ）このゲイン補償手
段でゲイン補償された画像データと符号動画像データと
から復号動画像データを生成する復号動画像データ生成
手段とを動画像復号化装置に具備させる。

【００２８】すなわち請求項５記載の発明では、抽出手
段により、入力された符号化データから符号動画像デー
タと、フレームメモリに蓄積された１フレーム前の動画
像データとの間の画素値の空間的なずれを示す動きベク
トルと、１フレーム前の動画像データとの間の各画素の
輝度変化が最小となる１フレーム前の動画像データの補
償すべきゲインとを抽出させるようにした。そして、こ
の抽出手段によって抽出された動きベクトルに基づいて
１フレーム前の動画像データを動き補償し、さらにこれ
を抽出手段によって抽出されたゲインに基づいてゲイン
補償し、これと符号動画像データとから復号動画像デー
タを生成するようにした。

【００２９】請求項６記載の発明では、請求項４または
請求項５記載の動画像復号化装置で、抽出手段によって
抽出された符号動画像データを逆量子化する逆量子化手
段と、この逆量子化手段によって逆量子化された逆量子
化データを直交逆変換する直交逆変換手段とを備え、復
号動画像データ生成手段は直交逆変換手段によって直交
逆変換された画像データとゲイン補償手段でゲイン補償
された画像データとから復号動画像データを生成するこ
とを特徴としている。

【００３０】すなわち請求項６記載の発明では、直交逆
変換手段により、直交変換および量子化されて情報圧縮
が行われた符号動画像データの画素値に逆変換し、更に
逆量子化を行うことで符号化されたフレーム間差分の動
画像データを復元し、これとゲイン補償された動画像デ
ータとから復号動画像データを生成するようにした。

【００３１】請求項７記載の発明では、請求項３記載の
動画像符号化装置で、送信手段は動きベクトルが零ベク
トルのときのみゲインを符号化して送信するものである
ことを特徴としている。

【００３２】すなわち請求項７記載の発明では、動きベ
クトルが零ベクトルのときのみゲインを符号化して送信
するようにしたので、さらに伝送すべき情報量を削減す
ることができる。

【００３３】請求項８記載の発明では、請求項３記載の
動画像符号化装置で、送信手段は動きベクトルが零ベク
トルのとき動きベクトルに代えてゲインを符号化して送
信するものであることを特徴としている。

【００３４】すなわち請求項８記載の発明では、動きベ
クトルが零ベクトルのとき動きベクトルに代えてゲイン
を符号化して送信するようにしたので、請求項７記載の
発明に比べてさらに伝送すべき情報量の削減が可能とな
る。

【００３５】

【発明の実施の形態】

【００３６】

【実施例】以下実施例につき本発明を詳細に説明する。

【００３７】図１は、本発明の一実施例における動画像
符号化装置の構成の概要を表わしたものである。ただ
し、図４に示した従来の動画像符号化装置と同一部分に
は同一符号を付し、適宜説明を省略する。本実施例にお
ける動画像符号化装置は、分割された小ブロック単位
に、動画像入力データと前フレームの局所復号動画像デ
ータとから検出した動きベクトルに基づいて動き補償フ
レーム間符号化を行う際に、動きベクトルが零にもかか
わらず大きなフレーム間差分信号を生じる小ブロックに
対して、フレーム間差分信号が最小となる輝度ゲインを
求め、この輝度ゲインで補償した前フレームの局所復号
動画像データとの差分でフレーム間補償を行うととも
に、求めた輝度ゲインを伝送することを特徴としてい
る。以下、このような本実施例における動画像符号化装
置について説明する。

【００３８】本実施例における動画像符号化装置では、
伝送すべき動画像が所定の小ブロック単位に分割された
動画像入力データ１０は、ＭＥ１１と、差分器１２と、
ゲイン検出器（Gain Estimation：以下、ＧＥと略
す。）６０とに入力される。ＭＥ１１は、動画像入力デ
ータ１０と、フレームメモリ１３に蓄積された前フレー
ムの局所復号動画像データ１４とから、動きベクトル１
５を検出する。検出された動きベクトル１５は、ＭＣ１
６と、可変長符号化器６１とに入力される。

【００３９】ＭＣ１６は、前フレームの局所復号動画像
データ１４を動きベクトル１５で補償し、動き補償動画
像データ１７として出力する。動き補償動画像データ１
７は、ゲイン補償器（Gain Compensation：以下、ＧＣ
と略す。）６２に入力される。

【００４０】ＧＥ６０は、小ブロック化された局所復号
動画像データ１４の各輝度信号画素に対してある範囲の
試行ゲインＧ（ｘ）を乗算し、同様に小ブロック化され
た動画像入力データ１０との間の評価値が最小となる試
行ゲインを求めるとともに、このときの局所復号動画像
データ１４を補償すべき係数を輝度ゲイン６３として検
出する。この輝度ゲイン６３は、ＧＣ６２と、可変長符
号化器６１とに入力される。

【００４１】ＧＣ６２は、ＭＥ１１で検出された動きベ
クトル１５が零ベクトルのとき、ＭＣ１６で動き補償さ
れた動き補償動画像データ１７に対してＧＥ６０より供
給された輝度ゲイン６３を用いてゲイン補償し、ゲイン
補償動画像データ６４として出力する。すなわち、ＧＣ
６２は、ＭＥ１１によって検出された動きベクトル１５
が零ベクトルではないとき、ＭＣ１６で動き補償された
動き補償動画像データ１６をゲイン補償動画像データ６
４としてそのまま出力し、動きベクトル１５が零ベクト
ルのとき、ＭＣ１６で動き補償された動き補償動画像デ
ータ１６は前フレームの局所復号動画像データ１４と同
じものであることからこの前フレームの局所復号動画像
データ１４を輝度ゲイン６３でゲイン補償した補償画像
データをゲイン補償動画像データ６４として出力する。
このゲイン補償動画像データ６４は、差分器１２と、加
算器１８とに入力される。

【００４２】差分器１２は、動画像入力データ１０と、
ゲイン補償動画像データ６４との差分を算出し、フレー
ム間差分データ６５としてＤＣＴ回路２０に供給する。
これにより、フレーム間差分データ６５から各周波数成
分のコサイン関数の係数として変換されたＤＣＴデータ
６６が得られる。自然画像では、画素ごとに近い周波数
成分を有していることが知られており、このＤＣＴによ
って得られた係数は、ＤＣ成分といったある特定の周波
数成分の係数周辺部に集中する。したがって、このＤＣ
Ｔデータ６６は、量子化器２２で量子化されると、この
集中した係数周辺部のみが残る。量子化器２２で量子化
された量子化データ６７は、逆量子化器２４と可変長符
号化器６１とに入力される。

【００４３】逆量子化器２４は、量子化器２２で行った
量子化とは逆の逆量子化を行ってＤＣＴデータ６６に相
当する逆量子化データ６８を生成し、逆ＤＣＴ回路２７
に供給する。逆ＤＣＴ回路２７は、ＤＣＴ回路２０で行
ったＤＣＴに対応する逆ＤＣＴを行って、逆ＤＣＴデー
タ６９を生成する。逆ＤＣＴデータ６９は、加算器１８
に入力される。加算器１８は、逆ＤＣＴデータ６９とゲ
イン動き補償動画像データ６４とを加算して、局所復号
動画像データ７０を生成する。局所復号動画像データ７
０は、フレームメモリ１３に入力され、次のフレームタ
イミングで、前フレームの局所復号動画像データ１４と
して出力される。

【００４４】可変長符号化器６１は、量子化データ６
７、動きベクトル１５および輝度ゲイン６３から、統計
的情報圧縮を行って符号化出力データ７１を出力する。

【００４５】このような構成の本実施例における動画像
符号化装置において、ＭＥ１１は、動画像入力データ１
０とフレームメモリ１３に蓄積された前フレームの局所
復号動画像データ１４とを例えば１６×１６の小ブロッ
クに分割し、この小ブロックごとに動きベクトル１５を
検出する。この動きベクトル１５をＭＶ（ｘ，ｙ）、小
ブロックに分割された動画像入力データ１０をＡ（ｉ，
ｊ）、同様に小ブロックに分割された前フレームの局所
復号動画像データ１４をＢ（ｉ，ｊ）とすると、次の
（１）式に示す差分絶対値和が最小となる（ｘ，ｙ）を
算出することで求めることができる。

【００４６】 ＭＶ（ｘ，ｙ）＝ｍｉｎ（Σ｜Ａ（ｉ，ｊ）−Ｂ（ｉ＋ｘ，ｊ＋ｙ）｜） …（１）

【００４７】ここで、（１）式に示す差分絶対値和の最
小値が、ＭＶ（０，０）のとき、動きベクトル１５が零
となり小ブロック内における被写体の動きがないことを
意味する。

【００４８】ＭＣ１６は、フレームメモリ１３に蓄積さ
れた前フレームの局所復号動画像データ１４から、この
ようにして検出された動きベクトル１５を用いて動き補
償を行って予測画像データである動き補償動画像データ
１７を生成する。

【００４９】一方、ＧＥ６０では、動画像入力データ１
０とフレームメモリ１３に蓄積された前フレームの局所
復号動画像データ１４とを同様に分割された小ブロック
ごとに、輝度ゲイン６３を検出する。例えば、小ブロッ
ク化された動画像入力データ１０であるＡ（ｉ，ｊ）、
小ブロック化された前フレームの局所復号動画像データ
１４であるＢ（ｉ，ｊ）について次の（２）式で示す評
価関数を用い、この評価関数の評価値が最小となる試行
ゲインを求めるとともに、このときの局所復号動画像デ
ータ１４を補償すべき係数ｇ（ｘ）を輝度ゲイン６３と
して検出する。

【００５０】 Ｇ（ｘ）＝ｍｉｎ（Σ｜Ａ（ｉ，ｊ）−ｇ（ｘ）・Ｂ（ｉ，ｊ）｜）…（２）

【００５１】ここで、最適ゲインＧ（ｉ）の探索は、±
０．５、±０．２５、・・・の木探索（バイナリツリー
サーチ）による高速探索を行う。また、ｇ（ｘ）は、次
の範囲で探索するものとする。

【００５２】０．５≦ｇ（ｘ）≦２．０ …（３）

【００５３】ＧＣ６２は、ＭＥ１１で検出された動きベ
クトル１５が零ベクトルのとき、このようにして検出さ
れた輝度ゲイン６３を前フレームの局所復号動画像デー
タ１４と同じものである動き補償動画像データ１７に乗
算し、ゲイン補償動画像データ６４を生成する。

【００５４】そして、このゲイン補償動画像データ６４
を用いて差分器１２により、動画像入力データ１０との
間でフレーム間差分を取ることで、ゲイン補償動画像デ
ータ６４を基準として動画像信号レベルの変動の冗長分
が除去されたフレーム間差分データ６５が生成される。
フレーム間差分データ６５は、ＤＣＴ回路２０によるＤ
ＣＴと、量子化器２２による量子化により、空間的冗長
が除去される。このようにして生成された量子化データ
６７は、逆量子化器２４および逆ＤＣＴ回路２７で逆量
子化と直交逆変換である逆ＤＣＴが行われ、これとゲイ
ン補償動画像データ６４と加算されることで、局所復号
動画像データ７０が生成され、次のフレームの符号化用
にフレームメモリ１３に格納される。

【００５５】可変長符号化器６１は、時間的および空間
的冗長が除去された量子化データ６７と、ＭＥ１１によ
って検出された動きベクトル１５と、ＧＥ６０によって
検出された輝度ゲイン６３とを、統計的情報圧縮を行
う。この統計的情報圧縮は、情報圧縮すべき各データパ
ターンの発生頻度を統計的に解析し、発生頻度の多いデ
ータには短い符号語を、発生頻度の少ないデータには長
い符号語を、それぞれ割り当てる、例えばハフマン符号
からなる符号語列を符号化出力データ７１として出力す
る。

【００５６】このように符号化された符号化出力データ
７１は、例えばＩＳＤＮ回線やＩＰネットワークを介し
て伝送され、動画像復号化装置で受信される。

【００５７】図２は、図１に示した本実施例における動
画像符号化装置によって符号化された情報を受信して復
号化する動画像復号化装置の構成の概要を表わしたもの
である。本実施例における動画像復号化装置では、動画
符号化装置によって符号化され送信された可変長符号化
データ８０は、可変長復号化器８１に入力される。可変
長復号化器８１は、図１に示した可変長符号化器６１に
よる符号化処理に対応した復号化処理によって、入力さ
れた可変長符号化データ８０から符号化動画像データ８
２と、動きベクトル８３と、輝度ゲイン８４とを復号化
して分離する。分離された符号化動画像データ８２は、
逆量子化器８５に入力される。分離された動きベクトル
８３は、ＭＣ８６に入力される。分離された輝度ゲイン
８４は、ＧＣ８７に入力される。

【００５８】逆量子化器８５は、図１に示した動画像符
号化装置の逆量子化器２４と同様に、量子化器２２によ
る量子化処理に対応した逆量子化を行い、ＤＣＴによる
各周波数成分のコサイン関数ごとの係数である逆量子化
データ８８に変換する。この逆量子化データ８８は、逆
ＤＣＴ回路８９に入力される。

【００５９】逆ＤＣＴ回路８９は、図１に示した動画像
符号化装置の逆ＤＣＴ回路２７と同様に、ＤＣＴ回路２
０によるＤＣＴに対応した逆ＤＣＴを行い、各小ブロッ
クごとの画像データである逆ＤＣＴデータ９０に変換す
る。この逆ＤＣＴデータ９０は、加算器９１に入力され
る。

【００６０】一方、ＭＣ８６は、フレームメモリ９２に
蓄積された前フレームの局所復号動画像データ９３か
ら、可変長復号化器８１で分離された動きベクトル８３
を用いて動き補償を行って予測画像データである動き補
償動画像データ９４を生成する。この動き補償動画像デ
ータ９４は、ＧＣ８７に入力される。ＧＣ８７は、可変
長復号化器８１で分離された輝度ゲイン８４をこの動き
補償動画像データ９４に乗算してゲイン補償を行い、ゲ
イン補償画像データ９５を生成し、加算器９１に供給す
る。加算器９１は、逆ＤＣＴデータ９０とゲイン補償画
像データ９５とを加算して、復号動画像データ９６を生
成する。この復号動画像データ９６は、図示しない画像
処理装置に対して出力されるとともに、次のフレームの
復号化用にフレームメモリ９２に格納される。

【００６１】以上説明したように本実施例における動画
像符号化装置では、分割された小ブロックごとに、動画
像入力データ１０とフレームメモリ１３に蓄積された前
フレームの局所復号動画像データ１４とからＭＥ１１に
おいて動きベクトル１５を検出するとともに、ＧＥ６０
において動画像入力データ１０との差分絶対値和が最小
となる前フレームの局所復号動画像データ１４の各輝度
信号画素に乗算する係数である輝度ゲイン６３を検出す
るようにした。そして、検出した動きベクトル１５が零
ベクトルのとき、ＭＣ１６で動き補償した動き補償動画
像データ１７に対して輝度ゲイン６３でゲイン補償した
ゲイン補償動画像データ６４を生成し、これを基準にフ
レーム間差分データ６５を生成して時間的冗長を削除す
るとともに、この輝度ゲイン６３を動きベクトル１５と
ともに可変長符号化器６１で統計的情報圧縮を行って動
画像復号化装置に通知するようにした。動画像復号化装
置では、受信した可変長符号化データ８０から動きベク
トル８３と輝度ゲイン８４とを分離し、それぞれフレー
ムメモリ９２に蓄積された前フレームの局所復号動画像
データ１４から動きベクトル８３で動き補償を行い、さ
らに輝度ゲイン８４でゲイン補償を行って、逆量子化お
よび逆ＤＣＴによる復号化処理された復号データに加算
して復号動画像データ９６を生成するようにした。これ
により、フリッカのある蛍光灯照明下のカメラ動画像を
符号化する場合、被写体の動きがないにもかかわらずフ
リッカによる輝度変化にともなう大きなフレーム間差分
の発生を回避することができ、劣悪な環境下の動画像に
ついても効率的な情報圧縮を行うことが可能となる。

【００６２】変形例

【００６３】本実施例における動画像符号化装置では、
フレームメモリ１３に蓄積された前フレームの局所画像
符号化データ１４に対して、検出した動きベクトル１５
による動き補償を行った後、検出した輝度ゲイン６３に
よるゲイン補償を行ったゲイン補償動画像データ６４を
基準に、動画像入力データ１０との間のフレーム間差分
データ６５を生成するようにしていたが、これに限定さ
れるものではない。

【００６４】図３は、本変形例における動画像符号化装
置の構成の概要を表わしたものである。ただし、図１に
示す本実施例における動画像符号化装置と同一部分には
同一符号を付し、説明を省略する。本変形例における動
画像符号化装置が本実施例における動画像符号化装置と
異なる点は、フレームメモリ１３に蓄積された前フレー
ムの局所画像符号化データ１４に対して、検出した輝度
ゲイン６３によるゲイン補償を行った後、検出した動き
ベクトル１５による動き補償を行った動き補償動画像デ
ータを基準に、動画像入力データ１０との間のフレーム
間差分データ６５を生成するところである。

【００６５】すなわちＧＣ６２は、ＭＥ１１で検出され
た動きベクトル１５が零ベクトルのとき、（２）式にし
たがってＧＥ６０で検出された輝度ゲイン６３を前フレ
ームの局所復号動画像データ１４に乗算し、ゲイン補償
画像データ１００を生成する。ゲイン補償画像データ１
００は、ＭＣ１６に入力される。ＭＣ１６は、ＭＥ１１
で検出された動きベクトル１５を用いて動き補償を行っ
て予測画像データである動き補償動画像データ１０１を
生成する。この動き補償動画像データ１０１は、差分器
１２および加算器１８に供給される。したがって、差分
器１２によりこの動き補償動画像データ１０１を基準
に、動画像入力データ１０との間でフレーム差分データ
１０２が生成される。また、加算器１８により、逆ＤＣ
Ｔデータ６９と動き補償動画像データ１０１とを加算す
ることにより、局所復号動画像データ１０３が生成さ
れ、次のフレームの符号化用にフレームメモリ１３に格
納される。

【００６６】また本変形例における動画像符号化装置に
よって送出される可変長符号化データを受信する動画像
復号化装置についても、図示は省略するが、図２に示す
本実施例における動画像復号化装置と異なり、フレーム
メモリ９２に蓄積された前フレームの局所復号動画像デ
ータ９３は、ＧＣ８７で可変長復号化器８１において復
号され分離された輝度ゲイン８４でゲイン補償された
後、ＭＣ８６で可変長復号化器８１において復号され分
離された動きベクトル８３で動き補償される。そして、
加算器９１でこの動き補償された動き補償動画像データ
と、逆ＤＣＴ回路８９からの逆ＤＣＴデータ９０とを加
算することで、復号画像データが得られる。

【００６７】なお本実施例および本変形例における動画
像符号化および復号化装置において、直交変換としてＤ
ＣＴ、直交逆変換として逆ＤＣＴを行うものとして説明
したが、これに限定されるものではない。例えば、他の
直交変換であるフーリエ（Fourier）変換や、アダマー
ル（Hadamard）変換あるいはウェーブレット（wavele
t）変換と、これに対応する逆変換を行わせるようにし
ても良い。

【００６８】なおまた本実施例および本変形例における
動画像符号化装置では、動きベクトルが零ベクトルでは
ないときもＧＥ６０で検出された輝度ゲイン６３を符号
化して復号化装置に対して送信するものとして説明した
が、これに限定されるものではない。例えば、動きベク
トルが零ベクトルのときのみ輝度ゲイン６３を符号化し
て復号化装置に対して送信し、動きベクトルが零ベクト
ルではないときは従来どおり動きベクトルと量子化デー
タのみを復号化装置に対して送信するようにしても良
い。このため、可変長符号化器６１において、送信先で
ある復号化装置で輝度ゲインを含めて符号化されている
か否かが認識できるように、新たに設けたフラグをも含
めて可変長符号化することで、動きベクトルが零ベクト
ルではないときの伝送すべき情報量をさらに大幅に削減
することができる。あるいは、動きベクトルが零ベクト
ルのときは、動きベクトルの代わりに輝度ゲイン６３を
符号化して復号化装置に対して送信し、動きベクトルが
零ベクトルではないときは従来どおり動きベクトルと量
子化データのみを復号化装置に対して送信するようにし
ても良い。このため、可変長符号化器６１において、送
信先である復号化装置で動きベクトルが含まれているか
否かが認識できるように、新たに設けたフラグをも含め
て可変長符号化することで、伝送すべき情報量をさらに
大幅に削減することができる。

【００６９】なおまた本実施例における動画像符号化装
置のＧＣ６２では、動きベクトルが零ベクトルではない
とき、ＭＣ１６で動き補償された動き補償動画像データ
１７をゲイン補償動画像データ６４としてそのまま出力
するものとして説明したが、これに限定されるものでは
ない。ＭＣ１６で動き補償された動き補償動画像データ
１７をＧＥ６０で検出された輝度ゲインでゲイン補償し
たゲイン補償動画像データ６４を出力するようにしても
良い。この場合、輝度ゲイン６３は、上述と異なり必ず
復号化装置に対して送信する必要が生じる。

【００７０】

【発明の効果】以上説明したように本発明によれば、動
きベクトルが零ベクトルであっても大きな輝度変化が生
じるフリッカのある蛍光灯照明下のカメラ動画像を符号
化するといった劣悪な環境下の動画像についても、動き
ベクトルにかかわらず画素の補償すべき係数を検出し、
ゲイン補償するようにしたので、被写体の動きがないに
もかかわらずフリッカによる輝度変化にともなう大きな
フレーム間差分の発生を回避することができ、効率的な
情報圧縮を行うことが可能となる。

【００７１】特に請求項３および請求項６記載の発明に
よれば、直交変換手段によりフレーム間差分データの直
交変換により、動画像データ特有の高い相関を利用し、
特定の変換係数に集中した各係数を量子化することで、
丸め込みを行って空間的な冗長を除去するとともに、さ
らにフレーム間差分データと動きベクトルとゲインとで
その発生頻度に応じた符号化を行うことによって、さら
に空間的な冗長を除去し、伝送すべき情報量を大幅に削
減する。

【００７２】さらに請求項７記載の発明によれば、動き
ベクトルが零ベクトルのときのみゲインを符号化して送
信するようにしたので、さらに伝送すべき情報量を削減
することができる。

【００７３】さらにまた請求項８記載の発明によれば、
動きベクトルが零ベクトルのとき動きベクトルに代えて
ゲインを符号化して送信するようにしたので、請求項７
記載の発明に比べてさらに伝送すべき情報量の削減が可
能となる。

【図面の簡単な説明】

【図１】本発明の一実施例における動画像符号化装置の
構成の概要を示すブロック図である。

【図２】本実施例における動画像復号化装置の構成の概
要を示すブロック図である。

【図３】本変形例における動画像符号化装置の構成の概
要を示すブロック図である。

【図４】従来の動画像符号化装置の構成の概要を示すブ
ロック図である。

【図５】フリッカのある蛍光灯による照明下のカメラ動
画像の一例を示す説明図である。

【図６】図５の１フレーム前におけるフリッカのある蛍
光灯による照明下のカメラ動画像の一例を示す説明図で
ある。

【符号の説明】

１０ 動画像入力データ １１ ＭＥ １２ 差分器 １３、９２ フレームメモリ １４、９３ 前フレームの局所復号動画像データ １５、８３ 動きベクトル １６、８６ ＭＣ １７、９４ 動き補償動画像データ １８、９１ 加算器 １９、６５ フレーム間差分データ ２０ ＤＣＴ回路 ２１、６６ ＤＣＴデータ ２２ 量子化器 ２３、６７ 量子化データ ２４、８５ 逆量子化器 ２５、６１ 可変長符号化器 ２６、６８、８８ 逆量子化データ ２７、８９ 逆ＤＣＴ回路 ２８、６９、９０ 逆ＤＣＴデータ ２９、７０ 局所復号動画像データ ３０、７１ 符号化出力データ ６０ ＧＥ ６２、８７ ＧＣ ６３、８４ 輝度ゲイン ６４、９５ ゲイン補償動画像データ ８０ 可変長符号化データ ８１ 可変長復号化器 ８２ 符号化動画像データ ９６ 復号動画像データ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C021 PA17 PA53 PA66 PA74 PA79 RA01 RA16 RB03 SA24 XA13 YA07 YC08 YC09 5C057 CC04 EA07 EB18 ED07 EF01 EG08 EG09 EG10 EK04 EM08 EM09 EM13 EM16 GE01 GF07 GG01 GH05 GJ02 5C059 KK23 MA05 MA21 MA22 MA23 MC11 ME01 NN01 PP04 PP16 RC12 RC16 RC40 TA71 TC12 UA02 UA05 UA33

Claims (8)

【特許請求の範囲】
1. 【請求項１】 １フレーム前の動画像データを蓄積する
   フレームメモリと、 入力された動画像データとこのフレームメモリに蓄積さ
   れた前記１フレーム前の動画像データとから各フレーム
   間の画素値の空間的なずれを示す動きベクトルを検出す
   る動きベクトル検出手段と、 前記入力された動画像データと前記１フレーム前の動画
   像データの各フレーム間の各画素の輝度変化が最小とな
   るように前記１フレーム前の動画像データの補償すべき
   ゲインを検出するゲイン検出手段と、 前記動きベクトル検出手段によって検出された前記動き
   ベクトルが零ベクトルのとき前記ゲイン検出手段によっ
   て検出された前記ゲインに基づいて前記１フレーム前の
   動画像データをゲイン補償するゲイン補償手段と、 前記入力された動画像データと前記ゲイン補償手段によ
   ってゲイン補償された画像データとの差分であるフレー
   ム間差分データを生成するフレーム間差分データ生成手
   段と、 このフレーム間差分データ生成手段によって生成された
   前記フレーム間差分データと前記動きベクトルと前記ゲ
   インとを符号化して送信する送信手段とを具備すること
   を特徴とする動画像符号化装置。
2. 【請求項２】 １フレーム前の動画像データを蓄積する
   フレームメモリと、 入力された動画像データとこのフレームメモリに蓄積さ
   れた前記１フレーム前の動画像データとから各フレーム
   間の画素値の空間的なずれを示す動きベクトルを検出す
   る動きベクトル検出手段と、 前記入力された動画像データと前記１フレーム前の動画
   像データの各フレーム間の各画素の輝度変化が最小とな
   るように前記１フレーム前の動画像データの補償すべき
   ゲインを検出するゲイン検出手段と、 前記動きベクトル検出手段によって検出された前記動き
   ベクトルに基づいて前記１フレーム前の動画像データを
   動き補償する動き補償手段と、 前記ゲイン検出手段によって検出された前記ゲインに基
   づいてこの動き補償手段によって動き補償された動画像
   データをゲイン補償するゲイン補償手段と、 前記入力された動画像データとこのゲイン補償手段によ
   ってゲイン補償された画像データとの差分であるフレー
   ム間差分データを生成するフレーム間差分データ生成手
   段と、 このフレーム間差分データ生成手段によって生成された
   前記フレーム間差分データと前記動きベクトルと前記ゲ
   インとを符号化して送信する送信手段とを具備すること
   を特徴とする動画像符号化装置。
3. 【請求項３】 前記フレーム間差分データを直交変換す
   る直交変換手段と、この直交変換手段の変換データを量
   子化する量子化手段とを備え、前記送信手段は前記量子
   化手段で量子化された量子化データと前記動きベクトル
   と前記ゲインとから各発生頻度に応じて符号化して送信
   することを特徴とする請求項２記載の動画像符号化装
   置。
4. 【請求項４】 １フレーム前の動画像データを蓄積する
   フレームメモリと、 入力された符号化データから符号動画像データと、前記
   １フレーム前の動画像データとの間の画素値の空間的な
   ずれを示す動きベクトルと、前記１フレーム前の動画像
   データとの間の各画素の輝度変化が最小となる前記１フ
   レーム前の動画像データの補償すべきゲインとを抽出す
   る抽出手段と、 この抽出手段によって抽出された前記動きベクトルが零
   ベクトルのとき前記１フレーム前の動画像データを前記
   ゲインに基づいてゲイン補償するゲイン補償手段と、 このゲイン補償手段でゲイン補償された画像データと前
   記符号動画像データとから復号動画像データを生成する
   復号動画像データ生成手段とを具備することを特徴とす
   る動画像復号化装置。
5. 【請求項５】 １フレーム前の動画像データを蓄積する
   フレームメモリと、 入力された符号化データから符号動画像データと、前記
   １フレーム前の動画像データとの間の画素値の空間的な
   ずれを示す動きベクトルと、前記１フレーム前の動画像
   データとの間の各画素の輝度変化が最小となる前記１フ
   レーム前の動画像データの補償すべきゲインとを抽出す
   る抽出手段と、 この抽出手段によって抽出された前記動きベクトルに基
   づいて前記１フレーム前の動画像データを動き補償する
   動き補償手段と、 この動き補償手段によって動き補償された画像データを
   前記ゲインに基づいてゲイン補償するゲイン補償手段
   と、 このゲイン補償手段でゲイン補償された画像データと前
   記符号動画像データとから復号動画像データを生成する
   復号動画像データ生成手段とを具備することを特徴とす
   る動画像復号化装置。
6. 【請求項６】 前記抽出手段によって抽出された前記符
   号動画像データを逆量子化する逆量子化手段と、この逆
   量子化手段によって逆量子化された逆量子化データを直
   交逆変換する直交逆変換手段とを備え、前記復号動画像
   データ生成手段は前記直交逆変換手段によって直交逆変
   換された画像データと前記ゲイン補償手段でゲイン補償
   された画像データとから復号動画像データを生成するこ
   とを特徴とする請求項４または５記載の動画像復号化装
   置。
7. 【請求項７】 前記送信手段は前記動きベクトルが零ベ
   クトルのときのみ前記ゲインを符号化して送信するもの
   であることを特徴とする請求項３記載の動画像符号化装
   置。
8. 【請求項８】 前記送信手段は前記動きベクトルが零ベ
   クトルのとき前記動きベクトルに代えて前記ゲインを符
   号化して送信するものであることを特徴とする請求項３
   記載の動画像符号化装置。