JP2000197051A - 動画像符号化装置、及び動画像符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 ズーム等によって実際の被写体が、時刻と共
に設定された注目領域を出入りするような場合、境界上
マクロブロック付近では被写体の一部が現れたり消えた
りするため、絶対値の大きな差分データが増大し、発生
符号量が増加していた。 【解決手段】 入力画像データを注目領域フレーム画像
と背景フレーム画像とに分離し両フレーム画像の解像度
を変更して、入力画像データを圧縮して符号化データを
求める動画像符号化装置において、符号化処理を行う時
刻の１単位時刻前に復号化処理された背景フレーム画
像、及び注目領域フレーム画像を入力画像データの元の
位置関係に従って合成する画像合成手段と、画像合成手
段により合成された合成画像を注目領域フレーム画像、
背景フレーム画像と夫々同じ解像度に変換する解像度変
換手段と、解像度変換手段により変換された合成画像を
参照画像データとして注目領域フレーム画像、及び背景
フレーム画像の夫々の動き補償予測を行う動き補償予測
手段とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像符号化装置、
及び動画像符号化方法に関し、特に注目領域とそれ以外
の背景領域の解像度、或いはフレームレートを変えて圧
縮する動画像符号化装置、及び動画像符号化方法に関す
る。

【０００２】

【従来の技術】近年、画像圧縮技術等の発達によって、
電話回線や無線回線等の比較的低速の通信回線を利用し
たＴＶ電話等が製品化されている。

【０００３】このようなシステムでは通常Ｈ.２６３等
の動き補償予測、及びＤＣＴ（Discrete Cosine Transf
orm：離散的コサイン変換）に基づくデータ圧縮技術が
用いられ、低レート圧縮時における画質劣化を改善する
ための手法が提案されている。

【０００４】例えば、ＴＶ電話では顔等の注目領域のみ
が重要であり、それ以外の背景領域の重要度は低く、従
来、この性質を利用して注目領域に対して重点的に符号
量（ビットレート）を割り当てることにより主観的な画
像品質を向上させる手法があった。

【０００５】従来の方法では、通信相手の姿、顔等が画
面の中央部に位置している可能性が高いことから、画面
の中央部の矩形領域についての解像度を高くしたり、或
いは一定時間当たりの画像データの更新回数を多くする
ことにより低レート圧縮時の主観的な画像品質を高めて
いる。

【０００６】従来の符号化方法では、各領域の画像デー
タの符号化にはＨ.２６３等の動き補償予測、及びＤＣ
Ｔに基づくデータ圧縮技術が符号化効率面から好適であ
り一般に用いられている（特開平１０−２７１４９９号
公報参照）。

【０００７】更に、各領域画像の解像度やフレームレー
トを変えて符号化するためには、注目領域、及び背景領
域をそれぞれ矩形のフレーム画像として個別に、或いは
１枚のフレーム画像として合成して符号化することが構
成の簡易さの面で有利である。

【０００８】この場合、符号化効率を上げるために、背
景領域を含む矩形画像（以下「背景フレーム」とい
う。）の符号化処理の際に、背景フレーム中の注目領域
に相当する部分を特定色で塗りつぶすことにより無駄な
符号量の発生を抑えることが一般的である。

【０００９】Ｈ.２６３等の符号化処理では、画像を１
６×１６サイズのブロック（マクロブロック）毎に符号
化処理を行うが、背景フレームの符号化処理に際して
は、注目領域相当部に完全に含まれるマクロブロックに
対して符号化処理をせずに符号化処理の省略を示す識別
符号を伝送することにより更に発生符号量を減らすこと
が可能となる。

【００１０】

【発明が解決しようとする課題】ところが、一般に設定
された注目領域の境界とマクロブロックの境界は一致し
ないことが多いため、背景フレームの符号化処理の際
に、注目領域相当部の境界を跨ぐマクロブロック（以下
「境界上マクロブロック」という。）についても符号化
処理を行う必要がある。

【００１１】ここで、各マクロブロックの画像データ
は、１単位時刻前に復号化処理された画像（以下「参照
画像」という。）と比較され、最もよく一致する部分と
の差分データとして符号化処理されるが、従来、注目領
域フレームは１単位時刻前に復号化処理された注目フレ
ーム画像と、また背景フレームは１単位時刻前に復号化
処理された背景フレーム画像と、それぞれ比較され差分
データが算出されていた。

【００１２】しかし、移動やズーム等によって実際の被
写体が、時刻と共に設定された注目領域を出入りするよ
うな場合、背景フレームの符号化処理の際、或いは注目
領域の符号化処理の際に、境界上マクロブロック付近で
は被写体の一部が現れたり消えたりすることになるた
め、しばしば参照画像上に適合するブロックが見つから
ずに絶対値の大きな差分データが増大し、発生符号量が
増加してしまうという問題点があった。

【００１３】従って、本発明は前述の問題点に鑑み為さ
れたものであって、画像中の注目領域と注目領域以外の
背景領域の符号量配分についての重み付けを変える符号
化処理に対して、簡易な構成を維持しつつ、より高い符
号化効率を実現することのできる動画像符号化装置、及
び動画像符号化方法を提供することにある。

【００１４】

【課題を解決するための手段】本発明の動画像符号化装
置は、入力画像データを、注目領域からなる矩形画像
（適宜「注目領域フレーム画像」という。）と注目領域
フレーム画像以外の背景領域からなる矩形画像（適宜
「背景フレーム画像」という。）とに分離し、両フレー
ム画像の解像度、或いはフレームレートを変更して、前
記入力画像データを圧縮して符号化データを求める動画
像符号化装置において、符号化処理を行う時刻の１単位
時刻前に復号化処理された前記背景フレーム画像、及び
注目領域フレーム画像を、前記入力画像データの元の位
置関係に従って合成する画像合成手段と、該画像合成手
段により合成された合成画像を、前記注目領域フレーム
画像、背景フレーム画像のそれぞれと同じ解像度に変換
する解像度変換手段と、該解像度変換手段により変換さ
れた合成画像を参照画像データとして前記注目領域フレ
ーム画像、及び背景フレーム画像のそれぞれの動き補償
予測を行う動き補償予測手段と、を含むことを特徴とす
る。

【００１５】また、前記画像合成手段は、前記符号化デ
ータを前記注目領域フレーム画像、及び背景フレーム画
像に復号化処理する多重分離部と、該背景フレーム画像
を前記入力画像データと同じ解像度に復元する解像度復
元部と、前記多重分離部で分離された注目領域フレーム
画像と前記解像度復元部で復元された背景フレーム画像
とから合成復元画像データを生成する領域合成部と、か
ら構成されることを特徴とする。

【００１６】また、前記解像度変換手段は、前記領域合
成部で生成された合成復元画像データの解像度を削減し
て背景フレーム画像を生成することを特徴とする。

【００１７】更に、本発明の動画像符号化方法は、入力
画像データを、注目領域からなる矩形画像（適宜「注目
領域フレーム画像」という。）と注目領域フレーム画像
以外の背景領域からなる矩形画像（適宜「背景フレーム
画像」という。）とに分離し、両フレーム画像の解像
度、或いはフレームレートを変更して、前記入力画像デ
ータを圧縮して符号化データを求める動画像符号化方法
において、符号化処理を行う時刻の１単位時刻前に復号
化処理された前記背景フレーム画像、及び注目領域フレ
ーム画像を、前記入力画像データの元の位置関係に従っ
て画像合成手段にて合成する第1のステップと、第１の
ステップで合成された合成画像を、解像度変換手段にて
前記注目領域フレーム画像、背景フレーム画像のそれぞ
れと同じ解像度に変換する第２のステップと、該解像度
変換手段により変換された合成画像を参照画像データと
して前記注目領域フレーム画像、及び背景フレーム画像
のそれぞれの動き補償予測を補償予測手段にて行う第３
ステップと、からなることを特徴とする。

【００１８】

【発明の実施の形態】以下、本発明の好適な実施の形態
を図１乃至図７に基づいて説明する。

【００１９】まず、本発明の実施の形態に係わる動画像
符号化の原理を図１に基づいて説明する。図１は本発明
に係わる動画像符号化装置の一実施形態のブロック図で
ある。

【００２０】図１において、符号化すべき入力画像デー
タ１０１は領域分離部１０２において、注目領域画像デ
ータ１０３と背景領域画像データ１０４１に分離され
る。具体的には、図２に示す、符号化しようとする現在
の入力画像が人物肩上画像の場合、その人物肩上画像は
図１の入力画像データ１０１に相当する。図２における
顔部分２０１を囲む矩形領域からなる注目領域１０３a
を設定し、これ以外の部分を背景領域１０４１aとす
る。

【００２１】そして、背景領域１０４１aに関する背景
領域画像データ１０４１は更に解像度変換部１０５によ
り、低解像度背景領域画像データ１０４２に変換され
る。このとき解像度の変換については周知の解像度変換
装置を用いることが可能であり、例えば縦横とも１／２
の解像度に変換される。

【００２２】その後、図２に示す注目領域１０３aに関
する注目領域画像データ１０３、及び低解像度背景領域
画像データ１０４２は多重化部１０６において、図３に
示すように、注目領域１０３a、及び背景領域１０４１a
の両者を横方向に並べると共に、解像度を変換した後、
１枚のフレーム画像に合成することにより、符号化対象
画像データ１０７に多重化して変換される。その符号化
対象画像データ１０７は符号化部１０８において符号化
された後、符号化データ１０９として出力される。

【００２３】また、多重化部１０６は、現在符号化しよ
うとするマクロブロックが、注目領域１０３aに属する
ものか、或いは背景領域１０４１aに属するものかにつ
いてのデータ（フラッグ）を領域配置データ１２６とし
て、（後述する）領域種別判定部１２５に送る。

【００２４】このとき、背景領域１０４１aのうち、注
目領域相当部３０３は空白で塗りつぶすことによってビ
ットレートを削減することによって処理負荷を軽減して
いる。

【００２５】ここで、符号化部１０８では、基本的に符
号化対象画像データ１０７を（後述する）参照画像デー
タ１１０と比較し、両者の差分データを求め、その差分
データを符号化処理して行うが、参照画像データ１１０
は１単位時刻前に復号化処理された画像データを用いて
生成される。

【００２６】尚、差分データは図３の符号化対象画像デ
ータ１０７を１６×１６サイズのマクロブロックに分割
し、それらのマクロブロック毎に求められる。

【００２７】ここで、符号化部１０８における処理手順
は次の通りである。

【００２８】１単位時刻前の符号化データ１０９は、復
号化部１１１において復号画像データ１１２に復元され
る。従来の動画像符号化装置においては、この復号画像
データ１１２を参照画像データ１１０として用いていた
が、本発明においては、更に復号画像データ１１２を多
重分離部１１３により注目領域復元画像データ１１４、
及び背景領域復元画像データ１１５に分離する。そし
て、背景領域復元画像データ１１５は解像度復元部１１
６により入力画像データ１０１と同じ解像度に復元され
る。

【００２９】そして、領域合成部１１７において注目領
域復元画像データ１１４、及び解像度が復元された背景
領域復元画像データ１１５の画像データを入力画像デー
タ１０１と同じ位置関係になるように合成して合成復元
画像データ１１８を得る。この合成復元画像データ１１
８は注目領域参照画像データ１１９として注目領域用メ
モリ１２２に保存されると同時に、解像度削減部１２０
によって低解像度背景領域画像データ１０４２と同じ解
像度に変換して背景領域参照画像データ１２１として背
景領域用メモリ１２３に保存される。

【００３０】前述のように、符号化部１０８は符号化対
象画像データ１０７を１６×１６サイズのブロック（マ
クロブロック）に分割し、マクロブロック毎に符号化処
理を行うが、このとき領域種別判定部１２５を用いるこ
とにより現在符号化しようとするマクロブロックが、注
目領域１０３aに属するものか、或いは背景領域１０４
１aに属するものかを判断し、その結果に基づいて参照
画像切り替え部１２４は、注目領域１０３aに属するマ
クロブロックに対しては注目領域用メモリ１２２を、背
景領域１０４１aに属するマクロブロックに対しては背
景領域用メモリ１２３をそれぞれ選択し、それらのメモ
リに保存されている画像を参照画像データ１１０として
符号化部１０８に出力する。

【００３１】このように動き補償予測において最適な参
照画像を用いることにより符号化すべき差分データにお
いて絶対値の大きなデータの割合がより少なくなり、発
生する符号量を削減することができる。以下、その詳細
を説明する。

【００３２】例えば、被写体の移動やズームにより実際
の被写体が、時刻と共に設定した注目領域１０３aと背
景領域１０４１aの境界を出入りするような場合が想定
され、図４はそのような場合の好適な例であり、１単位
時刻前である前フレーム入力画像データを表している。

【００３３】更に、図５は前フレーム復号化画像データ
であり、図４の前フレーム入力画像データの復号画像で
ある。その前フレーム復号化画像データは、図１の復号
画像データ１１２に相当する。

【００３４】図４と図２を比較すると、図４の顔部分４
０１は注目領域１０３ａの内部に完全に含まれている
が、ズーム、或いは移動の結果、図２に示すように顔部
分２０１の一部が注目領域１０３ａの外にはみ出してい
る。

【００３５】本発明では、復号化部１１１の後段に多重
分離部１１３、解像度復元部１１６、領域合成部１１
７、及び解像度削減部１２０を設けることにより復号画
像データ１１２を一旦、入力画像データと同じ解像度に
して復元し、注目領域参照画像データ１１９、背景領域
参照画像データ１２１を生成し、符号化対象領域毎に参
照画像を切り替える。

【００３６】図６、図７はその例である。これにより図
３の境界上マクロブロック３０４に対して、図７の参照
マクロブロック７０１で示されるように、図５の参照マ
クロブロック５０４で示されるブロックと比較して、よ
り適合度の高い参照ブロックを見つけることができるた
め、差分データにおける絶対値の大きなデータの割合が
低くなり、その結果発生符号量を削減することができ
る。

【００３７】ここで、符号化部１０８の符号化処理に際
しては、注目領域画像データ１０３、低解像度背景領域
画像データ１０４２のそれぞれを個別のフレーム画像と
して符号化してもよいし、或いは一枚のフレーム画像に
合成したのち符号化してもよい。

【００３８】更に、参照画像データ１１０の生成処理
は、背景領域フレームの動き補償予測についてのみ適用
しても良いし、注目領域フレーム画像の動き補償予測に
ついてのみ適用しても良いし、注目領域フレーム画像、
背景領域フレームの両者について適用してもよい。

【００３９】

【発明の効果】以上のように本発明によれば、注目領域
フレーム画像と注目領域フレーム画像以外の背景領域フ
レーム画像の解像度、或いはフレームレートを変えて圧
縮する動画像符号化装置、又は動画像符号化方法におい
て、移動やズーム等によって実際の被写体が、時刻と共
に設定された注目領域を出入りするような場合でも、復
号化画像データを一旦、入力画像データと同じ解像度に
復元し、注目領域参照画像データ、背景領域参照画像デ
ータを生成し、符号化対象領域毎に参照画像を切り替え
る。

【００４０】これによって、被写体の一部が現れたり消
えたりする境界上マクロブロックに対しても、適合度の
高い参照ブロック画像を選択することができ、絶対値の
大きな差分データが発生する割合が減るために、発生す
る符号量を減少させることができる効果を奏する。

【図面の簡単な説明】

【図１】本発明の実施の形態に係わる動画像符号化装置
の構成図である。

【図２】入力画像データ１０１を示す図である。

【図３】符号化対象画像データ１０７を示す図である。

【図４】１単位時刻前の前フレーム入力画像データを示
す図である。

【図５】１単位時刻前の前フレーム復号化画像データ１
１２を示す図である。

【図６】注目領域参照画像データ１１９を示す図であ
る。

【図７】背景領域参照画像データ１２１を示す図であ
る。

【符号の説明】

１０２…領域分離部 １０５…解像度変換部 １０６…多重化部 １０８…符号化部 １１１…復号化部 １１３…多重分離部 １１６…解像度復元部 １１７…領域合成部 １２０…解像度削減部 １２２…注目領域用メモリ １２３…背景領域用メモリ １２４…参照画像切り替え部 １２５…領域種別判定部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力画像データを、注目領域からなる矩
   形画像（適宜「注目領域フレーム画像」という。）と注
   目領域フレーム画像以外の背景領域からなる矩形画像
   （適宜「背景フレーム画像」という。）とに分離し、両
   フレーム画像の解像度、或いはフレームレートを変更し
   て、前記入力画像データを圧縮して符号化データを求め
   る動画像符号化装置において、 符号化処理を行う時刻の１単位時刻前に復号化処理され
   た前記背景フレーム画像、及び注目領域フレーム画像
   を、前記入力画像データの元の位置関係に従って合成す
   る画像合成手段と、 該画像合成手段により合成された合成画像を、前記注目
   領域フレーム画像、背景フレーム画像のそれぞれと同じ
   解像度に変換する解像度変換手段と、 該解像度変換手段により変換された合成画像を参照画像
   データとして前記注目領域フレーム画像、及び背景フレ
   ーム画像のそれぞれの動き補償予測を行う動き補償予測
   手段と、を含むことを特徴とする動画像符号化装置。
2. 【請求項２】 前記画像合成手段は、前記符号化データ
   を前記注目領域フレーム画像、及び背景フレーム画像に
   復号化処理する多重分離部と、該背景フレーム画像を前
   記入力画像データと同じ解像度に復元する解像度復元部
   と、前記多重分離部で分離された注目領域フレーム画像
   と前記解像度復元部で復元された背景フレーム画像とか
   ら合成復元画像データを生成する領域合成部と、から構
   成されることを特徴とする請求項１記載の動画像符号化
   装置。
3. 【請求項３】 前記解像度変換手段は、前記領域合成部
   で生成された合成復元画像データの解像度を削減して背
   景フレーム画像を生成することを特徴とする請求項２記
   載の動画像符号化装置。
4. 【請求項４】 入力画像データを、注目領域からなる矩
   形画像（適宜「注目領域フレーム画像」という。）と注
   目領域フレーム画像以外の背景領域からなる矩形画像
   （適宜「背景フレーム画像」という。）とに分離し、両
   フレーム画像の解像度、或いはフレームレートを変更し
   て、前記入力画像データを圧縮して符号化データを求め
   る動画像符号化方法において、 符号化処理を行う時刻の１単位時刻前に復号化処理され
   た前記背景フレーム画像、及び注目領域フレーム画像
   を、前記入力画像データの元の位置関係に従って画像合
   成手段にて合成する第1のステップと、 第１のステップで合成された合成画像を、解像度変換手
   段にて前記注目領域フレーム画像、背景フレーム画像の
   それぞれと同じ解像度に変換する第２のステップと、 該解像度変換手段により変換された合成画像を参照画像
   データとして前記注目領域フレーム画像、及び背景フレ
   ーム画像のそれぞれの動き補償予測を補償予測手段にて
   行う第３ステップと、からなることを特徴とする動画像
   符号化方法。