JP2002064817A - オブジェクトスケーラブル符号化装置 - Google Patents
オブジェクトスケーラブル符号化装置Info
- Publication number
- JP2002064817A JP2002064817A JP2000249278A JP2000249278A JP2002064817A JP 2002064817 A JP2002064817 A JP 2002064817A JP 2000249278 A JP2000249278 A JP 2000249278A JP 2000249278 A JP2000249278 A JP 2000249278A JP 2002064817 A JP2002064817 A JP 2002064817A
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- layer
- quantizer
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像中の注目したい部分などのオブジェクト
毎に階層符号化を行なえるオブジェクトスケーラブル符
号化装置を提供することにある。 【解決手段】 第１階層の符号化装置では、量子化器３
は第１の注目度関数ｆ1（ｘ，ｙ）を反映して量子化す
る。第２階層の符号化装置では、直交変換器１２で得ら
れたＤＣＴ係数から第１階層の量子化誤差を減算した信
号に対して、量子化器１３は第２の注目度関数ｆ
2（ｘ，ｙ）を反映して量子化する。以下、前記と同様
に、第ｎ階層の符号化をする。なお、ｎ階層からなるオ
ブジェクトスケーラビリティ符号化において、第ｋ階層
における累積注目度関数をｆk（ｘ，ｙ）と表すと、次
のようになる。ｆn（ｘ，ｙ）＝１００，（for all (x,
y) ）、ｆk（ｘ，ｙ）≧ｆk-1（ｘ，ｙ），（for all
(x,y) ）（１＜ｋ≦ｎ）ただし、上記において１００や
０などの具体的な数値は、一例である。
毎に階層符号化を行なえるオブジェクトスケーラブル符
号化装置を提供することにある。 【解決手段】 第１階層の符号化装置では、量子化器３
は第１の注目度関数ｆ1（ｘ，ｙ）を反映して量子化す
る。第２階層の符号化装置では、直交変換器１２で得ら
れたＤＣＴ係数から第１階層の量子化誤差を減算した信
号に対して、量子化器１３は第２の注目度関数ｆ
2（ｘ，ｙ）を反映して量子化する。以下、前記と同様
に、第ｎ階層の符号化をする。なお、ｎ階層からなるオ
ブジェクトスケーラビリティ符号化において、第ｋ階層
における累積注目度関数をｆk（ｘ，ｙ）と表すと、次
のようになる。ｆn（ｘ，ｙ）＝１００，（for all (x,
y) ）、ｆk（ｘ，ｙ）≧ｆk-1（ｘ，ｙ），（for all
(x,y) ）（１＜ｋ≦ｎ）ただし、上記において１００や
０などの具体的な数値は、一例である。
Description
【０００１】
【発明の属する技術分野】本発明はオブジェクトスケー
ラブル符号化装置に関し、特に、符号化を複数階層に分
けて実行する階層符号化に好適な、画像のオブジェクト
スケーラブル符号化装置に関する。
ラブル符号化装置に関し、特に、符号化を複数階層に分
けて実行する階層符号化に好適な、画像のオブジェクト
スケーラブル符号化装置に関する。
【０００２】
【従来の技術】従来の画像の階層符号化（スケーラブル
符号化）は、低階層ビットストリームで低解像度と高階
層ビットストリームの画像を伝送し、高階層ビットスト
リームも同時に受信できる場合には、同時に受信し復号
することにより、より高解像度の画像が受信側で得られ
る仕組みになっている。代表的なものに、ＳＮＲスケー
ラブル符号化方式がある。これは、例えば、平成８年４
月２０日、オーム社発行：総合マルチメディア選書「Ｍ
ＰＥＧ」（映像情報メディア学会編）、第１１８頁〜第
１２１頁に開示されている。
符号化）は、低階層ビットストリームで低解像度と高階
層ビットストリームの画像を伝送し、高階層ビットスト
リームも同時に受信できる場合には、同時に受信し復号
することにより、より高解像度の画像が受信側で得られ
る仕組みになっている。代表的なものに、ＳＮＲスケー
ラブル符号化方式がある。これは、例えば、平成８年４
月２０日、オーム社発行：総合マルチメディア選書「Ｍ
ＰＥＧ」（映像情報メディア学会編）、第１１８頁〜第
１２１頁に開示されている。
【０００３】以下に、その概要を、図３を参照して説明
する。第１の減算器１は、入力画像ｉと動き補償器９か
らの参照画像との差分を演算し、誤差信号を直交変換器
２に出力する。直交変換器２は、該誤差信号を例えばＤ
ＣＴ変換する。ＤＣＴ変換された信号は、量子化器３で
粗く量子化され、可変長符号化器４で符号化されて、第
１階層（低ＳＮＲ）ビットストリームとして、回線に出
力される。
する。第１の減算器１は、入力画像ｉと動き補償器９か
らの参照画像との差分を演算し、誤差信号を直交変換器
２に出力する。直交変換器２は、該誤差信号を例えばＤ
ＣＴ変換する。ＤＣＴ変換された信号は、量子化器３で
粗く量子化され、可変長符号化器４で符号化されて、第
１階層（低ＳＮＲ）ビットストリームとして、回線に出
力される。
【０００４】前記量子化器３で粗く量子化された信号は
逆量子化器５にも入力し、逆量子化される。該逆量子化
された信号は、逆直交変換器６に入力される一方、後述
する第２階層の減算器２０および加算器２１に入力す
る。前記逆直交変換器６に入力した信号は、例えば逆Ｄ
ＣＴ変換され、前記動き補償器９からの信号と加算され
てフレームメモリ８に蓄積される。
逆量子化器５にも入力し、逆量子化される。該逆量子化
された信号は、逆直交変換器６に入力される一方、後述
する第２階層の減算器２０および加算器２１に入力す
る。前記逆直交変換器６に入力した信号は、例えば逆Ｄ
ＣＴ変換され、前記動き補償器９からの信号と加算され
てフレームメモリ８に蓄積される。
【０００５】また、前記入力画像ｉは第２階層の符号化
器の減算器１１にも入力する。符号化の主要な構成（直
交変換器１２、量子化器１３、可変長符号化器１４、逆
量子化器１５、逆直交変換器１６、加算器１７、フレー
ムメモリ１８、動き補償器１９）の動作は前記第１階層
の符号化器の動作と同様であるので説明を省略するが、
前記逆量子化器５で逆量子化された信号は減算器２０で
直交変換器１２から出力されたＤＣＴ信号から減算さ
れ、該減算により得られたＤＣＴ係数の差分は量子化器
１３で細かく量子化される。該量子化された信号は、可
変長符号化器１４で符号化されて、第２階層（高階層）
ビットストリームとして、回線に出力される。なお、前
記第１、第２の動き補償器９、１９は、共通の動きベク
トルを使用する。 受信側では、前記第１階層、第２階
層の信号を逆量子化し、これを足し込んで復号すれば、
高画質が得られる。一方、第１階層の信号のみを復号す
れば、基準となる画質の画像が得られる。
器の減算器１１にも入力する。符号化の主要な構成（直
交変換器１２、量子化器１３、可変長符号化器１４、逆
量子化器１５、逆直交変換器１６、加算器１７、フレー
ムメモリ１８、動き補償器１９）の動作は前記第１階層
の符号化器の動作と同様であるので説明を省略するが、
前記逆量子化器５で逆量子化された信号は減算器２０で
直交変換器１２から出力されたＤＣＴ信号から減算さ
れ、該減算により得られたＤＣＴ係数の差分は量子化器
１３で細かく量子化される。該量子化された信号は、可
変長符号化器１４で符号化されて、第２階層（高階層）
ビットストリームとして、回線に出力される。なお、前
記第１、第２の動き補償器９、１９は、共通の動きベク
トルを使用する。 受信側では、前記第１階層、第２階
層の信号を逆量子化し、これを足し込んで復号すれば、
高画質が得られる。一方、第１階層の信号のみを復号す
れば、基準となる画質の画像が得られる。
【０００６】
【発明が解決しようとする課題】しかしながら、上記の
ＳＮＲスケーラブル符号化方式では、前記第１階層、第
２階層の信号を合わせて復号すれば、全体的に高画質の
画像が得られるだけであり、画像中の注目したい部分な
どのオブジェクト毎に優先度を設け、該優先度に応じた
高解像度の画像を得ることには何らの配慮もされていな
い。
ＳＮＲスケーラブル符号化方式では、前記第１階層、第
２階層の信号を合わせて復号すれば、全体的に高画質の
画像が得られるだけであり、画像中の注目したい部分な
どのオブジェクト毎に優先度を設け、該優先度に応じた
高解像度の画像を得ることには何らの配慮もされていな
い。
【０００７】本発明は、前記した従来技術に鑑みてなさ
れたものであり、その目的は、スケーラブル符号化にお
いて、画像中の注目したい部分などのオブジェクト毎に
階層符号化を行なえるオブジェクトスケーラブル符号化
装置を提供することにある。
れたものであり、その目的は、スケーラブル符号化にお
いて、画像中の注目したい部分などのオブジェクト毎に
階層符号化を行なえるオブジェクトスケーラブル符号化
装置を提供することにある。
【０００８】
【課題を解決するための手段】前記した目的を達成する
ために、本発明は、画像を階層的に符号化するスケーラ
ブル符号化装置において、低階層画像の符号化の際、画
像中の部分毎に、優先度により重み付けすることによ
り、優先的に高画質で符号化される部分を設ける点に第
１の特徴がある。また、本発明は、優先度を与える部分
の単位を、マクロブロック単位とする点に第２の特徴が
ある。
ために、本発明は、画像を階層的に符号化するスケーラ
ブル符号化装置において、低階層画像の符号化の際、画
像中の部分毎に、優先度により重み付けすることによ
り、優先的に高画質で符号化される部分を設ける点に第
１の特徴がある。また、本発明は、優先度を与える部分
の単位を、マクロブロック単位とする点に第２の特徴が
ある。
【０００９】また、本発明は、部分毎の優先度を、マク
ロブロック毎の量子化ステップサイズの大小に反映させ
る点に第３の特徴がある。また、本発明は、量子化ステ
ップサイズの大小を決定する重み付けを、当該マクロブ
ロックの画素値の分散の大小により決定する点に第４の
特徴がある。
ロブロック毎の量子化ステップサイズの大小に反映させ
る点に第３の特徴がある。また、本発明は、量子化ステ
ップサイズの大小を決定する重み付けを、当該マクロブ
ロックの画素値の分散の大小により決定する点に第４の
特徴がある。
【００１０】前記第１の特徴によれば、まず、低階層画
像の符号化の際、画像中の部分毎に、優先度により重み
付けすることにより、優先的に高画質で符号化される部
分が設けられることとなる。すなわち、オブジェクトス
ケーラビリティが実現できる。また、第２の特徴によれ
ば、優先度を与える部分の単位を、マクロブロック単位
とすることにより、低階層ビットストリームで優先的に
伝送する部分をマクロブロック毎に指定できることとな
る。すなわち、オブジェクトスケーラビリティが実現で
きる。
像の符号化の際、画像中の部分毎に、優先度により重み
付けすることにより、優先的に高画質で符号化される部
分が設けられることとなる。すなわち、オブジェクトス
ケーラビリティが実現できる。また、第２の特徴によれ
ば、優先度を与える部分の単位を、マクロブロック単位
とすることにより、低階層ビットストリームで優先的に
伝送する部分をマクロブロック毎に指定できることとな
る。すなわち、オブジェクトスケーラビリティが実現で
きる。
【００１１】また、第３の特徴によれば、部分毎の優先
度を、マクロブロック毎の量子化ステップサイズの大小
により決定することにより、部分毎の解像度の大小を制
御できることとなる。すなわち、オブジェクトスケーラ
ビリティが実現できる。さらに、第４の特徴によれば、
量子化ステップサイズの大小を決定する重み付けを、当
該マクロブロックの画素値の分散の大小により決定する
ことにより、画素値の変化の激しい部分ほど優先的に低
階層ビットストリームで伝送できることとなる。すなわ
ち、オブジェクトスケーラビリティが実現できる。
度を、マクロブロック毎の量子化ステップサイズの大小
により決定することにより、部分毎の解像度の大小を制
御できることとなる。すなわち、オブジェクトスケーラ
ビリティが実現できる。さらに、第４の特徴によれば、
量子化ステップサイズの大小を決定する重み付けを、当
該マクロブロックの画素値の分散の大小により決定する
ことにより、画素値の変化の激しい部分ほど優先的に低
階層ビットストリームで伝送できることとなる。すなわ
ち、オブジェクトスケーラビリティが実現できる。
【００１２】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。まず、本発明の原理を説明する。本
発明は、オブジェクトベースで階層化を図る符号化方式
を構築することに主眼がある。この主眼を達成するため
には、大別して次の２点を明らかにする必要がある。 (1) 人間の注視点をいかに自動的に模擬するか（注目度
関数の生成）、 (2) 注目度関数によるオブジェクトスケーラビリティの
実現法。
を詳細に説明する。まず、本発明の原理を説明する。本
発明は、オブジェクトベースで階層化を図る符号化方式
を構築することに主眼がある。この主眼を達成するため
には、大別して次の２点を明らかにする必要がある。 (1) 人間の注視点をいかに自動的に模擬するか（注目度
関数の生成）、 (2) 注目度関数によるオブジェクトスケーラビリティの
実現法。
【００１３】本発明では、前記(1) については深くは追
求せず、該注目度関数は何らかの方法で、あるいは装置
の外部から得られるものとする。以下では、前記(2)
の、この画面内でどこを優先的に符号化するかというこ
とを表した注目度関数を使用したオブジェクトスケーラ
ビリティと、量子化器による符号化制御の統合法につい
て説明する。
求せず、該注目度関数は何らかの方法で、あるいは装置
の外部から得られるものとする。以下では、前記(2)
の、この画面内でどこを優先的に符号化するかというこ
とを表した注目度関数を使用したオブジェクトスケーラ
ビリティと、量子化器による符号化制御の統合法につい
て説明する。
【００１４】オブジェクトスケーラビリティの概念とし
ては、次のように考える。 (a) 低階層（ベースレイヤ）では、画像中の、人間が注
目する部分を送る。 (b) 上位階層では、その他の部分を送る。 (c) 階層は２個とは限らない。すなわち、人間の注目す
る優先度合いをオブジェクト毎に設定する。
ては、次のように考える。 (a) 低階層（ベースレイヤ）では、画像中の、人間が注
目する部分を送る。 (b) 上位階層では、その他の部分を送る。 (c) 階層は２個とは限らない。すなわち、人間の注目す
る優先度合いをオブジェクト毎に設定する。
【００１５】すなわち、第１階層（ベースレイヤ）で
は、最も優先度（注目度）の大きいオブジェクトが伝送
され、第２階層では、その次に注目されるオブジェクト
が伝送される。最上位階層では、それまでに伝送されな
かった残りの部分が伝送される。この結果、第１階層だ
けの受信では、最も注目されるオブジェクトだけが復号
され、第２階層まで受信すると、それに２番目に注目さ
れる物体が加わる（合計２個）。最上位階層までの受信
により、初めて全体が得られることとなる．
は、最も優先度（注目度）の大きいオブジェクトが伝送
され、第２階層では、その次に注目されるオブジェクト
が伝送される。最上位階層では、それまでに伝送されな
かった残りの部分が伝送される。この結果、第１階層だ
けの受信では、最も注目されるオブジェクトだけが復号
され、第２階層まで受信すると、それに２番目に注目さ
れる物体が加わる（合計２個）。最上位階層までの受信
により、初めて全体が得られることとなる．
【００１６】次に、注目度関数について説明する。ま
ず、画像面上に、注目度関数を設定する。これは、次の
いずれかの方法で得られるものとする。 （イ）外部から設定される。 （ロ）エンコーダで、画像解析により自動生成する。
ず、画像面上に、注目度関数を設定する。これは、次の
いずれかの方法で得られるものとする。 （イ）外部から設定される。 （ロ）エンコーダで、画像解析により自動生成する。
【００１７】ある階層で定義される注目度関数ｆ（ｘ，
ｙ）は、それ以下の階層までで注目される物体を表すも
のとする。すなわち、
ｙ）は、それ以下の階層までで注目される物体を表すも
のとする。すなわち、
【００１８】（ハ）ベースレイヤでは、最も注目される
部分が最高値ｆ（ｘ，ｙ）＝１００をとる。最も注目さ
れない部分を最低値ｆ（ｘ，ｙ）＝０であらわし、その
間が連続的に変化する。 （ニ）最上位レイヤでは、全画面でｆ（ｘ，ｙ）＝１０
０とする。 （ホ）第ｋレイヤでは、その階層までの累積注目度がｆ
（ｘ，ｙ）で表される。したがって、次のような性質を
もつ。
部分が最高値ｆ（ｘ，ｙ）＝１００をとる。最も注目さ
れない部分を最低値ｆ（ｘ，ｙ）＝０であらわし、その
間が連続的に変化する。 （ニ）最上位レイヤでは、全画面でｆ（ｘ，ｙ）＝１０
０とする。 （ホ）第ｋレイヤでは、その階層までの累積注目度がｆ
（ｘ，ｙ）で表される。したがって、次のような性質を
もつ。
【００１９】ｎ階層からなるオブジェクトスケーラビリ
ティ符号化において、第ｋ階層における累積注目度関数
をｆk（ｘ，ｙ）と表すと、次のようになる。 ｆn（ｘ，ｙ）＝１００，（for all (x,y) ） ｆk（ｘ，ｙ）≧ｆk-1（ｘ，ｙ），（for all (x,y) ）
（１＜ｋ≦ｎ）
ティ符号化において、第ｋ階層における累積注目度関数
をｆk（ｘ，ｙ）と表すと、次のようになる。 ｆn（ｘ，ｙ）＝１００，（for all (x,y) ） ｆk（ｘ，ｙ）≧ｆk-1（ｘ，ｙ），（for all (x,y) ）
（１＜ｋ≦ｎ）
【００２０】ただし、上記において１００や０などの具
体的な数値は、あくまで例であり、他の数値でももちろ
ん構わない。相対的なものである。
体的な数値は、あくまで例であり、他の数値でももちろ
ん構わない。相対的なものである。
【００２１】以上の累積注目度関数と、ＳＮＲスケーラ
ビリティの手法の応用とにより、オブジェクトスケーラ
ビリティを実現する。
ビリティの手法の応用とにより、オブジェクトスケーラ
ビリティを実現する。
【００２２】以下に、本発明の一実施形態のオブジェク
トスケーラブル符号化装置を、図１のブロック図を参照
して説明する。図において、図３と同一の符号は、同一
または同等物を示す。
トスケーラブル符号化装置を、図１のブロック図を参照
して説明する。図において、図３と同一の符号は、同一
または同等物を示す。
【００２３】本実施形態が図３の実施形態と異なる所
は、第１階層の量子化器３には第１の注目度関数ｆ
1（ｘ，ｙ）を、第２階層の量子化器１３には第２の注
目度関数ｆ2（ｘ，ｙ）を、…、第ｎ階層の量子化器５
３には第ｎの注目度関数ｆn（ｘ，ｙ）を反映させて量
子化するようにした点（ｎは３以上の正の整数）、およ
び階層を３階層以上とした点である。
は、第１階層の量子化器３には第１の注目度関数ｆ
1（ｘ，ｙ）を、第２階層の量子化器１３には第２の注
目度関数ｆ2（ｘ，ｙ）を、…、第ｎ階層の量子化器５
３には第ｎの注目度関数ｆn（ｘ，ｙ）を反映させて量
子化するようにした点（ｎは３以上の正の整数）、およ
び階層を３階層以上とした点である。
【００２４】次に、本実施形態の動作を説明する。第１
の減算器１は、入力画像ｉと動き補償器９からの参照画
像との差分を演算し、該差分である誤差信号を直交変換
器２に出力する。直交変換器２は、該誤差信号を例えば
ＤＣＴ変換する。ＤＣＴ変換された信号は、前記第１の
注目度関数ｆ1（ｘ，ｙ）を反映して量子化する量子化
器３で量子化され、可変長符号化器４で符号化されて、
第１階層ビットストリームとして、回線に出力される。
の減算器１は、入力画像ｉと動き補償器９からの参照画
像との差分を演算し、該差分である誤差信号を直交変換
器２に出力する。直交変換器２は、該誤差信号を例えば
ＤＣＴ変換する。ＤＣＴ変換された信号は、前記第１の
注目度関数ｆ1（ｘ，ｙ）を反映して量子化する量子化
器３で量子化され、可変長符号化器４で符号化されて、
第１階層ビットストリームとして、回線に出力される。
【００２５】前記量子化器３で量子化された信号は逆量
子化器５にも入力し、逆量子化される。該逆量子化され
た信号は、逆直交変換器６に入力される一方、第２階層
の減算器２０および加算器２１に入力する。前記逆直交
変換器６に入力した信号は、例えば逆ＤＣＴ変換され、
前記動き補償器９からの信号と加算されてフレームメモ
リ８に蓄積される。
子化器５にも入力し、逆量子化される。該逆量子化され
た信号は、逆直交変換器６に入力される一方、第２階層
の減算器２０および加算器２１に入力する。前記逆直交
変換器６に入力した信号は、例えば逆ＤＣＴ変換され、
前記動き補償器９からの信号と加算されてフレームメモ
リ８に蓄積される。
【００２６】第２階層では、入力画像ｉは遅延部１０で
所定時間遅延されて符号化器１００に入る。符号化器１
００では、前記逆量子化器５で逆量子化された信号が減
算器２０に入力する。該減算器２０からは、入力信号の
符号化誤差信号のＤＣＴ係数から前記逆量子化器５で逆
量子化された信号を減算した信号が出力され、該出力は
量子化器１３に入って、前記第２の注目度関数ｆ
2（ｘ，ｙ）を反映して量子化する量子化器３で量子化
される。該量子化器３で量子化された信号は、可変長符
号化器１４で符号化されて、第２階層ビットストリーム
として、回線に出力される。
所定時間遅延されて符号化器１００に入る。符号化器１
００では、前記逆量子化器５で逆量子化された信号が減
算器２０に入力する。該減算器２０からは、入力信号の
符号化誤差信号のＤＣＴ係数から前記逆量子化器５で逆
量子化された信号を減算した信号が出力され、該出力は
量子化器１３に入って、前記第２の注目度関数ｆ
2（ｘ，ｙ）を反映して量子化する量子化器３で量子化
される。該量子化器３で量子化された信号は、可変長符
号化器１４で符号化されて、第２階層ビットストリーム
として、回線に出力される。
【００２７】以下、各階層の符号化器で、前記と同様に
符号化され、第ｎ階層の符号化器では、前記第ｎの注目
度関数ｆn（ｘ，ｙ）を反映して量子化する量子化器５
３で量子化される。該量子化器５３で量子化された信号
は、可変長符号化器５４で符号化されて、第ｎ階層ビッ
トストリームとして、回線に出力される。なお、前記第
１〜第ｎ階層の動き補償器９、１９、…、５９は、共通
の動きベクトルを使用する。
符号化され、第ｎ階層の符号化器では、前記第ｎの注目
度関数ｆn（ｘ，ｙ）を反映して量子化する量子化器５
３で量子化される。該量子化器５３で量子化された信号
は、可変長符号化器５４で符号化されて、第ｎ階層ビッ
トストリームとして、回線に出力される。なお、前記第
１〜第ｎ階層の動き補償器９、１９、…、５９は、共通
の動きベクトルを使用する。
【００２８】次に、前記第１〜ｎ階層の量子化器３〜５
３のレート制御の一例を、具体的に説明する。ＭＰＥＧ
２ ＴＭ５では、レート制御は一般に次のステップ１〜
３の３段階で行われる。 ステップ１：各画像（ピクチャ）へのビット配分、 ステップ２：仮想バッファを用いたレート制御、 ステップ３：視覚特性を考慮した適応量子化。
３のレート制御の一例を、具体的に説明する。ＭＰＥＧ
２ ＴＭ５では、レート制御は一般に次のステップ１〜
３の３段階で行われる。 ステップ１：各画像（ピクチャ）へのビット配分、 ステップ２：仮想バッファを用いたレート制御、 ステップ３：視覚特性を考慮した適応量子化。
【００２９】上記のレート制御により、ピクチャのブロ
ックｊのスケールコードmquant[j]は、ステップ２で得
られる量子化スケールコードをＱ[j] 、ステップ３の視
覚特性による正規化アクティビティをNact[j] と置く
と、次の(1) 式で与えられる。 mquant[j] ＝Nact[j] ×Ｑ[j] …(1)
ックｊのスケールコードmquant[j]は、ステップ２で得
られる量子化スケールコードをＱ[j] 、ステップ３の視
覚特性による正規化アクティビティをNact[j] と置く
と、次の(1) 式で与えられる。 mquant[j] ＝Nact[j] ×Ｑ[j] …(1)
【００３０】なお、前記ステップ１〜３の処理について
は、前記の著書、総合マルチメディア選書「ＭＰＥＧ」
（映像情報メディア学会編）の第１１４頁に詳細に記述
されている。
は、前記の著書、総合マルチメディア選書「ＭＰＥＧ」
（映像情報メディア学会編）の第１１４頁に詳細に記述
されている。
【００３１】本実施形態では、前記ステップ１〜３の処
理に、次のステップ４の処理を加える。ステップ４：当
該マクロブロックｊの累積注目度関数ｆj（ｘ，ｙ）に
反比例する定数αj（０．１≦αj≦１０）を算出して、
下記の(2) 式のスケールコードmquant[j]'を算出する。
例えば、ｆj（ｘ，ｙ）＝０であれば、αj＝１０、ｆj
（ｘ，ｙ）＝１００であれば、αj＝０．１とする。 mquant[j]'＝mquant[j] ×αj…(2)
理に、次のステップ４の処理を加える。ステップ４：当
該マクロブロックｊの累積注目度関数ｆj（ｘ，ｙ）に
反比例する定数αj（０．１≦αj≦１０）を算出して、
下記の(2) 式のスケールコードmquant[j]'を算出する。
例えば、ｆj（ｘ，ｙ）＝０であれば、αj＝１０、ｆj
（ｘ，ｙ）＝１００であれば、αj＝０．１とする。 mquant[j]'＝mquant[j] ×αj…(2)
【００３２】前記(2) 式のスケールコードmquant[j]'
を、図１の量子化器３に適用すると、前記（ハ）に示さ
れているように、例えば第１階層（ベースレイヤ）で
は、最も注目される部分が最高値ｆ（ｘ，ｙ）＝１００
をとり、最も注目されない部分は最低値ｆ（ｘ，ｙ）＝
０をとり、その間が連続的に変化するようにされている
ので、最も注目される部分から最も注目されない部分に
向かって量子化の粗さが大きくなり、最も注目される部
分は高解像度の画像とすることができるようになる。し
たがって、スケールコードmquant[j]'を、量子化器３〜
５３に適用すると、第１階層では、最も注目度の大きい
オブジェクトが伝送され、第２階層では、その次に注目
されるオブジェクトが伝送され、さらに、最上位階層で
は、それまで伝送されなかった残りの部分が伝送される
ことになる。
を、図１の量子化器３に適用すると、前記（ハ）に示さ
れているように、例えば第１階層（ベースレイヤ）で
は、最も注目される部分が最高値ｆ（ｘ，ｙ）＝１００
をとり、最も注目されない部分は最低値ｆ（ｘ，ｙ）＝
０をとり、その間が連続的に変化するようにされている
ので、最も注目される部分から最も注目されない部分に
向かって量子化の粗さが大きくなり、最も注目される部
分は高解像度の画像とすることができるようになる。し
たがって、スケールコードmquant[j]'を、量子化器３〜
５３に適用すると、第１階層では、最も注目度の大きい
オブジェクトが伝送され、第２階層では、その次に注目
されるオブジェクトが伝送され、さらに、最上位階層で
は、それまで伝送されなかった残りの部分が伝送される
ことになる。
【００３３】次に、本発明の基づく一実験例を説明す
る。ここでは、一例として、次の文献にある方法で画面
内の注目領域を設定した（全体の約40％に設定）。
る。ここでは、一例として、次の文献にある方法で画面
内の注目領域を設定した（全体の約40％に設定）。
【００３４】田中他：「誘目性に寄与する物理的特徴量
を基にした画像注目領域の抽出」映像情報メディア学会
誌 Vol.52,No.6,pp.881-890(1998) 。
を基にした画像注目領域の抽出」映像情報メディア学会
誌 Vol.52,No.6,pp.881-890(1998) 。
【００３５】そして、ベースレイヤ符号化では、ＭＰＥ
Ｇ−２のＴＭ５における量子化パラメータMQUANTを、注
目領域以外の部分については最大値として、ＤＣＴ係数
の切捨てを行なう。注目領域については、通常の符号化
制御を行なう。エンハンスメントレイヤについては、画
面全体で通常の符号化制御とした。一方、比較のため、
通常のＳＮＲスケーラブル符号化（ベースレイヤをＴＭ
５で符号化し、エンハンスメントレイヤではその符号化
ノイズを符号化）も行なった。なお、テスト画像はchee
rleaders, flamingoes, green leaves, marching in, m
obile & calendar, soccer の6 種類を使用し、符号化
速度は２レイヤとも５．６Mbpsずつとした。
Ｇ−２のＴＭ５における量子化パラメータMQUANTを、注
目領域以外の部分については最大値として、ＤＣＴ係数
の切捨てを行なう。注目領域については、通常の符号化
制御を行なう。エンハンスメントレイヤについては、画
面全体で通常の符号化制御とした。一方、比較のため、
通常のＳＮＲスケーラブル符号化（ベースレイヤをＴＭ
５で符号化し、エンハンスメントレイヤではその符号化
ノイズを符号化）も行なった。なお、テスト画像はchee
rleaders, flamingoes, green leaves, marching in, m
obile & calendar, soccer の6 種類を使用し、符号化
速度は２レイヤとも５．６Mbpsずつとした。
【００３６】ベースレイヤ復号画（低階層ビットストリ
ームのみからの復号画像）内の注目領域のＰＳＮＲ（ピ
ーク信号対雑音比）と、エンハンスメントレイヤ復号画
（全画面）の平均のＰＳＮＲを図２に示す。図２におい
て、例えばテスト画像のcheerleadersでは、本発明のオ
ブジェクトスケーラブル符号化ではＳＮＲスケーラブル
符号化に比べ、ベースレイヤ画像において、注目領域の
ＰＳＮＲを、２．７ｄＢ高く符号化できることが分か
る。また、上位階層まで含めた全画面画像においては、
本発明のオブジェクトスケーラブル符号化はＳＮＲスケ
ーラブル符号化に比べ、０．２ｄＢ高く符号化できるこ
とが分かる。
ームのみからの復号画像）内の注目領域のＰＳＮＲ（ピ
ーク信号対雑音比）と、エンハンスメントレイヤ復号画
（全画面）の平均のＰＳＮＲを図２に示す。図２におい
て、例えばテスト画像のcheerleadersでは、本発明のオ
ブジェクトスケーラブル符号化ではＳＮＲスケーラブル
符号化に比べ、ベースレイヤ画像において、注目領域の
ＰＳＮＲを、２．７ｄＢ高く符号化できることが分か
る。また、上位階層まで含めた全画面画像においては、
本発明のオブジェクトスケーラブル符号化はＳＮＲスケ
ーラブル符号化に比べ、０．２ｄＢ高く符号化できるこ
とが分かる。
【００３７】総論的には、注目領域を優先するオブジェ
クトスケーラブル符号化では、ベースレイヤ画像におい
て、その部分のＰＳＮＲを、ＳＮＲスケーラブル符号化
に比べ、約１．５〜４．７ｄＢ高く符号化できているこ
とが確認できた。また、エンハンスメントレイヤ画像
（低階層ビットストリーム及び高階層ビットストリーム
両方を用いた復号画像）のＰＳＮＲも、本発明のオブジ
ェクトスケーラブル符号化はＳＮＲスケーラブルに比
べ、同等かむしろ大きくなっていることが分かった。
クトスケーラブル符号化では、ベースレイヤ画像におい
て、その部分のＰＳＮＲを、ＳＮＲスケーラブル符号化
に比べ、約１．５〜４．７ｄＢ高く符号化できているこ
とが確認できた。また、エンハンスメントレイヤ画像
（低階層ビットストリーム及び高階層ビットストリーム
両方を用いた復号画像）のＰＳＮＲも、本発明のオブジ
ェクトスケーラブル符号化はＳＮＲスケーラブルに比
べ、同等かむしろ大きくなっていることが分かった。
【００３８】以上より、本実験例で試みたような簡単な
方法でも、本発明のオブジェクトスケーラブル符号化に
よれば、有効なオブジェクトスケーラブル符号化が実現
できることがわかる。
方法でも、本発明のオブジェクトスケーラブル符号化に
よれば、有効なオブジェクトスケーラブル符号化が実現
できることがわかる。
【００３９】本実施例では、上記の文献の方法を用いて
注目度関数を生成したが、別の方法として、単純に、マ
クロブロック内の画素値の分散を用いて注目度関数を生
成することができる。すなわち、マクロブロック内の分
散値が大きいほど、変化が激しいということなので、そ
の部分は注目されやすいということが言える。そこで、
注目度関数を、マクロブロック内分散値で代用すること
もできる。
注目度関数を生成したが、別の方法として、単純に、マ
クロブロック内の画素値の分散を用いて注目度関数を生
成することができる。すなわち、マクロブロック内の分
散値が大きいほど、変化が激しいということなので、そ
の部分は注目されやすいということが言える。そこで、
注目度関数を、マクロブロック内分散値で代用すること
もできる。
【００４０】本発明においては、前記の注目度関数以外
にも、様々な注目度関数を使用することができることは
いうまでもない。
にも、様々な注目度関数を使用することができることは
いうまでもない。
【００４１】
【発明の効果】以上説明したように、本発明の請求項１
〜４によれば、画像を階層的に符号化する階層符号化装
置において、低階層画像の符号化の際に、優先したい部
分とそうでない部分に分け、優先したい部分は細かく量
子化しそうでない部分は粗く量子化することができるの
で、画像中のオブジェクト毎のスケーラビリティを実現
できる。すなわち、オブジェクトスケーラブル符号化が
実現できる。
〜４によれば、画像を階層的に符号化する階層符号化装
置において、低階層画像の符号化の際に、優先したい部
分とそうでない部分に分け、優先したい部分は細かく量
子化しそうでない部分は粗く量子化することができるの
で、画像中のオブジェクト毎のスケーラビリティを実現
できる。すなわち、オブジェクトスケーラブル符号化が
実現できる。
【００４２】また、請求項２の発明によれば、優先度を
与える部分の単位を、マクロブロック単位としたので、
低階層ビットストリームで優先的に伝送する部分をマク
ロブロック毎に指定できることになる。
与える部分の単位を、マクロブロック単位としたので、
低階層ビットストリームで優先的に伝送する部分をマク
ロブロック毎に指定できることになる。
【００４３】また、請求項３の発明によれば、部分毎の
優先度を、マクロブロック毎の量子化ステップサイズの
大小により決定することにしたので、部分毎の解像度の
大小を制御できることになる。
優先度を、マクロブロック毎の量子化ステップサイズの
大小により決定することにしたので、部分毎の解像度の
大小を制御できることになる。
【００４４】さらに、第４の特徴によれば、量子化ステ
ップサイズの大小を決定する重み付けを、当該マクロブ
ロックの画素値の分散の大小により決定することにした
ので、画素値の変化の激しい部分ほど優先的に低階層ビ
ットストリームで伝送できることになる。
ップサイズの大小を決定する重み付けを、当該マクロブ
ロックの画素値の分散の大小により決定することにした
ので、画素値の変化の激しい部分ほど優先的に低階層ビ
ットストリームで伝送できることになる。
【図１】 本発明の一実施形態の構成を示すブロック図
である。
である。
【図２】 実験結果により、本発明装置の従来装置に対
するＰＳＮＲの違いを示す図である。
するＰＳＮＲの違いを示す図である。
【図３】 従来装置の構成を示すブロック図である。
２、１２、５２…直交変換器、２０、６０…減算器、
３、１３、５３…量子化器、４、１４、５４…可変長符
号化器、５、１５、５５…逆量子化器。
３、１３、５３…量子化器、４、１４、５４…可変長符
号化器、５、１５、５５…逆量子化器。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 修一 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 Ｆターム(参考） 5C059 KK00 MA00 MA23 MA32 MA37 MB01 MC04 MD02 PP04 SS06 TA41 TA53 TB07 TC43 TD18 UA02 5J064 AA01 BA09 BA13 BA16 BC02 BC08 BC16 BC24 BD01
Claims (4)
- 【請求項１】 画像を階層的に符号化するスケーラブル
符号化装置において、 低階層画像の符号化の際、画像中の部分毎に、優先度に
より重み付けすることにより、優先的に高画質で符号化
される部分を設けるオブジェクトスケーラブル符号化装
置。 - 【請求項２】 請求項１に記載のオブジェクトスケーラ
ブル符号化装置において、 優先度を与える部分の単位を、マクロブロック単位とす
るオブジェクトスケーラブル符号化装置。 - 【請求項３】 請求項１に記載のオブジェクトスケーラ
ブル符号化装置において、 部分毎の優先度を、マクロブロック毎の量子化ステップ
サイズの大小に反映させるオブジェクトスケーラブル符
号化装置。 - 【請求項４】 請求項３に記載のオブジェクトスケーラ
ブル符号化装置において、 量子化ステップサイズの大小を決定する重み付けを、当
該マクロブロックの画素値の分散の大小により決定する
オブジェクトスケーラブル符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000249278A JP2002064817A (ja) | 2000-08-21 | 2000-08-21 | オブジェクトスケーラブル符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000249278A JP2002064817A (ja) | 2000-08-21 | 2000-08-21 | オブジェクトスケーラブル符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002064817A true JP2002064817A (ja) | 2002-02-28 |
Family
ID=18739039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000249278A Pending JP2002064817A (ja) | 2000-08-21 | 2000-08-21 | オブジェクトスケーラブル符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002064817A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013157994A (ja) * | 2005-09-27 | 2013-08-15 | Qualcomm Inc | コンテンツ情報に基づくスケーラビリティ技術 |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP2015177431A (ja) * | 2014-03-17 | 2015-10-05 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| JP2016063481A (ja) * | 2014-09-19 | 2016-04-25 | 株式会社東芝 | エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04369191A (ja) * | 1991-06-18 | 1992-12-21 | Toshiba Corp | 画像圧縮復元装置 |
| JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
-
2000
- 2000-08-21 JP JP2000249278A patent/JP2002064817A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04369191A (ja) * | 1991-06-18 | 1992-12-21 | Toshiba Corp | 画像圧縮復元装置 |
| JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
Non-Patent Citations (2)
| Title |
|---|
| 映像情報メディア学会編, 総合マルチメディア選書 ＭＰＥＧ, vol. 第１版, CSNB199900170001, 20 April 1996 (1996-04-20), pages 118 - 121, ISSN: 0000733018 * |
| 映像情報メディア学会編, 総合マルチメディア選書 ＭＰＥＧ, vol. 第１版, JPNX006058749, 20 April 1996 (1996-04-20), pages 118 - 121, ISSN: 0000796187 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| US9088776B2 (en) | 2005-09-27 | 2015-07-21 | Qualcomm Incorporated | Scalability techniques based on content information |
| US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| US9071822B2 (en) | 2005-09-27 | 2015-06-30 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| JP2013157994A (ja) * | 2005-09-27 | 2013-08-15 | Qualcomm Inc | コンテンツ情報に基づくスケーラビリティ技術 |
| US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP2015177431A (ja) * | 2014-03-17 | 2015-10-05 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP2016063481A (ja) * | 2014-09-19 | 2016-04-25 | 株式会社東芝 | エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法 |
| US11997302B2 (en) | 2014-09-19 | 2024-05-28 | Kabushiki Kaisha Toshiba | Encoding device, decoding device, streaming system, and streaming method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6275614B1 (en) | Method and apparatus for block classification and adaptive bit allocation | |
| EP0857394B1 (en) | Apparatus and method for optimizing the rate control in a coding system | |
| US5969764A (en) | Adaptive video coding method | |
| US6895050B2 (en) | Apparatus and method for allocating bits temporaly between frames in a coding system | |
| US20030123751A1 (en) | Method and apparatus for region-based allocation of processing resources and control of input image formation | |
| US20030128753A1 (en) | Optimal scanning method for transform coefficients in coding/decoding of image and video | |
| CN1756359A (zh) | 速率自适应视频编码 | |
| JP2009532979A (ja) | 加重平均合を用いてｆｇｓ階層をエンコーディングおよびデコーディングする方法および装置 | |
| US6947486B2 (en) | Method and system for a highly efficient low bit rate video codec | |
| KR20030020382A (ko) | Ｆｇｓ 강화층에 대한 활동-기반 주파수 가중을 위한 방법및 시스템 | |
| US6173080B1 (en) | Prediction method for discrete cosine transform coefficient | |
| CA2533885A1 (en) | Method and apparatus for selection of scanning mode in dual pass encoding | |
| JP2002223443A (ja) | トランスコーディング方法およびトランスコーディング装置 | |
| RU2329616C2 (ru) | Способ управления расходом битов и устройство для нормализации качества визуального изображения | |
| KR20050012782A (ko) | 코딩 중에 이미지 선명도를 최적화하기 위한 방법과 시스템 | |
| JP2003508982A (ja) | スケーラブル符号化 | |
| JPH10108184A (ja) | 画像データ処理装置およびその方法 | |
| JP2002064817A (ja) | オブジェクトスケーラブル符号化装置 | |
| CN1579096A (zh) | 比特率指导的频率加权矩阵选择 | |
| KR20040048289A (ko) | 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법 | |
| CN100366094C (zh) | 细粒度可伸缩视频数据设备及操作方法，接收数据的方法 | |
| US20030118099A1 (en) | Fine-grain scalable video encoder with conditional replacement | |
| JP3069144B2 (ja) | 動画像符号化装置 | |
| JPH09261633A (ja) | 映像データ圧縮装置およびその方法 | |
| Mahmood et al. | A content-aware quantisation mechanism for transform domain distributed video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060630 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061213 |