JP2006254485A - 動画像復号化装置 - Google Patents
動画像復号化装置 Download PDFInfo
- Publication number
- JP2006254485A JP2006254485A JP2006112422A JP2006112422A JP2006254485A JP 2006254485 A JP2006254485 A JP 2006254485A JP 2006112422 A JP2006112422 A JP 2006112422A JP 2006112422 A JP2006112422 A JP 2006112422A JP 2006254485 A JP2006254485 A JP 2006254485A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- prediction
- motion compensation
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】入力ビットストリームから、圧縮符号化の単位となるブロックごとに、該領域の動き補償予測を行う単位となる領域を定める情報によって定まる動き補償予測単位ごとに、対応する動きベクトルおよび動き補償予測の際参照すべき画像フレームの情報を復号する復号手段と、フレームバッファに格納される参照画像と復号した動きベクトルとに基づき、動き補償予測の単位となる領域に対応する予測画像を生成する動き補償手段と、動き補償予測に用いる参照画像をロングタ−ムに参照される画像とする制御を行う制御部とを備え、動き補償手段は、復号手段で復号された参照すべき画像フレームの情報で指定されるフレームメモリに格納された参照画像を用いて予測画像の生成を行う。
【選択図】図17
Description
まず、符号化する入力画像Giが減算器1に入力されると、減算器1が入力画像Giから予測部8が出力する予測画像Geを減算して差分画像Gsを求め、差分画像Gsを出力する。
差分画像Gs=入力画像Gi−予測画像Ge
そして、変換部2から変換係数Gstが出力されると、量子化部3が変換係数Gstを量子化し、量子化係数Gqを出力する。
そして、加算器7から局部復号化画像Gkが出力されると、局部復号化画像Gkを参照して入力画像Giのフレーム毎に動き補償を実行することにより、予測画像Geを決定し、当該予測画像Geを減算器1に出力する。
以上により、一連の処理を終了する。
また、局部復号化画像Gkでは対象物の背後に背景画像が隠れているが、今回入力した入力画像Giでは対象物の背後に背景画像が現れてきたような場合には、参照画像である局部復号化画像Gkに背景画像が存在しないため、入力画像Giと予測画像Geとの誤差が大きくなってしまう課題もあった。
また、この発明は、画像符号化器が出力する符号化画像から精度よく復号化画像を生成できる画像復号化器を得ることを目的とする。
実施の形態1.
図1はこの発明の実施の形態1による画像符号化器を示す構成図であり、図において、1は入力画像Giから予測画像Geを減算して差分画像Gsを算出する減算器(局部復号化画像生成手段)、2は減算器1により算出された差分画像Gsを離散コサイン変換し、その変換結果を差分画像Gsの変換係数Gstとして出力する変換部(局部復号化画像生成手段)、3は変換部2から出力された変換係数Gstを量子化し、量子化係数Gqを出力する量子化部(局部復号化画像生成手段)、5は量子化部3から出力された量子化係数Gqを逆量子化し、変換係数Gqtを出力する逆量子化部(局部復号化画像生成手段)、6は逆量子化部5から出力された変換係数Gqtを逆離散コサイン変換し、誤差画像Ggを出力する逆変換部(局部復号化画像生成手段)、7は逆変換部6から出力された誤差画像Ggに予測画像Geを加算し、局部復号化画像Gkを出力する加算器(局部復号化画像生成手段)である。
まず、符号化する入力画像Giが減算器1に入力されると、減算器1が入力画像Giから選択部16が出力する予測画像Ge(予測画像Geについては後述する)を減算して差分画像Gsを求め、差分画像Gsを出力する。
差分画像Gs=入力画像Gi−予測画像Ge ・・・(1)
そして、変換部2から変換係数Gstが出力されると、量子化部3が変換係数Gstを量子化し、量子化係数Gqを出力する。
そして、加算器7から出力された局部復号化画像Gkは、直ちにSTFM11に記憶されるが、LTFM13には直ちに記憶されず、所定時間経過後に記憶される。
まず、STFM11に局部復号化画像Gkが記憶されると、予測画像生成部21が、当該局部復号化画像Gkを参照して入力画像Giのフレーム毎に動き補償を実行することにより、予測誤差Egaが最小となるような予測画像Geaを生成し、誤差算出部22が、入力画像Giから予測画像Geaを減算して予測誤差Egaを算出する。なお、動き補償を実行した際の動きベクトルUvaは、予測画像生成部21が動きベクトル選択部29に出力する。
なお、入力画像Giの符号化シーケンスを図6に示すようにdtフレーム毎に切り分けた場合、今回入力した入力画像Giが第Nフレームにあるとすると、今回入力した入力画像Giの参照画像としては、下記に示す3つの予測画像Gea,Geb,Gecが参照画像となる。
なお、図6における時間的変化は、図中、左から右に進んでいる。
まず、STFM11及びLTFM13に局部復号化画像Gkが記憶されると、予測画像決定部31〜34における予測画像生成部41,43,45,47が、STFM11及びLTFM13に記憶された局部復号化画像Gkを参照して、予め定められたセグメントパターンにおける所定のセグメント領域において動き補償を実行することにより、参照画像MB(1)〜MB(4)として予測画像Gea〜Gedを生成する。
なお、この実施の形態1では、図7に示すように、4つのセグメントパターンが設定されているので、予測画像決定部31における予測画像生成部41,43,45,47は図7の垂直パターンが設定され、予測画像決定部32における予測画像生成部41,43,45,47は図7の水平パターンが設定され、予測画像決定部33における予測画像生成部41,43,45,47は図7の右斜めパターンが設定され、予測画像決定部34における予測画像生成部41,43,45,47は図7の左斜めパターンが設定されている。
MB(2)=SB(K,1)+SB(M,2) ・・・(3)
MB(3)=SB(M,1)+SB(K,2) ・・・(4)
MB(4)=SB(M,1)+SB(M,2) ・・・(5)
ただし、SB()は、セグメント領域において予測誤差が最小となる予測画像
(K,1)は、第Kフレームの左半分のセグメント領域
(K,2)は、第Kフレームの右半分のセグメント領域
(M,1)は、第Mフレームの左半分のセグメント領域
(M,2)は、第Mフレームの右半分のセグメント領域
なお、図8における時間的変化は、図中、左から右に進んでいる。
また、誤差値比較部49から選択結果Egxが出力されると、動きベクトル選択部51が、選択結果Egxに基づいて最小の予測誤差に係る動きベクトルを選択する。例えば、選択結果Egxが予測誤差Egaを選択した旨を示す場合には、予測画像生成部41が生成した動きベクトルUvaを動きベクトルUv1として出力する。
また、“CMB”は、選択された予測画像の番号を示しており、2ビットのビット長が必要となる。
そして、バッファ18は、可変長符号語Gckの蓄積量が閾値に到達すると画像復号化器に可変長符号語Gckを符号化ビットストリームCBSとして出力する。
具体的には、バッファ残量Bzが少なくなると、情報量を抑制すべく量子化部3の量子化値qを大きく設定し、バッファ残量Bzが多くなると、情報量を増加すべく量子化部3の量子化値qを小さく設定する。
また、局部復号化画像Gkを参照して入力画像Giのフレーム毎に動き補償を実行するブロックベース予測部14と、局部復号化画像Gkを参照して、予め定められたセグメントパターンの各セグメント領域毎に動き補償を実行するセグメントベース予測部15とを設けたので、入力画像Giの1フレーム中に存在する複数の対象物が、互いに異なる動きをする場合でも、入力画像Giと予測画像Geとの誤差を小さくできる効果が得られる。
上記実施の形態1では、図7に示すように、1つのマクロブロックが2つのセグメント領域から構成されるセグメントパターンを設定した場合について示したが、3つ以上のセグメント領域から構成されるセグメントパターンを設定してもよく、上記実施の形態1と同様の効果を奏することができる。
例えば、図7の垂直パターンと水平パターンの重複領域をセグメントとする場合には、1つのマクロブロック中に4つのセグメント領域が設定されることになる。
ただし、この場合には、予測用パラメータEpにおける“Pattern”の符号化ビット数は変わらず、2N-1 ビットであるが、“CMB”は16通りのパターンが存在するので、4ビットのビット長が必要となる。
上記実施の形態1では、遅延時間制御部12が遅延後の局部復号化画像Gkを逐次LTFM13に記憶させるものについて示したが、所定のタイミングにおいてのみ局部復号化画像Gkを記憶させるようにしてもよい。
なお、この場合には、LTFM13には、次のタイミングまで同じ局部復号化画像Gkが記憶されることになるが、この局部復号化画像Gkは、遅延時間制御部12が遅延した局部復号化画像Gkでもよいし、記憶タイミングのとき加算器7から出力される局部復号化画像Gkでもよい。
上記実施の形態1では、STFM11と別個に遅延時間制御部12を設けたものについて示したが、図10に示すように、STFM11の内部に遅延時間制御部12を設けるようにしてもよく、上記実施の形態1と同様の効果を奏することができる。
図11はこの発明の実施の形態5による画像符号化器のセグメントベース予測部15の詳細を示す構成図であり、図において、図3のものと同一符号は同一または相当部分を示すので説明を省略する。
71は入力画像Giを分析して複数のセグメント領域に分割する領域画像分割部(画像分割部)、72は領域画像分割部71により分割された各セグメント領域毎に動き補償を実行し、予測画像Ge等を生成する領域画像予測部である。
上記実施の形態1と同様にして、セグメントベース予測部15が入力画像Giを入力すると、セグメントベース予測部15の領域画像分割部71が、入力画像Giの画像の濃淡値の相違やエッジ等を検出することにより、入力画像Giを複数のセグメント領域に分割する。
即ち、上記実施の形態1における予測画像決定部31等は、予め定められたセグメントパターンにおける各セグメント領域について動き補償を実行するが、領域画像予測部72は、領域画像分割部71により分割された各セグメント領域毎に動き補償を実行する点で相違している。
なお、領域画像予測部72が出力する形状情報Kjとしては、例えば、各セグメントの輪郭線等が考えられ、形状情報Kjは可変長符号化部17において可変長符号化され、画像復号化器に送られる。
図12はこの発明の実施の形態6による画像符号化器のセグメントベース予測部15の詳細を示す構成図であり、図において、図11のものと同一符号は同一または相当部分を示すので説明を省略する。
73は予め設定された複数のセグメントパターン(領域形状パターン)と領域画像分割部71により分割された入力画像Giとの近似度をそれぞれ計算して最も近似度の高いセグメントパターンを抽出する領域形状記述部、74は領域形状記述部73により抽出されたセグメントパターンにおける各セグメント領域毎に動き補償を実行し、予測画像Ge等を生成する領域画像予測部である。
上記実施の形態5と同様にして、領域画像分割部71が入力画像Giを複数のセグメント領域に分割すると、領域形状記述部73が、図13に示すような予め設定された複数のセグメントパターンと分割された入力画像Giとの近似度をそれぞれ計算して最も近似度の高いセグメントパターンを抽出する。
そして、最も近似度の高いセグメントパターンを抽出すると、今度は、セグメントパターンにおける各セグメント領域の形状を具体的にするために、レベルを抽出する。
なお、言うまでもないが、レベルが異なっても、同一のセグメントパターンであれば、セグメント領域の形状の相似関係は保持される。
また、レベルの個数は、各セグメントパターン毎に相違する。
なお、形状情報Kjとしては、抽出したセグメントパターンとレベルとから構成される。
図15はこの発明の実施の形態7による画像符号化器を示す構成図であり、図において、図1のものと同一符号は同一または相当部分を示すので説明を省略する。
81はバッファ18のバッファ残量Bz(可変長符号語Gckの蓄積量)に応じてSTFM11に対するLTFM13の記憶時間の遅れを制御する遅延時間決定部(遅延時間制御手段)である。
上記実施の形態1と同様にして、可変長符号化部17に可変長符号化された可変長符号語Gckがバッファ18に蓄積され、その蓄積量が閾値を越えると、その可変長符号語Gckが符号化ビットストリームCBSとして画像復号化器に送られるが、遅延時間決定部81が、バッファ18のバッファ残量Bzに応じてSTFM11に対するLTFM13の記憶時間の遅れを制御するようにしてもよい。
一方、量子化制御部19が、バッファ18のバッファ残量Bzが多くなると、情報量を増加すべく量子化部3の量子化値qを小さく設定するが、さらに、遅延時間決定部81が、STFM11に対するLTFM13の記憶時間の遅れを大きく設定すると、参照フレーム間の距離が大きくなり、入力画像Giと局部復号化画像Gkとの時間的相関が低くなる。これにより、情報発生量を増加することができる。
図16はこの発明の実施の形態8による画像符号化器を示す構成図であり、図において、図1のものと同一符号は同一または相当部分を示すので説明を省略する。
91は入力画像Giと予測画像Geの差分画像Gsに基づいてシーンチェンジを検出するとともに、当該シーンチェンジを検出したとき、加算器7から出力された局部復号化画像GkをLTFM13に記憶させるシーンチェンジ検出部(シーンチェンジ検出手段)である。
上記実施の形態1では、遅延時間制御部12が所定時間遅延させたのち、局部復号化画像GkをLTFM13に記憶させるものについて示したが、さらに、シーンチェンジ検出部91が、入力画像Giと予測画像Geの差分画像Gsに基づいてシーンチェンジを検出したとき、加算器7から出力された局部復号化画像GkをLTFM13に記憶させるようにしてもよい。
そして、シーンチェンジ検出部91からシーンチェンジ検出信号Sが出力されると、遅延時間制御部12が、現在、加算器7から出力されている局部復号化画像GkをLTFM13に記憶させる。
ただし、シーンチェンジ検出部91がシーンチェンジを検出しない通常時においては、上記実施の形態1と同様のタイミングで局部復号化画像GkがLTFM13に記憶される。
図17はこの発明の実施の形態9による画像復号化器を示す構成図であり、図において、101は画像符号化器から送られてくる符号化ビットストリームCBSを可変長復号化し、量子化係数Grを出力する可変長復号化部(復号化画像生成手段)、102は可変長復号化部101から出力された量子化係数Grを逆量子化し、変換係数Grtを出力する逆量子化部(復号化画像生成手段)、103は逆量子化部102から出力された変換係数Grtを逆離散コサイン変換し、差分画像Gsを再生する逆変換部(復号化画像生成手段)、104は逆変換部103に再生された差分画像Gsに予測画像Geを加算して復号化画像Gfを生成する加算器(復号化画像生成手段)である。
まず、画像符号化器から符号化ビットストリームCBSが送られてくると、可変長復号化部101が、その符号化ビットストリームCBSを可変長復号化し、量子化係数Gr,予測モードEm,動きベクトルUv及び予測用パラメータEpを出力する。
そして、可変長復号化部101から量子化係数Grが出力されると、逆量子化部102が量子化係数Grを逆量子化して変換係数Grtを出力し、逆変換部103が変換係数Grtを逆離散コサイン変換して差分画像Gsを再生する。
そして、加算器104が差分画像Gsに予測画像Geを加算して復号化画像Gfを生成する。
また、当該動きベクトルUvの出力先を示す選択フラグFを予測画像選択部112に出力する。
また、セグメントベース画像生成部109は、モード切り替え部111から動きベクトルUvを出力された場合には、STFM105又はLTFM107により記憶されたセグメント領域単位の復号化画像Gfと当該動きベクトルUvと予測用パラメータEpとに基づいて予測画像Geを生成する。即ち、セグメント領域単位の復号化画像Gf等を適宜組み合わせることにより、予測画像Geを生成する。
なお、予測モードEmは、図19に示すように、いわゆる予測モードと参照すべき画像フレームの情報を含んでおり、各々対応する可変長コードが与えられている。
また、選択フラグFが動きベクトルUvの出力先として、セグメントベース画像生成部109を示す場合には、セグメントベース画像生成部109が生成した予測画像Geを加算器104に出力する。
上記実施の形態9では、符号化ビットストリームCBSに形状情報Kjが含まれていないものについて示したが、上記実施の形態5等のように、符号化ビットストリームCBSに形状情報Kjが含まれている場合には、可変長復号化部101が形状情報Kjも可変長復号化してセグメントベース画像生成部109に出力し、セグメントベース画像生成部109が形状情報Kjも考慮して予測画像Geを生成するようにしてもよい。
Claims (1)
- 動画像信号の各フレームを所定のブロックに分割し、該ブロックを単位として動き補償予測を用いて圧縮符号化されたビットストリームを入力として動画像信号を復元する動画像複号化装置において、
動き補償予測に用いる参照画像が、ショートタームに参照される画像あるいはロングタームに参照される画像として格納されるフレームバッファと、
入力ビットストリームから、前記圧縮符号化の単位となるブロックごとに、該領域の動き補償予測を行う単位となる領域を定める情報によって定まる動き補償予測単位ごとに、対応する動きベクトルおよび動き補償予測の際参照すべき画像フレームの情報を復号する復号手段と、
フレームバッファに格納される参照画像と復号した動きベクトルとに基づき、動き補償予測の単位となる領域に対応する予測画像を生成する動き補償手段と、
上記動き補償予測に用いる参照画像をロングタ−ムに参照される画像とする制御を行う制御部とを備え、
前記動き補償手段は、前記復号手段で復号された前記参照すべき画像フレームの情報で指定されるフレームメモリに格納された参照画像を用いて予測画像の生成を行うことを特徴とする動画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006112422A JP2006254485A (ja) | 1995-11-02 | 2006-04-14 | 動画像復号化装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28599495 | 1995-11-02 | ||
JP2006112422A JP2006254485A (ja) | 1995-11-02 | 2006-04-14 | 動画像復号化装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002199040A Division JP4326758B2 (ja) | 1995-11-02 | 2002-07-08 | 動画像符号化装置及び動画像復号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007233011A Division JP4571173B2 (ja) | 1995-11-02 | 2007-09-07 | 動画像復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006254485A true JP2006254485A (ja) | 2006-09-21 |
Family
ID=37094385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006112422A Pending JP2006254485A (ja) | 1995-11-02 | 2006-04-14 | 動画像復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006254485A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7991050B2 (en) | 2008-05-30 | 2011-08-02 | Kabushiki Kaisha Toshiba | Moving picture decoding apparatus and moving picture decoding method |
-
2006
- 2006-04-14 JP JP2006112422A patent/JP2006254485A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7991050B2 (en) | 2008-05-30 | 2011-08-02 | Kabushiki Kaisha Toshiba | Moving picture decoding apparatus and moving picture decoding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3347954B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
KR0148154B1 (ko) | 움직임크기에 따른 동영상데이타의 부호화방법 및 장치 | |
EP0874526B1 (en) | Motion compensation encoding apparatus and motion compensation encoding method for high-efficiency encoding of video information through selective use of previously derived motion vectors in place of motion vectors derived from motion estimation | |
KR100739281B1 (ko) | 움직임 추정 방법 및 장치 | |
JP2004336369A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
JPS61114677A (ja) | 動画像信号の適応予測符号化復号化方式及びその装置 | |
KR100632072B1 (ko) | 동화상 압축 부호화장치 및 모션벡터 검출방법 | |
JPH0846969A (ja) | 映像信号符号化方式 | |
JP4326758B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP4875187B2 (ja) | 動画像復号化装置 | |
JP4571173B2 (ja) | 動画像復号化装置 | |
JP2006254485A (ja) | 動画像復号化装置 | |
JPH0546155B2 (ja) | ||
KR100284696B1 (ko) | Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치 | |
JPS61164390A (ja) | 動画像信号のフレ−ム間、フレ−ム内適応予測符号化装置 | |
JPH08154250A (ja) | 動画像符号化装置 | |
KR0181067B1 (ko) | 호환성을 갖는 동영상 부호화기 | |
JPH1175201A (ja) | ブロック間適応内挿予測符号化装置、復号化装置、符号化方法及び復号化方法 | |
KR0174959B1 (ko) | 초저속 전송을 위한 동영상부호화 장치 | |
JPH06319124A (ja) | 画像データ変換装置及びその逆変換装置 | |
JPH10145793A (ja) | 画像符号化装置とその方法、および、画像復号化装置とその方法 | |
KR940013201A (ko) | 영상 압축 부호화 장치 및 방법 | |
KR970003794B1 (ko) | 동영상 부호화장치 | |
JP2003116141A (ja) | 動画像予測符号化方法とその復号化方法、及びそれらの装置 | |
KR0178226B1 (ko) | 영상 부호기의 왜곡값 보정방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20070109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070710 |