JP2005333663A - 動き補償予測方法 - Google Patents
動き補償予測方法 Download PDFInfo
- Publication number
- JP2005333663A JP2005333663A JP2005181790A JP2005181790A JP2005333663A JP 2005333663 A JP2005333663 A JP 2005333663A JP 2005181790 A JP2005181790 A JP 2005181790A JP 2005181790 A JP2005181790 A JP 2005181790A JP 2005333663 A JP2005333663 A JP 2005333663A
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- unit
- motion compensation
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】画像を分割して得られる格子点動き推定部2は、各ブロックに対して参照画像上の格子点が原画像上のどの位置に動いたかを推定する。並行移動ベクトル決定部16は、ブロック自体が並行移動する場合の動ベクトル(並行移動ベクトル)を求め、動き補償予測部4は、アフィン変換または動ベクトルの補間による動き補償予測を行い、動き補償予測部5は並行移動によって動き補償予測を行い、各々出力された予測画像は予測画像選択部6に供給される。予測画像選択部6は、予測画像をブロック毎に適応的に選択し、予測画像と予測モード情報を出力する。
【選択図】図1
Description
四角形ブロックへの分割部32では参照画像を四角形に分割する。分割する際には、例えば、参照画像に無関係に正方格子などの一様格子によって分割する方法がとられる。あるいは、参照画像上のエッジにあわせて変形格子によって分割する方法が用いられることもある。格子点動き推定部33では参照画像の格子点の動きを推定し、各格子点の動ベクトルを求める。この動ベクトルによって予測画像上にあらたな変形格子が定められる。
動き推定の方法としては、参照画像上の格子点とその近傍の画素からなる領域をとり、この領域が原画像上のどの領域と一致するかを調べる方法(「ブロックマッチング」と呼ぶ)が用いられる。具体的には参照画像上の格子点を中心としてM画素×N画素の領域を考え、原画像上で同じ大きさの領域との一致度を調べ、最も一致度の良い領域の中心を、格子点の移動先とする。このときの移動をあらわすベクトルを動ベクトルと呼ぶ。領域の一致度としては、領域内の画素値の誤差の絶対値和や誤差の絶対値加重和が用いられる。なお、格子点動き推定部33で求められた格子点の動ベクトルは、図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。
図14は、従来の画像復号装置における予測画像作成回路の構成図で、図中、41は格子点動ベクトル復号部、42は動き補償予測部、43は四角形ブロックへの分割部である。
格子点動ベクトル復号部41は、符号化データ中に組み込まれている格子点の動ベクトルの符号を復号する部分である。出力は格子点の動ベクトルであり、動き補償予測部42に供給される。四角形ブロックへの分割部43及び動き補償予測部42は、図13の符号化装置と同様の働きをするので説明を省略する。
「Very Low Bitrate Video Coder using Warping Prediction」(1993年画像符号化シンポジウム8-7,pp.167-168) 「A Novel Video Coding Scheme Based on Temporal Prediction Using Digital Image Warping」(IEEE International Conference on Consumer Electronics,1993)
図15(a)は参照画像のある一部を表し、図15(b)は予測対象画像の一部を表すものとする。図15に示すように、斜めの縞模様を背景に長方形の物体が反時計周りに回転しながら左に移動している。●は格子点を表す。ここで、参照画像上の格子点a,b,c,d,e,fから形成される2つのブロック(四角形abdcと四角形befd)に注目すると、静止した背景上の四角形abdcが大きく変形し、四角形ABDCとなっている。これら2つのブロックを取り出して図16(a),(b)に示す。
図17(a)は参照画像のある一部を表し、図17(b)は予測対象画像の一部を表すものとする。図17に示すように、物体1が左下方向に、物体2が右上方向に動いている。ここで、参照画像上の格子点a,b,c,d,e,fから形成される2つのブロックに注目する。これらの格子点のうち、c,eは物体の動きによって予測対象画像上のC,Eに移動しているが、a,b,d,fは移動しない。
このような場合、従来法によれば、図17(c)のようになる。物体は並行移動しているにも関わらず、幾何学変換を受けて歪んでしまう。一般に、隣接したブロック上の複数の物体が別々の方向に並行移動するとき、前述のような幾何学的な歪みが発生することになる。
まず、本発明の考え方を図11によって説明する。図11は、予測画像上の注目するブロック(四角形ABDC)の予測画像(1ブロック分)を、本発明の手法によって求める様子を示したものである。従来法と同様に、参照画像上の四角形abdcは、格子の変形による幾何学変換を用いて変形され、P1のような予測画像が得られる。一方、参照画像上の四角形a′b′d′c′の並行移動によって別の予測画像P2が得られる。本発明では、これら複数の予測画像をブロック毎に適応的に選択し、いずれかを実際の予測画像として用いる。ここで、並行移動とはブロック内画素が全て平行に移動することであり、ブロックの形状は変化せず、位置のみが移動することを意味する。
また、図17(d)は、本発明によって作成した予測画像の他の例である。左側のブロックの予測画像として図17(a)の点線で囲まれた部分を並行移動し、右側のブロックの予測画像として図17(a)の一点鎖線で囲まれた部分を並行移動することによって予測画像を得ている。図から分かるように従来法の問題であった幾何学的な歪み(図17(c)参照)は発生しない。
四角形ブロックへの分割部1及び格子点動き推定部2は、図13で述べたものと同様の働きによって、参照画像を四角形に分割し、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第1の動き補償予測部4に供給される。なお、四角形ブロックへの分割部1は他の符号化装置の実施例でも使用するが、以後の図4〜図6では図示せず、説明を省略する。
予測画像選択部6は本発明の手法により、予測画像をブロック毎に適応的に選択し、予測画像と予測モード情報を出力する。予測モード情報は図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。予測画像の選択方法としては、原画像との誤差を最小にするものや、原画像との重みつき誤差を最小にするものなどが考えられる。以下、これらについて説明する。
ここでは予測画像を2種類としているが、もちろんこれに限るものではない。第1の誤差算出部7は、原画像と予測画像 のデータを1ブロック分入力し、予測誤差を算出する部分である。予測誤差は、原画像の画素値f(n)と予測画像の画素値f(n)′とを用いて、
第1の直交変換部10〜第3の直交変換部12は入力された1ブロック分の画素値を2次元直交変換し、周波数成分に変換する。図3の第1の誤差算出部7、第2の誤差算出部8は、原画像の直交変換係数g(k)と予測画像の直交変換係数g(k)′との重みつき誤差(予測誤差)を以下のようにして算出する部分である。
格子点動き推定部2は、図13で述べたものと同様の働きによって、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第1の動き補償予測部4〜第5の動き補償予測部15に供給される。第1の動き補償予測部4は、図13で説明した動き補償予測部34と同様の働きによって、幾何学変換による動き補償予測を行う。出力された予測画像は予測画像選択部6に供給される。
図5の実施例も図4の実施例と同様に、幾何学変換を用いた動き予測方式(動き補償予測部(1))と、並行移動による動き予測方式(動き補償予測部(2))とをブロック毎に適応的に切り替えることができる。この結果、予測効率を改善し符号化効率を向上させることができる。また、ブロックの並行移動を示す動ベクトルを符号化しなくても良いので符号化データ量を小さくすることができる。
さらに、幾何学変換に用いる4個の動ベクトルの平均値をブロック自体の並行移動を表す動ベクトルとすることで、並行移動を表す動ベクトルをより正確に予測することができ、符号量を削減することが可能となる。
また、新たにブロックマッチング処理を行うことなく並行移動を表す動ベクトルを求めるため、符号化装置の処理量を削減することも可能となる。
この場合、実際にブロックマッチングによって探索されたベクトルに近いベクトルを並行移動ベクトルとして用いることができるため、予測効率を改善し符号化効率を向上させることができる。また、最も近いベクトルを示すための情報を付加情報として伝送する必要があるが、並行移動ベクトルそのものを直接伝送する必要はないため、符号化データ量を小さくすることができる。
すなわち、1フレーム前の参照画像と、2フレーム前の参照画像から注目するブロックの動ベクトルをブロックマッチングによって探索する。この時のブロックマッチングの最小誤差が、しきい値より小さければ並行移動による動き補償予測のモードを、それ以外の場合は幾何学変換による動き補償予測のモードを選択する。なお、ここで述べたしきい値は理論的あるいは経験的に定められるものである。これらはあらかじめ定めておいても良いし、手動あるいは自動で適宜変化させてもよい。
以上のようにして、図9に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図7の例と同様である。
以上のようにして、図10に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図7の例と同様である。
Claims (1)
- 画像を分割して得られる各ブロックに対して動き補償予測により予測画像を求める予測ステップと、
前記動き補償予測で用いられる予測モードを選択する選択ステップとを備えた動き補償予測方法であって、
前記予測ステップは、アフィン変換または動ベクトルの補間により予測画像を作成する第1の予測モードと、並行移動により予測画像を作成する第2の予測モードを有し、
前記選択ステップは、前記予測モードのいずれを選択するかを示す予測モード情報に従って前記予測モードをブロック毎に選択することを特徴とする動き補償予測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005181790A JP4245587B2 (ja) | 2005-06-22 | 2005-06-22 | 動き補償予測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005181790A JP4245587B2 (ja) | 2005-06-22 | 2005-06-22 | 動き補償予測方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004231020A Division JP3734488B2 (ja) | 2004-08-06 | 2004-08-06 | 画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005333663A true JP2005333663A (ja) | 2005-12-02 |
JP4245587B2 JP4245587B2 (ja) | 2009-03-25 |
Family
ID=35487935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005181790A Expired - Lifetime JP4245587B2 (ja) | 2005-06-22 | 2005-06-22 | 動き補償予測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4245587B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101003105B1 (ko) | 2008-01-29 | 2010-12-21 | 한국전자통신연구원 | 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치 |
CN106559669A (zh) * | 2015-09-29 | 2017-04-05 | 华为技术有限公司 | 图像预测的方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3239683B2 (ja) * | 1995-05-11 | 2001-12-17 | 株式会社セガ | 画像処理装置および画像処理方法 |
-
2005
- 2005-06-22 JP JP2005181790A patent/JP4245587B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101003105B1 (ko) | 2008-01-29 | 2010-12-21 | 한국전자통신연구원 | 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치 |
CN106559669A (zh) * | 2015-09-29 | 2017-04-05 | 华为技术有限公司 | 图像预测的方法及装置 |
CN106559669B (zh) * | 2015-09-29 | 2018-10-09 | 华为技术有限公司 | 预测图像编解码方法及装置 |
US11323736B2 (en) | 2015-09-29 | 2022-05-03 | Huawei Technologies Co., Ltd. | Image prediction method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4245587B2 (ja) | 2009-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110944210B (zh) | 利用连续坐标系的运动补偿和运动估计系统 | |
JP5277257B2 (ja) | 動画像復号化方法および動画像符号化方法 | |
JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
JP5144545B2 (ja) | 動画像コーデック装置及びその方法 | |
JP2009111691A (ja) | 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法 | |
JP5216710B2 (ja) | 復号化処理方法 | |
JPH1056643A (ja) | 任意の対象物を収録している動画像の符号化及び復号化装置 | |
JP2000224593A (ja) | フレーム補間方法および装置およびこの方法を記録した記録媒体 | |
JP4888919B2 (ja) | 動画像符号化装置および動画像復号装置 | |
JP3654664B2 (ja) | 画像符号化装置及び画像復号装置 | |
JP4245587B2 (ja) | 動き補償予測方法 | |
JP3734488B2 (ja) | 画像符号化装置 | |
JP4944046B2 (ja) | 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP4427553B2 (ja) | 動画像復号化装置 | |
JP2009212667A (ja) | 動画像符号化装置および復号装置 | |
JP2001224036A (ja) | 動画像符号化装置 | |
JP3746708B2 (ja) | 動画像符号化装置 | |
JP5880758B2 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
JPH09200763A (ja) | 動画像符号化における動き補償方法 | |
JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
JP2004165785A (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそのプログラムを記録した記録媒体 | |
JP6004852B2 (ja) | ピクセルブロックを符号化及び再構成する方法と装置 | |
JP2009124502A (ja) | フレーム補間装置 | |
JP4134078B2 (ja) | 動画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090106 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
EXPY | Cancellation because of completion of term |