JP2001238228A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JP2001238228A JP2001238228A JP2000047799A JP2000047799A JP2001238228A JP 2001238228 A JP2001238228 A JP 2001238228A JP 2000047799 A JP2000047799 A JP 2000047799A JP 2000047799 A JP2000047799 A JP 2000047799A JP 2001238228 A JP2001238228 A JP 2001238228A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- frame
- field
- color difference
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
情報の劣化を改善ができる動きベクトル検出装置を提供
する。 【解決手段】 動きベクトルの垂直成分の大きさをフレ
ームに形成された輝度信号の走査線間隔を単位として表
すとき、フレーム予測時の動きベクトル検出範囲から、
垂直成分が、…,−10.0,−6.0,−2.0,+
2.0,+6.0,+10.0,…のように、±(4n
+2.0)(ただし、nは正整数)となる動きベクトル
を除外する動きベクトル除外手段7を設けたことを特徴
とする。
Description
ム間符号化を基本とした高能率符号化方式における動き
ベクトル検出装置に係り、特にフレーム予測時の動きベ
クトル検出の改良に関するものである。
シーケンスにおいて輝度色差フォーマットが4:2:0
フォーマットである画像を用いた高能率映像符号化にお
ける動きベクトル検出に関わる。
EG−2に準拠して構成される現在一般的な高能率符号
化装置では、輝度成分のみを使用して動きベクトル検出
を行っている。そして、4:2:0フォーマットのとき
色差成分の動きベクトルは、輝度成分の動きベクトルの
水平成分および垂直成分の双方を2で除算することによ
りスケーリングが行われる。このことによりフレーム予
測の場合に動きベクトルの値によっては、参照画像の輝
度成分と色差成分のフィールドパリティが異なる場合が
ある。
では、動きのある画像において予測画像の色差成分がフ
ィールド時間の動き量だけ輝度成分からずれ、色差成分
の予測誤差を増加させ、色差成分の画質劣化を引き起こ
していた。
色差成分の参照フィールドのパリティが異なるベクトル
をベクトル探索範囲から除外することで、従来のハード
ウェアとほぼ同じ回路規模で色情報の劣化を改善するも
のである。
般的に、インターレースシーケンス、輝度色差フォーマ
ットが4:2:0である画像をISO/IEC1381
8−2(MPEG−2ビデオ)で符号化している。
周期だけ時間的に分離された一連のフィールドから構成
される。1つのフレームは、第1フィールド(以下「ト
ップフィールド」という)と第2フィールド(以下「ボ
トムフィールド」という)を1ラインおきに構成してい
る。フレームおよびフィールドは、1つの輝度マトリク
ス(Y)と2つの色差マトリクス(CbとCr)とで構
成される。
Crのマトリクスは、水平および垂直の両次元で、Yマ
トリクスの2分の1のサイズである。Yマトリクスは、
偶数の行および列を持つ。輝度信号の画素(輝度標本)
と色差信号の画素(色差標本)の関係は、図3、図4に
示すようになっている。なお、図3、図4において、x
は水平走査方向を示し、yは垂直走査方向を示す。ま
た、図4において、tはフィールド間の時間間隔の方向
を示す。
る輝度標本と色差標本のx−y平面位置関係図におい
て、×印は輝度標本を示し、○印は色差標本を示す。色
差標本の水平位置は、1サンプルおきに輝度標本の位置
に一致することが示されている。
輝度標本と色差標本のy−t断面位置関係図である。図
4では、輝度信号は、各ラインにおいて標本化される
が、色差信号では、CbとCrが1ライン毎に交互に各
フィールドに標本化されることが示されている。
は、画像を16画素×16ラインごとに切り出したマク
ロブロックごとに予測誤差を求める。この予測モードに
は、トップフィールドとボトムフィールドのそれぞれ独
立に動きベクトルを伝送するフィールド予測と、2つの
フィールドをまとめて1つのフレームとし動きベクトル
を伝送するフレーム予測とがある。
ル探索範囲内で参照する画像とこれから符号化しようと
する画像との相関が高いベクトルを動きベクトルとして
選び出し、これを輝度成分の動きベクトルとし、色差成
分の動きベクトルは、輝度成分のベクトルの水平成分お
よび垂直成分の双方を2で除算することによりスケーリ
ングを行う。
は、回路規模が大きくならないように、色差成分の相関
を使用せず、輝度成分の相関のみを用いて動きベクトル
検出が行われていた。
ースシーケンス、4:2:0フォーマットの画像につい
て、従来のように輝度成分の相関のみを用いてフレーム
予測の動きベクトル検出を行うと、動きを持つ画像にお
いて色差成分に劣化の生じることがある。
とんど無い場合には、フィールド間で位置が変わらない
ので、トップフィールドとボトムフィールドの相関は高
い。この場合には、輝度成分の相関によるベクトル探索
結果に基づきなされた予測では、色差成分が大きくずれ
ることは一般的に少ない。
きがある場合には、トップフィールドとボトムフィール
ドは、1フィールド時間の動き量によって位置がずれ、
相関は低くなる。この場合、輝度成分によるベクトル探
索結果に基づきなされた予測では、参照フレームと参照
フレームのトップフィールドとボトムフィールドのそれ
ぞれの時間距離が等しくなる同パリティが選ばれる確率
が高いが、輝度成分は同パリティであるが色差成分が逆
パリティとなることがある。
図5は、フレーム予測において動きベクトルの垂直成分
の値による参照フィールドと符号化フィールドのパリテ
ィを示す。
は、符号化フレームのトップフィールド、ボトムフィー
ルドにおける輝度成分を示す。同様に、topC、bo
ttomCは、符号化フレームのトップフィールド、ボ
トムフィールドにおける色差成分を示す。
n+0.0)(ただし、nは正整数)の場合、符号化フ
レームのトップフィールド(topYおよびtopC)
は参照フレームのトップフィールド(top)が選択さ
れ、符号化フレームのボトムフィールド(bottom
YおよびbottomC)は同じく参照フレームのボト
ムフィールド(bottom)が選択される。
号化フレームのトップフィールドとボトムフィールドの
それぞれの時間距離が等しくなる同パリティが選ばれ
る。なお、図5において、(top+bottom)/
2は、2つのフィールドを直線補間によって内挿するこ
とを意味する。
クトルが、…,−10.0,−6.0,−2.0,+
2.0,+6.0,+10.0,…のように、±(4n
+2.0)の場合には、異なる選択が行われることがあ
る。即ち、輝度成分については、符号化フレームのトッ
プフィールド(topY)は参照フレームのトップフィ
ールド(top)が選択され、符号化フレームのボトム
フィールド(bottomY)は同じく参照フレームの
ボトムフィールド(bottom)が選択される。
ームのトップフィールド(topC)は参照フレームの
ボトムフィールド(bottom)が選択され、符号化
フレームのボトムフィールド(bottomC)は参照
フレームのトップフィールド(top)が選択される。
このように、色差成分では、参照フレームと符号化フレ
ームで逆パリティとなる。
(垂直成分が2.0の場合)の説明図である。図6にお
いて、Y1、Y2は、トップフィールド、ボトムフィー
ルドの輝度標本を示す。C1は、トップフィールドの色
差標本を示す。C2は、ボトムフィールドの色差標本を
示す。
るが色差成分は逆パリティとなる場合には、参照フレー
ム(reference frame)と符号化フレーム(coding fram
e)の関係は、図6に示すようになる。
で、参照フレームのトップフィールドY1、ボトムフィ
ールドY2は、符号化フレームにおいても対応してトッ
プフィールドY1、ボトムフィールドY2となる。
で、参照フレームのトップフィールドC1は、符号化フ
レームではボトムフィールドC2に対応し、参照フレー
ムのボトムフィールドC2は、符号化フレームではトッ
プフィールドC1に対応する。つまり、形成された予測
は、色差成分が1フィールド時間の動き量だけずれるこ
とになる。
がある場合に、フレーム予測において垂直成分が±(4
n+2.0)のベクトルが選ばれると、色差成分がずれ
た予測を使用することになる。
が増加し、その増加分を決められた伝送容量で伝送する
ため粗く量子化され、色差成分の画質劣化を招いてい
た。
あり、フレーム予測のとき輝度成分と色差成分の参照フ
ィールドのパリティが異なるベクトルをベクトル探索範
囲から除外することにより、従来のハードウェアとほぼ
同じ回路規模で色情報の劣化を改善ができる動きベクト
ル検出装置を提供することを目的としている。
に本発明は、画面形式として2:1インターレース、信
号形式として輝度信号と2つの色差信号を持つコンポー
ネント形式であって、かつ、前記2つの色差信号が垂直
方向に2分の1に間引きされた形式を持つテレビジョン
信号について、前記輝度信号と前記2つの色差信号の第
1フィールドと第2フィールドを1ラインおきに構成し
てフレームを形成し、該フレームに形成された輝度信号
で動きベクトルを検出し、該検出された動きベクトルを
前記2つの色差信号にも適用することを前提とした動き
ベクトル検出装置において、動きベクトルの垂直成分の
大きさを前記フレームに形成された輝度信号の走査線間
隔を単位として表すとき、フレーム予測時の動きベクト
ル検出範囲から、垂直成分が、±(4n+2.0)(た
だし、nは正整数)となる動きベクトルを除外する動き
ベクトル除外手段を設けたことを特徴としている。
レーム予測時の動きベクトル検出範囲から、垂直成分が
±(4n+2.0)となる動きベクトルを除外してベク
トル検出を行う。したがって、輝度成分と色差成分の参
照フィールドが逆パリティとなる状況を回避してベクト
ル検出が行えるので、動き量による予測の色差成分にず
れが生ずるのが抑制され、色差成分の画質劣化が押さえ
られる。
ル検出装置の実施の形態の構成ブロック図である。
検出装置は、参照する画像(参照画像)を格納するフレ
ームメモリ1と、符号化する画像(符号化画像)を格納
するフレームメモリ2と、フレームメモリ1の参照画像
を16画素×16ラインのマクロブロックに分割するマ
クロブロック化処理部3と、フレームメモリ2の符号化
画像を16画素×16ラインのマクロブロックに分割す
るマクロブロック化処理部4と、参照画像のマクロブロ
ックと符号化画像のマクロブロックとに基づき予測誤差
を計算する予測誤差計算部5と、フレーム予測で得られ
た予測誤差とフィールド予測で得られた予測誤差との大
小比較を行って動きベクトルを検出し、出力する予測誤
差比較部6とを備える動きベクトル検出装置において、
マクロブロック化処理部3に与える動きベクトル検出範
囲8について本実施形態の除外処理を行う判断部7を設
けてある。
ら、動きベクトル検出範囲8が入力するとともに、予測
モード9が入力する。予測モード9は、予測がフレーム
予測であるかフィールド予測であるかを示すものであ
る。それらの内容については、前述したので、説明を省
略する。
であるとき、動きベクトル検出範囲8について所定の除
外操作を行うようになっている。したがって、判断部7
は、請求項における動きベクトル除外手段に対応してい
る。
動きベクトル検出装置の動作を説明する。なお、図2
は、本実施形態の動きベクトル検出装置の動作フローチ
ャートである。
御部から動きベクトル検出範囲8が入力する(ステップ
S1)。
測であるときは(ステップS2;No)、動きベクトル
検出範囲8をそのまま動きベクトル検出処理に渡す(ス
テップS4)。
ム予測であるときは(ステップS2;Yes)、動きベ
クトル検出範囲8が、動きベクトルの垂直成分で、…,
−10.0,−6.0,−2.0,+2.0,+6.
0,+10.0,…のように、±(4n+2.0)とな
る動きベクトルを監視する(ステップS3)。ただし、
nは正整数である。
n+2.0)ではない動きベクトルのみ(ステップS
3;No)を動きベクトル検出処理に渡す(ステップS
4)。即ち、判断部7は、垂直成分が、±(4n+2.
0)である動きベクトルを除外する。判断部7が出力す
る動きベクトル検出範囲は、マクロブロック化処理部3
に入力する。
処理は、フレームメモリ1,2とマクロブロック化処理
部3,4と予測誤差計算部5と予測誤差比較部6の全体
で行われる。
では、以上のようにして本実施形態の動きベクトル検出
範囲の制限を受けて行うフレーム予測の動きベクトルの
検出と、本実施形態の対象外である従来の方法によるフ
ィールド予測の動きベクトルの検出とが行われるが、こ
こではフレーム予測時の検出動作を念頭に置いて説明す
る。
像は、既にMPEG−2の方式で高能率符号化された
4:2:0フォーマットの画像であり、フレームメモリ
2の符号化画像は、これからMPEG−2の方式で高能
率符号化する4:2:0フォーマットの画像である。つ
まり、両画像とも、トップフィールドとボトムフィール
ドとからなり、輝度成分と2つの色差成分とで構成され
る。
モリ2の符号化画像の輝度成分から16画素×16ライ
ンのマクロブロックを切り出す。またマクロブロック化
処理部3は、フレームメモリ1の参照画像の輝度成分か
ら、判断部7から入力する動きベクトル検出範囲の各動
きベクトルだけ位置シフトした16画素×16ラインの
マクロブロックを切り出す。
ブロックと参照マクロブロックのブロックマッチングを
行い、即ち、符号化マクロブロックと参照マクロブロッ
クの各輝度成分画素の差分の絶対値累積和で表される予
測誤差を計算する。そして、予測誤差比較部6が、本実
施形態の動きベクトル検出範囲に制限を受けて検出した
フレーム予測の動きベクトルと、従来方法で検出したフ
ィールド予測の動きベクトルとを比較し、予測誤差が最
小となる予測モードをその符号化マクロブロックの動き
ベクトルとして出力する。
部6の比較結果、フレーム予測の動きベクトルが選択さ
れ、出力されても、輝度成分と色差成分の参照フィール
ドが逆パリティとなる状況を回避してベクトル検出が行
われたので、復号器では、動き量による予測の色差成分
にずれが生ずることなく、色差成分の画質劣化が目立た
ないように復元できる。
すると、色差情報が多く、つまり鮮度が高く、かつ、動
き量が大きい画像において顕著な画質改善効果が得られ
た。特に、視覚的に目立ちやすい赤色が動く画像では、
色の乱れが大きく改善されたのが確認できた。
フレーム予測のとき輝度成分と色差成分の参照フィール
ドのパリティが異なるベクトルをベクトル探索範囲から
除外するので、色情報の劣化を改善することができる。
フレーム予測時の動きベクトル検出を色差成分を用いて
行うのを追加するのではなく、輝度成分のみを用いた従
来方式の動きベクトル検出において動きベクトル検出範
囲から一部除外するだけで実現できるので、従来方式と
比較しても回路規模が大きくならず、容易に導入でき
る。
を示すブロック図である。
ーチャートである。
差標本の平面位置関係図(x−y平面)である。
差標本の時間位置関係図(y−t断面)である。
の値による参照フィールドと符号化フィールドのパリテ
ィを示す図である。
2.0の場合)の説明図である。
Claims (1)
- 【請求項1】 画面形式として2:1インターレース、
信号形式として輝度信号と2つの色差信号を持つコンポ
ーネント形式であって、かつ、前記2つの色差信号が垂
直方向に2分の1に間引きされた形式を持つテレビジョ
ン信号について、前記輝度信号と前記2つの色差信号の
第1フィールドと第2フィールドを1ラインおきに構成
してフレームを形成し、該フレームに形成された輝度信
号で動きベクトルを検出し、該検出された動きベクトル
を前記2つの色差信号にも適用することを前提とした動
きベクトル検出装置において、 動きベクトルの垂直成分の大きさを前記フレームに形成
された輝度信号の走査線間隔を単位として表すとき、フ
レーム予測時の動きベクトル検出範囲から、垂直成分
が、±(4n+2.0)(ただし、nは正整数)となる
動きベクトルを除外する動きベクトル除外手段、 を設けたことを特徴とする動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000047799A JP3712906B2 (ja) | 2000-02-24 | 2000-02-24 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000047799A JP3712906B2 (ja) | 2000-02-24 | 2000-02-24 | 動きベクトル検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001238228A true JP2001238228A (ja) | 2001-08-31 |
JP3712906B2 JP3712906B2 (ja) | 2005-11-02 |
Family
ID=18569990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000047799A Expired - Fee Related JP3712906B2 (ja) | 2000-02-24 | 2000-02-24 | 動きベクトル検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3712906B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1622387A2 (en) | 2004-07-27 | 2006-02-01 | Fujitsu Limited | Motion estimation and compensation device with motion vector correction based on vertical component values |
US7650032B2 (en) | 2003-08-19 | 2010-01-19 | Panasonic Corporation | Method for encoding moving image and method for decoding moving image |
US7809062B2 (en) | 2002-09-06 | 2010-10-05 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
-
2000
- 2000-02-24 JP JP2000047799A patent/JP3712906B2/ja not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8660184B2 (en) | 2002-09-06 | 2014-02-25 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US9001894B2 (en) | 2002-09-06 | 2015-04-07 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US8665956B2 (en) | 2002-09-06 | 2014-03-04 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US8665957B2 (en) | 2002-09-06 | 2014-03-04 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US7826532B2 (en) | 2002-09-06 | 2010-11-02 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US8068542B2 (en) | 2002-09-06 | 2011-11-29 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US8509307B2 (en) | 2002-09-06 | 2013-08-13 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US8654851B2 (en) | 2002-09-06 | 2014-02-18 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US9549192B2 (en) | 2002-09-06 | 2017-01-17 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US9544609B2 (en) | 2002-09-06 | 2017-01-10 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US7809062B2 (en) | 2002-09-06 | 2010-10-05 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US8861604B2 (en) | 2002-09-06 | 2014-10-14 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US8976868B2 (en) | 2002-09-06 | 2015-03-10 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US9432677B2 (en) | 2002-09-06 | 2016-08-30 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US9124886B2 (en) | 2002-09-06 | 2015-09-01 | Fujitsu Limited | Motion picture encoding device and motion picture decoding device |
US7650032B2 (en) | 2003-08-19 | 2010-01-19 | Panasonic Corporation | Method for encoding moving image and method for decoding moving image |
EP2026584A1 (en) | 2004-07-27 | 2009-02-18 | Fujitsu Microelectronics Limited | Motion estimation and compensation device with motion vector correction based on vertical component values |
EP1622387A2 (en) | 2004-07-27 | 2006-02-01 | Fujitsu Limited | Motion estimation and compensation device with motion vector correction based on vertical component values |
Also Published As
Publication number | Publication date |
---|---|
JP3712906B2 (ja) | 2005-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5973755A (en) | Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms | |
JP4145275B2 (ja) | 動きベクトル検出・補償装置 | |
US7212573B2 (en) | Method and/or apparatus for determining minimum positive reference indices for a direct prediction mode | |
US5745183A (en) | Image motion estimation system which derives candidate block from interpolated motion vectors | |
US20130329796A1 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
JP2001169288A (ja) | 動きベクトル探索装置および方法 | |
JP2008219876A (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
JPH07115646A (ja) | 画像処理装置 | |
JP2004120732A (ja) | 動画像符号化装置及び動画像復号装置 | |
JPS62128683A (ja) | 画像信号変換装置 | |
JP2000050212A (ja) | 画像表示装置及び画像表示方法 | |
JP4509809B2 (ja) | ディジタル画像復号装置及び方法 | |
JP2001238228A (ja) | 動きベクトル検出装置 | |
JP4158442B2 (ja) | 動画像符号化方法及び動画像復号方法 | |
JP2947103B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP4250598B2 (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
JP4144339B2 (ja) | 動画像符号化方法及び動画像複号化方法 | |
US7415068B2 (en) | Process for the format conversion of an image sequence | |
JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
JP3946722B2 (ja) | 動画像符号化装置 | |
JP2925046B2 (ja) | 動画像の動き補償予測方法 | |
JPH10126749A (ja) | 順次走査変換装置 | |
JPH0795590A (ja) | 映像信号処理装置、映像信号処理方法及び撮像装置 | |
JP3946723B2 (ja) | 動画像符号化装置 | |
JPH0715654A (ja) | 静止画像合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050818 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |