JP2002094987A - 映像信号符号化装置 - Google Patents

映像信号符号化装置

Info

Publication number
JP2002094987A
JP2002094987A JP2000280534A JP2000280534A JP2002094987A JP 2002094987 A JP2002094987 A JP 2002094987A JP 2000280534 A JP2000280534 A JP 2000280534A JP 2000280534 A JP2000280534 A JP 2000280534A JP 2002094987 A JP2002094987 A JP 2002094987A
Authority
JP
Japan
Prior art keywords
motion vector
video signal
image
motion
code amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000280534A
Other languages
English (en)
Inventor
Yasushi Nakagawa
裕史 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2000280534A priority Critical patent/JP2002094987A/ja
Publication of JP2002094987A publication Critical patent/JP2002094987A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 従来は、複雑な背景画像などでは、背景画像
に符号量がとられ、撮影対象画像の画質劣化を招くこと
があり、また、撮影対象画像と背景画像の境界付近での
誤検出による動きベクトルの暴れにより、画質劣化を招
くことがある。 【解決手段】 動きベクトル検出回路13は、入力映像
信号に対してサブサンプリングを行って得られた複数階
層の画像信号に対して上位階層からの動きベクトルを入
力として各階層で設定されている探索範囲についてブロ
ック単位で動きベクトルを検出する。また、動きベクト
ル検出回路13は、最上位の階層の動きベクトルの発生
頻度を求め、この中で最も大きい発生頻度の動きベクト
ルを代表動きベクトルとして抽出し、最下位階層の各ブ
ロックの動きベクトルと、正規化された代表動きベクト
ルの二乗誤差値を計算し、更に画像中心方向にいく程大
きくなる重み付けがなされた符号量制御パラメータを生
成して符号量制御部14へ出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像信号符号化装置
に係り、特にMPEG(Moving Picture ExpertsGrou
p)等の符号化方式を用いた映像信号符号化装置に関す
る。
【0002】
【従来の技術】図9は従来の映像信号符号化装置の一例
のブロック図を示す。この従来の映像信号符号化装置
は、MPEG符号化方式を採用した符号化装置である。
なお、MPEG方式自体については、ISO-IEC1172-2,IT
U-TH.262/ISO-IEC13818-2に詳細な説明がなされている
ので、ここでは概略のみ説明する。
【0003】符号化装置に入力された映像信号は、まず
フレームメモリ1に供給されて記憶される。フレームメ
モリ1には複数フレームの映像信号が記憶される。記憶
された映像信号は輝度信号が水平方向16画素、垂直方
向16画素の単位のブロックで、また2種類の色信号
(Cb/Cr)がそれぞれ縦方向にサブサンプリング
し、それぞれ水平方向8画素、垂直方向8画素のブロッ
クとして処理される。
【0004】動きベクトル検出回路2は、フレームメモ
リ1から読み出された映像信号と、後述のフレームメモ
リ10から読み出されたフレーム(フィールド)のロー
カルデコードされた再生映像信号とを入力として受け、
フレーム間(フィールド間)予測の動きベクトルを検出
し出力する。予測の方向は、過去、未来、両方の3モー
ド存在する。予測方向は入力映像信号に与えられたピク
チャタイプによって決定される。
【0005】ピクチャタイプには、過去からの予測と、
予測をしないでそのマクロブロックを独立に符号化する
2モード存在するPピクチャ(Predictive-coded Pictu
re:フレーム間順方向予測符号化画像)と、未来からの
予測、過去からの予測、両法からの予測、独立で符号化
する4モード存在するBピクチャ(Bidirectionallypre
dictive-coded picture:双方向予測符号化画像)と、す
べてのマクロブロックを独立で符号化するIピクチャ
(Intra-coded Picture:フレーム内符号化画像)とがあ
る。
【0006】動き補償回路3は、この動きベクトルとフ
レームメモリ10より読み出された再生映像信号を入力
とし、マクロブロック単位でパターンマッチングを行っ
て動き補償を行い、動き補償映像信号と動きベクトル、
予測モードを出力する。
【0007】減算器4はフレームメモリ1から読み出さ
れた映像信号と、動き補償映像信号を入力として受け、
これらの信号の減算を行い差分映像信号を出力する。D
CT器5は、この差分映像信号を入力とし、離散コサイ
ン変換(DCT:Discrete Cosine Transform)を行
い、DCT係数を出力する。量子化回路6はDCT器5
から出力されたDCT係数と、後述の符号量制御部12
からの量子化パラメータを入力として受け、量子化を行
い量子化信号を出力する。この量子化は、量子化マトリ
ックスという8×8の2次元周波数を視覚特性で重み付
けした値と、その全体をスカラー倍する量子化スケール
という値で乗算した値を量子化値として、DCT係数を
その量子化値で除算する。
【0008】逆量子化回路7は量子化回路6から出力さ
れた量子化信号を入力とし、上記の量子化値で量子化信
号を乗算することにより、元のDCT係数に近似した値
を出力する。逆DCT器8は、逆量子化回路7から出力
された信号を入力として受け、逆DCTを行い差分映像
信号を出力する。加算器9は、逆DCT器8から出力さ
れた差分映像信号と動き補償回路3から出力された動き
補償映像信号とを入力とし、これらの信号の加算を行
い、再生映像信号を出力する。
【0009】フレームメモリ10は、加算器9からの再
生映像信号を入力として受けて記憶した後、ローカルデ
コードされた再生映像信号として動きベクトル検出回路
2及び動き補償回路3に供給する。IピクチャとPピク
チャは、後で動き補償予測の参照信号として用いる再生
画像が必要なため、逆量子化回路7、逆DCT器8のロ
ーカルデコードを行うのである。
【0010】一方、量子化回路6から出力された量子化
信号は、可変長符号化回路11にも供給され、ここで、
動き補償回路3からの動きベクトル及び予測モードに基
づき、可変長符号化されて映像符号化信号(ビットスト
リーム)として図示しないバッファに蓄えられた後、一
定速度で出力される。また、可変長符号化回路11は、
映像符号化信号のマクロブロック毎の発生符号量を符号
量制御部12に供給し、画面内の各マクロブロックに対
する割り当て符号量を計算させ、それに応じた量子化パ
ラメータを量子化回路6へ出力させる。
【0011】このような、従来の映像信号符号化装置に
おいて、一般的に入力となる映像信号の画像は撮影対象
画像と背景画像に大別され、例えば、動的な撮影対象画
像に対してカメラで追尾した場合、背景画像は一様の方
向に動き、撮影対象画像の動きは小さくなる。また、撮
影対象画像は画面の中心部に位置される事が多く、人間
の視覚特性においても画面の中心に注視力が高くなる傾
向がある。
【0012】
【発明が解決しようとする課題】しかしながら、従来の
映像信号符号化装置では、撮影対象画像と背景画像及び
画面の位置に関して、十分な考慮がなされていないた
め、複雑な背景画像などでは、背景画像に符号量がとら
れ、撮影対象画像に十分な符号量が割り当てられず、撮
影対象画像の画質劣化を招くことがある。
【0013】また、例えば、動的な撮影対象画像をカメ
ラで追尾した場合、特に撮影対象画像と背景画像の境界
付近での誤検出による動きベクトルの暴れにより、画質
劣化を招くことがある。また、静的な撮影対象物に対す
る、カメラのパーニングなどによる画面全体の一様な動
きに対しても同様に、誤検出による動きベクトルの暴れ
によって、画質の劣化を招くことがある。特に、この傾
向は画像の割り当て符号量が少ない時に顕著になる。
【0014】本発明は以上の点に鑑みなされたもので、
複雑な背景等による撮影対象画像の割り当て符号量の減
少を抑え、もって撮影対象画像の画質劣化を改善し得る
映像信号符号化装置を提供することを目的とする。
【0015】また、本発明の他の目的は、割り当て符号
量が少ない時の画質劣化を抑制し得る映像信号符号化装
置を提供することにある。
【0016】
【課題を解決するための手段】本発明は上記の目的を達
成するため、ブロック化された入力映像信号と、ローカ
ルデコードされた再生映像信号とを入力信号として受
け、外部または内部で設定されたフレーム間(フィール
ド間)予測の動きベクトルを検出して出力すると共に、
サブサンプリング画像及び原画像の動きベクトルから求
められた符号量制御パラメータを出力する動きベクトル
検出回路と、動きベクトルに基づき、再生映像信号の動
き補償を行い、動き補償映像信号と動きベクトル、予測
モードを出力する動き補償回路と、ブロック化された入
力映像信号と動き補償回路からの動き補償映像信号との
減算により差分映像信号を出力する減算器と、差分映像
信号から求めたDCT係数を、量子化パラメータに応じ
た量子化幅で量子化して量子化信号を出力する量子化手
段と、量子化信号からローカルデコードされた再生映像
信号を生成する再生映像信号生成手段と、量子化信号を
動き補償回路からの動きベクトル及び予測モードに基づ
いて、映像符号化信号を生成して出力すると共に発生符
号量を出力する符号化回路と、符号化回路からの発生符
号量と動きベクトル検出回路からの符号量制御パラメー
タに基づき、画面内の各ブロックに対する割り当て符号
量を計算し、それに応じた量子化パラメータを出力する
符号量制御部とを有する映像信号符号化装置であって、
動きベクトル検出回路を、ブロック化された入力映像信
号に対してサブサンプリングを行って得られた複数階層
の画像信号に対して上位階層からの動きベクトルを入力
として各階層で設定されている探索範囲についてブロッ
ク単位で動きベクトルを検出し、最上位の階層の動きベ
クトルの発生頻度を求め、この発生頻度の中で最も大き
い発生頻度の動きベクトルを画像の代表動きベクトルと
して抽出し、最下位階層の各ブロックの動きベクトル
と、正規化された代表動きベクトルとの二乗誤差値を計
算し、更に画像中心方向にいく程大きくなる重み付けが
なされた符号量制御パラメータを生成して出力する構成
としたものである。
【0017】本発明では、サブサンプリングを行った映
像信号に対し、動きベクトル検出を行い、求めた動きベ
クトルに対して、映像の座標位置に応じた重み付けを行
なった発生頻度を求め、この発生頻度により背景の代表
の大局的な動きベクトルを抽出し、原画像に対し動きベ
クトル検出を行い、求めた動きベクトルと上記抽出され
た動きベクトルを正規化し、これに対して二乗誤差値を
算出し、更に座標位置に応じた重み付けを行なった各マ
クロブロック単位の符号化パラメータを求め、これを用
いて、画面内の符号量割り当てを行う。
【0018】この発明では、動きベクトル検出回路が、
最下位階層の各ブロックの動きベクトルと、正規化され
た代表動きベクトルの二乗誤差値を計算し、更に画像中
心方向にいく程大きくなる重み付けがなされた符号量制
御パラメータを生成して符号量制御部へ供給し、この符
号量制御部で符号量制御パラメータに基づき、画面内の
各ブロックに対する割り当て符号量を計算し、それに応
じた量子化パラメータを出力させるようにしたため、画
像中心から遠い位置にある背景画像に比べて画面中央及
びその付近の撮影対象画像の割り当て符号量を大きくす
ることができる。
【0019】また、本発明は上記の目的を達成するた
め、ブロック化された入力映像信号と、ローカルデコー
ドされた再生映像信号とを入力信号として受け、外部ま
たは内部で設定されたフレーム間(フィールド間)予測
の動きベクトルを検出して出力する動きベクトル検出回
路と、再生映像信号と割り当て符号量と予測の動きベク
トルとを入力として受け、再生映像信号の動き補償を行
い、動き補償映像信号と動きベクトル、予測モードを出
力する動き補償回路と、ブロック化された入力映像信号
と動き補償回路からの動き補償映像信号との減算により
差分映像信号を出力する減算器と、差分映像信号から求
めたDCT係数を、量子化パラメータに応じた量子化幅
で量子化して量子化信号を出力する量子化手段と、量子
化信号からローカルデコードされた再生映像信号を生成
する再生映像信号生成手段と、量子化信号を動き補償回
路からの動きベクトル及び予測モードに基づいて、映像
符号化信号を生成して出力すると共に発生符号量を出力
する符号化回路と、符号化回路からの発生符号量に基づ
き計算した、画面内の各ブロックに対する割り当て符号
量と、それに応じた量子化パラメータを出力する符号量
制御部とを有する映像信号符号化装置であって、動きベ
クトル検出回路を、ブロック化された入力映像信号に対
してサブサンプリングを行って得られた複数階層の画像
信号に対して上位階層からの動きベクトルを入力として
各階層で設定されている探索範囲についてブロック単位
で動きベクトルを検出し、最上位の階層の動きベクトル
に対して画像の中心から離れるほど大なる重み付けをし
た第1の発生頻度と、画像の中心にいくほど大なる重み
付けをした第2の発生頻度を求め、これら第1及び第2
の発生頻度のそれぞれについて最も大きい発生頻度の動
きベクトルを画像の第1及び第2の代表動きベクトルと
して抽出して出力する構成としたものである。
【0020】また、この発明では、動き補償回路を、最
下位階層の各ブロックの動きベクトルと、正規化された
第1の代表動きベクトル又は正規化された第2の代表動
きベクトルとの二乗誤差値をそれぞれ計算して判定基準
となるパラメータを生成し、このパラメータと、符号量
制御部から出力された正規化された割り当て符号量との
比較判定結果に応じた動き補償映像信号、動きベクトル
及び予測モードをそれぞれ生成して出力する構成とした
ものである。
【0021】この発明では、動きベクトル検出回路にお
いて、画像の中心から離れるほど大なる重み付けをした
第1の発生頻度のうち最も大きい発生頻度の動きベクト
ルを画像の第1の代表動きベクトルとし、画像の中心に
いくほど大なる重み付けをした第2の発生頻度のうち最
も大きい発生頻度の動きベクトルを画像の第2の代表動
きベクトルを生成し、これら第1の代表動きベクトルを
背景画像の代表動きベクトルとし、第2の代表動きベク
トルを撮影対象画像の代表動きベクトルとして動き補償
の動きベクトル候補に加えるようにしたため、動きベク
トルの暴れを抑制することができる。
【0022】更に、本発明は、動きベクトル検出回路
が、複数階層の画像信号のうち、最下位の階層の画像信
号をローカルデコードされた再生映像信号とし、最下位
以外の階層の画像信号を、入力映像信号をサブサンリン
グし、かつ、上位の階層の画像信号ほど縮小率が大きな
縮小画像信号とし、上位階層からの動きベクトルを入力
として各階層で設定されている探索範囲についてブロッ
ク単位で動きベクトルを検出することを特徴とする。こ
の発明では、最下位の階層で求められる最終的な動きベ
クトルは動き補償で用いられるので、参照画像としてロ
ーカルデコードされた再生画像を使用することにより、
動き補償の予測誤差を減少させることができる。
【0023】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図1は本発明になる映像信号符
号化装置の第1の実施の形態のブロック図を示す。同図
中、図9と同一構成部分には同一符号を付し、その説明
を省略する。この実施の形態は圧縮符号化方式としてM
PEG2方式を用いるが、MPEG2については、ITU-
TH.262/ISO-IEC13818-2に詳細な説明がなされているの
で、ここでは概略のみ説明する。
【0024】図1において、動きベクトル検出回路13
は、フレームメモリ1から読み出されたブロック化され
た映像信号と、フレームメモリ10から読み出されたフ
レーム(フィールド)のローカルデコードされた再生映
像信号とを入力信号として受け、外部または内部で設定
された、フレーム間(フィールド間)予測の動きベクト
ルを検出し、出力する。更に、動きベクトル検出回路1
3は、サブサンプリング画像及び原画像の動きベクトル
から求められた符号量制御パラメータを出力する。
【0025】動き補償回路3は、動きベクトルとフレー
ムメモリ10より読み出された再生映像信号を入力と
し、動き補償を行い、正規化された映像ビットレート信
号より、動き補償映像信号と動きベクトル、予測モード
が出力される。減算器4において、フレームメモリ1か
ら読み出された映像信号と動き補償映像信号との減算に
より得られた差分映像信号は、DCT器5でDCT係数
とされ、量子化回路6で符号量制御部14からの量子化
パラメータに応じた量子化幅で量子化されて量子化信号
される。
【0026】可変長符号化回路11では量子化信号及び
動きベクトル、予測モードとを入力とし、これらを可変
長符号化し映像符号化信号(ビットストリーム)及び発
生符号量を出力する。符号量制御部14は発生符号量と
動きベクトル検出回路13からの後述の符号量制御パラ
メータを入力とし、画面内の各マクロブロックに対する
割り当て符号量を計算し、それに応じた量子化パラメー
タを出力する。
【0027】次に本実施の形態の動きベクトル検出につ
いて説明する。動きベクトル検出方法は、各種検討され
ており、その中で実時間処理に適した手法として階層型
動きベクトル検出法が挙げられる。この階層型動きベク
トル検出法は、動き補償を行う入力画像と比較画像を階
層毎に水平、垂直各方向にサブサンプリングを行い、上
位の階層程小さな縮小画像を作成する。そして、上位階
層で縮小画像に対し、広い範囲の大きい動きベクトルを
粗く求め、上位階層では、下位階層で求められた動きベ
クトルを上位階層のレンジに正規化し、この動きベクト
ルで示された位置を中心として、更に探索を行い動きベ
クトルを求める方法である。この階層型動きベクトル検
出法により、動きベクトルを広い探索範囲で効率良く検
出することができる。
【0028】図2はこの階層型動きベクトル検出法を応
用した本実施の形態のベクトル検出の概念図である。本
実施の形態では、図2に示すように上位階層からMVD
1、MVD2、MVD3の3つの階層について動きベク
トルを検出する。それぞれの階層に用いられる入力画像
及び参照画像は上位階層から1/4(MVD1)のサブ
サンプルした縮小画像、1/2(MVD2)のサブサン
プルした縮小画像、等倍(MVD3)の画像である。参
照画像は、MDV1、MVD2が原画像を、MVD3が
ローカルデコードされた再生画像を使用している。
【0029】一般的に参照画像に原画像を用いると真の
動きに近いものを求めることができる。しかし、MVD
3で求められる最終的な動きベクトルは動き補償で用い
られるので、動き補償の予測誤差を減少させるため、参
照画像はローカルデコードされた再生画像を使用してい
る。
【0030】まず、最上位の階層のMVD1で座標
(0,0)を中心として所定の探索範囲についてブロッ
ク単位で動きベクトル検出を行う。中位の階層MVD2
では上位階層MVD1で求められたそれぞれの動きベク
トルを正規化し、動きベクトルが示す位置を中心として
所定の探索範囲についてブロック単位で動きベクトルを
検出し、出力する。
【0031】最下位の階層のMVD3では動きベクトル
を正規化し、動きベクトルが示す位置を中心として、所
定の探索範囲についてブロック単位で動きベクトル検出
を行い、最終的な動きベクトルを求める。そして、MV
D3、MVD2それぞれの動きベクトルは動き補償回路
3に入力される。
【0032】本実施の形態の動きベクトル検出では、例
えばサブサンプリングされた画像に対して、最上位の階
層のMVD1で検出された動きベクトル(mv1x,mv1y)
に対して、図3の縦軸に示すような発生頻度Nを求め
る。ここで、探索画像の(x,y)座標の中心が(0,
0)である。
【0033】この発生頻度Nに対しては、画像の位置に
よって重み付けを行う。例として、図4に示す様に画像
中心位置にくるブロックの座標を(0,0)とし、この
座標に応じた重み付けがなされる。ここでは、図4に示
すように、画像の中心から離れるに従い重み付けが大き
くなる。以下に検出された動きベクトル(mv1x,mv1y)
に対する発生頻度N(mv1x,mv1y)の算出例を示す。
【0034】 N(mv1x,mv1y)=Σ((x2+y2+ost1)×ws1) (1) ただし、(1)式中、x,yは動きベクトル(mv1x,mv
1y)が検出されたブロックのx座標とy座標、ws1は
重み付け定数、ost1は、オフセット定数を示す。
【0035】この発生頻度N(mv1x,mv1y)が最も大き
い動きベクトルを画像の代表動きベクトルとする。本発
明の実施の形態では、更に画面の周辺部に行くほど大と
なる重み付けをしているので、代表動きベクトルは背景
の動きベクトルとして検出されやすい。
【0036】次に本発明の動きベクトル検出回路13で
は、例えば最下位階層MVD3で最終的に求められた各
ブロックの動きベクトル(mv3x,mv3y)と、正
規化された代表動きベクトル(mvs1x,mvs1
y)の二乗誤差値を計算し符号量制御パラメータとす
る。この算出に際しては、図5に示すように画像の中心
にいくほど大なる重み付けを行う。以下にブロック座標
(x,y)に於ける符号量制御パラメータRp(x,
y)の算出例を示す。
【0037】 Rp(x,y)=((mvs1x−mv3x)2+(mvs1y−mv3y)2)×Ws2 /(x2+y2+ost2) (2) ただし、(2)式中、ws2は重み付け定数、ost2はオフ
セット定数である。
【0038】この符号量制御パラメータRp(x,y)
は画像中心方向にいく程大きくなる重み付けがされお
り、撮影対象画像に重み付けがされやすい。そして、こ
の符号量制御パラメータを用いて画面内の符号量配分を
制御することにより、撮影対象画像に対して、より符号
量を割り当てることができ、撮影対象画像の画質劣化の
改善が可能となる。
【0039】図6は図1中の動きベクトル検出回路13
の一実施の形態のブロック図を示す。同図において、サ
ブサンプリング部15はフレームメモリ1から読み出さ
れた原映像信号を入力として受け、この入力映像信号を
サブサンプリングして、MVD1、MVD2の各階層で
使用する入力映像信号に対して時間的に前後するフレー
ムの参照画像となる縮小画像信号(1/4縮小画像信号
及び1/2縮小画像信号)をそれぞれ生成し、これらを
フレームメモリ16に出力して記憶させる。フレームメ
モリ16には他にMVD3の入力画像となる原映像信号
と、図1のフレームメモリ10から読み出された、参照
画像となる再生映像信号が記憶される。
【0040】図6の動きベクトル検出部17は上位階層
からフレームメモリ16より必要とされる映像信号を読
み出し、MVD2、MVD3では、メモリ18から読み
出した上位階層からの動きベクトルを入力として各階層
で設定されている探索範囲についてブロック単位で動き
ベクトルを検出し、検出された動きベクトルを出力しメ
モリ18に記録する。代表動きベクトル抽出部19は、
メモリ18から読み出されたMVD1の動きベクトルの
発生頻度を求め、この発生頻度の中で最も大きい発生頻
度の動きベクトルを画像の代表動きベクトルとして抽出
し、出力する。
【0041】符号量制御パラメータ生成部20は、代表
動きベクトル抽出部19から出力される代表動きベクト
ルの正規化を行い、メモリ18から読み出したMVD3
の動きベクトルと共に、前述した(2)式に基づいて、
各ブロックの符号量制御パラメータRp(x,y)を出
力する。
【0042】なお、MVD3の動きベクトルは参照画像
として再生映像信号を用いているが、符号量制御パラメ
ータ生成に用いるMVD3の動きベクトルは、真の動き
に近いものを求めるため、参照画像として原画像を用い
た動きベクトル検出を行い、これを用いることも可能で
ある。
【0043】図1の符号量制御部14では符号量制御パ
ラメータ生成部20から出力された符号量制御パラメー
タRp(x,y)と、可変長符号化回路11から出力さ
れた発生符号量を入力として受け、これらに基づいて画
面内ブロック単位の割り当て符号量を算出し、量子化回
路6へ出力する。この符号量制御としては、例えば、符
号量制御パラメータRp(x,y)を用いないときと比
べて、同一のビットレート出力を想定すると、パラメー
タが小さい時は割り当て符号量を少なく、大きい時は割
り当て符号量を多くし、画面全体のトータルの割り当て
符号量は、符号量制御パラメータRp(x,y)を用い
ない時と同じになるような制御をする。
【0044】このように、本実施の形態では、背景画像
に比べて画面中央及びその付近の撮影対象画像の割り当
て符号量を大きくするようにしたため、複雑な背景画像
等による撮影対象画像の割り当て符号量の減少を抑える
ことができ、これにより撮影対象画像の画質劣化を改善
することができる。
【0045】次に本発明の第2の実施の形態について説
明する。図7は本発明になる映像信号符号化装置の第2
の実施の形態のブロック図を示す。同図中、図1と同一
構成部分には同一符号を付し、その説明を省略する。図
7に示す第2の実施の形態は、動きベクトル検出回路2
1、動き補償回路22に特徴がある。すなわち、動きベ
クトル検出回路21では、例えばサブサンプリングされ
た画像に対して動きベクトル検出MVD1で検出された
動きベクトルに対して、図3に示すような発生頻度Nを
求める。この発生頻度には画像の位置によって重み付け
を行う。例として、図4に示す様に画像中心位置にくる
ブロックの座標を(0,0)とし、この座標に応じた重
み付けがなされる。ここでは、図4に示すように、画像
の中心から離れるに従い重み付けが大きくなる。以下に
検出された動きベクトル(mv1x,mv1y)に対する発生頻
度N1(mv1x,mv1y)の算出例を示す。
【0046】 N1(mv1x,mv1y)=Σ((x2+y2+ost1)×ws1) (3) ただし、(3)式中、x,yは動きベクトル(mv1x,mv
1y)が検出されたブロックのx座標とy座標、ws1は
重み付け定数、ost1は、オフセット定数を示す。こ
の発生頻度N1(mv1x,mv1y)が最も大きい動きベクト
ルを背景画像の代表動きベクトル(mvs1x,mvs1y)とす
る。
【0047】本発明の実施の形態では、更に図5に示す
ように画像の中心にいくほど大なる重み付けを行い、動
きベクトル(mv1x,mv1y)に対する発生頻度N2(mv1
x,mv1y)を求める。以下に算出例を示す。
【0048】 N2(mv1x,mv1y)=Σ(ws2/(x2+y2+ost2)) (4) ただし、(4)式中、x,yは動きベクトル(mv1x,mv
1y)が検出されたブロックのx座標とy座標、ws2は
重み付け定数、ost2は、オフセット定数を示す。こ
の実施の形態では、発生頻度N2(mv1x,mv1y)が最も大き
い動きベクトルの正規化を行い、撮影対象画像の代表動
きベクトル(mvt1x,mvt1y)とする。
【0049】次に、動き補償回路22は、例えば最下位
の階層MVD3で最終的に求められた各ブロックの動き
ベクトル(mv3x,mv3y)と、動きベクトル検出
回路21で抽出された代表動きベクトル(mvs1x,
mvs1y)、(mvt1x,mvt1y)について動
き補償を行う。それぞれの判定パラメータとしては、動
き補償によって生成された動き補償画像(差分値)の二
乗誤差値、ブロックアクティビティ等が考えられる。
【0050】そして、この比較判別には、画像の割り当
て符号量を正規化し、以下に示すような重み付けを行
い、割り当て符号量が小さい時にはより代表動きベクト
ルを選択し易くする。例えば、画像の割り当て符号量の
正規化は、任意の画像の割り当て符号量を0とし、大き
い側で+、小さい側で−の値をとるようにし比較判別す
る。
【0051】 if(Mcs>=Mct){ if(Mct>Mc3+Zr) Mv=(mv3x,m
v3y); else Mv=(mvt1x,mvt1y); } else{ if(Mct>Mc3+Zr) Mv=(mv3x,m
v3y); else Mv=(mvs1x,mvs1y); } Mcs:動きベクトル(mvs1x,mvs1y)で動
き補償を行ったパラメータ Mct:動きベクトル(mvt1x,mvt1y)で動
き補償を行ったパラメータ Mc3:MVD3で求められた動きベクトル(mv3
x,mv3y)で動き補償を行ったパラメータ Mv:比較判別された動きベクトル Zr:画像の割り当て符号量を正規化した重み付け
【0052】以上のように、この実施の形態では、動き
補償の動きベクトル候補に背景画像、撮影対象画像それ
ぞれの代表動きベクトルを加えることで、動きベクトル
の暴れを抑制し、更に、動きベクトルの暴れが画質劣化
につながり易い割り当て符号量の少ない画像ほど代表動
きベクトルを選択し易くすることで画質の劣化を抑制す
るものである。
【0053】次に、図7の動きベクトル検出回路21及
び動き補償回路22の構成及び動作に付いて更に説明す
る。図8は動きベクトル検出回路21及び動き補償回路
22の一実施の形態のブロック図を示す。同図中、図6
と同一構成部分には同一符号を付してある。図8におい
て、サブサンプリング部15はフレームメモリ1から読
み出された原映像信号を入力として受け、この入力映像
信号をサブサンプリングして、MVD1、MVD2の各
階層で使用する入力映像信号に対して時間的に前後する
フレームの参照画像となる縮小画像信号(1/4縮小画
像信号及び1/2縮小画像信号)をそれぞれ生成し、こ
れらをフレームメモリ16に出力して記憶させる。フレ
ームメモリ16には他にMVD3の入力画像となる原映
像信号と、図7のフレームメモリ10から読み出され
た、参照画像となる再生映像信号が記憶される。
【0054】図8の動きベクトル検出部17は上位階層
からフレームメモリ16より必要とされる映像信号を読
み出し、MVD2、MVD3では、メモリ18から読み
出した上位階層からの動きベクトルを入力として各階層
で設定されている探索範囲についてブロック単位で動き
ベクトルを検出し、検出された動きベクトル(mv2x,mv2
y)、(mv3x,mv3y)を出力しメモリ18に格納する。
【0055】代表動きベクトル抽出部25は、メモリ1
8から読み出されたMVD1の動きベクトルの発生頻度
N1(mv1x,mv1y)を(3)式に基づいて求め、また、発生
頻度N2(mv1x,mv1y)を(4)式に基づいて求め、それぞ
れの中で最も大きな発生頻度の動きベクトルを正規化し
て代表動きベクトル(mvs1x,mvs1y)と(mvt1x,mvt1y)を抽
出し、メモリ18にそれぞれ記憶する。
【0056】MVD3で求められた各ブロックの動きベ
クトル(mv3x,mv3y)と各代表動きベクトル(mvs1x,mvs1y)
及び(mvt1x,mvt1y)がメモリ18より読み出され、動き
補償回路22内の動き補償部26に入力される。動き補
償部26では各代表動きベクトルの正規化を行い、それ
ぞれの動きベクトルと再生映像信号を入力とし、動き補
償予測を行い、判定基準となるパラメータMcs及びM
ctを出力する。
【0057】比較判定部27は、動き補償部26から出
力されたこれらパラメータMcs及びMctと、図7の
符号量制御部23から出力された正規化された割り当て
符号量とを入力として受け、上記比較判定を行い結果を
出力する。動き補償部26はこの判定結果を入力とし
て、この結果に応じた動き補償映像信号、動きベクト
ル、予測モードをそれぞれ生成し、動き補償映像信号は
図7の減算器4へ出力し、動きベクトルと予測モードは
可変長符号化回路11へ出力する。
【0058】このように、本実施の形態では、動き補償
の動きベクトル候補に背景画像、撮影対象画像それぞれ
の代表動きベクトルを加えるようにしたため、動きベク
トルの暴れを抑えることができ、更に割り当て符号量の
少ない画像ほど代表動きベクトルを選択し易くするよう
にしたため、画質劣化を改善することができる。
【0059】
【発明の効果】以上説明したように、本発明によれば、
動きベクトル検出回路が、最下位階層の各ブロックの動
きベクトルと、正規化された代表動きベクトルの二乗誤
差値を計算し、更に画像中心方向にいく程大きくなる重
み付けがなされた符号量制御パラメータを生成して符号
量制御部へ供給することにより、画像中心から遠い位置
にある背景画像に比べて画面中央及びその付近の撮影対
象画像の割り当て符号量を大きくするようにしたため、
複雑な背景等による撮影対象の割り当て符号量の減少を
抑え、撮影対象の画質劣化を改善することができる。
【0060】また、本発明によれば、動きベクトル検出
回路において、背景画像の代表動きベクトルと撮影対象
画像の代表動きベクトルとを、動き補償の動きベクトル
候補に加えることにより、動きベクトルの暴れを抑制す
るようにしたため、動きベクトルの暴れによる画質の劣
化を改善することができ、特に、動きベクトルの暴れが
画質劣化につながり易い割り当て符号量の少ない画像ほ
ど代表動きベクトルを選択し易くすることにより、画質
の劣化を効果的に抑制することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のブロック図であ
る。
【図2】本発明による動きベクトル検出の概念図であ
る。
【図3】動きベクトルの発生頻度の説明図である。
【図4】動きベクトル発生頻度算出の重み付けの一例を
示す図である。
【図5】符号量制御パラメータ算出の重み付けの一例を
示す図である。
【図6】図1中の動きベクトル検出回路の一実施の形態
のブロック図である。
【図7】本発明の第2の実施の形態のブロック図であ
る。
【図8】図7中の動きベクトル検出回路及び動き補償回
路の一実施の形態のブロック図である。
【図9】従来の映像信号符号化装置の一例のブロック図
である。
【符号の説明】
1、10、16 フレームメモリ 3、22 動き補償回路 4 減算器 5 DCT器 6 量子化回路 7 逆量子化回路 8 逆DCT器 11 可変長符号化回路 13、21 動きベクトル検出回路 14、23 符号量制御部 15 サブサンプリング部 17 動きベクトル検出部 18 メモリ 19、25 代表動きベクトル検出部 20 符号量制御パラメータ生成部 26 動き補償部 27 比較判定部

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 ブロック化された入力映像信号と、ロー
    カルデコードされた再生映像信号とを入力信号として受
    け、外部または内部で設定されたフレーム間(フィール
    ド間)予測の動きベクトルを検出して出力すると共に、
    サブサンプリング画像及び原画像の動きベクトルから求
    められた符号量制御パラメータを出力する動きベクトル
    検出回路と、 前記動きベクトルに基づき、前記再生映像信号の動き補
    償を行い、動き補償映像信号と動きベクトル、予測モー
    ドを出力する動き補償回路と、 前記ブロック化された入力映像信号と前記動き補償回路
    からの動き補償映像信号との減算により差分映像信号を
    出力する減算器と、 前記差分映像信号から求めたDCT係数を、量子化パラ
    メータに応じた量子化幅で量子化して量子化信号を出力
    する量子化手段と、 前記量子化信号から前記ローカルデコードされた再生映
    像信号を生成する再生映像信号生成手段と、 前記量子化信号を前記動き補償回路からの動きベクトル
    及び予測モードに基づいて、映像符号化信号を生成して
    出力すると共に発生符号量を出力する符号化回路と、 前記符号化回路からの前記発生符号量と前記動きベクト
    ル検出回路からの前記符号量制御パラメータに基づき、
    画面内の各ブロックに対する割り当て符号量を計算し、
    それに応じた前記量子化パラメータを出力する符号量制
    御部とを有する映像信号符号化装置であって、前記動き
    ベクトル検出回路は、前記ブロック化された入力映像信
    号に対してサブサンプリングを行って得られた複数階層
    の画像信号に対して上位階層からの動きベクトルを入力
    として各階層で設定されている探索範囲についてブロッ
    ク単位で動きベクトルを検出し、最上位の階層の動きベ
    クトルの発生頻度を求め、この発生頻度の中で最も大き
    い発生頻度の動きベクトルを画像の代表動きベクトルと
    して抽出し、最下位階層の各ブロックの前記動きベクト
    ルと、正規化された代表動きベクトルとの二乗誤差値を
    計算し、更に画像中心方向にいく程大きくなる重み付け
    がなされた前記符号量制御パラメータを生成して出力す
    ることを特徴とする映像信号符号化装置。
  2. 【請求項2】 ブロック化された入力映像信号と、ロー
    カルデコードされた再生映像信号とを入力信号として受
    け、外部または内部で設定されたフレーム間(フィール
    ド間)予測の動きベクトルを検出して出力する動きベク
    トル検出回路と、 前記再生映像信号と割り当て符号量と前記予測の動きベ
    クトルとを入力として受け、前記再生映像信号の動き補
    償を行い、動き補償映像信号と動きベクトル、予測モー
    ドを出力する動き補償回路と、 前記ブロック化された入力映像信号と前記動き補償回路
    からの動き補償映像信号との減算により差分映像信号を
    出力する減算器と、 前記差分映像信号から求めたDCT係数を、量子化パラ
    メータに応じた量子化幅で量子化して量子化信号を出力
    する量子化手段と、 前記量子化信号から前記ローカルデコードされた再生映
    像信号を生成する再生映像信号生成手段と、 前記量子化信号を前記動き補償回路からの動きベクトル
    及び予測モードに基づいて、映像符号化信号を生成して
    出力すると共に発生符号量を出力する符号化回路と、 前記符号化回路からの前記発生符号量に基づき計算し
    た、画面内の各ブロックに対する前記割り当て符号量
    と、それに応じた前記量子化パラメータを出力する符号
    量制御部とを有する映像信号符号化装置であって、前記
    動きベクトル検出回路は、前記ブロック化された入力映
    像信号に対してサブサンプリングを行って得られた複数
    階層の画像信号に対して上位階層からの動きベクトルを
    入力として各階層で設定されている探索範囲についてブ
    ロック単位で動きベクトルを検出し、最上位の階層の動
    きベクトルに対して画像の中心から離れるほど大なる重
    み付けをした第1の発生頻度と、画像の中心にいくほど
    大なる重み付けをした第2の発生頻度を求め、これら第
    1及び第2の発生頻度のそれぞれについて最も大きい発
    生頻度の動きベクトルを画像の第1及び第2の代表動き
    ベクトルとして抽出して出力し、 前記動き補償回路は、最下位階層の各ブロックの前記動
    きベクトルと、正規化された前記第1の代表動きベクト
    ル又は正規化された前記第2の代表動きベクトルとの二
    乗誤差値をそれぞれ計算して判定基準となるパラメータ
    を求め、このパラメータと、前記符号量制御部から出力
    された正規化された割り当て符号量との比較判定結果に
    応じた前記動き補償映像信号、動きベクトル及び予測モ
    ードをそれぞれ生成して出力することを特徴とする映像
    信号符号化装置。 【請求額3】 前記動きベクトル検出回路は、複数階層
    の画像信号のうち、最下位の階層の画像信号を前記ロー
    カルデコードされた再生映像信号とし、前記最下位以外
    の階層の画像信号を、前記入力映像信号をサブサンリン
    グし、かつ、上位の階層の画像信号ほど縮小率が大きな
    縮小画像信号とし、上位階層からの動きベクトルを入力
    として各階層で設定されている探索範囲についてブロッ
    ク単位で動きベクトルを検出することを特徴とする請求
    項1又は2記載の映像信号符号化装置。
JP2000280534A 2000-09-14 2000-09-14 映像信号符号化装置 Pending JP2002094987A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000280534A JP2002094987A (ja) 2000-09-14 2000-09-14 映像信号符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000280534A JP2002094987A (ja) 2000-09-14 2000-09-14 映像信号符号化装置

Publications (1)

Publication Number Publication Date
JP2002094987A true JP2002094987A (ja) 2002-03-29

Family

ID=18765355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000280534A Pending JP2002094987A (ja) 2000-09-14 2000-09-14 映像信号符号化装置

Country Status (1)

Country Link
JP (1) JP2002094987A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100920628B1 (ko) 2009-03-04 2009-10-08 엘지전자 주식회사 모션 벡터 예측 방법
KR100930744B1 (ko) 2009-03-04 2009-12-09 엘지전자 주식회사 모션 벡터 예측 방법
KR100943571B1 (ko) 2009-03-04 2010-02-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100943627B1 (ko) 2006-07-20 2010-02-24 엘지전자 주식회사 모션 벡터 예측 방법
US7684486B2 (en) 2004-02-11 2010-03-23 Samsung Electronics Co., Ltd. Method for motion compensated interpolation using overlapped block motion estimation and frame-rate converter using the method
JP2013545200A (ja) * 2010-11-23 2013-12-19 クゥアルコム・インコーポレイテッド グローバル動きに基づく深度の推定
US9123115B2 (en) 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655089B2 (en) 2002-07-18 2014-02-18 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8712172B2 (en) 2002-07-18 2014-04-29 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US10897613B2 (en) 2002-07-18 2021-01-19 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US8634667B2 (en) 2002-07-18 2014-01-21 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US9560354B2 (en) 2002-07-18 2017-01-31 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US8634666B2 (en) 2002-07-18 2014-01-21 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8428373B2 (en) 2002-07-18 2013-04-23 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8463058B2 (en) 2002-07-18 2013-06-11 Lg Electronics Inc. Calculation method for prediction motion vector
US8467621B2 (en) 2002-07-18 2013-06-18 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8467622B2 (en) 2002-07-18 2013-06-18 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8467620B2 (en) 2002-07-18 2013-06-18 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8472738B2 (en) 2002-07-18 2013-06-25 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8509550B2 (en) 2002-07-18 2013-08-13 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8548264B2 (en) 2002-07-18 2013-10-01 Lg Electronics Inc. Apparatus for predicting a motion vector for a current block in a picture to be decoded
US8565544B2 (en) 2002-07-18 2013-10-22 Lg Electronics Inc. Apparatus for predicting a motion vector for a current block in a picture to be decoded
US8571335B2 (en) 2002-07-18 2013-10-29 Lg Electronics Inc. Calculation method for prediction motion vector
US10425639B2 (en) 2002-07-18 2019-09-24 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US9544589B2 (en) 2002-07-18 2017-01-10 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US9544590B2 (en) 2002-07-18 2017-01-10 Lg Electronics Inc. Method of predicing a motion vector for a current block in a current picture
US8639048B2 (en) 2002-07-18 2014-01-28 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8644630B2 (en) 2002-07-18 2014-02-04 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8644631B2 (en) 2002-07-18 2014-02-04 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US8649622B2 (en) 2002-07-18 2014-02-11 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
US8649621B2 (en) 2002-07-18 2014-02-11 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US9544591B2 (en) 2002-07-18 2017-01-10 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US8908983B2 (en) 2002-07-18 2014-12-09 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
US7684486B2 (en) 2004-02-11 2010-03-23 Samsung Electronics Co., Ltd. Method for motion compensated interpolation using overlapped block motion estimation and frame-rate converter using the method
KR100943627B1 (ko) 2006-07-20 2010-02-24 엘지전자 주식회사 모션 벡터 예측 방법
KR100920628B1 (ko) 2009-03-04 2009-10-08 엘지전자 주식회사 모션 벡터 예측 방법
KR100943571B1 (ko) 2009-03-04 2010-02-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100930744B1 (ko) 2009-03-04 2009-12-09 엘지전자 주식회사 모션 벡터 예측 방법
US9123115B2 (en) 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow
US9171372B2 (en) 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
JP2013545200A (ja) * 2010-11-23 2013-12-19 クゥアルコム・インコーポレイテッド グローバル動きに基づく深度の推定

Similar Documents

Publication Publication Date Title
US7023914B2 (en) Video encoding apparatus and method
JP2801559B2 (ja) 動き大小に適応する動き補償符号化方法及びその装置
JP4529919B2 (ja) 適応量子化装置及び適応量子化プログラム
US20100284467A1 (en) Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
JP5328854B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
JPH09163373A (ja) 雑音低減装置
JPH11243551A (ja) 動き補償装置と動画像符号化装置及び方法
JP3778960B2 (ja) 動画像符号化方法及び装置
JP4804423B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
US20120008685A1 (en) Image coding device and image coding method
JP2002094987A (ja) 映像信号符号化装置
JPH0832969A (ja) 動きベクトル検出装置
KR100390167B1 (ko) 화상 부호화방법 및 화상 부호화장치
JP3872076B2 (ja) 動き補償装置
JP5171658B2 (ja) 画像符号化装置
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JPH09261530A (ja) 映像記録装置
JP2001145011A (ja) 映像信号符号化装置
JP2001094996A (ja) ブロック歪低減方法及びブロック歪低減装置
KR100635009B1 (ko) 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치
JPH06105299A (ja) 動画像圧縮装置
JP4353928B2 (ja) データ圧縮方法、記録方法、及び伝送方法
JP6016484B2 (ja) 符号化装置
JP4359274B2 (ja) 動画像圧縮符号化装置
JP2000023165A (ja) 動画像符号化装置及び方法