JP2003309822A - 動き補正回路及び方法 - Google Patents

動き補正回路及び方法

Info

Publication number
JP2003309822A
JP2003309822A JP2002115352A JP2002115352A JP2003309822A JP 2003309822 A JP2003309822 A JP 2003309822A JP 2002115352 A JP2002115352 A JP 2002115352A JP 2002115352 A JP2002115352 A JP 2002115352A JP 2003309822 A JP2003309822 A JP 2003309822A
Authority
JP
Japan
Prior art keywords
motion vector
pixel
field
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002115352A
Other languages
English (en)
Other versions
JP4337302B2 (ja
Inventor
Koji Aoyama
幸治 青山
Kazuhiko Nishibori
一彦 西堀
Yukihiko Mogi
幸彦 茂木
Takanari Hoshino
隆也 星野
Makoto Kondo
真 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002115352A priority Critical patent/JP4337302B2/ja
Publication of JP2003309822A publication Critical patent/JP2003309822A/ja
Application granted granted Critical
Publication of JP4337302B2 publication Critical patent/JP4337302B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 様々な画像のバリエーションにおいても、面
フリッカ妨害を抑えつつ、画像の動きをスムーズにする
ことにより相乗的に画質の向上を図る。 【解決手段】 基準画素を中心とした基準ブロック51
について検出した動きベクトルを当該基準ブロック51
を構成する画素毎に割り当てる。そして、割り当てられ
た動きベクトルの示す画素が重複する場合にいずれか一
の動きベクトルを選択した上で、動きベクトルの割り当
てられた画素の画素値を、当該動きベクトルのベクトル
量の範囲内でベクトル方向へシフトさせた位置へ書き込
み、また画素値をシフトさせた結果、画素値が存在しな
いアンカバー領域に対して画素値を補間する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、倍速変換すること
により生成された画像信号の各検出画素の位置をシフト
させる動き補正回路及び方法に関する。
【0002】
【従来の技術】テレビ放送の走査方式としては、従来か
ら水平走査線を1本おきに飛越して走査するインタレー
ス走査方式が最も広く採用されている。このインタレー
ス走査方式では、奇数番目の走査線から構成されるフィ
ールド画像と、偶数番目の走査線から構成されるフィー
ルド画像により1枚のフレーム画像を形成し、画面全体
がちらついて見える面フリッカ妨害を抑え、画面品質の
劣化を防止する。
【0003】また、このインタレース走査方式は、世界
各国のテレビジョン標準方式として採用されており、こ
のうち例えば欧州のテレビジョン放送におけるPAL(P
haseAlternation by Line)方式では、フィールド周波数
が50〔Hz〕(フレーム画像が25フレーム/秒、フ
ィールド画像が50フィールド/秒)で構成される。
【0004】特にこのPAL方式では、更なる面フリッ
カ妨害の抑制を期すべく、入力画像信号を補間等の処理
を行うことにより、フィールド周波数を50Hzから2
倍の100Hzの画像信号に変換する、フィールド周波
数倍速方式が従来より採用されている。
【0005】図18は、このフィールド周波数倍速方式
を適用したフィールド倍速変換回路5のブロック構成例
を示している。このフィールド倍速変換回路5は、入力
端子61と、水平垂直偏向回路62と、CRT63とを
備えるテレビジョン受像機6に集積化される。このフィ
ールド倍速変換回路5は、倍速変換部51と、フレーム
メモリ52とを備える。
【0006】倍速変換部51は、入力端子61から入力
された、例えばPAL方式の50フィールド/秒の画像
信号を、フレームメモリ52へ書き込む。また、この倍
速変換部51は、フレームメモリ52へ書き込んだ画像
信号を、書込み時の2倍の速度で読み出す。これによ
り、50フィールド/秒の画像信号の周波数を2倍に変
換し、100フィールド/秒の画像信号を生成すること
ができる。
【0007】倍速変換部51は、倍速変換した画像信号
をCRT63へ出力する。CRT63は、入力された画
像信号を画面上に表示する。なお、CRT63における
画像信号の水平、垂直の偏向は、水平垂直偏向回路62
において生成された、入力画像信号の2倍の周波数の水
平垂直鋸歯状波に基づいて制御する。
【0008】図19は、倍速変換前後の各画像信号にお
ける各フィールドと画素位置との関係を示している。こ
こで横軸は時間、縦軸は画素の垂直方向の位置を示す。
また、図19(a)の白丸で示した画像信号は、倍速変換
前の50フィールド/秒のインタレース画像信号であ
り、図19(b)の黒丸で示した画像信号は、倍速変換し
た100フィールド/秒のインタレース画像信号であ
る。
【0009】図19(a)に示す画像信号において、フィ
ールドf1とフィールドf2は、フィルムの同一のコマ
から作成された信号となり、以下同様にフィールドf3
とフィールドf4も同一のコマを構成する。これらの画
像信号は、インタレース画像信号であるため、隣り合う
フィールド間で垂直方向の画素位置が異なる。このた
め、インタレース性を保ちつつ、各フィールド間に1個
ずつのフィールドを新規に生成することはできない。
【0010】そこで、図19(b)に示すように、フィー
ルドf1とフィールドf2の間に、新規に2枚のフィー
ルドf2´、f1´を生成する。そして、フィールドf
2とフィールドf3の間では、フィールドの生成を行わ
ず、フィールドf3とフィールドf4の間に、新規に2
枚のフィールドf4´、f3´を生成する。すなわち4
フィールド、2フレームで1つのコマを形成する。
【0011】この新規に生成したフィールドf1´、f
2´、・・・は、それぞれの画素値を、各画素の周囲3
画素の中間値として、メディアン・フィルタ等を用いて
求める場合もある。また、この新規に生成したフィール
ドf1´、f2´、・・・は、それぞれフィールドf
1、f2、・・と同じ内容となる。
【0012】すなわち、フィールド倍速変換回路5は、
倍速変換前の画像信号のフィールド間に2枚のフィール
ドを新規に生成する部分と全く生成しない部分とを交互
に配置することで、単位時間当たりの画面枚数を増やす
ことができ、上述の面フリッカ妨害を抑えることが可能
となる。
【0013】ところで、24コマ/秒の静止画で構成さ
れる映画のフィルムを通常のテレビで見るためには、イ
ンターレースのテレビ信号にするために、テレビシネマ
変換(以下、テレシネ変換と称する)を行う。このテレ
シネ変換後の画像信号において、水平方向へ画像が移動
する場合における各フィールドと画像位置の関係を図2
0に示す。ここで横軸は画像の水平方向における位置、
縦軸は時間を示している。図20(a)に示す倍速変換前
の画像信号において、フィールドf1、f2は、同一の
コマを構成するため、同じ位置に画像が表示される。こ
の画像は、フィールドf3に移行すると水平方向(右方
向)へ移動する。フィールドf4は、フィールドf3と
同一のコマを構成するため、フィールドf3と同一の位
置に表示される。
【0014】この図20(a)に示すテレシネ変換後の画
像信号をフィールド周波数倍速方式により倍速変換する
と、図20(b)に示すように、同一のコマを構成するフ
ィールドf1、f2´、f1´、f2で、同一位置に同
一の画像が表示される。同様に、同一のコマを構成する
フィールドf3、f4´、f3´、f4で同一位置に同
一の画像が表示される。
【0015】また、倍速変換前のテレビジョン信号(以
下、TV信号という)において、水平方向へ画像が移動
する場合における各フィールドと画像位置の関係を図2
1(a)に示す。この図21(a)において、フィールドf
1、f2、f3・・・は、それぞれ独立したコマを形成
するため、別の位置に画像が表示される。この画像は、
フィールドf1から、f2、f3・・・と移行する毎
に、水平方向(右方向)へ移動する。
【0016】この図21(a)に示すテレビ信号の画像信
号をフィールド周波数倍速方式により倍速変換すると、
図21(b)に示すように、同一のコマを構成するフィー
ルドf1、f2´において、同一位置に同一の画像が表
示される。同様に、同一のコマを構成するフィールドf
1´、f2において、同一位置に同一の画像が表示され
る。
【0017】ところで、出力画像信号は、1/100秒
の周期で規則的に各フィールドを構成しているため、画
像の動作する時間帯が画像の静止する時間帯と比較して
短く、実際にCRTを介して番組を視聴すると画像の動
きが不連続に見えるという問題があった。このため従来
では、かかる動きの不連続性を解消するため、例えばブ
ロックマッチング法に基づき、画面を所定の画素からな
るブロックに分割し、各ブロック単位で相似度を評価す
ることにより動きベクトルを求め、当該求めた動きベク
トルに応じて各ブロック毎に画素位置をシフトさせて動
き補正していた。
【0018】ちなみにこのブロックマッチング法は、図
22に示すように、基準フィールドを複数の基準ブロッ
ク101に分割し、基準フィールド80における基準ブ
ロック101と最も高い相似度を示すブロックを、参照
フィールド90における探索範囲104内を移動する探
索ブロック103から検出する。そして当該検出された
探索ブロック103と基準ブロック101間の位置のず
れ(移動の方向と大きさ)を動きベクトルとする。
【0019】上述の相似度の判定は、先ず探索ブロック
103の各画素値について、基準ブロック101の対応
する画素値との差分をとり、その差によって示される評
価値、例えば差分絶対値和を求める。次に、上述の判定
操作を全ての探索ブロック103について行い、それぞ
れ求めた評価値和、すなわち各差分絶対値和から最小の
ものを求める。この最小の差分絶対値和を与える探索ブ
ロック103を、基準ブロック101と最も高い相似度
を示すブロックとし、かかるブロックの原点の画素63
と、基準ブロック101の原点の画素との間で特定する
ことができるベクトルを動きベクトルとする。
【0020】
【発明が解決しようとする課題】しかしながら、この従
来のブロックマッチング法による動き補正では、例えば
水平方向へ画像が移動しながら画素値が変化するよう
な、様々な画像のバリエーションにおいて、画像の動き
の不連続性を効率よく解消することができないという問
題点があった。
【0021】また、従来のブロックマッチング法では、
画面全体で表現される本来の画像の動きに関係なく、単
にブロック同士の誤差の総和の最小値を優先させて動き
ベクトルを検出するため、動きベクトルのばらつきによ
る変換画像の劣化が問題となっていた。
【0022】また、上記従来のブロックマッチング法で
は、画像の動きが速いために求められる真の動きベクト
ル111が探索範囲104外に存在し得る場合において
も、探索範囲104内において各ブロック101,10
3間の誤差の総和を最優先するため、本来の動きと異な
る不規則な動きベクトルが検出されるという問題点もあ
った。
【0023】更に、上記従来のブロックマッチング法に
基づいて検出される動きベクトルはバリエーションに富
むため、当該検出された動きベクトルに応じて各ブロッ
ク毎に画素位置をシフトさせて合成した画像には、画素
が書き込まれないアンカバー領域が生じる場合がある。
このアンカバー領域が生じると、図23に示すように孤
立点が所々に生成するために画質の劣化が著しくなり、
また領域単位での処理破綻が生じて動作環境に悪影響を
及ぼしてしまう。
【0024】そこで、本発明は上述した問題点に鑑みて
案出されたものであり、その目的とするところは、倍速
変換することにより生成された画像信号において、特に
様々な画像のバリエーションにおいても、面フリッカ妨
害を抑えつつ、画像の動きをスムーズにすることにより
相乗的に画質の向上を図ることにある。
【0025】また他の目的は、本来の画像の動きに適合
した動きベクトルを求めることにより、変換画像の劣化
を防止することにある。
【0026】また他の目的は、ブロックマッチング法に
より求められた探索範囲外の動きベクトルを、実際の画
像の動きに適合するように修正することにある。
【0027】更に他の目的は、検出された動きベクトル
に応じて各ブロック毎に画素位置をシフトさせて画像を
合成した結果生じるアンカバー領域に対して、最適な画
素値を示す画素を埋めることにより、画質の劣化を防
ぎ、ひいては領域単位での処理破綻を改善することにあ
る。
【0028】
【課題を解決するための手段】本発明に係る動き補正回
路は、上述の課題を解決するため、基準フィールドと、
上記基準フィールドから1フレーム又は2フレーム離れ
た参照フィールドとの間で求めた動きベクトルに基づき
補正フィールド上において動き補正を行なう動き補正回
路であって、上記基準フィールドの基準画素を中心とし
た基準ブロックについて上記参照フィールドに対する動
きベクトルを検出する動きベクトル検出手段と、上記基
準ブロックにおいて検出した動きベクトルを当該基準ブ
ロックを構成する画素毎に割り当てるベクトル割当手段
と、上記ベクトル割当手段により割り当てられた動きベ
クトルの示す画素が重複する場合にいずれか一の動きベ
クトルを選択する選択手段と、上記補正フィールド上に
おいて動きベクトルの割り当てられた画素の画素値を当
該動きベクトルのベクトル量の範囲内でベクトル方向へ
シフトさせた位置の画素値とする画像制御手段と、上記
補正フィールド上で画素値が存在しない情報不在領域に
対して画素値を補間する画素補間手段を備えることを特
徴とする。
【0029】また、本発明に係る動き補正方法は、上述
した課題を解決するため、基準フィールドと上記基準フ
ィールドから1フレーム又は2フレーム離れた参照フィ
ールドとの間で求めた動きベクトルに基づき補正フィー
ルド上において動き補正を行う動き補正方法であって、
上記基準フィールドの基準画素を中心とした基準ブロッ
クについて上記参照フィールドに対する動きベクトルを
検出し、上記基準ブロックにおいて検出した動きベクト
ルを当該基準ブロックを構成する画素毎に割り当て、上
記割り当てられた動きベクトルの示す画素が重複する場
合にいずれか一の動きベクトルを選択し、上記補正フィ
ールド上において動きベクトルの割り当てられた画素の
画素値を当該動きベクトルのベクトル量の範囲内でベク
トル方向へシフトさせた位置の画素値とし、また画素値
が存在しない情報不在領域に対して画素値を補間するこ
とを特徴とする。
【0030】この動き補正回路及び方法は、基準画素を
中心とした基準ブロックについて検出した動きベクトル
を当該基準ブロックを構成する画素毎に割り当てる。そ
して、割り当てられた動きベクトルの示す画素が重複す
る場合にいずれか一の動きベクトルを選択した上で、動
きベクトルの割り当てられた画素の画素値を、当該動き
ベクトルのベクトル量の範囲内でベクトル方向へシフト
させた位置へ書き込み、また画素値をシフトさせた結
果、画素値が存在しない情報不在領域に対して画素値を
補間する。
【0031】
【発明の実施の形態】以下、本発明を適用した画像信号
処理装置及び方法について図面を参照して詳細に説明す
る。
【0032】図1は、本発明の第1の実施の形態におけ
る動き補正回路1のブロック構成図である。動き補正回
路1は、例えばPAL(Phase Alternation by Line)方
式によるテレビジョン受像機に内蔵され、テレシネ変換
した画像信号やテレビジョン信号(以下、TV信号とい
う)が入力される。またこの動き補正回路1は、図1に
示すように、第1の画像メモリ11と、第2の画像メモ
リ12と、シーケンス検出部13と、データ選択部14
と、動きベクトル検出部15と、画像シフト部16を備
えている。
【0033】第1の画像メモリ11は、テレシネ変換し
た画像を倍速変換することにより生成された1コマが4
フィールドで構成された、例えば100フィールド/秒
のインタレース画像データが順次供給される。また、こ
の第1の画像メモリ11は、TV信号を倍速変換するこ
とにより生成された1コマが2フィールドで構成され
た、例えば100フィールド/秒のインタレース画像信
号が順次供給される。
【0034】第1の画像メモリ11は、供給された画像
データを、各フィールド単位で、1フレーム分格納す
る。すなわち、第1の画像メモリ11から出力される画
像データは、この第1の画像メモリ11に供給される画
像信号より1フレーム後になる。
【0035】第2の画像メモリ12は、第1の画像メモ
リ11と同様の内部構成を有し、第1の画像メモリ11
から供給された画像データを、各フィールド単位で、1
フレーム分格納する。すなわち、第2の画像メモリ12
から出力される画像データは、この第2の画像メモリ1
2に供給される画像データより1フレーム後になり、第
1の画像メモリ11に供給される画像データより2フレ
ーム後になる。この第2の画像メモリ12に格納された
画像データD1は、動きベクトル検出部15及び画像シ
フト部16に供給される。
【0036】シーケンス検出部13は、第1の画像メモ
リ11に供給される画像データと、第1の画像メモリ1
1から出力される画像データを検出し、各画素毎に画像
信号レベルを比較し、両者間で差分値を演算する。すな
わち、このシーケンス検出部13は、画面上の同一箇所
における画素の画像信号レベルを、1フレーム間隔で比
較する。シーケンス検出部13は、画像信号レベルの差
分値の演算結果を画像シフト部15へ送信する。シーケ
ンス検出部13は、上述の如く各フィールドの特定に加
え、テレシネ変換された信号かTV信号かを判別し、当
該判別結果を移動量情報として画像シフト部16等へ送
信する。
【0037】データ選択部14は、第1の画像メモリ1
1に供給される画像データと、第1の画像メモリ11か
ら出力される画像データが入力される。このデータ選択
部14は、シーケンス検出部13から受信した判別結果
に基づき、供給される画像データのうち一方を選択す
る。すなわち、シーケンス検出部13によりテレシネ変
換された信号であると判別された場合には、第1の画像
メモリ11に供給される画像データを選択する。またシ
ーケンス検出部13によりTV信号であると判別された
場合には、第1の画像メモリ11から出力される画像デ
ータを選択する。データ選択部14により選択された画
像データを以下、画像データD2と称する。データ選択
部14は、選択した画像データD2を動きベクトル検出
部15へ出力する。
【0038】なお、データ選択部14として、第1の画
像メモリ11から出力される画像データと、第2の画像
メモリ12から出力される画像データのどちらか一方を
選択する接続形態にも適用可能である。
【0039】動きベクトル検出部15は、画像データD
1と画像データD2とを検出し、例えばブロックマッチ
ング法に基づき、動きベクトルを検出する。この動きベ
クトル検出部15は、双方向から動きベクトルをサーチ
する場合のみならず、単方向から動きベクトルをサーチ
することも可能である。これにより、ハードコストを削
減することも可能である。
【0040】またこの動きベクトル検出部15は、検出
した動きベクトルの誤差情報を含むフラグF1を算出す
る。すなわち、動きベクトル検出部15は、画像データ
D1と画像データD2との間で動きベクトルを検出する
ことにより、1フレーム又は2フレーム離れた画像信号
間の動きベクトルを特定することができる。またこの動
きベクトル検出部15は、動きベクトルを検出するフィ
ールド間隔をシーケンス検出部13から受信した判別結
果に基づき、制御することも可能である。
【0041】画像シフト部16は、画像信号レベルの比
較結果を含む移動量情報を、シーケンス検出部13から
受信する。また、画像シフト部16は、動きベクトル検
出部15が検出した動きベクトルを受信する。更に画像
シフト部16は、第2の画像メモリ12から画像データ
D1が供給され、またデータ選択部14から画像データ
D2が供給される。この画像シフト部16は、供給され
た画像信号における各画素位置を、受信した上記動きベ
クトルのベクトル量の範囲内で、かつベクトル方向へシ
フトさせる。この画像シフト部16の内部構成例につい
ては、後に詳細する。
【0042】なお、動き補正回路1には、画像信号のフ
ィールド周波数を倍速変換するフィールド倍速変換回路
3が集積される場合もある。フィールド倍速変換回路3
は、解像度を向上させることにより、面フリッカ妨害を
防止すべく集積されるものであり、例えばPAL方式に
おいて、補間等の処理を行うことにより、フィールド周
波数が50Hzの画像データを2倍の100Hzの画像
データに変換する。
【0043】フィールド周波数変換回路3は、図1に示
すように、テレビジョン受像機に接続された入力端子3
1と、倍速変換部32と、フレームメモリ33とを備え
る。
【0044】倍速変換部32は、テレビジョン受像機か
ら入力端子31を介して入力された、テレシネ変換後の
画像データ、またはテレビジョン信号を、フレームメモ
リ33へ書き込む。またこの倍速変換部32は、フレー
ムメモリ33へ書き込んだ画像データを、書込み時の2
倍の速度で読み出す。これにより、例えば、PAL方式
の50フィールド/秒の画像信号の周波数を2倍に変換
し、100フィールド/秒の画像データを生成すること
ができる。倍速変換部32は、この倍速変換した画像デ
ータを動き補正回路1へ供給する。
【0045】次に、動きベクトル検出部15の内部構成
例について図2を用いて詳細に説明する。動きベクトル
検出部15は、ブロックマッチング部151と、範囲外
検出部152と、再割り当て部153とを備える。
【0046】ブロックマッチング部151は、入力され
る画像データD1と画像データD2を、所定の画素から
なるブロックに分割し、各ブロック単位で相似度を評価
することにより動きベクトルを求める。
【0047】範囲外検出部152は、ブロックマッチン
グ法により求められた探索範囲外の動きベクトルを、実
際の画像の動きに適合するように修正する。
【0048】再割り当て部153は、ブロック単位で求
められた動きベクトルを画素単位の動きベクトルとして
分離する。換言すれば、ブロック単位で求めた動きベク
トルを、ブロックを構成する画素毎に割り当てる。ちな
みに、再割り当て部153は、ブロック内の境界判定、
画像エッジの検出、周辺ブロックとの相関判定、ブロッ
ク内における領域分割等のステップを経て、周辺ブロッ
クに照らし合わせて最適なベクトル値を選択し、各画素
毎に割り当てるものである。
【0049】次に画像シフト部16の内部構成例につい
て説明をする。画像シフト部16は、図3に示すよう
に、シフトバッファ読出制御部161と、シフトバッフ
ァ書込制御部162と、シフトバッファ163と、デー
タバッファ読出制御部164と、第1のバッファ165
と、第2のバッファ166と、データ演算部167と、
アンカバー処理部168とを備える。
【0050】シフトバッファ読出制御部161は、動き
ベクトル検出部15から動きベクトルが送信され、シー
ケンス検出部13から移動量情報が送信される。シフト
バッファ読出制御部161は、この動きベクトルと移動
量情報及び内蔵されたアドレス計算用カウンタに基づ
き、シフトバッファ読出制御信号RS1を生成する。こ
のシフトバッファ読出制御信号RS1は、シーケンシャ
ルにデータを読み出すためのアドレス信号と、イネーブ
ル信号から構成される。例えば、シフトバッファ163
がフレームメモリ等で実現される場合において、シフト
バッファ読出制御部161は、X座標、Y座標の各アド
レス信号を絶対座標として計算する。一方、シフトバッ
ファ163がラインメモリ等の必要最小限のメモリで実
現される場合において、シフトバッファ読出制御部16
1は、X座標、Y座標の各アドレス信号を相対座標とし
て計算する。
【0051】ここで内蔵されたアドレス計算用カウンタ
値においてX座標、Y座標がそれぞれ(CX1、CY
1)であり、また供給された動きベクトルにおいて、X
座標、Y座標がそれぞれ(VX、VY)であるときに、
シフトバッファ読出制御信号RS1のアドレスの番号
(SX、SY)は、以下の式で表される。SX=CX1
+(VX×α) (1.1)SY=CY1+(VY×
α) (1.2)ここでαは移動量情報であり、0以
上かつ1以下の数で表現される。ここで、コマの最初の
フィールドを第1のフィールド、以後続くフィールドを
それぞれ第2のフィールド、第3のフィールド、第4の
フィールドとしたとき、上述のαは、第1のフィールド
において最小とし、その後フィールドが続く毎に順次増
大させても良い。またαは、テレシネ変換された信号が
入力された場合に、第1のフィールドから第4のフィー
ルドまでそれぞれ、0,1/4,2/4,3/4と、また
TV信号が入力された場合にも、第1のフィールドから
第2のフィールドまで、0,1/2と、線形に増加させ
ていくことも可能である。
【0052】これにより、シフト量を時間に対して線形
に増加させることが可能となり、画像の動きを更にスム
ーズにすることができるため、倍速変換した画像信号特
有の動きの不連続感を解消することができ、また倍速変
換により面フリッカ妨害を抑制した画像の動きを更にス
ムーズにすることができるため相乗的に画質を向上させ
ることが可能となる。
【0053】シフトバッファ読出制御部161は、生成
したシフトバッファ読出制御信号RS1をシフトバッフ
ァ書込制御部162及びシフトバッファ163へ供給す
る。
【0054】シフトバッファ書込制御部162は、動き
ベクトル検出部15からフラグF1が供給され、またシ
フトバッファ163からフラグF´が供給され、シフト
バッファ読出制御部161から、シフトバッファ読出制
御信号RS1が供給される。このシフトバッファ書込制
御部162は、フラグF1とフラグF´の大小に基づ
き、書き込み時の優先順位を判定する。さらにこのシフ
トバッファ書込制御部162は、供給されるシフトバッ
ファ読出制御信号RS1に基づき、書き込みアドレスを
求め、当該書き込みアドレスと上述の通り判定した優先
順位を、シフトバッファ書込制御信号RS2として、シ
フトバッファ163へ供給する。
【0055】シフトバッファ163は、動きベクトル用
バッファとフラグ用バッファから構成される。動きベク
トル用バッファは、動きベクトルを蓄積・供給するため
のバッファであり、フラグ用バッファは、フラグを蓄積
・供給するためのバッファである。これらのバッファ
は、同一の制御信号に基づき、書き込みや読み出しが行
われる。ちなみに、このシフトバッファ163は、動き
ベクトルとフラグのみ格納できれば足りるため、バッフ
ァ容量の削減を期待することができる。
【0056】また、シフトバッファ163は、1フレー
ム分のデータを蓄積するフレームメモリであっても良い
し、動きベクトルの取りうる範囲に従ったラインメモリ
等、必要最小限のメモリで構成しても良い。
【0057】シフトバッファ163は、まずフラグ用バ
ッファの初期化を行う。フラグ用バッファに書き込まれ
るフラグには、データが書き込まれたか否かを示すマー
ク情報をも含む。マーク情報は、”NM”と”OK”の
2種類で表され、”NM”は、初期化時にデータの書き
込みが行われていないことを示し、”OK”は、データ
が既に書き込まれていることを示す。またシフトバッフ
ァ163は、シフトバッファ読出制御信号RS1のイネ
ーブルが有効である場合に、アドレス対応させてシフト
バッファ書込制御部162へフラグF´を送信する。ま
た、シフトバッファ163は、シフトバッファ書込制御
信号RS2のイネーブルが有効な場合に、アドレス値に
従って、動きベクトル、フラグF1を、それぞれ動きベ
クトル用バッファ、フラグ用バッファに書き込む。更
に、このシフトバッファ163は、格納した動きベクト
ルを番号順に整理し(以下、この番号順に整理した動き
ベクトルを、移動済動きベクトルという)、また処理フ
ラグF2を順次読み出し、それぞれをデータバッファ制
御部161、データ演算部167へ供給する。
【0058】データバッファ読出制御部164は、シフ
トバッファ163から移動済動きベクトルが供給され、
シーケンス検出部13から移動量情報が送信される。デ
ータバッファ読出制御部164は、この入力された動き
ベクトルに基づき、バッファ制御信号S11及びバッフ
ァ制御信号S12を演算する。これらの各バッファ制御
信号S11,S12は、シーケンシャルにデータを読み
出すためのアドレス信号と、イネーブル信号から構成さ
れる。例えば、第1のバッファ165、及び第2のバッ
ファ166がフレームメモリ等で実現される場合におい
て、データバッファ読出し制御部161は、X座標、Y
座標の各アドレス信号を絶対座標として計算する。一
方、第1のバッファ165、及び第2のバッファ166
がラインメモリ等の必要最小限のメモリで実現される場
合において、データバッファ読出制御部161は、X座
標、Y座標の各アドレス信号を相対座標として計算す
る。
【0059】データバッファ読出制御部164は、内蔵
されたアドレス計算用カウンタの値と動きベクトルに基
づいてバッファ制御信号S11を生成する。またデータ
バッファ読出制御部164は、バッファ制御信号S11
と動きベクトルに基づいてバッファ制御信号S12を生
成する。
【0060】例えばTV信号が入力された場合に、バッ
ファ制御信号S11のアドレスにおいて、X座標、Y座
標がそれぞれ(AX1,AY1)であり、またバッファ
制御信号S12のアドレスにおいて、X座標、Y座標が
それぞれ(AX2,AY2)であり、動きベクトルが
(VX,VY)であり、内部のアドレス計算用カウンタ
値を(CX´,CY´)とするとき、バッファ制御信号
S11のアドレスは、以下の式で表される。 AX1=CX´−INT(VX/2) (2.1) AY1=CY´−INT(VY/2) (2.2) ここで関数INTは、小数点以下切り捨てを意味する。
【0061】また、バッファ制御信号S12のアドレス
(AX2,AY2)は以下の式で表される。 AX2=AX1+VX (2.3) AY2=AY1+VY (2.4) データバッファ読出制御部164は、これらの計算した
アドレスを含むバッファ制御信号S11を第1のバッフ
ァ165に供給する。またデータバッファ読出制御部1
64は、同様に計算したアドレスを含むバッファ制御信
号S12を第2のバッファ166に供給する。
【0062】第1のバッファ165は、第2の画像メモ
リ12から送信された画像データD1を順次蓄積する。
また第1のバッファ165は、供給されたバッファ制御
信号S11に応じて蓄積した画像データD1を読み出
す。すなわちこの第1のバッファ165は、供給された
バッファ制御信号S11のイネーブルが有効な時に、当
該バッファ制御信号S11に含まれるアドレスに従っ
て、第1のバッファ165に蓄積した画像データD1を
読み出す。この読み出された画像データD1を以下、シ
フトデータSD1と称する。第1のバッファ165は、
シフトデータSD1をデータ演算部167へ送信する。
【0063】この第1のバッファ165は、1フレーム
分のデータを蓄積するフレームメモリであっても良い
し、また動きベクトルの範囲に基づいたラインメモリ
等、必要最小限のメモリで構成しても良い。更にこの第
1のバッファでは、データの読出しをシーケンシャルに
行うため、FIF0メモリ等で実現しても良い。
【0064】第2のバッファ166は、データ選択部1
4から送信された画像データD2を順次蓄積する。また
第2のバッファ166は、供給されたバッファ制御信号
S12に応じて、蓄積した画像データD2を読み出す。
すなわち、この第2のバッファ166は、供給されたバ
ッファ制御信号S12のイネーブルが有効な時に、当該
バッファ制御信号S12に含まれるアドレスに従って、
第2のバッファ166に蓄積した画像データD2を読み
出す。この読み出された画像データD2を、以下シフト
データSD2と称する。第2のバッファ166は、シフ
トデータSD2をデータ演算部167へ送信する。
【0065】この第2のバッファ166は、1フレーム
分のデータを蓄積するフレームメモリであっても良い
し、また動きベクトルの範囲に基づくラインメモリ等、
必要最小限のメモリで構成しても良い。かかる場合に
は、ランダムに与えられるアドレスに対応してランダム
にデータを読み出すシステムが構築される。
【0066】データ演算部167は、供給されたシフト
データSD1と、シフトデータSD2に基づき、シフト
バッファ163から供給される処理フラグF2を参照し
ながら補正データH1を算出する。なお、処理フラグF
2が”OK”の場合はデータが確定できるため、データ
演算部167において所定の演算を行う。一方、処理フ
ラグF2が”NM”の場合はデータを確定することがで
きず、他の領域から画素値が全く書き込まれない領域
(以下アンカバー領域と称する)であるものと仮定し
て、アンカバー処理部167へ処理を委ねる。なお、こ
の補正データH1は、シフトデータSD1やシフトデー
タSD2をそのまま出力することによって演算しても良
いし、シフトデータSD1とシフトデータSD2の平均
値としても良い。更には、動きベクトル等の値を用いて
重み付け平均をとる形で移動データM1を算出しても良
い。アンカバー処理部168は、受け取った補正データ
H1に基づき、アンカバー領域に対して画素値を補間す
る。
【0067】次に本発明を適用した動き補正回路1の動
作について説明する。図4は、フィールド倍速変換回路
3における倍速変換前後の各フィールドと画素位置の関
係を示している。ここで横軸は時間、縦軸は画素の垂直
方向の位置を示す。
【0068】倍速変換前の画像データは、PAL方式の
50フィールド/秒のインタレース画像であり、図4
(a)に示すように、2フィールドで1つのコマを形成す
る。
【0069】一方、倍速変換後の画像データは、100
フィールド/秒のインタレース画像であるため、図4
(b)に示すように、フィールドt1とフィールドt2の
間に、新規に2枚のフィールドt2´、t1´を生成す
る。そして、フィールドt2とフィールドt3の間で
は、フィールドの生成を行わず、フィールドt3とフィ
ールドt4の間に、新規に2枚のフィールドt4´、t
3´を生成する。すなわち、画像データは、4フィール
ドで1つのコマを形成することとなる。
【0070】この新規に生成したフィールドt1´、t
2´、・・・は、それぞれの画素値を、各画素の周囲3
画素の中間値として、メディアン・フィルタ等を用いて
求める場合もある。また、この新規に生成したフィール
ドt1´、t2´、・・・は、それぞれフィールドt
1、t2、・・と同じ内容となる。これにより、4フィ
ールドで1つのコマを形成することとなり、単位時間当
たりの画面枚数を増やすことで解像度を向上させること
ができ、面フリッカ妨害を抑制することが可能となる。
【0071】テレシネ変換後、上述の如き倍速変換され
た画像データにおいて、水平方向へ画像が移動する場合
における各フィールドと画像位置の関係を図5に示す。
この図5において、横軸は画像の水平方向における位
置、縦軸は時間を表している。既にテレシネ変換された
画像は、フィールドt1、t2´、t1´、t2の順
で、一定の時間間隔で第1の画像メモリ11に供給さ
れ、これらの画像は同一の位置に表示される。またフィ
ールドt3に移行すると画像が水平方向(右方向)に移
り、フィールドt3、t4´、t3´、t4の順で第1
の画像メモリに供給される。
【0072】ここで、例えば、第1の画像メモリに供給
されるフィールド(以下、参照フィールドと称する)
が、フィールドt3である場合には、第2の画像メモリ
12から出力される、参照フィールドより2フレーム前
のフィールド(以下、2フレーム前フィールドと称す
る)は、フィールドt1となる。
【0073】また、TV信号を倍速変換した画像データ
において、水平方向へ画像が移動する場合における各フ
ィールドと画像位置の関係を図6に示す。同一のコマを
構成するフィールドt1、t2´において、同一位置に
同一の画像が表示される。同様に、同一のコマを構成す
るフィールドt1´、t2において、同一位置に同一の
画像が表示される。
【0074】動きベクトル検出部15は、図5に示すテ
レシネ変換後、倍速変換された信号につき、参照フィー
ルドと2フレーム前フィールド間で、各ブロック単位で
動きベクトルを検出する。図5に示す例の場合には、動
きベクトルのベクトル方向は、2フレーム前フィールド
を基準として水平方向(右方向)となり、ベクトル量は
Aとなる。同様に、参照フィールドがt5の場合には、
2フレーム前フィールドは、t3となり、動きベクトル
のベクトル量はBとなる。この手順を繰り返すことによ
り、2フレーム前フィールドを基準とした動きベクトル
のベクトル方向とベクトル量を順次求めることができ
る。動きベクトル検出部15は、この求めた動きベクト
ルのベクトル量とベクトル方向とを画像シフト部16へ
順次送信する。
【0075】また、動きベクトル検出部15は図6に示
すTV信号を倍速変換された信号につき、参照フィール
ドと参照フィールドより1フレーム前のフィールド(以
下、1フレーム前フィールドと称する)との間で、各ブ
ロック単位で動きベクトルを検出する。図6に示す例の
場合には、動きベクトルのベクトル方向は、1フレーム
前フィールドを基準として水平方向(右方向)となり、
参照フィールドがt1´のときにベクトル量はCとな
る。同様に、参照フィールドがt4´の場合には、1フ
レーム前フィールドは、t1´となり、動きベクトルの
ベクトル量はDとなる。この手順を繰り返すことによ
り、1フレーム前フィールドを基準とした動きベクトル
のベクトル方向とベクトル量を順次求めることができ
る。動きベクトル検出部74は、この求めた動きベクト
ルのベクトル量とベクトル方向とを画像シフト部15へ
順次送信する。
【0076】シーケンス検出部13は、参照フィールド
と、第1の画像メモリ11から出力される1フレーム前
フィールドを順次検出し、同一の画素位置における画素
信号レベルの差分値をそれぞれ演算する。
【0077】すなわち、図7に示すように、テレシネ変
換画像の場合には、参照フィールドt1´と、1フレー
ム前フィールドt1は、同一のコマを構成するため、例
えば画素位置a点における画素信号レベルの差分値は0
になる。次に参照フィールドとしてフィールドt2が供
給されると、1フレーム前フィールドはフィールドt2
´となり、a点における画素信号レベルの差分値は同様
に0となる。
【0078】次に参照フィールドとしてフィールドt3
が供給されると、1フレーム前フィールドはt1´とな
り、両者はそれぞれ別のコマを形成するため、a点にお
ける画素信号レベルの差分値は0以外(以下、”1”と
する)となる。次に参照フィールドとしてt4´が供給
されると1フレーム前フィールドはフィールドt2とな
り、a点における画素信号レベルの差分値は、同様に”
1”となる。
【0079】更に参照フィールドとしてt3´が供給さ
れると、1フレーム前フィールドは、t3となり、両者
は同一のコマを形成するため、a点における画素信号レ
ベルの差分値は再び0になる。その後に供給される参照
フィールドについても同様の傾向となり、演算した差分
値は、4フィールド周期で「0011」の順で繰り返さ
れる。従って、このシーケンスを4フィールド単位で検
出することにより、各フィールドの前後関係を特定する
ことが可能となる。
【0080】この傾向を1フレーム前フィールドにつき
着目すると、差分値は、コマの最初のフィールドから
「0011」の順になる。従って、最初に差分値0を算
出したとき、検出した1フレーム前フィールドを、コマ
の最初のフィールド(第1のフィールド)として特定す
る。また差分値0が連続したときには、検出した1フレ
ーム前フィールドを第2のフィールドとして特定する。
また差分値として最初に1を算出した場合に、検出した
1フレーム前フィールドを第3のフィールドとして特定
する。また、差分値1が連続したときには、検出した1
フレーム前フィールドを第4のフィールドとして特定す
る。
【0081】なお、TV信号が入力された場合において
も、各フィールドが第1のフィールド又は第2のフィー
ルドのいずれに該当するか判別する必要あるが、フィー
ルド倍速変換回路3により倍速変換する際に該当するフ
ィールドは判明するため、上述のようなシーケンス検出
の必要性は無い。すなわち、フィールド倍速変換回路3
からTV信号が入力される際には、第1のフィールド
と、第2のフィールドが特定されていることになる。
【0082】次に動きベクトル検出部15におけるブロ
ックマッチング部151の動作例について詳細に説明す
る。
【0083】ブロックマッチング部151は、図8に示
すように画像データD1に相当する基準フィールド30
を複数の基準ブロック51に分割し、当該画像データD
1(基準フィールド30)における基準ブロック51と
最も高い相似度を示すブロックを、画像データD2(参
照フィールド40)における探索範囲54内を移動する
探索ブロック53から検出する。そして当該検出された
探索ブロック53と基準ブロック51間の位置のずれ
(移動の方向と大きさ)を動きベクトルとする。
【0084】上述の相似度の判定は、先ず探索ブロック
53の各画素値について、基準ブロック51の対応する
画素値との差分をとり、その差によって示される評価
値、例えば差分絶対値和を求める。次に、上述の判定操
作を全ての探索ブロック53について行い、それぞれ求
めた評価値和、すなわち各差分絶対値和から最小のもの
を求める。この最小の差分絶対値和を与える探索ブロッ
ク53を、基準ブロック51と最も高い相似度を示すブ
ロックとし、かかるブロックの原点の画素63と、基準
ブロック51の原点の画素との間で特定することができ
るベクトルを動きベクトルとする。
【0085】なお、このブロックマッチング部151
は、上述したブロックマッチング法に基づく動きベクト
ルの検出に加えて以下に示す検出方法を適用することに
より、本来の画像の動きに適合した動きベクトルを検出
しても良い。
【0086】先ず、第1の検出方法について説明をす
る。この第1の検出方法では、上述のブロックマッチン
グ法を利用した動き補正に加えて、更に以下のコンセプ
トから、動きベクトルの検出を行う。
【0087】図9は、探索範囲54内に割り当てられた
全探索ブロック53について求めた差分絶対値和の分布
傾向の一例を示している。この図9より、差分絶対値和
の高い領域は、基準ブロック51と探索ブロック53と
の画素値が著しく異なる領域である。一方、凹部を形成
している差分絶対値の低い領域は、基準ブロック51と
探索ブロック53との画素値が近似する領域である。す
なわち、画素値が近似する領域に対して動きベクトルを
特定することで、高画質化、高解像度化を実現すること
ができる。
【0088】探索範囲54は、垂直成分(ys)に対応
した水平ラインが割り当てられている。各水平ライン
は、それぞれ差分絶対値の極小値を有し、これらの極小
値が上述した差分絶対値の低い領域を形成している。以
下、これらの水平ライン毎の極小値をライン極小値と称
する。
【0089】また、通常のブロックマッチング同様に探
索範囲54全体の中から特定した差分絶対値和の極小値
を領域極小値と称する。すなわち各ライン極小値の中で
最小となる差分絶対値和は、この領域極小値に相当す
る。図9において示されるように、黒丸で示した領域極
小値は、他のライン極小値と比較しても大差無い。この
ため、この領域極小値を示す画素の代わりに、ライン極
小値を示す画素について、基準ブロック51の原点の画
素との間で動きベクトルを特定しても、画質や解像度に
ほとんど影響が及ばないことになる。
【0090】このため第1の検出方法では、かかる性質
に着目し、ライン極小値を有する画素の中から本来の画
像の動きに最も適合する画素を選択し、基準ブロック5
1の原点の画素との間で動きベクトルを特定する。
【0091】次に第2の検出方法について説明をする。
この第2の検出方法では、図10に示すように、左側の
画素(ブロック)から右側の画素(ブロック)へ順に動
きベクトルを求めていくことに着目し、上述のブロック
マッチング法に加えて、更に以下の動き補正を行なう。
【0092】本来の画像の動きを識別するために、左隣
の画素の動きベクトルを本来の画像の動きを識別するた
めのパラメータとして読み出す。そして、動きベクトル
を求める画素35(基準ブロック51の原点の画素)の
左隣に位置する画素34において求められている動きベ
クトルが正確なものであると仮定する。実際には、図1
1に示すように、画素35の動きベクトルの方向を、該
左隣に位置する画素34の動きベクトルに合わせる。こ
のようにして求められた画素35の動きベクトルも正確
なものとなるため、さらに画素36の動きベクトルを求
める際に、画素35を参酌することができ、動きベクト
ルの正確性を担保することが可能となる。
【0093】またブロックマッチング部151は、上述
したブロックマッチング法に基づいて検出した動きベク
トルについて、更に図12に示す修正処理を施しても良
い。
【0094】この修正処理では、実際の画像の動きと無
関係な動きベクトルが求められている画素(以下、この
画素を基準画素と称する)を抽出し、当該基準画素に隣
接する隣接画素の動きベクトルに適合させるものであ
る。
【0095】まず、ブロックマッチング部151は、ス
テップS11において各変数を初期化し、次にステップ
S12において、図13に示す隣接画素A〜Hの中から
最初の隣接画素(例えば隣接画素A)における動きベク
トルを抽出する。
【0096】次に、ブロックマッチング部151は、ス
テップS13において、隣接画素における動きベクトル
の水平成分の極性Vx_iを識別し、当該極性がプラス
であればステップS14へ移行し、当該極性がマイナス
であればステップS15へ移行する。
【0097】ステップS14において、ブロックマッチ
ング部151は、図示しないカウンタCnt_pに1を
加算し、また抽出した動きベクトルの水平成分を、隣接
画素の水平成分の和Vx_ave_pへ、また当該動き
ベクトルの垂直成分を垂直成分の和Vy_ave_pへ
加算し、ステップS16へ移行する。
【0098】ステップS15において、ブロックマッチ
ング部151は、図示しないカウンタCnt_mに1を
加算し、また抽出した動きベクトルの水平成分を、隣接
画素の水平成分の和Vx_ave_mへ、当該動きベク
トルの垂直成分を垂直成分の和Vy_ave_mへ加算
し、ステップS16へ移行する。
【0099】ステップS16において、ブロックマッチ
ング部151は、ステップS13で識別した隣接画素
が、抽出すべき隣接画素A〜Hのうち最後の隣接画素か
否か識別する。最後の隣接画素であればステップS18
へ移行する。最後の隣接画素でなければステップS17
へ移行する。
【0100】ステップS17において、ブロックマッチ
ング部151は、次の隣接画素の動きベクトル(例えば
隣接画素B)を抽出し、再度ステップS13へ移行す
る。このルーチンを組むことにより、図2に示す隣接画
素A〜H全てについて動きベクトルの識別をすることが
可能となる。また隣接画素A〜H全てについて動きベク
トルを識別して、ステップS18に移行する際には、カ
ウンタCnt_pにおいて、動きベクトルの水平成分の
極性がプラスである隣接画素の個数が、またカウンタC
nt_mにおいて、動きベクトルの水平成分の極性がマ
イナスである隣接画素の個数が示されることとなる。さ
らに、動きベクトルの水平成分の極性がプラスである隣
接画素における水平成分の和Vx_ave_p、垂直成
分の和Vy_ave_pが求められており、また動きベ
クトルの水平成分の極性がマイナスである隣接画素にお
ける水平成分の和Vx_ave_m、垂直成分の和Vy
_ave_mが求められることになる。
【0101】ちなみに、ステップS17において、隣接
画素A〜Hの抽出する順は時計回り、或いは反時計回り
であっても良いし、ランダムであっても良い。また抽出
する隣接画素は、隣接画素A〜H全て抽出しなくても良
く、例えば、上段の隣接画素A〜C、隣接画素B,D,
E、又は、隣接画素A,B,C,D,Eであっても良い。ま
た、画素単位でなく複数の画素からなるブロック単位で
上述の処理を実行しても良い。
【0102】ステップS18に移行すると、ブロックマ
ッチング部151は、カウンタCnt_pとカウンタC
nt_mの数値を比較する。その結果、カウンタCnt
_pがより大きい場合には、隣接画素のうち、動きベク
トル水平成分の極性がプラスである隣接画素の方が多い
ことが示され、ステップS19へ移行する。また、カウ
ンタCnt_mがより大きい場合には、隣接画素のう
ち、動きベクトルの水平成分の極性がマイナスである隣
接画素の方が多いことが示され、ステップS20へ移行
する。
【0103】ステップS19では、動きベクトルの水平
成分の極性がプラスである隣接画素に基づき、基準画素
における修正動きベクトルを求める。この修正動きベク
トルの各成分(Vx_n、Vy_n)は、水平成分の極
性がプラスである隣接画素の各成分の平均値とする。具
体的には以下の式に基づき算出する。 Vx_n=Vx_ave_p/Cnt_p Vy_n=Vy_ave_p/Cnt_p
【0104】また、ステップS20では、動きベクトル
の水平成分の極性がマイナスである隣接画素に基づき、
基準画素における修正動きベクトルを求める。この修正
動きベクトルの各成分(Vx_n、Vy_n)は、水平
成分の極性がマイナスである隣接画素の各成分の平均値
とする。具体的には以下の式に基づき算出する。 Vx_n=Vx_ave_m/Cnt_m Vy_n=Vy_ave_m/Cnt_m
【0105】すなわち、ブロックマッチング部151
は、上述した図12に示す処理手順を踏むことにより、
基準画素の動きベクトルを、隣接画素の動きベクトルの
ベクトル方向をカウントし、多数の隣接画素が示すベク
トル方向に合うように修正することができる。換言すれ
ば、基準画素の周囲に位置する隣接画素の動きベクトル
の方向を多数決し、多い方の動きベクトルの方向を実際
の画像の動きであるものと推定して、基準画素の動きベ
クトルのベクトル方向を修正することができる。これに
より、動きベクトルのばらつきを解消することが可能と
なり、ひいては、変換画像の劣化を防止することができ
る。
【0106】次に範囲外検出部152の動作例について
説明をする。
【0107】範囲外検出部152は、ブロックマッチン
グ部151から送信された動きベクトルが例えば図14
に示すように探索範囲54外に出る場合に補正処理を行
なう。
【0108】第1の補正処理は、例えば図14(a)に示
すように、修正する動きベクトルのベクトル方向を、ブ
ロックマッチング演算部11により求められた動きベク
トルのベクトル方向に適合させる。すなわちブロックマ
ッチング演算部11により求められた動きベクトルの方
向を変えずに、ベクトル量のみ探索範囲54の輪郭部ま
で縮小させる。
【0109】第2の補正処理は、例えば図14(b)に示
すように、修正する動きベクトルの垂直成分を、ブロッ
クマッチング演算部11により求められた動きベクトル
の垂直成分に適合させ、或いは修正する動きベクトルの
水平成分を、ブロックマッチング演算部11により求め
られた動きベクトルの水平成分に適合させつつ、ベクト
ル量を探索範囲54の輪郭まで縮小させる。
【0110】第3の補正処理は、例えば図14(c)に示
すように、ベクトル量が探索範囲54内に収まるような
複数の動きベクトルの候補を予め設定し、ブロックマッ
チング演算部11により求められた動きベクトルのベク
トル方向、ベクトル量に応じて(換言すれば差分絶対値
和が最小となる画素位置に応じて)、当該動きベクトル
の候補から一の動きベクトルを選択する。ちなみに設定
する動きベクトルの候補は、図14(c)に示すように、
探索範囲54の各辺につき、1つずつ設定しても良い。
【0111】このように、本発明に係る動きベクトル検
出装置1は、求められる真の動きベクトルが探索範囲5
4外に存在する場合においても、従来のブロックマッチ
ング法の如く各ブロック51,53の差分絶対値和の最
小値を最優先することなく、当該真の動きベクトルを容
易に検出することができる。これにより、本発明は、本
来の動きと異なる不規則な動きベクトルが求められるこ
とは無く、画質の劣化や、領域単位での処理破綻を防止
することが可能となる。
【0112】次に、画像シフト部16の具体的な動作例
について説明をする。
【0113】図15(a)は、1コマ2フィールドで構成
されるTV信号が入力された場合における画像シフト部
16の具体的な動作例を一次元のグラフで示している。
この動作例は、TV信号が入力された場合のものであ
り、0から始まる番号は、画素位置を示すアドレスであ
り、また縦軸は画素値を表している。
【0114】本発明では、この時間的に異なる画像デー
タD1と画像データD2の中間に位置する第2のフィー
ルド(動き補正フィールド)に対して、様々な画像のバ
リエーションにおいても動きがスムーズに見えるように
補正データを書き込む。すなわち、この図15に示す例
において、左側に凸部がある画像データD1から、中央
になだらかな凸部がある画像データD2へ移り変わる際
に、全体の動きがスムーズに見えるような画像を、上述
の動き補正フィールドにおいて作成する。
【0115】図16は、図15に示す画像シフト部16
の具体的な動作例を、画素値で表示したものである。図
16(a)は、画像シフト部16に入力される画像データ
D1と画像データD2を表したものであり、番号は、画
素位置を示すアドレスである。各画素毎に輝度があるこ
とから、供給される画像データD1には、番号ごとに画
素値が割り振られる。
【0116】すなわち、図16(a)に示す動作例におい
て、画像データD1は、番号0〜11のアドレスにおい
て、順に100、100、200、・・・・と続く画素
値で表される。
【0117】画像データD1より後に位置する画像デー
タD2は、番号0〜11のアドレスにおいて、順に10
0、100、100、・・・・と続く画素値で表され
る。
【0118】図16(a)に示されている動きベクトル
は、この画像データD1と、画像データD2間との間
で、各画素毎の画像データD1を基準としたベクトル量
を表したものである。例えば、画像データD1において
番号1のアドレスにある画素値100の画素は、1フィ
ールド後に位置する画像データD2においても番号1の
アドレスに位置している。従って動きベクトルは0であ
る。また、例えば画像データD1において番号2のアド
レスにある画素値200の画素は、画像データD2にお
いて、番号4のアドレスに移動する。従って動きベクト
ルは4−2=2より、2となる。ちなみに図15に示す
矢印は、この各画素毎の動きベクトルを示したものであ
る。
【0119】図16(a)に示すフラグF1は、画像デー
タD1の検出画素と、画像データD2における当該検出
画素との差分絶対値とした場合の例である。この図16
(a)に示す例において、画像データD1において番号2
のアドレスにある画素値200の画素は、画像データD
2において番号4のアドレスに移動し、画素値は200
と変わらないため、差分絶対値は0である。一方、画像
データD1において番号7のアドレスにある画素値11
0の画素は、画像データD2において番号10のアドレ
スに移動し、画素値は100となるため、差分絶対値は
10となる。
【0120】図16(b)は、シフトバッファ読出制御信
号RS1について示している。この図16(b)に示した
例では、式(1.1)に基づき、アドレス計算カウンタ
から、0,1,2、3・・・と、0から1ずつプラスに
シフトさせた値をCX1とし、また移動量情報αを1/
2とした場合について示している。なお、アドレス計算
カウンタの数値CX1は、画像データD1のアドレスを
示す番号に対応させて出力している。
【0121】このシフトバッファ制御信号RS1を生成
する際において、例えば、アドレス計算カウンタの番号
が”2”である場合には、図16(a)に基づき、番号2
に対応する画素位置の動きベクトルは”2”であるの
で、式(1.1)に基づき、2+2×1/2=3より、
シフトバッファ読出制御信号RS1の番号は”3”とな
る。同様にアドレス計算カウンタの番号が”3”の場合
には、図16(a)に基づき、番号3に対応する動きベク
トルは”2”であるので、式(1.1)に代入して、3
+2×1/2=4より、シフトバッファ読出制御信号R
S1の番号は”4”となる。
【0122】すなわち、この生成されたシフトバッファ
読出制御信号RS1の番号は、動き補正フィールドにお
いて、補正データH1を書き込むアドレスの番号を示し
ている。
【0123】算出したシフトバッファ制御信号RS1の
アドレスについて、シフトバッファ163への動きベク
トルの書き込み状況を検知するべく、フラグF´を読み
出す。このフラグF´は、シフトバッファ163にアク
セスされたアドレスにおいて、動きベクトルが書き込ま
れていない場合には、”NM”が返される。一方、動き
ベクトルが既に書き込まれたアドレスに対しては、差分
絶対値の値が返される。
【0124】例えば図16(b)に示す例において、シフ
トバッファ読出制御信号RS1の番号0〜8のアドレス
では、シフトバッファ163からフラグF´を介して、
データが書き込まれていない旨が表示される。また、番
号9のアドレスにおいては、最初はデータが書き込まれ
ていない旨の”NM”が、次回では差分絶対値が、フラ
グF´として返されている。すなわちシフトバッファ1
63の番号9のアドレスには、複数の動きベクトルが書
き込まれることを意味している。これは図15におい
て、画像データD2の番号9のアドレスには、画像デー
タD1の番号6並びに番号9に基づく動きベクトルが集
中していることからも示される。
【0125】ここで、フラグF´が”NM”で返された
シフトバッファ163のアドレスには、当該アドレスの
番号に応じて動きベクトルが順次書き込まれる。また、
フラグF´が数値を持つ場合には、フラグF´と当該ア
ドレスの番号に相当するフラグFとを比較し、数値が小
さい方を有効とする。これにより、画像データD1から
画像データD2へ移行するまでに誤差の少ない動きベク
トルをシフトバッファ163へ書き込むことが可能とな
り、単一の画素位置に複数の動きベクトルがかかるよう
な、様々なバリエーションの画像についても高精度に動
き補正することが可能となる。
【0126】シフトバッファ書込制御部162は、供給
されるフラグF´に基づき、動きベクトルをシフトバッ
ファ163上に書き込むためのアドレスを決定する。例
えば、番号9において、フラグFは”10”であり、ま
たフラグF´は”0”である。数値の小さいフラグを優
先するため、この番号9では、当初に書き込まれた、番
号6のアドレスに基づく動きベクトル”3”が、そのま
まシフトバッファ163に格納され続けることになる。
【0127】またシフトバッファ書込制御部162は、
アドレスに対応する番号と動きベクトルとを関連付けて
シフトバッファ書込制御信号RS2とし、これをシフト
バッファ163へ書き込む。書き込まれた後のシフトバ
ッファ163には、図16(b)の下段に示すように、各
番号のアドレスに対して動きベクトルが格納されること
になる。
【0128】シフトバッファ163に格納された動きベ
クトルを、アドレスの番号の順に再度整理した結果を図
16(c)に示す。また処理フラグF2は、各アドレスに
おけるマーク情報を示している。この処理フラグF2に
おいて”OK”が出力されている場合には、当該番号の
アドレスにデータが書き込まれていることを示し、ま
た”NM”が出力されている場合には、当該番号のアド
レスにデータが書き込まれていないことを示している。
ちなみに番号2のアドレスには、データが書き込まれて
いないため、処理フラグF2として”NM”が出力され
る。
【0129】このシフトバッファ163から読み出され
た移動済動きベクトルは、データバッファ読出制御部1
64へ、処理フラグF2は、データ演算部167へ供給
される。
【0130】データバッファ読出制御部164は、供給
された移動済動きベクトルに基づき、上述の式(2.
1)〜(2.4)を利用してバッファ制御信号S11、
S12を作り出す。例えば、アドレス計算カウンタの値
を、シフトバッファ163のアドレスに対応する番号と
した場合において、番号3のアドレスでは、図16(c)
より、移動済動きベクトルは”2”であるので、バッフ
ァ制御信号S11は、式(2.1)より”2”となり、
またバッファ制御信号S12は、式(2.3)より”
4”となる。また、番号6のアドレスにおいても同様
に、移動済動きベクトルは、”3”であるので、バッフ
ァ制御信号S11は、”5”となり、またバッファ制御
信号S12は、”8”となる。
【0131】以上の如く算出されたバッファ制御信号S
11は、第1のバッファ165に供給され、バッファ制
御信号S11の番号に対応するアドレスの画素値が、第
1のバッファ165から読み出される。読み出された画
素値は、図16(c)中段に示すように、シフトデータS
D1としてアドレスに対応付けられ、データ演算部16
7等に供給されることとなる。
【0132】同様にバッファ制御信号S12が第2のバ
ッファ166に供給され、バッファ制御信号S12の番
号に対応するアドレスの画素値が第2のバッファ166
から読み出される。読み出された画素値は、図8(c)中
段に示すようにシフトデータSD2としてアドレスに対
応付けられ、データ演算部167等に供給されることと
なる。
【0133】図16(c)最下段は、補正データH1を、
シフトデータSD1とシフトデータSD2の平均値とし
た場合について示している。データ演算部167は、送
信される処理フラグF2として”OK”が出力されてい
る番号について、対応するシフトデータSD1、SD2
に基づき、補正データH1を算出し、また”NM”出力
されている番号2のアドレスでは、隣接する番号1のア
ドレスの画素値をそのままホールドしている。但し、”
NM”の部分については、アンカバー処理部168で再
度演算が行われるため、ここではダミーデータとしてホ
ールド値を代入する。
【0134】この生成した補正データH1を、各番号の
アドレス毎に動き補正フィールドへ書き込むことによ
り、図15(a)に示すような画像を作り出すことができ
る。
【0135】すなわち、画像シフト部16は、例えば番
号9のように動きベクトルが示す画素が重複する場合に
いずれか一の動きベクトルを選択して、補正データH1
を作成し、これを動き補正フィールド50へ書き込むこ
とができる。これにより、本発明に係る動き補正回路1
は、例えば画像が水平方向へ移動しながら、画素値が変
化する場合においても、画像の動きの不連続性を効率よ
く解消することができる。
【0136】次に、アンカバー処理部168の動作例に
ついて説明する。
【0137】このアンカバー処理部168による画素の
補間処理は、アンカバー領域周辺画素の書込処理、静止
画像処理、背景処理の3種類に分類される。
【0138】図17は、アンカバー領域周辺画素の書込
処理を行なう場合について説明するための図である。こ
のアンカバー領域内において、画素値を補間する補間画
素位置110とし、アンカバー領域の水平方向に隣接す
る画素位置を、左から画素位置120、画素位置130
とする。
【0139】動きベクトル特定部11は、先ず補間画素
位置110における動きベクトルを特定する。かかる動
きベクトルは、例えば基準フィールド30と、参照フィ
ールド40との間で算出した差分に基づいて特定する。
【0140】次に画素選択部12は、特定した補間画素
位置110における動きベクトルについて抽出した垂直
成分に基づき、アンカバー領域の垂直方向、若しくは水
平方向に隣接する画素を選択する。この画素の選択は、
動きベクトルの垂直成分が+2,−2の場合には、垂直
方向に隣接する画素111,112をそれぞれ選択し、
また垂直成分が+1,0,−1のときには、水平方向に隣
接する画素120,130を選択する。
【0141】すなわち、補間画素位置110における動
きベクトルの垂直成分が+2,−2の場合には、補間画
素位置110周辺の画素において垂直成分への動きが水
平成分の動きよりも顕著であることを示している。従っ
て、補間画素位置110周辺の画素の画素値に適合させ
るためには、垂直方向に隣接する画素の画素値を書き込
む方が好ましいことになる。また、シフト量は、スムー
ズな動きを実現する観点から、動きベクトルのベクトル
量の1/2にすることが多い。このため、+2,−2を
1/2倍すると+1,−1になるため、補間画素位置の
垂直方向へ隣接する画素111,112の画素値を書き
込むことにより、ベクトル量の観点からも、アンカバー
領域周辺の画素の画素値と整合をとることができる。
【0142】一方、補間画素位置110における動きベ
クトルの垂直成分が+1,0,−1の場合には、補間画素
位置110周辺の画素において水平成分の動きが垂直成
分の動きよりも顕著であることを示している。従って、
補間画素位置110周辺の画素の画素値に整合させるた
めには、水平方向に隣接する画素120,130の画素
値を書き込む方が好ましいことになる。
【0143】次に、本発明を適用したアンカバー領域の
処理方法において、静止画像処理を用いる場合について
説明をする。
【0144】この静止画像処理において、以下に説明す
る静止条件を満たすときに、情報書込部13は、基準フ
ィールド30上の補間画素位置110における画素値
を、そのまま動き補正フィールド50上の補間画素位置
110へ書き込む。すなわち、基準フィールド上の画像
と、1フレーム後の参照フィールド40上の画像が静止
していれば、基準フィールド30の画像をそのまま動き
補正フィールドに書き込めば足りるからである。
【0145】静止条件Aは、基準フィールド30から切
り出した補間画素位置110を原点とする基準ブロック
と、上記参照フィールド40から切り出した補間画素位
置110を原点とする参照ブロックとの間で演算した画
素値が類似していること、換言すればこれらの画素値の
差分絶対値が閾値以下であること、を条件とする。
【0146】また静止条件Bは、上述した静止条件Aに
加えて、さらにアンカバー領域の左隣の画素120にお
ける画素値と、基準フィールド30から切り出した補間
画素位置110の画素値が類似していること、換言すれ
ばこれらの画素値の差分絶対値が閾値以下であること、
を条件とする。
【0147】更に静止条件Cは、上述した静止条件Aに
加えて、アンカバー領域の左隣の画素120における画
素値と、アンカバー領域の右隣の画素130における画
素値が非類似であり(換言すれば、これらの画素値の差
分絶対値が閾値以上であり)、かつ基準フィールド30
上の補間画素位置110における画素値が、上記左隣の
画素120における画素値と上記右隣の画素130にお
ける画素値との間にあることを条件とする。
【0148】かかる静止条件A,B,Cは、全て基準フィ
ールド30上の画像と、1フレーム後の参照フィールド
40上の画像が静止状態に近い程、クリアできるものと
なっている。ちなみに、内蔵したテレビジョン受像機の
スペックに応じて、この静止条件A,B,Cを自由に選択
することも可能である。
【0149】次に、本発明を適用したアンカバー領域の
処理方法において、背景処理を用いる場合について説明
をする。
【0150】この背景処理においては、動きベクトル特
定部11により特定された動きベクトルの垂直成分を識
別する。この動きベクトルの垂直成分が−1〜+1であ
り、かつアンカバー領域における左隣の画素120、又
は右隣の画素130における動きベクトルの各成分が0
である場合に、背景であるものと判別する。そして、参
照フィールド40上の補間画素位置110における画素
値を、そのまま動き補正フィールド50上の補間画素位
置110へ書き込む背景処理を行なう。背景の画像であ
れば、参照フィールド40上の画像をそのまま動き補正
フィールド50に書き込めば足りるからである。
【0151】なお、本発明はPAL方式によるテレビジ
ョン受像機に対して適用される場合に限定されることは
なく、例えば、NTSC(National TV System Committe
e)方式の60フィールド秒(30コマ/秒)のインタレ
ース画像信号が入力されるテレビジョン受像機に対して
も適用可能である。また、SECAM方式によるテレビ
ジョン受像機に対しても適用可能である。
【0152】また本発明は、例えば図3に示す画像シフ
ト部16において、シフトバッファ読出制御部161を
除去し、またシフトバッファ読出制御信号RS1、フラ
グF1、フラグF´を省略し、優先順位を判定しない方
式にも適用可能である。この画像シフト部16におい
て、アドレスに書き込むデータが重複する場合には、時
間的に後に計算されたデータが、既に書き込まれている
データ上に上書きされることになるが、フラグの読み出
し時の制御が不必要になるため、回路を更に簡略化する
ことができる。
【0153】また本発明は、例えばテレビジョン受像機
に接続する信号変換器等にも適用でき、また回路やハー
ドウェア等で実現される場合のみならず、プロセッサ上
でソフトウェアとしても実現可能である。
【0154】更に本発明は、インターネットで伝送され
るような画像信号をPCなどで表示する場合や、メディ
アや画像フォーマットを変換するケースにも応用するこ
とができることは勿論である。
【0155】
【発明の効果】以上詳細に説明したように、本発明に係
る動き補正回路及び方法は、テレシネ変換した画像を倍
速変換することにより生成された1コマが4フィールド
で構成される画像信号が入力され、演算した画素信号レ
ベルの差分値に基づいて第1のフィールドを特定し、特
定した第1のフィールドから後へフィールドが移行する
につれてシフト量が順次増大するように、動きベクトル
のベクトル方向へ検出画素の位置をシフトさせる。この
ため、本発明に係る動き補正回路及び方法は、テレシネ
変換後、倍速変換した画像信号特有の動きの不連続感を
解消することができ、倍速変換により面フリッカ妨害を
抑制した画像の動きを更にスムーズにすることができ、
相乗的に画質を向上させることが可能となる。
【0156】また、本発明に係る動き補正回路及び方法
は、時間的に異なる画像データ間において、画像の動き
をスムーズにできる最適な補正データを動き補正フィー
ルドに書き込むため、例えば画像が水平方向へ移動しな
がら、画素値が変化する場合においても、画像の動きの
不連続性を効率よく解消することができる。またこの動
き補正回路及び方法は、テレシネ変換した画像信号とT
V信号とが双方とも入力される場合において、画像の様
々なバリエーションに対応させて、動きの不連続性を効
率よく解消することができる。これにより、フィルム信
号とTV信号の双方が入力されるテレビジョン受像機に
内蔵することができ、また既に販売されたテレビジョン
受像機に対して新たに内蔵することにより容易にバージ
ョンアップを図ることも可能となり、汎用性をより高め
ることも可能となる。
【0157】また、本発明に係る動き補正回路及び方法
は、実際の画像の動きに適合した動きベクトルを求める
ことにより、求める動きベクトルのばらつきを解消し、
ひいては変換画像の劣化を防止することができる。
【0158】また、本発明に係る動き補正回路及び方法
は、ブロックマッチング法により求めた動きベクトル
が、探索範囲外である場合において、当該動きベクトル
のベクトル量を上記探索範囲内に収まるように修正を行
なう。このため、ブロックマッチング法により求められ
た動きベクトルが探索範囲外に存在する場合において
も、実際の画像の動きに適合するように修正することが
できるため、画質の劣化や、領域単位での処理破綻を防
止することができる。
【0159】更に、本発明に係る動き補正回路及び方法
は、補間画素位置における動きベクトルの垂直成分に基
づき、アンカバー領域の垂直方向、又は水平方向に隣接
する画素を選択し、該選択された画素を補間画素位置へ
書き込む。これにより、アンカバー領域に対して、最適
な画素値を示す画素を埋めることができ、動き補正フィ
ールド上において孤立点を無くすことができるため、変
換画像の劣化を防ぐことができる。
【図面の簡単な説明】
【図1】本発明を適用した動き補正回路のブロック構成
図である。
【図2】動きベクトル検出部の構成を示した図である。
【図3】画像シフト部のブロック構成を示した図であ
る。
【図4】フィールド倍速変換回路における倍速変換前後
の各フィールドと画素位置の関係を示した図である。
【図5】テレシネ変換された画像において、水平方向へ
画像が移動する場合における各フィールドと画像位置の
関係を示した図である。
【図6】TV信号の画像において、水平方向へ画像が移
動する場合における各フィールドと画像位置の関係を示
した図である。
【図7】シーケンスの検出方法について説明するための
図である。
【図8】ブロックマッチング法について説明するための
図である。
【図9】差分絶対値和の分布傾向に照らし合わせて動き
ベクトルを検出する場合について説明するための図であ
る。
【図10】左側の画素から右側の画素へ順に動きベクト
ルを求めていく場合について説明するための図である。
【図11】隣接画素の動きベクトルに応じて、動きベク
トルを求める場合について説明するための図である。
【図12】動きベクトルの修正処理の手順を示したフロ
ーチャートである。
【図13】動きベクトルの修正処理において、動きベク
トルを抽出する隣接画素を示した図である。
【図14】ブロックマッチング部から送信された動きベ
クトルが探索範囲外に出る場合について行なう補正処理
について説明するための図である。
【図15】画像シフト部の動作処理過程を1次元で表示
した図である。
【図16】画像シフト部の具体的な動作例を、画素値で
表示した図である。
【図17】アンカバー領域に対して画素を補間する場合
について説明するための図である。
【図18】フィールド周波数倍速方式を適用したフィー
ルド倍速変換回路のブロック構成図である。
【図19】倍速変換前後の各フィールドと画素位置の関
係を示した図である。
【図20】水平方向へ画像が移動する場合における各フ
ィールドと画像位置の関係を示した図である。
【図21】TV信号が入力される場合において、水平方
向へ画像が移動するときの各フィールドと画像位置の関
係を示した図である。
【図22】ブロック単位で動きベクトルを検出する例に
ついて説明するための図である。
【図23】アンカバー領域が生じた場合について示した
図である。
【符号の説明】
1 画像信号処理装置、2 CRT、3 フィールド倍
速変換回路、11 第1の画像メモリ、12 第2の画
像メモリ、13 シーケンス検出部、14 データ選択
部、15 動きベクトル検出部、16 画像シフト部、
31 入力端子、32 倍速変換部、33 フレームメ
モリ、151 ブロックマッチング部、152 範囲外
検出部、153 再割り当て部、161 シフトバッフ
ァ読出制御部、162 シフトバッファ書込制御部、1
63 シフトバッファ、164データバッファ読出制御
部、165 第1のバッファ、166 第2のバッフ
ァ、167 データ演算部、168 アンカバー処理部
フロントページの続き (72)発明者 茂木 幸彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 星野 隆也 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 近藤 真 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C063 BA03 BA04 BA08 BA12 CA01 CA07 CA23 CA29 CA36 5J064 AA01 BA13 BB04 BC01 BC08 BC14 BC21 BD01

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 基準フィールドと、上記基準フィールド
    から1フレーム又は2フレーム離れた参照フィールドと
    の間で求めた動きベクトルに基づき、補正フィールド上
    において動き補正を行なう動き補正回路であって、 上記基準フィールドの基準画素を中心とした基準ブロッ
    クについて、上記参照フィールドに対する動きベクトル
    を検出する動きベクトル検出手段と、上記基準ブロック
    において検出した動きベクトルを、当該基準ブロックを
    構成する画素毎に割り当てるベクトル割当手段と、 上記ベクトル割当手段により割り当てられた動きベクト
    ルの示す画素が重複する場合に、いずれか一の動きベク
    トルを選択する選択手段と、 上記補正フィールド上において、動きベクトルの割り当
    てられた画素の画素値を、当該動きベクトルのベクトル
    量の範囲内でベクトル方向へシフトさせた位置の画素値
    とする画像制御手段と、 上記補正フィールド上で、画素値が存在しない情報不在
    領域に対して画素値を補間する画素補間手段を備えるこ
    とを特徴とする動き補正回路。
  2. 【請求項2】 上記動きベクトル検出手段は、上記基準
    ブロックと、上記参照フィールドから切り出した探索範
    囲内を移動する探索ブロックとの間で画素値の差分絶対
    値和を演算し、上記差分絶対値和が最小となる探索ブロ
    ックの位置と上記基準ブロックの位置に基づき動きベク
    トルを検出することを特徴とする請求項1記載の動き補
    正回路。
  3. 【請求項3】 検出した動きベクトルが上記探索範囲外
    である場合において、上記動きベクトル検出手段により
    求められた上記動きベクトルのベクトル量を、上記探索
    範囲内に収まるように修正するベクトル修正手段を備え
    ることを特徴とする請求項2記載の動き補正回路。
  4. 【請求項4】 上記動きベクトル検出手段は、ブロック
    マッチング法に基づいて上記動きベクトルを検出するこ
    とを特徴とする請求項1記載の動き補正回路。
  5. 【請求項5】 上記動きベクトル検出手段は、単方向に
    よるブロックマッチングに基づき、上記動きベクトルを
    検出することを特徴とする請求項4記載の動き補正回
    路。
  6. 【請求項6】 上記動きベクトル検出手段は、上記基準
    画素に隣接する隣接画素において求められた動きベクト
    ルに応じて、上記動きベクトルを検出することを特徴と
    する請求項1記載の動き補正回路。
  7. 【請求項7】 上記動きベクトル検出手段は、上記基準
    ブロックと、上記参照フィールドから切り出した探索範
    囲内を移動する探索ブロックとの間で演算した画素値の
    差分絶対値和の分布傾向に基づき、上記動きベクトルを
    検出することを特徴とする請求項1記載の動き補正回
    路。
  8. 【請求項8】 動きベクトルを修正する修正画素に隣接
    する隣接画素における動きベクトルの水平成分の極性を
    識別し、上記識別された水平成分の極性が正である隣接
    画素の個数と、上記識別された水平成分の極性が負であ
    る隣接画素の個数とを比較し、上記比較した結果に応じ
    て、上記隣接画素における動きベクトルの水平成分及び
    垂直成分の平均値を求め、上記求められた水平成分及び
    垂直成分の平均値を、上記修正画素の動きベクトルにお
    ける水平成分及び垂直成分とするベクトル修正手段を備
    えることを特徴とする請求項1記載の動き補正回路。
  9. 【請求項9】 上記ベクトル割当手段は、上記基準ブロ
    ックにおいて抽出した画像の特徴に基づき、検出した上
    記動きベクトルを割り当てることを特徴とする請求項1
    記載の動き補正回路。
  10. 【請求項10】 コマの最初が第1のフィールドで始ま
    る、倍速変換された画像信号について、上記基準フィー
    ルドの検出画素と、上記基準フィールドから1フレーム
    前後のフィールドの同一箇所における検出画素との間
    で、画素値の差分値を演算し、当該差分値に基づき上記
    第1のフィールドを特定するシーケンス検出手段を備
    え、 上記画像制御手段は、上記第1のフィールドから後へフ
    ィールドが続く毎に、検出した上記動きベクトルのベク
    トル量の範囲内で、上記シフトさせる位置を順次増大さ
    せることを特徴とする請求項1記載の動き補正回路。
  11. 【請求項11】 テレシネ変換された画像を倍速変換す
    ることにより生成された1コマが4フィールドで構成さ
    れる画像信号、又はテレビジョン信号を倍速変換するこ
    とにより生成された1コマが2フィールドで構成される
    画像信号が入力されることを特徴とする請求項1記載の
    動き補正回路。
  12. 【請求項12】 基準フィールドと、上記基準フィール
    ドから1フレーム又は2フレーム離れた参照フィールド
    との間で求めた動きベクトルに基づき、補正フィールド
    上において動き補正を行う動き補正方法であって、上記
    基準フィールドの基準画素を中心とした基準ブロックに
    ついて、上記参照フィールドに対する動きベクトルを検
    出し、 上記基準ブロックにおいて検出した動きベクトルを、当
    該基準ブロックを構成する画素毎に割り当て、 上記割り当てられた動きベクトルの示す画素が重複する
    場合に、いずれか一の動きベクトルを選択し、 上記補正フィールド上において、動きベクトルの割り当
    てられた画素の画素値を、当該動きベクトルのベクトル
    量の範囲内でベクトル方向へシフトさせた位置の画素値
    とし、また画素値が存在しない情報不在領域に対して画
    素値を補間することを特徴とする動き補正方法。
  13. 【請求項13】 上記基準ブロックと、上記参照フィー
    ルドから切り出した探索範囲内を移動する探索ブロック
    との間で画素値の差分絶対値和を演算し、上記差分絶対
    値和が最小となる探索ブロックの位置と上記基準ブロッ
    クの位置に基づき動きベクトルを検出することを特徴と
    する請求項12記載の動き補正方法。
  14. 【請求項14】 検出した動きベクトルが上記探索範囲
    外である場合において、上記求められた動きベクトルの
    ベクトル量を、上記探索範囲内に収まるように修正する
    ことを特徴とする請求項13記載の動き補正方法。
  15. 【請求項15】 ブロックマッチング法に基づいて上記
    動きベクトルを検出することを特徴とする請求項12記
    載の動き補正方法。
  16. 【請求項16】 単方向によるブロックマッチングに基
    づき、上記動きベクトルを検出することを特徴とする請
    求項15記載の動き補正方法。
  17. 【請求項17】 上記基準画素に隣接する隣接画素にお
    いて求められた動きベクトルに応じて、上記動きベクト
    ルを検出することを特徴とする請求項12記載の動き補
    正方法。
  18. 【請求項18】 上記基準ブロックと、上記参照フィー
    ルドから切り出した探索範囲内を移動する探索ブロック
    との間で演算した画素値の差分絶対値和の分布傾向に基
    づき、上記動きベクトルを検出することを特徴とする請
    求項12記載の動き補正方法。
  19. 【請求項19】 動きベクトルを修正する修正画素に隣
    接する隣接画素における動きベクトルの水平成分の極性
    を識別し、上記識別された水平成分の極性が正である隣
    接画素の個数と、上記識別された水平成分の極性が負で
    ある隣接画素の個数とを比較し、上記比較した結果に応
    じて、上記隣接画素における動きベクトルの水平成分及
    び垂直成分の平均値を求め、上記求められた水平成分及
    び垂直成分の平均値を、上記修正画素の動きベクトルに
    おける水平成分及び垂直成分とすることを特徴とする請
    求項12記載の動き補正方法。
  20. 【請求項20】 上記基準ブロックにおいて抽出した画
    像の特徴に基づき、検出した上記動きベクトルを割り当
    てることを特徴とする請求項12記載の動き補正方法。
  21. 【請求項21】 コマの最初が第1のフィールドで始ま
    る、倍速変換された画像信号について、上記基準フィー
    ルドの検出画素と、上記基準フィールドから1フレーム
    前後のフィールドの同一箇所における検出画素との間
    で、画素値の差分値を演算し、当該差分値に基づき上記
    第1のフィールドを特定し、 上記第1のフィールドから後へフィールドが続く毎に、
    検出した上記動きベクトルのベクトル量の範囲内で、上
    記シフトさせる位置を順次増大させることを特徴とする
    請求項12記載の動き補正方法。
  22. 【請求項22】 テレシネ変換された画像を倍速変換す
    ることにより生成された1コマが4フィールドで構成さ
    れる画像信号、又はテレビジョン信号を倍速変換するこ
    とにより生成された1コマが2フィールドで構成される
    画像信号が入力されることを特徴とする請求項12記載
    の動き補正方法。
JP2002115352A 2002-04-17 2002-04-17 動き補正回路及び方法 Expired - Fee Related JP4337302B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002115352A JP4337302B2 (ja) 2002-04-17 2002-04-17 動き補正回路及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002115352A JP4337302B2 (ja) 2002-04-17 2002-04-17 動き補正回路及び方法

Publications (2)

Publication Number Publication Date
JP2003309822A true JP2003309822A (ja) 2003-10-31
JP4337302B2 JP4337302B2 (ja) 2009-09-30

Family

ID=29396725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002115352A Expired - Fee Related JP4337302B2 (ja) 2002-04-17 2002-04-17 動き補正回路及び方法

Country Status (1)

Country Link
JP (1) JP4337302B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100410985C (zh) * 2004-09-22 2008-08-13 索尼株式会社 图像显示单元与校正图像显示单元中的亮度的方法
JP2009522892A (ja) * 2006-01-06 2009-06-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 視覚信号の補外または補間のためのシステムおよび方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100410985C (zh) * 2004-09-22 2008-08-13 索尼株式会社 图像显示单元与校正图像显示单元中的亮度的方法
JP2009522892A (ja) * 2006-01-06 2009-06-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 視覚信号の補外または補間のためのシステムおよび方法
US8594201B2 (en) 2006-01-06 2013-11-26 International Business Machines Corporation Systems and methods for visual signal extrapolation or interpolation

Also Published As

Publication number Publication date
JP4337302B2 (ja) 2009-09-30

Similar Documents

Publication Publication Date Title
JP3855761B2 (ja) 画像信号処理装置及び方法
JPH1188893A (ja) 画像信号処理装置
US20030112369A1 (en) Apparatus and method for deinterlace of video signal
JP2003299040A (ja) 動きベクトル検出装置及び方法
JP2008160591A (ja) テレビジョン受信機及びそのフレームレート変換方法
US7050108B2 (en) Motion vector correction circuit and method
JP3596520B2 (ja) 画像信号処理装置及び方法
US7327397B2 (en) Image processing with pixel interpolation
JP2003189259A (ja) 画像信号処理装置及び方法
US20040189877A1 (en) Apparatus for detecting a common frame in an interlaced image
JP2003309822A (ja) 動き補正回路及び方法
JP5114274B2 (ja) テレビジョン受信機及びそのフレームレート変換方法
JP4655213B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
WO2004002148A1 (ja) 動きベクトル検出装置及び検出方法、並びに動き補正装置及び動き補正方法
JP4470324B2 (ja) 画像信号変換装置および方法
KR100672617B1 (ko) Hd급 디인터레이싱 구현 장치 및 구현 방법
JP2003299035A (ja) 画素補間処理装置及び方法
JP2003274371A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2003503906A (ja) インターレース法で生成されるイメージシーケンスのピクチャ周波数を2逓倍する方法
JP2007142550A (ja) 映像変換装置
JP2003309819A (ja) 動きベクトル検出装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees