JP2003339027A - 走査線補間装置 - Google Patents

走査線補間装置

Info

Publication number
JP2003339027A
JP2003339027A JP2002147389A JP2002147389A JP2003339027A JP 2003339027 A JP2003339027 A JP 2003339027A JP 2002147389 A JP2002147389 A JP 2002147389A JP 2002147389 A JP2002147389 A JP 2002147389A JP 2003339027 A JP2003339027 A JP 2003339027A
Authority
JP
Japan
Prior art keywords
circuit
vector
interpolation
value
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002147389A
Other languages
English (en)
Other versions
JP4321010B2 (ja
Inventor
Juichi Hitomi
寿一 人見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002147389A priority Critical patent/JP4321010B2/ja
Publication of JP2003339027A publication Critical patent/JP2003339027A/ja
Application granted granted Critical
Publication of JP4321010B2 publication Critical patent/JP4321010B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 本発明は走査線補間装置に関するもので、第
1のフィールド及び第2のフィールドにおける、画素ブ
ロック間の相関値とベクトル補間値とを所定の範囲内の
ベクトル毎にそれぞれ求め、動きベクトルの信頼性を判
定することにより、画質劣化の少ない走査線補間を実現
する。 【解決手段】 ベクトル相関値を算出するベクトル相関
値算出回路18と、ベクトル補間値を算出するベクトル
補間値算出回路15と、算出された相関値および補間値
より動きベクトルの信頼性を判定する動きベクトル信頼
性判定回路19から構成される。

Description

【発明の詳細な説明】
【0001】
【発明の属する従来分野】本発明は、テレビジョン受像
機をはじめ、CRT、液晶、プラズマディスプレイパネ
ル(以下、PDP(Plasma Display panel)と記す)やD
MD(Digital Micromirror Device)などを用いたディ
スプレイ装置において、2:1インターレース走査され
た画像信号をノンインターレース走査された画像信号に
変換する走査線補間装置に関する。
【0002】
【従来の技術】たとえばNTSCやハイビジョンなどの
標準的なテレビジョン信号は、インターレース信号であ
り、1つのフレームが時間及び垂直方向にずれた2つの
フィールドで構成される。これに対して、走査線構造に
ずれがないものは、ノンインターレースまたはプログレ
ッシブ(順次)走査と呼ばれる。インターレース信号
は、画像の垂直方向の高い周波数成分が多くなるとライ
ンフリッカを生じる。そこで、インターレースで間引か
れている部分の走査線を周辺の走査線で補間して作り、
ノンインターレースとする処理がある。この様な処理は
順次走査変換、倍密変換と呼ばれる。
【0003】そこでの走査線の補間として前後のフィー
ルドを使用する方法としては、動き適応処理がある。動
き適応処理の走査線補間では、補間される走査線は、画
像が動いている場合は、上下の隣接走査線から、画像が
静止している場合は、前後のフィールドの同位置の走査
線から作られる。
【0004】さらに、最近では画像間の補間に動きベク
トルの検出を適用する方法も検討されている。このよう
な方法の従来の走査線補間装置として、特開平1−10
8886号公報に示されるものがある。この場合、前後
のフィールドの異なった位置の走査線が使われる。画像
の動きベクトルを検出し、その値に応じて1フィールド
前の画像信号を移動させ、走査線を補間する。図10は
そのような従来の走査線補間装置の構成図である。
【0005】図10において、101、102はフィー
ルドメモリ、103はフィールド内補間回路、104は
動きベクトル検出回路、105はベクトル補間値算出回
路、106は混合回路、107はノンインターレース出
力回路である。上記のような構成において、まず入力端
子に2:1インターレース走査された画像信号が供給さ
れると、フィールドメモリ101、フィールドメモリ1
02により信号がそれぞれ1フィールド遅延される。フ
ィールドメモリ101の出力を現フィールドとすると、
フィールドメモリ102の出力からは後フィールドの信
号が出力され、入力は前フィールドの信号に対応する。
ここで、現フィールドとは処理の対象となるフィールド
を示し、前フィールドは現フィールドより1フィールド
前のフィールド、後フィールドは現フィールドより1フ
ィールド後のフィールドを示す。
【0006】現フィールドの画像信号は、フィールド内
補間回路103に入力され、ここで現フィールドの走査
線間を補間したフィールド内補間信号が算出され出力さ
れる。前フィールドと後フィールドの画像信号は動きベ
クトル検出回路104に入力され、ベクトル相関値とし
て、例えば前フィールドと後フィールドを所定の範囲内
のベクトルに応じそれぞれ移動した画像信号の輝度差の
絶対値を算出し、この輝度差の絶対値が最小になるベク
トルを検出することによって、画素単位の動きベクトル
が検出される。ここで所定の範囲とは、実際の構成に当
たり設定された動きベクトルの探索範囲を示し、以下も
同様である。検出された動きベクトルはベクトル補間値
算出回路105に入力される。
【0007】また、動きベクトルに対応したベクトル相
関値が閾値以下かどうかを判定し、閾値以下であれば
1、そうでなければ0という判定値を判定結果出力す
る。
【0008】一方、前フィールドと後フィールドの画像
信号は、ベクトル補間値算出回路105にも入力され、
動きベクトル検出回路104で検出された動きベクトル
に伴い、前フィールドまたは後フィールドの画像信号を
移動することによりベクトル補間値を算出し、出力す
る。
【0009】ベクトル補間値とフィールド内補間信号
は、混合回路106において混合される。そのとき、混
合回路106は、動きベクトル検出回路104の判定値
出力に応じて2つの信号の混合度合いが制御され、その
度合いに基づいて混合された信号を出力する。これによ
り動きベクトル検出回路104で動きベクトルが検出で
きない場合は、現フィールドの画像信号より求めた現フ
ィールドの走査線間を補間した信号が、動きベクトルが
検出された場合は、上記2つの信号を混合した信号が出
力される。
【0010】混合回路106の出力および現フィールド
の信号はノンインターレース出力回路107に入力され
る。ノンインターレース出力回路107では混合回路1
06の出力および現フィールドの信号が時間軸上で1/
2に時間圧縮され、切り替えを行うことによりノンイン
ターレース走査された画像信号を出力する。
【0011】図11は従来の走査線補間装置における混
合回路の構成例を示す。111は差分回路、112は乗
算器、113は加算器である。入力1は図10のフィー
ルド内補間回路103の出力、入力2は図10の動きベ
クトル補間値算出回路105の出力、制御入力は図10
の動きベクトル検出回路104の出力に対応する。差分
回路111において入力2から入力1を引いた差分が出
力される。その差分結果は乗算器112により、制御入
力の「1」または「0」と乗算される。乗算器出力と入
力1は加算され、混合回路出力となる。
【0012】制御入力が「0」の場合は動きベクトルで
の補間が不適切と判断された場合で、差分出力は「0」
が乗算され0となる。このため混合回路の出力は、入力
1つまりフィールド内補間値となる。制御入力が「1」
の場合は動きベクトルでの補間が適切と判断された場合
で、1が乗算される。
【0013】入力1の信号レベルをXi1、入力2の信
号レベルをXi2、とすると、混合回路出力Yoは、
「(Xi2−Xi1)+Xi1」となり、Yo=Xi2
となる。このため混合回路の出力は入力1、つまりフィ
ールド内補間値となる。
【0014】さらに動きベクトル検出の精度向上のため
の発明として、たとえば特開平5−68293号公報に
示されるものがある。上記発明の走査線補間装置は、現
フィールドの1フィールド前、1フィールド後の画像信
号から、ブロック単位で、着目ブロックに隣接する各ブ
ロックで検出された動きベクトルの相関を利用すること
で動きベクトルの検出の精度向上を図ったものである。
【0015】着目ブロックに隣接する各ブロックで検出
された動きベクトルの相関が高ければ、着目ブロックで
検出された動きベクトルは正確であると判定でき、逆
に、着目ブロックで検出された動きベクトルと、着目ブ
ロックに隣接する各ブロックで検出された動きベクトル
の相関が低ければ、着目ブロックで検出された動きベク
トルは不正確であると判定できる。
【0016】このため、各ブロックで検出された動きベ
クトルと、当該ブロックに隣接する各ブロックで検出さ
れた動きベクトルとの差分値を求め、当該ブロックのエ
ッジの有無によって定めた閾値と上記差分値を比較する
ことにより、各ブロックで検出された動きベクトルが、
当該ブロックに隣接する各ブロックで検出された動きベ
クトルと何個一致しているかを判定することにより動き
ベクトル検出の精度向上を図ったものである。
【0017】
【発明が解決しようとする課題】しかしながら上記のよ
うな構成の走査線補間装置では、動きベクトルの選択お
よび補間は、現フィールドの前後のフィールドのフレー
ム間マッチング(フレーム間相関)に基いて行われてい
る。このため、フレーム間マッチングが良好ならば、フ
ィールド内補間値と全く異なる場合でも、動きベクトル
に対応し前後のフィールドより算出される補間値である
動きベクトル補間値が選択され、誤った補正がなされて
しまう。
【0018】例えば画像が周期的な場合、フレーム間マ
ッチングが良好、つまりフレーム間相関値が小さいベク
トルが複数存在する場合がある。これらの複数のベクト
ルをここでは候補ベクトルと称する。候補ベクトルは、
正しい動きベクトルと正しくないベクトルからなる。複
数の候補ベクトルに対応し、補正結果も複数存在する。
本来の正しい動きベクトルに対する補正結果と正しくな
いベクトルに対する補正結果とが大きく異なる場合があ
る。候補ベクトルのフレーム間相関値は小さく、場合に
よってすべて0となる場合もあるため、正しくないベク
トルを選択した場合、補正結果が大きく異なり、誤った
補正が行われる。
【0019】画像が周期的な場合の例として、縦縞で水
平方向に2画単位で白黒を繰り返す場合を考える。この
場合、4画素周期となる。現フィールドの前後のフィー
ルドをそれぞれ第1フィールド、第2フィールドと称す
る。第1フィールドから現フィールド、現フィールドか
ら第2フィールドの各フィールド間で水平右方向に1画
素動いた場合を考える。この場合、水平右方向に1+2
n動いた場合、いずれの場合もフレーム間相関値は0と
なり、フレーム間マッチングが良好とみなされる。ここ
で、nは整数(・・−1、0、1・・)である。水平右
方向に1画素動いた(n=0)ベクトルにおいて、フレ
ーム間相関値は0、補間値は1となる。
【0020】また、水平右方向に−1画素動いた場合
(n=−1)つまり水平左方向に1画素動いた(n=−
1)ベクトルにおいて、フレーム間相関値は0、補間値
は0となる。このように画像が周期的な場合、フレーム
間相関値のみでは適切な補正がおこなれ、本来と大きく
異なる補正が行われる場合がある。
【0021】また、上記のような構成の走査線補間装置
では、動きベクトルの選択および補間は、現フィールド
の前後のフィールドのフレーム間相関(フレーム間マッ
チング)に基いて行われている。しかし、閾値と比較
し、どちらかを選択するのは、フレーム間相関が緩やか
に変化しても、動きベクトル補間かフィールド内補間か
の選択となり、なめらかな補正が行われない。また、フ
レーム間相関の度合いを使用して、連続的な変化に対応
したとしても、フレーム間相関の度合いと動きベクトル
の選択の妥当さとは必ずしも一致しない。そのため、動
きベクトル補間値を適応する度合いが適切でなく、不適
切な補正がなされてしまう。
【0022】また、フレーム間相関の度合いを使用し
て、連続的な変化に対応する際、図11に示すような乗
算器を使用した場合、制御入力が低くい場合でも、乗算
器の入力つまり動きベクトルでの補間値とフィールド内
補間値の差分が大きい場合、大きなレベルを出力し、動
きベクトルでの補間での不適切な状況が目立つ場合があ
る。制御入力は「0」から「1」の間で変化し、動きベ
クトルでの補間が最も適切と判断された場合「1」、フ
ィールド内補間が最も適切と判断された場合「0」とす
る。
【0023】例えば、制御入力が「0.1」という値を
とった場合、このレベルは動きベクトルでの補間がほぼ
不適切と見なされている状態であるが、仮に、動きベク
トルでの補間値とフィールド内補間値の差分が8bit
で最大の255という値をとった場合、乗算器出力は2
5となり、そのレベルの比較的大きな動きベクトルでの
補間情報を使用することになる。このように乗算器を使
用した場合比の制御であるため、乗算器の入力つまり動
きベクトルでの補間値とフィールド内補間値の差分が大
きい場合、出力も大きなレベルとなり、動きベクトルで
の補間での不適切な状況が目立つ場合がある。
【0024】また、例えば画像が高速画像で所定の補正
ベクトル範囲を超える場合、また、フラッシュなどによ
り現フィールドのみ特異な場合、フレーム間マッチング
が良好、つまりフレーム間相関値が小さくとも、フレー
ム間補正では正しい補正ができない場合が存在する。
【0025】高速画像の例としては、白いボールが黒い
背景の中で高速に移動するため、現フィールドは白であ
るが、その位置での前後のフィールドは黒という場合が
ある。現フィールドのみ特異な場合としてはフラッシュ
などにより現フィールドである1フィールドのみ白(フ
ラッシュがあたり明るくなった画面)で前後のフィール
ドは通常の画面という場合がある。
【0026】上記いずれの場合においても、フレーム間
での相関値が小さくなるベクトルは存在するものの画像
の性質上、フレーム間で求めたベクトルでは正しい補間
補正は行われ、本来と大きく異なる補正が行われる。こ
の結果、広い範囲で不適切な処理が行われ、例えば水平
の縞が広い範囲で発生する。
【0027】また、上記のような画像に起因する場合、
着目ブロックに隣接する各ブロックで検出された動きベ
クトルの相関を利用することで動きベクトルの検出精度
改善を図る方式は、上記のような画像の条件が小面積の
場合には一定の改善は可能なものの、大面積の場合にお
いては、改善は原理的に不可能である。
【0028】
【課題を解決するための手段】上記課題を解決するため
に、第1発明の走査線補間装置は、第1のフィールド及
び第2のフィールドの画像信号において、所定の範囲内
のベクトル毎に、対応した画素を含む画素ブロックにお
ける相関値を算出するベクトル相関値算出回路と、前記
ベクトル相関値算出回路より算出された相関値より動き
ベクトルを検出する動きベクトル検出回路と、現フィー
ルドの画像信号を用い補間信号を生成するフィールド内
補間回路と、前記動きベクトル検出により検出された動
きベクトルに対応し、前記第1のフィールドまたは前記
第2のフィールドの画素より補間信号を生成するベクト
ル補間値算出回路と、前記フィールド内補間回路より得
られたフィールド内補間信号と前記ベクトル補間値算出
回路より得られたベクトル補間信号を混合する混合回路
と、現フィールドの画像信号、及び信号前記混合回路よ
り出力された走査線補間補間信号から、ノンインターレ
ース走査された画像信号を出力するノンインターレース
信号出力回路とからなる走査線補間装置であり、所定の
範囲内のベクトル毎に、ベクトルに対応した第1のフィ
ールド及び第2のフィールドの画素を用い、補間値を算
出するベクトル補間値算出回路と、前記ベクトル相関値
算出回路および前記ベクトル補間値算出回路より算出さ
れた所定のベクトルに対応した相関値および補間値よ
り、動きベクトルの信頼性を判定する信頼性判定信号を
算出する動きベクトル信頼性判定回路を備え、前記動き
ベクトル信頼性判定回路より算出された信頼性判定信号
に従い、前記混合回路における混合度合いを制御するこ
とを特徴とするものである。
【0029】また、第2発明の走査線補間装置は、上記
第1発明の走査線補間装置におけるベクトル相関値算出
回路が、現フィールドの1フィールド前の第1のフィー
ルド及び1フィールド後の第2のフィールドの画像信号
において、所定の範囲内のベクトル毎に、さらに画素ブ
ロック内の各画素毎に差分値を算出し、ベクトル相関値
として差分値の絶対値和もしくは前記差分値の二乗和を
算出する回路であることを特徴とするものである。
【0030】また、第3発明の走査線補間装置は、上記
第1発明の走査線補間装置における動きベクトル検出回
路が、前記ベクトル相関値算出回路より算出されたベク
トル相関値が最小になる動きベクトルを検出する回路で
あることを特徴とするものである。
【0031】また、第4発明の走査線補間装置は、上記
第1発明の走査線補間装置における動きベクトル信頼性
判定回路が、前記相関値算出回路より算出された、所定
のベクトルに対応した相関値が一定値以下であることを
検出する相関レベル検出回路と、前記相関レベル検出回
路の出力に基づき、相関値が一定値以下であるベクトル
において前記補間値の最大値および最小値を求める最大
値回路および最小値回路と、前記最大値および最小値の
差が一定値以下であることを検出する差分レベル検出回
路からなることを特徴とするものである。
【0032】また、第5発明の走査線補間装置は、上記
第1発明の走査線補間装置における動きベクトル信頼性
判定回路が、前記相関値算出回路より算出された所定の
ベクトルに対応した相関値の中で最小相関値を算出する
最小相関値検出回路と、前記所定のベクトルに対応した
相関値と前記最小相関値との差が一定値以下であるベク
トルにおいて前記補間値の最大値および最小値求める最
大値回路および最小値回路と、前記最大値および最小値
の差が一定値以下であることを検出する差分レベル検出
回路からなることを特徴とするものである。
【0033】また、第6発明の走査線補間装置は、上記
第1発明の走査線補間装置における動きベクトル信頼性
判定回路が、前記相関値算出回路より算出された所定の
ベクトルに対応した相関値の最小値を入力とし、信頼性
判定値を出力する関数回路を有することを特徴とするも
のである。
【0034】また、第7発明の走査線補間装置は、上記
第1発明の走査線補間装置における混合回路が、前記ベ
クトル補間信号と前記フィールド内補間信号との差分を
算出する差分回路と、前記差分回路出力を前記動きベク
トル信頼性判定回路より算出された信頼性判定信号に従
い制御する差分制御回路と、前記フィールド内補間信号
と前記制御回路出力とを加算する加算器からなることを
特徴とするものである。
【0035】また、第8発明の走査線補間装置は、上記
第1発明の走査線補間装置における前記差分制御回路
が、クリップ回路からなることを特徴とするものであ
る。
【0036】また、第9発明の走査線補間装置は、現フ
ィールドと現フィールドの1フィールド前のフィールド
である第1のフィールド、及び現フィールドの後の1フ
ィールド後のフィールドである第2のフィールドの画像
信号において、所定の範囲内のベクトル毎に、対応した
画素を含む画素ブロックにおける相関値を算出するベク
トル相関値算出回路と、前記ベクトル相関値算出回路よ
り算出された相関値より動きベクトルを検出する動きベ
クトル検出回路と、現フィールドの画像信号を用い補間
信号を生成するフィールド内補間回路と、前記動きベク
トル検出により検出された動きベクトルに対応した前記
第1のフィールドまたは前記第2のフィールドの画素よ
り補間信号を生成するベクトル補間値算出回路と、前記
フィールド内補間回路より得られたフィールド内補間信
号と前記ベクトル補間値算出回路より得られたベクトル
補間信号を混合する混合回路とからなり、前記混合回路
より出力された走査線補間信号、及び現フィールドの画
像信号から、ノンインターレース走査された画像信号を
出力するノンインターレース信号出力回路とからなる走
査線補間装置であり、前記混合回路は、前記ベクトル補
間信号の前記フィールド内補間信号との差分を算出する
差分回路と、前記差分回路出力に対し垂直方向のフィル
タ処理を行う垂直輪郭抽出回路と、前記フィールド内補
間信号と前記垂直輪郭抽出回路出力とを加算する加算器
とからなることを特徴とするものである。
【0037】また、第10発明の走査線補間装置は、上
記第1発明の走査線補間装置における垂直輪郭抽出回路
が、入力信号の垂直方向のHPFであることを特徴とす
るものである。
【0038】また、第11発明の走査線補間装置は、上
記第1発明の走査線補間装置における垂直輪郭抽出回路
が、入力信号に垂直方向のHPFと、入力信号の絶対値
と前記HPF出力の絶対値を比較する差分回路と、前記
差分回路の出力により入力信号と前記HPF出力の選択
出力する選択回路からなることを特徴とするものであ
る。
【0039】また、第12発明の走査線補間装置は、上
記第1発明の走査線補間装置における垂直輪郭抽出回路
が、現ラインと垂直方向の上下のラインの中間値とる中
間値回路と、現ラインと前記中間値回路出力の差分を算
出する差分回路からなることを特徴とするものである。
【0040】上記第1発明から第6発明の構成により、
例えば画像が周期的な場合に候補ベクトルに対応した補
正値が大きく異なることがあり、このような場合にはた
とえフレーム間相関が良好でも動きベクトルの信頼性が
低いと判断し、動きベクトルによるフレーム間補間を行
わず、フィールド間補間を利用する。このため、第1の
フィールド及び第2のフィールドの画像信号において、
ベクトル相関値算出回路より算出された画素ブロック間
の相関値と、ベクトル補間値算出回路より算出された補
間値とを所定の範囲内のベクトル毎にそれぞれ求め、こ
れらの相関値と補間値とを両方より動きベクトルの信頼
性を判定する。
【0041】具体的には、相関値と、ベクトル補間値と
を所定の範囲内のベクトル毎にそれぞれ求め、相関値が
最小となるベクトルおよびベクトル補間値を求める処理
の中で、相関値が、一定の第1の閾値以下となるベクト
ルおよびベクトル補間値を求める。これらをそれぞれ候
補ベクトル、候補ベクトル補間値と称する。さらに候補
ベクトル補間値の最大値、最小値ヲ求め、さらにこれら
最大値と最小値との差を求める。この最大値と最小値と
の差を候補ベクトル補間差と称する。候補ベクトル補間
差が、一定の第2の閾値以下であれば信頼性ありと判定
し、第2の閾値以上であれば信頼性なしと判定する。
【0042】この信頼性を判定結果により、信頼性あり
の場合、動きベクトルによるフレーム間補間を出力する
ように、信頼性なしの場合、フィールド内補間を出力す
るように、動きベクトルによるフレーム間補間とフィー
ルド内補間の混合比を制御する。この例では混合比は1
または0としている。
【0043】以上により、相関値のみで判定するより動
きベクトルの信頼性について正確な判定が可能になり、
動きベクトルによる間違った画像信号の補間を防ぐこと
ができ、結果として、画質劣化の少ないノンインターレ
ース走査された画像信号が得られる。
【0044】上記第7発明の構成により、動きベクトル
の選択および補間は、現フィールドの前後のフィールド
のフレーム間相関(フレーム間マッチング)の連続的な
情報に基いて行われているため、動きベクト相関の度合
いを使用して、連続的な変化に対応した上で、フレーム
間相関の度合いと動きベクトルの選択の妥当さと概ね一
致するような関数を使用することにより、動きベクトル
補間値を適応する度合いが適切となり、良好な補正が行
われる。
【0045】上記第8発明の構成により、フレーム間相
関の度合いを使用して、連続的な変化に対応する際、図
5に示すような可変クリップ回路を使用した場合、制御
をクリップレベルで行うため、制御入力が低くい場合は
当然、乗算器の入力つまり動きベクトルでの補間値とフ
ィールド内補間値の差分の大きさに関わらず、小さなレ
ベルを出力し、適切な度レベルで動きベクトルでの補間
情報を使用することになる。
【0046】上記第9発明から第12発明の構成によ
り、上述のように高速で動く画像で補正可能なベクトル
範囲を超える場合、またフラッシュなどにより現フィー
ルドのみ特異な場合など、フレーム間マッチングが良
好、つまりフレーム間相関値が小さくともフレーム間補
正では正しい補正ができない場合においても誤補正の少
ない補間信号を得ることができる。
【0047】上述のように高速で動く画像で補正可能な
ベクトル範囲を超える場合、フィールド内補間信号とフ
レーム間補間信号の差信号がある程度広い面積となる。
これは垂直方向で見ると、垂直低域成分が多いことに対
応している。逆に通常の画像で動きベクトル処理により
効果が現れるのは、画像の輪郭に対してである。これは
垂直高域成分に対応している。このため、本発明は、上
記差信号に対し、垂直輪郭抽出回路処理により垂直高域
成分を抽出することにより、差信号がある広い面積とな
るような場合の垂直低域成分に相当する成分を、差信号
フレーム間補正で誤補正となることを回避し、フィール
ド内補間信号低減させるともに、動きベクトル処理で有
効な成分は抽出し残すことができる。この成分をフィー
ルド内補間信号に加えることにより、誤補正の少ない補
間信号を得ることができる。
【0048】
【発明の実施の形態】本発明の実施の形態を図面を用い
て説明する。
【0049】(実施の形態1)図1は、第1の実施の形
態における走査線補間装置の構成図であり、11、12
は画像信号を記憶し、一定期間遅延するフィールドメモ
リ、13はフィールド内補間回路、14はフレーム間で
の動きベクトルをブロック単位で検出する動きベクトル
検出回路、15はベクトル補間値算出回路、16は混合
回路、17はノンインターレース信号出力回路、18は
ベクトル相関値算出回路、19は動きベクトル信頼性判
定回路である。以下、図1の走査線補間装置の動作につ
いて説明する。
【0050】まず入力端子に2:1インターレース走査
された画像信号が供給されると、フィールドメモリ1
1、フィールドメモリ12により信号がそれぞれ1フィ
ールド遅延される。フィールドメモリ11の出力を現フ
ィールドとすると、フィールドメモリ12の出力からは
前フィールドの信号が出力され、フィールドメモリ11
への入力は後フィールドの信号に対応する。ここで、現
フィールドとは処理の対象となるフィールドを示し、前
フィールドは現フィールドより1フィールド前のフィー
ルド、後フィールドは現フィールドより1フィールド後
のフィールドを示す。
【0051】現フィールドの画像信号は、フィールド内
補間回路13に入力される。ここで現フィールドの走査
線間を補間したフィールド内補間値が算出され出力され
る。前フィールドと後フィールドの画像信号はベクトル
相関値算出回路15、ベクトル補間値算出回路15にそ
れぞれ入力される。ベクトル相関値算出回路18は、前
フィールドと後フィールドの画像信号において、所定の
範囲内のベクトル毎に、ベクトルに応じそれぞれ移動し
た画像信号において、ベクトル相関値として、画素ブロ
ック内の各画素毎に差分値の絶対値和もしくは前記差分
値の二乗和を算出する回路である。そして、画素単位の
ベクトルとそれに対応したベクトル相関値を出力する。
このベクトルとベクトル相関値は、動きベクトル検出回
路14と動きベクトル信頼性判定回路19に入力され
る。
【0052】動きベクトル検出回路14は、ベクトル相
関値算出回路18で算出されたベクトルとそれに対応し
たベクトル相関値より、ベクトル相関値が最小になるベ
クトルを動きベクトルとして検出する。検出された動き
ベクトルはベクトル補間値算出回路15に入力される。
【0053】ベクトル補間値算出回路15では、入力さ
れた前フィールドと後フィールドの画像信号を、動きベ
クトル検出回路14で検出された動きベクトル量に従い
移動することによりベクトル補間値を算出し、出力す
る。
【0054】動きベクトル信頼性判定回路19は、ベク
トル相関値算出回路18および前記ベクトル補間値算出
回路15より算出された所定のベクトルに対応した相関
値および補間値より、動きベクトルの信頼性を判定する
信頼性判定信号を算出する。混合回路16は、ベクトル
相関値算出回路よりフレーム間の信号より算出されたベ
クトル補間値とフィールド内補間信号を混合する。この
とき、動きベクトル信頼性判定回路より算出された信頼
性判定信号に従い、混合回路16における混合度合いは
制御される。
【0055】混合回路16の出力および現フィールドの
信号はノンインターレース出力回路107に入力され
る。ノンインターレース出力回路107では混合回路1
06の出力および現フィールドの信号が時間軸上で1/
2に時間圧縮され、切り替えを行うことによりノンイン
ターレース走査された画像信号を出力する。
【0056】動きベクトル信頼性判定回路19における
信頼性判定は、ベクトル相関値とベクトル補間値とを所
定の範囲内のベクトル毎にそれぞれ求め、それらを演算
処理することで行う。ベクトル相関値が小さい場合、そ
のベクトル相関値に対応したベクトルが動きベクトルで
ある可能性が高い。しかし、小さいと判断されたベクト
ル相関値が複数あり、これらのベクトル相関値に対応す
るベクトル補間値が大きくばらついた場合、逆に、正し
くない動きベクトルである可能性が高い。
【0057】このような場合の具体例としては、前述の
ような縦縞で水平方向に2画単位で白黒を繰り返す場合
などがある。このように画像が周期的な場合、フレーム
間相関値のみでは適切な補正がおこなれず、本来と大き
く異なる補正が行われる場合がある。これに対し、上記
のような信頼性判定を行うことで、画像が周期的な場合
のような、フレーム間相関値のみでは適切な補正がおこ
なれず、本来と大きく異なる補正が行われる場合を判定
できる。この動きベクトル信頼性判定結果に従い、混合
回路16における混合度合いは制御することにより、動
きベクトルでの補間が不適切と判断された場合は、フィ
ールド内補間値を利用することで、本来と大きく異なる
補正が行われ、画質劣化を引き起こすることが回避され
る。
【0058】(実施の形態2)本発明の第2の実施の形
態は、(実施の形態1)における走査線補間装置の動き
ベクトル信頼性判定回路19の一構成例を、図2に示し
たものである。図2は、動きベクトル信頼性判定回路1
9の構成図であり、21は相関レベル検出回路、22は
最大値回路、23は最小値回路、24は差分回路、25
は差分レベル検出回路である。以下、図2の動きベクト
ル信頼性判定回路を用いた第2の実施の形態例の走査線
補間装置について、図2の動きベクトル信頼性判定回路
の動作を中心に説明する。
【0059】(実施の形態1)における走査線補間装置
のベクトル相関値算出回路18において算出された相関
値が入力される相関レベル検出回路21において、所定
のベクトルの内、相関値が一定値以下である候補ベクト
ルが検出される。
【0060】検知された候補ベクトルは、最大値回路2
2と最小値回路23に入力し、この最大値回路22、最
小値回路23により、候補ベクトルに対応した補間値の
中での最大値、最小値が求まる。
【0061】差分レベル検出回路25は、前記最大値お
よび最小値の差が閾値以下であれば、動きベクトル検出
回路で求められる動きベクトルが信頼性があると判定し
「1」を、閾値以上であれば「0」を出力する。ここで
「1」は動きベクトルが適切と判断した場合で、動きベ
クトルでの補間値を使用し、「0」は動きベクトルでの
補間が不適切と判断された場合で、フィールド内補間値
を利用することに対応する。
【0062】この信頼性判定結果に従い、混合回路16
における混合度合いは制御することにより、動きベクト
ルでの補間が不適切と判断された場合は、フィールド内
補間値を利用することで、本来と大きく異なる補正が行
われ、画質劣化を引き起こすることが回避される。
【0063】(実施の形態3)本発明の第3の実施の形
態例は、(実施の形態1)における走査線補間装置の動
きベクトル信頼性判定回路19の一構成例を、図3の構
成としたものである。
【0064】図3は、動きベクトル信頼性判定回路の構
成図であり、31は相関レベル検出回路、32は最大値
回路、33は最小値回路、34は差分回路、35は差分
レベル検出回路、36は相関最小値検出回路である。
【0065】以下、図3の動きベクトル信頼性判定回路
を用いた第3の実施の形態の走査線補間装置について、
図3の動きベクトル信頼性判定回路の動作を中心に説明
する。相関値算出回路より算出された相関値が入力さ
れ、相関最小値検出回路により相関値の最小値である相
関最小値が検出される。相関レベル検出回路31によ
り、所定のベクトルの内、相関値が相関最小値以上で相
関最小値に一定値を加えた閾値以下である候補ベクトル
が検出される。最大値回路32、最小値回路33によ
り、候補ベクトルに対応した補間値の中での最大値、最
小値が求まる。
【0066】差分レベル検出回路35は、前記最大値お
よび最小値の差が閾値以下であれば、動きベクトル検出
回路で求められる動きベクトルが信頼性があると判定し
「1」を、閾値以上であれば「0」を出力する。ここで
「1」は動きベクトルが適切と判断した場合で、動きベ
クトルでの補間値を使用し、「0」は動きベクトルでの
補間が不適切と判断された場合で、フィールド内補間値
を利用することに対応する。この信頼性判定結果に従
い、図1の混合回路16における混合度合いを制御す
る。
【0067】これにより、動きベクトルでの補間が不適
切と判断された場合は、フィールド内補間値を利用する
ことで、本来と大きく異なる補正が行われ、画質劣化を
引き起こすることが回避される。
【0068】(実施の形態4)本発明の第4の実施の形
態例は、(実施の形態1)における走査線補間装置の動
きベクトル信頼性判定回路19の一構成例を図4に記
し、さらに混合回路16の一構成例を図5に記したもの
である。
【0069】図4(a)は、動きベクトル信頼性判定回
路の構成図であり、41は関数回路である。図4(b)
前記関数回路の特性例である。以下、図4(a)の動き
ベクトル信頼性判定回路を用いた第4の実施の形態の走
査線補間装置について、図4(a)の動きベクトル信頼
性判定回路の動作、図4(b)前記関数回路の特性例を
中心に説明する。
【0070】図4(a)の動きベクトル信頼性判定回路
は、前記相関値算出回路より算出された所定のベクトル
に対応した相関値の最小値が入力される。この最小値は
関数回路に入力され信頼性判定値を出力する。
【0071】図4(b)の前記関数回路の特性例は、基
本的には、入力の相関値の最小値が大きくなるにつれ、
出力は減少する特性を示す。具体的には相関値の最小値
が一定レベルの第1の閾値以下では1が出力され、最小
値が第1の閾値以上、第2の閾値以下では右下がりの特
性を示し、最小値が第2の閾値以上では0とするもので
ある。
【0072】この信頼性判定結果に従い、図1の混合回
路16における混合度合いを制御する。ここで「1」は
動きベクトルが適切と判断した場合で、動きベクトルで
の補間値を使用し、「0」は動きベクトルでの補間が不
適切と判断された場合で、フィールド内補間値を利用
し、その間は、動きベクトルでの補間値とフィールド内
補間値を混合することに対応する。
【0073】図5(a)は、混合回路の構成図であり、
51は差分回路、52は可変クリップ回路、53は加算
器である。
【0074】以下、図5(a)の混合回路を用いた第4
の実施の形態の走査線補間装置について、図5(a)の
混合回路の動作、図5(b)の可変クリップ回路52の
特性例を中心に説明する。入力1は図1のフィールド内
補間回路出力、入力2は図1の動きベクトル補間回路出
力、制御入力は図1の動きベクトル信頼性判定回路出力
に対応する。、差分回路51において入力2から入力1
を引いた差分が出力される。その差分結果は可変クリッ
プ回路52により、制御入力に対応したクリップレベル
でクリップされる。可変クリップ回路出力と入力1は加
算され、混合回路出力となる。
【0075】図5(b)は可変クリップ回路52の特性
例である。制御入力は動きベクトル信頼性判定回路出力
に対応する。動きベクトル信頼性判定回路出力が「0」
の場合は動きベクトルでの補間が不適切と判断された場
合で、クリップレベルが「0」となり、差分出力は0と
なる。このため混合回路の出力は、入力1つまりフィー
ルド内補間値となる。
【0076】一方、動きベクトル信頼性判定回路出力が
「1」の場合は動きベクトルでの補間が適切と判断され
た場合で、クリップレベルが「1」となり、これはクリ
ップレベルが最大となり、クリップを行わないことに対
応する。
【0077】入力1の信号レベルをXi1、入力2の信
号レベルをXi2、とすると、混合回路出力Yoは、
(Xi2−Xi1)+Xi1となり、Yo=Xi2とな
る。このため混合回路の出力は、入力1つまりフィール
ド内補間値となる。
【0078】上記動きベクトル信頼性判定回路構成によ
り、動きベクトルの選択および補間は、現フィールドの
前後のフィールドのフレーム間相関(フレーム間マッチ
ング)の連続的な情報に基いて行われているため、動き
ベクトル補間とフィールド内補間かの混合が連続的とな
り、なめらかな補正が行われる。また、フレーム間相関
の度合いを使用して、連続的な変化に対応した上で、フ
レーム間相関の度合いと動きベクトルの選択の妥当さと
概ね一致するような関数を使用することにより、動きベ
クトル補間値を適応する度合いが適切となり、良好なな
補正が行われる。
【0079】また上記混合回路の構成により、フレーム
間相関の度合いを使用して、連続的な変化に対応する
際、図5に示すような可変クリップ回路を使用した場
合、制御をクリップレベルで行うため、制御入力が低く
い場合は当然、乗算器の入力つまり動きベクトルでの補
間値とフィールド内補間値の差分の大きさに関わらず、
小さなレベルを出力し、適切な度レベルで動きベクトル
での補間情報を使用することになる。
【0080】(実施の形態5)図6は、本発明の第5の
実施の形態における走査線補間装置の構成図であり、6
1、62は画像信号を記憶し、一定期間遅延するフィー
ルドメモリ、63はフィールド内補間回路、64はフレ
ーム間での動きベクトルをブロック単位で検出する動き
ベクトル検出回路、65はベクトル補間値算出回路、6
6は混合回路、67はノンインターレース信号出力回
路、68はベクトル相関値算出回路、601は差分回
路、602は垂直輪郭抽出回路回路、603は加算器で
ある。以下、図6の走査線補間装置の動作について説明
する。
【0081】まず入力端子に2:1インターレース走査
された画像信号が供給されると、フィールドメモリ6
1、フィールドメモリ62により信号がそれぞれ1フィ
ールド遅延される。フィールドメモリ61の出力を現フ
ィールドとすると、フィールドメモリ62の出力からは
前フィールドの信号が出力され、フィールドメモリ61
への入力は後フィールドの信号に対応する。ここで、現
フィールドとは処理の対象となるフィールドを示し、前
フィールドは現フィールドより1フィールド前のフィー
ルド、後フィールドは現フィールドより1フィールド後
のフィールドを示す。
【0082】現フィールドの画像信号は、フィールド内
補間回路63に入力される。ここで現フィールドの走査
線間を補間したフィールド内補間値が算出され出力され
る。
【0083】前フィールドと後フィールドの画像信号は
動きベクトル検出回路64とベクトル補間値算出回路6
5にそれぞれ入力される。ベクトル相関値算出回路は、
前フィールドと後フィールドの画像信号において、所定
の範囲内のベクトル毎に、ベクトルに応じそれぞれ移動
した画像信号において、ベクトル相関値として、画素ブ
ロック内の各画素毎に差分値の絶対値和もしくは前記差
分値の二乗和を算出する回路である。そして、画素単位
のベクトルとそれに対応したベクトル相関値を出力す
る。このベクトルとベクトル相関値は、動きベクトル検
出回路64に入力される。
【0084】動きベクトル検出回路64は、ベクトル相
関値算出回路で算出されたベクトルとそれに対応したベ
クトル相関値より、ベクトル相関値が最小になるベクト
ルを動きベクトルとして検出する。検出された動きベク
トルはベクトル補間値算出回路65に入力される。ベク
トル補間値算出回路では、入力された前フィールドと後
フィールドの画像信号を、動きベクトル検出回路64で
検出された動きベクトル量に従い移動することによりベ
クトル補間値を算出し、出力する。
【0085】また、動きベクトルに対応したベクトル相
関値が閾値以下かどうかを判定し、閾値以下であれば
1、そうでなければ0という判定値を判定結果出力す
る。
【0086】一方、前フィールドと後フィールドの画像
信号は、ベクトル補間値算出回路65にも入力され、動
きベクトル検出回路64で検出された動きベクトルに伴
い、前フィールドまたは後フィールドの画像信号を移動
することによりベクトル補間値を算出し、出力する。
【0087】ベクトル補間値は差分回路601に入力さ
れ、フィールド内補間信号との差分が抽出される、その
差分は垂直輪郭抽出回路602により輪郭成分のみが抽
出される、加算器603によりフィールド内補間信号が
加算される。これにより加算器603は、垂直輪郭にの
み動きベクトル補間が適用された新たな動きベクトル補
間値が出力される。
【0088】新たな動きベクトル補間値とフィールド内
補間信号は、混合回路66において混合される。そのと
き、混合回路66は、動きベクトル検出回路64の判定
値出力に応じて2つの信号の混合度合いが制御され、そ
の度合いに基づいて混合された信号を出力する。これに
より動きベクトル検出回路64で動きベクトルが検出で
きない場合は、現フィールドの画像信号より求めた現フ
ィールドの走査線間を補間した信号が、動きベクトルが
検出された場合は、上記2つの信号を混合した信号が出
力される。
【0089】混合回路66の出力および現フィールドの
信号はノンインターレース出力回路77に入力される。
ノンインターレース出力回路67では混合回路66の出
力および現フィールドの信号が時間軸上で1/2に時間
圧縮され、切り替えを行うことによりノンインターレー
ス走査された画像信号を出力する。
【0090】フレーム間相関では正しい動きベクトル検
出ができない例としては、画像が高速画像で補正ベクト
ル範囲を超える場合とか、また、フラッシュなどのよう
に現フィールドのみ特異な場合がある。このような場合
には、所定の範囲内のベクトルでフレーム間マッチング
が良好、つまりフレーム間相関値小さくとも、フレーム
間の動きベクトル補間値では正しい補正ができない。そ
のため、フレーム間相関での判定に加え、上記のような
場合を回避することが必要となる。
【0091】上記のようにフレーム間相関では正しい動
きベクトル検出ができない例の場合、フィールド内補間
信号とフレーム間補間信号の差信号が多くの場合ある程
度広い面積となることが多い。これは垂直方向で見る
と、垂直低域成分が多いことに対応している。また、逆
に通常の画像で動きベクトル処理により効果が現れるの
は、画像の輪郭に対してである。これは垂直高域成分に
対応している。このため、本実施の形態では、上記差信
号に対し、垂直輪郭成分を抽出することにより、差信号
がある広い面積となるような場合の垂直低域成分に相当
する成分を、差信号フレーム間補正で誤補正となること
を回避し、フィールド内補間信号低減させるともに、動
きベクトル処理で有効な成分は抽出し残すことができ
る。
【0092】(実施の形態6)本発明の第6の実施の形
態例は、(実施の形態5)における走査線補間装置の垂
直輪郭抽出回路を図7(a)の構成とした走査線補間装
置である。
【0093】図7(a)は、垂直輪郭抽出回路の一例の
構成図であり、71、72は1ライン遅延のためのライ
ンメモリー、73,74,75は乗算器、76は加算器
である。これらにより、一般的な3タップのHPFを構
成している。
【0094】図7(b)は図7(a)の垂直輪郭抽出回
路の特性例における入力である。入力は、ベクトル補間
値とフィールド内補間の差分であり、1ラインのみの場
合と4ライン連続の場合の例をを示している。1ライン
のみの信号は本来必要な補間信号成分の場合の例として
示し、4ライン連続の信号は、フレーム間相関では正し
い動きベクトル検出ができず、本来不必要な補間信号成
分の場合の例として示している。
【0095】フレーム間相関では正しい動きベクトル検
出ができない例としては、画像が高速画像で補正ベクト
ル範囲を超える場合とか、また、フラッシュなどのよう
に現フィールドのみ特異な場合がある。このような場合
には、所定の範囲内のベクトルでフレーム間マッチング
が良好、つまりフレーム間相関値小さくとも、フレーム
間の動きベクトル補間値では正しい補正ができない。そ
のため、フレーム間相関での判定に加え、上記のような
場合を回避することが必要となる。
【0096】上記のようにフレーム間相関では正しい動
きベクトル検出ができない例の場合、フィールド内補間
信号とフレーム間補間信号の差信号が多くの場合ある程
度広い面積となることが多い。これは垂直方向で見る
と、垂直低域成分が多いことに対応している。
【0097】また、逆に通常の画像で動きベクトル処理
により効果が現れるのは、画像の輪郭に対してである。
これは垂直高域成分に対応している。このため、本実施
の形態では、上記差信号に対し、垂直HPFにより垂直
高域成分を抽出することにより、差信号がある広い面積
となるような場合の垂直低域成分に相当する成分を、差
信号フレーム間補正で誤補正となることを回避し、フィ
ールド内補間信号低減させるともに、動きベクトル処理
で有効な成分は抽出し残すことができる。
【0098】図7(c)は、図7(a)の垂直輪郭抽出
回路における上記入力に対する出力を示す。
【0099】1ラインのみの信号に対してはゲインは1
/2となっているものの信号成分が抽出され、4ライン
連続の信号に対しては輪郭に相当する部分以外は信号成
分が抑圧されているのことがわかる。これは本来必要な
補間信号成分は使用し、フレーム間相関では正しい動き
ベクトル検出ができず、本来不必要な補間信号成分を抑
圧することに対応している。
【0100】(実施の形態7)本発明の第7の実施の形
態例は、(実施の形態5)における走査線補間装置の垂
直輪郭抽出回路を図8(a)の構成とした走査線補間装
置である。
【0101】図8(a)は、垂直輪郭抽出回路の一例の
構成図であり、81、82は1ライン遅延のためのライ
ンメモリー、83,84,85は乗算器、86は加算
器、87,88は絶対値回路、89は差分回路、80は
選択回路である。ラインメモリー81、82、乗算器8
3,84,85、加算器86で構成される部分は一般的
な3タップのHPFとして機能する。
【0102】図8(b)は図8(a)の垂直輪郭抽出回
路の特性例である。入力は、ベクトル補間値とフィール
ド内補間の差分であり、1ラインのみの場合と4ライン
連続の場合を例として示している。1ラインのみの信号
は本来必要な補間信号成分の場合の例として示し、4ラ
イン連続の信号は、フレーム間相関では正しい動きベク
トル検出ができず、本来不必要な補間信号成分の場合の
例として示している。
【0103】フレーム間相関では正しい動きベクトル検
出ができない例としては、画像が高速画像で補正ベクト
ル範囲を超える場合とか、また、フラッシュなどのよう
に現フィールドのみ特異な場合がある。このような場合
には、所定の範囲内のベクトルでフレーム間マッチング
が良好、つまりフレーム間相関値小さくとも、フレーム
間の動きベクトル補間値では正しい補正ができない。そ
のため、フレーム間相関での判定に加え、上記のような
場合を回避することが必要となる。
【0104】上記のようにフレーム間相関では正しい動
きベクトル検出ができない例の場合、フィールド内補間
信号とフレーム間補間信号の差信号が多くの場合ある程
度広い面積となる。これは垂直方向で見ると、垂直低域
成分が多いことに対応している。逆に通常の画像で動き
ベクトル処理により効果が現れるのは、画像の輪郭に対
してである。これは垂直高域成分に対応している。この
ため、本実施の形態では、上記差信号に対し、垂直HP
Fにより垂直高域成分を抽出することにより、差信号が
ある広い面積となるような場合の垂直低域成分に相当す
る成分を、差信号フレーム間補正で誤補正となることを
回避し、フィールド内補間信号低減させるともに、動き
ベクトル処理で有効な成分は抽出し残すような動作を行
っている。
【0105】さらに、入力をラインメモリ81で1ライ
ン遅延された信号であるラインメモリ81の出力の絶対
値と、前記HPF出力つまり加算器86の出力の絶対値
とを差分回路により比較し、前記差分回路の出力により
入力信号と前記HPF出力の選択出力する選択回路を使
用するにより、本来必要な補間信号成分は使用し、本来
不必要な補間信号成分を抑圧する精度の向上を図ってい
る。
【0106】図8(c)は、図8(a)の垂直輪郭抽出
回路における上記入力に対する出力を示す。
【0107】1ラインのみの信号に対してはゲインは1
/2となっているものの信号成分のみが抽出され、4ラ
イン連続の信号に対しては輪郭に相当する部分以外は信
号成分が抑圧されていることがわかる。これは本来必要
な補間信号成分は使用し、フレーム間相関では正しい動
きベクトル検出ができず、本来不必要な補間信号成分を
抑圧することに対応している。第6の実施の形態におけ
る図7(c)の出力特性と比較すると、本来不必要な補
間信号成分がより抑圧されている様子がわかる。
【0108】(実施の形態8)本発明の第8の実施の形
態は、(実施の形態5)における走査線補間装置の垂直
輪郭抽出回路を図9(a)の構成とした走査線補間装置
である。
【0109】図9(a)は、垂直輪郭抽出回路の一例の
構成図であり、81、82は1ライン遅延のためのライ
ンメモリー、93は中間値回路、96は加算器である。
【0110】図9(b)、図9(c)は図9(a)の垂
直輪郭抽出回路の特性例である。
【0111】図9(b)は入力信号を示す。入力は、ベ
クトル補間値とフィールド内補間の差分であり、1ライ
ンのみの場合と4ライン連続の場合を例として示してい
る。1ラインのみの信号は本来必要な補間信号成分の場
合の例として示し、4ライン連続の信号は、フレーム間
相関では正しい動きベクトル検出ができず、本来不必要
な補間信号成分の場合の例として示している。
【0112】フレーム間相関では正しい動きベクトル検
出ができない例としては、画像が高速画像で補正ベクト
ル範囲を超える場合とか、また、フラッシュなどのよう
に現フィールドのみ特異な場合がある。このような場合
には、所定の範囲内のベクトルでフレーム間マッチング
が良好、つまりフレーム間相関値小さくとも、フレーム
間の動きベクトル補間値では正しい補正ができない。そ
のため、フレーム間相関での判定に加え、上記のような
場合を回避することが必要となる。
【0113】上記のようにフレーム間相関では正しい動
きベクトル検出ができない例の場合、フィールド内補間
信号とフレーム間補間信号の差信号が多くの場合ある程
度広い面積となる。これは垂直方向で見ると、垂直低域
成分が多いことに対応している。逆に通常の画像で動き
ベクトル処理により効果が現れるのは、画像の輪郭に対
してである。これは垂直高域成分に対応している。この
ため、本実施の形態例では、上記差信号に対し、ライン
メモリ91,92により、入力に対して1ラインおよび
2ライン遅延された信号を取り出し、中間値回路によ
り、差信号がある広い面積となるような場合、その成分
を除去する。これにより、フレーム間補正で誤補正とな
ることを回避し、フィールド内補間信号低減させるとも
に、動きベクトル処理で有効な成分は抽出し残すような
動作を行っている。
【0114】中間値回路を使用するにより、本来必要な
補間信号成分は使用し、本来不必要な補間信号成分を抑
圧する特性の向上を図っている。
【0115】図9(c)は、図9(a)の垂直輪郭抽出
回路における上記入力に対する出力を示す。1ラインの
みの信号に対しては信号成分のみが抽出され、4ライン
連続の信号に対しては信号成分が抑圧されていることが
わかる。これは本来必要な補間信号成分は使用し、フレ
ーム間相関では正しい動きベクトル検出ができず、本来
不必要な補間信号成分を抑圧することに対応している。
第6の実施の形態における図7(c)の出力特性と比較
すると、本来不必要な補間信号成分がさらに抑圧されて
いる様子がわかる。
【0116】
【発明の効果】以上のように、第1〜第5の発明の走査
線補間装置によれば、周期的な画像などの例において、
正しくないベクトルにおいてもフレーム間マッチングが
良好となる。このような場合フレーム間相関値が小さい
ベクトルが複数存在するが、その場合においても正しく
ないベクトルを選択し、誤った補正が行われることが回
避される。これにより画質劣化の少ない走査線補間装置
を実現できる。
【0117】以上のように、第6の発明の走査線補間装
置によれば、動きベクトルの選択および補間は、現フィ
ールドの前後のフィールドのフレーム間相関(フレーム
間マッチング)の連続的な情報に基いて行われているた
め、動きベクトル補間とフィールド内補間かの混合が連
続的となり、なめらかな補正が行われる。また、フレー
ム間相関の度合いを使用して、連続的な変化に対応した
上で、フレーム間相関の度合いと動きベクトルの選択の
妥当さと概ね一致するような関数を使用することによ
り、動きベクトル補間値を適応する度合いが適切とな
り、質劣化の少ない走査線補間装置を実現できる。
【0118】以上のように、第7の発明の走査線補間装
置によれば、上記混合回路の構成により、フレーム間相
関の度合いを使用して、連続的な変化に対応する際、図
5に示すような可変クリップ回路を使用した場合、制御
をクリップレベルで行うため、制御入力が低くい場合は
当然、乗算器の入力つまり動きベクトルでの補間値とフ
ィールド内補間値の差分の大きさに関わらず、小さなレ
ベルを出力し、適切なレベルで動きベクトルでの補間情
報を使用することになり、画質劣化の少ない走査線補間
装置を実現できる。
【0119】以上のように、第8〜第11の発明の走査
線補間装置によれば、高速で動く画像で補正可能なベク
トル範囲を超える画像、またフラッシュなどにより現フ
ィールドのみ特異な画像などの例において、正しくない
ベクトルにおいてもフレーム間マッチングが良好とな
る。この例のようにフレーム間マッチングが良好、つま
りフレーム間相関値が小さくともフレーム間補正では正
しい補正ができない場合においても、誤補正の少ない補
間信号を得ることができる。これにより画質劣化の少な
い走査線補間装置を実現できる。
【図面の簡単な説明】
【図1】本発明の一実施例における走査線補間装置の構
成図
【図2】同走査線補間装置における動きベクトル信頼性
判定回路の構成図
【図3】同走査線補間装置における動きベクトル信頼性
判定回路の構成図
【図4】同走査線補間装置における動きベクトル信頼性
判定回路の構成図
【図5】同走査線補間装置における混合回路の構成図
【図6】本発明の一実施例における走査線補間装置の構
成図
【図7】同走査線補間装置における垂直輪郭抽出回路の
構成図
【図8】同走査線補間装置における垂直輪郭抽出回路の
構成図
【図9】同走査線補間装置における垂直輪郭抽出回路の
構成図
【図10】従来の走査線補間装置の構成図
【図11】従来の走査線補間装置における混合回路の構
成図
【符号の説明】
11,12,61,62,101,102 フィールド
メモリ 13,63,103 フィールド内補間回路 14,64,104 動きベクトル検出回路 15,65,105 ベクトル補間値算出回路 16,66,106 混合回路 17,67,107 ノンインターレース信号出力回路 18,68 ベクトル相関値算出回路 19,69 動きベクトル信頼性判定回路 21,31 相関レベル検出回路 22,32 最大値回路、 23,33 最小値回路、 24,34 差分回路、 25,35 差分レベル検出回路 36 最小値検出回路 41 関数回路 51,601,89,94,111 差分回路 52 可変クリップ回路 53,603,76,86,113 加算器 602 垂直輪郭抽出回路回路 71,72,81,82,91,92 ラインメモリー 73,74,75,83,84,85,112 乗算器 80 選択回路

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 第1のフィールド及び第2のフィールド
    の画像信号において、所定の範囲内のベクトル毎に、対
    応した画素を含む画素ブロックにおける相関値を算出す
    るベクトル相関値算出回路と、前記ベクトル相関値算出
    回路より算出された相関値より動きベクトルを検出する
    動きベクトル検出回路と、現フィールドの画像信号を用
    い補間信号を生成するフィールド内補間回路と、前記動
    きベクトル検出により検出された動きベクトルに対応
    し、前記第1のフィールドまたは前記第2のフィールド
    の画素より補間信号を生成するベクトル補間値算出回路
    と、前記フィールド内補間回路より得られたフィールド
    内補間信号と前記ベクトル補間値算出回路より得られた
    ベクトル補間信号を混合する混合回路と、現フィールド
    の画像信号、及び信号前記混合回路より出力された走査
    線補間補間信号から、ノンインターレース走査された画
    像信号を出力するノンインターレース信号出力回路とか
    らなる走査線補間装置であり、所定の範囲内のベクトル
    毎に、ベクトルに対応した第1のフィールド及び第2の
    フィールドの画素を用い、補間値を算出するベクトル補
    間値算出回路と、前記ベクトル相関値算出回路および前
    記ベクトル補間値算出回路より算出された所定のベクト
    ルに対応した相関値および補間値より、動きベクトルの
    信頼性を判定する信頼性判定信号を算出する動きベクト
    ル信頼性判定回路を備え、前記動きベクトル信頼性判定
    回路より算出された信頼性判定信号に従い、前記混合回
    路における混合度合いを制御することを特徴とする走査
    線補間装置。
  2. 【請求項2】 ベクトル相関値算出回路は、現フィール
    ドの1フィールド前の第1のフィールド及び1フィール
    ド後の第2のフィールドの画像信号において、所定の範
    囲内のベクトル毎に、さらに画素ブロック内の各画素毎
    に差分値を算出し、ベクトル相関値として差分値の絶対
    値和もしくは前記差分値の二乗和を算出する回路である
    ことを特徴とする請求項1記載の走査線補間装置。
  3. 【請求項3】 動きベクトル検出回路は、前記ベクトル
    相関値算出回路より算出されたベクトル相関値が最小に
    なる動きベクトルを検出する回路であることを特徴とす
    る請求項1記載の走査線補間装置。
  4. 【請求項4】 動きベクトル信頼性判定回路は、前記相
    関値算出回路より算出された、所定のベクトルに対応し
    た相関値が一定値以下であることを検出する相関レベル
    検出回路と、前記相関レベル検出回路の出力に基づき、
    相関値が一定値以下であるベクトルにおいて前記補間値
    の最大値および最小値を求める最大値回路および最小値
    回路と、前記最大値および最小値の差が一定値以下であ
    ることを検出する差分レベル検出回路からなることを特
    徴とする請求項1記載の走査線補間装置。
  5. 【請求項5】 動きベクトル信頼性判定回路は、前記相
    関値算出回路より算出された所定のベクトルに対応した
    相関値の中で最小相関値を算出する最小相関値検出回路
    と、前記所定のベクトルに対応した相関値と前記最小相
    関値との差が一定値以下であるベクトルにおいて前記補
    間値の最大値および最小値求める最大値回路および最小
    値回路と、前記最大値および最小値の差が一定値以下で
    あることを検出する差分レベル検出回路からなることを
    特徴とする請求項1記載の走査線補間装置。
  6. 【請求項6】 動きベクトル信頼性判定回路は、前記相
    関値算出回路より算出された所定のベクトルに対応した
    相関値の最小値を入力とし、信頼性判定値を出力する関
    数回路を有することを特徴とする請求項1記載の走査線
    補間装置。
  7. 【請求項7】 混合回路は、前記ベクトル補間信号と前
    記フィールド内補間信号との差分を算出する差分回路
    と、前記差分回路出力を前記動きベクトル信頼性判定回
    路より算出された信頼性判定信号に従い制御する可変ク
    リップ回路と、前記フィールド内補間信号と前記可変ク
    リップ回路出力とを加算する加算器からなることを特徴
    とする請求項1記載の走査線補間装置。
  8. 【請求項8】 第1のフィールド及び第2のフィールド
    の画像信号において、所定の範囲内のベクトル毎に、対
    応した画素を含む画素ブロックにおける相関値を算出す
    るベクトル相関値算出回路と、前記ベクトル相関値算出
    回路より算出された相関値より動きベクトルを検出する
    動きベクトル検出回路と、現フィールドの画像信号を用
    い補間信号を生成するフィールド内補間回路と、前記動
    きベクトル検出により検出された動きベクトルに対応し
    た前記第1のフィールドまたは前記第2のフィールドの
    画素より補間信号を生成するベクトル補間値算出回路
    と、前記ベクトル補間値算出回路より得られたベクトル
    補間値を演算処理する演算回路と、前記フィールド内補
    間回路より得られたフィールド内補間信号と前記演算回
    路より得られた新ベクトル補間信号を混合する混合回路
    とからなり、前記混合回路より出力された走査線補間信
    号、及び現フィールドの画像信号から、ノンインターレ
    ース走査された画像信号を出力するノンインターレース
    信号出力回路とからなる走査線補間装置であり、前記演
    算回路は、前記ベクトル補間信号の前記フィールド内補
    間信号との差分を算出する差分回路と、前記差分回路出
    力に対し垂直方向の輪郭抽出処理を行う垂直輪郭抽出回
    路と、前記フィールド内補間信号と前記垂直輪郭抽出回
    路出力とを加算する加算器とからなることを特徴とする
    走査線補間装置。
  9. 【請求項9】 垂直輪郭抽出回路は、入力信号の垂直方
    向のHPFであることを特徴とする請求項8記載の走査
    線補間装置。
  10. 【請求項10】 垂直輪郭抽出回路は、入力信号に垂直
    方向のHPFと、入力信号の絶対値と前記HPF出力の
    絶対値を比較する差分回路と、前記差分回路の出力によ
    り入力信号と前記HPF出力の選択出力する選択回路か
    らなることを特徴とする請求項8記載の走査線補間装
    置。
  11. 【請求項11】 垂直輪郭抽出回路は、現ラインと垂直
    方向の上下のラインの中間値とる中間値回路と、現ライ
    ンと前記中間値回路出力の差分を算出する差分回路から
    なることを特徴とする請求項8記載の走査線補間装置。
JP2002147389A 2002-05-22 2002-05-22 走査線補間装置 Expired - Fee Related JP4321010B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002147389A JP4321010B2 (ja) 2002-05-22 2002-05-22 走査線補間装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002147389A JP4321010B2 (ja) 2002-05-22 2002-05-22 走査線補間装置

Publications (2)

Publication Number Publication Date
JP2003339027A true JP2003339027A (ja) 2003-11-28
JP4321010B2 JP4321010B2 (ja) 2009-08-26

Family

ID=29705969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002147389A Expired - Fee Related JP4321010B2 (ja) 2002-05-22 2002-05-22 走査線補間装置

Country Status (1)

Country Link
JP (1) JP4321010B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007226656A (ja) * 2006-02-24 2007-09-06 Toshiba Corp 画像の高解像度化方法及び装置
US7379120B2 (en) 2004-05-18 2008-05-27 Sony Corporation Image processing device and image processing method
WO2009005121A1 (ja) * 2007-07-03 2009-01-08 Nec Corporation インターレース-プログレッシブ変換方法、及びその装置と、プログラム
US7688386B2 (en) 2007-12-26 2010-03-30 Kabushiki Kaisha Toshiba De-interlacing apparatus, de-interlacing method, and video display apparatus
US8345156B2 (en) 2006-12-26 2013-01-01 Kabushiki Kaisha Toshiba Progressive scanning conversion apparatus and progressive scanning conversion method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379120B2 (en) 2004-05-18 2008-05-27 Sony Corporation Image processing device and image processing method
JP2007226656A (ja) * 2006-02-24 2007-09-06 Toshiba Corp 画像の高解像度化方法及び装置
JP4714038B2 (ja) * 2006-02-24 2011-06-29 株式会社東芝 画像の高解像度化方法及び装置
US8345156B2 (en) 2006-12-26 2013-01-01 Kabushiki Kaisha Toshiba Progressive scanning conversion apparatus and progressive scanning conversion method
WO2009005121A1 (ja) * 2007-07-03 2009-01-08 Nec Corporation インターレース-プログレッシブ変換方法、及びその装置と、プログラム
US7688386B2 (en) 2007-12-26 2010-03-30 Kabushiki Kaisha Toshiba De-interlacing apparatus, de-interlacing method, and video display apparatus

Also Published As

Publication number Publication date
JP4321010B2 (ja) 2009-08-26

Similar Documents

Publication Publication Date Title
US9185431B2 (en) Motion detection device and method, video signal processing device and method and video display device
KR100393066B1 (ko) 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
US5929919A (en) Motion-compensated field rate conversion
US7769089B1 (en) Method and system for reducing noise level in a video signal
JP4342032B2 (ja) 補間フィールド生成回路及びフィールド倍速変換回路
JP2000341648A (ja) 映像信号変換装置
US20050212960A1 (en) Method and apparatus for de-interlacing video data
JP4001110B2 (ja) 走査変換装置
KR101140442B1 (ko) 이미지 상태 정보의 정정 방법, 움직임 보상 이미지 처리방법, 및 이미지 상태 정보 정정기
US7634132B2 (en) Method and apparatus of false color suppression
JP4321010B2 (ja) 走査線補間装置
US20060033839A1 (en) De-interlacing method
US8508660B2 (en) De-interlacing methods and related apparatuses
US8212920B2 (en) Apparatus and method of motion adaptive image processing
Lee et al. A motion-adaptive deinterlacer via hybrid motion detection and edge-pattern recognition
JP3887346B2 (ja) 映像信号処理装置及び映像信号処理方法、映像表示装置
JPH11308577A (ja) 走査線補間回路
JPH11261973A (ja) 走査線補間方法
JP3350322B2 (ja) 映像信号処理装置
JP2003169300A (ja) 映像信号処理装置
JP2001024987A (ja) 順次走査変換回路
JPH0522463A (ja) 動き検出回路
JP4222602B2 (ja) 順次走査変換装置
JP2000078535A (ja) 順次走査変換装置及び方法
JP2001145066A (ja) 走査線補間装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050520

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090525

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees