JP2007110217A

JP2007110217A - Ｉｐ変換処理装置、その制御方法

Info

Publication number: JP2007110217A
Application number: JP2005296427A
Authority: JP
Inventors: Makoto Ota; 誠太田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-10-11
Filing date: 2005-10-11
Publication date: 2007-04-26
Anticipated expiration: 2025-10-11
Also published as: JP4849515B2

Abstract

【課題】画像のエッジの角の部分においても適正にライン信号を補間してＩＰ変換処理を行ない得るＩＰ変換処理装置、その制御方法を提供する。
【解決手段】フィールド内補間信号生成回路９は、基本的には、エッジ方向判定回路５により判定された各補間画素のエッジの方向を用いて、インタレース走査に係る現フレームの映像信号に対してライン間の画素値を補間する。ただし、エッジ方向判定回路５により、エッジの角の部分に係る補間画素について斜め方向と判定されている場合には、その斜め方向は、形状判定回路６により垂直方向に補正されてフィールド内補間信号生成回路９に供給される。
【選択図】図１

Description

本発明は、インタレース走査で得られた映像信号に対してライン信号を補間してノンインタレース化するＩＰ変換処理装置、その制御方法に関する。

インタレース走査で得られた映像信号は、フリッカ妨害や走査線構造が目立つ妨害が発生する等の問題がある。この問題を改善するために、インタレース走査の走査線（走査ライン）を補間してノンインタレース化する、すなわちプログレッシブ走査に係る映像信号に変換して出力するインタレースプログレッシブ（ＩＰ）変換方式が実現されている。

このＩＰ変換方式における走査線補間の方法としては、ライン補間とフィールド補間が知られている。しかし、ライン補間、フィールド補間の何れにおいても、フリッカ妨害と走査線構造が目立つ妨害の両方の妨害の発生を同時に防止することはできない。

そこで、この問題を解決すべく、動き適応型ＩＰ変換方式が実現されている。この動き適応型ＩＰ変換方式では、まず、現在の映像信号と１フィールド前の映像信号との差分から補間すべき画素（以下、補間画素と称する）ごとに動きを検出する。その動き検出で動きがないと判定された補間画素については、１フィールド前の当該画素の画素値（例えば輝度値）でそのまま補間する。一方、動きがあると判定された補間画素については、現フィールドの当該補間画素の上下の走査ラインの画素によるフィールド内補間処理を行なう。

さらに、斜めエッジ（輪郭）や斜め線に対しても有効なフィールド内補間処理を行う手法も実現されている（特許文献１参照）。この特許文献１に係る手法は、補間画素の上下の走査ライン上の複数の組の原画素の中から１組の原画素を選択してフィールド内補間値を生成するものである。

上記の特許文献１では、まず、補間画素を中心とした点対称関係の複数の傾斜度（傾斜方向）に係る原画素の組について、それら原画素の画素値の差分値を求める。そして、その差分値が最小値になる組の方向、すなわち相関の高い方向の原画素の組を選択する。次に、選択した組の原画素の画素値の平均値を、補間画素に係る画素値として補間する。この手法では、斜め方向のエッジについては相関の高い組の原画素の画素値の平均値で補間されるので、斜め方向のエッジがギザギザになるのを防止することができる。
特開平８−１６３５１１号公報

しかしながら、特許文献１の手法は、次のような問題点を有している。この問題点を、図１５に基づいて説明する。なお、図１５に示したハッチングの部分は、例えば、窓枠Ｗを示している。また、黒○で示した原画素ａ，ｄ，ｅ，ｆの画素値、例えば輝度値は小さな値であり、白○で示した原画素ｂ，ｃの画素値は大きな値であるものとする。

図１５において、補間画素ｘを中心とした点対称関係の原画素の組としては、原画素ａと原画素ｆ、原画素ｂと原画素ｅ、原画素ｃと原画素ｄの３つの組が存在するので、これら３つの組の原画素の画素値の差分値（絶対値）をそれぞれ求める。この場合、原画素ａと原画素ｆの画素値の差分値が最小値となるので、補間処理に用いる原画素の組として原画素ａと原画素ｆの組が選択され、この原画素ａと原画素ｆの画素値の平均値が補間画素ｘの画素値として補間される。

この場合、補間画素ｘは、本来は白色寄りの大きな画素値であるべきなのに、黒色寄りの小さな画素値で補間されてしまう。換言すれば、補間画素がエッジ（輪郭）の角の部分、特に直角、又は直角に近い角度の部分に係るものである場合は、その角が潰れてしまう。

さらに、補間画素が画像のエッジの角の部分で、かつ補間画素に係る実際の画像が静止しているときは、同一の補間画素がフィールド毎に異なる画素値で交互に補間されてしまう場合がある。この場合には、画素単位でのフリッカ妨害（ドットフリッカ妨害）が発生してしまうこととなる。

本発明は、このような背景の下になされたものである。その目的は、エッジの角の部分においても適正にライン信号を補間してＩＰ変換処理を行ない得るＩＰ変換処理装置、その制御方法を提供することにある。

上記目的を達成するため、本発明は、インタレース走査に係る映像信号をライン補間処理によりプログレッシブに係る映像信号に変換するＩＰ変換処理装置において、前記インタレース走査に係る映像信号に基づいて、各補間画素のエッジの方向を判定する方向判定手段と、前記方向判定手段により判定されたエッジの方向を用いて、前記インタレース走査に係る映像信号に対してライン間の画素値を補間する補間手段と、前記方向判定手段により判定されたエッジの方向を補正する補正手段とを有することを特徴とする。

本発明によれば、方向判定手段により判定された各補間画素のエッジの方向を用いて、インタレース走査に係る映像信号に対して、補間手段によりライン間の画素値を補間するに当たり、方向判定手段により判定されたエッジの方向を補正手段により補正することができる。

従って、画像のエッジの角の部分の潰れやドットフリッカの発生を抑制することができる等、エッジの角の部分においても適正にライン信号を補間してＩＰ変換処理を行ない得るＩＰ変換処理装置、その制御方法を提供することが可能となる。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係るＩＰ変換処理装置を適用した撮像装置の概略構成を示すブロック図である。

図１において、撮像レンズ系１を介して入力された光学像は、電荷結合素子（ＣＣＤ）２上に結像される。ＣＣＤ２は、光学像を光電変換し、その光電変換に係るアナログの映像信号をインタレース走査方式で出力する。このインタレース走査方式に係るアナログの映像信号は、Ａ／Ｄ変換器３によりＡＤ変換されてカメラ信号処理回路４に出力される。

カメラ信号処理回路４は、入力された映像信号に対してアパーチャ補正処理、ガンマ補正処理、ホワイトバランス処理等の信号処理を施す。このカメラ信号処理回路４の出力信号、すなわち各種の補正処理が施されたインタレース走査に係る映像信号は、斜め方向判定回路５、形状判定回路６、フィールドメモリ７、動き判定回路８、及びフィールド内補間信号生成回路９に入力される（入力信号Ｓ１）。

また、斜め方向判定回路５から出力される判定信号、すなわち、エッジ（画像の輪郭）の方向を示す方向信号Ｓ３は、形状判定回路６に入力される。この形状判定回路６から出力される形状信号Ｓ４は、動き判定回路８とフィールド内補間信号生成回路９に入力される。さらに、入力信号Ｓ１をフィールドメモリ７により１フィールド分だけ遅延した遅延信号Ｓ２は、動き判定回路８とプログレッシブ変換回路１０に入力される。

また、プログレッシブ変換回路１０には、動き判定回路８から出力された動き判定信号Ｓ６とフィールド内補間信号生成回路９から出力された補間信号Ｓ５も入力される。

次に、斜め方向判定回路５による斜め方向判定処理を説明する。図２は、斜め方向判定回路５が斜め方向を判定する際に使用する画素例を示す模式図である。なお、本実施の形態では３方向の画素に基づいてエッジの斜め方向を判定しているが、これに限定されることはない。

図２において、補間点（補間画素）ｘを中心として、その補間点ｘの上側の原ラインの水平方向に連続した３つの画素をｆ，ｄ，ｇとする。また、補間点ｘの下側の原ラインの水平方向に連続した３つの画素をｈ，ｅ，ｉとする。

そして、斜め方向判定回路５は、相関度の高い方向が垂直方向（ｄ−ｅの方向）と判定されたときは、垂直方向を示す「０」を方向信号Ｓ３として出力する。また、斜め方向判定回路５は、相関度の高い方向が（ｆ−ｉの方向：右下がり方向）と判定されたときは、右下がり方向を示す「１」を方向信号Ｓ３として出力する。また、斜め方向判定回路５は、相関度の高い方向が（ｇ−ｈの方向：右上がり方向）と判定されたときは、右上がり方向を示す「２」を方向信号Ｓ３として出力する。

なお、上記の相関度の高い方向とは、画素ｄと画素ｅの画素値の差分の絶対値、画素ｆと画素ｉの画素値の差分の絶対値、画素ｇと画素ｈの画素値の差分の絶対値のうち、最小の差分の絶対値に係る方向を示し、この方向がエッジの斜め方向（垂直方向を含む）として判定されるものである。

次に、斜め方向判定回路５の処理を、図３、図４のフローチャートに基づいて説明する。なお、図４は、図３のステップＳ３０１における初期データ設定処理の詳細を示すフローチャートである。

斜め方向判定回路５は、斜め方向の判定処理で用いる初期データを設定する（図３のステップＳ３０１）。この初期データ設定処理では、斜め方向判定回路５は、まず、斜め方向（右下がり方向）の差分値として、画素ｆと画素ｉの画素値の差分値を求め、その差分値の絶対値を変数ｄｉｆＸ１とする（図４のステップＳ４０１）。次に、斜め方向判定回路５は、斜め方向（右上がり方向）の差分値として、画素ｇと画素ｈの画素値の差分値を求め、その差分値の絶対値を変数ｄｉｆＸ２とする（図４のステップＳ４０２）。そして、斜め方向判定回路５は、斜め方向（垂直方向）の差分値として、画素ｄと画素ｅの画素値の差分値を求め、その差分値の絶対値を変数ｄｉｆＸとする（図４のステップＳ４０３）。なお、以下の説明において、「差分値」という用語は、その絶対値を示すものとして使用する。

斜め方向判定回路５は、初期データを設定した後、右下がり方向の差分値ｄｉｆＸ１と右上がり方向の差分値ｄｉｆＸ２を比較する（図３のステップＳ３０２）。その結果、右下がり方向の差分値ｄｉｆＸ１の方が大きければ、右上がり方向の差分値ｄｉｆＸ２の方が小さいので、斜め方向判定回路５は、その右上がり方向の差分値ｄｉｆＸ２を、変数ｄｉｆｍｉｎに設定する（ステップＳ３０３）。そして、斜め方向判定回路５は、右上がり方向を示す「２」を変数ｄｉｆｓｅｌに設定して（ステップＳ３０４）、ステップＳ３０９に進む。

ステップＳ３０２にて、右下がり方向の差分値ｄｉｆＸ１が右上がり方向の差分値ｄｉｆＸ２以下であると判別された場合は、斜め方向判定回路５は、右下がり方向の差分値ｄｉｆＸ１と右上がり方向の差分値ｄｉｆＸ２が等しいか否かを判別する（ステップＳ３０５）。その結果、等しければ、斜め方向判定回路５は、垂直方向を示す「０」を方向信号Ｓ３として出力する（ステップＳ３０６）。

一方、右下がり方向の差分値ｄｉｆＸ１が右上がり方向の差分値ｄｉｆＸ２より小さい場合は、斜め方向判定回路５は、変数ｄｉｆｍｉｎに右下がり方向の差分値ｄｉｆＸ１を設定する（ステップＳ３０７）。そして、斜め方向判定回路５は、そして、右下がり方向を示す「１」を変数ｄｉｆｓｅｌに設定して（ステップＳ３０８）、ステップＳ３０９に進む。

斜め方向判定回路５は、ステップＳ３０９では、垂直方向の差分値ｄｉｆＸが、変数ｄｉｆｍｉｎの値、すなわち右下がり方向の差分値と右上がり方向の差分値のうち小さい方の差分値より大きいか否かを判別する。その結果、垂直方向の差分値ｄｉｆＸが変数ｄｉｆｍｉｎの値より大きければ、斜め方向判定回路５は、変数ｄｉｆｓｅｌの値、すなわち、右下がり方向と右上がり方向のうち差分値の小さい方向に対応する方向を示す値（１又は２）を、方向信号Ｓ３として出力する（ステップＳ３１０）。

一方、垂直方向の差分値ｄｉｆＸが変数ｄｉｆｍｉｎの値以下であれば、斜め方向判定回路５は、ステップＳ３０６に進み、垂直方向を示す「０」を方向信号Ｓ３として出力する。

次に、形状判定回路６の処理を、図５〜図１１に基づいて説明する。形状判定回路６は、インタレース走査に係る入力信号Ｓ１と斜め方向判定回路５からの方向信号Ｓ３を用いて、補間画素の周囲の画素についてエッジの形状を判定する。その形状判定の結果、補間画素がエッジの角の部分の画素であると判定されたときは、形状判定回路６は、斜め方向判定回路５から出力された方向信号Ｓ３を垂直方向に補正して、形状信号Ｓ４として出力する。

すなわち、形状判定回路６は、例えば、図５に黒○で示した補間点（補間画素）の上側の原ラインの画素を中心として水平ハイパスフィルタ処理（以下、水平ＨＰＦ処理という）を行い、その処理結果を変数αに設定する（図６のステップＳ６０１）。形状判定回路６は、同様に、補間点の下側の原ラインの画素を中心として水平ＨＰＦ処理を行い、その処理結果を変数βに設定する（ステップＳ６０２）。なお、水平ＨＰＦ処理により、当該水平ライン（原ライン）の画像（輪郭）が鮮鋭化される。

次に、形状判定回路６は、変数α,βの値が共に所定の閾値ｐａｒａｍより大きいか否かを判別する（ステップＳ６０３）。その結果、変数α,βの値が共に閾値ｐａｒａｍより大きい場合は、形状判定回路６は、斜め方向判定回路５からの方向信号Ｓ３、すなわち変数ｄｉｆｓｅｌの値（１又は２）をそのまま形状信号Ｓ４として出力して（ステップＳ６０９）、本形状判定処理を終了する。なお、閾値ｐａｒａｍは、固定値、或いは条件により変化する値の何れでもよい。

形状判定回路６は、変数α,βの値が共に閾値ｐａｒａｍより小さい場合も（ステップＳ６０４）、同様に、変数ｄｉｆｓｅｌの値（１又は２）を形状信号Ｓ４として出力して（ステップＳ６０９）、本形状判定処理を終了する。また、形状判定回路６は、変数α,βの値が等しい場合も（ステップＳ６０５）、同様に、変数ｄｉｆｓｅｌの値（１又は２）を形状信号Ｓ４として出力して（ステップＳ６０９）、本形状判定処理を終了する。

形状判定回路６は、変数α,βの値のうち一方が閾値ｐａｒａｍ以上、他方が閾値ｐａｒａｍ以下であり、且つ両者が等しくない場合は、ステップＳ６０６〜Ｓ６０８の処理を行なう。このステップＳ６０６では、形状判定回路６は、現在の補間点の左隣の補間点での垂直方向の差分値、例えば図５の上側の原ラインの画素ｘ１の画素値と下側の原ラインの画素ｙ１の画素値との差分値を、変数ｄｉｆ１に設定する。同様に、形状判定回路６は、現在の補間点の右隣の補間点での垂直方向の差分値、例えば図５の上側の原ラインの画素ｘ２の画素値と下側の原ラインの画素ｙ２の画素値との差分値を、変数ｄｉｆ２に設定する（ステップＳ６０７）。

そして、形状判定回路６は、変数ｄｉｆ１の値と変数ｄｉｆ２の値が等しい場合、すなわち、現在の補間点の左右の補間点での垂直方向（上下の原ライン上）の画素値が等しい場合は（ステップＳ６０８）、変数ｄｉｆｓｅｌの値（１又は２）を形状信号Ｓ４として出力して（ステップＳ６０９）、本形状判定処理を終了する。

形状判定回路６は、変数ｄｉｆ１の値と変数ｄｉｆ２の値が等しくない場合は、処理Ａを行なう（ステップＳ６１０）。この処理Ａの具体的な内容は、図７に示した通りである。

この処理Ａでは、形状判定回路６は、まず、変数ｄｉｆｓｅｌの値が「０」であるか否か、すなわち、斜め方向判定回路５での判定結果が垂直方向であるか否かを判別する（図７のステップＳ７０１）。その結果、垂直方向であれば、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ７０２）、本形状判定処理を終了する。

一方、変数ｄｉｆｓｅｌの値が「０」でなければ、形状判定回路６は、変数ｄｉｆｓｅｌの値が「１」であるか否か、すなわち、斜め方向判定回路５での判定結果が右下がり方向であるか否かを判別する（ステップＳ７０３）。その結果、右下がり方向であれば、形状判定回路６は、変数ｄｉｆ１の値の方が変数ｄｉｆ２の値よりも小さいか否かを判別する（ステップＳ７０４）。

このステップＳ７０４の処理は、現在の補間画素の左隣の補間点での垂直方向の画素間（図５の画素ｘ１とｙ１）の画素値の差分値が、現在の補間画素の右隣の補間点での垂直方向の画素間（図５の画素ｘ２とｙ２）の画素値の差分値よりも小さいか否かを判別していることを意味する。

ステップＳ７０４にて、図５の画素ｘ１とｙ１の画素値の差分値が、図５の画素ｘ２とｙ２の画素値の差分値よりも小さいと判別された場合は、形状判定回路６は、処理Ａ１を行なう（ステップＳ７０６）。この処理Ａ１の具体的な内容は、図８に示した通りである。

ステップＳ７０４にて、図５の画素ｘ２とｙ２の画素値の差分値が図５の画素ｘ１とｙ１の画素値の差分値以下であると判別された場合は、形状判定回路６は、処理Ａ２を行なう（ステップＳ７０７）。この処理Ａ２の具体的な内容は、図９に示した通りである。

ステップＳ７０３にて、斜め方向判定回路５での判定結果が右上がり方向であると判別された場合は、形状判定回路６は、図５の画素ｘ１とｙ１の画素値の差分値が、図５の画素ｘ２とｙ２の画素値の差分値よりも小さいか否かを判別する（ステップＳ７０５）。

ステップＳ７０５にて、図５の画素ｘ１とｙ１の画素値の差分値が、図５の画素ｘ２とｙ２の画素値の差分値よりも小さいと判別された場合は、形状判定回路６は、処理Ａ３を行なう（ステップＳ７０８）。この処理Ａ３の具体的な内容は、図１０に示した通りである。

ステップＳ７０５にて、図５の画素ｘ２とｙ２の画素値の差分値が図５の画素ｘ１とｙ１の画素値の差分値以下であると判別された場合は、形状判定回路６は、処理Ａ４を行なう（ステップＳ７０９）。この処理Ａ４の具体的な内容は、図１１に示した通りである。

図５の画素ｘ１とｙ１の画素値の差分値が、図５の画素ｘ２とｙ２の画素値の差分値よりも小さい場合に実行される処理Ａ１では、次のような処理が行なわれる。

すなわち、形状判定回路６は、補間画素の下側の原ラインの水平ＨＰＦ処理の処理結果である変数βの値が、閾値ｐａｒａｍよりも小さいか否かを判別する（ステップＳ８０１）。その結果、変数βの値が閾値ｐａｒａｍ以上であれば、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ８０２）、本形状判定処理を終了する。一方、変数βの値が閾値ｐａｒａｍよりも小さい場合は、形状判定回路６は、変数ｖａｌ＿ｂ、変数ｖａｌ＿ｖ、変数ｖａｌ＿ｃに、それぞれ次の値を設定する。

すなわち、形状判定回路６は、図５の画素ｘ１に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｂに設定する（ステップＳ８０３）。また、形状判定回路６は、図５の画素ａ１に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｖに設定する（ステップＳ８０４）。さらに、形状判定回路６は、図５の画素ｂ１に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｃに設定する（ステップＳ８０５）。

なお、各画素に対するエッジ抽出フィルタ処理では、各画素の画像領域よりも小さな領域の単位でエッジ抽出処理を行なうことのできるエッジ抽出フィルタを用いることは、言うまでもない。

次に、形状判定回路６は、画素ｘ１に対応する変数ｖａｌ＿ｂの値と画素ｂ１に対応する変数ｖａｌ＿ｃの値の差分値が、画素ｘ１に対応する変数ｖａｌ＿ｂの値と画素ａ１に対応する変数ｖａｌ＿ｖの値の差分値よりも小さいか否かを判別する（ステップＳ８０６）。このステップＳ８０６の処理は、画素ｘ１に対する相関度に関して、画素ｂ１が画素ａ１よりも相関度が高いか否かを判別していることを意味する。

ステップＳ８０６での判別の結果、画素ｘ１に対する相関度に関して画素ｂ１が画素ａ１よりも高い場合は、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ８０２）、本形状判定処理を終了する。

一方、画素ｘ１に対する相関度に関して画素ａ１が画素ｂ１以上である場合は、形状判定回路６は、垂直方向を示す「０」を形状信号Ｓ４として出力して（ステップＳ８０７）、本形状判定処理を終了する。

すなわち、画素ｘ１に対する相関度に関して画素ａ１が画素ｂ１以上である場合は、補間画素がエッジの角の部分に係る画素であることを意味するので、斜め方向判定回路５でエッジの方向が斜め方向であると判定されたのを、垂直方向に補正する。この垂直方向への補正処理により、エッジの角の部分、特に直角又は直角に近い角の部分が潰れるのを防止することが可能となる。

次に、図５の画素ｘ２とｙ２の画素値の差分値が、図５の画素ｘ１とｙ１の画素値の差分値以下の場合に実行される処理Ａ２について説明する。

すなわち、処理Ａ２では、形状判定回路６は、補間画素の上側の原ラインの水平ＨＰＦ処理の処理結果である変数αの値が、閾値ｐａｒａｍよりも小さいか否かを判別する（ステップＳ９０１）。その結果、変数αの値が閾値ｐａｒａｍ以上であれば、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ９０２）、本形状判定処理を終了する。一方、変数αの値が閾値ｐａｒａｍよりも小さい場合は、形状判定回路６は、変数ｖａｌ＿ｂ、変数ｖａｌ＿ｖ、変数ｖａｌ＿ｃに、それぞれ次の値を設定する。

すなわち、形状判定回路６は、図５の画素ｙ２に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｂに設定する（ステップＳ９０３）。また、形状判定回路６は、図５の画素ａ２に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｖに設定する（ステップＳ９０４）。さらに、形状判定回路６は、図５の画素ｂ２に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｃに設定する（ステップＳ９０５）。

次に、形状判定回路６は、画素ｙ２に対応する変数ｖａｌ＿ｂの値と画素ｂ２に対応する変数ｖａｌ＿ｃの値の差分値が、画素ｙ２に対応する変数ｖａｌ＿ｂの値と画素ａ２に対応する変数ｖａｌ＿ｖの値の差分値よりも小さいか否かを判別する（ステップＳ９０６）。このステップＳ９０６の処理は、画素ｙ２に対する相関度に関して、画素ｂ２が画素ａ２よりも相関度が高いか否かを判別していることを意味する。

ステップＳ９０６での判別の結果、画素ｙ２に対する相関度に関して画素ｂ２が画素ａ２よりも高い場合は、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ９０２）、本形状判定処理を終了する。

一方、画素ｙ２に対する相関度に関して画素ａ２が画素ｂ２以上である場合は、形状判定回路６は、垂直方向を示す「０」を形状信号Ｓ４として出力して（ステップＳ９０７）、本形状判定処理を終了する。

すなわち、画素ｙ２に対する相関度に関して画素ａ２が画素ｂ２以上である場合は、補間画素がエッジの角の部分に係る画素であることを意味するので、斜め方向判定回路５でエッジの方向が斜め方向であると判定されたのを、垂直方向に補正する。この垂直方向への補正処理により、エッジの角の部分、特に直角又は直角近い角の部分が潰れるのを防止することが可能となる。

次に、図５の画素ｘ１とｙ１の画素値の差分値の方が、図５の画素ｘ２とｙ２の画素値の差分値よりも小さい場合に実行される処理Ａ３について説明する。

すなわち、処理Ａ３では、形状判定回路６は、補間画素の下側の原ラインの水平ＨＰＦ処理の処理結果である変数βの値が、閾値ｐａｒａｍよりも小さいか否かを判別する（ステップＳ１００１）。その結果、変数βの値が閾値ｐａｒａｍ以上であれば、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ１００２）、本形状判定処理を終了する。一方、変数βの値が閾値ｐａｒａｍよりも小さい場合は、形状判定回路６は、変数ｖａｌ＿ｂ、変数ｖａｌ＿ｖ、変数ｖａｌ＿ｃに、それぞれ次の値を設定する。

すなわち、形状判定回路６は、図５の画素ｙ１に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｂに設定する（ステップＳ１００３）。また、形状判定回路６は、図５の画素ａ３に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｖに設定する（ステップＳ１００４）。さらに、形状判定回路６は、図５の画素ｂ３に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｃに設定する（ステップＳ１００５）。

次に、形状判定回路６は、画素ｙ１に対応する変数ｖａｌ＿ｂの値と画素ｂ３に対応する変数ｖａｌ＿ｃの値の差分値が、画素ｙ１に対応する変数ｖａｌ＿ｂの値と画素ａ３に対応する変数ｖａｌ＿ｖの値の差分値よりも小さいか否かを判別する（ステップＳ１００６）。このステップＳ１００６の処理は、画素ｙ１に対する相関度に関して、画素ｂ３が画素ａ３よりも相関度が高いか否かを判別していることを意味する。

ステップＳ１００６での判別の結果、画素ｙ１に対する相関度に関して画素ｂ３が画素ａ３よりも高い場合は、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ１００２）、本形状判定処理を終了する。

一方、画素ｙ１に対する相関度に関して画素ａ３が画素ｂ３以上である場合は、形状判定回路６は、垂直方向を示す「０」を形状信号Ｓ４として出力して（ステップＳ１００７）、本形状判定処理を終了する。

すなわち、画素ｙ１に対する相関度に関して画素ａ３が画素ｂ３以上である場合は、補間画素がエッジの角の部分に係る画素であることを意味するので、斜め方向判定回路５でエッジの方向が斜め方向であると判定されたのを、垂直方向に補正する。

この垂直方向への補正処理により、エッジの角の部分、特に直角又は直角近い角の部分が潰れるのを防止することが可能となる。

次に、図５の画素ｘ２とｙ２の画素値の差分値が図５の画素ｘ１とｙ１の画素値の差分値以下である場合に実行される処理Ａ４について説明する。

すなわち、処理Ａ４では、形状判定回路６は、補間画素の上側の原ラインの水平ＨＰＦ処理の処理結果である変数αの値が、閾値ｐａｒａｍよりも小さいか否かを判別する（ステップＳ１１０１）。その結果、変数αの値が閾値ｐａｒａｍ以上であれば、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ１１０２）、本形状判定処理を終了する。一方、変数αの値が閾値ｐａｒａｍよりも小さい場合は、形状判定回路６は、変数ｖａｌ＿ｂ、変数ｖａｌ＿ｖ、変数ｖａｌ＿ｃに、それぞれ次の値を設定する。

すなわち、形状判定回路６は、図５の画素ｘ２に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｂに設定する（ステップＳ１１０３）。また、形状判定回路６は、図５の画素ａ４に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｖに設定する（ステップＳ１１０４）。さらに、形状判定回路６は、図５の画素ｂ４に対してエッジ抽出フィルタ処理を行い、そのフィルタ出力値を変数ｖａｌ＿ｃに設定する（ステップＳ１１０５）。

次に、形状判定回路６は、画素ｘ２に対応する変数ｖａｌ＿ｂの値と画素ｂ４に対応する変数ｖａｌ＿ｃの値の差分値が、画素ｘ２に対応する変数ｖａｌ＿ｂの値と画素ａ４に対応する変数ｖａｌ＿ｖの値の差分値よりも小さいか否かを判別する（ステップＳ１１０６）。このステップＳ１１０６の処理は、画素ｘ２に対する相関度に関して、画素ｂ４が画素ａ４よりも相関度が高いか否かを判別していることを意味する。

ステップＳ１１０６での判別の結果、画素ｘ２に対する相関度に関して画素ｂ４が画素ａ４よりも高い場合は、形状判定回路６は、変数ｄｉｆｓｅｌの値をそのまま形状信号Ｓ４として出力して（ステップＳ１１０２）、本形状判定処理を終了する。

一方、画素ｘ２に対する相関度に関して画素ａ４が画素ｂ４以上である場合は、形状判定回路６は、垂直方向を示す「０」を形状信号Ｓ４として出力して（ステップＳ１１０７）、本形状判定処理を終了する。

すなわち、画素ｘ２に対する相関度に関して画素ａ４が画素ｂ４以上である場合は、補間画素がエッジの角の部分に係る画素であることを意味するので、斜め方向判定回路５でエッジの方向が斜め方向であると判定されたのを、垂直方向に補正する。

次に、動き判定回路８の処理を説明する。動き判定回路８は、インタレース走査に係る入力信号Ｓ１とフィールドメモリ７からの遅延信号Ｓ２と形状判定回路６からの方向信号Ｓ４に基づいて画像の動きを判定し、その判定値を出力する。

すなわち、動き判定回路８は、まず、インタレース走査に係る現フィールドの入力信号Ｓ１の周波数解析を行うことにより、現フィールド内での補間画素のエッジ情報ｅｇｖを生成する。この際、動き判定回路８は、形状判定回路６からの形状信号Ｓ４で示される斜め方向も考慮に入れて、エッジ情報ｅｇｖを生成する。なお、周波数解析は、ハイパスフィルタ処理、バンドパスフィルタ処理、ローパスフィルタ処理、コアリング処理、メディアンフィルタ処理等を用いて行なうことができる。

次に、動き判定回路８は、インタレース走査に係る現フィールドの入力信号Ｓ１とフィールドメモリ７からの遅延信号Ｓ２（１フィールド前の信号）に基づいて、両フィールド間での画素値変化情報ｆｄｄを生成する。この画素値変化情報ｆｄｄを生成する場合は、まず、現フィールドの入力信号Ｓ１から補間画素の仮想的な画素値を生成する。次に、１フィールド前の情報であるフィールドメモリ７からの遅延信号Ｓ２から、補間画素に対応する画素の画素値を抽出する。そして、上記の仮想的な画素値と抽出した画素値との差分値を求め、この差分値を画素値変化情報ｆｄｄとする。なお、この場合の差分値は、絶対値ではなく、プラス、マイナスを含んでいる。

次に、動き判定回路８は、現フィールド内での補間画素のエッジ情報ｅｇｖとフィールド間での画素値変化情報ｆｄｄとの比を求め、その比を動き判定値、すなわち動き判定信号Ｓ６として出力する。この動き判定値は、静止している場合は「０」に近い値となり、動きの度合いが大きくなるほど大きな値となる。なお、上記の動き判定処理は一例であり、これ以外の手法で動き判定を行なうことも可能である。

次に、フィールド内補間信号生成回路９の処理を説明する。フィールド内補間信号生成回路９は、インタレース走査に係る現フィールドの入力信号Ｓ１と形状判定回路６からの形状信号Ｓ４に基づいて、フィールド内補間信号を生成する。すなわち、フィールド内補間信号生成回路９は、現フィールドの補間画素の上下の原ラインにおいて、形状判定回路６からの形状信号Ｓ４で示される方向の両画素の平均値を求める。そして、フィールド内補間信号生成回路９は、その平均値を補間画素の画素値としたフィールド内補間信号を生成し、このフィールド内補間信号を補間信号Ｓ５として出力する。

次に、プログレッシブ変換回路１０の処理を説明する。プログレッシブ変換回路１０は、動き判定回路８からの動き判定信号Ｓ６で示される動き判定値に基づいて、フィールドメモリ７からの遅延信号Ｓ２、すなわち１フィールド前の信号と、フィールド内補間信号生成回路９からの補間信号Ｓ５、すなわち現フィールド内で補間処理が施された補間信号とを混合する。この混合により、インタレース走査に係る現フィールドの入力信号Ｓ１のライン間のラインが補間されたプログレッシブ信号が生成されることとなる。そして、プログレッシブ変換回路１０は、このプログレッシブ信号を上方のラインから順に出力する。この場合、現フィールドの入力信号と補間信号が交互に順次出力されることとなる。

このようにしてプログレッシブ変換回路１０から出力される映像信号、すなわちプログレッシブ信号は、前述のように斜め方向を考慮して生成されているため、斜め方向のエッジが滑らかに補間されたものとなっている。さらに、エッジの角の部分が潰れるのを防止する処理が施されているので、静止画においてもドットフリッカの発生が抑制された映像信号となっている。

［第２の実施の形態］
図１２は、本発明の第２の実施の形態に係るＩＰ変換処理装置を適用した撮像装置の概略構成を示すブロック図である。第２の実施の形態は、第１の実施の形態における形状判定回路６の代わりに周波数解析回路１１と積分回路１２を設けた点で第１の実施の形態と相違している。

周波数解析回路１１は、インタレース走査に係る入力信号Ｓ１に対してハイパスフィルタ処理を行い、入力信号Ｓ１のうち高周波成分を出力する（出力信号Ｓ８）。なお、周波数解析回路１１は、インタレース走査に係る入力信号Ｓ１に対してバンドパスフィルタ処理、或いはエッジ抽出フィルタ処理を行なってもよい。

積分回路１２は、周波数解析回路１１の出力信号Ｓ８を１フィールド単位で積分し、ゲインを調整して出力する（出力信号９）。なお、積分回路１２における積分期間は、１フィールド単位ではなく、予め設定された任意の期間とすることも可能である。

斜め方向判定回路５ａは、インタレース走査に係る入力信号Ｓ１、積分回路１２の出力信号Ｓ９に基づいて斜め方向を判定し、その判定結果を方向信号Ｓ３ａとして出力する。斜め方向判定回路５ａは、図１３のフローチャートに基づいて、斜め方向判定処理を行なう。

この図１３のフローチャートは、第１の実施の形態における図３の斜め方向判定処理とほぼ同様なので、ここでは、相違点だけを説明する。

ステップＳ３０９ａにおいて、斜め方向判定回路５ａは、垂直方向の差分値ｄｉｆＸと、変数ｄｉｆｍｉｎの値、すなわち右下がり方向の差分値と右上がり方向の差分値のうち小さい方の差分値に、積分回路１１の出力信号Ｓ９をオフセット値として加算した加算結果とを比較する。そして、斜め方向判定回路５１は、垂直方向の差分値ｄｉｆＸが、加算結果よりより大きいか否かを判別する。

その結果、垂直方向の差分値ｄｉｆＸが加算結果より大きければ、斜め方向判定回路５ａは、変数ｄｉｆｓｅｌの値、すなわち、右下がり方向と右上がり方向のうち差分値の小さい方向に対応する方向を示す値（１又は２）を、そのまま方向信号Ｓ３ａとして出力する（ステップＳ３１０）。

一方、垂直方向の差分値ｄｉｆＸが加算結果以下であれば、斜め方向判定回路５ａは、ステップＳ３０６に進み、垂直方向を示す「０」を方向信号Ｓ３ａとして出力する。この場合、加算結果は、上記のように、右下がり方向の差分値と右上がり方向の差分値のうち小さい方の差分値に、積分回路１１の出力信号Ｓ９をオフセット値として加算したものである。すなわち、加算結果は、斜め方向の相関度が小さくなるように補正したものとなっている。

従って、斜め方向の小さい方の差分値が有る程度以上に小さい、すなわち相関度が有る程度以上に大きくない限りは、斜め方向判定回路５ａにおいて斜め方向として判定されることはない。このことは、出力画像において、エッジの角の部分、特に直角又は直角近い角の部分での潰れの発生が防止されることを意味する。

動き判定回路８の処理は、第１の実施の形態とほぼ同様である。すなわち、第１の実施の形態では、動き判定回路８は、エッジ情報ｅｇｖを生成する際に形状判定回路６からの形状信号Ｓ４で示される斜め方向を考慮していた。これに対し、第２の実施の形態では、動き判定回路８は、斜め方向判定回路５ａからの方向信号３ａで示される斜め方向を考慮している点で第１の実施の形態と相違し、他の点では第１の実施の形態と同様である。

同様のことは、フィールド内補間信号生成回路９についても言える。すなわち、第１の実施の形態では、フィールド内補間信号生成回路９は、補間画素の上下の原ラインにおいて、形状判定回路６からの形状信号Ｓ４で示される方向の画素の平均値を求めてフィールド内補間信号とし、この平均値（フィールド内補間信号）を補間信号Ｓ５として出力していた。

これに対し、第２の実施の形態では、フィールド内補間信号生成回路９は、補間画素の上下の原ラインにおいて、斜め方向判定回路５ａからの方向信号Ｓ３ａで示される方向の画素の平均値を求めてフィールド内補間信号とし、この平均値（フィールド内補間信号）を補間信号Ｓ５として出力している。第２の実施の形態におけるフィールド内補間信号生成回路９の他の点は、第１の実施の形態と同様である。

第２の実施の形態におけるプログレッシブ変換回路１０は、第１の実施の形態と全く同様の処理を行なう。第２の実施の形態においても、プログレッシブ変換回路１０から出力される映像信号、すなわちプログレッシブ信号は、斜め方向が考慮されているため、斜め方向のエッジが滑らかに補間されたものとなっている。

また、斜め方向判定回路５ａにおいてエッジの角の部分が潰れるのを防止する処理が予め施されているので、プログレッシブ変換回路１０から出力されるプログレッシブ信号は、静止画においてもドットフリッカの発生が抑制されたものとなっている。

［第３の実施の形態］
図１４は、本発明の第３の実施の形態に係るＩＰ変換処理装置を適用した撮像装置の概略構成を示すブロック図である。

第３の実施の形態は、第２の実施の形態に対して、動き判定回路８の後段に積分回路１３を追加したものである。この積分回路１３は、動き判定回路８からの動き判定信号Ｓ６を積分し、その積分値を閾値と比較し、閾値よりも積分値の方が大きい場合は「０」を出力信号Ｓ１０として、積分回路１２ａに出力する。積分値が閾値以下の場合は、積分回路１３は、「１」を出力信号Ｓ１０として積分回路１２ａに出力する。

この閾値は、固定値であっても、或いは変更可能に設定された任意の値であってもよい。また、積分回路１３の積分期間は、フレーム単位、フレームを分割した単位でもよい。

積分回路１２ａは、積分回路１３の出力信号Ｓ１０が「１」の場合にのみ周波数解析回路１０の出力信号Ｓ８を積分し、積分回路１３の出力信号Ｓ１０が「０」の場合は、周波数解析回路１０の出力信号Ｓ８を積分しないようにしている。

すなわち、積分回路１３の出力信号Ｓ１０が「０」の場合は、動いている画像領域が多く、ドットフリッカは発生しにくい状態である。従って、この場合は、積分回路１２ａは、積分処理を行わず、図１３のステップＳ３０９ａで使用されるオフセット値（出力信号Ｓ９）を、斜め方向判定回路５ａに出力しないようにする。これにより、斜め方向判定回路５ａにおける斜め方向判定において、垂直方向が選択され難くなり、斜め方向の判定精度は向上し、斜め方向のエッジを一層滑らかに補間することが可能となる。

一方、積分回路１３の出力信号Ｓ１０が「１」の場合は、静止している画像領域が多く、ドットフリッカが発生する可能性が高い状態である。従って、この場合は、積分回路１２ａは、積分処理を行い、図１３のステップＳ３０９ａで使用されるオフセット値（出力信号Ｓ９）を、斜め方向判定回路５ａに出力するようにする。これにより、斜め方向判定回路５ａにおける斜め方向判定において、垂直方向が選択され易くなるので、ドットフリッカの発生を一層抑制することが可能となる。

この場合、斜め方向判定回路５ａでの斜め方向の判定精度は低下してしまうが、プログレッシブ変換回路１０での前述の混合処理により、前フィールドの画素値でライン補間が行われるため、斜め方向のエッジを滑らかに補間することができる。

このように、第３の実施の形態では、ドットフリッカの発生をより一層抑制しながら、斜め方向のエッジも滑らかに補間することができる。なお、第３の実施の形態においても、図１３のステップＳ３０９ａ→ステップＳ３０６の処理により、第１,第２の実施の形態と同様に、エッジの角の部分が潰れるのを防止することができることは、言うまでもない。

なお、本発明は、上記の第１〜第３の実施の形態に限定されることなく、例えば、ＣＣＤ等の固体撮像素子から得られたインタレース走査に係る映像信号だけでなく、テレビカメラ等の撮像管から得られたインタレース走査に係る映像信号に対して、上記第１〜第３の実施の形態に係るＩＰ変換処理を施すことも可能である。また、斜め方向の判定処理は、３方向の原ラインの画素だけでなく４方向以上の原ライン上の画素を用いて行なうことも可能である。

本発明の第１の実施の形態に係るＩＰ変換処理装置を適用した撮像装置の概略構成を示すブロック図である。斜め方向判定処理を説明するための画素例を示す概念図である。第１の実施の形態における斜め方向判定処理を示すフローチャートである。図３の斜め方向判定処理における初期データ設定処理を示すフローチャートである。形状判定処理を説明するための画素例を示す概念図である。第１の実施の形態における形状判定処理を示すフローチャートである。図６に続く処理Ａを示すフローチャートである。図７に続く処理Ａ１を示すフローチャートである。図７に続く処理Ａ２を示すフローチャートである。図７に続く処理Ａ３を示すフローチャートである。図７に続く処理Ａ４を示すフローチャートである。本発明の第２の実施の形態に係るＩＰ変換処理装置を適用した撮像装置の概略構成を示すブロック図である。第２の実施の形態における斜め方向判定処理を示すフローチャートである。本発明の第３の実施の形態に係るＩＰ変換処理装置を適用した撮像装置の概略構成を示すブロック図である。従来技術の問題点を説明するための画素例を示す概念図である。

符号の説明

５，５ａ…斜め方向判定回路、６…形状判定回路、７…フィールドメモリ、８…動き判定回路、９…フィールド内補間信号生成回路、１０…プログレッシブ変換回路、１１…周波数解析回路、１２，１２ａ，１３…積分回路

Claims

インタレース走査に係る映像信号をライン補間処理によりプログレッシブに係る映像信号に変換するＩＰ変換処理装置において、
前記インタレース走査に係る映像信号に基づいて、各補間画素におけるエッジの方向を判定する方向判定手段と、
前記方向判定手段により判定されたエッジの方向を用いて、前記インタレース走査に係る映像信号に対してライン間の画素値を補間する補間手段と、
前記方向判定手段により判定されたエッジの方向を補正する補正手段と、
を有することを特徴とするＩＰ変換処理装置。
前記補正手段は、映像のエッジの角の部分に係る補間画素について、前記方向判定手段により判定されたエッジの方向を補正することを特徴とする請求項１に記載のＩＰ変換処理装置。
前記ＩＰ変換処理装置は、映像の動きを判定する動き判定手段を有することを特徴とする請求項１又は２に記載のＩＰ変換処理装置。
インタレース走査に係る映像信号をライン補間処理によりプログレッシブに係る映像信号に変換するＩＰ変換処理装置において、
前記インタレース走査に係る映像信号に基づいて、各補間画素におけるエッジの方向を判定する方向判定手段と、
前記方向判定手段により判定されたエッジの方向を用いて、前記インタレース走査に係る映像信号に対してライン間の画素値を補間する補間手段と、
前記方向判定手段によりエッジの方向を判定するための所定のパラメータに対するオフセット値を、該方向判定手段に供給する供給手段と、
を有することを特徴とするＩＰ変換処理装置。
前記供給手段は、前記インタレース走査に係る映像信号の所定の周波数帯域の成分を積分する積分手段を有し、該積分手段から得られる積分値を前記オフセット値として前記方向判定手段に供給することを特徴とする請求項４に記載のＩＰ変換処理装置。
前記ＩＰ変換処理装置は、映像の動きを判定する動き判定手段を有することを特徴とする請求項４又は５に記載のＩＰ変換処理装置。
前記動き判定手段による映像の動きの判定結果に基づいて、前記供給手段による前記オフセット値の供給、供給停止を制御する制御手段を有することを特徴とする請求項４〜６の何れかに記載のＩＰ変換処理装置。
インタレース走査に係る映像信号をライン補間処理によりプログレッシブに係る映像信号に変換するＩＰ変換処理装置の制御方法において、
前記インタレース走査に係る映像信号に基づいて、各補間画素におけるエッジの方向を判定する方向判定工程と、
前記方向判定工程により判定されたエッジの方向を用いて、前記インタレース走査に係る映像信号に対してライン間の画素値を補間する補間工程と、
前記方向判定工程により判定されたエッジの方向を補正する補正工程と、
を有することを特徴とするＩＰ変換処理装置の制御方法。
インタレース走査に係る映像信号をライン補間処理によりプログレッシブに係る映像信号に変換するＩＰ変換処理装置の制御方法において、
前記インタレース走査に係る映像信号に基づいて、各補間画素におけるエッジの方向を判定する方向判定工程と、
前記方向判定工程により判定されたエッジの方向を用いて、前記インタレース走査に係る映像信号に対してライン間の画素値を補間する補間工程と、
前記方向判定工程によりエッジの方向を判定するための所定のパラメータに対するオフセット値を、該方向判定工程に供給する供給工程と、
を有することを特徴とするＩＰ変換処理装置の制御方法。