JP2009212851A - 走査線補間装置及びその制御方法 - Google Patents

Abstract

【課題】 インタレース走査される映像信号の走査線補間を行う際、斜めエッジの方向判定精度を向上させる。
【解決手段】 映像信号の１フィールド分を複数のブロックに分割し、ブロックごとに直交変換を行い、変換係数を求める。そして、変換係数に基づいてブロックに含まれるエッジの方向について判定する。そして、補間画素位置におけるエッジ方向を、補間画素位置を含むブロック内の画素に基づくエッジ方向の判定結果と、直交変換係数から判定されたエッジの方向とに基づいて判定する。
【選択図】 図１

Description

本発明は、走査線補間装置及びその制御方法に関し、特にはインタレース走査された映像信号の走査線を補間する走査線補間装置及びその制御方法に関する。

インタレース走査された映像信号では、細かい横縞部分でフリッカが生じるなどの問題がある。この問題を改善するため、インタレース走査の走査線を補間してプログレッシブ走査の映像信号として出力する方式がある。この方式においては、動き判定を行い、静止していると判定される場合に使用する前フィールドの信号と、動きがあると判定される場合に使用する現フィールドの信号によって生成する補間信号とを混合して、補間信号を生成するのが一般的である。

また、特許文献１に記載されるような、補間画素のエッジ方向を判定してフィールド内補間値を生成し、エッジや斜め線に対しても有効な補間処理を行うという手法がある。

この手法では、補間画素を中心とした点対称関係の原画素の組から差分値の絶対値を求め、エッジ方向で差分値が最小値となる画素の組をエッジ方向に並んだ画素と判定している。この手法により、斜め方向のエッジは相関の高い画素の平均値で補間され、エッジがギザギザになってしまうことを防ぐことが出来る。

特開平８−１６３５１１号公報

補間画素を中心とした点対称関係の原画素の組から差分値の絶対値を求め、差分値が最小値になる原画素の組を結ぶ方向をエッジの方向として判定する手法の場合、補間画素が実際には直線が直交する角にあったときにも斜め方向の相関が高くなる。そのため、斜め方向のエッジに対する補間処理が行われ、角がつぶれてしまう。

更に、補間画素が直線の直交する角にあり、静止している場合は、フィールド毎に値の違う画素が交互に同じ位置に現れてしまうため、１画素のフリッカ（ドットフリッカ）として見えてしまう。

また、補間画素が細い垂直線上にあった場合、斜め方向の差分値の絶対値と垂直方向の差分値の絶対値が殆ど同じ値になり、ノイズなどの影響によって斜め方向の差分値が最小となる可能性もある。その場合には、補間により垂直線が途切れてしまうという問題が発生する。

本発明はこのような従来技術の課題に鑑みなされたものであり、インタレース走査される映像信号の走査線補間を行う際、斜めエッジの方向判定精度を向上させることが可能な走査線補間装置及びその制御方法を提供することを目的とする。

上述の目的は、インタレース走査の映像信号の走査線を補間し、プログレッシブ走査の映像信号を生成する走査線補間装置であって、インタレース走査の映像信号を複数のブロックに分割し、複数のブロックの各々を直交変換し、変換係数を出力する直交変換手段と、変換係数から、ブロックの各々に含まれる映像信号に含まれるエッジの方向を判定する形状判定手段と、インタレース走査の映像信号の補間画素位置におけるエッジの方向を、補間画素位置が含まれるブロックに含まれる画素値と、当ブロックについて形状判定手段が判定したエッジの方向とに基づいて判定するエッジ方向判定手段と、エッジ方向判定手段が判定したエッジの方向に応じてインタレース走査の映像信号から補間画素位置における画素値を補間した映像信号を生成するフィールド内補間信号生成手段と、インタレース走査の映像信号の１フィールド前の映像信号と、フィールド内補間信号生成手段が生成した映像信号とから、インタレース走査の映像信号の走査線を補間したプログレッシブ走査の映像信号を生成するプログレッシブ変換手段とを有することを特徴とする走査線補間装置によって達成される。

また、上述の目的は、インタレース走査の映像信号の走査線を補間し、プログレッシブ走査の映像信号を生成する走査線補間装置の制御方法であって、インタレース走査の映像信号を複数のブロックに分割し、複数のブロックの各々を直交変換し、変換係数を出力する直交変換ステップと、変換係数から、ブロックの各々に含まれる映像信号に含まれるエッジの方向を判定する形状判定ステップと、インタレース走査の映像信号の補間画素位置におけるエッジの方向を、補間画素位置が含まれるブロックに含まれる画素値と、当ブロックについて形状判定ステップで判定されたエッジの方向とに基づいて判定するエッジ方向判定ステップと、エッジ方向判定ステップで判定されたエッジの方向に応じてインタレース走査の映像信号から補間画素位置における画素値を補間した映像信号を生成するフィールド内補間信号生成ステップと、インタレース走査の映像信号の１フィールド前の映像信号と、フィールド内補間信号生成ステップで生成された映像信号とから、インタレース走査の映像信号の走査線を補間したプログレッシブ走査の映像信号を生成するプログレッシブ変換ステップとを有することを特徴とする走査線補間装置の制御方法によっても達成される。

このような構成により、本発明によれば、斜めエッジの方向判定精度を向上させることが可能になる。

以下、添付図面を参照して本発明を好適且つ例示的な実施形態に基づき詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る走査線補間装置の一例としてのビデオカメラの構成例を示すブロック図である。

本実施形態のビデオカメラ１００は、電荷結合素子(CCD)１で光電変換したインタレース走査の映像信号を、アナログ−デジタル変換器(A/D)２でデジタルデータ化する。さらに、Ａ／Ｄ２が出力するデータに対してカメラ信号処理回路３でアパーチャ補正、ガンマ補正、ホワイトバランス補正等の現像処理を行う。このカメラ信号処理回路３が出力するインタレース走査の映像データを入力信号Ｓ１とし、この入力信号Ｓ１をフィールドメモリ４に少なくとも１フィールド分蓄え、１フィールドの期間遅延させる。従って、フィールドメモリ４の出力信号Ｓ２は、１フィールド前の映像信号である。

直交変換回路９では、インタレース走査の入力信号Ｓ１に対してアダマール変換処理を行い、出力信号Ｓ９を出力する。具体的には、直交変換回路９は、入力信号Ｓ１をラインメモリ（図示せず）に保持して８×８画素の複数のブロックに分割し、複数のブロックの各々に対して８×８アダマール変換を施す。

なお、直交変換回路９で適用する直交変換はアダマール変換に限定されない。例えば、離散コサイン変換(DCT)を行うように構成しても同様の効果が得られる。また、直交変換回路９は、画素毎に処理を行っても、ブロック単位で同一の出力を行っても良く、ブロックのサイズも８×８画素に限定されない。

形状判定回路１０は、直交変換回路９の出力信号Ｓ９と、外部から設定する閾値βを入力信号とし、直交変換の結果の解析をして判定値を出力信号Ｓ１０として出力する。

図２に示すように、直交変換の結果、画素ブロック中の垂直エッジは直交変換結果における第１行においてより大きい変換係数が生成される。同様に水平エッジは特に第１列においてより大きい変換係数が生成され、対角エッジは対角領域でより大きい変換係数が生成される。形状判定回路１０は、各ブロックを、係数値の分布に基づいて垂直領域(VA)、水平領域(HA)、対角領域(DA)の３領域のいずれかに分類する。

そして、形状判定回路１０は、各ブロックについて、変換係数の絶対値の平均値を計算する。そして、HAの領域とVAの領域で計算された平均値の最大値をCAとする。DAに分類された領域のうち、係数の絶対値の平均値とCAとの差分値(CA-DA)が閾値βよりも大きい領域は対角領域ではないため、形状判定回路１０は１を出力する。それ以外の場合は、垂直領域、水平領域ではないということになるので、形状判定回路１０は０を出力する。この閾値βは任意の値を設定することができる。このように、形状判定回路１０は、ブロックの各々に含まれる映像信号に含まれるエッジの方向が垂直又は水平であるか、そうでないかを判定する。

エッジ方向判定回路５は、形状判定回路１０の出力と、インタレース走査の入力信号Ｓ１とから、エッジの方向を判定する。

エッジ方向判定は次のような手順で行う。
図３はエッジ方向判定回路５において、エッジの方向を判定する際に使用する画素の模式図を示したものである。なお、本実施形態ではエッジの方向を３通りの中から判定する例を説明するが、より少ない、あるいは多い方向の中から判定することも可能である。

補間画素位置ｘを中心として、補間画素位置の上側のラインの水平方向に連続した３つの画素をｆ，ｄ，ｇとする。また、補間画素位置の下側のラインの水平方向に連続した３つの画素をｈ，ｅ，ｉとする。

そして、エッジ方向判定回路５は、エッジ方向が垂直方向と判定されたとき（ｄ−ｅの方向）は０を出力し、斜め方向でｆ−ｉの方向と判定されたときは１を出力し、ｇ−ｈの方向と判定されたときは２を出力とする。

図４Ａは、エッジ方向判定回路５の処理の詳細を説明するフローチャートである。
まず、エッジ方向判定回路５は、使用するデータの初期設定を行う（Ｓ４０１）。この初期設定処理の詳細を、図４Ｂに示すフローチャートを用いて説明する。

Ｓ４０１１においてエッジ方向判定回路５は、エッジ方向の差分値として、画素ｆとｉの値の差分値の絶対値を計算し、それをdifX1とする。同様に、Ｓ４０１２においてエッジ方向判定回路５は、エッジ方向の差分値として、画素ｇとｈの値の差分値の絶対値を計算し、それをdifX2とする。さらに、Ｓ４０１３においてエッジ方向判定回路５は、垂直方向の差分値として、画素ｄとｅの値の差分値の絶対値を計算し、それをdifXとする。以上により、初期データの設定処理を終了する。

図４Ａに戻り、Ｓ４０２においてエッジ方向判定回路５は、difX1とdifX2を比較する。そして、difX1の方が大きければエッジ方向の差分値の最小値がdifX2となるので、エッジ方向判定回路５はdifX2をdifminとし（Ｓ４０６）、そのときのエッジ方向である２をdifselとして保持する（Ｓ４０７）。

一方、Ｓ４０２において、difX1がdifX2より大きくなければ、エッジ方向判定回路５はＳ４０３において、difX2とdifX1が等しいか判定する。もしdifX2の方がdifX1よりも大きければ、エッジ方向の差分値の最小値がdifX1となるので、エッジ方向判定回路５はdifX1をdifminとし（Ｓ４０４）、そのときのエッジ方向である１をdifselとして保持する（Ｓ４０５）。difX1とdifX2の値が等しい時には、エッジ方向の相関が等しいということになるので、エッジ方向とは判定せず、エッジ方向判定回路５は判定結果として出力信号Ｓ５＝０を出力し（Ｓ４１２）、補間画素位置ｘに対する判定処理を終了する。

Ｓ４０８においてエッジ方向判定回路５は、垂直方向の差分値であるdifXが、Ｓ４０４又はＳ４０６でエッジ方向の差分値の最小値として設定されたdifminより大きいか判定する。そして、difXの方が小さいまたは、difXとdifminが等しい場合、エッジ方向判定回路５は処理をＳ４１２へ移し、判定結果として出力信号Ｓ５＝０を出力する。

一方、difXの方がdifminよりも大きい場合、エッジ方向判定回路５は、Ｓ４１０で、形状判定回路１０の出力信号Ｓ１０が０かどうかを判定する。形状判定回路１０の出力信号Ｓ１０が０、すなわち、水平領域でも垂直領域でもないとの形状判定結果であった場合は、Ｓ４０４又はＳ４０６で設定されたdifselの値をエッジ方向判定回路５の出力信号Ｓ５として出力する（Ｓ４１１）。一方、形状判定回路１０の出力信号Ｓ１０が０でなかった場合（すなわち、１である場合）は、Ｓ４１２でエッジ方向判定回路５の出力信号Ｓ５＝０を出力する。

次に、動き判定回路７は、インタレース走査の入力信号Ｓ１、フィールドメモリ４の出力信号Ｓ２と、エッジ方向判定回路５の出力信号Ｓ５とから、領域が動いているかどうかを判定し、判定結果を表す出力信号Ｓ７を出力する。

動き判定回路７は、次のような手順で動き判定を行う。
まず、動き判定回路７は、インタレース走査の入力信号Ｓ１の周波数解析を行い、補間画素のフィールド内でのエッジ情報egvを生成する。動き判定回路７は、エッジ方向判定回路５の出力信号Ｓ５の値に基づくエッジ方向も考慮に入れたエッジの度合い（レベル）である、エッジ情報egvを生成する。なお、ここでの周波数解析とは、HPF処理、BPF処理、LPF処理、コアリング処理、メディアンフィルタ処理等でも良い。

次に、動き判定回路７は、インタレース走査の入力信号Ｓ１と、フィールドメモリ４の出力信号Ｓ２から、フィールド間での画像の変化情報fddを生成する。変化情報fddは、変化の度合い（大きさ）を意味し、インタレース走査の入力信号Ｓ１から補間画素の仮想的な値を生成し、その値と１フィールド前の情報であるフィールドメモリ４の出力信号Ｓ２との差分値を求めることにより生成することができる。

このフィールド内のエッジ情報egvと、フィールド間の変化情報fddの比を動き判定回路７の出力信号Ｓ７として出力する。
動き判定回路７の出力信号Ｓ７は、補間画素が静止していると判定される場合は０に近い値となり、動きの度合いが大きいと判定される程大きな値となる。なお、ここで説明した動き判定処理は一例であり、補間画素の動きを判定可能であれば他の任意の手法を用いることができる。

フィールド内補間信号生成回路６は、インタレース走査の入力信号Ｓ１と、エッジ方向判定回路５の出力信号Ｓ５が表すエッジ方向に応じて、フィールド内補間信号Ｓ６を生成する。
フィールド内補間信号Ｓ６は、補間画素位置を中心として、エッジ方向判定回路５の出力信号Ｓ５が示すエッジ方向に位置する上下のライン中の画素の平均値とする。

そして、プログレッシブ変換回路８は、動き判定回路７の出力信号Ｓ７に基づいて、フィールドメモリ４の出力信号Ｓ２とフィールド内補間信号生成回路６の出力するフィールド内補間信号Ｓ６とを混合する。そして、インタレース走査の入力信号（Ｓ２）と補間信号（Ｓ６）とを順次交互に出力することにより、プログレッシブ変換された映像信号Ｓ８を出力する。

以上説明したように、本実施形態によれば、補間画素位置の上下ラインの画素値の差に加え、補間画素位置が含まれる画素ブロックの直交変換係数を考慮してエッジ方向を決定することにより、エッジ方向の判定精度を向上させることができる。そのため、細い縦線や斜め線などに対しても精度の良い操作線補間を実現できる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図５は、本発明の第２の実施形態に係る走査線補間装置の一例としてのビデオカメラの構成例を示すブロック図である。図５において、図１と同じ構成要素には同じ参照数字を付し、重複する説明を省略する。

本実施形態のビデオカメラ２００は、オフセット算出回路１１が追加されたことと、形状判定回路１０１及びエッジ方向判定回路５１の動作において第１の実施形態のビデオカメラ１００と異なる。以下、これらの相異点についてのみ説明する。

形状判定回路１０１では、直交変換回路９の出力信号Ｓ９を入力信号として直交変換の結果（直交変換係数）を解析し、判定値Ｓ１０１を出力する。
形状判定回路１０１は、第１の実施形態における形状判定回路１０と同様、８×８画素の画素ブロックごとの直交変換係数の値と分布に基づき、各ブロックについて、垂直領域(VA)、水平領域(HA)、対角領域(DA)に分類する。

そして、形状判定回路１０は、各ブロックについて、変換係数の絶対値の平均値を計算する。そして、HAの領域とVAの領域で計算された平均値の最大値をCAとする。DAに分類された領域のうち、係数の絶対値の平均値とCAとの差分値(CA-DA)を判定値Ｓ１０１として出力する。従って、本実施形態において閾値βは使用されない。係数の絶対値の平均値とCAとの差分値(CA-DA)が大きいブロックほど、対角領域ではない可能性が高い。従って、(CA-DA)は対角領域であるかどうかの信頼性（小さいほど信頼性が高い）を表す評価値として用いることができる。

オフセット算出回路１１は、形状判定回路１０１が出力する判定値Ｓ１０１を入力として、オフセット値Ｓ１１を出力する。図６に、オフセット算出回路１１における入力信号(CA-DA)と、出力されるオフセット値Ｓ１１との関係例を示す。

なお、図６に示す入出力の関係は一例であり、(CA-DA)の値が大きい程オフセット値Ｓ１１が大きな値となり、かつ、(CA-DA)の値が０以下の時にはオフセット値Ｓ１１＝０となれば、他の入出力関係に基づくオフセット値Ｓ１１を出力しても良い。従って、オフセット値Ｓ１１が大きいブロックほど、対角領域でない可能性が高いことになる。

エッジ方向判定回路５１は、インタレース走査の入力信号Ｓ１および、オフセット算出回路１１の出力するオフセット値Ｓ１１とから、ブロック内のエッジ方向を判定し、エッジ方向を示す値Ｓ５１を出力する。なお、(CA-DA)の値がそのままオフセット値として使用可能である場合、あるいは形状判定回路１０が(CA-DA)の値からオフセット値を生成する機能を有する場合には、オフセット算出回路１１は不要である。

図７は本実施形態におけるエッジ方向判定回路５１の処理の詳細を説明するフローチャートである。図７において、図４と同じ動作を行う処理ステップには同じ参照数字を付し、重複する説明を省略する。
本実施形態では、図４におけるＳ４０８に代えてＳ７０１を実行すること、またＳ４１０の処理が含まれないことが第１の実施形態と異なる。

Ｓ７０１において、エッジ方向判定回路５１は、垂直方向の画素値の差分であるdifXが、エッジ方向の差分値の最小値であるdifminとオフセット算出回路の出力するオフセット値Ｓ１１の合計よりも大きいか否かを判定する。

エッジ方向の差分値の最小値であるdifminにオフセット値Ｓ１１を加えることで、オフセット値Ｓ１１が大きい（すなわち、対角領域でない可能性が高い）ブロックにおいて、斜め方向のエッジであるとの判定がなされにくくしている。換言すれば、エッジ方向の判定において、直交変換係数に基づく形状判定の結果を反映させることにより、エッジ方向の誤判定を抑制している。

Ｓ７０１において、difXの方が大きい場合、エッジ方向判定回路５１は、difselに設定されている値をエッジ方向の判定結果として出力する（Ｓ４１１）。一方、difXの方が小さいか、difXとdifminが等しい場合、エッジ方向判定回路５１はエッジ方向の判定結果として０を出力する（Ｓ４１２）。
以降、動き判定、フィールド内補間信号の生成及びプログレッシブ信号の生成処理は第１の実施形態と同様に行われる。

以上説明したように、本実施形態によっても、補間画素位置の上下ラインの画素値の差に加え、補間画素位置が含まれる画素ブロックの直交変換係数を考慮してエッジ方向を決定することにより、エッジ方向の判定精度を向上させることができる。そのため、細い縦線や斜め線などに対しても精度の良い操作線補間を実現できる。

本発明の第１の実施形態に係る走査線補間装置の一例としてのビデオカメラの構成例を示すブロック図である。 画素ブロック中のエッジ方向と直交変換係数の分布を模式的に示す図である。 本発明の実施形態に係る走査線補間装置におけるエッジ方向判定回路において、エッジの方向を判定する際に使用する画素を模式的に示す図である。 本発明の第１の実施形態に係る走査線補間装置におけるエッジ方向判定回路５の処理の詳細を説明するフローチャートである。 図４ＡのＳ４０１における初期設定処理の詳細を示すフローチャートである。 本発明の第２の実施形態に係る走査線補間装置の一例としてのビデオカメラの構成例を示すブロック図である。 本発明の第２の実施形態に係る走査線補間装置におけるオフセット算出回路１１が出力するオフセット値と入力信号との関係例を示す図である。 本発明の第２の実施形態に係る走査線補間装置におけるエッジ方向判定回路５１の処理の詳細を説明するフローチャートである。

Claims (5)

1. インタレース走査の映像信号の走査線を補間し、プログレッシブ走査の映像信号を生成する走査線補間装置であって、
   インタレース走査の映像信号を複数のブロックに分割し、前記複数のブロックの各々を直交変換し、変換係数を出力する直交変換手段と、
   前記変換係数から、前記ブロックの各々に含まれる映像信号に含まれるエッジの方向を判定する形状判定手段と、
   前記インタレース走査の映像信号の補間画素位置におけるエッジの方向を、前記補間画素位置が含まれる前記ブロックに含まれる画素値と、当該ブロックについて前記形状判定手段が判定したエッジの方向とに基づいて判定するエッジ方向判定手段と、
   前記エッジ方向判定手段が判定したエッジの方向に応じて前記インタレース走査の映像信号から前記補間画素位置における画素値を補間した映像信号を生成するフィールド内補間信号生成手段と、
   前記インタレース走査の映像信号の１フィールド前の映像信号と、前記フィールド内補間信号生成手段が生成した映像信号とから、前記インタレース走査の映像信号の走査線を補間したプログレッシブ走査の映像信号を生成するプログレッシブ変換手段とを有することを特徴とする走査線補間装置。
2. 前記形状判定手段が、前記変換係数の分布に基づいて、前記ブロックの各々について、水平方向のエッジまたは垂直方向のエッジが含まれるか否かを判定し、
   前記エッジ方向判定手段が、前記画素値に基づいて判定されるエッジ方向が斜め方向であり、かつ、前記補間画素位置が含まれる前記ブロックに対し、前記形状判定手段が前記水平方向のエッジ又は垂直方向のエッジが含まれないと判定している場合に、前記補間画素位置におけるエッジの方向を前記斜め方向のエッジと判定することを特徴とする請求項１記載の走査線補間装置。
3. 前記形状判定手段が、前記変換係数に基づいて、前記ブロックの各々について、水平方向のエッジまたは垂直方向のエッジが含まれる可能性を表す評価値を前記判定の結果として算出し、
   前記エッジ方向判定手段が、前記画素値に基づいてエッジ方向を判定する際、前記補間画素位置を含む前記ブロックに対して求められた前記評価値が、水平方向のエッジまたは垂直方向のエッジが含まれる可能性が高いことを表すほど、前記補間画素位置におけるエッジ方向が斜め方向であると判定されにくくすることを特徴とする請求項１記載の走査線補間装置。
4. 前記直交変換手段が、前記直交変換としてアダマール変換又は離散コサイン変換を行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の走査線補間装置。
5. インタレース走査の映像信号の走査線を補間し、プログレッシブ走査の映像信号を生成する走査線補間装置の制御方法であって、
   インタレース走査の映像信号を複数のブロックに分割し、前記複数のブロックの各々を直交変換し、変換係数を出力する直交変換ステップと、
   前記変換係数から、前記ブロックの各々に含まれる映像信号に含まれるエッジの方向を判定する形状判定ステップと、
   前記インタレース走査の映像信号の補間画素位置におけるエッジの方向を、前記補間画素位置が含まれる前記ブロックに含まれる画素値と、当該ブロックについて前記形状判定ステップで判定されたエッジの方向とに基づいて判定するエッジ方向判定ステップと、
   前記エッジ方向判定ステップで判定されたエッジの方向に応じて前記インタレース走査の映像信号から前記補間画素位置における画素値を補間した映像信号を生成するフィールド内補間信号生成ステップと、
   前記インタレース走査の映像信号の１フィールド前の映像信号と、前記フィールド内補間信号生成ステップで生成された映像信号とから、前記インタレース走査の映像信号の走査線を補間したプログレッシブ走査の映像信号を生成するプログレッシブ変換ステップとを有することを特徴とする走査線補間装置の制御方法。

Images