【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関し、特に、カラー画像を構成する画素の数を補間処理によって増やすことにより解像度を上げ、画像を高精細化する機能を備えた装置に用いて好適なものである。
【０００２】
【従来の技術】
一般に、カラービデオ信号は、色信号（Ｃ信号）と輝度信号（Ｙ信号）とが周波数多重されて構成され、コンポジット・ビデオ信号と呼ばれている。ＮＴＳＣ信号の場合、図１２に示すように、色信号は色副搬送波（カラーサブキャリア）と呼ばれる３．５８ＭＨｚの基準信号を直交変調して、輝度信号に多重されている。カラーサブキャリアの位相は、図１３に示すようにライン間およびフレーム間の双方で逆相となっている。また、輝度信号に色信号を多重する際、色復調時に位相の基準となるバースト信号も同時に多重される。
【０００３】
受信機側でのビデオ信号処理は、色信号と輝度信号とに対して別々に行われ、ＲＧＢ信号に変換されて表示装置に出力される。すなわち、受信機側では、コンポジット・ビデオ信号の周波数帯域特性から色信号の帯域を抜き取り、２つの色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）の軸で色復調を行う。そして、復調されたＲ−Ｙ信号、Ｂ−Ｙ信号からＧ−Ｙ信号をマトリクス合成で生成する。さらに、これら３つの色差信号に輝度信号を加算してＲ信号、Ｇ信号、Ｂ信号を生成する。
【０００４】
受信機側における上述のようなビデオ信号処理を行うために、コンポジット・ビデオ信号から色信号成分と輝度信号成分とを分離する必要がある。この分離は一般的にＹＣ分離と呼ばれる。ＹＣ分離の方法は、１次元ＹＣ分離、２次元ＹＣ分離、３次元ＹＣ分離の３つに大きく分類される。図１４は、これら３種類のＹＣ分離回路の構成を示す図である。
【０００５】
１次元ＹＣ分離は、図１４（ａ）に示すように、色信号が３．５８ＭＨｚ付近にあることに着目して、色信号の帯域を通すバンドパスフィルタで色信号を取り出し、その他の信号を輝度信号とする方法である。
【０００６】
２次元ＹＣ分離は、カラーサブキャリアの位相が周波数インタリーブにより１ライン毎に反転していることを利用したものである。すなわち、図１４（ｂ）に示すように、あるラインの信号から１ライン前の信号を引き算して色信号を取り出し、更に３．５８ＭＨｚのバンドパスフィルタで色信号を取り出す。
【０００７】
また、３次元ＹＣ分離は、カラーサブキャリアの位相が１フレーム毎に反転していることを更に利用したものである。すなわち、３次元ＹＣ分離回路は図１４（ｃ）に示すように、２フレーム間の信号を引き算して色信号を取り出す時間方向のフィルタと、上述した１次元および２次元のフィルタとを組み合わせて構成される。
【０００８】
ところで、近年ではテレビジョン画像の高精細化が強く要求されており、画像の品質を向上させるための手法として、走査線の数を増やすとともに水平画素の数を増やす方法が提供されている。
【０００９】
例えば、現行のＮＴＳＣ方式のビデオ信号は、２：１のインターレス走査を行っているため、垂直解像度は３００本程度となる。ところが、一般のテレビジョン受像機で用いられているＣＲＴの走査線は５２５本であり、インターレス走査によって解像度が低下している。そこで、フィールドバッファを用いたフィールド補間によって垂直方向の画素数を増やして走査をノン・インターレス化することにより、垂直方向の解像度を上げる手法が知られている。
【００１０】
また、高品位テレビジョン受像機に用いられているＣＲＴには、垂直画素数が通常のテレビジョン受像機のＣＲＴに比べて２倍程度に設定されたものがある。この種のテレビジョン受像機において、走査線方向の画素数を補間によって２倍に増やすことにより、水平方向の解像度を上げる手法が知られている。
【００１１】
【発明が解決しようとする課題】
しなしながら、上述のようにテレビジョン画像の品質を上げるために画素数を補間すると、各ライン間におけるカラーサブキャリアの位相関係に狂いが生じ、１ライン毎に位相が反転していることを利用したＹＣ分離の手法（２次元ＹＣ分離および３次元ＹＣ分離）が利用できなくなってしまう。そのために従来は、高精細化のための補間処理を行う前にＹＣ分離処理を行わざるを得なかった。
【００１２】
ところが、ＹＣ分離を行った後に画像の高精細化を行う場合には、ＹＣ分離後に生成されたＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して補間処理を行う必要がある。通常、画素数の補間のためには大容量のメモリが必要になるが、このメモリをＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して用意しなくてはならないため、回路規模が非常に大きくなってしまうという問題があった。
【００１３】
本発明は、このような問題を解決するために成されたものであり、比較的簡単な回路構成によって画像の高精細化を行うことができるようにすることを目的としている。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、着目画素およびその周囲にある複数の周辺画素の各画素データを用いて、有限台の標本化関数を用いた補間演算を行うことにより、上記着目画素とこの着目画素の斜め方向の最近接位置に配置された４個の周辺画素のそれぞれとを結ぶ直線上の補間画素の画素データから成る補間済みコンポジット・ビデオ信号を求める補間処理手段と、上記補間処理手段により求められた各補間画素の画素データを用いて、ライン間で隣接する画素データに対して第１の演算を行うことにより、上記補間済みコンポジット・ビデオ信号から輝度信号と色信号とを分離するＹＣ分離手段とを備えたことを。
【００１５】
本発明の他の態様では、上記ＹＣ分離手段は、上記第１の演算が行われた後の画素データを用いて、ライン方向に隣接する画素データに対して第２の演算を行うことにより、上記補間済みコンポジット・ビデオ信号から分離した色信号の位相を調整する手段を含むことを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像処理装置の要部構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置は、Ａ／Ｄ変換器１、補間処理部２およびＹＣ分離回路３を備えて構成されている。
【００１７】
Ａ／Ｄ変換器１は、アナログのコンポジット・ビデオ信号（同期信号およびバースト信号を除く）をデジタルデータに変換する。この入力コンポジット・ビデオ信号は、例えば画像中間周波処理で画像信号を検波することによって生成される。Ａ／Ｄ変換器１より出力されたデジタルのコンポジット・ビデオ信号は、補間処理部２に入力される。
【００１８】
補間処理部２は、ある着目画素を挟んで斜め方向の最近接位置に配置された２つの近接画素を結ぶ直線上の補間画素の画素値（画素データ）を、着目画素および２つの近接画素における各画素値の平均として求める補間演算を行う。このとき、各補間画素の補間位置を着目画素から各近接画素までの距離の１／４の位置に設定して着目画素の周辺に４つの補間画素を生成し、着目画素および近接画素の代わりに補間画素の画素データを出力する。
【００１９】
ＹＣ分離回路３は、補間処理部２より出力された各補間画素の画素データを用いて、輝度信号（Ｙ信号）と色信号（Ｃ信号）とが周波数インタリーブの関係になっている補間済みのコンポジット・ビデオ信号から当該輝度信号と色信号とを分離する。具体的には、補間によって生成されたあるラインの信号と１ライン前の信号とを加算し、これを上記あるラインの信号から引き算することによって色信号を取り出すとともに、これを補間済みコンポジット・ビデオ信号から引き算することによって輝度信号を取り出す。
【００２０】
以下に、補間処理部２の詳細について説明する。例えばＮＴＳＣ方式においては、サンプリング周波数が１４．３１８ＭＨｚのときに、水平１ライン期間である約６３μｓは９１０クロックとなって割り切れるので、各画素は、垂直方向に規則的に沿って並んで配置される。
【００２１】
図２は、原画像を構成する３本の走査線に含まれる各画素の配置と、本実施形態における補間処理によって得られる４個の補間画素との関係を示す図である。図２に示す水平方向が、入力信号に対応した各走査線に沿ったライン方向である。また、「●」で示された点が各走査線に沿って垂直方向と水平方向とに規則正しく配置された原画像の画素を示しており、「○」で示された点が着目画素の周辺で補間処理によって得られた補間画素を示している。
【００２２】
着目画素Ｐの周囲であって対角線上に配置された４つの補間画素Ｑ０，Ｑ１，Ｑ２，Ｑ３の各画素値ａ０，ａ１，ａ２，ａ３は、対角線上に一列に並んで配置される３つの画素（着目画素とそれに近接する２つの周辺画素）の画素値に基づいて計算する。例えば補間画素Ｑ０の画素値ａ０を求める場合には、この補間画素Ｑ０を含む対角線上に配置された着目画素Ｐとその最近接位置にある近接画素Ｐ０，Ｐ３との各画素値ａ，ｂ，ｅを用いる。
【００２３】
具体的には、着目画素Ｐと対角線上の画素Ｐ０とを結ぶ線上の１／４の位置に補間画素Ｑ０の位置を設定し、以下の演算によって補間画素Ｑ０の画素値ａ０を求める。
ａ０＝（８ａ＋ｂ−ｅ）／８ ・・・（１）
同様にして、他の３つの補間画素Ｑ１，Ｑ２，Ｑ３の各画素値ａ１，ａ２，ａ３は、以下のようにして計算する。
ａ１＝（８ａ＋ｃ−ｄ）／８ ・・・（２）
ａ２＝（８ａ＋ｄ−ｃ）／８ ・・・（３）
ａ３＝（８ａ＋ｅ−ｂ）／８ ・・・（４）
【００２４】
ここで、上記式（１）〜（４）の補間演算中に含まれる係数｛８，１，−１｝を成す数値列の意味について説明する。この数値列は、｛−１，１，８，８，１，−１｝の数値列より成るデジタル基本関数の半分を構成するものである。このデジタル基本関数の数値列をオーバーサンプリングしながら畳み込み演算すると、図３に示すような関数が得られる。
【００２５】
図３に示す関数は、標本化関数であって、全域において１回だけ微分可能であり、しかも有限の標本位置ｔ１，ｔ２において０に収束する関数である。このように、関数の値が局所的な領域で０以外の有限の値を有し、それ以外の領域で０となる場合を有限台と言う。標本位置が±∞のところで収束する従来の標本化関数の代わりに、図３に示す有限台の標本化関数を用いて補間演算を行うことにより、有限個の離散データを用いるだけで、打ち切り誤差を生じることもなく正確な補間値を得ることができ、出力波形の歪みを最小限に抑えることができる。
【００２６】
ここで説明したように、補間画素Ｑ０〜Ｑ３に関する補間演算式（１）〜（４）中に含まれる係数｛８，１，−１｝を成す数値列は、上述した有限台の標本化関数の基礎となるものである。したがって、上記式（１）〜（４）に示す補間演算は、有限台の標本化関数を用いて画素数を歪みなく補間するものと言える。
【００２７】
図４は、上記式（１）〜（４）の補間演算を実行するためのハードウェア構成例を示す図である。図４に示す補間処理部２は、６つのＤ型フリップフロップ１０〜１５と、４つの加算器２０〜２３と、４つの減算器３０〜３３と、２つのラインメモリ５０，５２と、８倍の乗算器４０とを含んで構成されている。
【００２８】
上述したように、ＮＴＳＣ方式においては、水平１ラインに９１０クロックが対応しており、９１０個の画素によって水平１ラインが構成されているものとする。１４．３１８ＭＨｚのサンプリング周波数に対応したクロック信号ＣＫ１に同期して補間処理部２に入力される各画素データは、３つのＤ型フリップフロップ１０〜１２と、２つのラインメモリ５０，５２と、２つのＤ型フリップフロップ１３，１４に順に入力され、保持される。
【００２９】
２つのラインメモリ５０，５２のそれぞれは、１水平ラインに対応する画素データの数よりも１画素分少ない容量を有している。例えば各画素に対応して１バイトの画素データが入力されるものとすると、９１０−１＝９０９バイトの容量を有するシフトレジスタによって構成されている。また、各Ｄ型フリップフロップ１０〜１４は、入力される１画素分の画素データを保持する。
【００３０】
図２に示した３本の水平ラインに沿った画素データが順に入力されて、画素Ｐ３に対応した画素データ（画素値ｅ）がＤ型フリップフロップ１０から出力される場合を考えると、２画素分遅れて入力された画素Ｐ２の画素データ（画素値ｄ）がＤ型フリップフロップ１２から、（９１０＋１）画素分遅れて入力された画素Ｐの画素データ（画素値ａ）がラインメモリ５０から、（９１０×２）画素分遅れて入力された画素Ｐ１の画素データ（画素値ｃ）がラインメモリ５２から、（９１０×２＋２）画素分遅れて入力された画素Ｐ０の画素データ（画素値ｂ）がＤ型フリップフロップ１４からそれぞれ出力される。
【００３１】
したがって、加算器２０と減算器３０と乗算器４０とを組み合わせて、ラインメモリ５０の出力値を８倍した値（８ａ）とＤ型フリップフロップ１４の出力値（ｂ）とを加算した結果からＤ型フリップフロップ１０の出力値（ｅ）を減算することにより、上述した式（１）に示した補間画素Ｑ０の画素値ａ０が得られる。
【００３２】
同様に、加算器２１と減算器３１と乗算器４０とを組み合わせて、ラインメモリ５０の出力値を８倍した値（８ａ）とラインメモリ５２の出力値（ｃ）とを加算した結果からＤ型フリップフロップ１２の出力値（ｄ）を減算することにより、上述した式（２）に示した補間画素Ｑ１の画素値ａ１が得られる。
【００３３】
また、加算器２２と減算器３２と乗算器４０とを組み合わせて、ラインメモリ５０の出力値を８倍した値（８ａ）とＤ型フリップフロップ１２の出力値（ｄ）とを加算した結果からラインメモリ５２の出力値（ｃ）を減算することにより、上述した式（３）に示した補間画素Ｑ２の画素値ａ２が得られる。
【００３４】
さらに、加算器２３と減算器３３と乗算器４０とを組み合わせて、ラインメモリ５０の出力値を８倍した値（８ａ）とＤ型フリップフロップ１０の出力値（ｅ）とを加算した結果からＤ型フリップフロップ１４の出力値（ｂ）を減算することにより、上述した式（４）に示した補間画素Ｑ３の画素値ａ３が得られる。
【００３５】
このようにして、４つの減算器３０〜３３のそれぞれから、４つの補間画素Ｑ０〜Ｑ３のそれぞれに対応する補間値ａ０，ａ１，ａ２，ａ３が出力され、これらの値がＤ型フリップフロップ１５に一旦保持された後に、補間処理部２による４つの補間結果として出力される。なお、この補間処理部２の内容については、本発明者が既に出願した特開２０００−１４８０６１号公報に開示されている。
【００３６】
次に、ＹＣ分離回路３の動作について詳細に説明する。図５は、補間処理部２に入力されるコンポジット・ビデオ信号を構成する各画素と色信号の位相との関係を示す図である。なお、この図５は、ＮＴＳＣ方式で画像のサンプリング周波数ｆｓがカラーサブキャリアの周波数ｆＳＣの４倍（ｆｓ＝４ｆＳＣ）である場合についての関係を示している。
【００３７】
図５に示すように、色信号は４画素（４クロック）で位相が元に戻り、１画素ごとに９０度ずつ位相がずれる。また、上述のように水平１ラインは９１０個の画素によって構成されている。そのため、色信号の位相は、図５に示すようにライン間で逆相となっている。上述した２次元ＹＣ分離は、このように色信号の位相が１ラインごとに反転していることを利用して、あるラインの信号から１ライン前の信号を引き算することによって色信号を取り出している。
【００３８】
図６は、補間処理部２より出力される高精細化コンポジット・ビデオ信号を構成する各画素と色信号の位相との関係を示す図である。上述したように、補間処理部２では、図５に示す着目画素Ｐに関して、図６に示す４つの補間画素Ｑ０〜Ｑ３の各画素値ａ０〜ａ３が式（１）〜（４）によって演算される。このとき、例えば１つの補間画素Ｑ０の画素値ａ０を求めるときに用いる３つの画素Ｐ，Ｐ０，Ｐ３における色信号の位相を式（１）の係数に従ってベクトル合成すると、補間画素Ｑ０における色信号の位相は図６の矢印で示すようになる。同様に、他の３つの補間画素Ｑ１〜Ｑ３における色信号の位相も図６の矢印で示すようになる。
【００３９】
全ての画素に順次着目して上記式（１）〜（４）の演算を実行すると、４倍に高精細化された各補間画素における色信号の位相は、図６の全体に示す通りになる。この図６から明らかなように、本実施形態による補間手法に従って画像を４倍に高精細化すると、得られる高精細化コンポジット・ビデオ信号を構成する色信号の位相はきれいに整い、補間前と同様に色信号の位相はライン間で逆相となる。したがって、補間処理によって画像を高精細化した後でも、あるラインの信号と１ライン前の信号とを演算することによって色信号を抜き取ることができる。
【００４０】
例えば、着目画素Ｐから生成された補間画素Ｑ０での色信号の抜き取りは、当該補間画素Ｑ０の画素値ａ０と、１ライン前の補間画素Ｑ２’の画素値ａ２’とを用いて、
ａ０”＝ａ０−（ａ０＋ａ２’）／２．０６１６ ・・・（５）
なる演算によって行う。ここで、ａ０”は補間画素Ｑ０において色信号成分のみを有する画素値である。また、２．０６１６で割り算しているのは、色信号のベクトル方向が垂直あるいは水平からずれていることを考慮したものである（｛（８２＋（１＋１）２）１／２｝／４≒２．０６１６）。
【００４１】
この式（５）に示されるように、あるラインの画素値ａ０と１ライン前の画素値ａ２’とを加算して２．０６１６で割ると輝度信号となり、着目している画素Ｑ０の画素値ａ０からこの輝度信号成分を引けば、当該着目画素Ｑ０の色信号を分離することができる。他の補間画素Ｑ１〜Ｑ３においても同様に、次の式（６）〜（８）によって色信号を分離する。
ａ１”＝ａ１−（ａ１＋ａ３’）／２．０６１６ ・・・（６）
ａ２”＝ａ２−（ａ２＋ａ０’）／２．０６１６ ・・・（７）
ａ３”＝ａ３−（ａ３＋ａ１’）／２．０６１６ ・・・（８）
【００４２】
図７に、以上のようにして高精細化コンポジット・ビデオ信号から取り出した色信号の位相を示す。図７に示すように、取り出した色信号の位相は垂直方向あるいは水平方向からずれており、このままではバースト信号の位相との相関が正しくとれない。したがって、色信号の位相をバースト信号の位相に合わせることが必要となる。この調整をＹＣ分離回路３の後段（図示せず）で行うことも可能であるが、ＹＣ分離回路３にて行うことも可能である。
【００４３】
図８は、ＹＣ分離回路３で色信号の位相を調整した場合における当該色信号の調整済み位相を示す図である。例えば、着目画素Ｐから生成された補間画素Ｑ０における色信号の位相調整は、当該補間画素Ｑ０の画素値ａ０”と、１画素隣りの補間画素Ｑ１の画素値ａ１”とを用いて、
ａ０’’’＝（ａ０”＋ａ１”）／２ ・・・（９）
なる演算によって行う。
【００４４】
同様に、補間画素Ｑ０の対角に位置する補間画素Ｑ３における色信号の位相調整は、当該補間画素Ｑ３の画素値ａ３”と、１画素隣りの補間画素Ｑ２の画素値ａ２”とを用いて、
ａ３’’’＝（ａ２”＋ａ３”）／２ ・・・（１０）
なる演算によって行う。このように、位相調整済みの画素値を対角状に作ることにより、色信号成分が均等に並ぶので好ましい。
【００４５】
なお、ここでは２つの補間画素Ｑ０，Ｑ３における色信号を生成する例について説明したが、これと異なる対角上にある２つの補間画素Ｑ１，Ｑ２における色信号を生成するようにしても良い。また、４つの補間画素Ｑ０，Ｑ１，Ｑ２，Ｑ３における色信号を全て生成するようにしても良い。
【００４６】
以上詳しく説明したように、本実施形態では、上記式（１）〜（４）の補間演算によって画像を高精細化しているので、補間後の高精細化コンポジット・ビデオ信号についても補間前と同様に、色信号の位相がライン間で逆相となるようにすることができる。そのため、図１に示すようにＹＣ分離回路３の前段に補間処理部２を配置し、画像を高精細化してからＹＣ分離することができる。
【００４７】
これにより、ＹＣ分離の後に画像の高精細化処理を行っていた従来のようにＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して補間処理を行う必要がなく、１つのコンポジット・ビデオ信号に対してのみ補間処理を行えばよくなる。したがって、画素数の補間のために用意すべきメモリを少なくでき、回路規模を削減することができる。
【００４８】
なお、上記実施形態では、高精細化コンポジット・ビデオ信号を構成する隣接ラインの信号を演算することによって色信号を抜き取り、これを高精細化コンポジット・ビデオ信号から引き算することによって輝度信号を得る例について説明したが、これとは逆に、隣接ラインの信号に対して式（５）〜（８）の右辺第２項の演算を行うことによって輝度信号を抜き取り、これを高精細化コンポジット・ビデオ信号から引き算することによって色信号を得るようにしても良い。
【００４９】
また、上記実施形態では、補間処理部２の例として、図２および図４に示す特開２０００−１４８０６１号公報に開示の補間動作を挙げて説明したが、本発明はこれに限定されない。例えば、これも本発明者が既に出願している特開２０００−３０８０２１号公報に開示の補間動作を適用しても良い。
【００５０】
図９〜図１１は、特開２０００−３０８０２１号公報に開示の補間処理を説明するための図である。このうち図９は、原画像を構成する各画素の配置と補間処理によって得られる補間画素との関係を示す図である。ここでも、図９に示す水平方向が、入力信号に対応した各走査線に沿ったライン方向であり、「●」で示された点が各走査線に沿って垂直方向と水平方向とに規則正しく配置された原画像の画素を示しており、「○」で示された点が着目画素の周辺で補間処理によって得られた補間画素を示している。
【００５１】
図９に示す例では、隣接した３本の走査線のそれぞれに沿った３個の画素、すなわち水平方向および垂直方向のそれぞれについて３画素、合計で９個の画素Ｐ１〜Ｐ９の画素値ａ〜ｉに基づいて、これら９画素Ｐ１〜Ｐ９の中心にある中心画素Ｐ５の周囲に新たに４個の補間画素Ｑ１〜Ｑ４を生成し、これら補間画素Ｑ１〜Ｑ４の画素値Ａ１〜Ａ４を次の式（１１）〜（１４）により演算する。
Ａ１＝｛８ｅ＋（ａ＋ｂ＋ｄ）−（ｆ＋ｈ＋ｉ）｝／８ ・・・（１１）
Ａ２＝｛８ｅ＋（ｂ＋ｃ＋ｆ）−（ｄ＋ｇ＋ｈ）｝／８ ・・・（１２）
Ａ３＝｛８ｅ＋（ｄ＋ｇ＋ｈ）−（ｂ＋ｃ＋ｆ）｝／８ ・・・（１３）
Ａ４＝｛８ｅ＋（ｆ＋ｈ＋ｉ）−（ａ＋ｂ＋ｄ）｝／８ ・・・（１４）
【００５２】
ここで、中心画素Ｐ５とその右下の画素Ｐ１とを結ぶ直線上であって中心画素Ｐ５から画素Ｐ１までの距離の１／４の位置に生成される新たな画素をＱ１、中心画素Ｐ５とその左下の画素Ｐ３とを結ぶ直線上であって中心画素Ｐ５から画素Ｐ３までの距離の１／４の位置に生成される新たな画素をＱ２、中心画素Ｐ５とその右上の画素Ｐ７とを結ぶ直線上であって中心画素Ｐ５から画素Ｐ７までの距離の１／４の位置に生成される新たな画素をＱ３、中心画素Ｐ５とその左上の画素Ｐ９とを結ぶ直線上であって中心画素Ｐ５から画素Ｐ９までの距離の１／４の位置に生成される新たな画素をＱ４とする。
【００５３】
図１０は、上述した９個の画素Ｐ１〜Ｐ９の画素値ａ〜ｉを抽出する画素値抽出部１００の詳細な構成を示す図である。図１０に示すように、画素値抽出部１００は、６個のＤ型フリップフロップ１１０〜１１５と２個のラインメモリ１２０，１２１とを含んで構成されている。
【００５４】
この画素値抽出部１００には、入力信号に対応した走査線に含まれる各画素の画素値が所定ビット数のデータ（画素データ）として、所定のサンプリング周波数に対応したクロック信号ＣＫ１に同期して入力される。入力される各画素データは、縦続接続された２個のＤ型フリップフロップ１１０，１１１と、縦続接続されたラインメモリ１２０および２つのＤ型フリップフロップ１１２，１１３とにそれぞれ入力される。
【００５５】
また、ラインメモリ１２０から出力される各画素の画素データは、縦続接続されたラインメモリ１２１およびＤ型フリップフロップ１１４，１１５に入力される。ラインメモリ１２０，１２１のそれぞれは、入力信号の１走査線に対応した数の各画素の画素値を入力順に格納する先入れ先出しメモリであり、入力される各画素の画素データを１走査線分遅らせたタイミングで出力する。
【００５６】
したがって、図９において中心画素Ｐ５の左上に配置された画素Ｐ９に対応する画素データ（画素値ｉ）が画素値抽出部１００に入力された時点を考えると、１画素分先に入力された画素Ｐ８の画素データ（画素値ｈ）がＤ型フリップフロップ１１０から出力され、２画素分先に入力された画素Ｐ７の画素データ（画素値ｇ）がＤ型フリップフロップ１１１から出力される。
【００５７】
また、１走査線分先に入力された画素Ｐ６の画素データ（画素値ｆ）がラインメモリ１２０から出力され、１走査線と１画素分先に入力された中心画素Ｐ５の画素データ（画素値ｅ）がＤ型フリップフロップ１１２から出力され、１走査線と２画素分先に入力された画素Ｐ４の画素データ（画素値ｄ）がＤ型フリップフロップ１１３から出力される。
【００５８】
さらに、２走査線分先に入力された画素Ｐ３の画素データ（画素値ｃ）がラインメモリ１２１から出力され、２走査線と１画素分先に入力された画素Ｐ２の画素データ（画素値ｂ）がＤ型フリップフロップ１１４から出力され、２走査線と２画素分先に入力された画素Ｐ１の画素データ（画素値ａ）がＤ型フリップフロップ１１５から出力される。
【００５９】
このようにして、画素値抽出部１００からは、図９に示した９個の画素Ｐ１〜Ｐ９に対応した各画素データａ〜ｉが並行して出力される。
【００６０】
図１１は、９個の画素値ａ〜ｉから４個の補間画素Ｑ１〜Ｑ４における画素値Ａ１〜Ａ４を算出する画素値演算部２００の詳細な構成を示す図である。図１１に示すように、画素値演算部２００は、１２個の加算器１３０〜１４１と、４個の減算器１５０〜１５３と、８倍の乗算を行う乗算器１６０と、入力値を８で割る除算処理を行う４個の除算器１７０〜１７３とを含んで構成されている。
【００６１】
画素値Ａ１の演算処理は、加算器１３０，１３２，１３４，１３７，１３８と減算器１５０と乗算器１６０と除算器１７０とを用いて行われる。具体的には、２個の加算器１３０，１３４によって３個の画素値ａ，ｂ，ｄが加算され、他の２個の加算器１３２，１３７によって３個の画素値ｆ，ｈ，ｉが加算される。
【００６２】
そして、これら２個の加算結果を減算器１５０に入力することにより、加算器１３４から出力される加算結果である出力値（ａ＋ｂ＋ｄ）から、加算器１３７から出力される加算結果である出力値（ｆ＋ｈ＋ｉ）を減算した結果が出力される。
【００６３】
さらに、加算器１３８によって、この出力値に乗算器１６０の乗算結果（８ｅ）を加算することにより、加算結果｛８ｅ＋（ａ＋ｂ＋ｄ）−（ｆ＋ｈ＋ｉ）｝が出力される。さらに、その後段に接続された除算器１７０によって除数８で除算処理を行うことにより、式（１１）に示した画素値Ａ１が演算され、この演算結果が除算器１７０から出力される。
【００６４】
また、画素値Ａ２の演算処理は、加算器１３１，１３３，１３５，１３６，１３９と減算器１５１と乗算器１６０と除算器１７１とを用いて行われる。具体的には、２個の加算器１３１，１３５によって３個の画素値ｂ，ｃ，ｆが加算され、他の２つの加算器１３３，１３６によって３個の画素値ｄ，ｇ，ｈが加算される。
【００６５】
そして、これら２個の加算結果を減算器１５１に入力することにより、加算器１３５から出力される加算結果である出力値（ｂ＋ｃ＋ｆ）から、加算器１３６から出力される加算結果である出力値（ｄ＋ｇ＋ｈ）を減算した結果が出力される。
【００６６】
さらに、加算器１３９によって、この出力値に乗算器１６０の乗算結果（８ｅ）を加算することにより、加算結果｛８ｅ＋（ｂ＋ｃ＋ｆ）−（ｄ＋ｇ＋ｈ）｝が出力される。さらに、その後段に接続された除算器１７１によって除数８で除算処理を行うことにより、式（１２）に示した画素値Ａ２が演算され、この演算結果が除算器１７１から出力される。
【００６７】
また、画素値Ａ３の演算処理は、加算器１３１，１３３，１３５，１３６，１４０と減算器１５２と乗算器１６０と除算器１７２とを用いて行われる。具体的には、２個の加算器１３３，１３６によって３個の画素値ｄ，ｇ，ｈが加算され、他の２個の加算器１３１，１３５によって３個の画素値ｂ，ｃ，ｆが加算される。
【００６８】
そして、これら２個の加算結果を減算器１５２に入力することにより、加算器１３６から出力される加算結果である出力値（ｄ＋ｇ＋ｈ）から、加算器１３５から出力される加算結果である出力値（ｂ＋ｃ＋ｆ）を減算した結果が出力される。
【００６９】
さらに、加算器１４０によって、この出力値に乗算器１６０の乗算結果（８ｅ）を加算することにより、加算結果｛８ｅ＋（ｄ＋ｇ＋ｈ）−（ｂ＋ｃ＋ｆ）｝が出力される。さらに、その後段に接続された除算器１７２によって除数８で除算処理を行うことにより、式（１３）に示した画素値Ａ３が演算され、この演算結果が除算器１７２から出力される。
【００７０】
また、画素値Ａ４の演算処理は、加算器１３０，１３２，１３４，１３７，１４１と減算器１５３と乗算器１６０と除算器１７３とを用いて行われる。具体的には、２個の加算器１３２，１３７によって３個の画素値ｆ，ｈ，ｉが加算され、他の２個の加算器１３０，１３４によって３個の画素値ａ，ｂ，ｄが加算される。
【００７１】
そして、これら２個の加算結果を減算器１５３に入力することにより、加算器１３７から出力される加算結果である出力値（ｆ＋ｈ＋ｉ）から、加算器１３４から出力される加算結果である出力値（ａ＋ｂ＋ｄ）を減算した結果が出力される。
【００７２】
さらに、加算器１４１によって、この出力値に乗算器１６０の乗算結果（８ｅ）を加算することにより、加算結果｛８ｅ＋（ｆ＋ｈ＋ｉ）−（ａ＋ｂ＋ｄ）｝が出力される。さらに、その後段に接続された除算器１７３によって除数８で除算処理を行うことにより、式（１４）に示した画素値Ａ４が演算され、この演算結果が除算器１７３から出力される。
【００７３】
以上説明した式（１１）〜（１４）中に含まれる係数も｛８，１，−１｝の数値列から成っており、これは図３に示す有限台の標本化関数の基礎となるものである。したがって、上記式（１１）〜（１４）に示す補間演算も、有限台の標本化関数を用いて画素数を歪みなく補間するものと言える。
【００７４】
したがって、補間処理部２においてこの式（１１）〜（１４）の補間演算によって画像を高精細化する場合も、補間後の高精細化コンポジット・ビデオ信号について色信号の位相がライン間で逆相となるようにすることができ、画像を高精細化してからＹＣ分離することができる。よって、画素数の補間のために用意すべきメモリをコンポジット・ビデオ信号の１つ分に少なくでき、回路規模を削減することができる。
【００７５】
なお、上記特開２０００−３０８０２１号公報では、補間演算式として上述の式（１１）〜（１４）の他に、次の式（１５）〜（１８）あるいは式（１９）〜（２２）も開示している。本実施形態ではこれらの演算によって補間を行うようにしても良い。
Ａ１＝｛１０ｅ＋（ａ＋ｂ＋ｄ）−（ｃ＋ｆ＋ｇ＋ｈ＋ｉ）｝／８ ・・・（１５）
Ａ２＝｛１０ｅ＋（ｂ＋ｃ＋ｆ）−（ａ＋ｄ＋ｇ＋ｈ＋ｉ）｝／８ ・・・（１６）
Ａ３＝｛１０ｅ＋（ｄ＋ｇ＋ｈ）−（ａ＋ｂ＋ｃ＋ｆ＋ｉ）｝／８ ・・・（１７）
Ａ４＝｛１０ｅ＋（ｆ＋ｈ＋ｉ）−（ａ＋ｂ＋ｃ＋ｄ＋ｇ）｝／８ ・・・（１８）
【００７６】
Ａ１＝｛１０ｅ＋２ｂ＋２ｄ−（ｃ＋ｆ＋ｇ＋ｈ）｝／１０ ・・・（１９）
Ａ２＝｛１０ｅ＋２ｂ＋２ｆ−（ａ＋ｄ＋ｈ＋ｉ）｝／１０ ・・・（２０）
Ａ３＝｛１０ｅ＋２ｄ＋２ｈ−（ａ＋ｂ＋ｆ＋ｉ）｝／１０ ・・・（２１）
Ａ４＝｛１０ｅ＋２ｆ＋２ｈ−（ｂ＋ｃ＋ｄ＋ｇ）｝／１０ ・・・（２２）
【００７７】
また、上記実施形態では、画像信号の例としてＮＴＳＣ方式を挙げて説明したが、ＰＡＬ方式、ＳＥＣＡＭ方式など他の信号規格にも同様に適用することが可能である。
【００７８】
また、上記実施形態では、ＹＣ分離の手法をハードウェア構成により実現する例について説明したが、ＤＳＰやソフトウェアなどによっても実現することが可能である。例えばソフトウェアによって実現する場合、本実施形態のＹＣ分離装置は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【００７９】
したがって、コンピュータが上記実施形態の機能を果たすように動作させるプログラムを例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光ディスク、光磁気ディスク、ＤＶＤ、不揮発性メモリカード等を用いることができる。また、上記プログラムをインターネット等のネットワークを介してコンピュータにダウンロードすることによっても実現できる。
【００８０】
また、上記実施形態によるＹＣ分離の機能をネットワーク環境で実現するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。
【００８１】
また、コンピュータが供給されたプログラムを実行することにより上記実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上記実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上記実施形態の機能が実現される場合も、かかるプログラムは本発明に含まれる。
【００８２】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８３】
【発明の効果】
本発明は上述したように、着目画素とこの着目画素の斜め方向の最近接位置に配置された４個の周辺画素のそれぞれとを結ぶ直線上の補間画素の画素値を、着目画素および周辺画素の各画素値を用いて、有限台の標本化関数を用いた補間演算に従って求め、その後で輝度信号と色信号との分離を行うようにしたので、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれに対してではなく、１つのコンポジット・ビデオ信号に対してのみ補間処理を行えばよく、画素数の補間のために用意すべきメモリを少なくすることができる。これにより、画像処理装置の回路規模を削減することができ、従来に比べて簡単な回路構成によって画像の高精細化を行うことができるようになる。
【図面の簡単な説明】
【図１】本実施形態による画像処理装置の要部構成例を示すブロック図である。
【図２】原画像を構成する３本の走査線に含まれる各画素の配置と、本実施形態における補間処理によって得られる４個の補間画素との関係を示す図である。
【図３】本実施形態の補間処理に用いる標本化関数を示す図である。
【図４】図２に示す補間演算を行う本実施形態による補間処理部の構成例を示す図である。
【図５】補間処理部に入力されるコンポジット・ビデオ信号を構成する各画素と色信号の位相との関係を示す図である。
【図６】補間処理部より出力される高精細化コンポジット・ビデオ信号を構成する各画素と色信号の位相との関係を示す図である。
【図７】高精細化コンポジット・ビデオ信号から抜き取った色信号の位相を示す図である。
【図８】高精細化コンポジット・ビデオ信号から抜き取った色信号の調整後の位相を示す図である。
【図９】原画像を構成する３本の走査線に含まれる各画素の配置と、本実施形態における他の補間処理によって得られる４個の補間画素との関係を示す図である。
【図１０】図９に示す補間演算を行う本実施形態による補間処理部を構成する画素値抽出部の構成例を示す図である。
【図１１】図９に示す補間演算を行う本実施形態による補間処理部を構成する画素値演算部の構成例を示す図である。
【図１２】コンポジット・ビデオ信号の波形を示す図である。
【図１３】コンポジット・ビデオ信号におけるカラーサブキャリアの位相を示す図である。
【図１４】従来方式による３種類のＹＣ分離回路の構成を示す図である。
【符号の説明】
１ Ａ／Ｄ変換器
２ 補間処理部
３ ＹＣ分離回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus, and is particularly suitable for use in an apparatus having a function of increasing the resolution by increasing the number of pixels constituting a color image by interpolation processing and improving the definition of an image.
[0002]
[Prior art]
Generally, a color video signal is configured by frequency-multiplexing a color signal (C signal) and a luminance signal (Y signal), and is called a composite video signal. In the case of the NTSC signal, as shown in FIG. 12, the chrominance signal is obtained by orthogonally modulating a 3.58 MHz reference signal called a color subcarrier (color subcarrier) and multiplexing the chrominance signal with a luminance signal. As shown in FIG. 13, the phase of the color subcarrier is opposite between both lines and between frames. When a color signal is multiplexed with a luminance signal, a burst signal serving as a phase reference during color demodulation is also multiplexed.
[0003]
The video signal processing on the receiver side is performed separately for the chrominance signal and the luminance signal, converted to RGB signals, and output to the display device. That is, on the receiver side, the color signal band is extracted from the frequency band characteristics of the composite video signal, and color demodulation is performed on the axes of two color difference signals (RY signal and BY signal). Then, a GY signal is generated by matrix synthesis from the demodulated RY signal and BY signal. Further, a luminance signal is added to these three color difference signals to generate an R signal, a G signal, and a B signal.
[0004]
In order to perform the above-described video signal processing on the receiver side, it is necessary to separate a chrominance signal component and a luminance signal component from a composite video signal. This separation is generally called YC separation. The YC separation method is roughly classified into three types: one-dimensional YC separation, two-dimensional YC separation, and three-dimensional YC separation. FIG. 14 is a diagram showing the configuration of these three types of YC separation circuits.
[0005]
In the one-dimensional YC separation, as shown in FIG. 14A, paying attention to the fact that the color signal is near 3.58 MHz, the color signal is extracted by a band-pass filter that passes the band of the color signal, and the other signals are extracted. This is a method of generating a luminance signal.
[0006]
The two-dimensional YC separation utilizes the fact that the phase of the color subcarrier is inverted every line due to frequency interleaving. That is, as shown in FIG. 14B, a signal of one line is subtracted from a signal of a certain line to extract a color signal, and a color signal is further extracted by a bandpass filter of 3.58 MHz.
[0007]
Further, the three-dimensional YC separation further utilizes the fact that the phase of the color subcarrier is inverted for each frame. That is, as shown in FIG. 14C, the three-dimensional YC separation circuit combines a time-direction filter for subtracting a signal between two frames to extract a color signal and the above-described one-dimensional and two-dimensional filters. Be composed.
[0008]
In recent years, there has been a strong demand for higher definition television images. As a method for improving image quality, there has been provided a method of increasing the number of scanning lines and increasing the number of horizontal pixels.
[0009]
For example, the current NTSC video signal performs 2: 1 interlaced scanning, so that the vertical resolution is about 300 lines. However, the number of scanning lines of a CRT used in a general television receiver is 525, and the resolution is reduced by interless scanning. Therefore, a method of increasing the vertical resolution by increasing the number of pixels in the vertical direction by field interpolation using a field buffer to make the scanning non-interlace has been known.
[0010]
Some CRTs used in high-definition television receivers have the number of vertical pixels set to about twice that of a CRT of a normal television receiver. In a television receiver of this type, there is known a method of increasing the resolution in the horizontal direction by increasing the number of pixels in the scanning line direction twice by interpolation.
[0011]
[Problems to be solved by the invention]
However, when the number of pixels is interpolated in order to improve the quality of a television image as described above, the phase relationship between the color subcarriers between the lines is disturbed, and the fact that the phase is inverted every line is recognized. The used YC separation methods (two-dimensional YC separation and three-dimensional YC separation) cannot be used. Therefore, conventionally, the YC separation process has to be performed before the interpolation process for high definition is performed.
[0012]
However, when performing high-definition images after performing YC separation, it is necessary to perform interpolation processing on each of the R, G, and B signals generated after YC separation. Normally, a large-capacity memory is required to interpolate the number of pixels, but since this memory must be prepared for each of the R signal, the G signal, and the B signal, the circuit scale is very large. There was a problem of becoming.
[0013]
The present invention has been made to solve such a problem, and an object of the present invention is to enable high-definition of an image with a relatively simple circuit configuration.
[0014]
[Means for Solving the Problems]
The image processing apparatus of the present invention performs the interpolation operation using a finite number of sampling functions using each pixel data of the target pixel and a plurality of peripheral pixels around the target pixel, thereby obtaining the target pixel and the target pixel. And an interpolation processing means for obtaining an interpolated composite video signal composed of pixel data of an interpolation pixel on a straight line connecting each of the four peripheral pixels arranged at the closest position in the oblique direction. YC separation for separating a luminance signal and a color signal from the interpolated composite video signal by performing a first operation on pixel data adjacent between lines using the pixel data of each interpolated pixel thus obtained. With means.
[0015]
In another aspect of the present invention, the YC separation unit performs a second operation on pixel data adjacent in the line direction using the pixel data after the first operation has been performed, And a means for adjusting a phase of a color signal separated from the interpolated composite video signal.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of a main part of the image processing apparatus according to the present embodiment. As shown in FIG. 1, the image processing apparatus according to the present embodiment includes an A / D converter 1, an interpolation processing unit 2, and a YC separation circuit 3.
[0017]
The A / D converter 1 converts an analog composite video signal (excluding a synchronization signal and a burst signal) into digital data. This input composite video signal is generated, for example, by detecting an image signal by image intermediate frequency processing. The digital composite video signal output from the A / D converter 1 is input to the interpolation processing unit 2.
[0018]
The interpolation processing unit 2 calculates a pixel value (pixel data) of an interpolated pixel on a straight line connecting two adjacent pixels arranged at the closest position in a diagonal direction with respect to a certain pixel of interest between the target pixel and the two adjacent pixels. An interpolation operation is performed to obtain an average of each pixel value. At this time, the interpolation position of each interpolation pixel is set to 位置 of the distance from the pixel of interest to each neighboring pixel, and four interpolation pixels are generated around the pixel of interest, and instead of the pixel of interest and the neighboring pixels, The pixel data of the interpolation pixel is output.
[0019]
The YC separation circuit 3 uses the pixel data of each interpolated pixel output from the interpolation processing unit 2 to perform interpolation on the luminance signal (Y signal) and the chrominance signal (C signal) in a frequency interleaved relationship. The luminance signal and the chrominance signal are separated from the composite video signal. Specifically, a signal of a certain line generated by interpolation and a signal of one line before are added, and the signal is subtracted from the signal of the certain line to obtain a color signal. The luminance signal is extracted by subtracting from the signal.
[0020]
Hereinafter, the details of the interpolation processing unit 2 will be described. For example, in the NTSC system, when the sampling frequency is 14.318 MHz, about 63 μs, which is one horizontal line period, is divisible by 910 clocks, so that the pixels are arranged regularly along the vertical direction. .
[0021]
FIG. 2 is a diagram illustrating a relationship between the arrangement of each pixel included in three scanning lines forming the original image and four interpolated pixels obtained by the interpolation processing according to the present embodiment. The horizontal direction shown in FIG. 2 is a line direction along each scanning line corresponding to the input signal. The points indicated by “●” indicate pixels of the original image regularly arranged in the vertical and horizontal directions along each scanning line, and the points indicated by “○” indicate the vicinity of the pixel of interest. Indicates interpolation pixels obtained by the interpolation processing.
[0022]
The pixel values a0, a1, a2, and a3 of the four interpolation pixels Q0, Q1, Q2, and Q3 that are arranged on the diagonal line around the target pixel P are three diagonally arranged in a line. The calculation is performed based on the pixel values of the pixel (the target pixel and two peripheral pixels adjacent thereto). For example, when the pixel value a0 of the interpolation pixel Q0 is obtained, the pixel values a, b, of the pixel of interest P arranged on the diagonal line including the interpolation pixel Q0 and the neighboring pixels P0, P3 closest to the pixel P0 are located. e is used.
[0023]
Specifically, the position of the interpolated pixel Q0 is set at a quarter of the line connecting the pixel of interest P and the diagonal pixel P0, and the pixel value a0 of the interpolated pixel Q0 is obtained by the following calculation.
a0 = (8a + be) / 8 (1)
Similarly, the pixel values a1, a2, a3 of the other three interpolation pixels Q1, Q2, Q3 are calculated as follows.
a1 = (8a + cd) / 8 (2)
a2 = (8a + dc) / 8 (3)
a3 = (8a + e−b) / 8 (4)
[0024]
Here, the meaning of the numerical sequence forming the coefficients {8, 1, -1} included in the interpolation calculations of the above equations (1) to (4) will be described. This numerical sequence constitutes half of the digital basic function consisting of the numerical sequence of {-1,1,8,8,1, -1}. By performing a convolution operation while oversampling the numerical sequence of the digital basic function, a function as shown in FIG. 3 is obtained.
[0025]
The function shown in FIG. 3 is a sampling function, which is differentiable only once in the entire region, and converges to 0 at finite sampling positions t1 and t2. Thus, a case where the value of the function has a finite value other than 0 in a local region and becomes 0 in other regions is called a finite base. Instead of the conventional sampling function that converges at the sampling position of ± ∞, the interpolation operation is performed using a finite number of sampling functions shown in FIG. And an accurate interpolated value can be obtained without causing the distortion, and the distortion of the output waveform can be minimized.
[0026]
As described above, the numerical sequence forming the coefficients {8, 1, -1} included in the interpolation arithmetic expressions (1) to (4) regarding the interpolation pixels Q0 to Q3 is based on the above-described finite-unit sampling function. Is the basis of Therefore, it can be said that the interpolation calculations shown in the above equations (1) to (4) interpolate the number of pixels without distortion using a finite number of sampling functions.
[0027]
FIG. 4 is a diagram illustrating an example of a hardware configuration for executing the interpolation calculations of the above equations (1) to (4). The interpolation processing unit 2 shown in FIG. 4 includes six D-type flip-flops 10 to 15, four adders 20 to 23, four subtractors 30 to 33, two line memories 50 and 52, and eight times. And a multiplier 40.
[0028]
As described above, in the NTSC system, 910 clocks correspond to one horizontal line, and one horizontal line is composed of 910 pixels. Each pixel data input to the interpolation processing unit 2 in synchronization with the clock signal CK1 corresponding to the sampling frequency of 14.318 MHz includes three D-type flip-flops 10 to 12, two line memories 50 and 52, and two line memories 50 and 52. The data is sequentially input to and held in the two D-type flip-flops 13 and 14.
[0029]
Each of the two line memories 50 and 52 has a capacity smaller by one pixel than the number of pixel data corresponding to one horizontal line. For example, assuming that 1-byte pixel data is input corresponding to each pixel, the shift register has a capacity of 910-1 = 909 bytes. Each of the D-type flip-flops 10 to 14 holds input pixel data of one pixel.
[0030]
Considering the case where pixel data along the three horizontal lines shown in FIG. 2 are sequentially input and pixel data (pixel value e) corresponding to the pixel P3 is output from the D-type flip-flop 10, two pixels The pixel data (pixel value d) of the pixel P2 input with a delay of minute is input from the D-type flip-flop 12, and the pixel data (pixel value a) of the pixel P input with a delay of (910 + 1) pixels is input from the line memory 50. The pixel data (pixel value c) of the pixel P1 input with a delay of (910 × 2) pixels is input from the line memory 52 to the pixel data (pixel value b) of the pixel P0 input with a delay of (910 × 2 + 2) pixels. Are output from the D-type flip-flop 14, respectively.
[0031]
Therefore, by combining the adder 20, the subtractor 30, and the multiplier 40, and adding the value (8a) obtained by multiplying the output value of the line memory 50 by 8 and the output value (b) of the D-type flip-flop 14, By subtracting the output value (e) of the D-type flip-flop 10, the pixel value a0 of the interpolated pixel Q0 shown in the above equation (1) is obtained.
[0032]
Similarly, the adder 21, the subtractor 31, and the multiplier 40 are combined, and the value (8a) obtained by multiplying the output value of the line memory 50 by 8 (8a) and the output value (c) of the line memory 52 are added. By subtracting the output value (d) of the type flip-flop 12, the pixel value a1 of the interpolated pixel Q1 shown in the above equation (2) is obtained.
[0033]
Further, by combining the adder 22, the subtractor 32, and the multiplier 40 and adding the value (8a) obtained by multiplying the output value of the line memory 50 by 8 and the output value (d) of the D-type flip-flop 12, By subtracting the output value (c) of the line memory 52, the pixel value a2 of the interpolation pixel Q2 shown in the above equation (3) is obtained.
[0034]
Further, by combining the adder 23, the subtracter 33, and the multiplier 40, the value (8a) obtained by multiplying the output value of the line memory 50 by 8 and the output value (e) of the D-type flip-flop 10 are added. By subtracting the output value (b) of the D-type flip-flop 14, the pixel value a3 of the interpolated pixel Q3 shown in the above equation (4) is obtained.
[0035]
In this manner, the interpolation values a0, a1, a2, and a3 corresponding to the four interpolation pixels Q0 to Q3 are output from the four subtracters 30 to 33, respectively, and these values are output to the D-type flip-flop 15 , And are output as four interpolation results by the interpolation processing unit 2. The contents of the interpolation processing unit 2 are disclosed in Japanese Patent Application Laid-Open No. 2000-148061 filed by the present inventors.
[0036]
Next, the operation of the YC separation circuit 3 will be described in detail. FIG. 5 is a diagram illustrating the relationship between each pixel constituting the composite video signal input to the interpolation processing unit 2 and the phase of the color signal. FIG. 5 shows the image sampling frequency f in the NTSC system. s Is the frequency f of the color subcarrier SC 4 times (f s = 4f SC ) Is shown.
[0037]
As shown in FIG. 5, the color signal returns to its original state in four pixels (four clocks) and shifts by 90 degrees for each pixel. As described above, one horizontal line is composed of 910 pixels. Therefore, the phase of the color signal is opposite between the lines as shown in FIG. The above-described two-dimensional YC separation utilizes the fact that the phase of the color signal is inverted for each line, and subtracts the signal of the previous line from the signal of a certain line to extract the color signal. I have.
[0038]
FIG. 6 is a diagram showing the relationship between each pixel constituting the high definition composite video signal output from the interpolation processing unit 2 and the phase of the color signal. As described above, the interpolation processing unit 2 calculates the pixel values a0 to a3 of the four interpolated pixels Q0 to Q3 shown in FIG. 6 by the equations (1) to (4) for the target pixel P shown in FIG. You. At this time, for example, when the phases of the color signals of the three pixels P, P0, and P3 used for obtaining the pixel value a0 of one interpolation pixel Q0 are vector-combined according to the coefficient of the equation (1), the color signal of the interpolation pixel Q0 is obtained. The phases are as shown by the arrows in FIG. Similarly, the phases of the color signals in the other three interpolation pixels Q1 to Q3 are also indicated by arrows in FIG.
[0039]
When the calculations of the above equations (1) to (4) are executed by sequentially paying attention to all the pixels, the phase of the color signal in each interpolation pixel whose resolution has been quadrupled is as shown in FIG. . As is apparent from FIG. 6, when the image is made four times higher in resolution according to the interpolation method according to the present embodiment, the phases of the color signals constituting the resulting high definition composite video signal are neatly arranged, and the same as before interpolation. The phases of the color signals are reversed between the lines. Therefore, even after the image is made high definition by the interpolation processing, the color signal can be extracted by calculating the signal of a certain line and the signal of the previous line.
[0040]
For example, the extraction of the color signal at the interpolation pixel Q0 generated from the target pixel P is performed by using the pixel value a0 of the interpolation pixel Q0 and the pixel value a2 ′ of the interpolation pixel Q2 ′ one line before.
a0 ″ = a0− (a0 + a2 ′) / 2.0616 (5)
The calculation is performed by: Here, a0 ″ is a pixel value having only a color signal component in the interpolation pixel Q0. The division by 2.0616 takes into account that the vector direction of the color signal is shifted from vertical or horizontal. (｛(8 2 + (1 + 1) 2 ) 1/2 {/ 4} 2.0616).
[0041]
As shown in the equation (5), when the pixel value a0 of a certain line and the pixel value a2 ′ of the previous line are added and divided by 2.0616, a luminance signal is obtained, and the pixel value of the focused pixel Q0 is obtained. By subtracting this luminance signal component from a0, the color signal of the target pixel Q0 can be separated. Similarly, the color signals of the other interpolation pixels Q1 to Q3 are separated by the following equations (6) to (8).
a1 ″ = a1− (a1 + a3 ′) / 2.0616 (6)
a2 ″ = a2− (a2 + a0 ′) / 2.0616 (7)
a3 ″ = a3− (a3 + a1 ′) / 2.0616 (8)
[0042]
FIG. 7 shows the phase of the color signal extracted from the high definition composite video signal as described above. As shown in FIG. 7, the phase of the extracted color signal is deviated from the vertical direction or the horizontal direction, and the correlation with the phase of the burst signal cannot be correctly obtained as it is. Therefore, it is necessary to match the phase of the color signal with the phase of the burst signal. This adjustment can be performed in a subsequent stage (not shown) of the YC separation circuit 3, but can also be performed in the YC separation circuit 3.
[0043]
FIG. 8 is a diagram illustrating the adjusted phase of the color signal when the phase of the color signal is adjusted by the YC separation circuit 3. For example, the phase adjustment of the color signal at the interpolation pixel Q0 generated from the pixel of interest P is performed by using the pixel value a0 ″ of the interpolation pixel Q0 and the pixel value a1 ″ of the interpolation pixel Q1 adjacent to one pixel.
a0 ″ ′ = (a0 ″ + a1 ″) / 2 (9)
The calculation is performed by:
[0044]
Similarly, the phase adjustment of the color signal at the interpolated pixel Q3 located at the diagonal of the interpolated pixel Q0 is performed using the pixel value a3 ″ of the interpolated pixel Q3 and the pixel value a2 ″ of the next interpolated pixel Q2. ,
a3 ″ ′ = (a2 ″ + a3 ″) / 2 (10)
The calculation is performed by: As described above, it is preferable to form the pixel values after the phase adjustment diagonally, since the color signal components are arranged evenly.
[0045]
Here, an example has been described in which color signals are generated at two interpolated pixels Q0 and Q3, but color signals at two interpolated pixels Q1 and Q2 on different diagonals may be generated. Alternatively, all the color signals of the four interpolation pixels Q0, Q1, Q2, and Q3 may be generated.
[0046]
As described in detail above, in the present embodiment, since the image is highly defined by the interpolation calculation of the above equations (1) to (4), the high definition composite video signal after interpolation is the same as before interpolation. In addition, the phase of the color signal can be reversed between the lines. For this reason, as shown in FIG. 1, the interpolation processing unit 2 is arranged at the preceding stage of the YC separation circuit 3, and the YC separation can be performed after the image is made high definition.
[0047]
This eliminates the need to perform interpolation processing on each of the R signal, G signal, and B signal as in the conventional case in which high-definition processing of an image is performed after YC separation. Only the interpolation processing needs to be performed. Therefore, the memory to be prepared for the interpolation of the number of pixels can be reduced, and the circuit scale can be reduced.
[0048]
In the above embodiment, an example is described in which a color signal is extracted by calculating a signal of an adjacent line forming a high-definition composite video signal, and a luminance signal is obtained by subtracting the color signal from the high-definition composite video signal. On the contrary, the luminance signal is extracted by performing the operation of the second term on the right side of Expressions (5) to (8) with respect to the signal of the adjacent line, and the luminance signal is extracted. The color signal may be obtained by subtracting from the signal.
[0049]
Further, in the above embodiment, the interpolation operation disclosed in JP-A-2000-148061 shown in FIGS. 2 and 4 has been described as an example of the interpolation processing unit 2, but the present invention is not limited to this. For example, the interpolation operation disclosed in Japanese Patent Application Laid-Open No. 2000-308021 filed by the present inventor may be applied.
[0050]
9 to 11 are diagrams for explaining the interpolation processing disclosed in Japanese Patent Application Laid-Open No. 2000-308021. FIG. 9 is a diagram showing the relationship between the arrangement of each pixel constituting the original image and the interpolated pixels obtained by the interpolation processing. Also in this case, the horizontal direction shown in FIG. 9 is the line direction along each scanning line corresponding to the input signal, and points indicated by “●” are regularly arranged in the vertical direction and the horizontal direction along each scanning line. Pixels of the arranged original image are shown, and points indicated by “○” indicate interpolated pixels obtained by interpolation processing around the target pixel.
[0051]
In the example shown in FIG. 9, three pixels along each of the three adjacent scanning lines, that is, three pixels in each of the horizontal direction and the vertical direction, a total of nine pixel values a to a of nine pixels P1 to P9 Based on i, four new interpolation pixels Q1 to Q4 are generated around a central pixel P5 at the center of these nine pixels P1 to P9, and the pixel values A1 to A4 of these interpolation pixels Q1 to Q4 are The calculation is performed by the equations (11) to (14).
A1 = {8e + (a + b + d)-(f + h + i)} / 8 (11)
A2 = {8e + (b + c + f)-(d + g + h)} / 8 (12)
A3 = {8e + (d + g + h)-(b + c + f)} / 8 (13)
A4 = {8e + (f + h + i)-(a + b + d)} / 8 (14)
[0052]
Here, a new pixel generated on a straight line connecting the central pixel P5 and the lower right pixel P1 at a position １ ／ of the distance from the central pixel P5 to the pixel P1 is Q1, the central pixel P5 is A new pixel generated on a straight line connecting the lower left pixel P3 and a quarter of the distance from the center pixel P5 to the pixel P3 is Q2, and connects the center pixel P5 and the upper right pixel P7. A new pixel generated on the straight line at a position 1/4 of the distance from the central pixel P5 to the pixel P7 is Q3, and a new pixel on the straight line connecting the central pixel P5 and the upper left pixel P9 is the central pixel P5. A new pixel generated at a position 1/4 of the distance from to the pixel P9 is defined as Q4.
[0053]
FIG. 10 is a diagram illustrating a detailed configuration of the pixel value extracting unit 100 that extracts the pixel values a to i of the nine pixels P1 to P9 described above. As shown in FIG. 10, the pixel value extraction unit 100 is configured to include six D-type flip-flops 110 to 115 and two line memories 120 and 121.
[0054]
In the pixel value extracting unit 100, the pixel value of each pixel included in the scanning line corresponding to the input signal is converted into data (pixel data) of a predetermined number of bits in synchronization with a clock signal CK1 corresponding to a predetermined sampling frequency. Is entered. The input pixel data is input to two cascade-connected D-type flip-flops 110 and 111, and a cascade-connected line memory 120 and two D-type flip-flops 112 and 113, respectively.
[0055]
The pixel data of each pixel output from the line memory 120 is input to the cascade-connected line memory 121 and D-type flip-flops 114 and 115. Each of the line memories 120 and 121 is a first-in first-out memory that stores the pixel values of the pixels corresponding to one scanning line of the input signal in the order of input, and delays the pixel data of each input pixel by one scanning line. Output at the timing.
[0056]
Therefore, considering the point in time when the pixel data (pixel value i) corresponding to the pixel P9 arranged at the upper left of the center pixel P5 in FIG. 9 is input to the pixel value extraction unit 100, the pixel input one pixel ahead The pixel data (pixel value h) of P8 is output from the D-type flip-flop 110, and the pixel data (pixel value g) of the pixel P7 input two pixels ahead is output from the D-type flip-flop 111.
[0057]
Further, the pixel data (pixel value f) of the pixel P6 input one scan line ahead is output from the line memory 120, and the pixel data (pixel value) of the central pixel P5 input one scan line and one pixel ahead is input. e) is output from the D-type flip-flop 112, and the pixel data (pixel value d) of the pixel P4 input one scanning line and two pixels ahead is output from the D-type flip-flop 113.
[0058]
Further, the pixel data (pixel value c) of the pixel P3 input two scan lines ahead is output from the line memory 121, and the pixel data (pixel value b) of the pixel P2 input two scan lines and one pixel ahead ) Is output from the D-type flip-flop 114, and the pixel data (pixel value a) of the pixel P1 input two scan lines and two pixels ahead is output from the D-type flip-flop 115.
[0059]
In this way, the pixel value extraction unit 100 outputs the pixel data a to i corresponding to the nine pixels P1 to P9 shown in FIG. 9 in parallel.
[0060]
FIG. 11 is a diagram illustrating a detailed configuration of a pixel value calculation unit 200 that calculates pixel values A1 to A4 in four interpolation pixels Q1 to Q4 from nine pixel values a to i. As shown in FIG. 11, the pixel value calculation unit 200 includes twelve adders 130 to 141, four subtractors 150 to 153, a multiplier 160 that performs multiplication by eight, and an input value of eight. It is configured to include four dividers 170 to 173 that perform a dividing operation.
[0061]
The arithmetic processing of the pixel value A1 is performed using the adders 130, 132, 134, 137, 138, the subtractor 150, the multiplier 160, and the divider 170. Specifically, three pixel values a, b, and d are added by two adders 130 and 134, and three pixel values f, h, and i are added by the other two adders 132 and 137. Is added.
[0062]
Then, by inputting these two addition results to the subtractor 150, the output value (a + b + d) which is the addition result output from the adder 134 is converted to the output value (the addition result output from the adder 137) f + h + i) is output.
[0063]
Further, adder 138 adds the multiplication result (8e) of multiplier 160 to this output value, thereby outputting an addition result {8e + (a + b + d)-(f + h + i)}. Further, the pixel value A1 shown in Expression (11) is calculated by performing the division process by the divisor 8 by the divider 170 connected to the subsequent stage, and the calculation result is output from the divider 170.
[0064]
The arithmetic processing of the pixel value A2 is performed using the adders 131, 133, 135, 136, and 139, the subtractor 151, the multiplier 160, and the divider 171. Specifically, three pixel values b, c, and f are added by two adders 131 and 135, and three pixel values d, g, and h are added by the other two adders 133 and 136. Is done.
[0065]
Then, by inputting these two addition results to the subtractor 151, the output value (b + c + f) which is the addition result output from the adder 135 is converted to the output value (the addition result) output from the adder 136 ( d + g + h) is output.
[0066]
Further, the adder 139 adds the multiplication result (8e) of the multiplier 160 to this output value, thereby outputting the addition result {8e + (b + c + f)-(d + g + h)}. Further, by performing a division process by a divisor of 8 by a divider 171 connected to the subsequent stage, a pixel value A2 shown in Expression (12) is calculated, and the calculation result is output from the divider 171.
[0067]
The arithmetic processing of the pixel value A3 is performed using the adders 131, 133, 135, 136, 140, the subtracter 152, the multiplier 160, and the divider 172. Specifically, three pixel values d, g, and h are added by two adders 133 and 136, and three pixel values b, c, and f are added by the other two adders 131 and 135. Is added.
[0068]
By inputting these two addition results to the subtractor 152, the output value (d + g + h) output from the adder 136 is output from the output value (d + g + h) output from the adder 135. b + c + f) is output.
[0069]
Further, the adder 140 adds the multiplication result (8e) of the multiplier 160 to this output value to output an addition result {8e + (d + g + h)-(b + c + f)}. Further, by performing a division process by a divisor of 8 by a divider 172 connected to the subsequent stage, a pixel value A3 shown in Expression (13) is calculated, and the calculation result is output from the divider 172.
[0070]
The arithmetic processing of the pixel value A4 is performed using the adders 130, 132, 134, 137, 141, the subtractor 153, the multiplier 160, and the divider 173. Specifically, three pixel values f, h, and i are added by two adders 132 and 137, and three pixel values a, b, and d are added by the other two adders 130 and 134. Is added.
[0071]
Then, by inputting these two addition results to the subtractor 153, the output value (f + h + i) which is the addition result output from the adder 137 is converted to the output value (the addition result output from the adder 134) a + b + d) is output.
[0072]
Furthermore, the adder 141 adds the multiplication result (8e) of the multiplier 160 to this output value, thereby outputting the addition result {8e + (f + h + i)-(a + b + d)}. Further, by performing a division process by a divisor of 8 by a divider 173 connected to the subsequent stage, a pixel value A4 shown in Expression (14) is calculated, and the calculation result is output from the divider 173.
[0073]
The coefficients included in the equations (11) to (14) described above also consist of a numerical sequence of {8, 1, -1}, which is the basis of the finite-unit sampling function shown in FIG. It is. Therefore, it can be said that the interpolation calculations shown in the above equations (11) to (14) also interpolate the number of pixels without distortion using a finite number of sampling functions.
[0074]
Therefore, even when the interpolation processing unit 2 increases the definition of the image by the interpolation calculation of the equations (11) to (14), the phase of the color signal of the highly-definition composite video signal after interpolation is reversed between the lines. The YC separation can be performed after the image is made high definition. Therefore, the memory to be prepared for the interpolation of the number of pixels can be reduced to one for the composite video signal, and the circuit scale can be reduced.
[0075]
In the above-mentioned Japanese Patent Application Laid-Open No. 2000-308021, in addition to the above equations (11) to (14), the following equations (15) to (18) or equations (19) to (22) are also used as interpolation calculation equations. Has been disclosed. In the present embodiment, interpolation may be performed by these calculations.
A1 = {10e + (a + b + d)-(c + f + g + h + i)} / 8 (15)
A2 = {10e + (b + c + f)-(a + d + g + h + i)} / 8 (16)
A3 = {10e + (d + g + h)-(a + b + c + f + i)} / 8 (17)
A4 = {10e + (f + h + i)-(a + b + c + d + g)} / 8 (18)
[0076]
A1 = {10e + 2b + 2d- (c + f + g + h)} / 10 (19)
A2 = {10e + 2b + 2f- (a + d + h + i)} / 10 (20)
A3 = {10e + 2d + 2h- (a + b + f + i)} / 10 (21)
A4 = {10e + 2f + 2h- (b + c + d + g)} / 10 (22)
[0077]
In the above embodiment, the NTSC system is described as an example of an image signal. However, the present invention can be similarly applied to other signal standards such as the PAL system and the SECAM system.
[0078]
In the above-described embodiment, an example has been described in which the technique of YC separation is realized by a hardware configuration. However, the technique can be realized by a DSP or software. For example, when realized by software, the YC separation device of the present embodiment is actually configured to include a computer CPU or MPU, RAM, ROM, and the like, and can be realized by operating a program stored in the RAM or ROM. .
[0079]
Therefore, the present invention can be realized by recording a program that causes a computer to perform the functions of the above-described embodiments on a recording medium such as a CD-ROM, and reading the program into the computer. As a recording medium for recording the program, a flexible disk, a hard disk, a magnetic tape, an optical disk, a magneto-optical disk, a DVD, a nonvolatile memory card, and the like can be used in addition to the CD-ROM. Further, the present invention can also be realized by downloading the program to a computer via a network such as the Internet.
[0080]
Further, in order to realize the function of YC separation according to the above-described embodiment in a network environment, all or some of the programs may be executed by another computer.
[0081]
The functions of the above-described embodiments are not only realized by the computer executing the supplied program, but the program is executed in cooperation with an OS (Operating System) or other application software running on the computer. The functions of the above-described embodiments are also realized when the functions of the above-described embodiments are realized or when all or a part of the processing of the supplied program is performed by a function expansion board or a function expansion unit of a computer. The program is included in the present invention.
[0082]
In addition, each of the above-described embodiments is merely an example of the embodiment of the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. That is, the present invention can be embodied in various forms without departing from the spirit or main features thereof.
[0083]
【The invention's effect】
As described above, according to the present invention, the pixel value of the interpolation pixel on a straight line connecting the target pixel and each of the four peripheral pixels arranged at the closest position in the oblique direction of the target pixel is determined by the target pixel and the peripheral pixel. Using each pixel value of, according to an interpolation operation using a finite number of sampling functions, and then to separate the luminance signal and the chrominance signal, so that each of the R signal, G signal, B signal It is sufficient to perform the interpolation process only on one composite video signal, not on the composite video signal, and it is possible to reduce the memory to be prepared for the interpolation of the number of pixels. As a result, the circuit scale of the image processing apparatus can be reduced, and higher definition of an image can be performed with a simpler circuit configuration than in the related art.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a main part of an image processing apparatus according to an embodiment.
FIG. 2 is a diagram illustrating a relationship between an arrangement of pixels included in three scanning lines forming an original image and four interpolated pixels obtained by an interpolation process according to the embodiment.
FIG. 3 is a diagram illustrating a sampling function used for interpolation processing according to the embodiment.
FIG. 4 is a diagram illustrating a configuration example of an interpolation processing unit according to the present embodiment that performs the interpolation calculation illustrated in FIG. 2;
FIG. 5 is a diagram illustrating a relationship between each pixel constituting a composite video signal input to an interpolation processing unit and a phase of a color signal.
FIG. 6 is a diagram illustrating a relationship between each pixel constituting a high-definition composite video signal output from an interpolation processing unit and a phase of a color signal.
FIG. 7 is a diagram illustrating a phase of a color signal extracted from a high-definition composite video signal.
FIG. 8 is a diagram showing the adjusted phase of a color signal extracted from a high definition composite video signal.
FIG. 9 is a diagram illustrating a relationship between the arrangement of pixels included in three scanning lines forming an original image and four interpolated pixels obtained by another interpolation process according to the embodiment.
10 is a diagram illustrating a configuration example of a pixel value extraction unit included in an interpolation processing unit according to the present embodiment that performs the interpolation calculation illustrated in FIG. 9;
11 is a diagram illustrating a configuration example of a pixel value calculation unit included in an interpolation processing unit according to the present embodiment that performs the interpolation calculation illustrated in FIG. 9;
FIG. 12 is a diagram showing a waveform of a composite video signal.
FIG. 13 is a diagram illustrating a phase of a color subcarrier in a composite video signal.
FIG. 14 is a diagram showing a configuration of three types of YC separation circuits according to a conventional method.
[Explanation of symbols]
1 A / D converter
2 Interpolation processing unit
3 YC separation circuit
