JP2006148367A - 撮像装置及びインタレースプログレッシブ変換方法 - Google Patents

Abstract

【課題】小さい回路規模で、色成分でもプログレッシブ相当の帯域を得ることができる。
【解決手段】本発明の撮像装置は、撮像素子からインタレース方式で画素読み出しを行い、カラー映像信号に対応した複数の色信号を生成する撮像素子と、インタレース方式の画面内の空白ラインの各画素を、その空白ラインの上に位置するラインの画素及び下に位置するラインの画素を参照して補間をし、プログレッシブ方式の色信号を生成するＩＰ変換部とを備える。撮像素子は、カラー映像信号に対応した複数の色信号を２つのグループに分割し、一方のグループと他方のグループとでライン読み出し位相を逆相とする。ＩＰ変換部は、補間対象となる画素を通過する各方向に位置する画素群の相関性を、各方向に対して検出し、複数の方向のうち最も相関性の高い方向を特定し、特定した方向の画素群の値を用いて補間対象となる画素の値を生成する。
【選択図】図６

Description

本発明は、イメージセンサからインタレース方式で読み出された映像信号をプログレッシブ画像に変換して出力する撮像装置、及び、このような撮像装置におけるインタレースプログレッシブ変換方法に関するものである。

近年、映像信号のフォーマットの多様化から、従来のインタレース（飛び越し走査）フォーマットの映像信号のみではなく、プログレッシブ（順次走査）フォーマットの映像信号をビデオカメラから出力することが求められる場合がある。このような場合、プログレッシブに対応したＣＣＤなどのイメージセンサを使用すると、比較的高価となり、また消費電力が大きくなってしまう。

そのため、比較的安価で低消費電力なインタレース読み出しのイメージセンサを用い、信号処理上でインタレースからプログレッシブ変換を行い、プログレッシブフォーマットの映像信号を出力するビデオカメラが提案されている（例えば特許文献１参照。）。

特許文献１に記載されているビデオカメラでは、ある位相でインタレース駆動されたある色のイメージセンサからの出力と、それとは逆相でインタレース駆動されたその他の色のイメージセンサからの出力の二つの信号を用いて、それぞれにフィルタ処理を行うことで、インタレースの映像信号からプログレッシブの映像信号を生成している。このように色毎に逆相で読み出しているので、周波数特性がすぐれたプログレッシブの映像信号を生成することができる。

特開２００３−２７４２６４号公報

ところで、特許文献１の方式では、インタレース信号から生成されるプログレッシブ信号の帯域は、フィルタ特性で決まる。そのため、例えば帯域特性を上げようとするとフィルタのタップ数が増えてしまい、回路規模が大きくなる。また、輝度成分については理論上プログレッシブ相当の帯域を得られるが、色成分についてはそこまでは帯域が得られない。

本発明は、小さい回路規模で、色成分でもプログレッシブ相当の帯域を得ることができる撮像装置、及び、インタレースプログレッシブ変換方法を提供することを目的とする。

本発明に係る撮像装置は、撮像素子からインタレース方式で画素読み出しを行い、カラー映像信号に対応した複数の色信号を生成する撮像手段と、インタレース方式の画面内の空白ラインの各画素を、その空白ラインの上に位置するラインの画素及び下に位置するラインの画素を参照して補間をし、プログレッシブ方式の色信号を生成する変換手段とを備え、上記撮像手段は、カラー映像信号に対応した複数の色信号を２つのグループに分割し、一方のグループと他方のグループとでライン読み出し位相を逆相とし、上記変換手段は、補間対象となる画素を通過する各方向に位置する画素群の相関性を、各方向に対して検出し、複数の方向のうち最も相関性の高い方向を特定し、特定した方向の画素群の値を用いて補間対象となる画素の値を生成することを特徴とする。

本発明に係るインターレース-プログレッシブ変換方法は、撮像素子からインタレース方式で画素読み出しを行い、カラー映像信号に対応した複数の色信号を生成し、インタレース方式の画面内の空白ラインの各画素をその空白ラインの上に位置するラインの画素及び下に位置するラインの画素を参照して補間をしてプログレッシブ方式の色信号を生成する撮像装置におけるインターレース-プログレッシブ変換方法において、カラー映像信号に対応した複数の色信号を２つのグループに分割し、一方のグループと他方のグループとでライン読み出し位相を逆相として、撮像素子から色信号の読み出しを行い、補間対象となる画素を通過する各方向に位置する画素群の相関性を、各方向に対して検出し、複数の方向のうち最も相関性の高い方向を特定し、特定した方向の画素群の値を用いて補間対象となる画素の値を生成することを特徴とする。

本発明に係る撮像素子及びインタレース-プログレッシブ変換方法では、一方のグループの色信号と他方のグループの色信号とでライン読み出し位相を逆相とし、補間対象となる画素を通過する各方向に位置する画素群の相関性を、各方向に対して検出し、複数の方向のうち最も相関性の高い方向の画素群の値を用いて補間対象となる画素の値を生成する。

このことにより本発明では、小さい回路規模の演算により、色信号に対してもプログレッシブ相当の帯域をもたせることができる。

以下、本発明が適用された電子式のビデオカメラ（以下、単にビデオカメラという。）について説明する。

ビデオカメラの構成
図１に、本発明が適用されたビデオカメラ１のブロック構成図を示す。

ビデオカメラ１は、レンズユニット２と、撮像素子３と、アナログ処理及びＡＤ変換部４とを備えている。また、ビデオカメラ１は、欠陥補正部５と、カメラ信号処理部６と、ＩＰ変換部７と、ニー補正/ガンマ補正部８と、出力部９とを備えている。

レンズユニット２は、フォーカスレンズ、ズームレンズ及び絞り羽根等並びにこれらレンズ等を駆動する駆動部が設けられている。レンズユニット２は、撮像対象となる被写体像光を受光して撮像素子３の受光面上に結像させる。

撮像素子３は、Ｃ−ＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像素子である。撮像素子３は、受光面にマトリクス状に配置された単位画素を有しており、各単位画素が照射された光を光電変換する。撮像素子３は、マトリクス状に配置された単位画素をスキャンして電気信号を読み出すことにより、撮像信号を出力する。撮像素子３により読み出された撮像信号は、アナログ処理及びＡ/Ｄ変換部４に供給される。

アナログ処理及びＡ/Ｄ変換部４は、撮像素子３から出力された信号に対してクランプや増幅処理等のアナログ処理を行い、Ａ/Ｄ変換を行ってデジタル化する。

欠陥補正部５には、アナログ処理及びＡＤ変換部４によりデジタル化された撮像信号が入力される。欠陥補正部５は、撮像素子３の受光面に配置された画素に欠陥が生じていた場合、その欠陥部分の撮像信号を補正する回路である。欠陥補正部５により欠陥補正処理がされた撮像信号は、カメラ信号処理部６に供給される。

カメラ信号処理部６は、ホワイトバランス処理、収差補正処理、シェーディング処理等の処理等を行う。これらの処理がされた撮像信号は、ＩＰ変換部７に供給される。

ＩＰ変換部７は、インタレースで読み出された撮像信号をプログレッシブの撮像信号に変換する処理（ＩＰ変換処理）等を行う。ＩＰ変換処理がされた撮像信号は、ニー補正/ガンマ補正部８に供給される。

ニー補正/ガンマ補正部８は、撮像信号に対してニー補正及びガンマ補正を行う。ニー補正及びガンマ補正がされた撮像信号は、出力部９に供給される。

出力部９は、入力された撮像信号を、所定の映像フォーマットに対応した信号に変換して外部に出力をする。

逆相駆動
撮像素子３の駆動及び信号読み出し方法について説明をする。

撮像素子３は、カラー映像信号に対応した色信号を出力する。ここでは、赤色信号（Ｒ）、緑色信号（Ｇ）、青色信号（Ｂ）の３つの信号を独立に出力する。

撮像素子３は、受光面にマトリクス状に配置された単位画素が、インタレース（飛び越し走査）方式で転送駆動がされ、インタレースフォーマットに対応した色信号が読み出される。すなわち、撮像素子３は、偶数ラインだけで構成された画面（フィールド）と、奇数ラインだけで構成された画面（フィールド）とが、時間方向に交互に並んだ映像信号を出力する。

さらに、撮像素子３では、色信号を２つのグループに分け、一方のグループ（本例では、Ｒ信号及びＢ信号）と他方のグループ（本例では、Ｇ信号）とで、ライン読み出しの位相が互いに逆相となるように出力制御がされている。

例えば、図２に示すように、Ｒ信号及びＢ信号が奇数ラインが出力されるフィールドであるときに（Ｏｄｄフィールド）、Ｇ信号は偶数ラインが出力される。また、Ｒ信号及びＢ信号が偶数ラインが出力されるフィールドであるときに（Ｅｖｅｎフィールド）、Ｇ信号は奇数ラインが出力される。というように、Ｒ及びＢと、Ｇとで、フィールド反転をして駆動を行う。

このように撮像素子３は、カラー映像信号を構成する複数の色信号のうち、一部の色信号のみをフィールドを反転させた逆相のインタレースの読み出しをしている。このようにすることによって、後段のＩＰ変換処理を行った際に、カラー映像信号の帯域幅を広くすることができる。

ＩＰ変換部における補間方法
ＩＰ変換部７は、図３に示すように、インタレースのＲ，Ｇ，Ｂのそれぞれの色信号の空白ラインの画素を、他のラインの画素から補間して生成し、プログレッシブ（順次走査）画像を生成している。すなわち、ＩＰ変換部７は、Ｏｄｄフィールドならば、空白ラインである偶数ラインの各画素を、奇数ラインの画素から補間して生成している。また、ＩＰ変換部７は、Ｅｖｅｎフィールドならば、空白ラインである奇数ラインの各画素を、偶数ラインの画素から補間して生成している。

ここで、ＩＰ変換部７は、インタレース画像の空白ラインの各画素の値を、以下説明をする「斜め補間アルゴリズム」により算出している。

斜め補間アルゴリズムは、図４に示すように、インタレース画像の空白ライン上に存在する補間対象となっている１つの画素の値を相関性を考慮して算出するアルゴリズムである。

以下、斜め補間アルゴリズムに基づくＩＰ変換部７の動作について、図５のフローチャートを参照して説明をする。なお、以下の説明では、補間対象となる画像Ｘ_ｎ（０）の値を補間して生成する場合の処理を例にとって説明する。また、Ｘ_Ｙ（Ｚ）と表したときは、ライン番号がＹで水平方向位置がＺの画素、又は、その画素の信号レベルを表すものとする。

まず、ステップＳ１１において、ＩＰ変換部７は、補間対象となる画素Ｘ_ｎ（０）の１つ上のラインｎ−１の画素群の値と、１つ下のラインｎ＋１の画素群の値とを入力する。なお、ここでは、上ラインｎ−１及び下ラインｎ＋１の全ての画素の値を読み込むのではなく、斜め補間アルゴリズムの処理に必要となる分の画素だけでよい。本例の場合では、補間対象画素Ｘ_ｎ（０）の水平位置を中心とした７画素でよい。

すなわち、上ラインｎ−１については、Ｘ_ｎ−１（−３），Ｘ_ｎ−１（−２），Ｘ_ｎ−１（−１），Ｘ_ｎ−１（０），Ｘ_ｎ−１（１），Ｘ_ｎ−１（２），Ｘ_ｎ−１（３）を入力する。また、下ラインｎ＋１については、Ｘ_ｎ＋１（−３），Ｘ_ｎ＋１（−２），Ｘ_ｎ＋１（−１），Ｘ_ｎ＋１（０），Ｘ_ｎ＋１（１），Ｘ_ｎ＋１（２），Ｘ_ｎ＋１（３）を入力する。

続いて、ステップＳ１２において、ＩＰ変換部７は、補間対象画素Ｘ_ｎ（０）が占める空間領域を通過し、且つ、上ラインｎ−１の入力画素のいずれかの１つの画素と下ラインｎ＋１の入力画素のいずれかの１つの画素とを結ぶ複数の直線を設定する。さらに、ＩＰ変換部７は、各直線で結ばれた上ラインの画素と下ラインの画素との相関性を算出する。

具体的には、図６及び下表に示すような、方向Ｄ０〜方向Ｄ１０の１１方向の直線を設定する。

Ｄ０：Ｘ_ｎ−１（０）とＸ_ｎ＋１（０）とを結ぶ直線
Ｄ１：Ｘ_ｎ−１（１）とＸ_ｎ＋１（０）とを結ぶ直線
Ｄ２：Ｘ_ｎ−１（−１）とＸ_ｎ＋１（０）とを結ぶ直線
Ｄ３：Ｘ_ｎ−１（０）とＸ_ｎ＋１（−１）とを結ぶ直線
Ｄ４：Ｘ_ｎ−１（０）とＸ_ｎ＋１（１）とを結ぶ直線
Ｄ５：Ｘ_ｎ−１（−１）とＸ_ｎ＋１（１）とを結ぶ直線
Ｄ６：Ｘ_ｎ−１（１）とＸ_ｎ＋１（−１）とを結ぶ直線
Ｄ７：Ｘ_ｎ−１（−２）とＸ_ｎ＋１（２）とを結ぶ直線
Ｄ８：Ｘ_ｎ−１（２）とＸ_ｎ＋１（−２）とを結ぶ直線
Ｄ９：Ｘ_ｎ−１（−３）とＸ_ｎ＋１（３）とを結ぶ直線
Ｄ１０：Ｘ_ｎ−１（３）とＸ_ｎ＋１（−３）とを結ぶ直線

以上の１１方向の直線は、上ラインの７つの画素のうちいずれか一つの画素中心と、下ラインの７つの画素のうちいずれか一つの画素の中心とを結ぶ直線であり、且つ、補間対象画素Ｘ_ｎ（０）が占める空間領域を通過している。

ＩＰ変換部７は、このような１１方向の直線毎に、上ラインｎ−１の画素と下ラインｎ＋１の画素との相関性を算出する。

相関性の算出方法は、直線で結ばれた２つの画素同士で信号レベルの差分を取り、その差分値の絶対値によって算出する。この場合、差分値が小さい方が相関性が高い。なお、相関性の算出は、他にも、差分値に元のレベルを併用する方法、割り算によって求められる画素同士の比を使う方法、複数の方法で求められた値を重み付けして足し合わせた方法などでもよい。

続いて、ステップＳ１３において、ＩＰ変換部７は、算出した１１方向の相関性を、相関性が高い順にソートする。つまり、上記の１１方向（Ｄ０〜Ｄ１０）を、もっとも画素が似通っている方向から、もっとも似通っていない方向までを順序付けて並び替える。

続いて、ステップＳ１４において、ＩＰ変換部７は、ステップＳ１３のソートで並べ替えられた１１方向に基づき、最も上位であった方向、すなわち、最も相関性が高かった方向を特定し、特定した方向の上ラインの画素と下ラインの画素とを平均化した値を求める。

続いて、ステップＳ１５において、ＩＰ変換部７は、上記ステップＳ１４で算出した値を、補間対象画素Ｘ_ｎ（０）の値（補間した画素データ）として出力する。

以上が斜め補間アルゴリズムを適用して補間を行ったＩＰ変換部７の処理である。

以上のように斜め補間アルゴリズムでは、補間対象画素Ｘ_ｎ（０）の１つ上のラインｎ−１の各画素と、補間対象画素Ｘ_ｎ（０）の１つ下のラインｎ＋１の各画素との、当該補間対象画素Ｘ_ｎ（０）を通過する各方向の相関性を検出し、相関性が最も強い方向の２つの画素から補間値を算出するというアルゴリズムである。

ＩＰ変換部７は、以上のような斜め補間アルゴリズムを用いて、Ｒ、Ｇ、Ｂの全ての空白ラインの全ての画素の値（画素データ）を算出する。そして、ＩＰ変換部７は、補間して算出した各空白部分の画素データを、元のインタレース画像の画素データと合成して、プログレッシブ画像を生成する。

ＩＰ変換部７は、以上のように斜め補間アルゴリズムを採用して補間を行うことにより、非常に簡単な構成の回路で、広帯域の色信号を生成することができる。

なお、斜め補間アルゴリズムで相関性を算出する方法は、図６で示した１１方向ではなく、Ｄ１、Ｄ２、Ｄ３、Ｄ４の方向を除いた７方向のみでもよい。また、入力するデータを水平方向の７画素ではなく、それ以上として方向の数を増やし、相関性を算出する方向を増やしても良い。

エッジを考慮した補間
ＩＰ変換部７は、上記の斜め補間アルゴリズムに加え、画像エッジを考慮した補間を行うことによって、さらに高い精度で補間を行うことが可能となる。以下、画像エッジを考慮した補間処理について説明をする。

なお、画像のエッジとは、画像の明るい部分と暗い部分境目や画像の色の境目等の、信号レベルが急激に変化している部分のことである。また、エッジの方向とは、その境目部分の方向のことを意味する。

まず、画像エッジ部分を、上述した斜め補間アルゴリズムのみで補間処理を行った場合、どのようになるかについて簡単に説明をする。

図７（Ａ）に示すように、中心の画素Ｘ上にエッジが発生しているとともに、そのエッジの方向が直線Ｄ６の方向に発生しているとする。

この図７（Ａ）の画像を、インタレースの逆相の読み出しをすると、Ｒ画像は図７（Ｂ）のようになり、Ｇ画像は図７（Ｃ）のようになり、Ｂ画像は図７（Ｄ）のようになる。なお、図面内に記載している数値は、その画素の信号レベルである。

このようなＲ，Ｇ，Ｂの画像の中心画素Ｘが含まれているラインを、斜め補間アルゴリズムを用いたＩＰ変換処理を行うと、図７（Ｅ）、図７（Ｆ）、図７（Ｇ）に示すようになる。

すなわち、図７（Ｂ）のＲ画像の空白ラインを上述の斜め補間アルゴリズムで補間をすると、図７Ｅ）に示すようになる。ここで、中心画素Ｘに着目すると、直線Ｄ５の方向に補間がされていることがわかる。図７（Ｄ）のＧ画像は、図７（Ｆ）に示すように、そのままの値である。図７（Ｄ）のＢ画像の空白ラインを上述の斜め補間アルゴリズムで補間をすると、図７Ｇ）に示すようになる。ここで、中心画素Ｘに着目すると、直線Ｄ５の方向に補間がされていることがわかる。

そして、このように補間がされたプログレッシブ画像を表示すると、図７（Ｈ）に示すように、着目画素Ｘの色が異なってしまう。

このようにエッジが発生している場合、本来的には、エッジの方向に相関性が高いはずである。しかしながら、上述の斜め補間アルゴリズムだけでは、エッジの方向までは推定できないので、エッジの方向と異なる方向に補間を行ってしまう場合ある。

以下、このようなエッジの発生も考慮して、斜め補間アルゴリズムを適用する場合の処理について説明をする。

図８に、エッジの発生も考慮した補間処理方法を示したフローチャートである。

まず、ステップＳ２１において、ＩＰ変換部７は、補間対象となる画素Ｘ_ｎ（０）の１つ上のラインｎ−１の画素群の値と、１つ下のラインｎ＋１の画素群の値とを入力する。なお、このステップＳ２１の処理は、上記ステップＳ１１と同一である。

続いて、ステップＳ２２において、ＩＰ変換部７は、補間対象画素Ｘ_ｎ（０）が占める領域を空間的に通過し、且つ、上ラインｎ−１の入力画素のいずれかの１つの画素と下ラインｎ＋１の入力画素のいずれかの１つの画素とを結ぶ複数の直線を設定し、さらに、各直線で結ばれた上ラインの画素と下ラインの画素との相関性を算出する。このステップＳ２２の処理は、上記ステップＳ１２と同一である。

続いて、ステップＳ２３において、ＩＰ変換部７は、算出した１１方向の相関性を、相関性が高い順にソートする。このステップＳ２３の処理は、上記ステップＳ１３と同一である。

続いて、ステップＳ２４において、ＩＰ変換部７は、ステップＳ２３のソートで並べ替えられた１１方向のなかから、最も上位であった方向を選択する。

続いて、ステップＳ２５において、ＩＰ変換部７は、現在選択している方向が、ステップＳ２３のソートで並べ替えられたうちの最終候補であるか否か（つまり、最も相関性の低い方向であるか否か）を判断する。最終候補であれば、ステップＳ３１に進み、最終候補でなければステップＳ２６に進む。

続いて、ステップＳ２６において、ＩＰ変換部７は、補間対象となる画素Ｘ_ｎ（０）と同位置の他の色の画素が、エッジであるか否かを判断する。すなわち、画像の明るさの境界又は色の変化の境界部分に、画素Ｘ_ｎ（０）が位置しているか否かを判断する。例えば、Ｒ又はＢの画素について補間処理を行っているのであれば、補間対象画素Ｘ_ｎ（０）と同位置にあるＧの画素がエッジであるか否かを判断し、Ｇの画素について補間処理を行っているのであれば、補間対象画素Ｘ_ｎ（０）と同位置にあるＲ又はＢの画素がエッジであるか否かを判断する。

なお、ある画素がエッジであるかどうかの検出方法としては、例えば、水平方向に隣り合う画素同士の差分を求め、その差分が一定の閾値以上であるか否かを判断する方法、水平方向に高域通過フィルタをかけてその値が閾値以上であるか否かを判断する方法、或いはこれらを組み合わせて行うものなどがある。

他の色の同位置の画素がエッジでない場合にはステップＳ２７に進み、他の色の同位置の画素がエッジである場合にはステップＳ２８に進む。

続いて、ステップＳ２７において、ＩＰ変換部７は、現在選択している方向の直線上に位置している上ラインｎ−１の画素及び下ラインｎ＋１の画素が、エッジであるか否かを判断する。上下ラインの画素がともにエッジでない場合にはステップＳ３０に進む。上下ラインの画素のいずれか一方でもエッジである場合には、ステップＳ２９に進む。

また、ステップＳ２８において、ＩＰ変換部７は、選択している方向の直線上に位置している上ラインｎ−１の画素及び下ラインｎ＋１の画素が、エッジであるか否かを判断する。上下ラインの画素がともにエッジである場合にはステップＳ３０に進む。上下ラインの画素のいずれか一方でもエッジでない場合には、ステップＳ２９に進む。

続いて、ステップＳ２９において、ＩＰ変換部７は、ステップＳ２３のソートで並べ替えられた１１方向のなかから、現在選択されている方向の次の方向を選択する。ステップＳ２９の処理を終えると、ＩＰ変換部７は、再度ステップＳ２５に進み、ステップＳ２５からステップＳ２９までのループ処理を、ループを抜けるまで繰り返し行う。

続いて、ステップＳ３０において、ＩＰ変換部７は、現在選択されている方向の直線上の上ラインの画素と下ラインの画素の値の平均値を算出する。

以上のステップＳ３０までの処理を行うことによって、ＩＰ変換部７では、補間対象画素Ｘ_ｎ（０）と同位置の他の色の画素がエッジでない場合には、上下ラインの画素にエッジが含まれていない方向のうちの最も相関性の高い方向を特定し、その特定した方向の画素を用いて補間を行うこととなる。一方、補間対象画素Ｘ_ｎ（０）と同位置の他の色の画素がエッジである場合には、上下ラインの画素にエッジが含まれている方向のうちの最も相関性の高い方向を特定し、その特定した方向の画素を用いて補間を行うこととなる。

つまり、補間対象画素Ｘ_ｎ（０）がエッジであれば上下ラインのエッジの画素により補間を行い、補間対象画素Ｘ_ｎ（０）がエッジでなければ上下ラインのエッジではない画素により補間を行うようにしている。

また、ステップＳ３１において、ＩＰ変換部７は、ステップＳ２３のソートで並べ替えられた１１方向に基づき、最も上位であった方向、すなわち、最も相関性が高かった方向を特定し、特定した方向の上ラインの画素と下ラインの画素とを平均化した値を求める。

すなわち、ＩＰ変換部７は、補間対象画素Ｘ_ｎ（０）がエッジであったが上下ラインの画素にエッジがない場合、又は、補間対象画素Ｘ_ｎ（０）がエッジでないが上下ラインの画素が全てエッジである場合には、あきらめて最初に戻り、１１方向のうちの最も相関性の高い方向の画素により補間を行うようにしている。

続いて、ステップＳ３２において、ＩＰ変換部７は、ステップＳ３０又はＳ３１で算出した値を、補間対象画素Ｘ_ｎ（０）の値（補間した画素データ）として出力する。

以上が、エッジの発生も考慮した補間処理を行ったＩＰ変換部７の処理である。このようにＩＰ変換部７では、上記の斜め補間アルゴリズムに加え、画像エッジを考慮した補間を行うことによって、さらに高い精度で補間を行うことが可能となる。

なお、以上の判断は、対応する画素がエッジであるか否かを判断して処理を行うものであったが、エッジにも色々なパターンがある。そのため、ステップＳ２８の判断では、上下ラインの画素がエッジであり、且つ、そのエッジのパターンが、補間対象画素と同一位置にある他の色のパターンと同一であるか否かを判断するようにしてもよい。

例えば、エッジのパターンとしては、図９のＡ〜Ｈのようなパターンがある。図９のＩは、エッジではないパターンである。なお、図９の各図は、横軸が水平方向の位置を示しており、縦軸が対応する水平位置の画素の信号レベルを示しており、○で示した部分がエッジを示している。ＩＰ変換部７では、このようなパターンを予め特定しておき、同じパターンか否かを判断するようにする。

通常のフィルタ処理も併用した補間
ＩＰ変換部７は、上記の斜め補間アルゴリズム及び画像エッジの考慮に加え、さらに、通常のフィルタ処理を併用することによって、誤判別を無くしたより高い精度の補間を行うことが可能となる。以下、通常のフィルタ処理も併用した処理について説明をする。

ある画素の値を、斜め補間アルゴリズムで求めた場合の補間値をX_R、X_G、X_Bとし、フィルタリングによって求めた場合の値をPS_R、PS_G、PS_Bとする。

このとき、この画素における近似的な色度、及び彩度の差分はそれぞれ次の式（１）のようになる。

斜め補間アルゴリズムの処理結果が誤った場合の画素値は、一般にグリーン或いはマゼンタとして出現する可能性が非常に高い。そのため、式（１）で求められた色度及び彩度の差分値（hue_diff,sat_diff）がある閾値を超えるような場合は、相関値検出した値が誤っている可能性が非常に高いと考えられる。そこで、斜め補間アルゴリズムでの相関方向を決定する前に色度及び彩度の差分値（hue_diff,sat_diff）の値の比較処理を加えることで、より確からしい相関方向の検出が可能になる。

同様に、この比較処理を最終的な処理結果にも適用することで、画素ごとでより尤もらしいプログレッシブ相当の画素値を得ることが可能になる。

以上の手順を加えた処理手順を、図１０のフローチャートに示す。

まず、ステップＳ４１において、ＩＰ変換部７では、補間対象となる画素Ｘ_ｎ（０）に対するフィルタリング処理を、並列的に行っておく。

また、ＩＰ変換部７は、ステップＳ２１からステップＳ３０までは同様の処理を行う。

ステップＳ３０に続くステップＳ４２において、式（１）の色度及び彩度の差分値（hue_diff,sat_diff）が、閾値より小さいか否かを判断する。閾値より小さければ、ステップＳ４３に進み、閾値以上であれば、誤判別をしていると判断してステップＳ２９に進みループ処理を繰り返す。

ＩＰ変換部７は、このステップＳ４２においてループを抜けた場合、又は、ステップＳ３１の処理を行った後に、ステップＳ４３に進む。

続いて、ステップＳ４３において、ＩＰ変換部７は、再度、式（１）の色度及び彩度の差分値（hue_diff,sat_diff）が、閾値より小さいか否かを判断する。閾値より小さければ、ステップＳ４５に進み、閾値以上であれば、誤判別をしていると判断してステップＳ４４に進む。

続いて、ステップＳ４４において、ＩＰ変換部７は、ステップＳ４１のフィルタリング処理により求めらた値を補間対象画素Ｘ_ｎ（０）の値として置き換える。

続いて、ステップＳ４５において、ＩＰ変換部７は、補間対象画素Ｘ_ｎ（０）の値（補間した画素データ）を出力する。

以上が、通常のフィルタ処理も併用した補間処理を行ったＩＰ変換部７の処理である。このようにＩＰ変換部７では、上記の斜め補間アルゴリズムに加え通常のフィルタ処理も併用することによって、斜め補間アルゴリズムによる誤判別による影響を最小限に抑えることが可能となる。

なお、以上の処理では、色度、彩度の差分の閾値比較処理（ステップＳ４２）で閾値以上になった場合は他候補の検討に処理を戻すという最も簡単な手順になっているが、例えば、重み付け係数を導入してやり、閾値以上になった場合は優先度が若干下がる程度にしておくことで、フィルタリング結果と大きく異なるものでも、候補として残すようにしてもよい。

同様に、最終出力での閾値比較処理（ステップＳ４３）では、閾値以上となった場合は単純にフィルタリング結果で置換するという方法を取っているが、例えばフィルタリング結果との混合比を値に応じて変更してやり、最終出力は斜め補間アルゴリズムで求めた画素値とフィルタリング結果との混合するようにしてもよい。

ところで、以上提案した斜め補間アルゴリズムによる補間では、周辺とのレベル差が小さい極小点などは逆に消えてしまう可能性が高い。これは、相関性を利用した検出の特性上避けることが困難である。一方、フィルタリング処理ではフィルタの特性をできるだけフラットに保つことで、このような現象は回避される。

そこで、さらに、変化の少ないいわゆる平面的な部分についてはフィルタリング結果に重みをおき、逆にエッジなどが検出された変化の激しい部分では相関検出の結果に重みをおき、両者の特性を補完しあって最終的な出力を生成するようにしてもよい。

以上の処理を式で表すと、下式（２）のようになる。

式（２）において、X_dは斜め補間アルゴリズムで求められたデータであり、P_dはフィルタリングで得られたデータであり、Weは画素の変化量に応じて増減する重み係数であり０以上１以下の値を取る。

Weの変更方法としては、例えばエッジの検出の有無で０と１とを切り替える方法、変化量に応じて適応的に変化させる方法、更に周辺の画素の平均値により、レベルに応じて適応的に変化させる方法などがある。

本発明が適用されたビデオカメラのブロック図である。 逆相での読み出しを説明するための図である。 ＩＰ変換部によるＩＰ変換処理を示した図である。 斜め補間アルゴリズムに用いる入力画素を示した図である。 ＩＰ変換部の処理内容を示したフローチャートである。 斜め補間アルゴリズムで設定された相関性を検出する１１の方向を示した図である。 補間対象画素がエッジである場合の補間過程を示した図である。 エッジを考慮した場合のＩＰ変換部の処理内容を示したフローチャートである。 エッジのパターンを示した図である。 フィルタ処理を併用したＩＰ変換部の処理内容を示したフローチャートである。

符号の説明

１ ビデオカメラ、７ ＩＰ変換部

Claims (6)

1. 撮像素子からインタレース方式で画素読み出しを行い、カラー映像信号に対応した複数の色信号を生成する撮像手段と、
   インタレース方式の画面内の空白ラインの各画素を、その空白ラインの上に位置するラインの画素及び下に位置するラインの画素を参照して補間をし、プログレッシブ方式の色信号を生成する変換手段とを備え、
   上記撮像手段は、カラー映像信号に対応した複数の色信号を２つのグループに分割し、一方のグループと他方のグループとでライン読み出し位相を逆相とし、
   上記変換手段は、
   補間対象となる画素を通過する各方向に位置する画素群の相関性を、各方向に対して検出し、
   複数の方向のうち最も相関性の高い方向を特定し、特定した方向の画素群の値を用いて補間対象となる画素の値を生成すること
   を特徴とする撮像装置。
2. 上記変換手段は、
   補間対象画素と同位置の他の色の画素がエッジであるか否かを判断し、
   補間対象画素と同位置の他の色の画素がエッジでない場合には、上下ラインの画素にエッジが含まれていない方向のうちの最も相関性の高い方向を特定し、又は、全ての方向でエッジが含まれていれば最も相関性の高い方向を特定し、
   補間対象画素と同位置の他の色の画素がエッジである場合には、上下ラインの画素にエッジが含まれている方向のうちの最も相関性の高い方向を特定し、又は、全ての方向でエッジが含まれていなければ最も相関性の高い方向を特定すること
   を特徴とする請求項１記載の撮像装置。
3. 上記変換手段は、インタレース方式の画面内の空白ラインの各画素の値を、その空白ラインの上に位置するラインの画素及び下に位置するラインの画素に対して所定のフィルタイリング処理を行うことによって生成するフィルタ演算部を有し、
   上記変換手段は、
   上記フィルタ演算部により算出した画素の値の色度及び彩度と、補間により生成した画素の値の色度及び彩度との差を算出し、
   上記差が所定の閾値よりも大きければ、フィルタ演算部により算出された値に基づいて補間対象画素の値を出力すること
   を特徴とする請求項２記載の撮像装置。
4. 撮像素子からインタレース方式で画素読み出しを行い、カラー映像信号に対応した複数の色信号を生成し、インタレース方式の画面内の空白ラインの各画素をその空白ラインの上に位置するラインの画素及び下に位置するラインの画素を参照して補間をしてプログレッシブ方式の色信号を生成する撮像装置におけるインターレース-プログレッシブ変換方法において、
   カラー映像信号に対応した複数の色信号を２つのグループに分割し、一方のグループと他方のグループとでライン読み出し位相を逆相として、撮像素子から色信号の読み出しを行い、
   補間対象となる画素を通過する各方向に位置する画素群の相関性を、各方向に対して検出し、
   複数の方向のうち最も相関性の高い方向を特定し、特定した方向の画素群の値を用いて補間対象となる画素の値を生成すること
   を特徴とするインターレース-プログレッシブ変換方法。
5. 補間対象画素と同位置の他の色の画素がエッジであるか否かを判断し、
   補間対象画素と同位置の他の色の画素がエッジでない場合には、上下ラインの画素にエッジが含まれていない方向のうちの最も相関性の高い方向を特定し、又は、全ての方向でエッジが含まれていれば最も相関性の高い方向を特定し、
   補間対象画素と同位置の他の色の画素がエッジである場合には、上下ラインの画素にエッジが含まれている方向のうちの最も相関性の高い方向を特定し、又は、全ての方向でエッジが含まれていなければ最も相関性の高い方向を特定すること
   を特徴とする請求項４記載のインターレース-プログレッシブ変換方法。
6. インタレース方式の画面内の空白ラインの各画素の値を、その空白ラインの上に位置するラインの画素及び下に位置するラインの画素に対して所定のフィルタイリング処理を行うことによって生成し、
   フィルタ演算により算出した画素の値の色度及び彩度と、補間により生成した画素の値の色度及び彩度との差を算出し、
   上記差が所定の閾値よりも大きければ、フィルタ演算部により算出された値に基づいて補間対象画素の値を出力すること
   を特徴とする請求項２記載のインターレース-プログレッシブ変換方法。

Images