JP2002534866A - 画像感知装置 - Google Patents

Abstract

(57)【要約】 本発明はビデオ画像感知装置のフィルタ構造を開示している。このフィルタ構造は赤色カラー・フィルタおよび青色カラー・フィルタからなり、これらを非カラー又は孔あき窓センサ、つまり灰色センサとともに感知ブロックの中に配置する。

Description

【発明の詳細な説明】

【０００１】 （技術分野） 本発明はビデオ画像センサに係り、特にそのようなセンサの色および光感知に
関する。

【０００２】 （背景技術） 赤色、緑色、および青色（ＲＧＢ）は個々の成分を混色することによって所望
の色を作り出す加法的な３原色であり、その構成はイメージング全般にわたって
使用される基本色彩空間模型により示される。特に、放送、ビデオおよび画像の
規格ではＲＧＢ信号を利用して、例えばＹＵＶ、ＹＩＵあるいはＹＣｂＣｒ色空
間などの輝度および色差ビデオ信号を取り出す。色空間は色の組の数学的表現で
ある。ＹＵＶにおいて、Ｙはビデオ信号の中の黒白情報（すなわち輝度）を表し
、ＵおよびＶはビデオ信号の中のカラー情報（すなわちクロミナンス）を表す。
ＲＧＢおよびＹＵＶ間の変換のための基底方程式は以下のようになる。

【０００３】 Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ Ｕ＝−０．１４７Ｒ−０．２８９Ｇ＋０．４３６Ｂ Ｕ＝０．４９２（Ｂ−Ｙ） Ｖ＝０．６１５Ｒ−０．５１５Ｇ−０．１００Ｂ Ｖ＝０．８７７（Ｒ−Ｙ） ＹＩＱ色空間のＩは同相を、Ｑは直角位相を表し、これはカラー情報を伝える
のに使用する変調方法である。ＹＩＱはＹＵＶから得られる。ＹＣｂＣｒはＹＵ
Ｖ色空間の拡大および補正バージョンである。 現在、ビデオカメラなどのカラー・ビデオ・感知装置では、白黒ピクセル・セ
ンサを採用し、センサ上にカラー・フィルタを配置することによってカラー情報
を読出す。このセンサは通常、ＣＣＤ又はＣＭＯＳセンサである。標準的な配列
ではピクセルを２×２のブロックにグループ分けし、一方の斜めに対向するピク
セルが緑色光に反応し、もう一方の斜めに対向するピクセルが青色光および赤色
光に反応するように配列する。これらはＲＧＢフィルタとして知られている。緑
色ピクセルが２つある理由は、より多くの画像情報が緑色光の中に存在するから
である。

【０００４】 このようなＲＧＢフィルタ配列を使用すると、およそ５０：１の光減衰が発生
することが問題である。ＲＧＢフィルタにおけるピクセルのシェアは、青色およ
び赤色フィルタが２５％ずつで、緑色フィルタが５０％である。結果としてセン
サはカラー分解能を大きく失ってしまう。センサ出力の後処理プロセスにおいて
、元の分解能を回復しようとする試みがなされているが、一般的な手法は複雑な
専用アルゴリズムを用いてセンサ出力情報を補間する方法である。これは本質的
には、所与のピクセル位置におけるカラー応答がその所与のピクセル周囲のピク
セルからのセンサ出力によってどうなるかを補間法によって推定することを意味
する。しかし、補間法は近似計算なのでその有効性はアルゴリズムの複雑さに依
存して大きく変化してしまう。 また、ＲＧＢフィルタの使用により感度が減少し、さらにセンサの空間分解能
も減衰してしまう。なぜならＲＧＢカラー・フィルタリングではおよそ４つの要
因によって分解能が減衰するからである。

【０００５】 ＲＧＢフィルタによる感度減少の問題を解決するには、センサをビデオに捕捉
した場面にさらす時間を長くすることである。しかし、これによる連鎖反応でカ
メラが振動の影響をより受けやすくなり、また被写体の動きによるぼけもより発
生しやすくなる。これはＣＣＤセンサよりも非常に感度の低いＣＭＯＳセンサに
は特に際立った問題である。また、センサ・ノイズが加わり、長い露光時間によ
ってノイズ・レベルが高くなるので、画像信号が無力化してしまう。

【０００６】 前述したように、一般的には画像の分解能は補間法によって決定される。緑色
カラー・バンドにはより多くのピクセルがあり、また緑色光はより多くの画像情
報を含んでいるので、これを使用して赤色および青色センサの有効分解能を増大
させる。この手法に関する主問題は、使用するアルゴリズムの質とその複雑さと
に大きく依存するということである。赤色および青色情報の質を緑色情報を使用
して改善できることもある。

【０００７】 （発明の開示） 本発明は、人間の目は輝度に対するほど色に対しては敏感ではないという見解
に基づいている。この見解の観点から、ピクセル・レベルで個々のカラー・ピク
セルにマッピングする赤色、緑色および青色フィルタを備える代わりに、そのよ
うなピクセルと関連づけられたカラー・フィルタを持たない、いわゆる‘灰色’
フィルタで置換することが提案される。したがって、本発明は画像センサ・アレ
イとその画像センサと対応付けて配置されたフィルタ構造とを有する画像感知装
置に属し、フィルタ構造はフィルタ群のブロックからなり、各フィルタ群は、光
がカラー・フィルタリングされて対応する画像センサへと通過する１つか又はそ
れ以上の領域と、光がカラー・フィルタリングされずに対応する画像センサへと
通過する１つか又はそれ以上の領域との組み合わせを有する。

【０００８】 本発明の第１の長所は、フィルタ内に入射光がカラー・フィルタリングされず
に通過できるいくつかの領域があるために、光の減衰を大いに減少し、その結果
周知のＲＧＢフィルタを使用する画像感知装置よりもデバイスの感度を良好にで
きることである。 本発明の別の長所は、画像圧縮技術とより適合性があるため画像圧縮により適
していることである。これは、ＭＰＥＧやＪＰＥＧなどの画像圧縮システムが本
発明によるセンサからの出力と類似した輝度およびクロミナンス条件を持つから
である。特に、このような圧縮規格はクロミナンスを減少させるが、同じレベル
の輝度を維持する。本発明による画像センサの灰色分解能およびカラー分解能は
ＭＰＥＧおよびＪＰＥＧ圧縮規格のそれらと一致するように設計されているので
、センサからの信号出力はＪＰＥＧおよびＭＰＥＧ圧縮用に調整する最小量の付
加信号しか必要としない。

【０００９】 従来技術では、センサはベイヤー型であり、ベイヤー型はＲＧＢへの変換中に
画像異常を引き起こしてしまう。ピクセル・レベルでは、個々のピクセルはほん
の少ししか見えないので、これらの異常はあまり重要ではないが、画像が拡大さ
れると、これらの異常が拡大され、複数のピクセルに拡がり、したがってより明
白になってしまう。 本発明による画像センサの形式はＤＣＴ（離散余弦変換）基準の圧縮技術に基
づいているので、拡大時により大きくなる。したがって、本発明によって、ピク
セル数がより少ないセンサを使用して、ピクセル数がより大きいベイヤー・セン
サと同等の質を作り出すように拡大できる。

【００１０】 さらに別の長所は、カラー・フィルタのないフィルタ領域による輝度の直接測
定があるので、本発明の灰色ピクセルは画像の全分解能を提供でき、したがって
画質が著しく向上することである。 また、画像センサによるＹＵＶ計算を周知の従来技術によるシステムより大幅
に簡便化できる。 本発明の理解を助けるために、以下では添付図面を参照しながら例として１つ
の実施形態を説明する。

【００１１】 （発明の実施の形態） まず図１について説明すると、そこには本発明の第１の実施形態による反復パ
ターンからなる単位ブロック（１０）の、フィルタ構造を形成するフィルタ群が
示されている。このフィルタ構造をビデオ・イメージング・デバイスのピクセル
・センサ・アレイに対応するようにその上に配置する。ブロック（１０）は６つ
のフィルタ領域からなる。そのうちの４つは、個々のピクセルの上に置くカラー
・フィルタがない領域であり、これらをＹで表す（説明上これらを灰色センサと
呼ぶことにする）。青色フィルタを示す１つの領域をＢで表し、赤色フィルタを
示すもう１つの領域をＲで表す。便宜上Ｙ領域を個々のピクセル・センサと整列
するフィルタ構造内の孔あき窓によって形成する。本実施形態では、Ｙ領域はほ
ぼ正方形であるが、長方形や他の形でもよく、ほぼ正方形になるように互いを離
して配列する。青色フィルタおよび赤色フィルタを４つの正方形灰色センサの中
央に配置する。これらは便宜上三角形となっているが、他の形でもよい。

【００１２】 本発明のフィルタ構造を使用してビデオ画像を捕捉するプロセスは、まず青色
センサおよび赤色センサに対する露光を開始することから始まる。前述のように
、クロミナンス・フィルタは輝度フィルタよりも光に対して感度が低いので、輝
度フィルタよりも長い時間露光する必要がある。次に、センサ信号をサンプリン
グによって４つの灰色センサから取り出す。輝度反応を読出している間も、露光
時間を延長してクロミナンス・フィルタを露光する。次に、赤色ピクセルおよび
青色ピクセルをサンプリングする。この一連のステップは各ブロックに対して繰
り返されるが、これにはピクセル・センサ列の読出し、リセット、およびルーピ
ングが含まれる。一般的には、再生速度は毎秒３０フレームであり、連続的であ
る。

【００１３】 周知のＲＧＢ配列では緑色フィルタが２×２ブロックのフィルタ空間の５０％
を占めるので、本実施形態におけるＹ領域もブロックのフィルタ空間の半分を占
めることが提案され、また、各ブロックには４つのＹ領域のグループがあるので
、これを各ブロックの全フィルタ空間の割合４／８と表現できる。これらのＹ領
域にはカラー・フィルタがないので、灰色センサは５０倍感度が良く、したがっ
てブロックの全感度は従来技術によるＲＧＢフィルタの感度の４／８×５０倍す
なわち２５倍に増大する。ＲＧＢフィルタと全面積が同じフィルタ・ブロックを
実現するためには、２つの緑色フィルタの代わりに４つのＹ領域があるので、そ
れぞれのＹ領域の大きさを緑色フィルタの５０％まで小さくする。

【００１４】 既述したように、青色ピクセルおよび赤色ピクセルは４倍の露光時間を有し、
このことにより４倍の大きさの振幅が生じる。したがって、有効感度が４倍に増
大するので、周知の赤色フィルタおよび青色フィルタよりも小さいフィルタ・サ
イズを実現できる。 本実施形態では、相対面積は４つのＹ領域のそれぞれが全面積の１／８づつで
あり、１つの青色ピクセルが全面積の２／８であり、１つの赤色ピクセルが全面
積の２／８である。ＹＵＶを以下の１組の等式で定義する。

【００１５】 ピクセル１の輝度 Ｙ１＝灰色１−２Ｒ−３Ｂ ピクセル２の輝度 Ｙ２＝灰色２−２Ｒ−３Ｂ ピクセル３の輝度 Ｙ３＝灰色３−２Ｒ−３Ｂ ピクセル４の輝度 Ｙ４＝灰色４−２Ｒ−３Ｂ 青色クロミナンス Ｕ＝３Ｂ−（灰色１＋灰色２＋灰色３＋灰色４）／８ 赤色クロミナンス Ｖ＝６Ｒ−０．９×（灰色１＋灰色２＋灰色３＋灰色４）
／４ 赤色ピクセルおよび青色ピクセルに対する信号振幅の減衰は、Ａ／Ｄを０から
４２とするならば、フルスケール１２ビット（２５６）の１／６で有意ではない
。これは画像圧縮アルゴリズムが量子化の間にこの数値以下に分解能を減衰させ
ると仮定した場合に特にこうなる。しかし、これを補正するためには赤色ピクセ
ルおよび青色ピクセルのサイズを大きくしなければならず、例えばフィルタの面
積を２倍に大きくするとＡ／Ｄレンジが８４まで増大し、感度に及ぼす影響が標
準のＲＧＢフィルタ・センサの１６倍になる。 以上の推定値は充填比を無視したモデル値であり、充填比はプロセッシング用
センサ・チップ内の関連するシリコンの量に関係し、この方法の結果、効果的に
減少するものである。もし灰色ピクセルが黒／白ピクセルと同じ大きさならば、
充填比は後者の２５％であり、各センサ・ブロックに対する単位面積が以下の表
でおおよそ示される。

【００１６】

【表１】

【００１７】 したがって２５倍の感度増大は１５％／２５％×２５＝１５：１の感度増大に
なるだろう。シリコンの予想増加量は２６／１６倍、つまり６２％大きくなるだ
ろう。しかし、センサ・アレイは総シリコン面積の約５０％でしかないが、これ
は３１％の面積増加と同等である。

【００１８】 図２は別の実施形態を示していて、ブロック（２０）の赤色フィルタおよび青
色フィルタをストリップ状のバンドとして配置し、２対のＹ領域をそのバンドの
上と下に分離して配置する。このようなフィルタ構造の製造ははるかに簡単であ
ることが想像できる。というのは、ピクセル・センサに対してカラー・フィルタ
を厳密に位置合わせする必要がないので、赤色バンドおよび青色バンドの形成が
容易になるからである。本実施形態の動作方法は図１の実施形態と同様であるが
、フィルタ構造が異なるためにフィルタ・サイズを特定する計算および感度計算
が異なる。このような計算は当業者であれば既述の等式に基づいて容易に導き出
せる。

【００１９】 本発明の第３の実施形態を図３に示す。本実施形態では、緑色ストリップ・フ
ィルタ（３４）および赤色ストリップ・フィルタ（３２）を、既述の実施形態と
同様にほぼ正方形に配置したＹ領域（および灰色ピクセル）を長手方向に横切る
ように配置する。本実施形態は、各ブロックについて４つの灰色センサを中央に
配置した赤色および青色カラー・フィルタの周囲に正方形に配置する点において
図１又は２のいずれかの実施形態と同様であるが、さらにＹ領域を横切るように
緑色および赤色ストリップ・フィルタを配置する。本実施形態の灰色センサは輝
度を直接測定するが、緑色および赤色ストリップにより赤色および青色に補正さ
れるので、図１および２の実施形態では必要とされた計算なしに輝度の測定がで
きる。換言すれば、緑色および赤色ストリップは中央にある赤色および青色フィ
ルタの影響を補正し、よってＹの直接測定を可能にする。

【００２０】 本発明を本発明の本質的特性から逸脱することなく他の形式で具現化すること
は可能である。例えば、類似の結果を与えるさまざまなカラー／非カラー領域か
らなる異なる構成が考えられる。したがって、本発明の範囲を示す以上の詳細な
説明よりもむしろ添付の請求項および概略的な説明を参照すべきである。 さらに、本明細書で開示したおよび／または図面に示した特徴のそれぞれを、
他の開示されたおよび／または図解された特徴と関係なく本発明に組み入れるこ
とは可能である。この点で、本発明はこれに限定されるものではなく、本明細書
で開示したすべての新規な特徴または特徴の組み合わせも本発明の範疇に含むも
のである。 参照のために添付された要約書も本明細書に含まれる。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態を示す概略図である。

【図２】 本発明の第２の実施形態を示す概略図である。

【図３】 本発明の第３の実施形態を示す概略図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｒ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ， ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，Ｓ Ｋ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像センサ・アレイと前記画像センサと対応付けて配置す
   るフィルタ構造とを有する画像感知装置であって、 前記フィルタ構造はフィルタ群を有するブロックからなり、前記各フィルタ群
   は、光がカラー・フィルタリングされて対応する前記画像センサへと通過する１
   つか又はそれ以上の領域と、光がカラー・フィルタリングされずに対応する前記
   画像センサへと通過する１つか又はそれ以上の領域との組み合わせを有すること
   を特徴とする画像感知装置
2. 【請求項２】 請求項１に記載の画像感知装置において、 光がカラー・フィルタリングされて対応する前記画像センサへと通過する前記
   １つか又はそれ以上の領域が２つのカラー・フィルタを有することを特徴とする
   画像感知装置。
3. 【請求項３】 請求項２に記載の画像感知装置において、 前記２つのカラー・フィルタの一方は赤色フィルタであり、もう一方は青色フ
   ィルタであることを特徴とする画像感知装置。
4. 【請求項４】 請求項１乃至３の何れかに記載の画像感知装置において、 光がカラー・フィルタリングされずに対応する前記画像センサへと通過する前
   記１つか又はそれ以上の領域が、フィルタのない４つの領域からなることを特徴
   とする画像感知装置。
5. 【請求項５】 請求項１乃至４の何れかに記載の画像感知装置において、 光がカラー・フィルタリングされずに対応する前記画像センサへと通過する前
   記１つか又はそれ以上の領域が、４つの非カラー・フィルタを有することを特徴
   とする画像感知装置。
6. 【請求項６】 請求項１乃至５の何れかに記載の画像感知装置において、 前記フィルタ構造における前記フィルタ群からなる各ブロック内の前記領域の
   配列が、前記個々の領域のストリップライン配列からなることを特徴とする画像
   感知装置。
7. 【請求項７】 請求項１乃至６の何れかに記載の画像感知装置において、 前記画像センサがＣＭＯＳセンサであることを特徴とする画像感知装置。
8. 【請求項８】 請求項１乃至７の何れかに記載の画像感知装置において、 光がカラー・フィルタリングされずに対応する前記画像センサへと通過する前
   記１つか又はそれ以上の領域が、少なくとも前記領域の一部と重なる１つか又は
   それ以上のカラー・フィルタを有することを特徴とする画像感知装置。
9. 【請求項９】 請求項８に記載の画像感知装置において、 光がカラー・フィルタリングされずに通過する前記１つか又はそれ以上の領域
   上に配置した前記１つか又はそれ以上のカラー・フィルタがカラー・フィルタ・
   ストリップからなることを特徴とする画像感知装置。
10. 【請求項１０】 請求項１乃至９の何れかに記載の画像感知装置において、 前記カラー・フィルタリング領域を前記フィルタ群の中央に配置し、前記非カ
    ラー・フィルタリング領域を中央に配置した前記カラー・フィルタの周囲にほぼ
    正方形となるように配置することを特徴とする画像感知装置。