JP2005278038A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2005278038A JP2005278038A JP2004091510A JP2004091510A JP2005278038A JP 2005278038 A JP2005278038 A JP 2005278038A JP 2004091510 A JP2004091510 A JP 2004091510A JP 2004091510 A JP2004091510 A JP 2004091510A JP 2005278038 A JP2005278038 A JP 2005278038A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- signal
- color filter
- pixel array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 ID認識用センサにおいて、異なる波長の光を発する光源や物体を識別する。
【解決手段】 各画素に所定の配列によるカラーフィルタを配置した画素アレイ部と、この画素アレイ部から読み出された画素信号を演算処理する演算制御部とを有するCMOSイメージセンサにおいて、画素アレイ部からの画素信号の読み出し時に、特定の色透過性を持つカラーフィルタの画素を選択的に読み出し、その信号強度を判定する色判定手段と、画素アレイ部からの画素信号に含まれるコード化情報を解読するコード解読手段と、色判定手段による色判定結果とコード解読手段による解読結果に基づいて被写体を認識する認識手段とを設ける。
【選択図】 図1
【解決手段】 各画素に所定の配列によるカラーフィルタを配置した画素アレイ部と、この画素アレイ部から読み出された画素信号を演算処理する演算制御部とを有するCMOSイメージセンサにおいて、画素アレイ部からの画素信号の読み出し時に、特定の色透過性を持つカラーフィルタの画素を選択的に読み出し、その信号強度を判定する色判定手段と、画素アレイ部からの画素信号に含まれるコード化情報を解読するコード解読手段と、色判定手段による色判定結果とコード解読手段による解読結果に基づいて被写体を認識する認識手段とを設ける。
【選択図】 図1
Description
本発明は、異なる波長の光を識別することができ、特にID認識用のセンサに利用できる撮像装置に関する。
近年、CCDイメージセンサやCMOSイメージセンサなどの撮像デバイスが安価で容易に入手可能となり、カムコーダ、デジタルスチルカメラ、携帯電話、パーソナルコンピュータなど、多くの家電やIT機器に小型カメラが容易に搭載されるようになってきた。特にCMOSイメージセンサは、低消費電力性と低コスト、また、MOSデバイスとの製造上の整合性の良さからセンサ部以外のタイミングコントローラ、信号処理部、ADCなども同一チップ上に搭載できる、いわゆるシステムオンチップ化が可能であることにより、CCDに替わるセンサとして、多くのコンシューマ機器にて使用され始めている。
さらには、MOSデバイスの特徴を生かして、単に画像を取得するのみでなく、センサ上でアナログ、もしくはデジタルの画像信号を演算処理することにより、センサに新たな機能を付加し、それらを用いた新たなアプリケーションを提案する試みもいくつかなされている。
さらには、MOSデバイスの特徴を生かして、単に画像を取得するのみでなく、センサ上でアナログ、もしくはデジタルの画像信号を演算処理することにより、センサに新たな機能を付加し、それらを用いた新たなアプリケーションを提案する試みもいくつかなされている。
例えば、そのような機能性をもつ撮像素子による新たなアプリケーションを提案するものとして、ID認識カメラが知られている(例えば特許文献1参照)。
これは、例えば図5に示すように、カメラ1の視野内に存在するLED光源(LEDビームコントローラ)2の点滅パターンをコード化し、そのパターンをイメージセンサの画素アレイで受光、検出することにより、画面中のどの位置でどのような情報が発せられているかをカメラ1にて認識するものである。
例えば、図5(B)に示すようなLEDの光源を4KHzで点滅させ、その点滅パターンに8bit程度のデータコード(IDコードなど)を乗せて、ある間隔をおいて連続的に発光させる。センサ側では、LED点滅の約3倍程度の14KHzでフレーム操作(14Kfps)を行ない、センサの各画素が点滅信号のサンプリング動作を行なうことにより、画面上のどの位置で、どのようなIDコードが発せられているかを認識する。
そして、このようなIDを発するLEDとそのコードを認識するカメラを用いることにより、例えば、LEDの設置により画面中の被写体の同定が容易になることから、これを画像認識に利用したり、ID情報を実生活空間上に埋め込んで、その情報をネットワークとリンクさせることにより、広告、ナビゲーションシステムなどに活用することが可能である。
さらに、動物体にLEDを設置し、LEDのIDコードを追尾することにより、動き認識の機能に利用することができる。通常、動き認識は動画像の処理のみにより行なわれるが、撮影条件の変化などに対してロバストな検出は難しい。しかし、IDカメラを使用すると、光源を直接撮影することと、コード化された光源を用いることにより、外乱光などにも強くロバストな動き検出システムの構築が可能となる。
これは、例えば図5に示すように、カメラ1の視野内に存在するLED光源(LEDビームコントローラ)2の点滅パターンをコード化し、そのパターンをイメージセンサの画素アレイで受光、検出することにより、画面中のどの位置でどのような情報が発せられているかをカメラ1にて認識するものである。
例えば、図5(B)に示すようなLEDの光源を4KHzで点滅させ、その点滅パターンに8bit程度のデータコード(IDコードなど)を乗せて、ある間隔をおいて連続的に発光させる。センサ側では、LED点滅の約3倍程度の14KHzでフレーム操作(14Kfps)を行ない、センサの各画素が点滅信号のサンプリング動作を行なうことにより、画面上のどの位置で、どのようなIDコードが発せられているかを認識する。
そして、このようなIDを発するLEDとそのコードを認識するカメラを用いることにより、例えば、LEDの設置により画面中の被写体の同定が容易になることから、これを画像認識に利用したり、ID情報を実生活空間上に埋め込んで、その情報をネットワークとリンクさせることにより、広告、ナビゲーションシステムなどに活用することが可能である。
さらに、動物体にLEDを設置し、LEDのIDコードを追尾することにより、動き認識の機能に利用することができる。通常、動き認識は動画像の処理のみにより行なわれるが、撮影条件の変化などに対してロバストな検出は難しい。しかし、IDカメラを使用すると、光源を直接撮影することと、コード化された光源を用いることにより、外乱光などにも強くロバストな動き検出システムの構築が可能となる。
また、このようなID認識カメラに用いるイメージセンサの応用例として、主に3次元計測に利用するものも提案されている。このイメージセンサのフレーム間差分演算機能を利用すると、上述のID認識カメラの光パルスの点滅を検出することが可能となる。
以下、このイメージセンサについて説明する。
図6はCMOSイメージセンサの構成を示すブロック図である。
このイメージセンサは、2次元配列された複数の画素(ピクセル)によって光を受光する画素アレイ部10と、この画素アレイ部10から読み出される画素信号をI−V(電流−電圧)変換処理するI−V変換回路部12と、画像信号に含まれる画素間のばらつきを除去するCDS(相関二重サンプリング)回路部14と、画素アレイ部10によって検出された画素信号を保持するアナログメモリアレイ部16、画素アレイ部10による検出信号をアナログメモリアレイ部16に出力するカレントミラー部18と、アナログメモリアレイ部16のメモリ値を比較して比較結果(差分値)をラッチするコンパレータ/ラッチ部20と、画素アレイ部10のスキャン動作を制御するピクセルVスキャナ22及びピクセルHスキャナ24と、アナログメモリアレイ部16のスキャン動作を制御するメモリVスキャナ26及びメモリHスキャナ28などを有して構成される。
以下、このイメージセンサについて説明する。
図6はCMOSイメージセンサの構成を示すブロック図である。
このイメージセンサは、2次元配列された複数の画素(ピクセル)によって光を受光する画素アレイ部10と、この画素アレイ部10から読み出される画素信号をI−V(電流−電圧)変換処理するI−V変換回路部12と、画像信号に含まれる画素間のばらつきを除去するCDS(相関二重サンプリング)回路部14と、画素アレイ部10によって検出された画素信号を保持するアナログメモリアレイ部16、画素アレイ部10による検出信号をアナログメモリアレイ部16に出力するカレントミラー部18と、アナログメモリアレイ部16のメモリ値を比較して比較結果(差分値)をラッチするコンパレータ/ラッチ部20と、画素アレイ部10のスキャン動作を制御するピクセルVスキャナ22及びピクセルHスキャナ24と、アナログメモリアレイ部16のスキャン動作を制御するメモリVスキャナ26及びメモリHスキャナ28などを有して構成される。
図7は図6に示す各回路の接続構成を示すブロック図であり、図8は図7に示す画素アレイ部10のスイッチ動作を示すブロック図である。また、図9は図6に示す画素アレイ部10の各画素の構成を示す回路図である。
図7において、画素アレイ部10には、Ye、Cy、G、Mgの各色に対応する4つの画素30を示しており、アナログメモリアレイ部16には、高速フレーム走査による4フレーム分のメモリセル32を示している。そして、画素アレイ部10の各画素30からの信号は、画素アレイ部10を上下に走る垂直信号線34により読み出される。この垂直信号線34には上下にスイッチS11、S12が設けられ、画素信号の読み出し動作にあわせてオン、オフされる。また、アナログメモリアレイ部16とコンパレータ/ラッチ部20との間にもスイッチS13が設けられ、メモリ信号の読み出し動作にあわせてオン、オフされる。
また、図9に示すように、本例のイメージセンサは1画素に5つのMOSトランジスタを設けたものであり、光電変換素子としてのフォトダイオードPDと、このフォトダイオードPDで生成された信号電荷をフローティングディフュージョン部FDに転送する転送トランジスタT11と、このフローティングディフュージョン部FDに転送された信号電荷に基づいて電圧信号または電流信号を出力する増幅トランジスタT12と、リセット信号RSTに基づいてフローティングディフュージョン部FDを電源電位にリセットするリセットトランジスタT13と、カラム(列)選択信号CGm及び転送信号TXに基づいて転送トランジスタT11のオンオフタイミングを制御する転送制御トランジスタT14と、画素選択信号SELに基づいて増幅トランジスタT12の出力タイミングを制御する選択トランジスタT15とを有する。
図7において、画素アレイ部10には、Ye、Cy、G、Mgの各色に対応する4つの画素30を示しており、アナログメモリアレイ部16には、高速フレーム走査による4フレーム分のメモリセル32を示している。そして、画素アレイ部10の各画素30からの信号は、画素アレイ部10を上下に走る垂直信号線34により読み出される。この垂直信号線34には上下にスイッチS11、S12が設けられ、画素信号の読み出し動作にあわせてオン、オフされる。また、アナログメモリアレイ部16とコンパレータ/ラッチ部20との間にもスイッチS13が設けられ、メモリ信号の読み出し動作にあわせてオン、オフされる。
また、図9に示すように、本例のイメージセンサは1画素に5つのMOSトランジスタを設けたものであり、光電変換素子としてのフォトダイオードPDと、このフォトダイオードPDで生成された信号電荷をフローティングディフュージョン部FDに転送する転送トランジスタT11と、このフローティングディフュージョン部FDに転送された信号電荷に基づいて電圧信号または電流信号を出力する増幅トランジスタT12と、リセット信号RSTに基づいてフローティングディフュージョン部FDを電源電位にリセットするリセットトランジスタT13と、カラム(列)選択信号CGm及び転送信号TXに基づいて転送トランジスタT11のオンオフタイミングを制御する転送制御トランジスタT14と、画素選択信号SELに基づいて増幅トランジスタT12の出力タイミングを制御する選択トランジスタT15とを有する。
通常の画像情報を読み出す時には、通常のイメージセンサと同様に、画素アレイ部10の各画素からの信号を垂直信号線34によって上方に読み出す。そして、ピクセルVスキャナ22、ピクセルHスキャナ24により各行、各列を順次選択し、1画素毎にI−V変換回路12、CDS回路14にて信号を処理し、増幅後、アナロ画像信号として素子チップの外部に読み出される。
一方、ID認識を行う場合には、画素アレイ部10の各画素からの信号を垂直信号線34によって下方に読み出すことにより、光パルスの検出を行う。すなわち、光パルス検出時には、数kfps以上の高速フレーム走査を行い、時間的に連続する4フレーム間での差分演算処理を実行することにより、光強度変化の立ち上がり、もしくは立下りを検出する。なお、ここではフレーム間差分演算を4フレーム間で行なっているが、検出精度が十分に満たせれば、2フレーム間の差分演算でも可能である。
一方、ID認識を行う場合には、画素アレイ部10の各画素からの信号を垂直信号線34によって下方に読み出すことにより、光パルスの検出を行う。すなわち、光パルス検出時には、数kfps以上の高速フレーム走査を行い、時間的に連続する4フレーム間での差分演算処理を実行することにより、光強度変化の立ち上がり、もしくは立下りを検出する。なお、ここではフレーム間差分演算を4フレーム間で行なっているが、検出精度が十分に満たせれば、2フレーム間の差分演算でも可能である。
ここで、イメージセンサの受光部において、図8に示すように、各画素上にはカラーフィルタが配置されており、RGBGの原色系、もしくはCMYGの補色系が使用される。なお、ここでは検出光として赤外光を利用することを前提としているため、近赤外の透過率の高いCMYGの補色系フィルタを例示している。また、CMYGの各フィルタの赤外透過率の違いをキャンセルするために、光変化検出時にはCMYGに対応する4画素を1単位(ROU)として混合読み出しが行われる。アナログメモリアレイ部16は各ROU毎に4フレーム分のメモリセル(F1〜F4)32が設定されており、それぞれ連続する4フレームの信号を保持する。各画素からの信号は下方に読み出され、カレントミラーを介して、一旦、信号情報をアナログメモリセル32に保持し、その後、時間的に前後の2フレームずつの混合信号の差分演算を下方のコンパレータにより実行し、その結果をバイナリデータとしてラッチする。赤外光の通過を検出したROUは、そのタイミングで、差分演算実行結果が、0データから1データに反転し、そのデータがセンサ外部へ出力される。この情報を元に、センサ外部のシステムにおいて、光パルスのパターンをデコードすると、光源から発せられるIDコードを読み取ることが可能となる。
本イメージセンサでは以上の画像出力と光変化検出をビデオレート(1/30secなど)を基準として交互に行ない、ほぼ同時に画像情報とID情報を得られるシステムを構築する。
特開2003−323239号公報
本イメージセンサでは以上の画像出力と光変化検出をビデオレート(1/30secなど)を基準として交互に行ない、ほぼ同時に画像情報とID情報を得られるシステムを構築する。
しかしながら、上記従来のイメージセンサでは、カラーフィルタの波長選択性をキャンセルするためにROUを単位として読み出しており、異なる色のLED光源を用いても、それを区別することができないという課題がある。
現在LEDは青色から赤外までさまざまな色(波長)のものが市販されており、これらの色の違いにより対象物を区別することは日常の生活において容易にあり得ることである。よって、ID認識カメラにおいても、光源の発するIDコードのみでなく、光源の色の区別も同時に行なえれば、物体認識においてオブジェクト情報の識別多様性を増すことができるようになる。
さらに、例えば、複数の光源がほぼ同じ位置にあり、光信号が同じ画素(ROU)にかかってしまうような場合にも、色が異なるLEDに設定しておけば、色の区別によりそれぞれのIDを判別することが可能となる。
本発明は、以上のような問題に鑑み、ID認識用のイメージセンサにおいて、ID認識時に異なる波長の光を発する光源や物体を識別することが可能な撮像装置を提供することを目的とするものである。
現在LEDは青色から赤外までさまざまな色(波長)のものが市販されており、これらの色の違いにより対象物を区別することは日常の生活において容易にあり得ることである。よって、ID認識カメラにおいても、光源の発するIDコードのみでなく、光源の色の区別も同時に行なえれば、物体認識においてオブジェクト情報の識別多様性を増すことができるようになる。
さらに、例えば、複数の光源がほぼ同じ位置にあり、光信号が同じ画素(ROU)にかかってしまうような場合にも、色が異なるLEDに設定しておけば、色の区別によりそれぞれのIDを判別することが可能となる。
本発明は、以上のような問題に鑑み、ID認識用のイメージセンサにおいて、ID認識時に異なる波長の光を発する光源や物体を識別することが可能な撮像装置を提供することを目的とするものである。
上述の目的を達成するため、本発明の撮像装置は、入射光量に応じた信号電荷を生成する光電変換素子と前記光電変換素子によって生成した信号電荷を画素信号として読み出す読み出し回路とを含む複数の画素を配置した画素アレイ部と、前記画素アレイ部の各画素に対応して配置されたカラーフィルタと、前記画素アレイ部から読み出された画素信号を演算処理する演算制御部とを有し、前記演算制御部は、前記画素アレイ部からの画素信号の読み出し時に、特定の色透過性を持つカラーフィルタの画素を選択的に読み出し、その信号強度を判定する色判定手段と、前記画素アレイ部からの画素信号に含まれるコード化情報を解読するコード解読手段と、前記色判定手段による色判定結果と前記コード解読手段による解読結果に基づいて被写体を認識する認識手段とを有することを特徴とする。
本発明の撮像装置によれば、色判定手段による色判定結果とコード解読手段による解読結果に基づいて被写体を認識することにより、ID等のコード認識だけでなく、被写体の色や光源の色(波長)を識別してコードの識別と組み合わせることができ、多様な用途において、様々な対象物を細かく有効に識別することができる効果がある。
本発明の実施の形態による撮像装置は、各画素に所定の配列によるカラーフィルタを配置した画素アレイ部と、この画素アレイ部から読み出された画素信号を演算処理する演算制御部とを有するCMOSイメージセンサにおいて、演算制御部に、画素アレイ部からの画素信号の読み出し時に、特定の色透過性を持つカラーフィルタの画素を選択的に読み出し、その信号強度を判定する色判定手段と、画素アレイ部からの画素信号に含まれるコード化情報を解読するコード解読手段と、色判定手段による色判定結果とコード解読手段による解読結果に基づいて被写体を認識する認識手段とを設けることにより、例えば、被写体光源の点滅によりコード化された情報を解読するシステムを色検出と組み合わせたID認識システムを提供する。
なお、互いに近接した複数の被写体に対し、互いに異なる色のカラーフィルタを割り当てて被写体認識を行うことにより、近接した被写体も適正に検出できるようにすることができる。
また、読み出しを選択するカラーフィルタをフレーム単位、または、行単位、または、列単位、または、特定の画素領域単位で切り替えたり、時間に応じて切り替える、あるいは、画素アレイ部上の部分的領域毎に選択するカラーフィルタを変更したりすることにより、種々の検出に応用できる。また、予備的な撮像動作を行って色判定手段の判定を行い、その判定結果に応じて画素信号の読み出しを行うカラーフィルタを選択したり、さらには予備的な撮像動作を行って各色のカラーフィルタによる撮像信号について、それぞれ色判定手段の判定を行い、その判定結果に応じて画素信号の読み出しを行うカラーフィルタを選択することにより、検出画素選択の最適化を図ることが可能である。
なお、互いに近接した複数の被写体に対し、互いに異なる色のカラーフィルタを割り当てて被写体認識を行うことにより、近接した被写体も適正に検出できるようにすることができる。
また、読み出しを選択するカラーフィルタをフレーム単位、または、行単位、または、列単位、または、特定の画素領域単位で切り替えたり、時間に応じて切り替える、あるいは、画素アレイ部上の部分的領域毎に選択するカラーフィルタを変更したりすることにより、種々の検出に応用できる。また、予備的な撮像動作を行って色判定手段の判定を行い、その判定結果に応じて画素信号の読み出しを行うカラーフィルタを選択したり、さらには予備的な撮像動作を行って各色のカラーフィルタによる撮像信号について、それぞれ色判定手段の判定を行い、その判定結果に応じて画素信号の読み出しを行うカラーフィルタを選択することにより、検出画素選択の最適化を図ることが可能である。
図1は本発明の実施例によるイメージセンサにおける各回路の接続構成を示すブロック図である。また、図2は図1に示すイメージセンサの各画素の構成例を示す回路図である。
図1において、図6〜図9に示した従来例では、画像信号の処理は画素毎に逐次行なう方式であったが、本実施例では、列(カラム)毎にCDS回路を設ける、いわゆるカラム並列処理方式の例を示している。
また、図6〜図9に示した従来例では、フレーム間差分演算のために、4フレーム間の差分演算を行なっていたが、本実施例では2フレーム間の差分演算を行うものとする。すなわち、ID認識カメラのように光パルスの検出を行なうのであれば、光の強度変化が瞬時に起こるので、2フレーム間のみの差分演算で可能である。ただし、これらに関しては、どちらの走査方法を選んでも、本発明の本質とする箇所に関して影響はしない。また、本実施例では従来例と異なり、カラーフィルタをR、Gr、B、Gbのベイヤー配列パターンとする(なお、R行のGとB行のGを区別するために、それぞれGr、Gbと表記する)。
図1において、図6〜図9に示した従来例では、画像信号の処理は画素毎に逐次行なう方式であったが、本実施例では、列(カラム)毎にCDS回路を設ける、いわゆるカラム並列処理方式の例を示している。
また、図6〜図9に示した従来例では、フレーム間差分演算のために、4フレーム間の差分演算を行なっていたが、本実施例では2フレーム間の差分演算を行うものとする。すなわち、ID認識カメラのように光パルスの検出を行なうのであれば、光の強度変化が瞬時に起こるので、2フレーム間のみの差分演算で可能である。ただし、これらに関しては、どちらの走査方法を選んでも、本発明の本質とする箇所に関して影響はしない。また、本実施例では従来例と異なり、カラーフィルタをR、Gr、B、Gbのベイヤー配列パターンとする(なお、R行のGとB行のGを区別するために、それぞれGr、Gbと表記する)。
以下、図1及び図2に基づいて本実施例の構成を説明する。なお、イメージセンサ全体の基本的な構成は図6に示したものと同様であるものとする。
まず、図1において、画素アレイ部100の各画素101には、R、Gr、B、Gbのカラーフィルタがベイヤー配列パターンで設けられており、各画素列に沿って上下に設けられた垂直信号線102の上端側には、それぞれスイッチS1を介してCDS回路103が設けられ、各CDS回路103は、さらにスイッチShを介して水平出力線104及びHスキャナ105に接続されている。
一方、垂直信号線102の下端は、スイッチS2及びスイッチS3を介して2列1組のカレントミラー回路106に接続され、カレントミラー回路106の出力は、2フレーム分のメモリセル(F1、F2)107に接続され、各メモリセル107はコンパレータ108及びラッチ回路109に接続されている。なお、ラッチ回路109の出力は、スイッチS5を介して検出データ出力線110に接続されている。
まず、図1において、画素アレイ部100の各画素101には、R、Gr、B、Gbのカラーフィルタがベイヤー配列パターンで設けられており、各画素列に沿って上下に設けられた垂直信号線102の上端側には、それぞれスイッチS1を介してCDS回路103が設けられ、各CDS回路103は、さらにスイッチShを介して水平出力線104及びHスキャナ105に接続されている。
一方、垂直信号線102の下端は、スイッチS2及びスイッチS3を介して2列1組のカレントミラー回路106に接続され、カレントミラー回路106の出力は、2フレーム分のメモリセル(F1、F2)107に接続され、各メモリセル107はコンパレータ108及びラッチ回路109に接続されている。なお、ラッチ回路109の出力は、スイッチS5を介して検出データ出力線110に接続されている。
また、図2において、本例のイメージセンサは1画素に4つのMOSトランジスタを設けたものであり、光電変換素子としてのフォトダイオードPDと、このフォトダイオードPDで生成された信号電荷を転送信号TXに基づいてフローティングディフュージョン部FDに転送する転送トランジスタT1と、このフローティングディフュージョン部FDに転送された信号電荷に基づいて電圧信号または電流信号を出力する増幅トランジスタT2と、リセット信号RSTに基づいてフローティングディフュージョン部FDを電源電位にリセットするリセットトランジスタT3と、画素選択信号SELに基づいて増幅トランジスタT2の出力タイミングを制御する選択トランジスタT5とを有する。
上述した図7に示す構成では、光変化検出時にROUを構成する4画素をメモリ側に同時に読み出し、2本の信号線からの電流を1つのカレントミラー回路に引き込むことにより、4画素からの信号を混合処理していた。それに対し、本実施例では、1画素のみ独立に読み出す、2画素同時に読み出す、ROUを構成する画素を同時に読み出す、などを選択できるようにする。
まず、1画素ずつ個々に読み出す場合、図1に示すように、本イメージセンサでは1つのROUに対して1組のフレームメモリ(2フレーム分のF1、F2)のみを持っているので、ROU内で1画素のみの読み出しを行なう。たとえば、図3のタイミングチャートに示すように、R画素を読み出す場合を例に説明すると、まず、SEL0、RST0、TX0をOFFのまま、SEL1、RST1、TX1の操作を行い、GbB行を非選択、RGr行を選択状態とし、R、Gr画素のリセット−電荷転送操作を行なう。そして、カレントコピア側のスイッチでは、スイッチS2_gb 、スイッチS3をOFFした状態で、スイッチS2_rg をONとし、RGb列のみの信号線電流をカレントミラーに引き込んでアナログメモリへの書き込み動作を行なう。これにより、ROU中のR画素のみ読み出し−差分演算処理が可能となる。
まず、1画素ずつ個々に読み出す場合、図1に示すように、本イメージセンサでは1つのROUに対して1組のフレームメモリ(2フレーム分のF1、F2)のみを持っているので、ROU内で1画素のみの読み出しを行なう。たとえば、図3のタイミングチャートに示すように、R画素を読み出す場合を例に説明すると、まず、SEL0、RST0、TX0をOFFのまま、SEL1、RST1、TX1の操作を行い、GbB行を非選択、RGr行を選択状態とし、R、Gr画素のリセット−電荷転送操作を行なう。そして、カレントコピア側のスイッチでは、スイッチS2_gb 、スイッチS3をOFFした状態で、スイッチS2_rg をONとし、RGb列のみの信号線電流をカレントミラーに引き込んでアナログメモリへの書き込み動作を行なう。これにより、ROU中のR画素のみ読み出し−差分演算処理が可能となる。
また、これとは逆にスイッチS2_rgをOFFした状態でスイッチS3とスイッチS2_gb をONとすると、Gr画素のみの読み出し−演算処理が可能となる。そして、スイッチS3をONした状態で、スイッチS2_rg 、スイッチS2_gb の両方をONとすると、RとGr画素の2画素混合による読み出し−演算処理が可能となる。
以上と同様な操作をRGr行を非選択としてGbB行に施すと、B画素とGb画素について同様に1画素読み出しと2画素混合読み出しが可能となる。
また一方、RGr行、GbB行共に選択状態とし、スイッチS2_gb 、スイッチS3をOFFした状態で、スイッチS2_rg をONとするとR画素とGb画素の混合読み出し−演算処理が可能となる。逆にスイッチS2_rgをOFFした状態で、スイッチS3とスイッチS2_gb をONとするとB画素とGr画素の混合読み出し−演算処理が可能となる。
また、RGr行、GbB行を同時選択し、さらには、スイッチS2_gb 、スイッチS3、 スイッチS2_rg を全てONとすると、図7の従来例で示したものと同様に、ROU中の4画素の一括読み出しが可能となる。
以上と同様な操作をRGr行を非選択としてGbB行に施すと、B画素とGb画素について同様に1画素読み出しと2画素混合読み出しが可能となる。
また一方、RGr行、GbB行共に選択状態とし、スイッチS2_gb 、スイッチS3をOFFした状態で、スイッチS2_rg をONとするとR画素とGb画素の混合読み出し−演算処理が可能となる。逆にスイッチS2_rgをOFFした状態で、スイッチS3とスイッチS2_gb をONとするとB画素とGr画素の混合読み出し−演算処理が可能となる。
また、RGr行、GbB行を同時選択し、さらには、スイッチS2_gb 、スイッチS3、 スイッチS2_rg を全てONとすると、図7の従来例で示したものと同様に、ROU中の4画素の一括読み出しが可能となる。
以上のような、読み出し操作をROUを単位として行ない、1フレーム分のスキャンを行なうと、特定のカラーフィルタのみの読み出しが可能となり、特定の波長のLEDのみの検出が可能となる。例えば、カメラの撮影画角内に、同じIDコードを発しながら、オブジェクトの1つの属性としてLED光源を赤(R)、緑(G)、青(B)などと区別して設定していた場合、R画素のみを読み出すモード、G画素のみを読み出すモード、B画素のみを読み出すモードなど操作を区別することにより、これら光源の色の違い、つまりはオブジェクトの属性を識別することができる。また、2画素混合により、RとG、またはBとGのみのLEDの認識も可能である。さらには4画素混合により、従来例どおりに全色の検出も可能である。
以上の画素読み出しのそれぞれのモードをビデオレート(1/30sec など)毎に切り替えられるように設定しておけば、センサ外部のシステムからのフィードバックによる読み出しモード切替が可能となる。さらには、同様にして、カラーフィルタのグループを構成する行(ROU)ごと、またはグループ単位で切り替えるようにすることも可能である。これらの機能は例えば、当初、4画素混合モードにてLED光源の検出のみを行ない、その後、LED光源が検出されたら、2画素混合、1画素読み出しを行なうことにより、LED光源の色の特定を行なうなどのシーケンス処理に利用することが考えられる。またさらには、操作は複雑となるが、画素上のエリアにより選択するカラーフィルタを変更するなどのバリエーションも可能である。
以上の設定は、オブジェクトに対し、ID以外にも色による属性を設定できることを意味し、IDカメラによるオブジェクト識別の多様性を増すことができる。
以上の設定は、オブジェクトに対し、ID以外にも色による属性を設定できることを意味し、IDカメラによるオブジェクト識別の多様性を増すことができる。
上述した図1の例では、1ROUに対し、1組のフレームメモリ(F1、F2)のみしか設定していなかったため、1ROU中で同時に読み出し−演算処理ができるカラーフィルタは1画素、もしくは1組の混合処理であった。それに対し、本実施例では、図4に示すように、例えば、1ROU中のRGb列、GrB列のそれぞれに、1組のフレームメモリ(F1、F2)を設定することにより、同時読み出し−演算処理できるカラーフィルタの組み合わせに多様性を持たせることが可能である。
すなわち、図4において、垂直信号線102の下端は、スイッチS2及びスイッチS4を介してカレントミラー回路106に接続され、カレントミラー回路106の出力は、各画素列毎に配置された2フレーム分のメモリセル(F1、F2)107に接続され、各メモリセル107はコンパレータ108及びラッチ回路109に接続されている。また、各スイッチS2とスイッチS4の接続点は、行方向にスイッチS3を介して接続されている。なお、その他は図1に示す構成と共通であるので、同一符号を付して説明は省略する。
1画素ずつ読み出しを行なう場合、カラム毎にカレントミラーを介してフレームメモリへの書き込みを行なうことにより、1ROU中のRとGr、またはGbとB、またはRとBの個別読み出しが可能となる。
また、RとGb、GrとBの2画素、2列同時読み出しが可能となる。また、GbB行、RGr行を順に選択し、スイッチ操作により、GbとB、RとGrの2画素混合信号をそれぞれのカラムにて演算処理することが可能である。
また、2カラム分のカレントミラー、カレントコピアの内のどちらか片方のみを使用することにより、図1の例と同様に、1ROUの4画素一括読み出しも可能である。
すなわち、図4において、垂直信号線102の下端は、スイッチS2及びスイッチS4を介してカレントミラー回路106に接続され、カレントミラー回路106の出力は、各画素列毎に配置された2フレーム分のメモリセル(F1、F2)107に接続され、各メモリセル107はコンパレータ108及びラッチ回路109に接続されている。また、各スイッチS2とスイッチS4の接続点は、行方向にスイッチS3を介して接続されている。なお、その他は図1に示す構成と共通であるので、同一符号を付して説明は省略する。
1画素ずつ読み出しを行なう場合、カラム毎にカレントミラーを介してフレームメモリへの書き込みを行なうことにより、1ROU中のRとGr、またはGbとB、またはRとBの個別読み出しが可能となる。
また、RとGb、GrとBの2画素、2列同時読み出しが可能となる。また、GbB行、RGr行を順に選択し、スイッチ操作により、GbとB、RとGrの2画素混合信号をそれぞれのカラムにて演算処理することが可能である。
また、2カラム分のカレントミラー、カレントコピアの内のどちらか片方のみを使用することにより、図1の例と同様に、1ROUの4画素一括読み出しも可能である。
また、以上の例はRGBGの原色フィルタを前提に説明したが、補色フィルタCMYGなどの組み合わせを用いても構わない。補色のフィルタでは透過波長の選択性は原色フィルタに比べて悪く、透過波長を選択するというよりも、非透過波長を選択するというイメージとなる。よって、補色フィルタを用いると、特定の色を選択検出するのではなく、特定の色を検出しないようにするといった利用の仕方が可能となる。
また、各実施例で説明した方法以外の方法も適宜用いることが可能である。
また、各実施例で説明した方法以外の方法も適宜用いることが可能である。
100……画素アレイ部、101……画素、102……垂直信号線、103……CDS回路、104……水平出力線、105……Hスキャナ、106……カレントミラー回路、107……メモリセル、108……コンパレータ、109……ラッチ回路、110……検出データ出力線。
Claims (8)
- 入射光量に応じた信号電荷を生成する光電変換素子と前記光電変換素子によって生成した信号電荷を画素信号として読み出す読み出し回路とを含む複数の画素を配置した画素アレイ部と、
前記画素アレイ部の各画素に対応して配置されたカラーフィルタと、
前記画素アレイ部から読み出された画素信号を演算処理する演算制御部とを有し、
前記演算制御部は、
前記画素アレイ部からの画素信号の読み出し時に、特定の色透過性を持つカラーフィルタの画素を選択的に読み出し、その信号強度を判定する色判定手段と、
前記画素アレイ部からの画素信号に含まれるコード化情報を解読するコード解読手段と、
前記色判定手段による色判定結果と前記コード解読手段による解読結果に基づいて被写体を認識する認識手段と、
を有することを特徴とする撮像装置。 - 前記コード解読手段は、被写体光源の点滅によりコード化された情報を解読することを特徴とする請求項1記載の撮像装置。
- 互いに近接した複数の被写体に対し、互いに異なる色のカラーフィルタを割り当てて被写体認識を行うことを特徴とする請求項1記載の撮像装置。
- 前記読み出しを選択するカラーフィルタをフレーム単位、または、行単位、または、列単位、または、特定の画素領域単位で切り替えることを特徴とする請求項1記載の撮像装置。
- 前記読み出しを選択するカラーフィルタを時間に応じて切り替えることを特徴とする請求項1記載の撮像装置。
- 前記画素アレイ部上の部分的領域毎に選択するカラーフィルタを変更することを特徴とする請求項1記載の撮像装置。
- 予備的な撮像動作を行って色判定手段の判定を行い、その判定結果に応じて画素信号の読み出しを行うカラーフィルタを選択することを特徴とする請求項1記載の撮像装置。
- 予備的な撮像動作を行って各色のカラーフィルタによる撮像信号について、それぞれ色判定手段の判定を行い、その判定結果に応じて画素信号の読み出しを行うカラーフィルタを選択することを特徴とする請求項1記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004091510A JP2005278038A (ja) | 2004-03-26 | 2004-03-26 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004091510A JP2005278038A (ja) | 2004-03-26 | 2004-03-26 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005278038A true JP2005278038A (ja) | 2005-10-06 |
Family
ID=35177199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004091510A Pending JP2005278038A (ja) | 2004-03-26 | 2004-03-26 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005278038A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006048987A1 (ja) * | 2004-11-02 | 2006-05-11 | Japan Science And Technology Agency | 撮像装置及びその信号読み出し方法 |
JP2007201681A (ja) * | 2006-01-25 | 2007-08-09 | Sony Corp | 撮像装置および方法、記録媒体、並びにプログラム |
WO2011048841A1 (ja) | 2009-10-23 | 2011-04-28 | シャープ株式会社 | エリアセンサ、およびエリアセンサ付液晶表示装置 |
-
2004
- 2004-03-26 JP JP2004091510A patent/JP2005278038A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006048987A1 (ja) * | 2004-11-02 | 2006-05-11 | Japan Science And Technology Agency | 撮像装置及びその信号読み出し方法 |
JPWO2006048987A1 (ja) * | 2004-11-02 | 2008-05-22 | 独立行政法人科学技術振興機構 | 撮像装置及びその信号読み出し方法 |
US7728893B2 (en) | 2004-11-02 | 2010-06-01 | Japan Science And Technology Agency | Imaging device and method for reading signals from such device |
JP4539924B2 (ja) * | 2004-11-02 | 2010-09-08 | 独立行政法人科学技術振興機構 | 撮像装置及びその信号読み出し方法 |
JP2007201681A (ja) * | 2006-01-25 | 2007-08-09 | Sony Corp | 撮像装置および方法、記録媒体、並びにプログラム |
WO2011048841A1 (ja) | 2009-10-23 | 2011-04-28 | シャープ株式会社 | エリアセンサ、およびエリアセンサ付液晶表示装置 |
US8941621B2 (en) | 2009-10-23 | 2015-01-27 | Sharp Kabushiki Kaisha | Area sensor, and liquid-crystal display device equipped with an area sensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7746394B2 (en) | Pixel array and image processing apparatus for image-capturing | |
KR101887988B1 (ko) | 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 | |
US6970195B1 (en) | Digital image sensor with improved color reproduction | |
US7521661B2 (en) | Driving an image sensor with reduced area and high image quality | |
US9749521B2 (en) | Image sensor with in-pixel depth sensing | |
US9319611B2 (en) | Image sensor with flexible pixel summing | |
JP4702441B2 (ja) | 撮像装置及び撮像方法 | |
CN104038702B (zh) | 摄像设备及其控制方法 | |
US8350935B2 (en) | Color filter array, image sensor including the color filter array and system including the image sensor | |
US20150373250A1 (en) | Circuit and method providing wide dynamic-range operation of auto-focus(af) focus state sensor elements, digital imaging device, and computer system including same | |
US20220038650A1 (en) | Imaging device and control method of imaging element | |
US20040090550A1 (en) | Image sensing means for digital camera and digital camera adopting the same | |
US10044992B2 (en) | Solid-state imaging apparatus, driving method therefor, and imaging system | |
US20150146037A1 (en) | Imaging systems with broadband image pixels for generating monochrome and color images | |
JP2007281556A (ja) | 撮像素子、撮像装置及び撮像システム | |
US10491837B2 (en) | Imaging method, image sensor, and imaging device | |
US20150350580A1 (en) | Solid-state imaging device and imaging method | |
JP2005278038A (ja) | 撮像装置 | |
JP5058128B2 (ja) | 撮像装置及び携帯機器 | |
JP2003348459A (ja) | 固体撮像装置及びその駆動方法 | |
US20070257183A1 (en) | Method and apparatus providing multiple transfer gate control lines per pixel for automatic exposure control | |
US8289415B2 (en) | Blink signal detection circuit, blink signal detection method, object sensing apparatus, object sensing method, and imaging system | |
EP1805801B1 (en) | Image sensor with expanding dynamic range | |
JP7457473B2 (ja) | 撮像装置及びその制御方法 | |
JP2004180187A (ja) | 空間分割赤外線通信システム |