JP2008177738A - 撮像装置及び撮像素子 - Google Patents

Abstract

【課題】撮像装置を小型化する。
【解決手段】撮像装置は、画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ，１０１Ｌを１つの画素ユニットとして、複数の画素ユニットによって構成された撮像素子１０１を備える。複数の画素回路１０１Ｇ、１０１Ｒ、１０１Ｂによって、カラー画像データ取得用の画素アレイが構成され、複数の画素回路１０１Ｌによって、距離画像取得用の画素アレイが構成される。また、撮像装置は、カラー画像を取得するカラー画像取得部と、距離画像を取得する距離画像取得部と、を備える。カラー画像取得部、距離画像取得部は、このような画素アレイを含んで構成されている。
【選択図】図４

Description

本発明は、撮像装置及び撮像素子に関するものである。

従来、被写体を色で表したカラー画像（又は白黒画像）を取得する撮像装置がある（例えば、特許文献１参照）。また、被写体を、撮像装置からの距離で表した距離画像を取得する撮像装置もある（例えば、特許文献２参照）。いずれの撮像装置もカラー画像、距離画像を取得するための撮像素子を備えている。
特開２００２−９４８８３号公報（第３，４頁、図１） 特開２００４−２９４４２０号公報（第５，６頁、図１）

しかし、カラー画像を取得する撮像素子と距離画像を取得する撮像素子とでは、構造が異なるため、カラー画像と距離画像とを取得するためには、撮像素子も、距離画像取得用のものと、カラー画像取得用のものとを備える必要がある。

距離画像取得用の撮像素子とカラー画像取得用の撮像素子とを備えた場合、撮像素子を１つだけ備えた場合と比較して撮像素子の占める面積は２倍になる。２つの撮像素子の画素数を１／２にしたとしても、被写体で反射した反射光を２つの撮像素子に振り分けなければならず、そのための光学系が必要になり、撮像装置を小型化することが難しい。

本発明は、このような従来の問題点に鑑みてなされたもので、小型化が可能な撮像装置及び撮像素子を提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮像装置は、
撮像対象の被写体で反射した光を受光して、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するための第１の画素部と前記被写体までの距離情報を含めた第２の画像を取得するための第２の画素部とを備えた撮像素子と、
前記第１の画像を取得するように複数の前記第１の画素部を駆動する第１の素子駆動部と、
前記第２の画像を取得するように複数の前記第２の画素部を駆動する第２の素子駆動部と、を備えたことを特徴とする。

前記撮像素子は、前記第１の画素部と前記第２の画素部とを１画素ユニットとして、複数の画素ユニットが行列配置されて構成されたものであってもよい。

前記各第１の画素部は、それぞれ、前記被写体で反射した光を色成分毎に受光して信号電荷を発生させ、前記色成分毎に発生した前記信号電荷を出力する複数の受光部からなり、
前記第１の素子駆動部は、前記色成分毎に前記複数の受光部を駆動するものであってもよい。

光を投光する投光部と、
前記投光部が投光する光を点滅させる投光制御部と、
前記撮像素子の複数の第２の画素部と、
前記各第２の画素部から出力された信号電荷に基づいて前記被写体までの距離情報を取得する演算部と、を備え、
前記各第２の画素部は、前記投光部が投光して前記被写体で反射した点滅光を受光することにより信号電荷を生成し、生成した信号電荷を前記投光部が点灯している期間に受光した反射光により発生した第１の信号電荷と前記投光部が消灯している期間に受光した反射光により発生した第２の信号電荷とに分けて出力し、
前記演算部は、前記各第２の画素部が出力した前記第１の信号電荷の量と前記第２の信号電荷の量とに基づいて、前記投光部が点灯してから前記受光部が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、前記被写体までの距離情報を取得するようにしてもよい。

前記撮像素子の複数の第１の画素部がそれぞれ取得した前記第１の画像のデータを色成分毎に画素加算し、複数の第２の画素部がそれぞれ取得した前記第２の画像のデータを画素加算する画素加算部を備えてもよい。

前記画素加算部は、前記第１の画素部で取得した画素データと、前記第２の画素部で取得した画素データと、を異なる領域で画素加算するようにしてもよい。

前記第１の画素部は、赤色、緑色、青色の光を検知する画素部を備え、前記緑色の光を検知する画素部の面積が、前記赤色の画素部、前記青色の画素部のそれぞれの面積よりも大きくなるように構成されたものであってもよい。

前記第１の画素部は、赤色、緑色、青色の光を検知する画素部を備え、
前記第２の画素部は、当該面積が前記第１の画素部の前記赤色の光を検知する画素部、前記青色の光を検知する画素部のそれぞれの面積よりも大きくなるように構成されたものであってもよい。

前記第１の画素部、第２の画素部はともにＣＭＯＳによって構成されたものであってもよい。

前記投光部は、近赤外線を含む光を投影するものであってもよい。

前記第１の画素部が取得した第１の画像のデータと前記第２の画素部が取得した第２の画像のデータとを関連付けて記憶する記憶部を備えたものであってもよい。

また、本発明の第２の観点に係る撮像素子は、
撮像対象の被写体で反射した光を受光して、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するための第１の画素部と前記被写体までの距離情報を含めた第２の画像を取得するための第２の画素部とを１画素ユニットとして、複数の画素ユニットが行列配置されて構成されたことを特徴とする。

本発明によれば、撮像装置を小型化することができる。

以下、本発明の実施形態に係る装置を図面を参照して説明する。
本実施形態に係る撮像装置の構成を図１に示す。
本実施形態に係る撮像装置１は、センサ部１１と、フラッシュ１２，１３と、フラッシュ制御部１４と、撮像制御部１５と、フレームメモリ１６と、メモリコントローラ１７と、データ処理部１８と、ＲＯＭ１９と、ＲＡＭ２０と、ＣＰＵ２１と、を備える。

この撮像装置１は、被写体２に、フラッシュ１２，１３で、それぞれ、可視光、近赤外光を照射し、センサ部１１の撮像エリア３内において、被写体２で反射した反射光を受光する。

この被写体２が、図２に示すように、それぞれ、文字が描かれるとともに位置が異なる３つの被写体２Ａ，２Ｂ，２Ｃである場合、この撮像装置１は、図３（ａ）に示すように、撮像エリア３内において、それぞれ、カラー画像２Ａｉ，２Ｂｉ，２Ｃｉを取得する。

カラー画像２Ａｉ，２Ｂｉ，２Ｃｉは、それぞれ、視覚で得られる視覚情報、例えば、被写体２Ａ，２Ｂ，２ＣのＲＧＢ成分、輝度の情報を含めて被写体２Ａ，２Ｂ，２Ｃの形状を表した画像である。

また、この撮像装置１は、図３（ｂ）に示すように、撮像エリア３内において、距離画像２Ａｄ，２Ｂｄ、２Ｃｄを取得する。距離画像２Ａｄ，２Ｂｄ，２Ｃｄは、それぞれ、撮像装置１から被写体２Ａ，２Ｂ，２Ｃまでの距離情報を含めて被写体２Ａ，２Ｂ，２Ｃの形状を表した画像である。

撮像装置１と被写体２Ａ，２Ｂ、２Ｃとの距離を、２Ａ＜２Ｂ＜２Ｃとすると、撮像装置１は、図３（ｂ）に示すように、距離画像２Ａｄ，２Ｂｄ，２Ｃｄの明度を、２Ａｄ＞２Ｂｄ＞２Ｃｄとなるように設定する。

本実施形態の撮像装置１は、このカラー画像２Ａｉ，２Ｂｉ，２Ｃｉと、距離画像２Ａｄ，２Ｂｄ，２Ｃｄと、を同時に取得するように構成されている。

図１に戻り、センサ部１１は、撮像素子１０１と、素子駆動部１０２，１０３と、を備える。

撮像素子１０１は、カラー画像と距離画像とを取得するものであり、図４に示すように、画素回路１０１Ｇと、画素回路１０１Ｒと、画素回路１０１Ｂと、画素回路１０１Ｌと、によって構成される。

画素回路１０１Ｇ，１０１Ｒ，１０１Ｂは、それぞれ、被写体２のＧ（Green）成分、Ｒ（Red）成分、Ｂ（Blue）成分を取得するためのものである。画素回路１０１Ｌは、距離画像を取得するためのものである。

撮像素子１０１は、１つの画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌを１つの画素ユニットとして、複数の画素ユニットによって構成される。本実施形態では、画素ユニットが、ｎ行×ｎ列（ｎは０を除く自然数）に行列配置されるものとする。

このｎ×ｎの画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌによって、それぞれ、Ｇ，Ｒ，Ｂ成分のカラー画像取得用の画素アレイが構成され、ｎ×ｎの画素回路１０１Ｌによって、距離画像取得用の画素アレイが構成される。

尚、画素アレイの行列配置された各画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌを、ぞれぞれ、画素回路１０１Ｇ（ｉ，ｊ）、１０１Ｒ（ｉ，ｊ）、１０１Ｂ（ｉ，ｊ）、１０１Ｌ（ｉ，ｊ）と表すものとする（ｉ，ｊ；整数、１≦ｉ≦ｎ，１≦ｊ≦ｎ）。

この撮像装置１は、このような画素アレイを含んで構成されたカラー画像取得部と距離画像取得部とを備える。カラー画像取得部は、図３（ａ）に示すようなカラー画像２Ａｉ，２Ｂｉ、２Ｃｉを取得するためのものであり、距離画像取得部は、図３（ｂ）に示すような距離画像２Ａｄ，２Ｂｄ、２Ｃｄを取得するためのものである。

図５は、Ｇ成分のカラー画像取得用の画素アレイを含んで構成されたカラー画像取得部２００の構成を示す図である。カラー画像取得部２００は、フラッシュ１２と、フラッシュ制御部１４と、画素アレイ２０１と、垂直走査部２０２と、水平走査部２０３と、トランジスタＱ１−１〜Ｑ１−ｎと、増幅器２０４と、Ａ／Ｄ変換機２０５と、によって構成される。

撮像装置１は、このような構成を有するカラー画像取得部２００をＧ成分用とともに、Ｒ成分用、Ｂ成分用についても備えている。本実施形態では、Ｇ成分用のカラー画像取得部２００についてのみ説明する。

尚、図１に示す素子駆動部１０２は、Ｇ，Ｒ，Ｂ成分用の垂直走査部２０２と、水平走査部２０３と、トランジスタＱ１１−１〜Ｑ１１−ｎと、増幅器２０４とが、Ａ／Ｄ変換器２０５と、によって構成される。

フラッシュ１２は、被写体２に向けて可視光を発するものである。フラッシュ制御部１４は、ＣＰＵ２１からタイミング信号Ｓｔが供給されて、フラッシュ１２を発光させるものである。

画素アレイ２０１は、被写体２で反射した可視光を受光するものであり、前述のようにｎ×ｎの画素回路１０１Ｇ（ｉ，ｊ）によって構成される。各画素回路１０１Ｇ（ｉ，ｊ）は、図６に示すように、フォトダイオードＰＤ１１と、トランジスタＱ１１〜Ｑ１３と、によって構成される。

フォトダイオードＰＤ１１は、被写体２で反射したＧ成分の光を受光して受光した光の量に対応する量の信号電荷を発生させて、出力するものであり、アノードは接地される。

トランジスタＱ１１は、ゲート（端子）にリセット信号Ｒ１１が供給されてフォトダイオードＰＤ１１をリセットするトランジスタである。

トランジスタＱ１１のゲートは、リセット線Ｌ１１に接続され、ソースは、フォトダイオードＰＤ１１のカソードに接続され、ドレインには、正電圧が印加される。

トランジスタＱ１２は、フォトダイオードＰＤ１１が生成した信号電荷による電流を増幅するためのものであり、そのゲートは、フォトダイオードＰＤ１１のカソードに接続され、ドレインには、正電圧が印加される。

トランジスタＱ１３は、行選択用のトランジスタであり、そのゲートは、行選択線Ｌ１２に接続され、ドレインは、トランジスタＱ１２のソースに接続され、ソースは、垂直信号線Ｌ１３に接続される。

垂直走査部２０２は、ＣＰＵ２１からタイミング信号Ｓｔが供給されて、行を選択し、その行の画素回路１０１Ｇをリセットするとともに、信号出力を制御するためのものである。垂直走査部２０２は、選択した行のリセット線Ｌ１１を介して画素回路１０１ＧのトランジスタＱ１１のゲートに、リセット信号Ｒ１１を出力することにより、選択した行の画素回路１０１Ｇをリセットする。

また、垂直走査部２０２は、選択した行の行選択線Ｌ１２を介して各画素回路１０１ＧのトランジスタＱ１３のゲートに、行選択信号Ｓ１１を出力することにより、信号出力を制御する。

トランジスタＱ１−１〜Ｑ１−ｎは、行選択線Ｌ１２に接続された画素回路１０１Ｇ（ｉ，ｊ）からの信号Ｓｉの出力を制御するためのものであり、各ドレインは、各垂直信号線Ｌ１３に接続され、各ソースは、増幅器２０４の入力端に接続される。

水平走査部２０３は、ＣＰＵ２１からタイミング信号Ｓｔが供給されて、トランジスタＱ１−１〜Ｑ１−ｎを制御し、信号Ｓｉを選択して出力するためのものである。

水平走査部２０３は、第１列目のトランジスタＱ１−１のゲートに、ハイレベルの列選択信号Ｓ１２を出力してトランジスタＱ１−１をオンする。トランジスタＱ１−１が信号Ｓｉを出力すると、列選択信号Ｓ１２の信号レベルをローレベルに設定して、トランジスタＱ１−１をオフする。

水平走査部２０３は、第２列目のトランジスタＱ１−２、・・・第ｎ列目のトランジスタＱ１−ｎについても、順次、列選択信号Ｓ１２を出力して、このような処理を行う。

増幅器２０４は、各トランジスタＱ１−１〜Ｑ１−ｎから出力された信号Ｓｉの信号電圧を増幅するものである。

Ａ／Ｄ変換器２０５は、増幅器２０４が信号電圧を増幅したアナログの信号Ｓｉを、カラー画像データとして、ディジタルデータに変換するものである。素子駆動部１０２は、このＡ／Ｄ変換器２０５が変換したしたカラー画像データを出力する。

次に、距離画像取得用の画素アレイを含んで構成された距離画像取得部３００の構成について説明する。この距離画像取得部３００には、例えば、特開２００４−２９４４２０号公報に記載されたものが用いられる。

この距離画像取得部３００は、被写体２にパルス光を照射し、このパルス光が被写体２で反射して受光するまでの光の飛行時間に基づいて距離画像を取得するものである。

この距離画像取得部３０１は、図７に示すように、フラッシュ１３と、撮像制御部１５と、画素アレイ３０１と、受光レンズ３０２と、タイミング制御部３０３と、垂直シフトレジスタ３０４と、サンプルホールド部３０５−１〜３０５−ｎと、スイッチ部３０６−１〜３０６−ｎと、水平シフトレジスタ３０７と、出力バッファ３０８−１，３０８−２と、演算部３０９と、Ａ／Ｄ変換器３１０と、によって構成される。

尚、図１に示すセンサ部１１の素子駆動部１０３は、タイミング制御部３０３と、垂直シフトレジスタ３０４と、サンプルホールド部３０５−１〜３０５−ｎと、スイッチ部３０６−１〜３０６−ｎと、水平シフトレジスタ３０７と、出力バッファ３０８−１，３０８−２と、演算部３０９と、Ａ／Ｄ変換器３１０と、によって、構成される。

フラッシュ１３は、被写体２に向けて近赤外光を照射するものである。撮像制御部１５は、距離画像を取得するために、ＣＰＵ２１によって指示されて、フラッシュ１３とセンサ部１１とを制御するものである。

撮像制御部１５は、図８（ａ）に示すようなクロック信号ＣＬＫを生成するクロック信号生成部（図示せず）と、このクロック信号ＣＬＫのクロック数をカウントするカウンタと、を備える。

撮像制御部１５は、時刻ｔ０から、クロック信号生成部が生成したクロック信号ＣＬＫのレベルが反転する毎にフラッシュ１３を点滅することにより、近赤外光のパルス変調を行う。

尚、期間Ｔｐは、クロック信号ＣＬＫの信号レベルがハイレベルとなる期間を示し、期間Ｔｑは、クロック信号ＣＬＫの信号レベルがローレベルとなる期間を示し、期間Ｔｐと期間Ｔｑとは、等しいものとする。

撮像制御部１５は、画素回路１０１Ｌ内のフォトダイオードの暗電流を検出するため、カウント数がＮ（Ｎは１以上の自然数）になる時刻ｔ１において、フラッシュ１３を消灯する。図８に示す期間Ｔａ（時刻ｔ０〜ｔ１）は、フラッシュ１３を点滅させてパルス変調を行う期間を示す。

そして、カウンタは、カウント数をリセットして、再び、時刻ｔ１から、クロック信号ＣＬＫのクロック数をカウントし、撮像制御部１５は、クロック数がＮになる時刻ｔ２まで、フラッシュ１３を消灯する。図８に示す期間Ｔｂ（時刻ｔ１〜ｔ２）は、このフラッシュ１３を消灯する期間を示す。

撮像制御部１５は、このクロック信号生成部が生成したクロック信号ＣＬＫをタイミング制御部３０３、垂直シフトレジスタ３０４に供給する。

画素アレイ３０１は、フラッシュ１３が照射した近赤外光が被写体２で反射したフラッシュ光を受光するものであり、前述のように、ｎ×ｎの画素回路１０１Ｌ（ｉ，ｊ）によって構成される。

本実施形態に係る距離画像取得部３００は、ＣＭＯＳ型の構成を有している。図９（ａ）は、本実施形態に係る各画素回路１０１Ｌ（ｉ，ｊ）の構成を示す図であり、図９（ｂ）は、この各画素回路１０１Ｌ（ｉ，ｊ）の等価回路の構成を示す図である。

本実施形態に係る各画素回路１０１Ｌ（ｉ，ｊ）は、図９（ａ）に示すように、ｎ層３１１ａ、ｐ⁺層３１１ｂ、ｎ⁺層３１１ｃ、３１１ｄ、シリコン酸化膜３１１ｅ、制御電極３１１ｆ、３１１ｇが形成されたｐ型シリコン基板３１１と、遮光膜３１２と、トランジスタＱ２１，Ｑ２２と、増幅器３１３と、によって構成される。

図９（ｂ）に示すフォトダイオードＰＤ１２は、被写体２で反射した光を受光して受光した光の量に対応する量の信号電荷を発生させて、出力するものであり、図９（ａ）に示すｎ層３１１ａとｐ⁺層３１１ｂとによって構成される。

図９（ｂ）に示すトランジスタＱ２１は、図９（ａ）に示すｐ型シリコン基板３１１とｎ層３１１ａと制御電極３１１ｆとｎ⁺層３１１ｃとによって構成される。この場合、ｎ層３１１ａ、ｎ⁺層３１１ｃ、制御電極３１１ｆが、それぞれ、トランジスタＱ２１のドレイン、ソース、ゲートになる。

図９（ｂ）に示すトランジスタＱ２２は、図９（ａ）に示すｐ型シリコン基板３１１とｎ層３１１ａと制御電極３１１ｇとｎ⁺層３１１ｄとによって構成される。この場合、ｎ層３１１ａ、ｎ⁺層３１１ｄ、制御電極３１１ｇが、それぞれ、トランジスタＱ２２のドレイン、ソース、ゲートになる。

シリコン酸化膜３１１ｅは、ｐ型シリコン基板３１１及びｐ型シリコン基板３１１に形成された各層を絶縁するためのものであり、被写体２から反射した近赤外光を透過する。

遮光膜３１２は、フォトダイオードＰＤ１２に相当するｎ層３１１ａ、ｐ⁺層３１１ｂの上部のみ開口し、この領域を除くｐ型シリコン基板３１１を遮光する。これにより、フォトダイオードＰＤ１２のみが被写体２から反射した近赤外光を受光する。

制御電極３１１ｆ，３１１ｇは、それぞれ、制御信号ＴＸ１，ＴＸ２が印加される電極である。制御電極３１１ｆに、ハイレベルの制御信号ＴＸ１が印加されると、制御電極３１１ｆ下にチャンネルが形成されて、図９（ｂ）に示すトランジスタＱ２１はオンする。

また、制御電極３１１ｇも同様に、ハイレベルの制御信号ＴＸ２が印加されると、制御電極３１１ｇ下にチャンネルが形成されて、図９（ｂ）に示すトランジスタＱ２２はオンする。

従って、ハイレベルの制御信号ＴＸ１，ＴＸ２が、それぞれ、制御電極３１１ｆ，３１１ｇに、交互に印加され、トランジスタＱ２１がオンすると、フォトダイオードＰＤ１２に蓄積された信号電荷による電流はトランジスタＱ２１のドレイン−ソースを経由して垂直信号線Ｌ２１へと流れる。

一方、トランジスタＱ２２がオンすると、フォトダイオードＰＤ１２に蓄積された信号電荷による電流はトランジスタＱ２２のドレイン−ソースを経由して垂直信号線Ｌ２２へと流れる。

このように、各画素回路１０１Ｌは、ハイレベルの制御信号ＴＸ１，ＴＸ２が交互に供給されることにより、フラッシュ１３が点灯している期間Ｔｐに受光した反射光により発生した第１の信号電荷と、フラッシュ１３が消灯している期間Ｔｑに受光した反射光により発生した第２の信号電荷とに分けて出力する。

図９（ａ），（ｂ）に示すトランジスタＱ２３，Ｑ２４は、フォトダイオードＰＤ１２をリセットするためのものである。

トランジスタＱ２３，Ｑ２４のソースは、それぞれ、図９（ａ）に示すｎ⁺層３１１ｃ、３２１ｄに接続され、それぞれのドレインには、電圧＋Ｖの電源ラインから電流が供給される。

増幅器３１３は、図９（ｂ）に示すトランジスタＱ２１，Ｑ２２の出力電流を増幅するためのものであり、トランジスタＱ２５〜Ｑ２７を備える。トランジスタＱ２５のドレインには、電圧＋Ｖの電源ラインから電流が供給される。

トランジスタＱ２６，Ｑ２７のドレインは、トランジスタＱ２５のソースに接続され、ソースは、それぞれ、垂直信号線Ｌ２１，Ｌ２２に接続される。トランジスタＱ２６，Ｑ２７のゲートは、それぞれ、トランジスタＱ２１，Ｑ２２のソースに接続される。

そして、トランジスタＱ２５は、ゲートにハイレベルの行選択信号Ｓ２１が供給されるとオンして、トランジスタＱ２６，Ｑ２７に電流を供給する。トランジスタＱ２１がトランジスタＱ２６のゲートに電流を供給すると、ゲート電圧はハイレベルとなって、トランジスタＱ２６はオンする。

トランジスタＱ２６は、オンして、トランジスタＱ２１の出力電流を増幅し、電流増幅した信号を信号Ｓｄ１として、この信号Ｓｄ１の信号電流を垂直信号線Ｌ２１に出力する。

また、トランジスタＱ２２がトランジスタＱ２７のゲートに電流を供給すると、トランジスタＱ２７のゲート電圧はハイレベルとなって、トランジスタＱ２７は、オンする。

トランジスタＱ２７は、オンして、トランジスタＱ２２の出力電流を増幅し、電流増幅した信号を信号Ｓｄ２として、この信号Ｓｄ２の信号電流を垂直信号線Ｌ２２に出力する。

図７に示す受光レンズ３０２は、各画素回路１０１Ｌ（ｉ，ｊ）のフォトダイオードＰＤ１２に光を集光するためのレンズである。

タイミング制御部３０３は、撮像制御部１５から供給されたクロック信号ＣＬＫのクロックタイミングに同期して、各画素回路１０１Ｌ（ｉ，ｊ）から信号Ｓｄ１，Ｓｄ２の信号電流を出力する出力タイミングを制御するためのものである。

タイミング制御部３０３は、各制御線Ｌ２３を介して各画素回路１０１Ｌ（ｉ，ｊ）に、行毎に制御信号ＴＸ１を供給する。タイミング制御部３０３は、制御信号ＴＸ１の信号レベルを、図８（ｄ）に示すように、期間Ｔｐでは、ハイレベルに設定し、期間Ｔｑでは、ローレベルに設定する。

また、タイミング制御部３０３は、各制御線Ｌ２４を介して各画素回路１０１Ｌ（ｉ，ｊ）に、行毎に制御信号ＴＸ２を供給する。タイミング制御部３０３は、制御信号ＴＸ２の信号レベルを、図８（ｅ）に示すように、期間Ｔｐでは、ローレベルに設定し、期間Ｔｑでは、ハイレベルに設定する。

垂直シフトレジスタ３０４は、行を選択して、選択した行の画素回路１０１Ｌ（ｉ，１）をリセットして、信号Ｓｄ１，Ｓｄ２の信号電流を出力する行の画素回路１０１Ｌを選択するためのものである。

垂直シフトレジスタ３０４は、第ｊ行目の画素回路１０１Ｌ（１，ｊ）〜１０１Ｌ（ｎ，ｊ）を選択する場合、図８（ｆ）に示すように、期間Ｔａ、期間Ｔｂの始めのクロック信号ＣＬＫの１周期において、それぞれ、リセット線Ｌ１５を介して、ハイレベルのリセット信号Ｒ２１を画素回路１０１Ｌ（ｉ，１）に供給する。

また、垂直シフトレジスタ３０４は、期間Ｔａ、期間Ｔｂのそれぞれのクロック信号ＣＬＫの１周期が終了すると、リセット信号Ｒ２１をローレベルに設定してリセットを終了させる。

そして、垂直シフトレジスタ３０４は、図８（ｇ）に示すように、それぞれ、期間Ｔａ，Ｔｂが終了するまで、画素回路１０１Ｌ（１，ｊ）〜１０１Ｌ（ｎ，ｊ）にハイレベルの行選択信号Ｓ２１を供給する。

サンプルホールド部３０５−１〜３０５−ｎは、列毎に、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２１を介して出力された信号Ｓｄ１の信号電流、垂直信号線Ｌ２２に出力された信号Ｓｄ２の信号電流を個別に蓄積して、それぞれの信号電圧をサンプルホールドするためのものである。サンプルホールド部３０５−１〜３０５−ｎは、それぞれ、サンプルホールド回路３２１，３２２を備える。

サンプルホールド回路３２１は、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２１を介して出力された信号Ｓｄ１の信号電流を蓄積し、蓄積した信号電流による信号電圧をサンプルホールドするものである。

サンプルホールド回路３２２は、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２２を介して出力された信号Ｓｄ２の信号電流を蓄積し、蓄積した信号電流による信号電圧をサンプルホールドするものである。

スイッチ部３０６−１〜３０６−ｎは、各サンプルホールド部３０５−１〜３０５−ｎのサンプルホールド回路３２１，３２２がそれぞれサンプルホールドした信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧の出力を制御するためのものである。

水平シフトレジスタ３０７は、スイッチ部３０６−１〜３０６−ｎから、いずれか１つのスイッチ部３０６−ｊを選択して、選択したスイッチ部３０６−ｉをオンするものである。

水平シフトレジスタ３０７は、図８（ｈ）に示すように、選択したスイッチ部３０６−ｉに、ハイレベルの列選択信号Ｓ２２を出力することにより、スイッチ部３０６−ｉをオンする。

出力バッファ３０８−１，３０８−２は、それぞれ、各サンプルホールド部３０５−１〜３０５−ｎから出力された信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧を個別に一時記憶するためのものである。

演算部３０９は、出力バッファ３０８−１，３０８−２がそれぞれ一時記憶している信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧に基づいて、被写体２までの距離を演算し、距離画像データを取得するものである。

演算部３０９は、出力バッファ３０８−１が一時記憶した信号電圧を記憶するメモリを備える。そして、演算部３０９は、サンプルホールド部のサンプルホールド回路３２１，３２２が期間Ｔａにおいて、それぞれ、サンプルホールドした信号Ｓｄ１の信号電圧Ｖ１、信号Ｓｄ２の信号電圧Ｖ２を、それぞれ、出力バッファ３０８−１，３０８−２から取得して、内蔵するメモリに記憶する。

また、演算部３０９は、サンプルホールド回路３２１，３２２が期間Ｔｂにおいて、それぞれ、サンプルホールドした信号Ｓｄ１の信号電圧Ｖ１’、信号Ｓｄ２の信号電圧Ｖ２’を、それぞれ、出力バッファ３０１−１から取得して、内蔵するメモリに記憶する。演算部３０９は、内蔵するメモリに記憶した信号電圧Ｖ１，Ｖ１’，Ｖ２，Ｖ２’に基づいて、被写体２までの距離を演算し、距離画像データを取得する。

この演算部３０９の距離画像データを取得する処理について説明する。
フォトダイオードＰＤ１２は、図８（ｂ），（ｃ）に示すように、期間Ｔａにおいて、フラッシュ１３が点灯してから、遅れ時間Ｔｄだけ遅れて、このフラッシュ光を受光する。この遅れ時間Ｔｄは、撮像装置１と被写体２と間を往復する光の飛行時間に相当するものであり、撮像装置１と被写体２と間の距離に比例する。

画素回路１０１Ｌ（ｉ，ｊ）のフォトダイオードＰＤ１２は、フラッシュ光を受光している間、信号電荷を生成する。受光した光の強度を一定として、受光した光によってフォトダイオードＰＤ１２に蓄積される信号電荷の量は、受光した時間に比例する。

信号電圧Ｖ１は、次の式（１）によって表される。
Ｖ１＝Ｇｃ・Ｎ・（Ｉｄ１・（Ｔｐ−Ｔｄ）
＋Ｉｄ１・２Ｔｐ＋Ｉｂ・Ｔｐ）
・・・・・・（１）
但し、Ｇｃ：利得
Ｎ：クロック信号ＣＬＫのパルス数
Ｉｐ：フォトダイオードＰＤ１２
が生成した信号電荷による電流（量）
Ｉｄ１：フォトダイオードＰＤ１２から
トランジスタＱ２１に流れる暗電流（の量）

信号電圧Ｖ２は、次の式（２）によって表される。
Ｖ２＝Ｇｃ・Ｎ・（Ｉｄ１・Ｔｄ＋Ｉｄ２・２Ｔｑ＋Ｉｂ・Ｔｑ）
・・・・・・（２）
但し、Ｉｄ１：フォトダイオードＰＤ１２から
トランジスタＱ２２に流れる暗電流暗電流（の量）

信号電圧Ｖ１’は、次の式（３）によって表される。
Ｖ１’＝Ｇｃ・Ｎ・（Ｉｄ１・２Ｔｐ＋Ｉｂ・Ｔｐ） ・・・（３）

信号電圧Ｖ２’は、次の式（４）によって表される。
Ｖ２’＝Ｇｃ・Ｎ・（Ｉｄ２・２Ｔｑ＋Ｉｂ・Ｔｑ） ・・・（４）

Ｔｐ＝Ｔｑであり、式（１）〜（４）より、遅れ時間Ｔｄは、次の式（５）によって表される。
（数１）
但し、
Ｖ１１＝Ｖ１＋Ｖ２
Ｖ１２＝Ｖ１’＋Ｖ２’
Ｖ１３＝Ｖ１−Ｖ１’
Ｖ１４＝Ｖ２−Ｖ２’
・・・・・・（５）

演算部３０９は、この式（５）に従い、信号Ｓｄ１の信号電圧Ｖ１，Ｖ１’、信号Ｓｄ２の信号電圧Ｖ２，Ｖ２’に基づいて遅れ時間Ｔｄを演算する。

この遅れ時間Ｔｄは、被写体２までの光の飛行時間に比例し、光の飛行時間は、被写体２までの距離に比例する。このため、演算部３０９は、遅れ時間Ｔｄに基づいて、被写体２までの距離を演算する。

演算部３０９は、このような演算を、各画素回路１０１Ｌ（ｉ，ｊ）に対して、各行、各列毎に行い、演算した距離値をアナログで出力する。

このように、演算部３０９は、各画素回路１０１Ｌが出力した２つの信号電荷の量に基づいて、フラッシュ１３が点灯してからフォトダイオードＰＤ１２が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、被写体２までの距離情報を取得するように構成されている。

Ａ／Ｄ変換器３１０は、演算部３０９が出力したアナログの距離値を距離画像データとして、ディジタルデータに変換するものである。素子駆動部１０３は、このＡ／Ｄ変換器３１０が変換した距離画像データを出力する。

図１に戻り、フレームメモリ１６は、センサ部１１の素子駆動部１０２（Ａ／Ｄ変換器２０５）、素子駆動部１０３（Ａ／Ｄ変換器３１０）からそれぞれ出力されたカラー画像データ、距離画像データを記憶するためのものであり、カラー画像領域１６ａと距離画像領域１６ｂとを有する。

カラー画像領域１６ａは、センサ部１１の素子駆動部１０２（増幅器２０４）から出力されたカラー画像データを格納するための領域であり、距離画像領域１６ｂは、センサ部１１の素子駆動部１０３（演算部３０９）から出力された距離画像データを格納するための領域である。

メモリコントローラ１７は、フレームメモリ１６への記憶処理を行うものであり、センサ部１１から出力されたカラー画像データ、距離画像データを、それぞれ、カラー画像領域１６ａ、距離画像領域１６ｂに格納する。

メモリコントローラ１７は、各画素回路１０１Ｇ（ｉ，ｊ），１０１Ｒ（ｉ，ｊ），１０１Ｂ（ｉ，ｊ）毎に、センサ部１１の素子駆動部１０２（Ａ／Ｄ変換器２０５）から出力されたカラー画像データをカラー画像領域１６ａに格納する。

また、メモリコントローラ１７は、画素回路１０１Ｌ（ｉ，ｊ）毎に、センサ部１１の素子駆動部１０３（Ａ／Ｄ変換器３１０）から出力された距離画像データを距離画像領域１６ｂに格納する。

データ処理部１８は、フレームメモリ１６に記憶されたカラー画像データ、距離画像データに対して、データ処理を施すものである。データ処理部１８は、フレームメモリ１６のカラー画像領域１６ａに記憶されているカラー画像データに基づいて、画素毎に、Ｇ，Ｒ，Ｂ成分のカラー画像を生成する。

また、データ処理部１８は、フレームメモリ１６の距離画像領域１６ｂに記憶されている距離画像データに基づいて、画素毎に、色、明度を設定して、距離画像を生成する。データ処理部１８は、生成したカラー画像、距離画像を出力する。

ＲＯＭ１９は、ＣＰＵ２１が実行するプログラム等を記憶するためのメモリである。ＲＡＭ２０は、ＣＰＵ２１が処理を実行するために必要なデータを供給するためのものである。

ＣＰＵ２１は、ＲＯＭ１９に記憶されたプログラムに従って、撮像装置１全体を制御するものである。

尚、撮像装置１は、指示情報を入力するための操作部（図示せず）を備え、この操作部に指示情報が入力されると、操作部は、この指示情報をＣＰＵ２１に供給する。

指示情報がカラー画像を取得する旨の指示を示すものであれば、ＣＰＵ２１は、フラッシュ制御部１４、センサ部１１の素子駆動部１０２にタイミング信号Ｓｔを供給する。

指示情報が距離画像を取得する旨の指示を示すものであれば、ＣＰＵ２１は、撮像制御部１５、センサ部１１の素子駆動部１０３にタイミング信号Ｓｔを供給する。

次に本実施形態に係る撮像装置１の動作を説明する。
ＣＰＵ２１は、操作部から、カラー画像を取得する旨の指示情報が供給されると、フラッシュ制御部１４、センサ部１１の素子駆動部１０２に、それぞれ、タイミング信号Ｓｔを供給する。

フラッシュ制御部１４は、ＣＰＵ２１からタイミング信号Ｓｔが供給されてフラッシュ１２を点灯する。また、センサ部１１の素子駆動部１０２は、ＣＰＵ２１からタイミング信号Ｓｔが供給されて、撮像素子１０１の画素アレイ２０１を駆動する。

Ｇ，Ｒ，Ｂ成分のカラー画像データ取得用の画素アレイ２０１において、画素回路１０１Ｇ（ｉ，ｊ），１０１Ｒ（ｉ，ｊ），１０１Ｂ（ｉ，ｊ）は、それぞれ、被写体２からの反射光を受光して、信号Ｓｉ１を出力する。

素子駆動部１０２は、各画素アレイ２０１の画素回路１０１Ｇ（ｉ，ｊ），１０１Ｒ（ｉ，ｊ），１０１Ｂ（ｉ，ｊ）からそれぞれ出力された信号Ｓｉ１に基づいて、カラー画像データを生成し、このカラー画像データを出力する。

メモリコントローラ１７は、素子駆動部１０２から出力されたカラー画像データを、Ｇ、Ｒ、Ｂ毎に、フレームメモリ１６のカラー画像記憶領域１６ａに格納する。

ＣＰＵ２１は、操作部から、距離画像を取得する旨の指示情報が供給されると、撮像制御部１５、センサ部１１の素子駆動部１０３に、それぞれ、タイミング信号Ｓｔを供給する。

センサ部１１の素子駆動部１０３は、ＣＰＵ２１からタイミング信号が供給されると、画素アレイ３０１を駆動する。画素アレイ３０１の各画素回路１０１Ｌ（ｉ，ｊ）は、期間Ｔａにおいて、パルス変調されて被写体２で反射した近赤外光を受光して、信号Ｓｄ１，Ｓｄ２の信号電流を出力する。

また、各画素回路１０１Ｌ（ｉ，ｊ）は、フラッシュ１３が消灯する期間Ｔｂにおいても、同様に、信号Ｓｄ１，Ｓｄ２の信号電流を出力する。

素子駆動部１０３は、各画素回路１０１Ｌ（ｉ，ｊ）が出力した信号Ｓｄ１，Ｓｄ２の信号電流に基づいて、距離画像データを生成し、生成した距離画像データを出力する。

メモリコントローラ１７は、素子駆動部１０３から出力された距離画像データをフレームメモリ１６の距離画像領域１６ｂに格納する。

ＣＰＵ２１は、操作部から、カラー画像及び距離画像を同時に取得する旨の指示情報が供給されると、フラッシュ制御部１４、撮像制御部１５、センサ部１１の素子駆動部１０２，１０３に、それぞれ、タイミング信号Ｓｔを供給する。

素子駆動部１０２，１０３は、撮像素子１０１の画素アレイ２０１，３０１を同時に駆動する。そして、素子駆動部１０２は、各画素アレイ２０１の各画素回路１０１Ｇ（ｉ，ｊ），１０１Ｒ（ｉ，ｊ），１０１Ｂ（ｉ，ｊ）からそれぞれ出力された信号Ｓｉ１に基づいて生成したカラー画像データを出力する。

また、素子駆動部１０３は、画素アレイ３０１の各画素回路１０１Ｌ（ｉ，ｊ）からそれぞれ出力された信号Ｓｄ１，Ｓｄ２の信号電流に基づいて生成した距離画像データを出力する。

メモリコントローラ１７は、素子駆動部１０２から出力されたカラー画像データを、Ｇ、Ｒ、Ｂ毎に、フレームメモリ１６のカラー画像記憶領域１６ａに格納し、素子駆動部１０３から出力された距離画像データを距離画像領域１６ｂに格納する。

被写体２が、図２に示す被写体２Ａ，２Ｂ，２Ｃである場合、データ処理部１８は、フレームメモリ１６のカラー画像領域１６ａに記憶されているカラー画像データに基づいて、画素毎に、色、明度を設定し、図３（ａ）に示すようなカラー画像２Ａｉ，２Ｂｉ，２Ｃｉを生成する。

また、データ処理部１８は、フレームメモリ１６の距離画像領域１６ｂに記憶されている距離画像データに基づいて、画素毎に、色、明度を設定し、図３（ｂ）に示すような距離画像２Ａｄ，２Ｂｄ，２Ｃｄを生成する。

撮像装置１は、このようにして、図３（ａ）に示すようなカラー画像２Ａｉ，２Ｂｉ、２Ｃｉと、図３（ｂ）に示すような距離画像２Ａｄ，２Ｂｄ、３ｄと、ほぼ同時に取得する。

以上説明したように、本実施形態によれば、カラー画像を取得するための画素回路１０１Ｇ、１０１Ｒ、１０１Ｂと、距離画像を取得するための画素回路１０１Ｌと、を１つの画素ユニットとして、複数の画素ユニットで撮像素子１０１が構成されるようにした。

従って、撮像素子１０１が１つにまとまり、撮像素子１０１、撮像装置１を小型化することができる。

また、撮像装置１は、画素回路１０１Ｇ，１０１Ｒ，１０１Ｂを含んで構成されたカラー画像取得部２００と、画素回路１０１Ｌを含んで構成された距離画像取得部３００とを備えるようにした。

このため、撮像素子１０１が１つにまとめられたとしても、２つの撮像素子を備えたものと同様に、カラー画像と距離画像とを同時に取得することができる。

また、カラー画像取得部２００、距離画像取得部３００を、ともにＣＭＯＳによって構成されることにより、カラー画像取得部２００、距離画像取得部３００を、それぞれ、ＣＭＯＳ、ＣＣＤで構成する場合と比較して、製造が容易となる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、撮像素子１０１は、画素回路１０１Ｇ，１０１Ｒ，１０１Ｂの各カラー画像データ、画素回路１０１Ｌの距離画像データを画素加算されるように構成されてもよい。

この場合、ＣＰＵ２１が画素加算を行う。ＣＰＵ２１は、各データの特性が異なっているため、複数の画素回路１０１Ｇ，１０１Ｒ，１０１Ｂが取得した画素データを色成分毎に画素加算し、画素回路１０１Ｌの距離画像データを異なる領域で画素加算する。

このようにＣＰＵ２１は特性の異なるデータを異なる領域で画素加算することにより、より好ましい出力を得ることができる。

例えば、ＣＰＵ２１は、図１０（ａ）に示すように、２×２の画素回路１０１Ｇ，１０１Ｒ，１０１Ｂの各カラー画像データを画素加算し、２×２の画素回路１０１Ｌの距離画像データを画素加算するように構成されてもよい。

また、ＣＰＵ２１は、図１０（ｂ）に示すように、４×４の画素回路１０１Ｇ，１０１Ｒ，１０１Ｂの各カラー画像データを画素加算し、４×４の画素回路１０１Ｌの距離画像データを画素加算するように構成されてもよい。

このように、ＣＰＵ２１が、撮像素子１０１の各画素回路１０１Ｇ，１０１Ｒ，１０１Ｂの各カラー画像データが画素加算した場合、解像度は低下するものの、カラー画像のダイナミックレンジは広くなる。

従って、カラー画像のダイナミックレンジを広くする場合、ＣＰＵ２１は、撮像素子１０１の各画素回路１０１Ｇ，１０１Ｒ，１０１Ｂの各カラー画像データを画素加算し、高解像度が要求される場合には、カラー画像データの画素加算を行わないようにしてもよい。

また、ＣＰＵ２１が、各画素回路１０１Ｌの距離画像データを画素加算した場合、解像度は低下するものの、測距精度は向上する。

従って、測距精度が要求される場合には、ＣＰＵ２１は、各画素回路１０１Ｌの距離画像データを画素加算し、解像度が要求される場合には、各画素回路１０１Ｌの距離画像データを画素加算しないようにしてもよい。

また、ＣＰＵ２１は、距離画像データを画素加算せずに、カラー画像データだけを画素加算し、あるいは、カラー画像データを画素加算せずに、距離画像データだけを画素加算するようにしてもよい。

本実施形態では、図４に示す各画素回路１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌを正方形として説明した。
各画素回路１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌの縦辺、横辺の長さを等しくして、形状を正方形とすることにより、各画素回路１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌが整列し、撮像素子１０１の製造上で都合がよい。

しかし、各画素回路１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌの形状は、正方形に限られるものではなく、縦横の長さを異なるものとしてもよい。

例えば、画素回路１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌのサイズを異なるものにしてもよい。図１１（ａ）は、画素回路１０１Ｇの縦辺の長さｙ１１を画素回路１０１Ｂの縦辺の長さｙ１２よりも長く、２倍とし、画素回路１０１Ｇの横辺の長さｘ１１を画素回路１０１Ｒの横辺の長さｘ１２よりも長く、２倍とした撮像素子１０１を示す。

このようにすることにより画素回路１０１Ｇの面積は、画素回路１０１Ｒ，１０１Ｂ，１０１Ｌのそれぞれの面積よりも大きくなる。

人間の目には、Ｇ成分の光は、Ｒ，Ｂ成分よりも被視感度が高い。従って、人間の目で見る画像をきれいな画像として認識させる場合、この被視感度が高いＧ成分の光を検知する画素回路１０１Ｇの面積を、画素回路１０１Ｒ，１０１Ｂの面積よりも大きくする構成は、有効である。

また、図１１（ｂ）は、画素回路１０１Ｌの横辺の長さｘ２１と画素回路１０１Ｇの横辺の長さｘ２２とを同じにして、画素回路１０１Ｇの縦辺の長さｙ２１を画素回路１０１Ｂの縦辺の長さｙ２２の２倍とした撮像素子１０１を示す。

このように構成されることにより、画素回路１０１Ｌの面積は、画素回路１０１Ｒ，１０１Ｂのそれぞれの面積よりも大きくなる。

画素回路１０１Ｌは、フラッシュ１３が投光した光を受光して距離を求めている。従って、測定精度を高める場合、この構成は有効である。

また、図１１（ｂ）は、画素回路１０１Ｌの横辺の長さを画素回路１０１Ｇの横辺の長さを同じにして、画素回路１０１Ｇの縦辺の長さを画素回路１０１Ｂの縦辺の長さの２倍とした撮像素子１０１を示す。

この図１１（ａ），（ｂ）に示すように、画素回路１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌのサイズを異なるものとすることにより、ＲＧＢのダイナミックレンジを従来の撮像素子と同じにすることができる。

また、撮像素子１０１の単位画素をＸＧＡ（eXtended Graphics Array）状に配列したときに、撮像素子１０１の縦横比が黄金比となるように、単位画素のサイズが設定されてもよい。

また、各画素回路１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌの配置は、図４に示すような配置に限られるものではない。例えば、画素回路１０１Ｒ，１０１Ｂは、図４に示す位置から入れ替えて配置されてもよい。

上記実施形態では、撮像素子１０１は、Ｇ成分用の画素回路１０１Ｇと、Ｒ成分用の画素回路１０１Ｒと、Ｂ成分用の画素回路１０１Ｂと、を備えるようにした。しかし、色成分は、このものに限られず、例えば、補色系のＣ成分用、Ｍ成分用、Ｙ成分用の画素回路を備えるようにしてもよい。

また、撮像素子１０１は、複数のシリコンフォトダイオード、セレン、硫化カドミウム、ゲルマニウム、あるいはシリコンを用いた他のデバイスによって構成されたものであってもよい。

カラー画像取得部２００、距離画像取得部３００は、ＣＭＯＳ型のイメージセンサによって構成されるものとは限られず、ＣＣＤ型のイメージセンサによって構成されてもよい。距離画像取得部３００については、ＣＣＤ型のイメージセンサとして、例えば、特開２００６−１５３７７３号公報に記載された距離画像センサによって構成されることができる。

また、上記実施形態において、距離を測定する距離画像センサとして図９に示すような構造を有するものを用いた。しかし、距離画像センサは、このものに限られるものではない。例えば一画素置きに配置される距離画素３つで、それぞれ図９のｎ⁺層３１１ｃ、ｐ⁺層３１１ｂ、ｎ⁺層３１１ｄとなるように構成しても構わない。このように構成することにより、設計の自由度が向上する。

また、上記実施形態において、距離を測定する為の画素はＲＧＢの輝度を測定する画素とは全く異なる構造を有しているものとして説明したが、このようではなくとも構わない。すなわち、ＣＭＯＳ、ＣＣＤを用いて距離を測定することもできる。

通常のＣＭＯＳやＣＣＤにおいても近赤外線や紫外線を受光することが出来ると共に、現状の撮像素子においては、その動作速度から、特に近距離の近赤外線や紫外線が被写体に反射して帰ってくる時間を計測するのには、その測定精度に問題があるが、強力な近赤外線や紫外線を使用して、比較的長距離を測定する場合においては、特段特殊な構造の撮像素子を用いなくとも、距離を測定することは可能であると共に、将来撮像素子の性能が向上すれば、距離の測定も可能になり、距離を測定するための画素をこのように構成しても構わない。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。 図１に示す撮像装置が被写体を撮像する例を示す図である。 撮像装置が被写体を撮像したときの画像を示す図であり、（ａ）は、撮像装置が取得した被写体のカラー画像を示し、（ｂ）は、撮像装置が取得した距離画像を示す。 図１に示す撮像素子の構成を示す図である。 図１に示す撮像装置が備えるカラー画像取得部の構成を示す図である。 図５に示すカラー画像取得部の画素回路の構成を示す。 図１に示す撮像装置が備える距離画像取得部の構成を示す図である。 図７に示す距離画像取得部の動作を示すタイミングチャートである。 図７に示す距離画像取得部の画素回路の構成を示す図であり、（ａ）は、画素回路のフォトダイオード及びその周辺の断面を示し、（ｂ）は、（ａ）の等価回路を示す。 図１に示す撮像素子の応用例を示す図であり、（ａ）は、２×２の画素を画素加算した例を示し、（ｂ）は、４×４の画素を画素加算した例を示す。 図１に示す撮像素子の応用例として、Ｇ成分用の画素回路のサイズを大きくした撮像素子を示す図であり、（ａ）は、Ｒ成分用の画素回路を距離画像用の画素回路よりも、サイズを大きくした例を示し、（ｂ）は、距離画像用の画素回路をＲ成分用の画素回路よりも、サイズを大きくした例を示す。

符号の説明

１・・・撮像装置、１０１・・・撮像素子、１０１Ｇ，１０１Ｒ，１０１Ｂ，１０１Ｌ・・・画素回路、２００・・・カラー画像取得部、３００・・・距離画像取得部

Claims (12)

1. 撮像対象の被写体で反射した光を受光して、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するための第１の画素部と前記被写体までの距離情報を含めた第２の画像を取得するための第２の画素部とを備えた撮像素子と、
   前記第１の画像を取得するように複数の前記第１の画素部を駆動する第１の素子駆動部と、
   前記第２の画像を取得するように複数の前記第２の画素部を駆動する第２の素子駆動部と、を備えた、
   ことを特徴とする撮像装置。
2. 前記撮像素子は、前記第１の画素部と前記第２の画素部とを１画素ユニットとして、複数の画素ユニットが行列配置されて構成された
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記各第１の画素部は、それぞれ、前記被写体で反射した光を色成分毎に受光して信号電荷を発生させ、前記色成分毎に発生した前記信号電荷を出力する複数の受光部からなり、
   前記第１の素子駆動部は、前記色成分毎に前記複数の受光部を駆動するものである、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 光を投光する投光部と、
   前記投光部が投光する光を点滅させる投光制御部と、
   前記撮像素子の複数の第２の画素部と、
   前記各第２の画素部から出力された信号電荷に基づいて前記被写体までの距離情報を取得する演算部と、を備え、
   前記各第２の画素部は、前記投光部が投光して前記被写体で反射した点滅光を受光することにより信号電荷を生成し、生成した信号電荷を前記投光部が点灯している期間に受光した反射光により発生した第１の信号電荷と前記投光部が消灯している期間に受光した反射光により発生した第２の信号電荷とに分けて出力し、
   前記演算部は、前記各第２の画素部が出力した前記第１の信号電荷の量と前記第２の信号電荷の量とに基づいて、前記投光部が点灯してから前記受光部が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、前記被写体までの距離情報を取得する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像素子の複数の第１の画素部がそれぞれ取得した前記第１の画像のデータを色成分毎に画素加算し、複数の第２の画素部がそれぞれ取得した前記第２の画像のデータを画素加算する画素加算部を備えた、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画素加算部は、前記第１の画素部で取得した画素データと、前記第２の画素部で取得した画素データと、を異なる領域で画素加算する、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記第１の画素部は、赤色、緑色、青色の光を検知する画素部を備え、前記緑色の光を検知する画素部の面積が、前記赤色の画素部、前記青色の画素部のそれぞれの面積よりも大きくなるように構成されたものである、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の画素部は、赤色、緑色、青色の光を検知する画素部を備え、
   前記第２の画素部は、当該面積が前記第１の画素部の前記赤色の光を検知する画素部、前記青色の光を検知する画素部のそれぞれの面積よりも大きくなるように構成されたものである、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. 前記第１の画素部、第２の画素部はともにＣＭＯＳによって構成されたものである、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記投光部は、近赤外線を含む光を投影するものである、
    ことを特徴とする請求項４乃至９のいずれか１項に記載の撮像装置。
11. 前記第１の画素部が取得した第１の画像のデータと前記第２の画素部が取得した第２の画像のデータとを関連付けて記憶する記憶部を備えた、
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 撮像対象の被写体で反射した光を受光して、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するための第１の画素部と前記被写体までの距離情報を含めた第２の画像を取得するための第２の画素部とを１画素ユニットとして、複数の画素ユニットが行列配置されて構成されたことを特徴とする撮像素子。

Images