JP2011128024A - ３次元撮像装置 - Google Patents

Abstract

【課題】一つの撮像装置で距離情報と色情報の導出を実現できて立体カラー撮像画像を得る。
【解決手段】３次元撮像装置１は、光源手段２からの投射光Ｌ１として近赤外光が被計測物Ａに照射され、この投射光Ｌ１の被計測物Ａからの反射光Ｌ２を受光手段３で受光し、受光手段３の受光情報に基づいて被計測物Ａまでの距離情報を信号処理部４により導出する距離情報導出手段５２と、自然光または照明光による被計測物Ａからの反射光Ｌ２を受光手段３で受光して、この受光手段３の受光情報に基づいて被計測物ＡのＲ（赤），Ｇ（緑）およびＢ（青）の色情報を信号処理手段４により導出する色情報導出手段５３とを有して３次元画像を撮像する。
【選択図】図１

Description

本発明は、一つの撮像装置にて立体カラー撮像が可能となり、被計測物に対して奥行方向の距離情報と被計測物（面）の色情報を取得可能とする３次元撮像装置に関する。

距離計測手法の従来技術の一つとして、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）原理を用いた距離センサが特許文献１に開示されている。このＴＯＦ原理を用いたセンサ全体のブロック図を図１５に示し、センサ画素部の断面構造図を図１６に示し、センサ駆動のタイミング図を図１７に示している。

図１５において、光源１０１から対象物Ａに照射されたパルス投射光Ｌ１は、対象物Ａで反射されてパルス反射光Ｌ２となり、レンズ１０２を透過してＴＯＦ画素回路１０３に入射される。

このＴＯＦ画素回路１０３において単位画素構造を図１６に示している。

図１６において、対象物Ａからのパルス反射光Ｌ２は、フォトゲート電極１０４，１０５を透過し、フィールド酸化膜である絶縁層１０６下の光電変換領域である受光層１０７に入射される。この受光層１０７で入射光から光電変換された信号電荷は、図１７に示されるセンサ駆動タイミングに従って、ＴＸ１，ＴＸ２のトランスファーゲートにより電荷振分け動作が実行されて、最終的に図１５に示される出力端子Ｖ１，Ｖ２より各電圧値として外部に出力される。求めるべき対象物Ａまでの距離値は、後述する数６（式６）より算出可能である。

なお、１０８はＰ型シリコン基板などの半導体基板、１０９，１１０は浮遊拡散層、１１１，１１２はポリシリコンゲート、１１３は、受光層１０７の上方に開口する開口部１１３ａを持つ遮光部、１１４，１１５はＭＯＳトランジスタである。

このように、特許文献１では、ＴＯＦ原理を用いて観測すべきパラメータである光の飛行時間（図１７ではＴｄ）を、ＴＯＦ画素回路１０３（センサ）からの出力電圧Ｖ１，Ｖ２を観測することにより、ＴＯＦ原理による距離計測を実現させている。つまり、観測すべき光の飛行時間Ｔｄは、光源１０１からのパルス光の点灯時間Ｔ０とセンサからの出力電圧Ｖ１とＶ２が確定すれば求められる。パルス光の点灯時間のＴ０は設定値であるため既知であり、未知数はセンサからの出力電圧のＶ１，Ｖ２のみであることから、センサからの出力電圧Ｖ１，Ｖ２のみを観測することにより、求めるべき対象物Ａまでの距離計測が可能となる。

次に、別の距離計測手法として、ステレオカメラによる距離計測精度の向上を図ったものとして、レンズ特性バラツキなどに起因した視差検出誤差に対する補正により、距離計測精度を向上させたステレオカメラが特許文献２に開示されている。

特許文献２に開示されているステレオカメラの距離計測原理として、２個のカメラで撮像した画像に対して、左右の画像（一方の画像を基準画像と定義、残る他方を比較画像と定義）内に存在する同一物体での一致度を判定するパターンマッチング処理により、視差（左右の画像に存在する同一物体での位置のズレ量）を確定させ、確定させたズレ量を基に、三角測量の原理を用いて被写体Ａまでの距離を算出するものである。

このように、ステレオカメラでは、２個のカメラで撮像した左右の画像内に存在する同一物体に対するパターンマッチング処理が不成立の場合、距離計測ができないという致命的な課題がある。

また、パターンマッチング処理が不成立に至らないにしても、２個のカメラで用いるレンズ特性のバラツキなどにより、確定した視差データに誤差が生じ、得られる距離値の精度が低下するという課題も有している。

このようなレンズ特性バラツキなどによる距離精度低下の課題に対しては、特許文献２では、予め用意した画角修正比テーブルを用いて視差を補正して距離精度の向上を図っている。

また、用いる２個のカメラは、カラーフィルタ搭載のイメージセンサでもよく、カラー表示に必要な色情報の導出も可能となる。

特許第４２８０８２２号公報（特開２００５−２３５８９３号公報） 特許第３２６１１１５号公報（特開２００１−９１２４５号公報）

しかしながら、上記従来の特許文献１では、フィールド酸化膜下を光電変換された信号電荷の転送チャネルとして使用しているため、本質的に結晶欠陥に起因した界面捕獲準位（原子配列が不規則となる界面でのキャリアの再結合・生成準位）によるノイズを低減させることが困難であった。このノイズは、暗電流として顕著に観測することができる。具体的には、センサ受光部を完全に遮光して距離計測を行った場合、期待される計測距離値は全ての画素で同一であるべきであるが、得られる計測距離値は全ての画素で同一でなく、画素によって計測距離値にばらつきがある。また、この暗電流は温度依存性があるため、センサ動作状態によって距離計測値が異なるという課題も有している。このため、この距離センサによる計測距離精度は高くない。

また、上記従来の特許文献１では、光源１０１からの投射光Ｌ１による距離計測手法については、その具体的な実現手法の記載があるものの、カラー表示で必要となる色情報の導出については、その記載が全くなく、カラー表示のための色情報の導出が不可能であると言える。

即ち、特許文献１に記載の距離センサでは、用いる画素構造が本質的にノイズを低減できない構造であるため、距離センサで重要となる距離精度の向上が困難であるという課題と、カラー表示で必要となる色情報の良好な導出が不可能であるという課題とを有している。

次に、上記従来の特許文献２では、距離値導出の必須条件として、２個のカメラにより取得した基準画像と比較画像との間で、同一物体に対するパターンマッチング処理による視差確定がある。しかしながら、物体の陰になって一方のカメラでは見えるが、もう一方のカメラには見えない場合（オクルージョン）、視差不確定により距離値の導出できないという致命的な課題がある。

また、視差確定のためのパターンマッチング処理は計算リソースを必要とするため、高い動画応答性が要求される高速被写体の計測用途に対しては、適用が困難であるという課題がある。

さらに、２個のカメラで取得した画像を用いて視差を確定させ、三角測量の原理により距離を導出するため、広範囲な距離計測を行う場合、２個のカメラの配置間隔（基線長）が長くなり、距離計測装置としてのサイズが大きくなるという課題もある。

即ち、特許文献２に記載のステレオカメラでは、距離計測には２個のカメラが必要であり、パターンマッチングによる視差確定が不可の場合、距離計測ができないという致命的な課題と、パターンマッチング処理が計算リソースを必要とするため、高速被写体への距離計測へ適用ができないという課題と、距離計測原理に三角測量を用いているため、高範囲な距離計測を行う場合には、装置自体のサイズが大きくなってしまうとういう課題を有している。

本発明は、上記従来の問題を解決するもので、一つの撮像装置で距離情報と色情報の導出を実現できて立体カラー撮像画像を得ることができる３次元撮像装置を提供することを目的とする。

本発明の３次元撮像装置は、投射光を被計測物に照射し、該投射光の該被計測物からの反射光を受光してその受光情報に基づいて該被計測物までの距離情報を導出する距離情報導出手段と、該投射光以外の光による該被計測物からの反射光を受光してその受光情報に基づいて該被計測物の色情報を導出する色情報導出手段とを有してカラー３次元画像を得るものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の３次元撮像装置における距離情報導出手段は、前記投射光を照射する光源手段と、該投射光の投射空間からの反射光を受光して、該投射空間の前記被計測物までの距離に応じた受光情報を得る複数の距離画素部が配設された受光手段と、該受光情報から該被計測物までの距離情報を算出する距離情報算出手段とを有する。

さらに、好ましくは、本発明の３次元撮像装置における複数の距離画素部はそれぞれＴＯＦ（タイム・オブ・フライト）式距離画像センサである。

さらに、好ましくは、本発明の３次元撮像装置における色情報導出手段は、色情報導出用の色画素部が所定の色配列で周期的に配置された受光手段と、該受光手段からの受光情報に基づいて色情報を算出する色情報算出手段とを有する。

さらに、好ましくは、本発明の３次元撮像装置における受光手段は、距離情報導出用の距離画素部が周期的に配置され、該距離画素部以外の色情報導出用の色画素部が所定の色配列で周期的に配置されている。

さらに、好ましくは、本発明の３次元撮像装置における受光手段の距離画素部は、１画素当り２つの信号出力を得るべく、光電変換用の１つの埋め込みフォトダイオードと、該埋め込みフォトダイオードで光電変換された信号電荷をフローティング領域に電荷転送する信号転送手段、電荷転送前に該フローティング領域を基準電位にリセットするリセット手段、電荷転送後の該フローティング領域の電位に基づいて信号増幅する信号増幅手段および、該信号増幅手段で信号増幅した信号を選択出力する選択手段を各々２つから成る素子構成とを、距離情報導出の基本画素構成とし、該基本画素構成が画素アレイ部に周期的に配置されている。

さらに、好ましくは、本発明の３次元撮像装置における受光手段の距離画素部は、距離導出精度向上のために光電変換領域に埋め込みフォトダイオードが用いられている。

さらに、好ましくは、本発明の３次元撮像装置における受光手段の距離画素部は、空乏層幅が拡大するように該埋め込みフォトダイオードの基板深さ方向での不純物濃度が制御されて電荷捕獲効率が高められている。

さらに、好ましくは、本発明の３次元撮像装置における２つの信号出力の電荷振り分け動作を高速に行うべく、前記埋め込みフォトダイオードに隣接配置した信号転送用トランジスタの信号電荷転送チャネル領域に、多段の不純物濃度勾配により急峻な電位勾配が設けられた。

さらに、好ましくは、本発明の３次元撮像装置における２つの信号出力の電荷振り分け動作を高速に行うべく、前記埋め込みフォトダイオードに隣接配置した信号転送用トランジスタの信号電荷転送チャネル領域に対して該埋め込みチャネルにより半導体表面での散乱による移動度低下が低減されている。

さらに、好ましくは、本発明の３次元撮像装置における埋め込みフォトダイオードに電荷排出端子が設けられ、距離情報導出で不要となる前記光源手段がオフ期間に光源以外からの光により光電変換された電荷を、光源オフ期間背景光成分の不要電荷として該電荷排出端子から排出させる。

さらに、好ましくは、本発明の３次元撮像装置における光源手段がオン期間に全ての光成分により光電変換された電荷（光源オン期間全光成分）を読出し、次に、該光源手段をオフさせかつ該光源手段のオン期間と同一時間幅で光源以外からの光により光電変換された電荷（光源オフ期間背景光成分）を読出し、該光源オン期間全光成分から該光源オフ期間背景光成分を減算処理することにより、距離情報導出で不要となる該光源手段がオン期間に光源以外からの光により光電変換された不要電荷を除去する。

さらに、好ましくは、本発明の３次元撮像装置における受光手段の色画素部は、１画素当り１つの信号出力を得るべく、光電変換用の１つの埋め込みフォトダイオードと、該埋め込みフォトダイオードで光電変換された信号電荷をフローティング領域に電荷転送する信号転送手段、電荷転送前に該フローティング領域を基準電位にリセットするリセット手段、電荷転送後の該フローティング領域の電位に基づいて信号増幅する信号増幅手段および、該信号増幅手段で信号増幅した信号を選択出力する選択手段を各々１つから成る素子構成とを、色情報導出の基本画素構成とし、該基本画素構成が画素アレイ部に周期的に配置したことにより、計測面での色情報導出の基となる輝度情報を取得する。

さらに、好ましくは、本発明の３次元撮像装置において、距離情報導出と色情報導出を１つの撮像装置で実現させるべく、距離情報導出用の距離画素上には距離情報導出で用いる投射光の近赤外光帯域のみを透過する近赤外光バンドパスフィルタを用い、各色情報導出用の色画素上には色情報導出で用いる光であるＲ（赤），Ｇ（緑），Ｂ（青）光帯域のみを透過するＲ（赤），Ｇ（緑），Ｂ（青）光バンドパスフィルタを画素選択的に各々積層形成する。

さらに、好ましくは、本発明の３次元撮像装置において、距離情報導出用の距離画素で欠落するＲ（赤），Ｇ（緑），Ｂ（青）の色情報を補間させるべく、距離情報導出用の距離画素から得られる近赤外光波長帯域での輝度情報と、隣接のＲ（赤），Ｇ（緑），Ｂ（青）の色情報導出用の色画素の輝度情報とに基づいて、Ｒ（赤），Ｇ（緑），Ｂ（青）の色情報を補間する。

上記構成により、以下、本発明の作用を説明する。

本発明においては、投射光を被計測物に照射し、投射光の被計測物からの反射光を受光してその受光情報に基づいて被計測物までの距離情報を導出する距離情報導出手段と、投射光以外の光による被計測物からの反射光を受光してその受光情報に基づいて被計測物の色情報を導出する色情報導出手段とを有して３次元画像を撮像する。

これによって、一つの撮像装置で距離情報と色情報の導出を実現できて立体カラー撮像画像を得ることが可能となる。

また、受光手段の距離画素部は、距離導出精度向上のために光電変換領域に埋め込みフォトダイオードを用いているので、ノイズの低減により距離精度の向上が図られる。

以上により、本発明によれば、一つの撮像装置にて、被計測物までの距離情報の導出手段と、被計測物の色情報の導出手段により、被計測物に対するカラー立体撮像画像を、低コストでかつ小型に実現することができる。また、受光手段の距離画素部が、距離導出精度向上のために光電変換領域に埋め込みフォトダイオードを用いているため、撮像装置内の画素部のノイズ低減により、計測距離精度とカラー画質を向上させることもできる。

本発明の３次元撮像装置を説明するための概念図である。 本発明の実施形態１を示す３次元撮像装置における要部構成例を示すブロック図である。 図２の画素アレイにおいて距離画素と色画素の配置例を示す平面模式図である。 図２の画素アレイにおける距離画素の単位基本構成例を模式的に示す縦断面図および回路図である。 図２の画素アレイにおける距離画素の駆動タイミングを示す波形図である。 図２の画素アレイにおいて距離画素での信号転送を説明するための図である。 図２の画素アレイにおける距離画素の平面構成例を模式的に示す拡大平面図である。 図２の画素アレイにおける距離画素の埋め込みチャネル型電荷転送ゲートを模式的に示す図である。 図２の距離情報算出部において不要信号を除去する場合の概念説明図である。 図２の距離情報算出部において光源オン期間の背景成分を除去する場合の距離画素Ｄの駆動タイミングを示す波形図である。 図２の距離情報算出部において距離画素Ｄに不要電荷転送ゲートを設けた平面構成例を模式的に示す拡大平面図である。 図２の画素アレイにおける色情報導出用の色画素の単位基本構成例を模式的に示す縦断面図および回路図である。 透過波長帯域を設定可能な光学バンドパスフィルタの画素選択的形成方法を示す図である。 図２の画素アレイにおける距離画素で欠落するＲ，Ｇ，Ｂの色情報の補間で用いるテーブルを示す図である。 特許文献１に開示されている従来のＴＯＦ方式距離センサのブロック図である。 図１５の従来のＴＯＦ方式距離センサの単位センサ画素部の構造図であって、（ａ）はその単位センサ画素部の縦断面図、（ｂ）はその単位センサ画素部の平面図である。 図１５の従来のＴＯＦ方式距離センサのセンサ駆動タイミングを示す信号波形図である。 距離情報に基づいた３次元座標表示を示す図である。 立体表示の視差バリア方式を説明するための図である。

以下に、本発明の３次元撮像装置の実施形態１〜３について具体的に説明する前に、一つの撮像装置により、距離情報導出手段と色情報導出手段とを有する３次元撮像装置の概念について説明する。

図１は、本発明の３次元撮像装置を説明するための概念図である。

図１において、本発明の３次元撮像装置１は、一つの撮像装置内に、パルス状の近赤外線の投射光Ｌ１を被計測物Ａに向けて光投射する光源手段２と、被計測物Ａから反射された反射光Ｌ２である近赤外線光と自然光または照明光を受光して光電変換を行う受光手段３と、近赤外線光と自然光または照明光から光電変換されたキャリアに対して信号処理を行う信号処理手段４とを設け、この信号処理手段４により距離情報の導出と色情報の導出とを行う。

即ち、本発明の３次元撮像装置１は、光源手段２からの投射光Ｌ１として近赤外光が被計測物Ａに照射され、この投射光Ｌ１の被計測物Ａからの反射光Ｌ２を受光手段３で受光し、受光手段３の受光情報に基づいて被計測物Ａまでの距離情報を信号処理部４により導出する距離情報導出手段５２と、自然光または照明光による被計測物Ａからの反射光Ｌ２を受光手段３で受光して、この受光手段３の受光情報に基づいて被計測物ＡのＲ（赤），Ｇ（緑）およびＢ（青）の色情報を信号処理手段４により導出する色情報導出手段５３とを有して３次元カラー画像を撮像する。

距離情報導出手段５２は、投射光Ｌ１を照射する光源手段２と、投射光Ｌ１の投射空間からの反射光Ｌ２を受光して、投射空間の被計測物Ａまでの距離に応じた受光情報を得る複数の距離画素Ｄ（または距離画素部）が配設された受光手段３と、この受光情報から被計測物Ａまでの距離情報を算出する距離情報算出手段としての距離情報算出部４１３とを有している。

色情報導出手段５３は、色情報導出用の色画素（または色画素部）が所定の色配列で周期的に配置された受光手段３と、受光手段３からの受光情報に基づいて色情報を算出する色情報算出手段としての色情報算出部４１４とを有している。

（実施形態１）
本実施形態１では、本発明の３次元撮像装置１の距離情報導出手段の一例について、図面を参照しながら詳細に説明する。

図２は、本発明の実施形態１を示す３次元撮像装置における要部構成例を示すブロック図である。

本実施形態１の３次元撮像装置１０は、パルス状の近赤外線光を被計測物Ａに向けて光投射する光源手段２としての発光モジュール２１と、被計測物Ａからの反射光および自然光を受け、この受光情報に基づいて、被計測物Ａまでの距離情報および色情報を導出する受光手段３および信号処理手段４で構成された受光・信号処理モジュール５とを有してカラー３次元画像を得る。

光源手段２としての発光モジュール２１は、後述する信号処理ユニット４１のタイミング制御部４１１により投射光の発光タイミングが制御されるパワーＬＥＤ駆動回路ユニット２１１と、パワーＬＥＤ駆動回路ユニット２１１により駆動されて複数のパワーＬＥＤ２１２ａから投射光を発光するパワーＬＥＤユニット２１２と、少なくとも１つ以上のパワーＬＥＤ２１２ａが設けられたパワーＬＥＤ駆動回路ユニット２１２の前方位置に配置されて対象物体Ａに対する投射光の放射角を調整可能とする放射光角調整レンズ２１３とを有している。

このように、発光モジュール２１は、パワーＬＥＤ駆動回路ユニット２１１、パワーＬＥＤユニット２１２および放射光角調整レンズ２１３とから構成され、受光・信号処理モジュール５内の信号処理ユニット４１のタイミング制御部４１１により生成されるパワーＬＥＤ駆動用信号に基づいて、近赤外光線を被計測物Ａに対して各パワーＬＥＤ２１２ａからパルス状に投射させている。

ここで、パワーＬＥＤ駆動回路ユニット２１１は、パワーＬＥＤユニット２１２内にアレイ状に配置させたパワーＬＥＤチップに対して、駆動に必要な定電流を、パワーＬＥＤ駆動用信号に基づいて一定周期の矩形波を与えている。また、放射角調整レンズ２１３の画角は、受光・信号処理モジュール５内の入射角調整レンズ５１の画角と一致するように調整させている。これは、光源手段２としての発光モジュール２１から投射させた近赤外光線が被計測物Ａで反射させ、受光手段３としての受光センシングユニット３１に入射させる反射光の経路において、この反射光の利用効率を向上させるという観点から重要である。その結果として、本実施形態１の３次元撮像装置１０の主要性能である計測距離精度を維持しながら、現時点ではコスト的に高いパワーＬＥＤユニット２１２のコスト抑制が可能となっている。

受光・信号処理モジュール５は、入射光角調整レンズ５１、受光センシングユニット３１および信号処理ユニット４１を有している。

受光手段３としての受光センシングユニット３１は、各画素を構成する複数の受光部である画素アレイ３１１と、各画素（受光部）からの信号読出用のタイミング信号を生成するタイミング生成回路３１２と、各画素（受光部）を垂直方向に走査する垂直走査回路３１３および、各画素（受光部）を水平方向に走査する水平走査回路３１４と、このタイミング信号を用いて垂直走査回路３１３および水平走査回路３１４を制御して各画素（受光部）からの信号読み出しを駆動する画素駆動回路３１５と、画素駆動回路３１５により画素アレイ３１１から読み出された画像信号に対してノイズキャンセル処理を行うノイズキャンセル回路３１６と、ノイズキャンセル回路３１６からの出力信号をＡ／Ｄ変換して信号出力するＡＤＣ回路３１７と、ＡＤＣ回路３１７からのデジタル信号を増幅して出力する出力増幅回路３１８とを有している。

信号処理手段４としての信号処理ユニット４１は、３次元撮像装置１０全体を制御するために必要な各種制御部から構成されており、パワーＬＥＤドライバ２１および受光センシングユニット３１の各駆動タイミングをそれぞれ制御するタイミング制御手段としてのタイミング制御部４１１と、各種システムと交信するためのインターフェイス手段としてのインターフェイス部４１２と、受光センシングユニット３１からの受光情報（物体までの距離に関する情報）に基づいて距離情報を算出する距離情報算出手段としての距離情報算出部４１３と、受光センシングユニット３１からの受光情報（物体の色に関する情報）に基づいて色情報を算出する色情報算出手段としての色情報算出部４１４と、ホワイトバランス処理を行うホワイトバランス部４１５と、表示画面に対応したγ補正部４１６とを有して、受光センシングユニット３１からの受光情報に基づいて距離情報と色情報を求める。

ここで、本実施形態１の３次元撮像装置１における距離情報導出手段５２の一例について詳細に説明する。

まず、被計測物Ａで反射された発光モジュール２１からの近赤外線パルス光は、入射角調整レンズ５１を通して受光センシングユニット３１内の画素アレイ３１１に入射される。画素アレイ３１１には、距離情報導出用の画素（以下、距離画素Ｄという）が、図３に示すように周期的に配置されている。また、Ｒ，Ｇ，Ｂと示される画素が色情報導出用の画素（以下、色画素という）であり、Ｂが青色、Ｇが緑色、Ｒが赤色の色情報導出用の色画素をそれぞれ示している。

このように、画素アレイ３１１において、距離情報導出用の距離画素Ｄが周期的に複数配置され、距離画素Ｄ以外の色情報導出用の色画素部が所定の色配列（例えばベイヤー配列）で周期的に配置している。複数の距離画素Ｄはそれぞれ、詳細に後述するが、ＴＯＦ（タイム・オブ・フライト）式距離画像センサで構成されている。この距離画素Ｄの基本画素構成（模式図）と回路図を図４に示している。

図４に示すように、距離画素Ｄの中央に配置された埋め込みフォトダイオードＢＰＤに入射された近赤外線パルス光は、ここで、光電変換されて光子から半導体内キャリアとしての電子へと変換される。図４に示される光電変換領域である埋め込みフォトダイオードＢＰＤは、高濃度ｐ型基板上に低濃度ｐエピタキシャル層、低濃度ｎ層とシリコン最表面にｐ型層を積層させた埋め込みフォトダイオードを用いることによって、フォトゲート方式（特許文献１の光電変換領域に採用している方式）やフォトダイオード方式で課題となる結晶欠陥起因のノイズ発生を抑制している。また、距離画素の埋め込みフォトダイオードＢＰＤに入射する近赤外線光の波長は可視光に比べて長いため、シリコン基板内部まで入射する。このため、光電変換領域である埋め込みフォトダイオードＢＰＤでの電荷捕獲効率を高めるために、基板深さ方向での空乏層幅を拡大させるために、ｐｎ接合での低濃度ｐエピタキシャル層と低濃度ｎ層の濃度制御を、次の数１（式１）に示される空乏層幅ｘｄと、ｐ，ｎ層の不純物濃度ＮＡ，ＮＤの関係式などを用いて制御する。これによって、画素アレイ３１１の距離画素Ｄは、空乏層幅が拡大するように埋め込みフォトダイオードＢＰＤの基板深さ方向での不純物濃度が制御されて電荷捕獲効率が高められている。

この場合、ｑは電子の電荷量，ε０は真空の誘電率，εＳはシリコンの比誘電率，Ｖｂは拡散電位，ＶＲは逆バイアス電圧をそれぞれ表している。

光電変換された電子は、図５の距離画素Ｄの駆動タイミング図に示されるタイミングに従って、浮遊拡散層ＦＤ１，ＦＤ２上に設けた出力端子Ｖ１，Ｖ２から距離画素Ｄ内の信号増幅手段としての信号増幅トランジスタＭＡ１，ＭＡ２をそれぞれ経て、更に選択手段としての選択トランジスタＭＳ１，ＭＳ２をそれぞれ経て各列信号線にそれぞれ接続されたノイズキャンセル回路３１６にそれぞれ入力される。

さらに、距離画素Ｄ内での駆動タイミングを、図４および図５を用いて具体的に説明する。

図５に示すように、１フレーム期間は、信号電荷蓄積期間と信号電荷読出期間とから成る。また、信号電荷蓄積期間は複数回の露光期間から成り、１露光期間は、信号電荷転送期間と不要電荷排出期間から成っている。信号電荷転送期間は、被計測物Ａからの反射光により埋め込みフォトダイオードＢＰＤにて光電変換された信号電荷の電子を、転送ゲートＴｘ１，Ｔｘ２を用いて電荷蓄積領域である浮遊拡散層ＦＤ１，ＦＤ２に対して電荷転送する期間である。

浮遊拡散層ＦＤ１，ＦＤ２への電荷転送は、転送ゲートＴｘ１，Ｔｘ２の位相反転駆動（ある時点に着目すれば、どちらか一方の転送ゲートのみがオンされた状態）により実行される。これによって、被計測物Ａまでの距離に応じて生じる遅延時間（パルス光の飛行時間Ｔｄ）は、上述した信号電荷の転送による電荷振り分け動作にて間接的に観測することが可能になる。また、不要電荷排出期間では、図７の距離画素Ｄの平面構造図に示されるように、埋め込みフォトダイオードＢＰＤに隣接配置した電荷排出ゲートＣＤ１，ＣＤ２を上下にそれぞれ用いて、近赤外線パルス光源を消灯させた期間に背景光などにより発生する不要電荷を電荷排出ゲートＣＤ１，ＣＤ２から排出させている。

さらに、距離画素Ｄ内での信号電荷の動きを、図５および図６の距離画素Ｄの信号転送図を用いて、Ｖ１端子方向への電荷転送に着目して具体的に説明する。

図６に示すように、信号電荷蓄積期間前（図６の状態１）のフローティング領域としての浮遊拡散層ＦＤ１の電位は基準電位である電源電圧Ｖｄｄに固定化されていないため、１フレームの開始に当っては浮遊拡散層ＦＤ１の電位をリセット手段としてのリセットトランジスタＭＲ１のオンにより基準電圧の電源電圧Ｖｄｄに固定化する（図６の状態２）。

続いて、リセット・トランジスタＭＲ１をオフして浮遊拡散層ＦＤ１の電位を信号増幅手段としての信号増幅トランジスタＭＡ１に与え、リセット信号として受光センシングユニット３１内のノイズキャンセル回路３１６に入力させる（図６の状態３）。

さらに、信号電荷蓄積期間内に複数回実行される埋め込みフォトダイオードＢＰＤから浮遊拡散層ＦＤ１への信号電荷転送について説明する。

埋め込みフォトダイオードＢＰＤに入射した近赤外線パルス光は、光電変換により信号電荷の電子へ変換され、転送ゲートＭＴＸ１のオンにより電位の高い浮遊拡散層ＦＤ１へ電荷転送される（図６の状態４）。

シリコン半導体内でのキャリアの輸送を考慮すると、キャリア電子の転送経路内での位置をｘ，電位をＶ（ｘ），キャリア電子の移動度をμとすると、キャリア電子の速度ｖ（ｘ）とキャリア電子にかかる電界Ｅ（ｘ）はそれぞれ、次の数２（式２）および数３（式３）で表すことができる。

これらの式２および式３により、キャリアを高速に転送しようとすれば、移動度μと電界Ｅを高めればよいことがわかる。図６に示すように、転送ゲート下のキャリア電子の転送チャネル部分に対して、ポケット注入を用いて不純物濃度Ｐが、Ｐ１＞Ｐ２＞Ｐ３となるように濃度制御を行い、埋め込みフォトダイオードＢＰＤから浮遊拡散層方向への電位勾配にて電界を高め、高速なキャリア電子の電荷転送を実現させている。このように、２つの信号出力の電荷振り分け動作を高速に行うべく、埋め込みフォトダイオードＢＰＤに隣接配置した信号転送用トランジスタＭＴＸ１の信号電荷転送チャネル領域に、多段の不純物濃度勾配（Ｐ１＞Ｐ２＞Ｐ３）により急峻な電位勾配が設けられている。

また、キャリア電子の移動度は、転送チャネルがシリコン表面層に形成されると、表面散乱による移動度の低下が生じる。図８に示されるように、転送ゲート下のシリコン表面層に対してイオン注入によりｎ層を形成し、キャリア転送チャネルをシリコン表面から少し内部に入ったところに形成することにより、表面散乱による移動度の低下を低減させ、高速なキャリア電子の電荷転送を実現させている。このように、Ｖ１端子およびＶ２端子からの２つの信号出力の電荷振り分け動作を高速に行うべく、埋め込みフォトダイオードＢＰＤに隣接配置した信号転送用トランジスタＭＴＸ１の信号電荷転送チャネル領域に対して埋め込みチャネルにより半導体表面での散乱による移動度低下が低減されている。

上述した電荷転送を信号電荷蓄積期間に複数回実行し、信号電荷読出期間に、パルス光信号＋リセット信号の電位を信号増幅トランジスタＭＡ１へ与え、パルス光信号＋リセット信号として列信号線を通してノイズキャンセル回路３１６に入力させる（図６の状態５）。Ｖ２端子方向への電荷転送については、Ｖ１端子方向への電荷転送と同様な方法で実行される。

受光センシングユニット３１内のノイズキャンセル回路３１６以降の信号処理については、当業者（イメージャ関連）としては公知の技術を用いて、アナログ信号をデジタル信号に変換させて出力させる。例えば、差動型ノイズ除去方式アナログＣＤＳによりノイズキャンセル処理されたアナログ信号を、シングルスロープ型カラムのＡＤＣ回路３１７によりデジタル信号に変換して、出力増幅回路３１８を経て後段のデジタル信号処理ユニット４１に信号を出力させる。

以上のように、距離画素Ｄは、１画素当り２つの信号出力（Ｖ１端子およびＶ２端子からの２つの信号出力）を得るべく、光電変換用の１つの埋め込みフォトダイオードＢＰＤと、埋め込みフォトダイオードＢＰＤで光電変換された信号電荷をフローティング領域ＦＤ１、ＦＤ２（浮遊拡散層）に電荷転送する信号転送手段としての信号転送トランジスタＭＴＸ１、ＭＴＸ２、電荷転送前にフローティング領域ＦＤ１、ＦＤ２を基準電位（電源ＶＤＤ電位）にリセットするリセット手段としてのリセットトランジスタ、電荷転送後のフローティング領域ＦＤ１、ＦＤ２の電位に基づいて信号増幅する信号増幅手段としての信号増幅トランジスタＭＡ１、ＭＡ２、および、信号増幅トランジスタＭＡ１、ＭＡ２で信号増幅した増幅信号を選択出力する選択手段としての選択トランジスタを各々２つから成る素子構成とを、距離情報導出の基本画素構成とし、この基本画素構成が画素アレイ３１１に周期的に配置されている。

上述の通り、発光モジュールから投射された近赤外パルス光は、被計測物Ａで反射され受光センシングユニット３１内の画素アレイ３１１に入射し、埋め込みフォトダイオードＢＰＤにて信号電荷としての電子へ変換される。変換された電子は、埋め込みフォトダイオードＢＰＤに隣接配置させた２つの転送ゲートＴＸ１、ＴＸ２を位相反転駆動させることにより、被計測物Ａまでの距離に応じて生じる遅延時間Ｔｄ（パルス光の飛行時間）を、信号電荷振り分け動作にて間接的に観測することが可能となる。

次に、上述したＶ１端子およびＶ２端子からの２つの信号出力として電荷振り分けされた信号（距離に応じた受光情報）に対して、距離情報算出部４１３が距離情報の導出において実行する信号処理について以下に具体的に説明する。

受光センシングユニット３１から出力される信号（距離に応じた受光情報）において、一つの距離画素Ｄからの出力値は、２つのＶ１端子およびＶ２端子からの信号電圧値Ｖｏｕｔ１および信号電圧値Ｖｏｕｔ２である。信号処理ユニット４１内の距離情報算出部４１３では、各距離画素Ｄから出力されるこれらの信号電圧値Ｖｏｕｔ１およびＶｏｕｔ２を用いて、下記算出式により被計測物Ａまでの距離値を算出する。なお、以下の説明では、一つの距離画素Ｄに着目して被計測物Ａまでの距離算出について説明するが、受光センシングユニット３１の画素アレイ３１１内には周期的に距離画素Ｄを複数配置させているため、同時に被計測物Ａの複数の点に対する３次元空間における立体的な距離計測が可能となる。つまり、被計測物Ａの面に対する立体的な距離計測が可能となっている。

図５に示されるように、投射光Ｌ１のパルス光点灯時間をＴ０、投射光Ｌ１が被計測物Ａで反射して受光センシングユニット３１の受光面である画素アレイ３１１に到達するまでの時間（以下、パルス光飛行時間または遅延時間という）をＴｄ、被計測物Ａからの反射光Ｌ２が距離画素Ｄ内の埋め込みフォトダイオードＢＰＤで光電変換により出力端子へ流れる信号電荷の光電流をＩｐｈ、光の速度をｃ、出力端子Ｖ１，Ｖ２に接続された浮遊拡散層ＦＤ１，ＦＤ２での容量をＣ１，Ｃ２とすると、単位時間内（例えば、１露光期間）にＶ１，Ｖ２端子にて検出される信号電荷量のＱ１，Ｑ２は、次の数４（式４）および数５（式５）で求められる。

上記の場合において、求める被計測物Ａまでの距離をＬとすれば、既知である光の速度ｃを用いて、次の数６（式６）のように表すことができる。

また、図４および図７に示されるように、信号電荷の転送経路は、埋め込みフォトダイオードＢＰＤを中心として、形状および濃度プロファイルが対称であるため、次の数７（式７）の条件が成り立つ。

よって、上記式４〜式７を用いて、求めようとする距離Ｌは、各式４〜式７を整理し直して、次の数８（式８）のように表すことができる。

上述した通り、式８を用いて、各距離画素Ｄから出力される信号電圧値Ｖｏｕｔ１および信号電圧値Ｖｏｕｔ２により、被計測物Ａまでの距離Ｌを求めることができる。

（実施形態２）
上記実施形態１で説明した距離情報導出手段５２では、距離値算出に用いる信号電圧値Ｖｏｕｔ１およびＶｏｕｔ２には信号成分の近赤外線パルス光以外に、不要な信号成分である太陽光や照明光（以下背景光という）などが含まれているが、本実施形態２では、距離値算出に用いる信号電圧値Ｖｏｕｔ１およびＶｏｕｔ２から不要な信号成分である背景光成分などを除去し、この背景光の不要電荷除去によって距離計測精度を向上させた距離情報導出手段５２の他の事例（ここでは図２の３次元撮像装置１０Ａの距離情報算出部４１３Ａ）について、図面を参照しながら詳細に説明する。

図９は、図２の距離情報算出部４１３Ａにおいて不要信号を除去する場合の概念説明図である。

図９（ａ）に示すように、距離画素Ｄにより読出される信号電圧値Ｖｏｕｔ１およびＶｏｕｔ２には必ず背景光などによる不要な信号成分が含まれている。微小な時間領域で考えた場合、読出される不要な信号成分は、図９（ｂ）に示すように、時間的に変動しない成分（時間不変動ノイズ；背景光や画素固有の暗電流ノイズなどに起因）と、時間的に変動する成分（時間変動ノイズ；信号読み出し経路内に存在する素子によるリセットノイズや光ショットノイズなどに起因）に分けられる。この不要な信号成分では、時間的に変動しない信号成分が支配的であり、その中でも、背景光成分による比率が最も高い。この時間的に変動しない不要信号成分は、図９（ｃ）に示されるように、同一画素において、隣接するフレーム間の差分により、完全に除去することが可能であり、残る不要信号は時間的に変動する成分のみとなる。

上述した不要信号成分の除去に関する概念に基づいて、読み出し信号に含まれる不要信号の背景光成分などの除去を、図１０の光源オン期間背景光成分除去での距離画素駆動タイミング図と、図１１の不要電荷転送ゲートＢＧを設けた距離画素の平面構造図（模式図）を用いて説明する。なお、基本的な処理は、上記実施形態１で説明した距離情報導出部４１３での距離情報導出処理を踏襲しているため、追加された処理部分に着目して、以下にこれのみ説明する。

図１１に示されるように、距離画素Ｄに不要電荷転送ゲートＢＧを一つ隣接配置させ、光源オン期間の背景光成分による不要信号を読出す。具体的には、図１０に示されるように、露光期間内のパルス光を消灯させている期間にて、パルス光信号電荷転送期間（ＴＸ１またはＴＸ２）と同一の時間幅でパルス信号光以外の背景光信号電荷の転送を、背景光信号電荷用浮遊拡散層に対して行う。背景光信号電荷用浮遊拡散層に蓄積された背景光信号の読み出し処理は、本実施形態１の場合と同様な処理となる。上記処理にて距離画素Ｄにより背景光信号は、Ｖｏｕｔ３の信号電圧値として後段の信号処理ユニット４１へ出力する。

ここで、本実施形態２の３次元撮像装置１０Ａにおいて、信号処理ユニット４１の距離情報算出部４１３Ａで行われる背景光の不要信号を除去した距離値の算出処理について説明する。

パルス光信号電荷用浮遊拡散層から出力される光源オン期間全光成分信号電圧値をＶｏｕｔ１，Ｖｏｕｔ２、背景光信号電荷用浮遊拡散層から出力される光源オフ期間背景光成分信号電圧値をＶｏｕｔ３とすると、背景光成分の不要信号を除去した光源オン期間パルス光成分信号電圧値Ｖｏｕｔ１′，Ｖｏｕｔ２′は、次の数１０（式１０）および数１１（式１１）で表わすことができる。この背景光の不要信号を除去した距離の算出は、上記数８（式８）のＶｏｕｔ１，Ｖｏｕｔ２、上記式１０および式１１に置き換えて算出すればよい。

即ち、距離情報算出部４１３Ａにおいて、光源オン期間に全ての光成分により光電変換された電荷（光源オン期間全光成分；信号電圧値Ｖｏｕｔ１，Ｖｏｕｔ２）を読出し、次に、光源オフ期間でかつ光源オン期間と同一時間幅で光源以外からの光により光電変換された電荷（光源オフ期間背景光成分；信号電圧値Ｖｏｕｔ３）を読出し、光源オン期間全光成分から光源オフ期間背景光成分を減算処理することにより、距離情報導出で不要となる光源オン期間に光源以外からの光により光電変換された不要電荷を除去することができる。

（実施形態３）
上記実施形態１，２では、距離情報導出手段５２の２つの具体的例について詳細に説明したが、本実施形態３では、Ｒ（赤），Ｇ（緑），Ｂ（青）の色情報導出手段５３の具体例について、図面を参照しながら詳細に説明する。

図１に示されるように、色情報導出手段５３は、色情報導出用の色画素が所定の色配列（例えばベイヤ配列）で周期的に配置された受光手段３と、詳細に後述するが、受光手段３からの受光情報に基づいて色情報を算出する色情報算出部４１４Ｂとを有していてもよい。

先ず、Ｒ（赤），Ｇ（緑），Ｂ（青）の色情報導出は、自然光（太陽光）または照明光が３次元撮像装置１０Ｂ内の受光手段３に入射し、受光手段３で光電変換された撮像信号に対して信号処理手段４１４Ｂにより所定の信号処理をして色情報を導出する。

図１２は、図２の画素アレイ３１１における色情報導出用の色画素を模式的に示す基本断面構造図およびその回路図である。

図１２に示されるように、この色情報の導出は、距離画素Ｄと同様に、高濃度ｐ基板に低濃度ｐエピタキシャル層を形成し、この基板上に、光電変換用の埋め込みフォトダイオードＢＰＤと、光電変換された信号電荷に対する信号読出し、基準電位リセット、行選択，信号増幅用トランジスタの各々１つから成る素子構成により、色画素を形成させる。上記画素構造のＲ（赤），Ｇ（緑），Ｂ（青）の各色画素を、図３に示されるように、画素アレイ３１１上に周期的に配置させる。上記色画素からの信号読出以降の処理については、当業者（イメージャ関連）としては公知の技術を用いて、アナログ信号をデジタル信号に変換させて出力させる。例えば、受光センシングユニット３１内の差動型ノイズ除去方式アナログＣＤＳによりノイズキャンセル処理されたアナログ信号を、シングルスロープ型カラムのＡＤＣ回路３１７によりデジタル信号へ変換させ、出力増幅回路３１８を経て後段のデジタル信号処理ユニット４１に信号出力する。

この場合、色画素は、１画素当り１つの信号出力を得るべく、光電変換用の１つの埋め込みフォトダイオードＢＰＤと、埋め込みフォトダイオードＢＰＤで光電変換された信号電荷をフローティング領域ＦＤに電荷転送する信号転送手段としての信号転送トランジスタＭＴ、電荷転送前にフローティング領域ＦＤを基準電位（電源ＶＤＤ電位）にリセットするリセット手段としてのリセットトランジスタ、電荷転送後のフローティング領域ＦＤの電位に基づいて信号増幅する信号増幅手段としての信号増幅トランジスタＭＡおよび、信号増幅トランジスタＭＡで信号増幅した信号を選択出力する選択手段としての選択トランジスタを各々１つから成る素子構成とを、色情報導出の基本画素構成とし、この基本画素構成が画素アレイ３１１に周期的に配置したことにより、計測面での色情報導出の基となる輝度情報が取得される。

信号処理ユニット４１では、色情報算出部４１４Ｂにより、受光センシングユニット４１から出力されるＲ，Ｇ，Ｂの撮像信号に対して、リニアマトリックス回路からホワイトバランス回路４１５でホワイトバランス処理を行い、さらに、γ補正回路４１６でγ補正処理を行って、リニア信号からＲＧＢ特性調整を行ってＹＵＶデジタル信号として本装置外へ信号出力される。

受光センシングユニット３１から出力される色情報とは、Ｒ，Ｇ，Ｂ画素での輝度に対する電圧値（デジタル値）である。色情報算出部４１４Ｂは、これを用いてリニアマトリックス処理と色補間処理を行っている。また、受光センシングユニット３１から出力されるＤ画素での受光情報は、電荷振分けされた信号電圧値のＶ１，Ｖ２（デジタル値）である。この場合、Ｖ１＋Ｖ２が赤外線の輝度値となる。距離情報算出部４１３Ａは、受光センシングユニット３１からの受光情報（物体までの距離に関する信号電圧値Ｖ１，Ｖ２）に基づいて背景光の不要信号を除去して距離情報を算出する。

本願発明の目的は、前述したように、一つの撮像装置で距離情報と色情報の導出を実現できて立体カラー撮像画像を得ることである。図１８に３次元座標表示を示している。ここでは色の違いで距離の違いを表現している。表示部の信号処理部において、色情報算出部４１４Ｂで取得した色情報をＸ軸とＹ軸にとって２次元座標表示とし、距離情報算出部４１３Ａで取得した距離情報をＺ軸にとって２次元座標表示情報に合成して３次元座標表示情報とし、これを図１８に示す３次元座標表示とすることができる。この３次元座標表示情報を表示部の３Ｄディスプレイに表示すると、立体カラー撮像画像が得られる。３Ｄディスプレイに表示する視差バリア方式を図１９に簡単に示している。距離情報算出部４１３Ａで取得した距離情報に基づいて、左眼用画像と右眼用画像をそれぞれ作成し、３Ｄディスプレイ上に立体表示することができる。この表示部の信号処理部は表示部の３Ｄディスプレイ側にあってもよいし、信号処理ユニット４１側にあってもよい。

次に、距離画素ＤとＲ（赤），Ｇ（緑），Ｂ（青）の各色画素に入射させる光の透過波長帯域の制御方法について説明する。

図１３に、任意の透過光波長帯域制御に用いる光学バンドパスフィルタの画素選択的形成方法を示している。

本実施形態３の３次元撮像装置１０Ｂでは、画素アレイ３１１内に配置させた色画素毎に、透過させる光の透過波長帯域を制御する必要がある。色画素の青色画素Ｂには青色波長帯域のみ、緑色画素Ｇには緑色波長帯域のみ、赤色画素Ｒには赤色波長帯域のみ、距離画素Ｄには近赤外波長帯域のみを光透過させる。上記光学バンドパスフィルタを、例えば、シリコン酸化膜の低屈折率層と酸化チタンの高屈折率層を周期的に積層形成した光学多層膜に、光学的周期性に乱れを生じさせる欠陥層を導入し、この欠陥層の膜厚にて透過光波長帯域を制御させている。

距離情報導出と色情報導出を１つの撮像装置で実現させるべく、距離情報導出用の距離画素Ｄ上には距離情報導出で用いる投射光の近赤外光帯域のみを透過する近赤外光バンドパスフィルタを用い、各色情報導出用の色画素上には色情報導出で用いる光であるＲ（赤），Ｇ（緑），Ｂ（青）光帯域のみを透過するＲ（赤），Ｇ（緑），Ｂ（青）光バンドパスフィルタを画素選択的に各々積層形成する。

次に、距離画素Ｄで欠落するＲ（赤），Ｇ（緑），Ｂ（青）の色情報を補間させるために、距離画素Ｄから得られる近赤外線光波長帯域での輝度値と、隣接のＲ（赤），Ｇ（緑），Ｂ（青）の色画素の輝度値を基に、Ｒ（赤），Ｇ（緑），Ｂ（青）の色情報補間させる方法について説明する。

図１４は、距離画素Ｄで欠落するＲ，Ｇ，Ｂの色情報の補間に用いるテーブルを示した図である。

予め距離画素Ｄで計測される輝度値（具体的には式１０および式１１で表されるＶｏｕｔ１′＋Ｖｏｕｔ２′）毎に、距離画素Ｄに隣接するＲ，Ｇ，Ｂの各色画素に対して、各色画素での複数画素からの平均値にて欠落するＲ，Ｇ，Ｂの推定輝度値を求めておき、この値を図１４に示されるテーブルへ保管し、テーブルルックアップ処理にて欠落するＲ，Ｇ，Ｂの色情報の補間を行う。ここでは、距離画素Ｄの計測輝度値に対して、隣接色画素からの推定Ｒ輝度値、隣接色画素からの推定Ｇ輝度値および隣接色画素からの推定Ｂ輝度値のルックアップテーブルである。

距離情報導出用の距離画素で欠落するＲ（赤），Ｇ（緑），Ｂ（青）の色情報を補間させるべく、距離情報導出用の距離画素Ｄから得られる近赤外光波長帯域での輝度情報と、隣接のＲ（赤），Ｇ（緑），Ｂ（青）の色情報導出用の色画素の輝度情報とに基づいて、Ｒ（赤），Ｇ（緑），Ｂ（青）の色情報を補間する。

以上により、本実施形態１〜３によれば、３次元撮像装置１は、光源手段２からの投射光Ｌ１として近赤外光が被計測物Ａに照射され、この投射光Ｌ１の被計測物Ａからの反射光Ｌ２を受光手段３で受光し、受光手段３の受光情報に基づいて被計測物Ａまでの距離情報を信号処理部４により導出する距離情報導出手段５２と、自然光または照明光による被計測物Ａからの反射光Ｌ２を受光手段３で受光して、この受光手段３の受光情報に基づいて被計測物ＡのＲ（赤），Ｇ（緑）およびＢ（青）の色情報を信号処理手段４により導出する色情報導出手段５３とを有することにより、一つの撮像装置で距離情報と色情報の導出を実現できて立体カラー撮像画像を撮像することができる。また、受光手段３の距離画素Ｄは、距離導出精度向上のために光電変換領域に埋め込みフォトダイオードを用いているため、ノイズの低減により距離精度の向上を図ることができる。

以上のように、本発明の好ましい実施形態１〜３を用いて本発明を例示してきたが、本発明は、この実施形態１〜３に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜３の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、一つの撮像装置にて立体カラー撮像が可能となり、被計測物に対して奥行方向の距離情報と被計測物（面）の色情報を取得可能とする３次元撮像装置の分野において、被計測物に対して奥行方向の距離情報と被計測物（面）の色情報が同時に取得可能な３次元撮像装置である為、１つの撮像装置にて立体カラー撮像が可能となる。よって、カメラ用途全般に対して好適であるが、特に撮像データを基に各種制御を行う、監視カメラ，車載カメラや人の体の動きで各種入力操作を行うジェスチャー検知カメラ等への応用が期待できる。また、撮像データ内に被写体までの距離データが存在するため、カメラのオートフォーカス技術への応用も期待できる。

１、１０、１０Ａ、１０Ｂ ３次元撮像装置
２ 光源手段
２１ 発光モジュール
２１１ パワーＬＥＤ駆動回路ユニット
２１２ａ パワーＬＥＤ
２１２ パワーＬＥＤユニット
２１３ 放射光角調整レンズ
３ 受光手段
３１ 受光センシングユニット
３１１ 画素アレイ
３１２ タイミング生成回路
３１３ 垂直走査回路
３１４ 水平走査回路
３１５ 画素駆動回路
３１６ ノイズキャンセル回路
３１７ ＡＤＣ回路
３１８ 出力増幅回路
４ 信号処理手段
４１ 信号処理ユニット
４１１ タイミング制御部
４１２ インターフェイス部
４１３、４１３Ａ 距離情報算出部
４１４、４１４Ｂ 色情報算出部
４１５ ホワイトバランス部
４１６ γ補正部
５ 受光・信号処理モジュール
５１ 入射角調整レンズ
Ｌ１ 投射光
Ｌ２ 反射光
Ａ 被計測物

Claims (15)

1. 投射光を被計測物に照射し、該投射光の該被計測物からの反射光を受光してその受光情報に基づいて該被計測物までの距離情報を導出する距離情報導出手段と、該投射光以外の光による該被計測物からの反射光を受光してその受光情報に基づいて該被計測物の色情報を導出する色情報導出手段とを有してカラー３次元画像を得る３次元撮像装置。
2. 前記距離情報導出手段は、前記投射光を照射する光源手段と、該投射光の投射空間からの反射光を受光して、該投射空間の前記被計測物までの距離に応じた受光情報を得る複数の距離画素部が配設された受光手段と、該受光情報から該被計測物までの距離情報を算出する距離情報算出手段とを有する請求項１に記載の３次元撮像装置。
3. 前記複数の距離画素部はそれぞれＴＯＦ（タイム・オブ・フライト）式距離画像センサである請求項２に記載の３次元撮像装置。
4. 前記色情報導出手段は、色情報導出用の色画素部が所定の色配列で周期的に配置された受光手段と、該受光手段からの受光情報に基づいて色情報を算出する色情報算出手段とを有する請求項１に記載の３次元撮像装置。
5. 前記受光手段は、距離情報導出用の距離画素部が周期的に配置され、該距離画素部以外の色情報導出用の色画素部が所定の色配列で周期的に配置されている請求項２に記載の３次元撮像装置。
6. 前記受光手段の距離画素部は、１画素当り２つの信号出力を得るべく、光電変換用の１つの埋め込みフォトダイオードと、該埋め込みフォトダイオードで光電変換された信号電荷をフローティング領域に電荷転送する信号転送手段、電荷転送前に該フローティング領域を基準電位にリセットするリセット手段、電荷転送後の該フローティング領域の電位に基づいて信号増幅する信号増幅手段および、該信号増幅手段で信号増幅した信号を選択出力する選択手段を各々２つから成る素子構成とを、距離情報導出の基本画素構成とし、該基本画素構成が画素アレイ部に周期的に配置されている請求項２または５に記載の３次元撮像装置。
7. 前記受光手段の距離画素部は、距離導出精度向上のために光電変換領域に埋め込みフォトダイオードが用いられている請求項５に記載の３次元撮像装置。
8. 前記受光手段の距離画素部は、空乏層幅が拡大するように該埋め込みフォトダイオードの基板深さ方向での不純物濃度が制御されて電荷捕獲効率が高められている請求項５に記載の３次元撮像装置。
9. 前記２つの信号出力の電荷振り分け動作を高速に行うべく、前記埋め込みフォトダイオードに隣接配置した信号転送用トランジスタの信号電荷転送チャネル領域に、多段の不純物濃度勾配により急峻な電位勾配が設けられた請求項６に記載の３次元撮像装置。
10. 前記２つの信号出力の電荷振り分け動作を高速に行うべく、前記埋め込みフォトダイオードに隣接配置した信号転送用トランジスタの信号電荷転送チャネル領域に対して該埋め込みチャネルにより半導体表面での散乱による移動度低下が低減されている請求項６に記載の３次元撮像装置。
11. 前記埋め込みフォトダイオードに電荷排出端子が設けられ、距離情報導出で不要となる前記光源手段がオフ期間に光源以外からの光により光電変換された電荷を、光源オフ期間背景光成分の不要電荷として該電荷排出端子から排出させる請求項６に記載の３次元撮像装置。
12. 前記光源手段がオン期間に全ての光成分により光電変換された電荷（光源オン期間全光成分）を読出し、次に、該光源手段をオフさせかつ該光源手段のオン期間と同一時間幅で光源以外からの光により光電変換された電荷（光源オフ期間背景光成分）を読出し、該光源オン期間全光成分から該光源オフ期間背景光成分を減算処理することにより、距離情報導出で不要となる該光源手段がオン期間に光源以外からの光により光電変換された不要電荷を除去する請求項２または５に記載の３次元撮像装置。
13. 前記受光手段の色画素部は、１画素当り１つの信号出力を得るべく、光電変換用の１つの埋め込みフォトダイオードと、該埋め込みフォトダイオードで光電変換された信号電荷をフローティング領域に電荷転送する信号転送手段、電荷転送前に該フローティング領域を基準電位にリセットするリセット手段、電荷転送後の該フローティング領域の電位に基づいて信号増幅する信号増幅手段および、該信号増幅手段で信号増幅した信号を選択出力する選択手段を各々１つから成る素子構成とを、色情報導出の基本画素構成とし、該基本画素構成が画素アレイ部に周期的に配置したことにより、計測面での色情報導出の基となる輝度情報を取得する請求項２または４に記載の３次元撮像装置。
14. 距離情報導出と色情報導出を１つの撮像装置で実現させるべく、距離情報導出用の距離画素上には距離情報導出で用いる投射光の近赤外光帯域のみを透過する近赤外光バンドパスフィルタを用い、各色情報導出用の色画素上には色情報導出で用いる光であるＲ（赤），Ｇ（緑），Ｂ（青）光帯域のみを透過するＲ（赤），Ｇ（緑），Ｂ（青）光バンドパスフィルタを画素選択的に各々積層形成する請求項１または４に記載の３次元撮像装置。
15. 距離情報導出用の距離画素で欠落するＲ（赤），Ｇ（緑），Ｂ（青）の色情報を補間させるべく、距離情報導出用の距離画素から得られる近赤外光波長帯域での輝度情報と、隣接のＲ（赤），Ｇ（緑），Ｂ（青）の色情報導出用の色画素の輝度情報とに基づいて、Ｒ（赤），Ｇ（緑），Ｂ（青）の色情報を補間する請求項１または４に記載の３次元撮像装置。