JP2010197227A - イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法 - Google Patents
イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法 Download PDFInfo
- Publication number
- JP2010197227A JP2010197227A JP2009042764A JP2009042764A JP2010197227A JP 2010197227 A JP2010197227 A JP 2010197227A JP 2009042764 A JP2009042764 A JP 2009042764A JP 2009042764 A JP2009042764 A JP 2009042764A JP 2010197227 A JP2010197227 A JP 2010197227A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pulse
- circuit
- output
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】複数の対象物に対しても、正しい距離検知が可能となるイメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法を提供する。
【解決手段】受光量に応じて端子電圧が変化するフォトダイオードＰＤの端子電圧Ｖｐｄが所定の閾値を超えたときにオフになるスイッチング素子ＳＷを介して画素内コンデンサーＣに、撮像する空間の位置に応じて異なるアナログ電圧信号Ｖｍｒｋを与える機能を有する画素回路６０で構成されたイメージセンサー。このイメージセンサーは、撮像する空間の位置に応じて画素検知信号が異なるので、異なった位置に存在する同一形状の対象物に対する検知信号が区別できる。
【選択図】 図１
【解決手段】受光量に応じて端子電圧が変化するフォトダイオードＰＤの端子電圧Ｖｐｄが所定の閾値を超えたときにオフになるスイッチング素子ＳＷを介して画素内コンデンサーＣに、撮像する空間の位置に応じて異なるアナログ電圧信号Ｖｍｒｋを与える機能を有する画素回路６０で構成されたイメージセンサー。このイメージセンサーは、撮像する空間の位置に応じて画素検知信号が異なるので、異なった位置に存在する同一形状の対象物に対する検知信号が区別できる。
【選択図】 図１
Description
本発明は、ステレオ画像から視差画像を生成する視差画像の生成技術に関し、特に、高速で、回路規模が小さく、かつ低消費電力で実現可能な視差画像の生成技術に関する。
本発明は、本願と同じ発明者の出願である特願２００８−０８２５９０（平成２０年３月２７日出願）「視差センサー及び視差画像の生成方法」の改良技術に関する。
以下に従来技術としての視差センサーについて説明する。
以下に従来技術としての視差センサーについて説明する。
ＣＣＤやＣＭＯＳイメージセンサーの普及に伴い、情報機器は画像情報を容易に取り扱えるようになった。最近では、殆どの携帯電話に小型カメラが内蔵され画像データの通信を容易にしている。また、多くの自動車にはイメージセンサーが搭載され運転席からの死角をカバーして安全運転に役立っている。しかしながら、従来のイメージセンサーから得られるのは、あくまでも単なる２次元情報であり、距離（奥行き）情報を含んだ３次元情報は得ることができない。そこで本発明者は先に、距離情報を得ることができる新しいイメージセンサーの回路構成を考案した（特許文献１）。
物体との距離の高速検知は、主に二種類の方法がある。一つは、指向性の高いレーザ光や電波等をビーム照射しその反射信号の時間遅れで距離を測定するアクティブ測距方式であり、もう一つは、二つのイメージセンサーを用いて画像の相関を計算し二つのセンサー間の視差を抽出することで距離を算出するパッシブ測距方式である。航空機や船舶等には、アクティブ測距方式の代表例であるレーダが備えられており、自分の周囲の対象物との距離をモニタすることができ安全な航行を可能にしている。また最近では、自動車にもミリ波レーダが搭載され車間距離をモニタして衝突防止に役立てている。
このように現在においては、高速な距離の検知にはアクティブ測距方式であるレーダが用いられている。一方、パッシブ測距方式は二枚の画像データの相関処理に大規模な計算量を必要とするので、従来の相関処理用ＬＳＩでは、高速移動に対応できる高速な処理が困難であったことから実用化されていない。
そこで、その相関処理を高速に実行するための回路構成を発明し、特願２００８−０８２５９０号（以下、「先願」という。）として出願した。その先願において開示した回路構成は、回路面積と消費電力を共に従来より小さくできるので、二つのイメージセンサー機能とそれらの相関処理回路を一つのＬＳＩチップ内に集積することが可能になる。かかるＬＳＩを、以下「視差センサー」と称する。視差センサーにより高速な測距が可能になれば、レーダに比べて大幅な装置コストと消費電力の低減が可能になる。また、視差センサーはパッシブ測距方式なのでアクティブ方式における信号干渉の問題が回避できるメリットがある。
この視差センサーの構成例を図９、図１０、図１１に示す。
図９は視差センサーＬＳＩの機能構成例を示すものであり、視差センサー１は、左右の眼の役割を担う二つのイメージセンサー２ａ，２ｂと、それらの出力アナログ信号をパルス幅に変換するライン並列の二つのＡ／ＰＷ（アナログ／パルス幅）変換回路アレイ４ａ，４ｂ、それらのパルス信号を隣同士で比較するライン並列の二つのパルス信号比較回路アレイ５ａ，５ｂ、輝度変化が無いもの同士の相関を無効にする為のゼロ相関除去信号発生回路アレイ１５ａ，１５ｂ、そして、左右のパルス信号比較回路の出力信号同士の全ての相関を並列に処理する相関検知回路マトリックス６で構成される。
図９は視差センサーＬＳＩの機能構成例を示すものであり、視差センサー１は、左右の眼の役割を担う二つのイメージセンサー２ａ，２ｂと、それらの出力アナログ信号をパルス幅に変換するライン並列の二つのＡ／ＰＷ（アナログ／パルス幅）変換回路アレイ４ａ，４ｂ、それらのパルス信号を隣同士で比較するライン並列の二つのパルス信号比較回路アレイ５ａ，５ｂ、輝度変化が無いもの同士の相関を無効にする為のゼロ相関除去信号発生回路アレイ１５ａ，１５ｂ、そして、左右のパルス信号比較回路の出力信号同士の全ての相関を並列に処理する相関検知回路マトリックス６で構成される。
より詳細な回路構成を図１０に示す。イメージセンサー２ａ，２ｂは従来のイメージャと同様な回路構成で良く、二つのイメージセンサー２ａ，２ｂに共通のシーケンサー３によって同じラインが同時に選択出力される。
イメージセンサー２ａ，２ｂを構成する画素回路の構成例を図１１に示す。この画素回路は、フォトダイオードＰＤとリセット用ＭＯＳトランジスタＭ３と直列接続して電源Ｖｐｄに接続し、フォトダイオードＰＤのカソードにＭＯＳトランジスタＭ１のゲートを接続し、ＭＯＳトランジスタＭ１のドレインにＭＯＳトランジスタＭ２のソースを接続し、ＭＯＳトランジスタＭ２のゲートをＲｅａｄ端子、ドレインを出力端子としたものである。この画素回路では、Ｒｓｔ信号をローレベルにすることによりＭＯＳトランジスタＭ３がオンとなる。次にＲｓｔ信号をハイレベルにすることによりＭＯＳトランジスタＭ３がオフとなって、フォトダイオードＰＤの光電流によりＭＯＳトランジスタＭ１のゲート電位が変化し、ＭＯＳトランジスタＭ１のドレインの電圧も変化する。Ｒｅａｄ信号をＭＯＳトランジスタＭ２のゲートに与えることにより、そのときのＭＯＳトランジスタＭ１のドレインの電位がＯｕｔ端子に出力される。
イメージセンサー２ａ，２ｂを構成する画素回路の構成例を図１１に示す。この画素回路は、フォトダイオードＰＤとリセット用ＭＯＳトランジスタＭ３と直列接続して電源Ｖｐｄに接続し、フォトダイオードＰＤのカソードにＭＯＳトランジスタＭ１のゲートを接続し、ＭＯＳトランジスタＭ１のドレインにＭＯＳトランジスタＭ２のソースを接続し、ＭＯＳトランジスタＭ２のゲートをＲｅａｄ端子、ドレインを出力端子としたものである。この画素回路では、Ｒｓｔ信号をローレベルにすることによりＭＯＳトランジスタＭ３がオンとなる。次にＲｓｔ信号をハイレベルにすることによりＭＯＳトランジスタＭ３がオフとなって、フォトダイオードＰＤの光電流によりＭＯＳトランジスタＭ１のゲート電位が変化し、ＭＯＳトランジスタＭ１のドレインの電圧も変化する。Ｒｅａｄ信号をＭＯＳトランジスタＭ２のゲートに与えることにより、そのときのＭＯＳトランジスタＭ１のドレインの電位がＯｕｔ端子に出力される。
ここで、イメージセンサー２ａ，２ｂの出力信号はアナログの電圧信号である。イメージセンサー２ａ，２ｂから並列に出力される１ラインのアナログ電圧信号は、図１０に示すアナログ／パルス幅変調回路８によってパルス信号に変換される。そのパルス信号の幅はアナログ電圧に比例する。アナログ／パルス幅変換回路８の出力信号はパルス信号比較回路（ＤＩＦＣ）９で隣同士の信号を比較し、二つのパルスの＋方向の差と−方向の差を各々パルス信号として出力する。パルス信号比較回路９の出力信号はゼロ相関除去信号発生回路（ＺＳＩＧＲＣＴ）１６を介して、全て並列に相関検知回路１０に与えられる。相関検知回路１０は全てに共通なバイアス電圧Ｖｂとリセット信号Ｒｅｓｅｔが与えられ、各々の配置位置に対応した左右のパルス信号比較回路出力信号（右の＋，−と左の＋，−の４つ）が斜方向に共通に与えられ、縦方向に共通な読み出し信号Ｒｅａｄが与えられ、横方向に共通な出力信号Ｏｕｔが接続されている。読み出し信号Ｒｅａｄはシフトレジスター１２で構成されるシーケンサー７によって与えられる。各出力信号Ｏｕｔはカレントミラー回路等で電流を電圧に変換して出力する。各種制御信号の制御フロー例は後で述べる。また、通常の２次元画像データは片方のイメージセンサーの出力をそのまま用いる。
アナログ／パルス幅変換回路８は、図１２に示すように論理しきい値可変調インバータ（ＶＴ−ＩＮＶ）で実現できる。ＶＴ−ＩＮＶは、図１３に示すＣＭＯＳ回路で構成することができる。なお、アナログ／パルス幅変換回路８における論理しきい値制御端子（ＣＮＴ）は、同期制御回路１３に接続されている。同期制御回路１３は、ランプ信号生成回路により構成されている。このランプ信号生成回路が発生するランプ電圧が、すべてのアナログ／パルス幅変換回路８の論理しきい値制御端子（ＣＮＴ）に対して共通に入力される。従って、すべてのアナログ／パルス幅変換回路８は、同タイミングでアナログ／パルス幅変換を行う。
図１４にアナログ／パルス幅変換回路８の信号変換例を示す。同期制御回路１３が出力するランプ電圧（Ｒａｍｐ Ｓｉｇ．）は、図１４の最上段に示したような鋸歯状となる。このランプ電圧が論理しきい値制御端子（ＣＮＴ）に入力されると、アナログ／パルス幅変換回路８の論理閾値電圧Ｖinvは、図１４の点線で示したように変化する。すなわち、ランプ電圧の増加に伴って、論理閾値電圧Ｖinvは減少する。そして、論理閾値電圧Ｖinvが画素信号の電圧（Ａｎａｌｏｇ Ｖin）よりも小さくなったとき、アナログ／パルス幅変換回路８の出力端子に出力されるパルス幅画素信号（ＯＵＴ）がＨレベルとなる。そして、ランプ電圧が再び最低レベルに戻ると、論理閾値電圧Ｖinvは最大となり、パルス幅画素信号（ＯＵＴ）がＬレベルとなる。
パルス信号比較回路（ＤＩＦＣ）９の構成例を図１５に示す。入力信号ＩＮａとＩＮｂは各々隣り合うアナログ／パルス幅変換回路の出力が与えられ、それらのパルス信号の差を、ＯＵＴ＋とＯＵＴ−に差分の方向毎にパルス信号で出力する。このパルス信号比較回路の信号処理例を図１６に示す。ＩＮａがＩＮｂより先行するとその差分だけＯＵＴ＋にパルス信号が出力される。また、ＩＮａがＩＮｂより遅れるとその差分だけＯＵＴ−にパルス信号が出力される。ＩＮａとＩＮｂに差がなければそのパルス幅に関わらずパルス信号は何れからも出力されない。
図１７に相関検知回路１０の構成例を示す。相関検知回路１０は、コンデンサー５０、電流スイッチ回路５１，５２、電流源５３、リセット・スイッチ５４、出力回路５５、及び読出スイッチ５６を備えている。
コンデンサー５０は、相関信号を発生するための電荷を蓄電する。電流スイッチ回路５１は、入力端子Ｒ＋，Ｌ＋から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサー５０に蓄電された電荷を一定電流で放電させる。電流スイッチ回路５２は、入力端子Ｒ−，Ｌ−から入力される入力信号の排他論理和の真理値に従って、導通／遮断制御がされ、導通状態においてコンデンサー５０に蓄電された電荷を一定電流で放電させる。電流源５３は、電流スイッチ回路５１，５２が導通状態となったときに、一定の放電電流を流すための回路である。リセット・スイッチ５４は、リセット信号（Ｒｅｓｅｔ）が入力されたときに導通状態となり、電源からコンデンサー５０に電荷を供給して、コンデンサー５０の両端電圧を電源電圧Ｖdとする。
出力回路５５は、コンデンサー５０の電圧に比例した電流を流す回路であり、コンデンサー５０の電圧を電流に変換して出力するための回路である。出力回路５５は、ＭＯＳトランジスタによって構成されている。ゲートにコンデンサー５０の電圧が入力され、ドレイン電流として出力される。これにより、コンデンサー５０の電圧は、漏洩電流が無視できるとすれば、出力中は一定である。従って、安定した相関信号を出力することを可能としている。読出スイッチ５６は、出力回路５５による電流出力のオン・オフを行うためのものである。
相関検知回路１０では、入力信号の相関程度をコンデンサー５０の蓄積電荷量で表現する。リセット直後は、蓄積電荷量は最大である。入力信号の相関程度が低いほど、多くの電荷を放電させ、コンデンサー５０の蓄積電荷量を減少させる。これにより、相関演算が実現される。放電電流は、電流スイッチ回路５１，５２の何れかを介してグランド側に流れる。
相関検知回路１０の動作例を図１８に示す。まず、最初に、リセット信号（Ｒｅｓｅｔ）が０とされ（ｔ１）、コンデンサー５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、Ｌ＋，Ｌ−に左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋，ＯＵＴ−が入力される。
Ｒ＋とＬ＋の何れか一方が１で他方が０のとき（ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ１０〜ｔ１１，ｔ１２〜ｔ１３）は、電流スイッチ回路５１が導通状態となる。従って、このとき、コンデンサー５０の電荷は放電され、コンデンサー５０の電圧は減少する。
Ｒ−とＬ−の何れか一方が１で他方が０のとき（ｔ２２〜ｔ２３，ｔ２４〜ｔ２５，ｔ２９〜ｔ３０，ｔ３１〜ｔ３２）は、電流スイッチ回路５２が導通状態となる。従って、このとき、コンデンサー５０の電荷は放電され、コンデンサー５０の電圧は減少する。
Ｒ＋，Ｌ＋がともに０またはともに１、かつ、Ｒ−，Ｌ−がともに０またはともに１のとき（ｔ１〜ｔ３，ｔ４〜ｔ５，ｔ６〜ｔ１０，ｔ１１〜ｔ１２，ｔ１３〜ｔ２２，ｔ２３〜ｔ２４，ｔ２５〜ｔ２９，ｔ３０〜ｔ３１，ｔ３２〜）は、電流スイッチ回路５１，５２はともに遮断状態となる。従って、このときはコンデンサー５０の電圧Ｖｃは一定である。
ランプ信号の立ち下がり後、コンデンサー５０の電圧Ｖｃが確定する。Ｒ＋とＬ＋の相関が小さい場合、またはＲ−とＬ−の相関が小さい場合には、最終的なコンデンサー５０の電圧Ｖｃは低くなる。逆に、Ｒ＋とＬ＋の相関が大きい場合、またはＲ−とＬ−の相関が大きい場合には、最終的なコンデンサー５０の電圧Ｖｃは高い状態に維持される。
コンデンサー５０の電圧Ｖｃの確定後、読出信号（ｒｅａｄ）が１となり（ｔ７，ｔ１４，ｔ１９，ｔ２６，ｔ３３）、読出スイッチ５６が導通状態となる。これにより、出力回路５５は、コンデンサー５０の電圧Ｖｃに比例した大きさの電流を出力する。
出力が終了した後、再びリセット信号が０とされ（ｔ８，ｔ１５，ｔ２０，ｔ２７）、同様の相関検知演算が繰り返される。
図１９は視差センサ１の動作の一例を表すタイムチャートである。図１９では、説明の便宜上、ある２つの画素に着目して表示しているが、すべての画素において同様な動作が同時並行的に行われる。
まず、イメージセンサー２ａ，２ｂから画素信号Ｒ１，Ｒ２とＬ１，Ｌ２が出力される（ｔ０）。これにより、アナログ／パルス幅変換回路アレイ４ａ，４ｂ内の各アナログ／パルス幅変換回路８において、入力電圧が確定する。図１９の例では、画素信号Ｒ１の方が画素信号Ｒ２よりも高い値となっている。また、画素信号Ｌ２の方が画素信号Ｌ１よりも高い値となっている。
次に、相関検知回路１０に対してリセット信号（ＭＡＴＣ Ｒｅｓｅｔ）のパルスが入力され（ｔ１〜ｔ２）、コンデンサー５０の電圧ＶcがＶdに設定される。
次に、同期制御回路１３がランプ信号（Ｒａｍｐ Ｓｉｇ．）の出力を開始し、ランプ信号の電圧が徐々に増加する。これに伴って、各アナログ／パルス幅変換回路８において論理閾値電圧Ｖinvは減少する。そして、図１９の例では画素信号Ｒ１の電圧の方が画素信号Ｒ２の電圧よりも高いので、まず、Ｒ１が入力されるアナログ／パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号Ｒ１の電圧よりも低くなる（ｔ３）。これにより、Ｒ１が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｒ１）が１となる。このとき、Ｒ２が入力されるＲ１の電圧の方が画素信号Ｒ２の電圧よりも高いので、まず、Ｒ１が入力されるアナログ／パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号Ｒ１の電圧よりも低くなる（ｔ３）。これにより、Ｒ１が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｒ１）が１となる。このとき、Ｒ２が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｒ２）は０である。従って、ＡＰＷＣ ＯＵＴ Ｒ１とＲ２が入力されるパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｒ＋が１となる。
更に時間が経過してランプ信号が増加すると、今度はＲ２が入力されるアナログ／パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号Ｒ２の電圧よりも低くなる（ｔ５）。これにより、Ｒ２が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｒ２）が１となる。このとき、Ｒ１が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｒ１）は１である。従って、ＡＰＷＣ ＯＵＴ Ｒ１とＲ２が入力されるパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｒ＋が０となる。このパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｒ＋のパルス幅（ｔ３〜ｔ５）がＲ１とＲ２画素間の微分値を表す。
一方、画素信号Ｌ１と画素信号Ｌ２に関しては、まず、Ｌ２が入力されるアナログ／パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号Ｌ２の電圧よりも低くなる（ｔ４）。これにより、Ｌ２が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｌ２）が１となる。このとき、Ｌ１が入力されるアナログ／幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｌ１）は０である。従って、ＡＰＷＣ ＯＵＴ Ｌ１とＬ２が入力されるパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｌ−が１となる。
更に時間が経過してランプ信号が増加すると、今度はＬ１が入力されるアナログ／パルス幅変換回路８において、論理閾値電圧Ｖinvが画素信号Ｌ１の電圧よりも低くなる（ｔ６）。これにより、Ｌ１が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｌ１）が１となる。このとき、Ｌ２が入力されるアナログ／パルス幅変換回路８の出力するパルス幅画素信号（ＡＰＷＣ ＯＵＴ Ｌ２）は１である。従って、ＡＰＷＣ ＯＵＴ Ｌ１とＬ２が入力されるパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｌ−が０となる。このパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｌ−のパルス幅（ｔ４〜ｔ６）がＬ１とＬ２画素間の微分値を表す。
このパルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｒ＋が１の間（ｔ３〜ｔ５）、電流スイッチ回路５１が導通状態となる。従って、この間はコンデンサー５０の電荷はスイッチ回路５１を介してグランドに放電される。また、パルス信号比較回路９の出力（比較パルス信号）ＤＩＦＣ ＯＵＴ Ｌ−が１の間（ｔ４〜ｔ６）、電流スイッチ回路５２が導通状態となる。従って、この間もコンデンサー５０の電荷はスイッチ回路５２を介してグランドに放電される。そして、この例では、比較パルス信号ＤＩＦＣ ＯＵＴ Ｌ−が立ち下がった時点（ｔ６）で、コンデンサー５０の電圧Ｖcが確定する。その後、ランプ信号が立ち下がり（ｔ７）、ここですべての相関演算処理が終了する。
次に、読出期間に移る。読出期間（ｔ８〜）では、シーケンサー７のシフトレジスター１２に対してクロックＣＬＫが供給される。そして、最左端のシフトレジスター１２に対して、入力信号ＳＲｉｎとして一定期間１が入力される。
この入力信号ＳＲｉｎのパルス幅Ｔｓは、通常は、クロックＣＬＫに対して数倍の幅とされる。このパルス幅Ｔｓは、検知できる対象物の大きさに影響を与えるので、状況に応じて変更できるようにする。一般に、Ｔｓを大きくするほど、大きな対象物の認識が容易となり、細かいノイズが減少する。一方、Ｔｓを小さくすれば、小さな対象物が認識しやすくなるが、ノイズ量は多くなる。従って、Ｔｓを設定することで、高周波フィルタの周波数特性を設定できる。
入力信号ＳＲｉｎのパルスは、クロックＣＬＫに従って、左側のシフトレジスター１２から右側のシフトレジスター１２に向かって移動していく。シフトレジスター１２の出力は、読出信号（Ｒｅａｄ）として、各列の相関検知回路１０に入力される。従って、相関検知回路マトリックス６の各列の相関検知回路１０内のコンデンサー５０に保持された相関信号は、左から右に向かって順次読み出される。
図２０は特許文献１に記載された視差センサーのパルス信号比較回路の他の構成を表す図である。なお、その他の構成については図１５の構成と同様であり、説明は省略する。
このパルス信号比較回路９’は、図１５のパルス信号比較回路９に対して、インバータ４１，４２の代わりにＮＡＮＤゲート４７，４８が用いられている点で相違している。ＮＡＮＤゲート４７，４８は、一方の側の入力端子には入力信号ＩＮａ，ＩＮｂが入力され、他方の側の入力端子には、選択信号Ｃｎａ，Ｃｎｂが入力される。Ｃｎａを０とすると、ＯＵＴ−には入力信号ＩＮｂがそのまま出力される。Ｃｎｂを０とすると、ＯＵＴ＋には入力信号ＩＮａがそのまま出力される。
これにより、パルス信号比較回路アレイ５ａ，５ｂにおいて、隣り合う信号の比較を行わず、アナログ／パルス幅変換回路アレイ４ａ，４ｂの出力をそのまま、ゼロ相関除去信号発生回路１６を介して、相関検知回路マトリックス６に入力させることが可能となる。従って、この場合、相関検知回路マトリックス６では、左眼画像と右眼画像の画素をそのまま相関演算処理することができる。
従って、用途に応じて、選択信号Ｃｎａ，Ｃｎｂを操作して、画素信号の直接相関処理を行うか、画像の変化信号の相関処理を行うかを切り替えることが可能となる。
図２１はゼロ相関除去信号発生回路の構成例を示すブロック図、図２２はゼロ信号検知回路の構成例を示す回路図、図２３はＲ−Ｓフリップフロップの構成例を示す回路図、図２４はゼロ相関除去機能を有効にした相関検知回路の動作例を示すタイムチャートの例を示す。
ゼロ相関除去信号発生回路１６は、ゼロ信号検知回路１６１と２個の選択回路１６２，１６３により構成されている。ゼロ信号検知回路１６１は、パルス信号比較回路９の出力である比較パルス信号ＯＵＴ＋，ＯＵＴ−のパルス幅が一定の長さ以下であることを検知するものであり、二つの選択回路１６２，１６３は、ゼロ信号検知回路１６１の出力信号（ＳｅｔＯｕｔ）に従って比較パルス信号または予め決められた信号（Ｈ／Ｌ）を選択し、ＭＯＵＴ＋，ＭＯＵＴ−として次の相関検知回路１０に出力する。すなわち、選択回路１６２，１６３は、Ｓｅｌ端子に与えられるＳｅｔＯｕｔ出力が０のときはＸ端子に与えられる値、すなわち予め決められた値であるＨ／Ｌを出力し、ＳｅｔＯｕｔ出力が１のときはＹ端子に与えられる値、すなわちパルス信号比較回路の出力であるＯＵＴ＋，ＯＵＴ−を出力する。
ゼロ信号検知回路１６１は、図２２に示すように、ＮＯＲ回路１６１１と、ＮＯＴ回路１６１２とＭＯＳＦＥＴ１６１３と、Ｒ−Ｓフリップフロップ１６１４と、ＮＡＮＤ回路１６１５から構成されている。なお、ＭＯＳＦＥＴ１６１３は、そのゲートに与える電圧値によって検知するパルス幅を調整する機能をもたせたものであり、複数のＡＰＷ変調回路やパルス信号比較回路を構成する多数のトランジスタ等の特性のばらつきにより生じるひげ状のパルスの除去を容易にすることができる。
Ｒ−Ｓフリップフロップ１６１４の構成例を図２３に示す。
このＲ−Ｓフリップフロップ１６１４の入出力の真理値表を表１に示す。
Ｒ−Ｓフリップフロップ１６１４の構成例を図２３に示す。
このＲ−Ｓフリップフロップ１６１４の入出力の真理値表を表１に示す。
以上の構成のゼロ相関除去信号発生回路の動作例を、図２４に示す。
まず、最初に、リセット信号Ｒｅｓｅｔ（Ｒｓｔはその反転信号）が０とされ（ｔ１）、相関検知回路１０（図１７参照）のコンデンサー５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、左眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＬＯＵＴ＋），ＯＵＴ−（ＬＯＵＴ−）が入力され、右眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＲＯＵＴ＋），ＯＵＴ−（ＲＯＵＴ−）が入力される。
まず、最初に、リセット信号Ｒｅｓｅｔ（Ｒｓｔはその反転信号）が０とされ（ｔ１）、相関検知回路１０（図１７参照）のコンデンサー５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、左眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに左眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＬＯＵＴ＋），ＯＵＴ−（ＬＯＵＴ−）が入力され、右眼用のゼロ相関除去信号検知回路１６１のＡ，Ｂに右眼側のパルス信号比較回路９が出力する比較パルス信号ＯＵＴ＋（ＲＯＵＴ＋），ＯＵＴ−（ＲＯＵＴ−）が入力される。
右眼側の比較パルス信号について説明すると、ＲＯＵＴ＋とＲＯＵＴ−の何れか一方が１で他方が０のとき（ｔ３〜ｔ５，ｔ１２〜ｔ１３，ｔ２１〜ｔ２２，ｔ３４〜ｔ３６，ｔ４４〜ｔ４５）は、Ｒ／Ｑはｔ３〜ｔ１０で０、ｔ１０〜ｔ１２で１、ｔ１２〜ｔ１９で０、ｔ１９〜ｔ２１で１、ｔ２１〜ｔ２６で０、ｔ２６〜ｔ３４で１、ｔ３４〜ｔ４０で０、ｔ４０〜ｔ４４で１、ｔ４４〜で０である。選択回路１６２，１６３の出力は、ＳｅｔＯｕｔ出力が１のとき（Ｒ／Ｑ出力が０またはＡｃｔ値が０のとき）はＲＯＵＴ＋，ＲＯＵＴ−がそのまま出力されるが、ＳｅｔＯｕｔ出力が０（Ｒ／Ｑ出力が１かつＡｃｔ値が１のとき）は予め決められたＲＨ／Ｌが出力される。
同様に、左眼側の比較パルス信号について説明すると、ＬＯＵＴ＋とＬＯＵＴ−の何れか一方が１で他方が０のとき（ｔ４〜ｔ６，ｔ１４〜ｔ１５，ｔ２１〜ｔ２２，ｔ３３〜ｔ３５，ｔ４２〜ｔ４３）は、Ｌ／Ｑは〜ｔ４で１、ｔ４〜ｔ１０で０、ｔ１０〜ｔ１４で１、ｔ１４〜ｔ１９で０、ｔ１９〜ｔ２１で１、ｔ２１〜ｔ２６で０、ｔ２６〜ｔ３３で１、ｔ３３〜ｔ４０で０、ｔ４０〜ｔ４２で１、ｔ４２〜で０である。選択回路１６２，１６３の出力は、ＳｅｔＯｕｔ出力が１のとき（Ｌ／Ｑ出力が０またはＡｃｔ値が０のとき）ＬＲＯＵＴ＋，ＬＯＵＴ−がそのまま出力されるが、ＳｅｔＯｕｔ出力が０（Ｌ／Ｑ出力が１かつＡｃｔ値が１のとき）は予め決められたＬＨ／Ｌが出力される。
以上のＲＭＯＵＴ＋，ＲＭＯＵＴ−，ＬＭＯＵＴ＋，ＬＭＯＵＴ−の出力が図１７の相関検知回路１０のＲ＋，Ｒ−，Ｌ＋，Ｌ−の端子に入力される。
まず、最初に、リセット信号（Ｒｅｓｅｔ）が０とされ（ｔ１）、コンデンサー５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、Ｌ＋，Ｌ−に左眼側のゼロ相関除去信号検知回路１６１が出力する比較パルス信号ＬＭＯＵＴ＋，ＬＭＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のゼロ相関除去信号発生回路１６１が出力する比較パルス信号ＲＭＯＵＴ＋，ＲＭＯＵＴ−が入力される。
まず、最初に、リセット信号（Ｒｅｓｅｔ）が０とされ（ｔ１）、コンデンサー５０の電圧Ｖｃが電源電圧Ｖdとされる。そして、リセット信号を１とした後（ｔ２）、Ｌ＋，Ｌ−に左眼側のゼロ相関除去信号検知回路１６１が出力する比較パルス信号ＬＭＯＵＴ＋，ＬＭＯＵＴ−が入力され、Ｒ＋，Ｒ−に右眼側のゼロ相関除去信号発生回路１６１が出力する比較パルス信号ＲＭＯＵＴ＋，ＲＭＯＵＴ−が入力される。
Ｒ＋とＬ＋の何れか一方が１で他方が０のとき（ｔ３〜ｔ４，ｔ５〜ｔ６，ｔ１２〜ｔ１３，ｔ１４〜ｔ１５）は、電流スイッチ回路５１が導通状態となる。従って、このとき、コンデンサー５０の電荷は放電され、コンデンサー５０の電圧は減少する。
Ｒ−とＬ−の何れか一方が１で他方が０のとき（ｔ２８〜ｔ２９，ｔ２９〜ｔ３１，ｔ３３〜ｔ３４，ｔ３５〜ｔ３６，ｔ４２〜ｔ４３，ｔ４４〜ｔ４５）は、電流スイッチ回路５２が導通状態となる。従って、このとき、コンデンサー５０の電荷は放電され、コンデンサー５０の電圧は減少する。
Ｒ＋，Ｌ＋がともに０またはともに１、かつ、Ｒ−，Ｌ−がともに０またはともに１のとき（ｔ１〜ｔ３，ｔ４〜ｔ５，ｔ２１〜ｔ２２，ｔ３４〜ｔ３５，ｔ３６〜ｔ４０，ｔ４３〜ｔ４４，ｔ４５〜）は、電流スイッチ回路５１，５２はともに遮断状態となる。従って、このときはコンデンサー５０の電圧Ｖｃは一定である。
ランプ信号の立ち下がり後、Ｒｅａｄ信号が立ち上がる迄に、コンデンサー５０の電圧Ｖｃが確定する。Ｒ＋とＬ＋の相関が小さい場合、またはＲ−とＬ−の相関が小さい場合には、最終的なコンデンサー５０の電圧Ｖｃは低くなる。逆に、Ｒ＋とＬ＋の相関が大きい場合、またはＲ−とＬ−の相関が大きい場合には、最終的なコンデンサー５０の電圧Ｖｃは高い状態に維持される。また、ゼロ相関除去信号発生回路によって、パルス信号がＨ／Ｌ信号に代えられて与えられた相関回路のＶｃは強制的に低い値となる。
コンデンサー５０の電圧Ｖｃの確定後、読出信号（ｒｅａｄ）が１となり（ｔ９，ｔ１８，ｔ２５，ｔ３０，ｔ３９，ｔ４７）、読出スイッチ５６が導通状態となる。これにより、出力回路５５は、コンデンサー５０の電圧Ｖｃに比例した大きさの電流を出力する。
出力が終了した後、再びリセット信号が０とされ（ｔ１０，ｔ１９，ｔ２６，ｔ３１，ｔ４０）、同様の相関検知演算が繰り返される。
以上のように、パルス信号比較回路９の＋と−の出力である比較パルス信号をゼロ信号検知回路１６１で検知したときは予め決められた信号を出力し、それ以外のときはその比較パルス信号を出力するようにしたので、相関データは対象物の部分のみ特徴的な値となる。したがって、簡単な閾値処理だけでその位置を検出することが可能となり、後処理の演算コストを大幅に低減できる。その結果、装置のコストを低減できると共に処理時間も短縮できる。
視差センサーにおいて行われる二眼視差による距離検出の原理を図２５に示す。右眼と左眼を一定の距離で離して設置して撮像すると、同じ対象物に対して、その距離（眼から対象物までの）に応じて左右の眼から見える各々の位置がずれて見えることになる。従って、すべての画像データ間で相関をとり、大きな相関がある所の位置（図内の矢印の方向に対する）によって、各々の対象物の距離が検知できる。図内のＡ，Ｂ，Ｃの三つの対象物（△、□、○）を示している。ここで相関マトリックスには、左右の画素信号（１〜ｎ）線の交点の位置に各々相関機能があるとしている。眼に近い程、相関マトリックスの１マス間の示す距離が小さくなるが、その変化量は、左右の眼の設置位置とそれらの相対角度によって決定できるので、予め換算表を用意しておくことが可能である。
上述した先願発明により得られる視差相関データは、図２５に例を示すように、対象物が存在する所に特徴的なパターンができるので、その特徴パターンの座標を検出することで、対象物の横方向の位置と奥行（対象物迄の距離）を特定することができる。しかし、図２６の例で示す場合のように、同一形状の対象物が同程度の距離に複数個ある場合には、それらの相関特徴パターンは、本来の位置（Ａ，Ｂ）とは異なる位置（Ｃ，Ｄ）にも出現する。これら本物（Ａ，Ｂ）と偽物（Ｃ，Ｄ）の相関パターンは、通常のステレオ視に基づく相関結果だけでは区別することができない。同一形状のものが複数存在する場合も、現実には少なからずあり得ることなので、この問題を解決しなければ、視差センサーの利用条件が制限されることになる。
そこで本発明は、複数の対象物に対しても、正しい距離検知が可能となるイメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法を提供することを目的とする。
そこで本発明は、複数の対象物に対しても、正しい距離検知が可能となるイメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法を提供することを目的とする。
前記課題を解決するため、本発明の第１の構成は、受光量に応じてオフになるタイミングが決定されるスイッチング素子を介して画素内コンデンサーに、撮像する空間の位置に応じて異なるアナログ電圧信号を与える機能を有する画素回路で構成されたイメージセンサーである。
この第１の構成においては、撮像する空間の位置に応じて画素検知信号が異なるので、異なった位置に存在する同一形状の対象物に対する検知信号が区別できる。
この第１の構成においては、撮像する空間の位置に応じて画素検知信号が異なるので、異なった位置に存在する同一形状の対象物に対する検知信号が区別できる。
本発明の第２の構成は、第１の構成におけるスイッチング素子は、受光量に応じて端子電圧が変化するフォトダイオードの前記端子電圧が所定の閾値を超えたときにオフになるＭＯＳトランジスタによって構成されているイメージセンサーである。
この第２の構成においては、スイッチング素子をＭＯＳトランジスタで構成することにより、ＣＭＯＳイメージセンサーにおける実現が可能である。
この第２の構成においては、スイッチング素子をＭＯＳトランジスタで構成することにより、ＣＭＯＳイメージセンサーにおける実現が可能である。
本発明の第３の構成は、第１の構成または第２の構成のイメージセンサーからなり、空間的に移動する部分照射光によって照射される対象物を互いに異なる角度から撮像し、アナログ電圧信号である画素信号として第１画像及び第２画像をそれぞれ出力する第１及び第２のイメージセンサーと、
前記第１及び第２のイメージセンサーに与えられた、前記撮像する空間の位置に応じて異なるアナログ電圧信号に基づく出力信号の相関に基づいて、当該空間の位置に物体があるか否かを判定する手段と、
前記第１及び第２のイメージセンサーから出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数のアナログ／パルス幅変換回路と、
すべての前記各アナログ／パルス幅変換回路が同時並列的に各画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
隣接する前記アナログ／パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する複数のパルス信号比較回路と、
前記第１画像に対応する前記パルス信号比較回路の出力である比較パルス信号と前記第２画像に対応する前記パルス信号比較回路の出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
前記パルス信号比較回路の出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って前記比較パルス信号または予め決められた信号を選択し前記相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路とを備えたことを特徴とする視差センサーである。
この第３の構成においては、部分照射光によって対象物を照射することにより対象物への照射範囲を狭め、その照射部分を空間的に移動させる制御を行い、その照射部分の位置に対応する信号を画素内に検知できる機能を備える画素回路を視差センサー内のイメージセンサーに採用することにより、同一形状の複数の対象物に対しても、正しい距離検知が可能な視差センサーを実現することができる。
この空間的に移動する部分照射光の照射方法には、これに限定されるものではないが、線状光束のスイープ状走査またはランダム照射、または複数に配列された光源による順次またはランダム照射、あるいはレーザ光等の二次元的スイープ走査またはランダム照射、等が含まれる。また、部分照射光の波長は、白色光でも、白色光と区別できる単色光あるいは赤外光でもよく、その波長を検知できるイメージセンサーを用いることができる。
前記第１及び第２のイメージセンサーに与えられた、前記撮像する空間の位置に応じて異なるアナログ電圧信号に基づく出力信号の相関に基づいて、当該空間の位置に物体があるか否かを判定する手段と、
前記第１及び第２のイメージセンサーから出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数のアナログ／パルス幅変換回路と、
すべての前記各アナログ／パルス幅変換回路が同時並列的に各画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
隣接する前記アナログ／パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する複数のパルス信号比較回路と、
前記第１画像に対応する前記パルス信号比較回路の出力である比較パルス信号と前記第２画像に対応する前記パルス信号比較回路の出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
前記パルス信号比較回路の出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って前記比較パルス信号または予め決められた信号を選択し前記相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路とを備えたことを特徴とする視差センサーである。
この第３の構成においては、部分照射光によって対象物を照射することにより対象物への照射範囲を狭め、その照射部分を空間的に移動させる制御を行い、その照射部分の位置に対応する信号を画素内に検知できる機能を備える画素回路を視差センサー内のイメージセンサーに採用することにより、同一形状の複数の対象物に対しても、正しい距離検知が可能な視差センサーを実現することができる。
この空間的に移動する部分照射光の照射方法には、これに限定されるものではないが、線状光束のスイープ状走査またはランダム照射、または複数に配列された光源による順次またはランダム照射、あるいはレーザ光等の二次元的スイープ走査またはランダム照射、等が含まれる。また、部分照射光の波長は、白色光でも、白色光と区別できる単色光あるいは赤外光でもよく、その波長を検知できるイメージセンサーを用いることができる。
本発明の第４の構成は、それぞれが第１の構成または第２の構成のイメージセンサーからなる第１及び第２のイメージセンサーを用いた視差画像の生成方法であって、
空間的に移動する部分照射光によって照射される対象物を互いに異なる角度から前記第１及び第２のイメージセンサーで撮像し、前記第１及び第２のイメージセンサーから、それぞれアナログ電圧信号である第１画像及び第２画像を出力する第１のステップと、
前記第１及び第２のイメージセンサーに与えられた、前記撮像する空間の位置に応じて異なるアナログ電圧信号に基づく出力信号の相関に基づいて、当該空間の位置に物体があるか否かを判定する第２のステップと、
前記第１及び第２のイメージセンサーが出力する各画素信号を、複数のアナログ／パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第３のステップと、
隣接する前記アナログ／パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する第４のステップと、
前記比較パルス信号のパルス幅が一定の長さ以下であることを検知したときに、前記比較パルス信号または予め決められた信号を選択して出力する第５のステップと、
複数の相関検知回路により、前記第１画像に対応する比較パルス信号、但し前記第５のステップにおいて予め決められた信号が選択されたときはその予め決められた信号と、前記第２画像に対応する比較パルス信号、但し前記第５のステップにおいて予め決められた信号が選択されたときはその予め決められた信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する第６のステップと、
を有することを特徴とする視差画像の生成方法である。
この第４の構成により、同一形状の複数の対象物に対しても、正しい距離検知が可能な視差画像の生成が可能となる。
空間的に移動する部分照射光によって照射される対象物を互いに異なる角度から前記第１及び第２のイメージセンサーで撮像し、前記第１及び第２のイメージセンサーから、それぞれアナログ電圧信号である第１画像及び第２画像を出力する第１のステップと、
前記第１及び第２のイメージセンサーに与えられた、前記撮像する空間の位置に応じて異なるアナログ電圧信号に基づく出力信号の相関に基づいて、当該空間の位置に物体があるか否かを判定する第２のステップと、
前記第１及び第２のイメージセンサーが出力する各画素信号を、複数のアナログ／パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第３のステップと、
隣接する前記アナログ／パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する第４のステップと、
前記比較パルス信号のパルス幅が一定の長さ以下であることを検知したときに、前記比較パルス信号または予め決められた信号を選択して出力する第５のステップと、
複数の相関検知回路により、前記第１画像に対応する比較パルス信号、但し前記第５のステップにおいて予め決められた信号が選択されたときはその予め決められた信号と、前記第２画像に対応する比較パルス信号、但し前記第５のステップにおいて予め決められた信号が選択されたときはその予め決められた信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する第６のステップと、
を有することを特徴とする視差画像の生成方法である。
この第４の構成により、同一形状の複数の対象物に対しても、正しい距離検知が可能な視差画像の生成が可能となる。
本発明によれば、受光量に応じてオフになるタイミングが決定されるスイッチング素子を介して画素内コンデンサーに、撮像する空間の位置に応じて異なるアナログ電圧信号を与える機能を有する画素回路で構成されたイメージセンサーを視差センサーに用いることにより、同一形状の複数の対象物に対しても、正しい距離検知が可能となり、様々な状況での利用が可能になる。
以下、本発明の実施の形態を図面を用いて説明する。
図１は本発明の実施の形態に係る画素回路の基本構成例を示す回路図である。図１１に示した従来の画素回路との相違点は、本実施の形態の画素回路６０は、図１１のフォトダイオードＰＤとＰＭＯＳトランジスタＭ３の接続点とＮＭＯＳトランジスタＭ１のゲートとの間に、フォトダイオードＰＤへの受光量に応じてＯＦＦになるタイミングが決定されるスイッチ（以下、「受光量応答タイミング可変スイッチ」という。）６１を設けたことにある。この受光量応答タイミング可変スイッチ６１は、フォトダイオードＰＤのカソードの電圧を反転するインバータ６２と、インバータ６２の出力電圧がある閾値以上になるとオフするスイッチＳＷ、およびスイッチＳＷがオンのときにマーク信号Ｖｍｒｋ電圧を放電し、スイッチＳＷがオフになったときにその電圧を保持する画素内コンデンサーＣからなるホールド回路６３とからなる。
図１は本発明の実施の形態に係る画素回路の基本構成例を示す回路図である。図１１に示した従来の画素回路との相違点は、本実施の形態の画素回路６０は、図１１のフォトダイオードＰＤとＰＭＯＳトランジスタＭ３の接続点とＮＭＯＳトランジスタＭ１のゲートとの間に、フォトダイオードＰＤへの受光量に応じてＯＦＦになるタイミングが決定されるスイッチ（以下、「受光量応答タイミング可変スイッチ」という。）６１を設けたことにある。この受光量応答タイミング可変スイッチ６１は、フォトダイオードＰＤのカソードの電圧を反転するインバータ６２と、インバータ６２の出力電圧がある閾値以上になるとオフするスイッチＳＷ、およびスイッチＳＷがオンのときにマーク信号Ｖｍｒｋ電圧を放電し、スイッチＳＷがオフになったときにその電圧を保持する画素内コンデンサーＣからなるホールド回路６３とからなる。
図２は、本実施の形態に係る画素回路の具体的構成例を示すものであり、インバータ６２をＰＭＯＳトランジスタＭ４とＮＭＯＳトランジスタＭ５で構成し、スイッチＳＷをＰＭＯＳトランジスタＭ６で構成したものである。
図３は本発明の実施の形態に係るイメージセンサー部の構成例を示す回路図である。図１０に示した先願発明との相違点は、イメージセンサー２ａ，２ｂ内の画素回路を図１，図２に示した構成の画素回路６０で構成したことと、各画素回路６０のホールド回路６３に与えるマーク信号Ｖｍｒｋを生成するマーク信号発生回路６５を設けたことである。
図４は本発明の実施の形態に係るマーク信号発生回路６５の構成例を示す回路図、図５は図４のマーク信号発生回路の動作例を示すタイムチャートである。
マーク信号Ｖｍｒｋは、図５に示すようにマーク信号生成用クロック信号ＣＬＫｍの立ち上がりでハイレベル電圧から電圧降下し、立ち下がりで電圧降下がリセットされてハイレベル電圧に復帰する一種のランプ電圧信号である。このマーク信号Ｖｍｒｋは、電圧降下時の直線性を良くするために、図４に示す回路を用いることができる。
マーク信号Ｖｍｒｋは、図５に示すようにマーク信号生成用クロック信号ＣＬＫｍの立ち上がりでハイレベル電圧から電圧降下し、立ち下がりで電圧降下がリセットされてハイレベル電圧に復帰する一種のランプ電圧信号である。このマーク信号Ｖｍｒｋは、電圧降下時の直線性を良くするために、図４に示す回路を用いることができる。
図６は本発明の実施の形態に係る時分割照射方式における距離検知システムの構成例を示す説明図であり、（ａ）は平面図、（ｂ）は要部の側面図である。この図において、視差センサー用光学装置７０は、左用対物レンズ７１ａ、右用対物レンズ７１ｂと、左用反射板７２ａ、右用反射板７２ｂと、反射板７２ａ，７２ｂから反射された左右の像をそれぞれ全反射する反射プリズム７３と、反射プリズム７３で反射された像を視差センサー１の左右のイメージセンサー２ａ，２ｂに結像させるレンズ７４とを備えている。また、対象物に対して光源７６からの光束を“方向＿ｌ”から“方向＿ｍ”まで繰り返して走査する回転反射プリズム７５が設けられている。なお、光束の走査周期と、図５に示すマーク信号Ｖｍｒｋの周期とは同期するように構成されている。
以上の構成の視差センサーにおける動作を、図７に示すタイムチャートに基づいて説明する。
まず、図６の距離検知システムにおける回転反射プリズム７５が回転して光源７６からの光束を“方向＿ｌ”から“方向＿ｍ”に走査を開始してからリセット信号Ｒｓｔが時刻ｔ１にローレベルになると、図１または図２のＰＭＯＳトランジスタＭ３がオンになり、左右の画素回路６０におけるフォトダイオードＰＤのカソード電位Ｖｐｄがハイレベルになる。次いで時刻ｔ２においてリセット信号Ｒｓｔがハイレベルになった後、マーク信号生成用クロック信号ＣＬＫｍ（右，左）がハイレベルになり、時刻ｔ２からマーク信号Ｖｍｒｋ（右，左）が直線状に下降していく。なお、ＣＬＫ右とＣＬＫ左は、反射光が入射しない画素同士、つまり、対応する撮像位置に対象物が無い画素同士の相関信号を無効にする為に、あえて異なった信号を与えている。
まず、図６の距離検知システムにおける回転反射プリズム７５が回転して光源７６からの光束を“方向＿ｌ”から“方向＿ｍ”に走査を開始してからリセット信号Ｒｓｔが時刻ｔ１にローレベルになると、図１または図２のＰＭＯＳトランジスタＭ３がオンになり、左右の画素回路６０におけるフォトダイオードＰＤのカソード電位Ｖｐｄがハイレベルになる。次いで時刻ｔ２においてリセット信号Ｒｓｔがハイレベルになった後、マーク信号生成用クロック信号ＣＬＫｍ（右，左）がハイレベルになり、時刻ｔ２からマーク信号Ｖｍｒｋ（右，左）が直線状に下降していく。なお、ＣＬＫ右とＣＬＫ左は、反射光が入射しない画素同士、つまり、対応する撮像位置に対象物が無い画素同士の相関信号を無効にする為に、あえて異なった信号を与えている。
前記の時刻ｔ１から、ホールド回路６３のスイッチＳＷ（またはスイッチング動作をするＰＭＯＳトランジスタＭ６）がオンになり、ＮＭＯＳトランジスタＭ１のゲート電圧Ｖｇはマーク信号Ｖｍｒｋと同様にｔ２から直線状に下降し始める。同時に、画素回路６０を構成するフォトダイオードＰＤに物体ａからの反射信号が光学系を介して入射することによりフォトダイオードＰＤのカソード電位Ｖｐｄがハイレベルからローレベルに転じ、ある閾値のところでインバータ６２がスイッチＳＷを開放する。これによりＮＭＯＳトランジスタＭ１のゲート電圧Ｖｇがホールドされ、読み出し信号Ｒｅａｄ＿ｌ〜ｎのタイミングで１〜Ｎラインに対応する画素回路のＮＭＯＳトランジスタＭ２がオンすることにより、その時点の１〜Ｎラインの画素回路のＶｇの電圧が出力信号として出力される。
以上は、“方向＿ａ”に物体がある場合の動作であるが、検出対象の物体がない場合は、リセット信号Ｒｓｔが時刻ｔ７にローレベルになると、図１または図２のＰＭＯＳトランジスタＭ３がオンになり、左右の画素回路６０におけるフォトダイオードＰＤのカソード電位Ｖｐｄがハイレベルになる。次いで時刻ｔ８においてリセット信号Ｒｓｔがハイレベルになった後、マーク信号生成用クロック信号ＣＬＫｍ（右，左）がハイレベルになり、時刻ｔ８からマーク信号Ｖｍｒｋ（右，左）が直線状に下降していく。また、ホールド回路６３のスイッチＳＷ（またはＰＭＯＳトランジスタＭ６）がオンになり、ＮＭＯＳトランジスタＭ１のゲート電圧Ｖｇはマーク信号Ｖｍｒｋと同様に直線状に下降し始める。
このとき、画素回路６０を構成するフォトダイオードＰＤには物体からの反射信号が入射しないため、Ｖｇ右信号もＶｇ左信号もともにローレベルまで達する。但し、Ｖｍｒｋ右信号は、ＣＬＫｍ右信号がＣＬＫｍ左信号より早くローレベルになるのでローレベルに達してすぐにハイレベルに転じる。一方、Ｖｍｒｋ左信号はしばらくはローレベルのままである。そこで、ｔ９のタイミングでライン１の読み出し信号Ｒｅａｄ＿ｌでライン１の画素回路のＶｇ信号を読み出し、その後、順次読み出しラインを変えて、読み出し信号Ｒｅａｄ＿ｎのタイミングｔ１１でラインＮの画素回路のＶｇ信号を読み出す。
次いで、ｔ１３でリセット信号Ｒｓｔがローレベルになり、ｔ１４でリセット信号がハイレベルになった後に、次のサイクルの光照射が行われるが、このとき、“方向＿ｂ”で、“方向＿ａ”のときよりもすぐに物体を検知しているため、Ｖｇ右信号、Ｖｇ左信号ともに、“方向＿ａ”のときよりもコンデンサーＣのホールド電位であるゲート電圧Ｖｇが高くなっている。すなわち、物体の位置に応じた出力信号が得られるようになっている。
このように、光束で視野内を走査し、左右の読み出し信号の相関の有無によって、視野内に物体があるか否かを検知することができる。このようにして読み出された各画素回路６０からの電圧信号は、図１０に示したアナログ／パルス幅変換回路アレイ４ａ，４ｂに出力され、先願発明と同様に信号処理されて、左右の視差信号として出力される。したがって、同一形状の対象物が同程度の距離に複数個ある場合に、それらの相関特徴パターンは、本来の位置以外には出現しないので、様々な条件下で複数の対象物に対しても、正しい距離検知が可能となる。
なお、本実施の形態においては、画素回路６０として、ホールド回路６３に与える電圧として、ハイレベルから時間的に変化するマーク信号Ｖｍｒｋを用いた。このホールド回路６３を構成するコンデンサーＣの端子電圧Ｖｇは、マーク信号Ｖｍｒｋと、フォトダイオードＰＤのカソード電位Ｖｐｄの関数で規定され、カソード電位ＶｐｄはフォトダイオードＰＤに照射される光の量で変化する。すなわち、フォトダイオードＰＤに照射される光の量が小さいときはカソード電位Ｖｐｄの時間的変化は小さく、光の量が大きいときはカソード電位Ｖｐｄの時間的変化は大きくなる。そこで、図８に示すマーク信号Ｖｍｒｋの時間変化（勾配）を緩急に変化させたり、直線ではなくＳ字曲線のような曲線としたりすることにより、画素回路としてのダイナミックレンジを拡大することも可能である。
以上の実施の形態では、図６に示すように光源７６からの光束を回転反射プリズム７５を用いて空間的に走査し、またマーク信号Ｖｍｒｋとして、回転反射プリズム７５の回転と同期したランプ電圧信号を用いることにより、画像情報の空間的位置を特定するようにしたが、物体の空間的位置と、マーク信号Ｖｍｒｋの電圧値とが対応していれば、他の方法で画像情報の空間的位置を特定することができる。
例えば、図６の光源７６と回転反射プリズム７５の代わりに、一次元アレイ状または二次元マトリックス状に配置された複数の光源を一定の順序またはランダムな順序で照射し、発光している各光源の位置（座標）に対応したマーク信号Ｖｍｒｋを画素回路６０のホールド回路６３に与えることによって、同様に画像情報の空間的位置を特定することができる。あるいは、レーザ光等のスポット光源を主走査方向及び副走査方向に走査するか、またはランダム照射することで１フレームの画像を取得する際に、スポット光源の位置（座標）に対応したマーク信号Ｖｍｒｋを画素回路６０のホールド回路６３に与えることによって、同様に画像情報の空間的位置を特定することができる。
本発明は、ステレオ視に基づいて距離情報を容易に抽出することができる視差センサーおよび視差画像の生成方法として、３次元動き検知装置や監視装置等の分野に利用することができる。
１ 視差センサー
２ａ，２ｂ イメージセンサー
３ シーケンサー
４ａ，４ｂ アナログ／パルス幅変換回路アレイ
５ａ，５ｂ パルス信号比較回路アレイ
６ 相関検知回路マトリックス
７ シーケンサー
８ アナログ／パルス幅変換回路
９，９’ パルス信号比較回路（ＤＩＦＣ）
１０ 相関検知回路
１１ 電流電圧変換回路（ＩＶＣ）
１２ シフトレジスター
１３ 同期制御回路
１５ａ，１５ｂ ゼロ相関除去信号発生回路アレイ
１６ ゼロ相関除去信号発生回路
１６１ ゼロ信号検知回路
１６２，１６３ 選択回路
１６１１ ＮＯＲ回路
１６１２ ＮＯＴ回路
１６１３ ＭＯＳＦＥＴ
１６１４ Ｒ−Ｓフリップフロップ
１６１５ ＮＡＮＤ回路
４１，４２，４５，４６ インバータ
４３，４４，４７，４８ ＮＡＮＤゲート
５０ コンデンサー
５１，５２ 電流スイッチ回路
５３ 電流源
５４ リセット・スイッチ
５５ 出力回路
５６ 読出スイッチ
６０ 画素回路
６１ 受光量応答タイミング可変スイッチ
６２ インバータ
６３ ホールド回路
６４ 電流電圧変換回路
６５ マーク信号発生回路
７０ 視差センサー用光学装置
７１ａ，７１ｂ レンズ
７２ａ，７２ｂ 反射板
７３ 反射プリズム
７４ レンズ
７５ 回転反射プリズム
７６ 光源
２ａ，２ｂ イメージセンサー
３ シーケンサー
４ａ，４ｂ アナログ／パルス幅変換回路アレイ
５ａ，５ｂ パルス信号比較回路アレイ
６ 相関検知回路マトリックス
７ シーケンサー
８ アナログ／パルス幅変換回路
９，９’ パルス信号比較回路（ＤＩＦＣ）
１０ 相関検知回路
１１ 電流電圧変換回路（ＩＶＣ）
１２ シフトレジスター
１３ 同期制御回路
１５ａ，１５ｂ ゼロ相関除去信号発生回路アレイ
１６ ゼロ相関除去信号発生回路
１６１ ゼロ信号検知回路
１６２，１６３ 選択回路
１６１１ ＮＯＲ回路
１６１２ ＮＯＴ回路
１６１３ ＭＯＳＦＥＴ
１６１４ Ｒ−Ｓフリップフロップ
１６１５ ＮＡＮＤ回路
４１，４２，４５，４６ インバータ
４３，４４，４７，４８ ＮＡＮＤゲート
５０ コンデンサー
５１，５２ 電流スイッチ回路
５３ 電流源
５４ リセット・スイッチ
５５ 出力回路
５６ 読出スイッチ
６０ 画素回路
６１ 受光量応答タイミング可変スイッチ
６２ インバータ
６３ ホールド回路
６４ 電流電圧変換回路
６５ マーク信号発生回路
７０ 視差センサー用光学装置
７１ａ，７１ｂ レンズ
７２ａ，７２ｂ 反射板
７３ 反射プリズム
７４ レンズ
７５ 回転反射プリズム
７６ 光源
Claims (4)
- 受光量に応じてオフになるタイミングが決定されるスイッチング素子を介して画素内コンデンサーに、撮像する空間の位置に応じて異なるアナログ電圧信号を与える機能を有する画素回路で構成されたイメージセンサー。
- 前記スイッチング素子は、受光量に応じて端子電圧が変化するフォトダイオードの前記端子電圧が所定の閾値を超えたときにオフになるＭＯＳトランジスタによって構成されている請求項１記載のイメージセンサー。
- 請求項１または２記載のイメージセンサーからなり、空間的に移動する部分照射光によって照射される対象物を互いに異なる角度から撮像し、アナログ電圧信号である画素信号として第１画像及び第２画像をそれぞれ出力する第１及び第２のイメージセンサーと、
前記第１及び第２のイメージセンサーに与えられた、前記撮像する空間の位置に応じて異なるアナログ電圧信号に基づく出力信号の相関に基づいて、当該空間の位置に物体があるか否かを判定する手段と、
前記第１及び第２のイメージセンサーから出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数のアナログ／パルス幅変換回路と、
すべての前記各アナログ／パルス幅変換回路が同時並列的に各画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、
隣接する前記アナログ／パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する複数のパルス信号比較回路と、
前記第１画像に対応する前記パルス信号比較回路の出力である比較パルス信号と前記第２画像に対応する前記パルス信号比較回路の出力である比較パルス信号のそれぞれの組み合わせからなる２つの比較パルス信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、
前記パルス信号比較回路の出力である比較パルス信号のパルス幅が一定の長さ以下であることを検知するゼロ信号検知回路と、そのゼロ信号検知回路の出力信号に従って前記比較パルス信号または予め決められた信号を選択し前記相関検知回路に出力する選択回路とからなるゼロ相関除去信号発生回路とを備えたことを特徴とする視差センサー。 - それぞれが請求項１または２に記載のイメージセンサーからなる第１及び第２のイメージセンサーを用いた視差画像の生成方法であって、
空間的に移動する部分照射光によって照射される対象物を互いに異なる角度から前記第１及び第２のイメージセンサーで撮像し、前記第１及び第２のイメージセンサーから、それぞれアナログ電圧信号である第１画像及び第２画像を出力する第１のステップと、
前記第１及び第２のイメージセンサーに与えられた、前記撮像する空間の位置に応じて異なるアナログ電圧信号に基づく出力信号の相関に基づいて、当該空間の位置に物体があるか否かを判定する第２のステップと、
前記第１及び第２のイメージセンサーが出力する各画素信号を、複数のアナログ／パルス幅変換回路により、同時並列的に、その画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する第３のステップと、
隣接する前記アナログ／パルス幅変換回路が出力する２つのパルス幅画素信号を比較し、２つのパルス幅画素信号の＋方向の差と−方向の差をそれぞれ比較パルス信号として出力する第４のステップと、
前記比較パルス信号のパルス幅が一定の長さ以下であることを検知したときに、前記比較パルス信号または予め決められた信号を選択して出力する第５のステップと、
複数の相関検知回路により、前記第１画像に対応する比較パルス信号、但し前記第５のステップにおいて予め決められた信号が選択されたときはその予め決められた信号と、前記第２画像に対応する比較パルス信号、但し前記第５のステップにおいて予め決められた信号が選択されたときはその予め決められた信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値または電流値の信号に変換し、この信号を相関信号として出力する第６のステップと、
を有することを特徴とする視差画像の生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009042764A JP2010197227A (ja) | 2009-02-25 | 2009-02-25 | イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009042764A JP2010197227A (ja) | 2009-02-25 | 2009-02-25 | イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010197227A true JP2010197227A (ja) | 2010-09-09 |
Family
ID=42822097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009042764A Pending JP2010197227A (ja) | 2009-02-25 | 2009-02-25 | イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010197227A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015129669A (ja) * | 2014-01-07 | 2015-07-16 | 国立大学法人九州工業大学 | 視差センサ及び相関信号の生成方法 |
| US9258502B2 (en) | 2012-12-17 | 2016-02-09 | Samsung Electronics Co., Ltd. | Methods of operating depth pixel included in three-dimensional image sensor and methods of operating three-dimensional image sensor |
| KR101797014B1 (ko) | 2011-09-14 | 2017-11-14 | 삼성전자주식회사 | 3차원 이미지 센서의 단위 픽셀 |
| JP2020514713A (ja) * | 2016-12-27 | 2020-05-21 | ジェラルド ディルク スミッツ | 機械知覚のためのシステム及び方法 |
| US11372320B2 (en) | 2020-02-27 | 2022-06-28 | Gerard Dirk Smits | High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array |
| WO2023058591A1 (ja) * | 2021-10-06 | 2023-04-13 | パナソニックＩｐマネジメント株式会社 | 撮像素子および測距装置 |
| US11714170B2 (en) | 2015-12-18 | 2023-08-01 | Samsung Semiconuctor, Inc. | Real time position sensing of objects |
-
2009
- 2009-02-25 JP JP2009042764A patent/JP2010197227A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101797014B1 (ko) | 2011-09-14 | 2017-11-14 | 삼성전자주식회사 | 3차원 이미지 센서의 단위 픽셀 |
| US9258502B2 (en) | 2012-12-17 | 2016-02-09 | Samsung Electronics Co., Ltd. | Methods of operating depth pixel included in three-dimensional image sensor and methods of operating three-dimensional image sensor |
| JP2015129669A (ja) * | 2014-01-07 | 2015-07-16 | 国立大学法人九州工業大学 | 視差センサ及び相関信号の生成方法 |
| US11714170B2 (en) | 2015-12-18 | 2023-08-01 | Samsung Semiconuctor, Inc. | Real time position sensing of objects |
| JP2020514713A (ja) * | 2016-12-27 | 2020-05-21 | ジェラルド ディルク スミッツ | 機械知覚のためのシステム及び方法 |
| US11709236B2 (en) | 2016-12-27 | 2023-07-25 | Samsung Semiconductor, Inc. | Systems and methods for machine perception |
| JP7329444B2 (ja) | 2016-12-27 | 2023-08-18 | ジェラルド ディルク スミッツ | 機械知覚のためのシステム及び方法 |
| US11372320B2 (en) | 2020-02-27 | 2022-06-28 | Gerard Dirk Smits | High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array |
| US11829059B2 (en) | 2020-02-27 | 2023-11-28 | Gerard Dirk Smits | High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array |
| WO2023058591A1 (ja) * | 2021-10-06 | 2023-04-13 | パナソニックＩｐマネジメント株式会社 | 撮像素子および測距装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010197227A (ja) | イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法 | |
| Niclass et al. | A 0.18-$\mu $ m CMOS SoC for a 100-m-Range 10-Frame/s 200$\,\times\, $96-Pixel Time-of-Flight Depth Sensor | |
| Perenzoni et al. | A 64$\times $64-Pixels Digital Silicon Photomultiplier Direct TOF Sensor With 100-MPhotons/s/pixel Background Rejection and Imaging/Altimeter Mode With 0.14% Precision Up To 6 km for Spacecraft Navigation and Landing | |
| Jahromi et al. | A 32× 128 SPAD-257 TDC receiver IC for pulsed TOF solid-state 3-D imaging | |
| US10422879B2 (en) | Time-of-flight distance measuring device | |
| JP6314418B2 (ja) | レーダ装置 | |
| JP2020515855A (ja) | 統合化されたｌｉｄａｒ照明出力制御 | |
| JP6609980B2 (ja) | 光飛行時間測定装置及び光学的測距装置 | |
| WO2017112416A1 (en) | Light detection and ranging sensor | |
| JP2022510817A (ja) | 空間的に分配されるストロービングのための方法及びシステム | |
| Ruokamo et al. | An $80\times25 $ Pixel CMOS Single-Photon Sensor With Flexible On-Chip Time Gating of 40 Subarrays for Solid-State 3-D Range Imaging | |
| CN111103057B (zh) | 具有使用基于电容器的比较器的阈值检测的光子感测 | |
| WO2020075525A1 (ja) | センサフュージョンシステム、同期制御装置、及び同期制御方法 | |
| US11626446B2 (en) | Pixel circuit and method of operating the same in an always-on mode | |
| US11770633B2 (en) | Readout architecture for indirect time-of-flight sensing | |
| Zhuo et al. | Solid-state dToF LiDAR system using an eight-channel addressable, 20-W/ch transmitter, and a 128× 128 SPAD receiver with SNR-based pixel binning and resolution upscaling | |
| JP7224708B6 (ja) | 深度データ測定ヘッド、測定装置及び測定方法 | |
| CN110709724B (zh) | 电磁波检测装置以及记录介质 | |
| JP6379646B2 (ja) | 情報処理装置、測定方法及びプログラム | |
| JP5146959B2 (ja) | 視差センサおよび視差画像の生成方法 | |
| JP2011203192A (ja) | 視差センサ、及び視差画像生成方法 | |
| CN114829970A (zh) | 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 | |
| Kotake et al. | Performance improvement of real-time 3D imaging ladar based on a modified array receiver | |
| JP7199016B2 (ja) | 固体撮像装置 | |
| US20230204727A1 (en) | Distance measurement device and distance measurement method |