JP2021124321A - 測距装置および測距方法 - Google Patents

Abstract

【課題】より高速に被測定物までの距離を算出することができる測距装置および測距方法を提供する。【解決手段】測距装置は、光源部と、受光部と、設定部と、検出部と、算出部と、を備える。光源部は、第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する。受光部は、光を受光して画素信号を出力する。設定部は、前記第１の期間に前記画素信号に基づいて基準信号を設定する。検出部は、前記第２の期間に前記画素信号が前記基準信号から第１の値以上変化したか否かを検出し、検出結果を示す第１の検出信号を出力する。算出部は、前記第１の検出信号を用いて被測定物までの距離を算出する。【選択図】図７

Description

本開示は、測距装置および測距方法に関する。

物体の３次元形状を求める手法の一つとして、空間コード化法と呼ばれる手法が知られている。空間コード化法では、例えば周期の異なる縞パターンを照射して撮像した複数の撮像画像を用いて３次元形状を求める。

J. L. Posdamer, M. D. Altschler, "Surface Measurement by Space-Encoded Projected Beam Systems", Computer Graphics and Image Processing vol.18, No1, pp.1-17, 1982.

空間コード化法では複数の撮像画像を取得する必要がある。そのため、従来の撮像装置では、複数の撮像画像の取得に時間がかかり、例えば高速で移動する物体の３次元形状（被測定物までの距離）の計測が困難であるという問題があった。

そこで、本開示では、より高速に被測定物までの距離を算出することができる測距装置および測距方法を提供する。

本開示によれば、測距装置が提供される。測距装置は、光源部と、受光部と、設定部と、検出部と、算出部と、を備える。光源部は、第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する。受光部は、光を受光して画素信号を出力する。設定部は、前記第１の期間に前記画素信号に基づいて基準信号を設定する。検出部は、前記第２の期間に前記画素信号が前記基準信号から第１の値以上変化したか否かを検出し、検出結果を示す第１の検出信号を出力する。算出部は、前記第１の検出信号を用いて被測定物までの距離を算出する。

本開示の第１実施形態に係る測距装置の概略構成例を示す図である。 本開示の第１実施形態に係る撮像装置の機能構成例を示す図である。 本開示の第１実施形態に係る単位画素の概略構成例を示す回路図である。 本開示の第１実施形態に係る検出部の概略構成例を示すブロック図である。 本開示の第１実施形態に係る電流電圧変換部の他の一例を示す回路図である。 本開示の第１実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。 本開示の第１実施形態に係る撮像装置の動作例を説明するための図である。 撮像装置による撮像動作の一例を示す図である。 本開示の第１実施形態に係る撮像装置の動作の詳細について説明するための図である。 本開示の第１実施形態に係る撮像装置の比較例について説明するための図である。 本開示の第１実施形態に係る撮像装置の比較例について説明するための図である。 プロジェクタのリンギングの一例を示す模式図である。 本開示の第１実施形態に係る測距装置の構成例を示すブロック図である。 本開示の第１実施形態に係るタイミング制御部によるタイミング制御の一例を説明するための図である。 本開示の第１実施形態に係る投影画像生成部が転送する照射パターンの一例を説明するための図である。 本開示の第１実施形態に係る投影画像生成部が転送する照射パターンの一例を説明するための図である。 本開示の第１実施形態に係る信号処理部の構成例を示すブロック図である。 本開示の第１実施形態に係るデプス推定部による奥行きの算出方法を説明するための図である。 本開示の第１実施形態に係る測距装置の概略動作例を示すフローチャートである。 本開示の第２実施形態に係る撮像装置の機能構成例を示す図である。 本開示の第２実施形態に係る単位画素の概略構成例を示す図である。 本開示の第２実施形態に係る単位画素配置の一例を示す図である。 本開示の第２実施形態に係る撮像装置の単位画素の配置の他の例を示す図である。 本開示の第２実施形態に係る単位画素からの信号読み出しの一例を説明するための図である。 本開示の第２実施形態に係る単位画素の概略構成の他の例を示す図である。 本開示の第２実施形態に係る撮像装置の撮像タイミングの一例を示す図である。 本開示の第２実施形態に係る撮像装置の撮像タイミングの他の例を説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１実施形態
１．１．測距装置の構成例
１．２．撮像装置
１．２．１．撮像装置の構成例
１．２．２．単位画素の構成例
１．２．３．検出部の構成例
１．２．３．１．電流電圧変換部の構成例
１．２．３．２．減算器及び量子化器の構成例
１．２．４．撮像装置の動作例
１．３．測距装置の制御部
１．４．測距装置の動作例
２．第２実施形態
２．１．撮像装置の機能構成例
２．２．単位画素の構成例
２．３．撮像装置の動作例
３．その他の実施形態
４．補足

＜１．第１実施形態＞
＜１．１．測距装置の構成例＞
図１は、本開示の第１実施形態に係る測距装置１の概略構成例を示す図である。図１に示すように、測距装置１は、例えば、撮像装置１００と、プロジェクタ２００と、全体制御部３００と、記憶部４００とを備える。測距装置１は、空間コード化法と呼ばれる手法を用いて、被測定物ｏｂまでの距離を測定することで、被測定物ｏｂの３次元形状を計測する装置である。

プロジェクタ２００は、全体制御部３００の指示に従い、所定の画像を投影する。所定の画像は、例えば周期の異なる明暗パターンであり、プロジェクタ２００は、当該明暗パターンの照射光を被測定物ｏｂに向けて照射する。プロジェクタ２００は、所定の投影画像として照射パターンＰ０〜Ｐｎの照射光を順次照射する。図１ではｎ＝３である。

なお、照射パターンＰ０は、撮像装置１００の閾値を決定するための照射パターンであり、例えば黒色の画像（照射パターンが全て「暗」）、即ち照射光を照射しない照射パターンである。照射パターンＰ１〜Ｐｎは、図１の例では、縦縞の幅がそれぞれ異なる照射パターンである。

撮像装置１００は、全体制御部３００の指示に従い、プロジェクタ２００が照射パターンＰ０〜Ｐｎの照射光をそれぞれ照射したときの被測定物ｏｂを撮像する。撮像装置１００は、例えばＤＶＳ（Dynamic Vision Sensor）であり、画素が受光した光量が閾値を超えたか否かに応じた画素値の撮像画像を出力する。図１の例では、撮像装置１００は、照射パターンＰ０の照射タイミングに応じて閾値を設定（リセット）し、各照射パターンＰ１〜Ｐｎに対応する撮像画像Ｓ１〜Ｓｎを撮像する。換言すると、撮像装置１００は、照射パターンＰ０を照射した場合と比較して、各照射パターンＰ１〜Ｐ３照射時に、各画素が受光した光量が閾値を超えたか否か（明るくなったか否か）を示す撮像画像Ｓ１〜Ｓｎ（以下、差分画像Ｓ１〜Ｓｎとも称する）を出力する。なお、図１では、説明をわかりやすくするため、差分画像Ｓ１〜Ｓｎに被測定物ｏｂを示しているが、実際の差分画像Ｓ１〜Ｓｎは、照射パターンＰ０照射時（図１の撮像画像Ｓ０参照）と比較して明るくなったか否かを示す画像であり、図１の差分画像Ｓ１〜Ｓｎとは異なる場合がある。これは、以降の図でも同様である。

ここで、例えば、撮像装置１００が受光量に応じた輝度値を出力する通常のイメージセンサの場合、複数ビットの撮像画像を複数枚出力する必要がある。また、通常のイメージセンサの場合、全体制御部３００による後段の信号処理において、撮像画像の各画素の輝度値の差分を算出し、各画素の画素値が明るくなったか否かの判定を行う必要がある。そのため、通常のイメージセンサを用いて空間コード化法で被測定物ｏｂまでの距離を算出すると、該距離の算出に時間がかかっていた。

一方、本実施形態に係る撮像装置１００は、各照射パターンＰ１〜Ｐｎ照射時に背景照射パターンＰ０時と比較して各画素での受光量が増えたか否かを示す差分画像Ｓ１〜Ｓｎを出力する。これにより、撮像装置１００は、通常のイメージセンサより高速に撮像画像Ｓ１〜Ｓｎを全体制御部３００に出力することができる。また、全体制御部３００による後段の信号処理において、各画素の画素値が明るくなったか否かの判定を省略することができる。そのため、本実施形態の測距装置１を用いると被測定物ｏｂまでの距離算出時間を短縮することができる。なお、撮像装置１００の詳細については後述する。

全体制御部３００は、測距装置１の各部を制御する。全体制御部３００は、例えば、プロジェクタ２００を制御して、所定の照射パターンＰ０〜Ｐｎの照射光を照射させる。また、全体制御部３００は、撮像装置１００を制御して、プロジェクタ２００が背景照射パターンＰ０の照射光を照射している間、撮像装置１００の閾値をリセットさせる。全体制御部３００は、撮像装置１００を制御して、プロジェクタ２００が所定の照射パターンＰ１〜Ｐｎの照射光を照射している間、被測定物ｏｂを撮像させる。

全体制御部３００は、撮像装置１００が撮像した複数の差分画像Ｓ１〜Ｓｎに基づき、撮像画像Ｓ１〜Ｓｎの各画素における奥行き（被測定物ｏｂまでの距離）を算出する算出部としても動作する。全体制御部３００による奥行きの算出方法については後述する。

記憶部４００は、例えば照射パターンＰ０〜Ｐｎ等、測距装置１による被測定物ｏｂの測距に必要な情報を記憶する。

なお、ここでは、プロジェクタ２００が照射する照射パターンの数を４つとしたが、これに限定されない。照射パターンは複数であればよく、３つであってもよく、５つ以上であってもよい。また、ここでは、照射パターンが、周期が異なる縦縞のパターンであるとしたが、これに限定されない。例えば、照射パターンが横縞のパターンであってもよい。また、縦縞と横縞を組み合わせたパターンであってもよい。照射パターンは、バイナリーコーディングされていれば、どのようなパターンであってもよい。

＜１．２．撮像装置＞
＜１．２．１．撮像装置の構成例＞
次に、本開示の第１実施形態に係る撮像装置１００の詳細について説明する。図２は、本開示の第１実施形態に係る撮像装置１００の機能構成例を示す図である。

図２に示すように、撮像装置１００は、画素アレイ部１１０と、制御部１１１と、信号処理部１１２と、を備える。

画素アレイ部１１０には、複数の単位画素が二次元格子状に配列される。単位画素とは、後述において詳細に説明するが、例えば、フォトダイオードなどの光電変換素子と、この光電変換素子で発生した電荷による光電流の電流値（または電流値を変換した電圧値）が所定の閾値を超えたか否かを検出する画素回路（本実施形態では、後述する検出部１１００に相当）とを含んで構成される。ここで、画素回路は、複数の光電変換素子で共有され得る。その場合、各単位画素は、１つの光電変換素子と、共有される画素回路とを含んで構成される。

画素アレイ部１１０の複数の単位画素は、それぞれが所定数の単位画素からなる複数の画素ブロックにグループ化されていてもよい。以下、水平方向に配列する単位画素又は画素ブロックの集合を「行」と称し、行に垂直な方向に配列された単位画素又は画素ブロックの集合を「列」と称する。

通常のＤＶＳは、画素回路においてアドレスイベントの発生が検出されると、検出された画素回路に対応する単位画素から信号を読み出す非同期型の撮像装置である。一方、本実施形態の撮像装置１００は、制御部１１１からの制御に応じて、所定のタイミングで単位画素から信号を読み出す同期型のＤＶＳである。なお、単位画素から信号を読み出すタイミングの詳細については後述する。

制御部１１１は、画素アレイ部１１０を制御して、単位画素の閾値のリセットや単位画素からの信号読み出しを実行する。

信号処理部１１２は、単位画素から入力された信号に対して所定の信号処理を実行し、この信号処理の結果を、検出データ（検出信号）として、信号線１０９を介して全体制御部３００に供給する。

＜１．２．２．単位画素の構成例＞
図３は、本開示の第１実施形態に係る単位画素１１０１の概略構成例を示す回路図である。図３に示すように、単位画素１１０１は、例えば、受光部１１０３と、検出部１１００とを備える。なお、制御部１１１をロジック回路１１１とも記載する。

受光部１１０３は、例えば、フォトダイオードなどの光電変換素子１１０４を備え、その出力は、検出部１１００に接続される。

検出部１１００は、例えば、電流電圧変換部１１１０と、減算器１１３０とを備える。ただし、検出部１１００は、その他にも、バッファや量子化器や転送部を備える。検出部１１００の詳細については、後述において図４等を用いて説明する。

このような構成において、受光部１１０３の光電変換素子１１０４は、入射光を光電変換して電荷を発生させる。光電変換素子１１０４で発生した電荷は、その電荷量に応じた電流値の光電流として、検出部１１００に入力される。

＜１．２．３．検出部の構成例＞
図４は、本開示の第１実施形態に係る検出部１１００の概略構成例を示すブロック図である。図４に示すように、検出部１１００は、図３にも示した電流電圧変換部１１１０、減算器１１３０と及び量子化器１１４０に加え、バッファ１１２０と、転送部１１５０とを備える。

電流電圧変換部１１１０は、受光部１１０３からの光電流（画素信号）を、その対数の電圧信号に変換し、これにより生成された電圧信号をバッファ１１２０に出力する。

バッファ１１２０は、電流電圧変換部１１１０からの電圧信号を補正し、補正後の電圧信号を減算器１１３０に出力する。

減算器１１３０は、制御部１１１からの行駆動信号に従ってバッファ１１２０からの電圧信号の電圧レベルを低下させ、低下後の電圧信号を量子化器１１４０に出力する。

量子化器１１４０は、減算器１１３０からの電圧信号をデジタル信号に量子化し、これにより生成されたデジタル信号を検出信号として転送部１１５０に出力する。

転送部１１５０は、量子化器１１４０からの検出信号を制御部１１１および信号処理部１１２に転送する。

＜１．２．３．１．電流電圧変換部の構成例＞
図５は、本開示の第１実施形態に係る電流電圧変換部１１１０の他の一例を示す回路図である。上述した図４に示す構成における電流電圧変換部１１１０は、例えば、図３に示すように、ＬＧトランジスタ１１１１と、増幅トランジスタ１１１２と、定電流回路１１１５とを備えた、所謂ソースフォロア型の電流電圧変換部であってよい。ただし、これに限定されず、例えば、図５に例示するような、２つのＬＧトランジスタ１１１１及び１１１３と、２つの増幅トランジスタ１１１２及び１１１４と、定電流回路１１１５とを備えた、所謂ゲインブースト型の電流電圧変換器であってもよい。

図３に示すように、ＬＧトランジスタ１１１１のソース及び増幅トランジスタ１１１２のゲートは、例えば、受光部１１０３の光電変換素子１１０４におけるカソードに接続される。ＬＧトランジスタ１１１１のドレインは、例えば、電源端子ＶＤＤに接続される。

また、例えば、増幅トランジスタ１１１２のソースは接地され、ドレインは定電流回路１１１５を介して電源端子ＶＤＤに接続される。定電流回路１１１５は、例えば、Ｐ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどの負荷ＭＯＳトランジスタで構成されてもよい。

一方、ゲインブースト型の場合、図５に示すように、ＬＧトランジスタ１１１１のソース及び増幅トランジスタ１１１２のゲートは、例えば、受光部１１０３の光電変換素子１１０４におけるカソードに接続される。また、ＬＧトランジスタ１１１１のドレインは、例えば、ＬＧトランジスタ１１１３のソース及び増幅トランジスタ１１１２のゲートに接続される。ＬＧトランジスタ１１１３のドレインは、例えば、電源端子ＶＤＤに接続される。

また、例えば、増幅トランジスタ１１１４のソースはＬＧトランジスタ１１１１のゲート及び増幅トランジスタ１１１２のドレインに接続される。増幅トランジスタ１１１４のドレインは、例えば、定電流回路１１１５を介して電源端子ＶＤＤに接続される。

図３又は図５に示すような接続関係とすることで、ループ状のソースフォロア回路が構成される。これにより、受光部１１０３からの光電流が、その電荷量に応じた対数値の電圧信号に変換される。なお、ＬＧトランジスタ１１１１及び１１１３と、増幅トランジスタ１１１２及び１１１４とは、それぞれ例えばＮＭＯＳトランジスタで構成されてよい。

＜１．２．３．２．減算器及び量子化器の構成例＞
図６は、本開示の第１実施形態に係る減算器１１３０及び量子化器１１４０の概略構成例を示す回路図である。図６に示すように、減算器１１３０は、コンデンサ１１３１及び１１３３と、インバータ１１３２と、スイッチ１１３４とを備える。また、量子化器１１４０は、コンパレータ１１４１を備える。

コンデンサ１１３１の一端は、バッファ１１２０の出力端子に接続され、他端は、インバータ１１３２の入力端子に接続される。コンデンサ１１３３は、インバータ１１３２に並列に接続される。スイッチ１１３４は、コンデンサ１１３３の両端を接続する経路を行駆動信号に従って開閉する。

インバータ１１３２は、コンデンサ１１３１を介して入力された電圧信号を反転する。このインバータ１１３２は反転した信号をコンパレータ１１４１の非反転入力端子（＋）に出力する。

スイッチ１１３４をオンした際、コンデンサ１１３１のバッファ１１２０側には、電圧信号Ｖｉｎｉｔが入力される。また、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ１１３１に蓄積されている電位Ｑｉｎｉｔは、コンデンサ１１３１の容量をＣ１とすると、次の式（１）により表される。一方、コンデンサ１１３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ （１）

次に、スイッチ１１３４がオフされて、コンデンサ１１３１のバッファ１１２０側の電圧が変化してＶａｆｔｅｒになった場合を考えると、コンデンサ１１３１に蓄積される電荷Ｑａｆｔｅｒは、次の式（２）により表される。
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ （２）

一方、コンデンサ１１３３に蓄積される電荷Ｑ０２は、出力電圧をＶｏｕｔとすると、次の式（３）により表される。
Ｑ０２＝−Ｃ２×Ｖｏｕｔ （３）

このとき、コンデンサ１１３１及び１１３３の総電荷量は変化しないため、次の式（４）が成立する。
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ０２ （４）

式（４）に式（１）〜式（３）を代入して変形すると、次の式（５）が得られる。
Ｖｏｕｔ＝−（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ−Ｖｉｎｉｔ） （５）

式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、単位画素１１０１ごとに減算器１１３０を含む検出部１１００が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、容量Ｃ１及びＣ２の値が決定される。

コンパレータ１１４１は、減算器１１３０からの電圧信号と、反転入力端子（−）に印加された所定の閾値電圧Ｖｔｈとを比較する。コンパレータ１１４１は、比較結果を示す信号を検出信号として転送部１１５０に出力する。

また、上述の検出部１１００全体のゲインＡは、電流電圧変換部１１１０の変換ゲインをＣＧ_ｌｏｇとし、バッファ１１２０のゲインを‘１’とすると、次の式（６）により表される。

式（６）において、ｉ_{ｐｈｏｔｏ}＿ｎは、ｎ番目の単位画素１１０１の光電流であり、その単位は、例えばアンペア（Ａ）である。Ｎは、画素ブロック内の単位画素１１０１の数であり、本実施形態では‘１’である。

＜１．２．４．撮像装置の動作例＞
次に、撮像装置１００における検出信号（画素値）の読み出し動作例について説明する。図７は、本開示の第１実施形態に係る撮像装置１００の動作例を説明するための図である。図７において、横軸が時間を、縦軸が走査する単位画素１１０１の垂直方向のアドレス（Ｖアドレス）を示す。

期間Ｔ０で、プロジェクタ２００から背景照射パターンＰ０で光が照射されると、撮像装置１００は、プロジェクタ２００の照射に同期して露光し、入射光に応じた電荷Ｑ０を生成する。

次に、撮像装置１００は、期間Ｔ１で検出部１１００の閾値Ｔｈを期間Ｔ０で発生した電荷Ｑ０に応じて設定（リセット）する。具体的に、撮像装置１００は、図６に示すスイッチ１１３４をオンにして、コンデンサ１１３１のバッファ１１２０側に、背景照射パターンＰ０露光時に生じた電荷量（光電流）を対数変換して生成した電圧信号Ｖ０を入力する。これにより、上述した式（５）において電圧信号Ｖａｆｔｅｒから減算する値（電圧信号Ｖｉｎｉｔ）が設定される。なお、図８では、期間Ｔ１で発生した電荷Ｑ０を画素値とする撮像画像Ｓ０を示している。

期間Ｔ２で、プロジェクタ２００から照射パターンＰ１で光が照射されると、撮像装置１００は、プロジェクタ２００の照射に同期して露光し、入射光に応じた電荷Ｑ１を生成する。

期間Ｔ３において、撮像装置１００は、期間Ｔ２で生成した電荷Ｑ１に応じた電圧信号Ｖ１から電圧信号Ｖ０を減算し、減算結果を閾値電圧Ｖｔｈと比較することで、期間Ｔ２で生成した電荷Ｑ１が期間Ｔ１で生成した電荷Ｑ１より大きいか否かを判定する。撮像装置１００は、背景照射パターンＰ０で照射した場合に比べて、照射パターンＰ１で照射した場合の単位画素１１０１の画素値が大きくなったか（明るくなったか）否かを判定する。換言すると、撮像装置１００は、背景照射パターンＰ０で照射した場合の画素値（電圧信号Ｖ０）を閾値Ｔｈとして、照射パターンＰ１で照射した場合の画素値（電圧信号Ｖ１）が閾値Ｔｈより大きいか否かを判定する。

期間Ｔ４で、撮像装置１００は、比較結果を示す画素値を画素ごとに順次読み出すことで差分画像Ｓ１を取得する。このように、本開示の第１実施形態に係る撮像装置１００は、イベント発火時に画素値を読み出す非同期型として動作するのではなく、所定のタイミングで画素値を読み出す、いわゆるグローバル・ホールド動作を行う同期型として動作する。

また、期間Ｔ４では、プロジェクタ２００から照射パターンＰ２で光が照射され、撮像装置１００は、プロジェクタ２００の照射に同期して露光し、入射光に応じた電荷Ｑ２を生成する。

ここで、従来のＤＶＳでは、閾値Ｔｈと電圧信号Ｖ１との比較が行われると、閾値Ｔｈがリセットされる。図８は、既存技術の撮像装置による撮像動作の一例を示す図である。上述したように、撮像装置がグローバル・ホールド動作を行う場合、図８に示すように、期間Ｔ３で閾値Ｔｈと電圧信号Ｖ１との比較が行われると、スイッチ１１３４（図６参照）がオンとなって閾値Ｔｈがリセットされ、閾値Ｔｈが電圧信号Ｖ１に設定される。このように、閾値Ｔｈがリセットされると、次の閾値比較では、一つ前の撮像画像Ｓ１の各画素値に対して、画素値が変化したか否かが判定されてしまう。

そこで、本実施形態に係る撮像装置１００では、図７に示すように、期間Ｔ３での閾値比較の後に閾値Ｔｈのリセットを行わない。すなわち、スイッチ１１３４（図６参照）をオンにせずに、次の期間Ｔ５で電荷Ｑ２に応じた電圧信号Ｖ２の閾値比較を行う。

これにより、撮像装置１００は、期間Ｔ４で生成した電荷Ｑ２に応じた電圧信号Ｖ２を閾値Ｔｈ（電圧信号Ｖ０）より大きいか否かを判定する。

期間Ｔ６で、撮像装置１００は、判定結果を示す画素値を画素ごとに順次読み出すことで、背景照射パターンＰ０照射時の撮像結果との差分を示す差分画像Ｓ２を取得する。以降、撮像装置１００は同様にして差分画像Ｓ３〜Ｓｎを取得する。

（撮像装置の動作例の詳細）
続いて、本実施形態に係る撮像装置１００の動作の詳細について説明する。図９は、本開示の第１実施形態に係る撮像装置１００の動作の詳細について説明するための図である。なお、図９の横軸は時間を示している。また、以下では、特に記載の無い限り、単位画素１１０１を、単に「画素１１０１」として説明を行う。

図９（ａ）は、プロジェクタ２００が照射する光の照射パターンを示している。図９（ａ）の例では、プロジェクタ２００は、基準照射パターンとして背景照射パターンＰ０を用いて光を照射し、続いて照射パターンＰ１〜Ｐｎ−１（図９ではｎ＝１１）をそれぞれ用いて光を照射した後に、最後に照射パターンＰｎとして基準照射パターン（背景照射パターンＰ０）を用いて光を照射する。なお、プロジェクタ２００は、測距装置１が被測定物ｏｂまでの距離を算出している間、図９（ａ）に示す照射パターンで光を繰り返し照射するものとする。

図９（ｂ）は、プロジェクタ２００による発光タイミングを示している。図９（ｂ）では、Ｈｉｇｈで光を照射（発光）し、Ｌｏｗで光を照射しない（非照射）ことを示している。プロジェクタ２００は、例えば所定周期でＨｉｇｈ（照射）／Ｌｏｗ（非照射）を繰り返す。なお、基準照射パターンは、光を照射しない背景照射パターンＰ０であるため、基準照射パターンに対応する期間Ｔ００で、プロジェクタ２００はＬｏｗ（非照射）となっている。

図９（ｃ）は、ある画素１１０１を対象とし、この対象の画素１１０１の電荷量の変化の例を示している。例えば、プロジェクタ２００が基準照射パターンで照射したときの対象の画素１１０１の電荷量をＬｏｗとする。所定の照射パターンでプロジェクタ２００が照射光を照射した場合、照射光が当たった領域を撮像する画素１１０１に入射する光量は、この対象の画素１１０１に基準照射パターンで照射した場合に入射する光量より大きくなる。この場合、対象の画素１１０１で発生する電荷量は、基準照射パターンでの照射時の電荷量に比べて大きくなる。図９（ｃ）では、基準照射パターン照射時より増えた電荷量をＨｉｇｈとして示している。

なお、照射パターンによっては、対象の画素１１０１は、照射光が当たっていない領域を撮像する場合がある。この場合、対象の画素１１０１に入射する光の量は、基準照射パターン照射時に対象の画素１１０１に入射する光の量と同じとなり、対象の画素１１０１で発生する電荷量はＬｏｗとなる。

上述したように、照射パターンは、縦縞の明暗を含むパターンである。そのため、対象の画素１１０１が、照射光が当たっていない領域を撮像していても、他の画素１１０１は、照射光が当たっている領域を撮像する場合もある。図９（ｃ）の点線は、照射光が当たった領域を撮像する他の画素１１０１で生成される電荷量を示している。このように、照射パターンに応じて、複数の画素１１０１ごとに発生する電荷量が異なる。

図９（ｄ）は、撮像装置１００の動作タイミング及び閾値Ｔｈ（基準電圧Ｖｉｎｉｔ）を示している。図９（ｄ）では、閾値Ｔｈを実線で示している。例えば、プロジェクタ２００が期間Ｔ００において基準照射パターンの光を照射する場合（すなわち、非照射時）、撮像装置１００は、閾値Ｔｈをリセットする（Global基準電圧Reset）。次に、撮像装置１００は、期間Ｔ０１〜期間Ｔ１１においてプロジェクタ２００の発光タイミングに同期して閾値判定（Global detect）を行い、画素１１０１ごとに検出信号を出力する。

例えば、当該対象の画素１１０１では、図９（ｃ）に示すように、プロジェクタ２００が照射パターンＰ１で光を照射した場合に電荷量が増加する。撮像装置１００は、かかる電荷量の増加を検出し、増加を示す検出信号（図９（ｅ）では上向き矢印）を出力する。なお、例えば、撮像装置１００は、電荷量が増加した場合、検出信号として「１」を出力し、それ以外の場合、「０」を出力するものとする。

なお、図９（ａ）に示すように、プロジェクタ２００は、照射パターンＰ１０照射後に、最初に照射した基準照射パターンと同じ照射パターンで光を照射する。ここでは、プロジェクタ２００は、基準照射パターンとして、背景照射パターンＰ０で光を照射する。換言すると、プロジェクタ２００は、期間Ｔ１１では光を照射しない（非照射）。撮像装置１００は、期間Ｔ１１において閾値判定を行い、検出信号を出力する。期間Ｔ１１における検出信号は、後述する信頼度設定で用いられる。

また、本実施形態に係る撮像装置１００は、期間Ｔ００で閾値Ｔｈをリセットすると、その後、期間Ｔ１１が終了するまで閾値のリセットを行わない。そのため、撮像装置１００の閾値Ｔｈは、期間Ｔ００から変化がなく期間Ｔ１１までずっとＬｏｗのままである。

（撮像装置の第１の比較例）
次に、第１の比較例として非同期型（Arbiter方式）の撮像装置（ＤＶＳ）を用いて差分画像を撮像する場合について図１０を用いて説明する。図１０は、本開示の第１実施形態に係る撮像装置１００の第１の比較例について説明するための図である。なお、図１０（ａ）〜（ｃ）は、図９（ａ）〜（ｃ）と同一であるので、ここでの説明を省略する。また、第１の比較例に係る撮像装置は、図２を用いて説明した撮像装置１００と同様に、画素アレイ部１１０、制御部１１１および信号処理部１１２を含むものとし、制御部１１１および信号処理部１１２の動作が実施形態に係る撮像装置１００と異なる。

本第１の比較例に係る撮像装置は、非同期型のＤＶＳであり、閾値判定ごとに閾値Ｔｈのリセットを行う。すなわち、本第１の比較例に係る撮像装置は、イベント発火時に検出信号を出力し、検出信号を出力するごとに閾値Ｔｈのリセットを行う。

この場合、図１０（ｄ）、（ｅ）に示すように、当該（※または、第１の比較例の）撮像装置は、対象の画素１１０１の電荷量の変化がＨｉｇｈになったタイミングで電荷量が増加したことを示す検出信号を出力し、閾値Ｔｈをリセットする。そのため、図１０（ｄ）の実線で示すように期間Ｔ０１で閾値ＴｈがＬｏｗからＨｉｇｈに変化する。次に、当該撮像装置は、対象の画素１１０１の電荷量の変化がＬｏｗになったタイミングで電荷量が減少したことを示す検出信号（図１０（ｅ）では下向き矢印）を出力し、閾値Ｔｈをリセットする。そのため、図１０（ｄ）の実線で示すように期間Ｔ０１で閾値ＴｈがＨｉｇｈからＬｏｗに変化する。

当該撮像装置は、対象の画素１１０１の電荷量が変化する期間Ｔ０１、Ｔ０４及びＴ１０で電荷量が変化したことを示す検出信号を出力する。

このように、非同期型のＤＶＳでも対象の画素１１０１の電荷量の変化を検出することができる。ただし、測距装置１では、距離算出のためにプロジェクタ２００による光の照射を所定周期で繰り返し行う。そのため、多くの画素１１０１で同時にイベントが発火し、プロジェクタ２００の発光タイミングにイベントが集中してしまう。ところが、従来の非同期型のＤＶＳでは、イベント発火時にのみ検出信号を出力するためＤＶＳの出力Ｉ／Ｆ（インタフェース）帯域が狭く設定される。そのため、イベントが所定タイミングに集中すると、該所定タイミングで一度に検出信号が出力できず、ＤＶＳが電荷量の変化を検出するタイミングと、検出信号を出力するタイミングとがずれる恐れがあり、測距装置１が誤った距離を算出してしまう恐れがある。また、この場合、距離算出を誤った理由として、イベントが集中したからなのか、被測定物ｏｂが動いたからなのか区別が付かない恐れがある。

また、当該撮像装置は、閾値判定を行うごとに閾値Ｔｈをリセットする。そのため、ノイズ等で閾値判定を誤ると、閾値Ｔｈも誤ってリセットしてしまい、その後の閾値判定を誤ってしまう恐れがある。

そこで、本実施形態では、撮像装置１００の読み出しタイミングを所定タイミングで同期させ、画素１１０１を同時にスキャンするＳｃａｎ方式で検出信号を出力する。また、本実施形態では、撮像装置１００の閾値Ｔｈを最初の基準照射パターン照射時にリセットし、以降はリセットを行わない。これにより、本実施形態に係る撮像装置１００は、電荷量の変化を検出するタイミング（所定の照射パターンでプロジェクタ２００が発光するタイミング）と、検出信号を出力するタイミングとを揃えることができる。また、本実施形態に係る撮像装置１００は、閾値判定時の誤判定をより低減することができる。

なお、図９では、期間Ｔ１１でプロジェクタ２００が基準照射パターンと同じ照射パターンの照射を行っていたが、第１の比較例では、閾値比較を行うごとに閾値Ｔｈをリセットするため、期間Ｔ１１での照射を行っても信頼度設定に利用できない。そのため、第１の比較例では期間Ｔ１１での基準照射パターンの照射を省略している。

（撮像装置の第２の比較例）
次に、第２の比較例として同期型（Scan方式）の撮像装置（ＤＶＳ）を用いて差分画像を撮像する場合について図１１を用いて説明する。図１１は、本開示の第１実施形態に係る撮像装置１００の比較例について説明するための図である。なお、図１１（ａ）〜（ｃ）は、図９（ａ）〜（ｃ）と同一であるので、ここでの説明を省略する。また、第２の比較例に係る撮像装置は、図２を用いて説明した撮像装置１００と同様に、画素アレイ部１１０、制御部１１１および信号処理部１１２を含むものとし、制御部１１１および信号処理部１１２の動作が実施形態に係る撮像装置１００と異なる。

本第２の比較例に係る撮像装置１００Ｂは、同期型のＤＶＳであり、閾値判定ごとに閾値Ｔｈのリセットを行う。すなわち、本第２の比較例に係る撮像装置１００Ｂは、プロジェクタ２００の発光タイミングに同期して、閾値判定を行って検出信号を出力するとともに、閾値Ｔｈをリセットする。

この場合、図１１（ｄ）、（ｅ）に示すように、当該撮像装置は、例えば期間Ｔ０１において、プロジェクタ２００の発光タイミングに同期して、対象の画素１１０１の電荷量が増えたことを示す検出信号を出力し、閾値Ｔｈをリセットする。そのため、図１１（ｄ）の実線で示すように期間Ｔ０１の間に閾値ＴｈがＬｏｗからＨｉｇｈに変化する。次に、当該撮像装置は、次の期間Ｔ０２において、対象の画素１１０１の電荷量が減少したことを示す検出信号を出力し、閾値Ｔｈをリセットする。そのため、図１１（ｄ）の実線で示すように期間Ｔ０２で閾値ＴｈがＨｉｇｈからＬｏｗに変化する。

このように、同期型のＤＶＳである当該撮像装置でも画素１１０１の電荷量の変化を検出することができる。しかしながら、当該撮像装置は、閾値判定を行うごとに閾値Ｔｈをリセットするため、電荷量が変化していない期間Ｔ０２において電荷量が減少したことを示す検出信号を出力してしまう。また、当該撮像装置は、ノイズ等で閾値判定を誤ると、閾値Ｔｈも誤ってリセットしてしまい、その後の閾値判定を誤ってしまう恐れがある。

そこで、本実施形態では、撮像装置１００の閾値Ｔｈを最初の基準照射パターン照射時にリセットし、以降はリセットを行わないようにする。これにより、本実施形態に係る撮像装置１００は、電荷量の変化を検出するタイミング（所定の照射パターンでプロジェクタ２００が発光するタイミング）と、検出信号を出力するタイミングとを揃えることができる。また、本実施形態に係る撮像装置１００は、閾値判定時の誤判定をより低減することができる。

なお、図９では、期間Ｔ１１でプロジェクタ２００が基準照射パターンと同じ照射パターンの照射を行っていたが、第２の比較例では、閾値比較を行うごとに閾値Ｔｈをリセットするため、期間Ｔ１１での照射を行っても信頼度設定に利用できない。そのため、第２の比較例では期間Ｔ１１での基準照射パターンの照射を省略している。

（比較例における他の問題点）
続いて、上述した第１および第２の比較例における他の問題点について図１２を用いて説明する。光源側であるプロジェクタ２００は発光時にリンギングを持つ。図１２は、プロジェクタ２００のリンギングの一例を示す模式図である。図１２では、例えば図９（ｂ）のＲ１を拡大して示している。

プロジェクタ２００側のリンギングの影響で受光側の画素１１０１の電荷量に対応する電圧信号もリンギングを持つ。上述した比較例１、２では、第１および第２の比較例の撮像装置は、閾値判定を行うごとに閾値Ｔｈ（電圧信号Ｖｉｎｉｔ）をリセットする。一般的には、プロジェクタ２００の発光タイミングに同期することができても、リンギングの位相にまで同期することは極めて困難である。第１および第２の比較例による撮像装置では、閾値判定を行った後に閾値Ｔｈをリセットするタイミングを管理する必要があるが、上述のように、プロジェクタ２００のリンギングにより、このタイミングの管理が困難となる。

したがって、第１および第２の比較例の撮像装置が閾値Ｔｈをリセットするタイミングによって、閾値Ｔｈの値が変わってしまう恐れがある。例えば、図１２の左図に示すように、ある発光タイミングの発光において、第１および第２の比較例の撮像装置がリンギングによる波の底を閾値Ｔｈ１としてリセットしたとする。そして、次の発光タイミングで、第１および第２の比較例の撮像装置が、図１２の右図に示すような電荷量に対応する電圧信号を検出したとする。この場合、第１および第２の比較例の撮像装置は、閾値Ｔｈ１と、当該発光タイミングによる発光におけるリンギングの波の頂点での電圧信号の最大値Ｖｍａｘとを比較した比較結果を出力する。そのため、実際はプロジェクタ２００が同じ光量で発光したにもかかわらず、第１および第２の比較例の撮像装置は、画素１１０１が、より電荷量が増加し明るくなったと誤判定してしまう。

かかる誤判定を避けるためには、閾値Ｔｈに所定のマージンＭを持たせ、検出閾値を広めにとる必要がある。そのため、図１２にＭ２（白抜き矢印の部分）として示すように、閾値判定に使用する電圧信号の信号振幅が小さくなり、Ｓ／Ｎが低下してしまう。

一方、本実施形態に係る撮像装置１００は、上述したように、閾値Ｔｈを最初の基準照射パターン照射時にリセットし、以降はリセットを行わない。これにより、本実施形態に係る撮像装置１００は、プロジェクタ２００側のリンギングの影響を受けずに閾値Ｔｈを設定することができ、Ｓ／Ｎの低下を抑制することができる。

＜１．３．測距装置の制御部＞
次に、本実施形態に係る測距装置１の全体制御部３００の詳細について説明する。図１３は、本開示の第１実施形態に係る測距装置１の構成例を示すブロック図である。

全体制御部３００は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、測距装置１内部に記憶されたプログラムがＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、全体制御部３００は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図１３に示すように、全体制御部３００は、タイミング制御部３１０、投影画像生成部３２０、データ取得部３３０および信号処理部３４０を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、全体制御部３００の内部構成は、図１３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、全体制御部３００は、例えばＮＩＣ（Network Interface Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。

（タイミング制御部）
タイミング制御部３１０は、投影画像生成部３２０を制御して、プロジェクタ２００から照射される照射光の照射パターンを制御する。また、タイミング制御部３１０は、プロジェクタ２００および撮像装置１００を制御して、プロジェクタ２００による照射光の照射タイミングおよび撮像装置１００による撮像タイミングを制御する。

図１４は、本開示の第１実施形態に係るタイミング制御部３１０によるタイミング制御の一例を説明するための図である。

図１４に示す例では、タイミング制御部３１０は、撮像装置１００（図１４のＤＶＳに相当する）を制御して、照射パターンＰ０での撮像を行い、電圧信号Ｖｉｎｉｔ（図１４の基準信号に相当する）を取得する。上述したように、照射パターンＰ０は、プロジェクタ２００を発光させない背景照射パターンであるため、投影画像生成部３２０およびプロジェクタ２００は動作しない。タイミング制御部３１０は、プロジェクタ２００が発光していない状態で、時刻ｔ０１から時刻ｔ１２の間に撮像装置１００が背景光（照射パターンＰ０）を露光し、電圧信号Ｖｉｎｉｔを取得するよう制御する。

タイミング制御部３１０は、時刻ｔ１１から時刻ｔ１２の間に、投影画像生成部３２０が照射パターンＰ１のデータをプロジェクタ２００に転送するよう制御する。また、タイミング制御部３１０は、時刻ｔ１２から時刻ｔ１３の間にプロジェクタ２００が照射パターンＰ１の照射光を発光するよう制御する。またタイミング制御部３１０は、時刻ｔ１２から時刻ｔ１３の間に、撮像装置１００が露光を行い、時刻ｔ１３以降にイベントの有無を検出するように制御する。

タイミング制御部３１０は、時刻ｔ２１から時刻ｔ２２の間に、投影画像生成部３２０が照射パターンＰ２のデータをプロジェクタ２００に転送するよう制御する。また、タイミング制御部３１０は、時刻ｔ２２から時刻ｔ２３の間にプロジェクタ２００が照射パターンＰ２の照射光を発光するよう制御する。またタイミング制御部３１０は、時刻ｔ２２から時刻ｔ２３の間に、撮像装置１００が露光を行い、時刻ｔ２３以降にイベントの有無を検出するように制御する。なお、図１４に示すように、時刻ｔ２１は、時刻ｔ１２と時刻ｔ１３の間の時刻である。また、時刻ｔ２２は、時刻ｔ１３より後の時刻である。このように、タイミング制御部３１０が時刻ｔ１３より以前に照射パターンＰ２のデータ転送を開始することで、プロジェクタ２００の発光、及び、撮像装置１００の露光の間隔を短くすることができる。

タイミング制御部３１０は、同様に、投影画像生成部３２０、プロジェクタ２００および撮像装置１００を制御して、照射パターンＰ３〜Ｐｎの照射および対応する差分画像Ｓ３〜Ｓｎの撮像を行わせる。

なお、照射パターンＰｎが照射パターンＰ０と同じ背景照射パターンである場合、投影画像生成部３２０による照射パターンＰｎのデータ転送及びプロジェクタ２００による発光は省略してもよい。

（投影画像生成部）
図１３に戻る。投影画像生成部３２０は、タイミング制御部３１０の制御に従い、例えば記憶部４００が記憶する照射パターンのデータをプロジェクタ２００に転送する。ここでは、投影画像生成部３２０が生成する投影画像（照射パターン）として、非特許文献１に開示されている照射パターンを適用した場合について説明する。

図１５および図１６は、本開示の第１実施形態に係る投影画像生成部３２０が転送する照射パターンの一例を説明するための図である。

投影画像生成部３２０は、照射パターンＰ１〜Ｐｎをプロジェクタ２００に転送する。図１５では、投影画像生成部３２０は、照射パターンＰ１〜Ｐ５をプロジェクタ２００に転送する。

図１５に示すように、照射パターンＰ１は、パターン画像の左側が黒色（暗）、右側が白色（明）の２色のパターンである。照射パターンＰ２は、黒色の縦縞２本と白色の縦縞２本が交互に並んだパターンである。照射パターンＰｍは、黒色の縦縞２^{（ｍ−１）}本と白色の縦縞２^{（ｍ−１）}本が交互に並んだパターンとなる。

このように、照射パターンＰ１〜Ｐｎは、バイナリーコーディングされたパターン画像である。図１６に示すように、照射パターンＰ１〜Ｐｎは、黒色の縞を「０」、白色の縞を「１」とすると、パターン画像の左側から順に「０００００」、「００００１」・・・とコーディングされている。なお、図１６では、照射パターンＰ１〜Ｐｎを縦方向に並べたものであり、図１６の下向き矢印が時間を、横向き矢印が黒色および白色の水平空間分布を示している。図１６は、左側が最下位ビット（ＬＳＢ）となり、右側が最上位ビット（ＭＳＢ）となる。

このように、バイナリーコードは、各照射パターンの横方向において各縞と対応付けられており、換言すると、照射パターンは、横方向においてプロジェクタ２００による光の照射角度ごとにバイナリーコーディングされていると言える。

なお、ここでは、投影画像生成部３２０は、例えば最後の照射パターンＰｎとして、背景照射パターン（照射パターンＰ０）と同じ照射パターンのデータを転送するものとする。この場合、照射パターンＰ０、Ｐｎは、全てが黒色の遮光パターン（投影画像）となる。この場合、照射パターンＰｎに対応する差分画像Ｓｎは、信号処理部３４０による信頼度算出に使用される。信頼度算出についての詳細は後述する。

なお、図１５、図１６に示す照射パターンは一例であり、これに限定されない。撮像画像Ｓ０〜Ｓｎに対応する画素を識別できるようにバイナリーコーディングが施されたパターンであればよく、例えば縦縞ではなく横縞の明暗パターンであってもよい。

（データ取得部）
図１３に戻る。データ取得部３３０は、撮像装置１００が撮像した差分画像Ｓ１〜Ｓｎを取得する。データ取得部３３０は、差分画像Ｓ１〜Ｓｎと、各画像を撮像したタイミング情報（Ｆｒａｍｅ ＩＤ）を取得する。データ取得部３３０は、取得した差分画像Ｓ１〜Ｓｎおよびタイミング情報を信号処理部３４０に出力する。データ取得部３３０は、例えば差分画像Ｓ１〜Ｓｎを記憶するフレームバッファであってもよい。

（信号処理部）
信号処理部３４０は、データ取得部３３０が取得した撮像画像Ｓ１〜Ｓｎおよびキャリブレーション情報に基づき、被測定物ｏｂまでの距離（デプス）および当該距離の信頼度を算出する。キャリブレーション情報とは、例えば撮像装置１００およびプロジェクタ２００の光学系、幾何学位置に相当する情報であり、事前にキャリブレーションによって取得されている情報である。キャリブレーション情報は、例えば記憶部４００に予め記憶されているものとする。

図１７は、本開示の第１実施形態に係る信号処理部３４０の構成例を示すブロック図である。信号処理部３４０は、コード統合部３４１、信頼度生成部３４２およびデプス推定部３４３を有する。

図１７に示すように、データ取得部３３０は、撮像装置１００から差分画像Ｓ１〜Ｓｎを取得すると、差分画像Ｓｎを信頼度生成部３４２に出力する。また、データ取得部３３０は、差分画像Ｓ１〜Ｓｎ−１をコード統合部３４１に出力する。

（コード統合部）
コード統合部３４１は、差分画像Ｓ１〜Ｓｎ−１の各画素の値を１つのコードに統合する。差分画像Ｓ１〜Ｓｎ−１の各画素は、背景画像（基準信号）との差分を示しており、照射画素は「１」、無照射画素は「０」で表されている。そのため、例えば差分画像Ｓ１〜Ｓｎ−１の対応する画素が全て無照射画素である場合、コード統合部３４１は、当該画素の値を「００・・・０」に統合する。コード統合部３４１は、差分画像Ｓ１〜Ｓｎ−１を統合してｎ−１ビットの画素値を有する画像（以下、統合画像とも称する）を生成する生成部であるともいえる。

なお、従来の測距装置では、照射パターンに対応する撮像画像として、撮像装置は１０ビットの画素値を有する撮像画像を出力していた。そのため、従来のコード統合部は撮像画像の各画素が照射画素であるか無照射画素であるかを閾値判定する必要があった。

しかしながら、本実施形態にかかる撮像装置１００は、撮像画像の各画素が照射画素であるか無照射画素であるかを閾値（基準信号）で判定し、その結果を差分画像Ｓ１〜Ｓｎ−１として出力する。そのため、本実施形態にかかるコード統合部３４１は、差分画像Ｓ１〜Ｓｎ−１の閾値処理を省略することができ、符号の統合を行えばよい。

（信頼度生成部）
信頼度生成部３４２は、コード統合部３４１が生成した統合画像の各画素の信頼度を算出する。上述したように、従来の測距装置では、コード統合部で各画素の明暗を閾値判定していた。そのため、画素値が閾値付近の値であり、閾値判定が難しい画素の場合、コード統合部が当該画素の信頼度を低くすることで、不確定なデプスの算出を行わないようにすることができた。

一方、本実施形態では、各画素の明暗の閾値判定は撮像装置１００が行い、コード統合部３４１では行わない。そこで、本実施形態では、信頼度生成部３４２が、差分画像Ｓ１〜Ｓｎに基づき、各画素の信頼度を算出するものとする。なお、信頼度生成部３４２は、コード統合部３４１が生成した統合画像および算出した信頼度をデプス推定部３４３に出力する。

（信頼度算出例１）
信頼度生成部３４２による信頼度算出の例を説明する。プロジェクタ２００が光を照射したとしても、プロジェクタ２００から被測定物ｏｂまでの距離が遠くなると、当該被測定物ｏｂでの反射光の輝度が小さくなる。そのため、プロジェクタ２００が光を照射している位置であっても、画素信号が閾値（基準信号）を超えず、検出結果が「０」（暗）となってしまう場合がある。

そこで、信頼度生成部３４２は、差分画像Ｓ１〜Ｓｎ−１の各画素の輝度値が、いずれも「０」になっている場合、当該画素の信頼度を最も低い値（例えばゼロ）に設定する。この場合、投影画像生成部３２０が、照射パターンＰ１〜Ｐｎ−１の１つとして例えば全て白色の照射パターンを照射するようにしてもよい。

（信頼度算出例２）
本実施形態に係る撮像装置１００は、差分画像Ｓ１〜Ｓｎ−１を高速に撮像することができるため、測距装置１は、被測定物ｏｂがある程度動いたとしても被測定物ｏｂまでの距離を算出することができる。しかしながら、例えば被測定物ｏｂの動きが高速の場合などは、距離算出（センシング）が破綻してしまうことがある。そこで、信頼度生成部３４２は、被測定物ｏｂが大きく動いた箇所（画素）の信頼度を低く設定する。

上述したように、照射パターンＰｎは、背景照射（無照射）パターンである照射パターンＰ０と同じ照射パターンである。そのため、照射パターンＰ０照射時と、照射パターンＰｎ照射時で被測定物ｏｂに変化がない場合、差分画像Ｓｎの各画素の画素値は、全て「０」となる。一方、被測定物ｏｂが動いた場合など、被測定物ｏｂに変化があった場合、差分画像Ｓｎの変化があった箇所の画素値は、「１」に変化する。そこで、信頼度生成部３４２は、差分画像Ｓｎの画素値が「１」である画素の信頼度を低く、例えば最も低い値に設定する。

なお、信頼度生成部３４２は、信頼度算出例１、２で述べた各信頼度を画素ごとにそれぞれ算出してもよく、画素ごとに信頼度算出例１、２のどちらか１つの信頼度を算出するようにしてもよい。あるいは、信頼度算出例１、２を用いて算出した値を所定の基準信頼度からそれぞれ減算することで、画素ごとに１つの信頼度を算出するようにしてもよい。

また、上述した信頼度算出例は一例であり、信頼度生成部３４２が上述した信頼度算出例以外の方法で信頼度を算出するようにしてもよい。

（デプス推定部）
図１３に戻る。デプス推定部３４３は、統合画像に基づいて、被測定物ｏｂまでの距離（デプス）を推定する。上述したように、プロジェクタ２００の照射パターンＰ１〜Ｐｎ−１は、照射角度ごとにバイナリコーディングされている。そのため、デプス推定部３４３は、統合画像の各画素値をデコードすることで、各画素とプロジェクタ２００の照射角度を紐付けることができる。

デプス推定部３４３は、各画素におけるプロジェクタ２００の照射角度と、事前にキャリブレーションによって取得した撮像装置１００の内部／外部パラメータ（上述のキャリブレーション情報に相当）と、を使用して被測定物ｏｂまでの距離（奥行き情報）を取得する。

ここで、図１８は、本開示の第１実施形態に係るデプス推定部３４３による奥行きの算出方法を説明するための図である。図１８に示すように、プロジェクタ２００（図１８のＬｉｇｈｔに相当）から被測定物ｏｂ（図１８のＯｂｊｅｃｔに相当）に光を照射したときの照射角をθ_Ｌ、撮像装置１００（図１８のＣａｍｅｒａに相当）から被測定物ｏｂを見たときの観測角をθ_ｃとする。キャリブレーション情報として、プロジェクタ２００と撮像装置１００との間の距離ｂが与えられたとすると、デプス推定部３４３は、以下の式（７）に従って奥行きＺを算出する。

図１３に戻る。デプス推定部３４３は、算出した奥行きＺを出力デプスとして出力する。また、デプス推定部３４３は、信頼度生成部３４２が設定した信頼度を、算出した奥行きＺと対応させて出力信頼度として出力する。

＜１．４．測距装置の動作例＞
図１９は、本開示の第１実施形態に係る測距装置１の概略動作例を示すフローチャートである。なお、測距装置１は、被測定物ｏｂの距離を測定している間、図１９に示す動作を繰り返し実行するものとする。

図１９に示すように、測距装置１は、背景（無照射）パターンである照射パターンＰ０を照射時に基準信号（電圧信号Ｖｉｎｉｔ）を設定する（ステップＳ１０１）。

次に、測距装置１は、照射パターンを変更してプロジェクタ２００を発光させ（ステップＳ１０２）、検出信号を取得する（ステップＳ１０３）。測距装置１は、照射パターンＰ１〜Ｐｎ−１の全ての照射パターンを照射したか否かを判定する（ステップＳ１０４）。全ての照射パターンを照射していない場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０２に戻る。

全ての照射パターンを照射していた場合（ステップＳ１０４；Ｙｅｓ）、測距装置１は、背景照射パターンと同じ照射パターンＰｎ（背景パターン）における検出信号を取得する（ステップＳ１０５）。

測距装置１は、取得した検出信号を統合して統合画像を生成する（ステップＳ１０６）。続いて、測距装置１は、差分画像Ｓ１〜Ｓｎに基づき、各画素の信頼度を設定する（ステップＳ１０７）。測距装置１は、統合画像に基づき、各画素のデプスを推定する（ステップＳ１０８）。

以上のように、本実施形態に係る測距装置１は、照射パターンＰ０照射（無照射）時に基準信号をリセットすると、その後基準信号をリセットせずに差分画像Ｓ１〜Ｓｎを取得する。そのため、測距装置１は、背景画像との差分を示す差分画像をより高速に取得することができる。

例えば、１０ビットの撮像画像を取得するために、１２０ＦＰＳ（Frame per Second）の時間が必要であるとする。また、測距装置１が距離算出のために、背景以外に１０枚の撮像画像を取得するものとする。

既存技術の測距装置は、背景以外の撮像画像として１０ビットの撮像画像を取得する。この場合、既存技術の測距装置が背景画像と合わせて１１枚の撮像画像を取得するためには１１ＦＰＳ相当の時間がかかる。そのため、既存技術の測距装置が最初の背景画像を取得してから最後の撮像画像を取得するまでの間に被測定物ｏｂまたは撮像装置が動いてしまう可能性が高く、高精度に距離を算出することが難しい。また、既存技術の測距装置は、撮像画像を取得する時間が長いため、距離の算出時間を短縮することが難しい。

一方、本実施形態に係る撮像装置１００は、ＤＶＳであるため、１０００ＦＰＳ以上の性能を有する。そのため、測距装置１は、差分画像Ｓ１〜Ｓｎをより高速に取得することができる。そのため、測距装置１が最初の差分画像を取得してから最後の差分画像を取得するまでの間に被測定物ｏｂまたは撮像装置が動いてしまう可能性が低く、高精度に距離を算出することができる。また、測距装置１による距離算出の時間を大幅に短縮することができるようになる。

＜２．第２実施形態＞
上記第１実施形態では、測距装置１が被測定物ｏｂまでの距離を測定する場合を示した。上記例以外にも、測距装置１が、距離測定に加え、ＲＧＢ撮像画像を取得するようにしてもよい。そこで、第２実施形態では、測距装置１が、被測定物ｏｂまでの距離測定に加え、ＲＧＢ撮像画像を取得する例について説明する。

＜２．１．撮像装置の機能構成例＞
図２０は、本開示の第２実施形態に係る撮像装置１００の機能構成例を示す図である。本実施形態に係る撮像装置１００は、図２に示す撮像装置１００の機能構成に加え、ＲＧＢ画像用の輝度値（画素信号）を取得するため、駆動回路１１３と、出力回路１１４と、タイミング制御部１１５と、を備える。

駆動回路１１３は、シフトレジスタやアドレスデコーダなどを含み、画素アレイ部１１０の各単位画素１１０１を駆動する。駆動回路１１３によって選択走査された列の各単位画素１１０１から出力される電気信号は、出力信号線の各々を通して出力回路１１４に入力される。出力回路１１４は、カラムＡＤなどを含み、各単位画素１１０１から入力された電気信号を画素信号として、外部の記憶部４００又は全体制御部３００へ出力する。

タイミング制御部１１５は、各種のタイミング信号を生成するタイミングジェネレータ等を含み、タイミングジェネレータで生成された各種のタイミング信号を基に、駆動回路１１３及び出力回路１１４を制御する。

＜２．２．単位画素の構成例＞
図２１は、本開示の第２実施形態に係る単位画素１１０１の概略構成例を示す図である。図２１では、単位画素１１０１のうち、図３と同じ構成の図示を省略し、光電変換素子１１０４と、電流電圧変換部１１１０Ａと、画素トランジスタ部１１１０Ｂと、を図示している。

電流電圧変換部１１１０Ａは、図５の構成に加え、ＴＧトランジスタ１１１６をさらに備える。

図２１に示すように、ＴＧトランジスタ１１１６は、ＬＧトランジスタ１１１１と光電変換素子１１０４との間に配置される。ＴＧトランジスタ１１１６のソースは、光電変換素子１１０４におけるカソードに接続される。ＴＧトランジスタ１１１６のドレインは、ＬＧトランジスタ１１１１のソース及び増幅トランジスタ１１１２のゲートに接続される。ＴＧトランジスタ１１１６には、制御部１１１が出力する制御信号が印加される。該制御信号によって、ＴＧトランジスタ１１１６は、測距装置１が距離測定を行う場合にオンし、ＲＧＢ画像を取得する場合にオフするように制御される。これにより、撮像装置１００は、距離測定を行う場合に検出信号を出力し、ＲＧＢ画像を取得する場合に検出信号を出力しないようにする。

画素トランジスタ部１１１０Ｂは、転送トランジスタＴＧ１と、リセットトランジスタＲＳＴと、選択トランジスタＳＥＬと、増幅トランジスタＡＭＰと、を備える。

転送トランジスタＴＧ１は、光電変換素子１１０４に発生した電荷（電気信号）をフローティングディフュージョン（図示省略）に転送する。増幅トランジスタＡＭＰは、負ローディングディフュージョンに蓄積された電荷に応じた電圧の画素信号を垂直信号線（図示省略）に出力する。リセットトランジスタＲＳＴは、フローティングディフュージョンに蓄積された電荷を放出する。選択トランジスタＳＥＬは、読み出し対象の単位画素１１０１を選択する。

なお、図２１に示す画素トランジスタ部１１１０Ｂの構成は一例であり、これに限定されない。図２１に示す回路構成以外にも画素トランジスタ部１１１０Ｂとして種々の回路構成を適用することが可能である。

続いて、本開示の第２実施形態に係る単位画素１１０１の配置について説明する。図２２は、本開示の第２実施形態に係る単位画素１１０１の配置の一例を示す図である。図２２に示すように、本実施形態に係る撮像装置１００の単位画素１１０１は、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）の光を受光する通常画素と、例えば赤外光（ＩＲ）を受光する赤外光画素と、を含む。

通常画素は、光電変換部（図示省略）の受光面に積層されるＲフィルタ、ＧフィルタおよびＢフィルタのいずれか１つのカラーフィルタを備える。通常画素は、画素アレイ部１１０において、例えばベイヤー配列を構成する。以下においては、Ｇフィルタが積層された通常画素を画素Ｇ、Ｒフィルタが積層された通常画素を画素Ｒ、Ｂフィルタが積層された通常画素を画素Ｂとして説明する。

赤外光画素は、光電変換部の受光面に赤外光すなわち赤外領域の波長の光を受光可能な赤外フィルタが積層されている。赤外光画素は、所定の画素行に所定の間隔で配置される。例えば、赤外光画素は、所定の画素行においてＧ画素と交互に配置される。

図２３は、本開示の第２実施形態に係る撮像装置１００の単位画素１１０１の配置の他の例を示す図である。図２３に示すように、所定の画素行における通常画素のベイヤー配列の画素Ｇに相当する位置であって、同じ行の画素Ｂと隣接する位置に順次配置されてもよい。

このように、本実施形態に係る撮像装置１００は、ＲＧＢ画像を撮像するための通常画素と、距離測定用の画像を撮像するための赤外光画素を有する。

次に、本実施形態に係る単位画素１１０１からの信号読み出し方法について説明する。図２４は、本開示の第２実施形態に係る単位画素１１０１からの信号読み出しの一例を説明するための図である。

図２４に示すように、単位画素１１０１の検出部１１００は、例えば受光部１１０３とは異なる基板に配置される。図２４では、検出部１１００は、受光部１１０３が配置される基板の下基板に配置される例を示している。

この場合、通常画素の受光部１１０３で発生した電荷（電気信号）は、出力信号線を通して出力回路１１４（図２０参照）に入力され、出力回路１１４が有するカラムＡＤによってデジタル画素信号に変換される。

一方、赤外光画素の受光部１１０３で発生した電荷（電気信号）は、下基板の検出部１１００に入力される。検出部１１００は、電気信号が閾値より大きいか否かを示す検出信号を出力する。

なお、ここでは、検出部１１００が下基板に配置されるとしたが、これに限定されない。検出部１１００の少なくとも一部、例えば電流電圧変換部１１１０を受光部１１０３と同じ基板に配置するようにしてもよい。

図２５は、本開示の第２実施形態に係る単位画素の概略構成の他の例を示す図である。上述した例では、通常画素又は赤外光画素にかかわらず、単位画素１１０１が検出部１１００及び画素トランジスタ部１１１０Ｂを備える場合について説明したが、これに限定されない。例えば、図２５に示すように、通常画素が画素トランジスタ部１１０１Ｂを備え、赤外光画素が検出部１１００を備えるようにしてもよい。この場合、不要な回路を省略することができ、画素アレイ部１１０の回路規模を削減することができる。

＜２．３．撮像装置の動作例＞
次に、本実施形態に係る撮像装置１００における画素信号の読み出し動作について説明する。図２６は、本開示の第２実施形態に係る撮像装置１００の撮像タイミングの一例を示す図である。

本実施形態に係る撮像装置１００は、ＲＧＢ撮像画像を撮像してからデプス算出のための差分画像Ｓ１〜Ｓｎを撮像する。

図２６に示すように、撮像装置１００は、まず通常画素でＲＧＢ画像を撮像し、その後赤外光画素でデプス算出用の差分画像Ｓ１〜Ｓｎを撮像する（図２６では、ｎ＝７）。なお、図２６に示すＳ０では基準信号の設定が行われる。

より具体的に、撮像装置１００は、通常画素の露光を開始する。次に、撮像装置１００は、背景照射パターンＰ０照射時に基準信号を設定する（Ｓ０）。続いて、撮像装置１００は、照射パターンＰ１〜Ｐ７に対応する差分画像Ｓ１〜Ｓ７を取得する。

撮像装置１００は、ＲＧＢ画像およびデプス算出用の差分画像Ｓ１〜Ｓ７の取得を、例えば１／３０秒〜１／１２０秒単位で繰り返し実行する。

上述したように、撮像装置１００は、デプス算出用の差分画像Ｓ１〜Ｓ７を高速に出力することができる。そのため、ＲＧＢ画像とデプス算出用の差分画像Ｓ１〜Ｓｎとを同じ撮像装置１００で撮像することができる。

図２７は、本開示の第２実施形態に係る撮像装置１００の撮像タイミングの他の例を説明するための図である。上述した例では、撮像装置１００が、ＲＧＢ画像とデプス算出用の差分画像Ｓ１〜Ｓｎとを順番に撮像する場合について説明したが、これに限定されない。例えば、図２７に示すように、撮像装置１００が、ＲＧＢ画像とデプス算出用の差分画像Ｓ１〜Ｓｎとを並列的に撮像するようにしてもよい。

図２７に示すように撮像装置１００は、通常画素でＲＧＢ画像を撮像し、このＲＧＢ画像の撮像と並列的に、赤外光画素でデプス算出用の差分画像Ｓ１〜Ｓｎを撮像する（図２４では、ｎ＝８）。撮像装置１００は、赤外光画素による撮像において、最初に基準信号を設定し（Background）、その後の差分画像Ｓ１〜Ｓ８を取得する。撮像装置１００は、ＲＧＢ画像およびデプス算出用の差分画像Ｓ１〜Ｓ８の撮像を、例えば１／３０秒単位で繰り返し実行する。

このように、撮像装置１００がＲＧＢ画像およびデプス算出用の差分画像Ｓ１〜Ｓ８の撮像を同時に行うことで、ＲＧＢ画像とデプス算出用の撮像画像Ｓ１〜Ｓｎとを同じ撮像装置１００で撮像することができる。

ここで、例えば、図２１に示すように単位画素１１０１が検出部１１００及び画素トランジスタ部１１１０Ｂの両方を備えている場合、単位画素１１０１は、検出信号及び画素信号の両方を同時に読み出すことができる。そこで、撮像装置１００は、図２７に示すように距離測定と撮像画像の両方を同時に読み出す場合、通常画素と赤外光画素とを区別せずに、単位画素１１０１から検出信号及び画素信号の両方を同時に読み出すことで、測距用の画像と通常の撮像画像とを同時に読み出すようにしてもよい。この場合、単位画素１１０１が通常画素及び赤外光画素の両方を有していなくてもよく、例えば単位画素１１０１全てが赤外光画素であってもよい。この場合、撮像装置１００はＲＧＢ画像のかわりにＩＲ画像を取得することになる。

＜３．その他の実施形態＞
上述の第１、第２実施形態では、背景照射パターンＰ０と同じ照射パターンを複数の照射パターンＰ１〜Ｐｎの最後に１回照射するとした。すなわち、照射パターンＰｎが背景照射パターンＰ０と同じ照射パターンであるとした。しかしながら、背景照射パターンＰ０と同じ照射パターンの照射は、最後でなくてもよく、また複数回であってもよい。例えば、複数の照射パターンＰ１〜Ｐｎのうち所定回数ごとに背景パターンと同じ照射パターンの照射を行ってもよい。これにより、被測定物ｏｂが高速に動いたか否かをより詳細に検出することができ、信頼度生成部３４２による信頼度算出の精度を向上させることができる。

また、上述の第１、第２実施形態では、撮像装置１００が、画素信号が閾値より大きい場合に検出信号を出力するとしたが、これに限定されない。例えば、撮像装置１００が、画素信号が閾値より小さい場合にさらに検出信号を出力するようにしてもよい。この場合、撮像装置１００は、画素信号が閾値より小さくなった（暗くなった）ことを示す検出信号（例えば「−１」）を出力する。

上述したように、背景照射パターンＰ０が無照射パターンである場合、その後の照射パターンＰ１〜Ｐｎ照射時に、各画素は無照射時と同じ明るさであることを示す検出信号または明るくなったことを示す検出信号を出力する。そのため、上述したように、画素が暗くなったことを示す検出信号を出力する場合、被測定物ｏｂ又は撮像装置１００が動いた可能性や、環境光などが変化した可能性があり、被測定物ｏｂまでの距離を精度よく算出できない可能性がある。そこで、測距装置１は、画素信号が閾値より小さくなった（暗くなった）ことを示す検出信号を出力した画素について、信頼度を低く設定する。例えば、「−１」を示す検出信号の数に応じて信頼度を小さくしていき、「−１」を示す検出信号の数が所定閾値を超えた場合、信頼度を最も低く、例えばゼロに設定する。

また、上述の第１、第２実施形態では、背景照射パターンＰ０が無照射（全て黒色）の照射パターンであるとしたが、これに限定されない。背景照射パターンＰ０は規定の照射パターンであればよく、例えば全て明るい全照射パターンであってもよい。この場合、最後の照射パターンＰｎは、背景照射パターンＰ０と同じ照射パターンとなるため、全照射パターンとなる。この場合、撮像装置１００は、画素信号が閾値を下回ったか否か、換言すると、各画素が暗くなったか否かを示す検出信号を出力する。

このように、撮像装置１００は、画素信号が閾値と比較して第１の値Ｔｈ０１以上変化したか否かを検出する。背景照射パターンＰ０が無照射（全て黒色）の照射パターンである場合、第１の値は正の値（Ｔｈ０１＞０）になる。一方、背景照射パターンＰ０が全照射（全て白色）の照射パターンである場合、第１の値は負の値（Ｔｈ０１＜０）になる。

なお、上述したように、背景照射パターンＰ０が無照射（全て黒色）の照射パターンである場合において画素信号が暗くなったか否かに応じて信頼度を設定するとしたが、この場合も同様に、背景照射パターンＰ０が全照射の照射パターンの場合は、画素信号が明るくなったか否かに応じて信頼度を設定する。すなわち、撮像装置１００は、画素信号が閾値と比較して第２の値Ｔｈ０２以上変化したか否かを検出する。背景照射パターンＰ０が無照射（全て黒色）の照射パターンである場合、第２の値は負の値（Ｔｈ０２＜０）になる。一方、背景照射パターンＰ０が全照射（全て白色）の照射パターンである場合、第２の値は正の値（Ｔｈ０２＞０）になる。

＜４．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する光源部と、
光を受光して画素信号を出力する受光部と、
前記第１の期間に前記画素信号に基づいて基準信号を設定する設定部と、
前記第２の期間に前記画素信号が前記基準信号から第１の値以上変化したか否かを検出し、検出結果を示す第１の検出信号を出力する検出部と、
前記第１の検出信号を用いて被測定物までの距離を算出する算出部と、
を備える測距装置。
（２）
前記検出部は、前記光源部による投影と同期して前記第１の検出信号を出力する、（１）に記載の測距装置。
（３）
前記第２の照射パターンは、互いに異なる複数の照射パターンを含み、
前記光源部は、前記第２の期間に、前記第２の照射パターンに含まれる前記複数の照射パターンで前記光を投影し、
前記検出部は、前記第２の期間に、前記複数の照射パターンにそれぞれ対応する前記画素信号と、前記基準信号と、に基づいて、前記第１の検出信号として、前記複数の照射パターンのそれぞれに１対１に対応する複数の検出信号をそれぞれ出力する、
（１）または（２）に記載の測距装置。
（４）
前記算出部は、前記複数の照射パターンのそれぞれに１対１に対応する前記複数の検出信号のそれぞれを統合した統合信号を用いて、前記距離を算出する、（３）に記載の測距装置。
（５）
前記算出部は、前記複数の照射パターンのそれぞれに１対１に対応する前記複数の検出信号それぞれの値が同じであった場合、該値が異なる場合と比べて前記距離の信頼度を低く設定する、（３）または（４）に記載の測距装置。
（６）
前記検出部は、前記画素信号が前記基準信号から第２の値以上変化したかをさらに検出し、検出結果を示す第２の検出信号を出力し、
前記算出部は、前記第２の検出信号に応じて前記距離の信頼度を設定する、（３）〜（５）のいずれか１つに記載の測距装置。
（７）
前記光源部は、前記第２の期間で前記第１の照射パターンと同じ照射パターンである第３の照射パターンで光を投影し、
前記検出部は、前記第３の照射パターンに対応する前記画素信号と前記基準信号とを比較して第３の検出信号を出力し、
前記算出部は、前記第３の検出信号に基づき、前記距離の信頼度を設定する、
（３）〜（６）に記載の測距装置。
（８）
前記受光部の画素を駆動させ、前記画素信号を読み出す処理部をさらに備える、（１）〜（７）に記載の測距装置。
（９）
前記処理部は、前記第１の期間及び前記第２の期間を合わせた期間で、前記画素信号を読み出す、（８）に記載の測距装置。
（１０）
前記処理部が前記画素信号を読み出した後に、前記検出部が前記第１の検出信号を出力する、（８）に記載の測距装置。
（１１）
前記受光部は、所定の色の検出に用いるカラー画素と、赤外光の検出に用いるＩＲ画素と、を含み、
前記処理部は、前記カラー画素から前記画素信号を読み出し、
前記検出部は、前記ＩＲ画素が出力する前記画素信号に基づき、前記第１の検出信号を出力する、
（８）〜（１０）のいずれか１つに記載の測距装置。
（１２）
前記受光部は、前記光源部による投影と同期して前記光を受光する、（１）〜（１１）のいずれか１つに記載の測距装置。
（１３）
第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影することと、
光を受光して画素信号を出力することと、
前記第１の期間に前記画素信号に基づいて基準信号を設定することと、
前記第２の期間に前記画素信号が前記基準信号から第１の値以上変化したかを検出し、検出結果を示す第１の検出信号を出力することと、
前記第１の検出信号を用いて被測定物までの距離を算出することと、
を含む測距方法。

１ 測距装置
１００ 撮像装置
２００ プロジェクタ
３００ 全体制御部
４００ 記憶部
３１０ タイミング制御部
３２０ 投影画像生成部
３３０ データ取得部
３４０ 信号処理部

Claims (13)

1. 第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する光源部と、
   光を受光して画素信号を出力する受光部と、
   前記第１の期間に前記画素信号に基づいて基準信号を設定する設定部と、
   前記第２の期間に前記画素信号が前記基準信号から第１の値以上変化したか否かを検出し、検出結果を示す第１の検出信号を出力する検出部と、
   前記第１の検出信号を用いて被測定物までの距離を算出する算出部と、
   を備える測距装置。
2. 前記検出部は、前記光源部による投影と同期して前記第１の検出信号を出力する、請求項１に記載の測距装置。
3. 前記第２の照射パターンは、互いに異なる複数の照射パターンを含み、
   前記光源部は、前記第２の期間に、前記第２の照射パターンに含まれる前記複数の照射パターンで前記光を投影し、
   前記検出部は、前記第２の期間に、前記複数の照射パターンにそれぞれ対応する前記画素信号と、前記基準信号と、に基づいて、前記第１の検出信号として、前記複数の照射パターンのそれぞれに１対１に対応する複数の検出信号をそれぞれ出力する、
   請求項２に記載の測距装置。
4. 前記算出部は、前記複数の照射パターンのそれぞれに１対１に対応する前記複数の検出信号のそれぞれを統合した統合信号を用いて、前記距離を算出する、請求項３に記載の測距装置。
5. 前記算出部は、前記複数の照射パターンのそれぞれに１対１に対応する前記複数の検出信号それぞれの値が同じであった場合、該値が異なる場合と比べて前記距離の信頼度を低く設定する、請求項４に記載の測距装置。
6. 前記検出部は、前記画素信号が前記基準信号から第２の値以上変化したかをさらに検出し、検出結果を示す第２の検出信号を出力し、
   前記算出部は、前記第２の検出信号に応じて前記距離の信頼度を設定する、請求項４に記載の測距装置。
7. 前記光源部は、前記第２の期間で前記第１の照射パターンと同じ照射パターンである第３の照射パターンで光を投影し、
   前記検出部は、前記第３の照射パターンに対応する前記画素信号と前記基準信号とを比較して第３の検出信号を出力し、
   前記算出部は、前記第３の検出信号に基づき、前記距離の信頼度を設定する、
   請求項４に記載の測距装置。
8. 前記受光部の画素を駆動させ、前記画素信号を読み出す処理部をさらに備える、請求項１に記載の測距装置。
9. 前記処理部は、前記第１の期間及び前記第２の期間を合わせた期間で、前記画素信号を読み出す、請求項８に記載の測距装置。
10. 前記処理部が前記画素信号を読み出した後に、前記検出部が前記第１の検出信号を出力する、請求項８に記載の測距装置。
11. 前記受光部は、所定の色の検出に用いるカラー画素と、赤外光の検出に用いるＩＲ画素と、を含み、
    前記処理部は、前記カラー画素から前記画素信号を読み出し、
    前記検出部は、前記ＩＲ画素が出力する前記画素信号に基づき、前記第１の検出信号を出力する、
    請求項８に記載の測距装置。
12. 前記受光部は、前記光源部による投影と同期して前記光を受光する、請求項１に記載の測距装置。
13. 第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影することと、
    光を受光して画素信号を出力することと、
    前記第１の期間に前記画素信号に基づいて基準信号を設定することと、
    前記第２の期間に前記画素信号が前記基準信号から第１の値以上変化したかを検出し、検出結果を示す第１の検出信号を出力することと、
    前記第１の検出信号を用いて被測定物までの距離を算出することと、
    を含む測距方法。

Images