JP2021124323A - 測距装置及び測距方法 - Google Patents

Abstract

【課題】より高速に被測定物までの距離を算出することができる測距装置及び測距方法を提供する。【解決手段】測距装置は、受光部と、光源部と、変換部と、算出部と、を備える。受光部は、光を受光して画素信号を出力する。光源部は、第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する。変換部は、画素信号に対して二分探索によりビット単位で逐次に変換を行い、第１の期間に第１のビット数の変換を行って第１のデジタル信号を出力し、第２の期間に第１のビット数より少ない第２のビット数で変換を行って第２のデジタル信号を出力する。算出部は、第１のデジタル信号と、第２のデジタル信号と、に基づき距離を算出する。【選択図】図５

Description

本開示は、測距装置及び測距方法に関する。

物体の３次元形状を求める手法の一つとして、空間コード化法と呼ばれる手法が知られている。空間コード化法では、例えば周期の異なる縞パターンを照射して撮像した複数の撮像画像を用いて３次元形状を求める。

J. L. Posdamer, M. D. Altschler, "Surface Measurement by Space-Encoded Projected Beam Systems", Computer Graphics and Image Processing vol.18, No1, pp.1-17, 1982.

空間コード化法では複数の撮像画像を取得する必要がある。そのため、従来の撮像装置では、複数の撮像画像の取得に時間がかかり、例えば高速で移動する物体の３次元形状（被測定物までの距離）の計測が困難であるという問題があった。

そこで、本開示では、より高速に被測定物までの距離を算出することができる測距装置及び測距方法を提供する。

本開示によれば、測距装置が提供される。測距装置は、受光部と、光源部と、変換部と、算出部と、を備える。受光部は、光を受光して画素信号を出力する。光源部は、第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する。変換部は、前記画素信号に対して二分探索によりビット単位で逐次に変換を行い、前記第１の期間に第１のビット数の変換を行って第１のデジタル信号を出力し、前記第２の期間に前記第１のビット数より少ない第２のビット数で変換を行って第２のデジタル信号を出力する。算出部は、前記第１のデジタル信号と、前記第２のデジタル信号と、に基づき距離を算出する。

本開示の第１実施形態に係る測距装置の概略構成例を示す図である。 本開示の第１実施形態に係る撮像装置の構成例を示す図である。 本開示の第１実施形態のカラムＡＤＣ及び制御部の構成例を示す図である。 本開示の第１実施形態に係るカラムＡＤＣによるＡＤ変換について説明するための図である。 本開示の第１実施形態に係る撮像装置による画素信号の読み出しを模式的に示すタイミングチャートである。 本開示の第１実施形態に係る測距装置の構成例を示すブロック図である。 本開示の第１実施形態に係るタイミング制御部によるタイミング制御の一例を説明するための図である。 本開示の第１実施形態に係る投影画像生成部が転送する照射パターンの一例を説明するための図である。 本開示の第１実施形態に係る投影画像生成部が転送する照射パターンの一例を説明するための図である。 本開示の第１実施形態に係る信号処理部の構成例を示すブロック図である。 本開示の第１実施形態に係る信頼度生成部による信頼度算出を説明するための図である。 本開示の第１実施形態に係るデプス推定部による奥行きの算出方法を説明するための図である。 本開示の第１実施形態に係る測距装置の概略動作例を示すフローチャートである。 本開示の第２実施形態に係る撮像装置の画素配置の一例を示す図である。 本開示の第２実施形態に係る撮像装置の画素配置の他の例を示す図である。 本開示の第２実施形態に係る撮像装置による画素信号の読み出しを模式的に示すタイミングチャートである。 本開示の第２実施形態に係る撮像装置の撮像タイミングの他の例を説明するための図である。 本開示の第３実施形態に係る撮像装置の画素配置の一例を示す図である。 本開示の第３実施形態に係る撮像装置の撮像タイミングの一例を説明するための図である。 本開示の第３実施形態に係る撮像装置の撮像タイミングの他の例を説明するための図である。 本開示の第４実施形態に係る信頼度生成部による信頼度算出について説明するための図である。 本開示の第４実施形態に係る信頼度生成部による信頼度算出について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１実施形態
１．１．測距装置の概略構成例
１．２．撮像装置
１．３．測距装置の全体制御部
１．４．測距装置の動作例
２．第２実施形態
３．第３実施形態
４．第４実施形態
５．その他の実施形態
６．補足

＜１．第１実施形態＞
＜１．１．測距装置の概略構成例＞
図１は、本開示の第１実施形態に係る測距装置１の概略構成例を示す図である。図１に示すように、測距装置１は、例えば、撮像装置１００と、プロジェクタ２００と、全体制御部３００と、記憶部４００とを備える。測距装置１は、空間コード化法と呼ばれる手法を用いて、被測定物ｏｂまでの距離を測定することで、被測定物ｏｂの３次元形状を計測する装置である。

プロジェクタ２００は、全体制御部３００の指示に従い、所定の投影画像を投影する光源部である。所定の投影画像は、例えば周期の異なる明暗パターンであり、プロジェクタ２００は、当該明暗パターンの照射光を被測定物ｏｂに向けて照射する。図１の例では、プロジェクタ２００は、所定の投影画像として照射パターンＰ０〜Ｐｎの照射光を順次照射する。図１ではｎ＝３である。

なお、照射パターンＰ０は、背景画像を撮像するための照射パターン（第１の照射パターン。以下、背景照射パターンとも記載する）である。背景照射パターンＰ０は、例えば黒色の投影画像（照射パターンが全て「暗」）、即ち照射光を照射しない照射パターンである。プロジェクタ２００は、背景照射パターンＰ０を第１の期間に投影する。照射パターンＰ１〜Ｐｎは、図１の例では、縦縞の幅がそれぞれ異なる第２の照射パターンである。プロジェクタ２００は、照射パターンＰ１〜Ｐｎを第２の期間に投影する。

撮像装置１００は、全体制御部３００の指示に従い、プロジェクタ２００による照射パターンＰ０〜Ｐｎの投影に同期して被測定物ｏｂを撮像し、各照射パターンＰ０〜Ｐｎに対応する撮像画像Ｓ０〜Ｓｎを全体制御部３００に出力する。

本実施形態に係る撮像装置１００は、照射パターンＰ０（背景照射パターン）の照射光を照射したときの被測定物ｏｂを撮像した撮像画像（以下、背景画像とも称する）Ｓ０を全体制御部３００に出力する。背景画像Ｓ０の各画素における画素信号（輝度値）は、第１のビット数（例えば１０ビット）でＡＤ変換された第１のデジタル信号である。

また、照射パターンＰ１〜Ｐｎの照射光を照射したときの被測定物ｏｂを撮像した撮像画像Ｓ１〜Ｓｎは、照射光が当たったか否かを示す画像であり、撮像画像Ｓ１〜Ｓｎの画素信号は、第１のビット数より少ない第２のビット数（例えば、１ビット）の第２のデジタル信号である。以下、背景画像Ｓ０以外の撮像画像Ｓ１〜Ｓｎを差分画像Ｓ１〜Ｓｎとも称する。

このように、本実施形態に係る撮像装置１００は、複数ビットの背景画像Ｓ０及び１ビットの差分画像Ｓ１〜Ｓｎを出力する。これにより、全体制御部３００による後段の信号処理において、距離算出のために撮像画像の差分を算出する必要がなくなる。また、撮像装置１００が出力する差分画像Ｓ１〜Ｓｎは１ビットの画像であるため、撮像装置１００による差分画像Ｓ１〜Ｓｎの出力時間を短縮することができる。従って、測距装置１は、より高速に差分画像Ｓ１〜Ｓｎを取得することができる。なお、撮像装置１００の詳細については後述する。

全体制御部３００は、測距装置１の各部を制御する。全体制御部３００は、例えば、プロジェクタ２００を制御して、所定の照射パターンＰ０〜Ｐｎの照射光を照射させる。また、全体制御部３００は、撮像装置１００を制御して、プロジェクタ２００が所定の照射パターンＰ０〜Ｐｎの照射光を照射している間、被測定物ｏｂを撮像させる。

全体制御部３００は、撮像装置１００が撮像した複数の撮像画像Ｓ０〜Ｓｎに基づき、撮像画像Ｓ０〜Ｓｎの各画素における奥行き（被測定物ｏｂまでの距離）を算出する算出部として動作する。全体制御部３００による奥行きの算出方法については後述する。

記憶部４００は、例えば照射パターンＰ０〜Ｐｎ等、測距装置１による被測定物ｏｂの測距に必要な情報を記憶する。

なお、ここでは、プロジェクタ２００が照射する照射パターンの数を４つとしたが、これに限定されない。照射パターンは複数であればよく、２つ又は３つであってもよく、５つ以上であってもよい。また、ここでは、照射パターンが、周期が異なる縦縞のパターンであるとしたが、これに限定されない。例えば、照射パターンが横縞のパターンであってもよい。また、縦縞と横縞を組み合わせたパターンであってもよい。照射パターンは、バイナリーコーディングされていれば、どのようなパターンであってもよい。

また、ここでは、照射パターンＰ１〜Ｐｎのうち最後に照射する照射パターンＰｎが縦縞の第２の照射パターンであるとしたが、照射パターンＰｎが照射パターンＰ０と同じ照射パターン（第３の照射パターン）であってもよい。この場合、照射パターンＰｎに対応する撮像画像Ｓｎは、全体制御部３００による奥行きの信頼度設定に用いられる。信頼度の設定については後述する。

＜１．２．撮像装置＞
次に、図２〜図４を用いて、本開示の第１実施形態に係る撮像装置１００の詳細について説明する。図２は、本開示の第１実施形態に係る撮像装置１００の構成例を示す図である。

図２に示すように、撮像装置１００は、複数の画素（撮像素子）１１１が配置された画素アレイ部（受光部）１１０と、当該画素アレイ部１１０を取り囲むように設けられた周辺回路とを有する。周辺回路は、垂直駆動部１３２、カラム信号処理回路１３４、水平駆動部１３６、出力回路１３８及び制御部１４０等を含む。以下に、画素アレイ部１１０及び周辺回路の詳細について説明する。

画素アレイ部１１０は、半導体基板上にマトリックス状に２次元配置された複数の画素１１１を有する。各画素１１１は、光電変換素子と、複数の画素トランジスタ（図示省略）とを有している。さらに詳細には、当該画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタ等を含んでいてもよい。

垂直駆動部１３２は、例えばシフトレジスタによって形成され、画素駆動配線１４２を選択し、選択された画素駆動配線１４２に画素１１１を駆動するためのパルスを供給し、行単位で画素１１１を駆動する。すなわち、垂直駆動部１３２は、画素アレイ部１１０の各画素１１１を行単位で順次垂直方向（図２中の上下方向）に選択走査し、各画素１１１の光電変換素子の受光量に応じて生成された電荷に基づく画素信号を、垂直信号線１４４を通して後述するカラム信号処理回路１３４に供給する。

カラム信号処理回路１３４は、画素１１１の列ごとに配置されており、１行分の画素１１１から出力される画素信号に対して画素列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路１３４は、画素固有の固定パターンノイズを除去するためにＣＤＳ（Correlated Double Sampling：相関２重サンプリング)及びＡＤ（Analog-Degital）変換等の信号処理を行う。カラム信号処理回路１３４は、例えば逐次比較（Successive Approximation Register：以下、ＳＡＲという）型のカラムＡＤＣ１３４Ａ（図３参照）を有する。カラムＡＤＣ１３４Ａは、画素信号に対して二分探索によりビット単位で逐次に変換を行い、デジタル信号を出力する変換器である。

水平駆動部１３６は、例えばシフトレジスタによって形成され、水平走査パルスを順次出力することによって、上述したカラム信号処理回路１３４の各々を順番に選択し、カラム信号処理回路１３４の各々から画素信号を水平信号線１４６に出力させる。

出力回路１３８は、上述したカラム信号処理回路１３４の各々から水平信号線１４６を通して順次に供給される画素信号に対し、信号処理を行い出力する。出力回路１３８は、例えば、バッファリング（ｂｕｆｆｅｒｉｎｇ）を行う機能部として機能してもよく、もしくは、黒レベル調整、列ばらつき補正、各種デジタル信号処理等の処理を行ってもよい。なお、バッファリングとは、画素信号のやり取りの際に、処理速度や転送速度の差を補うために、一時的に画素信号を保存することをいう。

制御部１４０は、入力クロックと、動作モードなどを指令するデータを受け取り、また画素１１１の内部情報等のデータを出力することができる。すなわち、制御部１４０は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動部１３２、カラム信号処理回路１３４及び水平駆動部１３６等の動作の基準となるクロック信号や制御信号を生成する。そして、制御部１４０は、生成したクロック信号や制御信号を、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動部１３２、カラム信号処理回路１３４及び水平駆動部１３６等に出力する。

制御部１４０は、ＳＡＲ型のカラムＡＤＣ１３４Ａで画素信号と比較する参照信号を制御することで、カラムＡＤＣ１３４Ａで行われるＡＤ変換のビット数を制御する。例えば、測距の基準となる背景画像Ｓ０の撮像を行う場合、制御部１４０は、画素信号が複数ビット（例えば、１０ビット）の第１のデジタル信号に変換されるように参照信号を制御する。

一方、所定の照射パターンＰ１〜Ｐｎを照射した場合の差分画像Ｓ１〜Ｓｎを撮像する場合、制御部１４０は、画素信号が背景画像Ｓ０より明るいか否かを判定するように参照信号を制御する。換言すると、制御部１４０は、画素信号を背景画像Ｓ０より明るいか否かを示す１ビットの第２のデジタル信号に変換するようカラムＡＤＣ１３４Ａの参照信号を制御する。なお、以下の説明では、カラムＡＤＣ１３４Ａが画素信号を複数ビットのデジタル信号に変換する場合のビット数を１０ビットとして説明するが、当該ビット数は１０ビットに限定されない。当該ビット数が、２以上９以下であってもよく１１以上であってもよい。例えば、カラムＡＤＣ１３４Ａで変換可能な最大ビット数であってよい。

（カラムＡＤＣ）
図３は、本開示の第１実施形態のカラムＡＤＣ１３４Ａ及び制御部１４０の構成例を示す図である。カラム信号処理回路１３４は、例えば垂直信号線１４４ごとに図３に示すカラムＡＤＣ１３４Ａを有する。あるいは、複数の垂直信号線１４４が１つのカラムＡＤＣ１３４Ａを共有していてもよい。この場合、例えば複数の垂直信号線１４４とカラムＡＤＣ１３４Ａとがスイッチ（図示省略）を介して接続され、当該スイッチによってカラムＡＤＣ１３４Ａが変換する画素信号が選択される。

図３に示すカラムＡＤＣ１３４Ａは、比較器１３４１、ＳＡＲ（Successive Approximation Register）ロジック回路１３４２及びＤＡＣ（Digital to Analog Converter）１３４３を備える。
比較器１３４１は、垂直信号線１４４を介して入力される画素信号と所定の参照信号とを比較する。比較器１３４１は、比較結果をＳＡＲロジック回路１３４２に出力する。

ＳＡＲロジック回路１３４２は、比較器１３４１の比較結果に基づいて、画素信号に近似するような参照信号の値を示すデジタル信号を求めてレジスタに保持し、その値に参照信号を更新させるための制御信号を生成する。

ＤＡＣ１３４３は、制御信号に対するＤＡ（Digital to Analog）変換により、アナログの参照信号を更新する。

（制御部）
続いて、図３を用いて制御部１４０の構成例について説明する。図３に示す制御部１４０は、データ圧縮部１４０１、参照信号設定部１４０２及びフレームメモリ１４０３を有する。

データ圧縮部１４０１は、ＳＡＲロジック回路１３４２が出力する１０ビットの第１デジタル信号を圧縮して１０ビットより小さいビット数（例えば３ビット）のデジタル信号に変換し、フレームメモリ１４０３に格納する。換言すると、データ圧縮部１４０１は、背景画像Ｓ０を圧縮してフレームメモリ１４０３に記憶させる。なお、データ圧縮部１４０１が行う圧縮方式として、例えばハフマン符号を用いた可逆圧縮が挙げられるが、かかる圧縮方式は一例であり、種々の圧縮方式が適用可能である。

参照信号設定部１４０２は、背景画像Ｓ０の各画素における第１デジタル信号（輝度値）に応じた参照信号（以下、１ビット参照信号とも称する）を設定するようＳＡＲロジック回路１３４２を制御する。参照信号設定部１４０２は、背景画像Ｓ０を取得後、照射パターンＰ１〜ｎを照射する間（換言すると、差分画像Ｓ１〜Ｓｎを撮像する間）、１ビット参照信号を設定するようＳＡＲロジック回路１３４２を制御する。

フレームメモリ１４０３は、背景画像Ｓ０を記憶する記憶手段である。フレームメモリ１４０３は、データ圧縮部１４０１が圧縮した背景画像Ｓ０を記憶する。フレームメモリ１４０３が、データ圧縮部１４０１が圧縮した背景画像Ｓ０を記憶することで、フレームメモリ１４０３のサイズを小さくすることができる。なお、フレームメモリ１４０３が１０ビットの背景画像Ｓ０を記憶できる場合、データ圧縮部１４０１を省略してもよい。

（ＡＤ変換処理）
ここで、上述したように、カラムＡＤＣ１３４Ａは、ＳＡＲ型のＡＤＣであり、カラムごとに個別のＤＡＣ１３４３を備える。そのため、カラムＡＤＣ１３４Ａは、初期電圧（比較器１３４１による比較に用いられる参照信号の初期値）をカラムごとに調整することができる。本実施形態では、かかる点に着目し、撮像装置１００が照射パターンＰ０〜Ｐｎに応じて参照信号を変更することで、カラムＡＤＣ１３４Ａのしきい値を変更する。これにより、撮像装置１００は、１０ビットの背景画像Ｓ０を撮像することができるとともに、照射パターンＰ１〜Ｐｎを照射した場合に、画素信号が明るくなったか否かを、カラムＡＤＣ１３４Ａを用いて１ビット判定することができる。

以下、図４を用いてカラムＡＤＣ１３４Ａによる比較処理の詳細について説明する。図４は、本開示の第１実施形態に係るカラムＡＤＣ１３４ＡによるＡＤ変換について説明するための図である。図４においては、下側は電圧が低い状態（白色側）であり、上側は電圧が高い状態（黒色側）である。図４の左側に示すグラフの横軸は、時間である。

（複数ビットＡＤ変換）
まず、図４の左側に示すグラフを用いて、カラムＡＤＣ１３４Ａが、第１の期間において、背景画像Ｓ０の画素信号ＶｐｂをＡＤ変換する場合について説明する。換言すると、カラムＡＤＣ１３４Ａが１０ビットのＡＤ変換を行う場合について説明する。

初期状態において参照信号ＶＳＬのレベルは、例えば初期値Ｖｒｅｆに設定される。そして、比較器１３４１は、画素信号Ｖｐｂと初期値Ｖｒｅｆの参照信号とを比較する。画素信号Ｖｐｂが参照信号より大きい場合、ＳＡＲロジック回路１３４２は、デジタル信号ＤＯＵＴのＭＳＢ（Most Significant Bit）を「０」にする。そして、ＳＡＲロジック回路１３４２は、図４に示すように、参照信号をＶｒｅｆ／２の分、上昇させる。

一方、画素信号Ｖｐｂが参照信号以下の場合、ＳＡＲロジック回路１３４２は、デジタル信号ＤＯＵＴのＭＳＢを「１」にする。そして、ＳＡＲロジック回路１３４２は、基準信号をＶｒｅｆ／２の分、降下させる（図示省略）。

そして、比較器１３４１は、次の比較を行う。比較結果、画素信号Ｖｐｂが参照信号より大きい場合、ＳＡＲロジック回路１３４２は、ＭＳＢの次の桁を「０」にする。そして、ＳＡＲロジック回路１３４２は、図４に示すように、参照信号をＶｒｅｆ／４の分、上昇させる。

一方、画素信号Ｖｐｂが参照信号以下の場合、ＳＡＲロジック回路１３４２は、ＭＳＢの次の桁を「１」にする。そして、ＳＡＲロジック回路１３４２は、参照信号をＶｒｅｆ／４の分、降下させる（図示省略）。

以下、同様の手順が、ＬＳＢ（Least Significant Bit）まで継続される。これにより、アナログの画素信号Ｖｐｂが、デジタル信号ＤＯＵＴにＡＤ変換される。ＡＤ変換の終了時にＳＡＲロジック回路１３４２は、第１のデジタル信号ＤＯＵＴを出力する。この第１のデジタル信号ＤＯＵＴは、画素信号ＶｐｂをＡＤ変換したデータ（すなわち、画素データ）を示す。

（１ビットＡＤ変換）
次に、図４の右側に示すグラフを用いて、カラムＡＤＣ１３４Ａが、第２の期間において背景画像Ｓ０以外の差分画像（ここでは差分画像Ｓ１）の画素信号ＶｐｗをＡＤ変換する場合について説明する。換言すると、カラムＡＤＣ１３４Ａが１ビットのＡＤ変換を行う場合について説明する。

ここで、照射パターンＰ１の照射光を照射した場合、照射光が当たった領域を撮像した画素（以下、照射画素とも称する）の画素信号Ｖｐｗは、背景画像Ｓ０の画素信号Ｖｐｂより明るい値の信号になる。すなわち、照射画素の画素信号Ｖｐｗは、画素信号Ｖｐｂより小さくなる。なお、撮像画像Ｓ１の画素信号Ｖｐｗと背景画像Ｓ０の画素信号Ｖｐｂは、フレーム内で位置が対応する画素の画素信号である。

一方、照射光が当たっていない領域を撮像した画素（以下、無照射画素とも称する）の画素信号Ｖｐｗは、背景画像Ｓ０の画素信号Ｖｐｂと同じ値の信号になる。これは、背景画像Ｓ０が無照射パターンである照射パターンＰ０を照射したときの撮像画像であるためである。

そこで、カラムＡＤＣ１３４Ａは、差分画像Ｓ１の画素信号Ｖｐｗが背景画像Ｓ０の画素信号Ｖｐｂより小さいか否かを１ビット判定することで、差分画像Ｓ１のＡＤ変換を行う。より具体的には、ＳＡＲロジック回路１３４２が、背景画像Ｓ０の画素信号Ｖｐｂに応じた１ビット参照信号Ｖｄａｃを設定し、比較器１３４１が、差分画像Ｓ１の画素信号Ｖｐｗと１ビット参照信号Ｖｄａｃとを比較する。ＳＡＲロジック回路１３４２は、比較結果に応じて１ビット（「０」又は「１」）の第２のデジタル信号を出力する。

ここで、１ビット参照信号Ｖｄａｃは、画素信号Ｖｐｂに所定の値Ｍをマージンとして含めた値である。上述したように、無照射画素の画素信号Ｖｐｗは、背景画像Ｓ０の画素信号Ｖｐｂと同じ値となる。しかしながら、例えば環境光の変化等で、無照射画素の画素信号Ｖｐｗが背景画像Ｓ０の画素信号Ｖｐｂと同じ値にならない場合もある。そこで、ＳＡＲロジック回路１３４２は、無照射画素を照射画素であると誤判定しない程度のマージンを含めて１ビット参照信号Ｖｄａｃを設定する。

なお、ＳＡＲロジック回路１３４２は、制御部１４０の参照信号設定部１４０２の制御に応じて１ビット参照信号Ｖｄａｃを設定する。参照信号設定部１４０２は、ＳＡＲロジック回路１３４２に１ビット参照信号Ｖｄａｃの値を出力してもよく、背景画像Ｓ０の画素信号Ｖｐｂを出力するようにしてもよい。参照信号設定部１４０２が、画素信号Ｖｐｂを出力する場合、ＳＡＲロジック回路１３４２は、画素信号Ｖｐｂに所定の値Ｍをマージンとして含めた１ビット参照信号Ｖｄａｃを設定する。

このように、カラムＡＤＣ１３４Ａが、背景画像Ｓ０の画素信号Ｖｐｂに基づいた１ビット参照信号Ｖｄａｃと差分画像Ｓ１の画素信号Ｖｐｗとを比較する。これにより、撮像装置１００は、差分画像Ｓ１の各画素が、照射画素であるか無照射画素であるかを１ビット判定することができる。

上述したように、カラムＡＤＣ１３４Ａは、ＳＡＲ型のＡＤＣであり、カラムごとに個別のＤＡＣ１３４３を有していることから、カラムごとに参照信号を変更することができる。一方、シングルスロープ積分型のＡＤＣは、各カラムでＤＡＣを共有しているため、カラムごとに参照信号を変更することが難しい。本実施形態に係る撮像装置１００では、カラムごとに参照信号を変更することができるというＳＡＲ型のＡＤＣの特徴を利用することで、差分画像Ｓ１〜Ｓｎを１ビットＡＤ変換することができ、差分画像Ｓ１〜Ｓｎを高速に取得することができる。

（読み出し動作）
次に、撮像装置１００における画素信号の読み出し動作について説明する。図５は、本開示の第１実施形態に係る撮像装置１００による画素信号の読み出しを模式的に示すタイミングチャートである。図５において横軸が時間を、縦軸が走査する画素１１１のアドレス（Ｖアドレス）を示す。

撮像装置１００は、まず第１の期間Ｔ１で背景画像Ｓ０の撮像結果を読み出し、次の第２の期間Ｔ２で複数の異なる照射パターンＰ１〜Ｐｎに対応する差分画像Ｓ１〜Ｓｎを読み出す。

まず、撮像装置１００は、第１の期間Ｔ１で、例えば、全て「暗」の照射パターン、換言すると照射光を照射しない背景照射パターンＰ０を照射したときの画素信号を読み出す。このとき、撮像装置１００は、参照信号を変更し（図４左側のグラフ参照）、１０ビットの第１のデジタル信号を画素信号として読み出す。

次に、撮像装置１００は、図５に示すように、第２の期間Ｔ２で照射パターンＰ１〜Ｐｎの照射光が照射されたときの画素信号を順次読み出す。まず、第１の期間Ｔ１の次に照射パターンＰ１の照射光が照射されると、撮像装置１００は、照射パターンＰ１に対応する差分画像Ｓ１を読み出す。次に、照射パターンＰ２の照射光が照射されると、撮像装置１００は、照射パターンＰ２に対応する差分画像Ｓ２を読み出す。撮像装置１００は、最後の照射パターンＰｎが照射されるまで繰り返し差分画像Ｓ３〜Ｓｎを読み出す。

このとき、撮像装置１００は、図４の右側に示すように、背景画像Ｓ０に応じて設定された１ビット参照信号Ｖｄａｃと各画素信号Ｖｐｗとの比較結果を差分画像Ｓ１〜Ｓｎとして読み出す。撮像装置１００は、第１、第２の期間Ｔ１、Ｔ２を繰り返すことで、撮像画像Ｓ０〜Ｓｎを繰り返し読み出す。

このように、撮像装置１００が１ビット参照信号Ｖｄａｃを用いて差分画像Ｓ１〜Ｓｎを読み出すため、撮像装置１００が各差分画像Ｓ１〜Ｓｎを読み出す時間は、背景画像Ｓ０を読み出す時間と比較して短くなる。すなわち、第１の期間Ｔ１では１０ビット分の比較処理、すなわち、ＭＳＢからＬＳＢまで１０回の比較処理を行うのに対し、第２の期間Ｔ２では、１ビット分の比較処理、すなわち１回の比較処理で済む。そのため、単に比較処理の時間を考えた場合、各差分画像Ｓ１〜Ｓｎの処理時間は、それぞれ、背景画像Ｓ０の処理時間の１／１０で済む。

したがって、測距に必要な撮像画像Ｓ０〜Ｓｎを撮像装置１００が読み出す時間を、毎回１０ビットでＡＤ変換して読み出す場合に比べて大幅に短縮することができる。例えば、既存技術では照射パターンＰ１〜Ｐｎに対応する画像を背景画像Ｓ０と同じ１０ビットの撮像画像として読み出すため、１０ビット分の比較処理をｎ回繰り返し行う必要がある。一方、本実施形態に係る撮像装置１００では、照射パターンＰ１〜Ｐｎに対応する差分画像Ｓ１〜Ｓｎを読み出す場合、１ビット分の比較処理をｎ回繰り返し行うだけで済み、撮像画像Ｓ０〜Ｓｎの読み出し処理を、既存技術に比べて高速に実行することができる。

＜１．３．測距装置の全体制御部＞
次に、本実施形態に係る測距装置１の全体制御部３００の詳細について説明する。図６は、本開示の第１実施形態に係る測距装置１の構成例を示すブロック図である。

全体制御部３００は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、測距装置１内部に記憶されたプログラムがＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、全体制御部３００は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図６に示すように、全体制御部３００は、タイミング制御部３１０、投影画像生成部３２０、データ取得部３３０及び信号処理部３４０を有し、以下に説明する情報処理の機能や作用を実現又は実行する。なお、全体制御部３００の内部構成は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、全体制御部３００は、例えばＮＩＣ（Network Interface Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。

（タイミング制御部）
タイミング制御部３１０は、投影画像生成部３２０を制御して、プロジェクタ２００から照射される照射光の照射パターンを制御する。また、タイミング制御部３１０は、プロジェクタ２００及び撮像装置１００を制御して、プロジェクタ２００による照射光の照射タイミング及び撮像装置１００による撮像画像Ｓ０〜Ｓｎの撮像タイミングを制御する。

図７は、本開示の第１実施形態に係るタイミング制御部３１０によるタイミング制御の一例を説明するための図である。

図７に示す例では、タイミング制御部３１０は、撮像装置１００（図７のイメージセンサに相当する）を制御して、まず背景照射パターンＰ０での背景画像Ｓ０の撮像を実行する。上述したように、背景照射パターンＰ０は、プロジェクタ２００を発光させない照射パターンであるため、投影画像生成部３２０及びプロジェクタ２００は動作しない。タイミング制御部３１０は、プロジェクタ２００が発光していない状態で、時刻ｔ１１から時刻ｔ１２の間に撮像装置１００が背景光（照射パターンＰ０）を露光するよう制御する。

その後、タイミング制御部３１０は、時刻ｔ１２から時刻ｔ１３の間に、撮像装置１００が背景画像Ｓ０のＡＤ変換（ＡＤＣ）を行うように、撮像装置１００を制御する。なお、時刻ｔ１２から時刻ｔ１３の間に行われるＡＤ変換は、複数ビット（１０ビット）のＡＤ変換である。

全ての画素１１１の画素信号に対してＡＤ変換を行った撮像装置１００は、時刻ｔ１３で、１ビットＡＤ変換（1bitADC）でしきい値として使用する１ビット参照信号Ｖｄａｃを算出する。

タイミング制御部３１０は、時刻ｔ２０で投影画像生成部３２０を制御し、次の照射パターン（図７では、照射パターンＰ１）のデータをプロジェクタ２００に転送させる。なお、図７に示すように、時刻ｔ２０は、撮像装置１００が背景画像Ｓ０のＡＤ変換を行っている時刻ｔ１２から時刻ｔ１３の間であってもよい。これにより、撮像装置１００による背景画像Ｓ０の撮像から次の差分画像Ｓ１の撮像までの撮像間隔を短くすることができる。

時刻ｔ２０で、投影画像生成部３２０が照射パターンＰ１のデータをプロジェクタ２００に転送すると、タイミング制御部３１０は、時刻ｔ２１でプロジェクタ２００を照射パターンＰ１で発光（照射）させる。また、タイミング制御部３１０は、同じタイミング（時刻ｔ２１）で撮像装置１００に露光を行わせる。時刻ｔ２２で発光及び露光が終了すると、撮像装置１００は、差分画像Ｓ１の１ビットＡＤ変換を行う。

タイミング制御部３１０は、同様に、投影画像生成部３２０、プロジェクタ２００及び撮像装置１００を制御して、照射パターンＰ２〜Ｐｎの照射及び対応する差分画像Ｓ２〜Ｓｎの撮像を行わせる。

このように、タイミング制御部３１０が各部のタイミング制御を行うことで、撮像装置１００は、背景画像取得フェーズ（第１の期間に相当）で背景画像Ｓ０を取得するとともに、１ビットＡＤ変換で使用する各画素１１１のしきい値（１ビット参照信号Ｖｄａｃ）を算出する。

また、差分画像取得フェーズ（第２の期間に相当）では、投影画像生成部３２０が照射パターンＰ１〜Ｐｎを転送し、プロジェクタ２００が転送された照射パターンで比較的短い時間発光する。撮像装置１００は、プロジェクタ２００の発光タイミングに合わせて露光し、露光が終了したら１ビットＡＤ変換して、差分画像Ｓ１〜Ｓｎを出力する。

なお、図７では、照射パターンＰｎが所定の縞を有する投影画像とし、投影画像生成部３２０が照射パターンＰｎのデータをプロジェクタ２００に転送しているが、これに限定されない。例えば、照射パターンＰｎが背景照射パターンＰ０と同じ無照射パターンであってもよい。この場合、投影画像生成部３２０による照射パターンＰｎのデータ転送及びプロジェクタ２００の照射パターンＰｎでの発光を省略することができ、タイミング制御部３１０は、プロジェクタ２００が発光していない状態で撮像装置１００が露光を行うように制御する。なお、この場合の差分画像Ｓｎは、距離算出における信頼度の設定に用いられる。信頼度の設定については後述する。

（投影画像生成部）
図６に戻る。投影画像生成部３２０は、タイミング制御部３１０の制御に従い、例えば記憶部４００が記憶する照射パターンのデータをプロジェクタ２００に転送する。ここでは、投影画像生成部３２０が生成する投影画像（照射パターン）として、非特許文献１に開示されている照射パターンを適用した場合について説明する。

図８及び図９は、本開示の第１実施形態に係る投影画像生成部３２０が転送する照射パターンの一例を説明するための図である。

投影画像生成部３２０は、照射パターンＰ１〜Ｐｎ−１をプロジェクタ２００に転送する。図８では、投影画像生成部３２０は、照射パターンＰ１〜Ｐ５をプロジェクタ２００に転送する。

図８に示すように、照射パターンＰ１は、左側が黒色（暗）、右側が白色（明）の２色のパターン画像である。照射パターンＰ２は、黒色の縦縞２本と白色の縦縞２本が交互に並んだパターンである。照射パターンＰｍは、黒色の縦縞２^{（ｍ−１）}本と白色の縦縞２^{（ｍ−１）}本が交互に並んだパターンとなる。

このように、照射パターンＰ１〜Ｐｎ−１は、バイナリーコーディングされたパターン画像である。図９に示すように、照射パターンＰ１〜Ｐｎは、黒色の縞を「０」、白色の縞を「１」とすると、パターン画像の左側から順に「０００００」、「００００１」・・・とコーディングされている。なお、図９では、照射パターンＰ１〜Ｐｎ−１を縦方向に並べたものであり、図９の下向き矢印が時間を、横向き矢印が黒色及び白色の水平空間分布を示している。図９では、左側が最下位ビット（ＬＳＢ）となり、右側が最上位ビット（ＭＳＢ）となる。

このように、バイナリーコードは、各照射パターンの横方向において各縞と対応付けられており、換言すると、照射パターンは、横方向においてプロジェクタ２００による光の照射角度ごとにバイナリーコーディングされていると言える。

なお、ここでは、投影画像生成部３２０は、例えば最後の照射パターンＰｎとして、背景照射パターンＰ０と同じ照射パターンのデータを転送するものとする。この場合、照射パターンＰ０、Ｐｎは、全てが黒色の遮光パターン（投影画像）となる。この場合、照射パターンＰｎに対応する差分画像Ｓｎは、信号処理部３４０による信頼度設定に使用される。信頼度設定についての詳細は後述する。

なお、図８、図９に示す照射パターンは一例であり、これに限定されない。撮像画像Ｓ０〜Ｓｎに対応する画素を識別できるようにバイナリーコーディングが施されたパターンであればよく、例えば縦縞ではなく横縞の明暗パターンであってもよい。

（データ取得部）
図６に戻る。データ取得部３３０は、撮像装置１００が撮像した背景画像Ｓ０及び差分画像Ｓ１〜Ｓｎを取得する。データ取得部３３０は、背景画像Ｓ０及び差分画像Ｓ１〜Ｓｎと、各画像を撮像したタイミング情報（Ｆｒａｍｅ ＩＤ）を取得する。データ取得部３３０は、取得した背景画像Ｓ０、差分画像Ｓ１〜Ｓｎ及びタイミング情報を信号処理部３４０に出力する。データ取得部３３０は、例えば背景画像Ｓ０、差分画像Ｓ１〜Ｓｎを記憶するフレームバッファであってもよい。

（信号処理部）
信号処理部３４０は、データ取得部３３０が取得した撮像画像Ｓ０〜Ｓｎ及びキャリブレーション情報に基づき、被測定物ｏｂまでの距離（デプス）及び当該距離の信頼度を算出する。キャリブレーション情報とは、例えば撮像装置１００及びプロジェクタ２００の光学系、幾何学位置に相当する情報であり、事前にキャリブレーションによって取得されている情報である。キャリブレーション情報は、例えば記憶部４００に予め記憶されているものとする。

図１０は、本開示の第１実施形態に係る信号処理部３４０の構成例を示すブロック図である。信号処理部３４０は、コード統合部３４１、信頼度生成部３４２及びデプス推定部３４３を有する。

図１０に示すように、データ取得部３３０は、撮像装置１００から撮像画像Ｓ０〜Ｓｎを入力画像として取得すると、背景画像である撮像画像Ｓ０及び差分画像Ｓｎを信頼度生成部３４２に出力する。また、データ取得部３３０は、差分画像Ｓ１〜Ｓｎ−１をコード統合部３４１に出力する。

（コード統合部）
コード統合部３４１は、差分画像Ｓ１〜Ｓｎ−１の各画素の値を１つのコードに統合する。差分画像Ｓ１〜Ｓｎ−１の各画素は、撮像装置１００で１ビットＡＤ変換されており、照射画素は「１」、無照射画素は「０」で表されている。そのため、例えば差分画像Ｓ１〜Ｓｎ−１の対応する画素が全て無照射画素である場合、コード統合部３４１は、当該画素の値を「００・・・０」に統合する。コード統合部３４１は、差分画像Ｓ１〜Ｓｎ−１を統合してｎ−１ビットの画素値を有する画像（以下、統合画像とも称する）を生成する生成部であるともいえる。

なお、既存技術の測距装置では、所定の照射パターンに対応する撮像画像として、撮像装置は１０ビットの画素値を有する撮像画像を出力していた。そのため、既存技術のコード統合部は撮像画像の各画素が照射画素であるか無照射画素であるかをしきい値判定する必要があった。

しかしながら、本実施形態にかかる撮像装置１００は、撮像画像の各画素が照射画素であるか無照射画素であるかをしきい値（１ビット参照信号）で判定し、その結果を差分画像Ｓ１〜Ｓｎ−１として出力する。そのため、本実施形態にかかるコード統合部３４１は、撮像画像Ｓ１〜Ｓｎ−１のしきい値処理を省略することができ、符号の統合を行えばよい。

（信頼度生成部）
信頼度生成部３４２は、コード統合部３４１が生成した統合画像の各画素の信頼度を算出する。上述したように、既存技術の測距装置では、コード統合部で各画素の明暗をしきい値判定していた。そのため、画素値がしきい値付近の値であり、しきい値判定が難しい画素の場合、コード統合部が当該画素の信頼度を低くすることで、不確定なデプスの算出を行わないようにすることができた。

一方、本実施形態では、各画素の明暗のしきい値判定（１ビットＡＤ変換）は撮像装置１００が行い、コード統合部３４１では行わない。そこで、本実施形態では、信頼度生成部３４２が、撮像画像Ｓ０〜Ｓｎに基づき、各画素の信頼度を算出するものとする。なお、信頼度生成部３４２は、コード統合部３４１が生成した統合画像及び算出した信頼度をデプス推定部３４３に出力する。

（信頼度算出例１）
図１１は、本開示の第１実施形態に係る信頼度生成部３４２による信頼度算出を説明するための図である。信頼度生成部３４２は、背景画像Ｓ０の輝度値に応じて統合がその各画素における信頼度を算出する。

背景画像Ｓ０を撮像した時の背景照射パターンＰ０は、光を照射しない無照射パターンであるが、例えば環境光が強い場合など、無照射パターンであっても画素１１１が蓄積する電荷が飽和してしまう場合がある。この場合、撮像装置１００は、その後の差分画像Ｓ１〜Ｓｎ時に照射光が当たったか否か、換言するとパターン照射の有無を正常に判定することができない。

そこで、信頼度生成部３４２は、背景画像Ｓ０の各画素の輝度値（以下、背景輝度値とも称する）をしきい値と比較し、比較結果に応じて信頼度を算出する。より具体的に、信頼度生成部３４２は、背景輝度値が、電荷が飽和した場合の輝度値（以下、飽和値とも称する）に近いほど、値が低くなるように信頼度を設定する。例えば、図１１の例では、信頼度生成部３４２は、背景輝度値が第１しきい値Ｔｈ０１以上、第２しきい値Ｔｈ０２未満である場合、対応する画素の信頼度を背景輝度値が大きくなるにつれて値が小さくなるように設定する。信頼度生成部３４２は、背景輝度値が第２しきい値Ｔｈ０２以上である場合、信頼度を最も低い値（例えばゼロ）に設定する。なお、第２しきい値Ｔｈ０２は、飽和値付近の値に設定することが望ましい。

（信頼度算出例２）
次に、信頼度生成部３４２による信頼度算出の他の例を説明する。プロジェクタ２００が光を照射したとしても、プロジェクタ２００から被測定物ｏｂまでの距離が遠くなると、当該被測定物ｏｂでの反射光の輝度が小さくなる。そのため、プロジェクタ２００が光を照射している位置であっても、画素信号がカラムＡＤＣ１３４Ａのしきい値（１ビット参照信号）を超えず、１ビットＡＤ変換の結果が「０」（暗）となってしまう場合がある。

そこで、信頼度生成部３４２は、差分画像Ｓ１〜Ｓｎ−１の各画素の輝度値が、いずれの差分画像Ｓ１〜Ｓｎ−１でも「０」になっている場合、当該画素の信頼度を最も低い値（例えばゼロ）に設定する。この場合、投影画像生成部３２０が、照射パターンＰ１〜Ｐｎ−１の１つとして例えば全て白色の照射パターン（全照射パターン）を照射するようにしてもよい。

（信頼度算出例３）
本実施形態に係る撮像装置１００は、撮像画像Ｓ０〜Ｓｎを高速に撮像することができるため、測距装置１は、被測定物ｏｂがある程度動いたとしても被測定物ｏｂまでの距離を精度よく算出することができる。しかしながら、例えば被測定物ｏｂの動きが高速の場合などは、距離算出（センシング）が破綻してしまうことがある。そこで、信頼度生成部３４２は、被測定物ｏｂが大きく動いた箇所（画素）の信頼度を低く設定する。

上述したように、照射パターンＰｎは、背景（無照射）照射パターンＰ０と同じ照射パターンである。そのため、背景照射パターンＰ０照射時と、照射パターンＰｎ照射時で被測定物ｏｂに変化がない場合、差分画像Ｓｎの各画素の輝度値は、全て「０」となる。一方、被測定物ｏｂが動いた場合など、被測定物ｏｂに変化があった場合、差分画像Ｓｎの変化があった箇所の輝度値は、「１」に変化する。そこで、信頼度生成部３４２は、差分画像Ｓｎの輝度値が「１」である画素の信頼度を低く、例えば最も低い値（ゼロ）に設定する。

なお、信頼度生成部３４２は、信頼度算出例１〜３で述べた各信頼度を画素ごとにそれぞれ算出してもよく、画素ごとに１つの信頼度を算出するようにしてもよい。画素ごとに１つの信頼度を算出する場合、信頼度算出例１〜３の中の１つを算出してもよい。あるいは、信頼度算出例１〜３に応じて算出した値を加算することで、画素ごとに１つの信頼度を算出するようにしてもよい。

また、上述した信頼度算出例は一例であり、信頼度生成部３４２が上述した信頼度算出例以外の方法で信頼度を算出するようにしてもよい。

（デプス推定部）
図１０に戻る。デプス推定部３４３は、統合画像に基づいて、被測定物ｏｂまでの距離（デプス）を推定する。上述したように、プロジェクタ２００の照射パターンＰ１〜Ｐｎ−１は、照射角度ごとにバイナリコーディングされている。そのため、デプス推定部３４３は、統合画像の各画素値をデコードすることで、各画素とプロジェクタ２００の照射角度を紐付けることができる。

デプス推定部３４３は、各画素におけるプロジェクタ２００の照射角度と、事前にキャリブレーションによって取得した撮像装置１００の内部／外部パラメータ（上述のキャリブレーション情報に相当）と、を使用して被測定物ｏｂまでの距離（奥行き情報）を取得する。

図１２に示すように、プロジェクタ２００（図１２のＬｉｇｈｔに相当）から被測定物ｏｂ（図１２のＯｂｊｅｃｔに相当）に光を照射したときの照射角をθ_Ｌ、撮像装置１００（図１２のＣａｍｅｒａに相当）から被測定物ｏｂを見たときの観測角をθ_Ｃとする。キャリブレーション情報として、プロジェクタ２００と撮像装置１００との間の距離ｂが与えられたとすると、デプス推定部３４３は、以下の式（１）に従って奥行きＺを算出する。

なお、図１２は、本開示の第１実施形態に係るデプス推定部３４３による奥行きの算出方法を説明するための図である。

図１０に戻る。デプス推定部３４３は、算出した奥行きＺを出力デプスとして出力する。また、デプス推定部３４３は、信頼度生成部３４２が設定した信頼度を、算出した奥行きＺと対応させて出力信頼度として出力する。

＜１．４．測距装置の動作例＞
図１３は、本開示の第１実施形態に係る測距装置１の概略動作例を示すフローチャートである。なお、測距装置１は、被測定物ｏｂの距離を測定している間、図１３に示す動作を繰り返し実行するものとする。

図１３に示すように、測距装置１は、背景画像Ｓ０を取得する（ステップＳ１０１）。より具体的には、測距装置１は、プロジェクタ２００を発光させない背景照射パターンＰ０で１０ビットの輝度値を有する背景画像Ｓ０を取得する。

次に、測距装置１は、取得した背景画像Ｓ０に基づき、撮像装置１００のカラムＡＤＣ１３４Ａの参照信号として１ビット参照信号Ｖｄａｃを設定する（ステップＳ１０２）。

測距装置１は、照射パターンを変更してプロジェクタ２００を発光させ（ステップＳ１０３）、１ビットの差分画像を取得する（ステップＳ１０４）。測距装置１は、照射パターンＰ１〜Ｐｎ−１の全ての照射パターンを照射したか否かを判定する（ステップＳ１０５）。全ての照射パターンを照射していない場合（ステップＳ１０５；Ｎｏ）、ステップＳ１０３に戻る。

全ての照射パターンを照射していた場合（ステップＳ１０５；Ｙｅｓ）、測距装置１は、背景画像Ｓ０と同じ照射パターンＰｎ（背景パターン）における差分画像Ｓｎを取得する（ステップＳ１０６）。

測距装置１は、取得した差分画像Ｓ１〜Ｓｎ−１を統合して統合画像を生成する（ステップＳ１０７）。続いて、測距装置１は、撮像画像Ｓ０〜Ｓｎに基づき、各画素の信頼度を設定する（ステップＳ１０８）。測距装置１は、統合画像に基づき、各画素のデプスを推定する（ステップＳ１０９）。

以上のように、本実施形態に係る測距装置１は、背景画像Ｓ０を取得した後、１ビットの差分画像Ｓ１〜Ｓｎを取得する。そのため、測距装置１は、距離算出に必要な撮像画像を取得する時間を大幅に短縮することができる。

例えば、１０ビットの撮像画像を取得するために、１２０ＦＰＳ（Frame per Second）の時間が必要であるとする。また、測距装置１が距離算出のために、背景以外に１０枚の撮像画像を取得するものとする。

この場合、既存技術の測距装置が、背景以外の撮像画像として１０ビットの撮像画像を取得すると、背景画像と合わせて１１枚の撮像画像を取得するためには１１ＦＰＳ相当の時間がかかる。そのため、既存技術の測距装置が最初の背景画像を取得してから最後の撮像画像を取得するまでの間に被測定物ｏｂ又は撮像装置が動いてしまう可能性が高く、高精度に距離を算出することが難しい。また、既存技術の測距装置は、撮像画像を取得する時間が長いため、距離の算出時間を短縮することが難しい。

一方、本実施形態に係る測距装置１は、上述したように、背景画像Ｓ０を取得した後、１ビットの差分画像Ｓ１〜Ｓｎを取得する。そのため、背景画像以外の画像を取得する時間を１０分の１程度（例えば１０５９ＦＰＳ程度）まで短縮することができる。そのため、背景画像と合わせて１１枚の撮像画像を取得したとしても、測距装置１は、６０ＦＰＳ相当の時間で取得することができる。そのため、測距装置１が最初の背景画像を取得してから最後の撮像画像を取得するまでの間に被測定物ｏｂ又は撮像装置１００が動いてしまう可能性が低く、高精度に距離を算出することができる。また、測距装置１による距離算出の時間を大幅に短縮することができるようになる。

＜２．第２実施形態＞
上記第１実施形態では、測距装置１が被測定物ｏｂまでの距離を測定する場合を示した。上記例以外にも、測距装置１が、距離測定に加え、ＲＧＢ撮像画像を取得するようにしてもよい。そこで、第２実施形態では、測距装置１が、被測定物ｏｂまでの距離測定に加え、ＲＧＢ撮像画像を取得する例について説明する。

図１４は、本開示の第２実施形態に係る撮像装置１００の画素１１１配置の一例を示す図である。図１４に示すように、本実施形態に係る撮像装置１００の画素１１１は、Ｒ（赤色）、Ｇ（緑色）及びＢ（青色）の光を受光する通常画素と、例えば赤外光（ＩＲ）を受光する赤外光（ＩＲ）画素と、を含む。

通常画素は、光電変換部（図示省略）の受光面に積層されるＲフィルタ、Ｇフィルタ及びＢフィルタのいずれか１つのカラーフィルタを備える。通常画素は、画素アレイ部１１０において、例えばベイヤー配列を構成する。以下においては、Ｇフィルタが積層された通常画素を画素Ｇ、Ｒフィルタが積層された通常画素を画素Ｒ、Ｂフィルタが積層された通常画素を画素Ｂとして説明する。

赤外光画素は、光電変換部の受光面に赤外光、すなわち赤外領域の波長の光を受光可能な赤外フィルタが積層されている。赤外光画素は、所定の画素行に所定の間隔で配置される。例えば、赤外光画素は、所定の画素行においてＧ画素と交互に配置される。あるいは、図１５に示すように、所定の画素行における通常画素のベイヤー配列の画素Ｇに相当する位置であって、同じ行の画素Ｂと隣接する位置に順次配置されてもよい。なお、図１５は、本開示の第２実施形態に係る撮像装置１００の画素１１１配置の他の例を示す図である。

このように、本実施形態に係る撮像装置１００は、ＲＧＢ画像を撮像するための通常画素と、距離測定用の画像を撮像するための赤外光画素を有する。なお、本実施形態では、プロジェクタ２００は、照射光として赤外光を発光するものとする。

次に、本実施形態に係る撮像装置１００における画素信号の読み出し動作について説明する。図１６は、本開示の第２実施形態に係る撮像装置１００による画素信号の読み出しを模式的に示すタイミングチャートである。図１６において横軸が時間を、縦軸が走査する画素１１１の垂直方向のアドレス（Ｖアドレス）を示す。

本実施形態に係る撮像装置１００は、ＲＧＢ撮像画像を撮像してからデプス算出のための撮像画像Ｓ０〜Ｓｎを撮像する。

図１６に示すように、撮像装置１００は、まず時刻ｔ３１においてＲＧＢ撮像のための露光（ＲＧＢ撮像用Ｓｈｕｔｔｅｒ）を開始する。すなわち、撮像装置１００は、通常画素の露光を開始する。次に、撮像装置１００は、時刻ｔ３２においてデプス算出用の背景撮像のための露光（ＩＲ画像 背景光取得用Ｓｈｕｔｔｅｒ）を開始する。すなわち、撮像装置１００は、赤外光画素の露光を開始する。

時刻ｔ３３に、撮像装置１００は、通常画素の読み出し（ＲＧＢ画像用Ｒｅａｄ）及び赤外光画素の読み出し（ＩＲ背景光用Ｒｅａｄ）を実行する。

このとき、撮像装置１００は、例えば通常画素によるＲＧＢ撮像の中で、画素１１１やカラムＡＤＣ１３４Ａの特性バラツキによるオフセット成分やＰ相信号成分及びＣＤＳ（Correlated Double Sampling：相関二重サンプリング）を取得する。撮像装置１００は、その後の赤外光画素によるデプス算出用の画像撮像時の信号成分を、当該撮像の露光時間で割り戻しつつ、当該信号成分にＲＧＢ撮像の中で取得したオフセット成分を加えて背景画像Ｓ０を取得する。撮像装置１００は、取得した背景画像Ｓ０をビット圧縮してフレーム単位でフレームメモリ１４０３（図３参照）に保存する

撮像装置１００は、時刻ｔ３４に、デプス算出に使用する差分画像Ｓ１〜Ｓｎを取得するため、所定の照射パターン時の露光（Ｄｅｐｔｈ撮像用Ｓｈｕｔｔｅｒ）、及び、１ビットの差分画像Ｓ１〜Ｓｎの読み出し（Ｄｅｐｔｈ撮像用Ｒｅａｄ）を実行する。かかる露光と読み出しは、時刻ｔ３５で、次のＲＧＢ撮像のための露光が開始されるまで繰り返し実行される。時刻ｔ３５以降は、時刻ｔ３１以降と同様にしてＲＧＢ画像の撮像と、デプス算出用の撮像画像Ｓ１〜Ｓｎの撮像が繰り返し行われる。

上述したように、撮像装置１００は、デプス算出用の撮像画像Ｓ０〜Ｓｎを高速に出力することができる。そのため、ＲＧＢ画像とデプス算出用の撮像画像Ｓ０〜Ｓｎとを同じ撮像装置１００で撮像することができる。

なお、ここでは、撮像装置１００が、ＲＧＢ画像とデプス算出用の撮像画像Ｓ０〜Ｓｎとを順番に撮像する場合について説明したが、これに限定されない。例えば、撮像装置１００が、ＲＧＢ画像とデプス算出用の撮像画像Ｓ０〜Ｓｎとを同時に撮像するようにしてもよい。かかる点について図１７を用いて説明する。図１７は、本開示の第２実施形態に係る撮像装置１００の撮像タイミングの他の例を説明するための図である。

図１７に示すように撮像装置１００は、通常画素でＲＧＢ画像を撮像し、このＲＧＢ画像の撮像と並列的に、赤外光画素でデプス算出用の撮像画像Ｓ０〜Ｓｎを撮像する（図１７では、ｎ＝８）。換言すると、撮像装置１００は、背景画像Ｓ０を取得する第１の期間及び差分画像Ｓ１〜Ｓ８を取得する第２の期間を合わせた第４の期間でＲＧＢ画像を取得する。

撮像装置１００は、赤外光画素による撮像において、最初の背景画像Ｓ０を１０ビットで撮像する。ＲＧＢ画像の撮像は、背景画像Ｓ０の撮像と同様のシーケンスで実行される。背景画像Ｓ０の撮像の後、差分画像Ｓ１〜Ｓ８を１ビットで撮像（しきい値で明暗判定）する。撮像装置１００は、ＲＧＢ画像及びデプス算出用の撮像画像Ｓ０〜Ｓ８の撮像を、例えば１／３０秒単位で繰り返し実行する。

このように、撮像装置１００がＲＧＢ画像及びデプス算出用の撮像画像Ｓ０〜Ｓｎの撮像を同時に行うことで、同一フレームでＲＧＢ画像及び奥行き情報を同時に取得することができる。

＜３．第３実施形態＞
上記第１実施形態では、背景画像Ｓ０の画素信号に基づき、全ての画素１１１で同時に１ビット参照信号Ｖｄａｃ（しきい値）を設定する場合を示した。上記例以外にも、隣接する画素１１１の画素信号に基づいて、１ビット参照信号Ｖｄａｃを設定するようにしてもよい。そこで、第３実施形態では、撮像装置１００が隣接する画素１１１の画素信号に基づいて、１ビット参照信号Ｖｄａｃを設定する場合について説明する。

なお、本実施形態では、図１８に示すように、撮像装置１００の画素１１１が全て赤外光画素であるものとして説明する。また、以下では、隣接する２つの画素を第１画素Ｐｘ１、第２画素Ｐｘ２と記載する。なお、図１８は、本開示の第３実施形態に係る撮像装置１００の画素１１１配置の一例を示す図である。

図１８に示すように、第１画素Ｐｘ１と第２画素Ｐｘ２とは市松模様状に配置される。すなわち、第１画素Ｐｘ１同士、及び、第２画素Ｐｘ２同士がそれぞれ隣接しないように配置される。これにより、隣接する第１画素Ｐｘ１と第２画素Ｐｘ２とで略同一の画像を取得していると見なすことができる。

図１９は、本開示の第３実施形態に係る撮像装置１００の撮像タイミングの一例を説明するための図である。

図１９に示すように、撮像装置１００は、期間Ｔ５１において、第１画素Ｐｘ１で背景画像Ｓ０の撮像を行い、第２画素Ｐｘ２で差分画像Ｓ１〜Ｓｎ（図１９ではｎ＝８）の撮像を行う。撮像装置１００は、第１画素Ｐｘ１での背景画像Ｓ０の撮像が終わると、第１画素Ｐｘ１での画素信号に基づき、第２画素Ｐｘ２に対応する１ビット参照信号Ｖｄａｃ（しきい値）を設定する。

撮像装置１００は、次の期間Ｔ５２において、第１画素Ｐｘ１で背景画像Ｓ０の撮像を行い、第２画素Ｐｘ２では、期間Ｔ５１と期間Ｔ５２との間で設定した１ビット参照信号Ｖｄａｃを使用して差分画像Ｓ１〜Ｓ８の撮像を行う。

このように、撮像装置１００は、背景画像を撮像するための第１画素Ｐｘ１と差分画像を撮像するための第２画素Ｐｘ２とを分けて、各画像を撮像する。すなわち、第１画素Ｐｘ１は、背景画像Ｓ０を撮像するための画素であり、第２画素Ｐｘ２は、差分画像Ｓ１〜Ｓ８を撮像するための画素である。撮像装置１００は、第１画素Ｐｘ１の画素信号に基づき、隣接する第２画素Ｐｘ２に対応する１ビット参照信号Ｖｄａｃを設定する。撮像装置１００は、隣接する第１画素Ｐｘ１、第２画素Ｐｘ２を組として、組ごとに奥行き情報を算出する。

これにより、距離算出に必要な差分画像Ｓ１〜Ｓｎの取得時間を、同じ画素で背景画像Ｓ０及び差分画像Ｓ１〜Ｓｎを取得する場合と比べて約１／２に短縮することができる。

なお、図２０では、隣接する画素１１１の画素信号に基づき、１ビット参照信号Ｖｄａｃを設定したが、上記例以外にも、隣接する第１、第２画素Ｐｘ１、Ｐｘ２で１ビット参照信号Ｖｄａｃを設定するタイミングをずらすようにしてもよい。

図２０に示すように、撮像装置１００は、期間Ｔ４１において、第１画素Ｐｘ１で背景画像の撮像を行い、第２画素Ｐｘ２で差分画像の撮像を行う。撮像装置１００は、第１画素Ｐｘ１での背景画像の撮像が終わると、第１画素Ｐｘ１に対応する１ビット参照信号Ｖｄａｃ（しきい値）を設定する。

撮像装置１００は、次の期間Ｔ４２において、第１画素Ｐｘ１では、設定した１ビット参照信号Ｖｄａｃを使用した差分画像の撮像を行い、第２画素Ｐｘ２では背景画像の撮像を行う。撮像装置１００は、第２画素Ｐｘ２での背景画像の撮像が終わると、第２画素Ｐｘ２に対応する１ビット参照信号Ｖｄａｃ（しきい値）を設定する。撮像装置１００は、次の期間Ｔ４３において、第１画素Ｐｘ１では背景画像の撮像を行い、第２画素Ｐｘ２では、設定した１ビット参照信号Ｖｄａｃを使用した差分画像の撮像を行う。

なお、図２０は、本開示の第３実施形態に係る撮像装置１００の撮像タイミングの他の例を説明するための図である。

このように、本実施形態に係る撮像装置１００は、隣接する第１、第２画素Ｐｘ１、Ｐｘ２で１ビット参照信号Ｖｄａｃを設定するタイミングをずらす。これにより、撮像装置１００は、同じタイミングで１ビット参照信号Ｖｄａｃを設定するタイミングが同じ場合に比べて、撮像時間をより短縮することができる。

なお、図１９、図２０の例では、プロジェクタ２００は、各期間の最初で背景照射パターンＰ０の照射を行い、続いて照射パターンＰ１〜Ｐｎの照射を行う。即ち、撮像装置１００は、背景照射パターンＰ０の照射と同期して露光を行った後に１０ビットのＡＤ変換を行うが、かかる１０ビットのＡＤ変換と並行して照射パターンＰ１〜Ｐｎと同期した露光及び１ビットのＡＤ変換を行う。これにより、１０ビットのＡＤ変換と１ビットのＡＤ変換をそれぞれ異なる第１、第２の期間で行う場合に比べて撮像画像Ｓ０〜Ｓｎの取得時間をより短縮することができる。

＜４．第４実施形態＞
上記第１実施形態では、測距装置１が、背景照射パターンＰ０と同じ照射パターンである照射パターンＰｎに対応する差分画像Ｓｎに基づき、信頼度を設定する場合を示した。上記例以外にも、測距装置１が、背景画像Ｓ０の差分に基づき信頼度を設定してもよい。そこで、第４実施形態では、測距装置１が、背景画像Ｓ０の差分に基づき信頼度を設定する例について説明する。

図２１は、本開示の第４実施形態に係る信頼度生成部３４２による信頼度算出について説明するための図である。

図２１に示すように、撮像装置１００は、背景画像Ｓ０及び差分画像Ｓ１〜Ｓｎ−１を繰り返し撮像する。なお、本実施形態では、測距装置１は、照射パターンＰｎでの照射及び差分画像Ｓｎの撮像を省略するものとする。

この場合、信頼度生成部３４２は、１つ前のタイミングで取得した背景画像Ｓ０＿１と、今回取得した背景画像Ｓ０＿２の差分を算出し、差分の絶対値を各画素の画素値（差分絶対値輝度値）とする差分絶対値画像を算出する。

信頼度生成部３４２は、算出した差分絶対値輝度値をしきい値判定し、判定結果に応じた信頼度を設定する。図２２は、本開示の第４実施形態に係る信頼度生成部３４２による信頼度算出について説明するための図である。図２２に示すように、信頼度生成部３４２は、差分絶対値輝度値が第３しきい値Ｔｈ１１以上第４しきい値Ｔｈ１２未満である場合、差分絶対値輝度値が大きくなるほど信頼度が低くなるように、信頼度を設定する。また、信頼度生成部３４２は、差分絶対値輝度値が第４しきい値Ｔｈ１２以上である場合、信頼度が最も低く（例えば、信頼度がゼロに）なるように設定する。

このように、信頼度生成部３４２が、背景画像Ｓ０の差分に基づいて被測定物ｏｂに変化があったか否かを判定し、判定結果に応じて信頼度を設定する。

＜５．その他の実施形態＞
上述の第１〜第４実施形態では、背景照射パターンＰ０と同じ照射パターンを複数の照射パターンＰ１〜Ｐｎの最後に１回照射するとした。すなわち、照射パターンＰｎが背景照射パターンＰ０と同じ照射パターンであるとした。しかしながら、背景照射パターンＰ０と同じ照射パターンの照射は、最後でなくてもよく、また複数回であってもよい。例えば、複数の照射パターンＰ１〜Ｐｎのうち所定回数ごとに背景パターンと同じ照射パターンの照射を行ってもよい。これにより、被測定物ｏｂが高速に動いたか否かをより詳細に検出することができ、信頼度生成部３４２による信頼度算出の精度を向上させることができる。

また、上述の第１〜第４実施形態では、撮像装置１００の制御部１４０がフレームメモリ１４０３にビット圧縮した背景画像Ｓ０を記憶するとしたが、これに限定されない。例えば、制御部１４０が、画素ごとに設定する１ビット参照信号Ｖｄａｃの値をフレームメモリ１４０３に記憶するようにしてもよい。この場合、制御部１４０の参照信号設定部１４０２は、フレームメモリ１４０３が記憶する１ビット参照信号ＶｄａｃをＳＡＲロジック回路１３４２に出力する。

また、上述の第１〜第４実施形態では、背景照射パターンＰ０が無照射（全て黒色）の照射パターンであるとしたが、これに限定されない。背景照射パターンＰ０は規定の照射パターンであればよく、例えば全て明るい全照射パターンであってもよい。この場合、最後の照射パターンＰｎは、背景照射パターンＰ０と同じ照射パターンとなるため、全照射パターンとなる。

また、上述の第１〜第４実施形態では、測距装置１のタイミング制御部３１０が撮像装置１００の撮像タイミングやプロジェクタ２００の投影タイミング等を制御するとしたがこれに限定されない。例えばタイミング制御部３１０を撮像装置１００が備える構成にしてもよい。この場合、タイミング制御部３１０は、各部のタイミングを制御する制御信号を生成し、撮像装置１００の外部に出力する。

＜６．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
光を受光して画素信号を出力する受光部と、
第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する光源部と、
前記画素信号に対して二分探索によりビット単位で逐次に変換を行い、前記第１の期間に第１のビット数の変換を行って第１のデジタル信号を出力し、前記第２の期間に前記第１のビット数より少ない第２のビット数で変換を行って第２のデジタル信号を出力する変換部と、
前記第１のデジタル信号と、前記第２のデジタル信号と、に基づき距離を算出する算出部と、
を備える測距装置。
（２）
前記第２のビット数は１ビットである、（１）に記載の測距装置。
（３）
前記第１のビット数は、前記変換部で変換可能な最大ビット数である、（１）又は（２）に記載の測距装置。
（４）
前記変換部は、前記第２の期間に、前記第１のデジタル信号に応じたしきい値で前記二分探索を行って前記第２のデジタル信号を出力する、（１）〜（３）のいずれか１つに記載の測距装置。
（５）
前記光源部は、前記第２の期間に、照射パターンが互いに異なる複数の前記第２の照射パターンで前記光を投影し、
前記変換部は、前記第２の期間に、複数の前記第２の照射パターンにそれぞれ対応する前記画素信号を前記しきい値で前記二分探索を行って、複数の前記第２のデジタル信号を出力する、（１）〜（４）のいずれか１つに記載の測距装置。
（６）
前記算出部は、複数の前記第２のデジタル信号を統合して前記距離を算出する、（５）に記載の測距装置。
（７）
前記算出部は、前記第１のデジタル信号の値が前記受光部の飽和領域の値に近いほど算出した前記距離の信頼度を低く設定する、（６）に記載の測距装置。
（８）
前記算出部は、複数の前記第２のデジタル信号の値が同じ値であった場合、該値が異なる場合と比べて前記距離の信頼度を低く設定する、（６）又は（７）に記載の測距装置。
（９）
前記光源部は、前記第２の期間で前記第１の照射パターンと同じ照射パターンである第３の照射パターンで前記光を投影し、
前記変換部は、前記第３の照射パターンに対応する画素信号に対して前記第２のビット数の変換を行って第３のデジタル信号を出力し、
前記算出部は、前記第３のデジタル信号に基づき、前記距離の信頼度を設定する、
（６）〜（８）のいずれか１つに記載の測距装置。
（１０）
前記算出部は、複数の前記第１のデジタル信号の差分を算出し、該差分に基づいて前記距離の信頼度を設定する、（６）〜（９）のいずれか１つに記載の測距装置。
（１１）
前記受光部は、
所定の色の検出に用いるカラー画素と、赤外光の検出に用いるＩＲ画素と、を含み、
前記変換部は、
前記カラー画素が出力するカラー画素信号及び前記第１の期間に前記ＩＲ画素が出力する第１のＩＲ画素信号を前記第１のビット数で変換し、前記第２の期間に前記ＩＲ画素が出力する第２のＩＲ画素信号を前記第２のビット数で変換する、
（１）〜（１０）のいずれか１つに記載の測距装置。
（１２）
前記変換部は、前記カラー画素信号の変換と、前記第１のＩＲ画素信号及び前記第２のＩＲ画素信号の変換とを異なる時間に行う、（１１）に記載の測距装置。
（１３）
前記変換部は、前記第１の期間及び前記第２の期間を含む第４の期間に、前記カラー画素信号の変換行う、（１１）に記載の測距装置。
（１４）
前記受光部は、前記光を受光して前記画素信号をそれぞれ出力する第１の画素及び第２の画素を含み、
前記第１の画素が出力する前記画素信号を前記変換部が前記第１のビット数で変換する前記第１の期間と、前記第２の画素が出力する前記画素信号を前記変換部が前記第１のビット数で変換する前記第１の期間とが異なる、
（１）〜（１３）のいずれか１つに記載の測距装置。
（１５）
前記変換部は、前記第１の画素が出力する前記画素信号を前記第１のビット数で変換した前記第１のデジタル信号に応じたしきい値で、前記第２の画素が出力する前記画素信号を前記二分探索して前記第２のデジタル信号を出力する、（１４）に記載の測距装置。
（１６）
前記受光部は、前記光源部による前記投影と同期して前記光を受光する、（１）〜（１５）のいずれか１つに記載の測距装置。
（１７）
光を受光して画素信号を出力することと、
第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影することと、
前記画素信号に対して二分探索によりビット単位で逐次に変換を行い、前記第１の期間に第１のビット数の変換を行って第１のデジタル信号を出力し、前記第２の期間に前記第１のビット数より少ない第２のビット数で変換を行って第２のデジタル信号を出力することと、
前記第１のデジタル信号と、前記第２のデジタル信号と、に基づき距離を算出することと、
を含む測距方法。

１ 測距装置
１００ 撮像装置
２００ プロジェクタ
３００ 全体制御部
４００ 記憶部
１４０ 制御部
１１１ 画素（撮像素子）
１１０ 画素アレイ部
１３４Ａ カラムＡＤＣ
３１０ タイミング制御部
３２０ 投影画像生成部
３３０ データ取得部
３４０ 信号処理部

Claims (17)

1. 光を受光して画素信号を出力する受光部と、
   第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影する光源部と、
   前記画素信号に対して二分探索によりビット単位で逐次に変換を行い、前記第１の期間に第１のビット数の変換を行って第１のデジタル信号を出力し、前記第２の期間に前記第１のビット数より少ない第２のビット数で変換を行って第２のデジタル信号を出力する変換部と、
   前記第１のデジタル信号と、前記第２のデジタル信号と、に基づき距離を算出する算出部と、
   を備える測距装置。
2. 前記第２のビット数は１ビットである、請求項１に記載の測距装置。
3. 前記第１のビット数は、前記変換部で変換可能な最大ビット数である、請求項１に記載の測距装置。
4. 前記変換部は、前記第２の期間に、前記第１のデジタル信号に応じたしきい値で前記二分探索を行って前記第２のデジタル信号を出力する、請求項１に記載の測距装置。
5. 前記光源部は、前記第２の期間に、照射パターンが互いに異なる複数の前記第２の照射パターンで前記光を投影し、
   前記変換部は、前記第２の期間に、複数の前記第２の照射パターンにそれぞれ対応する前記画素信号を前記しきい値で前記二分探索を行って、複数の前記第２のデジタル信号を出力する、請求項４に記載の測距装置。
6. 前記算出部は、複数の前記第２のデジタル信号を統合して前記距離を算出する、請求項５に記載の測距装置。
7. 前記算出部は、前記第１のデジタル信号の値が前記受光部の飽和領域の値に近いほど算出した前記距離の信頼度を低く設定する、請求項６に記載の測距装置。
8. 前記算出部は、複数の前記第２のデジタル信号の値が同じ値であった場合、該値が異なる場合と比べて前記距離の信頼度を低く設定する、請求項６に記載の測距装置。
9. 前記光源部は、前記第２の期間で前記第１の照射パターンと同じ照射パターンである第３の照射パターンで前記光を投影し、
   前記変換部は、前記第３の照射パターンに対応する画素信号に対して前記第２のビット数の変換を行って第３のデジタル信号を出力し、
   前記算出部は、前記第３のデジタル信号に基づき、前記距離の信頼度を設定する、
   請求項６に記載の測距装置。
10. 前記算出部は、複数の前記第１のデジタル信号の差分を算出し、該差分に基づいて前記距離の信頼度を設定する、請求項６に記載の測距装置。
11. 前記受光部は、
    所定の色の検出に用いるカラー画素と、赤外光の検出に用いるＩＲ画素と、を含み、
    前記変換部は、
    前記カラー画素が出力するカラー画素信号及び前記第１の期間に前記ＩＲ画素が出力する第１のＩＲ画素信号を前記第１のビット数で変換し、前記第２の期間に前記ＩＲ画素が出力する第２のＩＲ画素信号を前記第２のビット数で変換する、
    請求項１に記載の測距装置。
12. 前記変換部は、前記カラー画素信号の変換と、前記第１のＩＲ画素信号及び前記第２のＩＲ画素信号の変換とを異なる時間に行う、請求項１１に記載の測距装置。
13. 前記変換部は、前記第１の期間及び前記第２の期間を含む第４の期間に、前記カラー画素信号の変換行う、請求項１１に記載の測距装置。
14. 前記受光部は、前記光を受光して前記画素信号をそれぞれ出力する第１の画素及び第２の画素を含み、
    前記第１の画素が出力する前記画素信号を前記変換部が前記第１のビット数で変換する前記第１の期間と、前記第２の画素が出力する前記画素信号を前記変換部が前記第１のビット数で変換する前記第１の期間とが異なる、
    請求項１に記載の測距装置。
15. 前記変換部は、前記第１の画素が出力する前記画素信号を前記第１のビット数で変換した前記第１のデジタル信号に応じたしきい値で、前記第２の画素が出力する前記画素信号を前記二分探索して前記第２のデジタル信号を出力する、請求項１４に記載の測距装置。
16. 前記受光部は、前記光源部による前記投影と同期して前記光を受光する、請求項１に記載の測距装置。
17. 光を受光して画素信号を出力することと、
    第１の期間に第１の照射パターンで光を投影し、第２の期間に第２の照射パターンで光を投影することと、
    前記画素信号に対して二分探索によりビット単位で逐次に変換を行い、前記第１の期間に第１のビット数の変換を行って第１のデジタル信号を出力し、前記第２の期間に前記第１のビット数より少ない第２のビット数で変換を行って第２のデジタル信号を出力することと、
    前記第１のデジタル信号と、前記第２のデジタル信号と、に基づき距離を算出することと、
    を含む測距方法。

Images