JP2013137324A

JP2013137324A - 画像取得装置及び方法

Info

Publication number: JP2013137324A
Application number: JP2013045398A
Authority: JP
Inventors: Toshiki Kanemichi; 敏樹金道; Mineki Soga; 峰樹曽我
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2013-03-07
Filing date: 2013-03-07
Publication date: 2013-07-11

Abstract

【課題】対象物との距離に依存しない対象物の画像を取得することが可能な画像取得装置及び方法を提供する。
【解決手段】投光部２０は、投光期間に対象物Ｏへパルス光を繰り返し照射し、投光休止期間に対象物Ｏへのパルス光の照射を休止して、各アバランシェフォトダイオード３３２の周辺回路３３３ａは、投光休止期間に対象物Ｏから受光した光の強度を求め、投光部２０がパルス光を照射した時刻と反射パルス光を受光した時刻との時間差に基づいて対象物Ｏまでの距離を算出するための読み出し回路に接続されている。これにより、各アバランシェフォトダイオード３３２は、投光休止期間において受光する光の強度に投光部２０が照射したパルス光の反射光Ｌ２の成分が含まれないことになり、対象物Ｏとの距離に依存しない対象物Ｏの画像を取得することが可能となる。
【選択図】図３

Description

本発明は、画像取得装置及び方法に関し、特には、対象物へパルス光を繰り返し照射し、対象物からの光を受光することにより対象物の画像を取得する画像取得装置及び方法に関する。

従来、対象物へパルス光を繰り返し照射し、対象物からの光を受光することにより対象物の画像を取得する装置が提案されている。例えば、特許文献１には、ＳＰＡＤ（Single Photon Avalanche Diode）のアレイで構成され、パルス光で照明された対象物の画像を取得する集積回路であって、対象物の画像を取得するために対象物で反射されたパルス光の強度を求める２Ｄ読み出し回路に接続された第１のＳＰＡＤ群と、対象物までの距離を測定するために対象物に照射したパルス光が対象物上で反射して戻ってくるまでの時間（ＴＯＦ：time of flight）を求める３Ｄ読み出し回路に接続された第２のＳＰＡＤ群とを備えた集積回路が開示されている。

米国特許第７２６２４０２号明細書

しかしながら、上記のような技術では、近くの対象物の画像は強度が大きく、遠くの対象物の画像は強度が小さくなる問題がある。すなわち、照射するパルス光のパワー密度は距離の二乗に反比例して減衰する。上記特許文献１の技術では、対象物で反射されたパルス光によって対象物の画像を取得するため、対象物の画像の強度は対象物との距離に依存する問題がある。

本発明は、このような実情に鑑みなされたものであり、その目的は、対象物との距離に依存しない対象物の画像を取得することが可能な画像取得装置及び方法を提供することにある。

本発明は、投光期間に対象物へパルス光を繰り返し照射し、投光休止期間に対象物へのパルス光の照射を休止する投光手段と、対象物からの光を受光する受光手段と、を備え、受光手段は、投光休止期間に対象物から受光した光の強度を求めるための２Ｄ読み出し回路に接続された第１の受光素子群と、投光期間に対象物から投光手段が照射したパルス光の反射パルス光を繰り返し受光して、投光手段がパルス光を照射した時刻と反射パルス光を受光した時刻との時間差に基づいて対象物までの距離を算出するための３Ｄ読み出し回路に接続された第２の受光素子群と、を有する画像取得装置である。

この構成によれば、投光手段は、投光期間に対象物へパルス光を繰り返し照射し、投光休止期間に対象物へのパルス光の照射を休止して、受光手段は、投光休止期間に対象物から受光した光の強度を求めるための２Ｄ読み出し回路に接続された第１の受光素子群と、投光手段がパルス光を照射した時刻と反射パルス光を受光した時刻との時間差に基づいて対象物までの距離を算出するための３Ｄ読み出し回路に接続された第２の受光素子群とを備えるため、２Ｄ読み出し回路に接続された第１の受光素子群は、投光休止期間において受光する光の強度に投光手段が照射したパルス光の反射光の成分が含まれないことになり、対象物との距離に依存しない対象物の画像を取得することが可能となる。

この場合、第１の受光素子群は、投光休止期間と投光期間との両方を含む期間において受光した光の強度を求めるための２Ｄ読み出し回路に接続されていることが好適である。

この構成によれば、２Ｄ読み出し回路に接続された第１の受光素子群は、投光期間を含む期間に受光した光の強度を求めるため、対象物の明るさが不足する状況においても感度が不足することがなく、対象物の画像を取得することが可能となる。

また、第１の受光素子群は、投光休止期間の全期間中において対象物から受光した光の強度を求めるための２Ｄ読み出し回路に接続されていることが好適である。

この構成によれば、第１の受光素子群は、投光休止期間の全期間中において対象物から受光した光の強度を求めるための２Ｄ読み出し回路に接続されているため、受光強度を求める２Ｄ読み出し回路と、距離を求める３Ｄ読み出し回路とで、使用する測定データの区分がし易くなり、ヒストグラム等の測定データを共用し易くなる。

また、本発明は、対象物へパルス光を繰り返し照射する投光手段と、対象物から投光手段が照射したパルス光の反射パルス光を繰り返し受光する受光手段と、投光手段がパルス光を照射した時刻と受光手段が反射パルス光を受光した時刻との時間差に基づいて対象物までの距離を算出する距離算出手段と、受光手段が受光するパルス光の強度を、距離算出手段が算出した対象物までの距離に応じて変換する変換手段と、を備えた画像取得装置である。

この構成によれば、距離算出手段は、投光手段がパルス光を照射した時刻と受光手段が反射パルス光を受光した時刻との時間差に基づいて対象物までの距離を算出し、変換手段は、受光手段が受光するパルス光の強度を、距離算出手段が算出した対象物までの距離に応じて変換するため、受光手段が受光するパルス光の強度は対象物までの距離に応じて補正されることになり、対象物との距離に依存しない対象物の画像を取得することが可能となる。

この場合、変換手段は、距離算出手段が算出した対象物までの距離が大きいほど、受光手段が受光するパルス光の強度を強める補正量が大きくなるように変換することが好適である。

この構成によれば、変換手段は、距離算出手段が算出した対象物までの距離が大きいほど、受光手段が受光するパルス光の強度を強める補正量が大きくなるように変換するため、対象物との距離が遠くとも、変換手段による補正により強い強度のパルス光として受光することができ、対象物との距離に依存しない対象物の画像を取得することが一層容易となる。

一方、本発明は、対象物へパルス光を繰り返し照射する投光手段と、対象物からの光を受光する受光手段と、投光手段がパルス光を照射した時刻であるパルス光投光時間と、投光手段がパルス光を照射した時刻であるパルス光投光時間と、受光手段が対象物から投光手段が照射したパルス光の反射パルス光を受光した時刻であるパルス光受光時間との時間差を繰り返し計測して、時間差のヒストグラムを作成するヒストグラム作成手段と、ヒストグラム作成手段が作成したヒストグラムの極大値に基づいて対象物までの距離を算出する距離算出手段と、ヒストグラム作成手段が作成したヒストグラムの総和から、ヒストグラムの極大値を減算した値に基づいて濃度を算出する濃度算出手段と、を備えた画像取得装置である。

この構成によれば、ヒストグラム作成手段は、投光手段がパルス光を照射した時刻であるパルス光投光時間と受光手段が反射パルス光を受光した時刻であるパルス光受光時間との時間差を繰り返し計測して時間差のヒストグラムを作成し、距離算出手段は、ヒストグラム作成手段が作成したヒストグラムが極大値を示す時間に基づいて対象物までの距離を算出して、濃度算出手段は、ヒストグラム作成手段が作成したヒストグラムの総和からヒストグラムの極大値を減算した値に基づいて濃度を算出する、受光手段が受光する反射パルス光の強度となるヒストグラムの総和を、投光手段からの反射光の成分と背景光の成分とに分離することができる。

反射光の成分はヒストグラム上で極大値（ピーク）を形成するため、ヒストグラムの総和から極大値（あるいは極大値近傍）の値を減算することにより背景光の成分を特定することができる。反射光の成分は距離の二乗に反比例して減衰するが、背景光の成分は距離に依存しない。濃度算出手段は、この背景光の成分を濃度値として出力することにより、距離に依存しない対象物の画像を取得することが可能となる。また、この構成によれば、距離の測定と濃度の測定とを同時に行なうため、測定時間を短縮することができる。

濃度算出手段は、ヒストグラム作成手段が作成したヒストグラムの総和から、ヒストグラムの極大値を減算した値について、極大値を示すビンを補間した値に基づいて濃度を算出することが好適である。

この構成によれば、濃度算出手段は、ヒストグラム作成手段が作成したヒストグラムの総和から、ヒストグラムの極大値を減算した値について、極大値を示すビンを補間した値に基づいて濃度を算出するため、背景光の成分が反射光の成分より大きい場合であっても、パルス光の時間幅が大きく極大値を示すビンの個数が多い場合であっても、反射光の成分を正確に除去して、背景光の成分を求めることができる。

一方、本発明は、投光期間に対象物へパルス光を繰り返し照射し、投光休止期間に対象物へのパルス光の照射を休止する工程と、対象物からの光を受光する工程と、を備え、投光休止期間に対象物から受光した光の強度を求める工程と、投光期間に対象物から照射したパルス光の反射パルス光を繰り返し受光して、パルス光を照射した時刻と反射パルス光を受光した時刻との時間差に基づいて対象物までの距離を算出する工程と、を有する画像取得方法である。

この場合、投光休止期間と投光期間との両方を含む期間において受光した光の強度を求めることが好適である。

また、投光休止期間の全期間中において対象物から受光した光の強度を求めることが好適である。

また、本発明は、対象物へパルス光を繰り返し照射する工程と、対象物から照射したパルス光の反射パルス光を繰り返し受光する工程と、パルス光を照射した時刻と反射パルス光を受光した時刻との時間差に基づいて対象物までの距離を算出する工程と、受光するパルス光の強度を、算出した対象物までの距離に応じて変換する工程と、を備えた画像取得方法である。

この場合、算出した対象物までの距離が大きいほど、受光するパルス光の強度を強める補正量が大きくなるように変換することが好適である。

さらに、本発明は、対象物へパルス光を繰り返し照射する工程と、対象物からの光を受光する工程と、パルス光を照射した時刻であるパルス光投光時間と、対象物から照射したパルス光の反射パルス光を受光した時刻であるパルス光受光時間との時間差を繰り返し計測して、時間差のヒストグラムを作成する工程と、作成したヒストグラムの極大値に基づいて対象物までの距離を算出する工程と、作成したヒストグラムの総和から、ヒストグラムの極大値を減算した値に基づいて濃度を算出する工程と、を備えた画像取得方法である。

この場合、作成したヒストグラムの総和から、ヒストグラムの極大値を減算した値について、極大値を示すビンを補間した値に基づいて濃度を算出することが好適である。

本発明の画像取得装置及び方法によれば、対象物との距離に依存しない対象物の画像を取得することが可能となる。

第１実施形態に係る３Dカメラの構成を示すブロック図である。第１実施形態に係る２次元受光素子アレイの構成を示す図である。第１実施形態における２次元受光素子アレイの各画素の回路の構成を示す図である。第１実施形態に係るヒストグラム処理によるＴＯＦ検出の原理を示す図である。第１実施形態におけるヒストグラムの例を示す図である。第１実施形態におけるヒストグラムの例を示す図である。（ａ）（ｂ）は、パルス発光タイミングと強度取得タイミングとを示すタイミングチャートである。第３実施形態に係る３Dカメラの構成を示すブロック図である。第３実施形態に係る２次元受光素子アレイの構成を示す図である。第３実施形態における２次元受光素子アレイの各画素の回路の構成を示す図である。第３実施形態におけるヒストグラムの例を示す図である。第３実施形態におけるヒストグラムの例を示す図である。

以下、本発明の実施の形態について添付図面を参照して説明する。まず、本発明に係る画像取得装置及び光学式測距装置の種別について説明する。レーザ光線により対象物との距離を測定するレーザレンジファインダ（レーザ測距装置）には、スキャン型と非スキャン型とがある。

スキャン型は、レーザビームをスキャンしつつ対象物に繰返し照射して、その反射光を一つの受光素子で受光する。スキャン型は、コリメートした光を照射するので、対象物上でのパワー密度は比較的大きくなり、光学的ＳＮ比を大きくすることができる。しかしながら、スキャン型は、距離の空間分布を高解像度で得るためには、高密度スキャンが必要となり、スキャン時間が増大する。そこで、スキャン型は、即時性が要求される自動車における用途では、スキャン時間を短縮するため、水平方向は高密度でスキャンして、鉛直方向は数ラインのみスキャンすることが一般的である。

一方、非スキャン型は、測定対象をカバーする広がりのある光を照射して、その反射光を２次元アレイ化した受光素子に結像させて受光する。非スキャン型では、一度の光照射で多点の距離を同時に測定することができるので、高解像度の空間分布を高速に得ることができるメリットがある。その反面、非スキャン型では、照射光等のノイズ成分の除去が重要となる。

図１は、実施形態に係る非スキャン型のレーザレンジファインダである３Dカメラ１０ａの構成を示すブロック図である。上述した非スキャン型レーザレンジファインダは３Ｄカメラとも呼ばれ、図１に示すように、対象物Ｏに照射光Ｌ１を照射する投光部２０ａと対象物Ｏからの反射光Ｌ２を受光する受光部３０ａとで構成される。

投光部２０ａは、クロック発生回路２１ａ、回路基板２２、駆動回路２３、複数のレーザダイオード２４からなるレーザダイオードアレイ、フレネルレンズ２５、及び拡散板２６を備えている。クロック発生回路２１ａは、投光部２０ａ及び受光部３０ａを動作させるためのクロック信号ＣＬＫ１，ＣＬＫ２，ＣＬＫ３を発生させる。各レーザダイオード２４は回路基板２２上に配列され、駆動回路２３及びフレネルレンズ２５を備えている。各レーザダイオード２４が発生させたレーザ光は拡散板２６で拡散され、対象物Ｏに照射される。

受光部３０ａは、干渉フィルタ３１、レンズ３２、及び２次元受光素子アレイ３３ａにより構成される。図２に示すように、２次元受光素子アレイ３３ａは、受光部３３１を有するアバランシェフォトダイオード３３２とその周辺回路３３３ａとを備えた各画素３３０ａが格子状に配置されたものである。図３に各画素３３０ａの回路構成の一例を示す。図３に示すように、周辺回路３３３ａは、抵抗３３４、バッファ３３５、ＴＤＣ（時間デジタル変換器）３３６、ヒストグラム回路３３７及び信号処理回路３３８ａで構成される。

投光部２０ａのクロック発生回路２１ａは、周期Ｔのクロック信号ＣＬＫ１と、周期ＭＴのクロック信号ＣＬＫ２と（Ｍは１以上の任意の自然数）、濃度値を取得するタイミングを示すクロック信号ＣＬＫ３を生成する。クロック信号ＣＬＫ１は投光部２０ａのレーザダイオード２４のパルス発光のタイミングを規定するクロック信号であり、クロック信号ＣＬＫ２はレーザダイオード２４がＭ回発光した後に、受光部３０ａの信号処理回路３３８ａが距離を算出するタイミングを規定するクロック信号である。投光部２０ａのレーザダイオードアレイにはクロック信号ＣＬＫ１が、受光部３０ａの２次元受光素子アレイ３３ａにはクロック信号ＣＬＫ１とクロック信号ＣＬＫ２とクロック信号ＣＬＫ３とが入力される。

レーザダイオードアレイに入力されたクロック信号ＣＬＫ１は各駆動回路２３に分配され、各レーザダイオード２４を同期して駆動するための電流信号を生成する。レーザダイオード２４は駆動回路２３で生成された電流信号により駆動され、クロック信号ＣＬＫ１に同期してパルス発光する。発光素子としてレーザダイオード２４を用いる利点は高速な応答性と単波長性のためであるが、レーザダイオード２４はＬＥＤ等の他の発光素子に置き換えることも可能である。レーザダイオード２４からの出力光はフレネルレンズ２５により平行光とされ、拡散板２６にて拡散されて対象物Ｏに向けて照射される。拡散板２６は、発光素子固有の配光特性を持ち、この配光特性により、ビームの広がり角度が決まる。各レーザダイオード２４からの出力光は拡散板２６にて拡散されて足し合わされ、１つの円錐状のビームが形成される。

このように本実施形態では、円錐状に広がるビームである照射光Ｌ１で測定したい対象物Ｏ全体を一度に照明して、反射光Ｌ２を受光部３０ａの２次元受光素子アレイ３３ａで同時に受光するため、距離データを高い空間的解像度で取得することが可能である。その反面、本実施形態では、照射光Ｌ１の照射範囲が広いために照射光Ｌ１のパワー密度は低下するので、光学的ＳＮ比は小さくなる。

拡散板２６を用いる他の利点は、アパーレント光源のサイズを大きくすることができることである。「アパーレント光源」は、ＪＩＳ（日本工業規格）のレーザ安全基準で定義された用語で、最も小さな網膜像を結ぶ実物体又は仮想物体であり、出力が一定であるなら、アパーレント光源のサイズが大きい方が目に対してより安全である。本実施形態では、拡散板２６で見かけの光源サイズを大きくすることにより、目の安全性をより確実なものにすることができる。

対象物Ｏ上で反射した反射光Ｌ２は、受光部３０ａの干渉フィルタ３１を透過してレンズ３２により２次元受光素子アレイ３３ａ上に結像される。結像された光は、２次元受光素子アレイ３３ａ上の各アバランシェフォトダイオード３３２で受光される。干渉フィルタ３１は、特定の狭い波長域の光のみを透過させるフィルタであり、レーザ光の中心波長と干渉フィルタ３１の中心波長とを等しくすることにより、太陽光等の外乱光の大部分を除去することができる。レーザ光の帯域幅は数ｎｍが一般的であるが、中心波長は温度により変動する。広い温度範囲での動作を保証するために、干渉フィルタ３１の帯域幅は数十〜百ｎｍ程度に設定される。このため、全ての外乱光を干渉フィルタ３１で除去することはできず、信号処理によるノイズ除去が必要となる。

アバランシェフォトダイオードは、フォトダイオードの一種で高電界の印加に関する機能を有するものである。アバランシェフォトダイオードには、逆バイアス電圧を降伏電圧以下で動作させるリニアモードと、降伏電圧以上で動作させるガイガーモードとがある。アバランシェフォトダイオードは、フォトンが入射すると電子正孔対が生成され、電子と正孔とが各々高電界で加速されて次々と雪崩のように新たな電子正孔対を生成することからアバランシェ（雪崩）と呼ばれる。

リニアモードでは、生成される電子正孔対の割合よりも消滅する（高電界域から出る）電子正孔対の割合が大きく、アバランシェ現象は自然に止まる。出力電流は入射光量にほぼ比例するため入射光量の測定に用いることができる。後述するガイガーモードによるフォトンカウントがデジタル的であるのに対し、リニアモードでの光量計測はアナログ的であるのでアナログ計測と呼ばれることもある。

ガイガーモードでは、単一フォトンの入射でもアバランシェ現象を起こすことができ、印加電圧を降伏電圧まで下げることによりアバランシェ現象を止めることができる。印加電圧を下げてアバランシェ現象を止めることは、クエンチングと呼ばれる。最も単純なクエンチング回路は、図３に示すようにアバランシェフォトダイオード３３２と直列に抵抗３３４を接続することで実現することができ、アバランシェ電流による抵抗３３４の端子間の電圧上昇によってバイアス電圧が降下してアバランシェ電流が止まる。このクエンチング回路により、周辺回路３３３ａは、フォトンの入射を電圧パルスとして取り出し計数することが可能となる。このため、ガイガーモードはフォトンカウントモードとも呼ばれる。

アナログ計測の受光素子の感度は一般に量子効率と暗電流とで表される。量子効率とは、入射フォトン１個あたりに生成される電子の個数の割合である。暗電流とは光が入射しない状態において、熱で励起された電子によって流れる電流であり熱ノイズの最も低いレベルである。ノイズレベル（暗電流）の出力を得るのに必要な最小入力は量子効率から算出することができる。暗電流を１００ｎＡ、量子効率を５０％とすると、電子１個の電荷が１．６×１０^−１９Ｃであることから、ノイズレベルの出力を得るのに必要な最小入力は、（１００〔ｎＡ〕／１．６×１０^−１９〔Ｃ〕）／０．５＝１．２５×１０^１２〔フォトン／秒〕となる。

一方、フォトンカウンタの感度は、検出効率と暗計数率とで表される。ガイガーモードでのアバランシェフォトダイオードでは、クエンチング回路でアバランシェ電流を止めない限り、次々と電子正孔対が生成され続けるため、量子効率は無限大となる。フォトンの入射に対するアバランシェ電流の発生は確率的現象であり、この確率は検出効率と呼ばれる。リニアモードにおける暗電流と同様に、ガイガーモードにおいても電子の熱運動によってアバランシェ電流が発生することがあり、この熱ノイズ量は時間当たりのアバランシェ発生数（暗計数率）で表される。

本実施形態では、ガイガーモードで動作するアバランシェフォトダイオード３３２を用いる。C.Niclass, A.Rochas, P.A.Besse, and E.Charbon, “Design and Characterization of a CMOS 3-D Image Sensor Based on Single Photon Avalanche Diodes”, IEEE Journal of Solid-State Circuits, vol.40,n.9,Sep.2005.にあるように、近年、ガイガーモードのアバランシェフォトダイオードを標準ＣＭＯＳプロセスで実現する技術が開発され、これにより低コストでアバランシェフォトダイオードを２次元アレイ化することが可能となった。

本実施形態では、各画素３３０ａが備えるＴＤＣ３３６、ヒストグラム回路３３７及び信号処理回路３３８ａは、全てＣＭＯＳプロセスで同一ＬＳＩ上に実装することができる。図３に示すように、このＬＳＩ上に実装された２次元受光素子アレイに入力されるクロック信号ＣＬＫ１，ＣＬＫ２，ＣＬＫ３の内で、クロック信号ＣＬＫ１は各画素３３０ａのＴＤＣ３３６へ分配され、クロック信号ＣＬＫ２，ＣＬＫ３は、各画素３３０ａの信号処理回路３３８ａへとそれぞれ分配される。

以下、図３を用いて、アバランシェフォトダイオードに光即ちフォトンが入射したときの各画素の動作を説明する。フォトンがアバランシェフォトダイオード３３２に入射するとアバランシェ電流が流れ、端子Ａの電圧が上昇する。その電圧上昇によりバッファ３３５を介してパルスＰＬＳが生成され、ＴＤＣ３３６へと入力される。ＴＤＣ３３６は、クロック信号ＣＬＫ１の入力時点からパルスＰＬＳの入力時点までの時間をデジタル値に変換してヒストグラム回路３３７に出力する。パルスＰＬＳが入力されないときは、ＴＤＣ３３６は所定の最大値を出力する。

ヒストグラム回路３３７は、クロック信号ＣＬＫ１のタイミングでＴＤＣ３３６の出力値に対応するアドレスのメモリ値を１インクリメントする。ヒストグラム回路３３７は、ＴＤＣ３３６の値が、パルスＰＬＳが入力されなかったことを表す値のときは、メモリ値のインクリメントはしない。このクロックＣＬＫ１の発生からヒストグラムメモリのインクリメントまでの一連の動作がＭ回繰り返された後に、クロックＣＬＫ２のタイミングで、信号処理回路３３８ａはヒストグラムメモリの値を読み出し、最大値が保存されたアドレスに対応する時間と光速とから距離を算出して出力する。各画素で算出された距離値は読み出し回路を介して２次元受光素子アレイ３３ａの外に逐次読み出される。

前述したように、干渉フィルタ３１により外乱光を全て除去することはできないため、アバランシェフォトダイオード３３２が受光する光は、投光部２０ａのレーザダイオード２４からの照射光Ｌ１と外乱光とが含まれる。以下、図４を用いて、外乱光が受光する光に含まれる場合であっても、正しくＴＯＦを検出することができることを説明する。

アバランシェフォトダイオード３３２から出力されるパルスＰＬＳには反射光Ｌ２のフォトンに反応したものと外乱光のフォトンに反応したものとが含まれる。計測中に対象物Ｏと３Ｄカメラ１０とが相対的に動かないと仮定すると照射光Ｌ１による反射光Ｌ２の受光タイミングは一定であるため、パルスＰＬＳの検出タイミングを繰返し多数回計測して最大頻度の計測値を選択することにより、反射光Ｌ２のＴＯＦを求めることができる。ヒストグラム回路３３７が、多数回（Ｍ回）のパルス発光に対して繰返しパルスＰＬＳの検出タイミングを計測してヒストグラムを作成すると、反射光Ｌ２に対応する計測はヒストグラムにピーク（極大値）を形成する。

一方、太陽光等の外乱光の受光タイミングは、照射光Ｌ１のパルス発光タイミングであるクロック信号ＣＬＫ１のタイミングとは無相関であるため、ヒストグラム上に一様に分布する。信号処理回路３３８ａによりヒストグラムのピーク位置を検出することにより、外乱光の影響を除去して正しいＴＯＦ即ち距離を検出することができる。図４のヒストグラムは光学的ＳＮ比が０．０１の場合の実測例であり、外乱光成分が大きい場合でも正しくピークを抽出することができることが判る。２次元受光素子アレイ３３ａでは、各画素３３０ａに対応する対象物Ｏまでの距離が異なるため、照射光Ｌ１に対応した反射光Ｌ２の受光タイミングは画素３３０ａごとに異なる。本実施形態では、画素３３０ａごとに独立にヒストグラムを作成してピークを抽出するため、画素３３０ａごとに異なる距離の分布を求めることができる。

本実施形態ではヒストグラムのピーク位置を検出する最も単純な例を示したが、ピーク位置の検出方法は様々な変形が可能である。例えば、ヒストグラムの各ビンの値を平滑化した後にそれらの最大値を求めることにより、ピーク位置を検出することができる。各ビン時間間隔が短いとき、各ビンの値の相対的変動量が大きくなるが、平滑化によりその変動に対してロバストにピーク位置を検出することができる。ピーク位置を求めた後、ピーク位置の近傍で重心位置を求めることにより、更に高精度にＴＯＦを求めることができる。このＴＯＦ検出は、ヒストグラム上でのＴＯＦ近傍にて受光頻度が高くなることに基づくものであり、ピーク形状を考慮したその他のヒストグラム処理方法によってもＴＯＦを検出することができる。

次に図５及び６のヒストグラムを用いて本実施形態における濃度値の出力について説明する。図５及び６のヒストグラムにおいて、破線の曲線グラフは真の受光時間の分布を示しており、実線の棒グラフは検出されるヒストグラムを示している。図５は投光部２０ａのパルス発光期間中に生成されるヒストグラムの例であり、図６は投光部２０ａのパルス発光休止期間中に生成されるヒストグラムの例である。

濃度値は、信号処理回路３３８ａがヒストグラムの総和即ち受光強度を算出することによって得られる。パルス発光期間中に生成されるヒストグラムには、パルス光の反射光Ｌ２の成分に相当するピークが形成される。広がりのある照射光Ｌ１の場合、反射光Ｌ２のパワー密度は距離の２乗に反比例するため、近くの対象物Ｏのピークは大きくなり、遠くの対象物Ｏのピークは小さくなる。したがって、ヒストグラムの総和即ち受光強度は距離に依存し、近くの対象物Ｏについての受光強度は大きくなり、遠くの対象物Ｏについての受光強度は小さくなるという課題がある。一方、パルス発光休止期間中に生成されるヒストグラムはパルス光の成分を含まないため、受光強度は距離に依存しない。

本実施形態では、図７のタイミングチャートに示すように、パルス発光休止期間中に濃度値を取得するため、図６に示すようなピークを形成しないヒストグラムが得られ、受光強度は距離に依存しない。

本実施形態では、休止期間はクロック信号ＣＬＫ３がハイレベルになった状態として設定される。図７（ａ）の例では、クロック信号ＣＬＫ２のタイミングであるＭ回のパルス発光後に所定の休止期間を設けている。図７（ｂ）の例では、パルス発光周期を２倍の２Ｔにし、各周期の後半時間Ｔを休止期間として設定している。図７（ａ）の例では、ＴＯＦ検出用のヒストグラムと濃度検出用のヒストグラムとを共用することができ、図７（ｂ）の例では、ＴＯＦ検出用のヒストグラムと濃度検出用のヒストグラムとを別個に用意する必要がある。図７（ａ）（ｂ）のいずれの例においても、クロック信号ＣＬＫ３がハイレベルの状態即ちパルス発光休止期間にヒストグラムが作成され、その総和を算出するので距離に依存しない濃度値を取得することができる。

なお、反射光Ｌ２の受光強度が所定の閾値以下であって低い場合は、クロック信号ＣＬＫ１のパルス発光期間とクロック信号ＣＬＫ３の強度検出期間とを一部重複させて、投光休止期間と投光期間との両方を含む期間において受光した光の強度を求めるようにしても良い。このようにすることで、対象物Ｏの明るさが不足する状況においても感度が不足することがなく、対象物Ｏの画像を取得することが可能となる。

また、２次元受光素子アレイ３３ａの各画素３３０ｂのアバランシェフォトダイオード３３２は、上記のようにすべての画素３３０ｂのアバランシェフォトダイオード３３２が距離の測定及び画像の取得の両方を行なう物としても良いし、上記第１特許文献のように、各画素３３０ｂのアバランシェフォトダイオード３３２ごとに、距離値の読み出しを行なう３Ｄ読み出し回路に接続されたものと、濃度値の読み出しを行なう２Ｄ読み出し回路に接続されたものとに区別されていても良い。

以下、本発明の第２実施形態について説明する。本実施形態の装置構成は上記第１実施形態と同様の装置構成を有するが、信号処理回路３３８ａは算出した距離値に基づいて、アバランシェフォトダイオード３３２の受光強度に補正を加え、算出した距離値が遠いほど受光強度を強める補正量が大きくなるように補正し、算出した距離値が近いほど受光強度を強める補正量が小さくなるように補正する。円錐状に広がるビームでは、距離の２乗に比例してパワー密度が低下する。信号処理回路３３８ａは、受光強度に距離の２乗を乗じることにより、補正する。

本実施形態によれば、信号処理回路３３８ａは、投光部２０がパルス光を照射した時刻とアバランシェフォトダイオード３３２が反射パルス光を受光した時刻との時間差に基づいて対象物Ｏまでの距離を算出し、アバランシェフォトダイオード３３２が受光するパルス光の強度を、算出した対象物Ｏまでの距離に応じて変換するため、アバランシェフォトダイオード３３２が受光するパルス光の強度は対象物Ｏにおける照射光のパワー密度に応じて補正されることになり、対象物Ｏとの距離に依存しない対象物の画像を取得することが可能となる。

以下、本発明の第３実施形態について説明する。図８は第３実施形態に係る３Dカメラ１０ｂの構成を示すブロック図であり、図９は２次元受光素子アレイ３３ｂの構成を示す図であり、図１０は２次元受光素子アレイ３３ｂの各画素３３０ｂの回路の構成を示す図である。

図８に示すように、本実施形態に係る３Ｄカメラ１０ｂは上記第１実施形態と同様の構成を有するが、投光部２０ｂのクロック発生回路２１ｂは、周期Ｔのクロック信号ＣＬＫ１と、周期ＭＴのクロック信号ＣＬＫ２とのみを生成する（Ｍは１以上の任意の自然数）。クロック信号ＣＬＫ１は投光部２０ｂのレーザダイオード２４のパルス発光のタイミングを規定するクロック信号であり、クロック信号ＣＬＫ２はレーザダイオード２４がＭ回発光した後に、受光部３０ｂの信号処理回路３３８ｂが距離を算出するタイミングを規定するクロック信号である。投光部２０ｂのレーザダイオードアレイにはクロック信号ＣＬＫ１が、受光部３０ｂの２次元受光素子アレイ３３ｂにはクロック信号ＣＬＫ１とクロック信号ＣＬＫ２とが入力される。

図７に示すように、上記第１実施形態と同様に、本実施形態の２次元受光素子アレイ３３ｂは、受光部３３１を有するアバランシェフォトダイオード３３２とその周辺回路３３３ｂとを備えた各画素３３０ｂが格子状に配置されたものである。図８に示すように、ＬＳＩ上に実装された２次元受光素子アレイに入力されるクロック信号ＣＬＫ１，ＣＬＫ２の内で、クロック信号ＣＬＫ１は各画素３３０ｂのＴＤＣ３３６へ分配され、クロック信号ＣＬＫ２は、各画素３３０ｂの信号処理回路３３８ｂへとそれぞれ分配される。

次に図１１及び１２のヒストグラムを用いて本実施形態における濃度値の出力について説明する。図１１及び１２のヒストグラムにおいて、破線の曲線グラフは真の受光時間の分布を示しており、実線の棒グラフは検出されるヒストグラムを示している。本実施形態では、信号処理回路３３８ｂが、ヒストグラムの総和として得られる受光強度を対象物Ｏで反射したパルス光Ｐの成分と背景光Ｂの成分とに分離し、背景光Ｂの成分を濃度値として出力する。図１１と図１２とは受光強度を２つの成分に分離する２通りの方法をそれぞれ示している。いずれの方法においても、信号処理回路３３８ｂは、濃度値算出前にＴＯＦ検出を行ない、ＴＯＦ検出時に極大値のビン番号ｉが得られている。

図１１の方法では、信号処理回路３３８ｂは、ｉ番目のビンの近傍、例えば±１〜５番目のビンを除いた図中に斜線で示すビンの値の総和を求めることにより、背景光Ｂの成分を抽出する。図１２の方法では、信号処理回路３３８ｂは、ｉ番目のビンの近傍、例えば±１〜５番目のビンを除き、さらに除いたビンの値を補間して図中に斜線で示すビンの値の総和を求めることにより、背景光Ｂの成分を抽出する。図１２の方法では、除いたビンの値を補間することにより、背景光の成分が反射光の成分よりも大きい場合であっても、パルス光Ｐの時間幅が大きい場合であっても、より正確に背景光Ｂの成分を求めることができる。

本実施形態では、パルス光Ｐの成分を含まない背景光Ｂの成分のみを求めるため、距離に依存しない濃度値が得られる。さらに、ＴＯＦ検出と濃度値検出とを同一ヒストグラムで行なうため、測定時間を短縮することができる。逆に、距離に応じた濃度値を得たい用途において、背景光成分を除去して、反射光成分のみを得ることもできる。本実施形態では、ヒストグラムのピークが１つである例を示したが、２つ以上のピークが存在する場合にも、上記と同様に、ピークの近傍のビンを除外し、必要な場合は除いたビンの値を補間して、ヒストグラムの総和を求めることで濃度値が得られる。２つ以上のピークが存在する例として、測定中に物体が動く場合、多重反射により複数の物体の反射光が同一画素で受光される場合が考えられる。

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０ａ，１０ｂ…３Ｄカメラ、２０ａ，２０ｂ…投光部、２１ａ，２１ｂ…クロック発生回路、２２…回路基板、２３…駆動回路、２４…レーザダイオード、２５…フレネルレンズ、２６…拡散板、３０ａ，３０ｂ…受光部、３１…干渉フィルタ、３２…レンズ、３３ａ，３３ｂ…２次元受光素子アレイ、３３０ａ，３３０ｂ…画素、３３１…受光部、３３２…アバランシェフォトダイオード、３３３ａ，３３３ｂ…周辺回路、３３４…抵抗、３３５…バッファ、３３６…ＴＤＣ、３３７…ヒストグラム回路、３３８ａ，３３８ｂ…信号処理回路。

Claims

対象物へパルス光を繰り返し照射する投光手段と、
前記対象物から前記投光手段が照射した前記パルス光の反射パルス光を繰り返し受光する受光手段と、
前記投光手段が前記パルス光を照射した時刻と前記受光手段が前記反射パルス光を受光した時刻との時間差に基づいて前記対象物までの距離を算出する距離算出手段と、
前記受光手段が受光する前記パルス光の強度を、前記距離算出手段が算出した前記対象物までの距離に応じて変換する変換手段と、
を備えた画像取得装置。
前記変換手段は、前記距離算出手段が算出した前記対象物までの距離が大きいほど、前記受光手段が受光する前記パルス光の強度を強める補正量が大きくなるように変換する、請求項１に記載の画像取得装置。
対象物へパルス光を繰り返し照射する投光手段と、
前記対象物からの光を受光する受光手段と、
前記投光手段が前記パルス光を照射した時刻であるパルス光投光時間と、前記受光手段が前記対象物から前記投光手段が照射した前記パルス光の反射パルス光を受光した時刻であるパルス光受光時間との時間差を繰り返し計測して、前記時間差のヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段が作成した前記ヒストグラムの極大値に基づいて前記対象物までの距離を算出する距離算出手段と、
前記ヒストグラム作成手段が作成した前記ヒストグラムの総和から、前記ヒストグラムの極大値を減算した値に基づいて濃度を算出する濃度算出手段と、
を備えた画像取得装置。
前記濃度算出手段は、前記ヒストグラム作成手段が作成した前記ヒストグラムの総和から、前記ヒストグラムの極大値を減算した値について、前記極大値を示すビンを補間した値に基づいて濃度を算出する、請求項３に記載の画像取得装置。
対象物へパルス光を繰り返し照射する工程と、
前記対象物から照射した前記パルス光の反射パルス光を繰り返し受光する工程と、
前記パルス光を照射した時刻と前記反射パルス光を受光した時刻との時間差に基づいて前記対象物までの距離を算出する工程と、
受光する前記パルス光の強度を、算出した前記対象物までの距離に応じて変換する工程と、
を備えた画像取得方法。
算出した前記対象物までの距離が大きいほど、受光する前記パルス光の強度を強める補正量が大きくなるように変換する、請求項５に記載の画像取得方法。
対象物へパルス光を繰り返し照射する工程と、
前記対象物からの光を受光する工程と、
前記パルス光を照射した時刻であるパルス光投光時間と、前記対象物から照射した前記パルス光の反射パルス光を受光した時刻であるパルス光受光時間との時間差を繰り返し計測して、前記時間差のヒストグラムを作成する工程と、
作成した前記ヒストグラムの極大値に基づいて前記対象物までの距離を算出する工程と、
作成した前記ヒストグラムの総和から、前記ヒストグラムの極大値を減算した値に基づいて濃度を算出する工程と、
を備えた画像取得方法。
作成した前記ヒストグラムの総和から、前記ヒストグラムの極大値を減算した値について、前記極大値を示すビンを補間した値に基づいて濃度を算出する、請求項７に記載の画像取得方法。