JP2010190675A - 距離画像センサシステムおよび距離画像生成方法 - Google Patents

Abstract

【課題】簡易な構成でかつ正確に距離画像を生成する距離画像センサシステムおよび距離画像生成方法を提供する。
【解決手段】被写体までの距離を画素ごとに測定した距離画像を生成する距離画像センサシステムである。距離画像センサシステムは、複数の光源、発光制御手段、距離画像生成手段、および距離画像選択手段を備える。複数の光源は、それぞれ離間して配置されて発光する。発光制御手段は、複数の光源を順に切換えて発光させる。距離画像生成手段は、複数の光源それぞれの発光に対応して画像の撮像を行い、各画素が撮像された被写体までの距離に応じた画素値を有する距離画像を、複数の光源それぞれに対応して複数生成する。距離画像選択手段は、距離画像センサシステム複数の距離画像のうち、画像の撮像において受光量が最も多い画像を用いて生成された距離画像を選択する。
【選択図】図５

Description

本発明は、距離画像を生成する距離画像センサシステムおよび距離画像生成方法に関する。

従来、アレイ状に配置された受光素子に到来した光の到来時間差を検出することにより、２次元画像のみならず、奥行き方向の情報を取得できるＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ、飛行時間）方式３次元距離測定カメラ（たとえば、スイスＭＥＳＡ社製「ＳＲ４０００」など）が実用化されている。

また、特許文献１には、アレイ状に配置した２つの光源を異なる２方向から照射する光源アレイ、光源アレイを制御して少なくとも２種類の光パタンを形成する光源制御部、反射光を撮像するカメラ、およびカメラにより撮像された画像に基づいて距離画像を生成する画像処理部などを備えるレンジファインダ装置が開示されている。この装置は、各画素の距離値として、輝度値の平均値が大きいほうの画像に対応する距離を採用し、採用した距離値を集めて合成して１枚の距離画像を生成する旨の記載がある。特許文献１によれば、この装置は、陰になって光パタンが適切に投射されずに距離を精度よく測定できない領域を大幅に減少させることができるとしている。

特開２００４−２８８７４号公報

しかしながら、従来の３次元距離測定カメラは、十分な強度の光を測定できない場合には、距離測定の精度が落ちる虞があった。また、上記特許文献１に開示されているレンジファインダ装置では、複数のＬＥＤについて複雑な光パタンを採用して平均化する処理を行っているので、処理が複雑で負担がかかる問題があった。

それ故に、本発明の目的は、簡易な構成でかつ正確に距離画像を生成する距離画像センサシステムおよび距離画像生成方法を提供することである。

上記のような目的を達成するために、本発明は、以下に示すような特徴を有している。
第１の発明は、被写体までの距離を画素ごとに測定した距離画像を生成する距離画像センサシステムである。距離画像センサシステムは、複数の光源、発光制御手段、距離画像生成手段、および距離画像選択手段を備える。複数の光源は、それぞれ離間して配置されて発光する。発光制御手段は、複数の光源を順に切換えて発光させる。距離画像生成手段は、複数の光源それぞれの発光に対応して画像の撮像を行い、各画素が撮像された被写体までの距離に応じた画素値を有する距離画像を、複数の光源それぞれに対応して複数生成する。距離画像選択手段は、距離画像センサシステム複数の距離画像のうち、画像の撮像において受光量が最も多い画像を用いて生成された距離画像を選択する。

第２の発明は、上記第１の発明において、距離画像合成手段を、さらに備える。距離画像生成手段は、撮像した画像の画素全体を複数のエリアに区分し、複数の光源それぞれに対応して当該エリア毎に距離画像をそれぞれ生成する。距離画像選択手段は、エリア毎の複数の距離画像のうち、複数のエリアのうちから選ばれたエリアにおける画像の撮像において受光量が最も多い画像に対応する距離画像をエリア毎に選択する。距離画像合成手段を、さらに備える距離画像センサシステムは、距離画像選択手段が複数のエリアのそれぞれについて選択した距離画像を合成することによって、新たな距離画像を生成する。

第３の発明は、上記第１または第２の発明において、複数の光源は、それぞれ水平方向に離間して配置される。

第４の発明は、上記第１または第２の発明において、距離画像生成手段は、複数の光源がそれぞれ光を発してから当該光の反射光が到着するまでの時間を用いて、複数の光源それぞれに対応して各画素が撮像された被写体までの距離を算出する。

第５の発明は、上記第４の発明において、複数の光源は、発光制御手段の制御に応じて、それぞれ矩形パルス状の光を発する。距離画像生成手段は、受光した光の強度を電荷量に変換する受光素子を備える。距離画像生成手段は、光源の発光終了タイミング前に受光した光により生じた電荷量と、当該光源の発光終了タイミング後に受光した光により生じた電荷量に基づいて、当該光源に対応した被写体までの距離を算出する。

第６の発明は、被写体までの距離を画素ごとに測定した距離画像を生成する距離画像生成方法である。距離画像生成方法は、発光制御ステップ、距離画像生成ステップ、および距離画像選択ステップを含む。発光制御ステップは、それぞれ離間して配置されて発光する複数の光源を順に切換えて発光させる。距離画像生成ステップは、複数の光源それぞれの発光に対応して画像の撮像を行い、各画素が撮像された被写体までの距離に応じた画素値を有する距離画像を、複数の光源それぞれに対応して複数生成する。距離画像選択ステップは、複数の距離画像のうち、画像の撮像において受光量が最も多い画像を用いて生成された距離画像を選択する。

上記第１の発明によれば、複数の光源から出力された光の反射光の強度の高い距離画像を選択することにより、距離の精度を向上させることができる。例えば、複数の光源のうち、１つの光源に基づく障害物による反射の状況が悪くても、他の適切な光源に基づく距離画像を選択できるので、簡易な構成で距離画像の精度を高めることができる。

上記第２の発明によれば、複数の光源を順に切換えて発光させ、各発光に応じてそれぞれ撮像する。そして、区分された複数のエリアから選ばれたのエリアにおいて、入射した光の強度が最も強い画像に対応する距離画像をエリア毎に選択して、エリア毎に選択された距離画像を合成している。これによれば、例えば、被写体が曲面であって上記エリアごとに障害物における光の反射状況が異なっても、エリア毎に適切な距離画像を生成することができ、簡易な構成で距離画像の精度を高めることができる。

上記第３の発明によれば、複数の光源がそれぞれ被写体に光を入射する入射角が、水平方向に対して異なるため、鉛直方向に起立した面を有する被写体（例えば、車両）に対してある光源からの光の入射角が小さい場合であっても、相対的に当該入射角が大きな光源を用いて距離画像を取得でき、簡易な構成で距離画像の精度を高めることができる。

上記第４の発明によれば、複数の光源が被写体に対して異なる角度で光を発し、当該光を発してから反射光が到来するまでの時間を用いて当該被写体までの距離が算出される。つまり、被写体に対してそれぞれ異なる角度で発せられた光を用いて被写体までの距離が算出されるため、表面での乱反射が少ない被写体に対しても距離が算出不可能な状況を減少させることができる。

上記第５の発明によれば、光源の発光終了タイミング（矩形パルスの立下り）の前後の電荷量を測定することにより、高速なカウンタを設けなくても被写体までの距離を算出することができる。

本発明の距離画像生成方法によれば、上述した距離画像センサシステムと同様の効果を得ることができる。

本発明の一実施形態に係る距離画像センサシステムの構成図 図１のカメラ３を構成する主要部の一例を表すブロック図 図１の距離画像センサシステムの動作のタイミングの一例を示すタイミングチャート 図１のカメラ３が出力する基礎画像の画素３００の一例を表す概念図 本発明の実施例１に係る距離画像センサシステム１０の動作を示すフローチャート 本発明の実施例２に係る距離画像センサシステム１０の動作を示すフローチャート

以下、本発明の一実施形態に係る距離画像生成システムについて図面を参照しながら説明を行う。

（距離画像センサシステムの構成の概要）
図１は、本発明の一実施形態に係る距離画像センサシステム１０の一例を示す構成図である。距離画像センサシステム１０は、例えば車両１００などの移動体に搭載される。距離画像センサシステム１０は、第１光源１、第２光源２、カメラ３、および制御ユニット４を備える。

第１光源１および第２光源２は、水平方向に離間して、ほぼ同一方向（例えば、車両１００の前方）に向けて車両１００に設けられる。そして、第１光源１および第２光源２は、それぞれパルス状の強度変調光を上記方向へ発する。第１光源１および第２光源２がそれぞれ発する光の波長帯域は、可視光のみならず、赤外光、紫外光、電磁波など、カメラ３で検出可能であればどのようなものでもよい。

カメラ３は、受光素子（たとえばＣＭＯＳセンサ）を備え、車両１００の前方の２次元画像を撮像する。そして、カメラ３は、撮像時に、第１光源１または第２光源２から発せられた光が障害物９９で反射してカメラ３に届くまでのＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）に基づいた障害物９９までの距離を、受光素子の画素を形成する各セルについて、それぞれ計算する。これにより、カメラ３は、各画素と測定した距離とを対応させた距離画像を生成する（詳細は後述する）。なお、カメラ３が撮像する２次元画像は、距離画像の生成の基礎となるため、本実施形態では、これを「基礎画像」と称する。

制御ユニット４は、第１光源１および第２光源２がそれぞれ強度変調光を発する駆動信号を出力する。制御ユニット４は、第１光源１および第２光源２が交互に強度変調光を発することによって、第１光源１および第２光源２から出力されるパルス状の強度変調光が同時に発されることがないように、上記駆動信号の出力タイミングを調整する。また、制御ユニット４は、カメラ３の露光時間を制御する。制御ユニット４は、例えば、ＣＰＵおよびメモリなどを備える計算装置であり、画像処理部４１を含むシステムＩＣで構成される。

画像処理部４１は、カメラ３が第１光源１および第２光源２の発光に対応して各々生成した２枚１組の距離画像のうち、当該距離画像を生成した基礎画像の撮像時に受光素子（後述の図３に示す受光素子３０）で観測された反射光の強度（以下、適宜、単に「反射光の強度」と称する。）の強い方を選択する（後述の図６に示すフローチャート参照）。別の実施例では、画像処理部４１は、所定エリアごとに基礎画像を分割し、分割したエリア毎に基礎画像の輝度の高い方の距離画像を選択して、各エリアについて選択した距離画像の部分を合成してもよい（後述の図５に示すフローチャート参照）。

（カメラの構成の詳細）
次に、図２を用いて、カメラ３の構成の一例を説明する。なお、図２は、カメラ３を構成する主要部の一例を表すブロック図である。

図２において、カメラ３は、受光素子３０、Ａ／Ｄコンバータ３６、および計算部３７を備えている。そして、受光素子３０は、画素に対応して格子状に並んだセル３１（受光回路）を備える。図２中の吹き出しに示すように、セル３１の各々は、分光器３２と、シャッター３３１および３３２と、フィルタ３４１および３４２と、感光部３５１および３５２とを備える。

分光器３２は、セル３１に入射した光を複数の光に分光して、感光部３５１および３５２にそれぞれ分光した光を導く。分光器３２と感光部３５１との間には、シャッター３３１およびフィルタ３４１が配置されている。また、分光器３２と感光部３５２との間には、シャッター３３２およびフィルタ３４２が配置されている。シャッター３３１および３３２は、それぞれ感光部３５２への光の入射を独立に制御する電子的なシャッターである。フィルタ３４１および３４２は、受光した光の周波数帯域を制限する。フィルタ３４１および３４２がそれぞれ透過させる周波数帯域によって、カメラ３は、複数周波数帯域の光の状態（例えば、各３原色の強度）を取得することができる。ただし、後述する距離画像を生成する上で、フィルタ３４１および３４２は、必須の構成ではない。

感光部３５１および３５２は、それぞれ独立に反射光の強度を電荷に変換する。Ａ／Ｄコンバータ３６は、感光部３５１および３５２がそれぞれ生成した電荷により生じた電圧を、デジタル値に変換する。Ａ／Ｄコンバータ３６は、セル３１それぞれと接続されており、セル３１それぞれに生じた電圧をデジタル値に変換する。

なお、シャッター３３１および３３２は、感光部３５１および３５２への光の入射を制限するのではなく、感光部３５１および３５２に生じた電荷を放出することにより、感光部３５１および３５２の動作をリセットするものでもよい。

計算部３７は、例えば、ＣＰＵおよびメモリなどを備えるマイクロコンピュータである。計算部３７は、セル３１それぞれについて、Ａ／Ｄコンバータ３６がＡ／Ｄ変換した電圧値に基づいて、第１光源１または第２光源２から発せられた光のＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ、飛行時間）を計算する。

（距離画像センサシステムの作用）
受光素子３０は、上記の構成により、シャッター３３１および３３２が開いている間、受光した光の強度を電圧として出力する。これにより、カメラ３は、基礎画像を撮像する。基礎画像は、より具体的には、カメラ３から、各画素の配置情報とその画素で観測された反射光の強度（換言すれば画像の輝度）の情報として構成される。

また、カメラ３は、前述したように、基礎画像から得られるＴＯＦに基づいて、距離画像を生成する。ここで、上述で定義したＴＯＦは、第１光源１から発せられた直接光６１が障害物９９（他の車両など）に反射し、当該障害物９９で反射した反射光７１が受光素子３０にそれぞれ到達するまでの時間差とすることができる。また、上述で定義したＴＯＦは、第２光源２から発せられた直接光６２が障害物９９に反射し、当該障害物９９で反射した反射光７２が受光素子３０にそれぞれ到達するまでの時間差とすることもできる。上述したように、第１光源１は、パルス状の光を発しているから、それぞれの光のオン、オフが切り替わる時間を基準にして上記時間差を測定（または計算）することができる。また、第２光源２も同様である。計算部３７は、上述で定義したＴＯＦを用いて、受光素子３０の画素（すなわち、セル３１）それぞれから障害物９９までの距離を計算し、各距離を各画素に関連付けたデータの集合を距離画像として生成し、出力する。

このようにして、カメラ３は、第１光源１が光を発した時点と、第２光源２が光を発した時点のそれぞれ両方について、上記基礎画像を生成する。また、カメラ３は、第１光源１および第２光源２の発光時に撮像した基礎画像それぞれについて、ＴＯＦを測定または計算することにより、２枚１組の距離画像を生成する。なお、第１光源１および第２光源２が交互に発光するので、基礎画像および距離画像は、カメラ３によって、上記２枚１組のみならず、所定時間ごとに連続的に生成される。

（距離画像センサシステムの動作のタイミング）
図３のタイミングチャートを用いて、距離画像センサシステムの動作のタイミングについて説明する。図３で示すタイミングチャートにおいて、第１光源１、第２光源２、カメラ３のシャッター３３１、シャッター３３２の動作タイミングは、それぞれ制御ユニット４により制御される。また、図３のタイミングチャートでは、説明を容易にするために１つのセル３１を代表として表すが、他のセル３１についても同様のタイミングチャートになる。

図３において、シャッター３３１は、第１光源１および第２光源２がそれぞれ発光を開始する発光開始タイミングと同期して開き、時間Ｗ経過後に閉じる。なお、時間Ｗは、第１光源１および第２光源２がそれぞれ発光を開始してから終了するまでの時間と等しいため、結果的に第１光源１および第２光源２がそれぞれ発光を終了する発光終了タイミングとシャッター３３１が閉じるタイミングとが同じになる。シャッター３３２は、第１光源１および第２光源２がそれぞれ発光を終了する発光終了タイミングと同期して開き、時間Ｗ経過後に閉じる。つまり、シャッター３３２は、シャッター３３１が閉じるタイミングで開くことになる。これらシャッター３３１および３３２の開放期間に応じて、カメラ３が露光を行う。

第１光源１が発光するとシャッター３３１が開放し、カメラ３の受光素子３０には、第１光源１から発せられた直接光６１の反射光７１が時間τ１遅れて到達し（図３における反射光７１）、反射光７１が到達するのとほぼ同時に電荷Ｅ１Ａの蓄積が開始される。その後、シャッター３３１が開いている限り、図３の「シャッター３３１の露光で発生する電荷」が累積的に増加する。その後、シャッター３３１が閉じると同時に、シャッター３３２が開いて図３の「シャッター３３２の露光で発生する電荷」が累積的に増加する。カメラ３の受光素子３０は、第１光源１の発光による「シャッター３３１の露光で発生する電荷」の総量Ｅ１Ａと、第１光源１の発光による「シャッター３３２の露光で発生する電荷」の総量Ｅ２Ａと（以下単に「電荷の総量Ｅ１Ａ、Ｅ２Ａ」などと称する）を出力する。このとき、総量Ｅ１Ａは、第１光源１が発光を終了する発光終了タイミング（発光終了時６１１）を基準にして、それより前に生じる電荷の総量となる。そして、総量Ｅ２Ａは、発光終了時６１１より後に生じる電荷量となる。

ここで、パルス波の周波数を十分高くすれば（例えば、５０フレーム／秒）、反射光７１が受光素子３０に入射している時間が短くなるため、障害物９９が反射光７１を反射する状況が不変となる。したがって、受光素子３０に入射する反射光７１の強度は、ほぼ一定となる。つまり、受光素子３０に蓄積される電荷量は、反射光７１が入射する時間に比例することになる。そこで、カメラ３の計算部３７は、第１光源１の発光終了時６１１を基準にして、発光終了時６１１の前の電荷量と、発光終了時６１１の後の電荷量との比率を計算することにより、ＴＯＦである時間τ１を計算する。具体的には、以下の式により時間τ１を算出できる。

τ１＝Ｗ×Ｅ２Ａ／（Ｅ１Ａ＋Ｅ２Ａ）…（１）
ここで、「×」は、掛け算を表し、以下、同じである。

また、セル３１は、第２光源２についても同様に、第２光源２の発光終了時６２１を基準にして、発光終了時６２１より前に蓄積された「シャッター３３１の露光で発生する電荷」の総量Ｅ１Ｂと、発光終了時６２１より後に蓄積された「シャッター３３２の露光で発生する電荷」の総量Ｅ２Ｂとを出力する。なお、このときのシャッター３３１および３３２が開いている時間は、同じく時間Ｗである。そして、カメラ３の計算部３７は、ＴＯＦである時間τ２を、以下の式により算出できる。

τ２＝Ｗ×Ｅ２Ｂ／（Ｅ１Ｂ＋Ｅ２Ｂ）…（２）
ここで、第１光源１および第２光源２を、カメラ３からほぼ等間隔に車両１００に設ければ、時間τ１と時間τ２は、同等となる。

さらに、障害物９９までの距離Ｄは、光速をｃとして、以下の式により算出できる。

Ｄ＝τ１×ｃ／２…（３）
計算部３７は、式（１）〜式（３）を用いて、反射光の強度に基づいて、各セル３１（各画素）に対応する距離を測定する。ここで、距離画像センサシステム１０は、このように光の強度に基づいて、距離を測定する方法を採用する場合には、反射光の受光量が多い基礎画像を用いるのが好ましい。具体的には、受光素子３０に入射した反射光の強度が強い時（換言すれば、基礎画像のデータの輝度が高い時）の基礎画像に基づいて、距離画像を計算するのが好ましい。そこで、画像処理部４１は、第１光源１および第２光源２にそれぞれに対応してカメラ３が生成した画像のうち、輝度が高い基礎画像に対応する距離画像を選択する処理を行う。

例えば、図１に示すように、障害物９９に対して光源から発せられる直接光の入射角が小さい場合、障害物９９で乱反射して車両１００側へ反射する反射光の光量は著しく低くなる。特に、表面が鏡面状の障害物では、その傾向が強くなる。この場合、得られる基礎画像の輝度も著しく低くなるために、良好な距離画像を得ることができない。これに対して、第１光源１および第２光源２が水平方向に離間して設けられているため、第１光源１から発せられる直接光６１の障害物９９に対する入射角と、第２光源２から発せられる直接光６２の障害物９９に対する入射角とが異なる状況になる。すなわち、何れか一方の入射角が相対的に大きくなることになる。したがって、第１光源１および第２光源２にそれぞれに対応してカメラ３が生成した画像のうち、上記入射角が相対的に大きい直接光の反射光を用いた基礎画像が、結果的に輝度が相対的に高い基礎画像となることが多い。したがって、輝度が高い基礎画像に対応する距離画像を用いることによって、反射光の強度不足によって不正確な距離画像が生成されることを防止することができ、散乱の少ない障害物であっても当該障害物までの距離を検出可能にすることができる。

（画像処理部４１の実施例）
図４〜図６を用いて、距離画像を選択する処理の実施例１および２について説明する。

図４および図５は、距離画像センサシステム１０の処理の実施例１を説明するための図である。図４は、カメラ３が出力する基礎画像の画素３００の一例を表す概念図である。図５は、実施例１に係る距離画像センサシステム１０の動作を示すフローチャートである。

図４に示すように、画像処理部４１は、カメラ３が出力する画像の画素３００を、複数のエリア３０１〜３０９に分割して管理している。カメラ３は、制御ユニット４の制御により、第１光源１および第２光源２の各発光のタイミングに対応して、それぞれ基礎画像および距離画像を生成する。ここで、カメラ３から出力される基礎画像２枚１組および距離画像２枚１組は、いずれも同じ画像サイズ（縦横のピクセル数が同じ）であるか、もしくは、画像処理部４１により、同じ画像サイズに調整されているものとする。

画像処理部４１は、各エリア３０１〜３０９について基礎画像の反射光の強度を比較する。反射光の強度は、各セル３１についてみれば、より直接的には、シャッター３３１またはシャッター３３２が開いている間に発生した電荷量（総量Ｅ１ＡとＥ２Ａとの合計または総量Ｅ１ＢとＥ２Ｂとの合計）である。さらに、エリア３０１〜３０９ごとの光の強度は、各セル３１に生じた当該電荷量を合計したものとすることができる。

ここで、上記式（１）および式（２）は、ＴＯＦ（すなわち、時間τ１および時間τ２）が受光量に依存している。つまり、ＴＯＦを正確に算出するためには、適正な光量が確保されていることが必要である。そこで、画像処理部４１は、各エリア３０１〜３０９について、撮像時に受光した光の強度が上記基礎画像２枚１組で比較し、当該強度が相対的に強い基礎画像に対応する距離画像をエリア毎に選択する。そして、画像処理部４１は、選択した距離画像から、エリアに対応する部分（以下、「距離画像の部分」と称する）を抽出する。そして、画像処理部４１は、エリアごとに抽出した距離画像の部分を合成して新たな距離画像を生成する。これによって、例えば第１光源１に基づく障害物９９における反射光７１の強度が弱くても、第２光源２に基づく障害物９９における反射光７２の強度が強ければ、画像処理部４１は、第２光源２に基づく基礎画像に対応する距離画像を出力するので、距離画像センサシステム１０はより高精度な距離画像を出力できる。

図５を用いて、実施例１に係る距離画像センサシステム１０の動作について説明する。

図５において、カメラ３は、第１光源１の反射光７１を受光して基礎画像を撮像し、距離画像を生成し（ステップＳＴ１）、次のステップに処理を進める。

次に、カメラ３は、第２光源２の反射光７２を受光して基礎画像を撮像し、距離画像を生成し（ステップＳＴ２）、次のステップに処理を進める。

画像処理部４１は、予め定めた所定エリアごとに、基礎画像の反射光の強度を比較し（ステップＳＴ３）、次のステップに処理を進める。より具体的には、画像処理部４１は、予め定めた所定エリアのうちの１を選択し、基礎画像のデータに記述された所定エリア内の各セルにおける反射光の強度の合計を、上記ステップＳＴ１およびＳＴ２で撮像した１組の基礎画像の間で比較する。

次に、画像処理部４１は、上記ステップＳＴ３の比較の結果、上記ステップＳＴ１で撮像した画像の撮像時に受光した光の強度が、上記ステップＳＴ２で撮像した画像の撮像時に受光した光の強度よりも強いか否か判定する（ステップＳＴ４）。そして、画像処理部４１は、上記ステップＳＴ４の判定が肯定であれば（Ｙｅｓ）、次のステップＳＴ５に処理を進める。一方、画像処理部４１は、上記ステップＳＴ４の判定が否定であれば（Ｎｏ）、次のステップＳＴ６に処理を進める。

ステップＳＴ５において、画像処理部４１は、処理対象エリアの距離画像として、上記ステップＳＴ１で撮像した基礎画像に対応する距離画像を選択し、当該距離画像のうち、処理対象エリアに対応する部分を距離画像の部分として抽出して、次のステップＳＴ７に処理を進める。一方、ステップＳＴ６において、画像処理部４１は、処理対象エリアの距離画像として、上記ステップＳＴ２で撮像した基礎画像に対応する距離画像を選択し、当該距離画像のうち、処理対象エリアに対応する部分を距離画像の部分として抽出して、次のステップＳＴ７に処理を進める。

ステップＳＴ７において、画像処理部４１は、全エリア３０１〜３０９について、撮像画像の光の強度（すなわち画像データに記憶された反射光の強度）の比較および距離画像の抽出が終了したか判定する。そして、画像処理部４１は、上記ステップＳＴ７における判定が肯定であれば（Ｙｅｓ）、次のステップＳＴ９に処理を進める。一方、画像処理部４１は、上記ステップＳＴ７における判定が否定であれば（Ｎｏ）、次のエリアを選択して（ステップＳＴ８）、上記ステップＳＴ３へ戻って処理を繰り返す。

ステップＳＴ９において、画像処理部４１は、各エリアに対して抽出した距離画像の部分を合成し、新たな距離画像を生成する。そして、距離画像センサシステム１０は、当該フローチャートによる動作を終了する。

図６は、実施例２に係る距離画像センサシステム１０の動作を示すフローチャートである。このフローチャートのうち、ステップＳＴ１およびＳＴ２は、図５に示したステップＳＴ１およびＳＴ２と同じ動作であるため、同じステップ番号を付して詳細な説明を省略する。以下、図６に示すステップＳＴ２以降の処理について説明する。

画像処理部４１は、基礎画像全体について、基礎画像の反射光の強度を比較し（ステップＳＴ３０）、次のステップに処理を進める。より具体的には、画像処理部４１は、基礎画像のデータに記述された当該基礎画像全体の各セルにおける反射光の強度の合計を、上記ステップＳＴ１およびＳＴ２で撮像した１組の基礎画像の間で比較する。

次に、画像処理部４１は、上記ステップＳＴ３０の比較の結果、上記ステップＳＴ１で撮像した画像の撮像時に受光した光の強度が、上記ステップＳＴ２で撮像した画像の撮像時に受光した光の強度よりも強いか否か判定する（ステップＳＴ４０）。そして、画像処理部４１は、上記ステップＳＴ４０の判定が肯定であれば（Ｙｅｓ）、次のステップＳＴ５０に処理を進める。一方、画像処理部４１は、上記ステップＳＴ４０の判定が否定であれば（Ｎｏ）、次のステップＳＴ６０に処理を進める。

ステップＳＴ５０において、画像処理部４１は、上記ステップＳＴ１で撮像した基礎画像に対応する距離画像を選択する。一方、ステップＳＴ６０において、画像処理部４１は、上記ステップＳＴ２で撮像した基礎画像に対応する距離画像を選択する。そして、距離画像センサシステム１０は、上記ステップＳＴ５０またはＳＴ６０の処理の後、当該フローチャートによる動作を終了する。

以下、上述した実施形態について補足する。

図１の説明では、機能ごとに分離したブロックで説明したが、車両１００への実装においては、これらの機能のうち、いずれかが複数の機能が一体として構成してもよいし、１つのブロックを複数に分離して構成してもよい。例えば、ＣＰＵを物理的に分離した複数の構成を車両１００に備えるようにすることができ、この場合、プログラムをどこのＣＰＵで実行するのかの役割分担は、適宜状況に応じて設計することが可能であり、以上の実施形態に限定するものではない。より具体的には、制御ユニット４および画像処理部４１は、物理的に分離していてもよいし、カメラ３の内部に制御ユニット４を設けていてもよい。また、制御ユニット４が図３に示したタイミングチャートに示す各構成要素の動作をすべて制御してもよいし、制御ユニット４の代わりに、カメラ３が、第１光源１および第２光源２の発光タイミングの信号を受けて、シャッター３３１および３３２の開閉をそれぞれ制御してもよい。これらいずれの構成を採用するにせよ、図３のタイミングチャートを実行する構成は、本発明の「制御手段」に相当する。また、「制御手段」は、必ずしも、プログラムおよびＣＰＵで実行しなくても、単に論理回路で実現するようにしてもよい。また、距離画像の生成については、画像処理部４１で行ってもよい。

また、図３で示した距離測定の方法は一例である。例えば、第１光源１および第２光源２の発光終了時にそれぞれの総電荷量を測定することができるのであれば、図２において、第１光学系（シャッター３３１、フィルタ３４１、感光部３５２）、第２光学系（シャッター３３２、フィルタ３４２、感光部３５２）のうち、何れか一方の光学系のみ備えていてもよいし、３つ以上の光学系を備えていてもよい。

また、光源の数は、上述した実施形態では２つの光源（第１光源１および第２光源２）を設けたが、３つ以上でもよい。この場合、距離画像センサシステム１０は、複数の光源を１つずつ順に点灯するようにする。ここで、「順に」の意味は、必ずしも、光源が並設されている方向に順に点灯することに限定されない。また、３つ以上の光源を設ける場合には、光源それぞれの点灯について、カメラ３は、基礎画像および距離画像を出力し、画像処理部４１は、カメラ３が出力した距離画像のうちから、受光した光の強度が最も強い基礎画像に対応する距離画像を選択する。このとき、図５で示したように、エリアごとに基礎画像を比較して、エリアに対応する距離画像の部分をエリア単位で合成するようにしてもよい。

また、図４においては、画素３００を９つのエリア３０１〜３０９に分割した例を示したが、エリアの分割方法はどのような態様でもよい。例えば、分割するエリアの数は、９つ未満でもよいし、１０以上であってもかまわない。また、エリア毎に光の強度が最も強い距離画像を選択したが、画像毎に最も光の強度が強い画素の出力を選択してもよい。

本発明に係る距離画像センサシステムおよび距離画像生成方法は、例えば、車載用や船舶用等の移動体のレーダ装置や、警報、表示、危険回避等を援助する制御を行うプリクラッシュセーフティ（ＰＣＳ：Ｐｒｅ−Ｃｒａｓｈ Ｓａｆｅｔｙ）や自動走行制御（ＡＣＣ：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等に応用できる。

１０…距離画像センサシステム
１…第１光源
２…第２光源
３…カメラ
３０…受光素子
３０１〜３０９…エリア
３１…セル
３２…分光器
３３１、３３２…シャッター
３４１、３４２…フィルタ
３５１、３５２…感光部
３６…Ａ／Ｄコンバータ
３７…計算部
４…制御ユニット
４１…画像処理部
１００…車両
９９…障害物
６１、６２…直接光
７１，７２…反射光
τ１、τ２…ＴＯＦ
Ｅ１Ａ、Ｅ１Ｂ…電荷
Ｅ２Ａ、Ｅ２Ｂ…電荷
Ｗ…露光時間

Claims (6)

1. 被写体までの距離を画素ごとに測定した距離画像を生成する距離画像センサシステムであって、
   それぞれ離間して配置されて発光する複数の光源と、
   前記複数の光源を順に切換えて発光させる発光制御手段と、
   前記複数の光源それぞれの発光に対応して画像の撮像を行い、各画素が撮像された被写体までの距離に応じた画素値を有する距離画像を、前記複数の光源それぞれに対応して複数生成する距離画像生成手段と、
   前記複数の距離画像のうち、前記画像の撮像において受光量が最も多い画像を用いて生成された距離画像を選択する距離画像選択手段とを備える、距離画像センサシステム。
2. 前記距離画像生成手段は、前記撮像した画像の画素全体を複数のエリアに区分し、前記複数の光源それぞれに対応して当該エリア毎に前記距離画像をそれぞれ生成し、
   前記距離画像選択手段は、前記エリア毎の複数の距離画像のうち、前記複数のエリアのうちから選ばれたエリアにおける前記画像の撮像において受光量が最も多い画像に対応する距離画像を前記エリア毎に選択し、
   前記距離画像センサシステムは、前記距離画像選択手段が前記複数のエリアのそれぞれについて選択した前記距離画像を合成することによって、新たな距離画像を生成する距離画像合成手段を、さらに備える、請求項１に記載の距離画像センサシステム。
3. 前記複数の光源は、それぞれ水平方向に離間して配置される、請求項１または２に記載の距離画像センサシステム。
4. 前記距離画像生成手段は、前記複数の光源がそれぞれ光を発してから当該光の反射光が到来するまでの時間を用いて、前記複数の光源それぞれに対応して各画素が撮像された被写体までの距離を算出する、請求項１または２に記載の距離画像センサシステム。
5. 前記複数の光源は、前記発光制御手段の制御に応じて、それぞれ矩形パルス状の光を発し、
   前記距離画像生成手段は、受光した光の強度を電荷量に変換する受光素子を備え、
   前記距離画像生成手段は、前記光源の発光終了タイミング前に受光した光により生じた電荷量と、当該光源の発光終了タイミング後に受光した光により生じた電荷量に基づいて、当該光源に対応した被写体までの距離を算出する、請求項４に記載の距離画像センサシステム。
6. 被写体までの距離を画素ごとに測定した距離画像を生成する距離画像生成方法であって、
   それぞれ離間して配置されて発光する複数の光源を順に切換えて発光させる発光制御ステップと、
   前記複数の光源それぞれの発光に対応して画像の撮像を行い、各画素が撮像された被写体までの距離に応じた画素値を有する距離画像を、前記複数の光源それぞれに対応して複数生成する距離画像生成ステップと、
   前記複数の距離画像のうち、前記画像の撮像において受光量が最も多い画像を用いて生成された距離画像を選択する距離画像選択ステップとを含む、距離画像生成方法。

Images