JP2010160035A - 距離計測装置及び距離計測方法 - Google Patents

Abstract

【課題】距離や反射率の異なる物体の距離を高い精度で計測する。
【解決手段】
次数の異なる照射角度の関数で表現される２種類の照度パタンの照射光を第１ライト２１及び第２ライト２２に照射させる照射制御機能と、カメラシステム３０に各照射光の反射光の撮像データを取得させる撮像制御機能と、得られた各撮像データから種類の輝度パタンを取得させる輝度パタン取得機能と、この２種類の輝度パタンから各画素の指標値を算出する指標値算出機能と、指標値の連続性に基づいて観測領域を識別する観測領域識別機能と、各観測領域の指標値に基づいて、その観測領域を照射する照射光の照射角度を算出する照射角算出機能と、算出された照射角度と、観測領域の撮像角度と、第１ライト２１及び第２ライト２２とカメラシステム３０との位置関係に基づいて、物体までの距離を算出する距離算出機能を実現させる制御装置１０を備える。
【選択図】 図１

Description

本発明は、周囲の撮像情報に基づいて、観測点から物体までの距離を計測する距離計測装置及び距離計測方法に関する。

カメラの１フレーム露光時間中に露光量が異なるようにスリット光を物体に照射し、カメラで撮像された物体からの反射光（スリット光）の露光パタンを取得し、取得したスリット光の露光総量の差の違いに基づいて算出されたスリット光の照射方向を用いて、物体までの距離を算出する技術が知られている（特許文献１参照）。

特開２００２−１３１０３１号公報

しかしながら、従来の技術では、物体の反射率が異なる場合や物体までの距離が異なる場合はスリット光の露光総量が異なるため、算出されるスリット光の照射方向に誤差が生じ、物体までの距離を正確に算出することができない場合があるという問題があった。

本発明は、次数の異なる照射角度の関数で表現される２種類の照度パタンの照射光を照射し、その際に取得された２種類の輝度パタンから算出された指標値を用いて物体までの距離を計測することにより上記課題を解決する。

本発明によれば、２種類の輝度パタンから算出された指標値を用いて照射角度を求めるため、反射率の異なる物体や距離の異なる物体であっても物体までの距離を正確に計測することができる。

本実施形態の距離計測システム１００を含む車載装置１のブロック構成図である。 カメラシステム３０とライト２０の車両への搭載例を示す図である。 ２種類の照度パタンの照射光の照射処理を説明するための図であり、第１ライト２１から照射される照射光の第１照度パタンの例と、第２ライト２２から照射される照射光の第２照度パタンの例を示す図である。 図４（Ａ）及び（Ｂ）は、ライト２０側から照射領域を見た場合の照度パタンのモデルを示す図である。図４（Ａ）のモデルは、照射角度θを変数とした１次式の第１照度パタンで照射光を照射した場合の明度を示し、図４（Ｂ）のモデルは、照射角度θを変数とした３次式の第２照度パタンで照射光を照射した場合の明度を示す図である。 車両に搭載されたカメラシステム３０により、第１ライト２１と第２ライト２２が車両前方に存在する物体Ａ，Ｂ，Ｃに第１照度パタンの照射光及び第２照射パタンの照射光を照射する状態を説明するための図である。 図５の状態を車両の進行方向に対して垂直方向から（横側から）見た状態を示す図である。 図７（Ａ）は、第１照射パタンの照射光が物体Ａ〜Ｃに当たって発生した反射光の撮像データから取得した第１輝度パタンを示す図であり、図７（Ｂ）は、第２照射パタンの照射光が物体Ａ〜Ｃに当たって発生した反射光の撮像データから取得した第２輝度パタンを示す図であり、図７（Ｃ）は、第１輝度パタンと第２輝度パタンから算出された画素ごとの指標値Ｑを示す図である。 本実施形態に係る距離計測システムの処理を説明するための第１のフローチャート図である。 本実施形態に係る距離計測システムの処理と、障害物報知装置の処理を説明するためのフローチャート図である。

以下、図面に基づいて、本実施形態に係る距離計測システム１００について説明する。本実施形態においては、車両に搭載された距離計測システム１００を例に説明する。本実施形態の距離計測システム１００は、車両周囲に存在する他車両、歩行者、道路設置物その他の物体までの距離を計測する。

図１に、本実施形態に係る距離計測システム１００を含む車載装置１のブロック構成図を示す。本実施形態の車載装置１は、距離計測システム１００と、障害物報知装置２００と、運転支援システム３００と、スピーカ４００と、ディスプレイ５００と、ブザー６００と、車両コントローラ７００とを含む。距離計測システム１００と上記各装置（２００〜７００）とは、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行う。

図１に示すように、距離計測システム１００は、制御装置１０と、ライト２０と、カメラシステム３０とを有する。

まず、ライト２０について説明する。図１に示すように、本実施形態のライト２０は、第１ライト２１と第２ライト２２を有する。これら第１ライト２１と第２ライト２２は、任意の照射パタンに従う照射光を照射する。第１ライト２１と第２ライト２２は、微細な凹凸を有する反射鏡にバルブの光を反射・収束させて一定の照度パタンの光を照射させる。このリフレクタの鏡面の角度をコンピュータ解析等により設定し、任意の照射パタンの照射光を照射する。また、リフレクタの形状、リフレクタの反射面の曲率、リフレクタの反射面の反射率・吸収率を変化させることにより、任意の照射パタンに従う照射光を照射させてもよい。

図２に、第１ライト２１と第２ライト２２の車両への搭載例を示す。図２に示すように、第１ライト２１は車両の右前方に設けられるとともに第２ライト２２は車両の左前方に設けられ、それぞれが車両の前方を照射する。

次に、カメラシステム３０について説明する。図１に示すように、本実施形態のカメラシステム３０は、イメージセンサ３１とメモリ３２を含む。イメージセンサ３１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)、ＣＣＤ(Charge Coupled Device)その他の撮像素子である。メモリ３２はイメージセンサ３１の撮像した撮像データおよび撮像タイミングをメモリ３２に記憶する。このメモリ３２は、制御装置１０の読み込みを受け付ける。図２に、カメラシステム３０の車両への搭載例を示す。図２に示すように、カメラシステム３０は、車両の進行方向の前方を撮像するように、イメージセンサ３１の受光面を車両の進行方向に向けて設置する。

これらライト２０とカメラシステム３０は、次に説明する制御装置１０の制御指令に従い動作する。

続いて、制御装置１０について説明する。本実施形態の制御装置１０は、物体までの距離の計測演算を実行する。本実施形態の制御装置１０は、距離計測処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory ）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、距離計測システム１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。なお、動作回路としては、ＣＰＵ（Central Processing Unit）１１に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。

次に、距離計測システム１００の制御装置１０が備える処理機能について説明する。制御装置１０は、ライト２０の照射を制御する照射制御機能と、カメラ３０の撮像動作を制御する撮像制御機能と、輝度パタンを取得する輝度パタン取得機能と、指標値を算出する指標値算出機能と、各物体に対応する観測領域を識別する観測領域識別機能と、照射角度を算出する照射角算出機能と、観測領域に含まれる物体までの距離を算出する距離算出機能とを有する。そして、制御装置１０は、各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

以下、上述した距離計測システム１００の制御装置１０が実現する機能についてそれぞれ説明する。

まず、距離計測システム１００の照射制御機能について説明する。

制御装置１０は、車両に搭載された第１ライト２１及び第２ライト２２の点灯と消灯の制御を行う。本実施形態において、制御装置１０は、左右２つの第１ライト２１と第２ライト２２に、次数の異なる照射角度の関数で表現される２種類の照度パタンの照射光を照射させる。

具体的に、制御装置１０は、照射角度の関数で表現される一方の照度パタンの照射光を第１ライト２１に照射させ、一方の照度パタンとは次数の異なる照射角度の関数で表現される他方の照度パタンの照射光を第２ライト２２に照射させる。

図３は、第１ライト２１から照射される照射光の照度パタンと、第２ライト２２から照射される照射光の照度パタンを説明するための模式図である。特に限定されないが、制御装置１０は、第１ライト２１には照射角度の１次関数で表現される一方の第１照度パタンで照射光を照射させるとともに、第２ライト２２には、照射角度の３次関数で表現される他方の第２照度パタンで照射光を照射させる。

図３に示すように、本実施形態の制御装置１０は、車両の右側に取り付けられた第１ライト２１から照射角度θを変数とした１次式の第１照度パタン（式１）で照射光を照射させ、車両の左側に取り付けられた第２ライト２２から照射角度θを変数とした３次式の第２照度パタン（式２）で照射光を照射させる。

Ｉｒｒ１（θ）＝α×θ …（１）
Ｉｒｒ２（θ）＝ａ×θ^３＋ｂ×θ²＋C×θ ・・・（２）
ただし、式（１）（２）において、θは照射光の照射角度、αは照度（明るさ）に係る任意の定数、ａ，ｂ，ｃは任意の定数である。

ちなみに、本実施形態における照度パタンは、基準となる照射軸に対する照射光の照射角度θに応じて、所定の規則に従い照度Ｉｒｒ（明るさ：irradiance）が変化するパタンである。第１ライト２１及び第２ライト２２は、所定の照度パタンの照射光を照射するように加工された反射鏡を備える。

図４（Ａ）及び（Ｂ）は、ライト２０側から照射領域を見た場合の照度パタンのモデルを示す図である。図４（Ａ）のモデルは、照射角度θを変数とした１次式の第１照度パタン（Ｉｒｒ１（θ）＝α×θ）で照射光を照射した場合の明度を示す。図４（Ａ）に示すように、照射光の明るさは、照射軸の中心から照射領域の外延に向かうにつれて、つまり照射角度が変化するにつれて、係数α（任意の定数）に応じて照度が低下（又は上昇）する。一方、図４（Ｂ）のモデルは、照射角度θを変数とした３次式の第２照度パタン（Ｉｒｒ２（θ）＝ａ×θ^３＋ｂ×θ²＋C×θ）で照射光を照射した場合の明度を示す。図４（Ｂ）に示すように、照射光の明るさは、照射軸の中心から照射領域の外延に向かうにつれて、つまり照射角度が変化するにつれて、明暗の変化が２度発生する態様で照度が変化する。この明度の変化は、係数ａ，ｂ（任意の定数）及び定数ｃに応じて適宜定義することができる。

第１照度パタンと第２照度パタンの組み合わせはこれに限定されず、第１照度パタンを照射角度θの１次式の照度パタンとし、第２照度パタンを照射角度θの２次式の照度パタンとしてもよいし、第１照度パタンを照射角度θの２次式の照度パタンとし、第２照度パタンを照射角度θの３次式の照度パタンとしてもよい。

次に、距離計測システム１００の撮像制御機能について説明する。

制御装置１０は、車両に搭載されたカメラシステム３０の撮像タイミングの制御を行う。本実施形態の制御装置１０は、第１ライト２１と第２ライト２２から照射された各照度パタンの照射光が物体の表面に当たり反射した反射光を、カメラシステム３０にそれぞれ撮像させて、２種類の撮像データを得る。

図５は、車両に搭載されたカメラシステム３０により、第１ライト２１と第２ライト２２が車両前方に存在する物体Ａ，Ｂ，Ｃに第１照度パタンの照射光及び第２照射パタンの照射光を照射する状態を説明するための図である。ここで物体Ａと物体Ｂは反射率が異なる物体であり、物体Ａ及びＢと物体Ｃとは車両からの距離が異なる物体である。また、図６は、図５の状態を車両の進行方向に対して垂直方向から（横側から）見た状態を示す図である。なお、図５及び図６では、図示が複雑になることを避けるため、第２ライト２２からの照射光を中心に示すが、第１ライト２１からの照射光も、第２ライト２２からの照射光と同様である。

図５及び図６に示すように、第１ライト２１及び第２ライト２２から照射された照射角度に応じて明るさが変化する照射光は、物体Ａ，Ｂ，Ｃに当たると、その照射光の反射光が発生する。そして、その反射光はカメラシステム３０により撮像される。

特に限定されないが、本実施形態の制御装置１０は、第１照度パタンの照射光が照射された後の所定時間経過後に、カメラシステム３０に車両前方（照射光の照射方向）を撮像させる。これにより、第１照度パタンの照射光の反射光を撮像することができる。また、制御装置１０は、第２照度パタンの照射光が照射された後の所定時間経過後に、カメラシステム３０に車両前方（照射光の照射方向）を撮像させる。これにより、第２照度パタンの照射光の反射光を撮像することができる。

また、本実施形態の制御装置１０は、第１照度パタン及び／又は第２照度パタンの照射光を照射する直前にカメラシステム３０に照射光の照射方向を撮像させ、照射光が照射されない状態の基準撮像データを取得することが好ましい。撮像される反射光には、照射光が物体に当たって生じた反射光に加えて、太陽光や街灯からの光などの照射光以外の光に由来する反射光が含まれている。このため、距離計測時の環境における反射光（照射光以外の光に由来する反射光）を撮像した基準撮像データを得ておき、照射光を照射する際に得られた撮像データからこの基準撮像データの輝度成分を差し引けば、照射光に由来する反射光のみの輝度情報を抽出することができる。なお、基準撮像データは、照射光の照射前のみならず、照射光の照射後所定時間経過後（照射光の反射光の影響がないタイミング）に取得（撮像）してもよい。

次に、距離計測システム１００の輝度パタン取得機能について説明する。

本実施形態の制御装置１０は、２種類の照射パタンの照射光の反射光を撮像した各撮像データから各画素について２種類の輝度パタンを取得する。つまり、第１照射パタンの照射光の反射光の撮像データから第１輝度パタンを取得し、第２照射パタンの照射光の反射光の撮像データから第２輝度パタンを取得する。

特に限定されないが、本実施形態の制御装置１０は、照射光以外の光に由来する輝度成分を除去する観点から、カメラシステム３０により取得された撮像データの輝度成分から、先述した基準撮像データに含まれる輝度成分を除去して、輝度パタンを取得する。

続いて、距離計測システム１００の指標値算出機能について説明する。

制御装置１０は、取得された２種類の輝度パタン（Ｉｍｇ１（θｉ）とＩｍｇ２（θｉ））に基づいて、各画素の指標値を算出する。

本実施形態の制御装置１０は、第１照度パタンの照射光を照射した際に得られた第１輝度パタン（Ｉｍｇ１（θｉ））で、第２照度パタンの照射光を照射した際に得られた第２輝度パタン（Ｉｍｇ２（θｉ））を除して、指標値Ｑを求める。

ところで、撮像データから取得される２種類の輝度パタンのうち、一方の輝度パタンＩｍｇ１（θｉ）は、理論上、第１照度パタンＩｒｒ１（θ）を用いて、次式（３−１）と表現することができる。

Ｉｍｇ１（θｉ）＝（ｒ／ｄ^２）×Ｉｒｒ１（θ）…（３−１）
ただし、θｉはカメラシステム３０のイメージセンサ３１から物体を見た撮像角度である。θｉは、予め記憶されたイメージセンサ３１の位置と、物体に対応する画素の位置とから求めることができる。また、ｒは物体の表面の反射率，ｄは距離計測装置から物体までの距離である。

さらに、Ｉｒｒ１（θ）に上述した式（１）を代入すると、一方の輝度パタンＩｍｇ１（θｉ）は、次式（３−２）となる。

Ｉｍｇ１（θｉ）＝（ｒ／ｄ^２）×α×θ…（３−２）
つまり、第１輝度パタンＩｍｇ１（θｉ）は、次式（３）のように示すことができる。

また、撮像データから取得される２種類の輝度パタンのうち、他方の輝度パタンＩｍｇ２（θｉ）は、理論上、第２照度パタンＩｒｒ２（θ）を用いて、次式（４−１）と表現することができる。

Ｉｍｇ２（θｉ）＝（ｒ／ｄ^２）×Ｉｒｒ２（θ）…（４−１）
ただし、θｉはカメラシステム３０のイメージセンサ３１から物体を見た撮像角度である。θｉは、予め記憶されたイメージセンサ３１の位置と、物体に対応する画素の位置とから求めることができる。また、ｒは物体の表面の反射率，ｄは距離計測装置から物体までの距離）である。

さらに、Ｉｒｒ２（θ）に上述した式（２）を代入すると、Ｉｍｇ２（θｉ）は次式（４−２）となる。

Ｉｍｇ２（θｉ）＝（ｒ／ｄ^２）（ａ×θ^３＋ｂ×θ²＋C×θ）…（４−２）
つまり、第２輝度パタンＩｍｇ２（θｉ）は、次式（４）のように示すことができる。

すなわち、本実施形態における指標値Ｑを第１輝度パタンで第２輝度パタンを除した値と定義する場合は、指標値Ｑを下式（５）により表現することができる。

ただし、θｉはカメラシステム３０のイメージセンサ３１から物体を見た撮像角度、αは照度（明るさ）に係る任意の定数、ａ，ｂ，ｃは任意の定数である。

つまり、本実施形態においては、指標値Ｑを、照射角度θのみを変数とする関係式で表現することができる。

しかしながら、実際に、カメラシステム３０の撮像データに基づいて得られる輝度パタンは、物体の距離、物体の表面の反射率に応じて異なる。

つまり、距離は同じでも反射率の異なる物体Ａと物体Ｂ（反射率：物体Ａ＞物体Ｂ）では、反射率が高いほど輝度が高くなる。また、反射率は同じでも距離の異なる物体Ａと物体Ｂ（距離：物体Ａ＜物体Ｂ）では、距離が近いほど輝度が高くなる。

この様子を、図７に示す。図７（Ａ）は、第１照射パタンの照射光が図５及び図６に示す物体Ａ〜Ｃに当たって発生した反射光の撮像データから取得した第１輝度パタンを示す図であり、図７（Ｂ）は、第２照射パタンの照射光が図５及び図６に示す物体Ａ〜Ｃに当たって発生した反射光の撮像データから取得した第２輝度パタンを示す図である。そして、図７（Ｃ）は、第１輝度パタンと第２輝度パタンから算出された画素ごとの指標値Ｑを示す図である。

このように、輝度の値は距離の相違及び反射率の相違の影響を受けるので、同じ距離に存在する物体Ａ及びＢの輝度の値は異なり、距離が異なる物体Ｂ及びＣの輝度の値は共通する場合がある。

本実施形態では、２つの照度パタンの照射光を照射する際に撮像された撮像データから各画素の輝度パタン（各画素の輝度値）を抽出し、一方の輝度パタンで他方の輝度パタンを除算するので、物体の反射率ｒ及び距離による光の減衰１／ｄ^２が消去されるとともに、変数となる照度角度の次数が異なるので照射角度θが残る。

その結果、指標値Ｑを照射角度のみを変数とする関係式（Ｑ＝（ａ×θ^２＋ｂ×θ＋ｃ）／α）で表現することができる。つまり、指標値Ｑにおいては、物体までの距離と物体の反射率の影響を除去することができる。

さらに、距離計測システム１００の観測領域識別機能について説明する。本実施形態の制御装置１０は、算出された各画素の指標値の連続性に基づいて、撮像データに含まれる観測領域をそれぞれ識別する。

制御装置１０は、画像上の全画素について指標値（図７（Ｃ）参照）を算出し、隣接する画素の指標値を比べることにより、指標値の連続性を観測する。具体的には、隣接する指標値の差が所定値未満である場合は指標値の連続性があると判断し、隣接する指標値の差が所定値以上である場合は、指標値の連続性が無いと判断する。

ここで、図６を参照して説明すると、撮像角度１から撮像角度２にかけては第１ライト２１及び第２ライト２２からの照射光の照射角度が連続的に変化するので、式（５）に示される指標値は図７（Ｃ）に示すように連続的に変化する。

しかし、撮像角度２の近傍においては、物体Ａから車両からの距離が異なる物体Ｃに撮像対象が変化し、第１ライト２１及び第２ライト２２からの照射光の照射角度が連続的に変化せず、照射角度２から照射角度３へ変化する。このため、図７（Ｃ）に示すように、式（５）に示される指標値は連続的に変化しない境界が生じる。

また、撮像角度２から撮像角度３においては，撮像角度１から撮像角度２と同様に指標値は連続的に変化する。

つまり、物体の境界においては、指標値が連続しないことが判る。

従って、本実施形態では、各画素の指標値Ｑの連続性を観測し、指標値Ｑの不連続点で領域を分割し、指標値Ｑが連続する領域を一の観測領域として識別する。図５〜７に示すように、本実施形態における指標値Ｑの不連続点は、車両（距離計測装置１００）からの距離が異なる独立の物体の境界と判断することができる。言い換えると、指標値Ｑが連続性を保つ観測領域は、車両（距離計測装置１００）からの距離が等しい物体に対応する境界と判断することができる。このように、指標値Ｑの連続性に基づいて、同一距離に存在する物体に対応する観測領域を識別することができる。加えて、指標値Ｑが連続性を保つ観測領域の境界を、その物体の外延と判断することにより、その物体の形状を判断することができる
次に、距離計測システム１００の照射角算出機能について説明する。

本実施形態の制御装置１０は、識別された各観測領域の指標値Ｑ（実測値）に基づいて、観測領域を照射する照射光の照射角度θを算出する。制御装置１０は、実測された観測領域の２つの輝度パタンから求めた指標値Ｑの値に基づいて、指標値Ｑ＝（ａ×θ^２＋ｂ×θ＋ｃ）／αの解である照射角度θを求める。

また、特に限定されないが、本実施形態の制御装置１０は、各照度パタンの照射光を所定位置に配置した物体に照射した際に得られた基準撮像データの各画素の基準輝度パタンから算出された基準指標値を予め準備する。

この基準指標値は、実験的に求められる。具体的には、車両（距離計測装置）の前方の所定の各位置に物体を配置して、第１ライト２１及び第２ライト２２から照射光を照射する際に、カメラシステム２０により撮像して撮像データを得る。このとき、第１ライト２１及び第２ライト２２の照射角度（の中心（照射軸））を変化させるため、すべての照射角度ごとに撮像データを得ることができる。つまり、既知の照射角度で照射光を照射した際の撮像データ、輝度パタンと、既知の物体までの距離とに基づいて、照射角度ごとの基準指標値を求める。基準指標値算出するにあたり、既知の照射角度に応じて計算式（たとえば、計算式（（ａ×θ＋ｂ）／α）、又は計算式（（ａ×θ^２＋ｂ×θ＋ｃ）／α）を用いて、理論値としての基準指標値を予め算出する。制御装置１０は、予め準備された基準指標値を記憶する。

そして、制御装置１０は、実際にカメラシステム２０により撮像された撮像データの観測領域の第１輝度パタン（Ｉｍｇ１（θｉ））で、同じ観測領域の第２輝度パタン（Ｉｍｇ２（θｉ））を除して得た実測値である指標値Ｑが、予め準備された基準指標値から所定値以上外れていないか否かを判断する。制御装置１０は、観測領域の指標値（実測値に基づく指標値）と、予め準備された理論値としての基準指標値）のパタンマッチングを行う。具体的には、識別された観測領域に含まれる画素の指標値（実測値）と、予め準備された基準指標値のうち観測領域に対応する領域に含まれる画素の基準指標値との差が所定値未満である場合は、その指標値に基づいて観測領域を照射する照射光の照射角度を算出する。つまり、識別された観測領域に含まれる画素の指標値（実測値）と、予め準備された基準指標値のうち観測領域に対応する領域に含まれる画素の基準指標値との差が所定値以上である場合は、何かしらの外乱が生じており、その指標値（実測値）の信頼性は低いと判断し、その値を距離計測処理には用いないようにする。このようにすることにより、距離計測の精度を向上させることができる。

最後に、距離計測システム１００の距離算出機能について説明する。制御装置１０は、算出された観測領域を照射する照射光の照射角度と、観測領域の撮像角度と、予め記憶された第１ライト２１と第２ライト２２とカメラシステム３０のイメージセンサ３１との位置関係に基づき、通常用いられる幾何学的な算出手法を用いて、観測領域に含まれる物体までの距離を算出する。

そして、制御装置１０は、計測した物体までの距離を、所定の周期で障害物報知装置２００及び／又は運転支援装置３００へ出力する。

障害物報知装置２００は、制御装置１０から取得した物体までの距離が所定値未満となった場合は、障害物の接近を知らせる情報を出力する。具体的に、障害物報知装置２００は、障害物の接近を知らせるテキスト音声をスピーカ４００から出力し、障害物の接近を知らせるアイコンなどの画像情報をディスプレイ５００に表示し、又は障害物の接近を知らせる警告音をブザー６００から出力する。

また、運転支援装置３００は、制御装置１０から取得した物体までの距離が所定値未満となった場合は、車両コントローラ７００を介して、物体への接近を回避するための制動を実行する。具体的に、運転支援装置３００は、ブレーキを動作させる制動、車速を低下させる制動などを実行する。

続いて、図８及び図９のフローチャート図に基づいて、本実施形態の距離計測装置１００の制御手順を説明する。図８は、撮像データに基づいて各画素の輝度パタンを求め、その情報を記憶するまでの制御手順を示すフローチャート図であり、図９は、輝度パタンから指標値を算出する処理から、距離の計測処理、障害物報知までの処理の制御手順を示すフローチャート図である。

以下、各図に示す各処理を説明する。

まず、図８のステップＳ１００において、制御装置１０は、第１ライト２１に、照射角度に応じて１次式で照度を変化させた第１照度パタンの照射光を車両前方に向けて照射させる。

その後、ステップＳ１０１において、制御装置１０は、カメラシステム３０のイメージセンサ３１に、ステップＳ１００で照射した照射光が物体の表面に当たり反射した反射光を含む車両前方の画像を撮像させる。

続くステップＳ１０２において、カメラシステム３０のメモリ３２又は制御装置１０のＲＡＭ１３は、ステップＳ１０１でイメージセンサ３１により撮像された画像情報、撮像のタイミングを記憶する。

そして、ステップＳ１０３において、制御装置１０は、第１ライト２１の照射を停止させる。

ステップＳ１０４において、制御装置１０は、カメラシステム３０のイメージセンサ３１に、ステップＳ１０３で第１ライト２１を非照射にした状態の車両前方を撮像させ、基準撮像データ画像を取得させる。基準撮像データは、ステップＳ１００において照射する照射光以外の光に由来する反射光と扱うことができる。この基準撮像データは、ステップＳ１０１において取得した撮像データと同様に、メモリ３２又はＲＡＭ１３が記憶する。

続く、ステップＳ１０５において、制御装置１０は、Ｓ１０２で保存した撮像データとＳ１０４で撮像した基準撮像データの輝度成分の差分をとる。これにより、ステップＳ１００において照射する照射光のみに由来する反射光の撮像データを取得することができる。

そして、ステップＳ１０６において、制御装置１０は、ステップＳ１０５において算出された輝度成分の差分に対応する撮像データをＲＡＭ１３に保存する。

次に、ステップＳ１１０において、制御装置１０は、第２ライト２２に、照射角度に応じて３次式で照度を変化させた第２照度パタンの照射光を車両前方に向けて照射させる。

続くステップＳ１１１において、制御装置１０は、カメラシステム３０のイメージセンサ３１に、ステップＳ１１０で照射した照射光が物体の表面に当たり反射した反射光を含む車両前方の画像を撮像させる。

続くステップＳ１１２において、カメラシステム３０のメモリ３２又は制御装置１０のＲＡＭ１３は、ステップＳ１１１でイメージセンサ３１により撮像された画像情報、撮像のタイミングを記憶する。

そして、ステップＳ１１３において、制御装置１０は、第２ライト２２の照射を停止させる。

ステップＳ１１４において、制御装置１０は、カメラシステム３０のイメージセンサ３１に、ステップＳ１１３で第２ライト２２を非照射にした状態の車両前方を撮像させ、基準撮像データ画像を取得させる。基準撮像データは、ステップＳ１１０において照射する照射光以外の光に由来する反射光として扱うことができる。この基準撮像データは、ステップＳ１１１において取得した撮像データと同様に、メモリ３２又はＲＡＭ１３が記憶する。

続く、ステップＳ１１５において、制御装置１０は、Ｓ１１２で保存した撮像データとＳ１１４で撮像した基準撮像データの輝度成分の差分をとる。これにより、ステップＳ１１０において照射する照射光のみに由来する反射光の撮像データを取得することができる。

そして、ステップＳ１１６において、制御装置１０は、ステップＳ１１５において算出された輝度成分の差分に対応する撮像データをＲＡＭ１３に保存する。

続いて、図９に示す処理へ移行する。

ステップＳ２００において、制御装置１０は、ステップＳ１０６で記憶された撮像データから得た第１輝度パタンで、ステップＳ１１６で記憶された撮像データから得た第２輝度パタンを除して、指標値を求める。この指標値は、撮像データの全画素について求める。第１輝度パタンで第２輝度パタンを除することにより、輝度パタンの距離と反射率の成分が消去され、変数が照射角度のみの関係式で表現される指標値を得ることができる。

さらに、ステップＳＳ２０１において、制御装置１０は、各画素の指標値を比較して連続性を観察する。制御装置１０は、各画素の指標値をスキャンし、隣接する画素の指標値の差が所定値以上となる場合は指標値の連続性が無いと判断し、隣接する画素の指標値の差が所定値未満となる場合は指標値の連続性が有ると判断する。そして、隣接する画素の指標値が所定値以上変化する場合に、ステップＳ２０２へ進む。

続いて、ステップＳ２０３において、制御装置１０は、隣接する画素の指標値の変化が所定値以上となる点を抽出し、この点又はこの点が連続する境界線で区切られた観測領域を識別する。つまり、隣接する画素の指標値の変化が所定値未満となる画素の集合領域を観測領域とし、識別された観測領域をＲＡＭ１３に記憶する。なお、この観測領域を、物体の形状としてＲＡＭ１３に記憶してもよい。

ステップＳ２０３において、制御装置１０は、ステップＳ２０１，ステップＳ２０２の処理を全画素にわたり処理したかどうかを判断する。全画素の処理が終わっていない場合はステップＳ２０１へ戻り、全画素の処理が終わった場合はステップＳ３００の処理へ移行する。

続いて、ステップＳ３００において、制御装置１０は、ステップＳ２０２で保存した観測領域毎に，実際に観測された撮像データ（輝度パタン）から算出された指標値と、予め準備された値であって、各照度パタンの照射光を所定位置に配置した物体に照射した際に得られた基準撮像データの各画素の基準輝度パタンから算出された基準指標値（理論値）とのマッチング処理を行う。すなわち、制御装置１０は、予め準備された基準指標値のうち観測領域に対応する領域に含まれる画素の基準指標値との差が所定値未満である場合は、その指標値に基づいて観測領域を照射する照射光の照射角度を算出する。制御装置１０は、識別された各観測領域の指標値Ｑであって、基準指標値との差が所定値未満である指標値Ｑに基づいて、観測領域を照射する照射光の照射角度θを算出する。制御装置１０は、実測された観測領域の２つの輝度パタンから求めた指標値Ｑの値に基づいて、指標値Ｑ＝（ａ×θ^２＋ｂ×θ＋ｃ）／αの解である照射角度θを求める。

他方、識別された観測領域に含まれる画素の指標値（実測値）と、予め準備された基準指標値のうち観測領域に対応する領域に含まれる画素の基準指標値との差が所定値以上である場合は、何かしらの外乱が生じており、その指標値（実測値）の信頼性は低いと判断し、その値を距離計測処理には用いない。このようにすることにより、距離計測の精度を向上させることができる。

続くステップＳ３０１において、制御装置１０は、ステップＳ３００で算出された照射角度と、観測領域の撮像角度と、予め記憶された第１ライト２１及び第２ライト２２とカメラシステム３０のイメージセンサ３１との位置関係に基づいて、幾何学的手法により物体までの距離を算出する。制御装置１０は、ステップＳ３０１において算出された物体までの距離を障害物報知装置２００及び／又は運転支援装置３００へ送出する。

そして、ステップＳ３０２において、制御装置１０は、ステップＳ３００及びステップＳ３０１の処理が、観測領域に含まれる全画素について行われたかを判断する。このとき、ステップＳ３００及びステップＳ３０１の処理を観測領域に含まれる画素のうち、所定のピッチで配置される画素について実行してもよい。

ステップＳ３０３以降は障害物報知装置２００及び／又は運転支援装置３００の処理である。

ステップＳ３０３において、障害物報知装置２００は、物体までの距離が所定値未満となった場合に、障害物の接近を報知するテキスト音声、アイコンなどの画像、ブザー音を出力させる。同じくステップＳ３０３において、運転支援装置３００は、物体までの距離が所定値未満となった場合に、ブレーキ制動などの運転支援動作を実行する。

本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。

本実施形態の距離計測システム１００によれば、反射率の異なる物体や、距離の異なる物体であっても、物体までの距離を正確に計測することができる。

また、本実施形態の距離計測システム１００によれば、反射率の異なる物体や、距離の異なる物体であっても、物体の形状を正確に計測することができる。

すなわち、本実施形態の距離計測システム１００は、次数の異なる照射角度の関数で表現される２種類の照度パタンの照射光を照射した際の２種類の輝度パタンから算出された指標値を用いて物体までの距離を計測するので、反射率の異なる物体や、距離の異なる物体であっても、物体までの距離や物体の形状を正確に計測することができる。

また、次数の異なる照射角度の関数で表現される２種類の照度パタンの照射光を照射した際の２種類の輝度パタンから算出された指標値の連続性を観察することにより、観測点から同じ距離に位置する物体に対応する観測領域を識別することができるので、反射率の異なる物体や、距離の異なる物体であっても、物体までの距離や物体の形状を正確に計測することができる。

すなわち、本実施形態では、次数の異なる照射角度の関数で表現される照度パタンで照射光の照射を行い、その光の物体面での反射をカメラシステム３０で撮像して２つの輝度パタンを得て、画素毎に２つの輝度パタン値の除算を行うことで反射率や距離の違いによって発生するライト２０（２１、２２）からイメージセンサ３１までの光路における照射光の減衰率の影響を排除し、照射角度のみを変数とする指標値を算出する。そして、この指標値の連続性を観測することにより、イメージセンサ３１から見ると連続的な位置にあるが、ライト２０（２１，２２）から見ると照射角度が不連続になる点、すなわち距離が異なる物体の境界及びこの境界に区切られる観測領域を抽出することができる。さらに、抽出された観測領域の指標値（実測値）に基づいて観測領域ごとの照射角度を算出し、イメージセンサ３１から見た撮像角度、照射光の照射角度、イメージセンサ３１と第１ライト２１及び第２ライト２２の位置関係から三角測量により物体までの距離や三次元形状を計測するので、物体の反射率や、物体までの距離が異なるような場合であっても物体までの距離や形状を精度良く算出できる。

さらに、カメラで撮像したスリット光照射による露光量総和の違いから照射したスリット光照射の照射方向を算出するという、上述した従来の技術では、各スリット光の照射量総和が異なるように、照射光の照射強度と照射のＯＮ／ＯＦＦを制御するマスクパタンを変化させながら光を照射するので、照射光の照射強度を制御する機構とマスクパタンを変更させる機構などが必要となるが、本実施形態ではこのような機構が不要であるため、装置規模の拡大、コスト増及び処理時間の増大などの問題が発生しない。

また、第１照度パタンの照射光を照射した際に得られた第１輝度パタンで、第２照度パタンの照射光を照射した際に得られた第２輝度パタンを除することにより、輝度パタンに含まれる反射率の違いによる成分と距離の違いによる成分が除去された指標値を求めることができるので、反射率の異なる物体や、距離の異なる物体であっても、物体までの距離や物体の形状を正確に計測することができる。

また、第１照度パタンの照射光を照射した際に得られた第１輝度パタンで、第２照度パタンの照射光を照射した際に得られた第２輝度パタンを除して求めた指標値の連続性を観察することにより、観測点から同じ距離に位置する物体に対応する観測領域を識別することができるので、反射率の異なる物体や、距離の異なる物体であっても、物体までの距離や物体の形状を正確に計測することができる。

さらに、第１照度パタンＩｒｒ１（θ）を照射角度の一次式であるＩｒｒ１（θ）＝α×θとし、第２照度パタンＩｒｒ２（θ）を、照射角度の三次式であるＩｒｒ２（θ）＝ａ×θ^３＋ｂ×θ²＋C×θとすることにより（ただし、θは照射光の照射角度、αは照度（明るさ）に係る任意の定数）とした場合も、上述したすべての作用及び効果を奏することができる。

また、次数の異なる照射角度の関数で表現される２種類の照度パタンの照射光を照射した場合において、第１照度パタンＩｒｒ１（θ）で第２照度パタンＩｒｒ２（θ）を除することにより、指標値を変数が照射光照射角度のみである関数として表現することができるため、実測された指標値に基づいて、撮像データにおける各画素の照射角度を算出することができる。

さらに、本実施形態において照射角度を算出する際に、予め実験を行って準備された基準指標値（理論値）と、観測領域に含まれる画素の指標値（実測値）とを比較し、指標値（実測値）と観測領域に対応する領域に含まれる画素の基準指標値との差が所定値未満である場合は、その指標値（実測値）に基づいて観測領域を照射する照射光の照射角度を算出する。これにより、何かしらの外乱が生じて異常な値となっている指標値（実測値）を照射角度の算出処理に用いないようにすることができる。このため、照射角度の算出、ひいては物体までの距離や物体の形状を高い精度で行うことができる。

加えて、本実施形態において輝度パタンを取得する際に、カメラシステム３０は、反射光を撮像するタイミングに相前後して、照射光が照射されない状態の基準撮像データを取得し、制御装置１０は、撮像データの輝度成分から基準撮像データの輝度成分を除去して、輝度パタンを取得するので、照射光以外の光に由来する反射光を除去することができる。つまり、照射光のみに由来する反射光の輝度パタンを取得することができるので、輝度パタンに基づいて算出される指標値、照射角度、ひいては物体までの距離や物体の形状を高い精度で算出することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る距離計測装置の一態様として距離計測システム１００を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本発明に係る距離計測装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備えた距離計測システム１００を一例として説明するが、これに限定されるものではない。

また、本明細書では、本願発明に係る照射手段と、撮像手段と、輝度パタン取得手段と、指標値算出手段と、観測領域識別手段と、照射角算出手段と、距離算出手段とを有する距離計測装置の一態様として、ライト２０と、照射制御機能と、カメラシステム３０と、撮像制御機能と、指標値算出機能と、観測領域識別機能と、照射角算出機能と、距離算出機能とを実現する制御装置１０を備えた距離計測システム１００を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本願発明に係る照射手段の一態様として、第１ライト２１と第２ライト２２とを備えるライト２０を説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本願発明に係る撮像手段の一態様として、イメージセンサ３１とメモリ３２を備えるカメラシステム３０を説明するが、本発明はこれに限定されるものではない。

また、本明細書では、車両に搭載される距離計測システム１００を例に説明したが、本実施形態の距離計測システム１００は、車両のほか、二輪車、飛行機、船舶その他の移動する物体（移動体）に搭載することができる。また、本実施形態の距離計測システム１００は、工作機械など処理対象となる物体を扱う機械に搭載することもできる。

１…車載装置
１００…距離計測システム
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…ライト
２１…第１ライト
２２…第２ライト
３０…カメラシステム
３１…イメージセンサ
３２…メモリ
２００…障害物報知装置
３００…運転支援装置
４００…スピーカ
５００…ディスプレイ
６００…ブザー
７００…車両コントローラ

Claims (7)

1. 次数の異なる照射角度の関数で表現される２種類の照度パタンの照射光を照射する照射手段と、
   前記照射された各照度パタンの照射光が物体の表面に当たり反射した反射光をそれぞれ撮像し、２種類の撮像データを得る撮像手段と、
   前記撮像手段により得られた各撮像データに基づいて、各画素について２種類の輝度パタンを取得する輝度パタン取得手段と、
   前記取得された２種類の輝度パタンに基づいて、各画素の指標値を算出する指標値算出手段と、
   前記算出された各画素の指標値の連続性に基づいて、前記撮像データに含まれる観測領域をそれぞれ識別する観測領域識別手段と、
   前記識別された各観測領域の指標値に基づいて、前記観測領域を照射する照射光の照射角度を算出する照射角算出手段と、
   前記算出された観測領域を照射する照射光の照射角度と、前記観測領域の撮像角度と、予め記憶された前記照射手段と前記撮像手段との位置関係に基づいて、前記観測領域に含まれる物体までの距離を算出する距離算出手段とを有する距離計測装置。
2. 請求項１に記載の距離計測装置において、
   前記指標値算出手段は、前記２種類の照度パタンのうち一方の照度パタンの照射光を照射する際に得られる一方の輝度パタンで、前記２種類の照度パタンのうち他方の照度パタンの照射光を照射する際に得られる他方の輝度パタンを除して、前記指標値を求める距離計測装置。
3. 請求項２に記載の距離計測装置において、
   前記照射手段により照射される２種類の照度パタンのうち、
   一方の照度パタンＩｒｒ１（θ）は、
   Ｉｒｒ１（θ）＝α×θであり、
   他方の照度パタンＩｒｒ２（θ）は、
   Ｉｒｒ２（θ）＝ａ×θ^３＋ｂ×θ²＋C×θである距離計測装置。
   ただし、θは照射光の照射角度、αは照度（明るさ）に係る任意の定数、ａ，ｂ，ｃは任意の定数である。
4. 請求項２に記載の距離計測装置において、
   前記指標値算出手段により算出される指標値は、照射光の照射角度θを変数とする関係式で表現される距離計測装置。
5. 請求項１〜４の何れか一項に記載の距離計測装置において、
   前記照射角算出手段は、
   予め準備された値であって、前記各照度パタンの照射光を所定位置に配置した物体に照射する際に得られる基準撮像データの各画素の基準輝度パタンから算出された基準指標値を取得し、
   前記観測領域識別手段により識別された観測領域に含まれる画素の指標値と、前記基準指標値のうち前記観測領域に対応する領域に含まれる画素の基準指標値との差が所定値未満である場合は、その指標値に基づいて前記観測領域を照射する照射光の照射角度を算出する距離計測装置。
6. 請求項１〜５の何れか一項に記載の距離計測装置において、
   前記撮像手段は、前記反射光を撮像するタイミングに相前後して、前記照射光が照射されない状態の基準撮像データを取得し、
   前記輝度パタン取得手段は、前記撮像手段により撮像された撮像データの輝度成分から前記基準撮像データの輝度成分を除去して、前記輝度パタンを取得する距離計測装置。
7. 照射角度の関数で表現される一方の照度パタンの照射光を照射する際に撮像された撮像データから第１輝度パタンを取得し、
   前記一方の照度パタンとは次数の異なる照射角度の関数で表現される他方の照度パタンの照射光を照射する際に撮像された撮像データから第２輝度パタンを取得し、
   前記取得された第１輝度パタンと第２輝度パタンとに基づいて、各画素の指標値を算出し、
   前記各画素の指標値の連続性に基づいて識別された各観測領域の指標値に基づいて、前記観測領域を照射する照射光の照射角度を算出し、
   前記算出された照射角度と、前記観測領域の撮像角度と、予め記憶された前記照射手段と前記撮像手段との位置関係とに基づいて、前記観測領域に含まれる物体までの距離を算出する距離計測方法。

Images