JP2010145255A - 車両用距離画像データ生成装置及び方法 - Google Patents
車両用距離画像データ生成装置及び方法 Download PDFInfo
- Publication number
- JP2010145255A JP2010145255A JP2008323019A JP2008323019A JP2010145255A JP 2010145255 A JP2010145255 A JP 2010145255A JP 2008323019 A JP2008323019 A JP 2008323019A JP 2008323019 A JP2008323019 A JP 2008323019A JP 2010145255 A JP2010145255 A JP 2010145255A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image data
- distance image
- imaging
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】 自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置及び方法を提供すること。
【解決手段】 投光器5と、イメージインテンシファイア7b及び高速度カメラ8と、タイミングコントローラ9と、高速度カメラ8により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10を備え、画像処理部10は、ノイズによる輝度を抑制しつつ移動平均に基づいて、距離画像データの生成に用いられる輝度を補正するステップS3〜S5の処理を備えた。
【選択図】 図1
【解決手段】 投光器5と、イメージインテンシファイア7b及び高速度カメラ8と、タイミングコントローラ9と、高速度カメラ8により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10を備え、画像処理部10は、ノイズによる輝度を抑制しつつ移動平均に基づいて、距離画像データの生成に用いられる輝度を補正するステップS3〜S5の処理を備えた。
【選択図】 図1
Description
本発明は、車両用距離画像データ生成装置及び方法の技術分野に属する。
特許文献1には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
米国特許第6700123号明細書
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置及び方法を提供することにある。
上記目的を達成するため、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記距離画像データ生成手段は、急峻なノイズによる輝度を排除して演算する移動平均に基づいて、前記距離画像データの生成に用いられる輝度を補正するノイズ抑制手段を備えた、ことを特徴とする。
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。
以下、本発明の車両用距離画像データ生成装置及び方法を実現するための最良の形態を、図面に基づく実施例により説明する。
まず、構成を説明する。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
距離画像データ生成装置2は、投光器(投光手段)5と、対物レンズ6と、光倍増部7と、高速度カメラ(撮像手段)8と、タイミングコントローラ(タイミング制御手段)9と、画像処理部(距離画像データ生成手段)10とを備えている。
投光器5は、車両の前端部に配置した近赤外線LED5a(レンズと発光部を構成する)であり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
投光器5は、車両の前端部に配置した近赤外線LED5a(レンズと発光部を構成する)であり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
光倍増部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア7bの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ8のイメージセンサに導かれる。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器5の投光開始時点からゲート7aを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離(撮像対象距離)を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
タイミングコントローラ9は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。但し、実施例1では、タイミングコントローラ9は、撮像対象距離(ターゲット距離)に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート7aの開閉動作後に撮像動作を終了させることになる。
また、実施例1では、図3に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量(B2-B1)を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
図4は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個(1〜n)であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図4の特性に近くなる。
タイミングコントローラ9は、1フレーム分、すなわち、設定された所定範囲(エリア1、エリア2、…、エリアn)の撮像画像が全て撮像された場合、画像処理部10に対し画像処理指令信号を出力する。
画像処理部10は、高速度カメラ8により撮像された1フレーム分の撮像画像(撮像画素)から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。
物体認識処理部3は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
[距離画像データ生成制御処理]
図5は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
図5は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
ステップS1では、画像処理部10が、投光器5による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。
ステップS2では、画像処理部10が、撮像画像を入力し、ステップS3へと移行する。
以下のステップS3〜S5の処理は、ステップS2で新たな画像が入力される毎に、以前に入力された画像と合わせて所定の複数画像分のデータ処理を行うようにする。つまり、新たに入力された画像をnとすると、例えばn−2〜nまでの画像データ処理を行うようにする。
以下のステップS3〜S5の処理は、ステップS2で新たな画像が入力される毎に、以前に入力された画像と合わせて所定の複数画像分のデータ処理を行うようにする。つまり、新たに入力された画像をnとすると、例えばn−2〜nまでの画像データ処理を行うようにする。
ステップS3では、画像処理部10が、撮像対象距離が前後で所定数となる組み合わせの画素データを抽出する。例えば、同一画素位置で撮像対象距離が、n〜n−2となる輝度データを組にして抽出する。
なお、このデータ抽出は、例えばn〜n−2を抽出したら、次はn+1〜n−1となるようにデータを重複させつつ撮像対象距離を移動させるようにする。
言い換えると、移動平均を算出する移動平均範囲のデータを組として抽出する。この移動平均範囲は、例えばn=3とした場合、全ての撮像対象距離をn=3で除算(割る)した組に分けるのではなく、その抽出数(n=3)を同じにして、その範囲が1つ次の撮像対象距離を含むように徐々に移動させるものである。
なお、このデータ抽出は、例えばn〜n−2を抽出したら、次はn+1〜n−1となるようにデータを重複させつつ撮像対象距離を移動させるようにする。
言い換えると、移動平均を算出する移動平均範囲のデータを組として抽出する。この移動平均範囲は、例えばn=3とした場合、全ての撮像対象距離をn=3で除算(割る)した組に分けるのではなく、その抽出数(n=3)を同じにして、その範囲が1つ次の撮像対象距離を含むように徐々に移動させるものである。
ステップS4では、画像処理部10が、ステップS3で抽出した輝度データの組から、輝度値が最大のデータを除去する。
ステップS5では、画像処理部10が、ステップS4で最大値を除去したデータの組の平均輝度値を算出し、これを例えば、その撮像対象距離の中央の輝度値データとする。これを移動平均値とする。そして、画素ごとに移動平均値が最大となる画像の番号(ディレイ時間)を算出し、距離データへ一次変換する。
例えば、各画素データの最大輝度の画像の番号(フレーム番号)を記憶し、この番号と撮像対象距離との係数を乗じて(一次関数変換して)距離データを得る。
例えば、各画素データの最大輝度の画像の番号(フレーム番号)を記憶し、この番号と撮像対象距離との係数を乗じて(一次関数変換して)距離データを得る。
ステップS6では、画像処理部10が、1フレーム分(エリア1、エリア2、…、エリアn)の画像入力が終了したか否かを判定する。YESの場合にはステップS7へ移行し、NOの場合にはステップS2へ移行する。
ステップS7では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。
次に、作用を説明する。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
上記方法で得られた高速度カメラ8の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
さらに、実施例1では、ディレイ時間tDを変化させながら撮像エリア1〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ(距離画像データ)を生成する。
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる(SN比が小さい)ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識(物体の特定)を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
これに対し、実施例1では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
さらに、実施例1では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
図6は、自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図7に示すように、歩行者の位置でピークを取る三角形の特性を示す。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図7に示すように、歩行者の位置でピークを取る三角形の特性を示す。
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、1つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図8に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
[ノイズの除去作用]
実施例1の距離画像データ生成装置2では、夜間や視界が悪い状況でも、より遠方の物体を検出するために、近赤外線LED5aの微弱な反射光を、イメージインテンシファイア7bで増幅させている。
このイメージインテンシファイア7bの増幅では、真空管の中に残留イオンにより映像にノイズが出てしまう。
実施例1の距離画像データ生成装置2では、夜間や視界が悪い状況でも、より遠方の物体を検出するために、近赤外線LED5aの微弱な反射光を、イメージインテンシファイア7bで増幅させている。
このイメージインテンシファイア7bの増幅では、真空管の中に残留イオンにより映像にノイズが出てしまう。
実施例1では移動平均処理により、このノイズを取り除く処理を行う。
移動平均は、例えば、同一画素位置において、ある撮像対象距離と、その前の撮像対象距離、その次の撮像対象距離の3つの輝度値データの平均値を取り、その撮像対象距離のデータに置き換えるものである。
つまり、図4や図8において、撮像対象距離が移動し、これに対応して輝度値データが変化していく場合に、その輝度値データは、それぞれその撮像対象距離の前後との平均値となる。そして、撮像対象距離に対して、n=3の平均値が推移していく。このnを移動平均回数とする。
移動平均は、例えば、同一画素位置において、ある撮像対象距離と、その前の撮像対象距離、その次の撮像対象距離の3つの輝度値データの平均値を取り、その撮像対象距離のデータに置き換えるものである。
つまり、図4や図8において、撮像対象距離が移動し、これに対応して輝度値データが変化していく場合に、その輝度値データは、それぞれその撮像対象距離の前後との平均値となる。そして、撮像対象距離に対して、n=3の平均値が推移していく。このnを移動平均回数とする。
すると、実施例1では、図8に示すように、撮像対象に対して、複数の撮像対象距離のデータにより、ピークを検出するようにしているため、移動平均により、輝度値データの撮像対象距離に対する変化が緩やかになり、ノイズにより1つの撮像対象距離における輝度値が高くなっているものは、前後との平均となることにより、撮像対象とは検出されにくい値となる。
図9は実施例1の距離画像データ生成装置において、移動平均を行わない場合の距離画像の例である。図10は実施例1の距離画像データ生成装置において、移動平均回数を2回とした場合の距離画像の例である。図11は実施例1の距離画像データ生成装置において、移動平均回数を3回とした場合の距離画像の例である。
図9は実施例1の距離画像データ生成装置において、移動平均を行わない場合の距離画像の例である。図10は実施例1の距離画像データ生成装置において、移動平均回数を2回とした場合の距離画像の例である。図11は実施例1の距離画像データ生成装置において、移動平均回数を3回とした場合の距離画像の例である。
図9に示すように、距離画像中には、ノイズ50が複数存在している。これに対して、図10、図11に示すように移動平均処理を行ったものは、距離画像中のノイズ50が少なくなっていることがわかる。このように移動平均処理により、ノイズの除去が行えていることがわかる。
ここで、移動平均処理の移動平均回数を多くしていけば、ノイズをさらに除去することになるが、リソースを多く消費してしまう。言い換えると、処理負荷が高くなり、マイコン等のコストを増加しなければならなくなる。
ここで、移動平均処理の移動平均回数を多くしていけば、ノイズをさらに除去することになるが、リソースを多く消費してしまう。言い換えると、処理負荷が高くなり、マイコン等のコストを増加しなければならなくなる。
そのため実施例1では、この移動平均処理の前に最大値除去処理を行うようにしている。
この処理では、例えば移動平均が3回の場合に、画像データが画像処理部10に入力されると(ステップS2)、その前の撮像対象距離の画素の移動平均値が求められることになる。
その際には、まず、同一画素毎に撮像対象距離が前後する3つの輝度データを1組となるように抽出する(ステップS3)。そして、その1組の中で、最大値を除去する(ステップS4)。
次に、この1組の平均値を算出し、これを移動平均値とし、その撮像対象距離の輝度データと置き換える。そして、この移動平均値を、距離画像を生成する画素ごとの輝度データにする(ステップS5)。
この処理では、例えば移動平均が3回の場合に、画像データが画像処理部10に入力されると(ステップS2)、その前の撮像対象距離の画素の移動平均値が求められることになる。
その際には、まず、同一画素毎に撮像対象距離が前後する3つの輝度データを1組となるように抽出する(ステップS3)。そして、その1組の中で、最大値を除去する(ステップS4)。
次に、この1組の平均値を算出し、これを移動平均値とし、その撮像対象距離の輝度データと置き換える。そして、この移動平均値を、距離画像を生成する画素ごとの輝度データにする(ステップS5)。
イメージインテンシファイア7bの光学倍増作用に起因するノイズは、その発生が非常にランダムであるため、同一画素で前後の撮像対象距離にも発生することはほとんどない。そのため、このように、例えば前後3つのデータにおいて、最大値を除去し、この移動平均値をデータとすると、ノイズが確実に除去され、且つ変化を撮像対象距離に対する輝度値データの変化を緩やかにして撮像対象に起因する輝度ピークは確実に捉えることになる。
この最大値除去処理(ステップS4)によって、移動平均回数を少なくして、ノイズを除去した距離画像を生成する。
この最大値除去処理(ステップS4)によって、移動平均回数を少なくして、ノイズを除去した距離画像を生成する。
図12は実施例1の距離画像データ生成装置において、移動平均回数を2回とし、且つ最大値除去を行った場合の距離画像の例である。図13は実施例1の距離画像データ生成装置において、移動平均回数を3回とし、且つ最大値除去を行った場合の距離画像の例である。
図9に示す距離画像中に複数存在したノイズ50は、最大値除去処理と移動平均回数の少ない移動平均処理により、図12、図13に示すように確実に除去されている。これは、図10、図11より効果高くノイズ50の除去が行えていることがわかる。
図9に示す距離画像中に複数存在したノイズ50は、最大値除去処理と移動平均回数の少ない移動平均処理により、図12、図13に示すように確実に除去されている。これは、図10、図11より効果高くノイズ50の除去が行えていることがわかる。
図14は実施例1の距離画像データ生成装置において、ノイズが発生している画素位置の同一画素の撮像対象距離と輝度値の関係を示すグラフ図である。
図14には、移動平均処理を行わない場合を符号100、移動平均回数を3回とした移動平均処理を行う場合を符号101、最大値除去処理と移動平均回数を3回とした移動平均処理を行う場合を符号102で示す。
図14には、移動平均処理を行わない場合を符号100、移動平均回数を3回とした移動平均処理を行う場合を符号101、最大値除去処理と移動平均回数を3回とした移動平均処理を行う場合を符号102で示す。
図14に符号100で示す移動平均処理を行わない場合には、急峻に変化するノイズ50が全撮像対象距離において輝度ピークとなり、距離画像にノイズ50があるものとなってしまう。移動平均処理のみを行った図14に符号101で示すものでは、少ない移動平均回数のため、ノイズ50を充分に低下できておらず、このデータの場合には、やはり距離画像にノイズ50があるものとなってしまう。
これに対して、最大値除去処理と移動平均処理を行ったものでは、ノイズ50が充分に除去され、撮像対象(物体)を確実に検出できる距離画像を生成するデータが形成されていることがわかる。
これに対して、最大値除去処理と移動平均処理を行ったものでは、ノイズ50が充分に除去され、撮像対象(物体)を確実に検出できる距離画像を生成するデータが形成されていることがわかる。
さらに説明を加える。
車両において、実施例1の距離画像データ生成装置2の生成する距離画像データを障害物等の検出等に用いる場合には、運転を行うドライバを支援するため、検出からその内容をドライバへ伝達する時間を非常に短時間にする必要がある。そのためには、時間のかかる処理を行うことは、好ましくない。そのため、時間のかかる処理を短時間にするためには、マイコン等が高コストなものになってしまう。実施例1の距離画像データ生成装置2では、このような高コストを招くことなく、ノイズが除去された精度のよい距離画像データを車両に提供する。
車両において、実施例1の距離画像データ生成装置2の生成する距離画像データを障害物等の検出等に用いる場合には、運転を行うドライバを支援するため、検出からその内容をドライバへ伝達する時間を非常に短時間にする必要がある。そのためには、時間のかかる処理を行うことは、好ましくない。そのため、時間のかかる処理を短時間にするためには、マイコン等が高コストなものになってしまう。実施例1の距離画像データ生成装置2では、このような高コストを招くことなく、ノイズが除去された精度のよい距離画像データを車両に提供する。
次に、効果を説明する。
実施例1の距離画像データ生成装置2にあっては、以下に列挙する効果を奏する。
実施例1の距離画像データ生成装置2にあっては、以下に列挙する効果を奏する。
(1)自車両前方に所定周期でパルス光を投光する投光器5と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア7b及び高速度カメラ8と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、イメージインテンシファイア7b及び高速度カメラ8により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10を備え、画像処理部10は、急峻なノイズによる輝度を排除して演算する移動平均に基づいて、距離画像データの生成に用いられる輝度を補正するステップS3〜S5の処理を備えたため、自車両前方の状況を連続的に把握でき、イメージインテンシファイア7bに起因し、連続するターゲット距離に単発的に現れるノイズが、光学倍増作用により高い輝度値であることから、移動平均計算範囲の最大輝度値を除くことで、これを除去し、精度のよい距離画像データを生成することができる。
(2)上記(1)において、ノイズの抑制は、同一画素で、ターゲット距離が連続する複数の輝度を1組とし、同組の範囲をターゲット距離で移動させつつ組毎に抽出を行うステップS3の処理と、1組の複数の輝度から最大輝度を除くステップS4の処理と、最大輝度が除かれた1組の中の平均を移動平均として算出し、これをターゲット距離の輝度とするステップS5の処理を備えたため、イメージインテンシファイア7bに起因するノイズを、最大値として除去し、移動平均処理を行うことにより、最大値とならないノイズの影響が距離画像データに反映されないよう抑制する。これにより、物体を捉える緩やかな輝度変化を確実に捉える輝度値にして、この輝度値により距離画像データが生成されるようにして、イメージインテンシファイア7bに起因するノイズを除去して精度のよい距離画像データを生成することができる。
(3)上記(2)において、タイミングコントローラ9は、物体を複数の撮像画像で捉えるよう撮像タイミングを制御し、ステップS4の処理が抽出する1組のターゲット距離の数を、物体を捉える撮像画像の数より小さくしたため、移動平均により輝度変化を緩やかにする作用が、物体の反射が形成する輝度変化を阻害しないようにし、且つステップS5の処理で排除できない輝度値の低いノイズを平均化処理で距離画像データに反映されないよう抑制することができる。
(4)自車両前方に所定周期でパルス光を投光し、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像し、ターゲット距離が連続的に変化するように撮像タイミングを制御し、急峻なノイズによる輝度を排除して演算する移動平均に基づいて、距離画像データの生成に用いられる輝度を補正するステップS3〜S5の処理を行ない、撮像され、ノイズの影響を抑制されたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成したため、自車両前方の状況を連続的に把握でき、イメージインテンシファイア7bに起因し、連続するターゲット距離に単発的に現れるノイズが、光学倍増作用により高い輝度値であることから、移動平均計算範囲の最大輝度値を除くことで、これを除去し、精度のよい距離画像データを生成することができる。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、1フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
1 障害物検出装置
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器(投光手段)
5a 近赤外線LED
6 対物レンズ
7 光増倍部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ(撮像手段)
9 タイミングコントローラ(タイミング制御手段)
10 画像処理部(距離画像データ生成手段)
50 ノイズ
100 (移動平均処理を行わない場合の輝度変化を示す)線
101 (移動平均回数を3回とした移動平均処理を行う場合の輝度変化を示す)線
102 (最大値除去処理と移動平均回数を3回とした移動平均処理を行う場合の輝度変化を示す)線
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器(投光手段)
5a 近赤外線LED
6 対物レンズ
7 光増倍部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ(撮像手段)
9 タイミングコントローラ(タイミング制御手段)
10 画像処理部(距離画像データ生成手段)
50 ノイズ
100 (移動平均処理を行わない場合の輝度変化を示す)線
101 (移動平均回数を3回とした移動平均処理を行う場合の輝度変化を示す)線
102 (最大値除去処理と移動平均回数を3回とした移動平均処理を行う場合の輝度変化を示す)線
Claims (4)
- 自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記距離画像データ生成手段は、
急峻なノイズによる輝度を排除して演算する移動平均に基づいて、前記距離画像データの生成に用いられる輝度を補正するノイズ抑制手段を備えた、
ことを特徴とする車両用距離画像データ生成装置。 - 請求項1に記載の車両用距離画像データ生成装置において、
前記ノイズ抑制手段は、
同一画素で、前記ターゲット距離が連続する複数の輝度を1組とし、同組の範囲を前記ターゲット距離で移動させつつ組毎に抽出を行う抽出手段と、
1組の複数の輝度から最大輝度を除く最大輝度除去手段と、
最大輝度が除かれた1組の中の平均を移動平均として算出し、これをターゲット距離の輝度とする移動平均算出手段と、
を備えたことを特徴とする車両用距離画像データ生成装置。 - 請求項2に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、前記物体を複数の撮像画像で捉えるよう前記撮像タイミングを制御し、前記抽出手段が抽出する1組のターゲット距離の数を、前記物体を捉える撮像画像の数より小さくした、
ことを特徴とする車両用距離画像データ生成装置。 - 自車両前方に所定周期でパルス光を投光し、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像し、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御し、
急峻なノイズによる輝度を排除して演算する移動平均に基づいて、前記距離画像データの生成に用いられる輝度を補正し、
撮像され、補正されたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成した、
ことを特徴とする車両用距離画像データ生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008323019A JP2010145255A (ja) | 2008-12-19 | 2008-12-19 | 車両用距離画像データ生成装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008323019A JP2010145255A (ja) | 2008-12-19 | 2008-12-19 | 車両用距離画像データ生成装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010145255A true JP2010145255A (ja) | 2010-07-01 |
Family
ID=42565848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008323019A Pending JP2010145255A (ja) | 2008-12-19 | 2008-12-19 | 車両用距離画像データ生成装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010145255A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021039080A (ja) * | 2019-09-05 | 2021-03-11 | パナソニックIpマネジメント株式会社 | 物体情報生成装置、処理装置およびデータ処理システム |
CN112802090A (zh) * | 2021-01-23 | 2021-05-14 | 行云智能(深圳)技术有限公司 | 一种单目视觉测距的处理方法 |
JPWO2021256223A1 (ja) * | 2020-06-19 | 2021-12-23 | ||
WO2023013776A1 (ja) * | 2021-08-05 | 2023-02-09 | 株式会社小糸製作所 | ゲーティングカメラ、車両用センシングシステム、車両用灯具 |
-
2008
- 2008-12-19 JP JP2008323019A patent/JP2010145255A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021039080A (ja) * | 2019-09-05 | 2021-03-11 | パナソニックIpマネジメント株式会社 | 物体情報生成装置、処理装置およびデータ処理システム |
JPWO2021256223A1 (ja) * | 2020-06-19 | 2021-12-23 | ||
WO2021256223A1 (ja) * | 2020-06-19 | 2021-12-23 | パナソニックIpマネジメント株式会社 | 物体検知システム及び物体検知方法 |
JP7503750B2 (ja) | 2020-06-19 | 2024-06-21 | パナソニックIpマネジメント株式会社 | 物体検知システム及び物体検知方法 |
CN112802090A (zh) * | 2021-01-23 | 2021-05-14 | 行云智能(深圳)技术有限公司 | 一种单目视觉测距的处理方法 |
WO2023013776A1 (ja) * | 2021-08-05 | 2023-02-09 | 株式会社小糸製作所 | ゲーティングカメラ、車両用センシングシステム、車両用灯具 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009257983A (ja) | 車両用距離画像データ生成装置および車両用距離画像データの生成方法 | |
JP6851985B2 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
JP2009257981A (ja) | 車両用距離画像データ生成装置 | |
JP2010170449A (ja) | 車両用距離画像データ生成装置及び方法 | |
WO2017110413A1 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
JP2010121995A (ja) | 車両用距離画像データ生成装置 | |
JP6471528B2 (ja) | 物体認識装置、物体認識方法 | |
JP4248558B2 (ja) | 道路区画線検出装置 | |
JP2010061304A (ja) | 車両用距離画像データ生成装置 | |
KR20070005553A (ko) | 촬상시스템 | |
JP2010066221A (ja) | 車両用距離画像データ生成装置 | |
JP6766071B2 (ja) | 車両用画像取得装置およびそれを備えた車両 | |
WO2018110183A1 (ja) | 撮像制御装置、撮像制御方法、プログラムおよび記録媒体 | |
WO2020196513A1 (ja) | 物体検出装置 | |
JP6851986B2 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
JP2010054461A (ja) | 車両用距離画像データ生成装置 | |
JP2010071704A (ja) | 車両用距離画像データ生成装置及び方法 | |
JP2009257982A (ja) | 車両用距離画像データ生成装置 | |
JP2009177309A (ja) | 撮像手段の調整装置および車外監視装置 | |
JP2010145255A (ja) | 車両用距離画像データ生成装置及び方法 | |
US20080012942A1 (en) | Imaging System | |
US10953813B2 (en) | Image acquisition device to be used by vehicle and vehicle provided with same | |
JP2009282906A (ja) | 車両用距離画像データ生成装置 | |
JP2009258015A (ja) | 車両用距離画像データ生成装置および車両用距離画像データの生成方法 | |
JP2009281895A (ja) | 車両用距離画像データ生成装置および車両用距離画像データの生成方法 |