JP2009208676A - 車両周囲環境検出装置 - Google Patents

車両周囲環境検出装置 Download PDF

Info

Publication number
JP2009208676A
JP2009208676A JP2008055002A JP2008055002A JP2009208676A JP 2009208676 A JP2009208676 A JP 2009208676A JP 2008055002 A JP2008055002 A JP 2008055002A JP 2008055002 A JP2008055002 A JP 2008055002A JP 2009208676 A JP2009208676 A JP 2009208676A
Authority
JP
Japan
Prior art keywords
vehicle
accuracy
detected
detection means
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008055002A
Other languages
English (en)
Other versions
JP5130959B2 (ja
Inventor
Migaku Takahama
琢 高浜
Fuminori Takeda
文紀 武田
Hideki Iwasaki
英城 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2008055002A priority Critical patent/JP5130959B2/ja
Publication of JP2009208676A publication Critical patent/JP2009208676A/ja
Application granted granted Critical
Publication of JP5130959B2 publication Critical patent/JP5130959B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】レーダを用いて物体の属性を高い精度で判別する。
【解決手段】車両は、レーザの反射信号を受光して、車両周囲の物体を検出するレーザレーダ1と、レーザレーダ1が検出した物体の動きを検出する動き検出機能、レーザレーダ1における受光状態を検出する受信状態検出機能、並びにそれら検出した物体の動き及び受光状態を基に、レーザレーダ1が検出した物体が人間で確度を算出する確度算出機能を有する外界認識装置5を備える。
【選択図】図1

Description

本発明は、車両周囲の歩行者等、車両周囲の環境を検出する車両周囲環境検出装置に関する。
特許文献1では、レーダの反射波の強度やばらつきに応じて検出物体の属性(車両か否か)を判定し、検出物体が非車両の場合、そのエリアのみ画像処理をして、レーダで検出した物体が人間であるか否かを判定している。この技術では、カメラで撮像した全エリアを画像処理して歩行者を検出するのではなく、レーダ反射波の強度やばらつきを基に、他の車両以外の位置に相当する画像領域に限定して画像処理することで、歩行者検出のための画像処理の処理負荷を低減している。
特開2004−191131号公報
しかしながら、特許文献1では、レーダの反射波の強度やばらつきのみで車両か否かを判別しているため、車両の判別精度が低くなる、といった課題がある。またその結果として、誤検出した車両に対しても画像処理を行ってしまうため、歩行者検出のための画像処理の処理負荷が多くなる、といった課題がある。
本発明の課題は、レーダを用いて物体の属性を高い精度で判別することである。
前記課題を解決するために、本発明に係る請求項1に記載の車両周囲環境検出装置は、検出用信号を出射し、その反射信号を受信して、物体検出手段が検出した車両周囲の物体の動きと、前記物体検出手段の受信状態とを基に、物体検出手段が検出した物体が特定の物体である確度を確度算出手段により算出する。ここで、特定の物体とは例えば歩行者である。
本発明によれば、物体検出手段による物体の属性の判別結果となる特定の物体である確度の算出精度を高めることができる。これにより、この確度を物体識別手段の処理に反映させることで、物体識別手段の処理負荷の低減が可能となる。
本発明を実施するための最良の形態(以下、実施形態という。)を図面を参照しながら詳細に説明する。
(第1の実施形態)
(構成)
第1の実施形態は、本発明を適用した車両である。図1は、その車両の構成を示す。
図1に示すように、車両は、レーザレーダ1、レーダ処理装置2、CCD(Charge Coupled Device)カメラ3、画像処理装置4、外界認識装置5、車速検出装置6、操舵角検出装置7、自動ブレーキ制御装置8、負圧ブレーキブースタ9及び警報ブザー10を備える。
レーザレーダ1は、車両前方を走査するスキャニング式レーザレーダであり、走査結果をレーダ処理装置2に出力する。レーダ処理装置2は、レーザレーダ1の走査結果を基に、歩行者候補物体を抽出する。具体的には、レーダ処理装置2は、一つ又は複数の物体(歩行者候補物体)に対して自車両を原点とする2次元(車間距離方向と車幅方向)座標値を算出し、物体の幅(大きさ)を算出する。CCDカメラ3は、プログレッシブスキャン式3CCDカメラであり、自車両前方の状況を高速に把握する。CCDカメラ3は、撮像結果(撮像画像)を画像処理装置4に出力する。画像処理装置4は、画像処理により歩行者の認識処理を実施する。レーダ処理装置2及び画像処理装置4は、認識処理の結果を外界認識装置5に出力する。また、車速検出装置6は、自車両の状態量を推定するために、従属左右車輪速度を検出する。操舵角検出装置7は、前輪操舵角を検出する。車速検出装置6及び操舵角検出装置7は、検出結果を外界認識装置5に出力する。
外界認識装置5は、レーダ処理装置2が算出した物体(歩行者候補物体)の位置と、画像処理装置4で認識した歩行者の位置からセンサーフュージョンによる位置精度向上や追跡の頑強化及び歩行者の判別の処理を行う。外界認識装置5は、処理結果を自動ブレーキ制御装置8に出力する。自動ブレーキ制御装置8は、外界認識装置5が判別した歩行者との距離を基に、制動力を算出し、その算出結果を基に、負圧ブレーキブースタ9を制御(自動制動制御)する。負圧ブレーキブースタ9は、前後輪の任意の制動力を達成するためのものである。自動ブレーキ制御装置8は、負圧ブレーキブースタ9のソレノイドバルブに制動力指令電圧を印加して、制動力を付与し、自車両を減速させる。また、自動ブレーキ制御装置8は、外界認識装置5が判別した歩行者との距離を基に、警報タイミングを算出し、その算出結果を基に、警報ブザー10を制御(自動警報出力制御)する。これにより、警報ブザー10により警報出力して、運転者に注意を促す。これらのレーダ処理装置2や自動ブレーキ制御装置8はそれぞれ、マイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路等を備え、互いに通信回路を介して情報を送受信する。
図2は、外界認識装置5の処理手順を示す。ここで、処理を全て100(msec)毎に実施する(サンプリング周期=100msec)。
図2に示すように、処理を開始すると、先ずステップS1において、外界認識装置5は、車速検出装置6及び操舵検出装置7から車速Vsp_z0(m/sec)及び操舵角Str_z0(rad)を読み込む。ここで、操舵角Str_z0は、右方向への操舵が正値になる。また、Vsp_z0、Str_z0の「_z0」は、今回のサンプリングにおける値を意味し、「_z1」であれば、前回のサンプリングにおける値を意味する。
続いてステップS2において、外界認識装置5は、左右位置(横方向位置)Px_z0[i]、前後位置(縦方向位置)Py_z0[i]及び大きさobjW_z0[i]を読み込む(レーダ処理装置2の処理結果を読み込む)。ここで、左右位置(横方向位置)Px_z0[i]、前後位置(縦方向位置)Py_z0[i]及び大きさobjW_z0[i]は、レーザレーダ1が検出した物体(歩行者候補物体)の情報である。物体の左右位置Px_z0[i]及び物体の前後位置Py_z0[i]は、自車両位置を原点とした位置になる。また、外界認識装置5は、受光強度の平均値L_av_z0[i]、受光強度の分散値L_dv_z0及び受光強度の過去1秒間における時間的なバラツキ(例えば標準偏差)L_sdv[i]を読み込む(レーダ処理装置2の処理結果を読み込む)。ここで、受光強度の平均値L_av_z0[i]、受光強度の分散値L_dv_z0及び受光強度の過去1秒間における時間的なバラツキL_sdv[i]は、レーザレーダ1そのものの情報である。また、各値の[i]は、検出物体ごとに割り当てたID番号を意味する。よって、ステップS2では、レーザレーダ1が検出した物体[i]の全て(i=1〜N、N:整数)について、左右位置Px_z0[i]等の各種値を読み込んでいる。
続いてステップS3において、外界認識装置5は、前記ステップS2で検出した各物体[i]について、自車両に対する横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]を下記(1)式で表す伝達関数により算出する。
G(Z)=(c・Z−c)/(Z−a・Z+b) ・・・(1)
ここで、Zは進み演算子である。また、a,b,cは正数であり、これらは所望の擬似微分特性を有するようにサンプリング周期100msecで離散化したものである。また、以下の説明中の相対速度の符号については、負値の縦方向相対速度は、自車両との接近方向の値を意味し、負値の横方向相対速度は、自車両進行方向に対して右側方向の値を意味する。
続いてステップS4において、外界認識装置5は、物体の前後の動きに関して、該物体が歩行者らしい度合い(以下、第1歩行者確度という。)R1[i]を算出する。具体的には、外界認識装置5は、前記ステップS1で読み込んだ車速Vsp_z0及びステップS3で算出した縦方向相対速度rVy_z0[i]を用いて、下記(2)式により第1歩行者確度R1[i]を算出する。
R1[i]=func1(rVy_z0[i]+Vsp_z0) ・・・(2)
ここで、関数func1(A)は、その変数Aに対して図3に示すような特性を有する。図3に示すように、変数Aが0となる値を中心として、ある値±A1の範囲内で、変数Aが0に近づくほど、第1歩行者確度R1[i]は大きくなる。そして、ある値±A2(|A2|<|A1|)の範囲内で、第1歩行者確度R1[i]は正値となる(R1[i]>0)。
この(2)式中、変数(rVy_z0[i]+Vsp_z0)は、レーザレーダ1が検出した物体の自車両の前後方向における速度そのものを示すものである。そして、変数(rVy_z0[i]+Vsp_z0)は、レーザレーダ1が検出した物体が真の歩行者であれば、その歩行速度は限定的となる(小さくなる)。よって、(2)式によれば、レーザレーダ1が検出した物体の速度が大きくなるほど、第1歩行者確度R1[i]は小さくなるから、自車両の前後方向における移動速度が歩行者としてあり得ない値の場合には、第1歩行者確度R1[i]は小さくなる。これを考慮して、例えば、A1は4(m/sec)であり、A2は3(m/sec)である。また、第1歩行者確度R1[i]のとり得る値の範囲は−0.5〜0.5となる(R1[i]∈[−0.5,0.5])。
続いてステップS5において、外界認識装置5は、物体の左右の動きに関して、該物体が歩行者らしい度合い(以下、第2歩行者確度という。)R2[i]を算出する。具体的には、外界認識装置5は、前記ステップS3で算出した横方向相対速度rVx_z0[i]を用いて、下記(3)式により第2歩行者確度R2[i]を算出する。
R2[i]=func1(rVx_z0[i]) ・・・(3)
この(3)式の関数func1(A)も、その変数Aに対して図3に示すような特性を有する。この(3)式中、変数rVx_z0[i]は、レーザレーダ1が検出した物体の自車両の左右方向における速度そのものに等しい値を示している。そして、レーザレーダ1が検出した物体が真の歩行者であれば、その歩行速度は限定的となる(歩行速度は小さい)。よって、(3)式によれば、レーザレーダ1が検出した物体の速度が大きくなるほど、第2歩行者確度R2[i]は小さくなるから、自車両の左右方向における移動速度が歩行者として有り得ない値の場合、第2歩行者確度R2[i]は小さくなる。また、第2歩行者確度R2[i]のとり得る値の範囲は−0.5〜0.5となる(R2[i]∈[−0.5,0.5])。
続いてステップS6において、外界認識装置5は、さらに物体が歩行者らしい度合い(以下、第3歩行者確度という。)R3[i]を算出する。具体的には、外界認識装置5は、前記ステップS2で読み込んだ受光強度の平均値L_av_z0[i]及び物体の前後位置Py_z0[i]を用いて、下記(4)式により第3歩行者確度R3[i]を算出する。
R3[i]=func3(L_av_z0[i]−func2(Py_z0[i])) ・・・(4)
ここで、関数func2(A)は、その変数Aに対して図4に示すような特性を有する。また、関数func3(A)は、その変数Aに対して図5に示すような特性を有する。なお、図4及び図5中、RefMaxは反射強度(受光強度)の最大値を示す。
この(4)式中、関数func2は、物体の前後位置Py_z0[i]が自車両から遠くの位置になるほど(自車両との距離が長くなるほど)、小さくなる。よって、(4)式によれば、物体の前後位置Py_z0[i]を基に関数func2で得た値と、受光強度の平均値L_av_z0[i]との差分が大きくなるほど、第3歩行者確度R3[i]は小さくなる。例えば、自車両から物体が遠くに位置しているのにもかかわらず、反射強度が大きい場合には、第3歩行者確度R3[i]はより1に近くなる。例えば、検出した物体が道路脇に設置されている路側構造物であるリフレクターの場合、それが自車両から遠くに位置していても、反射強度が大きくなる。このような場合に、第3歩行者確度R3[i]はより1に近くなる。
すなわち、関数func2(Py_z0[i])の値は、自車両と物体との距離から、予想される反射強度の値を示すものである。このため、第3歩行者確度R3[i](関数func3の値)は、その予想される反射強度と、実際に物体から得た反射強度との乖離度合いを評価する値となる。このような第3歩行者確度R3[i]により、物体との距離の情報に加えて、レーザレーダ1の反射強度の情報を基に、物体の属性を判定できるようにしている。この第3歩行者確度R3[i]のとり得る値の範囲は0〜1となる(R3[i]∈[0,1])。
なお、この実施形態では、受光強度の平均値L_av_z0[i]を用いた。これに代えて、前記ステップS2で読み込んだグルーピングした各反射地点の分散値L_dv_z0や受光強度の過去1秒間における時間的なバラツキL_sdv[i]を用いても良い。
続いてステップS7において、外界認識装置5は、最終的な歩行者らしい度合い(以下、総歩行者確度という。)R[i]を算出する。具体的には、外界認識装置5は、前記ステップS4〜ステップS6で算出した第1〜第3歩行者確度R1[i],R2[i],R3[i]を用いて、下記(5)式により総歩行者確度R[i]を算出する。
tmp[i]=(R1[i]+R2[i])・R3[i]
if(tmp[i]<0) {R[i]=0}
else{R[i]=tmp[i]}
・・・(5)
ここで、if(expression) statement1 else statement2は、expressionを満たす場合にstatement1を実施し、expressionを満たさない場合にはstatement2を実施する関数である。この(5)式によれば、総歩行者確度R[i]は、その値が大きくなるほど(その確度が高くなるほど)、レーザレーダ1で検出した物体が歩行者である可能性が高くなることを示す。ここで、総歩行者確度R[i]のとり得る値の範囲は0〜1となる(R[i]∈[0,1])。ここで、物体の移動速度が歩行者としてあり得ないほど大きい場合を考える。すなわち、第1歩行者確度R1[i]や第2歩行者確度R2[i]が負値になり、第1歩行者確度R1[i]と第2歩行者確度R2[i]との合算値(R1[i]+R2[i])が負値となる場合を考える。この場合、(5)式によれば、レーザレーダ1の受光強度が弱く、第3歩行者確度R3[i]が大きくなるときでも、総歩行者確度R[i]は正値を示すことはない。すなわち、第3歩行者確度R3[i]は、物体の移動速度が歩行者としてあり得ないほど大きければ、それを支配的なものとして扱い、レーザレーダ1の受光強度に関係なく、物体が歩行者である可能性を常に低く見積もることが可能な値になっている。
続いてステップS8において、外界認識装置5は、微分演算等で用いる変数の過去値を更新して終了する。すなわち、前記ステップS3の伝達関数を離散式として解く場合に、そのときに用いる変数の過去値を更新する。
(動作)
一連の動作は次のようになる。
車両走行中、レーザレーダ1が走査結果をレーダ処理装置2に出力し、レーダ処理装置2は、レーザレーダ1の走査結果を基に、歩行者候補物体を抽出する。その一方で、CCDカメラ3は、自車両前方の状況の撮像画像を画像処理装置4に出力し、画像処理装置4は、画像処理により歩行者の認識処理を実施する。そして、レーダ処理装置2及び画像処理装置4は、認識処理の結果を外界認識装置5に出力する。また、車速検出装置6及び操舵角検出装置7は、検出結果を外界認識装置5に出力する。外界認識装置5は、入力を基に、物体が人間である確度を算出する。すなわち、外界認識装置5は、車速検出装置6及び操舵検出装置7から車速Vsp_z0(m/sec)及び操舵角Str_z0(rad)を読み込む(前記ステップS1)。さらに、外界認識装置5は、レーザレーダ1が検出した各物体の情報として、左右位置Px_z0[i]、前後位置Py_z0[i]及び大きさobjW_z0[i]を読み込む(前記ステップS2)。
そして、外界認識装置5は、自車両に対する横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]を算出する(前記ステップS3)。外界認識装置5は、算出した縦方向相対速度rVy_z0[i]及び横方向相対速度rVx_z0[i]を基に、第1歩行者確度R1[i]及び第2歩行者確度R2[i]を算出する(前記ステップS4、ステップS5)。ここで、自車両の前後方向における移動速度が歩行者としてあり得ないほど大きい場合、第1歩行者確度R1[i]は小さい値になる。また、自車両の前後方向における移動速度が歩行者としてあり得ないほど大きい場合、第2歩行者確度R2[i]は小さい値になる。
また、外界認識装置5は、レーザレーダ1の受光強度を基に、第3歩行者確度R3[i]を算出する(前記ステップS6)。ここで、受光強度が強い場合、第3歩行者確度R3[i]は1に近い値となる。そして、外界認識装置5は、第1〜第3歩行者確度R1[i]〜R3[i]を基に、総歩行者確度R[i]を算出する(前記ステップS7)。レーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、総歩行者確度R[i]は大きくなる(1に近づく)。そして、外界認識装置5は、処理結果を自動ブレーキ制御装置8に出力する。自動ブレーキ制御装置8は、警報ブザー10により警報出力することで、運転者に注意を促す。また、自動ブレーキ制御装置8は、負圧ブレーキブースタ9のソレノイドバルブに制動力指令電圧を印加して、制動力を付与し、自車両を減速させる。
なお、この第1の実施形態を次のような構成により実現することもできる。
すなわち、この第1の実施形態では、画像処理等する特定の物体を人間としている。しかし、これに限定されるものではない。例えば、人間以外の他の物体を特定の物体とすることができる。この場合、特定の物体を認識する処理に対応して、図3の特性図等、処理内容を適宜変更する。
なお、この第1の実施形態の車両は、図6に示すように、検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段101と、前記物体検出手段101が検出した物体の動きを検出する動き検出手段102と、前記物体検出手段101における反射信号の受信状態を検出する受信状態検出手段103と、前記動き検出手段102が検出した物体の動きと、前記受信状態検出手段103が検出した受信状態とを基に、前記物体検出手段101が検出した物体が特定の物体である確度を算出する確度算出手段104とを備える。そして、前記実施形態の車両は、車両周囲を撮像するCCDカメラ3に相当する撮像手段105と、前記撮像手段105の撮像画像を画像処理して、車両周囲の物体を識別する画像処理装置4に相当する物体識別手段106とを備える。
また、この第1の実施形態において、レーザレーダ1は、検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段を実現している。また、外界認識装置5のステップS3の処理は、前記物体検出手段が検出した物体の動きを検出する動き検出手段を実現している。また、外界認識装置5のステップS2の処理は、前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段を実現している。また、外界認識装置5のステップS4〜ステップS7の処理は、前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段を実現している。
(作用及び効果)
(1)検出用信号となるレーザの反射光を受光して、レーザレーダ1が検出した車両周囲の物体(歩行者候補物体)の動きと、レーザレーダ1の受光強度とを基に、レーザレーダ1が検出した物体が人間である確度を算出している。このように、レーザレーダ1の受光強度のみならず、車両周囲の物体(歩行者候補物体)の動きを基に、レーザレーダ1が検出した物体が人間である確度を算出している。これにより、レーザレーダ1による物体の属性の判別結果となる人間である確度の算出精度を高めることができる。これにより、この確度を画像処理装置4の処理(認識結果や実施タイミング等)に反映させることで、画像処理装置4の処理負荷の低減が可能となる。
(2)車両の進路に対する物体の左右方向の運動を示す横方向相対速度rVx_z0[i]及び車両の進路に対する物体の前後方向の運動を示す値(rVy_z0[i]+Vsp_z0)を基に、レーザレーダ1が検出した物体が人間である確度を算出している。これにより、物体の動き情報を用いることで、物体が歩行者か否かの判別を高い精度で行うことができる。
(3)レーザレーダ1の受光強度が強い場合、レーザレーダ1が検出した物体が人間である確度を低くしている。路側構造物では反射率が高くなることが多いことから、レーザレーダ1の受光強度が強い場合、レーザレーダ1が検出した物体が人間である確度を低くすることで、物体が歩行者か否かの判別を高い精度で行うことができる。
(4)物体の動きの情報を横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]として得ている。これにより、簡単な処理により確度を算出できる。
(第2の実施形態)
(構成)
第2の実施形態も、本発明を適用した車両である。第2の実施形態の車両も、前記第1の実施形態と同様、図1に示すような構成となる。第2の実施形態では、前記第1の実施形態の処理動作(図2)を一部異ならせている。
図7は、第2の実施形態における処理動作を示す。図7に示すように、処理を開始すると、先ずステップS21において、画像処理装置4は、CCDカメラ3の入力画像を取り込む。
続いてステップS22において、外界認識装置5は、前記第1の実施形態のステップS1と同様に、車速検出装置6及び操舵検出装置7から車速Vsp_z0及び操舵角Str_z0を読み込む。
続いてステップS23において、外界認識装置5は、自車両の将来の進路を予測する。具体的には、外界認識装置5は、前記ステップS22で読み込んだ車速Vsp_z0及び操舵角Str_z0を用いて、下記(6)式により走行路の曲率半径(m)の逆数Row(1/m)を算出する。
Row=1/((1+A・Vsp_z0・LWB)/Str_z0) ・・・(6)
ここで、Aは、車両固有の値であるスタビリティファクタ(車重、ホールベース長、重心位置、タイヤの横力で決まる定数とみなせる値)である。また、LWB(m)はホイールベース長である。
続いてステップS24において、外界認識装置5は、前記第1の実施形態のステップS2と同様に、左右位置Px_z0[i]、前後位置Py_z0[i]及び大きさobjW_z0[i]を読み込む。これらの値は、レーザレーダ1が検出した物体の情報である。また、外界認識装置5は、受光強度の平均値L_av_z0[i]、受光強度の分散値L_dv_z0及び受光強度の過去1秒間における時間的なばらつきL_sdv[i]を読み込む。これらの値は、レーザレーダ1そのものの情報である。
続いてステップS25において、外界認識装置5は、前記第1の実施形態のステップS3と同様に、前記ステップS2で検出した各物体[i]について、自車両との横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]を伝達関数により算出する(前記(1)式)。
続いてステップS26において、外界認識装置5は、レーザレーダ1で検出した物体が自車両にとって注目すべき度合い(以下、注目必要度合いという。)At[i]を算出する。具体的には、外界認識装置5は、前記ステップS24で読み込んだ物体の左右位置Px_z0[i]及び物体の前後位置Py_z0[i]、並びに前記ステップS23で算出した値Rowを用いて、下記(7)式により注目必要度合いAt[i]を算出する。
At[i]=func4(Px_z0[i],Py_z0[i],Row) ・・・(7)
ここで、関数func4(X,Y,R)は、その変数X,Y,Rに対して図8及び図9に示すような特性を有する。図8に示すように、X軸、Y軸、関数func4の軸は、それぞれが直行する3次元の関係となる。そして、関数func4(X,Y,R)の値は、Y軸付近で最大値を有する分布となっており、その最大値が、X−Y平面内で変数Rに応じて変化する(Y軸からずれる)ようになっている。すなわち、変数Rに応じて関数func4(X,Y,R)の値の分布が遷移する。これにより、関数func4(X,Y,R)の値は、変数X,Yに対応し、変数Rに応じて変化する値として得られる。この関数func4のとり得る値の範囲は0〜1となる(func4∈[0,1])。
この関数func4を用いた(7)式により、注目必要度合いAt[i]は、走行路の曲率半径の逆数Rowを基に得た、予測進路の走路中央で最大値となる分布において、物体の位置に対応する値を示すものとなる。ここで、物体の位置は、物体の左右位置Px_z0[i]及び物体の前後位置Py_z0[i]である。これにより、物体の位置が予測進路の走路中央に近くなるほど、注目必要度合いAt[i]は大きくなる(1に近くなる)。
図9は、前記図8の視点を変えて示す図である(2次元として示す)。ここで、図9に示すように、自車両は、自車両の走行方向の右側に物体[i]を検出し、自車両の走行方向の左側に他の物体[i+1]を検出しているものとする。この場合、右側に検出した物体[i]の注目必要度合いAt[i]は、その物体[i+1]の左右位置Px_z0[i]及び前後位置Py_z0[i]で決まる位置が、値Rowで決まる予測進路(右旋回の進路)の走路中央に近くなるほど、大きくなる(1に近くなる)。また、左側に検出した物体[i+1]の注目必要度合いAt[i+1]は、その物体[i+1]の左右位置Px_z0[i+1]及び前後位置Py_z0[i+1]で決まる位置が、値Rowで決まる予測進路(左旋回の進路)の走路中央に近くなるほど、大きくなる(1に近くなる)。よって、自車両の走行方向の右側で検出した物体[i]と自車両の走行方向の左側で検出した物体[i+1]とが、自車両と横方向位置(左右位置Px_z0の絶対値)で同じになる場合でも、値Rowによってそれらは異なる値を示すものとなる。
このように、自車両の予測進路の走路近くに位置する物体について、その横位置が自車両に近くなるほど、注目必要度合いAt[i]は大きくなる。注目必要度合いAt[i]は、その値が1のとき、物体[i]が自車両の予測進路の走路中央に位置していることを意味し、このような物体[i]については最も注目しなければならないことを意味する。
続いてステップS27において、外界認識装置5は、レーザレーダ1だけでなく画像処理で物体の冗長検知を行うための要求レベルReqIP[i]を算出する。具体的には、外界認識装置5は、前記ステップS26で算出した注目必要度合いAt[i]を用いて、下記(8)式により要求レベルReqIP[i]を算出する。
ReqIP[i]=func5(At[i]) ・・・(8)
ここで、関数func5(A)は、その変数Aに対して図10に示すような特性を有する。図10に示すように、変数Aに応じて関数func5(A)の値が段階的に変化し、変数が大きくなるほど、関数func5(A)の値が大きくなる。また、ヒステリシス(同図中の矢印)を考慮して、変数Aと関数func5(A)の値との関係を得ている。このような関数func5を用いた(8)式により、注目必要度合いAt[i]が大きくなるほど、要求レベルReqIP[i]は段階的に大きくなる。よって、自車両の予測進路の走路近くに位置する物体について、その横位置が自車両に近くなるほど、注目必要度合いAt[i]が大きくなるので、要求レベルReqIP[i]も大きくなる。
続いてステップS28〜ステップS30において、外界認識装置5は、前記第1の実施形態のステップS4〜ステップS6と同様にして、第1〜第3歩行者確度R1[i]〜R3[i]を算出する。
続いてステップS31において、外界認識装置5は、第4歩行者確度R4[i]を算出する。具体的には、外界認識装置5は、下記(9)式により算出する。
Pv_T[i]=func6(Py_z0[i]/Vsp_z0)
Tmp1[i]=func4(Px_z0[i]+Pv_T[i]・rVx_z0[i],Py_z0[i],Row)
Tmp2[i]=R2[i]+0.5
R4[i]=Tmp1[i]・Tmp2[i]
・・・(9)
ここで、関数func6(A)は、その変数Aに対して図11に示すような特性を有する。図11に示すように、関数func6(A)の値は、変数Aが1になるまで該変数Aと同じ値をとり、変数Aが1よりも大きくなると、変数Aにかかわらず1になる。このような関数func6を用いた(9)式において、関数func6の変数(Py_z0[i]/Vsp_z0)は、自車両が現在位置から物体の前後位置y_z0[i]を通過するまでの予測時間を示す。このようなことから、func6(Py_z0[i]/Vsp_z0)の値Pv_T[i]は、検出した物体の位置に自車両が到達するまでの時間に応じて変化する。また、(9)式中、関数func4の変数(Px_z0[i]+Pv_T[i]・rVx_z0[i])は、自車両が現在位置から物体の前後位置Py_z0[i]を通過するまでの予測時間Pv_T[i]における、該物体の横方向の位置を示す。これにより、Tmp1[i]は、自車両が物体を検出した位置を通過する際に、該物体が自車両に近づいているか否かを、値Rowを用いることで道路形状を反映させつつ、判定するための値となる。ここで、Tmp1[i]のとり得る値の範囲は0〜1となる(Tmp1[i]∈[0,1])。さらに、横方向の移動速度から歩行者らしさを判定するための第2歩行者確度R2[i]のとり得る値の範囲が−0.5〜0.5となる(R2[i]∈[−0.5,0.5])。これに対応して、(9)式中、Tmp2[i]は、そのとり得る値の範囲が0.5だけシフトし、0〜1となる(Tmp2[i]∈[0,1])。
この(9)式によれば、検出した物体が自車両の予測進路の走路内に向かって移動する場合やその移動が歩行者らしい動きによるものである場合、第4歩行者確度R4[i]は大きくなる。また、検出した物体が自車両の予測進路の走路から離れていく場合やその移動が歩行者らしくない動きによるものである場合、第4歩行者確度R4[i]は小さくなる。例えば、自車両の予測進路の走路の近くに物体を検出したとしても、自車両が実際にその物体の検出地点を通過したときに該物体が自車両から離れた位置にあれば、該物体について画像処理により認識処理する必要性は乏しい。このような場合、第4歩行者確度R4[i]は小さくなる。
続いてステップS32において、外界認識装置5は、最終的な歩行者らしい度合い(総歩行者確度)R[i]を算出する。具体的には、外界認識装置5は、前記ステップS28〜ステップS31で算出した歩行者確度R1[i],R3[i],R4[i]を用いて、下記(10)式により総歩行者確度R[i]を算出する。
R[i]=func7(2・R1[i]・R3[i]・R4[i]) ・・・(10)
ここで、関数func7(A)は、その変数Aに対して図12に示すような特性を有する。図12に示すように、関数func7(A)の値は、変数Aが正値の場合には、該変数Aと同じ値(変数Aに比例する値)になり、変数Aが負値の場合には0になる。この(10)式によれば、総歩行者確度R[i]は、前記第1の実施形態(前記(5)式)と同様に、その値が大きくなるほど、レーザレーダ1で検出した物体が歩行者である可能性が高くなることを示す。ここで、総歩行者確度R[i]のとり得る値の範囲は0〜1となる(R[i]∈[0,1])。
例えば、自車両の前後方向における物体の移動速度が歩行者としてあり得ないほど大きく、第1歩行者確度R1[i]が負値になる場合を考える。この場合には、レーザレーダ1の受光強度が弱く、第3歩行者確度R3[i]が大きい値でも、総歩行者確度R[i]は正値を示すことはない。また、自車両の前後方向における物体の移動速度が歩行者としてありえ得ないほど大きく、第1歩行者確度R1[i]が負値になる場合を考える。この場合には、物体近くを自車両が通過するとして、第4歩行者確度R4[i]が大きい値でも、総歩行者確度R[i]は正値を示すことはない。このように、物体の移動速度が歩行者としてあり得ないほど大きければ、それを支配的なものとして扱い、レーザレーダ1の受光強度や物体近くを自車両が通過する事情に関係なく、物体が歩行者である可能性を常に低く見積もるようにする。
続いてステップS33において、外界認識装置5は、冗長検知(画像処理による物体認識処理)の実施を許可するしきい値を各物体について算出する。具体的には、外界認識装置5は、前記ステップS32で算出した総歩行者確度R[i]を用いて、下記(11)式によりしきい値THR[i]を算出する。
THR[i]=func8( R[i] ) ・・・(11)
ここで、関数func8(A)は、その変数Aに対して図13に示すような特性を有する。図13に示すように、変数Aに応じて関数func8(A)の値が段階的に変化し、変数が大きくなるほど、関数func8(A)の値が大きくなる。また、ヒステリシス(同図中の矢印)を考慮して、変数Aと関数func8(A)の値との関係を得ている。このような関数func8を用いた(11)式により、しきい値THR[i]は、総歩行者確度R[i]が大きくなるほど、段階的に小さくなる。すなわち、レーザレーダ1が検出した物体が歩行者である可能性が高くなる場合、総歩行者確度R[i]が大きくなるので、しきい値THR[i]は小さくなる。
なお、本実施形態では、常に一定の特性を有する関数としているが、ナビゲーションシステムからの道路属性が事故多発エリアやスクールゾーンを示す場合には、しきい値THR[i]を小さくしても良い(異なる特性の関数に切り換えても良い)。
続いてステップS34において、外界認識装置5は、前記ステップS27で算出した冗長検知を行う要求レベルReqIP[i]が、前記ステップS33で算出したしきい値THR[i]よりも大きいか否かを判定する。前述のように、外界認識装置5は、レーザレーダ1で検出した物体について、前記ステップS32において総歩行者確度R[i]を算出することで、該物体が歩行者である可能性を判別している。このような処理に加えて、該物体について画像処理により認識処理を実施するか否かを、このステップS34において判定する。ここで、外界認識装置5は、要求レベルReqIP[i]がしきい値THR[i]よりも大きい場合(ReqIP[i]>THR[i])、歩行者認識のための画像処理を実施するため、ステップS35に進み、そうでない場合(ReqIP[i]≦THR[i])、ステップS38に進む。
ステップS35では、画像処理装置4は、前記ステップS21でCCDカメラ3から取り込んだ画像中で、前記ステップS34の判定処理で判定条件を満たした物体[i]の位置に相当する画像領域に限定して、歩行者認識のための画像処理を実施する。ここで、物体認識の画像処理方法として、パターンモデルや反射信号に基づいて実施する等、種々ある。例えば、本実施形態では、特開2005−318408号公報に開示の方法により、物体認識の画像処理を実施する。この画像処理により、物体からの反射信号より得られるビート信号のパワースペクトル値を基に、物体が歩行者に類似する度合い(以下、歩行者類似度合いという。)SML[i]を算出する。歩行者類似度合いSML[i]は、そのとり得る値の範囲が0〜1であり(SML[i]∈[0,1])、その度合いが高くなるほど、認識対象の物体が歩行者に類似することを意味する。
続いてステップS36において、画像処理装置4は、前記ステップS35で算出した歩行者類似度合いSML[i]が、所定のしきい値(固定しきい値)よりも大きいか否かを判定する。ここで、画像処理装置4は、歩行者類似度合いSML[i]が所定のしきい値よりも大きい場合(SML[i]>所定のしきい値)、物体が歩行者である可能性が高いとして、ステップS37に進み、そうでない場合(SML[i]≦所定のしきい値)、ステップS38に進む。
なお、前記ステップS35及びステップS36の処理を、外界認識装置5が行うこととしても良い。
ステップS37では、画像処理装置4又は外界認識装置5は、前記ステップS36の判定処理で判定条件を満足する歩行者情報を後段へ伝える。これにより、自動ブレーキ制御装置8は、歩行者情報を基に、検出した物体[i](検出した物体[i]が複数であれば各物体)に対して自動制動制御や自動警報出力を実施する。例えば、自動ブレーキ制御装置8は、検出した物体の歩行者類似度合いが高ければ、該検出した物体が歩行者である可能性が高いとして、該物体を対象として自動制動制御等を行う。また、自動ブレーキ制御装置8は、検出した物体の歩行者類似度合いが低ければ、該検出した物体に対しては、該検出した物体がリフレクター等であり、歩行者である可能性が低いとして、該物体と自車両との距離が短い場合でも、自動制動制御等を行わない。
続いてステップS38において、前記第1の実施形態のステップS8と同様に、微分演算等で用いる変数の過去値を更新して終了する。
(動作)
一連の動作は次のようになる。ここでは、第2の実施形態において特有の動作を説明する。
外界認識装置5は、自車両の将来の進路を予測し(前記ステップS23)、その予測進路を示す値Rowを基に、注目必要度合いAt[i]を算出する(前記ステップS26)。ここで、自車両の予測進路の近くに位置する物体について、その横位置が自車両に近くなるほど、注目必要度合いAt[i]は大きくなる。また、外界認識装置5は、レーザレーダ1だけでなく画像処理で、物体を冗長検知するための要求レベルReqIP[i]を算出する(前記ステップS27)。ここで、物体が自車両の予測進路の走路で、該自車両との横位置が近くなるほど、要求レベルReqIP[i]は大きくなる。また、外界認識装置5は、第4歩行者確度R4[i]を算出する(前記ステップS31)。ここで、検出した物体が自車両の予測進路の走路内に向かって移動する場合やその移動が歩行者らしい動きによるものである場合、第4歩行者確度R4[i]は大きくなる。また、外界認識装置5は、歩行者確度R1[i],R3[i],R4[i]を基に、総歩行者確度R[i]を算出する(前記ステップS32)。
そして、外界認識装置5は、冗長検知の実施を許可するしきい値THR[i]を各物体[i]について算出する。具体的には、外界認識装置5は、各物体[i]毎に算出した歩行者確度R[i]を基に、各物体[i]のしきい値THR[i]を算出する(前記ステップS33)。ここで、レーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、しきい値THR[i]は小さくなる。そして、外界認識装置5は、要求レベルReqIP[i]がしきい値THR[i]よりも大きくなる判定条件を満たす場合、CCDカメラ3から取り込んだ画像に対して画像処理を実施する(前記ステップS35)。すなわち、CCDカメラ3から取り込んだ画像中で、該判定条件を満たした物体[i]の位置に相当する画像領域に限定して、歩行者認識のための画像処理を実施する。ここで、前述のように、総歩行者確度R[i]が大きくなるほど、すなわちレーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、しきい値THR[i]は小さくなる。このようなことから、レーザレーダ1が検出した物体が歩行者である可能性が高い場合に、歩行者認識のための画像処理を実施し易くなる。そして、実施した歩行者認識のための画像処理により、歩行者類似度合いSML[i]を算出する。
そして、画像処理装置4又は外界認識装置5は、物体[i]の歩行者類似度合いSML[i]が所定のしきい値(固定しきい値)よりも大きい場合、該物体[i]が歩行者である可能性が高いとして、歩行者情報を後段へ伝える(前記ステップS37)。これにより、自動ブレーキ制御装置8は、歩行者情報を基に、検出した物体[i](検出した物体[i]が複数であれば各物体)に対して自動制動制御や自動警報出力を実施する。
なお、この第2の実施形態において、CCDカメラ3は、車両周囲を撮像する撮像手段を実現している。また、画像処理装置4又は外界認識装置5、或いは画像処理装置4と外界認識装置5とが協働して、前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段を実現している。
また、この第2の実施形態において、外界認識装置5のステップS23の処理は、車両の進路を予測する進路予測手段を実現している。また、外界認識装置5のステップS31及びステップS34の処理は、前記進路予測手段が予測した車両の予測進路と、前記動き検出手段が検出した物体の動きとを基に、該物体を画像処理すべき対象とするか否かを判定するための画像処理対象判定用値を算出し、その算出した画像処理対象判定用値と所定のしきい値との比較結果を基に、画像処理すべき対象とするか否かを判定する画像処理対象判定手段を実現している。そして、実施可否判定手段が、前記確度算出手段が算出した確度を基に、前記所定のしきい値を補正することを実現している。
(効果)
(1)検出用信号となるレーザの反射光を受光して、レーザレーダ1が検出した車両周囲の物体(歩行者候補物体)の動きと、レーザレーダ1の受光強度とを基に、レーザレーダ1が検出した物体が人間である確度を算出している。そして、その確度を基に、歩行者認識のための画像処理の実施の可否を決めるしきい値THR[i]を算出している。すなわち、その確度を、歩行者認識のための画像処理に反映させている。これにより、歩行者認識のための画像処理の処理負荷の低減が可能となる。
(2)レーザレーダ1が検出した物体が人間である確度を基に、歩行者認識のための画像処理の実施の可否を決めるしきい値THR[i]を算出している。これにより、歩行者である可能性が低い物体に対して、歩行者認識のための画像処理を実施してしまうのを抑制でき、画像処理の処理負荷の低減が可能となる。その結果、画像処理により物体を歩行者と誤認識しまうのを防止できる。
(3)レーザレーダ1が検出した物体が人間である確度を基に、歩行者認識のための画像処理の実施の可否を決めるしきい値THR[i]を算出しているので、簡単な処理で、歩行者でない可能性が高い物体に対して、歩行者認識のための画像処理を実施してしまうのを防止できる。
(4)自車両の予測進路を示す値Rowと、その予測進路における物体の動き(Tmp1[i]、Tmp2[i])とを基に、第4歩行者確度R4[i]を算出している。これにより、画像処理にて、自車両の進路上で横断しようとしている歩行者を的確、かつ素早く認識できる。その結果、画像処理候補の物体数を減少できるため(絞りこむことができるため)、画像処理の処理負荷を低減できる。
(5)要求レベルReqIP[i]及び総歩行者確度R[i]をヒステリシスを考慮して得ている(前記図10、図13参照)。これにより、レーザレーダ1の物体の検出のばらつき等の影響を受けずに、それら値を得ることができる。
(第3の実施形態)
(構成)
第3の実施形態も、本発明を適用した車両である。第3の実施形態の車両も、前記第1の実施形態と同様、図1に示すような構成となる。第3の実施形態では、前記第2の実施形態の処理動作(図7)を一部異ならせている。
図14は、第3の実施形態における処理動作を示す。図14に示すように、第3の実施形態では、前記ステップS33、ステップS34及びステップS36の処理を無くす一方で、ステップS51〜ステップS54の処理を加えている。
すなわち、前記ステップS31の後段にステップS51の処理を加えている。そのステップS51では、外界認識装置5は、第2及び第4歩行者確度R2[i],R4[i]を補正する。その補正手順は次のようになる。
先ず、外界認識装置5は、前記ステップS3の方法(伝達関数による算出方法)と同様にして、操舵角速度Str_dot_z0[rad]を算出する。そして、外界認識装置5は、その算出した操舵角速度Str_dot_z0の絶対値が、直進走行を判断するしきい値THR_STR未満の場合(|Str_dot_z0|<THR_STR)、継続カウンタンStrt_Cntをインクリメントする(Strt_Cnt=Strt_Cnt+1)。また、外界認識装置5は、操舵角速度Str_dot_z0の絶対値が、しきい値THR_STR以上の場合(|Str_dot_z0|≧THR_STR)、継続カウンタンStrt_Cntを零にする(Strt_Cnt=0)。続いて、外界認識装置5は、そのようにして得た継続カウンタンStrt_Cntを用いて、下記(12)式により補正係数Coeff_Trstを算出する。
Coeff_Trst=func9(Strt_Cnt) ・・・(12)
ここで、関数func9(A)は、その変数Aに対して図15に示すような特性を有する。図15に示すように、変数Aが小さいときには、該変数Aとともに、関数func9(A)の値は増加し、変数Aがある値よりも大きくなると、該変数Aにかかわらず、関数func9(A)の値は1になる。そして、この(12)式により継続カウンタンStrt_Cntに応じて得た補正係数Coeff_Trstを用いて、下記(13)式及び(14)式に示すように、第2歩行者確度R2[i](前記ステップS29の算出値)及び第4歩行者確度R4[i]を補正する。
R2[i]=R2[i]・Coeff_Trst ・・・(13)
R4[i]=R4[i]・Coeff_Trst ・・・(14)
ここで、補正係数Coeff_Trstのとり得る値の範囲は0〜1となる(Coeff_Trst∈[0,1])。この(13)式及び(14)式によれば、継続カウンタンStrt_Cntの値が小さいほど、すなわち操舵角速度が小さく、かつその状態の継続時間が長くなるほど、第2及び第4歩行者確度R2[i],R4[i]は小さくなるように補正される。これにより、動きの情報となる第2及び第4歩行者確度R2[i],R4[i]を、信頼性を基に補正している。
続いてステップS32において、外界認識装置5は、前記第2の実施形態と同様に、最終的な歩行者らしい度合い(総歩行者確度)R[i]を算出する。ここでは、外界認識装置5は、前記ステップS52で補正した第2及び第4歩行者確度R2[i],R4[i]を用いて、総歩行者確度R[i]を算出する(前記(10)式)。
続いてステップS52において、外界認識装置5は、前記ステップS32で算出した総歩行者確度R[i]を用いて、下記(15)式により画像処理結果の歩行者判定用しきい値THR_IP[i]を算出する。
THR_IP[i]=func10(R[i]) ・・・(15)
ここで、関数func10(A)は、その変数Aに対して図16に示すような特性を有する。図16に示すように、変数Aに応じて関数func10(A)の値が段階的に変化し、変数が大きくなるほど、関数func10(A)の値が大きくなる。また、ヒステリシス(同図中の矢印)を考慮して、変数Aと関数func10(A)の値との関係を得ている。このような関数func10を用いた(15)式により、歩行者判定用しきい値THR_IP[i]は、総歩行者確度R[i]が大きくなるほど、段階的に小さくなる。すなわち、レーザレーダ1が検出した物体が歩行者である可能性が高くなる場合、総歩行者確度R[i]が大きくなるので、歩行者判定用しきい値THR_IP[i]は小さくなる。
続いてステップS53において、外界認識装置5は、前記ステップS27で算出した冗長検知を行う要求レベルReqIP[i]が、所定のしきい値(前記第2の実施形態とは異なり、固定しき値)よりも大きいか否かを判定する。所定のしきい値は例えば3である。なお、図示しないナビゲーションシステムからの道路情報を基に、所定のしきい値を変更しても良い。このステップS53の判定処理の結果、要求レベルReqIP[i]が所定のしきい値よりも大きい場合(ReqIP[i]>所定のしきい値)、歩行者認識のための画像処理を実施するため、ステップS35に進み、そうでない場合(ReqIP[i]≦所定のしきい値)、ステップS38に進む。
ステップS35に続くステップS54では、画像処理装置4は、該ステップS35で算出した歩行者類似度合いSML[i]が、前記ステップS52で算出した歩行者判定用しきい値THR_IP[i]よりも大きいか否かを判定する。ここで、歩行者類似度合いSML[i]が歩行者判定用しきい値THR_IP[i]よりも大きい場合(SML[i]>THR_IP[i])、ステップS37に進み、そうでない場合(SML[i]≦THR_IP[i])、ステップS38に進む。なお、前記ステップS54の処理を、外界認識装置5が行うこととしても良い。
前記第2の実施形態と同様に、ステップS37では、前記ステップS54の判定処理を満足する歩行者情報を後段へ伝え、ステップS38では、微分演算等で用いる変数の過去値を更新して終了する。
(動作)
一連の動作は次のようになる。ここでは、第3の実施形態において特有の動作を説明する。
外界認識装置5は、操舵角速度Str_dot_z0[rad]の変動を基に、第2及び第4歩行者確度R2[i],R4[i]を補正する(前記ステップS51)。ここで、操舵角速度が小さく、かつその状態の継続時間が長くなるほど、第2及び第4歩行者確度R2[i],R4[i]は小さくなるように補正される。そして、外界認識装置5は、補正した第2及び第4歩行者確度R2[i],R4[i]を基に、総歩行者確度R[i]を算出する(前記ステップS32)。そして、外界認識装置5は、算出した総歩行者確度R[i]を基に、歩行者判定用しきい値THR_IP[i]を算出する(前記ステップS52)。ここで、物体が歩行者である可能性が高くなるほど、歩行者判定用しきい値THR_IP[i]は小さくなる。そして、外界認識装置5は、要求レベルReqIP[i]が、その要求レベルReqIP[i]に対応して設定してある所定のしきい値(固定値)よりも大きくなる判定条件を満たす場合、CCDカメラ3から取り込んだ画像に対して画像処理を実施する。すなわち、CCDカメラ3から取り込んだ画像中で、該判定条件を満たした物体[i]の位置に相当する画像領域に限定して、歩行者認識のための画像処理を実施する(前記ステップS53、ステップS35)。その実施した歩行者認識のための画像処理により、歩行者類似度合いSML[i]を算出する。そして、外界認識装置5は、歩行者類似度合いSML[i]が歩行者判定用しきい値THR_IP[i]よりも大きい場合、歩行者情報を後段へ伝える。これにより、自動ブレーキ制御装置8は、歩行者情報を基に、検出した物体[i](検出した物体[i]が複数であれば各物体)に対して自動制動制御や自動警報出力を実施する。
ここで、前述のように、総歩行者確度R[i]が大きくなるほど、すなわちレーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、歩行者判定用しきい値THR_IP[i]が小さくなる。このようなことから、レーザレーダ1が検出した物体が歩行者である可能性が低ければ、歩行者情報が後段へ伝えられない。すなわち、レーザレーダ1が検出した物体が歩行者である可能性が低ければ、画像処理により得た歩行者類似度合いも低くする処理と等価な処理を行う。
(効果)
(1)検出用信号となるレーザの反射光を受光して、レーザレーダ1が検出した車両周囲の物体(歩行者候補物体)の動きと、レーザレーダ1の受光強度とを基に、レーザレーダ1が検出した物体が人間である確度を算出している。そして、その確度を基に、歩行者判定用しきい値THR_IP[i]を算出している。すなわち、その確度を、歩行者認識のための画像処理に反映させている。これにより、歩行者認識のための画像処理の処理負荷の低減が可能となる。
(2)レーザレーダ1が検出した物体が人間である確度を基に、歩行者判定用しきい値THR_IP[i]を算出している。これにより、レーザレーダ1の検出結果から歩行者である確度が高い物体は、画像処理結果で歩行者類似度合いSML[i]が小さくなる場合(歩行者である可能性が低い結果)でも、最終的には、歩行者として判別され易くなる。その反対に、レーザレーダ1の検出結果から歩行者である確度が低い物体は、画像処理結果において、歩行者類似度合いSML[i]が大きくならないと(歩行者である可能性が高い結果にならないと)、最終的には、歩行者として判別されなくなる。このようにすることで、レーザレーダ1による物体検出と画像処理により物体認識とを行うシステム全体として、歩行者の誤検出と不検出のバランスを的確に調整することが可能となる。
(3)レーザレーダ1が検出した物体が人間である確度を基に、歩行者判定用しきい値THR_IP[i]を算出しているので、簡単な処理で、前述のようなシステム全体として、歩行者の誤検出と不検出のバランスを的確に調整することが可能となる。
(4)操舵角速度が小さく、その状態の継続時間が長くなるほど、第2及び第4歩行者確度R2[i],R4[i]を小さくなるように補正している。ここで、操舵角速度が小さく、かつその状態の継続時間が長くなる場合には、車両安定度合いが低いことから、そのような補正をすることで、総歩行者確度R[i]を小さくする補正をしている。これにより、物体の動き情報の信頼性が高くなり、画像処理による誤認識を低減できる。
本発明の第1の実施形態の車両の構成を示す図である。 第1の実施形態における外界認識装置5の処理手順を示すフローチャートである。 関数func1(A)の説明に使用した特性図である。 関数func2(A)の説明に使用した特性図である。 関数func3(A)の説明に使用した特性図である。 第1の実施形態の車両が本発明を実現するために備える構成を示す図である。 第2の実施形態における処理手順を示すフローチャートである。 関数func4(X,Y,R)の説明に使用した特性図である。 関数func4(X,Y,R)の説明に使用した他の特性図である。 関数func5(A)の説明に使用した特性図である。 関数func6(A)の説明に使用した特性図である。 関数func7(A)の説明に使用した特性図である。 関数func8(A)の説明に使用した特性図である。 第3の実施形態における処理手順を示すフローチャートである。 関数func9(A)の説明に使用した特性図である。 関数func10(A)の説明に使用した特性図である。
符号の説明
1 レーザレーダ、2 レーダ処理装置、3 CCDカメラ、4 画像処理装置、5 外界認識装置、6 車速検出装置、7 操舵角検出装置、8 自動ブレーキ制御装置、9 負圧ブレーキブースタ、10 警報ブザー、101 物体検出手段、102 動き検出手段、103 受信状態検出手段、104 確度算出手段、105 撮像手段、106 物体識別手段

Claims (11)

  1. 検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段と、
    前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
    前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
    前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
    を備えることを特徴とする車両周囲環境検出装置。
  2. 検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段と、
    車両周囲を撮像する撮像手段と、
    前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
    前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
    前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
    前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、を備え、
    前記確度算出手段が算出した確度を、前記物体識別手段の処理に反映させることを特徴とする車両周囲環境検出装置。
  3. 検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段と、
    車両周囲を撮像する撮像手段と、
    前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
    前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
    前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
    前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
    前記確度算出手段が算出した確度を基に、前記物体識別手段による画像処理の実施の可否を判定する実施可否判定手段と、
    を備えることを特徴と請求項2に記載の車両周囲環境検出装置。
  4. 車両の進路を予測する進路予測手段と、
    前記進路予測手段が予測した車両の予測進路と、前記動き検出手段が検出した物体の動きとを基に、該物体を画像処理すべき対象とするか否かを判定するための画像処理対象判定用値を算出し、その算出した画像処理対象判定用値と所定のしきい値との比較結果を基に、画像処理すべき対象とするか否かを判定する画像処理対象判定手段と、を備え、
    前記実施可否判定手段は、前記確度算出手段が算出した確度を基に、前記所定のしきい値を補正することを特徴とする請求項3に記載の車両周囲環境検出装置。
  5. 検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段と、
    車両周囲を撮像する撮像手段と、
    前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
    前記物体識別手段の物体識別結果を基に、該物体が特定の物体と類似しているか否かを判定する類似判定手段と、
    前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
    前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
    前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、を備え、
    前記類似判定手段は、前記確度算出手段が算出した確度を基に、前記類似の判定結果を補正することを特徴とする請求項2に記載の車両周囲環境検出装置。
  6. 前記物体識別手段の物体識別結果を示す値と所定のしきい値との比較結果を基に、該物体が特定の物体と類似しているか否かを判定しており、前記確度算出手段が算出した確度を基に、前記所定のしきい値を補正することを特徴とする請求項5に記載の車両周囲環境検出装置。
  7. 前記動き検出手段は、車両の進路に対する物体の左右方向の運動と、車両の進路に対する物体の前後方向の運動とを検出しており、前記確度算出手段は、前記動き検出手段が検出した車両の進路に対する物体の左右方向の運動及び車両の進路に対する物体の前後方向の運動を基に、前記物体検出手段が検出した物体が特定の物体である確度を算出することを特徴とする請求項1〜6の何れか1項に記載の車両周囲環境検出装置。
  8. 前記確度算出手段は、進路予測手段が予測した車両の予測進路と、その予測進路における前記動き検出手段が検出した物体の動きとを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出することを特徴とする請求項1〜7の何れか1項に記載の車両周囲環境検出装置。
  9. 車両挙動の安定度合いを検出する車両安定度合い検出手段を備え、前記確度算出手段は、前記車両安定度合い検出手段が検出した車両挙動の安定度合いが高い場合、前記確度を高くすることを特徴とする請求項1〜8のいずれか1項に記載の車両周囲環境検出装置。
  10. 前記特定の物体は人間であり、前記確度算出手段は、前記受信状態検出手段が検出した受信強度が強い場合、前記物体検出手段が検出した物体が人間である確度を低くすることを特徴とする請求項1〜9のいずれか1項に記載の車両周囲環境検出装置。
  11. 前記確度算出手段は、前記動き検出手段が検出した物体の移動速度を基に、前記物体検出手段が検出した物体が特定の物体である確度を算出することを特徴とする請求項1〜10のいずれか1項に記載の車両周囲環境検出装置。
JP2008055002A 2008-03-05 2008-03-05 車両周囲環境検出装置 Active JP5130959B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008055002A JP5130959B2 (ja) 2008-03-05 2008-03-05 車両周囲環境検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008055002A JP5130959B2 (ja) 2008-03-05 2008-03-05 車両周囲環境検出装置

Publications (2)

Publication Number Publication Date
JP2009208676A true JP2009208676A (ja) 2009-09-17
JP5130959B2 JP5130959B2 (ja) 2013-01-30

Family

ID=41182244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008055002A Active JP5130959B2 (ja) 2008-03-05 2008-03-05 車両周囲環境検出装置

Country Status (1)

Country Link
JP (1) JP5130959B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244474A (ja) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd 自動車の外界認識装置
JP2012089114A (ja) * 2010-09-24 2012-05-10 Toyota Motor Corp 障害物認識装置
JP2020132028A (ja) * 2019-02-22 2020-08-31 トヨタ自動車株式会社 車両運転支援装置
CN112997093A (zh) * 2018-11-08 2021-06-18 宝马股份公司 用于确定关于车辆环境中的物体的信息的方法和处理单元
WO2023281769A1 (ja) * 2021-07-06 2023-01-12 パナソニックホールディングス株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191131A (ja) * 2002-12-10 2004-07-08 Denso Corp 物標識別方法及び装置、プログラム
JP2005202878A (ja) * 2004-01-19 2005-07-28 Toyota Motor Corp 物体検出装置
JP2009085760A (ja) * 2007-09-28 2009-04-23 Toyota Motor Corp 物体検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191131A (ja) * 2002-12-10 2004-07-08 Denso Corp 物標識別方法及び装置、プログラム
JP2005202878A (ja) * 2004-01-19 2005-07-28 Toyota Motor Corp 物体検出装置
JP2009085760A (ja) * 2007-09-28 2009-04-23 Toyota Motor Corp 物体検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244474A (ja) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd 自動車の外界認識装置
JP2012089114A (ja) * 2010-09-24 2012-05-10 Toyota Motor Corp 障害物認識装置
CN112997093A (zh) * 2018-11-08 2021-06-18 宝马股份公司 用于确定关于车辆环境中的物体的信息的方法和处理单元
CN112997093B (zh) * 2018-11-08 2024-06-11 宝马股份公司 用于确定关于车辆环境中的物体的信息的方法和处理单元
JP2020132028A (ja) * 2019-02-22 2020-08-31 トヨタ自動車株式会社 車両運転支援装置
WO2023281769A1 (ja) * 2021-07-06 2023-01-12 パナソニックホールディングス株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP5130959B2 (ja) 2013-01-30

Similar Documents

Publication Publication Date Title
CA2949200C (en) Processing apparatus, processing system, processing program, and processing method
US10387733B2 (en) Processing apparatus, processing system, and processing method
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
KR20190016332A (ko) 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
JP6551283B2 (ja) 車両制御装置、車両制御方法
JP2007310741A (ja) 立体物認識装置
US9829570B2 (en) System and method of detecting preceding vehicle by using sensor
WO2015119301A1 (en) Image processing device, device control system, and computer-readable storage medium
JPWO2019058720A1 (ja) 情報処理装置、自律型移動装置、および方法、並びにプログラム
JP5130959B2 (ja) 車両周囲環境検出装置
JP4937844B2 (ja) 歩行者検出装置
US11731662B2 (en) Autonomous vehicle system for detecting pedestrian presence
US20220237921A1 (en) Outside environment recognition device
KR20220144917A (ko) 차량의 주행을 보조하는 장치 및 그 방법
KR20160131196A (ko) 장애물 감지 장치
WO2018025632A1 (ja) 撮像装置
US20220237899A1 (en) Outside environment recognition device
Kao et al. Design of Sensor Fusion Driver Assistance System for Active Pedestrian Safety
Thammakaroon et al. Improvement of forward collision warning in real driving environment using machine vision
KR20230136830A (ko) 운전자 보조 시스템 및 운전자 보조 방법
CN118124586A (zh) 驾驶员辅助装置及驾驶员辅助方法
KR20230129076A (ko) 과적 차량 충돌 방지 방법 및 장치

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5130959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150