JP2008234029A - 対象物検出システム及び対象物検出装置 - Google Patents
対象物検出システム及び対象物検出装置 Download PDFInfo
- Publication number
- JP2008234029A JP2008234029A JP2007069226A JP2007069226A JP2008234029A JP 2008234029 A JP2008234029 A JP 2008234029A JP 2007069226 A JP2007069226 A JP 2007069226A JP 2007069226 A JP2007069226 A JP 2007069226A JP 2008234029 A JP2008234029 A JP 2008234029A
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- far
- vehicle
- infrared imaging
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】歩行者の誤検出を防止することができる対象物検出システム及び対象物検出方法を提供する。
【解決手段】車両周辺を撮像するステレオ視遠赤外線撮像装置1と、ステレオ視遠赤外線撮像装置1が撮像した画像に基づいて対象物を検出する対象物検出装置3とを備える対象物検出システムに、車両を基準とする対象物候補の方向を検出するミリ波レーダ2を備え、対象物検出装置3に、ステレオ視遠赤外線撮像装置1が撮像した各画像に基づいて車両を基準とする対象物候補の方向を算出する算出手段と、該算出手段が算出した方向及びミリ波レーダ2が検出した方向を比較する比較手段と、該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段とを備える。
【選択図】図1
【解決手段】車両周辺を撮像するステレオ視遠赤外線撮像装置1と、ステレオ視遠赤外線撮像装置1が撮像した画像に基づいて対象物を検出する対象物検出装置3とを備える対象物検出システムに、車両を基準とする対象物候補の方向を検出するミリ波レーダ2を備え、対象物検出装置3に、ステレオ視遠赤外線撮像装置1が撮像した各画像に基づいて車両を基準とする対象物候補の方向を算出する算出手段と、該算出手段が算出した方向及びミリ波レーダ2が検出した方向を比較する比較手段と、該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段とを備える。
【選択図】図1
Description
本発明は、車両周辺を撮像する遠赤外線撮像装置と、遠赤外線撮像装置が撮像した画像に基づいて対象物を検出する対象物検出装置とを備える対象物検出システム及び該対象物検出システムを構成する対象物検出装置に関する。
自動車に搭載されたステレオ視遠赤外線撮像装置にて対象物、例えば車両前方の歩行者、動物等を検出し、警報を発する対象物検出システムが実用化されている(例えば、特許文献1)。
具体的には、ステレオ視遠赤外線撮像装置にて撮像された画像を2値化し、連結領域の抽出、パターンマッチング等によって対象物を検出する。そして、ステレオ視遠赤外線撮像装置にて撮像した一組の画像において対象物の視差を求めることにより、車両に対する対象物の距離、方向等を算出する。衝突する可能性が高い対象物が検出された場合、警告を発する。
具体的には、ステレオ視遠赤外線撮像装置にて撮像された画像を2値化し、連結領域の抽出、パターンマッチング等によって対象物を検出する。そして、ステレオ視遠赤外線撮像装置にて撮像した一組の画像において対象物の視差を求めることにより、車両に対する対象物の距離、方向等を算出する。衝突する可能性が高い対象物が検出された場合、警告を発する。
一方、対象物の誤検出を防止すべく、ルールベース手法を用いた対象物検出システムが提案されている。具体的には、2値化された画像から対象物の候補領域を抽出し、該候補領域の縦サイズ、頭部サイズ、胴体の輝度分散等の特徴量を算出する。特徴量が一定の条件を満たした場合、候補領域を歩行者であると判定する。
また、学習ベース手法を用いた対象物検出システムが提案されている。具体的には、サポートベクタマシン、Ada−Boosting等のように、予め歩行者及び非歩行者の特徴ベクトルを元に判定関数を生成(学習)させておき、該判定関数を用いて歩行者か否かを判定する。
特開2004−135034号公報
しかしながら、車両後部、例えばワンボックスカーのテールランプ及びタイヤ部分の画像は、輝度分布及びサイズが歩行者のものと近似しているため、ルールベース又は学習ベース手法を用いても歩行者を誤検出する場合があった。具体的には、テールランプ部分が歩行者の頭部及び胴体、タイヤ部分が歩行者の足部として認識されて誤検出される。
本発明は斯かる事情に鑑みてなされたものであり、遠赤外線撮像装置にて検出された対象物候補の方向と、ミリ波レーダが検出した対象物候補の方向とを比較し、比較結果に応じて対象物候補が歩行者のような所定の対象物であるか否かを判定するように構成することにより、対象物の誤検出をより効果的に防止することができる対象物検出システム及び該対象物検出システムを構成する対象物検出装置を提供することを目的とする。
第1発明に係る対象物検出システムは、車両周辺を撮像する遠赤外線撮像装置と、該遠赤外線撮像装置が撮像した画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置とを備える対象物検出システムにおいて、車両を基準とする対象物候補の方向を検出するミリ波レーダを備え、前記対象物検出装置は、前記遠赤外線撮像装置が撮像した画像に基づいて車両を基準とする対象物候補の方向を算出する算出手段と、該算出手段が算出した方向及び前記ミリ波レーダが検出した方向を比較する比較手段と、該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段とを備えることを特徴とする。
第2発明に係る対象物検出システムは、車両周辺を撮像するステレオ視遠赤外線撮像装置と、該ステレオ視遠赤外線撮像装置が撮像した画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置とを備える対象物検出システムにおいて、車両を基準とする対象物候補の方向及び距離を検出するミリ波レーダを備え、前記対象物検出装置は、前記ステレオ視遠赤外線撮像装置が撮像した画像に基づいて車両を基準とする対象物候補の方向及び距離を算出する算出手段と、該算出手段が算出した方向及び距離並びに前記ミリ波レーダが検出した方向及び距離を比較する比較手段と、該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段とを備えることを特徴とする。
第3発明に係る対象物検出システムは、前記対象物は歩行者であることを特徴とする。
第4発明に係る対象物検出装置は、遠赤外線撮像装置が撮像して得た画像を取得し、該画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置において、ミリ波レーダから車両を基準とする対象物候補の方向を示す方向情報を取得する手段と、取得した画像に基づいて車両を基準とする対象物候補の方向を算出する算出手段と、該算出手段が算出した方向及び前記方向情報が示す方向を比較する比較手段と、該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段とを備えることを特徴とする。
第5発明に係る対象物検出装置は、ステレオ視遠赤外線撮像装置が撮像した画像を取得し、該画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置において、ミリ波レーダから車両を基準とする対象物候補の方向及び距離を示す位置情報を取得する手段と、取得した画像に基づいて車両を基準とする対象物候補の方向及び距離を算出する算出手段と、該算出手段が算出した方向及び距離並びに前記位置情報が示す方向及び距離を比較する比較手段と、該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段とを備えることを特徴とする。
第6発明に係る対象物検出装置は、前記対象物は歩行者であることを特徴とする。
第1及び第4発明にあっては、車両を基準とする対象物候補の方向を異なる方法で検出又は算出する。一の方法では、遠赤外線撮像装置にて撮像した画像に基づいて車両を基準とする対象物候補の方向を算出する。なお、対象物候補は、誤検出判定前に、遠赤外線撮像装置によって対象物であると仮検出された対象を示している。他の方法では、ミリ波レーダにて車両を基準とする対象物候補の方向を算出する。夫々の方法で検出又は算出された対象物候補の方向が一致していない場合、遠赤外線撮像装置による対象物の検出は失敗している虞がある。この場合、対象物候補は対象物でないと判定する。方向が一致している場合、対象物候補を対象物であると判定する。
従って、遠赤外線撮像装置のみを用いて対象物を検出する場合に比べて、対象物の誤検出を効果的に防止することができる。
なお、ミリ波レーダは、30GHz〜300GHzの周波数帯の電波にて対象物候補の方向を算出する。
従って、遠赤外線撮像装置のみを用いて対象物を検出する場合に比べて、対象物の誤検出を効果的に防止することができる。
なお、ミリ波レーダは、30GHz〜300GHzの周波数帯の電波にて対象物候補の方向を算出する。
第2及び第5発明にあっては、ステレオ視遠赤外線撮像装置にて撮像した画像に基づいて、車両を基準とする対象物の方向及び距離を算出する。また、ミリ波レーダにて車両を基準とする対象物候補の方向及び距離を算出する。夫々の方法で検出又は算出された対象物候補の方向及び距離が一致していない場合、遠赤外線撮像装置による対象物の検出は失敗している虞がある。この場合、対象物候補は対象物でないと判定する。方向及び距離が一致している場合、対象物であると判定する。
従って、ステレオ視遠赤外線撮像装置のみを用いて対象物を検出する場合に比べて、対象物の誤検出を効果的に防止することができる。
また、対象物候補の方向のみを比較する場合に比べて、より効果的に対象物の誤検出を防止することができる。
従って、ステレオ視遠赤外線撮像装置のみを用いて対象物を検出する場合に比べて、対象物の誤検出を効果的に防止することができる。
また、対象物候補の方向のみを比較する場合に比べて、より効果的に対象物の誤検出を防止することができる。
第3及び第6発明にあっては、対象物として歩行者を検出し、該歩行者の誤検出を防止することができる。具体的には、車両のテールランプ部分及びタイヤ部分を歩行者と誤検出することを防止することができる。
本発明によれば、従来の対象物検出装置に比べてより効果的に対象物の誤検出を防止することができる。例えば、車両のテールランプ及びタイヤ部分を歩行者と誤検出することを防止することができる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図1は、本発明の実施の形態に係る対象物検出システムの構成を示す模式図である。本発明の実施の形態に係る対象物検出システムは、車両前部に搭載されたステレオ視遠赤外線撮像装置1、ミリ波レーダ2、及び対象物検出装置3を備えている。
図1は、本発明の実施の形態に係る対象物検出システムの構成を示す模式図である。本発明の実施の形態に係る対象物検出システムは、車両前部に搭載されたステレオ視遠赤外線撮像装置1、ミリ波レーダ2、及び対象物検出装置3を備えている。
ステレオ視遠赤外線撮像装置1は、車両前部に搭載された2基の遠赤外線撮像装置1R,1Lを備えている。遠赤外線撮像装置1Rは、運転席側からみて車幅方向右側に配されている。遠赤外線撮像装置1Lは、車幅方向左側であって、路面からの高さが遠赤外線撮像装置1Rと等しくなる箇所に配されている。また、遠赤外線撮像装置1R,1Lは、光軸方向が略並行になるような姿勢で固定されている。遠赤外線撮像装置1R,1Lの構成は同様であるため、以下、遠赤外線撮像装置1Rの構成を説明する。
図2は、遠赤外線撮像装置1Rの構成を示すブロック図である。遠赤外線撮像装置1Rは撮像部11、信号処理部12、一時記憶用の画像メモリ13及び画像出力部14を備えている。
撮像部11は、車両前方を臨む遠赤外線透過性のレンズを備えており、該レンズの背面側には波長が7〜14μmの遠赤外線にて車両前方を撮像する遠赤外線撮像素子が配されている。また、レンズの正面側には、該レンズを保護する遠赤外線透過性の保護窓、保護網等が設けられている。遠赤外線撮像素子は、レンズにて結像した像を輝度信号に光電変換して信号処理部12に与える。
信号処理部12は、輝度信号をデジタルの画像データにAD変換し、AD変換された画像データに対して各種補正処理を実行し、画像出力部14に接続されたケーブル6を介して対象物検出装置3へ送信する。
ミリ波レーダ2は、図1に示すように、ステレオ視遠赤外線撮像装置1の上方、車両前部の車幅方向略中央部に設置されている。
図3は、ミリ波レーダ2の構成を示すブロック図である。ミリ波レーダ2は、例えばFM−CW(Frequency-Modulated Continuous Waves)レーダ方式であり、アンテナ部21、ミリ波送受信器22、スキャナ部23、アナログ回路部24、デジタル信号処理部25、及び外部インタフェース26を備えている。
アンテナ部21は平面アンテナであり、アンテナ部21にはミリ波送受信器22が導波管接続されている。ミリ波送受信器22は、周波数逓倍器、ミクサ、増幅器等が集約されたMMIC(Monolithic Microwave IC)、VOC(Voltage Controlled Oscillator)等から構成されており、アンテナ部21及びミリ波送受信器22は76GHz〜77GHzのミリ波、特に76GHzのミリ波をレーダ波として送受信する。スキャナ部23は、ミリ波送受信器22及びアンテナ部21を駆動するモータ23a及びモータ駆動部23bを備えており、ミリ波送受信器22及びアンテナはスキャナ部23にて左右にスキャンニングを行う。例えば、モータ23aの回転により、アンテナ部21で送受信されるミリ波の方向を±4度〜10度の水平検知角において0.5度ずつ水平方向に変化させることができ、水平方向に走査して対象物候補を検出することができる。
アナログ回路部24は、ミリ波送受信器22が受信した信号に対して所定のアナログ信号処理を実行し、デジタル信号処理部25に信号処理された信号を与える。デジタル信号処理部25は、入力された信号をAD変換し、DSP回路にて周波数分析を行い、車両を基準とする対象物候補の方向及び距離を算出し、算出して得た方向情報及び距離情報(位置情報)を外部インタフェース26を介して対象物検出装置3に送信する。
図4は、対象物検出装置3の構成を示すブロック図である。対象物検出装置3は、制御部30、RAM31、画像メモリ32、画像入力部33a、画像出力部33b、及び通信インタフェース部33cを備えている。
画像入力部33aには、ケーブル6を介して遠赤外線撮像装置1R,1Lが接続されており、遠赤外線撮像装置1R,1Lから画像データの入力を行う。画像入力部33aに入力された画像データは、1フレーム単位で順に画像メモリ32に記憶される。
画像出力部33bにはケーブル8を介して表示装置4、例えばヘッドアップディスプレイが接続されている。画像出力部33bは、入力された画像データを適宜表示装置4に送信し、表示装置4に遠赤外線撮像装置1R,1Lが撮像して得た画像を表示させる。例えば、遠赤外線撮像装置1R,1Lが撮像して得た各画像を横方向に並列して表示させる。
通信インタフェース部33cには、ケーブル7を介してミリ波レーダ2が接続されており、通信インタフェース部33cは、ミリ波レーダ2から送信された方向情報及び距離情報を受信するように構成されている。
また、通信インタフェース部33cには、ケーブル9を介して警報装置5が接続されており、制御部30の制御に応じた警報信号が通信インタフェース部33cを介して警報装置5に送信されるように構成されている。
また、通信インタフェース部33cには、ケーブル9を介して警報装置5が接続されており、制御部30の制御に応じた警報信号が通信インタフェース部33cを介して警報装置5に送信されるように構成されている。
警報装置5は、例えば接触又は衝突する虞がある歩行者を検出した場合、その旨の音声、警告音等によって出力する。
画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、画像入力部33aを介して遠赤外線撮像装置1R,1Lから入力された画像データを一時記憶する。
制御部30は、画像メモリ32に記憶された画像データをフレーム単位で読み出し、対象物候補の検出、対象物であるか否かの判定、警告等の処理を実行する。
図5は、対象物の検出に係る制御部30の処理手順を示すフローチャートである。制御部30は、ステレオ視遠赤外線撮像装置1を構成する遠赤外線撮像装置1R,1Lから画像データを取得し、(ステップS11)、取得した画像データに基づいて、対象物候補を検出する(ステップS12)。
対象物候補の検出方法は公知技術である。具体的には、遠赤外線撮像装置1R,1Lが撮像して得た画像を2値化し、該画像を所定サイズの小領域、例えば3×3画素の領域に分割する。そして、一定温度以上の物体に相当する連結領域のラベリングを行う。連結領域は高輝度値の画素が連結している部分である。次いで、連結領域のサイズ、重心、外接四角形の縦横比、形状等の特徴量を算出する。次いで、一定条件を満たした特徴量を有する連結領域を対象物候補領域として特定する。つまり対象物候補を検出する。
次いで、制御部30は対象物候補が検出されたか否かを判定する(ステップS13)。対象物候補が検出されていないと判定した場合(ステップS13:NO)、制御部30は処理をステップS11に戻す。対象物候補が検出されたと判定した場合(ステップS13:YES)、制御部30は、ステップS11で取得した画像データに基づいて、車両を基準とする対象物候補の方向及び距離を算出する(ステップS14)。
例えば、遠赤外線撮像装置1R,1Lで撮像した各画像における対象物候補の視差を算出し、三角測量法にて距離を算出する。具体的には、遠赤外線撮像装置1Rが撮像した画像中の一の対象物候補領域を基準領域とし、遠赤外線撮像装置1Lが撮像した画像から特定の領域(探索領域)を順次選択し、基準領域と探索領域との相関を算出する。そして、一定の相関を有する探索領域を、基準領域に対応する領域(対応領域)として抽出する。次いで、基準領域の重心と、対応領域の重心との画素差(視差)を算出して、車両に対する対象物候補領域の距離を算出する。また画像中の位置を特定することで方向を算出する。
例えば、遠赤外線撮像装置1R,1Lで撮像した各画像における対象物候補の視差を算出し、三角測量法にて距離を算出する。具体的には、遠赤外線撮像装置1Rが撮像した画像中の一の対象物候補領域を基準領域とし、遠赤外線撮像装置1Lが撮像した画像から特定の領域(探索領域)を順次選択し、基準領域と探索領域との相関を算出する。そして、一定の相関を有する探索領域を、基準領域に対応する領域(対応領域)として抽出する。次いで、基準領域の重心と、対応領域の重心との画素差(視差)を算出して、車両に対する対象物候補領域の距離を算出する。また画像中の位置を特定することで方向を算出する。
次いで、制御部30は、ミリ波レーダ2から対象物候補の方向情報を取得し(ステップS15)、距離情報を取得する(ステップS16)。
次いで、制御部30はステップS14で算出した距離と、ステップS16で取得した距離情報が示す距離とを比較し、距離が一致しているか否かを判定する(ステップS17)。
距離が一致していないと判定した場合(ステップS17:NO)、処理をステップS11に戻す。距離が一致していると判定した場合(ステップS17:YES)、制御部30はステップS14で算出した方向と、ステップS15で取得した方向情報が示す方向とを比較し、方向が一致しているか否かを判定する(ステップS18)。
方向が一致していると判定した場合(ステップS18:YES)、制御部30は、ステップS12で検出した対象物候補を歩行者と判定し(ステップS19)、対象物の検出に係る処理を終える。方向が一致していないと判定した場合(ステップS18:NO)、制御部30は、ステップS12で検出した対象物候補を歩行者でないと判定し(ステップS20)、対象物の検出に係る処理を終える。
図6は、対象物の誤検出防止方法を示す説明図である。図6は(a)は、遠赤外線撮像装置1R,1Lにて撮像された前方車両Aの画像、つまり前方を走行している車両Aの後部の画像と、ミリ波レーダ2の受信信号レベルM1とを模式的に示している。
図6(a)に示すような車両Aを遠赤外線撮像装置1R,1Lにて撮像した場合、テールランプ部分a1及びタイヤ部分a3と、テールランプ部分a2及びタイヤ部分a4の形状が夫々歩行者に似ているため、ステップS12の処理によって、2つの対象物候補が並列している2人の歩行者として検出される。
ミリ波レーダ2によれば、車両Aの車幅方向略中央部の方向に存在する一つの対象物候補が検出される。ミリ波レーダ2の受信信号レベルM1は、図6(a)に示すように車両Aの車幅方向略中央部の方向にピークを有している。ミリ波レーダ2の分解能は2〜3度と低いため歩行者の特定を行うことはできないが、対象物候補、図6(a)においては車両Aの方向を検出することはできる。
図6(a)に示すような車両Aを遠赤外線撮像装置1R,1Lにて撮像した場合、テールランプ部分a1及びタイヤ部分a3と、テールランプ部分a2及びタイヤ部分a4の形状が夫々歩行者に似ているため、ステップS12の処理によって、2つの対象物候補が並列している2人の歩行者として検出される。
ミリ波レーダ2によれば、車両Aの車幅方向略中央部の方向に存在する一つの対象物候補が検出される。ミリ波レーダ2の受信信号レベルM1は、図6(a)に示すように車両Aの車幅方向略中央部の方向にピークを有している。ミリ波レーダ2の分解能は2〜3度と低いため歩行者の特定を行うことはできないが、対象物候補、図6(a)においては車両Aの方向を検出することはできる。
この場合、図6(a)に示すように遠赤外線撮像装置1R,1Lにて得られた対象物候補の方向と、ミリ波レーダ2にて検出された対象物候補の方向とは一致せず、ステップS20で対象物候補は歩行者でないと判定される。
一方、図6(b)は、遠赤外線撮像装置1R,1Lにて撮像された歩行者B,Cの画像と、ミリ波レーダ2の受信信号レベルM2とを模式的に示している。
図6(b)に示すように並列している2人の歩行者B,Cを遠赤外線撮像装置1R,1Lにて撮像した場合、2つの対象物候補が並列している2人の歩行者B,Cとして検出される。
ミリ波レーダ2によれば、図6(b)に示すように並列している2人の歩行者B,Cの方向に存在する2つの対象物候補が検出される。ミリ波レーダ2の受信信号レベルM2は、図6(b)に示すように各歩行者B,Cの方向ピークを有している。
図6(b)に示すように並列している2人の歩行者B,Cを遠赤外線撮像装置1R,1Lにて撮像した場合、2つの対象物候補が並列している2人の歩行者B,Cとして検出される。
ミリ波レーダ2によれば、図6(b)に示すように並列している2人の歩行者B,Cの方向に存在する2つの対象物候補が検出される。ミリ波レーダ2の受信信号レベルM2は、図6(b)に示すように各歩行者B,Cの方向ピークを有している。
この場合、図6(b)に示すように遠赤外線撮像装置1R,1Lにて得られた対象物候補の方向と、ミリ波レーダ2にて検出された対象物候補の方向とが一致し、ステップS19で対象物候補は歩行者であると判定される。
上述した処理によれば、遠赤外線撮像装置1R,1L及びミリ波レーダ2にて夫々得られる対象物候補の方向が一致するか否かを判定することにより、車両のテールランプ部分及びタイヤ部分を歩行者として誤認することを防止することができる。
また、遠赤外線撮像装置1R,1L及びミリ波レーダ2にて夫々得られる対象物候補の距離が一致しているか否かを判定することにより、より確実に対象物候補の誤認識を防止することができる。例えば、ミリ波レーダ2から送信されたミリ波は前方車両の手前の路面で反射した後、前々車両の後部で反射し、受信される虞がある。このようにして得られた距離情報及び方向情報は、歩行者の誤認識防止に使用できず、歩行者の誤検出を招く虞がある。本実施の形態によれば、距離が一致しない場合、処理をステップS11に戻してやり直すように構成しているため、対象物の誤検出をより確実に防止することができる。
本実施の形態に係る対象物検出システム及び対象物検出装置3にあっては、対象物の誤検出を防止することができる。より具体的には、歩行者の誤検出を防止することができる。
また、遠赤外線撮像装置1R,1Lが撮像した画像に基づいて算出された対象物候補の方向及び距離と、ミリ波レーダ2で検出された対象物候補の方向及び距離とを比較し、両者が一致した場合、対象物を歩行者と判定するように構成してあるため、より正確に対象物の誤検出を防止することができる。
更に、対象物候補の方向及び距離を、76GHzのミリ波にて検出するように構成しているため、水に吸収される22GHz、又は183GHz、酸素に吸収される60GHzのミリ波を使用する場合に比べて、雨、霧等の影響を受けにくく、より効果的に対象物の誤検出を防止することができる。
なお、実施の形態で説明したミリ波レーダの構成は一例であり、ミリ波を送受信することにより、車両を基準とする対象物候補の方向及び距離を検出することができるのであれば、メカニカルスキャン式、フェーズドアレー式、またはその他の構成であっても良い。
また、76GHz〜77GHzのミリ波で対象物候補の方向及び距離を算出するように構成してあるが、例えば78〜81GHz等の他の周波数帯を用いて対象物候補の方向及び距離を算出するように構成しても良い。
更に、対象物候補の方向及び距離の双方を比較するように構成してあるが、方向のみで誤検出を防止するように構成しても良い。
例えば、単眼の遠赤外線撮像装置を1基備え、対象物候補の方向のみを用いて、対象物の誤検出を防止することも可能である。
例えば、単眼の遠赤外線撮像装置を1基備え、対象物候補の方向のみを用いて、対象物の誤検出を防止することも可能である。
更にまた、歩行者の誤検出を防止する場合を主に説明したが、他の対象物、例えば並列して走行している自動二輪、自転車等の誤検出を防止するように構成しても良い。
なお、開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内のすべての変更が含まれることが意図される。
1 ステレオ視遠赤外線撮像装置
1R,1L 遠赤外線撮像装置
2 ミリ波レーダ
3 対象物検出装置
4 表示装置
5 警報装置
6,7,8,9 ケーブル
30 制御部
31 RAM
32 画像メモリ
33a 画像入力部
33b 画像出力部
33c 通信インタフェース部
1R,1L 遠赤外線撮像装置
2 ミリ波レーダ
3 対象物検出装置
4 表示装置
5 警報装置
6,7,8,9 ケーブル
30 制御部
31 RAM
32 画像メモリ
33a 画像入力部
33b 画像出力部
33c 通信インタフェース部
Claims (6)
- 車両周辺を撮像する遠赤外線撮像装置と、該遠赤外線撮像装置が撮像した画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置とを備える対象物検出システムにおいて、
車両を基準とする対象物候補の方向を検出するミリ波レーダを備え、
前記対象物検出装置は、
前記遠赤外線撮像装置が撮像した画像に基づいて車両を基準とする対象物候補の方向を算出する算出手段と、
該算出手段が算出した方向及び前記ミリ波レーダが検出した方向を比較する比較手段と、
該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段と
を備えることを特徴とする対象物検出システム。 - 車両周辺を撮像するステレオ視遠赤外線撮像装置と、該ステレオ視遠赤外線撮像装置が撮像した画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置とを備える対象物検出システムにおいて、
車両を基準とする対象物候補の方向及び距離を検出するミリ波レーダを備え、
前記対象物検出装置は、
前記ステレオ視遠赤外線撮像装置が撮像した画像に基づいて車両を基準とする対象物候補の方向及び距離を算出する算出手段と、
該算出手段が算出した方向及び距離並びに前記ミリ波レーダが検出した方向及び距離を比較する比較手段と、
該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段と
を備えることを特徴とする対象物検出システム。 - 前記対象物は歩行者である
ことを特徴とする請求項1又は請求項2に記載の対象物検出システム。 - 遠赤外線撮像装置が撮像して得た画像を取得し、該画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置において、
ミリ波レーダから車両を基準とする対象物候補の方向を示す方向情報を取得する手段と、
取得した画像に基づいて車両を基準とする対象物候補の方向を算出する算出手段と、
該算出手段が算出した方向及び前記方向情報が示す方向を比較する比較手段と、
該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段と
を備えることを特徴とする対象物検出装置。 - ステレオ視遠赤外線撮像装置が撮像した画像を取得し、該画像に基づいて検出された対象物候補から対象物を特定する対象物検出装置において、
ミリ波レーダから車両を基準とする対象物候補の方向及び距離を示す位置情報を取得する手段と、
取得した画像に基づいて車両を基準とする対象物候補の方向及び距離を算出する算出手段と、
該算出手段が算出した方向及び距離並びに前記位置情報が示す方向及び距離を比較する比較手段と、
該比較手段の比較結果に応じて、前記対象物候補が対象物であるか否かを判定する手段と
を備えることを特徴とする対象物検出装置。 - 前記対象物は歩行者である
ことを特徴とする請求項4又は請求項5に記載の対象物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007069226A JP2008234029A (ja) | 2007-03-16 | 2007-03-16 | 対象物検出システム及び対象物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007069226A JP2008234029A (ja) | 2007-03-16 | 2007-03-16 | 対象物検出システム及び対象物検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008234029A true JP2008234029A (ja) | 2008-10-02 |
Family
ID=39906771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007069226A Pending JP2008234029A (ja) | 2007-03-16 | 2007-03-16 | 対象物検出システム及び対象物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008234029A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013134667A (ja) * | 2011-12-27 | 2013-07-08 | Toshiba Corp | 車両検知装置 |
JP2017052498A (ja) * | 2015-09-11 | 2017-03-16 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
WO2017126226A1 (ja) | 2016-01-22 | 2017-07-27 | 日産自動車株式会社 | 車両の運転支援制御方法及び制御装置 |
US9738253B2 (en) | 2012-05-15 | 2017-08-22 | Aps Systems, Llc. | Sensor system for motor vehicle |
CN108263278A (zh) * | 2016-12-30 | 2018-07-10 | 现代自动车株式会社 | 基于传感器整合的行人检测和行人防碰撞装置及方法 |
CN109435847A (zh) * | 2018-09-14 | 2019-03-08 | 常州智行科技有限公司 | 一种基于摄像头与毫米波雷达的车辆防追尾预警方法 |
WO2019069599A1 (ja) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
EP3407326A4 (en) * | 2016-01-22 | 2019-06-12 | Nissan Motor Co., Ltd. | PEDESTRIAN PROCEDURE AND PEDESTRIAN PROVISIONING APPARATUS |
WO2020196367A1 (ja) * | 2019-03-27 | 2020-10-01 | いすゞ自動車株式会社 | 検出装置及び検出方法 |
-
2007
- 2007-03-16 JP JP2007069226A patent/JP2008234029A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013134667A (ja) * | 2011-12-27 | 2013-07-08 | Toshiba Corp | 車両検知装置 |
US9738253B2 (en) | 2012-05-15 | 2017-08-22 | Aps Systems, Llc. | Sensor system for motor vehicle |
JP2017052498A (ja) * | 2015-09-11 | 2017-03-16 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
JPWO2017126226A1 (ja) * | 2016-01-22 | 2018-09-06 | 日産自動車株式会社 | 車両の運転支援制御方法及び制御装置 |
CN108475469A (zh) * | 2016-01-22 | 2018-08-31 | 日产自动车株式会社 | 车辆的驾驶辅助控制方法以及控制装置 |
WO2017126226A1 (ja) | 2016-01-22 | 2017-07-27 | 日産自動車株式会社 | 車両の運転支援制御方法及び制御装置 |
RU2687196C1 (ru) * | 2016-01-22 | 2019-05-07 | Ниссан Мотор Ко., Лтд. | Способ управления и устройство управления помощью при вождении транспортного средства |
EP3407326A4 (en) * | 2016-01-22 | 2019-06-12 | Nissan Motor Co., Ltd. | PEDESTRIAN PROCEDURE AND PEDESTRIAN PROVISIONING APPARATUS |
US10503985B2 (en) | 2016-01-22 | 2019-12-10 | Nissan Motor Co., Ltd. | Pedestrian determination method and determination device |
US10576972B2 (en) | 2016-01-22 | 2020-03-03 | Nissan Motor Co., Ltd. | Vehicle driving assist control method and control device |
CN108263278A (zh) * | 2016-12-30 | 2018-07-10 | 现代自动车株式会社 | 基于传感器整合的行人检测和行人防碰撞装置及方法 |
WO2019069599A1 (ja) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN109435847A (zh) * | 2018-09-14 | 2019-03-08 | 常州智行科技有限公司 | 一种基于摄像头与毫米波雷达的车辆防追尾预警方法 |
WO2020196367A1 (ja) * | 2019-03-27 | 2020-10-01 | いすゞ自動車株式会社 | 検出装置及び検出方法 |
CN113646820A (zh) * | 2019-03-27 | 2021-11-12 | 五十铃自动车株式会社 | 检测装置及检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008234029A (ja) | 対象物検出システム及び対象物検出装置 | |
EP2889641B1 (en) | Image processing apparatus, image processing method, program and image processing system | |
US11805228B2 (en) | Vehicular control system with forward viewing camera and forward sensing sensor | |
US8077204B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP3822515B2 (ja) | 障害物検知装置及びその方法 | |
JP4809019B2 (ja) | 車両用障害物検出装置 | |
US7418112B2 (en) | Pedestrian detection apparatus | |
JP5262976B2 (ja) | 車載表示装置 | |
JP4892965B2 (ja) | 移動体判定システム、移動体判定方法、及びコンピュータプログラム | |
JP2010127717A (ja) | 対象物検出装置及び対象物検出システム | |
US11454723B2 (en) | Distance measuring device and distance measuring device control method | |
JP6782433B2 (ja) | 画像認識装置 | |
JP2011099683A (ja) | 物体検出装置 | |
US20190145768A1 (en) | Object Distance Detection Device | |
US20230040994A1 (en) | Information processing apparatus, information processing system, information processing program, and information processing method | |
JP2006322853A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
JP5077088B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2007128235A (ja) | 接近報知装置 | |
JP2008026998A (ja) | 障害物位置算出システム、及び障害物位置算出方法 | |
JP2014146267A (ja) | 歩行者検出装置、運転支援装置 | |
JP3822417B2 (ja) | 車両周辺監視装置 | |
JP5617362B2 (ja) | 障害物認識装置 | |
US20220155459A1 (en) | Distance measuring sensor, signal processing method, and distance measuring module | |
JP2017129543A (ja) | ステレオカメラ装置及び車両 | |
JP4261321B2 (ja) | 歩行者検出装置 |