JP2005005978A - Surrounding condition recognition system - Google Patents
Surrounding condition recognition system Download PDFInfo
- Publication number
- JP2005005978A JP2005005978A JP2003166438A JP2003166438A JP2005005978A JP 2005005978 A JP2005005978 A JP 2005005978A JP 2003166438 A JP2003166438 A JP 2003166438A JP 2003166438 A JP2003166438 A JP 2003166438A JP 2005005978 A JP2005005978 A JP 2005005978A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- recognition system
- communication device
- ambient
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Vehicle Waterproofing, Decoration, And Sanitation Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、自車の周囲の車両や人の状況を認識するようにした周囲状況認識システムに関する。
【0002】
【従来の技術】
一般に、自動車を運転する際には、走行中の安全を確保するために、運転者は、車両の周囲をバックミラー、サイドミラー、ガラス越しの視覚、音、振動等で監視し、他車と衝突しないようにステアリング、アクセル、ブレーキ等を操作することが行われる。
【0003】
しかし、運転中にこのように周囲の状況を確認するのは非常な注意力が必要であると共に、集中力が必要となるので、このような状況から運転者を解放させて疲労度を少なくして快適な運転を行うことができるようにするべく、種々の支援システムが提案されつつある。
【0004】
自動車の走行や運転あるいは緊急事態が発生したときに支援するシステムとしては、例えば、ナンバープレートに交通事故を記録するための撮影手段と、記録手段を内蔵する構成のものがある(例えば、特許文献1参照)。
【0005】
また、特許文献2に示されるような技術もある。これには、ナビゲーションの地図と、障害物検出部として、画像処理による車線検出、車両検出、レーザレーダ等による自車との相対位置、相対速度、相対加速度を測定し、地図と合成する技術が開示されている。
【0006】
また、この特許文献2では、オブジェクトモデルとして、車両や従来の建物の地図に関して3Dオブジェクトや、2Dマップを3Dに変換することが記載されている。また、引例では車両を表示するために、モデルの重心を抽出した領域の重心に合わせてあてはめ、表示を行なっている。
【0007】
さらには、運転者の運転を支援するために、前方車両の位置をレーザやミリ波を用いて計測し、前方車両の速度や位置(車間距離)を設定条件に保つためのACC(Adaptive Cruise Control)の技術が用いられるようになってきた。この技術では、設定された条件を維持するように前方を走行する車両を追尾する方式であるので、その前方車両が急激に進行方向を変えたり、道路の起伏やカーブにより前車の進行方向が急激に変化すると、車両を追跡し損なってしまう可能性が高いものである。この理由は、ACCでは前述のように車間距離と速度程度しかわからないためである。
【0008】
【特許文献1】
特開2001−097251号公報
【0009】
【特許文献2】
特開2002−046506号公報
【0010】
【発明が解決しようとする課題】
上記の点について改善するために種種の精度を向上させることが検討されている。例えば、カメラとしてステレオカメラを用い、画像だけで対象物までの距離を測定するようにしたものである。
【0011】
しかし、この方法では、対象物を検知してその対象物までの距離をもとめるためには、莫大な画像データを取り扱う必要があり、その画像データから自車両の移動を考慮しながら、移動体をまず捕らえ、その移動体までの位置関係を2台のカメラ画像のピクセルデータをマッチングさせることで、最終的に距離のデータを得るため、データの処理能力が要求されることになる。
【0012】
また、画像内に複数の移動体があり、それが画像で重なった状態で存在する場合は、それぞれを分離して、個々の移動体を解析する必要が出てくるため、このような場合には、解析に多大な時間が必要となるため、安全運転支援等のリアルタイム性を要求される用途に使用することは実用上で難しい。
【0013】
本発明は、上記事情に鑑みてなされたもので、その目的は、カメラにより撮影した画像データについて行う処理の負担を軽減して迅速且つ正確に周囲に存在する移動体の認識をすることができるようにした安全な走行を支援するシステムとしての周囲状況認識システムを提供することにある。
【0014】
【課題を解決するための手段】
請求項1の発明によれば、情報処理装置は、撮像手段により撮影した画像データと移動体通信装置により取得した情報とから自車の周囲に存在する車両もしくは人の存在範囲を算定し、この情報処理手段により算定され利用者が知覚可能な情報に変換された情報を表示装置に表示させるので、撮像手段からの画像データだけでなく対象となる車両に搭載された移動体通信装置もしくは人が携帯している移動体通信装置との間の通信により得られた情報を用いて存在範囲を算定することができることで迅速且つ正確に周囲に存在する車両や人などの移動体の認識をすることができるようになる。
【0015】
請求項2の発明によれば、上記請求項1の発明において、撮像手段を、自車の周囲を撮影する場合に自車の一部を含んだ状態で撮影するように設定しているので、周囲の画像データについて自車の位置との相対関係を認識しやすい状態で得ることができ、周囲の状況把握をしやすくなる。
【0016】
請求項3の発明によれば、上記各発明において、移動体通信装置を、設定された距離内にある車両と通信するために通信距離を変更可能に構成しているので、例えば通信距離を短距離側から長く設定していって通信が可能となった時点での設定状態から逆に通信距離を測定することができるようになる。
【0017】
請求項4の発明によれば、上記各発明において、移動体通信装置を、設定された方向にある車両と通信するために通信方向を変更可能に構成しているので、通信が可能となった時点での通信方向から対象となる車両の存在方向を認識することができるようになる。
【0018】
請求項5の発明によれば、上記各発明において、移動体通信装置を、設定された方向にある人の携帯する移動体通信装置と通信するために通信距離を変更可能に構成しているので、人が携帯する移動体通信装置について前述した車両の場合と同様の処理で距離を測定することができるようになる。
【0019】
請求項6の発明によれば、上記各発明において、移動体通信装置を、設定された方向にある人の移動体通信装置と通信するために通信方向を変更可能に構成しているので、前述同様に対象となる人の存在する方向を認識することができるようになる。
【0020】
請求項7の発明によれば、上記各発明において、情報処理装置により、自車の周囲に存在する車両もしくは人の存在範囲を示す算定結果の出力データとして、車両もしくは人の位置座標と進行方向を示すために、絶対座標データと絶対方向データもしくは自車位置を原点とした相対座標データと相対方向を出力するように構成したので、表示装置により、自車の位置と共に周囲に存在する車両や人を距離や方向を関係付けて的確に表示させることができ、これによって、周囲の状況を確実に認識することができるようになる。
【0021】
請求項8の発明によれば、上記請求項7の発明において、情報処理装置を、算定した結果および周囲に存在する車両の移動体通信装置との間で得た車両の大きさ情報に基づいて周囲に存在する車両または人について表示装置に遠近法を用いた描画処理を行うように構成したので、使用者にとっては視覚的に認識しやすい状態で表示装置の画面を見ることができるようになり、周囲の状況の把握を迅速且つ的確に行うことができるようになる。
【0022】
請求項9の発明によれば、上記請求項8の発明において、情報処理装置を、移動体通信装置により自車の周囲に存在する車両の電子ナンバープレートと通信を行って車両の大きさ情報を得るように構成したので、電子ナンバープレートに記憶されている情報を移動体通信装置により通信を行って得ることができるようになり、迅速且つ確実な情報を得ることができるようになる。
【0023】
請求項10の発明によれば、上記各発明において、情報処理装置を、撮像手段の撮影条件により設定された標準ピクセルサイズと撮影対象物のピクセルサイズとを比較することでその撮影対象物の大きさを推定するように構成したので、概略的な大きさを迅速に推定することができると共に、距離情報などと関連付けることで距離と大きさとの関係を概略的に推定することができるようになる。
【0024】
請求項11の発明によれば、上記請求項10の発明において、情報処理装置を、撮像手段の撮影条件として設定される距離条件について、ACC(Adaptive Cruise Control)による測定結果により求めるように構成したので、撮影対象物までの距離を迅速且つ的確に測定して撮影条件として反映させることができるようになる。
【0025】
請求項12の発明によれば、上記請求項10および11の発明において、情報処理装置を、ACCによる距離測定に際して、撮像手段による撮影画像で距離測定対象物の方向の絞り込みを行うように構成したので、ACCによる距離測定対象物の方向設定を撮影画像から概略的に判定することで迅速に設定することができるようになる。
【0026】
請求項13の発明によれば、上記請求項10ないし12の発明において、情報処理装置を、撮像手段の撮影条件として設定される距離条件について、対象となる車両に搭載された移動体通信装置との間の通信距離情報により得るように構成したので、通信可能な距離を特定することで通信距離情報を得て距離条件を概略的に設定することができるようになる。
【0027】
請求項14の発明によれば、上記請求項8ないし13の発明において、表示装置を、自車の周囲の状況を少なくとも左右に分けて表示可能とするように複数個設ける構成としているので、視覚的に左右に対応した位置に配置をすることで使用者にとって認識しやすい状態で確認することができるようになる。
【0028】
請求項15の発明によれば、上記各発明において、撮像手段および移動体通信装置を、自車の前後に設けられるナンバープレートに一体に配設したので、ワイヤーハーネスの配設量を少なくしてコンパクトで信頼性の高い実装状態とすることができるようになる。
【0029】
【発明の実施の形態】
(第1の実施形態)
以下、本発明を周辺監視システムに適用した場合の第1の実施形態について図1ないし図10を参照して説明する。
図1は、対象としている自動車(車両)に搭載するシステムの概略的な構成を示すものである。全体の情報処理の統合的な処理を行う情報処理装置1は、CPUを主体としてROM、RAMや各種入手出力インターフェースなどを備えた構成とされており、後述する周囲状況認識プログラムにしたがって自車の周囲の状況を把握することができるようにした画像表示を行うための処理を行う。
【0030】
情報処理装置1には、車載周囲監視カメラシステム2、ACC・レーダー3、位置情報取得装置4、自車情報提供装置5などが接続されると共に、G/W(Gateway)6を介して車車間通信装置7、路上道路監視システム8などが接続されている。また、情報処理装置1には、情報を表示するための表示手段として表示装置9が接続された構成とされている。また、カーナビゲーション装置と連動した動作をすることができるように、地図データ記憶部10が接続されている。
【0031】
車載周囲監視カメラシステム2は、例えば図2に示すように、撮像手段としての8台のカメラ11a〜11hを自動車12の車体に設けた構成としている。それぞれは、前方右側カメラ11a、前方左側カメラ11b、後方右側カメラ11c、後方左側カメラ11d、右側方前方向カメラ11e、右側方後ろ方向カメラ11f、左側方前方向カメラ11g、左側方後ろ方向カメラ11hである。
【0032】
図示のように、例えば、右側方前方向カメラ11eでは、車体12の右側方の前方を視野Vaとして撮影するように配置されており、右前方を走行する車両13aなどを車体12の一部を含んだ画像として撮影することができる。また、同様に、右側方後ろ方向カメラ11fでは、右後方を視野Vbとして撮影するように配置され、右後方を走行する車両13bなどを車体12の一部を含んだ画像として撮影することができる。
【0033】
そして、車載周囲監視カメラシステム2は、同様にして前方を走行する車両13cや左側方を走行する車両13dなども画像として撮影することができ、これら8台のカメラ11a〜11hにより撮影して得られた撮影データを適宜統合して得た映像を情報処理装置1に送るように構成されている。
【0034】
ACC・レーダー3は、レーザやミリ波を用いて前方車両との車間距離や前方車両の速度を測定するもので、上記したカメラ11a〜11dに付随して設けられており、前方右側、前方左側、後方右側、後方左側のそれぞれの方向に対して測定対象物までの距離あるいは速度を測定して情報処理装置1に送信する。
【0035】
車車間通信装置7は、自車の周囲に存在する車両と直接通信を行い、周囲車両情報(車両サイズ、速度、ブレーキ、アクセル、位置座標、車種、型番)の送受信を行うように構成されている。通信により得られた周囲車両情報は、情報処理装置1に送信される。
【0036】
また、この車車間通信装置7は、通信距離可変機能を備えていて、通信出力を変化させることで通信可能な距離を設定することにより、相手との距離を測定することができるように構成されている。
【0037】
図3は車車間通信装置7の通信距離可変機能を利用して距離を測定する場合を説明するものである。ここでは、通信距離が出力に比例する特性のアンテナを用いることで、他の通信できる機器との間の距離を測定する。具体的には、アンテナ入力パワーを上げていくことで通信が可能となった時点でその機器との距離をアンテナ入力パワーから求めるのである。角度依存性についても、予めアンテナの指向性がわかっていれば求めることができる。
【0038】
同図(b)はアンテナ7aの通信エリアをアンテナ入力パワーに対応して模式的に示しており、同図(a)では、アンテナ入力パワー(dB)に対するエリアサイズ(m)を示す。また、パラメータθはアンテナの中心方向からの振れ角度である。このような関係をデータとして記憶しておくことで、通信相手との間の距離を推定することができるのである。
【0039】
路上道路監視システム8は、走行中に路上に固定してある路上通信器との間で通信を行うように構成されている。これはたとえば、DSRC通信方式で通信を行うもので、通信距離を変更設定することができるように構成されている。これにより、出力レベルを変化させていって通信が可能となったときの出力レベルを測定することで距離を検出することができる。
【0040】
位置情報取得装置4は、GPS信号を受信して現在位置を特定する装置で、図示しないGPSアンテナと受信装置とから構成される。ここでは、GPS測位方式として例えばRTK(Real Time Kinematics)−GPS方式を採用しており、高精度で自車の絶対位置を測定することができるようになっている。
【0041】
自車情報提供装置5は、車両内に搭載されているECUなどと通信を行って自車の速度、加速度あるいは種々の状態を示す情報を取得し、これを情報処理装置1に送信するように構成されている。情報処理装置1は、自車の走行情報を得て、他車との相対的な位置関係や走行状態などを必要に応じて求めるように構成されている。
【0042】
表示装置9は、例えば、図4に示すように、車室内の運転席上部の視野を妨げないようにして安全運転が確保できる条件で、左右の側部に対応した2つのディスプレイ9a,9bが配設されている。これらにディスプレイ9a,9bは、情報処理装置1により画像データが与えられて表示動作を行うが、情報処理装置1は、表示対象物である車両について、絶対位置と相対位置関係から、検知された物体を仮想空間に配置し、3Dレンダリング処理と呼ばれる描画処理を行うように構成されている。
【0043】
表示の態様としては、これ以外にも自車12を中心として上方から見た周囲の車両や人との関係を相対的に表示することができる。また、表示という方法で運転者に情報を伝達することに加えて、自車12と周囲車両の位置関係から、どの周囲車両との位置関係が危険かを、乗員に音声で報知することもできる。
【0044】
なお、この実施形態では2つのディスプレイ9a,9bを設ける構成で示しているが、さらに多くのディスプレイを設けるマルチディスプレイ方式の構成とすることもできる。これにより、運転者に多様な情報を的確に提供することができる。
【0045】
上記のディスプレイ9a,9bの構成では、車両の右側と左側を死角なしに表示を行うために曲面ミラーを2つ用いてそのミラーの画像をCCDカメラで撮影したものを表示する例を示している。このようにすると、車両の左右の死角がなくなるため、従来死角にある人を見逃して起こった事故を防止することができる。また、1つのディスプレイで前後の車両の存在がわかるため、画像を見慣れる必要はあるが、これによって視認性を向上させることも可能である。
【0046】
図5は上記した構成を機能ブロックの構成図として示したものである。この周辺監視システムAとしては、4つのシステムB〜Eから構成されている。車間距離計測システムB、画像認識システムC、車両認識システムD、歩行者認識システムEの4つのシステムである。
【0047】
この周辺監視システムAには、位置情報取得装置4などの現在位置計測手段Fから現在位置情報が入力され、また、自車情報提供装置5などの車載機器Gから自車の走行状態に関する情報が入力される。地図データ記憶部10に相当するデジタルマップ入出力部Hは、位置座標データを指定するとその位置に対応した地図情報を表示データとして出力する。
【0048】
周辺監視システムAが出力する表示用データに対応して表示制御器Jは表示装置9に対して表示動作を行わせる。この表示装置9は、ナビゲーションシステムからも表示用データが与えられて表示動作を行うようになっている。
【0049】
さて、上記した周辺監視システムAが備える4つのシステムB〜Eは、それぞれ次のようなデータを生成して出力するようになっている。車間距離計測システムBは、前方車両車間距離データ、前方車両速度データなどを出力する。画像認識システムCは、移動体有無データ、移動体推定位置データ、移動体分類データ、固定物有無データ、固定物推定位置データ、固定物分類データなどを出力する。
【0050】
車両認識システムDは、車両データ、車両位置座標データ、進行方向データ、車両移動速度データ、加速(アクセル)データ、減速(ブレーキ)データ、運転モードデータ、通信機能データなどを出力する。歩行者認識システムEは、歩行者有無IDデータ、歩行者位置座標データ、進行方向データ、歩行者移動速度データなどを出力する。
【0051】
次に、本実施形態の作用について図6の制御プログラムのフローチャートおよび図7〜9を参照して周囲状況の認識処理について説明する。
【0052】
情報処理装置1は、図6の制御プログラムを実行する。まず、8台のカメラ11a〜11hにより周囲の画像を撮影し、撮影した画像についてそのピクセルデータを解析し、自車の車速と周囲の固定物の動きから、固定物を画素データから取り除く。これにより、移動体を画面から抽出する(ステップS1)。
【0053】
情報処理装置1は、この処理で、画面に移動体があると判定した場合(ステップS2で「YES」と判断)、移動体の存在位置をサーチターゲットに指定する(ステップS3)。この後、情報処理装置1は、ACC・レーダ3によりサーチターゲットに指定した移動体までの距離を測定する(ステップS4)。
【0054】
情報処理装置1は、ここで、距離測定がOKになるまでステップS3,S4を繰り返し実行する。距離測定がOKになると、情報処理装置1は、次に車車間通信装置7を用いて、通信距離を変化させながら物体との通信を試みる(ステップS6)。
【0055】
ここでは、車車間通信装置7は、車車間通信あるいは人が持つ電子タグとの通信が行えた場合、その通信結果から対象物のIDを読み取って記憶する。もし複数の移動体があれば、複数の物体に同等の処理を繰り返す。渋滞や、人の混雑により、一定期間ですべての検知ができない場合は、車車間および車と人との通信距離を短くしたりして、設定時間内で通信が完了できる検知数に絞る。このようにして得られた通信結果は情報処理装置1に定期的に送信するようになっている。
【0056】
情報処理装置1は、車車間通信装置7から上記したデータを受け取ると(ステップS6,S7,S8)、データに適合する仮想オブジェクトを選定し、それを自車を原点とした仮想空間へ配置する(ステップS9)。もし、他車の具体的オブジェクトID(形状モデルID)があれば、情報処理装置1はそのデータを選択する。また、ユーザが表示視野を設定している場合は、仮想空間内のカメラ位置を変更して、ユーザの視野にあった画像が描画されるように、描画処理が行われる(ステップS10)。
【0057】
次に、上記の処理を進めるのに際して採用している座標系について図7を参照して概略的に説明する。ここでは、自車12の位置を原点(0,0)としてACCレーダー3,車車間通信装置7、カメラ11a〜11hの画像より、相対的な距離を求めることができるので、その値をもとに周囲の車両や人を表示するためのデータを作成することができる。
【0058】
また、地図にマッピングするには、自車12の緯度経度を示す絶対位置の座標データを原点O(0,0)にして地図データに対応させて表示すると共に、周囲の車両の相対的な位置座標データを原点Oを基準にして地図データに対応させて表示することができる。これにより、自車12以外の表示対象物は全て相対座標で示すことができるようになる。
【0059】
なお、この実施形態においては、道路の白線ではなく、道路両端の位置座標データ列をもとに道路が規定されるようになっている(図中△印で表示)。そして、車両の認識は画像だけではなく、ACCレーダ3や車車間通信装置7により、存在確率に対応した表示を行うようになっている。さらに、電子ナンバープレート等が配設されている場合にはそこに記憶される車両情報を読み出し、正確に車両の形やサイズを表示できるようになっている。
【0060】
また、ガードレール、電柱、標識、樹木等の衝突も回避できるように、それらが3次元のオブジェクトで地図上に配置表示されるようになっており、それらのオブジェクトに接近しないようにすることで、物損事故の回避が行なえる。加えて、人の認識機能を合わせもち、人を発見した場合、最優先で人を避けることにも利用することができる。
【0061】
情報処理装置1による表示装置9への表示制御は次のようにして行うようになっている。情報処理装置1は、自車12の周囲を移動する物体として検知した対象物(車両、人)を仮想空間へ配置して、レンダリング描画することで、例えば図8に示すような表示画面を提供する。
【0062】
ここでは、自車12の運転席から前方を見たときの状況を簡易的なグラフィック描画で表示するようになっている。ディスプレイ9a,9bには、道路、横断歩道、歩道、建物、人物、車などを識別可能で且つ簡単な形状で示している。また、移動する人物や車などの表示においては、その移動方向がわかるように移動方向ベクトルも表示するようになっている。
【0063】
表示装置9への表示の態様としては、三次元的な表示を行う場合で、例えば、図9に示すように、ターゲット車両までの距離を画面内にものさし(ルーラ)を表示することもできる。このように表示することにより、自車とターゲット車両との間の相対的な位置関係が距離で具体的に把握することができるようになり、車間距離等が安全か否かが明確にわかるようになる。
【0064】
次に、図10を参照して周囲車両の位置(距離、方向)を求める方法について説明する。周囲車両との距離の測定においては、自車12の車車間通信装置7の送信電力を定期的に変更し、どの電力レベルで送信が行えなくなったかを測定することで、対応する距離を概略的に測定することができる。
【0065】
このとき、正確な測定距離を測るために、たとえば前方車両と通信を行う場合は、車車間通信装置7を後方のランプの中央に設置する。このようにすると、レーザ方式のACCレーダー3の距離測定結果と車車間通信の結果をマッチングさせることが容易になる。
【0066】
ACCレーダー3と車車間通信装置7とを比較すると、ACCレーダー3の方が測定可能な距離が長いので、これを利用して、通常はACCレーダー3で車車間通信を行う場合の距離と方向を設定して、目標を定めておいて車車間通信を行うようにする。つまり、車車間通信装置7の送信電力と通信方向を設定することができるのである。
【0067】
ここで、車車間通信の通信方向を設定するために、アンテナ指向性をACCレーダー3の測定距離と方向に合わせることができる構成のアンテナか、あるいは機械的にアンテナ方向を変更できる機構をもつアンテナを用いることが有効である。
【0068】
このような第1の実施形態によれば、車載周辺監視カメラシステム2を設けて自車12の周囲を撮影して他車や人物を認識し、その位置や大きさなどをACCレーダー3や車車間通信装置7を用いて測定したり情報を得るなどして、情報処理装置1により、これを表示装置9に表示させるようにしたので、迅速且つ確実に周囲の状況を認識して表示させることができるようになり、安全な走行を支援することができるようになる。
【0069】
カメラ11f〜11hによる撮影では、自車12の一部を画像内に含めるように周囲を撮影するので、自車との相対的な位置関係や大きさなどの把握をよりわかりやすい状態で行うことができるようになる。
【0070】
車車間通信装置7により通信距離を変化させることができるようにしたので、通信相手との間の通信が可能となるときの出力レベルから概略的な通信距離を迅速に測定することができる。
【0071】
(第2の実施形態)
図11は本発明の第2の実施形態を示すもので、第1の実施形態と異なるところは、車載周辺監視カメラシステム2を構成しているカメラの配置状態である。すなわち、第1の実施形態で述べた車体12の四隅に配設していたカメラ11a〜11dに代えて、カメラ14a〜14dを設ける構成としている。具体的には、カメラ14a,14bが前のナンバープレート15に、カメラ14c,14dが、後ろのナンバープレート15bに一体に組み込まれた構成となっている。また、図示はしていないが、これらのナンバープレート15a,15bには車車間通信装置7やACCレーダー3も一体に組み込まれた構成とされている。
【0072】
そして、これらのナンバープレート15a,15bは電子ナンバープレートと呼ばれるものとして構成されており、内部には自車12に関する情報として、車両の大きさや車型等の車両を識別するデータを記憶する手段が組み込まれ、路上機などからの問いかけの通信に応じて車両情報を送信するなどの機能を持ったものである。
【0073】
このようにナンバープレート15a,15bにカメラ14a〜14dや車車間通信装置7、ACCレーダー3などの車両や人の認識用の構成を一体に組み込むことで、ワイヤーハーネスが少なくなり、システム間の距離も短くなるため、画像データを迅速に処理するために都合がよい構成となる。これらのナンバープレート15a,15bの裏面には、画像情報処理装置1やディスプレイ9a,9bに送るための広帯域通信が可能なハーネス(ファイバ、同軸ケーブル)が配設されている。
【0074】
そして、このような第2の実施形態によっても第1の実施形態と同様の作用効果を得る事ができると共に、上記したように、周囲を認識するための構成をコンパクトに収容してワイヤーハーネスも削減した構成とすることができるようになる。
【0075】
(第3の実施形態)
図12は本発明の第3の実施形態を示すもので、第1の実施形態と異なるところは、ディスプレイ9a,9bなどへの表示の仕方を簡素化したところである。図12において、表示態様としては、LCDやプラズマディスプレイ等の平板ディスプレイへのピクセルによる表示を用いたが、簡易的に、自車12や周囲の車両A〜Eなどを適宜文字(「白,○○○(車種名)」あるいは「軽トラック」等)で表すようにしてもよい。
【0076】
さらに、図示はしないが、簡易的な表示を補い、さらには運転手に対してディスプレイ9a,9bを見ないで状況の伝達を簡易的にすることができるように、音声により簡単な対話で報知する構成とすることもできる。この場合には、音声認識装置を設けると共に音声合成装置を設けてプログラムにより対話形式で応答することができるように構成するものである。
【0077】
例えば、運転手の声による問いかけに対して、音声認識装置により問いかけの内容を認識する。このとき、問いかけの内容が認識できているか否かを「YES」あるいは「NO」の簡単な返事で確認できるように質問を確認するための応答を一度行うことで確実な処理を行うことができる。次に、問いかけに応える内容を情報提供処理装置1により作成し、これを音声合成装置で合成音声に変換してスピーカから応答として出力する。
【0078】
このようなやり取りの具体例として例えば次のようなものである。
運転手「右後方を確認してほしい。」
応答「右後方の確認ですね。」
運転手「はい(そうだ、YES)」
応答「右後方100mに白色の○○○が時速80kmで走行しています。」
といった応答例である。
【0079】
このような第3の実施形態によっても第1の実施形態と同様の作用効果を得ることができると共に、簡易的な表示をすることで表示に要する時間を短縮したり、表示のためのコストを低減することができるようになる。
【0080】
(他の実施形態)
本発明は、上記実施形態にのみ限定されるものではなく、次のように変形また拡張できる。
位置情報の取得は、GPS信号を受信する方法以外に、外部から位置情報を直接取得する構成を取り入れることもできるし、それらを併用する構成とすることもできる。トンネルや高層ビルの立ち並ぶ領域などGPS信号の受信が難しくなる状況になるため、トンネル内で走行位置を送信する信号を受信して現在位置を知る方法や、高層ビル間ではギャップフィラーと呼ばれる機器から送られる位置信号を受信する機能を設けることが有効な手段となる。
【0081】
表示装置9として、2つのディスプレイ9a,9bを設ける構成の場合で説明したが、3個以上設ける構成としても良いし、あるいは1つのディスプレイですべてが表示できるようにすることもできる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を示す電気的なブロック構成図
【図2】車載周辺監視カメラシステムのカメラの配置状態を示す図
【図3】車車間通信装置のアンテナの指向性と距離の判定を説明するための図
【図4】表示装置の配置状態を示す図
【図5】機能ブロックで示した構成図
【図6】認識プログラムのフローチャート
【図7】自車と周囲の車両との位置関係を表示するための説明図
【図8】表示装置の表示例を示す図
【図9】表示画面に距離の指標を示した図
【図10】通信と距離測定との関係を示す説明図
【図11】本発明の第2の実施形態を示す図2相当図
【図12】本発明の第3の実施形態を示す図8相当図
【符号の説明】
1は情報処理装置、2は車載周辺監視カメラシステム、3はACCレーダー、4は位置情報取得装置、5は自動車情報提供装置、6はゲートウェイ(G/W)、7は車車間通信装置、8は路上道路監視システム、9は表示装置、9a,9bはディスプレイ、10は地図データ記憶部、11a〜11hはカメラ、12は自車、13a〜13dは他の車両である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a surrounding situation recognition system that recognizes the situation of vehicles and people around a host vehicle.
[0002]
[Prior art]
In general, when driving a car, in order to ensure safety while driving, the driver monitors the surroundings of the vehicle with a rearview mirror, side mirror, vision through the glass, sound, vibration, etc. The steering, accelerator, brake, etc. are operated so as not to collide.
[0003]
However, checking the surroundings in this way requires a great deal of attention and concentration, so it is necessary to release the driver from these situations and reduce the degree of fatigue. Various support systems are being proposed to enable comfortable driving.
[0004]
As a system for assisting when an automobile travels or drives or an emergency situation occurs, for example, there is an imaging device for recording a traffic accident on a license plate, and a configuration incorporating a recording device (for example, Patent Documents). 1).
[0005]
There is also a technique as disclosed in Patent Document 2. This includes a technology for measuring the relative position, relative speed, and relative acceleration of the navigation map and the vehicle as an obstacle detection unit, such as lane detection by image processing, vehicle detection, and laser radar, and combining it with the map. It is disclosed.
[0006]
Further, in Patent Document 2, as an object model, it is described that a 3D object or a 2D map is converted into 3D regarding a map of a vehicle or a conventional building. Further, in the reference, in order to display the vehicle, the display is performed by fitting the center of gravity of the model to the center of gravity of the extracted region.
[0007]
Furthermore, in order to assist the driver's driving, the position of the vehicle ahead is measured using a laser or millimeter wave, and the ACC (Adaptive Cruise Control) for maintaining the speed and position (distance between the vehicles) of the vehicle ahead in a set condition. ) Technology has come to be used. In this technology, the vehicle traveling ahead is tracked so as to maintain the set conditions. Therefore, the forward vehicle suddenly changes its traveling direction, or the traveling direction of the preceding vehicle changes due to road undulations or curves. If it changes suddenly, there is a high possibility that the vehicle will not be tracked. This is because ACC only knows the distance between vehicles and the speed as described above.
[0008]
[Patent Document 1]
JP 2001-097251 A
[0009]
[Patent Document 2]
JP 2002-046506 A
[0010]
[Problems to be solved by the invention]
In order to improve the above points, it has been studied to improve various kinds of accuracy. For example, a stereo camera is used as a camera, and the distance to an object is measured only by an image.
[0011]
However, in this method, in order to detect an object and determine the distance to the object, it is necessary to handle enormous image data. First, it captures and matches the positional relationship to the moving body with the pixel data of the two camera images, so that the data processing capability is required to finally obtain the distance data.
[0012]
In addition, if there are multiple moving objects in the image and they exist in an overlapping state in the image, it will be necessary to separate each other and analyze each moving object. Since much time is required for analysis, it is practically difficult to use it for applications requiring real-time performance such as safe driving support.
[0013]
The present invention has been made in view of the above circumstances, and an object thereof is to reduce the burden of processing performed on image data captured by a camera and to quickly and accurately recognize a moving object existing in the vicinity. An object of the present invention is to provide a surrounding situation recognition system as a system for supporting safe driving.
[0014]
[Means for Solving the Problems]
According to the first aspect of the present invention, the information processing device calculates the existence range of a vehicle or a person existing around the own vehicle from the image data captured by the imaging means and the information acquired by the mobile communication device, Since the information calculated by the information processing means and converted into information perceivable by the user is displayed on the display device, not only the image data from the imaging means but also the mobile communication device or person mounted on the target vehicle Recognizing a mobile object such as a vehicle or a person in the vicinity quickly and accurately by calculating the existence range using information obtained by communication with a portable mobile communication device Will be able to.
[0015]
According to the invention of claim 2, in the invention of claim 1, the imaging means is set to shoot in a state including a part of the own vehicle when shooting the surroundings of the own vehicle. The surrounding image data can be obtained in a state where the relative relationship with the position of the vehicle can be easily recognized, and the surrounding situation can be easily grasped.
[0016]
According to the invention of
[0017]
According to the invention of claim 4, in each of the above inventions, the mobile communication device is configured to be able to change the communication direction in order to communicate with the vehicle in the set direction, so that communication is possible. The presence direction of the target vehicle can be recognized from the communication direction at the time.
[0018]
According to the invention of
[0019]
According to the invention of
[0020]
According to the invention of claim 7, in each of the above-described inventions, the position information of the vehicle or person and the traveling direction are output as the output data of the calculation result indicating the existence range of the vehicle or person existing around the own vehicle by the information processing device. In order to indicate the absolute coordinate data and the absolute direction data or the relative coordinate data and the relative direction with the own vehicle position as the origin, the display device is used to output the A person can be accurately displayed in relation to a distance and a direction, and thereby, the surrounding situation can be surely recognized.
[0021]
According to the invention of
[0022]
According to the invention of
[0023]
According to the invention of
[0024]
According to the invention of claim 11, in the invention of
[0025]
According to the invention of
[0026]
According to a thirteenth aspect of the present invention, in any of the tenth to twelfth aspects of the present invention, the information processing apparatus includes a mobile communication device mounted on a target vehicle with respect to a distance condition set as a photographing condition of the imaging means. Therefore, the distance condition can be roughly set by obtaining the communication distance information by specifying the communicable distance.
[0027]
According to the invention of claim 14, in the inventions of
[0028]
According to the invention of claim 15, in each of the above inventions, since the image pickup means and the mobile communication device are integrally disposed on the number plate provided in front of and behind the own vehicle, the amount of the wire harness is reduced. It becomes possible to achieve a compact and highly reliable mounting state.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
Hereinafter, a first embodiment in which the present invention is applied to a periphery monitoring system will be described with reference to FIGS.
FIG. 1 shows a schematic configuration of a system mounted on a target automobile (vehicle). The information processing apparatus 1 that performs integrated processing of the entire information processing is configured to include a ROM, a RAM, various acquisition output interfaces, and the like, with a CPU as a main body. Processing is performed to display an image so that the surrounding situation can be grasped.
[0030]
The information processing apparatus 1 is connected to an on-vehicle surroundings monitoring camera system 2, an ACC /
[0031]
For example, as shown in FIG. 2, the in-vehicle surrounding monitoring camera system 2 has a configuration in which eight cameras 11 a to 11 h as imaging means are provided on the vehicle body of the
[0032]
As shown in the figure, for example, the right-
[0033]
The in-vehicle surroundings monitoring camera system 2 can also capture images of the
[0034]
The ACC /
[0035]
The inter-vehicle communication device 7 is configured to directly communicate with vehicles existing around the own vehicle and to transmit / receive surrounding vehicle information (vehicle size, speed, brake, accelerator, position coordinates, vehicle type, model number). Yes. The surrounding vehicle information obtained by communication is transmitted to the information processing apparatus 1.
[0036]
The inter-vehicle communication device 7 has a communication distance variable function, and is configured to measure the distance to the other party by setting a communicable distance by changing the communication output. ing.
[0037]
FIG. 3 illustrates a case where the distance is measured using the communication distance variable function of the inter-vehicle communication device 7. Here, the distance between other devices capable of communication is measured by using an antenna having a characteristic that the communication distance is proportional to the output. Specifically, when communication becomes possible by increasing the antenna input power, the distance to the device is obtained from the antenna input power. The angle dependency can also be obtained if the antenna directivity is known in advance.
[0038]
FIG. 5B schematically shows the communication area of the
[0039]
The
[0040]
The position information acquisition device 4 is a device that receives a GPS signal and identifies a current position, and includes a GPS antenna and a receiving device (not shown). Here, for example, the RTK (Real Time Kinetics) -GPS method is adopted as the GPS positioning method, and the absolute position of the own vehicle can be measured with high accuracy.
[0041]
The own vehicle
[0042]
For example, as shown in FIG. 4, the
[0043]
In addition to this, it is possible to relatively display the relationship with surrounding vehicles and people viewed from above with the
[0044]
In this embodiment, the two
[0045]
In the configuration of the above-described
[0046]
FIG. 5 shows the above-described configuration as a functional block configuration diagram. This periphery monitoring system A is composed of four systems B to E. There are four systems: an inter-vehicle distance measurement system B, an image recognition system C, a vehicle recognition system D, and a pedestrian recognition system E.
[0047]
In this periphery monitoring system A, the current position information is input from the current position measuring means F such as the position information acquisition device 4, and information on the traveling state of the own vehicle is received from the in-vehicle device G such as the own vehicle
[0048]
Corresponding to the display data output from the peripheral monitoring system A, the display controller J causes the
[0049]
The four systems B to E included in the periphery monitoring system A each generate and output the following data. The inter-vehicle distance measurement system B outputs front vehicle inter-vehicle distance data, front vehicle speed data, and the like. The image recognition system C outputs moving object presence / absence data, moving object estimated position data, moving object classification data, fixed object presence / absence data, fixed object estimated position data, fixed object classification data, and the like.
[0050]
The vehicle recognition system D outputs vehicle data, vehicle position coordinate data, traveling direction data, vehicle moving speed data, acceleration (accelerator) data, deceleration (brake) data, operation mode data, communication function data, and the like. The pedestrian recognition system E outputs pedestrian presence / absence ID data, pedestrian position coordinate data, traveling direction data, pedestrian movement speed data, and the like.
[0051]
Next, the operation of this embodiment will be described with reference to a flowchart of the control program in FIG. 6 and FIGS.
[0052]
The information processing apparatus 1 executes the control program shown in FIG. First, surrounding images are taken by the eight cameras 11a to 11h, the pixel data of the taken images are analyzed, and the fixed object is removed from the pixel data from the vehicle speed of the host vehicle and the movement of the surrounding fixed object. Thereby, a mobile body is extracted from a screen (step S1).
[0053]
If it is determined in this process that there is a moving object on the screen ("YES" is determined in step S2), the information processing apparatus 1 designates the position of the moving object as a search target (step S3). Thereafter, the information processing apparatus 1 measures the distance to the moving body designated as the search target by the ACC / radar 3 (step S4).
[0054]
Here, the information processing apparatus 1 repeatedly executes steps S3 and S4 until the distance measurement is OK. When the distance measurement is OK, the information processing apparatus 1 next attempts to communicate with the object while changing the communication distance using the inter-vehicle communication apparatus 7 (step S6).
[0055]
Here, the inter-vehicle communication device 7 reads and stores the ID of the object from the communication result when the inter-vehicle communication or the communication with the electronic tag held by the person can be performed. If there are a plurality of moving objects, the same processing is repeated for the plurality of objects. If all detection is not possible in a certain period due to traffic jams or crowded people, the number of detections that can be completed within the set time is reduced by shortening the communication distance between cars and between cars and people. The communication result obtained in this way is periodically transmitted to the information processing apparatus 1.
[0056]
When the information processing apparatus 1 receives the above-described data from the inter-vehicle communication apparatus 7 (steps S6, S7, S8), it selects a virtual object that matches the data and places it in a virtual space with the own vehicle as the origin. (Step S9). If there is a specific object ID (shape model ID) of another vehicle, the information processing apparatus 1 selects the data. If the user has set the display field of view, the camera position in the virtual space is changed, and drawing processing is performed so that an image that fits the user's field of view is drawn (step S10).
[0057]
Next, a coordinate system employed when the above processing is performed will be schematically described with reference to FIG. Here, the relative distance can be obtained from the images of the
[0058]
In order to map to the map, the coordinate data of the absolute position indicating the latitude and longitude of the
[0059]
In this embodiment, the road is defined based on the position coordinate data strings at both ends of the road, not the white line of the road (indicated by Δ in the figure). The vehicle is recognized not only by the image but also by the
[0060]
Also, in order to avoid collisions such as guardrails, utility poles, signs, trees, etc., they are arranged and displayed on the map with three-dimensional objects, so that they do not approach these objects, Avoiding property damage accidents. In addition, it has a human recognition function, and when a person is found, it can be used to avoid the person with the highest priority.
[0061]
Display control on the
[0062]
Here, the situation when looking forward from the driver's seat of the
[0063]
As a display mode on the
[0064]
Next, a method for obtaining the position (distance, direction) of surrounding vehicles will be described with reference to FIG. In measuring the distance to the surrounding vehicle, the transmission power of the inter-vehicle communication device 7 of the
[0065]
At this time, in order to measure an accurate measurement distance, for example, when communicating with the vehicle ahead, the inter-vehicle communication device 7 is installed at the center of the rear lamp. In this way, it becomes easy to match the distance measurement result of the laser-
[0066]
When the
[0067]
Here, in order to set the communication direction of inter-vehicle communication, an antenna having a configuration in which the antenna directivity can be matched to the measurement distance and direction of the
[0068]
According to the first embodiment as described above, the on-vehicle periphery monitoring camera system 2 is provided to photograph the surroundings of the
[0069]
In photographing with the
[0070]
Since the communication distance can be changed by the inter-vehicle communication device 7, the approximate communication distance can be quickly measured from the output level when communication with the communication partner becomes possible.
[0071]
(Second Embodiment)
FIG. 11 shows the second embodiment of the present invention. The difference from the first embodiment is the arrangement state of the cameras constituting the in-vehicle periphery monitoring camera system 2. That is, instead of the cameras 11a to 11d arranged at the four corners of the
[0072]
These
[0073]
In this way, the number of wire harnesses is reduced and the distance between the systems is reduced by integrating the vehicle and human recognition components such as the
[0074]
The second embodiment can obtain the same effects as those of the first embodiment, and as described above, the configuration for recognizing the surroundings can be accommodated in a compact manner and the wire harness can be used. The configuration can be reduced.
[0075]
(Third embodiment)
FIG. 12 shows a third embodiment of the present invention. The difference from the first embodiment is that the display method on the
[0076]
Furthermore, although not shown in the figure, a simple dialog is used to inform the driver that the simple display is supplemented and that the situation can be easily communicated to the driver without looking at the
[0077]
For example, in response to an inquiry by a driver's voice, the content of the inquiry is recognized by a voice recognition device. At this time, a reliable process can be performed by performing a response for confirming the question once so that it can be confirmed by a simple answer of “YES” or “NO” whether or not the contents of the question can be recognized. . Next, the contents that respond to the question are created by the information provision processing device 1, converted into synthesized speech by the speech synthesizer, and output as a response from the speaker.
[0078]
A specific example of such exchange is as follows.
Driver "I want you to check the right rear."
Response “Check right back.”
Driver "Yes (yes, yes)"
Response "White OOOO is running at 80km /
It is a response example.
[0079]
The third embodiment can provide the same operational effects as those of the first embodiment, and can reduce the time required for display by simple display, and can reduce the cost for display. Can be reduced.
[0080]
(Other embodiments)
The present invention is not limited to the above embodiment, and can be modified or expanded as follows.
In addition to the method of receiving GPS signals, the position information can be acquired by directly acquiring the position information from the outside, or using both of them. Since it becomes difficult to receive GPS signals such as in areas where tunnels and high-rise buildings are lined up, it is possible to receive a signal to transmit the traveling position in the tunnel to know the current position, and between high-rise buildings from a device called a gap filler It is an effective means to provide a function for receiving a position signal to be sent.
[0081]
The
[Brief description of the drawings]
FIG. 1 is an electrical block configuration diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram showing a camera arrangement state of the in-vehicle periphery monitoring camera system
FIG. 3 is a diagram for explaining determination of antenna directivity and distance of an inter-vehicle communication device;
FIG. 4 is a diagram showing an arrangement state of a display device
FIG. 5 is a block diagram showing functional blocks.
FIG. 6 is a flowchart of a recognition program.
FIG. 7 is an explanatory diagram for displaying a positional relationship between the own vehicle and surrounding vehicles.
FIG. 8 is a diagram showing a display example of the display device
FIG. 9 shows a distance index on the display screen.
FIG. 10 is an explanatory diagram showing the relationship between communication and distance measurement
FIG. 11 is a view corresponding to FIG. 2 showing a second embodiment of the present invention.
FIG. 12 is a view corresponding to FIG. 8 showing a third embodiment of the present invention.
[Explanation of symbols]
1 is an information processing device, 2 is an on-vehicle periphery monitoring camera system, 3 is an ACC radar, 4 is a position information acquisition device, 5 is an automobile information providing device, 6 is a gateway (G / W), 7 is an inter-vehicle communication device, 8 Is a road monitoring system, 9 is a display device, 9a and 9b are displays, 10 is a map data storage unit, 11a to 11h are cameras, 12 is a host vehicle, and 13a to 13d are other vehicles.
Claims (15)
自車に備えられ周囲に存在する移動体通信装置との間で通信が可能な移動体通信装置と、
前記撮像手段により撮影した画像データと前記移動体通信装置により取得した情報とから自車の周囲に存在する車両もしくは人の存在範囲を算定する情報処理装置と、
この情報処理手段により算定され利用者が知覚可能な情報に変換された情報を表示させる表示装置とを備えたことを特徴とする周囲状況認識システム。Imaging means for photographing the surroundings of the vehicle;
A mobile communication device that can be communicated with a mobile communication device that is provided in the vehicle and that exists in the surroundings;
An information processing device that calculates the presence range of a vehicle or a person existing around the vehicle from image data captured by the imaging means and information acquired by the mobile communication device;
A surrounding situation recognition system comprising: a display device for displaying information calculated by the information processing means and converted into information perceivable by a user.
前記撮像手段は、自車の周囲を撮影する場合に自車の一部を含んだ状態で撮影するように設定されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 1,
The surrounding state recognition system is characterized in that the imaging means is set to take a picture including a part of the own vehicle when photographing the surroundings of the own vehicle.
前記移動体通信装置は、設定された距離内にある車両と通信するために、通信距離を変更可能に構成されていることを特徴とする周囲状況認識システム。In the surrounding situation recognition system according to claim 1 or 2,
The ambient state recognition system, wherein the mobile communication device is configured to be able to change a communication distance in order to communicate with a vehicle within a set distance.
前記移動体通信装置は、設定された方向にある車両と通信するために、通信方向を変更可能に構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 3,
The ambient state recognition system, wherein the mobile communication device is configured to be able to change a communication direction in order to communicate with a vehicle in a set direction.
前記移動体通信装置は、設定された方向にある人の携帯する移動体通信装置と通信するために、通信距離を変更可能に構成されていることを特徴とする周囲状況認識システム。In the surrounding situation recognition system according to any one of claims 1 to 4,
The ambient communication recognition system, wherein the mobile communication device is configured to be able to change a communication distance in order to communicate with a mobile communication device carried by a person in a set direction.
前記移動体通信装置は、設定された方向にある人の移動体通信装置と通信するために、通信方向を変更可能に構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 5,
The ambient state recognition system, wherein the mobile communication device is configured to be able to change a communication direction in order to communicate with a mobile communication device of a person in a set direction.
前記情報処理装置は、自車の周囲に存在する車両もしくは人の存在範囲を示す算定結果の出力データとして、車両もしくは人の位置座標と進行方向を示すために、絶対座標データと絶対方向データもしくは自車位置を原点とした相対座標データと相対方向を出力するように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 6,
The information processing device outputs absolute coordinate data and absolute direction data or output direction data to indicate the position coordinates and traveling direction of the vehicle or person as the output data of the calculation result indicating the existence range of the vehicle or person existing around the own vehicle. A surrounding situation recognition system configured to output relative coordinate data and a relative direction with the vehicle position as an origin.
前記情報処理装置は、前記算定した結果および周囲に存在する車両の移動体通信装置との間で得た車両の大きさ情報に基づいて周囲に存在する車両または人について前記表示装置に遠近法を用いた描画処理を行うように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 7,
The information processing device applies a perspective method to the display device for a vehicle or a person existing in the vicinity based on the calculated result and vehicle size information obtained with a mobile communication device of the vehicle existing in the vicinity. An ambient situation recognition system configured to perform a drawing process used.
前記情報処理装置は、前記移動体通信装置により自車の周囲に存在する車両の電子ナンバープレートと通信を行って車両の大きさ情報を得るように構成されていることを特徴とする周囲状況認識システム。The surrounding situation recognition system according to claim 8,
The information processing device is configured to communicate with an electronic license plate of a vehicle existing around the vehicle by the mobile communication device to obtain size information of the vehicle. system.
前記情報処理装置は、前記撮像手段の撮影条件により設定された標準ピクセルサイズと撮影対象物のピクセルサイズとを比較することでその撮影対象物の大きさを推定するように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 9,
The information processing apparatus is configured to estimate a size of the photographing object by comparing a standard pixel size set according to a photographing condition of the imaging unit and a pixel size of the photographing object. A feature recognition system.
前記情報処理装置は、前記撮像手段の撮影条件として設定される距離条件をACC(Adaptive Cruise Control)による測定結果により求めるように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 10,
The ambient information recognition system, wherein the information processing apparatus is configured to obtain a distance condition set as an imaging condition of the imaging unit based on a measurement result by ACC (Adaptive Cruise Control).
前記情報処理装置は、前記ACCによる距離測定に際して、前記撮像手段による撮影画像で距離測定対象物の方向の絞り込みを行うように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 10 or 11,
The ambient information recognition system, wherein the information processing apparatus is configured to narrow down a direction of a distance measurement object with a photographed image obtained by the imaging unit when the distance is measured by the ACC.
前記情報処理装置は、前記撮像手段の撮影条件として設定される距離条件を対象となる車両に搭載された移動体通信装置との間の通信距離情報により得るように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 10 to 12,
The information processing device is configured to obtain a distance condition set as a photographing condition of the imaging means based on communication distance information with a mobile communication device mounted on a target vehicle. Ambient situation recognition system.
前記表示装置は、自車の周囲の状況を少なくとも左右に分けて表示可能とするように複数個設ける構成としたことを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 8 to 13,
A plurality of the display devices are provided so as to be able to display the situation around the own vehicle at least divided into left and right.
前記撮像手段および前記移動体通信装置は、自車の前後に設けられるナンバープレートに一体に配設されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 14,
The surrounding state recognition system, wherein the imaging means and the mobile communication device are integrally disposed on a number plate provided in front of and behind the own vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003166438A JP4214841B2 (en) | 2003-06-11 | 2003-06-11 | Ambient situation recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003166438A JP4214841B2 (en) | 2003-06-11 | 2003-06-11 | Ambient situation recognition system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005005978A true JP2005005978A (en) | 2005-01-06 |
JP4214841B2 JP4214841B2 (en) | 2009-01-28 |
Family
ID=34092606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003166438A Expired - Fee Related JP4214841B2 (en) | 2003-06-11 | 2003-06-11 | Ambient situation recognition system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4214841B2 (en) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285693A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP2006285692A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP2006285694A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP2006285695A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP2006315482A (en) * | 2005-05-11 | 2006-11-24 | Mazda Motor Corp | Moving object detecting device for vehicle |
JP2007156754A (en) * | 2005-12-02 | 2007-06-21 | Aisin Aw Co Ltd | Intervehicular communication system |
JP2007249911A (en) * | 2006-03-20 | 2007-09-27 | Toshiba Corp | Collision preventing device |
US20080198226A1 (en) * | 2007-02-21 | 2008-08-21 | Kosuke Imamura | Image Processing Device |
US7710310B2 (en) * | 2003-03-25 | 2010-05-04 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Detection system, method for detecting objects and computer program therefor |
JP2010218568A (en) * | 2010-04-26 | 2010-09-30 | Panasonic Corp | Communication vehicle display device |
WO2011128739A1 (en) | 2010-04-12 | 2011-10-20 | Toyota Jidosha Kabushiki Kaisha | On-vehicle apparatus, preceding vehicle position determining apparatus, and preceding vehicle position determining method |
JP2013120176A (en) * | 2011-12-09 | 2013-06-17 | Tadano Ltd | System for notifying height information of object around hoisting load |
JP2013191183A (en) * | 2012-03-15 | 2013-09-26 | Mitsubishi Electric Corp | Radio communication device and navigation apparatus including the same |
US8593519B2 (en) | 2007-02-06 | 2013-11-26 | Denso Corporation | Field watch apparatus |
US10417911B2 (en) | 2017-12-18 | 2019-09-17 | Ford Global Technologies, Llc | Inter-vehicle cooperation for physical exterior damage detection |
US10600234B2 (en) | 2017-12-18 | 2020-03-24 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self imaging |
US10628690B2 (en) | 2018-05-09 | 2020-04-21 | Ford Global Technologies, Llc | Systems and methods for automated detection of trailer properties |
US10745005B2 (en) | 2018-01-24 | 2020-08-18 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self height estimation |
US11351917B2 (en) | 2019-02-13 | 2022-06-07 | Ford Global Technologies, Llc | Vehicle-rendering generation for vehicle display based on short-range communication |
-
2003
- 2003-06-11 JP JP2003166438A patent/JP4214841B2/en not_active Expired - Fee Related
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7710310B2 (en) * | 2003-03-25 | 2010-05-04 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Detection system, method for detecting objects and computer program therefor |
JP2006285692A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP2006285694A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP2006285695A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP2006285693A (en) * | 2005-03-31 | 2006-10-19 | Honda Motor Co Ltd | Inter-vehicle communication system |
JP4686236B2 (en) * | 2005-03-31 | 2011-05-25 | 本田技研工業株式会社 | Inter-vehicle communication system |
JP4686235B2 (en) * | 2005-03-31 | 2011-05-25 | 本田技研工業株式会社 | Inter-vehicle communication system |
JP4585355B2 (en) * | 2005-03-31 | 2010-11-24 | 本田技研工業株式会社 | Inter-vehicle communication system |
JP4585356B2 (en) * | 2005-03-31 | 2010-11-24 | 本田技研工業株式会社 | Inter-vehicle communication system |
JP4661339B2 (en) * | 2005-05-11 | 2011-03-30 | マツダ株式会社 | Moving object detection device for vehicle |
JP2006315482A (en) * | 2005-05-11 | 2006-11-24 | Mazda Motor Corp | Moving object detecting device for vehicle |
JP2007156754A (en) * | 2005-12-02 | 2007-06-21 | Aisin Aw Co Ltd | Intervehicular communication system |
JP2007249911A (en) * | 2006-03-20 | 2007-09-27 | Toshiba Corp | Collision preventing device |
US8593519B2 (en) | 2007-02-06 | 2013-11-26 | Denso Corporation | Field watch apparatus |
US20080198226A1 (en) * | 2007-02-21 | 2008-08-21 | Kosuke Imamura | Image Processing Device |
US8330816B2 (en) * | 2007-02-21 | 2012-12-11 | Alpine Electronics, Inc. | Image processing device |
US8798907B2 (en) | 2010-04-12 | 2014-08-05 | Toyota Jidosha Kabushiki Kaisha | On-vehicle apparatus, preceding vehicle position determining apparatus, and preceding vehicle position determining method |
WO2011128739A1 (en) | 2010-04-12 | 2011-10-20 | Toyota Jidosha Kabushiki Kaisha | On-vehicle apparatus, preceding vehicle position determining apparatus, and preceding vehicle position determining method |
DE112011101286T5 (en) | 2010-04-12 | 2013-01-24 | Toyota Jidosha Kabushiki Kaisha | In-vehicle device, determination device of the position of a preceding vehicle, and determination method of the position of a preceding vehicle |
JP2010218568A (en) * | 2010-04-26 | 2010-09-30 | Panasonic Corp | Communication vehicle display device |
JP2013120176A (en) * | 2011-12-09 | 2013-06-17 | Tadano Ltd | System for notifying height information of object around hoisting load |
JP2013191183A (en) * | 2012-03-15 | 2013-09-26 | Mitsubishi Electric Corp | Radio communication device and navigation apparatus including the same |
US10417911B2 (en) | 2017-12-18 | 2019-09-17 | Ford Global Technologies, Llc | Inter-vehicle cooperation for physical exterior damage detection |
US10600234B2 (en) | 2017-12-18 | 2020-03-24 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self imaging |
US10745005B2 (en) | 2018-01-24 | 2020-08-18 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self height estimation |
US10628690B2 (en) | 2018-05-09 | 2020-04-21 | Ford Global Technologies, Llc | Systems and methods for automated detection of trailer properties |
US11351917B2 (en) | 2019-02-13 | 2022-06-07 | Ford Global Technologies, Llc | Vehicle-rendering generation for vehicle display based on short-range communication |
Also Published As
Publication number | Publication date |
---|---|
JP4214841B2 (en) | 2009-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4214841B2 (en) | Ambient situation recognition system | |
WO2016186039A1 (en) | Automobile periphery information display system | |
US8947219B2 (en) | Warning system with heads up display | |
JP4807263B2 (en) | Vehicle display device | |
CN109643497A (en) | The safety enhanced by augmented reality and shared data | |
JP4719590B2 (en) | In-vehicle peripheral status presentation device | |
WO2018056103A1 (en) | Vehicle control device, vehicle control method, and moving body | |
CN112119282A (en) | Information processing apparatus, mobile apparatus, method, and program | |
CN104786933A (en) | Panoramic image driving auxiliary device and panoramic image driving auxiliary method | |
KR20160131579A (en) | Autonomous drive apparatus and vehicle including the same | |
WO2019073920A1 (en) | Information processing device, moving device and method, and program | |
JP7163748B2 (en) | Vehicle display control device | |
US10732420B2 (en) | Head up display with symbols positioned to augment reality | |
WO2018180579A1 (en) | Imaging control device, control method for imaging control device, and mobile object | |
CN109720343B (en) | Vehicle control apparatus | |
JP4601505B2 (en) | Top-view image generation apparatus and top-view image display method | |
CN112534487B (en) | Information processing apparatus, moving body, information processing method, and program | |
JP2019109707A (en) | Display control device, display control method and vehicle | |
JP4848644B2 (en) | Obstacle recognition system | |
US8213683B2 (en) | Driving support system with plural dimension processing units | |
JP2017126213A (en) | Intersection state check system, imaging device, on-vehicle device, intersection state check program and intersection state check method | |
CN112602124A (en) | Communication method for vehicle dispatching system, vehicle dispatching system and communication device | |
KR102084946B1 (en) | Method and apparatus for generating an alarm notification according to the passage height of object located in a moving path the vehicle | |
KR20210157551A (en) | Variable vehicle speed warning system including pedestrian determination system | |
CN113401071B (en) | Display control device, display control method, and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4214841 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |