JP3708510B2 - In-vehicle radar and in-vehicle camera aiming and inspection system - Google Patents

In-vehicle radar and in-vehicle camera aiming and inspection system Download PDF

Info

Publication number
JP3708510B2
JP3708510B2 JP2002245927A JP2002245927A JP3708510B2 JP 3708510 B2 JP3708510 B2 JP 3708510B2 JP 2002245927 A JP2002245927 A JP 2002245927A JP 2002245927 A JP2002245927 A JP 2002245927A JP 3708510 B2 JP3708510 B2 JP 3708510B2
Authority
JP
Japan
Prior art keywords
vehicle
inspection
radar
adjustment
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002245927A
Other languages
Japanese (ja)
Other versions
JP2004085326A (en
Inventor
義貴 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2002245927A priority Critical patent/JP3708510B2/en
Publication of JP2004085326A publication Critical patent/JP2004085326A/en
Application granted granted Critical
Publication of JP3708510B2 publication Critical patent/JP3708510B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車載レーダおよび車載カメラの照準調整検査装置に関し、特に、車載レーダに対してレーザ光と反射用ミラーを用いて照準調整を行い、電波反射ターゲットを用いて性能検査を行い、カメラ用ターゲットを用いて車載カメラの照準調整検査を行う車載レーダおよび車載カメラの照準調整検査装置に関するものである。
【0002】
【従来の技術】
近年、高速道路における運転負荷を軽減し、快適性と同時に運転者の疲労による認知判断の低下を補い、衝突の未然防止につながる技術として安全に寄与することを目的とする運転支援システムが開発されてきている。運転支援システムにおいては、先行車を検知することにより自車の速度を制御し、車間距離を保つ進行方向の制御と、自車の走行車線を検知してそれに沿った走行を維持・支援する車両横方向の制御を総合的に行うものである。
【0003】
進行方向の制御を行うための車速・車間制御システムは、ミリ波レーダで先行車との車間距離を測定し、自車の走行状態を検出する車速センサ、ヨーレートセンサによって、同一車線内の先行車両を絞り込むことを行う。また、このシステムは、先行車との車間が狭まってきた場合は、主としてスロットルによる減速に加え、ブレーキによる減速を併用し、適切な車間距離を保つことを行う。さらに、危険な車間距離に近づいたら警報装置による運転者への中位を促すことを行う。また、このシステムは、先行車との車間が開いていく場合は、通常のクルーズ・コントロールとして機能する。
【0004】
車両横方向の制御を行うための車線維持制御システムは、画像処理システムによって道路上の車線を正しく認識することを行う。また、このシステムは、車載カメラで捉えた画像から線分の特徴として検出されたものを線の幅、長さ、連続性などを処理することによって、車線であるかどうかの判断・評価を行い、道路上の走行車線として認識することを行う。さらに、このシステムは、画像処理システムによって得られたデータをECUによって演算、車線中央の維持をアシストするのに必要なステアリング・トルクを算出し、電動パワーステアリングの電流制御を行い、車線維持支援を実現することを行う。また、このシステムは、走行中の車線から逸脱する可能性がある場合、車線逸脱警報を発し運転者に注意を促すことも行う。
【0005】
このような運転支援システムにおいて用いられるミリ波レーダの向きの精度は、このシステムにおいて重要な役割を果たす。例えば、車両に取り付けられたミリ波レーダの向きが真前方から外れていた場合、全走車が存在するにも拘わらず、レーダによって検知されず前走者と追突してしまうことや、走行レーンの異なる車両を全走車として認識してしまい、意図しない減速が行われたりなど、重大事故につながる可能性が大きなものとなってしまう。
【0006】
従来の車載レーダの向きの調整、すなわち、車載レーダの照準調整と検査は、送信ビームが自動車の車軸を正しく向くようにするため、車両の正面前方にミリ波レーダの電界強度測定装置を用いて、測定したアンテナの電磁波の放射強度が最大になるようにアンテナ軸の方向を調整していた。
【0007】
特開2001−174540号公報では、この調整方法として、車両から前方に間隔をあけて予め定める基準位置に、調整用受信アンテナを配置し、調整用受信アンテナの出力に関連する信号を表示する表示手段を、調整手段の近傍に配置し、表示手段の出力を観察しつつ、調整手段を調整することを特徴としている。また、レーダ手段と調整用受信アンテナとの間に、ビームの強度を減衰して透過する減衰部材を介在させることを特徴としている。
【0008】
また、運転支援システムにおいて用いられるカメラの向きの精度も、このシステムにおいて重要な役割を果たす。例えば、車両に取り付けられたカメラの向きが真前方から外れていた場合、車線を外れてしまうなど、重大事故につながる可能性が大きなものとなってしまう。
【0009】
従来の車載カメラの向きの調整は手作業により行っていた。
【0010】
【発明が解決しようとする課題】
しかしながら、このような車載レーダおよび車載カメラの照準調整方法と検査方法においては、減衰部材を用いないときは、車両から前方に間隔をあけて予め定める基準位置に、調整用受信アンテナを配置して行うため、計測に時間がかかり、また、大きな作業空間が必要であるという問題点があった。また、作業空間を狭めるためには減衰部材が必要であり、設備が多くなり、また、減衰部材を設置するために複数の作業員が必要であり、さらに、調整に時間がかかってしまうという問題点があった。
【0011】
また、カメラの調整は手作業であったので、正確な照準合わせができないという問題点があった。また、車両毎に検査結果を記録でき、検査履歴を残すような検査装置となっておらず、管理することが容易ではないという問題点があった。
【0012】
本発明の目的は、上記問題を解決するため、省スペースで調整検査でき、正確に、かつ短時間で1人の作業員で調整検査ができ、検査履歴を容易に残すことができる車載レーダおよび車載カメラの照準調整検査装置を提供することである。
【0013】
【課題を解決するための手段および作用】
本発明に係る車載レーダおよび車載カメラの照準調整検査装置は、上記の目的を達成するために、次のように構成される。
【0014】
第1の車載レーダおよび車載カメラの照準調整検査装置(請求項1に対応)は、車載レーダおよび車載カメラを同一の車両停車位置で照準調整と検査を行う装置であって、車載レーダは、歯車に連結された調整用ネジで基板に抑えられ、レーザ光反射用ミラーのミラー治具の取り付け部がはまり込む窪みであるレーザ光反射用ミラー取り付け部を有し、レーザ光反射用ミラーのミラー治具は、取り付け部に重心があり、車両停止位置から所定距離隔てた位置に上下動可能な第1の照準調整検査用ボードと第2の照準調整検査用ボードを有し、第1の照準調整検査用ボードは、レーザ光照射部と、レーザ光反射用ミラー取り付け部に取り付けたレーザ光反射用ミラーから反射されたレーザ光を反射する所定の面積を有するレーザ光確認用ターゲットと、車載レーダから照射された電波を反射するレーダ検査用ターゲットを備え、第2の照準調整検査用ボードは、車載カメラ照準調整検査用ターゲットを備え、車載レーダおよび車載カメラの照準調整検査を管理する調整検査管理装置を備えたことで特徴づけられる。
【0015】
第1の車載レーダおよび車載カメラの照準調整検査装置によれば、車載レーダは、レーザ光反射用ミラー取り付け部を有し、車両停止位置から所定距離隔てた位置に上下動可能な第1の照準調整検査用ボードと第2の照準調整検査用ボードを有し、第1の照準調整検査用ボードは、レーザ光照射部と、レーザ光反射用ミラー取り付け部に取り付けたレーザ光反射用ミラーから反射されたレーザ光を反射する所定の面積を有するレーザ光確認用ターゲットと、車載レーダから照射された電波を反射するレーダ検査用ターゲットを備え、第2の照準調整検査用ボードは、車載カメラ照準調整検査用ターゲットを備え、車載レーダおよび車載カメラの照準調整検査を管理する調整検査管理装置を備えたため、省スペースで調整検査でき、正確に、かつ短時間で1人の作業員で調整検査ができる。また、検査履歴を容易に残すことができ、車両の検査管理をすることを容易にすることができる。
【0016】
第2の車載レーダおよび車載カメラの照準調整検査装置(請求項2に対応)は、上記の構成において、好ましくは調整検査管理装置は、記憶装置と入力装置と表示装置と音声出力装置と制御装置から成ることで特徴づけられる。
【0017】
第2の車載レーダおよび車載カメラの照準調整検査装置によれば、調整検査管理装置は、記憶装置と入力装置と表示装置と音声出力装置と制御装置から成るため、入力装置により、調整と検査の結果を容易に入力することができ、表示装置により調整検査手順を表示し、音声出力装置により、調整検査手順を音声で流すことにより、作業者はその表示と音声案内に従って作業でき、さらに、記憶装置により、調整と検査の履歴を記憶しておくことができるので、多くの車両の管理を容易にすることができる。
【0018】
第3の車載レーダおよび車載カメラの照準調整検査装置(請求項3に対応)は、上記の構成において、好ましくは記憶装置は、調整検査履歴を記憶するデータベースを備えていることで特徴づけられる。
【0019】
第3の車載レーダおよび車載カメラの照準調整検査装置によれば、記憶装置は、調整検査履歴を記憶するデータベースを備えているため、調整検査結果をデータベースとして記憶することができるので、多量の車両の検査結果を容易に管理することができる。
【0020】
第4の車載レーダおよび車載カメラの照準調整検査装置(請求項4に対応)は、上記の構成において、好ましくは記憶装置は、調整検査手順を記憶しており、その調整検査手順を作業者の作業状況に応じて表示装置に表示し、音声出力装置から音声により出力し、入力装置を通して調整検査結果を入力することで特徴づけられる。
【0021】
第4の車載レーダおよび車載カメラの照準調整検査装置によれば、記憶装置は、調整検査手順を記憶しており、その調整検査手順を作業者の作業状況に応じて表示装置に表示し、音声出力装置から音声により出力し、入力装置を通して調整検査結果を入力するため、作業者は、その表示と音声による調整検査手順に従って作業し、入力装置を通して調整検査結果を入力することができるので、照準調整検査装置と対話型で正確にまた、段取りよく車載レーダの調整検査を行うことができる。
【0022】
【発明の実施の形態】
以下、本発明の好適な実施形態を添付図面に基づいて説明する。
【0023】
実施形態で説明される構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎず、また、数値および各構成の組成(材質)については例示にすぎない。従って本発明は、以下に説明される実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。
【0024】
図1は、本実施形態に係る車載レーダおよび車載カメラの照準調整検査装置の全体構成を示す斜視図である。車載レーダおよび車載カメラの照準調整検査装置10は、ターゲット設備11とレーダ部取り付けミラー冶具12から構成される。ターゲット設備11は、ターゲット昇降設備13に上下動自在に取り付けられた第1の照準調整検査用ボード14と第2の照準調整検査用ボード15と第1の照準調整検査用ボード14と第2の照準調整検査用ボード15を上下動するターゲットコントローラ16と調整検査管理装置17から構成される。符号20は正対装置である。
【0025】
ターゲット昇降設備13は、車両1の停止位置21から所定距離隔てた位置に設置された2本の柱22,23からなり、その柱22,23に第1の照準調整検査用ボード14と第2の照準調整検査用ボード15が上下動可能なように取り付けられるようになっている。例えば、2本の柱22,23にレールを付け、柱22,23の上部にモータ24,25を取り付け、それらのモータ24,25には、ロープ26,27が巻き付けられるようになっている構成にする。ロープ26に第1の照準調整検査用ボード14を取り付け、ロープ27に第2の照準調整検査用ボード15を取り付け、モータ24を作動することにより、ロープ26に取り付けられた第1の照準調整検査用ボード14をレールに沿って上下動するようにする。また、モータ25を作動することにより、ロープ27に取り付けられた第2の照準調整検査用ボード15をレールに沿って上下動するようにする。
【0026】
第1の照準調整検査用ボード14は、ターゲット昇降設備13に取り付けられ、車両停止位置21から所定距離隔てた位置になるように設置されている。図2は第1の照準調整検査用ボード14を示す構成図である。図2(a)は、正面図であり、図2(b)は断面図である。第1の照準調整検査用ボード14は、レーザ光照射部28と、後述する車両1のレーザ光反射用ミラー取り付け部に取り付けたレーザ光反射用ミラーから反射されたレーザ光を反射する所定の面積を有するレーザ光確認用ターゲット29と、車載レーダから照射された電波を反射するレーダ検査用ターゲット(電波反射ターゲット)30を備えている。また、レーザレーダ用ターゲット31も備えている。
【0027】
第1の照準調整検査用ボード14は、レーダ検査用ターゲット30を設けた領域以外の領域は電波に対する吸収率が高い材料で形成されている。例えば、第1の照準調整検査用ボード14は、図2(b)に示すように、電波吸収体32をミリ波透過素材であるプラスチック素材板33,34で挟んだ構造であり、大きさは、縦1135mm、幅3000mmが適当である。また、そのボード14の下端を地面から67mmにしたときに地面から680mmの高さの位置にレーザ光照射部28、例えば、レーザポインタを設けている。この高さは、車両の車載レーダに取り付けるミラーの高さと一致する高さにさせるため、車両によって異なるものであり、車両ごとに第1の照準調整検査用ボード14の高さを変えることにより調整するものである。
【0028】
レーザ光確認用ターゲット29は、第1の照準調整検査用ボード14に描かれた領域であり、この領域をその他の領域とは区別するために、色を変えたり、あるいは、枠を描くことにより区別するようにしてある。その大きさは、一辺の長さが730mmの正方形であり、その中心にレーザ光照射部28を設けるようにしてある。この領域の大きさにより、第1の照準調整検査用ボード14から車両1の前輪2の車軸センタまでの距離が6mのとき、ミラーに反射したレーザ光がこの領域内に納まるようにすればミラーが車両1の前方から2°のずれの範囲内に納まっていることになる。調整では、レーザ光をこの領域内に収めるようにレーダの角度を調整すれば良いことになる。
【0029】
レーダ検査用ターゲット30は、第1の照準調整検査用ボード14の下端を地面から67mmにしたときに地面から高さ550mmに位置し、電波に対する反射率が高い材料で形成されており、例えば、その材料は、アルミニウムまたは、アルミニウム含有紙であることが好ましく、これにより、ミリ波の反射を大きくすることができる。また、図3は、好適なレーダ検査用ターゲット30の形状を示す図であり、底面が車載レーダ側を向いた三角錐形状の窪みであるようにしている。大きさは、底面の一辺の長さが120mmにしてある。これにより、ミリ波の反射強度を大きくすることができる。これは、レーダからミリ波が出ていることを確認するためのものである。
【0030】
レーザレーダ検査用ターゲット31は、車載のレーザレーダからのレーザ光の反射をさせるための反射板である。この反射板に向けて、車載のレーザレーダを照射し、反射することを確認することにより、レーザレーダの動作を確認することができる。
【0031】
第1の照準調整検査用ボード14は、レーダ検査用ターゲット30を設けた領域以外の領域は電波に対する吸収率が高い材料で形成されている。
【0032】
第2の照準調整検査用ボード15は、ターゲット昇降設備13に取り付けられ、車両停止位置21から所定距離隔てた位置になるように設置されている。図4は第2の照準調整検査用ボード15を示す構成図である。
【0033】
第2の照準調整検査用ボード15には、車載カメラ照準調整検査用ターゲット(カメラ用ターゲット)35が形成されている。車載カメラ照準調整検査用ターゲット35は、第2の照準調整検査用ボード15の中心に一つのターゲットパターン36とその中心のターゲットパターン36の左右に等間隔で1つずつ中心のターゲットパターン36と同様のターゲットパターン37,38が描かれたものである。ターゲットパターン36,37,38は、半径r1の円とその円内に半径r2の円が描かれており、その内側の円に中心角90°の扇形が4つ描かれており、それらの扇形は反射なしのつや消し白と黒が交互に配列されている。これらのパターンにより、カメラで写された画像が鮮明に作業者に確認でき、また、カメラの照準調整検査を容易に確実なものとすることができる。
【0034】
ターゲットコントローラ16は、第1の照準調整検査用ボード14と第2の照準調整検査用ボード15を上下動させ、車種ごとに高さが合わせられるようにするものである。例えば、調整検査管理装置17の記憶装置39に車種ごとに対応する第1の照準調整検査用ボード14と第2の照準調整検査用ボード15の高さを記憶させておき、入力装置40により、車種を入力することにより、車載レーダの照準調整検査のときにはその車種に対応する高さにモータ24を動作し、第1の照準調整検査用ボード14を上下動させる。ミラーの位置とレーザ照射部の高さが一致するようにしてある。また、車載カメラの照準調整検査のときには、その車種に対応する高さになるようにモータ25を動作し、第2の照準調整検査用ボード15を上下動させる。
【0035】
調整検査管理装置17は、車載レーダおよび車載カメラの照準調整検査装置を用いての車載レーダおよび車載カメラの照準調整検査を管理する装置であり、記憶装置39と入力装置40と表示装置41と音声出力装置42と制御装置43から成る。
【0036】
記憶装置39は、調整検査履歴を記憶するデータベースを備えている。また、記憶装置39は、調整検査手順を記憶しており、その調整検査手順を作業者の作業状況に応じて表示装置41に表示し、音声出力装置42から音声により出力し、入力装置40を通して調整検査結果を入力する。これにより、作業者は、調整検査管理装置17と対話型で車載レーダと車載カメラの照準調整検査の作業を行うことができる。
【0037】
図5は検査履歴データベースの構成を示す図である。データベースは、図5(a)で示す車両マスターデータベースDB10と図5(b),(c),(d)で示す車両情報データベースDB20からなる。車両マスターデータベースDB10は、機種コードととレーダ光確認用ターゲット位置とカメラ用ターゲット位置が記録されている。車両情報データベースDB20は、車両コード、機種コード、検査年月日時間、レーダ照準調整上下、レーダ照準調整左右、レーダ照準検査結果、カメラパン角補正値、ロール角補正値、ピッチ角補正値、カメラ画像処理結果の項目を記憶できるようになっている。また、必要に応じて、他の検査結果もこのデータベースに記憶するようにすることもできる。
【0038】
車両マスターデータベースDB10の記憶領域R11は、車両の車種を区別するために付けられたコードであり、車種毎に付けられたコードである機種コードを記憶する領域である。記憶領域R12は、車種毎に定められた車載レーダの調整検査を行うときのレーザ光確認用ターゲットの地面からの高さを指定するための値であるレーザ光確認用ターゲット位置を記憶する領域である。記憶領域R13は、車種毎に定められた車載カメラの調整検査を行うときのカメラ用ターゲットの地面からの高さを指定するための値であるカメラ用ターゲット位置を記憶する領域である。
【0039】
車両情報データベースDB20の記憶領域R21は、車両毎に付けられたコードである車両コードを記憶する領域である。記憶領域R22は、車両の車種を区別するために付けられたコードであり、車種毎に付けられたコードである機種コードを記憶する領域である。記憶領域R23は、その車両を調整検査した年月日時間を記憶する領域である。記憶領域R24は、レーダ照準調整のうちでドライバーにより調整した上下方向の角度を記憶する領域である。記憶領域R25はレーダ照準調整のうちでドライバーにより調整した左右方向の角度を記憶する領域である。記憶領域R26は、レーダ照準検査結果を記憶する領域である。記憶領域R27は、後で詳細に説明するカメラ姿勢角のうちパン角の補正値を記憶する領域である。記憶領域R28は、カメラ姿勢角のうちロール角の補正値を記憶する領域である。記憶領域R29は、カメラ姿勢角のうちピッチ角の補正値を記憶する領域である。記憶領域R30は、カメラ画像処理検査結果を記憶する領域である。
【0040】
入力装置40は、調整検査管理装置17に車両コードを入力したり、表示装置41や音声出力装置42からの調整検査の手順に従った指令に応答し、検査年月日時間とレーダ照準調整で得られた上下方向の角度、左右方向の角度、レーダ照準検査結果、カメラ照準調整で得られたカメラパン角補正値、ロール角補正値、ピッチ角補正値、カメラ照準検査結果などを入力するためのものである。
【0041】
表示装置41は、車載レーダおよび車載カメラの照準調整検査を行ったときに得られた検査年月日時間とレーダ照準調整で得られた上下方向の角度、左右方向の角度、レーダ照準検査結果、カメラ照準調整で得られたカメラパン角補正値、ロール角補正値、ピッチ角補正値、カメラ照準検査結果を入力装置40により入力し、そのときに、入力を指示し、入力したデータを表示するものである。また、車載レーダおよび車載カメラの照準調整検査の手順を表示するものである。
【0042】
音声出力装置42は、車載レーダおよび車載カメラの照準調整検査の手順を作業者に音声で知らせるためのものである。
【0043】
制御装置43は、ターゲットコントローラ16、記憶装置39、入力装置40、表示装置41、音声出力装置42を制御する装置である。
【0044】
次に、車両1のレーザ光反射用ミラー取り付け部に取り付けるレーザ光反射用ミラーを説明する。図6は、レーダ部取り付けミラー冶具12を示す。レーダ部取り付けミラー冶具12は、ミラー部44とミラー取り付け部45から成る。レーダ部取り付けミラー冶具は、取り付け部の方に重心があり、また、レーダには、この取り付け部がはまり込む窪みである取り付け部が設けられており、ミラー取り付け部45をレーダのミラー取り付け部に取り付けることにより、ミラー取り付け部45の重さにより、レーダの取り付け部と良好に固定される。また、ミラーの上部には水準器46が備えてある。
【0045】
図7は、レーダにミラーを取り付けた状態を示す図である。図7(a)は平面図であり、図7(b)は正面図である。レーダ47は、基板48に3点49,50,51のネジにより抑えられ、その3点のネジ位置を調整することにより、上下方向、左右方向の角度を調整することができる。この3点49,50,51のネジには、歯車が連結されており、グリルカバー52の上部のドライバー挿入穴53,54からドライバーにより、歯車を回転することによって調整することができる。ドライバーにより歯車を回転させるとネジが回転し長さを調整していき、3点49,50,51を支点に上下方向、左右方向にレーダが動き、レーダの角度を調整することができる。グリルカバー52には、ボンネットを閉めたときに納まるための穴55があり、その穴を利用して、ミラー冶具12をレーダ47のミラー取り付け部に取り付け部45をはめ込むことにより取り付ける。それにより、グリルカバーを外さないで調整することができる。
【0046】
次に、レーダ照準調整の原理を説明する。
【0047】
レーダ照準調整では、グリルカバーの穴からレーダ部取り付けミラー冶具12の取り付け部45を挿入し、レーダの取り付け部に固定したレーダ部取り付けミラー冶具12のミラー部44に、第1の照準調整検査用ボード14のレーザ照射部28からレーザ光を照射する。そのレーザ光は、レーダに取り付けられたレーダ取り付け部ミラー冶具12のミラー部44により、反射され、第1の照準調整検査用ボード14に到達する。そのレーザ光のスポットが第1の照準調整検査用ボード14のレーザ光確認用ターゲット29内に納まるようレーダの角度を調節する。これにより、所定の角度以内にレーダの照準を調整することができる。レーダの検査は、ミリ波レーダを作動させ、ミリ波が出ていれば、レーダ検査用ターゲット30からミリ波が反射し、その反射されたミリ波を受信することにより、ミリ波が所定の出力で出射しているかどうかを検査する。このように、本実施形態におけるレーダの照準調整検査は、レーザ光によるレーダに取り付けられたレーダ取り付け部ミラー冶具12による反射光を観察しながらのレーダの角度調整による照準調整とレーダからのミリ波のレーダ検査用ターゲット30からの反射波を受信することによる検査から成っている。
【0048】
これにより、レーダの照準調整検査を省スペースでき、正確に、かつ短時間で1人の作業員で調整検査ができる。
【0049】
次に、カメラ照準調整の原理を説明する。
【0050】
カメラ照準調整には、次のカメラパラメータを用いる。カメラパラメータは、撮像された道路白線、画像平面上の道路白線を道路面上の車両に対する相対座標に変換するためのパラメータである。カメラパラメータには、ピッチ角、パン角、ロール角からなるカメラ姿勢角と、前後位置(x座標)、左右位置(y座標)、上下位置(z座標)から構成されるカメラ位置、焦点距離、画像中心座標、画素サイズがある。カメラ照準調整では、カメラパラメータのうち、車両取り付け状態におけるカメラ姿勢角を算出する。その他のパラメータは予め所定の値に設定し固定値とする。図8は、カメラ姿勢角を示す図である。X軸、Y軸、Z軸は、道路面を基準とする座標であり、X軸は、道路面に水平で、車両の進行方向と平行な軸であり、Y軸は、道路面に水平で、車両の進行方向に垂直な軸であり、Z軸は、道路面に垂直な座標軸である。符号56はカメラを示し、符号57はカメラのレンズである。X’軸、Y’軸、Z’軸は、カメラを基準とする座標軸であり、カメラのレンズから焦点方向がX’軸であり、カメラのレンズから焦点の方向と垂直で道路面と水平方向に近い軸がY’軸であり、カメラのレンズから焦点方向と垂直で、道路面と垂直に近い方の軸をZ’軸である。ピッチ角はX’軸Y’軸Z’軸からなる座標系のY軸まわりの回転角であり、パン角はX’軸Y’軸Z’軸からなる座標系のZ軸まわりの回転角であり、ロール角はX’軸Y’軸Z’軸からなる座標系のX軸まわりの回転角である。
【0051】
次に、カメラ姿勢角の求め方を説明する。カメラ前方にターゲットを配置する。カメラからターゲットへ向かうベクトル(以下、ターゲットベクトルと呼ぶ)を、カメラ基準の座標系で定義する。図9は、カメラ姿勢角が既定の場合(通常は道路面を基準とする座標系とカメラ基準の座標系が一致している場合)のカメラ位置からの3つのターゲットの位置とその位置によるターゲットベクトルV01,V02,V03(ターゲットのカメラの位置を座標原点としたときの位置ベクトル)を示す図である。図中、3つのターゲットを符号58,59,60で表し、カメラ位置を符号61で表す。例えば1つのターゲット58に対する既定のターゲットベクトルV01を式(1)で表す。
【0052】
【数1】

Figure 0003708510
【0053】
図10は、カメラ姿勢角が変化したとき、すなわち、道路面を基準とする座標系とカメラ基準の座標系が一致しないときのカメラの位置を原点としたときの3つのターゲット58,59,60の位置とその位置によるターゲットベクトルV11,V12、V13を示す図である。カメラ姿勢角が変化すると、カメラ基準の座標系も変化する。ターゲット位置は変化しないため、ターゲットベクトルはカメラ姿勢角の分だけ変化する。例えば、このときのターゲットベクトルV11を式(2)で表す。
【0054】
【数2】
Figure 0003708510
【0055】
既定のカメラ姿勢角でのターゲットベクトルV01と、カメラ姿勢角が変化したときのターゲットベクトルV11との対応関係は、式(3)によって表される。
【0056】
【数3】
Figure 0003708510
【0057】
ここで、Rは、式(4)で表される変換行列であり、また、この行列要素を用いてピッチ角、パン角、ロール角は、式(5)〜(7)によって表される。
【0058】
【数4】
Figure 0003708510
【0059】
【数5】
Figure 0003708510
【0060】
【数6】
Figure 0003708510
【0061】
【数7】
Figure 0003708510
【0062】
既定のカメラ姿勢角でのターゲットベクトルV01と、カメラ姿勢角が変化しているときのターゲットベクトルV11を用いて、式(3)で表される方程式を解くことにより、変換行列を算出することで、式(5)〜(7)に従ってカメラ姿勢角の変化分を求めることができる。ターゲット59,60からも、同様にしてカメラ姿勢角の変化分を求めることができる。
【0063】
実際には、カメラ姿勢角が既定のカメラ姿勢角からずれているときに、そのずれとの変換行列を求めることにより、その変換行列をカメラの画像ECUの記憶装置に記憶する。実際のカメラの撮像では、撮影した映像の各物体のベクトルを記憶した変換行列Rを用いて、式(3)の逆変換を演算装置により行うことにより、撮像した画像を既定のカメラ姿勢角のものに補正するようにする。これにより、カメラ姿勢角が既定のものでないときにも、既定のカメラ姿勢角で撮影した画像に変換することができる。
【0064】
なお、この方程式を解くには、カメラ姿勢角が既定の場合のターゲットベクトルとカメラ姿勢角が変化した場合のターゲットベクトルそれぞれ少なくとも3組のベクトル(2つのターゲットベクトル(例えばV01,V02とV11,V12など)とその外積)が必要となる。
【0065】
次に、ターゲットベクトルの求め方について説明する。図11は、カメラの位置とターゲットの位置とターゲットベクトルを示す図である。図には車両1の上部にカメラ56の位置とターゲット58,59,60が示してある。例えば、既定のカメラ姿勢角でのターゲットベクトルV01は、式(8)、(9)で表すことができ、カメラ位置とターゲット位置から予め決まっている。これは、実際の調整での車両とターゲットの位置を定めておいて、そのデータを画像ECUに保持しておく。
【0066】
【数8】
Figure 0003708510
【0067】
【数9】
Figure 0003708510
【0068】
ここで、X01,Y01,Z01は、ターゲット位置座標であり、Xf,Yf,Zfはカメラ位置座標を示す。
【0069】
カメラ姿勢角が変化したときのターゲットベクトルV11は、図12で示すように撮像されたターゲット画像58p,59p,60pから求める。
【0070】
【数10】
Figure 0003708510
【0071】
【数11】
Figure 0003708510
【0072】
【数12】
Figure 0003708510
【0073】
【数13】
Figure 0003708510
【0074】
ここで、Xpはターゲット画像53pのX座標、Ypはターゲット画像53pのY座標、fはカメラ焦点距離、Xpcent、Ypcentは画像中心座標X,Y、Xpalpha,Ypalphaは画素サイズを表す。
【0075】
式(1)で表す方程式に当てはめるときには、それぞれのベクトルV01,V11を単位ベクトルに変換する。
【0076】
次にターゲット数について説明する。カメラ姿勢角変化の算出は、原理的には2点のターゲットで可能である。(2つのターゲットベクトルとその外積からなる3組のベクトル。)実際の計算において、撮像されたターゲットから求めたターゲットベクトルには、撮像素子などの量子化誤差やレンズ収差が含まれるため、3組のベクトルを方程式に当てはめたとき、それらを同時に満たす変換行列は存在しない。そのため誤差が最小となるような変換行列を最小二乗法で算出する。最小二乗法では、サンプル数が多いほうが近似精度が安定し、また、サンプル点が偏らない方が近似誤差の偏差が少なくなる。ターゲット数が2点(中央と左または右)では、算出精度を満たせない。ターゲット数は多い方が良いが、ターゲットボードの面積と、1つのターゲットの探索範囲により、設置上の制約を受ける。カメラ姿勢角の算出精度と、設置上の制約を満たすため、本実施形態では、ターゲット数を3点とした。
【0077】
次に、画像処理検査について説明する。カメラ照準調整を行った後に、画像処理の確からしさを確認する目的で行う。この処理は、自動照準調整直後に自動で移行する。カメラ画像は、コントラスト変化のエッジを検出して白線と認識させる。図13にこのフローチャートを示す。まず、カメラの画像ECUにおいて、撮影したターゲットパターンを画像処理し(ステップST10)、検出されたターゲットパターンの輝度の高い領域の面積のパターン全体の面積に対する比率(白色の領域のパターン全体に対する比率)を算出する(ステップST11)。一方、予めターゲットの縮小率を求めておき(ステップST12)、ターゲットパターンの画像内の白色の領域のパターン全体の面積に対する割合をZとして、その真値Zからターゲット縮小分を差し引いてマスター値ZZを画像ECUに記憶させておき(ステップST13)、検出されたターゲットパターンの輝度の高い領域の面積のパターン全体の面積に対する比率の値をステップST13で記憶されたマスター値ZZに対して、比較検証し(ステップST14)結果が、一定値以内であれば合格(ステップST15)、それ以外であればNGと判断する(ステップST16)。これにより、画像処理の精度検証をする。
【0078】
以上の原理に基づいて、カメラの照準調整検査はカメラの画像ECUにより自動的に行われる。
【0079】
次に、この車載レーダおよび車載カメラ照準調整検査装置を用いたときの車載レーダおよび車載カメラの照準調整検査方法について説明する。
【0080】
図14と図15は、本発明の実施形態の手順を示した図である。照準調整工程(ST20)とレーダ検査(ST40)とカメラ照準調整工程(ST50)から成っている。
【0081】
まず、車両を正対装置20の上に設置し、正対させ、車両の位置を第1の照準調整検査用ボード14から6mのところに位置させる。
【0082】
車載レーダの照準調整工程(ステップST20)は、ミラー冶具取り付け工程(ステップST21)とレーザ光反射によるレーダ角度調整工程(ステップST30)から成っている。まず、作業者は入力装置40から調整を行うということを入力する(ステップST22)。図16は、そのときの表示装置41の表示画面62を示す図である。表示画面62には、メッセージ63とOKボタン64とキャンセルボタン65が表示されている。調整を行うことを入力するには、図示しないマウスによりOKボタン64をクリックする。調整を行わないときには、キャンセルボタン65をマウスによりクリックする。キャンセルボタン65をクリックしたときは、表示画面62はそのまま表示され、OKボタン64をクリックしたときは、図17で示す表示画面66が表示装置41に表示される。また、音声出力装置42からミラー冶具を取付けるように指示する音声で流れる(ステップST23)。表示画面66には、メッセージ67とOKボタン68とキャンセルボタン69が表示される。
【0083】
ミラー冶具取り付け工程(ステップST21)では、ミラー冶具12をグリルカバー52の穴55から取り付け部を挿入し、レーダの取り付け部に固定する(ステップST24)。作業者はミラー冶具12を取り付けたことを入力装置40に入力する(ステップST25)。これは、OKボタン68をマウスによりクリックすることにより入力される。図18は、そのときの表示画面70を示す。表示画面70には、メッセージ71とテキストボックス72とOKボタン73とキャンセルボタン74が表示される。キャンセルボタン74をマウスによりクリックした場合は、再び入力待ちとなる。
【0084】
次に、レーダ角度調整工程(ステップST30)では、まず、ステップST25を行った後、表示装置41は、図18で示す表示画面70が表示される。表示画面70には、メッセージ71とテキストボックス72とOKボタン73とキャンセルボタン74が表示される。また、音声出力装置42から、車両コードを入力する指示の音声が出力される。作業者は、入力装置40に備えられた図示しないキーボードにより調整検査を行う車両の車両コードを入力し、図示しないマウスによりOKボタンをクリックする(ステップST32)。
【0085】
それにより、制御装置43は、記憶装置39の車両情報データベースDB20から、入力された車両コードに対応する機種コードに従って検索し、車両マスターデータベースDB10のレーザ光確認用ターゲット位置を読み出し、その位置の値に対応するように、ターゲットコントローラ16を作動し、モータ24を回転させ、第1の照準調整検査用ボード14を移動させる(ステップST33)。第1の照準調整検査用ボード14の移動後、レーザ照射の指示の音声が流れる(ステップST34)。また、表示装置41は図19で示す表示画面75となる。表示画面75には、メッセージ76とOKボタン77とキャンセルボタン78が表示される。作業者はOKボタン77をマウスによりクリックすることで入力装置40からレーザ照射の指令を入力する(ステップST35)。それにより、レーザ照射部からレーザが照射される(ステップST36)。また、表示装置41は、図20で示す表示画面79となる。表示画面79には、メッセージ80と、検査年月日時間を入力するためのテキストボックス81と、レーダ照準調整のうち上下方向の角度を入力するためのテキストボックス82と、レーダ照準調整のうち左右方向の角度を入力するためのテキストボックス83とレーダ照準検査結果を入力するテキストボックス84とOKボタン85とキャンセルボタン86が表示される。
【0086】
照射されたレーザ光は、レーダに取り付けられたレーダ部取り付けミラー冶具12のミラー部44により、反射され、第1の照準調整検査用ボード14の方向にレーザ光は到達する。そのスポットが第1の照準調整検査用ボード14のレーザ光確認用ターゲット29内に納まるように二つの穴53,54からドライバーにより、ネジを回し、レーダ47の角度を調節する(ステップST37)。レーザ光がレーザ光確認用ターゲット29に納まるように調節が終わったら、入力装置40の図示しないキーボードにより、テキストボックス81,82,83,84に検査年月日時間と、レーダ照準調整のうち上下方向の調整角度と、左右方向の調整角度を入力する(ステップST38)。OKボタン85をマウスによりクリックすることにより、制御装置43は、入力された検査年月日時間と、レーダ照準調整のうち上下方向の調整角度と、左右方向の調整角度をそれぞれ、記憶装置39の車両情報データベースDB20の記憶領域R23,R24,R25に記憶する。図21は、そのときの表示装置41に表示される表示画面87を示す。表示画面87には、メッセージ88とOKボタン89とキャンセルボタン90が表示される。OKボタン89をマウスによりクリックすることで、入力したデータが表示され、確認し、OKボタンをマウスによりクリックすることによってレーダ照準調整完了の入力をする(ステップST39)。そのとき、表示装置41は、図22で示す表示画面91となる。表示画面91には、メッセージ92とレーダ検査結果を入力するためのテキストボックス93とOKボタン94とキャンセルボタン95が表示される。それとともに、音声出力装置42から、レーダ検査の指示が音声で出力される。
【0087】
レーダ検査工程(ステップST40)では、作業者は、車両1に乗車し、ミリ波レーダを作動する(ステップST41)。そして、運転席に設けられた表示パネルを見ることにより、ミリ波が出ていれば、レーダ検査用ターゲット30から反射し、受信し、表示パネルにミリ波を受信したことが表示される。ミリ波が出ていなければ、表示パネルには表示されない。そのとき、表示、不表示などの検査結果を入力装置40から、テキストボックス93に入力する(ステップST42)。OKボタン94をマウスによりクリックすることにより、制御装置43は、入力したレーダ検査結果を記憶装置39の車両情報データベースDB20の記憶領域R26に記憶する。そのとき、表示装置41は、図23で示す表示画面96を表示する。それとともに、音声出力装置42から、車載カメラの照準調整検査の指示が音声で出力される。
【0088】
次に、車載カメラの照準調整検査を行う。入力装置40から、車載カメラの車載カメラの照準調整検査を開始することを入力する(ステップST51)。これは、表示画面96のOKボタン97をマウスによりクリックすることにより行う。それにより、制御装置43は、車両マスターデータベースDB10の記憶領域R13に記憶されているカメラ用ターゲット位置の値を読み出し、ターゲットコントローラ16により、第1の照準調整検査用ボード14を上方に上げ、第2の照準調整検査用ボード15を読み出した値の位置にカメラ用ターゲットが設定されるように移動する(ステップST52)。それとともに、音声出力装置は42、車載カメラによりカメラ用ターゲットを撮影する指示の音声を出力する。そのとき、表示装置41は、図24で示す表示画面99を表示する。表示画面99には、メッセージ100とカメラパン角補正値を入力するためのテキストボックス101と、ロール角補正値を入力するためのテキストボックス102と、ピッチ角補正値を入力するためのテキストボックス103とカメラ画像処理検査結果を入力するためのテキストボックス104とOKボタン105とキャンセルボタン106が表示される。
【0089】
作業者は、車載カメラを作動し車載カメラによりターゲットを撮影する(ステップST53)。それにより、カメラの画像ECUによってカメラ姿勢角が算出される。カメラの表示部にはその姿勢角を表示され(ステップST54)、その角度をカメラの画像ECUに記憶する(ステップST55)。カメラは、その記憶されたカメラ姿勢角に基づいて、自動的に撮影された画像を補正する(ステップST56)。作業者は、それらの角度(カメラ姿勢角)、すなわち、パン角補正値、ロール角補正値、ピッチ角補正値をテキストボックス101,102,103に入力装置40により入力する(ステップST57)。また、このとき、画像処理調整も自動的に行われる(ステップST59)。そして、車両の表示パネルに、画像処理装置がNGかOKかが表示される(ステップST60)。作業者は、NGかOKかの結果を入力装置40によりテキストボックス104に入力する(ステップST61)。そして、OKボタン105をマウスによりクリックする。それにより、制御装置43は、入力したパン角補正値、ロール角補正値、ピッチ角補正値、画像処理装置の検査結果を記憶装置39の車両情報データベースDB20の記憶領域R27,R28,R29,R30に記憶する。その後、表示装置41には、記憶させたカメラ姿勢角に対するデータと画像処理装置の検査結果を表示し、その表示を確認後、作業者は、OKボタンをマウスによりクリックして作業を終了する。車載レーダと車載カメラの照準調整検査は各車両ごとに行われ、各車両毎に調整検査結果が記憶装置39の車両情報データベースDB20に記憶され、入力装置40から、車両コードを入力することにより、その車両に対応する検査年月日時間、レーダ照準調整角度、レーダ照準検査結果、カメラパン角補正値、ロール角補正値、ピッチ角補正値、カメラ画像処理検査結果などの調整検査結果に対するデータを表示することができ、また、調整検査した特定の車両や、全車両の上記の調整検査結果に対するデータを表示することができる。
【0090】
【発明の効果】
以上の説明で明らかなように本発明によれば、次の効果を奏する。
【0091】
車載レーダおよび車載カメラを同一の車両停車位置で照準調整と検査を行う装置であって、車載レーダは、レーザ光反射用ミラー取り付け部を有し、車両停止位置から所定距離隔てた位置に上下動可能な第1の照準調整検査用ボードと第2の照準調整検査用ボードを有し、第1の照準調整検査用ボードは、レーザ光照射部と、レーザ光反射用ミラー取り付け部に取り付けたレーザ光反射用ミラーから反射されたレーザ光を反射する所定の面積を有するレーザ光確認用ターゲットと、車載レーダから照射された電波を反射するレーダ検査用ターゲットを備え、第2の照準調整検査用ボードは、車載カメラ照準調整検査用ターゲットを備え、車載レーダおよび車載カメラの照準調整検査を管理する調整検査管理装置を備えたため、省スペースで調整検査でき、正確に、かつ短時間で1人の作業員で調整検査ができる。また、検査履歴を容易に残すことができ、車両の検査管理をすることを容易にすることができる。
【0092】
調整検査管理装置は、記憶装置と入力装置と表示装置と音声出力装置と制御装置から成るため、入力装置により、調整と検査の結果を容易に入力することができ、表示装置により調整検査手順を表示し、音声出力装置により、調整検査手順を音声で流すことにより、作業者はその表示と音声案内に従って作業でき、さらに、記憶装置により、調整と検査の履歴を記憶しておくことができるので、多くの車両の管理を容易にすることができる。
【0093】
記憶装置は、調整検査履歴を記憶するデータベースを備えているため、調整検査結果をデータベースとして記憶することができるので、多量の車両の検査結果を容易に管理することができる。
【0094】
記憶装置は、調整検査手順を記憶しており、その調整検査手順を作業者の作業状況に応じて表示装置に表示し、音声出力装置から音声により出力し、入力装置を通して調整検査結果を入力するため、作業者は、その表示と音声による調整検査手順に従って作業し、入力装置を通して調整検査結果を入力することができるので、照準調整検査装置と対話型で正確にまた、段取りよく車載レーダの調整検査を行うことができる。
【図面の簡単な説明】
【図1】本実施形態に係る車載レーダおよび車載カメラの照準調整検査装置の全体構成を示す斜視図である。
【図2】第1の照準調整検査用ボード14を示す構成図である。図2(a)は、正面図であり、図2(b)は断面図である。
【図3】好適なレーダ検査用ターゲット26の形状を示す図である。
【図4】第2の照準調整検査用ボードを示す構成図である。
【図5】検査履歴データベースの構成を示す図である。
【図6】レーダ部取り付けミラー冶具を示す斜視図である。
【図7】レーダにミラー冶具を取り付けた状態を示す図である。
【図8】カメラ姿勢角を示す図である。
【図9】カメラ姿勢角が既定の場合のカメラ位置からの3つのターゲットの位置とその位置によるターゲットベクトルを示す図である。
【図10】カメラ姿勢角が変化した場合のカメラ位置からの3つのターゲットの位置とその位置によるターゲットベクトルを示す図である。
【図11】カメラの位置とターゲットの位置とターゲットベクトルを示す図である。
【図12】カメラ姿勢角が変化したときのターゲットベクトルを示す図である。
【図13】画像処理検査のフローチャートである。
【図14】本発明の実施形態の手順を示した図である。
【図15】本発明の実施形態の手順を示した図である。
【図16】表示装置の表示画面を示す図である。
【図17】表示装置の表示画面を示す図である。
【図18】表示装置の表示画面を示す図である。
【図19】表示装置の表示画面を示す図である。
【図20】表示装置の表示画面を示す図である。
【図21】表示装置の表示画面を示す図である。
【図22】表示装置の表示画面を示す図である。
【図23】表示装置の表示画面を示す図である。
【図24】表示装置の表示画面を示す図である。
【符号の説明】
1 車両
10 車載レーダおよび車載カメラの照準調整検査装置
11 ターゲット設備
12 レーダ部取り付けミラー冶具
13 ターゲット昇降設備
14 第1の照準調整検査用ボード
15 第2の照準調整検査用ボード
16 ターゲットコントローラ
17 調整検査管理装置
20 正対装置
21 停止位置
28 レーザ光照射部
29 レーザ光確認用ターゲット
30 レーダ検査用ターゲット
35 車載カメラ照準調整検査用ターゲット
36,37,38 ターゲットパターン
39 記憶装置
40 入力装置
41 表示装置
42 音声出力装置
DB10 車両マスターデータベース
DB20 車両情報データベース[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an on-vehicle radar and an on-vehicle camera aiming and inspection apparatus, and more particularly to an on-vehicle radar that performs aim adjustment using a laser beam and a reflection mirror, performs a performance inspection using a radio wave reflection target, and is used for a camera. The present invention relates to an in-vehicle radar that performs an aim adjustment inspection of an in-vehicle camera using a target and an aim adjustment inspection apparatus for the in-vehicle camera.
[0002]
[Prior art]
In recent years, a driving support system has been developed that aims to contribute to safety as a technology that reduces driving load on highways, compensates for a decrease in cognitive judgment due to driver fatigue, and prevents collisions. It is coming. In a driving support system, a vehicle that controls the speed of its own vehicle by detecting the preceding vehicle and controls the direction of travel to maintain the distance between the vehicles, and a vehicle that detects the traveling lane of the own vehicle and maintains and supports traveling along that lane It performs overall control in the lateral direction.
[0003]
The vehicle speed and inter-vehicle control system for controlling the direction of travel uses a millimeter-wave radar to measure the inter-vehicle distance from the preceding vehicle and detect the running state of the vehicle by using a vehicle speed sensor and a yaw rate sensor. To narrow down. In addition, when the distance between the preceding vehicle and the preceding vehicle becomes narrower, this system mainly uses a deceleration by a brake in addition to a deceleration by a throttle to maintain an appropriate inter-vehicle distance. Furthermore, when the dangerous distance between vehicles is approached, the warning device is urged to be intermediate. In addition, this system functions as normal cruise control when the distance between the preceding vehicle and the preceding vehicle increases.
[0004]
The lane keeping control system for controlling the vehicle lateral direction correctly recognizes the lane on the road by the image processing system. In addition, this system judges and evaluates whether the vehicle is a lane by processing the line width, length, continuity, etc., detected from the image captured by the in-vehicle camera. It is recognized as a driving lane on the road. In addition, this system calculates the data obtained by the image processing system by the ECU, calculates the steering torque required to assist the maintenance of the lane center, performs the current control of the electric power steering, and supports the lane maintenance. To make it happen. The system also issues a lane departure warning to alert the driver when there is a possibility of deviating from the driving lane.
[0005]
The accuracy of the orientation of the millimeter wave radar used in such a driving support system plays an important role in this system. For example, if the direction of the millimeter wave radar attached to the vehicle deviates from the front, the radar may not collide with the previous runner even though all the vehicles are present, A different vehicle is recognized as an all-running vehicle, and there is a great possibility that it will lead to a serious accident such as unintended deceleration.
[0006]
The conventional adjustment of the orientation of the vehicle-mounted radar, that is, the aiming adjustment and inspection of the vehicle-mounted radar, uses a millimeter-wave radar electric field strength measuring device in front of the vehicle in order to ensure that the transmitted beam faces the automobile axle correctly. The direction of the antenna axis was adjusted so that the measured electromagnetic wave radiation intensity was maximized.
[0007]
In Japanese Patent Laid-Open No. 2001-174540, as this adjustment method, a display for displaying a signal related to the output of the adjustment reception antenna by disposing the adjustment reception antenna at a predetermined reference position with a space forward from the vehicle. The means is arranged in the vicinity of the adjusting means, and the adjusting means is adjusted while observing the output of the display means. Further, an attenuation member that attenuates and transmits the beam intensity is interposed between the radar means and the adjustment receiving antenna.
[0008]
In addition, the accuracy of the orientation of the camera used in the driving support system also plays an important role in this system. For example, if the orientation of the camera attached to the vehicle deviates from the front, there is a high possibility that it will lead to a serious accident, such as being off the lane.
[0009]
Adjustment of the direction of the conventional vehicle-mounted camera was performed manually.
[0010]
[Problems to be solved by the invention]
However, in such an on-vehicle radar and on-vehicle camera aiming adjustment method and inspection method, when an attenuation member is not used, an adjustment receiving antenna is arranged at a predetermined reference position with a space forward from the vehicle. As a result, the measurement takes time and a large work space is required. In addition, a damping member is required to narrow the work space, the number of facilities is increased, a plurality of workers are required to install the damping member, and further, adjustment takes time. There was a point.
[0011]
In addition, since the adjustment of the camera is a manual operation, there is a problem that accurate aiming cannot be performed. In addition, the inspection result can be recorded for each vehicle, and there is a problem that it is not easy to manage because the inspection apparatus does not leave an inspection history.
[0012]
In order to solve the above problems, an object of the present invention is to provide an in-vehicle radar capable of performing an adjustment inspection in a small space, accurately and in a short time with a single operator, and easily leaving an inspection history. It is to provide an aim adjustment inspection device for an in-vehicle camera.
[0013]
[Means and Actions for Solving the Problems]
In order to achieve the above object, an on-vehicle radar and an on-vehicle camera aiming and inspection apparatus according to the present invention are configured as follows.
[0014]
The first on-vehicle radar and on-vehicle camera aiming and inspection inspection device (corresponding to claim 1) is an apparatus that performs on-vehicle radar and on-vehicle camera aiming adjustment and inspection at the same vehicle stop position. It is a depression that is held by the substrate with an adjustment screw connected to the gear and that fits into the mounting part of the mirror jig of the laser beam reflecting mirror. Having a mirror reflection part for reflecting laser light, The mirror jig of the laser beam reflecting mirror has a center of gravity at the mounting part, The first aim adjustment inspection board and the second aim adjustment inspection board that can move up and down to a position separated from the vehicle stop position by a predetermined distance. The first aim adjustment inspection board includes a laser beam irradiation unit, A laser light confirmation target having a predetermined area for reflecting the laser light reflected from the laser light reflecting mirror attached to the laser light reflecting mirror mounting portion, and a radar inspection for reflecting the radio wave emitted from the in-vehicle radar The second aim adjustment inspection board including the target includes an in-vehicle camera aim adjustment inspection target, and is characterized by an adjustment inspection management device that manages the aim adjustment inspection of the in-vehicle radar and the in-vehicle camera.
[0015]
According to the first in-vehicle radar and the in-vehicle camera aiming and inspection apparatus, the in-vehicle radar has a laser light reflecting mirror mounting portion, and is capable of moving up and down to a position separated from the vehicle stop position by a predetermined distance. It has an adjustment inspection board and a second aim adjustment inspection board, and the first aim adjustment inspection board is reflected from the laser light irradiation part and the laser light reflection mirror attached to the laser light reflection mirror attachment part. A laser beam confirmation target having a predetermined area for reflecting the laser beam and a radar inspection target for reflecting the radio wave emitted from the on-vehicle radar, and the second aim adjustment inspection board is an on-vehicle camera aim adjustment. Because it is equipped with an inspection target and an adjustment inspection management device that manages the aiming adjustment inspection of the on-vehicle radar and on-vehicle camera, it can be adjusted in a small space. A short period of time can be adjusted inspection at one of the workers. Moreover, the inspection history can be easily left, and the inspection management of the vehicle can be facilitated.
[0016]
The second vehicle-mounted radar and the vehicle-mounted camera aiming and adjusting inspection device (corresponding to claim 2) are preferably configured such that the adjustment inspection management device includes a storage device, an input device, a display device, a sound output device, and a control device. It is characterized by consisting of
[0017]
According to the second on-vehicle radar and on-vehicle camera aiming adjustment inspection device, the adjustment inspection management device includes a storage device, an input device, a display device, an audio output device, and a control device. The result can be easily input, the adjustment inspection procedure is displayed on the display device, and the adjustment inspection procedure is played by voice by the voice output device, so that the operator can work according to the display and voice guidance, and further the storage Since the history of adjustment and inspection can be stored by the apparatus, management of many vehicles can be facilitated.
[0018]
The third on-vehicle radar and on-vehicle camera aiming and inspection apparatus (corresponding to claim 3) is characterized in that, in the above configuration, the storage device preferably includes a database for storing the adjustment inspection history.
[0019]
According to the third on-vehicle radar and on-vehicle camera aiming adjustment inspection device, since the storage device includes a database for storing the adjustment inspection history, the adjustment inspection result can be stored as a database. The inspection results can be easily managed.
[0020]
In the above-described configuration, the fourth vehicle-mounted radar and the vehicle-mounted camera aiming and inspection device (corresponding to claim 4) preferably have a storage device storing an adjustment inspection procedure, and the adjustment inspection procedure is performed by the operator. It is characterized by displaying it on a display device according to the work situation, outputting it by voice from the voice output device, and inputting the adjustment inspection result through the input device.
[0021]
According to the fourth on-vehicle radar and on-vehicle camera aiming and adjustment inspection device, the storage device stores the adjustment inspection procedure, displays the adjustment inspection procedure on the display device according to the work situation of the worker, Since the output is output from the output device by voice and the adjustment inspection result is input through the input device, the operator can work according to the display and voice adjustment inspection procedure and can input the adjustment inspection result through the input device. It is possible to perform an on-vehicle radar adjustment inspection in an interactive manner with the adjustment inspection apparatus accurately and with good setup.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the accompanying drawings.
[0023]
The configurations, shapes, sizes, and arrangement relationships described in the embodiments are merely schematically shown to the extent that the present invention can be understood and implemented, and the numerical values and compositions (materials) of the respective configurations are illustrated. Only. Therefore, the present invention is not limited to the embodiments described below, and can be modified in various forms without departing from the scope of the technical idea shown in the claims.
[0024]
FIG. 1 is a perspective view showing an overall configuration of an on-vehicle radar and an on-vehicle camera aiming inspection apparatus according to the present embodiment. The on-vehicle radar and on-vehicle camera aiming and inspection apparatus 10 includes a target equipment 11 and a radar unit mounting mirror jig 12. The target equipment 11 includes a first aim adjustment inspection board 14, a second aim adjustment inspection board 15, a first aim adjustment inspection board 14, and a second aim attached to the target lifting equipment 13 so as to be movable up and down. It comprises a target controller 16 that moves up and down the aim adjustment inspection board 15 and an adjustment inspection management device 17. Reference numeral 20 denotes a facing device.
[0025]
The target lifting / lowering equipment 13 includes two pillars 22 and 23 installed at a predetermined distance from the stop position 21 of the vehicle 1, and the first aiming adjustment inspection board 14 and the second pillars 22 and 23 are provided on the pillars 22 and 23. The aiming adjustment inspection board 15 is attached so as to be movable up and down. For example, rails are attached to two pillars 22 and 23, motors 24 and 25 are attached to the upper parts of the pillars 22 and 23, and ropes 26 and 27 are wound around the motors 24 and 25. To. The first aim adjustment inspection board 14 is attached to the rope 26 by attaching the first aim adjustment inspection board 14 to the rope 26, the second aim adjustment inspection board 15 to the rope 27, and operating the motor 24. The board 14 is moved up and down along the rail. Further, by operating the motor 25, the second aim adjustment inspection board 15 attached to the rope 27 is moved up and down along the rail.
[0026]
The first aim adjustment inspection board 14 is attached to the target lifting / lowering equipment 13 and is installed at a position separated from the vehicle stop position 21 by a predetermined distance. FIG. 2 is a configuration diagram showing the first aim adjustment inspection board 14. 2A is a front view, and FIG. 2B is a cross-sectional view. The first aim adjustment inspection board 14 has a predetermined area for reflecting the laser beam reflected from the laser beam irradiation unit 28 and the laser beam reflecting mirror mounted on the laser beam reflecting mirror mounting unit of the vehicle 1 described later. And a radar inspection target (radio wave reflection target) 30 that reflects radio waves emitted from the in-vehicle radar. A laser radar target 31 is also provided.
[0027]
The first aim adjustment inspection board 14 is formed of a material having a high radio wave absorption rate in the region other than the region where the radar inspection target 30 is provided. For example, as shown in FIG. 2 (b), the first aiming adjustment inspection board 14 has a structure in which a radio wave absorber 32 is sandwiched between plastic material plates 33 and 34 that are millimeter wave transmitting materials, and the size thereof is as follows. A length of 1135 mm and a width of 3000 mm are suitable. Further, when the lower end of the board 14 is set to 67 mm from the ground, a laser beam irradiation unit 28, for example, a laser pointer, is provided at a height of 680 mm from the ground. This height is different depending on the vehicle so as to match the height of the mirror attached to the vehicle-mounted radar of the vehicle, and is adjusted by changing the height of the first aiming inspection board 14 for each vehicle. To do.
[0028]
The laser light confirmation target 29 is an area drawn on the first aiming adjustment inspection board 14, and by changing the color or drawing a frame in order to distinguish this area from other areas. It is made to distinguish. The size is a square with a side length of 730 mm, and the laser beam irradiation unit 28 is provided at the center thereof. When the distance from the first aiming inspection board 14 to the axle center of the front wheel 2 of the vehicle 1 is 6 m depending on the size of this area, the laser beam reflected on the mirror can be accommodated in this area. Is within the range of 2 ° from the front of the vehicle 1. In the adjustment, it is only necessary to adjust the radar angle so that the laser beam falls within this region.
[0029]
The radar inspection target 30 is formed of a material having a high reflectance with respect to radio waves, located at a height of 550 mm from the ground when the lower end of the first aiming inspection board 14 is 67 mm from the ground. The material is preferably aluminum or aluminum-containing paper, which can increase the reflection of millimeter waves. FIG. 3 is a diagram showing a preferable shape of the radar inspection target 30. The bottom surface of the radar inspection target 30 is a triangular pyramid-shaped depression facing the in-vehicle radar side. As for the size, the length of one side of the bottom surface is 120 mm. Thereby, the reflection intensity of millimeter waves can be increased. This is for confirming that millimeter waves are emitted from the radar.
[0030]
The laser radar inspection target 31 is a reflector for reflecting laser light from an on-vehicle laser radar. The operation of the laser radar can be confirmed by irradiating and reflecting the on-board laser radar toward the reflecting plate.
[0031]
The first aim adjustment inspection board 14 is formed of a material having a high radio wave absorption rate in the region other than the region where the radar inspection target 30 is provided.
[0032]
The second aim adjustment inspection board 15 is attached to the target lifting / lowering equipment 13 and installed at a position separated from the vehicle stop position 21 by a predetermined distance. FIG. 4 is a configuration diagram showing the second aim adjustment inspection board 15.
[0033]
An in-vehicle camera aim adjustment inspection target (camera target) 35 is formed on the second aim adjustment inspection board 15. The in-vehicle camera aim adjustment inspection target 35 has one target pattern 36 at the center of the second aim adjustment inspection board 15 and the center target pattern 36 one by one at equal intervals on the left and right of the center target pattern 36. The target patterns 37 and 38 are drawn. In the target patterns 36, 37, and 38, a circle having a radius r1 and a circle having a radius r2 are drawn in the circle, and four sectors having a central angle of 90 ° are drawn in the inner circle. Are arranged alternately with matte white and black without reflection. With these patterns, the image captured by the camera can be clearly confirmed to the operator, and the aiming adjustment inspection of the camera can be easily and reliably performed.
[0034]
The target controller 16 moves the first aim adjustment inspection board 14 and the second aim adjustment inspection board 15 up and down so that the height can be adjusted for each vehicle type. For example, the height of the first aim adjustment inspection board 14 and the second aim adjustment inspection board 15 corresponding to each vehicle type is stored in the storage device 39 of the adjustment inspection management device 17, and the input device 40 By inputting the vehicle type, the motor 24 is operated to a height corresponding to the vehicle type at the time of the aiming inspection of the in-vehicle radar, and the first aiming inspection board 14 is moved up and down. The position of the mirror and the height of the laser irradiation unit are made to coincide. Further, at the time of the aim adjustment inspection of the in-vehicle camera, the motor 25 is operated so as to have a height corresponding to the vehicle type, and the second aim adjustment inspection board 15 is moved up and down.
[0035]
The adjustment inspection management device 17 is a device that manages the on-vehicle radar and on-vehicle camera aim adjustment inspection using the on-vehicle radar and the on-vehicle camera aim adjustment inspection device, and includes a storage device 39, an input device 40, a display device 41, and a voice. It comprises an output device 42 and a control device 43.
[0036]
The storage device 39 includes a database that stores the adjustment inspection history. The storage device 39 stores the adjustment inspection procedure, displays the adjustment inspection procedure on the display device 41 in accordance with the work status of the worker, outputs the sound from the audio output device 42, and passes through the input device 40. Enter the adjustment test result. Thereby, the operator can perform the aim adjustment inspection work of the in-vehicle radar and the in-vehicle camera interactively with the adjustment inspection management device 17.
[0037]
FIG. 5 is a diagram showing the configuration of the inspection history database. The database includes a vehicle master database DB10 shown in FIG. 5A and a vehicle information database DB20 shown in FIGS. 5B, 5C, and 5D. In the vehicle master database DB10, a model code, a radar light confirmation target position, and a camera target position are recorded. The vehicle information database DB20 includes vehicle code, model code, inspection date / time, radar aim adjustment up / down, radar aim adjustment left / right, radar aim adjustment result, camera pan angle correction value, roll angle correction value, pitch angle correction value, camera The image processing result item can be stored. Further, if necessary, other inspection results can also be stored in this database.
[0038]
The storage area R11 of the vehicle master database DB10 is an area for storing a model code, which is a code attached to distinguish the vehicle type of the vehicle and is attached to each vehicle type. The storage area R12 is an area for storing a laser light confirmation target position, which is a value for designating the height of the laser light confirmation target from the ground when performing the adjustment inspection of the on-vehicle radar determined for each vehicle type. is there. The storage area R13 is an area for storing a camera target position that is a value for designating the height of the camera target from the ground when performing the adjustment inspection of the in-vehicle camera determined for each vehicle type.
[0039]
The storage area R21 of the vehicle information database DB20 is an area for storing a vehicle code that is a code attached to each vehicle. The storage area R22 is a code attached to distinguish the vehicle type of the vehicle, and is an area for storing a model code that is a code attached to each vehicle type. The storage area R23 is an area for storing the date and time when the vehicle is subjected to the adjustment inspection. The storage area R24 is an area for storing the vertical angle adjusted by the driver in the radar aiming adjustment. The storage area R25 is an area for storing the left-right angle adjusted by the driver in the radar aiming adjustment. The storage area R26 is an area for storing a radar aim inspection result. The storage area R27 is an area for storing a correction value of a pan angle among camera posture angles which will be described in detail later. The storage area R28 is an area for storing a correction value of the roll angle among the camera attitude angles. The storage area R29 is an area for storing a correction value of the pitch angle among the camera attitude angles. The storage area R30 is an area for storing camera image processing inspection results.
[0040]
The input device 40 inputs a vehicle code to the adjustment inspection management device 17 or responds to a command according to the adjustment inspection procedure from the display device 41 or the audio output device 42, and adjusts the inspection date and time and the radar aiming. To input the obtained vertical angle, horizontal angle, radar aim inspection result, camera pan angle correction value, roll angle correction value, pitch angle correction value, camera aim inspection result obtained by camera aiming adjustment, etc. belongs to.
[0041]
The display device 41 includes an inspection date and time obtained when carrying out the aiming adjustment inspection of the in-vehicle radar and the in-vehicle camera, the vertical angle obtained by the radar aiming adjustment, the horizontal angle, the radar aiming inspection result, The camera pan angle correction value, roll angle correction value, pitch angle correction value, and camera aim inspection result obtained by the camera aiming adjustment are input by the input device 40. At that time, the input is instructed and the input data is displayed. Is. It also displays the procedure for aiming adjustment inspection of the in-vehicle radar and the in-vehicle camera.
[0042]
The audio output device 42 is for informing the operator of the procedure of the aiming adjustment inspection of the in-vehicle radar and the in-vehicle camera.
[0043]
The control device 43 is a device that controls the target controller 16, the storage device 39, the input device 40, the display device 41, and the audio output device 42.
[0044]
Next, the laser light reflecting mirror attached to the laser light reflecting mirror attaching portion of the vehicle 1 will be described. FIG. 6 shows the radar unit mounting mirror jig 12. The radar unit mounting mirror jig 12 includes a mirror unit 44 and a mirror mounting unit 45. The radar unit mounting mirror jig has a center of gravity toward the mounting unit, and the radar is provided with a mounting unit that is a recess into which the mounting unit fits, and the mirror mounting unit 45 is used as a radar mirror mounting unit. By mounting, the mirror mounting portion 45 can be well fixed to the radar mounting portion due to the weight of the mirror mounting portion 45. In addition, a level 46 is provided on the upper part of the mirror.
[0045]
FIG. 7 is a diagram illustrating a state in which a mirror is attached to the radar. FIG. 7A is a plan view, and FIG. 7B is a front view. The radar 47 is held on the substrate 48 by screws of three points 49, 50, and 51, and the angle in the vertical direction and the horizontal direction can be adjusted by adjusting the screw positions of the three points. A gear is connected to the screws of the three points 49, 50, 51, and can be adjusted by rotating the gear with a screwdriver from the driver insertion holes 53, 54 on the top of the grill cover 52. When the gear is rotated by the driver, the screw rotates to adjust the length, and the radar moves in the vertical and horizontal directions with the three points 49, 50, 51 as fulcrums, and the angle of the radar can be adjusted. The grill cover 52 has a hole 55 for fitting when the bonnet is closed, and the mirror jig 12 is attached by fitting the attachment part 45 to the mirror attachment part of the radar 47 using the hole. Thereby, it can adjust without removing a grille cover.
[0046]
Next, the principle of radar aim adjustment will be described.
[0047]
In the radar aiming adjustment, the attachment part 45 of the radar part mounting mirror jig 12 is inserted from the hole of the grill cover, and the mirror part 44 of the radar part mounting mirror jig 12 fixed to the radar attachment part is used for the first aiming adjustment inspection. Laser light is irradiated from the laser irradiation unit 28 of the board 14. The laser light is reflected by the mirror portion 44 of the radar attachment portion mirror jig 12 attached to the radar and reaches the first aiming inspection board 14. The radar angle is adjusted so that the spot of the laser beam is within the target 29 for laser beam confirmation of the first aim adjustment inspection board 14. Thereby, the aim of the radar can be adjusted within a predetermined angle. The radar inspection is performed by operating the millimeter wave radar, and if a millimeter wave is emitted, the millimeter wave is reflected from the radar inspection target 30 and the reflected millimeter wave is received. Inspect whether or not the light is emitted. As described above, the aiming inspection of the radar according to the present embodiment is performed by adjusting the angle of the radar while observing the reflected light from the radar mounting part mirror jig 12 attached to the radar by the laser light and the millimeter wave from the radar. The inspection is performed by receiving the reflected wave from the target 30 for radar inspection.
[0048]
As a result, the aiming inspection of the radar can be saved, and the adjustment inspection can be performed accurately and by a single worker in a short time.
[0049]
Next, the principle of camera aim adjustment will be described.
[0050]
The following camera parameters are used for camera aim adjustment. The camera parameter is a parameter for converting the captured road white line and the road white line on the image plane into relative coordinates with respect to the vehicle on the road surface. The camera parameters include a camera posture angle composed of a pitch angle, a pan angle, and a roll angle, a camera position composed of a front and rear position (x coordinate), a left and right position (y coordinate), and a vertical position (z coordinate), a focal length, There are image center coordinates and pixel size. In the camera aim adjustment, a camera posture angle in a vehicle attachment state is calculated among the camera parameters. Other parameters are set to predetermined values in advance and set to fixed values. FIG. 8 is a diagram illustrating the camera posture angle. The X-axis, Y-axis, and Z-axis are coordinates based on the road surface. The X-axis is parallel to the road surface and parallel to the traveling direction of the vehicle. The Y-axis is horizontal to the road surface. The axis is perpendicular to the traveling direction of the vehicle, and the Z-axis is a coordinate axis perpendicular to the road surface. Reference numeral 56 denotes a camera, and reference numeral 57 denotes a camera lens. The X ′ axis, the Y ′ axis, and the Z ′ axis are coordinate axes based on the camera, the focal direction from the camera lens is the X ′ axis, and the road surface and the horizontal direction are perpendicular to the focal direction from the camera lens. The axis close to is the Y ′ axis, and the axis perpendicular to the focal direction from the camera lens and near the road surface is the Z ′ axis. The pitch angle is the rotation angle around the Y axis of the coordinate system consisting of the X ′ axis, Y ′ axis, and Z ′ axis, and the pan angle is the rotation angle around the Z axis of the coordinate system consisting of the X ′ axis, Y ′ axis, and Z ′ axis. Yes, the roll angle is the rotation angle around the X axis of the coordinate system composed of the X ′ axis, Y ′ axis, and Z ′ axis.
[0051]
Next, how to determine the camera posture angle will be described. Place the target in front of the camera. A vector from the camera to the target (hereinafter referred to as a target vector) is defined in a camera-based coordinate system. FIG. 9 shows the positions of three targets from the camera position when the camera attitude angle is predetermined (usually when the coordinate system based on the road surface and the coordinate system of the camera reference match) and the target based on the position. Vector V 01 , V 02 , V 03 It is a figure which shows (a position vector when the position of the camera of a target is made into a coordinate origin). In the figure, three targets are represented by reference numerals 58, 59, and 60, and a camera position is represented by reference numeral 61. For example, the default target vector V for one target 58 01 Is represented by Formula (1).
[0052]
[Expression 1]
Figure 0003708510
[0053]
FIG. 10 shows three targets 58, 59, 60 when the camera posture angle is changed, that is, when the camera position when the coordinate system based on the road surface and the coordinate system of the camera reference do not coincide is used as the origin. And the target vector V according to the position 11 , V 12 , V 13 FIG. When the camera attitude angle changes, the camera reference coordinate system also changes. Since the target position does not change, the target vector changes by the camera attitude angle. For example, the target vector V at this time 11 Is represented by Formula (2).
[0054]
[Expression 2]
Figure 0003708510
[0055]
Target vector V at a given camera attitude angle 01 And the target vector V when the camera attitude angle changes 11 Is represented by Expression (3).
[0056]
[Equation 3]
Figure 0003708510
[0057]
Here, R is a transformation matrix represented by equation (4), and the pitch angle, pan angle, and roll angle are represented by equations (5) to (7) using this matrix element.
[0058]
[Expression 4]
Figure 0003708510
[0059]
[Equation 5]
Figure 0003708510
[0060]
[Formula 6]
Figure 0003708510
[0061]
[Expression 7]
Figure 0003708510
[0062]
Target vector V at a given camera attitude angle 01 And the target vector V when the camera attitude angle is changing 11 By calculating the transformation matrix by solving the equation represented by Expression (3) using, the change in the camera attitude angle can be obtained according to Expressions (5) to (7). Similarly, the change in the camera attitude angle can be obtained from the targets 59 and 60 as well.
[0063]
Actually, when the camera attitude angle deviates from the predetermined camera attitude angle, a conversion matrix with the deviation is obtained, and the conversion matrix is stored in the storage device of the image ECU of the camera. In actual camera imaging, by using the transformation matrix R that stores the vector of each object of the captured video, the inverse transformation of Equation (3) is performed by the arithmetic unit, so that the captured image has a predetermined camera attitude angle. Try to correct it. Thereby, even when the camera posture angle is not a predetermined one, it can be converted into an image photographed with the predetermined camera posture angle.
[0064]
In order to solve this equation, at least three sets of vector (two target vectors (for example, V 01 , V 02 And V 11 , V 12 Etc.) and its outer product).
[0065]
Next, how to obtain the target vector will be described. FIG. 11 is a diagram illustrating a camera position, a target position, and a target vector. In the figure, the position of the camera 56 and the targets 58, 59 and 60 are shown in the upper part of the vehicle 1. For example, the target vector V at a predetermined camera attitude angle 01 Can be expressed by equations (8) and (9), and is determined in advance from the camera position and the target position. This determines the positions of the vehicle and the target in actual adjustment and holds the data in the image ECU.
[0066]
[Equation 8]
Figure 0003708510
[0067]
[Equation 9]
Figure 0003708510
[0068]
Where X 01 , Y 01 , Z 01 Are target position coordinates, and Xf, Yf, and Zf indicate camera position coordinates.
[0069]
Target vector V when camera attitude angle changes 11 Is obtained from the target images 58p, 59p, and 60p picked up as shown in FIG.
[0070]
[Expression 10]
Figure 0003708510
[0071]
[Expression 11]
Figure 0003708510
[0072]
[Expression 12]
Figure 0003708510
[0073]
[Formula 13]
Figure 0003708510
[0074]
Here, Xp is the X coordinate of the target image 53p, Yp is the Y coordinate of the target image 53p, f is the camera focal length, X pcent , Y pcent Is the image center coordinates X, Y, X alpha , Y alpha Represents the pixel size.
[0075]
When applying to the equation represented by equation (1), the respective vector V 01 , V 11 To a unit vector.
[0076]
Next, the number of targets will be described. The calculation of the camera attitude angle change is theoretically possible with two targets. (Three sets of vectors consisting of two target vectors and their outer product.) Since the target vector obtained from the imaged target in the actual calculation includes quantization error and lens aberration of the imaging device, etc. When the vectors are applied to the equation, there is no transformation matrix that satisfies them simultaneously. Therefore, a conversion matrix that minimizes the error is calculated by the least square method. In the least square method, the approximation accuracy is more stable as the number of samples is larger, and the deviation of the approximation error is smaller when the sample points are not biased. When the number of targets is two (center and left or right), the calculation accuracy cannot be satisfied. Although it is better to have a larger number of targets, there are restrictions on installation due to the area of the target board and the search range of one target. In order to satisfy the calculation accuracy of the camera posture angle and the restrictions on installation, in this embodiment, the number of targets is three.
[0077]
Next, the image processing inspection will be described. This is done for the purpose of confirming the accuracy of image processing after adjusting the camera aim. This process automatically shifts immediately after the automatic aiming adjustment. The camera image is recognized as a white line by detecting an edge of contrast change. FIG. 13 shows this flowchart. First, in the image ECU of the camera, the captured target pattern is subjected to image processing (step ST10), and the ratio of the area of the detected target pattern having a high luminance to the area of the entire pattern (ratio of the white area to the entire pattern) Is calculated (step ST11). On the other hand, the reduction ratio of the target is obtained in advance (step ST12), and the ratio of the white area in the image of the target pattern to the total area of the pattern is Z, and the master reduction value is subtracted from the true reduction value Z. Is stored in the image ECU (step ST13), and the value of the ratio of the area of the detected high brightness area of the target pattern to the entire pattern area is compared with the master value ZZ stored in step ST13. (Step ST14) If the result is within a certain value, the result is acceptable (Step ST15). Otherwise, it is judged as NG (Step ST16). Thereby, the accuracy of the image processing is verified.
[0078]
Based on the above principle, the camera aim adjustment inspection is automatically performed by the camera image ECU.
[0079]
Next, an on-vehicle radar and on-vehicle camera aim adjustment inspection method when using the on-vehicle radar and on-vehicle camera aim adjustment inspection apparatus will be described.
[0080]
14 and 15 are diagrams showing a procedure according to the embodiment of the present invention. It consists of an aim adjustment step (ST20), a radar inspection (ST40), and a camera aim adjustment step (ST50).
[0081]
First, the vehicle is placed on the facing device 20 so as to face the vehicle, and the position of the vehicle is positioned at 6 m from the first aim adjustment inspection board 14.
[0082]
The on-vehicle radar aiming adjustment step (step ST20) includes a mirror jig attachment step (step ST21) and a radar angle adjustment step (step ST30) by laser light reflection. First, the operator inputs that adjustment is to be performed from the input device 40 (step ST22). FIG. 16 is a diagram showing a display screen 62 of the display device 41 at that time. On the display screen 62, a message 63, an OK button 64, and a cancel button 65 are displayed. To input that adjustment is to be performed, an OK button 64 is clicked with a mouse (not shown). When the adjustment is not performed, the cancel button 65 is clicked with the mouse. When the cancel button 65 is clicked, the display screen 62 is displayed as it is, and when the OK button 64 is clicked, the display screen 66 shown in FIG. Also, the voice output device 42 plays a voice instructing to attach the mirror jig (step ST23). On the display screen 66, a message 67, an OK button 68, and a cancel button 69 are displayed.
[0083]
In the mirror jig mounting step (step ST21), the mirror jig 12 is inserted into the mounting portion of the grill cover 52 through the hole 55 and fixed to the radar mounting portion (step ST24). The operator inputs to the input device 40 that the mirror jig 12 has been attached (step ST25). This is input by clicking the OK button 68 with the mouse. FIG. 18 shows the display screen 70 at that time. On the display screen 70, a message 71, a text box 72, an OK button 73, and a cancel button 74 are displayed. When the cancel button 74 is clicked with the mouse, it waits for input again.
[0084]
Next, in the radar angle adjustment step (step ST30), first, after performing step ST25, the display device 41 displays the display screen 70 shown in FIG. On the display screen 70, a message 71, a text box 72, an OK button 73, and a cancel button 74 are displayed. In addition, the voice output device 42 outputs a voice for instructing to input a vehicle code. The operator inputs the vehicle code of the vehicle to be subjected to the adjustment inspection using a keyboard (not shown) provided in the input device 40, and clicks an OK button using a mouse (not shown) (step ST32).
[0085]
Thereby, the control device 43 searches the vehicle information database DB20 of the storage device 39 according to the model code corresponding to the input vehicle code, reads the target position for laser light confirmation in the vehicle master database DB10, and the value of the position. The target controller 16 is operated so as to correspond to the above, the motor 24 is rotated, and the first aim adjustment inspection board 14 is moved (step ST33). After the movement of the first aim adjustment inspection board 14, a sound of laser irradiation instruction flows (step ST34). The display device 41 is a display screen 75 shown in FIG. On the display screen 75, a message 76, an OK button 77, and a cancel button 78 are displayed. The operator clicks the OK button 77 with the mouse and inputs a laser irradiation command from the input device 40 (step ST35). Thereby, a laser is irradiated from a laser irradiation part (step ST36). The display device 41 is a display screen 79 shown in FIG. The display screen 79 includes a message 80, a text box 81 for inputting the inspection date, a text box 82 for inputting an angle in the vertical direction of the radar aiming adjustment, and a left and right part of the radar aiming adjustment. A text box 83 for inputting a direction angle, a text box 84 for inputting a radar aim inspection result, an OK button 85, and a cancel button 86 are displayed.
[0086]
The irradiated laser beam is reflected by the mirror unit 44 of the radar unit mounting mirror jig 12 mounted on the radar, and the laser beam reaches the first aiming inspection board 14. The angle of the radar 47 is adjusted by turning the screw from the two holes 53 and 54 with a screwdriver so that the spot fits in the laser light confirmation target 29 of the first aiming inspection board 14 (step ST37). When the adjustment is completed so that the laser light is stored in the laser light confirmation target 29, the text box 81, 82, 83, 84 is moved up and down among the inspection date and time and the radar aiming adjustment by the keyboard (not shown) of the input device 40. The direction adjustment angle and the left-right adjustment angle are input (step ST38). When the OK button 85 is clicked with the mouse, the control device 43 sets the inputted inspection date and time, the adjustment angle in the vertical direction and the adjustment angle in the horizontal direction in the radar aiming adjustment, respectively in the storage device 39. It memorize | stores in storage area | region R23, R24, R25 of vehicle information database DB20. FIG. 21 shows a display screen 87 displayed on the display device 41 at that time. On the display screen 87, a message 88, an OK button 89, and a cancel button 90 are displayed. When the OK button 89 is clicked with the mouse, the input data is displayed and confirmed, and when the OK button is clicked with the mouse, completion of radar aiming adjustment is input (step ST39). At that time, the display device 41 becomes a display screen 91 shown in FIG. On the display screen 91, a message box 93, a text box 93 for inputting a radar inspection result, an OK button 94, and a cancel button 95 are displayed. At the same time, a radar inspection instruction is output from the audio output device 42 as audio.
[0087]
In the radar inspection process (step ST40), the operator gets on the vehicle 1 and operates the millimeter wave radar (step ST41). Then, by looking at the display panel provided in the driver's seat, if a millimeter wave is generated, it is reflected from the radar inspection target 30 and received, and the display panel displays that the millimeter wave has been received. If the millimeter wave is not emitted, it is not displayed on the display panel. At that time, inspection results such as display and non-display are input from the input device 40 into the text box 93 (step ST42). When the OK button 94 is clicked with the mouse, the control device 43 stores the input radar inspection result in the storage area R26 of the vehicle information database DB20 of the storage device 39. At that time, the display device 41 displays a display screen 96 shown in FIG. At the same time, the voice output device 42 outputs an instruction for aiming adjustment inspection of the in-vehicle camera by voice.
[0088]
Next, an aim adjustment inspection of the on-vehicle camera is performed. It is input from the input device 40 that the aim adjustment inspection of the in-vehicle camera of the in-vehicle camera is started (step ST51). This is done by clicking the OK button 97 on the display screen 96 with the mouse. As a result, the control device 43 reads the value of the camera target position stored in the storage area R13 of the vehicle master database DB10, and the target controller 16 raises the first aim adjustment inspection board 14 upward. It moves so that the camera target is set to the position of the value read from the aiming adjustment inspection board 15 (step ST52). At the same time, the voice output device 42 outputs a voice of an instruction to photograph the camera target by the in-vehicle camera. At that time, the display device 41 displays a display screen 99 shown in FIG. The display screen 99 includes a text box 101 for inputting a message 100 and a camera pan angle correction value, a text box 102 for inputting a roll angle correction value, and a text box 103 for inputting a pitch angle correction value. Then, a text box 104 for inputting the camera image processing inspection result, an OK button 105, and a cancel button 106 are displayed.
[0089]
The operator operates the in-vehicle camera and images the target with the in-vehicle camera (step ST53). Thereby, the camera attitude angle is calculated by the image ECU of the camera. The posture angle is displayed on the display unit of the camera (step ST54), and the angle is stored in the image ECU of the camera (step ST55). The camera corrects the automatically captured image based on the stored camera attitude angle (step ST56). The operator inputs those angles (camera attitude angles), that is, the pan angle correction value, the roll angle correction value, and the pitch angle correction value into the text boxes 101, 102, and 103 using the input device 40 (step ST57). At this time, image processing adjustment is also automatically performed (step ST59). Then, whether the image processing apparatus is NG or OK is displayed on the display panel of the vehicle (step ST60). The operator inputs the result of NG or OK into the text box 104 using the input device 40 (step ST61). Then, the OK button 105 is clicked with the mouse. Thereby, the control device 43 stores the input pan angle correction value, roll angle correction value, pitch angle correction value, and inspection result of the image processing device in the storage areas R27, R28, R29, R30 of the vehicle information database DB20 of the storage device 39. To remember. Thereafter, the display device 41 displays the stored data on the camera attitude angle and the inspection result of the image processing device, and after confirming the display, the operator clicks the OK button with the mouse to finish the operation. The aiming adjustment inspection of the in-vehicle radar and the in-vehicle camera is performed for each vehicle, the adjustment inspection result for each vehicle is stored in the vehicle information database DB 20 of the storage device 39, and the vehicle code is input from the input device 40, Data for adjustment inspection results such as inspection date, radar aim adjustment angle, radar aim inspection result, camera pan angle correction value, roll angle correction value, pitch angle correction value, camera image processing inspection result, etc. corresponding to the vehicle In addition, it is possible to display data regarding a specific vehicle subjected to adjustment inspection and the above-described adjustment inspection result of all vehicles.
[0090]
【The invention's effect】
As is apparent from the above description, the present invention has the following effects.
[0091]
An in-vehicle radar and an in-vehicle camera are devices that perform aiming adjustment and inspection at the same vehicle stop position. A first aim adjustment inspection board and a second aim adjustment inspection board which are possible, and the first aim adjustment inspection board is a laser beam irradiation section and a laser mounted on a laser beam reflection mirror mounting section. A second aim adjustment inspection board comprising: a laser light confirmation target having a predetermined area for reflecting the laser light reflected from the light reflection mirror; and a radar inspection target for reflecting the radio wave emitted from the in-vehicle radar. Is equipped with an in-vehicle camera aim adjustment inspection target and an adjustment inspection management device that manages the aim adjustment inspection of the in-vehicle radar and in-vehicle camera. Can be checked, it is accurately and adjustment test in a short time in 1 workers. Moreover, the inspection history can be easily left, and the inspection management of the vehicle can be facilitated.
[0092]
Since the adjustment inspection management device comprises a storage device, an input device, a display device, an audio output device, and a control device, the input device can easily input adjustment and inspection results, and the display device can perform adjustment inspection procedures. By displaying and playing the adjustment inspection procedure by voice using the voice output device, the operator can work according to the display and voice guidance, and furthermore, the storage device can store the history of adjustment and inspection. , Can manage many vehicles easily.
[0093]
Since the storage device includes a database that stores the adjustment inspection history, the adjustment inspection results can be stored as a database, and therefore, a large number of vehicle inspection results can be easily managed.
[0094]
The storage device stores the adjustment inspection procedure, displays the adjustment inspection procedure on the display device according to the work status of the operator, outputs the adjustment inspection procedure by voice from the audio output device, and inputs the adjustment inspection result through the input device. Therefore, the operator can work in accordance with the display and voice adjustment inspection procedure, and can input the adjustment inspection result through the input device. Inspection can be performed.
[Brief description of the drawings]
FIG. 1 is a perspective view showing the overall configuration of an on-vehicle radar and an on-vehicle camera aim adjustment inspection apparatus according to the present embodiment.
FIG. 2 is a configuration diagram showing a first aim adjustment inspection board 14; 2A is a front view, and FIG. 2B is a cross-sectional view.
FIG. 3 is a diagram showing the shape of a preferred radar inspection target 26;
FIG. 4 is a configuration diagram showing a second aim adjustment inspection board;
FIG. 5 is a diagram showing a configuration of an inspection history database.
FIG. 6 is a perspective view showing a radar unit mounting mirror jig.
FIG. 7 is a diagram showing a state in which a mirror jig is attached to a radar.
FIG. 8 is a diagram illustrating a camera posture angle.
FIG. 9 is a diagram illustrating positions of three targets from a camera position and a target vector based on the positions when the camera posture angle is a default.
FIG. 10 is a diagram illustrating positions of three targets from a camera position and a target vector based on the positions when the camera attitude angle changes.
FIG. 11 is a diagram illustrating a camera position, a target position, and a target vector.
FIG. 12 is a diagram illustrating a target vector when a camera posture angle changes.
FIG. 13 is a flowchart of an image processing inspection.
FIG. 14 is a diagram showing a procedure according to an embodiment of the present invention.
FIG. 15 is a diagram showing a procedure of an embodiment of the present invention.
FIG. 16 is a diagram showing a display screen of the display device.
FIG. 17 is a diagram showing a display screen of the display device.
FIG. 18 is a diagram showing a display screen of the display device.
FIG. 19 is a diagram showing a display screen of the display device.
FIG. 20 is a diagram showing a display screen of the display device.
FIG. 21 is a diagram showing a display screen of the display device.
FIG. 22 is a diagram showing a display screen of the display device.
FIG. 23 is a diagram showing a display screen of the display device.
FIG. 24 is a diagram showing a display screen of the display device.
[Explanation of symbols]
1 vehicle
10 In-vehicle radar and in-vehicle camera aiming and inspection system
11 Target equipment
12 Radar unit mounting mirror jig
13 Target lifting equipment
14 First aim adjustment inspection board
15 Second aim adjustment inspection board
16 Target controller
17 Adjustment inspection management device
20 facing device
21 Stop position
28 Laser beam irradiation part
29 Target for laser beam confirmation
30 Target for radar inspection
35 In-vehicle camera aim adjustment inspection target
36, 37, 38 Target pattern
39 Storage device
40 input devices
41 Display device
42 Audio output device
DB10 vehicle master database
DB20 vehicle information database

Claims (4)

車載レーダおよび車載カメラを同一の車両停車位置で照準調整と検査を行う装置であって、
前記車載レーダは、歯車に連結された調整用ネジで基板に抑えられ、レーザ光反射用ミラーのミラー治具の取り付け部がはまり込む窪みであるレーザ光反射用ミラー取り付け部を有し、
前記レーザ光反射用ミラーのミラー治具は、前記取り付け部に重心があり、
車両停止位置から所定距離隔てた位置に上下動可能な第1の照準調整検査用ボードと第2の照準調整検査用ボードを有し、
前記第1の照準調整検査用ボードは、レーザ光照射部と、前記レーザ光反射用ミラー取り付け部に取り付けたレーザ光反射用ミラーから反射されたレーザ光を反射する所定の面積を有するレーザ光確認用ターゲットと、前記車載レーダから照射された電波を反射するレーダ検査用ターゲットを備え、
前記第2の照準調整検査用ボードは、前記車載カメラ照準調整検査用ターゲットを備え、
前記車載レーダおよび車載カメラの照準調整検査を管理する調整検査管理装置を備えたことを特徴とする車載レーダおよび車載カメラの照準調整検査装置。
A device for aiming adjustment and inspection of the in-vehicle radar and the in-vehicle camera at the same vehicle stop position,
The in-vehicle radar has a laser light reflecting mirror mounting portion that is a depression that is held in the substrate by an adjustment screw connected to a gear and into which a mounting portion of a mirror jig of a laser light reflecting mirror is fitted,
The mirror jig of the laser beam reflecting mirror has a center of gravity at the mounting portion,
A first aim adjustment inspection board and a second aim adjustment inspection board capable of moving up and down to a position separated from the vehicle stop position by a predetermined distance;
The first aim adjustment inspection board has a predetermined area for reflecting a laser beam reflected from a laser beam irradiation unit and a laser beam reflecting mirror attached to the laser beam reflecting mirror mounting unit. A target for radar and a target for radar inspection that reflects radio waves emitted from the in-vehicle radar,
The second aim adjustment inspection board includes the in-vehicle camera aim adjustment inspection target,
An in-vehicle radar and an in-vehicle camera aim adjustment inspection apparatus comprising an adjustment inspection management device for managing the in-vehicle radar and in-vehicle camera aim adjustment inspection.
前記調整検査管理装置は、記憶装置と入力装置と表示装置と音声出力装置と制御装置から成ることを特徴とする請求項1記載の車載レーダおよび車載カメラの照準調整検査装置。  2. The on-vehicle radar and on-vehicle camera aiming and adjustment inspection device according to claim 1, wherein the adjustment inspection management device includes a storage device, an input device, a display device, an audio output device, and a control device. 前記記憶装置は、調整検査履歴を記憶するデータベースを備えていることを特徴とする請求項2記載の車載レーダおよび車載カメラの照準調整検査装置。  The in-vehicle radar and the in-vehicle camera aiming and adjusting inspection device according to claim 2, wherein the storage device includes a database for storing an adjustment inspection history. 前記記憶装置は、調整検査手順を記憶しており、その調整検査手順を作業者の作業状況に応じて前記表示装置に表示し、音声出力装置から音声により出力し、前記入力装置を通して調整検査結果を入力することを特徴とする請求項2記載の車載レーダおよび車載カメラの照準調整検査装置。  The storage device stores an adjustment inspection procedure, and the adjustment inspection procedure is displayed on the display device according to an operator's work situation, and is output by voice from an audio output device, and an adjustment inspection result is transmitted through the input device. The in-vehicle radar and the in-vehicle camera aiming and inspection apparatus according to claim 2, wherein:
JP2002245927A 2002-08-26 2002-08-26 In-vehicle radar and in-vehicle camera aiming and inspection system Expired - Fee Related JP3708510B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002245927A JP3708510B2 (en) 2002-08-26 2002-08-26 In-vehicle radar and in-vehicle camera aiming and inspection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002245927A JP3708510B2 (en) 2002-08-26 2002-08-26 In-vehicle radar and in-vehicle camera aiming and inspection system

Publications (2)

Publication Number Publication Date
JP2004085326A JP2004085326A (en) 2004-03-18
JP3708510B2 true JP3708510B2 (en) 2005-10-19

Family

ID=32053962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002245927A Expired - Fee Related JP3708510B2 (en) 2002-08-26 2002-08-26 In-vehicle radar and in-vehicle camera aiming and inspection system

Country Status (1)

Country Link
JP (1) JP3708510B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037489A (en) * 2017-11-24 2018-05-15 北京森奥微科技有限公司 Doubling backup radar parameter calibration method and device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004033114A1 (en) * 2004-07-08 2006-01-26 Ibeo Automobile Sensor Gmbh Method for calibrating a distance image sensor
JP4905074B2 (en) * 2006-11-14 2012-03-28 株式会社デンソー Detection center axis deviation amount detection method
JP5518321B2 (en) * 2008-11-12 2014-06-11 東日本旅客鉄道株式会社 Laser radar installation position verification apparatus, laser radar installation position verification method, and laser radar installation position verification apparatus program
JP4751939B2 (en) * 2009-03-31 2011-08-17 アイシン精機株式会社 Car camera calibration system
JP5081313B2 (en) * 2011-04-06 2012-11-28 アイシン精機株式会社 Car camera calibration system
KR101937540B1 (en) * 2016-12-21 2019-01-11 전자부품연구원 Checker for Simultaneous Correction of Camera and Radar
KR101857519B1 (en) * 2017-03-06 2018-06-29 만도헬라일렉트로닉스(주) Test device for vehicle
KR101947478B1 (en) * 2017-09-19 2019-02-13 충북대학교 산학협력단 Method and Apparatus for Determining Placement for LiDAR Sensor
WO2019176118A1 (en) * 2018-03-16 2019-09-19 三菱電機株式会社 Superimposed display system
CA3113400A1 (en) * 2018-09-21 2020-03-26 Honda Motor Co., Ltd. Vehicle inspection system
CN116381632B (en) * 2023-06-05 2023-08-18 南京隼眼电子科技有限公司 Self-calibration method and device for radar roll angle and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037489A (en) * 2017-11-24 2018-05-15 北京森奥微科技有限公司 Doubling backup radar parameter calibration method and device
CN108037489B (en) * 2017-11-24 2022-01-11 北京森奥微科技有限公司 Doubling auxiliary radar parameter calibration method and device

Also Published As

Publication number Publication date
JP2004085326A (en) 2004-03-18

Similar Documents

Publication Publication Date Title
JP3708510B2 (en) In-vehicle radar and in-vehicle camera aiming and inspection system
JP3708509B2 (en) In-vehicle radar and in-vehicle camera aiming and inspection system
US7394356B2 (en) Information presenting apparatus and method
CN102768808B (en) The apparatus and method of auxiliary driver
CN103171489B (en) For driving the method for the indicating device of controlling motor vehicle
JP3125550B2 (en) Vehicle forward recognition device and vehicle travel control device
JP5067377B2 (en) Parking support system, on-vehicle parking support device
CN105580359B (en) Predict forward march suggestion device and prediction forward march reminding method
JPH11194169A (en) Object detection device for vehicle
CN105270179A (en) Driver assistance apparatus and vehicle
JPH07280704A (en) Method and equipment for testing headlight for vehicle
SE537447C2 (en) Device and method for streamlining fuel utilization during the speed of a vehicle
CN111310943B (en) ADAS system calibration guiding method and device and automobile diagnosis equipment
CN110126717B (en) Steering warning system and steering warning method for vehicle
JP3960153B2 (en) Vehicle periphery monitoring device
JP2003307561A (en) Drive support device for vehicle
JP3708507B2 (en) In-vehicle radar aim adjustment inspection device and aim adjustment inspection method
CN116577740A (en) Dynamic calibration of vehicle sensors
CN115931030A (en) Vehicle Optical Sensor Motion Correction
JP5605764B2 (en) Vehicle display device
WO2019186799A1 (en) Object detection system for saddle-type vehicle, and saddle-type vehicle
JPH06325298A (en) Device for monitoring vehicle periphery
JP3988551B2 (en) Vehicle perimeter monitoring device
JP3511605B2 (en) Axis adjustment device and axis adjustment method for vehicle-mounted radar device
JP2009208561A (en) Driver photographing system and driver photographing method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050803

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080812

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees