JP2001095017A - 車載カメラの検査方法ならびに装置 - Google Patents

車載カメラの検査方法ならびに装置

Info

Publication number
JP2001095017A
JP2001095017A JP26957299A JP26957299A JP2001095017A JP 2001095017 A JP2001095017 A JP 2001095017A JP 26957299 A JP26957299 A JP 26957299A JP 26957299 A JP26957299 A JP 26957299A JP 2001095017 A JP2001095017 A JP 2001095017A
Authority
JP
Japan
Prior art keywords
camera
vehicle
inspection
quality
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP26957299A
Other languages
English (en)
Other versions
JP3479006B2 (ja
Inventor
Keiichi Murakami
恵一 村上
Noriyuki Miyazawa
則之 宮沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP26957299A priority Critical patent/JP3479006B2/ja
Priority to US09/665,949 priority patent/US6785403B1/en
Priority to EP00120177A priority patent/EP1087236A3/en
Publication of JP2001095017A publication Critical patent/JP2001095017A/ja
Application granted granted Critical
Publication of JP3479006B2 publication Critical patent/JP3479006B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G01B11/272Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 車載ナビゲーション装置を活用し、画像認識
装置と連携して車載カメラの品質を保証するために行わ
れる、光軸測定、距離画像の測定を効率よく行う。 【解決手段】 車体に取付けられたカメラ2a(2b)
により車輌前方の景色を撮像し、画像認識装置20によ
って走行状態を認識する車輌監視システムに用いられ、
画像認識装置でカメラの品質を保証するために、光軸測
定、距離画像の測定を行なって適正か否かを判断し、車
載ナビゲーション装置5に接続される表示モニタ52を
介してその結果を表示して調整を促す。また、光軸測定
の良否判定において否と判定されたとき、予め用意され
た複数の取付け部材の中から、基準パターンの適正範囲
を逸脱する範囲が最も小さくなる形状を持つ取付け部品
材を選択指示して取り付け部材の交換を促す。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、自動車等の車輌に
搭載される、車載カメラの検査方法ならびに装置に関す
る。
【0002】
【従来の技術】最近、単眼カメラやステレオカメラをプ
レビューセンサとして用いた車輌運転監視システムが注
目を集めている。この監視システムは、車体に取付けら
れた車載カメラによって前方の景色を撮像し、撮像画面
に基づいて画像認識することにより、ドライバに注意を
喚起したり、シフトダウンを行うことにより減速するよ
うな車輌挙動制御を行う。
【0003】ステレオカメラをプレビューセンサとして
用いた場合、カメラ自体の品質は勿論のこと、その取り
付け位置に関して高レベルの精度が要求される。カメラ
の取付け位置にずれが生じると、それに起因してカメラ
の撮像方向がずれ、監視制御の信頼性低下を招くからで
ある。特に、ステレオ方式においては、一対の撮像画像
における視差から距離を算出するため、撮像方向のズレ
は算出距離に直接影響する。しかしながら実際には、車
体自体の歪みやカメラの取り付け精度上の限界から、個
体毎に車載カメラの撮像方向にばらつきが生じるのが現
状である。そこで、撮像方向がずれている場合、撮像画
像にアフィン変換等画像変換処理を施すことにより、等
価的に微調整する方法が採られている。
【0004】
【発明が解決しようとする課題】しかしながら、画像変
換により微調整可能なレンジはあまり広くないのが現状
である。従って、車載カメラの撮像方向が適正範囲から
大きくずれてしまっている場合、画像変換による調整は
困難となる。
【0005】そこで、カメラの取付け完了後に行われる
検査工程において、取付けられたカメラの撮像方向が適
正範囲内に収まっているか否かを検査する必要がある。
この検査において、撮像方向が適正な範囲から外れてし
まっていると判定されたサンプルについては、撮像方向
が適正範囲に収まるように、カメラを取付け直す等の機
械的な再調整を行う必要がある。このために大掛かりな
検査装置を必要とし、かつ、調整のための手間を要して
いた。従って、このような検査の効率化、自動化を図る
ことのできる検査方法の確立が望まれていた。
【0006】本発明は上記事情に鑑みてなされたもので
あり、車載ナビゲーションユニットを活用し、画像認識
装置と連携して車載カメラの品質を保証するために行わ
れる光軸測定、距離画像の測定を行って適正な範囲に収
まっているか否かを判定し、その結果を車載ナビゲーシ
ョンユニットが持つ表示モニタ上に表示して調整を促す
ことにより、従来使用していた検査装置を不要とし、検
査の効率化をはかった車載カメラの検査方法ならびに装
置を提供することを目的とする。
【0007】
【課題を解決するための手段】上記した課題を解決する
ために本発明の車載カメラの検査方法は、車体に取付け
られたカメラにより車輌前方の景色を撮像し、画像認識
装置によって走行状態を認識する車輌監視システムに用
いられ、画像認識装置でカメラの品質を保証するための
検査を行って適正か否かを判断し、車載ナビゲーション
装置に接続される表示モニタを介してその結果を表示す
ることとした。
【0008】カメラの品質を保証するための検査とし
て、車輌前方のあらかじめ規定された位置に設置された
基準パターンが描かれた検査チャートを前記車体に取り
付けられたカメラで撮像し、当該撮像画像における基準
パターンを特定し、当該特定された基準パターンの位置
と前記カメラの撮像方向に関する適正な範囲を規定した
適性範囲との関係に基づいて前記カメラの光軸測定の良
否判定を行う。このとき、交換自在な取付け部材を介し
て車体に取り付けられ、前記取付け部材の形状により、
撮像方向が規定される車載カメラであって、前記光軸測
定の良否判定において否と判定されたとき、予め用意さ
れ、かつそれぞれが異なる形状を持つ複数の取付け部材
の中から、前記基準パターンの適正範囲を逸脱する範囲
が最も小さくなる形状を持つ取付け部品材を選択指示
し、その取り付け部材の交換を促すこととした。
【0009】また、カメラの品質を保証するための検査
として、車輌前方のあらかじめ規定された位置に設置さ
れ、特定パターンが描かれたプレートを前記車体に取り
付けられたカメラで撮像することにより前方プレートま
での距離を算出し、あらかじめ規定された適正な距離範
囲との比較に基づき前記カメラの距離画像測定の良否判
定を行うこととした。
【0010】このように、本発明は、カメラの品質を保
証するために行われる、少なくとも、光軸測定、距離計
測の検査を行い、適正か否かを判断し、車載ナビゲーシ
ョン装置用の表示モニタを介してその結果を表示するも
のであり、このことにより、車載カメラの目視確認、光
軸測定、距離測定等品質保証のための検査を、オンボー
ド上のナビゲーション装置が持つ表示モニタを使用して
行うことができ、従って、検査工程に特別な装置を必要
とせず、かつ、省スペースで容易に行うことができ、検
査工程の大幅な効率化がはかれる。また、検査サンプル
の撮像方向がずれていると判定された場合、交換アジャ
スタの選択情報を含むずれ量に関する情報を調整作業者
に提供することで再調整工程の効率化もはかれる。
【0011】上記した課題を解決するために本発明の車
載カメラの検査装置は、車体に取付けられたカメラによ
り車輌前方の景色を撮像し、画像認識装置によって走行
状態を認識する車輌監視システムにおいて、前記画像認
識装置に設けられ、前記カメラの品質を保証するために
必要な検査を行ない、適正か否かを判断する検査手段
と、前記判断結果を表示する車載ナビゲーション装置の
表示手段とを有する構成とした。画像認識装置は、認識
部本体と品質検査部から成り、前記品質検査部は、光軸
測定と距離画像測定の少なくとも1つを検査項目として
指定し、それぞれの良否判定を行うと共に、データパケ
ット中に検査項目毎定義される表示画面を選択指示する
情報を割り付け、前記ナビゲーション装置の表示手段に
通知する。また、検査手段に対してカメラの品質を保証
するための検査の実行を起動する他に、検査項目毎定義
される表示画面の切替え指示を行うスイッチ手段を更に
有することとした。
【0012】このことにより、車載カメラの目視確認、
光軸測定、距離測定等品質保証のための検査を、オンボ
ード上のナビゲーション装置用表示モニタを使用して行
うことができ、従って、検査工程に特別な装置を必要と
せず、かつ、省スペースで容易に行うことができ、検査
工程の大幅な効率化がはかれる。
【0013】
【発明の実施の形態】図1は、本発明の実施形態を示す
ブロック図である。図では車載カメラの一例としてステ
レオカメラが使用されており、車輌前方の走行状態を撮
像するステレオカメラ1は、所定の基線長で配置された
一対のカメラ2a、2bを含む。以下、カメラ2aをメ
イン、カメラ2bをサブと称する。ステレオカメラ1の
車体への取り付けは、後述する検査方法と関連するた
め、その取り付け構造に関し、図11〜図14を使用し
て簡単に説明する。
【0014】図11はステレオカメラ1の正面図、図1
2はステレオカメラ1の取り付け構造の全体的な展開斜
視図、図13はステレオカメラ1の取り付け部分の要部
を示した展開斜視図、図14はステレオカメラ組立体と
は別体に用意される取付け部材(アジャスタ)の種類を
示す図である。
【0015】ステレオカメラ1のシャーシ31は、カメ
ラ2a、2bの重量や走行時の加減速により変形しない
ように、高剛性のアルミ合金で形成されている。進行方
向に向かって右側に位置したシャーシ31の端部には、
メインカメラ2aが装着されている。このカメラ2a中
に内蔵されたCCD等のイメージセンサからの出力信号
によって基準画像が得られる。一方、シヤーシ31の左
側端部にはサブカメラ2bが装着されており、このカメ
ラ2bからの出力信号によって比較画像が得られる。シ
ヤーシ31の中央部には、シャーシ31の上面と下面と
を貫通する3つの取り付け孔(ボルト33の取り付け
孔)が形成されている。また、ステレオカメラ1を車体
(フロントレール41)に取り付ける際の位置決めを行
うために、シャーシ31の中央部には2つのロケータピ
ン32が形成されている。
【0016】ステレオカメラ1(ここでは、カメラ2
a、2bを組み付けたステレオカメラ組立体1)は、ル
ームミラー40の近傍において、取り付け部材としての
取り付けアジャスタ30を用いて、車体(本実施形態で
はフロントレール41)に装着されている。この装着状
態において、ステレオカメラ組立体1とフロントレール
41との間には、所定の板厚を有する取り付けアジャス
タ30が介在している。ステレオカメラ1の取り付け作
業においては、まず、シャーシ31に形成されたロケー
タピン32をアジャスタ30の位置決め用貫通孔30a
に挿入する。この状態において、シャーシ31に形成さ
れた3つの取り付け孔31aの位置は取り付けアジャス
タ30に形成された3つの取り付け孔30bの位置と一
致している。
【0017】次に、ロケータピン32をフロントレール
41に形成された孔に挿入し、この状態を維持しながら
3本のボルト33a,33b,33cを貫通孔30b,
31aに挿入して、ステレオカメラ1をフロントレール
41に固定する。そして、スイッチコネクタ34をステ
レオカメラ組立体1に接続した後、ボルトで外装カバー
35をフロントレール41に固定する。最後に、外装カ
バー35のボルト挿入部に目隠し板36を嵌め込んで外
装を整え、一連の取り付け作業が完了する。
【0018】ここで、取り付けアジャスタ30は、ステ
レオカメラ組立体1、或いはシャーシ31とは別個に形
成された部材であり、ステレオカメラ組立体1を取り外
した状態では、この組立体1とは独立して取り扱うこと
ができる。上述したように、ステレオカメラ組立体1
は、取り付けアジャスタ30を挟み込んだ状態でフロン
トレール41に取り付けられる。このように、取り付け
の際にカメラ本体とは別個の取り付け部材を用いる理由
は、これを交換することでステレオカメラ1の撮像方向
の粗調整を行うためである。この点が、カメラ組立体と
一体化されたステーを車体に直接取り付ける従来の手法
とは大きく異なるものである。ステレオカメラ1の撮像
方向、即ち、図11に示したカメラ視線L、Rの垂直成
分は、アジャスタ30の車長方向断面形状によって規定
される。すなわち、アジャスタ30の板厚が徐々に変化
している場合、即ち、テーパー形状である場合、図14
にアジャスタDとして示したように、後部(図13の左
側)よりも前部(右側)の板厚が大きいほどステレオカ
メラ1は下方向(地面)を向く。逆に、前部よりも後部
の板厚が大きなテーパー形状の取り付けアジャスタ30
を用いた場合、同図のアジャスタAとして示したよう
に、後部の板厚が大きいほどステレオカメラ1は上向き
となる。
【0019】上述したように、ステレオカメラ組立体1
を取り外すことで、アジャスタ30をこの組立体1とは
別個に独立して取り扱うことができる。したがって、必
要に応じて、形状が異なる他のアジャスタに交換すれ
ば、ステレオカメラ1の撮像方向を調整することができ
る。例えば、ステレオカメラ1の取り付け工程では、あ
る形状を有する標準アジャスタ30を共通に使用して、
ステレオカメラ組立体1を車体に取り付ける。そして、
それに続く検査工程において、取り付けられたステレオ
カメラ1の撮像方向が大きくずれていると判定された場
合、標準アジャスタを交換用アジャスタに取り替える。
交換用アジャスタは図14に示されるように複数用意さ
れており、それぞれの形状は微妙に相違(例えば、テー
パーがなす角度が微妙に相違)している。車体の歪み等
や機械加工における精度に起因した撮像方向のばらつき
は、適切な形状を有するアジャスタを使用することで、
適正な範囲(画像変換による微調整が可能なずれの範
囲)内に収めることができる。
【0020】このようにして車体に取付けられたステレ
オカメラ1から出力される撮像信号は、後段に位置する
ブロックにより次のように処理される。すなわち、カメ
ラ2a、2bの同期がとれている状態で、各カメラ2
a、2bから出力される撮像信号は、画像認識装置(I
PU)20に供給される。IPU20は、認識部本体2
1と品質検査部22から構成される。認識部本体21は
ステレオカメラ1から供給される撮像信号をディジタル
信号に変換して取込んで画像認識して処理する部分であ
り、品質検査部22は、後述するように検査スイッチ6
から起動要求を受信し、図2、図3にフローチャートで
示す手順に従い、認識部本体21と協動して検査を実行
する。
【0021】監視制御装置(PCU)4は、車外監視装
置の制御中枢をなす部分であり、IPU20とは、通信
ケーブル(IPU−PCU通信路)101を介して接続
される。通信ケーブル101を介しPCU4とIPU2
0がシリアルでデータ交換することにより車輌監視のた
めの多様なコントロールがなされる。ナビゲーション装
置(NCU)5は、ナビ本体部51と液晶等の表示モニ
タ52から構成され、IPU20とはビデオライン10
2を介し、また、PCU4とは通信ケーブル(NCU−
PCU通信路)103を介して接続される。
【0022】検査スイッチ6は、カメラの品質を検査す
るときにのみオペレータによって使用される簡単なスイ
ッチであり、オペレータがIPU20にコネクタ接続す
ることによって自動的に検査モードが設定され(GND
状態)、IPU20の品質検査部22によるソフトウェ
ア検査ルーチンが起動される。また、検査スイツチ6に
内蔵される実行ボタン61をON/OFF設定すること
により、それぞれ、GND、OPEN状態を維持し、N
CU5が持つ表示モニタ52の画面切替え指示等を行
う。
【0023】図2〜図10は、本発明実施形態の動作を
説明するために引用した図である。具体的に、図2、図
3は、IPU20とNCU5によるカメラの検査手順を
示すフローチャート、図4、図5は、それぞれ図2、図
3におけるNCU5の動作手順を示すフローチャート、
図6、図7、図8は、NCU5が持つ表示モニタ52に
表示される表示画面構成を示す図である。また、図9
は、通信ケーブル101を伝播するデータのフォーマッ
トを示す図、図10は、光軸調整のために用意される基
準画像の探索範囲と記と特性パターンを示す図である。
【0024】以下、図2〜図10を参照しながら、図1
に示す本発明実施形態の動作について詳細に説明する。
【0025】オペレータは、まず、検査スイッチ6をI
PU20のコネクタに接続することにより、検査モード
の実行を起動する。IPU20の品質検査部22は、内
蔵するメモリに割り付けられるトラブルコードメモリ、
及び検査終了フラグを“0”設定してシステムの初期化
を行う(図2、ステップS201)。ここでトラブルコ
ードとは、以降、品質検査項目として説明する、目視確
認、光軸測定、距離画像測定毎、それぞれに定義される
コードであり、品質不良と判定されたときにその項目が
状態情報としてコード設定されるものであり、オペレー
タは、後にこの内容をNCU5の表示モニタ52を介し
て参照することによって確認し、再調整を行う。
【0026】上記したシステムの初期化処理終了後、ま
ず、目視確認が検査項目として選択され(図2、ステッ
プS202)、NCU5の表示モニタ52には、図6
(a)に示す右カメラの目視確認画面(画面−0)が
表示される(図4(a)ステップS511)。右カメラ
の目視確認画面は、オペレータが実行ボタン61を押す
ことによって右カメラ画像に切替わり、右カメラ画像を
確認後、問題なければ再び実行ボタンを押すことによっ
て左カメラに切り替わることへの案内画面である。
【0027】NCU5のナビ本体部51は、通信ケーブ
ル103、PCS4を介して通信ケーブル101を伝播
するデータパケットの特定バイトデータ(例えば、ID
“51C”の2バイト目の最上位ビット)をモニタし、
そのビットを参照することによって実行ボタン61のO
N/OFFを判定する。そして、オペレータによる実行
ボタン61の押下(ON)を待ってIPU22の品質検
査部22へ案内画面終了通知を発し、品質検査部22
は、NCU5に対してナビ画面へ切替えを指示する(図
2、ステップS203)。このことにより、NCU5
は、ナビ本体部51を介し表示モニタ52に、図8
(c)に示す処理中画面(画面−0)を表示する。
【0028】尚、実行ボタン61のON/OFFは、上
述した特定バイトの最上位ビットに割り付けられ、その
ビットにON/OFF状態が情報として反映されるもの
とし、また、図9にそのデータフォーマットが示される
ように、ナビ画面表示は、通信ケーブル101を伝播す
るデータパケットの特定バイト(例えばID“516”
の5バイト目)を使用して定義され、その前半Aと後半
Bの4ビットの組み合わせで決まるものとする。具体的
に、図9において、ナビ表示画面が図6(b)に示す
−0の場合、A=2、B=0とし、ナビ表示画面が図7
(c)に示す−3のときA=5、B=3とする。
【0029】次に、IPU20の品質検査部22は、N
CU5に対して、上記したテロップ画面(処理中)から
右カメラモニタ画像出力を行うナビ画面切替え指示を行
う(図2、ステップS204)。このことを受けたNC
U5は、ナビ本体部51を介して表示モニタ52に表示
されていたナビ画面テロップを、ビデオライン102を
介して取込まれる右カメラモニタ画像に切替える(図4
(b)、ステップS521)。オペレータは、表示モニ
タ52に表示されたカメラ画像を目視し、正常であれば
実行ボタン61をONし、右カメラモニタ目視確認終了
を指示する。NCU5のナビ本体部51は、上記同様、
実行ボタン61のONをモニタし、ON状態確認後(図
4(b)、ステップS522)、IPU20の品質検査
部22に対しPCS4、通信ケーブル101経由で右カ
メラモニタ目視を終えた旨、終了通知を発行する。
【0030】この終了通知を受けたIPU20の品質検
査部22は、NCU5に対してナビ画面切替え指示(図
2、ステップS205)を行なう。このことにより、N
CU5は、ナビ本体部51を介して表示モニタ52に対
して、図6(b)に示す左カメラの目視確認指示画面
(画面−0)を表示する(図4(c)、ステップS5
31)。オペレータが実行ボタン61を押すことによ
り、左カメラ画像に切替わり、左カメラ画像を確認後、
問題なければ再び実行ボタン61を押すことによって次
の光軸測定の検査項目に切り替わることの案内である。
【0031】そこで、NCU5のナビ本体部51は、通
信ケーブル103、PCS4を介して通信ケーブル10
1を伝播するデータの特定バイトデータ(例えば、ID
“51C”の2バイト目の最上位ビット)をモニタし、
そのデータの最上位ビットを参照することによって実行
ボタン61のON/OFFを判定する。実行ボタン61
のON設定確認後(図4(c)、ステップS532)、
IPU20の品質検査部22に対し、PCS4、通信ケ
ーブル101経由で案内画面終了通知を発行する。
【0032】この終了通知を受けたIPU20の品質検
査部22は、NCU5に対し、ビデオ出力切替え指示を
行なう(図2、ステップS206)。このことにより、
NCU5は、ビデオライン102を介して取込む画像を
右カメラモニタ画像から左カメラモニタ画像に切替えて
表示モニタ52に表示する(図4(d)、ステップS5
41)。オペレータは、表示モニタ52に表示された左
カメラ画像を目視し、問題がなければ実行ボタン61を
ONして左カメラモニタ目視確認終了を指示する。
【0033】NCU5のナビ本体部51は、上記同様、
実行ボタン61のONをモニタし、ON状態確認後(図
4(d)、ステップS542)、IPU20の品質検査
部22に対し、PCS4、通信ケーブル101経由で左
カメラモニタ目視を終えた旨、終了通知を発行する。終
了通知を受信した品質検査部22は再びNCU5に対し
てナビ画面の切替えを指示する(図2、ステップS20
7)。このことにより、NCU5は、ナビ本体部51を
介し表示モニタ52に図8(c)に示す、処理中画面
(画面−0)を表示する。
【0034】次に、IPU20は、光軸の自動測定を開
始する(図3、ステップS208)。光軸測定に先立
ち、オペレータは、所定のパターンを有するテストチャ
ートを車輌前方の所定の位置に設置しておくものとす
る。テストチャートとして、例えば、白地のテストチャ
ートの表面に所定幅を有する黒線によって十字状のパタ
ーンが描かれており、十字の交点は、テストチャートの
中央に位置している。このテストチャートに描かれた十
字交点を基準パターンとし、検査サンプルの撮像方向な
らびに距離に位置的な基準を与えるものとする。従っ
て、このテストチャートは予め設定された位置に正確に
配置しておくことが重要である。
【0035】IPU20は、光軸の自動測定として、ま
ず、車両前方に設置されたテストチャートを含む1フレ
ーム分の基準画像をサンプリングし、その基準画像内に
所定の探索範囲Rを設定する。この探索範囲Rは、基準
画像上におけるテストチャートの十字交点理想位置を中
心に所定の目化石をもって定義されている。そして、こ
の探索範囲R内において、基準画像と所定の輝度特性パ
ターンBPとの二次元マッチングを行うことにより、輝
度特性パターンBPの相関先、すなわちテストチャート
の十字交点が映し出された位置探索する。
【0036】図10は、探索範囲Rと輝度特性パターン
BPを示した図である。輝度特性パターンBPは、テス
トチャートの十字交点部分(基準パターン)と同じ輝度
特性を有している。輝度特性パターンBPにおける低輝
度部分(十字の黒線に相当)の幅は、基準画面に映し出
されたテストチャートの十字交点部分(基準パターン)
と同じ輝度特性を有している。輝度特性パターンBPに
おける低輝度部分(十字の黒線に相当)の幅は、基準画
面に映し出されたテストチャートの線幅と同一になるよ
うに設定されている。
【0037】探索範囲R内の基準画像と輝度特性パター
ンBPの二次元マッチングは、シティブロック距離CB
を算出することにより評価される。すなわち、探索範囲
Rの全域にわたって比較対象である輝度特性パターンB
Pを水平/垂直に1画素ずつオフセットさせながら、シ
ティブロック距離が最少となる点をテストチャートの十
字交点の位置として特定する。次に、IPU20は、特
定されたテストチャートの十字交点の垂直方向の座標が
所定範囲内に収まっているか否かを判定することによ
り、光軸調整の重要性をチェックする(図3、ステップ
S209)。テストチャートの十字交点が所定範囲内に
収まっておらず、光軸調整が必要と判断された場合に
は、更に、光軸測定が2度目か否かがチェックされる
(図3、ステップS210)。初めての測定の場合は、
取り付け部材であるアジャスタ30の選択処理が行われ
る。即ち、上記検査の結果、カメラが上向きになってい
た場合、IPU20は、そのレベルに応じてアジャスタ
A、またはDを、下向きとなっていた場合、そのレベル
に応じてアジャスタC、Eを使用するように、アジャス
タの交換を促す画面を生成し、NCU5の表示モニタ5
2を介して出力する(図5(a)ステップS551)。
尚、ここではアジャスタBを標準用とする。すなわち、
製造ラインではアジャスタBを装着してアセンブルし、
検査工程で光軸調整要と判断されたときにアジャスタ3
0を交換するものとする。アジャスタ交換後、オペレー
タが実行ボタン61を押下し、NCU5が実行ボタン6
1のONを確認(図5(a)ステップS552)する
と、IPU20は、再び光軸測定を開始する(図3、ス
テップS208)。
【0038】この光軸の再測定後も、光軸調整要と判定
されると、これが2度目の測定であるため、IPU20
における品質検査部22内蔵のメモリに、光軸調整不良
を示すトラブルコードを書き込み(図3、ステップS2
16)、図8(b)に示すNG画面(−0)を表示す
る。また、ステップS209で光軸調整不要と判定され
た場合、NCU5は、表示モニタ52に対し、図6
(c)に示す光軸検査OK画面(−0)を表示(図5
(b)、ステップS561)し、オペレータによる実行
ボタン61の押下を待つ(図5(b)ステップS56
2)。オペレータによる実行ボタン61の押下がある
と、IPU20は、NCU5の表示モニタ52に対して
図8(c)に示す処理中画面(−0)を表示すること
を指示する(図3、ステップS212)。
【0039】次に、IPU20により距離画像測定が行
われる(図3、ステップS213)。距離画像測定は、
上記した光軸測定同様、車輌前方の予め規定された位置
にランダムパターンが描かれたテストチャートが設置さ
れ、品質検査部22が画像認識部本体21経由でその画
像を取込むことによって前方プレートまでの距離計算を
行い、算出される複数の距離データの正解率をモニタ
し、所定の正解率であれば正常とみなす処理を行う。従
って、図3のステップS214で取込んだ距離画像が正
常の範囲にあるか否かがチェックされ、正常な範囲にあ
る場合は、検査終了フラグをONし(図3、ステップS
215)、NCU5の表示モニタ52に対して、図8
(a)に示す距離検査OK画面(−0)を表示させ
る。そして、オペレータによる実行ボタン61の押下を
待って、上記した全ての検査項目の処理終了となる。
【0040】一方、距離画像が正常な範囲にない場合
は、光軸測定同様、トラブルコードメモリに該当するト
ラブルコードを書き込み、NCU5の表示モニタ52に
対し、図8(b)に示す距離検査NG画面(−0)を
表示し(図5(d)、ステツプS581)、トラブルコ
ードを確認して再調整を行うことを促し、オペレータに
よる検査ボタン61の押下(図5(d)、ステップS5
82)を待って全ての検査項目の処理終了となる。
【0041】以上説明のように、本発明実施形態では、
車輌に搭載されたNCU5の表示モニタ52を利用して
撮像画像ならびに検査画像を表示している。従って、検
査用に特別な表示装置を用意することなく、また、作業
スペースを確保できるため、検査効率の一層の向上がは
かれる。
【0042】尚、本発明実施形態によれば、光軸調整の
際、十字パターンが描かれたテストチャートを用いた例
についてのみ説明したが、テストチャートはこのパター
ンに限定されるものでなく、他の様々な輝度パターンを
有するテストチャートを用いてもよい。また、プレビュ
ーセンサとして、ステレオカメラを用いた場合のみ例示
したが、本発明の適用範囲はステレオカメラに限定され
るものでなく、単眼カメラにも適用できることは当然で
ある。
【0043】
【発明の効果】以上説明のように本発明は、車体に取り
付けられたカメラによって車輌前方の景色を撮像し、画
像認識装置によって走行状態を認識する車輌監視装置に
用いられ、カメラの品質を保証するために行われる、少
なくとも、光軸測定、距離計測の検査を行い、適正か否
かを判断し、車載ナビゲーションユニット用の表示モニ
タを介してその結果を表示して調整を促すものであり、
このことにより、車載カメラの目視確認、光軸測定、距
離測定等品質保証のための検査を、オンボード上のナビ
ゲーションユニット用表示モニタを使用して行うことが
でき、従って、検査工程に特別な装置を必要とせず、か
つ、省スペースで容易に行うことができ、検査工程の大
幅な効率化がはかれる。また、この検査は、場所を選ば
ず、テストチャートとの正確な位置関係さえ保証されれ
ば、工場のみならずディーラでも検査が可能となる。更
に、検査サンプルの撮像方向がずれていると判定された
場合、交換アジャスタの選択情報を含むずれ量に関する
情報を調整作業者に提供することで再調整工程の効率化
もはかれる。
【図面の簡単な説明】
【図1】 本発明の実施形態を示すブロック図である。
【図2】 IPUとNCUよるカメラの検査手順を示す
フローチャート(その1)である。
【図3】 IPUとNCUによるカメラの検査手順を示
すフローチャート(その2)である。
【図4】 図2におけるNCUの動作手順(その1)を
示すフローチャートである。
【図5】 図3におけるNCUの動作手順(その2)を
示すフローチャートである。
【図6】 NCUの表示モニタに表示される表示画面構
成(その1)を示す図である。
【図7】 NCUの表示モニタに表示される表示画面構
成(その2)を示す図である。
【図8】 NCUの表示モニタに表示される表示画面構
成(その3)を示す図である。
【図9】 通信ケーブルを伝播するデータのフォーマッ
トを示す図である。
【図10】 光軸調整のために用意される基準画像の探
索範囲と輝度特性パターンを示す図である。
【図11】 本発明において使用されるステレオカメラ
1の正面図である。
【図12】 本発明において使用されるステレオカメラ
1取り付け構造の展開斜視図である。
【図13】 本発明において使用されるステレオカメラ
の取り付け部分の要部を示した展開斜視図である。
【図14】 本発明において使用されるステレオカメラ
組立体とは別体に用意される取付け部材(アジャスタ)
の種類を示す図である。
【符号の説明】
1…ステレオカメラ、2a…メイン、2b…サブ、4…
監視制御装置(PCU)、5…ナビゲーション装置(N
CU)、6…検査スイッチ、20…画像認識装置(IP
U)、21…認識部本体、22…品質検査部、30…ア
ジャスタ、51…ナビ本体、52…表示モニタ、61…
実行ボタン
フロントページの続き Fターム(参考) 2F065 AA06 AA17 AA20 BB28 EE00 FF05 FF61 JJ03 JJ05 JJ26 PP01 QQ01 QQ28 QQ36 QQ38 RR06 SS02 SS13 5B057 AA16 DA20 DC02 5C054 CE01 CF01 EA01 FF02 HA28 5C061 BB01 CC01

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 車体に取付けられたカメラにより車輌前
    方の景色を撮像し、画像認識装置によって走行状態を認
    識する車輌監視システムに用いられ、 前記画像認識装置で前記カメラの品質を保証するための
    検査を行って適正か否かを判断し、車載ナビゲーション
    装置に接続される表示モニタを介してその結果を表示す
    ることを特徴とする車載カメラの検査方法。
  2. 【請求項2】 前記カメラの品質を保証するための検査
    として、車輌前方のあらかじめ規定された位置に設置さ
    れた基準パターンが描かれた検査チャートを前記車体に
    取り付けられたカメラで撮像し、当該撮像画像における
    基準パターンを特定し、当該特定された基準パターンの
    位置と前記カメラの撮像方向に関する適正な範囲を規定
    した適性範囲との関係に基づいて前記カメラの光軸測定
    の良否判定を行うことを特徴とする請求項1に記載の車
    載カメラの検査方法。
  3. 【請求項3】 交換自在な取付け部材を介して車体に取
    り付けられ、前記取付け部材の形状により、撮像方向が
    規定される車載カメラであって、前記光軸測定の良否判
    定において否と判定されたとき、予め用意され、かつそ
    れぞれが異なる形状を持つ複数の取付け部材の中から、
    前記基準パターンの適正範囲を逸脱する範囲が最も小さ
    くなる形状を持つ取付け部材を選択指示して交換を促す
    ことを特徴とする請求項2に記載の車載カメラの検査方
    法。
  4. 【請求項4】 前記カメラの品質を保証するための検査
    として、車輌前方のあらかじめ規定された位置に設置さ
    れ、特定パターンが描かれたプレートを前記車体に取り
    付けられたカメラで撮像することにより前方プレートま
    での距離を算出し、あらかじめ規定される適正な距離範
    囲との比較に基づき前記カメラの距離画像測定の良否判
    定を行うことを特徴とする請求項1に記載の車載カメラ
    の検査方法。
  5. 【請求項5】 車体に取付けられたカメラにより車輌前
    方の景色を撮像し、画像認識装置によって走行状態を認
    識する車輌監視システムにおいて、 前記画像認識装置に設けられ、前記カメラの品質を保証
    するために必要な検査を行ない、適正か否かを判断する
    検査手段と、 前記判断結果を表示する車載ナビゲーション装置の表示
    手段と、を有することを特徴とする車載カメラの検査装
    置。
  6. 【請求項6】 前記画像認識装置は、認識部本体と品質
    検査部から成り、前記品質検査部は、光軸測定と距離画
    像測定の少なくとも1つを検査項目として指定し、それ
    ぞれの良否判定を行うと共に、データパケット中に検査
    項目毎定義される表示画面を選択指示する情報を割り付
    け、前記ナビゲーション装置に通知することを特徴とす
    る請求項5に記載の車載カメラの検査装置
  7. 【請求項7】 前記検査手段に対して前記カメラの品質
    を保証するための検査の実行を起動する他に、検査項目
    毎定義される表示画面の切替え指示を行うスイッチ手段
    を更に有することを特徴とする請求項5に記載の車載カ
    メラの検査装置。
JP26957299A 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置 Expired - Lifetime JP3479006B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP26957299A JP3479006B2 (ja) 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置
US09/665,949 US6785403B1 (en) 1999-09-22 2000-09-21 Method and system for inspecting a vehicle-mounted camera
EP00120177A EP1087236A3 (en) 1999-09-22 2000-09-22 Method and system for inspecting a vehicle-mounted camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26957299A JP3479006B2 (ja) 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置

Publications (2)

Publication Number Publication Date
JP2001095017A true JP2001095017A (ja) 2001-04-06
JP3479006B2 JP3479006B2 (ja) 2003-12-15

Family

ID=17474241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26957299A Expired - Lifetime JP3479006B2 (ja) 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置

Country Status (3)

Country Link
US (1) US6785403B1 (ja)
EP (1) EP1087236A3 (ja)
JP (1) JP3479006B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373327A (ja) * 2001-06-13 2002-12-26 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2008011174A (ja) * 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565749B2 (ja) 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
US20080001727A1 (en) * 2004-11-15 2008-01-03 Hitachi, Ltd. Stereo Camera
JP4224449B2 (ja) * 2004-11-30 2009-02-12 本田技研工業株式会社 画像抽出装置
JP4032052B2 (ja) * 2004-11-30 2008-01-16 本田技研工業株式会社 位置検出装置及びその補正方法
US7599521B2 (en) * 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP4461091B2 (ja) * 2004-11-30 2010-05-12 本田技研工業株式会社 位置検出装置及びその補正方法
US7590263B2 (en) * 2004-11-30 2009-09-15 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP4785421B2 (ja) * 2005-05-30 2011-10-05 市光工業株式会社 車載カメラ構造
JP2007142884A (ja) * 2005-11-18 2007-06-07 Canon Inc 撮像装置及びその制御方法
JP5324946B2 (ja) * 2008-04-25 2013-10-23 富士重工業株式会社 ステレオカメラユニット
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
KR101129326B1 (ko) * 2010-06-16 2012-03-27 허성용 영상 촬영용 광축 정렬 장치 및 광축 정렬 방법
JP5818651B2 (ja) * 2011-11-22 2015-11-18 株式会社キーエンス 画像処理装置
JP2014092460A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
CN103366109B (zh) * 2013-08-14 2015-12-23 德讯科技股份有限公司 一种基于数字图像识别算法的XWindow代填方法
RU2562616C1 (ru) * 2014-07-21 2015-09-10 Алексей Викторович Бондаренко Способ получения радиотехнической информации и радиотехнический комплекс для его осуществления
RU2660498C1 (ru) * 2017-07-12 2018-07-06 Акционерное общество "Концерн радиостроения "Вега" Способ трассового сопровождения воздушных маневрирующих источников радиоизлучения по пеленговой информации от однопозиционной системы радиотехнической разведки воздушного базирования
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display
CN111010537B (zh) * 2019-12-06 2021-06-15 苏州智加科技有限公司 车辆控制方法、装置、终端及存储介质
CN112629829A (zh) * 2020-12-04 2021-04-09 上海影创信息科技有限公司 车辆挡风玻璃ar画面变形检测方法和系统及车辆

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2332779C3 (de) 1972-07-03 1978-06-29 Nihon Raina K.K., Tokio Vorrichtung zum fortlaufenden Unterteilen und Markieren von Fahrspurlinien auf Fahrbahnen o.dgl
JPS6021675A (ja) 1983-07-18 1985-02-04 Toyota Motor Corp 計測機器におけるテレビカメラ位置ずれ自動補正方法及び装置
FR2609068B1 (fr) 1986-12-26 1989-12-08 Secmair Dispositif de reperage de l'axe central d'une chaussee
US4746977A (en) 1987-03-12 1988-05-24 Remote Technology Corporation Remotely operated steerable vehicle with improved arrangement for remote steering
US4899189A (en) 1988-10-31 1990-02-06 Frost George E Support and protective base device for camera
SE461797B (sv) 1989-04-14 1990-03-26 Affarsverket Ffv Anordning foer maalning av linjemarkering paa en vaeg
DE9110846U1 (de) 1991-04-29 1991-11-28 Nielsen, Bent Johannes, Broby Fahrzeug zum Einmessen und zur Punkt- und/oder Linienmarkierung von Fahrwegen
JPH06213660A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 像の近似直線の検出方法
JP3287117B2 (ja) * 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US6067147A (en) * 1997-01-09 2000-05-23 Fuji Electric Co., Ltd. Distance-measuring apparatus
KR100576526B1 (ko) 1997-01-09 2007-07-09 후지 덴키 가부시끼가이샤 거리 측정 장치
JP3284078B2 (ja) * 1997-04-07 2002-05-20 本田技研工業株式会社 自動変速機付き車両の自動操舵装置
JP3565749B2 (ja) * 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373327A (ja) * 2001-06-13 2002-12-26 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2008011174A (ja) * 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム

Also Published As

Publication number Publication date
JP3479006B2 (ja) 2003-12-15
EP1087236A2 (en) 2001-03-28
EP1087236A3 (en) 2001-10-17
US6785403B1 (en) 2004-08-31

Similar Documents

Publication Publication Date Title
JP2001095017A (ja) 車載カメラの検査方法ならびに装置
JP3565749B2 (ja) 車載カメラの撮像方向の検査方法およびその検査装置
US8743202B2 (en) Stereo camera for a motor vehicle
US6414712B1 (en) Vehicle navigational system and signal processing method for said navigational system
JP2007261463A (ja) 車載カメラのキャリブレーションシステム
US6404484B1 (en) Method for examining distance data and device thereof
JPH09322155A (ja) 映像監視方法及び装置
JP2006184274A (ja) 位置検出装置及びその補正方法
JPH09202180A (ja) 車載カメラ装置
JP2008085710A (ja) 運転支援システム
CN111210386A (zh) 图像拍摄拼接方法及系统
JP4265756B2 (ja) 車載カメラの取り付け構造
JP7278846B2 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP2000142221A (ja) 車載用カメラの取付方法および画像処理装置
JPH06253204A (ja) 車線逸脱警報装置の調整方法
JPH103109A (ja) 架空線撮影装置及び方法
JP2005219660A (ja) 車載電装品の評価装置
JP2006258489A (ja) 検査システムおよび検査方法
JP4061737B2 (ja) 雲台装置
WO2011090053A1 (ja) 障害物検知警報装置
WO2022153838A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
JPH09231379A (ja) 画像処理による走行車線認識装置
JP2003066307A (ja) 電子撮像装置の組立・検査方法及びこれに用いる電子撮像装置の組立・検査装置
WO2021059589A1 (ja) 物体検出装置、走行制御システム、および走行制御方法
JP6566302B2 (ja) 撮像装置、撮像装置のエラー確認方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3479006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081003

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term