JP2003315256A - 透光体表面の異物検出装置 - Google Patents
透光体表面の異物検出装置Info
- Publication number
- JP2003315256A JP2003315256A JP2002120125A JP2002120125A JP2003315256A JP 2003315256 A JP2003315256 A JP 2003315256A JP 2002120125 A JP2002120125 A JP 2002120125A JP 2002120125 A JP2002120125 A JP 2002120125A JP 2003315256 A JP2003315256 A JP 2003315256A
- Authority
- JP
- Japan
- Prior art keywords
- light
- image pickup
- transmitting body
- image
- foreign matter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
したまま、自動車のウインドシールドなどの透光体の表
面についた雨滴等の異物検出を精度高く行うことができ
る透光体表面の異物検出装置を提供する。 【解決手段】 撮像素子71を備え、透光体1の内側か
ら外方を撮像するように配設された撮像手段7と、上記
透光体の内側に配設され上記透光体の外表面部1aの情
景を上記撮像素子の撮像領域の一部に結像させる光学手
段9と、上記撮像素子によって得られる上記透光体の外
表面部に対応する情報から上記透光体の外表面部の異物
を検出する検出手段8とを備えるように構成した。
Description
インドシールドなどの透光体表面に付着した雨滴や汚れ
などの異物を検出する場合などに好ましく用いることが
できる透光体表面の異物検出装置に関するものである。
た雨滴を検出する装置としては、例えば特開2001−
206201号公報などに記載された発明がある。この
技術では、撮像手段を用いてフロントウィンドウの後方
からウインドシールド表面部の情報を画像入力し、撮像
された画像を用い、所定時間経過した前後の撮像データ
相互を比較して、両者で一致している撮像データに基づ
いて雨滴量の判定を行うように構成されている。
された発明では、図14に示すように透光体であるウイ
ンドシールド1の内側のダッシュボード2内に配設され
た発光手段3a、3bから発光され、ウインドシールド
1で反射された反射光を、イメージ検出手段4で検出
し、信号処理部5で、検出された信号のうち所定のレベ
ル範囲内にある信号の数を計数することで液体の付着状
態を判定するように構成されている。なお、6はワイパ
ーブレードであり、信号処理部5で雨滴が検出されたと
きに自動的に作動を開始するように構成されている。
206201号公報に記載の発明においては、所定時間
経過した前後の撮像デ−タで、一致している部分に基づ
いて雨滴量の判定を行うように構成されているため、背
景によって検出精度に影響がある。また、撮像手段の焦
点距離は一様なため、雨滴を検出するように焦点距離を
調節すると、他の画像処理に適した焦点距離に設定でき
ないという問題点があった。
に記載の発明では、図14の断面図に示すように、発光
手段3a、3bを用いることで、背景の影響の少ない雨
滴検出が可能であるが、撮像手段を雨滴検出以外の目的
に使用することは困難であった。
解消するためになされたもので、撮像手段を他の用途に
使用することを可能にしたまま、車両のウインドシール
ドなどの透光体の表面の異物検出を精度高く行うことが
できる透光体表面の異物検出装置を提供することを目的
としている。
面の異物検出装置は、撮像素子を備え、透光体の内側か
ら外方を撮像するように配設された撮像手段と、上記透
光体の内側に配設され上記透光体の外表面部の情景を上
記撮像素子の撮像領域の一部に結像させる光学手段と、
上記撮像素子によって得られる上記透光体の外表面部に
対応する情報から上記透光体の外表面部の異物を検出す
る検出手段とを備えるようにしたものである。
れ該透光体の外表面部に向けて参照光を出射する発光手
段と、撮像手段の視野の少なくとも一部に配設され、透
光体の外表面部で反射した参照光を撮像素子の撮像領域
の一部に結像させる集光手段とを備え、検出手段は、上
記参照光の光量に基づいて異物を検出するものである。
固定され、参照光の入力面と、この入力面から入射した
参照光を集光させる少なくとも一つの凹面状の反射面
と、この反射面で反射した参照光を出射する出力面とを
有するプリズムからなるものである。
に配設され、透光体の外表面部の情景を撮像素子の撮像
領域の一部に結像させる凹面鏡または凸レンズを用いる
ようにしたものであるものである。
に対し透光体表面部の細長い帯状の領域に焦点が合うよ
うに形成されてなるものである。
出射する発光手段を備えたものである。
され該透光体の外表面部に向けて参照光を出射する発光
手段、ならびに、撮像素子の前方に配設され透光体の外
方から入射される外来光及び透光体の外表面部で内側に
反射された参照光を分離するビームスプリッタを有する
反射面とこのビームスプリッタを有する反射面で分離さ
れた参照光画像を一方向に圧縮しつつ細長い形状に変形
させ撮像素子の撮像領域の一部に結像させる集光反射面
とを有する分光プリズムを備えたものである。
出装置は、透光体の内側に配設され該透光体の外表面部
に向けて参照光を出射する発光手段と、上記透光体の内
側に配設され該透光体の外方から入射される外来光及び
透光体の外表面部で内側に反射された参照光を分離する
分光プリズムと、この分光プリズムにより分離された外
来光を撮像する第1の撮像素子と、上記分光プリズムに
より分離された参照光画像を撮像する第2の撮像素子
と、上記第2の撮像素子によって得られる上記透光体の
外表面部に対応する情報から上記透光体の外表面部の異
物を検出する検出手段とを備えたものである。
に、個別の光学フィルタを備えたものである。
ングに同期して発光され、また発光時間は撮像時間に応
じて変化させるものである。
に同期して発光と消灯を繰り返すことを特徴とするもの
である。
はこの発明の実施の形態1に係る透光体表面の異物検出
装置の要部を模式的に示すもので、図1は光路の構成
図、図2は用いる出力用プリズムを拡大して示す側面図
である。なお、各図を通じて同一符号は同一もしくは相
当部分を示すものとする。図において、1は自動車の前
方窓ガラスであるウインドシールド(透光体)、1aは
このウインドシールド1の外表面部、1bはウインドシ
ールド1の内表面部である。なお、上記外表面部1aは
図示を省略しているウィンドウワイパの払拭範囲の中に
ある。
の2次元の撮像素子71と、前方の情景を集光し、撮像
素子71に結像させるレンズ72などから構成されてい
る。上記撮像素子71は、NTSC規格(National Tel
evision System Committee)に基づいて動作している。
73は前記撮像手段7の視野の境界線であり、撮像素子
71の撮像領域に略合致している。8は上記撮像素子7
1の出力信号を処理して異物を検知するマイコン(MP
U)を用いた検出手段である。
該ウインドシールド1の外表面部1a、ないしはその近
傍に焦点を合わせて上記撮像素子71の撮像領域の一部
に結像するように構成された光学手段であり、この実施
の形態1では例えば赤外線など可視光と区別しやすい波
長の参照光Lを出射する発光手段91と、この発光手段
91からの参照光をウインドシールド1の内部に入射さ
せる入力用プリズム92と、ウインドシールド1内部の
外表面部1aで1回以上反射した参照光を取り出す出力
用プリズム93とから構成されている。
から出射され外表面部1aにて反射した参照光を採光
し、撮像素子71の撮像領域の一部に結像するように構
成された集光手段を構成しており、図2に示すように図
の上端部のウインドシールド1に対向する側に参照光の
入力面93aが形成され、この参照光入力面93aの部
分において、ウインドシールド1の内表面部1bに該ウ
インドシールド1と同様の屈折率をもつ接着剤(図示省
略)により接着固定されている。ウインドシールド1の
内部に出射された参照光Lは、上記入力面93aから取
り込まれ、第1の反射面93b、第2の反射面93cを
経て出力面93dから出力される。参照光の出力面93
dから出力された参照光は、撮像素子71の撮像領域の
一端部に入るように構成されている。
の少なくとも一方は、撮像手段7で参照光を撮像できる
ようにピントを調節する機能を持たせるため、凹面状に
形成されている。また93eは非接着面であり、上記ウ
インドシールド1に対しては接着されず、若干の隙間を
保持して離間されており、該ウインドシールド1の内表
面部1bの内部で参照光が全反射するのを妨げない様に
なっている。
着面93eを設けることで撮像範囲内に設けることがで
き、小型化に寄与している。また、上記図1に示すよう
に構成された異物検出装置は、運転者の視界を妨げない
位置、例えば、ウインドシールド1の上端部、あるいは
下端部内側のダッシュボード内に沈める等、適宜の位置
に固定されている。
の動作について、発光と撮像のタイミングを説明する図
3を参照して説明する。発光手段91で発光した参照光
Lは、入力用プリズム91を介してウインドシールド1
内部に入射され、ウインドシールド1の外表面部1aで
1回以上反射した後に、出力用プリズム93を介して、
撮像素子71の撮像領域の一部(図では上端部)に結像
される。
や汚れなどの異物(図示省略)が付着すると、参照光L
の一部が該異物により散乱ないしは吸収され、撮像手段
7によって検出される参照光の光量に変化が現れるの
で、検出手段8でこの変化量に基づいて雨滴や汚れなど
の異物が付着したことを検出する。具体的には、検出さ
れる参照光の光量のレベルが下がるので、該光量のレベ
ルの時間変化を検出することにより異物が付着したこと
を容易に検知できる。
の撮像周期、11は撮像タイミングである電子シャッタ
ー(図示省略)の動作、12は発光手段91の動作を示
し、共通の横軸は時間軸を示している。撮像素子71
は、例えば33ミリ秒毎に新しい画像を撮像し、その撮
像時間(電子シャッターのスピード)は可視光の画像を
撮影するのに最適となるように自動的に調節されてい
る。発光手段91は前記電子シャッターの開いている間
に発光させるべくONされ、また、一画面ごとにONし
ないように制御されている。つまり2n番目の画面を撮
像中にはON、2n−1番目の画面を撮像中にはOFF
のままとなる。
態で、雨滴検出に使用される参照光画像は、参照光ON
の画面から参照光OFFの画面を差し引くことにより得
られる。つまり、n番目の参照光画像=[2n番目の画
像]−[(2n−1)番目の画像]となる。
の光量の時間的変化を監視し、該光量が予め設定された
所定のレベルを下回ったときに雨滴などの異物が存在す
ると判定することで、背景や外乱の影響をほとんど受け
ることなく、ウインドシールド1の外表面部1aに付着
した雨滴や汚れを精度よく検出することができる。な
お、光量の変化を監視して雨滴や汚れを検出する具体的
な方法は特に限定されるものではなく、例えば特開昭6
3−53444号公報などに記載されている一般的に知
られている公知の従来技術を特別な制限なく用いること
ができる。
画像は例えば道路上の白線検出、前方車両の検出などと
いった他の画像処理に使用することができるので、1つ
の撮像手段7により、雨滴などの異物検知と前方監視の
双方を行うことができ、装置の小型化・低価格化が可能
となるとともに、前記撮像手段7で得られた画像を他の
用途に用いることができるので、汎用性や経済性を向上
する効果が得られる。
透光体表面の異物検出装置の要部構成を示す光路構成図
である。図において、91は撮像手段7と一体構成とな
っている発光手段、92は入力用プリズムであり発光手
段91からの参照光Lを受光してウインドシールド1の
内部に導くように反射させる反射面92aが設けられて
いる。
形態2ではその大部分が撮像手段7の視野の境界線73
の外側に位置するように配設され、実施の形態1で用い
た出力用プリズムに比べて非接着面93eが設けられて
おらず、その分実施の形態1よりも小型に形成されてい
る。そして、第2の反射面93c及び参照光出力面93
dの部分のみが撮像手段7の視野の境界線73の内側に
近接して入るように配設され、ウインドシールド1の内
表面部1bに接着、固定されている。なお、第1の反射
面93b、第2の反射面93cの少なくとも一方が集光
機能を有する点など、その他の構成は実施の形態1と同
様であるので説明を省略する。
いては、発光手段91で発光した参照光Lは、入力用プ
リズム92の反射面92aで反射した後、ウインドシー
ルド1内部に入射され、ウインドシールド1の外表面部
1aで1回以上反射した後に、出力用プリズム93を介
して、撮像素子71の撮像領域の一端部に結像される。
ウインドシールド1の外表面部1aに雨滴や汚れなどの
異物が付着すると、該異物による参照光の吸収や散乱に
より、撮像手段7によって検出される参照光の光量が減
少するので、実施の形態1と全く同様に検出手段8でこ
の変化量によって雨滴や汚れが付着したことが検出され
る。
形態1の構成と比較して、撮像手段の視野の中心部を含
む主領域内にプリズムが配設されていないことで、前方
の路上の白線などの情景がより鮮明な画像で得られる構
成となっている。また、発光手段91のために配線を伸
ばす必要がないという利点がある。また、入力用プリズ
ム92は発光手段91から離れた位置にある構成となっ
ている。
ールド1の内部で反射した参照光を撮像素子の撮像領域
の一部に入力し、受光される光量に応じた量で検出する
ように構成した場合について説明したが、以下の実施の
形態に示すように、外表面部1aに付着した雨滴や汚れ
などの異物を撮像手段により撮影し、得られる画像情報
を処理することにより、異物を検出するように構成する
こともできる。この場合には、参照光を省くこともでき
る。
態3になる透光体表面の異物検出装置を説明するもの
で、図5は要部を示す光路構成図、図6は撮像画像の例
を模式的に示す図、図7は画像処理の例を示す説明図、
図8は参照画像の処理ステップの骨子を示すフロー図、
図9は雨滴量の算出ステップを概略的に示すフロー図で
ある。図において、97は撮像手段7の視野の境界線7
3の内側近傍に配設された集光手段としての凹面鏡であ
り、ウインドシールド1の外表面部1aで反射した参照
光画像を映して、撮像素子71の撮像領域の一端部(図
では下端部)に結像するように構成されている。
ールド1と撮像素子71のなす角度をθとしたとき、該
凹面鏡97の光軸97aがウインドシールド1に対して
θ/2の角度で設定することにより、広い範囲でピント
の合った参照画像を得ることができる。
は撮像素子71によって撮像された画像、74aは凹面
鏡97によって撮像領域の一端部(図では上端部)に横
長に結像されたウインドシールド1の外表面部1aの参
照光画像、74bはウインドシールド1の前方の道路等
の遠景画像である。なお、該遠景画像74bは例えば道
路上の白線検知など他の画像処理に用いられるものであ
り、そのためにレンズ72は遠景画像74bに適した焦
点距離に設定され、さらに検知手段8には遠景画像74
bについての処理機能を備えているが、それらの構成は
この発明とは直接関係ない付随的部分であるので説明を
省略する。
部71aの前方に設けられた赤外線領域の波長の光をカ
ットし、可視光を通過させる可視光用フィルタ、96b
は撮像素子71上の参照光画像受光部71bの前方に設
けられた可視光線をカットし赤外線を通過させる参照光
用フィルタである。
3の動作について、参照光画像から雨滴を検出し、例え
ば図示を省略しているワイパを制御するように構成した
例を説明する。
を受光する撮像素子の一端部の画素列であり、この例で
は理解を容易にするために、水平方向×垂直方向=32
0(H)×4(V)画素からなり、図の左側から順に、
1、2、3、・・・、n、・・・、320列目までの画
素が配列されている様子を示している。13nは前記画
素列のうち、n列目の一列のみを抜き出したものであ
る。
通の時間軸tとした計測例を模式的に示すものであり、
グラフb1は、図8のステップS1にてn列目の各画素
(ここでは計4画素)について得られる明るさに対応し
た電気量に応じた値の合計値Lnを求め、縦軸を前記合
計値Lnとしたときの、Lnの時間的変化14を示す
図、グラフb2は、ステップS2にて前記Lnの時間変
化量の絶対値Ln'を求め、縦軸を該絶対値Ln'とした
ときの、Ln'の時間的変化15を示す図、グラフb3
は、ステップS3にて前記絶対値Ln'の積分値An
(雨滴量)を求め、縦軸を該積分値Anとしたときの、
Anの時間的変化16を示す図である。
ここでは演算を一定時間ごとに行うようにしているの
で、離散的な値をとっている、つまり時刻tにおける変
化量をLn'(t)とすると、Ln’(t)は今回の演
算で求められた画素の合計値Ln(t)から、前回の演
算で求められた画素の合計値Ln(t−1)を差し引い
て求められる。
1〜t2におけるワイパ(図示省略)の払拭期間Twに
リセットされる。上記のようにしてn列目の雨滴量An
が求められる。図9は、求められた雨滴量からワイパを
制御する場合のシーケンスの概要を示したフロー図であ
る。
列(1〜320列目)における雨滴量A1〜A320を
求め、ステップS12でA1からA320の平均Aave
を求め、ステップS13でAaveを所定のしきい値Ath
と比較し、Aave>Athが真(True)ならステップ
S14でワイパを速く動かすように指示を出し、偽(F
alse)なら、即ちAave≦AthならステップS15
でワイパを遅く動かすように指示を出す。ここでAthは
車のドライバがウインドシールド1越しに前方を見やす
いように設定されたしきい値であり、予め実験的に定め
られた値である。
像素子71の一端部に結像されたウインドシールド1の
外表面部1aの広い範囲の参照光画像のそれぞれの画素
について時間的変化を監視することにより、一つの撮像
素子71で前方を遠景画像74を監視(詳細説明、及び
図示省略)しつつ、同時に外表面部1aに付着した雨滴
や汚れなどの異物を外乱の影響を受けることなく精度よ
く検出することができる。また可視光画像についても、
フィルタ96aを設けたことにより参照光の影響を受け
にくく鮮明な可視光画像が得られる。
は、例えば凸レンズと反射鏡を用いたものなどに置き換
えても同様の効果が期待できる。また、参照光Lを発光
させる発光手段91、フィルタ96a、96bは必ずし
も必須のものではなく、例えば昼間の明るい時間帯では
これらを省いた構成でも外表面部1aの異物を検知する
ことができるので、装置を特に安価に提供しようとする
目的では有効である。因みに、発光手段91等を省いた
場合においても、該表面部1aに雨滴などの異物が存在
しない場合は、図6の参照光画像74aに相当する部分
は、明るい空白以外、実質的に「何も見えない」状態で
あるのに対し、異物が付着するとその大きさ、密度等に
応じた斑点状の映像が見えるようになることにより、検
知可能である。
面鏡97を、ウインドシールド1の広い範囲に焦点距離
が合うように構成した場合について説明したが、ウイン
ドシールド1の外表面上の細い帯状の領域のみ焦点距離
が合うように構成してもよい。図10は、実施の形態4
になる透光体表面の異物検出装置における凹レンズによ
る集光範囲を説明する平面図である。図において、斜線
で示す細い帯状の領域1cはウインドシールド1の外表
面部1aにおける、凹面鏡97のピントが合う採光部分
を示す。その他の構成は上記実施の形態3と同様である
ので説明を省略する。
いては、検出精度が若干下がるものの、光学系を簡単な
構成とすることができるので、装置をより安価に提供す
ることができる効果が得られる。
明の実施の形態5に係る透光体表面の異物検出装置の要
部を示すもので、図11は光路構成図、図12は用いる
分光プリズムの拡大側面図である。図において、94は
集光手段を兼ねる分光プリズムであり、断面三角形状の
斜辺部分には入射した光線のうち可視光を透過し、参照
光を反射するビームスプリッタを有する反射面94aが
設けられており、さらにその下方部分には上記反射面9
4aで反射された参照光画像を一方向に圧縮変形しなが
ら反射する凹面状の反射面94bが設けられ、全体が一
体的に構成されている。
て分離された可視光と参照光を、それぞれ可視光画像受
光部71aと参照光画像受光部71bで別々に受光す
る。なお、91aは参照光Lに対する撮像素子71の視
野を示す。その他の符号は実施の形態1と同様であるの
で説明を省略する。
の動作について説明する。ウインドシールド1の前方の
情景は可視光として分光プリズム94をそのまま真っ直
ぐに通過して撮像素子71の可視光画像受光部71aに
結像される。一方、発光手段91から出射された赤外光
線からなる参照光はウインドシールド1の外表面部1a
で反射してレンズ72、分光プリズム94に入射し、反
射面94aで図の下方向に分光・反射され、集光反射面
94bにて一方向に圧縮変形されながら反射され、撮像
素子71上の参照光画像受光部71bに細長い帯状に結
像する。
画素について信号処理部8にて、上記実施の形態3と同
様に時間的変化を監視することで、ウインドシールド1
の外側の表面部1aの広い範囲に付着した雨滴や汚れを
精度よく検出することが可能となる。
る透光体表面の異物検出装置の要部を示す光路構成図で
ある。上記実施の形態5では、1つの撮像素子71に可
視光画像受光部71aと参照光画像受光部71bを設け
たが、この実施の形態6では撮像素子を2つ設けるよう
にしたものである。図13において、95は分光プリズ
ムであり、可視光を通過させ、参照光を反射させるビー
ムスプリッタ95aを備えている。71Aはウインドシ
ールド1の前方の道路などの遠景画像を可視光として受
光する第1の撮像素子、71Bは、分光プリズム95の
ビームスプリッタ95a部で反射して図の下方向に偏向
された参照光を受光する第2の撮像素子である。その他
の構成は実施の形態5と略同様である。
いては、可視光画像、参照光画像とも、第1の撮像素子
71A、及び第2の撮像素子71Bにより、それぞれ個
別に全画面を撮像することが可能であるため、より精度
の高い雨滴検出が可能となる。また発光手段の発光タイ
ミングは、実施例1の装置と同様、撮像手段に同期させ
てON/OFFすることで、外乱光の影響をより受けに
い雨滴や汚れなどの異物の検出が可能となる。なお、参
照光を出射する発光手段91は、必ずしも設けなくても
差し支えない。
出手段8の機能として、外表面部1aの異物を検知する
ことのみについて述べたが、例えば検知結果に応じてウ
インドシールド1に洗浄液を吹き付けたり、ワイパーを
動作させるなどの機能を付加させるなど、適宜所望の機
能を付加できることは言うまでもない。また発光手段9
1の発光タイミング、異物検出のシーケンスや、フロー
図、光学手段9の構成などは一例を示したに過ぎず、実
施の形態のものに限定されるものではない。その他この
発明の範囲内で種々の変形や変更、置換ができることは
当然である。
説明したが、それらに限定されず、例えば、雪や、水し
ぶきのようなものなどであっても同様に検知することが
できる。また、透光体が自動車のウインドシールドの場
合について説明したが、自動車に限定されるものではな
く、例えば鉄道車両、航空機、船舶などの移動体のウイ
ンドシールド、各種情報監視カメラなどを包囲し保護す
る固定物のウインドシールド、その他各種用途に用いる
ことができることは勿論である。
次のような効果が得られる。
簡単な光学系と検出手段を用いることによって、一つの
撮像手段により透光体の外表面部の異物検出を精度高く
行いつつ、前方監視など他の用途に併用することができ
る。
光学手段として、参照光の発光手段と、集光手段とを備
えたものを用い、検知手段で光量に基づいて異物を検知
するようにしたことにより、第1の発明の効果に加え、
簡単な構成による検知手段で透光体表面の異物検出を精
度高く行うことができる。
集光手段を凹面状の反射面を有するプリズムとしたこと
により、透光体外表面部の異物検出を精度高く行いつ
つ、光学系の取付を簡単にした異物検知装置を提供でき
る。
光学手段を凹面鏡または凸レンズで構成したことによ
り、光学手段を容易に構成でき、装置を安価にできる。
凹面鏡または凸レンズを、撮像手段に対し透光体表面部
の細長い帯状の領域に焦点が合うように構成したことに
より、光学手段を一層簡単、かつ安価に構成できる。
参照光を出射する発光手段を設けるようにしたので、第
4の発明の効果に加えて、外光がない夜間などでも透光
体表面の雨滴や汚れなどの異物を精度高く検出すること
ができる効果が得られる。
装置を小型にすることができるとともに、撮像手段で得
られた画像は一部も欠けることなく、完全な形で他の用
途に用いることができる効果がある。
外来光を撮像する第1の撮像素子と、参照光を受光する
第2の撮像素子を設けるようにしたことにより、より精
度の高い異物検出が可能となる。
参照光と可視光のそれぞれの光路中に、個別の光学フィ
ルタを備えるよう構成したので、外乱光の影響を受けに
くく、また鮮明な可視光画像を得ることができる効果が
ある。
ば、発光手段は、撮像手段の撮像タイミングに同期して
発光し、また発光時間は撮像時間に応じて変化するよう
構成したので、撮像手段により効率よく参照光を撮像す
ることができ、背景や外乱光の影響を受けにくい異物検
出装置が得られる効果がある。
ば、発光手段は、撮像手段の撮像周期に同期して発光と
消灯を繰り返すよう構成されているので、背景や外乱光
を除去することができるので、さらに外乱光の影響を受
けにくくする効果がある。
置の要部構成を示す光路構成図である。
である。
のタイミングを説明する図である。
置の要部構成を示す光路構成図である。
置の要部構成を示す光路構成図である。
示す図である。
図である。
の骨子を示すフロー図である。
概略的に示すフロー図である。
装置の要部構成を示す光路構成図である。
装置の要部構成を示す光路構成図である。
図である。
装置の要部構成を示す光路構成図である。
面図である。
7 撮像手段、 71 撮像素子、 73 撮像手段
の視野の境界線、 8 検出手段、 9 光学手段、
91 発光手段、 92 入力用プリズム、 93 集
光手段(出力用プリズム)、 93a 入力面、 93
b、93c (凹面状の)反射面、 93d 出力面、
94 集光手段(分光プリズム)、 94b 集光反
射面、96a、96b 光学フィルタ、 97 集光手
段(凹面鏡)。
Claims (11)
- 【請求項1】 撮像素子を備え、透光体の内側から外方
を撮像するように配設された撮像手段と、上記透光体の
内側に配設され上記透光体の外表面部の情景を上記撮像
素子の撮像領域の一部に結像させる光学手段と、上記撮
像素子によって得られる上記透光体の外表面部に対応す
る情報から上記透光体の外表面部の異物を検出する検出
手段とを備えたことを特徴とする透光体表面の異物検出
装置。 - 【請求項2】 光学手段は、透光体の内側に配設され該
透光体の外表面部に向けて参照光を出射する発光手段
と、撮像手段の視野の少なくとも一部に配設され、透光
体の外表面部で反射した参照光を撮像素子の撮像領域の
一部に結像させる集光手段とを備え、検出手段は、上記
参照光の光量に基づいて異物を検出することを特徴とす
る請求項1記載の透光体表面の異物検出装置。 - 【請求項3】 集光手段は、透光体の内側表面部に固定
され、参照光の入力面と、この入力面から入射した参照
光を集光させる少なくとも一つの凹面状の反射面と、こ
の反射面で反射した参照光を出射する出力面とを有する
プリズムからなることを特徴とする請求項2記載の透光
体表面の異物検出装置。 - 【請求項4】 光学手段は、撮像手段の視野の一部に配
設され、透光体の外表面部の情景を撮像素子の撮像領域
の一部に結像させる凹面鏡または凸レンズを用いたもの
であることを特徴とする請求項1記載の透光体表面の異
物検出装置。 - 【請求項5】 凹面鏡または凸レンズは、撮像手段に対
し透光体表面部の細長い帯状の領域に焦点が合うように
形成されてなることを特徴とする請求項4記載の透光体
表面の異物検出装置。 - 【請求項6】 透光体の外表面部に向けて参照光を出射
する発光手段を備えたことを特徴とする請求項4または
請求項5記載の透光体表面の異物検出装置。 - 【請求項7】 光学手段は、透光体の内側に配設され該
透光体の外表面部に向けて参照光を出射する発光手段、
ならびに、撮像素子の前方に配設され透光体の外方から
入射される外来光と透光体の外表面部で内側に反射され
た参照光を分離するビームスプリッタを有する反射面と
このビームスプリッタを有する反射面で分離された参照
光画像を帯状に変形させ上記撮像素子の撮像領域の一部
に結像させる集光反射面とを有する分光プリズムを備え
たことを特徴とする請求項1記載の透光体表面の異物検
出装置。 - 【請求項8】 透光体の内側に配設され該透光体の外表
面部に向けて参照光を出射する発光手段と、上記透光体
の内側に配設され該透光体の外方から入射される外来光
と透光体の外表面部で内側に反射された参照光を分離す
る分光プリズムと、この分光プリズムにより分離された
外来光を撮像する第1の撮像素子と、上記分光プリズム
により分離された参照光画像を撮像する第2の撮像素子
と、上記第2の撮像素子によって得られる上記透光体の
外表面部に対応する情報から上記透光体の外表面部の異
物を検出する検出手段とを備えたことを特徴とする透光
体表面の異物検出装置。 - 【請求項9】 参照光と可視光のそれぞれの光路中に、
個別の光学フィルタを備えたことを特徴とする請求項6
から請求項8の何れかに記載の透光体表面の異物検出装
置。 - 【請求項10】 発光手段は、撮像手段の撮像タイミン
グに同期して発光され、また発光時間は撮像時間に応じ
て変化させることを特徴とする請求項2、請求項3、及
び請求項6から請求項9の何れかに記載の透光体表面の
異物検出装置。 - 【請求項11】 発光手段は、撮像手段の撮像周期に同
期して発光と消灯を繰り返すことを特徴とする請求項1
0に記載の透光体表面の異物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002120125A JP3641250B2 (ja) | 2002-04-23 | 2002-04-23 | 透光体表面の異物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002120125A JP3641250B2 (ja) | 2002-04-23 | 2002-04-23 | 透光体表面の異物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003315256A true JP2003315256A (ja) | 2003-11-06 |
JP3641250B2 JP3641250B2 (ja) | 2005-04-20 |
Family
ID=29536440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002120125A Expired - Fee Related JP3641250B2 (ja) | 2002-04-23 | 2002-04-23 | 透光体表面の異物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3641250B2 (ja) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005195566A (ja) * | 2003-08-12 | 2005-07-21 | Hitachi Ltd | 画像処理システム |
JP2006254206A (ja) * | 2005-03-11 | 2006-09-21 | Secom Co Ltd | 画像信号処理装置 |
JP2006262242A (ja) * | 2005-03-18 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2007282106A (ja) * | 2006-04-11 | 2007-10-25 | Matsushita Electric Ind Co Ltd | 車載用撮像装置 |
JP2008064630A (ja) * | 2006-09-07 | 2008-03-21 | Hitachi Ltd | 付着物検知機能付き車載用撮像装置 |
EP1983334A1 (de) * | 2007-04-20 | 2008-10-22 | Sick Ag | Verfahren und Vorrichtung zur optischen Erfassung von Verschmutzungen |
JP2009294159A (ja) * | 2008-06-09 | 2009-12-17 | Nikon Corp | 車載用観察装置 |
JP2010014494A (ja) * | 2008-07-02 | 2010-01-21 | Denso Corp | 異物検出装置、異物検出プログラム、異物除去装置、および車載通信装置 |
JP2010096604A (ja) * | 2008-10-16 | 2010-04-30 | Denso Corp | 視界状態検知装置および視界確保装置 |
KR20110101176A (ko) * | 2009-01-02 | 2011-09-15 | 로베르트 보쉬 게엠베하 | 차량 주변을 캡처하기 위한 카메라 시스템 및 방법 |
JP2011201529A (ja) * | 2010-03-05 | 2011-10-13 | Valeo Vision | 車両搭載に適するカメラ |
KR101173676B1 (ko) | 2010-06-18 | 2012-08-13 | 성형정밀 주식회사 | 스패클 패턴을 이용한 레인 센서 및 스패클 패턴을 이용한 레인 센서에서 빗방울을 검출하는 방법 |
KR101217811B1 (ko) | 2010-07-30 | 2013-01-09 | 주식회사 오토산업 | 우적 감지 장치 |
JP2013096891A (ja) * | 2011-11-02 | 2013-05-20 | Ricoh Co Ltd | 画像処理システム |
JP2013113719A (ja) * | 2011-11-29 | 2013-06-10 | Ricoh Co Ltd | 画像処理システム及びそれを備えた車両 |
JP2013117520A (ja) * | 2011-11-02 | 2013-06-13 | Ricoh Co Ltd | 画像処理装置、撮像方法、プログラムおよび車両 |
JP2014502360A (ja) * | 2010-11-30 | 2014-01-30 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | カメラ及び照明による窓ガラス上の雨滴の検出 |
JP2014024507A (ja) * | 2012-07-30 | 2014-02-06 | Ricoh Co Ltd | 撮像装置、撮像装置の設置方法及び移動装置 |
CN103608722A (zh) * | 2011-06-03 | 2014-02-26 | 康蒂特米克微电子有限公司 | 汽车用摄像系统 |
JP2014041106A (ja) * | 2012-08-23 | 2014-03-06 | Mazda Motor Corp | 撮像装置、車載用監視装置および対象物検知方法 |
JP2014044196A (ja) * | 2012-07-30 | 2014-03-13 | Ricoh Co Ltd | 付着物検出装置、移動装置用機器制御システム及び移動装置 |
JP2014081302A (ja) * | 2012-10-17 | 2014-05-08 | Nikon Corp | 画像処理装置および車載カメラユニット |
JP2014170014A (ja) * | 2011-11-02 | 2014-09-18 | Ricoh Co Ltd | 画像処理装置、撮像方法、プログラムおよび車両 |
JP2014232026A (ja) * | 2013-05-28 | 2014-12-11 | 株式会社リコー | 付着物検出装置、移動体機器制御システム及び移動体 |
JP2014235079A (ja) * | 2013-06-03 | 2014-12-15 | 株式会社リコー | 付着物検出装置、移動体機器制御システム及び移動体 |
JP2015028499A (ja) * | 2012-07-27 | 2015-02-12 | 株式会社リコー | 付着物検出装置、移動体機器制御システム、及びプログラム |
KR101510010B1 (ko) * | 2013-12-17 | 2015-04-07 | 현대자동차주식회사 | 차량의 통합 센서 장치 |
US9040915B2 (en) | 2009-07-06 | 2015-05-26 | Conti Temic Microelectronic Gmbh | Optical module for simultaneously focusing on two fields of view |
JP2015519554A (ja) * | 2012-05-03 | 2015-07-09 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH | カメラ及び照明を用いたガラス面の雨滴検出 |
US20150203076A1 (en) * | 2012-07-27 | 2015-07-23 | Clarion Co., Ltd. | Lens cleaning apparatus |
WO2016084359A1 (en) * | 2014-11-26 | 2016-06-02 | Ricoh Company, Ltd. | Imaging device, object detector and mobile device control system |
JP2016111661A (ja) * | 2014-11-26 | 2016-06-20 | 株式会社リコー | 撮像装置、物体検出装置及び移動体機器制御システム |
US9508015B2 (en) | 2011-12-05 | 2016-11-29 | Continental Teves Ag & Co. Ohg | Method for evaluating image data of a vehicle camera taking into account information about rain |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6353444A (ja) * | 1986-08-22 | 1988-03-07 | Nippon Denso Co Ltd | 光学式液体検出装置 |
JPS6425036A (en) * | 1987-07-20 | 1989-01-27 | Nippon Denso Co | Optical liquid detecting device |
JP2001099948A (ja) * | 1999-09-29 | 2001-04-13 | Denso Corp | レインセンサ |
JP2001516669A (ja) * | 1997-09-13 | 2001-10-02 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | レインセンサの駆動装置および駆動方法 |
-
2002
- 2002-04-23 JP JP2002120125A patent/JP3641250B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6353444A (ja) * | 1986-08-22 | 1988-03-07 | Nippon Denso Co Ltd | 光学式液体検出装置 |
JPS6425036A (en) * | 1987-07-20 | 1989-01-27 | Nippon Denso Co | Optical liquid detecting device |
JP2001516669A (ja) * | 1997-09-13 | 2001-10-02 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | レインセンサの駆動装置および駆動方法 |
JP2001099948A (ja) * | 1999-09-29 | 2001-04-13 | Denso Corp | レインセンサ |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005195566A (ja) * | 2003-08-12 | 2005-07-21 | Hitachi Ltd | 画像処理システム |
JP2006254206A (ja) * | 2005-03-11 | 2006-09-21 | Secom Co Ltd | 画像信号処理装置 |
JP4491360B2 (ja) * | 2005-03-11 | 2010-06-30 | セコム株式会社 | 画像信号処理装置 |
JP4542929B2 (ja) * | 2005-03-18 | 2010-09-15 | セコム株式会社 | 画像信号処理装置 |
JP2006262242A (ja) * | 2005-03-18 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2007282106A (ja) * | 2006-04-11 | 2007-10-25 | Matsushita Electric Ind Co Ltd | 車載用撮像装置 |
JP2008064630A (ja) * | 2006-09-07 | 2008-03-21 | Hitachi Ltd | 付着物検知機能付き車載用撮像装置 |
EP1983334A1 (de) * | 2007-04-20 | 2008-10-22 | Sick Ag | Verfahren und Vorrichtung zur optischen Erfassung von Verschmutzungen |
JP2009294159A (ja) * | 2008-06-09 | 2009-12-17 | Nikon Corp | 車載用観察装置 |
JP2010014494A (ja) * | 2008-07-02 | 2010-01-21 | Denso Corp | 異物検出装置、異物検出プログラム、異物除去装置、および車載通信装置 |
JP2010096604A (ja) * | 2008-10-16 | 2010-04-30 | Denso Corp | 視界状態検知装置および視界確保装置 |
KR20110101176A (ko) * | 2009-01-02 | 2011-09-15 | 로베르트 보쉬 게엠베하 | 차량 주변을 캡처하기 위한 카메라 시스템 및 방법 |
US8913132B2 (en) | 2009-01-02 | 2014-12-16 | Robert Bosch Gmbh | Camera system and method for detecting the surroundings of a vehicle |
JP2012514736A (ja) * | 2009-01-02 | 2012-06-28 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 車両周囲を記録するためのカメラ装置および方法 |
KR101707248B1 (ko) * | 2009-01-02 | 2017-02-15 | 로베르트 보쉬 게엠베하 | 차량 주변을 캡처하기 위한 카메라 시스템 및 방법 |
US9040915B2 (en) | 2009-07-06 | 2015-05-26 | Conti Temic Microelectronic Gmbh | Optical module for simultaneously focusing on two fields of view |
JP2011201529A (ja) * | 2010-03-05 | 2011-10-13 | Valeo Vision | 車両搭載に適するカメラ |
KR101173676B1 (ko) | 2010-06-18 | 2012-08-13 | 성형정밀 주식회사 | 스패클 패턴을 이용한 레인 센서 및 스패클 패턴을 이용한 레인 센서에서 빗방울을 검출하는 방법 |
KR101217811B1 (ko) | 2010-07-30 | 2013-01-09 | 주식회사 오토산업 | 우적 감지 장치 |
JP2014502360A (ja) * | 2010-11-30 | 2014-01-30 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | カメラ及び照明による窓ガラス上の雨滴の検出 |
KR101903981B1 (ko) | 2010-11-30 | 2018-10-05 | 콘티 테믹 마이크로일렉트로닉 게엠베하 | 카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지 |
US9335264B2 (en) | 2010-11-30 | 2016-05-10 | Conti Temic Microelectronic Gmbh | Detection of raindrops on a pane by means of a camera and lighting |
US10137842B2 (en) | 2011-06-03 | 2018-11-27 | Conti Temic Microelectronic Gmbh | Camera system for a vehicle |
CN103608722B (zh) * | 2011-06-03 | 2017-08-15 | 康蒂特米克微电子有限公司 | 汽车用摄像系统 |
CN103608722A (zh) * | 2011-06-03 | 2014-02-26 | 康蒂特米克微电子有限公司 | 汽车用摄像系统 |
JP2014523359A (ja) * | 2011-06-03 | 2014-09-11 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 自動車用カメラ・システム |
JP2013096891A (ja) * | 2011-11-02 | 2013-05-20 | Ricoh Co Ltd | 画像処理システム |
JP2014170014A (ja) * | 2011-11-02 | 2014-09-18 | Ricoh Co Ltd | 画像処理装置、撮像方法、プログラムおよび車両 |
US9616852B2 (en) | 2011-11-02 | 2017-04-11 | Ricoh Company, Ltd. | Image processing apparatus, image-capturing method, and vehicle |
JP2013117520A (ja) * | 2011-11-02 | 2013-06-13 | Ricoh Co Ltd | 画像処理装置、撮像方法、プログラムおよび車両 |
JP2013113719A (ja) * | 2011-11-29 | 2013-06-10 | Ricoh Co Ltd | 画像処理システム及びそれを備えた車両 |
US9508015B2 (en) | 2011-12-05 | 2016-11-29 | Continental Teves Ag & Co. Ohg | Method for evaluating image data of a vehicle camera taking into account information about rain |
US9702818B2 (en) | 2012-05-03 | 2017-07-11 | Conti Temic Microelectronic Gmbh | Detection of raindrops on a windowpane by means of camera and light |
JP2015519554A (ja) * | 2012-05-03 | 2015-07-09 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH | カメラ及び照明を用いたガラス面の雨滴検出 |
JP2015028499A (ja) * | 2012-07-27 | 2015-02-12 | 株式会社リコー | 付着物検出装置、移動体機器制御システム、及びプログラム |
US20150203076A1 (en) * | 2012-07-27 | 2015-07-23 | Clarion Co., Ltd. | Lens cleaning apparatus |
US9616856B2 (en) * | 2012-07-27 | 2017-04-11 | Clarion Co., Ltd. | Lens cleaning apparatus |
JP2014044196A (ja) * | 2012-07-30 | 2014-03-13 | Ricoh Co Ltd | 付着物検出装置、移動装置用機器制御システム及び移動装置 |
JP2014024507A (ja) * | 2012-07-30 | 2014-02-06 | Ricoh Co Ltd | 撮像装置、撮像装置の設置方法及び移動装置 |
JP2014041106A (ja) * | 2012-08-23 | 2014-03-06 | Mazda Motor Corp | 撮像装置、車載用監視装置および対象物検知方法 |
JP2014081302A (ja) * | 2012-10-17 | 2014-05-08 | Nikon Corp | 画像処理装置および車載カメラユニット |
JP2014232026A (ja) * | 2013-05-28 | 2014-12-11 | 株式会社リコー | 付着物検出装置、移動体機器制御システム及び移動体 |
JP2014235079A (ja) * | 2013-06-03 | 2014-12-15 | 株式会社リコー | 付着物検出装置、移動体機器制御システム及び移動体 |
US9550474B2 (en) | 2013-12-17 | 2017-01-24 | Hyundai Motor Company | Integrated sensor apparatus of vehicle |
KR101510010B1 (ko) * | 2013-12-17 | 2015-04-07 | 현대자동차주식회사 | 차량의 통합 센서 장치 |
JP2016111661A (ja) * | 2014-11-26 | 2016-06-20 | 株式会社リコー | 撮像装置、物体検出装置及び移動体機器制御システム |
WO2016084359A1 (en) * | 2014-11-26 | 2016-06-02 | Ricoh Company, Ltd. | Imaging device, object detector and mobile device control system |
US10628696B2 (en) | 2014-11-26 | 2020-04-21 | Ricoh Company, Ltd. | Imaging device, object detector and mobile device control system |
Also Published As
Publication number | Publication date |
---|---|
JP3641250B2 (ja) | 2005-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3641250B2 (ja) | 透光体表面の異物検出装置 | |
EP2773944B1 (en) | Image processing apparatus, image-capturing method, and vehicle | |
US8031224B2 (en) | Camera system, method for operation of a camera system and sensor device of a camera system | |
JP6468482B2 (ja) | 撮像装置、物体検出装置及び移動体機器制御システム | |
US9726604B2 (en) | Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices | |
US7485844B2 (en) | System and method for controlling vehicle equipment by determining spatial composition of an image of a vehicle window | |
JP4359121B2 (ja) | Cmosまたはccd技術のマトリクスを有する多機能統合化視覚システム | |
JP4930316B2 (ja) | 雨滴量検出装置およびそれを用いたワイパ制御装置、ヘッドライト制御装置 | |
JP5819400B2 (ja) | 天候による視界制限の検出により車両の走行の際運転者を支援する方法及び装置 | |
US20140247357A1 (en) | Attached matter detector, and attached matter detection method | |
EP3002711B1 (en) | Image capturing apparatus, image capturing method, carrier medium, and device control system for controlling vehicle-mounted devices | |
US20160341848A1 (en) | Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program | |
EP2846151A1 (en) | Light guide member, object detection apparatus, and vehicle | |
JP6555569B2 (ja) | 画像処理装置、移動体機器制御システム及び画像処理用プログラム | |
JP6098575B2 (ja) | 撮像ユニット、画像処理装置および車両 | |
JP2017003531A (ja) | 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム | |
JP6701542B2 (ja) | 検出装置、移動体機器制御システム及び検出用プログラム | |
JP5891723B2 (ja) | 撮像方法および撮像ユニット | |
WO2013035320A1 (ja) | 観察装置 | |
JP2015169567A (ja) | 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム | |
JP2016218046A (ja) | 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム | |
WO2013035321A1 (ja) | 付着物検出装置 | |
JP6566308B2 (ja) | 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050120 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |