JP2002502048A - 光を通す窓ガラスの上にある物体を検出する方法と装置 - Google Patents
光を通す窓ガラスの上にある物体を検出する方法と装置Info
- Publication number
- JP2002502048A JP2002502048A JP2000529995A JP2000529995A JP2002502048A JP 2002502048 A JP2002502048 A JP 2002502048A JP 2000529995 A JP2000529995 A JP 2000529995A JP 2000529995 A JP2000529995 A JP 2000529995A JP 2002502048 A JP2002502048 A JP 2002502048A
- Authority
- JP
- Japan
- Prior art keywords
- image
- window glass
- light
- evaluation
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000005357 flat glass Substances 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000005286 illumination Methods 0.000 claims abstract description 25
- 241001074085 Scophthalmus aquosus Species 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000003491 array Methods 0.000 claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005219 brazing Methods 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/94—Investigating contamination, e.g. dust
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
る分野に関する。特に、この発明は光センサアレーを含む検出ユニットを使用し
て光を通す窓ガラス上に存在する物体を検出する方法に関する。更に、この発明
は光を通す窓ガラス上に存在する照明された物体を検出する装置、照明装置から
放出されて反射された光ビームを検出するため光センサアレーを備えた検出ユニ
ットおよび評価ユニットに関する。
上に存在する雨滴の検出用に使用される。これに関連する装置はそれに合わせて
雨センサと称されている。米国特許第 4 867 561号明細書によりそのような方法
およいそのような雨センサは周知である。この明細書に開示されている検出方法
は風防ガラスの外側での全反射を利用した反射原理に従って動作する。このため
、雨センサは照明装置として形成された赤外線ダイオード(IRダイオード)を
有し、このダイオードの放出した光ビームは内側で観察すべき風防ガラスの一部
に指向している。検出ユニットとしては光センサアレーが使用され、このアレー
には感光面上にIRダイオードを結像するためレンズが前置接続されている。照
明ユニットと検出ユニットは発光ダイオードから放出され、風防ガラスの全反射
により反射した光ビームが風防ガラス上に物がない時センサアレー上に結像する
ように互いに配置されている。この周知の方法は、風防ガラス上に物体が存在し
ない場合、照明装置から放出された光ビームの前記全反射が風防ガラスの外側で
センサアレーに向けて行われるという事実を利用している。これに反して、雨滴
が風防ガラスの外側にあるなら、光ビームが雨滴から取り出されるので、光ビー
ムの一部しかセンサアレーの方に反射しない。従って、センサアレーで検出でき
る光強度は、雨滴が風防ガラス上に存在する場合、全反射で検出される光強度に
比べて少ない。
、照明装置から放出された光ビームに付属していない信号成分を更に評価しない
ようにしている。このため、フィルタは波長に固有に調整されている。次に、濾
波されたセンサアレーの出力信号は比較回路に導入され、この中で検出した光強
度が所定のしきい値と比較される。検出した光強度がしきい値信号より小さいな
ら、比較回路の出力端にワイパーモータを駆動するマイクロコンピュータに印加
する制御信号が出力する。
古いものに比べて改善された検出を可能にする場合でも、この方法は誤差の影響
を受けている。自動車の車体あるいは風防ガラスで屈折した太陽光線もしくは他
の光ビームも乱れの要因と見なせる。この屈折では赤外線成分も生じて、これが
センサアレーに印加する。センサアレーで検出された光強度の評価はしきい値を
予め指定することにより照明装置の放出した光強度に合わせてあるので、この種
の二次的な影響は風防ガラス上に付着している雨滴による光ビームの取出が重な
るので、得られた評価結果は実際の状況にはもはや一致していない。
のような物体を検出するのには不適切である。
ス上に存在する物体を正確に検出することを保証し、同時に関連のない光信号あ
るいは擾乱の影響を抑制する、光を通す窓ガラス上に存在する物体を検出する方
法を提供することにある。更に、この発明の課題はそれに対応する装置を提供す
ることにある。
ーを含む検出ユニットを使用して光を通す窓ガラスの上にあり、照明時に光の反
射を発生する物体を検出する方法であって、以下の過程、 −窓ガラスを照明し、検出ユニットを配置した窓ガラス側の窓ガラスの上に存在 する物体で光の反射を発生させ、 −像の対を形成する窓ガラスの一部の二つの像を処理して検出ユニットを用いて 照明された窓ガラスの一部を像で検出し、窓ガラスの上に存在する物体の照明 で発生した光の反射の両方の像をそれぞれ異なる位置の画素上に配置し、 −窓ガラスの一部の一方の像の同じ位置の画素の内容を窓ガラスの一部の他方の 像の同じ位置の画素の内容から引算して像の対の両方の画像の差動像を求め、 −次に個々の画素に付属する内容に関して求めた差動像を評価する、 を実施する方法によって解決されている。
の一部の観察すべき窓ガラスの表面がセンサアレーの受光面に生じる窓ガラスの
一部の結像の焦点範囲内にあるように窓ガラスに対して配置されているただ一つ
のセンサアレーを使用することによって解決されている。
置された二つの光センサアレーを有し、この配置ではセンサアレーで検出された
窓ガラスの一部の観察すべき窓ガラスの表面がセンサアレーの受光面に生じる窓
ガラスの一部の結像の焦点範囲内にあり、前期光センサアレーが窓ガラスの一部
を監視するために配置され、監視する窓ガラスに対して一定間隔内にあるバック
グランドが両方のセンサアレー上の同じ位置の画素に結像することによって解決
されている。
いたりあるいはその画素の内容に基づくだけでなく、その構成に関連してそれぞ
れ窓ガラスの一部の像として、そして共通に像の対として称される個々の二つの
像に基づいて行われる。その場合、窓ガラスの一部の二つの像で同じ窓ガラスの
一部が再現できるが、窓ガラスの上に存在する物体の照明で発生した光の反射が
窓ガラスの一部の各像の中で位置の異なる画素あるいは窓ガラスの一部の像上に
のみ結像し、これに反して、窓ガラス上に存在する物体の照明で発生した光の反
射に起因しない影響は窓ガラスの一部の両方の像内でそれぞれ位置の等しい画素
上に結像される。検出すべき窓ガラスの一部の像の照明は既存の周囲の光(日光
)によるか、あるいは付加的な照明装置により行われる。窓ガラスの一部の二つ
の像からの差動像を求める次の過程では、等しい位置の画素の内容どうしが互い
に引算される。結果として、これは同じ像内容を持つ等しい位置の画素を引算し
た結果となる画素の内容は値0を有する差動像となる。これに反して、像内容が
例えば位置の異なっる光の反射を検出して異なっている差動像の画素は0とは異
なる値、例えば値1を得る。乱れの影響は一般にバックグラウンドから生じるの
で、これは窓ガラスの一部の両方の像については等しい位置の画素上に結像され
、差動像を求めると消える。その結果、主に窓ガラス上に付着した物体に帰属さ
せるべき信号を次に評価する。
検出されることにより処理されるが、窓ガラスの一部の像の各々は照明装置から
放出された光ビームの窓ガラスへの入射方向に関して異なった照明配置で検出さ
れる。そのような構成では、最初に検出した像の対の窓ガラスの一部の像は、像
の対の窓ガラスの一部の第二の像を検出するまで像記憶器に保管されている。更
に、窓ガラスの一部の二つの像はセンサアレーの立体配置を使用しても処理でき
る。センサアレーのこの立体配置はこのアレーから一定の間隔以降、このセンサ
アレー配置により検出されるバックグランドが同じ位置の画素上に結像されるよ
うに調整されている。これに関連する距離としては、例えばボンネットの前方端
部から風防ガラスまでの距離を使用する。窓ガラスの一部の二つの像を二つのセ
ンサアレーで同時に検出すると合理的である。このセンサアレー配置は十分な周
囲の光が存在している場合能動的な照明装置なしでも動作させることができる。
周囲の光が十分でないなら、この立体センサアレー配置に窓ガラスあるいはその
上の検出すべき物体を照明する共通の照明装置を付属させている。この配置では
、上に述べたバックグランドの結像に関する要請が与えられている限り、同じ窓
ガラスの一部を必ずしも観察する必要はない。
は窓ガラスの内側表面あるいは窓ガラスの両方の表面を観察できる。
書に開示するような差動像エネルギ測定によるエネルギ予測方法で行われる。こ
の方法もここではこの明細書の対象内容である。
える。そのような評価では評価方法が縁部分演算子を用いて差動像を処理するこ
とを有すると有効であり、この縁部分処理では、同じ面を同時に抑制して縁部分
を強調する。基本的には縁部分処理として、例えば勾配形成、あるいは微分ある
いは確率的な演算子の使用を採用できる。その場合、確率的な処理の使用が有利
である。
を行う。差動像を更に処理するため、およびあり得る残留擾乱の影響を更に除去
するため、求めた差動像の評価には更に時間的な低域濾波がある。このような低
域濾波では、検出すべき窓ガラス上の物体を多数の像シーケンスあるいは同じ画
素上の像周期により検出できることを前提としている。それ故、この濾波では、
例えば風防ガラスの引っかき傷によるものであり、個々の像シーケンス内だけに
含まれている強い光または反射が除去される。
セットを作成することを含むので、結果として差動像の各画素に値0または値1
が割り当てられる。二進像データセットの形成は画素内容を所定のしきい値と比
較して行われる。この過程には全像エネルギ計算が続く。この計算では縁部分あ
るいは明暗境界(=検出した光反射)に関する情報を得るため全ての画素の値が
積算される。他の比較過程では比較回路内で全像エネルギと一定あるいは適応性
のしきい値との比較が行われる。この比較回路は、しきい値を越えた時、アクチ
エータ、例えばワイパーのモータを駆動する信号を出力する。
形成による評価も行われる。その時、形成されたクラスターは通常の統計方法の
補助処置で評価できる。統計的なクラスター評価の結果が全エネルギ計算に引き
続き比較過程を実施するために必要なしきい値の設定に使用される評価方法は特
に好ましい。これにより比較回路のしきい値を検出する物体の大きさに合わせる
ことができる。
検出ユニット1には、光ラインセンサ4,例えばCCDの列、このラインセンサ
4に前置された凸レンズ5およびピンホール絞り6がある。検出ユニット1は風
防ガラス4の外側に焦点合わせされている。その場合、ピンホール絞り6により
ラインセンサ4の受光面上に結像する風防ガラスの一部の焦点深度範囲も風防ガ
ラス2の外側表面のやや上の、および風防ガラス2の内側表面の範囲内にある領
域を有する。風防ガラス2の上に付着した雨滴3で光の反射を生じるようにする
ため、照明装置7を設ける。この装置は、図示する実施例の場合、二つのIRダ
イオード8,9で構成されている。
位置の異なる画素にある窓ガラスの一部の二つの像を処理するため、窓ガラスの
一部の第一像は、雨滴3を照明する場合、IRダイオード8のみで検出される。
この状況は図1の左半分に表題「照明右」にして示してある。発光ダイオード8
から放出された光ビームが雨滴3で反射して生じる光の反射Rl はラインセンサ
4の所要結像鮮明度であるいはその数画素で検出される。次いで、窓ガラスの一
部の第二像は風防ガラス2を発光ダイオード9で照明する場合に検出されるので
、この照明により生じる光の反射Rr はラインセンサ4の十分な結像鮮明度であ
るいはその若干の画素で検出される。この検出状況は図1の右半分に表題「照明
右」にして示してある。
出された光ビームが異なった入射方向から風防ガラス2を照明し、それに応じて
雨滴3の異なった位置で光反射Rl もしくはRr を発生する。それ故、ラインセ
ンサ4で検出され、雨滴3で発生した光の反射Rl ,Rr がラインセンサ4の少
なくとも部分的に異なった画素上に結像する。説明のため、センサ列4はその上
に結像する光の反射Rl ,Rr を図1の下部に重ねて配置して検出した窓ガラス
の一部の像に対して同意語として表してある。第一処理過程で窓ガラスの一部の
二つの像から差動像が形成されると、参照符号Dで模式的に示すように仮想的な
差動像が生じる。この差動像Dでは、左から照明して検出された窓ガラスの一部
の下部像の同じ位置の画素の内容が右から照明して検出された窓ガラスの一部の
像のそれから引算されている。同じ位置の画素は同じ内容を有するので値0とな
り、差動像D内に黒で示してある。同じ位置の画素の間の数値の相違はそれに合
わせて照明された画素として差動像D内に示してある。窓ガラスの一部の両方の
像で検出された光の反射Rl ,Rr は、図示する実施例の場合、部分的に交差し
ているので、この領域では差動像D内でも黒くなっている。こうして、この差動
像検出の結果は両方の光の反射Rl ,Rr あるいはその光反射成分Rl',Rr'を
表す。
際の物体、例えば雨滴3が風防ガラス2に付着している時のみ当然検出ユニット
1で検出されることが分かる。これに反して、風防ガラス2上に物体が存在しな
いなら、時間的に合い前後して検出した窓ガラスの一部の両方の像内にはそれぞ
れ同じバックグランドが検出されているので、差動像を形成した後には差動像の
画素内容は全部値0となる。照明によりバックグランドで生じうる光の反射は検
出ユニット1で検出されるが、この光の反射は風防ガラス2との間隔より非常に
大きいので一方で光強度を低くし、他方で同じ位置の画素上に結像される。
10により露光時間を制御されていることが分かる。IRダイオード8とIRダ
イオード9を交互に点灯することにより検出ユニット1により同時にそれぞれ一
つの窓ガラスの一部の像が撮影される。処理すべき一対の像の最初に撮影された
窓ガラスの一部の像は像記憶器11の中に保管され、次いで窓ガラスの一部の第
二の像を検出ユニット1で検出した時にこの記憶器から再び呼び出される。次い
で、一対の像の窓ガラスの一部の両方の像を差動像形成部12に入れる。この中
では窓ガラスの一部の両方の像を基に上に説明したように差動像Dを求める。
。第一評価過程では、縁部分処理回路13内で縁部分処理が行われ、この縁部分
処理により差動像Dの縁部分の強調あるいは明暗境界の強調が同時に同じ面を抑
制して行われる。縁部分処理演算子として確率論的な演算子を使用すると有利で
ある。
ルタ14中で濾波される。フィルタ長は、図示する実施例の場合、三つの画素と
なる。当然、適当な他のフィルタ長も使用できる。中位に濾波された差動像は更
なる評価過程では低域通過濾波器15中で時間的に低域濾波されるので、この濾
波の後、所定数の像周期にわたり検出求めた差動像の画素には0とは異なる値が
含まれている。従って、この低域濾波器15により、例えば個々の像周期内のみ
存在する近づいて来る乗物あるいは風防ガラスの引っかき傷による強い光が濾波
される。
発生する判定回路16に導入される。その結果、この過程までに処理された差動
像の各画素は値0または値1の何れかになる。判定回路16の上記の機能は同じ
ものに所定のしきい値を加えて達成される。
れに続くしきい値比較およびクラスター処理とそれに続く静的な評価が行われる
。像エネルギ計算は像エネルギ計算回路17中で行われる。この回路では値1と
なる二進像データの組としてある差動像の画素の数を求める。つまり、窓ガラス
の一部の像の各々に対して使用される照明手段の個数に応じて、風防ガラス2上
で検出された雨滴の実際の個数に関する情報が得られる。この値は比較回路18
に導入され、この回路の出力は図示していないアクチエータ、例えばワイパーモ
ータを制御するため、マイクロプロセッサ19の入力端に入力する。比較回路1
8にはしきい値が入力し、このしきい値は、図示する実施例の場合、調節可能で
ある。
程で先ず、値1となる画素の内容の位置に依存するクラスター化が行われる。所
定のクラスター化の条件により、クラスター化条件を満たす画素を一つのクラス
ターとして集める。この処理過程はクラスター回路20の中で行われる。クラス
回路20には出力側で形成されたクラスターの数を静的に評価する静的評価回路
21が接続している。結果として検出した雨滴の大きさの評価が可能である。静
的評価の結果は、図示する実施例の場合、比較回路19に入力するしきい値を合
わせるために使用される。こうして、検出された物体の形態的に変化する特性の
直接的な帰還がそれに合わせたアクチエータの駆動に関して行われる。
カメラセンサ23,24は、図1の光センサアレーと同じように、それぞれ一つ
の光学系と前置接続された一つのピンホール絞りを有する。カメラセンサ23,
24は制限されることなく集束するが、風防ガラス2の外側および内側の表面が
結像の焦点範囲内にある。両方のカメラセンサの光軸O1 またはO2 は互いに平
行で、互いに間隔を保って配置されている。図1の配置の場合と同じように、こ
の検出ユニット22では雨滴3で発生した光の反射をカメラセンサ23と24の
異なった画素に結像させる。これに反して、他の距離の風防ガラス2に関して結
像されたバックグランドの影響が同じ位置の画素に入力する。これにより焦点深
度の検出に対する不一致予測が行われる。前に説明したように、同時に検出され
た窓ガラスの一部の二つの像を前提にして差動像の形成が行われる。
う一度示す。両方のカメラセンサ23,24の出力は差動像12に直接入力する
。更なる評価は図2に付いて説明した評価方法に応じて行われる。
例えばデータが非常に信頼性のある雨センサを設置できる。光センサアレーとし
てはラインカメラや面カメラも使用できる。図3と4に示す立体センサアレー配
置は雨センサの検出ユニット22として機能の外に他の監視機能も引き受ける。
な評価の代わりにソフトウェヤ的に行えることは明らかである。
する物体を検出する装置の模式図、
なブロック回路図、
る物体を検出する他の装置の模式図、
る模式的なブロック回路図を示す。
Claims (15)
- 【請求項1】 一つまたはそれ以上の光センサアレーを含む検出ユニット(
1,22)を使用して光を通す窓ガラス(2)の上に存在し、照明時に光の反射
を発生する物体(3)を検出する方法において、以下の過程、 −窓ガラス(2)を照明し、検出ユニット(1,22)を配置した窓ガラス側の 窓ガラスの上に存在する物体(3)で光の反射(Rl,Rr )を発生させ、 −像の対を形成する窓ガラスの一部の二つの像を処理して検出ユニット(1,2 2)を用いて照明された窓ガラスの一部を映像で検出し、窓ガラス(2)の上 に存在する物体(3)の照明で発生した光の反射(Rl,Rr )の両方の像をそ れぞれ異なる位置の画素上に配置し、 −窓ガラスの一部の一方の像の同じ位置の画素の内容を窓ガラスの一部の他方の 像の同じ位置の画素の内容から引算して像の対の両方の像の差動像(D)を求 め、 −次に個々の画素に付属する内容に関して求めた差動像を評価する、 を実施することを特徴とする方法。 - 【請求項2】 窓ガラスの一部の両方の像は同じ光センサアレー(4)であ
るが、窓ガラス(2)への入射方向の異なるそれぞれ異なった照明配置で検出す
ることを特徴とする請求項1に記載の方法。 - 【請求項3】 窓ガラスの一部の両方の像は共通の照明装置を使用して互い
に間隔を保って配置された光センサアレー(23,24)を用いて検出すること
を特徴とする請求項1に記載の方法。 - 【請求項4】 求めた差動像(D)の評価には縁部分処理があり、この処理
では縁部分を際立たせるたせる増幅が行われ同時に同じ面を抑制することを特徴
とする請求項1〜3の何れか1項に記載の方法。 - 【請求項5】 縁部分の強調は確率論的な演算子を使用して行われることを
特徴とする請求項4に記載の方法。 - 【請求項6】 求めた差動像(D)の評価には時間的な低域通過濾波がある
ことを特徴とする請求項1〜5の何れか1項に記載の方法。 - 【請求項7】 求めた差動像(D)の評価には差動像の画素の内容から二進
像データの組を作成する過程があり、各画素には値0か値1が付属していること
を特徴とする請求項1〜6の何れか1項に記載の方法。 - 【請求項8】 求めた差動像(D)の評価には全像のエネルギ計算があり、
この計算では差動像(D)の全ての画素の値が積算され、エネルギ計算の過程に
は比較過程が続き、この比較過程では求めた全像を一つまたはそれ以上のしきい
値と比較することを特徴とする請求項7に記載の方法。 - 【請求項9】 求めた差動像(D)の評価には値1を持つ隣接する画素をク
ラスター化することがあり、このクラスター化には発生したクラスターを静的に
評価ことが続くことを特徴とする請求項7に記載の方法。 - 【請求項10】 全像のエネルギ計算に続き比較過程を実施するために必要
なしきい値は静的なクラスター評価の結果に応じて設定されることを特徴とする
請求項7または9に記載の方法。 - 【請求項11】 窓ガラス(2)を一方の側から照明する照明装置(7)と
、照明装置から放出され反射した光ビームを検出する光センサアレー(4)のあ
る検出ユニット(1)と、評価ユニットとを備え、光を通す窓ガラス(2)の上
に存在する照明される物体(3)を検出する装置において、検出ユニット(1)
としてセンサアレー(4)で検出された窓ガラスの一部の観察すべき窓ガラスの
表面がセンサアレー(4)の受光面に生じる窓ガラスの一部の映像の焦点範囲内
にあるように窓ガラス(2)に対して配置されているただ一つのセンサアレー(
4)を使用することを特徴とする装置。 - 【請求項12】 光の反射を検出する検出ユニット(22)を評価ユニット
を備え、光を通す窓ガラス(2)の上に存在する照明される物体(3)を検出す
る装置において、検出ユニット(22)が立体配置の互いに間隔を保って配置さ
れた二つの光センサアレー(22)を有し、この配置ではセンサアレー(23,
24)で検出された窓ガラスの一部の観察すべき窓ガラスの表面がセンサアレー
(23,24)の受光面に生じる窓ガラスの一部の映像の焦点範囲内にあり、前
期光センサアレーが窓ガラスの一部を監視するために配置され、監視する窓ガラ
スに対して一定間隔内にあるバックグランドが両方のセンサアレー上の同じ位置
の画素に結像することを特徴とする装置。 - 【請求項13】 検出ユニット(22)には共通の照明装置が付属している
ことを特徴とする請求項12に記載の装置。 - 【請求項14】 センサアレー(23,24)の光軸(O1,O2 )は互いに
平行に指向されていることを特徴とする請求項12または13に記載の装置。 - 【請求項15】 窓ガラスは自動車の風防ガラス(2)であることを特徴と
する請求項12,13または14に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19803694A DE19803694C1 (de) | 1998-01-30 | 1998-01-30 | Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung |
DE19803694.9 | 1998-01-30 | ||
PCT/EP1999/000229 WO1999038737A1 (de) | 1998-01-30 | 1999-01-16 | Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002502048A true JP2002502048A (ja) | 2002-01-22 |
JP2002502048A5 JP2002502048A5 (ja) | 2008-05-29 |
JP4210431B2 JP4210431B2 (ja) | 2009-01-21 |
Family
ID=7856195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000529995A Expired - Fee Related JP4210431B2 (ja) | 1998-01-30 | 1999-01-16 | 光を通す窓ガラスの上にある物体を検出する方法と装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6323477B1 (ja) |
EP (1) | EP1053140B1 (ja) |
JP (1) | JP4210431B2 (ja) |
AU (1) | AU2421499A (ja) |
BR (1) | BR9907714A (ja) |
DE (2) | DE19803694C1 (ja) |
ES (1) | ES2178381T3 (ja) |
WO (1) | WO1999038737A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013035322A1 (ja) * | 2011-09-05 | 2013-03-14 | 株式会社ニコン | 観察装置 |
WO2013035320A1 (ja) * | 2011-09-05 | 2013-03-14 | 株式会社ニコン | 観察装置 |
WO2013065870A1 (en) * | 2011-11-02 | 2013-05-10 | Ricoh Company, Limited | Image processing apparatus, image-capturing method, and vehicle |
JP2014172490A (ja) * | 2013-03-08 | 2014-09-22 | Mazda Motor Corp | 車両の運転支援装置 |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7019275B2 (en) * | 1997-09-16 | 2006-03-28 | Gentex Corporation | Moisture sensor and windshield fog detector |
US6681163B2 (en) * | 2001-10-04 | 2004-01-20 | Gentex Corporation | Moisture sensor and windshield fog detector |
US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
US6278377B1 (en) | 1999-08-25 | 2001-08-21 | Donnelly Corporation | Indicator for vehicle accessory |
US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
US6420975B1 (en) | 1999-08-25 | 2002-07-16 | Donnelly Corporation | Interior rearview mirror sound processing system |
US6313457B1 (en) | 1999-01-25 | 2001-11-06 | Gentex Corporation | Moisture detecting system using semiconductor light sensor with integral charge collection |
DE19909987C2 (de) * | 1999-03-06 | 2003-04-10 | Kostal Leopold Gmbh & Co Kg | Anordnung zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten |
DE19929964A1 (de) * | 1999-06-29 | 2001-01-04 | Valeo Auto Electric Gmbh | Einrichtung und Verfahren zur Erfassung von Medien wie Wasser, Beschlag, Schmutz und dergleichen auf einer Scheibe eines Fahrzeuges |
WO2001064481A2 (en) | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
US7480149B2 (en) | 2004-08-18 | 2009-01-20 | Donnelly Corporation | Accessory module for vehicle |
US6396408B2 (en) | 2000-03-31 | 2002-05-28 | Donnelly Corporation | Digital electrochromic circuit with a vehicle network |
US6614043B2 (en) * | 2001-04-16 | 2003-09-02 | Valeo Electrical Systems, Inc. | Imaging rain sensor illumination positioning system |
JP4565460B2 (ja) * | 2001-05-16 | 2010-10-20 | ナイルス株式会社 | 付着物検出装置、およびそれを用いたワイパー制御装置 |
US6596978B2 (en) | 2001-06-28 | 2003-07-22 | Valeo Electrical Systems, Inc. | Stereo imaging rain sensor |
DE10139514A1 (de) * | 2001-08-10 | 2003-02-20 | Bosch Gmbh Robert | Transmissionsdetektor für einen Fensterkörper, insbesondere die Windschutzscheibe eines Kraftfahrzeuges, sowie Reinigungsvorrichtung für einen Sichtbereich eines Fensterkörpers |
US6617564B2 (en) | 2001-10-04 | 2003-09-09 | Gentex Corporation | Moisture sensor utilizing stereo imaging with an image sensor |
WO2003065084A1 (en) | 2002-01-31 | 2003-08-07 | Donnelly Corporation | Vehicle accessory module |
DE10250705A1 (de) * | 2002-10-31 | 2004-05-13 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Schattenkompensation in digitalen Bildern |
US6876133B2 (en) * | 2003-04-14 | 2005-04-05 | Agilent Technologies, Inc. | Latching relay with switch bar |
EP1496335A3 (de) * | 2003-07-11 | 2005-04-06 | Leuze electronic GmbH + Co KG | Optoelektronische Vorrichtung |
JP4326999B2 (ja) * | 2003-08-12 | 2009-09-09 | 株式会社日立製作所 | 画像処理システム |
GB2415776B (en) * | 2004-06-28 | 2009-01-28 | Carglass Luxembourg Sarl Zug | Investigation of vehicle glazing panels |
US8256821B2 (en) | 2004-12-15 | 2012-09-04 | Magna Donnelly Engineering Gmbh | Accessory module system for a vehicle window |
EP3624086A1 (en) | 2007-01-25 | 2020-03-18 | Magna Electronics Inc. | Radar sensing system for vehicle |
GB2479677A (en) * | 2007-04-23 | 2011-10-19 | Belron Hungary Kft Zug Branch | Glazing panel investigation |
DE102008005064B4 (de) * | 2008-01-18 | 2010-06-17 | Sick Ag | Optoelektronisches Detektionsverfahren und optoelektronischer Detektor |
US8570374B2 (en) | 2008-11-13 | 2013-10-29 | Magna Electronics Inc. | Camera for vehicle |
FR2940490B1 (fr) * | 2008-12-19 | 2011-05-13 | Thales Sa | Procede d'imagerie passive et de detection de pluie |
DE102011055343A1 (de) * | 2011-11-15 | 2013-05-16 | Continental Automotive Gmbh | Verfahren zur Regendetektion mittels einer Kamera |
DE102011056051A1 (de) | 2011-12-05 | 2013-06-06 | Conti Temic Microelectronic Gmbh | Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen |
DE102011056690A1 (de) * | 2011-12-20 | 2013-06-20 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Ermittlung von Feuchtigkeit auf einer Fahrzeugscheibe |
JP5648712B2 (ja) * | 2012-07-27 | 2015-01-07 | 株式会社リコー | 付着物検出装置、移動体機器制御システム、及びプログラム |
DE102014209197B4 (de) * | 2014-05-15 | 2024-09-19 | Continental Autonomous Mobility Germany GmbH | Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug |
DE102015003471A1 (de) | 2015-03-19 | 2015-08-27 | Daimler Ag | Regensensor und Verfahren zum Betrieb eines Regensensors |
DE102017101261B4 (de) | 2016-03-08 | 2021-03-25 | Elmos Semiconductor Se | Digitalisierter Regensensor zur Vermessung der optischen Reflexionseigenschaften eines möglicherweise mit Flüssigkeit benetzten Objekts für die Verwendung in Kraftfahrzeugen |
DE102017101260B4 (de) | 2016-03-08 | 2021-03-25 | Elmos Semiconductor Se | Verfahren zum optischen Vergleich der Transmissionseigenschaften zweier Übertragungsstrecken für die Verwendung in Kfz |
DE102017101257B4 (de) | 2016-03-08 | 2021-03-25 | Elmos Semiconductor Se | Verfahren zur optischen Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz |
DE102017101258B4 (de) | 2016-03-08 | 2021-03-25 | Elmos Semiconductor Se | Verfahren zur optisch quantitativen Detektion von Wasser auf der Scheibe eines Kraftfahrtzeuges |
DE102017101259B4 (de) | 2016-03-08 | 2021-03-25 | Elmos Semiconductor Se | Optischer Sensor zur Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz |
US10689203B2 (en) | 2016-06-15 | 2020-06-23 | Laitram, L.L.C. | Wet case detector in a conveyor belt |
EP3814108B1 (en) * | 2018-06-28 | 2023-08-02 | 3D Systems, Inc. | Three-dimensional printing system with integrated scan module calibration |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5795759A (en) * | 1980-12-05 | 1982-06-14 | Canon Inc | Picture signal processing device |
JPS58204337A (ja) * | 1982-05-25 | 1983-11-29 | Fujitsu Ten Ltd | 水滴検知装置 |
JPS5917660A (ja) * | 1982-07-21 | 1984-01-28 | Shigeru Ando | 画像信号処理装置 |
JPS60163350U (ja) * | 1984-04-10 | 1985-10-30 | 市光工業株式会社 | 車輛用雨滴検知器 |
JPS6353444A (ja) * | 1986-08-22 | 1988-03-07 | Nippon Denso Co Ltd | 光学式液体検出装置 |
JPS63225117A (ja) * | 1987-03-14 | 1988-09-20 | Matsushita Electric Works Ltd | 光走査型変位測定装置 |
JPS6425036A (en) * | 1987-07-20 | 1989-01-27 | Nippon Denso Co | Optical liquid detecting device |
JPH01134232A (ja) * | 1987-10-17 | 1989-05-26 | Daimler Benz Ag | 視程測定装置 |
JPH02161337A (ja) * | 1988-12-14 | 1990-06-21 | Nagoya Denki Kogyo Kk | 路面状態検知装置 |
JPH03269313A (ja) * | 1990-03-20 | 1991-11-29 | Mitsubishi Electric Corp | 車間距離検出装置 |
JPH06292015A (ja) * | 1993-04-06 | 1994-10-18 | Hitachi Ltd | 2値化装置、並びにそれを備えた読取装置及びファクシミリ装置 |
JPH0829325A (ja) * | 1994-07-18 | 1996-02-02 | Hiromi Mochida | 降雨検知装置及び自動車用自動ワイパー装置 |
JPH0850018A (ja) * | 1994-08-05 | 1996-02-20 | Honda Motor Co Ltd | 距離測定装置および方法 |
JPH0894352A (ja) * | 1994-09-21 | 1996-04-12 | Mitsubishi Electric Corp | 距離測定装置 |
JPH08331372A (ja) * | 1995-05-26 | 1996-12-13 | Xerox Corp | イメージ信号の非整数の解像度変換を行う方法 |
JPH1010053A (ja) * | 1996-06-24 | 1998-01-16 | Nissan Motor Co Ltd | 表面欠陥検査装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4806776A (en) * | 1980-03-10 | 1989-02-21 | Kley Victor B | Electrical illumination and detecting apparatus |
US4867561A (en) * | 1986-08-22 | 1989-09-19 | Nippondenso Co., Ltd. | Apparatus for optically detecting an extraneous matter on a translucent shield |
US5365084A (en) * | 1991-02-20 | 1994-11-15 | Pressco Technology, Inc. | Video inspection system employing multiple spectrum LED illumination |
WO1994017493A1 (en) * | 1993-01-29 | 1994-08-04 | Q-Dot Photonics, Inc. | Methods and apparatus for image processing |
US5313072A (en) * | 1993-02-16 | 1994-05-17 | Rockwell International Corporation | Optical detector for windshield wiper control |
US6084519A (en) * | 1993-05-07 | 2000-07-04 | Control Devices, Inc. | Multi-function light sensor for vehicle |
JPH1090188A (ja) * | 1996-09-13 | 1998-04-10 | Mitsuba Corp | 画像認識装置 |
DE19736584A1 (de) | 1997-08-22 | 1999-02-25 | Kostal Leopold Gmbh & Co Kg | Verfahren zum Erkennen von Veränderungen im Innenraum eines Kraftfahrzeuges sowie ein Innenraumüberwachungssystem für ein Kraftfahrzeug |
US6144022A (en) * | 1999-03-15 | 2000-11-07 | Valeo Electrical Systems, Inc. | Rain sensor using statistical analysis |
-
1998
- 1998-01-30 DE DE19803694A patent/DE19803694C1/de not_active Expired - Fee Related
-
1999
- 1999-01-16 JP JP2000529995A patent/JP4210431B2/ja not_active Expired - Fee Related
- 1999-01-16 DE DE59901725T patent/DE59901725D1/de not_active Expired - Fee Related
- 1999-01-16 EP EP99903636A patent/EP1053140B1/de not_active Expired - Lifetime
- 1999-01-16 US US09/555,532 patent/US6323477B1/en not_active Expired - Lifetime
- 1999-01-16 ES ES99903636T patent/ES2178381T3/es not_active Expired - Lifetime
- 1999-01-16 BR BR9907714-0A patent/BR9907714A/pt not_active Application Discontinuation
- 1999-01-16 AU AU24214/99A patent/AU2421499A/en not_active Abandoned
- 1999-01-16 WO PCT/EP1999/000229 patent/WO1999038737A1/de active IP Right Grant
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5795759A (en) * | 1980-12-05 | 1982-06-14 | Canon Inc | Picture signal processing device |
JPS58204337A (ja) * | 1982-05-25 | 1983-11-29 | Fujitsu Ten Ltd | 水滴検知装置 |
JPS5917660A (ja) * | 1982-07-21 | 1984-01-28 | Shigeru Ando | 画像信号処理装置 |
JPS60163350U (ja) * | 1984-04-10 | 1985-10-30 | 市光工業株式会社 | 車輛用雨滴検知器 |
JPS6353444A (ja) * | 1986-08-22 | 1988-03-07 | Nippon Denso Co Ltd | 光学式液体検出装置 |
JPS63225117A (ja) * | 1987-03-14 | 1988-09-20 | Matsushita Electric Works Ltd | 光走査型変位測定装置 |
JPS6425036A (en) * | 1987-07-20 | 1989-01-27 | Nippon Denso Co | Optical liquid detecting device |
JPH01134232A (ja) * | 1987-10-17 | 1989-05-26 | Daimler Benz Ag | 視程測定装置 |
JPH02161337A (ja) * | 1988-12-14 | 1990-06-21 | Nagoya Denki Kogyo Kk | 路面状態検知装置 |
JPH03269313A (ja) * | 1990-03-20 | 1991-11-29 | Mitsubishi Electric Corp | 車間距離検出装置 |
JPH06292015A (ja) * | 1993-04-06 | 1994-10-18 | Hitachi Ltd | 2値化装置、並びにそれを備えた読取装置及びファクシミリ装置 |
JPH0829325A (ja) * | 1994-07-18 | 1996-02-02 | Hiromi Mochida | 降雨検知装置及び自動車用自動ワイパー装置 |
JPH0850018A (ja) * | 1994-08-05 | 1996-02-20 | Honda Motor Co Ltd | 距離測定装置および方法 |
JPH0894352A (ja) * | 1994-09-21 | 1996-04-12 | Mitsubishi Electric Corp | 距離測定装置 |
JPH08331372A (ja) * | 1995-05-26 | 1996-12-13 | Xerox Corp | イメージ信号の非整数の解像度変換を行う方法 |
JPH1010053A (ja) * | 1996-06-24 | 1998-01-16 | Nissan Motor Co Ltd | 表面欠陥検査装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013035322A1 (ja) * | 2011-09-05 | 2013-03-14 | 株式会社ニコン | 観察装置 |
WO2013035320A1 (ja) * | 2011-09-05 | 2013-03-14 | 株式会社ニコン | 観察装置 |
WO2013065870A1 (en) * | 2011-11-02 | 2013-05-10 | Ricoh Company, Limited | Image processing apparatus, image-capturing method, and vehicle |
US9616852B2 (en) | 2011-11-02 | 2017-04-11 | Ricoh Company, Ltd. | Image processing apparatus, image-capturing method, and vehicle |
JP2014172490A (ja) * | 2013-03-08 | 2014-09-22 | Mazda Motor Corp | 車両の運転支援装置 |
Also Published As
Publication number | Publication date |
---|---|
EP1053140A1 (de) | 2000-11-22 |
ES2178381T3 (es) | 2002-12-16 |
EP1053140B1 (de) | 2002-06-12 |
WO1999038737A1 (de) | 1999-08-05 |
JP4210431B2 (ja) | 2009-01-21 |
BR9907714A (pt) | 2000-11-14 |
AU2421499A (en) | 1999-08-16 |
DE19803694C1 (de) | 1999-04-22 |
US6323477B1 (en) | 2001-11-27 |
DE59901725D1 (de) | 2002-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002502048A (ja) | 光を通す窓ガラスの上にある物体を検出する方法と装置 | |
KR100634961B1 (ko) | 표면습기 검출방법 | |
US6617564B2 (en) | Moisture sensor utilizing stereo imaging with an image sensor | |
KR100907625B1 (ko) | 윈도우 바디용 투과 검출기 및 상기 윈도우 바디의 시야 영역용 세정 시스템 | |
US6144022A (en) | Rain sensor using statistical analysis | |
KR101707248B1 (ko) | 차량 주변을 캡처하기 위한 카메라 시스템 및 방법 | |
US6603137B2 (en) | Differential imaging rain sensor | |
JP4053498B2 (ja) | 湿度センサ及びフロントガラス曇り検出器 | |
JP2001523832A (ja) | 風防ガラス上に存在する物体を検出する方法と装置 | |
CN102971776B (zh) | 障碍物检测系统以及方法、障碍物检测装置 | |
US6429933B1 (en) | Method of image processing for off the glass rain sensing | |
JP6555569B2 (ja) | 画像処理装置、移動体機器制御システム及び画像処理用プログラム | |
US11509867B2 (en) | Method and device for determining a visual impairment of a camera | |
MXPA00002326A (en) | Moisture sensor and windshield fog detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20080401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |