JP2001116690A - 路面水分検知方法および路面水分検知装置 - Google Patents

路面水分検知方法および路面水分検知装置

Info

Publication number
JP2001116690A
JP2001116690A JP29646999A JP29646999A JP2001116690A JP 2001116690 A JP2001116690 A JP 2001116690A JP 29646999 A JP29646999 A JP 29646999A JP 29646999 A JP29646999 A JP 29646999A JP 2001116690 A JP2001116690 A JP 2001116690A
Authority
JP
Japan
Prior art keywords
image
road surface
moisture
surface moisture
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29646999A
Other languages
English (en)
Other versions
JP3314923B2 (ja
Inventor
Mashiki Ikegami
真志樹 池上
Michitaka Nami
通隆 波
Daisuke Tsutsumi
大祐 堤
Shinichi Nagao
信一 長尾
Kazuyuki Isoda
和志 磯田
Nobuhisa Watanabe
伸央 渡辺
Yasuyuki Murakami
康之 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido Electric Power Co Inc
Hokkaido Prefecture
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Agency of Industrial Science and Technology
Hokkaido Electric Power Co Inc
Hokkaido Prefecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency of Industrial Science and Technology, Hokkaido Electric Power Co Inc, Hokkaido Prefecture filed Critical Agency of Industrial Science and Technology
Priority to JP29646999A priority Critical patent/JP3314923B2/ja
Publication of JP2001116690A publication Critical patent/JP2001116690A/ja
Application granted granted Critical
Publication of JP3314923B2 publication Critical patent/JP3314923B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 比較的広領域の水分検知を可能とし、さら
に、水分が路面上のどの位置にどの程度の範囲で分布し
ているかの検知を可能とする。 【解決手段】 路面20を映すカメラ10は、水分に吸
収のある波長域の光に対して感度を有す。センサ12
は、路面上の光強度を計測する。イメージディジタライ
ザ14は、カメラから得た路面映像をディジタル画像
(被検知画像)に変換する。メモリ装置28は、乾燥状
態のときに様々な明るさの撮像環境下で得た路面映像を
ディジタル画像に変換して記憶したデータベースを格納
する。基準画像出力装置30は、センサの計測結果に応
じた画像をデータベースから読み出し、この画像自体
か、この画像を濃度変換した画像を、撮像環境の明るさ
がセンサの計測結果に一致する基準画像として出力す
る。対比処理装置32は、送られた被検知画像の撮像環
境の明るさに応じた基準画像を基準画像出力装置から受
け取り、被検知画像と対比する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、道路の凍結状態
やロードヒーティング状態を監視するために路面上の水
分を検知する方法に関する。
【0002】
【従来の技術】従来、路面水分検知方法として、1)道
路上に設けられた電極間の水分を電気抵抗値の変化とし
てとらえる水分電極方式(株式会社チノーや古河電工株
式会社など)や、2)路面に赤外光を投光し、その拡散
光と反射光とをフォトダイオードにより受光して路面水
分の検知に利用する方式(小糸工業株式会社)などがす
でに実用化されている。
【0003】また、これらの他にも、3)CCDカメラ
からの色信号比(R、G、B信号比)により検知する方
式や、4)路面の形状特徴量を利用するパターンマッチ
ングによる検知方式(1995年電子情報通信学会ソサイエ
ティ大会,pp.316-317,1995.)や、5)CCDカメラか
ら得られる輝度信号を用いて、路面の光沢度から検知す
る方式(電子情報通信学会論文誌,vol.181-D-II,No.10,
pp.2301-2310,Oct.1998.)や、6)水平および垂直方向
の偏光フィルタを付けたレンズを通してカメラによりと
らえ、その垂直偏光成分と水平偏光成分との差から検知
する方式(照明学会誌,vol.66,no.10,pp.450-454,198
2.)がある。
【0004】さらに、7)2台の発光器を正反射および
乱反射が生じるようにそれぞれ設置し、その正反射光と
乱反射光とを1台の受光器で受光することにより路面の
水分を検知する方法(特開平8−313435)があ
る。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た1)および2)の方式では、カメラで観測されるよう
な2次元の広領域を検知することはできず、基本的には
点状領域、あるいは、フォトダイオードにより受光可能
な小領域が検知できるに過ぎない。そのため、例えばロ
ードヒーティング領域のすべてを検知するには、上記方
式で用いられるセンサを多数用意することが必要であ
り、経済的ではない。また、センサの設置位置も限られ
るので、全範囲を検知することは難しい。さらに、上述
の水分電極方式は、価格的には比較的安価であるが、凍
結氷が路面から浮いた状態で張った場合にはこれを検知
することができない。
【0006】また、上述した3)ないし6)の方式で
は、いずれも、検出精度に問題があったり、複数台のカ
メラが必要なためにシステムが複雑化するなどの問題を
内在しており、道路での実用化には至っていない。
【0007】そして、上述した7)の方法では、計測領
域の大きさに限界があり、2次元の広領域を検知するこ
とはできず、また、この方法ではどこにどの程度の水分
が分布しているのかも分からない。
【0008】したがって、従来より、比較的広領域の水
分検知を可能とし、しかも、水分が路面上のどの位置に
どの程度の範囲で分布しているかを検知することができ
る路面水分検知方法の出現が望まれていた。
【0009】
【課題を解決するための手段】そこで、この出願に係る
発明の路面水分検知方法によれば、水分に吸収のある波
長域の光に対して感度を有するカメラにより、被検知対
象の路面を映して得た路面映像を処理して、この路面上
の水分の有無を検知する路面水分検知方法であって、水
分検知時に得た路面映像をディジタル画像に変換したも
のを被検知画像として取得するとともに、路面上の光強
度を撮像環境の明るさとしてセンサにより計測するステ
ップと、路面が乾燥した状態のときに様々な明るさの撮
像環境下で得た複数の路面映像をそれぞれディジタル画
像に変換してあらかじめ記憶させたデータベースから、
所定の画像を選出し、この選出した画像自体かあるいは
選出した画像に濃度変換を施して得た画像を、撮像環境
の明るさがセンサの計測結果に実質的に一致する基準画
像として得るステップと、基準画像と被検知画像との対
比処理を行って、路面上の水分の有無を検知するステッ
プとを含むことを特徴とする。
【0010】このように、水分に吸収のある波長域の光
に対して感度を有するカメラで路面上の映像をとらえ、
その映像に基づくディジタル画像(被検知画像)を処理
する。上述の被検知画像は、水分が存在する部分は暗
く、水分が存在しない乾燥した部分は、たとえ路面が光
を吸収しやすいアスファルト面であっても、水分が存在
する部分よりも明るい。したがって、検知領域内に部分
的に水分が存在する場合には水分の有無を容易に知るこ
とができる。
【0011】しかし、このままでは、検知領域の全面に
水分が存在するときの画像や、検知領域の全面が乾燥し
た状態の画像から、水分の有無を判断することができな
い。その理由は、画像の明るさ(濃度)が撮像環境の明
るさに応じて変化するためである。例えば、太陽光の光
強度に応じて路面上の水分からの反射光が変動するた
め、前者の画像は夜間時における後者の画像よりも明る
くなる場合がある。
【0012】そこで、この発明では、被検知画像を撮像
環境の明るさに応じた基準画像と対比させるようにして
いる。そのため、様々な明るさの撮像環境下でとらえた
乾燥した路面の映像を用意して、各映像をそれぞれディ
ジタル画像化し、その各々を撮像時の明るさに対応させ
て記憶したデータベースを用いている。このデータベー
スから、撮像環境の明るさが被検知画像の撮像時の明る
さに一致する画像(基準画像)が得られるので、この画
像と被検知画像とを対比させれば、撮像環境の明るさの
影響は除去できる。つまり、検知領域の全面に水分が存
在するときの画像は基準画像と明るさが異なり、検知領
域の全面が乾燥した状態の画像は基準画像と明るさが同
じになるので、水分の有無を検知することが可能にな
る。
【0013】また、このような方法は検知領域内に部分
的に水分が存在する場合に対しても有効であり、より高
い精度で水分の有無や分布範囲を検知することができ
る。
【0014】よって、この発明によれば、水分が路面上
のどの位置にどの程度の範囲で分布しているかを比較的
高精度に検知することができ、ロードヒーティング路面
の制御情報や道路面の凍結情報を正確に提供することが
可能になる。また、カメラを用いているため、従来に比
べて検知領域は著しく拡大される。
【0015】この発明の路面水分検知方法において、好
ましくは、乾燥した状態の路面映像を水分検知時と同じ
位置に設置された同じカメラから得るとともに、このと
きの撮像環境の明るさを水分検知時と同じ位置に設置さ
れた同じセンサにより計測すると良い。
【0016】また、この発明の路面水分検知方法におい
て、好ましくは、前述の対比処理では、基準画像と被検
知画像との差分画像を作成し、この差分画像を2値化す
ると良い。
【0017】また、この発明の路面水分検知方法におい
て、好ましくは、前述の対比処理では、基準画像と被検
知画像との双方のノイズ除去処理を行い、これらノイズ
除去処理済の画像間の差分画像を作成し、この差分画像
を2値化すると良い。
【0018】また、この発明の路面水分検知方法におい
て、好ましくは、前述の対比処理では、基準画像と被検
知画像との双方のノイズ除去処理を行い、これらノイズ
除去処理済の画像の濃度拡張処理を行った後、これら濃
度拡張処理済の画像間の差分画像を作成し、この差分画
像を2値化すると良い。
【0019】また、この発明の路面水分検知方法におい
て、好ましくは、前述の対比処理では、基準画像と被検
知画像との双方の濃度拡張処理を行い、これら濃度拡張
処理済の画像のノイズ除去処理を行った後、これらノイ
ズ除去処理済の画像間の差分画像を作成し、この差分画
像を2値化すると良い。
【0020】また、この発明の路面水分検知方法におい
て、好ましくは、前述のカメラは、前述の波長域の光を
選択的に透過させるバンドパスフィルタを通して前述の
路面を撮像すると良い。
【0021】また、この発明の路面水分検知方法におい
て、好ましくは、前述のセンサは、前述の波長域の光に
対して感度を有するセンサであり、前述の路面上に配置
されると良い。
【0022】また、この発明の路面水分検知方法におい
て、好ましくは、路面の撮像時に、路面に対して、水分
に吸収のある波長域の光を投光器により照射すると良
い。
【0023】また、この出願に係る発明の路面水分検知
装置によれば、被検知対象の路面を映すカメラから得た
路面映像を用いて路面上の水分の有無を検知する路面水
分検知装置であって、水分に吸収のある波長域の光に対
して感度を有する前述のカメラと、路面上の光強度を撮
像環境の明るさとして計測するセンサと、カメラから得
られた路面映像をディジタル画像に変換するイメージデ
ィジタライザと、路面が乾燥した状態のときに様々な明
るさの撮像環境下で得た複数の路面映像をそれぞれディ
ジタル画像に変換して記憶したデータベースを格納する
メモリ装置と、センサの計測結果に応じた所定の画像を
データベースから読み出し、この読み出した画像自体か
あるいは読み出した画像に濃度変換を施して得た画像
を、撮像環境の明るさがセンサの計測結果に実質的に一
致する基準画像として出力する基準画像出力装置と、イ
メージディジタライザから出力されたディジタル画像が
被検知画像として送られると、この被検知画像の撮像環
境の明るさに応じた基準画像を基準画像出力装置から受
け取って、この基準画像と被検知画像との対比処理を行
う対比処理装置とを具えることを特徴とする。
【0024】このような路面水分検知装置は、水分が路
面上のどの位置にどの程度の範囲で分布しているかを比
較的高精度に検知することができ、ロードヒーティング
路面の制御情報や道路面の凍結情報を正確に提供するこ
とができる。また、カメラを用いているため、従来に比
べて検知領域は著しく拡大される。
【0025】
【発明の実施の形態】以下、図を参照して、この発明の
実施の形態につき説明する。なお、図は、この発明が理
解できる程度に形状および配置関係を概略的に示してい
るに過ぎない。また、以下に記載される数値等の条件は
単なる一例に過ぎない。よって、この発明は、この実施
の形態に何ら限定されることがない。
【0026】図1は、この実施の形態の路面水分検知装
置の構成を示す図である。図1に示す装置は、カメラ1
0と、センサ12と、イメージディジタライザ14と、
画像処理装置16と、投光器18aおよび18bと、デ
ィスプレイ装置34とを具えている。この構成によれ
ば、被検知対象の路面20を映すカメラ10から路面映
像が得られ、この路面映像はイメージディジタライザ1
4によりディジタル画像に変換される。そして、この画
像とセンサ12の計測結果とは画像処理装置16により
処理され、その結果、路面20上の水分22の存在が検
知される。
【0027】上述のカメラ10は、水分に吸収のある波
長域の光に対して感度を有するカメラであり、この例で
は、このカメラ10として赤外線カメラが用いられる。
カメラ10は、被検知対象の路面20の上方に設置さ
れ、例えばカメラ10の光軸は鉛直方向に一致した状態
に配向される。このカメラ10のγ係数は1であり、こ
のカメラ10に入射光が無いときの出力映像の濃淡値は
「0」である。
【0028】また、このカメラ10は、上述した波長域
の光を選択的に透過させるバンドパスフィルタ44を通
して路面20を撮像するように構成されている。すなわ
ち、カメラ10のレンズ系にバンドパスフィルタ44が
組み込まれている。したがって、カメラ10によりとら
えられた路面映像は、上述した波長域の光により形成さ
れる像である。
【0029】また、上述のセンサ12は、路面20上の
光強度を撮像環境の明るさとして計測するものであり、
水分に吸収のある波長域の光に対して感度を有してい
る。このセンサ12は、路面上に配置されるのが好適で
ある。
【0030】また、イメージディジタライザ14は、カ
メラ10から得られた路面映像(アナログ映像)をディ
ジタル画像に変換するものである。このイメージディジ
タライザ14は、サンプリング部24とA/D変換部2
6とを具えている。カメラ10からの路面映像はサンプ
リング部24によって空間的に標本化され、すなわち所
定数の画素に分解され、さらに、A/D変換部26によ
り量子化されて、画素の値すなわち濃度値が決定され
る。
【0031】また、画像処理装置16は、メモリ装置2
8、基準画像出力装置30および対比処理装置32を具
えている。これら各装置は、メモリ装置、入出力装置お
よびCPU(中央演算処理装置)を含むいわゆるコンピ
ュータ装置として構成しても良い。このように構成した
ときには、上述したメモリ装置28、基準画像出力装置
30および対比処理装置32の各々の動作やこれらの間
におけるデータ送受のタイミングなどが、不図示のCP
Uによって制御される。
【0032】上述したメモリ装置28は、あらかじめ作
成したデータベースを格納しておくためのものである。
このデータベースは、路面20が乾燥した状態のときに
様々な明るさの撮像環境下で得た複数の路面映像をそれ
ぞれディジタル画像に変換して記憶したものである。し
たがって、メモリ装置28内には、複数のディジタル画
像がそれぞれ撮像環境の明るさに対応付けされた状態で
保存されている。メモリ装置28内に記憶された画像
は、カメラ10によりとらえられた映像に基づくディジ
タル画像である。また、メモリ装置28内に撮像環境の
明るさとして記憶された値は、上述したセンサ12によ
り計測された光強度の値に相当する。この値が指定され
ると、それに対応する画像がデータベースから読み出さ
れる。
【0033】図2は、データベースの内容を示す表であ
る。この例のデータベースには、n個(nは自然数)の
画像が含まれている。表の第1欄にはセンサ12により
計測された光強度の値λ1 〜λn が示されており、表の
第2欄には画像Q1 (i,j)〜Qn (i,j)が示さ
れている。各画像Q1 (i,j)〜Qn (i,j)は、
それぞれ光強度の値λ1 〜λn に対応付けされている。
つまり、例えば画像Q 1 (i,j)は、光強度の値λ1
の撮像環境の下で得られた映像に基づくディジタル画像
である。
【0034】次に、上述の基準画像出力装置30につい
て説明する。この基準画像出力装置30は、センサ12
から水分検知時における計測結果が入力されると、その
値に応じた所定の画像をメモリ装置28内のデータベー
スから読み出す。そして、この読み出した画像自体かあ
るいは読み出した画像に濃度変換を施して得た画像を、
撮像環境の明るさがセンサ12の計測結果に実質的に一
致する基準画像として出力する。つまり、基準画像出力
装置30は、センサ12の計測結果の値に一致する値が
データベースにあるときは、その値に対応する画像を基
準画像として出力する。一方、基準画像出力装置30
は、センサ12の計測結果の値に一致する値がデータベ
ースにないときは、その値に好ましくは最も近い値をデ
ータベースから検索し、その検索した値に応じた画像を
データベースから読み出し、さらに、読み出した画像に
濃度変換処理を施したものを基準画像として出力する。
この濃度変換処理は、データベースから読み出した画像
の濃度がセンサ12の計測結果に対応する撮像環境の明
るさの下で得た映像の明るさに等しくなるように行われ
る。基準画像出力装置30から出力された基準画像は、
上述の対比処理装置32に送られる。
【0035】ここで、上述の濃度変換処理につき説明す
る。この例では、上述のカメラ10のγ係数が1であ
り、カメラ10の、入射光が無いときの出力映像の濃淡
値が「0」であるから、濃度変換後の画像すなわち基準
画像は下記に示す(1)式で表される線形補間により求
めることができる。
【0036】なお、(1)式において、求めたい基準画
像の2次元配列を記号F(i,j)で表している。記号
iおよびjは、ディジタル画像の行列表現をFORTR
AN型としたときの2次元配列における第1および第2
添字をそれぞれ表している。画像の大きさをM×N画素
(MおよびNは自然数)とすると、1≦i≦M、1≦j
≦Nとなる。また、センサ12により計測される光強度
の値を記号a(W/m 2 )により表し、データベースに
記録されている光強度の値を記号b(W/m2)により
表す。さらに、光強度bに対応付けられたデータベース
中の画像を記号Q(i,j)によって表す。
【0037】 F(i,j)=(a/b)・Q(i,j) ・・・(1) 例えば、メモリ装置28内に図2に示したデータベース
が格納されている場合において、センサ12により計測
された光強度の値aがλ1 <a<λ2 であるときには、
基準画像F(i,j)は次式(2)または(3)に従い
求めることができる。
【0038】 F(i,j)=(a/λ1 )・Q1 (i,j) ・・・(2) F(i,j)=(a/λ2 )・Q2 (i,j) ・・・(3) 次に、上述の対比処理装置32につき説明する。この対
比処理装置32は、イメージディジタライザ14から出
力されたディジタル画像が被検知画像として送られる
と、この被検知画像の撮像環境の明るさに応じた基準画
像を基準画像出力装置30から受け取り、この基準画像
と被検知画像との対比処理を行う。その結果、基準画像
と被検知画像との相違点が検出され、水分の有無や分布
位置が検知される。
【0039】この例の対比処理装置32は、ノイズ除去
処理部36、濃度拡張処理部38、差分画像作成部40
および2値化処理部42から構成されている。イメージ
ディジタライザ14からの被検知画像と、基準画像出力
装置30からの基準画像とは、ノイズ除去処理部36に
入力される。このノイズ除去処理部36は、基準画像と
被検知画像との双方のノイズ除去処理を行う。このよう
なノイズ除去処理は、一般的な平滑化フィルタにより実
現される。濃度拡張処理部38は、ノイズ除去処理部3
6から送られたノイズ除去処理済の画像の濃度拡張処理
を行う。すなわち、例えば、画像の濃度値の範囲が最小
濃度値から最大濃度値まで線形的に拡張される。この結
果、画像のコントラストが明瞭になる。差分画像作成部
40は、濃度拡張処理部38から送られた濃度拡張処理
済の画像間の差分画像を作成する。2値化処理部42
は、差分画像作成部40から送られた差分画像を2値化
して2値画像を作成する。
【0040】以上説明した画像処理装置16により処理
される画像や処理後の画像などは、ディスプレイ装置3
4に映し出すことができる。例えば、上述した基準画像
や被検知画像や差分画像や2値画像などをディスプレイ
装置34に表示させることができる。
【0041】また、投光器18aおよび18bは、それ
ぞれ水分に吸収のある波長域の光を路面20に対して照
射するものである。この例の投光器18aおよび18b
は、路面20に対して斜め方向からそれぞれ投光を行う
ように配置されている。このような投光器18aおよび
18bを用いると、カメラ10によりとらえられる路面
20上の水分22の像がより鮮明化される。
【0042】ここで、メモリ装置28内に格納されるデ
ータベースの作成方法について説明する。このデータベ
ースの作成方法としては、以下に説明する3つの方法の
うちのいずれかが用いられる。
【0043】1)図1に示すカメラ10により、太陽光
が無い夜間から太陽光が降り注ぐ日中までの段階的に明
るさが変化する撮像環境の下で、乾燥した路面の映像を
とらえる。このとき、投光器18aおよび18bによ
り、路面20に対して所定の光を照射しておく。これら
路面映像をイメージディジタライザ14によってディジ
タル化し、撮像環境の明るさに対応付けてメモリ装置2
8に記録する。撮像環境の明るさとは、図1に示すセン
サ12により計測された路面20上の光強度の値であ
る。
【0044】2)1)と同じであるが、撮像環境の明る
さとして、図1に示すセンサ12により計測された路面
20上の光強度の値から、投光器18aおよび18bに
より照射される光の光強度の値を差し引いた値が用いら
れる。
【0045】3)図1に示す光学系(カメラ10、セン
サ12、投光器18aおよび18b)を暗室などの中に
置き、実際の撮像時と同じ配置および同じ向きに設置す
る。このとき、投光器18aおよび18bにより、路面
20に対して所定の光を照射しておく。そして、路面か
ら所定の距離だけ離れた位置に白色光源ランプを設置し
て、センサ12により計測されるこのランプからの光の
強度が、太陽光が無い夜間時にセンサ12で計測される
光の強度に一致するようになし、かつ、このランプから
の光が平行光に近い状態になるように路面20に対し投
光する。そして、このときの乾燥した路面20をカメラ
10により撮像する。次に、センサ12により計測され
る上述の白色光源ランプからの光の強度が、太陽光の降
り注ぐ日中にセンサ12で計測される光の強度に一致す
るように調整して、このときの乾燥した路面をカメラ1
0により撮像する。これら撮像した路面映像はイメージ
ディジタライザ14によってディジタル化される。この
ような両極端の明るさの画像が得られると、その中間の
明るさの画像は上述した濃度変換処理によって求めるこ
とができる。その結果、ある一定の光強度の間隔で明る
さが変化する画像群が求められ、これら画像が撮像環境
の明るさに対応付けされてメモリ装置28に記録され
る。
【0046】以上説明したように、上記1)ないし3)
の方法により得られたデータベースは、基本的には、図
2に示したデータベースのようになる。すなわち、段階
的に変化する光強度の値λ1 〜λn に対して、乾燥した
路面の画像Q1 (i,j)〜Qn (i,j)がそれぞれ
対応付けされている。
【0047】次に、この実施の形態の路面水分検知装置
の動作内容および動作手順につき、図3を参照して説明
する。図3は、路面水分検知装置の動作フローを示すフ
ローチャートである。また、図4ないし図10の各図も
あわせて参照する。図4は、この例で用いられるデータ
ベースの内容を示す表である。図5ないし図10は、そ
れぞれカメラ10で得られた路面映像に基づく画像を示
した図である。
【0048】最初に、この例で用いられるデータベース
につき説明する。この例では、図4に示されたデータベ
ースがメモリ装置28内に格納されて使用される。この
例のデータベースには、20個の画像が含まれている。
表の第1欄にはセンサ12により計測された光強度の値
がW/m2 単位で示されており、0.0W/m2 および
950.0W/m2 と、0.0W/m2 から950.0
W/m2 までの間の50W/m2 おきの値とが記録され
ている。すなわち、0.0W/m2 、50.0W/m
2 、100.0W/m2 、・・・、900.0W/m
2 、950.0W/m2 という20個の値が記録されて
いる。また、表の第2欄には乾燥した路面の映像に基づ
く画像Q1 (i,j)〜Q20(i,j)が示されてい
る。各画像Q1(i,j)〜Q20(i,j)は、それぞ
れ0.0W/m2 から950.0W/m 2 までの光強度
の値に順次に対応付けされている。すなわち、画像Q1
(i,j)から画像Q20(i,j)の順に対応する光強
度の値が増大する。例えば、画像Q1 (i,j)は、
0.0W/m2 の光強度値の撮像環境の下で得られた映
像に基づくディジタル画像である。また、画像Q
20(i,j)は、950.0W/m 2 の光強度値の撮像
環境の下で得られた映像に基づくディジタル画像であ
る。
【0049】さらに、画像Q1 (i,j)〜Q20(i,
j)の各々の大きさは、512×512であり、1画素
8ビットとする。以下、検知手順につき順次に説明す
る。
【0050】まず、カメラ10によりとらえた路面20
の映像を画像処理装置16に取り込むとともに、路面2
0上の光強度をセンサ12により計測する(図3のS
1)。カメラ10から得られた路面映像は、イメージデ
ィジタライザ14によりディジタル画像に変換された
後、被検知画像として画像処理装置16内の対比処理装
置32に取り込まれる。図5には、画像処理装置16に
取り込まれた被検知画像46が示されている。被検知画
像46中、2つの楕円形領域がそれぞれ水分像48(図
1に示す水分22の像)であり、その背景領域は路面像
50(図1に示す路面20の像)である。また、被検知
画像46中の多数の黒点はノイズ52を表している。
【0051】また、センサ12で計測された路面20上
の光強度の値は、撮像環境の明るさとして画像処理装置
16内の基準画像出力装置30に送られる。基準画像出
力装置30は、センサ12からの計測結果に応じた所定
の画像をメモリ装置28内のデータベースから読み出す
(図3のS2)。
【0052】例えば、センサ12により計測された光強
度値が80.0W/m2 であるとする。この値は、図4
のデータベース中には無いので、基準画像出力装置30
は、データベース中の80.0W/m2 の値に最も近い
光強度値である100.0W/m2 を検索する。そし
て、基準画像出力装置30は、この検索した光強度値に
対応する画像Q3 (i,j)をデータベースから読み出
す。
【0053】そして、基準画像出力装置30は、画像Q
3 (i,j)に対して下式(4)に従って補間を行い、
基準画像F(i,j)を求める(図3のS3)。
【0054】 F(i,j)=(80.0/100.0)・Q3 (i,j) ・・・(4) なお、記号iおよびjは、1≦i≦512、1≦j≦5
12を満足する整数である。
【0055】図6には、上述した処理により求めた基準
画像F(i,j)(図6中の基準画像54)が示されて
いる。この基準画像54中には、乾燥した路面20の路
面像56が映っている。この路面像56の部分の濃度値
は、被検知画像46における路面像50の部分の濃度値
に一致している。また、基準画像54中の多数の黒点は
ノイズ58を表している。
【0056】続いて、求めた基準画像は、被検知画像と
同様に対比処理装置32に送られる。そして、対比処理
装置32は、基準画像と被検知画像との対比処理を行
う。まず、基準画像および被検知画像は、ノイズ除去処
理部36に送られてノイズ除去処理を受ける(図3のS
4)。続いて、基準画像および被検知画像は、濃度拡張
処理部38に送られて濃度拡張処理を受ける(図3のS
5)。図7には、ノイズ除去および濃度拡張後の被検知
画像46aが示されている。図8には、ノイズ除去およ
び濃度拡張後の基準画像54aが示されている。図7お
よび図8に示すように、被検知画像46aおよび基準画
像54aの双方ともノイズが除去されている。また、図
7の被検知画像46aでは、水分像48aと路面像50
aとの濃度差が拡張されて明瞭化されている。基準画像
54a中の路面像56aの濃度値は、被検知画像46a
中の路面像50aの濃度値に一致している。
【0057】次に、基準画像および被検知画像は差分画
像作成部40に送られる。差分画像作成部40は、基準
画像および被検知画像の差分をとり、差分画像を作成す
る(図3のS6)。例えば、基準画像および被検知画像
をそれぞれ記号F(i,j)およびP(i,j)で表す
と、差分画像R(i,j)は次式(5)に従い得ること
ができる。
【0058】 R(i,j)=|P(i,j)−F(i,j)| ・・・(5) 図9には、求めた差分画像60が示されている。このよ
うに差分をとることで、投光器18aおよび18bによ
る投光面の中心部から周辺にわたる光の強弱に基づくム
ラの影響が補正される。その結果、差分画像60中の水
分像62は、路面像64に対してより鮮明化され、次の
ステップの2値化処理が容易になる。
【0059】次に、差分画像は2値化処理部42に送ら
れる。2値化処理部42は、差分画の2値化処理を行っ
て2値画像を作成する(図3のS7)。この2値化処理
では、しきい値の決定を通常の判別分析法により行って
いる。図10には、求めた2値画像66が示されてい
る。図中、楕円形の黒塗り領域が検知された水分像68
を表している。
【0060】なお、この実施の形態の対比処理装置32
による対比処理は、下記のように適宜に変更することが
できる。
【0061】例えば、対比処理を、入力された基準画像
と被検知画像との差分画像を作成し、この差分画像を2
値化する処理としても良い。
【0062】また、対比処理を、入力された基準画像と
被検知画像との双方のノイズ除去処理を行い、これらノ
イズ除去処理済の画像間の差分画像を作成し、この差分
画像を2値化する処理としても良い。
【0063】また、対比処理を、入力された基準画像と
被検知画像との双方の濃度拡張処理を行い、これら濃度
拡張処理済の画像のノイズ除去処理を行った後にこれら
ノイズ除去処理済の画像間の差分画像を作成し、この差
分画像を2値化する処理としても良い。
【0064】
【発明の効果】この発明の路面水分検知方法によれば、
水分に吸収のある波長域の光に対して感度を有するカメ
ラで路面上の映像をとらえ、その映像に基づくディジタ
ル画像(被検知画像)を処理する。また、被検知画像を
撮像環境の明るさに応じた基準画像と対比させる。その
ため、様々な明るさの撮像環境下でとらえた乾燥した路
面の映像を用意して、各映像をそれぞれディジタル画像
化し、その各々を撮像時の明るさに対応させてデータベ
ースとして記憶しておく。このデータベースから、撮像
環境の明るさが被検知画像の撮像時の明るさに一致する
画像(基準画像)が得られる。このような基準画像を被
検知画像と対比させるようにしているので、撮像環境の
明るさに影響されずに、水分を検知することが可能であ
る。また、カメラを用いているため、従来に比べて検知
領域は著しく拡大される。さらに、この発明によれば、
水分が路面上のどの位置にどの程度の範囲で分布してい
るかを比較的高精度に検知することができる。よって、
ロードヒーティング路面の制御情報や道路面の凍結情報
を正確に提供することが可能になる。
【図面の簡単な説明】
【図1】実施の形態の路面水分検知装置の構成を示す図
である。
【図2】データベースの内容を示す図である。
【図3】路面水分検知装置の動作フローを示す図であ
る。
【図4】データベースの内容を示す図である。
【図5】被検知画像を示す図である。
【図6】基準画像を示す図である。
【図7】ノイズ除去および濃度拡張後の被検知画像を示
す図である。
【図8】ノイズ除去および濃度拡張後の基準画像を示す
図である。
【図9】差分画像を示す図である。
【図10】2値画像を示す図である。
【符号の説明】
10:カメラ 12:センサ 14:イメージディジタライザ 16:画像処理装置 18a,18b:投光器 20:路面 22:水分 24:サンプリング部 26:A/D変換部 28:メモリ装置 30:基準画像出力装置 32:対比処理装置 34:ディスプレイ装置 36:ノイズ除去処理部 38:濃度拡張処理部 40:差分画像作成部 42:2値化処理部 44:バンドパスフィルタ 46,46a:被検知画像 48,48a,62,68:水分像 50,50a,56,56a,64:路面像 52,58:ノイズ 54,54a:基準画像 60:差分画像 66:2値画像
───────────────────────────────────────────────────── フロントページの続き (72)発明者 池上 真志樹 北海道札幌市豊平区月寒東2条17丁目2番 1号 工業技術院北海道工業技術研究所内 (72)発明者 波 通隆 北海道札幌市北区北19条西11丁目1番地 北海道立工業試験場内 (72)発明者 堤 大祐 北海道札幌市北区北19条西11丁目1番地 北海道立工業試験場内 (72)発明者 長尾 信一 北海道札幌市北区北19条西11丁目1番地 北海道立工業試験場内 (72)発明者 磯田 和志 北海道江別市対雁2−1 北海道電力株式 会社総合研究所内 (72)発明者 渡辺 伸央 北海道江別市対雁2−1 北海道電力株式 会社総合研究所内 (72)発明者 村上 康之 北海道江別市対雁2−1 北海道電力株式 会社総合研究所内 Fターム(参考) 2G059 AA05 BB05 CC09 EE02 FF01 HH01 JJ03 KK04 LL04 MM05 MM09 MM10

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 水分に吸収のある波長域の光に対して感
    度を有するカメラにより、被検知対象の路面を映して得
    た路面映像を処理して、該路面上の水分の有無を検知す
    る路面水分検知方法であって、 水分検知時に得た路面映像をディジタル画像に変換した
    ものを被検知画像として取得するとともに、前記路面上
    の光強度を撮像環境の明るさとしてセンサにより計測す
    るステップと、 前記路面が乾燥した状態のときに様々な明るさの撮像環
    境下で得た複数の路面映像をそれぞれディジタル画像に
    変換してあらかじめ記憶させたデータベースから、所定
    の画像を選出し、該選出した画像自体かあるいは該選出
    した画像に濃度変換を施して得た画像を、撮像環境の明
    るさが前記センサの計測結果に実質的に一致する基準画
    像として得るステップと、 前記基準画像と前記被検知画像との対比処理を行って、
    前記路面上の水分の有無を検知するステップとを含むこ
    とを特徴とする路面水分検知方法。
  2. 【請求項2】 請求項1に記載の路面水分検知方法にお
    いて、 前記乾燥した状態の路面映像を前記水分検知時と同じ位
    置に設置された同じカメラから得るとともに、このとき
    の撮像環境の明るさを前記水分検知時と同じ位置に設置
    された同じセンサにより計測することを特徴とする路面
    水分検知方法。
  3. 【請求項3】 請求項1に記載の路面水分検知方法にお
    いて、 前記対比処理では、前記基準画像と前記被検知画像との
    差分画像を作成し、該差分画像を2値化することを特徴
    とする路面水分検知方法。
  4. 【請求項4】 請求項1に記載の路面水分検知方法にお
    いて、 前記対比処理では、前記基準画像と前記被検知画像との
    双方のノイズ除去処理を行い、これらノイズ除去処理済
    の画像間の差分画像を作成し、該差分画像を2値化する
    ことを特徴とする路面水分検知方法。
  5. 【請求項5】 請求項1に記載の路面水分検知方法にお
    いて、 前記対比処理では、前記基準画像と前記被検知画像との
    双方のノイズ除去処理を行い、これらノイズ除去処理済
    の画像の濃度拡張処理を行った後、これら濃度拡張処理
    済の画像間の差分画像を作成し、該差分画像を2値化す
    ることを特徴とする路面水分検知方法。
  6. 【請求項6】 請求項1に記載の路面水分検知方法にお
    いて、 前記対比処理では、前記基準画像と前記被検知画像との
    双方の濃度拡張処理を行い、これら濃度拡張処理済の画
    像のノイズ除去処理を行った後、これらノイズ除去処理
    済の画像間の差分画像を作成し、該差分画像を2値化す
    ることを特徴とする路面水分検知方法。
  7. 【請求項7】 請求項1に記載の路面水分検知方法にお
    いて、 前記カメラは、前記波長域の光を選択的に透過させるバ
    ンドパスフィルタを通して前記路面を撮像することを特
    徴とする路面水分検知方法。
  8. 【請求項8】 請求項1に記載の路面水分検知方法にお
    いて、 前記センサは、前記波長域の光に対して感度を有するセ
    ンサであり、前記路面上に配置されることを特徴とする
    路面水分検知方法。
  9. 【請求項9】 請求項1に記載の路面水分検知方法にお
    いて、 前記路面の撮像時に、前記路面に対して、水分に吸収の
    ある波長域の光を投光器により照射することを特徴とす
    る路面水分検知方法。
  10. 【請求項10】 被検知対象の路面を映すカメラから得
    た路面映像を用いて路面上の水分の有無を検知する路面
    水分検知装置であって、 水分に吸収のある波長域の光に対して感度を有する前記
    カメラと、 前記路面上の光強度を撮像環境の明るさとして計測する
    センサと、 前記カメラから得られた路面映像をディジタル画像に変
    換するイメージディジタライザと、 前記路面が乾燥した状態のときに様々な明るさの撮像環
    境下で得た複数の路面映像をそれぞれディジタル画像に
    変換して記憶したデータベースを格納するメモリ装置
    と、 前記センサの計測結果に応じた所定の画像を前記データ
    ベースから読み出し、該読み出した画像自体かあるいは
    該読み出した画像に濃度変換を施して得た画像を、撮像
    環境の明るさが前記センサの計測結果に実質的に一致す
    る基準画像として出力する基準画像出力装置と、 前記イメージディジタライザから出力されたディジタル
    画像が被検知画像として送られると、該被検知画像の撮
    像環境の明るさに応じた基準画像を前記基準画像出力装
    置から受け取って、該基準画像と前記被検知画像との対
    比処理を行う対比処理装置とを具えることを特徴とする
    路面水分検知装置。
  11. 【請求項11】 請求項10に記載の路面水分検知装置
    において、 前記対比処理装置は、前記基準画像と前記被検知画像と
    の差分画像を作成する差分画像作成部と、該差分画像を
    2値化する2値化処理部とを具えることを特徴とする路
    面水分検知装置。
  12. 【請求項12】 請求項10に記載の路面水分検知装置
    において、 前記対比処理装置は、前記基準画像と前記被検知画像と
    の双方のノイズ除去処理を行うノイズ除去処理部と、こ
    れらノイズ除去処理済の画像間の差分画像を作成する差
    分画像作成部と、該差分画像を2値化する2値化処理部
    とを具えることを特徴とする路面水分検知装置。
  13. 【請求項13】 請求項10に記載の路面水分検知装置
    において、 前記対比処理装置は、前記基準画像と前記被検知画像と
    の双方のノイズ除去処理を行うノイズ除去処理部と、こ
    れらノイズ除去処理済の画像の濃度拡張処理を行う濃度
    拡張処理部と、これら濃度拡張処理済の画像間の差分画
    像を作成する差分画像作成部と、該差分画像を2値化す
    る2値化処理部とを具えることを特徴とする路面水分検
    知装置。
  14. 【請求項14】 請求項10に記載の路面水分検知装置
    において、 前記対比処理装置は、前記基準画像と前記被検知画像と
    の双方の濃度拡張処理を行う濃度拡張処理部と、これら
    濃度拡張処理済の画像のノイズ除去処理を行うノイズ除
    去処理部と、これらノイズ除去処理済の画像間の差分画
    像を作成する差分画像作成部と、該差分画像を2値化す
    る2値化処理部とを具えることを特徴とする路面水分検
    知装置。
  15. 【請求項15】 請求項10に記載の路面水分検知装置
    において、 前記カメラは、前記波長域の光を選択的に透過させるバ
    ンドパスフィルタを通して前記路面を撮像するように構
    成されることを特徴とする路面水分検知装置。
  16. 【請求項16】 請求項10に記載の路面水分検知装置
    において、 前記センサは、前記波長域の光に対して感度を有するセ
    ンサであり、前記路面上に配置されることを特徴とする
    路面水分検知装置。
  17. 【請求項17】 請求項10に記載の路面水分検知装置
    において、 水分に吸収のある波長域の光を前記路面に対して照射す
    る投光器をさらに具えることを特徴とする路面水分検知
    装置。
JP29646999A 1999-10-19 1999-10-19 路面水分検知方法および路面水分検知装置 Expired - Fee Related JP3314923B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29646999A JP3314923B2 (ja) 1999-10-19 1999-10-19 路面水分検知方法および路面水分検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29646999A JP3314923B2 (ja) 1999-10-19 1999-10-19 路面水分検知方法および路面水分検知装置

Publications (2)

Publication Number Publication Date
JP2001116690A true JP2001116690A (ja) 2001-04-27
JP3314923B2 JP3314923B2 (ja) 2002-08-19

Family

ID=17833967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29646999A Expired - Fee Related JP3314923B2 (ja) 1999-10-19 1999-10-19 路面水分検知方法および路面水分検知装置

Country Status (1)

Country Link
JP (1) JP3314923B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003240869A (ja) * 2002-02-20 2003-08-27 Natl Inst For Land & Infrastructure Management Mlit 路面状況判定方法
JP2004191276A (ja) * 2002-12-13 2004-07-08 Koito Ind Ltd 路面状態判別装置
JP2008151548A (ja) * 2006-12-14 2008-07-03 Toyota Motor Corp エンジン排気ガスの分析装置、分析方法、及び、分析プログラム
JP2011095225A (ja) * 2009-11-02 2011-05-12 Olympus Corp 画像処理装置、画像処理方法および顕微鏡システム
JP2016048196A (ja) * 2014-08-27 2016-04-07 パナソニックIpマネジメント株式会社 物質検出センサ、物質検出方法及び物質検出システム
WO2021235091A1 (ja) * 2020-05-18 2021-11-25 パナソニックIpマネジメント株式会社 水分検知装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013170183A1 (en) * 2012-05-10 2013-11-14 Norgren Automation Solutions, Llc Method and apparatus for automatically drying wet floors

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003240869A (ja) * 2002-02-20 2003-08-27 Natl Inst For Land & Infrastructure Management Mlit 路面状況判定方法
JP2004191276A (ja) * 2002-12-13 2004-07-08 Koito Ind Ltd 路面状態判別装置
JP2008151548A (ja) * 2006-12-14 2008-07-03 Toyota Motor Corp エンジン排気ガスの分析装置、分析方法、及び、分析プログラム
JP2011095225A (ja) * 2009-11-02 2011-05-12 Olympus Corp 画像処理装置、画像処理方法および顕微鏡システム
JP2016048196A (ja) * 2014-08-27 2016-04-07 パナソニックIpマネジメント株式会社 物質検出センサ、物質検出方法及び物質検出システム
US10094769B2 (en) 2014-08-27 2018-10-09 Panasonic Intellectual Property Management Co., Ltd. Substance detection sensor, substance detecting method, and substance detection system having dual light source with optical scanning
WO2021235091A1 (ja) * 2020-05-18 2021-11-25 パナソニックIpマネジメント株式会社 水分検知装置

Also Published As

Publication number Publication date
JP3314923B2 (ja) 2002-08-19

Similar Documents

Publication Publication Date Title
Wang Designs and implementations of automated systems for pavement surface distress survey
US5606413A (en) Real time spectroscopic imaging system and method
JP3314923B2 (ja) 路面水分検知方法および路面水分検知装置
JP6760878B2 (ja) 油膜検出システム及び油膜検出方法
JP2002330336A5 (ja)
KR890017545A (ko) 반도체장치의 수지모울드의 외관검사방법과 그 외관검사장치
JP5190204B2 (ja) 路面積雪検出装置及び路面積雪検出方法
Chen et al. Signal-to-noise ratio evaluation of a CCD camera
FR2570206A1 (fr) Appareil pour detecter et classer les caracteristiques de formes de surface de peau
JP3585225B2 (ja) カラー照明を用いた欠陥検査方法
JP3230217B2 (ja) 乾海苔の品質検査方法
KR102195072B1 (ko) 열화상 카메라 시스템 및 그 구동 방법
JP2000206052A (ja) 欠陥検査装置、欠陥検査方法および記憶媒体
JPS58180918A (ja) 赤外線監視装置
DE60305754D1 (de) Verfahren und Vorrichtung zur Verarbeitung von Messdaten
KR101950436B1 (ko) 중적외선 영상에서의 물체 검출 장치
CN113588095A (zh) 基于帧累积的点源目标红外辐射定量处理方法及装置
US10878542B2 (en) Method and system for filtering thermal image data
JPH08327541A (ja) 路面凍結検出装置
JPS6074773A (ja) フイルムに対するイメ−ジセンサの補正方法
JPS60124783A (ja) 画像処理装置
JPH09304286A (ja) 欠陥検出処理装置及び方法
JPH06303485A (ja) 赤外線撮像装置
JPH09179979A (ja) 欠陥検出装置
JPS603273A (ja) 画像2値化閾値設定方式

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020521

R150 Certificate of patent or registration of utility model

Ref document number: 3314923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080607

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090607

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090607

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100607

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110607

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110607

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110607

Year of fee payment: 9

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110607

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110607

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120607

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120607

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130607

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees