JP2013036974A - 水素火炎可視化装置および方法 - Google Patents

水素火炎可視化装置および方法 Download PDF

Info

Publication number
JP2013036974A
JP2013036974A JP2012069694A JP2012069694A JP2013036974A JP 2013036974 A JP2013036974 A JP 2013036974A JP 2012069694 A JP2012069694 A JP 2012069694A JP 2012069694 A JP2012069694 A JP 2012069694A JP 2013036974 A JP2013036974 A JP 2013036974A
Authority
JP
Japan
Prior art keywords
image
infrared
flame
wavelength
hydrogen flame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012069694A
Other languages
English (en)
Other versions
JP5876347B2 (ja
Inventor
Hideki Ninomiya
英樹 二宮
Ippei Asahi
一平 朝日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shikoku Research Institute Inc
Original Assignee
Shikoku Research Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shikoku Research Institute Inc filed Critical Shikoku Research Institute Inc
Priority to JP2012069694A priority Critical patent/JP5876347B2/ja
Publication of JP2013036974A publication Critical patent/JP2013036974A/ja
Application granted granted Critical
Publication of JP5876347B2 publication Critical patent/JP5876347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)

Abstract

【課題】外乱光の多い環境下でも無色・透明の水素火炎の可視化ができる装置であって、小型であり且つコスト性に優れた水素火炎可視化装置およびその方法の提供。
【解決手段】少なくとも930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する近赤外線画像撮像手段20と、熱画像を撮像する熱画像撮像手段40と、可視画像を撮像する可視画像撮像手段30と、演算装置53、表示装置51および記憶装置52を有する処理部2を備え、処理部が、前記各撮像手段で撮像した監視対象領域の各画像を記憶装置に記憶する手段と、近赤外画像撮像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる手段を備えることを特徴とする水素火炎可視化装置及びその方法。
【選択図】図1

Description

本発明は、肉眼で見えない水素火炎を可視化する技術に関し、更に詳しくは、例えば、水素供給ステーションや燃料電池などの水素ガス利用設備の連続監視に利用できる水素火炎可視化装置および方法に関する。
一般的な物質の燃焼時においては、成分中の炭素が燃えて可視光線を発するため、その火炎を肉眼で捕らえることができるが、水素ガスは燃焼しても太陽光線下では肉眼ではほぼ透明にしか見えず、肉眼でこれを監視することは不可能である。肉眼でとらえることのできない火炎を検出するために、火炎に含まれる紫外線を検知することが有効であることは周知の事実であり、平成22年に改正された一般高圧ガス保安規則の例示基準(平成22・11・22原院第2号)では、特定圧縮水素スタンドの火災を検知するための装置等について、水素火炎が発する紫外線を検知する方法を用いることが規定されるに至った。
従来から、紫外線による火炎検出装置は種々提案されており、出願人も、特許文献1において、OH基の発光スペクトル線である概ね309nmの波長の紫外光を集光し、電子画像に変換し、増幅し、再度光学像に変換することで特定波長の紫外光の空間強度分布を画像化し、監視対象空間の背景画像と重ね合わせることにより、監視対象空間の背景画像上に水素ガスに起因する火炎を表示するガス漏洩監視方法を提案している。
しかしながら、特許文献1に記載のガス漏洩監視方法においては、太陽光線等のノイズの影響を回避するためには、狭帯域の光学バンドパスフィルタ(例えば、バンド幅:1.5nm、透過率:7%)を使用する必要があり、画像化に必要な光量を確保することが難しくなるため、光増倍管(イメージインテンシファイヤー)が必要であった。そのため、監視装置のサイズが大きく、高額になり、装置寿命も短いという問題があった。そこで、出願人は、火炎の発する紫外光や近赤外光をCCD撮像素子で撮像し、この特定波長の画像と近接する波長の画像の差分画像を抽出することで火炎の発生を検知し、紫外光背景画像や近赤外光背景画像と重ね合わせることで火炎発生箇所の特定を行う火炎可視化装置を提案した(特許文献2)。
ところで、従来から、可視画像と熱画像を併用して異常検知を行うシステムが提案されている。例えば、特許文献3には、被検知区域の視覚画像を得る可視カメラと、被検知区域の赤外線画像を得る赤外線カメラと、可視カメラ及び赤外線カメラの画像信号をディジタル化して記憶する記憶装置と、記憶装置の情報を画像処理演算する画像処理装置と、画像処理装置による画像処理演算を制御する中央処理装置と、画像処理信号を表示するディスプレイ装置と、中央処理装置を操作して被検知区域の異常状態を把握する操作端末とからなる可視カメラ・赤外線カメラ併用型異常検知装置が提案されている。
特許第3783019号公報 特許第4745863号公報 特開平7−245757号公報
特許文献1の技術は、光増倍管(イメージインテンシファイヤー)を使用しているため高価であり、また寿命が連続使用で6ヶ月程度と短いためメンテナンス頻度が高いという問題があった。
特許文献2の技術により、光増倍管を用いずとも、外乱環境下において水素火炎を可視化することが可能となった。しかしながら、特許文献2の技術は、紫外光に対応した高価なCCDカメラを用いる必要があり、また連続監視に耐える信頼性を得るためにはOH基の発光スペクトルの検出とHOの発光スペクトルの検出を併用する必要があった(同文献[0020])。そのため、安価な汎用的な撮像手段により、水素火炎を連続監視できる技術が求められていた。
他方で、一般高圧ガス保安規則の例示基準(平成22・11・22原院第2号)では、水素火炎が発する紫外線を検知すること、機器の温度上昇を検知し電気的に温度を出力できることが要請されており、これを満たすための手段をも備えることが求められている。
また、遠距離(少なくとも防爆区域外)から使用できること、撮像部が小型でスペース性に優れることも本発明が解決すべき課題である。
さらには、水素ガス利用設備では、水素火炎の発生のみならず、侵入者等の異常を検知するための連続監視手段が必要とされている。異常検知を行うための装置と水素火炎を検知するための装置を、同じ装置で実現することも本発明が解決すべき課題である。
上記の課題を解決するために、本発明は、外乱光の多い環境下でも無色・透明の水素火炎の可視化ができる装置であって、小型であり且つコスト性に優れた水素火炎可視化装置およびその方法を提供することを目的とする。
本発明の基本的な原理は、930〜950nmの範囲で設定された波長を含む近赤外画像と、熱画像(遠赤外線画像)に同時に同位置に近赤外波長および熱線波長が検出されたことをもって火炎発生を判定するものである。本発明で利用する930〜950nmの波長域は太陽光の影響が少ないので屋外での監視にも適しており、また、近赤外線透過光学バンドパスフィルタのバンド幅をある程度広く設定することができるので十分な光量を有しない水素火炎を観測しやすい。
また、930〜950nmの波長域であれば、汎用的なCCDカメラでも感度を有するため、機器コストを抑えることができる。
さらには、紫外線は波長が短く微粒子で散乱されるため煙の中では視程が限られるのに対し、波長の長い赤外線は煙の影響が小さいので、従来よりも遠隔から監視すること或いは同じ位置関係においては高精度に監視することが可能である。
より高精度に水素火炎を検知する要請がある場合は、水素火炎の発光がない近赤外波長領域の画像と、水素火炎の発光がある近赤外波長領域の画像との差分画像を用いることで、高精度に水素火炎を検知する手段を設けることが好ましい。水素火炎の発光を捉えるときにその波長において太陽光や照明光などの外乱光が存在するので、この成分を近接する波長で測定して水素火炎の波長帯域に含まれる外乱光の分量を差し引くことで、水素火炎の検出精度を高めることができるからである。さらに、差分画像を取得するための二つの撮像素子について、収差、透過率差および光検出素子の個体差の少なくとも一つを含むパラメータを補正することがより好ましい。
本発明は、以下の[1]〜[5]の水素火炎可視化装置を要旨とする。
[1]少なくとも930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する近赤外線画像撮像手段と、熱画像を撮像する熱画像撮像手段と、可視画像を撮像する可視画像撮像手段と、演算装置、表示装置および記憶装置を有する処理部を備え、処理部が、前記各撮像手段で撮像した監視対象領域の各画像を記憶装置に記憶する手段と、近赤外画像撮像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる手段を備えることを特徴とする水素火炎可視化装置。
[2]さらに、水素火炎に起因する特定波長の紫外線受光素子を有する紫外線検知手段を備え、前記処理部が、紫外線検知手段からの出力信号に基づき水素火炎の発生を判定する手段を備えることを特徴とする[1]の水素火炎可視化装置。
[3]前記処理部が、前記紫外線検知手段からの出力信号に基づき、記憶装置に記憶した水素火炎の発生前後の所定時間の監視対象領域の撮像画像を記憶装置に上書き不能に保存する手段を備えることを特徴とする[2]の水素火炎可視化装置。
[4]前記近赤外線画像撮像手段が、930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する第1の撮像手段と、第1の撮像手段と近接し、且つ、実質的に重ならない波長領域の近赤外画像を撮像する第2の撮像手段とを有し、前記処理部が、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる手段を備えることを特徴とする[1]ないし[3]のいずれかの水素火炎可視化装置。
[5]前記処理部が、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像の輝度比に基づき、第1および第2の撮像手段に係る光学系の収差、透過率差および光検出素子の個体差の少なくとも一つを含むパラメータを補正する補正係数を生成する手段と、第1の撮像手段により得られた画像と、第2の撮像手段により得られた画像に補正係数を乗じた補正後近赤外画像撮像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる手段を備えることを特徴とする[4]の水素火炎可視化装置。
[6]前記処理部が、前記表示装置に、前記各撮像手段で撮像した監視対象領域の可視画像、熱画像および近赤外画像を同時に表示させる手段を備えることを特徴とする[1]ないし[5]のいずれかの水素火炎可視化装置。
[7]前記処理部が、前記表示装置に、監視対象領域の温度分布表示画像、および/または、最高温度の位置と温度を表示させる手段を備えることを特徴とする[1]ないし[6]のいずれかの水素火炎可視化装置。
また、本発明は、以下の[8]〜[12]の水素火炎可視化方法を要旨とする。
[8]少なくとも930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する近赤外線画像撮像手段により、監視対象領域の近赤外画像を記憶装置に記憶する工程、
熱画像を撮像する熱画像撮像手段により、監視対象領域の熱画像を記憶装置に記憶する工程、可視画像を撮像する可視画像撮像手段により、監視対象領域の可視画像を記憶装置に記憶する工程、近赤外線画像撮像手段および熱画像撮像手段で撮像した各画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる判定工程を有する水素火炎可視化方法。
[9]前記近赤外線画像撮像手段が、930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する第1の撮像手段と、第1の撮像手段と近接し、且つ、実質的に重ならない波長領域の近赤外画像を撮像する第2の撮像手段とを有し、前記判定工程において、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させることを特徴とする[8]の水素火炎可視化方法。
[10]前記判定工程において、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像の輝度比に基づき、第1および第2の撮像手段に係る光学系の収差、透過率差および光検出素子の個体差の少なくとも一つを含むパラメータを補正する補正係数を生成し、第1の撮像手段により得られた画像と、第2の撮像手段により得られた画像に補正係数を乗じた補正後近赤外画像撮像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させることを特徴とする[9]の水素火炎可視化方法。
[11]さらに、水素火炎に起因する特定波長の紫外線受光素子を有する紫外線検知手段からの出力信号に基づき水素火炎の発生を判定する工程を有することを特徴とする[8]ないし[10]のいずれかの水素火炎可視化方法。
[12]前記紫外線検知手段からの出力信号、および/または、近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出されて火炎を判定した情報に基づき、記憶装置に記憶した水素火炎の発生前後の所定時間の監視対象領域の撮像画像を記憶装置に上書き不能に保存する工程を有することを特徴とする[11]の水素火炎可視化方法。
本発明によれば、安価な汎用的な撮像手段により外乱光の多い環境下でも水素火炎を可視化する手段を提供することが可能となる。
また、本発明は煙の影響が小さい赤外線を用いるので、従来よりも遠隔から或いは同じ位置関係においては高精度に監視することが可能である。
さらには、紫外線受光素子を有する構成においては、一般高圧ガス保安規則の例示基準を満たし、また高い信頼性をもって水素火炎の連続監視を行うことも可能である。
本発明の第一実施形態に係る水素火炎可視化装置の構成を示すブロック図である。 本発明の第二実施形態に係る水素火炎可視化装置の構成を示すブロック図である。 外乱光の影響を排除した合成近赤外画像取得のフローである。 実施例1の水素火炎可視化装置の構成を示すブロック図である。 実施例2の水素火炎可視化装置の構成を示すブロック図である。 水素火炎の発光スペクトルを示す全体図(a)と、300nm以下の拡大図(b)である。 (A)は撮像素子21Aによる近赤外線画像(火炎用)の画像であり、(B)は撮像素子21Bによる近赤外線画像(背景用)の画像である。 (A)は補正マスクを乗じない近赤外線画像(背景用)と近赤外線画像(火炎用)の差分画像であり、(B)は(A)の二値化画像である。 (A)は補正マスクを乗じた近赤外線画像(背景用)と近赤外線画像(火炎用)の差分画像であり、(B)は(A)の二値化画像である。
[第一実施形態]
本発明の水素火炎可視化装置の第一実施形態を、図1を参照しながら説明する。
本発明の水素火炎可視化装置は、撮像部1と、画像処理装置2と、電源部3とを主要な構成要素とする。まず、装置の構成を説明し、続いて作動を説明する。
《構成》
撮像部1は、監視対象領域を連続監視するための固定式カメラヘッドであり、火炎からの紫外線を検知するための紫外線検知手段10と、監視対象領域の近赤外線画像を撮像するための近赤外線画像撮像手段20と、監視対象領域の可視画像を撮像するための可視画像撮像手段30と、監視対象領域の熱画像を撮像するための熱画像撮像手段40と、を主要な構成要素とする。
紫外線検知手段10は、監視対象領域における紫外線の有無を検知する紫外線センサであり、水素火炎から発せられる特定波長の紫外線を受光する。紫外線検知手段10は、特定波長の紫外域にのみ感度を有する紫外線受光素子により構成してもよいし、紫外線透過光学バンドパスフィルタとホトダイオードの組み合わせにより構成してもよい。なお、前者の場合、紫外線透過光学バンドパスフィルタを使用することが不要となる。
水素火炎からの紫外線は285nm、306nm、309nmにピークを持ち、200nmから320nmにわたって発光する。紫外線検知手段10で受光する特定波長の紫外線は、285nm、306nm、309nmのピーク値を含むものでなくともよく、例えば、200〜260nmの波長を含むものでもよい。200〜260nmの光は微弱であるが、地表の太陽光成分も少ないので火炎を検知することは充分可能である。図6に水素火炎の発光スペクトルを示す。
近赤外線画像撮像手段20は、監視対象領域におけるHOの発光スペクトル(950nm)を撮像するための手段である。近赤外線画像は、水素が燃焼した際のHO分子の発光(930〜950nm)を検知するためのものである。近赤外線画像撮像手段20を構成する撮像素子は、近赤外光域を動画撮像することができる小型の汎用的なCCDカメラを用いることができる。この撮像素子は、HOの発光スペクトル(950nm)を検出できるものであれば足り、可視光用のものに近赤外線透過光学バンドパスフィルタを装着して構成することができる。近赤外線透過光学バンドパスフィルタは、狭帯域のものを用いると、汎用的なCCDカメラでは火炎輝度値が低下するため、例えば、半値全幅10nm以上のものを用いることが好ましい。
可視画像撮像手段30は、監視対象領域の可視画像(昼間の監視用画像)を撮像するための手段である。可視画像は、水素火炎が重畳される背景画像であると共に、防犯用画像としても利用される。可視画像撮像手段30を構成する撮像素子は、可視光域を動画撮像することができる小型の汎用的なカラーCCDカメラを用いることができる。多様な監視用画像を取得するために、広角から望遠まで幅広い画角をカバーできることが好ましい。
熱画像撮像手段40は、監視対象領域の熱画像撮像手段を撮像するための手段である。熱線画像は、水蒸気からの熱線(7〜14μm)の画像を検知するために利用される他、夜間の防犯用画像として利用される。また、取得した熱画像に基づき、監視対象領域中の最高温度の位置表示と温度表示を行うこと、機器の温度上昇を検知し電気的に温度を出力するための手段(サーモグラフィー)として利用することも可能である。熱画像撮像手段40を構成する撮像素子は、遠赤外光域を動画撮像することができるサーモカメラを用いることができる。
上記の撮像手段20〜40は、ほぼ同じ領域を同時に撮像し、出力信号を画像処理装置2に電送する。画像処理装置2は、ディスプレイ等の表示装置51と、ハードディスク等の記憶装置52と、CPU等の演算装置を主要な構成要素とし、例えば、パーソナルコンピュータ(PC)により構成される。記憶装置52には、画像処理ソフトが格納されており、後述する監視用画像の表示や火炎検知等の処理を行う。
電源部3は、撮像部1に電源を供給する。撮像部1が防爆区域外の高位置に固定設置されるため、メンテナンス等の観点からは、ビデオモデムなどの手段により電源部3を撮像部1から遠隔に設置することが好ましい。
《作動》
(1)監視用画像の表示・記録
撮像部1は、近赤外線画像、可視画像および熱線画像の動画を取得し、画像処理装置2に電送する。画像処理装置2は、近赤外線画像、可視画像および熱線画像を表示装置51のモニター画面に同時にほぼリアルタイムで表示することができる。また、監視対象領域中、同時に同位置に近赤外波長および熱線波長が検出された場合には、可視画像に着色した火炎画像を重ねて表示する。
これらの3画像は、時系列で記憶装置52に連続的に記憶され、新しい画像を取り込むたびに過去の古い画像が消去される。ただし、火炎が検知された場合には、火炎検知前後の所定時間の画像(例えば、火炎発生前後の24時間の画像)を保存する必要がある。そのため、検知後から所定時間の画像を取得し画像更新を停止するか、火炎検知前後の所定時間の画像を別領域に移動し上書き不可とした上で画像更新を継続する。
(2)火炎検知
(2−1)近赤外線画像と熱画像による検知
画像処理装置2は、近赤外線画像と熱画像に基づき火炎検知を行う。すなわち、近赤外線画像と熱画像の輝度にそれぞれしきい値を設け、しきい値を超えた強度の近赤外線と熱線が同時に放射されている領域を火炎領域と判定する。画像処理装置2は、火炎領域を着色した火炎画像を、背景画像に重ねて表示すると共に後述する発報を行う。本発明は近赤外線画像と熱画像を併用するので、火炎の周辺設備が加熱されて火炎との温度識別が困難な場合であっても、火炎位置を正確に特定することができる。
(2−2)紫外線による検知
画像処理装置2は、紫外線検知手段10からの出力信号を火炎検知に併用することもできる。紫外線検知手段10は必須の手段ではないが、紫外線検知を併用することにより火炎検知の信頼性を高めることができ、また一般高圧ガス保安規則の例示基準の要件を満たすことができる。紫外線の存在は、紫外線検知手段10で直ちに判定されるため、紫外線の検知をトリガーとして、火炎検知の前後画像を保存するようにしてもよい。
(3)発報
火炎が検知されると、画像処理装置2は警報を発報する。火炎信号の強度、火炎の面積、火炎の持続時間のそれぞれについて、警報発報のしきい値を設け、これを超えた場合に警報を発報するようにすることが好ましい。また、紫外線検知手段10からの出力信号を併用し、近赤外線画像と熱画像による検知と紫外線による検知がいずれも認められる場合に、発報するようにしてもよい。
また、本発明の水素火炎可視化装置は、防犯用の監視装置として利用することもできる。移動物体の検出を行わない火炎監視モードと、移動物体の検出を行う侵入検知モードを設け、後者においては熱画像および/または可視画像に基づき移動物体(侵入者)を検知した場合にも、発報するようにしてもよい。この場合、本発明の装置を防犯用の監視装置として利用することにより監視対象領域について防犯用の監視装置を別途設けることが不要となる。なお、赤外線画像を検知手段として用いる場合には、昼夜を問わず連続監視を行うことが可能である。
[第二実施形態]
本発明の水素火炎可視化装置の第二実施形態を、図2を参照しながら説明する。
第二実施形態は、近赤外線画像撮像手段が二つの撮像手段20A、20Bから構成される点で第一実施形態と相違する。以下では、第一実施形態と相違する部分を中心に説明を行い、同一の部分については説明を割愛する。
《構成》
紫外線検知手段10、可視画像撮像手段30および熱画像撮像手段40は、第一の実施形態と同じである。
近赤外線画像撮像手段20Aは、第一実施形態の近赤外線画像撮像手段20と同様であり、監視対象領域におけるHOの発光スペクトル(950nm)を撮像するためのCCD撮像素子である。撮像手段20Aは、例えば、可視光用のCCDカメラに近赤外線透過光学バンドパスフィルタを装着して構成する。
近赤外線画像撮像手段20Bは、撮像手段20Aと同一監視対象領域のHOの発光スペクトル(950nm)がない近赤外領域(例えば、900nm)の画像を撮像するための手段であって、撮像手段20Aと近接し、且つ、実質的に重ならない波長域の近赤外画像を撮像するためのCCD撮像素子である。ここで、実質的に重ならない波長域とは、例えば、撮像手段20Aが950±25nmを撮像し、撮像手段20Bが900±25nmを撮像する場合のように、撮像する波長域が僅かに重なる場合も含む趣旨である。撮像手段20Bは、例えば、可視光用のCCDカメラに近赤外線透過光学バンドパスフィルタを装着して構成する。このバンドパスフィルタも、火炎輝度値が低下しないように、例えば、半値全幅10nm以上のものを用いることが好ましい。
本実施形態の画像処理ソフトは、次の手段を備える。
(1)水素火炎の発光がある近赤外画像(950nm)と水素火炎の発光がない近赤外画像(900nm)とを取得する手段。
(2)水素火炎の発光がある近赤外画像(950nm)と水素火炎の発光がない近赤外領域(900nm)の画像を同時に取得し、両画像の対応する画素についてそれぞれ輝度の比をとることにより両撮像手段の装置関数(光学系の収差、透過率差および光検出素子の個体差のうち少なくとも一つを含むパラメータの補正係数)を補正する補正マスクを生成する手段。
(3)(1)において、水素火炎の発光がない近赤外画像(900nm)に補正マスクを乗じた補正後近赤外画像(900nm)を取得する手段。
(4)水素火炎の発光がある近赤外画像(950nm)と補正マスクを乗じた水素火炎の発光がない近赤外画像(900nm)との差分画像を取得する手段。
《作動》
図3に、外乱光の影響を排除した合成近赤外画像取得のフローを示す。
まず初期設定として、撮像手段20A、20Bのオートゲインコントロール(AGC)をOFFとし、記憶装置52に格納された画像処理ソフトに二値化閾値Bthを入力する(STEP1)。なお、二値化する前の画像全体の平均輝度を基準に閾値Bthを自動設定するようにしてもよい。
画像処理装置2は、撮像手段20Aから送られてきた近赤外画像(I950)と撮像手段20Bから送られてきた近赤外画像(I900)とを取得する(STEP2)。取得した各画像を画像処理ソフトによりアフィン変換して、両画像の平行ずれ、回転ずれを無くし、縮尺を揃え、また各画像の輝度の全体平均を揃える(STEP3)。アフィン変換後、両画像の重なる領域をトリミングし、画像処理対象領域を設定する(アフィン変換後重ならなくなった画像領域については、STEP5〜10の手順は実施しない)(STEP4)。
近赤外画像(I950)と近赤外画像(I900)の対応する画素についてそれぞれ輝度の比をとることにより撮像手段20A、20Bの装置関数(光学系の収差、透過率差および光検出素子の個体差のうち少なくとも一つを含むパラメータの補正係数)を補正する補正マスクを生成する(STEP5)。生成した補正マスクを用いて近赤外画像(I900)を補正し、補正後近赤外画像(Idef900)とする(STEP6)。近赤外画像(I950)と差分用近赤外画像(Idef900)との差分画像である火炎画像(IFlame)を抽出する(STEP7)。抽出した火炎画像(IFlame)から、STEP1で設定した閾値Bthを基準に火炎二値画像(IFlame_b)を取得する(STEP8)。ここで、火炎二値画像の高輝度部分を圧縮し、続いて膨張させて、細かいノイズ(高輝度面積の少ない部分)を削除するようにしてもよい。
このようにして得られた二値化近赤外画像(IFlame_b)と熱画像とのAND画像(火炎画像)を作成し(STEP9)、背景画像に重ねて表示する処理を連続的に行うことで、水素火炎の連続監視を行う(STEP10)。
以上に説明した第二実施形態の水素火炎可視化装置によれば、第一実施形態と比べより高い精度で水素火炎の有無を検知することができる。すなわち、第一実施形態では誤検知が生じ得る環境条件(太陽の位置変化、移動物体からの反射、日陰の具合など)においても、水素火炎の有無を正確に検知することが可能である。
以下では、本発明の詳細を実施例により説明するが、本発明は何ら実施例により限定されるものではない。
実施例1の水素火炎可視化装置は、図4に示す如く構成され、下記表1に示す型式の部品を用いて構成されている。
駆動回路11および紫外線受光素子12が、紫外線検知手段10を構成する。駆動回路11は、小型電源および信号処理回路であり、紫外線受光素子12を接続することにより、高感度の紫外線センサとして動作させることができる。本実施例で用いた駆動回路11は、受光素子12の感度補正を行うことができ、宇宙線や静電気などによる散発的なパルスもキャンセルすることができる。本実施例で用いた受光素子12は、浜松ホトニクス社のUVtron(登録商標)であり、感度波長範囲は185〜260nmである。
撮像素子21、レンズ22およびフィルタ23が、近赤外線画像撮像手段20を構成する。撮像素子21は、ワテック社製のモノクロCCDカメラであり、透過波長中心を950nmに有し、半値全幅10±2nmのフィルタ23を装着してHOの発光スペクトル(930nmから950nmの一部)を検知可能としている。
撮像素子31およびレンズ32が、可視画像撮像手段30を構成する。撮像素子31は、可視光域を動画撮像することができる小型の汎用的なカラーCCDカメラである。レンズ32は、広角から望遠まで幅広い画角をカバーできるレンズを用いている。
サーモカメラ41およびレンズ42が、熱画像撮像手段40を構成する。サーモカメラ41は、FLIR社製のボロメータ型赤外線撮像素子である。レンズ42は、7〜14μmの範囲で設定された熱線波長帯に対して最適化された広角レンズを用いた。本実施例ではレンズ42に広角レンズを採用したが、監視条件によっては望遠レンズを採用してもよい。
本実施例では、各手段10〜40への電源供給はビデオモデム61、62を介して行っている。ビデオモデムにより1本の同軸ケーブルで映像・音声・アラーム信号・DC電源を遠隔伝送可能となるため、電源部3を撮像部1から離れて設置することが可能である。
電源部3は、24V直流の電源装置63をビデオモデム62に接続する構成である。撮像部1に図示しない電圧変換器を設け、各素子への供給電圧を調整している。
画像処理装置2は、PCにより構成した。記憶装置52は、250GBの監視用画像記憶領域を有しており、24時間分の動画を記録可能である。
特許文献1に示す従来の水素火炎可視化装置と、本実施例の装置の仕様比較を表2に示す。表2から分かるように、本実施例の装置では、撮像部(カメラヘッド部)が大幅に小型化されている。また、紫外光画像を用いる従来装置では、波長の短い紫外線が微粒子で散乱されるため煙の中では視程が限られるのに対し、本実施例では波長の長い赤外線を用いるので煙の影響が小さく、その結果、監視距離性能が向上している。なお、本実施例では撮像部の材料費を従来装置の3分の1以下に抑えることができた。
また、本実施例の撮像部1は、安価で長寿命の可視画像撮影用のCCD受光素子を用いている点においても、従来装置に比べ優れている。
本実施例の撮像部1により水素火炎画像を撮像したところ、着色火炎画像が重畳表示された背景画像が表示装置51に表示されることを確認することができた。本実施例の水素火炎可視化装置によれば、熱画像で機器の温度監視を行うことも可能である。さらに、過去の映像が残っているため、火炎を検知してガス遮断を行った後に火炎発生箇所(ガス漏れ箇所)を特定することもできる。
実施例2の水素火炎可視化装置は、図5に示す如く構成され、下記表3に示す型式の部品を用いて構成されている(表3に記載の無い部品は実施例1と同様である。)。実施例2は、近赤外画像の撮像手段が二つの撮像素子21A、撮像素子21B等から構成される点で実施例1と相違する。以下では、実施例1と相違する部分を中心に説明を行い、同一の部分については説明を割愛する。
駆動回路11および紫外線受光素子12が、紫外線検知手段10を構成する。受光素子12は、実施例1と同じ185〜260nmに感度波長範囲を有する。
撮像素子21Aおよび21Bは、共にワテック社製のモノクロCCDカメラである。撮像素子21Aは、透過波長中心を950nmに有し、半値全幅10nmのフィルタ23Aを装着してHOの発光スペクトルを含む近赤外画像を撮像する。撮像素子21Bは、透過波長中心を900nmに有し、半値全幅10nmのフィルタ23Bを装着してHOの発光スペクトルが少ない近赤外画像を撮像する。図7(A)は撮像素子21Aによる近赤外線画像(火炎用)の画像であり、(B)は撮像素子21Bによる近赤外線画像(背景用)の画像である。
記憶装置52に格納された画像処理ソフトは、まず、撮像素子21Aによる近赤外画像(火炎用)と撮像素子21Bによる近赤外画像(背景用)の差分画像を火炎画像とする。続いて、設定した閾値を基準に火炎二値化画像を取得する。この火炎二値化近赤外画像と熱画像撮像手段40による熱画像とのAND画像(火炎画像)を作成し、撮像素子31の撮影した可視画像(背景画像)に重畳し、表示装置51に表示する。
撮像素子21Bによる近赤外画像(背景用)の取得に際しては、上述した図3の手順により作成した補正マスクを乗じた近赤外画像(背景用)を用いることが好ましい。
図8(A)は補正マスクを乗じない近赤外線画像(背景用)と近赤外線画像(火炎用)の差分画像であり、(B)は(A)の二値化画像である。図8から、火炎二値化画像に収差などの装置関数や反射物の波長依存性、太陽の位置等に依存する外乱光が残っていることが確認できる。
図9(A)は補正マスクを乗じた近赤外線画像(背景用)と近赤外線画像(火炎用)の差分画像であり、(B)は(A)の二値化画像である。図9から、事前に補正マスクを乗じることで、外乱光が除去された火炎二値化画像を作成できることが確認できる。
本実施例の装置の仕様を表4に示す。本実施例の装置では、撮像部(カメラヘッド部)を小型としたまま、水素火炎の誤検知の問題を解消することを可能としている。画像処理装置2は、近赤外線画像1(火炎用)、近赤外線画像2(背景用)、可視画像および熱線画像を表示装置51のモニター画面に同時にほぼリアルタイムで表示することができる。
本実施例の撮像部1により水素火炎画像を撮像したところ、30m先に位置する20cmの高さの水素火炎を検知できることを確認することができた。本実施例の水素火炎可視化装置によれば、実施例1では誤検知が生じ得る環境条件(太陽の位置変化、移動物体からの反射、日陰の具合など)においても、水素火炎の有無を正確に検知できることが確認できた。本実施例の水素火炎可視化装置は、監視対象領域が屋外となる場合に特に好適である。
1 撮像部(カメラヘッド部)
2 画像処理装置
3 電源部
11 駆動回路
12 受光素子
21、31 CCDカメラ
22、32、42 レンズ
23 光学バンドパスフィルタ
51 表示装置
52 記憶装置
53 演算装置
61、62 ビデオモデム
63 電源装置

Claims (12)

  1. 少なくとも930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する近赤外線画像撮像手段と、
    熱画像を撮像する熱画像撮像手段と、
    可視画像を撮像する可視画像撮像手段と、
    演算装置、表示装置および記憶装置を有する処理部を備え、
    処理部が、前記各撮像手段で撮像した監視対象領域の各画像を記憶装置に記憶する手段と、近赤外画像撮像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる手段を備えることを特徴とする水素火炎可視化装置。
  2. さらに、水素火炎に起因する特定波長の紫外線受光素子を有する紫外線検知手段を備え、
    前記処理部が、紫外線検知手段からの出力信号に基づき水素火炎の発生を判定する手段を備えることを特徴とする請求項1の水素火炎可視化装置。
  3. 前記処理部が、前記紫外線検知手段からの出力信号に基づき、記憶装置に記憶した水素火炎の発生前後の所定時間の監視対象領域の撮像画像を記憶装置に上書き不能に保存する手段を備えることを特徴とする請求項2の水素火炎可視化装置。
  4. 前記近赤外線画像撮像手段が、930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する第1の撮像手段と、第1の撮像手段と近接し、且つ、実質的に重ならない波長領域の近赤外画像を撮像する第2の撮像手段とを有し、
    前記処理部が、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる手段を備えることを特徴とする請求項1ないし3のいずれかの水素火炎可視化装置。
  5. 前記処理部が、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像の輝度比に基づき、第1および第2の撮像手段に係る光学系の収差、透過率差および光検出素子の個体差の少なくとも一つを含むパラメータを補正する補正係数を生成する手段と、
    第1の撮像手段により得られた画像と、第2の撮像手段により得られた画像に補正係数を乗じた補正後近赤外画像撮像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる手段を備えることを特徴とする請求項4の水素火炎可視化装置。
  6. 前記処理部が、前記表示装置に、前記各撮像手段で撮像した監視対象領域の可視画像、熱画像および近赤外画像を同時に表示させる手段を備えることを特徴とする請求項1ないし5のいずれかの水素火炎可視化装置。
  7. 前記処理部が、前記表示装置に、監視対象領域の温度分布表示画像、および/または、最高温度の位置と温度を表示させる手段を備えることを特徴とする請求項1ないし6のいずれかの水素火炎可視化装置。
  8. 少なくとも930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する近赤外線画像撮像手段により、監視対象領域の近赤外画像を記憶装置に記憶する工程、
    熱画像を撮像する熱画像撮像手段により、監視対象領域の熱画像を記憶装置に記憶する工程、
    可視画像を撮像する可視画像撮像手段により、監視対象領域の可視画像を記憶装置に記憶する工程、
    近赤外線画像撮像手段および熱画像撮像手段で撮像した各画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させる判定工程を有する水素火炎可視化方法。
  9. 前記近赤外線画像撮像手段が、930〜950nmの範囲で設定された波長を含む近赤外画像を撮像する第1の撮像手段と、第1の撮像手段と近接し、且つ、実質的に重ならない波長領域の近赤外画像を撮像する第2の撮像手段とを有し、
    前記判定工程において、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させることを特徴とする請求項8の水素火炎可視化方法。
  10. 前記判定工程において、第1の撮像手段により得られた画像と第2の撮像手段により得られた画像の輝度比に基づき、第1および第2の撮像手段に係る光学系の収差、透過率差および光検出素子の個体差の少なくとも一つを含むパラメータを補正する補正係数を生成し、
    第1の撮像手段により得られた画像と、第2の撮像手段により得られた画像に補正係数を乗じた補正後近赤外画像撮像との差分画像を抽出し、設定した閾値を基準に二値化した近赤外差分画像を作成し、二値化した近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出された領域を火炎領域と判定し、火炎領域を着色した可視画像を表示装置に表示させることを特徴とする請求項9の水素火炎可視化方法。
  11. さらに、水素火炎に起因する特定波長の紫外線受光素子を有する紫外線検知手段からの出力信号に基づき水素火炎の発生を判定する工程を有することを特徴とする請求項8ないし10のいずれかの水素火炎可視化方法。
  12. 前記紫外線検知手段からの出力信号、および/または、近赤外差分画像および熱画像に同時に同位置に近赤外波長および熱線波長が検出されて火炎を判定した情報に基づき、記憶装置に記憶した水素火炎の発生前後の所定時間の監視対象領域の撮像画像を記憶装置に上書き不能に保存する工程を有することを特徴とする請求項11の水素火炎可視化方法。
JP2012069694A 2011-07-12 2012-03-26 水素火炎可視化装置および方法 Active JP5876347B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012069694A JP5876347B2 (ja) 2011-07-12 2012-03-26 水素火炎可視化装置および方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011153691 2011-07-12
JP2011153691 2011-07-12
JP2012069694A JP5876347B2 (ja) 2011-07-12 2012-03-26 水素火炎可視化装置および方法

Publications (2)

Publication Number Publication Date
JP2013036974A true JP2013036974A (ja) 2013-02-21
JP5876347B2 JP5876347B2 (ja) 2016-03-02

Family

ID=47886700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012069694A Active JP5876347B2 (ja) 2011-07-12 2012-03-26 水素火炎可視化装置および方法

Country Status (1)

Country Link
JP (1) JP5876347B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016100063A1 (en) * 2014-12-17 2016-06-23 Honeywell International Inc. Detection system and method featuring multispectral imaging device
JP2018025477A (ja) * 2016-08-10 2018-02-15 新コスモス電機株式会社 水素火炎検出装置
JP2018036228A (ja) * 2016-09-02 2018-03-08 リコーインダストリアルソリューションズ株式会社 ガス画像センサ装置およびガス画像撮像測定装置およびガス画像撮像測定システム
JP2018132457A (ja) * 2017-02-16 2018-08-23 株式会社四国総合研究所 火炎監視方法、火炎監視装置およびガス取扱施設
JP2019205180A (ja) * 2019-07-02 2019-11-28 株式会社四国総合研究所 水素火炎監視装置および水素取扱施設
CN113804305A (zh) * 2021-09-14 2021-12-17 新疆有色金属工业(集团)有限责任公司 一种基于视觉感知的电弧炉火焰测温方法及系统
KR102393978B1 (ko) * 2021-10-20 2022-05-03 주식회사 제이디글로벌 수소 불꽃 감지장치 및 수소 불꽃 감지시스템
JP7154934B2 (ja) 2018-10-16 2022-10-18 東京ガスエンジニアリングソリューションズ株式会社 未燃ガス検出装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625342A (en) * 1995-11-06 1997-04-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Plural-wavelength flame detector that discriminates between direct and reflected radiation
US5677532A (en) * 1996-04-22 1997-10-14 Duncan Technologies, Inc. Spectral imaging method and apparatus
US5726632A (en) * 1996-03-13 1998-03-10 The United States Of America As Represented By The Administrator Of The National Aeronautics & Space Administration Flame imaging system
JP2004070629A (ja) * 2002-08-06 2004-03-04 Nohmi Bosai Ltd 火災監視装置
JP2004294423A (ja) * 2003-03-07 2004-10-21 Shikoku Res Inst Inc 火炎監視システム
JP2005091343A (ja) * 2003-03-07 2005-04-07 Shikoku Res Inst Inc ガス漏洩監視方法、及びそのシステム
US20050195086A1 (en) * 2004-03-05 2005-09-08 Detector Electronics Corporation Hydrogen fire detection system & method
JP2006267097A (ja) * 2005-02-28 2006-10-05 Shikoku Res Inst Inc 火炎可視化装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625342A (en) * 1995-11-06 1997-04-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Plural-wavelength flame detector that discriminates between direct and reflected radiation
US5726632A (en) * 1996-03-13 1998-03-10 The United States Of America As Represented By The Administrator Of The National Aeronautics & Space Administration Flame imaging system
US5677532A (en) * 1996-04-22 1997-10-14 Duncan Technologies, Inc. Spectral imaging method and apparatus
JP2004070629A (ja) * 2002-08-06 2004-03-04 Nohmi Bosai Ltd 火災監視装置
JP2004294423A (ja) * 2003-03-07 2004-10-21 Shikoku Res Inst Inc 火炎監視システム
JP2005091343A (ja) * 2003-03-07 2005-04-07 Shikoku Res Inst Inc ガス漏洩監視方法、及びそのシステム
US20050195086A1 (en) * 2004-03-05 2005-09-08 Detector Electronics Corporation Hydrogen fire detection system & method
JP2006267097A (ja) * 2005-02-28 2006-10-05 Shikoku Res Inst Inc 火炎可視化装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016100063A1 (en) * 2014-12-17 2016-06-23 Honeywell International Inc. Detection system and method featuring multispectral imaging device
CN107251118A (zh) * 2014-12-17 2017-10-13 霍尼韦尔国际公司 以多光谱成像设备为特征的检测系统和方法
US10074256B2 (en) 2014-12-17 2018-09-11 Honeywell International Inc. Detection system and method featuring multispectral imaging device
CN107251118B (zh) * 2014-12-17 2019-10-15 霍尼韦尔国际公司 以多光谱成像设备为特征的检测系统和方法
JP2018025477A (ja) * 2016-08-10 2018-02-15 新コスモス電機株式会社 水素火炎検出装置
JP2018036228A (ja) * 2016-09-02 2018-03-08 リコーインダストリアルソリューションズ株式会社 ガス画像センサ装置およびガス画像撮像測定装置およびガス画像撮像測定システム
JP2018132457A (ja) * 2017-02-16 2018-08-23 株式会社四国総合研究所 火炎監視方法、火炎監視装置およびガス取扱施設
JP7154934B2 (ja) 2018-10-16 2022-10-18 東京ガスエンジニアリングソリューションズ株式会社 未燃ガス検出装置
JP2019205180A (ja) * 2019-07-02 2019-11-28 株式会社四国総合研究所 水素火炎監視装置および水素取扱施設
CN113804305A (zh) * 2021-09-14 2021-12-17 新疆有色金属工业(集团)有限责任公司 一种基于视觉感知的电弧炉火焰测温方法及系统
CN113804305B (zh) * 2021-09-14 2024-04-09 新疆有色金属工业(集团)有限责任公司 一种基于视觉感知的电弧炉火焰测温方法及系统
KR102393978B1 (ko) * 2021-10-20 2022-05-03 주식회사 제이디글로벌 수소 불꽃 감지장치 및 수소 불꽃 감지시스템

Also Published As

Publication number Publication date
JP5876347B2 (ja) 2016-03-02

Similar Documents

Publication Publication Date Title
JP5876347B2 (ja) 水素火炎可視化装置および方法
US6937743B2 (en) Process and device for detecting fires based on image analysis
US8754942B2 (en) Detection device and method for detecting fires and/or signs of fire
US20110058037A1 (en) Fire detection device and method for fire detection
US9196056B2 (en) Electro-optical system and method for analyzing images of a scene to identify the presence of a target color
JP7070844B2 (ja) ガス検知システム
JP4745863B2 (ja) 火炎可視化装置
JP6837244B2 (ja) 水素火炎監視装置および水素取扱施設
CN111739251A (zh) 一种火源探测及定位系统、方法
JP2007078313A (ja) 火炎検知装置
CN109029736A (zh) 一种复合型火焰探测器
KR101044342B1 (ko) 휴대용 열화상 장치 및 그를 이용한 잔불 및 열원 영역 감지 방법
JP2015114956A (ja) ガスメータに表示されるガスの使用量の読取りシステム
CN109243135A (zh) 一种智能火灾检测与定位方法、装置及系统
KR101029190B1 (ko) 화재 감지 및 이미지보정 카메라 장치 및 그 방법
KR102520798B1 (ko) 열화상 상태 모니터링 센서
KR101698146B1 (ko) 위험 지역 감시 방법
JP6566779B2 (ja) 水素火炎監視装置が設置された水素取扱施設
WO2020148459A1 (en) Flame detector
TWI812896B (zh) 熱像儀健康監測
JP2004294423A (ja) 火炎監視システム
JP6788849B2 (ja) イメージングシステム及びそれを用いた紫外発光箇所特定方法
KR102664885B1 (ko) 화재발생 감시 복합 영상처리시스템
JP2011182235A (ja) 監視装置及び監視システム
JP6999478B2 (ja) マーカ及びマーカ検出システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20151217

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160121

R150 Certificate of patent or registration of utility model

Ref document number: 5876347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250