JP2004144605A - 火源探査システム - Google Patents

火源探査システム Download PDF

Info

Publication number
JP2004144605A
JP2004144605A JP2002309681A JP2002309681A JP2004144605A JP 2004144605 A JP2004144605 A JP 2004144605A JP 2002309681 A JP2002309681 A JP 2002309681A JP 2002309681 A JP2002309681 A JP 2002309681A JP 2004144605 A JP2004144605 A JP 2004144605A
Authority
JP
Japan
Prior art keywords
fire source
fire
infrared camera
coordinates
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002309681A
Other languages
English (en)
Other versions
JP4116393B2 (ja
Inventor
Kazuhisa Nakano
中野 主久
Yasuo Yamaguchi
山口 靖夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nohmi Bosai Ltd
Original Assignee
Nohmi Bosai Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nohmi Bosai Ltd filed Critical Nohmi Bosai Ltd
Priority to JP2002309681A priority Critical patent/JP4116393B2/ja
Publication of JP2004144605A publication Critical patent/JP2004144605A/ja
Application granted granted Critical
Publication of JP4116393B2 publication Critical patent/JP4116393B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】複数の赤外線カメラが火源を検出した時の旋回角と俯仰角に基づき火源位置を特定する際に、より簡単な演算により火源位置を特定する。
【解決手段】複数の赤外線カメラ8aの平面座標と各赤外線カメラにより検出される火源点の平面座標とを結ぶライン線を平面展開して当該ライン線に基づいて火源位置を特定する火源探査制御部7を備え、火源探査制御部7は、複数の赤外線カメラの設置高さに対応する3次元座標と、監視範囲全域の平面座標に応じた床面高さ情報を格納した高さデータマップとを記憶し、火源を検出した赤外線カメラの設置高さと床面高さ情報に基づいて当該赤外線カメラの旋回角と俯仰角からなる視線と交わる床面の高さ座標に対応する平面座標を火源点の平面座標とし、赤外線カメラの平面座標と火源点の平面座標とを結ぶライン線に基づいて火源位置を特定する。
【選択図】    図11

Description

【0001】
【発明の属する技術分野】
この発明は、複数の赤外線カメラを備え、各赤外線カメラが火源を検出した時の旋回角と俯仰角に基づき火源位置を特定する火源探査システムに関するものである。
【0002】
【従来の技術】
大空間内の火源を検出して火源位置を特定するために、複数の火源検出器を用いた火源位置検出装置が知られている。火源位置は、各火源検出器が火源を検出したときの旋回角と俯仰角に基づく視線方向の交点となる(例えば、特許文献1参照)。
【0003】
【特許文献1】
特公平3−66627号公報
【0004】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、火源位置を、各火源検出器の旋回角ωと俯仰角δに基づく視線方向の交点としているので、火源位置の特定には、3次元(x,y,z)の複雑な計算をしなければならず、時間を要するもとなっていた。
【0005】
本発明は、上述した課題を解決するためになされたもので、複数の赤外線カメラが火源を検出した時の旋回角と俯仰角に基づき火源位置を特定する際に、より簡単な演算により正確な火源位置を特定することができる火源探査システムを得ることを目的とする。
【0006】
【課題を解決するための手段】
この発明に係る火源探査システムは、複数の赤外線カメラを備え、各赤外線カメラが火源を検出したときの旋回角と俯仰角に基づき火源位置を特定する火源探査システムにおいて、前記複数の赤外線カメラの3次元座標と前記各赤外線カメラにより検出される火源点の3次元座標とを結ぶ視線を平面展開したライン線に基づいて火源位置を特定する制御手段を備え、前記制御手段は、複数の赤外線カメラの3次元座標を記憶し、火源を検出した赤外線カメラの3次元座標と当該赤外線カメラの旋回角と俯仰角からなる視線と交わる床面の平面座標を火源点の平面座標とし、赤外線カメラの平面座標と火源点の平面座標とを結ぶライン線に基づいて火源位置を特定することを特徴とするものである。
【0007】
また、前記制御手段は、すべてのライン線の組み合わせにおける全交点を算出し、その交点を分散評価点として、全分散評価点のすべての組み合わせにおける重心点を算出し、各重心点に対して、この重心点を構成する各分散評価点の分散評価値を算出し、この分散評価値が最小の重心点を火源位置とすることを特徴とするものである。
【0008】
さらに、前記複数の赤外線カメラは、監視範囲全域の火源を検出できるように、大空間内に対向配置されていることを特徴とするものである。
【0009】
【発明の実施の形態】
実施の形態1.
図1は、この発明の実施の形態に係る火源探査装置が適用されるシステム構成を示すブロック図である。図1に示すシステムは、ホールや展示場等の大空間の監視範囲全域(赤外線カメラの視野角内で監視できない監視範囲)を監視し、監視範囲に火源を検出すると、その火源位置を特定して、火源の消火を行うものであり、火災検知器1と、火災検知器監視部2と、情報処理部3と、ポンプ制御部4と、可動式ヘッド制御部5と、可動式ヘッド6と、火源探査制御部7と、火源探査装置8とを備えている。
【0010】
火災検知器1は、大空間の監視範囲全域を監視できるように、例えば大空間の天井等に複数設置されており、また、火源探査装置8は、大空間の監視範囲全域を監視できるように、例えば監視範囲に対し斜め上方から監視するように複数設置されている。図2に示すシステム設置例の場合、監視エリアW1に対しては、4つの火源探査装置8(FS1,FS2,FS3,FS4)が設置されており、2つの火源探査装置8(FS1,FS2)と火源探査装置8(FS3,FS4)とが対向するように設置され、それぞれの火源探査装置8(FS1,FS2,FS3,FS4)の受け持つ監視範囲を重複させることで監視エリアW1全域を監視している。
【0011】
また、同様に、監視エリアW2全域を監視するため監視エリアW2には、火源探査装置8(FS5)と火源探査装置8(FS6)が対向して設置されている。また、この図2に示すシステム設置例では、監視エリアW1に可動式ヘッド6(MH1)と可動式ヘッド6(MH2)が設置され、監視エリアW2に可動式ヘッド6(MH3)が設置されている。そして、火災検知器監視部2、情報処理部3、ポンプ制御部4、可動式ヘッド制御部5及び火源探査制御部7は防災センター内に設けられている。
【0012】
図1に示すシステムにおいて、火災検知器1の火災検知信号は火災検知器監視部2を介して情報処理部3に入力される。情報処理部3は、火災検知信号に基づいて火源探査制御部7に制御信号を出力する。また、情報処理部3は、火源探査制御部7から火源位置情報が入力されると、その火源位置情報に基づいてポンプ制御部4に制御信号を出力すると共に、可動式ヘッド制御部5に制御信号を出力して可動式ヘッド6を制御して火源を消火するようになされている。
【0013】
前記火源探査制御部7は、図3に示すように、火源位置算出部7bと伝送処理部7aとを備えており、情報処理部3から制御信号が入力されると、伝送処理部7aを介して火源探査装置8に各種制御信号(火源探査準備開始指令、火源探査開始指令等)を出力して火源探査装置8を制御する。また、火源探査装置8から火源位置を示す角度座標(旋回角、俯仰角)が入力されると、複数の火源探査装置8の火源位置を示す角度座標(旋回角、俯仰角)に基づいて火源位置を特定する算出を行い、火源位置算出部7bにより算出された火源位置を、伝送処理部7aを介して情報処理部3に伝送するようになされている。
【0014】
また、前記火源探査装置8は、図3に示すように、旋回台(雲台)8jに載置された赤外線カメラ8a、赤外線カメラ8aによる画像を取り込む画像取込部8b、取り込まれた画像(画像データ)を記憶する画像メモリ8c、制御動作等のプログラムを格納したメモリ8d、制御手段としてのCPU(制御部)8e、火災判定部8f、伝送処理部8g、火源検出部8h、赤外線カメラの旋回台8jを制御する旋回台制御部8i及び旋回台8jを備えている。
【0015】
なお、前記火源探査制御部7は、情報処理部3より受信した3次元座標(x、y、z)より角度座標(旋回角、俯仰角)を算出する機能、各火源探査装置8より通知される角度座標(旋回角、俯仰角)より3次元座標(x、y、z)を算出する機能と、算出した火源位置の空間座標(後述する検出エリア中心点、最遠端点)と各カメラ位置とを結ぶ複数の火源探査装置8のライン線の交点とそれらの重心、及び重心からみた各交点の分散値を算出し、火源位置の決定を行う機能、その情報を情報処理部3に通知する機能、カメラ及び制御部の異常を情報処理部3に通知する機能、情報のやりとり及び火災・異常を記録する機能、その内容を表示する機能、各パラメータを外部ファイルより読み込む機能を備えている。
【0016】
次に、図4は、火源探査装置8の火源探査開始位置と火源探査終了位置との関係を示す図である。火源探査装置8の動作概要は次のとおりである。
1)まず、待機時に、火源探査制御部7から火災探査準備開始指令「GOD0」の第1報を受信すると、火源探査開始の準備をする(後述する図5のステップS1−S3)。
2)火源探査準備終了後、火源探査制御部7から火災探査開始指令「GOD1」の第2報を受信すると、火源探査を開始する(後述する図5のステップS4)。
【0017】
3)火源探査は、「熱源探査」(後述する図5と図6のステップS5−S22)と「火災判定」(後述する図5と図6のステップS23−S30)の2部で構成され、「熱源探査」→「火災判定」の順に実行される。
【0018】
3−1)「熱源探査」は、まず、火源探査装置8が監視すべき監視範囲全域をスキャンして火源候補を探査する。例えば、図4に示すように、火源探査装置8の監視範囲全域は、火源探査開始位置と火源探査終了位置との間の監視範囲である。ここで、監視範囲全域を赤外線カメラ8bの視野角(例えば、29°)よりも狭い角度(例えば、26°)毎の各監視範囲に分割して、各監視範囲を赤外線カメラ8bで撮像し、画像を取り込むために、図4に示すように、赤外線カメラの視野角の29°より狭い角度である26°毎に移動する。つまり、26°毎に停止(ステップ)しながらパン(横方向旋回)し、火災の可能性が高い熱源を画像処理によって検出する。このようなスキャンを監視範囲全域について行うことで監視範囲全域を撮像する。
【0019】
なお、旋回台8jの旋回制御のみでなく俯仰制御を行って監視範囲全域を撮像してもよい。次に、監視範囲全域のスキャン終了後、熱源(火源候補)を検出した場合には、検出した熱源が赤外線カメラの撮像中央で捉えられる位置に雲台8jを旋回または俯仰させて、火災の可能性が高い熱源を同様の画像処理によって検出する。
【0020】
3−2)「火災判定」では「熱源探査」で検出した熱源の「周波数分布のばらつき(分散)」を画像処理により評価し、火災判定を行う。
【0021】
4)1回の火災探査開始指令で1回の火源探査を実行することとする。1回の火源探査が終了したら、火災が検出された場合には火源位置を、検出されなかった場合には検出されなかったことを火源探査制御部7に通知する。
【0022】
ここで、火源探査装置8の制御部8eによる画像処理について説明する。まず、「熱源探査」は、赤外線カメラ8bにより撮像された画像を画像取込部8bに例えば30Hzで連続13枚取り込み、CPU(制御部)8eにおいて取り込んだ画像から「熱源抽出」(領域設定手段)を行い、「画素数判別」(画素数判別手段)と「面積重なり度判別」(揺らぎ判別手段)および「円形度の分散値判別」(揺らぎ判別手段)に基づいて熱源の火災確率を算出する。
【0023】
ここで、例えばある熱源が「画素数判別」により火災と判別されると火災確率に加算値「10」、「面積重なり度判別」により火災と判別されると火災確率に加算値「40」、「円形度の分散値判別」により火災と判別されると火災確率に加算値「50」が付加されることで、その熱源の火災確率を算出子、算出された火災確率に基づいて火源候補の検出を行う。このように各判別手段の加算値を異ならせる重み付けを行うことで、正確な火災確率を求めることができる。
【0024】
上述した「熱源抽出」では、取り込んだ複数の画像を所定の輝度閾値(温度)で2つに分けた高温部と低温部に2値化して複数の2値化画像を作成する。また、全2値化画像間の論理和(OR)をとり、いずれかの2値化画像で存在したことのある高温部を重ね合わせ領域(熱源)として抽出して重ね合わせ画像を作成する。そして、重ね合わせ画像に対しラベリングを実行する。また、全2値化画像間の論理積(AND)をとり、全2値化画像に共通する高温部を固定領域として抽出して固定領域抽出画像を作成する。
【0025】
また、「画素数判別」では、「熱源抽出」のラベリングで抽出した重ね合わせ領域が一定以上の面積(画素数)であるかにより、火災判別を行う。
また、「面積重なり度判別」では、「熱源抽出」のラベリングで抽出した重ね合わせ領域の外接矩形(以下、対象範囲とする)内に存在する固定領域の面積Aと、各2値化画像の対象範囲内に存在する高温部領域の面積Mi(i=1〜n:nは取り込んだ枚数)を求め、次式に基づいて各面積Mi(i=1〜n)と面積Aの割合を平均化して面積重なり度を算出する。このように算出した面積重なり度が炎の揺らぎに合致する所定の範囲内に収まるかにより、火災判別を行う。これにより、例えば面積が固定的な熱源による誤報を排除することができる。
【0026】
【数1】
Figure 2004144605
【0027】
また、「円形度の分散値判別」では、各2値化画像の対象範囲内に存在する高温部領域の面積Mi(i=1〜n)と周囲長Li(i=1〜n)を求め、次式に基づいて面積Mi(i=1〜n)と周囲長Li(i=1〜n)の比MCi(i=1〜n)、つまり円形度を算出する。この円形度MCiは、図形がどれだけ円に近い形状であるかを示す値である。
【0028】
【数2】
Figure 2004144605
【0029】
次に、次式に基づいて円形度MCi(i=1〜n)の分散値SMCを算出する。
【0030】
【数3】
Figure 2004144605
【0031】
円形度の分散値が炎の揺らぎに合致する所定値を越えるかにより、火災判別を行う。つまり、円形度の変化が大きいときには円形度の分散値は大であり、これは炎の場合である。一方、位置が変化しても円形度が変化しないときは円形度の分散値は小さく、これは一定の形状を持つ熱源であって、例えば投光器(静止光源)の場合である。そして、上記した「火災確率の算出」では、各判別手段が火災判別したときの各加算値(各判別手段における火災確率)を合計して火災確率を算出する。
【0032】
ここで、すべての判別手段が火災判別した場合、火災確率は「100」(最大値)となるが、最大値に対する各判別手段の加算値は、各判別手段の火災判別の信頼度(誤報要因排除の信頼度)により異ならせている。例えば、「画素数判別」は加算値「10」であり、「面積重なり度判別」は加算値「50」であり、このように各判別手段の火災判別の信頼度により、各判別手段による火災確率への加算値を異ならせる重み付けに基づいて、図5,図6のフローチャートにより、火源候補の検出を行う。なお、各判別手段の加算値は、適宜変更してもよい。
【0033】
次に、「火災判定」(周波数判別手段)は、例えばフーリエ変換による周波数解析を行う。赤外線カメラ8bにより撮像された画像を複数枚(例えば64枚)取り込み、取り込んだ各画像の対象範囲内における平均輝度を算出する。そして、算出した平均輝度をデータが連続した複数のグループ(例えば、1〜32枚目、17〜48枚目、33〜64枚目の3つのグループ)に分け、グループ毎にFFT(高速フーリエ変換)を用いて周波数分布を算出し、算出した各グループの周波数分布同士の相関値を算出し、周波数分布がグループ毎にばらついている場合としてその値が所定の閾値例えば0.9以下の場合は火災と判定し、0.9を越えている場合は非火災と判定する。すなわち、周波数分布にばらつきがない場合は、一定周期で回転している熱源のような誤報源である。
【0034】
以下、上述した火源探査装置8の制御部8eによる具体的な動作を、図5と図6に示すフローチャートを参照して説明する。まず、火災検知器1が火災を検知したことによる火災検知信号に基づく火源探査制御部7からの火源探査準備開始指令「GOD0」の受信に基づいて赤外線カメラ8aの旋回台(雲台)8jを格納位置から原点(0°)位置に移して原点補正した後、火源探査開始位置へ旋回する(ステップS1−S3)。所定時間(例えば10秒)後、火源探査開始指令「GOD1」を受信したら、赤外線カメラ8aによる画像を例えばフレームレートの30Hz周期で連続13枚取得する(ステップS4,S5)。
【0035】
そして、次の火源探査位置に予め赤外線カメラ8aを旋回させておく。つまり、現在位置と探査終了位置が赤外線カメラ8aの視野角の半分となる13°以上あれば、探査終了位置方向へ26°旋回開始する(ステップS6,S7)。次に、ステップS5で取得した取込画像から熱源を抽出し、熱源の火災確率を算出する(ステップS8,S9)。
【0036】
このようにして、抽出された熱源の画素数判別と面積重なり度判別及び円形度の分散値判別に基づいて火災確率を求めた後、求めた火災確率のうち火災確率が一番高い熱源を選択し、その熱源位置が所定の監視範囲内か否かを判定する(ステップS10,S11)。熱源位置が監視範囲内であれば、熱源位置(旋回角、俯仰角)と火災確率を火源候補リストに追加する(ステップS12)。すなわち、上記ステップS8は、監視範囲を赤外線カメラで撮像した画像データから所定の高温領域を判別する領域設定手段を構成し、上記ステップS9は、高温領域に基づいて火災判別を行う判別手段の一例として、高温領域が一定以上の面積の時に炎と判別する画素数判別手段と、高温領域に経時的な揺らぎのあるときに炎と判別する揺らぎ判別手段を構成する。
【0037】
そして、ステップS13において、ステップS7での赤外線カメラ8aの次の火源探査位置への旋回動作が終了したか否かを判定し、終了していなければ終了するまで待ち、旋回動作が終了していれば、次に、ステップS14において、赤外線カメラ8aが火源探査終了位置まで旋回して監視範囲全域の探査が終了したか否かを判定し、終了していなければ、ステップS5以下の処理を繰り返す。探査が終了していれば、ステップS15に移行し、火源候補リスト内に火災候補(熱源)があるか否かを判定し、候補があれば、火源候補リスト中の火災確率が一番高い熱源位置を選択する(ステップS16)。選択した熱源を撮像画面中央に捉え、すなわち火源候補を撮像中央に捉えるように赤外線カメラを指向させ(旋回台8jの旋回または俯仰制御を行う)(ステップS17)、選択した火源候補位置を暫定位置「RET0」として火源探査制御部7に通知する(ステップS18)。
【0038】
その後、画像を13枚取り込み、ステップS8,S9と同様の熱源の火災確率を算出し、これを5回実行した後、平均した火災確率が所定の閾値以上か否かを判定する(ステップS19−S22)。閾値未満であれば、熱源は非火災と断定し、火源がないことを「RET1」で通知して火源探査を終了する。閾値以上であれば、「火災判定」、例えばフーリエ変換による周波数解析を行う。
【0039】
つまり、画像1枚を取り込み、熱源の平均輝度を既知の方法で算出し、メモリに記憶する(ステップS23,S24)。次に、ステップS23−S24の処理を64回実行し(ステップS25)、算出した平均輝度を3グループに分け、グループ毎にFFTを用いて周波数分析を算出する(ステップS26)。そして、算出した各グループの周波数分布同士の相関値を算出し(ステップS27)、算出した相関値が閾値以下か否かを判定する(ステップS28)。
【0040】
算出した相関値が閾値以下であれば、熱源は火災と断定し、火源位置を「RET1」で通知して火源探査を終了する(ステップS29)。他方、算出した相関値が閾値以下でなければ、熱源は非火災と断定し、火源がないことを「RET1」で通知して火源探査を終了する(ステップS30)。すなわち、上記ステップS23−S29は、前記した判別手段の一例として、高温領域の周波数解析を行い周波数分布が分散しているときに炎と判別する周波数判別手段を構成している。
【0041】
すなわち、図5と図6のフローチャートに示す制御は、旋回台を制御して赤外線カメラにより監視範囲全域を撮像して火源候補を探査し、火源候補を検出した場合は、旋回台を制御して火源候補を撮像中央に捉えるように赤外線カメラを指向させた後、火源位置を特定するようにしたもので、赤外線レンズの歪みの影響が少なく、正確な火源位置を特定できる。
【0042】
従って、上記実施の形態1によれば、次の効果を奏する。赤外線カメラは、その前面に設けられた赤外線レンズを介して各画素に結像することで、監視範囲を撮像して画像データを作成し、画像データの高温領域が火源であると判断されると、赤外線カメラの画像の高温領域の角度座標(旋回角、俯仰角)を火源位置とし、火源探査制御部は、火源位置を示す角度座標(旋回角、俯仰角)から火源位置を示す空間座標(X,Y,Z)を特定する。
【0043】
しかし、赤外線レンズに歪み等がある場合、画像データの端部の画素の角度座標(旋回角、俯仰角)から特定される空間座標(X,Y,Z)は、該端部の画素が撮像している実際の空間座標(X,Y,Z)と誤差が生じ、特に大空間内の空間座標(X,Y,Z)を特定するこのシステムの場合、赤外線カメラの位置と火源となりうる位置との距離が非常に長いため、該誤差が非常に大きくなってしまう。そのため、歪み等の影響が少ない赤外線レンズの中央を介して火源候補を中央の画素に結像すること、すなわち、火源候補を赤外線カメラの画像データの中央に捉えることで、火源位置を示す角度座標(旋回角、俯仰角)から特定される火源位置を示す空間座標(X,Y,Z)と、火源位置を示す実際の空間座標(X,Y,Z)との誤差が最小となる。
【0044】
以上のように、上記実施の形態1によれば、火源候補を撮像中央に捉えるように赤外線カメラを指向させた後、火源位置を特定するので、赤外線レンズの歪みの影響が少なく、正確な火源位置を特定できる。
【0045】
また、火源を画像データの中央に捉えるようにしたので、火源(高温領域)を確実に画像データ中に捉えることができ、画像処理による正確な火災判定が行える。
【0046】
また、判別手段を複数備え、判別手段により算出された火災確率に基づいて火災判定を行うので、正確な火災確率を求めることができ、正確な火災判定を行うことができる。
【0047】
また、赤外線カメラの視野角より狭い角度でステップして各監視範囲を撮像することで監視範囲全域を撮像するので、各監視範囲を重複させることで監視範囲全域における未監視領域を防止することができ、高温領域を確実に画像データ中に捉えることができる。
【0048】
さらに、炎検知器が火災を検出するまで、赤外線カメラは待機状態(雲台停止)なので、赤外線カメラの雲台の機械部の摩耗および劣化が少なく、長寿命化が計れる。
【0049】
なお、図6におけるステップS23〜S28を省略して、ステップS22において平均した火災確率が閾値以上の場合に、熱源を火災と断定するなどしてもよい。
【0050】
実施の形態2.
この実施の形態2では、複数の赤外線カメラが火源を検出した時の旋回角ωと俯仰角δに基づき火源位置を特定する際に、より簡単な演算により正確な火源位置を特定することができ、また、監視範囲となるべき床面に凹凸があっても火源位置を特定することができる火源探査システム、特に、火源探査制御部7について詳細に説明する。本実施の形態2に係る火源探査装置が適用されるシステム構成、システム設置例及び火源探査装置の内部構成は、実施の形態1と同じであり、詳細な説明は省く。
【0051】
図7は、図2に示したシステム設置例に対応して火源探査制御部7の火源位置算出部7b内の記憶部(図示せず)に格納された高さデータマップを説明するための監視エリアの平面図を示す。この高さデータマップには、監視エリアW1とW2におけるXY平面座標位置に応じた複数の床面の高さ情報が格納されている。すなわち、監視エリアW1には、床面高さ情報として、基本床レベルHG(=0)と、2番目の床レベルHGと、3番目の床レベルHGがあり、監視エリアW1に壁または通路を介して隔てている監視エリアW2には、高さ情報として、基本床レベルHG(=0)と、2番目の床レベルHGがある。
【0052】
また、図8は、図7に示す床レベルの高さに応じて赤外線カメラの高さを説明するための横断面図である。図8に示すように、赤外線カメラは、床レベルHG1エリアに対して高さHに、床レベルHG2エリアに対して高さ(H−H)に、床レベルHG3エリアに対して高さ(H−H)にそれぞれ設置される。このような複数の赤外線カメラの設置高さを含む3次元座標は、高さデータマップと共に火源探査制御部7の火源位置算出部7b内の記憶部(図示せず)に格納されている。
【0053】
次に、図9は、火源探査制御部7の火源位置算出部7bによる火源位置決定に関する概略的な内容を説明するものである。この図9では、3つの火源探査装置8による火源探査結果に基づいた検出ラインの交点が3つの場合を示している。ラインAは第1の火源探査装置とその探査結果である検出エリア中心点Aと(第1の火源位置)を結ぶ検出ラインを示し、同様に、ラインBは第2の火源探査装置とその探査結果である検出エリア中心点B(第2の火源位置)とを結ぶ検出ラインを示し、さらに、ラインCは第3の火源探査装置とその探査結果である検出エリア中心点C(第3の火源位置)とを結ぶ検出ラインを示しており、それぞれ、3次元座標ではなく、XY座標に平面展開されている。なお、検出エリアは、図13に示すように、火源を検出した画素の監視範囲である。
【0054】
図9において、複数の火源探査装置の探査結果に基づく火源位置は次のようにして決定される。まず、ラインA,B,Cの各交点AB,BC,ACをそれぞれ求める。交点ABはラインAとラインBの交点を示し、交点BCはラインBとラインCの交点を示し、交点ACはラインAとラインCの交点を示している。次に、各交点間の重心点を求める。重心点AB−BCは交点ABとBC間の重心点を示し、重心点BC−ACは交点BCとAC間の重心点を示し、重心点AB−ACは交点ABとAC間の重心点を示している。各重心点は各交点の座標平均値により求める。最後に、3つの交点間の重心点AB−BC−ACを求め、これら重心点に基づいて火源位置を決定する。
【0055】
以下、火源探査制御部7の火源位置算出部7bによる火源位置決定に関する具体的な動作を、図10ないし図12に示すフローチャートを参照して説明する。ここで、火源探査制御部7の火源位置算出部7bには、火源探査装置8と同様な図示しないCPU(制御部)とメモリを備えており、メモリには、図10に示す火災発生時のメイン動作、図11に示す座標変換動作、図12に示す火源位置決定動作のフローチャートに係るプログラムと、図7に示す高さデータマップが格納され、CPU(制御部)は、これらプログラム及び高さデータマップを用いて火源位置決定を行う。
【0056】
図10において、まず、火災検知器1により火災発生が検知されると、その検知信号が火災検知器監視部2を介して情報処理部3に入力され、これに基づいて情報処理部3から火源探査準備指令が送信され、火源探査制御部7は、これを受信し、全ての火源探査装置8に火源探査準備開始指令「GOD0」を送信する(ステップS101−S103)。
【0057】
次に、火源探査制御部7は、情報処理部3からの火源探査開始指令の受信を待ち、火源探査開始指令を受信すると、全ての火源探査装置8に火源探査開始指令「GOD1」を送信する(ステップS104,S105)。次に、暫定結果待ち時間(例えば20秒程度)未経過であり(ステップS106)、全ての火源探査装置8から火源探査暫定結果「RET0」を受信してなければ(ステップS107)、ステップS106以降を繰り返す。
【0058】
上記ステップS106において、暫定結果待ち時間を経過し、またはステップS107において、すべての火源探査装置8から火源探査暫定結果「RET0」を受信したら、その火源探査暫定結果(旋回角、俯仰角)を、図11に示す座標変換フローチャートに従ってXY座標に変換する(ステップS108)。その後、その変換された火源探査暫定結果(XY座標)から、図12に示す火源位置決定フローチャートに従って暫定火源位置を決定し(ステップS109)、情報処理部3にA警報を送信する(ステップS110)。この場合、A警報とは、暫定火源位置のXY座標と可動式ヘッド6を先行動作させる警報となる。
【0059】
ここで、図11に示す座標変換フローチャートと図12に示す火源位置決定フローチャートを説明する。図11に示す座標変換フローチャートは、火源を検出した赤外線カメラの3次元座標と当該赤外線カメラの旋回角と俯仰角からなる視線上における複数の床面の高さでの3次元座標を算出し、算出された3次元座標の高さ情報が高さデータマップに予め格納された床面の高さ情報と合致する3次元座標を火源位置として特定するものである。
【0060】
まず、図11において、例えば図2に示す監視エリアW1で火災が発生したと想定すると、監視エリアW1には4つの火源探査装置8が存在し、床レベルは図7に示すように3つの高さが存在するので、火源探査装置番号n(n=1,2,3,4)を0に初期設定した後、+1加算して、n=1とし、また、床番号m(m=1,2,3)を0に初期設定した後、+1加算して、m=1とする(ステップS121−S124)。
【0061】
そして、n=1番目の火源探査装置8(例えば図2では火源探査装置8(FS1)に対応する)について、高さH=HCn−HGmとして旋回角ω、俯仰角θ、高さHから最遠端位置座標(X,Y)を算出する(ステップS125)。なお、HCnはn番目の火源探査装置8の基本床レベルからの高さ(赤外線カメラの高さ)、HGmはm番目の床の高さ(基本床レベルからの高さ)、Mはmの最大値(床の数)を示す。
【0062】
ここで、火源探査装置8の旋回角ω、俯仰角θ、高さHから最遠端位置座標(Xff,Yff)及びエリア中心点(Xfc,Yfc)は、図13(a),(b)に示す関係から、次式により算出することができる。なお、図13(a)に示す0.045°は、赤外線カメラの画素の半分の視野角に相当する値であり、座標(X,Y)は火源探査装置8の設置位置である。
【0063】
ff=Htan(90−θ+0.045)
ff=X+Lffcos(ω+θ)
ff=Y+Lffsin(ω+θ)
fc=Htan(90−θ)
fc=X+Lfccos(ω+θ)
fc=Y+Lfcsin(ω+θ)
【0064】
すなわち、ステップS125(及び図13)は、火源探査装置8、つまり火源を検出した単一の赤外線カメラ8aの3次元座標と当該赤外線カメラ8aの旋回角と俯仰角からなる視線上における複数の床面の高さ(HG1、HG2、HG3)での3次元座標を算出することができることを示している。
【0065】
次に、図7に示す高さデータマップを用いて、最遠端位置座標(Xff,Yff)に対応する高さHmapを求める(ステップS126)。そして、求められた高さHmapが想定した高さHGmと等しいか否かを判定する(ステップS127)。等しくなければ、m=Mか否かを判定し(ステップS128)、mがMであれば、すなわち、この実施の形態では、m=3であれば、それ以上の床の数は存在しないので、探査結果を監視範囲外とする(ステップS129)。他方、mがM(=3)に達していなければ、想定する高さを変えてHmap=HGm+1であるか否かを判定し、等しくなければステップS124以降を繰り返す(ステップS130)。
【0066】
ステップS127及びS130において等しいと判定された場合は、ステップS125と同様にして、高さH=HCn−HGmとして旋回角ω、俯仰角θ、高さHから真のエリア中心点(Xfcn,Yfcn)及び最遠端位置座標(Xffn,Yffn)を算出する(ステップS131)。そして、ステップS129及びS131を経過した後は、全ての火源探査結果を変換したか否かを判定し、全ての火源探査結果を変換していなければ、ステップS122以降を繰り返し、全ての火源探査結果を変換していれば、座標変換を終了する(ステップS132)。
【0067】
すなわち、ステップS125は、火源を検出した赤外線カメラの3次元座標と当該赤外線カメラの旋回角と俯仰角からなる視線上における床面の高さでの3次元座標を算出し、ステップS126→S131は、算出された3次元座標の高さ情報が高さデータマップに予め格納された床面の高さ情報と合致する3次元座標を火源位置とすることを示し、監視範囲全域における複数の床面の高さ情報を予め記憶しておくことで、床面に凹凸があっても、一つの赤外線カメラのみで火源位置の3次元座標を得ることができ、また、複数の赤外線カメラを使用する場合でも、個々の赤外線カメラの3次元座標を記憶させるだけで、床面情報(高さデータマップ)を共通化して用いることができる。
【0068】
また、ステップS130→S131は、算出された3次元座標の高さ情報が予め記憶された床面の高さ情報と合致せず、算出された3次元座標の高さ情報HGmを次の高さ情報HGm+1としたときに、予め記憶された床面の高さ情報Hmapと合致した場合、つまり、図8に示すように、赤外線カメラ側であって視線が床面の高さの変化する境界線と交差する前後の算出された3次元座標のうち、赤外線カメラの3次元座標からの距離が長い3次元座標を火源位置の3次元座標とするもので、概略の火源位置を特定することができる。なお、このシステムの状況に応じて、前記前後の算出された3次元座標か、前記視線が交差する境界線の3次元座標を概略の火源位置としてもよい。
【0069】
また、ステップS131は、火源を検出した赤外線カメラの3次元座標と当該赤外線カメラの旋回角と俯仰角からなる視線と交わる床面の平面座標を火源点の平面座標としているので、複数の赤外線カメラが火源を検出した時の旋回角と俯仰角に基づき火源位置を特定する際に、より簡単な演算により正確な火源位置を特定することができる。
【0070】
次に、図12に示す火源位置決定フローチャートを説明する。図12に示すフローチャートは、図9に示したように、赤外線カメラの平面座標と火源点の平面座標とを結ぶライン線に基づいて火源位置を特定するものである。まず、火源探査結果が2つ以上か否かを判定する(ステップS141)。火源探査結果が1つであれば、その検出エリア中心点を火源位置として決定する(ステップS142)。火源探査結果が2つ以上の場合には、図9に示すような全検出ラインのすべての組み合わせにおける全交点を算出する(ステップS143)。但し、監視区域外及び検出最遠端位置の延長線上の交点は除外する。
【0071】
次に、算出された交点が1つ以上か否かを判定し(ステップS144)、交点がなければそれら検出エリア中心点を、後述する重心点を求める際の基になるデータとなる分散評価点とする(ステップS145)。算出された交点が1つであればその交点を火源位置として決定する(ステップS146,S147)。一方、算出された交点が2つ以上であれば、それら交点を分散評価点とする(ステップS146→S148)。
【0072】
そして、ステップS145及びS148において求められた分散評価点の全ての組み合わせにおける重心点:(GX,GY)を算出する(ステップS149)。重心点が算出された後、分散評価点が2つの場合にはその重心点を火源位置とする(ステップS150,S151)。他方、分散評価点が3つ以上の場合には全分散評価点の全ての組み合わせにおける重心点に対する重心点を構成する各分散評価点座標の分散評価値:Vを算出し(ステップS150→S152)、その分散評価値:Vが最小の重心点を火源位置として決定する(ステップS153)。
【0073】
ここで、各座標値における分散評価点(Xn,Yn)と重心点(GX,GY)の分散値(XD,YD)と分散評価値Vは次式により求められる。
【0074】
【数4】
Figure 2004144605
【0075】
【数5】
Figure 2004144605
【0076】
図10に示す火源探査制御部のフローチャートに戻って、A警報の送信後は、所定の探査結果待ち時間(例えば10秒)経過したか否かを判定し、経過していれば、熱源を検出した全ての火源探査装置から火源探査結果「RET1」を受信したか否かを判定し(ステップS111,S112)、受信していなければステップS111に戻り、受信していれば、図11に示す座標変換フローチャートに従って火源探査結果(旋回角、俯仰角)をXY座標に変換する(ステップS113)。
【0077】
その後、その変換された火源探査結果(XY座標)から、図12に示す火源位置決定フローチャートに従って火源位置を決定し(ステップS114)、情報処理部3にB警報を送信する(ステップS115)。この場合、B警報とは、最終的な火源位置のXY座標の修正と可動式ヘッド6から放水を開始させる警報となる。
【0078】
上述したように、実施の形態2によれば、火源探査制御部7により、複数の赤外線カメラの3次元座標と各赤外線カメラにより検出される火源点の3次元座標とを結ぶ視線を平面展開したライン線に基づいて火源位置を特定するようにした。また、すべてのライン線の組み合わせにおける全交点を算出し、その交点を分散評価点として、全分散評価点のすべての組み合わせにおける重心点を算出し、各重心点に対して、この重心点を構成する各分散評価点の分散評価値を算出し、この分散評価値が最小の重心点を火源位置とするようにした。そのため、複数の赤外線カメラが火源を検出した時の旋回角ωと俯仰角δに基づき火源位置を特定する際に、より簡単な演算により正確な火源位置を特定することができる。特に、図12に示すような火源位置特定を行うと、各種状況に応じて正確な火源位置を特定することができる。
【0079】
また、赤外線カメラが配置された床面付近は、その赤外線カメラの未監視範囲となるが、複数の赤外線カメラを対向配置することで、他の赤外線カメラがその未監視範囲を監視範囲とすることができ、監視範囲全域の火源を検出することができる。
【0080】
また、監視範囲全域における複数の床面の高さ情報を予め記憶しておくことで、床面に凹凸があっても、一つの赤外線カメラのみで火源位置の3次元座標を得ることができ、複数の赤外線カメラを使用する場合でも、個々の赤外線カメラの3次元座標を記憶させるだけで、床面情報(高さデータマップ)を共通化して用いることができる。
【0081】
さらに、算出された3次元座標の高さ情報が予め記憶された床面の高さ情報と合致したものがない場合は、赤外線カメラ側であって視線が床面の高さの変化する境界線と交差する前後の算出された3次元座標のうち、赤外線カメラの3次元座標からの距離が長い3次元座標を火源位置の3次元座標とすることで、概略の火源位置を特定することができる。
【0082】
【発明の効果】
以上のように、この発明によれば、複数の赤外線カメラの3次元座標と各赤外線カメラにより検出される火源点の3次元座標とを結ぶ視線を平面展開したライン線に基づいて火源位置を特定するようにした。また、すべてのライン線の組み合わせにおける全交点を算出し、その交点を分散評価点として、全分散評価点のすべての組み合わせにおける重心点を算出し、各重心点に対して、この重心点を構成する各分散評価点の分散評価値を算出し、この分散評価値が最小の重心点を火源位置とするようにした。そのため、複数の赤外線カメラが火源を検出した時の旋回角と俯仰角に基づき火源位置を特定する際に、より簡単な演算により正確な火源位置を特定することができる。
【0083】
また、赤外線カメラが配置された床面付近は、その赤外線カメラの未監視範囲となるが、複数の赤外線カメラを対向配置することで、他の赤外線カメラがその未監視範囲を監視範囲とすることができ、監視範囲全域の火源を検出することができる。
【図面の簡単な説明】
【図1】この発明の実施の形態に係る火源探査装置が適用されるシステム構成を示すブロック図である。
【図2】図1に示す各構成のシステム設置例を示す図である。
【図3】図1の火源探査制御部7と火源探査装置8の内部構成を示すブロック図である。
【図4】赤外線カメラによるスキャンの説明図である。
【図5】火源探査装置8の制御部8eによる制御動作を説明するフローチャートである。
【図6】図5に続くフローチャートである。
【図7】図2に示したシステム設置例に対応して火源探査制御部7の火源位置算出部7b内の記憶部(図示せず)に格納された高さデータマップを説明するための監視エリアの平面図である。
【図8】図7に示す床レベルの高さに応じて赤外線カメラの高さを説明するための横断面図である。
【図9】火源探査制御部7の火源位置算出部7bによる火源位置決定に関する概略的な内容を説明する図である。
【図10】火源探査制御部7の火源位置算出部7bによる火災発生時のメイン動作を説明するフローチャートである。
【図11】火源探査制御部7の火源位置算出部7bによる座標変換動作を説明するフローチャートである。
【図12】火源探査制御部7の火源位置算出部7bによる火源位置決定動作を説明するフローチャートである。
【図13】火源探査装置8の旋回角ω、俯仰角θ、高さHから最遠端位置座標及びエリア中心点を求めるための説明図である。
【符号の説明】
1 火災検知器、2 火災検知器監視部、3 情報処理部、4 ポンプ制御部、5 可動式ヘッド制御部、6 可動式ヘッド、7 火源探査制御部、7b 火源位置算出部、8 火源探査装置、8a 赤外線カメラ、8j 旋回台、8e 制御部。

Claims (3)

  1. 複数の赤外線カメラを備え、各赤外線カメラが火源を検出したときの旋回角と俯仰角に基づき火源位置を特定する火源探査システムにおいて、
    前記複数の赤外線カメラの3次元座標と前記各赤外線カメラにより検出される火源点の3次元座標とを結ぶ視線を平面展開したライン線に基づいて火源位置を特定する制御手段を備え、
    前記制御手段は、複数の赤外線カメラの3次元座標を記憶し、
    火源を検出した赤外線カメラの3次元座標と当該赤外線カメラの旋回角と俯仰角からなる視線と交わる床面の平面座標を火源点の平面座標とし、
    赤外線カメラの平面座標と火源点の平面座標とを結ぶライン線に基づいて火源位置を特定する
    ことを特徴とする火源探査システム。
  2. 請求項1に記載の火源探査システムにおいて、
    前記制御手段は、すべてのライン線の組み合わせにおける全交点を算出し、
    その交点を分散評価点として、全分散評価点のすべての組み合わせにおける重心点を算出し、
    各重心点に対して、この重心点を構成する各分散評価点の分散評価値を算出し、
    この分散評価値が最小の重心点を火源位置とする
    ことを特徴とする火源探査システム。
  3. 請求項1または2に記載の火源探査システムにおいて、
    前記複数の赤外線カメラは、監視範囲全域の火源を検出できるように、大空間内に対向配置されている
    ことを特徴とする火源探査システム。
JP2002309681A 2002-10-24 2002-10-24 火源探査システム Expired - Fee Related JP4116393B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002309681A JP4116393B2 (ja) 2002-10-24 2002-10-24 火源探査システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002309681A JP4116393B2 (ja) 2002-10-24 2002-10-24 火源探査システム

Publications (2)

Publication Number Publication Date
JP2004144605A true JP2004144605A (ja) 2004-05-20
JP4116393B2 JP4116393B2 (ja) 2008-07-09

Family

ID=32455416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002309681A Expired - Fee Related JP4116393B2 (ja) 2002-10-24 2002-10-24 火源探査システム

Country Status (1)

Country Link
JP (1) JP4116393B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011080890A (ja) * 2009-10-08 2011-04-21 Toshiba Corp 対象物識別装置
JP2011525968A (ja) * 2008-06-16 2011-09-29 アイファイ アール アンド ディー ピーティーワイ リミテッド 空間予測近似と半径方向の畳み込み積分
CN105427514A (zh) * 2015-12-25 2016-03-23 合肥科大立安安全技术股份有限公司 基于自动跟踪定位射流灭火装置的热释电火灾识别方法
KR20190080382A (ko) * 2017-12-28 2019-07-08 (주)아이아이에스티 소화 시스템, 이의 제어 방법, 프로그램 및 기록 매체
CN111862515A (zh) * 2020-06-28 2020-10-30 安徽旭帆信息科技有限公司 一种基于红外成像和视频分析的火灾识别装置
CN115671617A (zh) * 2022-11-03 2023-02-03 国网冀北电力有限公司超高压分公司 柔直换流站火灾定位方法、装置、设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525968A (ja) * 2008-06-16 2011-09-29 アイファイ アール アンド ディー ピーティーワイ リミテッド 空間予測近似と半径方向の畳み込み積分
US9058689B2 (en) 2008-06-16 2015-06-16 Eyefi Pty Ltd Spatial predictive approximation and radial convolution
JP2011080890A (ja) * 2009-10-08 2011-04-21 Toshiba Corp 対象物識別装置
CN105427514A (zh) * 2015-12-25 2016-03-23 合肥科大立安安全技术股份有限公司 基于自动跟踪定位射流灭火装置的热释电火灾识别方法
KR20190080382A (ko) * 2017-12-28 2019-07-08 (주)아이아이에스티 소화 시스템, 이의 제어 방법, 프로그램 및 기록 매체
KR102033498B1 (ko) * 2017-12-28 2019-10-17 (주)아이아이에스티 소화 시스템, 이의 제어 방법, 프로그램 및 기록 매체
CN111862515A (zh) * 2020-06-28 2020-10-30 安徽旭帆信息科技有限公司 一种基于红外成像和视频分析的火灾识别装置
CN111862515B (zh) * 2020-06-28 2022-04-12 安徽旭帆信息科技有限公司 一种基于红外成像和视频分析的火灾识别装置
CN115671617A (zh) * 2022-11-03 2023-02-03 国网冀北电力有限公司超高压分公司 柔直换流站火灾定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP4116393B2 (ja) 2008-07-09

Similar Documents

Publication Publication Date Title
JP3698420B2 (ja) 画像監視装置及び画像監視方法及び画像監視処理プログラム
US7834771B2 (en) Fire detector using a laser range finder, an infrared camera and a charged coupled device camera
WO2016157327A1 (ja) 映像監視システム及び映像監視方法
KR101852057B1 (ko) 영상 및 열화상을 이용한 돌발 상황 감지시스템
KR101998639B1 (ko) 열화상 카메라와 색상 카메라의 복합 영상을 이용한 지능형 발화지점 감시 시스템
KR101852058B1 (ko) 듀얼 카메라를 이용한 돌발 상황 감지방법
KR20140127574A (ko) 화재 오보 감소를 위한 무인 비행체를 이용한 화재 감시 시스템
JP4116393B2 (ja) 火源探査システム
JP2004145638A (ja) 火源探査システム
US20150130947A1 (en) Surveillance camera management device, surveillance camera management method, and program
JP2021185663A (ja) 映像監視装置、映像監視方法及びプログラム
JP3976662B2 (ja) 火源探査システム
JPH09265585A (ja) 監視および威嚇装置
KR20060003871A (ko) 검출시스템, 물체검출방법 및 물체검출을 위한 컴퓨터프로그램
JP2004192245A (ja) 防災システム
KR20230089493A (ko) 다중카메라 화재감지기
CN209962382U (zh) 一种火灾智能检测系统
JP4954459B2 (ja) 不審人物検出装置
JP2868252B2 (ja) 火災発生位置検出装置
JP3123904B2 (ja) 火災覚知センサ
CN106354324B (zh) 红外触摸屏的扫描方法及装置
JPH0520561A (ja) テレビカメラを用いた火災監視装置
JP3365455B2 (ja) 自律型移動体
JP7354461B2 (ja) 監視システム及び監視方法
JPH11339150A (ja) 画像処理を用いた火災検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080417

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4116393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140425

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees