JP2005117424A - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP2005117424A
JP2005117424A JP2003349966A JP2003349966A JP2005117424A JP 2005117424 A JP2005117424 A JP 2005117424A JP 2003349966 A JP2003349966 A JP 2003349966A JP 2003349966 A JP2003349966 A JP 2003349966A JP 2005117424 A JP2005117424 A JP 2005117424A
Authority
JP
Japan
Prior art keywords
abnormality
unit
monitoring
screen
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003349966A
Other languages
English (en)
Other versions
JP4400167B2 (ja
Inventor
Megumi Ueno
恵 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003349966A priority Critical patent/JP4400167B2/ja
Publication of JP2005117424A publication Critical patent/JP2005117424A/ja
Application granted granted Critical
Publication of JP4400167B2 publication Critical patent/JP4400167B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】 監視区域内に複数設置された監視カメラと異常検出センサを用いて異常の発生を監視することを目的とする監視システムにおいて、異常が発生した時に、異常発生地点の映像画面と地図画面を自動的且つ選択的に表示可能とし、迅速な異常の状況把握が可能な監視システムを提供することを目的としたものである。
【解決手段】 監視区域の各局域に設置され異常を検出する複数の異常検出センサ2の出力に基づき異常を検出したセンサの位置座標を発生する異常検出部42と、全局域の地図データベースを予め記憶し、異常検出部42の出力に基づき異常が発生した局域の地図データを地図データベースから読出し出力する局域地図取得部41dと、異常を検出したセンサに最も近い位置の監視カメラ1を特定し、その画像信号を選択するよう画像入力装置3に指示する監視カメラ選択部41eと、画像入力装置3の出力及び局域地図取得部41dの出力を画面表示する表示装置5と、を設ける。
【選択図】 図1


Description

本発明は、監視区域内に複数設置された監視カメラと異常検出センサを用いて異常の発生を監視することを目的とする監視システムに関するものである。
従来例の監視システムにおいては、監視区域内の複数の地点に監視カメラと異常検出センサを設置し、例えば河川の流水状況や道路状況、土砂崩れ等の危険箇所の状況を監視カメラにて常時撮影すると同時に、河川の増水や土砂崩れといった異常の発生を異常検出センサにより検出し、これらの画像情報や検出情報を、監視カメラや異常検出センサから離れた場所にある監視室内に設置された表示装置に画面表示する構成としていた。
図18は、従来例の監視システムを示す全体構成図である。
複数の地点に、監視カメラ1a、1b、1c、異常検出センサ2a、2b、2cが設置されている。監視カメラ1aと異常検出センサ2aは近接する位置にあり、監視カメラ1bと異常検出センサ2b、監視カメラ1cと異常検出センサ2cもそれぞれ近接している。監視カメラ1a、1b、1cにより撮影された映像はケーブルを介して画像入力装置3に送信され、この画像入力装置3は監視カメラ1a、1b、1cの映像を圧縮信号化してLAN等の高速回線を通じて映像表示制御装置4に入力するよう接続されている。異常検出センサ2a、2b、2cからの異常信号はLAN回線等を通じて映像表示制御装置4に入力される。オペレータは、この映像表示制御装置4に接続された表示装置5を通じて監視情報を視認しながら、自ら表示操作装置6により監視情報の表示操作を行う。
この従来例の監視システムにおける映像表示制御装置4には、処理部47と異常検出部48と画面生成部43とが備えられている。
処理部47は、表示操作装置6からの表示指令により表示地点のベース地図を基準座標系とする位置座標データ(以下位置座標データという)を入力する表示地点位置座標入力部47aと、予め記憶された監視区域の地図データ(以下ベース地図という)から表示地点位置座標入力部47aより出力される表示地点の位置座標データに応じて該表示地点を含む監視局域を算出して、この監視局域に対応した地図データ(以下局域地図という)を取得する局域地図取得部47bと、予め記憶されている監視区域に設置された監視カメラ1a、1b、1cの地点(以下監視地点という)の位置座標データに基づき表示地点位置座標入力部47aからの表示地点の位置座標データに応じて、表示地点の撮影に最適な監視カメラを監視カメラ1a、1b、1cの中から選択して画像入力装置3に指令する監視カメラ選択部47cにより構成されている。
異常検出部48は、異常検出センサ2a、2b、2cの中から異常信号を発信した異常検出センサを検索するセンサ検索部48aと、予め記憶された異常検出センサ2a、2b、2cの検出する異常データを基に、前記センサ検索部48aにて検索された異常検出センサから発生した異常を判断し、該異常の発生場所、発生時間や内容等の検出データを画面生成部43に出力する異常判断部により構成されている。
画面生成部43は、監視カメラ選択部47cの選択指令により画像入力装置3から入力される監視カメラの映像画面を、局域地図取得部47bにより取得された局域地図から局域地図画面を、異常判断部48bからの検出データから通知表示を、それぞれ作成して表示装置5の画面51に表示する。
この従来例の監視システムにおける表示操作装置6には、オペレータが表示装置5の画面51に表示したい表示地点を入力する表示地点入力部61と、入力される表示地点の位置座標データを記憶する表示地点データ記憶部62と、表示地点データ記憶部62に基づいて表示地点入力部61に入力された表示地点の位置座標データを算出し、表示地点位置座標入力部47aに位置座標データの表示指令を出力する表示地点位置座標算出部63により構成されている(例えば、特許文献1参照)。
特開平11−102495号公報(第3頁、図2)
従来例の監視システムは、上述の通りオペレータの表示指令により画面が切替わるように構成されていたので、表示装置の画面上の情報によって異常の発生を把握することはできたが、異常状況を把握するには自ら表示操作装置により異常発生地点を表示するよう画面操作を行う必要があるため、特に監視区域が広くなり、監視カメラや異常検出センサが増える場合には、発生した異常の映像表示が遅れるという問題が生じる可能性があった。
この発明は上記の課題を解決するためになされたものであり、異常が発生した時に、異常発生地点の映像画面と地図画面を自動的且つ選択的に表示可能とし、迅速な異常の状況把握が可能な監視システムを提供することを目的としたものである。
この発明に係る監視システムにおいて、監視区域の各局域に設置された複数の監視カメラと、各監視カメラが撮像した画像信号をケーブルを介して入力し、特定の画像信号を選択してLAN回線等を通じて出力する画像入力装置と、前記各局域に設置され異常の発生を検出する複数の異常検出センサと、各異常検出センサの出力に基づき異常を検出したセンサの位置座標を発生する異常検出部と、全局域の地図データベースを予め記憶しておき、前記異常検出部の出力に基づいて異常が発生した局域の地図データを前記地図データベースから読み出し出力する局域地図取得部と、前記異常検出部の出力に基づいて異常を検出したセンサに最も近い位置の監視カメラを特定し、この監視カメラの画像信号を選択するよう前記画像入力装置に指示する監視カメラ選択部と、前期画像入力装置の出力及び前記局域地図取得部の出力を画面表示する表示装置と、を設ける。
この発明に係る監視システムによれば、異常の発生を検出した異常検出センサの出力に基づき、異常発生地点を含む局域地図画面と異常発生地点を撮影する監視カメラの映像画面が自動的に表示装置の画面に表示される。これにより、オペレータが自ら表示操作装置により異常が発生した地点を画面上において検索操作する必要がなくなり、発生した異常の映像表示が速くなる。
実施の形態1.
図1は、この発明に係る監視システムの一実施の形態を説明する全体構成図を示す。
図2は、この発明に係る監視システムを用いて異常の発生を監視する監視区域を示す。
図3は、この発明の実施の形態による監視システムにおける表示装置の異常発生前の画面を示す。
図4は、この発明の実施の形態による監視システムにおける映像表示制御装置の動作を説明するためのフローチャートを示す。
図5は、この発明の実施の形態による監視システムにおける表示装置の異常発生後の画面を示す。
図1において、監視区域内の複数の地点に、監視カメラ1a、1b、1c、異常検出センサ2a、2b、2cを備え、ケーブルを介して画像入力装置3に送信される監視カメラ1a、1b、1cの映像を圧縮信号化してLAN回線等を通じて映像表示制御装置4が入力し、また異常検出センサ2a、2b、2cからの異常信号をLAN回線等を通じて映像表示制御装置4が入力して、この映像表示制御装置4に接続された表示装置5の画面によりオペレータが監視情報を視認しながら、自ら表示操作装置6により監視情報の表示操作を行うよう備えた実施の形態1における監視システムの全体構成は、従来例と同一である。この実施の形態1における監視システムを構成する機器は、映像表示制御装置4を除き従来例と同一である。また、この実施の形態1において、図1の異常検出センサ2bには土砂崩れ検出センサを用いるものとする。
この実施の形態1における映像表示制御装置4には、処理部41と異常検出部42と画面生成部43が備えられている。
処理部41は、表示操作装置6からの表示指令により表示地点の位置座標データを入力する表示地点位置座標入力部41aと、異常検出部42からの検出信号により異常検出センサ2a、2b、2cの設置された地点(以下異常監視地点という)の位置座標データを入力する異常発生位置座標入力部41bと、前記表示地点位置座標入力部41aと前記異常発生位置座標入力部41bの出力側に備えられ、前記異常発生位置座標入力部41bからの位置座標データの入力があった場合に表示地点位置座標入力部41aから異常発生位置座標入力部41bに入力切替を行う入力切替部41cと、予め記憶されたベース地図から前記入力切替部41cより出力される位置座標データに応じた監視局域を算出し、局域地図を取得する局域地図取得部41dと、予め記憶されている監視地点の位置座標データに基づき、前記入力切替部41cからの位置座標データに応じて撮影に最適な監視カメラを複数の監視カメラの中から選択する監視カメラ選択部41eと、により構成されている。
この発明における監視局域とは、監視区域内の一定の領域であって、検索された表示地点や異常発生地点の位置座標データを基準に取得された表示装置5の画面51上に一画面として表示可能な範囲をいう。この実施の形態1において処理部41の局域地図取得部41dが検索された異常監視地点の位置座標データに対応した監視局域を算出して局域地図を取得する方法としては、例えば図2に示すように、異常発生地点14の位置座標データ(x1、y1)が検索された場合に表示範囲として予め表示装置の画面上に一画面として表示する範囲をx1−n<x<x1+n(n<x1)、y1−m<y<y1+m(m<y1)と設定しておき、これにより領域を算出する方法がある。また、予めベース地図上の位置座標データに基づいて画面分割を設定しておき、検索された監視地点が含まれる分割画面を局域地図とし選択する方法としてもよい。
異常検出部42は、異常検出センサ2a、2b、2cの中から異常信号を発信した異常検出センサを検索するセンサ検索部42aと、予め記憶された各異常検出センサが検出する異常データを基に前記センサ検索部42aにて検索された異常検出センサから発生した異常を判断し、該異常の発生場所、発生時間や内容等の検出データを画面生成部43に送信する異常判断部42bと、予め記憶された異常監視地点の位置座標データに基づき、異常検出センサからの異常信号により異常発生地点の位置座標データを算出して前記処理部41の異常発生位置座標入力部41bに出力する異常発生位置座標算出部42cと、により構成されている。
画面生成部43は、従来例の画面生成部と同一であり、監視カメラ選択部41eの選択指令により画像入力装置3から入力される監視カメラの映像画面を、局域地図取得部41dにより取得された局域地図から局域地図画面を、異常判断部42bからの検出データから通知表示を、それぞれ作成して表示装置5の画面51に表示するよう表示装置5に接続されている。
表示操作装置6は、従来例の表示操作装置と同一である。
図2において、監視カメラ1aは監視地点11Aに設置され、監視カメラ1aに近接する異常検出センサ2aは異常監視地点12Aに設置されている。同様に、監視カメラ1bは監視地点11Bに設置され、監視カメラ1bに近接する土砂崩れ検出センサ2bは異常監視地点12Bに設置されている。監視カメラ1cは監視地点11Cに設置され、監視カメラ1cに近接する異常検出センサ2cは異常監視地点12Cに設置されている。
次に、動作について説明する。
異常が発生していない場合においては、異常検出センサ2a、2b、2cのいずれからも異常の発生を知らせる異常信号が発信されないため、異常検出部42から処理部41に検出信号は出力されない。このとき、オペレータが表示操作装置6において、例えば監視地点11Aを表示地点とする表示指令を入力した場合、オペレータからの表示指令は表示地点位置座標入力部41aを通じて入力切替部41cに入力される。入力切替部41cは表示地点位置座標入力部41aから入力された監視地点11Aの位置座標データを局域地図取得部41d及び監視カメラ選択部41eに送信する。これにより、局域地図取得部41dにおいて監視地点11Aの位置座標データに対応する局域地図が取得され、監視カメラ選択部41eにおいて監視地点11Aの撮影に最適な監視カメラ1aが選択される。前記監視カメラ選択部41eから監視カメラ1aの選択指令が画像入力装置3に送信されると、前記画像入力装置3より監視カメラ1aの画像信号のみが出力されるため、画面生成部43においては、局域地図取得部41dにより取得された局域地図から監視地点11Aを含む局域地図画面と、選択された監視カメラ1aの映像画面とが作成される。
これにより、従来例と同じく、異常発生前の表示装置5の画面51には、図3に示すようにオペレータが表示操作装置6において入力した監視地点11Aを含む局域地図画面52と監視カメラ1aの映像画面53とが表示される。
次に、異常監視地点12Bに近接する図5の地点14において土砂崩れが発生した場合、土砂崩れ検出センサ2bが土砂崩れを検出するため、図4に示すように土砂崩れ検出センサ2bより発信された異常信号がセンサ検索部42aに入力される(ST1)。複数の異常検出センサの中から異常信号を発信したのが土砂崩れ検出センサ2bであることをセンサ検索部42aが検索すると、異常判断部42bは発生した異常が土砂崩れであると判断し、土砂崩れの発生やその発生時間、場所等の検出データを画面生成部に送信する。次に、異常発生位置座標算出部42cが土砂崩れ発生地点14の位置座標データを算出して(ST2)、異常発生位置座標入力部41bに対して検出信号を発信する(ST3)。異常発生位置座標入力部41bから位置座標データが入力切替部41cに入力されるため、表示地点位置座標入力部41aから異常発生位置座標入力部41bに入力切替が行われると(ST4)、局域地図取得部41dにおいて土砂崩れ発生地点14の位置座標データに対応する局域地図が取得され、監視カメラ選択部41eにおいて土砂崩れ発生地点14の撮影に最適な監視地点11Bにある監視カメラ1bが選択される(ST5)。監視カメラ選択部41eから監視カメラ1bの選択指令が画像入力装置3に送信されると(ST6)、画像入力装置3は監視カメラ1bの画像信号のみを出力する。これにより、画面生成部43において、土砂崩れ発生地点14を含む局域地図画面と、選択された監視カメラ1bの映像画面と、土砂崩れの発生やその発生時間、場所等を表示する通知表示とが作成される。
図5に示すように、土砂崩れ発生後の表示装置5の画面51には、土砂崩れ発生地点14を含む局域地図画面52と土砂崩れ発生地点14の近接にある監視カメラ1bの映像画面53が表示される(ST7、ST8)。また、土砂崩れの発生及びその発生時間を示す通知表示55、異常発生前に表示されていた前画面に戻るコマンドボタン56を表示し、さらに、映像画面53はマウス操作等により画面の大きさや表示位置を変更可能としてもよい。
このように構成された監視システムにおいては、異常検出部42が土砂崩れの発生を検出した土砂崩れ検出センサ2bからの異常信号を入力すると、土砂崩れ発生地点14を含む局域地図画面52と土砂崩れを撮影する監視カメラ1bの映像画面53を自動的に表示装置5に表示するよう処理部41が画面切替を行う。これにより、オペレータが自ら表示操作装置6により土砂崩れが発生した地点を画面上において検索操作する必要がなくなり、発生した土砂崩れの映像表示が速くなる。
上記では、監視区域に3台の監視カメラと3台の異常検出センサを設置した場合の実施の形態について説明したが、さらに多くの監視カメラ、異常検出センサを監視区域に設置し、LAN回線等を通じて映像表示制御装置4に画像信号や異常信号を入力する構成としてもよい。
また、一の異常検出センサに土砂崩れ検出センサを用いて土砂崩れを検出する実施の形態について説明したが、例えば土石流や落石、地すべりといった土砂崩れ以外の異常の発生を検出するセンサを他の異常検出センサに用いる構成としても利用できることは言うまでもない
実施の形態2.
図6は、この発明に係る監視システムの実施の形態2を説明する全体構成図を示す。
図7は、この発明の実施の形態2による監視システムにおける映像表示制御装置の動作を説明するためのフローチャートを示す。
図8は、この発明の実施の形態2による監視システムにおける表示装置の異常発生後の画面を示す。
図6において、映像表示制御装置4が周辺地点検索部44を有する以外の構成は、本発明の実施の形態1における監視システムの全体構成と同じである。この周辺地点検索部44は、異常の内容及びその発生地点から二次災害等の影響が予想される周辺地域を割出す周辺地域データを有し、異常検出部42から出力される検出信号に基づいて該異常の二次災害等の影響が予想される周辺地域を検索する周辺地域検索部44aと、前記周辺地域検索部44aにより検索された周辺地域内の監視地点に設置された監視カメラを割出す周辺監視地点割出部44bにより構成されており、割出された監視カメラの検索信号を局域地図取得部41dと監視カメラ選択部41eに出力するよう接続されている。また、実施の形態1と同じく異常検出センサ2bには土砂崩れ検出センサを用いるものとし、さらに、この実施の形態2においては4台目の監視カメラ1dを監視地点11Dに設置するものとする。
次に、動作について説明する。
例えば、実施の形態1と同じく異常監視地点12Bに近接する地点14において土砂崩れが発生した場合、図7に示すように土砂崩れ検出センサ2bからの異常信号がセンサ検索部42aに入力される(ST1)。センサ検索部42aが土砂崩れ検出センサ2bからの異常信号と検索すると、異常発生位置座標算出部42cは土砂崩れ発生地点14の位置座標データを算出し(ST2)、異常発生位置座標入力部41bに対して検出信号を発信するため(ST3)、入力切替がされる(ST4)。このとき、ST2にて検出された土砂崩れの発生及びその発生地点の検出信号が周辺地域検索部44aに入力されると、周辺地域データに基づき土砂崩れの二次災害等が予想される周辺地域を検索し、該周辺地域内の監視地点に設置された監視カメラを割出す(ST5)。ここで、周辺地域検索部44aは、例えば土砂崩れ発生地点14の位置座標データ(x2、y2)が監視区域内を流れるQ川の上流域を示すx2−α1<x<x2+α2、y2−β1<y<y2+β2の範囲内に該当し、且つその異常が土砂崩れである場合において、土砂崩れによる二次災害等の影響の予想されるQ川の下流域やその近隣の住宅地域である周辺地域を検出し、該地域内に設置されている監視カメラの監視地点11C及び監視地点11Dを検索し、それぞれの地点に設置された監視カメラ1c及び1dを割出す(ST6)。尚、α、βはQ川の地理情報に基づき予め設定された値とする。これにより、局域地図取得部41dは、土砂崩れ発生地点14、監視地点11C及び11Dの位置座標データに対応する局域地図を取得し、監視カメラ選択部41eにおいては土砂崩れ発生地点14に近接する監視地点11Bにある監視カメラ1b、周辺地点検索部44により割出された監視カメラ1c及び監視カメラ1dの選択指令が画像入力装置3に送信されるため(ST7)、画面生成部43においては、土砂崩れ発生地点14及び監視地点11C、11Dを含む局域地図画面と、監視カメラ1b、1c及び1dの映像画面と、土砂崩れの発生やその発生時間、場所等を表示する通知表示とが作成される。
異常発生後の表示装置5の画面51は、図8に示すように、土砂崩れ発生地点14及び該土砂崩れの影響が予想される監視地点11C、11Dを含む局域地図画面52と(ST8)、土砂崩れ発生地点14の撮影に最適な監視カメラ1bの映像画面53aと周辺地点にある監視カメラ1c及び1dの映像画面53b(ST9)、さらに土砂崩れの発生を知らせる通知表示55を表示するよう切替わる。また、土砂崩れの発生及びその発生時間を示す通知表示55、及び異常発生前に表示されていた前画面に戻るコマンドボタン56が表示されている。尚、映像画面53a、53bは、マウス操作等により画面の大きさや表示位置を変更可能としてもよい。
このように構成された監視システムにおいては、映像表示制御装置4に更に周辺地点検索部44を設け、異常検出部42からの検出信号に応じて周辺地域検索部44aが周辺地域を検索し、周辺監視地点割出部44bが該地域内に設置された監視カメラを割出すよう構成しているので、表示装置5の画面51には、異常発生地点の撮影に最適な監視カメラの映像画面53aのみならず、周辺地点の監視カメラの映像画面53bが自動的に表示されるため、二次災害等の影響が予想される周辺地点の映像表示が速くなり、異常の早期検出及び二次災害等の影響の早期把握が図れる。
上記では、河川の上流域において土砂崩れが発生した場合の実施の形態について説明したが、土砂崩れ以外の異常が発生した場合においても、異常の発生場所とその内容に応じて影響が予想される周辺地域を予め周辺地域データとして周辺地点検索部44が有しておく構成とすれば、自動的に表示装置5の画面51上に異常の発生地点の映像画面と周辺地点の映像画面を表示することは可能であるため、土砂崩れ以外の場合においても利用できることは言うまでもない。
実施の形態3.
図9は、この発明に係る監視システムの実施の形態3を説明する全体構成図を示す。
図10は、この発明の実施の形態3による監視システムにおける映像表示制御装置の動作を説明するためのフローチャートを示す。
図11は、この発明の実施の形態3による監視システムにおける表示装置の異常発生後の画面を示す。
図9において、映像表示制御装置4が優先順位判定部45を有する以外は、本発明の実施の形態1における監視システムの全体構成と同じである。
例えば土砂崩れ検出センサの設置された複数の異常監視地点において土砂崩れが連続若しくは同時に多発した場合、図10に示すように、複数の異常信号がセンサ検索部42aに入力される(ST1)。異常信号を発信した複数の土砂崩れセンサと発生した異常が全て土砂崩れであることを異常検出部42が検索すると、優先順位判定部45に対して検出信号を発信し(ST2)、複数の土砂崩れの発生やその発生時間、場所等の検出データを画面生成部43に送信する。優先順位判定部45の優先度判定部45aは、予め記憶された異常検出センサ2の検出する異常データの優先順位、及び同一異常が発生したときの異常監視地点の優先順位の優先データに基づき、先ずは複数の異常が同一の優先度であるか否かを判定する(ST3)。この場合、複数の異常は全て土砂崩れであり、優先度は同一と判断される。
次に、土砂崩れ発生地点のうち、地盤が弱い、住宅地が近い等の要因により土砂崩れの影響を最も受けやすいのがどの地点であるのか、優先データに基づいて優先度判定部45aは判定する(ST4)。ここで、土砂崩れ発生地点の優先度が全て同一と判断された場合、優先度判定部45aはセンサ検索部42aに最初に入力された土砂崩れ検出センサからの異常信号を選択する。次に異常発生位置座標算出部45bにおいて、予め記憶された異常監視地点の位置座標データに基づき、選択された土砂崩れ発生地点の位置座標データが算出されると(ST5)、異常発生位置座標入力部41bに対し判定信号を送信するため、入力切替部41cにおいて入力切替が行われる(ST6)。
これにより、局域地図取得部41dにおいては、選択された土砂崩れ発生地点の位置座標データに対応する局域地図が取得され、監視カメラ選択部41eにおいては、土砂崩れ発生地点の撮影に最適な監視カメラ1が選択される(ST7)。監視カメラ1の選択指令が画像入力装置3に送信されると(ST8)、画面生成部43は、選択された土砂崩れ発生地点を含む局域地図画面と、選択された監視カメラ1の映像を映した映像画面と、土砂崩れの連続発生を知らせる通知表示とを作成する。
これにより、土砂崩れ発生後の表示装置5の画面51には、図11のように選択された土砂崩れ発生地点を含む局域地図画面52と(ST9)、監視カメラ1の映像画面53(ST10)、及び他の異常監視地点における土砂崩れの連続発生を知らせる通知表示55bが表示されるように画面表示が切替わる。ここで、連続して発生している他の異常の発生地点の画面に表示切替えを行うには、例えば画面51のメニュー表示54に異常選択メニューを設け、この異常選択メニューを選択すると他の異常の内容や発生地点、発生時間等を検索できる操作ボタン等を備えた選択画面を画面51上に表示し、この選択画面での操作により他の異常の発生地点の画面に表示切替えを行うこととしてもよい。また、映像画面53はマウス操作等により画面の大きさや表示位置を変更可能としてもよい。
一方、土砂崩れ発生地点間における優先度が異なる場合、優先度判定部45aが異常発生地点間の優先データに基づき、優先度の最も高い土砂崩れ発生地点を選択するため、異常発生位置座標算出部45bは選択された土砂崩れ発生地点の位置座標データを算出し、判定信号を異常発生位置座標入力部41bに送信する(ST11)。これにより入力切替部41cにおいて入力が切替わる(ST6)。
複数の異常監視地点にて土砂崩れが発生した場合について説明したが、例えば土砂崩れ、土石流、水位警戒値超え等の異なる異常を検出する異常検出センサを監視区域内の異常監視地点に複数設置し、これらの地点において土砂崩れ、土石流、水位警戒値超え等が同時に多発した場合には、優先度判定部45aにおいて、異常の優先データに基づき、最も優先度の高い異常が選択されるため(ST12)、異常発生位置座標算出部45bは、選択された異常の発生地点の位置座標データを算出し、判定信号を異常発生位置座標入力部41bに送信する(ST13)。これにより入力切替部41cにおいて入力が切替わる(ST6)。
このように構成された監視システムにおいては、映像表示制御装置4に優先順位判定部45を設け、異常の優先順位及びその発生地点の優先順位を判定するように構成されているので、複数の異常監視地点における異常を連続若しくは同時に異常検出センサ2が検出した場合、優先度に応じて選択された異常発生地点を含む局域地図画面、該異常発生地点の撮影に最適な監視カメラの映像画面、及び他の異常の発生を知らせる通知表示に画面表示が自動的に切替わる。これにより、オペレータが複数の異常のうち、優先度の高い異常の映像を早期に取得することができると同時に、画面に表示されない他の地点における土砂崩れの状況についても早急に且つ効率良く把握することができる。
上記では、優先的に選択された異常の発生地点に最適な監視カメラ1の映像画面を表示装置5の画面51上に表示する実施の形態について説明したが、図6に示したように前記周辺地点検索部44を備える構成とし、優先的に選択された異常の発生地点から二次災害等の影響の予想され得る周辺地点の映像画面も、自動的に表示装置5の画面51上に同時に表示することとしてもよい。
実施の形態4.
実施の形態1、2及び3では、処理部41が、異常発生地点の位置座標データから、該異常発生地点の撮影に最適な監視カメラ1を予め記憶された監視地点の位置座標データに基づき判断する構成としたが、図12に示すように、この実施の形態4においては、監視カメラ1に監視カメラ制御装置7を備え、この監視カメラ制御装置7が、異常発生位置座標入力部41bより異常発生地点の位置座標データ、監視カメラ選択部41eより選択指令を入力し、予め記憶されている監視地点の位置座標データ、監視カメラの撮影可能角度δ−nと、現在のカメラ角度γに基づいて、監視カメラと異常発生地点との距離、角度を計算し、選択された監視カメラの方向、撮影角度、ズーム等を制御できる構成とする。図13において位置座標データ(x3、y3)にて異常が発生した場合、監視カメラ制御装置7は、選択された監視カメラ1の監視地点(x4、y4)から距離を、また現在の監視カメラの向き(角度)γから異常発生地点が監視カメラの撮影可能角度δ−nに入るか否かをそれぞれ計算し、この計算結果を基に監視カメラの方向、撮影角度、ズームを調整して、撮影に最適な監視カメラを得るよう制御を行う。これにより、異常の撮影に最適な監視カメラ1が選択されても、表示装置5の画面51に表示された監視カメラの映像画面53が撮影対象物と焦点が合わず、また撮影対象物が映像画面3の隅部にしか映し出されない等により、異常が十分に捉えられないような場合においても、監視カメラを自動的に駆動制御することで異常の映像が的確に画面51上に表示され、オペレータが確実に異常を把握することができ、遠隔監視作業の効率化が図られる。
実施の形態5.
実施の形態1から4では、異常検出センサ2からの異常信号を起点として、異常検出部42が異常発生地点の位置座標データを算出し、自動的に表示装置5の画面表示を切替える構成について説明したが、この実施の形態5においては、図14に示すように映像表示制御装置4が疑似異常発生部46を備え、オペレータが外部接続されたマウス8も用いて疑似異常信号を入力することにより画面の表示切替を行う構成とする。
疑似異常発生部46の疑似異常地点入力部46aに外部接続されたマウス8を用いて、表示装置5に表示されている局域地図画面52の任意の地点をクリック選択する。このクリック選択地点(以下疑似異常地点という)において疑似的に異常が発生したものとして、図15に示すように位置座標算出部46bに対して疑似異常信号を出力する(ST1)。位置座標算出部46bは、予め記憶されたベース地図から局域地図取得部41dが取得した局域地図の位置座標データを判断する画面位置座標判断部46cの出力データに基づき、画面51上の監視局域における上記疑似異常地点の位置座標データを算出する(ST2)。疑似異常発生部46からの疑似検出信号は、表示地点位置座標入力部41aに送信され、入力切替部41cを介して監視カメラ割出部41fに入力される(ST3)。監視カメラ割出部41fは、予め記憶された監視カメラの監視地点における撮影可能範囲10及び撮影可能許容範囲13に基づいて疑似異常地点の撮影に最適な監視カメラ1を判断し(ST4)、画像入力装置3に対して選択すべき監視カメラ1を指令する(ST5)。これにより、画面生成部43では監視カメラ1の映像画面が作成されるため、表示装置5の画面51には監視カメラ1の映像画面53が自動的に表示される(ST6)。
図16は、監視局域を表す地図であり、該局域に設置された監視カメラ1a乃至1cと各監視カメラの撮影可能範囲10及び撮影可能許容範囲13との関係を示している。撮影可能範囲10とは、監視カメラの性能に応じて設定される各監視カメラの撮影領域を指す。撮影可能許容範囲13とは、前記撮影可能範囲10の範囲外において、各監視カメラの性能及び各監視地点の地理的要因に応じて予め定義された所定の領域を指す。
例えば、図16において地点Fがクリック選択された場合、上述のST2において算出された地点Fの位置座標データに基づいて、一番近い位置にある監視カメラ1aと地点Fとの距離から、監視カメラ割出部41fは地点Fが監視カメラ1aの撮影可能範囲10内であることを判断する(ST4)。
次に、地点Gがクリック選択された場合、上述のST2において算出された地点Gの位置座標データにより、監視カメラ割出部41fは一番近い位置にある監視カメラ1bと地点Gとの距離から監視カメラ1bの撮影可能範囲10との差を算出し、その差が撮影可能許容範囲13を超過するか否かを判断する(ST4)。この場合、監視カメラ割出部41fは、地点Gが監視カメラ1bの撮影可能許容範囲13内であると判断するため、地点Fと同じく、画像入力装置3に対して選択すべき監視カメラ1を指令する(ST5)。
さらに、地点Hがクリック選択され、監視カメラ割出部41fが一番近い監視カメラ1cと地点Hとの距離から監視カメラ1cの撮影可能許容範囲13外にあると判断した場合(ST4)、画像入力装置3に対して監視カメラ1cの選択指令を出さないため(ST7)、表示装置5の画面51には監視カメラ1cの映像画面が表示されない(ST8)。このとき、監視カメラ割出部41fにおける割出結果を通知表示指令部41gに入力し、監視カメラ1cが地点Hの撮影可能許容範囲13に位置していないこと、若しくは地点Hの撮影に最適な監視カメラが存在しないことの通知表示を画面生成部43に送信し、この通知表示を画面51上に表す構成としてもよい。
このように構成された監視システムにおいては、映像表示制御装置4内に疑似異常発生部46を設け、さらに処理部41に監視カメラ割出部41fと通知表示指令部41gを備える構成としたので、画面51上の任意地点を選択すると、該地点の撮影に最適な監視カメラの映像が自動的に画面表示される。これにより、オペレータが表示したい地点の映像を少ない操作回数で素早く表示することが可能となる。また、異常が発生していない平常作業において、監視区域の監視業務を効率良く行うことができる。
上述では、外部接続されたマウス8を用いて、表示装置5の画面51に表示されている局域地図画面52をマウス操作によりクリックして任意地点を選択する構成について説明したが、監視区域の任意地点を選択できるものであれば、マウス操作以外の手段であっても利用できることはいうまでもない。
また、監視カメラ制御装置7を備え、疑似異常地点の位置座標データに基づいて、選択された監視カメラと疑似異常地点との距離、角度を計算し、選択された監視カメラの方向、撮影角度、ズーム等を制御できる構成としてもよい。
実施の形態6.
さらに、前記疑似異常発生部46の疑似異常地点入力部46aが建物や橋等の特定対象物の位置座標データを予め記憶又は追加書込み可能とし、表示装置5の画面51にこれら特定対象物の情報を表示してマウス操作により選択する構成とすれば、局域地図画面52上に表示されていない監視局域にある特定対象物の映像画面53が自動的に表示されるため、重要な監視地点の選別や映像の早期表示が可能となり、監視業務の一層の効率化が図られる。
また、監視カメラ制御装置7を備え、特定対象物の位置座標データに基づいて、選択された監視カメラ1の方向、撮影角度、ズーム等を制御できる構成としてもよい。さらに、特定対象物毎に選択される監視カメラの制御後の位置情報を監視カメラ制御装置7が記憶する構成とすれば、監視カメラの設置場所を変更した場合であっても、監視カメラが的確に特定対象物を捉えることができ、監視業務の効率化が図られる。
実施の形態7.
また、実施の形態1乃至4において、図17に示すように映像蓄積装置9を設け、異常検出部42からの検出信号に基づき監視カメラ選択部41eが監視カメラ1の選択指令を画像入力装置3に送信した場合に、映像蓄積装置9に備えられたハードディスク等の記憶媒体が画面生成部43において生成された監視カメラ1の映像画面の映像蓄積を行い、また、異常判断部42bから画面生成部43が受信した異常の発生やその発生時間、場所等の検出データを同時に蓄積する構成とすれば、過去の異常発生時の映像を異常発生地点の周辺映像を含め時系列に、検出データと結びつけて認識することが可能となり、迅速な異常発生状況の分析を支援することが可能となる。なお、映像蓄積装置9が映像蓄積を開始してから所定の時間経過後に、蓄積を停止するよう設定してもよい。
映像蓄積装置9に蓄積された過去の異常発生時の映像を表示には、図5に示すように、表示装置5の画面51に表示されたメニュー表示54に蓄積映像表示メニューを設け、この蓄積映像表示を選択すると、位置や時間、内容から過去に発生した異常の情報を検索できる操作ボタン等を備えた選択画面を画面51上に表示し、この選択画面での操作により過去の異常の発生の画面に表示切替えを行うこととしてもよい。
この発明に係る監視システムの一実施の形態を説明する全体構成図である。 この発明に係る監視システムを用いて異常の発生を監視する監視区域を示す。 この発明の実施の形態による監視システムにおける表示装置の異常発生前の画面を示す。 この発明の実施の形態による監視システムにおける映像表示制御装置の動作を説明するためのフローチャートを示す。 この発明の実施の形態による監視システムにおける表示装置の異常発生後の画面を示す。 この発明に係る監視システムの実施の形態2を説明する全体構成図を示す。 この発明の実施の形態2による監視システムにおける映像表示制御装置の動作を説明するためのフローチャートを示す。 この発明の実施の形態2による監視システムにおける表示装置の異常発生後の画面を示す。 この発明に係る監視システムの実施の形態3を説明する全体構成図を示す。 この発明の実施の形態3による監視システムにおける映像表示制御装置の動作を説明するためのフローチャートを示す。 この発明の実施の形態3による監視システムにおける表示装置の異常発生後の画面を示す。 この発明に係る監視システムの実施の形態4を説明する全体構成図を示す。 この発明の実施の形態4による監視システムにおける監視カメラの制御方法を説明する概念図である。 この発明に係る監視システムの実施の形態5を説明する全体構成を示す。 この発明の実施の形態5による監視システムにおける映像表示制御装置の動作を説明するためのフローチャートを示す。 この発明の実施の形態5による監視システムにおいて、疑似異常地点から監視局域に設置された監視カメラを割出す概念図である。 この発明に係る監視システムの実施の形態7を説明する全体構成図を示す。 従来例の監視システムを説明する全体構成図を示す。
符号の説明
1 監視カメラ、2 異常検出センサ、3 画像入力装置、4 映像表示制御装置、41 処理部、41c 入力切替部、41d 局域地図取得部、41e 監視カメラ選択部、41f 監視カメラ割出部、42 異常検出部、42a センサ検索部、42b 異常判断部、42c 異常発生位置座標算出部、43 画面生成部、44 周辺地点検索部、45 優先順位判定部、46 疑似異常発生部、5 表示装置、51 画面、52 局域地図画面、53 映像画面、6 表示操作装置、7 監視カメラ制御装置、9 映像蓄積装置


Claims (4)

  1. 複数の局域からなる監視区域の各局域に設置された監視カメラと、各監視カメラが撮像した画像信号の中から指定された画像信号を選択して出力する画像入力装置と、前記各局域に設置された異常検出センサと、各異常検出センサの出力に基づき異常を検出したセンサの位置座標を発生する異常検出部と、全局域の地図データベースを有し、前記異常検出部の出力に基づいて異常が発生した局域の地図データを前記地図データベースから読み出し出力する局域地図取得部と、前記異常検出部の出力に基づいて異常を検出したセンサに最も近い位置の監視カメラを特定し、この監視カメラの画像信号を選択するよう前記画像入力装置に指示する監視カメラ選択部と、前期画像入力装置の出力及び前記局域地図取得部の出力を画面表示する表示装置とを備えたことを特徴とする監視システム。
  2. 前記異常検出部の出力に基づき異常の影響を受ける周辺地域の監視カメラを検索し、この監視カメラを選択するよう前記監視カメラ選択部に指示する周辺地点検索部を備えたことを特徴とする請求項1記載の監視システム。
  3. 前記異常検出部の出力に基づき複数の異常の中から予め定めた優先順位に従い特定の異常を選択し、この選択された異常を前記異常検出部の出力とする優先順位度判定部を備えたことを特徴とする請求項1乃至2記載の監視システム。
  4. 複数の局域からなる監視区域の各局域に設置された監視カメラと、各監視カメラが撮像した画像信号の中から指定された画像信号を選択して出力する画像入力装置と、監視局域内の任意の地点における異常を模似した疑似異常信号を入力し、疑似異常の発生地点の位置座標を発生する疑似異常発生部と、前記疑似異常発生部の出力に基づいて疑似異常の発生地点に最も近い位置の監視カメラを特定し、この監視カメラの画像信号を選択するよう前記画像入力装置に指示する監視カメラ選択部と、前期画像入力装置の出力を画面表示する表示装置とを備えたことを特徴とする監視システム。



JP2003349966A 2003-10-08 2003-10-08 監視システム Expired - Lifetime JP4400167B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003349966A JP4400167B2 (ja) 2003-10-08 2003-10-08 監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003349966A JP4400167B2 (ja) 2003-10-08 2003-10-08 監視システム

Publications (2)

Publication Number Publication Date
JP2005117424A true JP2005117424A (ja) 2005-04-28
JP4400167B2 JP4400167B2 (ja) 2010-01-20

Family

ID=34541685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003349966A Expired - Lifetime JP4400167B2 (ja) 2003-10-08 2003-10-08 監視システム

Country Status (1)

Country Link
JP (1) JP4400167B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243523A (ja) * 2006-03-08 2007-09-20 Meidensha Corp 遠方監視制御システム及び遠方監視制御方法
JP2008011212A (ja) * 2006-06-29 2008-01-17 Mitsubishi Electric Corp 監視装置
JP2008035367A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd 監視装置選択プログラム、選択装置、および選択方法
JP2008099248A (ja) * 2006-10-13 2008-04-24 Fuji Xerox Co Ltd 定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置、前記ビデオのインタフェースと表示を提供する方法、及びプログラム
JP2011239227A (ja) * 2010-05-11 2011-11-24 Japan Radio Co Ltd カメラ選択システム、及びカメラ選択装置
KR101204082B1 (ko) 2007-11-15 2012-11-22 삼성테크윈 주식회사 감시 카메라 시스템
KR101356846B1 (ko) * 2012-03-21 2014-01-29 한국과학기술원 감시 카메라의 사건 우선도 부여 방법 및 시스템
CN103700231A (zh) * 2013-12-25 2014-04-02 惠州市茂荣智能科技有限公司 一种远程网络数字化声像报警和安全防范控制的方法
JP2015108888A (ja) * 2013-12-03 2015-06-11 有限会社 ジオテック 地域内の崩壊危険報知サービス情報提供装置およびその提供方法、および装置運用のコンピュータに用いられる媒体
JP2016082330A (ja) * 2014-10-14 2016-05-16 セコム株式会社 画像確認システムおよびセンタ装置
JP2017059944A (ja) * 2015-09-15 2017-03-23 キヤノン株式会社 監視システム、情報処理方法及びプログラム
CN110225299A (zh) * 2019-05-06 2019-09-10 平安科技(深圳)有限公司 视频监测方法、装置、计算机设备及存储介质
CN111385468A (zh) * 2018-12-27 2020-07-07 佳能株式会社 控制装置及其控制方法和工业自动化系统
CN112272285A (zh) * 2020-09-30 2021-01-26 浙江鼎胜环保技术有限公司 一种智能运维系统、软件设备及装置
US11180090B2 (en) 2020-01-15 2021-11-23 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for camera view selection/suggestion
CN118426663A (zh) * 2024-07-04 2024-08-02 海马云(天津)信息技术有限公司 鼠标数据处理方法与装置、电子设备及存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243523A (ja) * 2006-03-08 2007-09-20 Meidensha Corp 遠方監視制御システム及び遠方監視制御方法
JP2008011212A (ja) * 2006-06-29 2008-01-17 Mitsubishi Electric Corp 監視装置
JP2008035367A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd 監視装置選択プログラム、選択装置、および選択方法
JP2008099248A (ja) * 2006-10-13 2008-04-24 Fuji Xerox Co Ltd 定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置、前記ビデオのインタフェースと表示を提供する方法、及びプログラム
KR101204082B1 (ko) 2007-11-15 2012-11-22 삼성테크윈 주식회사 감시 카메라 시스템
JP2011239227A (ja) * 2010-05-11 2011-11-24 Japan Radio Co Ltd カメラ選択システム、及びカメラ選択装置
KR101356846B1 (ko) * 2012-03-21 2014-01-29 한국과학기술원 감시 카메라의 사건 우선도 부여 방법 및 시스템
JP2015108888A (ja) * 2013-12-03 2015-06-11 有限会社 ジオテック 地域内の崩壊危険報知サービス情報提供装置およびその提供方法、および装置運用のコンピュータに用いられる媒体
CN103700231A (zh) * 2013-12-25 2014-04-02 惠州市茂荣智能科技有限公司 一种远程网络数字化声像报警和安全防范控制的方法
JP2016082330A (ja) * 2014-10-14 2016-05-16 セコム株式会社 画像確認システムおよびセンタ装置
JP2017059944A (ja) * 2015-09-15 2017-03-23 キヤノン株式会社 監視システム、情報処理方法及びプログラム
CN111385468A (zh) * 2018-12-27 2020-07-07 佳能株式会社 控制装置及其控制方法和工业自动化系统
CN110225299A (zh) * 2019-05-06 2019-09-10 平安科技(深圳)有限公司 视频监测方法、装置、计算机设备及存储介质
CN110225299B (zh) * 2019-05-06 2022-03-04 平安科技(深圳)有限公司 视频监测方法、装置、计算机设备及存储介质
US11180090B2 (en) 2020-01-15 2021-11-23 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for camera view selection/suggestion
CN112272285A (zh) * 2020-09-30 2021-01-26 浙江鼎胜环保技术有限公司 一种智能运维系统、软件设备及装置
CN118426663A (zh) * 2024-07-04 2024-08-02 海马云(天津)信息技术有限公司 鼠标数据处理方法与装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP4400167B2 (ja) 2010-01-20

Similar Documents

Publication Publication Date Title
JP4400167B2 (ja) 監視システム
US10878584B2 (en) System for tracking object, and camera assembly therefor
CN109104561B (zh) 用于追踪场景中的移动对象的系统及方法
US7633520B2 (en) Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
KR101321444B1 (ko) Cctv 모니터링 시스템
US20080291279A1 (en) Method and System for Performing Video Flashlight
KR101187908B1 (ko) 복수의 이벤트 영상을 표시하는 통합 감시 시스템 및 이를이용한 복수의 이벤트 영상 표시 방법
GB2553991A (en) Tracking support apparatus, tracking support system, and tracking support method
JP4722537B2 (ja) 監視装置
JP5161045B2 (ja) 監視システム及び監視方法
JP4309900B2 (ja) 映像監視システム
KR101297237B1 (ko) 재난 감시 시스템 및 방법
JP4354391B2 (ja) 無線通信システム
KR20140058192A (ko) 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치
JP4325541B2 (ja) 画像処理装置、再生画像処理装置、画像処理方法及び再生画像処理装置
JP2007068010A (ja) 映像監視システム
US20090051770A1 (en) Camera control method, camera control device, camera control program, and camera system
KR102067481B1 (ko) 항만 영상 관제 방법 및 시스템
JP6449613B2 (ja) ガス供給エリア監視カメラシステム
JP3858018B2 (ja) 映像監視システム
JP2008078729A (ja) 監視カメラ切替システム
JP2015204546A (ja) 監視カメラシステム
KR101445361B1 (ko) 현장 모니터링 장치
SK26494A3 (en) Detecting system of movie
JPH0916863A (ja) 監視制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R151 Written notification of patent or utility model registration

Ref document number: 4400167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term