JP2004080090A - 監視部ユニット、それを用いた監視システム、及び異常監視方法 - Google Patents
監視部ユニット、それを用いた監視システム、及び異常監視方法 Download PDFInfo
- Publication number
- JP2004080090A JP2004080090A JP2002233810A JP2002233810A JP2004080090A JP 2004080090 A JP2004080090 A JP 2004080090A JP 2002233810 A JP2002233810 A JP 2002233810A JP 2002233810 A JP2002233810 A JP 2002233810A JP 2004080090 A JP2004080090 A JP 2004080090A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- unit
- control
- abnormality
- monitoring unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】監視システムにおいて、監視部を、監視カメラの他にセンサを備え、かつ移動可能な構成とする。ネットワークと監視部との間に、該監視部と無線接続され、該監視部の移動動作を制御可能な制御部を設ける。該制御部は、該監視部の監視カメラやセンサからの無線情報信号に基づき異常を検出し、その結果をネットワーク側に出力するとともに、ネットワーク側からの指示信号またはこれに基づく制御信号を該監視部に無線送信する構成を有する。また、監視部自身内に、ネットワーク側から入力される信号に基づく制御信号により自身の移動動作を制御可能な構成(制御系)を備える。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、ネットワークを利用して監視カメラを制御し、異常発生等を監視する監視技術に関する。
【0002】
【従来の技術】
従来、監視システムにおいて、監視部は、固定位置に設置され、付属する監視カメラの姿勢変化による監視可能範囲で異常発生などの監視を行うようになっている。監視カメラを含む監視部で取得した映像情報はネットワーク経由で監視センタへ送信される。監視部は監視センタからの命令に従って制御される。例えば、特開2000−316146号公報には、ネットワークを利用し複数の監視カメラで監視を行う技術として、異常発生時前後の画像情報を容易に再現し監視の信頼性を向上させるために、異常が検出された時、自動発信を行って、画像保存部に蓄積されていたアラーム検出前画像から画像伝送と監視とを行う技術が記載されている。
【0003】
【発明が解決しようとする課題】
上記従来の技術では、監視部が固定位置に配されるため、監視部の監視範囲外、例えば、監視部の死角に異常発生要因が移動した場合などは、監視動作を続けることが困難となる。特に、家庭内の監視を行う場合は、監視部の死角を生成する障害物が多く存在するが、死角をなくすことができる全ての監視位置に監視部を配することは困難である。また、監視部が、異常発生要因によって妨害を受けそうになった場合、もしくは妨害を受けてしまった場合には、監視部は固定されているため回避動作を行うことができない。また、異常発生要因によって監視部が破壊されるときには、該破壊されるまでの期間には監視動作が可能であるが、破壊後は、監視動作は不可能となる。また、該監視部は、監視部単体での能動的制御動作は行わず、ネットワークを介して接続された監視センタからの指示信号に従って動作する。このため、異常発生要因に対する対応が遅れ、該要因の排除等も十分に行えない。
本発明の課題点は、上記従来技術の状況に鑑み、監視技術において、(1)監視の精度を高められること、(2)死角のない監視ができること、(3)異常発生要因に対し迅速、正確に対応できること、(4)異常発生要因によって妨害を受けるときまたは受けそうなときはこれを回避し、監視の信頼性を向上できること、等である。
本発明の目的は、かかる課題点を解決できる技術の提供にある。
【0004】
【課題を解決するための手段】
上記課題を解決するために、本発明では、基本的に、監視システムにおいて、監視部が、監視カメラの他にセンサを備え、移動可能な構成とする。また、ネットワークと該監視部との間には、該監視部と無線接続され、該監視部の移動動作を制御可能な制御部を設ける。該制御部は、該監視部の監視カメラやセンサからの無線情報信号に基づき監視対象の異常を検出し結果をネットワーク側に出力するとともに、ネットワーク側からの指示信号またはこれに基づく制御信号を該監視部に無線送信する構成を有する。また、監視部として、監視カメラの他にセンサを備え、移動可能で、かつ、監視部自身が、該監視カメラや該センサからの情報信号に基づき異常を検出し該検出結果を出力するとともに、ネットワーク側から入力される信号に基づく制御信号により自身の移動動作を制御可能な構成(制御系)とする。具体的には、(1)ネットワークを利用して監視カメラを制御する監視システムとして、監視カメラとセンサとを有し移動可能な監視部と、上記監視部と無線接続され、該監視部の上記監視カメラ、上記センサのいずれか一方または両方からの情報信号に基づき監視対象の異常を検出し該検出結果を情報信号としてネットワーク側に出力するとともに、ネットワーク側からの指示信号またはこれに基づく制御信号により該監視部の移動動作を制御する制御部とを備え、異常が発生したとき、異常発生の通知と上記監視部の移動制御とをネットワークを介した信号授受により行う構成とする。(2)監視部が、監視カメラとセンサとを備え、移動可能で、該監視カメラ、該センサのいずれか一方または両方からの情報信号に基づき監視対象の異常を検出し該検出結果に基づく制御信号により自身の移動動作を制御可能な構成を備えたものとする。(3)ネットワークを利用し監視カメラを制御して異常を監視する異常監視方法として、監視カメラとセンサとを有し移動可能な監視部から、該監視カメラ、該センサのいずれか一方または両方からの情報信号を無線通信で受信するステップと、該受信した情報信号に基づき、監視対象の異常を検出し該検出結果を解析するステップと、該解析結果に基づき、上記異常に対応した信号を形成してネットワーク側に出力するステップと、ネットワーク側からの指示信号またはこれに基づく制御信号により上記監視部の移動動作を制御するステップとを経て、異常が発生したとき、異常発生の通知と上記監視部の移動制御とを、ネットワークを介した信号授受により行うようにする。(4)監視カメラを制御して異常の監視を行う異常監視方法として、監視カメラとセンサとを備え移動可能な監視部内において、該監視カメラ、該センサのいずれか一方または両方からの情報信号を無線通信で受信するステップと、該受信した情報信号に基づき、監視対象の異常を検出し該検出結果を解析するステップと、該解析結果に基づき、上記異常に対応した制御信号を形成するステップと、該制御信号により該監視部自身の移動動作を制御するステップとを経て、異常が発生したとき、異常発生の通知と上記監視部自身の移動制御とを行うようにする。
上記構成において、上記制御部または上記監視部は、状況に応じて該監視部を移動させながら監視動作を行う。
【0005】
【発明の実施の形態】
以下、本発明の実施例につき、図面を用いて説明する。
図1は、本発明の実施例としての移動監視システムの構成例である。
図1の実施例は、無線で中央監視部分と接続された、移動型の監視部による監視システムを示す。本システムは、ネットワーク1と、個別監視システム部2と、監視センタ3を備えて構成される。個別監視システム部2は、複数の監視部12A、12B、12Cと、制御部としての監視部中央制御部11と、同じく制御部としての送受信部10とで構成される。監視部12A、12B、12Cは、監視部中央制御部11と無線により接続され、移動可能な構成となっている。監視部12A、12B、12Cはそれぞれ、監視カメラモジュールや各種センサを有し、監視部中央制御部11との間では、監視部12A、12B、12Cで取得した監視カメラ情報、センサ情報、制御情報等の各種情報100A、100B、100Cが無線によりやり取りされる。監視部中央制御部11からの制御信号によって、監視部12A、12B、12Cは、自身の移動や、監視カメラや各種センサが制御される。監視部中央制御部11は、監視部12A、12B、12Cから取得する監視カメラ情報、各種センサ情報等に基づき、監視部12A、12B、12Cの制御を行うための制御信号を、無線により、監視部12A、12B、12Cに送信する。また、該監視部中央制御部11は、ネットワーク経由で監視センタ3に対して送信する各種情報を、送受信部10に送信する。また、監視センタ3から、監視部中央制御部11及び監視部12A、12B、12Cを制御するための制御信号を、送受信部10を介して取得する。送受信部10は、監視部中央制御部11と監視センタ3とを接続するネットワークとの間でデータの送受信を行う。監視センタ3は、ネットワークを介しての個別監視システム部2からの情報の取得及び個別監視システム部2への監視制御命令信号の送信、並びに情報解析等を行う。監視部12A、12B、12Cは、監視部中央制御部11及び監視センタ3による制御下で移動可能で、異常発生要因の追尾・逃避・撹乱等を行う。例えば、監視部12A、12B、12Cのうちの12Aが、異常発生要因による破壊等によって動作不能にされた場合、他の監視部12B、12Cは、異常発生要因位置の周辺に移動し、監視部12Aに替わり、監視動作を引き継ぐ。これによって、監視システム自体の破壊等に対する信頼性が向上する。監視カメラ情報の他に、赤外線センサや音センサなどからの情報を利用した場合には、例えば、異常発生要因が物体の陰に隠れ、監視カメラの撮影可能範囲外に消失してしまう場合にも、引き続き異常発生要因の追尾が可能となる。
【0006】
図2は、図1中の監視部12Aの内部構成例である。
図2において、監視部12Aは、周辺映像情報を取得する監視カメラと複数かつ多種のセンサを含んで成る検知部21A1、…、21An、22B1、…、22Bnと、監視制御部23と、送受信部20と、移動部24とを備えて構成される。監視部中央制御部11とは無線により接続される。検知部21A1、…、21An、22B1、…、22Bnのうち、検知部21A1、21Anは、該各検知部で取得した検知情報(監視カメラからの情報やセンサからの情報)202A1、…、202Anを監視制御部23に送信する監視動作を行い、検知部22B1、…、22Bnは、検知情報204B1、…、204Bnを監視制御部23側に出力するとともに、監視制御部23から検知部制御用の制御信号205B1、…、205Bnが入力され、該制御信号に従って検知部の監視制御を行う。検知部21A1、…、21Anを構成するセンサとしては、例えば、周囲の温度情報を取得する熱センサや、赤外線パッシブセンサ、監視部周辺の障害物情報を取得する障害物センサ、外部からの衝撃を検出する衝撃センサ等が考えられる。また、検知部22B1、…、22Bnを構成するセンサとしては、例えば、外部から対象物に対応し、対象物との間の距離情報を取得する距離センサ、対象物の臭気情報を取得する臭気センサ、対象物の気体成分を取得する気体成分解析センサ、対象物の周囲の温度情報を取得する熱センサ等が考えられる。監視制御部23は、各検知部21A1、…、21An、22B1、…、22Bnから取得した検知情報202A1、…、202An、204B1、…、204Bn、またはその解析結果を、経路201を介して送受信部20に転送する構成を備える。また、監視制御部23は、無線送受信部20を介し入力される制御信号200に従って、各検知部21A1、…、21An、22B1、…、22Bn、及び、移動部24を制御する構成を備える。移動部24は、監視部12A、12B、12Cのそれぞれの移動に関する制御信号すなわち移動制御信号206が入力され、該移動制御信号206に従って、該監視部12A、12B、12Cそれぞれに所定の移動動作を行わせる構成を備える。該移動部24は、監視部12A、12B、12Cの地上走行、停止、ジャンプ、移動速度調節、または飛行等の移動パターンに、状況に応じて対応できるようになっている。無線送受信部20は、各監視部の制御を行う監視制御部23との間で、無線によりデータの授受及び制御信号100A1、100A2の授受を行う。監視部のかかる構成は、様々な検知情報の取得及び解析を可能とし、さらに外部から各監視部12A、12B、12Cの移動制御を可能とする。特に、異常発生時には、監視カメラやセンサから様々な検知情報を得て、異常発生地点付近の詳細状況の把握と分析を可能とする。また、移動制御を用いた追跡監視を行った場合には、異常発生要因の変化等に対してもフレキシブルに対応した監視を行うことを可能とする。さらに、異常発生要因による監視部への妨害に対しても、監視カメラやセンサからの検知情報を用いた妨害認識と、回避動作等を行うことで、監視部が監視不能状態に陥ることを防止し、監視の信頼性を向上させて、監視セキュリティの強化を可能にする。さらに、例えば、第1の監視部が、異常発生要因を検出した場合、周辺に配置された別の第2の監視部に通知し、該第2の監視部が異常発生要因の監視領域に移動し、異常発生を検出した該第1の監視部と協調して監視を行うことで、監視精度の向上や監視の信頼性の向上を図ることができる。監視領域内の死角をなくすことも可能となる。
【0007】
図3は、図2中の監視制御部23の内部構成例を示す図である。
本構成例は、監視カメラや各種センサからの情報に基づく監視部12Aの制御機能を監視制御部23に設けた場合の例である。
図3において、監視システムは、距離センサ22B1からの検知情報(距離情報)308、監視カメラ21A1からの検知情報(映像情報)304、障害物センサ21A2からの検知情報(障害物情報)309を利用して、監視部12Aが、異常発生要因との距離を認識し、また、異常発生要因の妨害や障害物等に応じてそれを回避する行動をとるように構成される。監視カメラ21A1は、周辺の映像情報を情報304として取り込む。距離センサ22B1は、監視制御部23から指定される対象物との距離を測定する。障害物センサは、監視部12A内に1つまたは複数設けられ、監視部12Aの周辺に障害物が存在するか否かを検出する。映像情報304、距離情報308、及び障害物情報309は、監視制御部23に転送される。監視制御部23は、目標物識別部32と、移動部34と、情報管理部35と、中央解析部30と、攻撃部36とを備えて構成される。映像情報304、距離情報308、障害物情報309は、情報管理部35で取りまとめられた後、中央解析部30及び無線送受信部20に転送される。目標物識別部32は、映像情報304や距離情報308を元に異常発生要因を特定しかつ識別する。異常発生要因を検出する手段としては、例えば、時間的な前後の映像情報304を比較して、所定の動きが発生している場合に異常と判断する方式、すなわち動き検出方式がある。映像情報304として、MPEG圧縮信号を用いる場合には、動きベクトル情報を用いた動き検出が有効である。さらに、異常発生検出時、中央解析部30に異常発生通知を行う。また、異常発生要因の位置情報を該中央解析部30に送信する。異常発生通知及び位置情報通知は、目標物認識部情報314を通じて中央解析部30に対してなされる。目標物認識部32は、認識した目標物に距離センサ22B1の焦点を合わせるための制御信号、すなわち距離センサ制御信号307を形成して出力する。距離センサ22B1は、該制御信号307を利用することで、常に目標物に対する距離の測定を行う。該距離センサ制御信号307は、目標物認識部32から出力される場合の他、中央解析部30から供給される目標物指定命令301に基づいても形成され得る。中央解析部30は、目標物と監視部12A1との間の距離情報308、監視部12A1周辺の障害物情報309に基づき、その時点で監視部12A1が移動すべき方向と距離等を演算し、結果を移動制御信号310として移動部34側に出力する。移動方向や移動距離の演算基準例としては、例えば、障害物や目標物との距離が一定以下になった場合には、それ以上の接近を回避することなどがある。移動部34は、中央解析部30から供給される移動制御信号310に従って監視部12A1を移動させる構成を有する。移動制御信号の要因としては、方向や距離の他、移動速度、回転角度等がある。中央解析部30は、監視カメラやセンサからの情報を基に、異常発生要因により監視部12A1に与えられる妨害の認識、または妨害の予測などを行い、異常発生要因に対し攻撃を行うための命令信号すなわち攻撃制御信号313を、攻撃部36に対して出力する。攻撃部36は、中央解析部30から供給される攻撃制御信号313に従い、異常発生要因に対して攻撃を行う。攻撃手段としては、例えば、強力な光の発射、音による威嚇、所定の攻撃用の液体、固体または気体を用いた物理的手段などがある。中央解析部30は、情報管理部35及び無線送受信部20を介して、監視部12Aの外部と無線ネットワークで接続されている。この経路を用いることで、目標物指定、移動制御及び攻撃制御を、監視部12A1の外部から指定することも可能となる。本図3の構成では、監視部12A、12B、12C自身が、検知情報取得及び情報解析を行い、移動制御及び攻撃制御が可能である。このため、監視部中央制御部11に故障等問題が発生した場合でも、監視部12A、12B、12C自身で制御した監視動作を行うことができる。また、監視部中央制御部11における監視部12A、12B、12Cの制御負荷を大幅に低減することで、1個の監視制御部23に接続可能な監視部12A、12B、12Cの台数を容易に増やすことができる。
【0008】
図4は、妨害に対する監視部の回避動作に関するフローチャートの例を示す。図4の例では、監視カメラやセンサからの情報値に異常が検出される毎に起動されるようになっている。
図4において、
(1)まず、監視カメラやセンサからの検知情報値が所定の閾値以上になっているか否かを判定する(ステップs1501)。該情報値が閾値以下である場合(Noの場合)には、当該処理を終了する。
(2)閾値以上であれば、s1502に進み、異常パターンデータベースd1501と各検知情報値とを比較する(ステップs1502)。異常パターンデータベースd1501には、検知情報値の異常値と、予測される異常発生要因が関連付けられて値軌跡されている。
(3)異常パターンであるか否かを判断する(ステップs1503)。異常パターンでない場合(Noの場合)には、当該処理を終了する。
(4)異常パターンと判断された場合には、判定された異常パターンに応じた回避手段を、回避手段データベースd1502に基づき決定する(ステップs1504)。
(5)決定された回避手段に基づき回避制御を実行する(ステップs1505)。回避制御としては、例えば、異常発生地点からの退避、異常発生要因への攻撃、異常発生地点での待機等がある。
【0009】
図5は、回避手段を決定する手順の例である。本例では、監視部が圧力センサを有し、該監視部に対し加えられる圧力の大きさと加えられる時間の長さとを、回避手段決定の要因としている。
図5において、
(1)まず、監視部に対して閾値以上の圧力が一定時間以上加えられているか否かの判断をする(ステップs1601)。
(2)閾値以上の圧力が、所定時間以上加えられている場合には、異常発生要因によって監視部が捕獲されていると判断し、攻撃部36によって、異常発生要因に対して電気ショックを与え(ステップs1602)、異常発生要因からの脱出を図る。
(3)閾値以上の圧力が、所定時間未満の短い時間加えられた場合には、異常発生要因による監視部への意図的な接触があったものと判断し、異常発生要因からの回避、すなわち所定以上の距離を確保する移動制御を行った(ステップs1603)後、当該処理を終了する。
【0010】
図6は、監視部における別の構成例である。
本構成は、検知情報に基づく監視部12Aの制御を、該監視部内で行わず、監視部中央制御部11で行うようにした場合の例である。
図6において、監視部12A内の距離センサ22B1からの検知情報(距離情報)308、監視カメラ21A1からの検知情報(映像情報)304、障害物センサ21A2からの検知情報(障害物情報)309をそれぞれ、該監視部12A内の無線送受信部20から、監視部中央制御部11内の無線送受信部に無線送信する。監視部中央制御部11では、該各検知情報を解析し、その結果に基づき、距離制御、移動制御、攻撃制御などを行う。該距離制御、該移動制御、該攻撃制御に関しては、図3の構成の場合と同様である。さらに、本図6の構成では、複数の監視部の制御を、監視部中央制御部11において集中的に管理する。これにより、各監視部の連携制御を可能とする。
【0011】
図7は、図3の構成における情報管理部35の内部構成例である。
情報管理部35は、映像情報入出力部51と、入力された映像情報を記憶する蓄積部52とを備える。映像情報入出力部51には、目標物認識部から供給される異常発生通知314と異常発生通知前後の所定時刻間隔における映像情報304とが入力される。蓄積部52には、該映像情報304が一時的に蓄積される。また、該映像情報304は、無線送受信部20から外部ネットワークに供給される。蓄積部52におけるデータ蓄積基準の要因例としては、目標物認識部から供給される異常発生通知314の他、外部ネットワーク側から供給される命令情報300もある。
【0012】
上記図1〜図7の構成によれば、監視の精度を向上させることができる。監視領域内の死角をなくすことができる。監視の信頼性を向上させ監視のセキュリティを強化できる。異常発生等に対し即応性の高い監視を行うこともできる。多種の検知情報に基づく多機能な監視も可能となる。異常発生要因の追跡監視を行った場合には、監視対象を適宜絞り込んだ効率的な監視も可能である。
【0013】
図8は、監視部内のバッテリを充電するための充電部を備えた移動監視システムの構成例である。
図8において、複数の移動式の監視部12A、12B、12Cそれぞれは、電源用のバッテリを有し、個別監視システム部2は、該バッテリを充電するための充電部60を備える。各監視部12A、12B、12Cは、バッテリ残量を各監視部内部で個別に管理する。各監視部12A、12B、12Cは、バッテリの蓄電残容量が所定値以下になると、各監視部12A、12B、12Cは充電部60の設置された場所側に移動し、所定位置で各バッテリが充電部60に接続され充電される。各監視部12A、12B、12Cのバッテリの蓄電残容量は、監視部中央制御部11が監視し管理する構成としてもよい。かかる構成の場合、各監視部12A、12B、12Cのバッテリの蓄電残容量が所定値以下になると、監視部中央制御部11から、対象の監視部に対し、充電命令信号が無線送信される。該監視部は、該充電命令信号を受信すると、充電部60側に移動し、所定位置でバッテリが該充電部60に接続され充電される。各監視部12A、12B、12Cと監視部中央制御部11との間での充電に関する情報のやり取りは、無線路100A、100B、100Cにより行う。この他、監視部のバッテリの充電関連の制御は、ネットワーク経由で外部の監視センタ3で行う構成としてもよい。
【0014】
図9は、充電部を備えた移動監視システムの別の構成例である。
本構成例では、充電部60が、複数の充電部60A、60B、60Cから構成される。上記図8の場合と異なり、各監視部は、所定の充電部選択条件によって指示される特定の充電部に移動されてバッテリの充電が行われる。充電部選択条件としては、例えば、他の監視部に対して充電作業を行っていない空いている充電部を選択する、監視部から最も近距離にある充電部を選択する、異常発生要因から最も遠い距離にある充電部を選択する、等がある。かかる構成により、充電部への移動時間を短縮できるし、一部の充電部が故障した場合においても充電作業を行うことができるし、また、異常発生要因から離れた場所で安全な充電作業を行うこともできる。
【0015】
図10は、監視部が有するマッピング情報の概念例を示す。また、図11は、監視部のバッテリの充電動作の手順例を示す。
図10において、マッピング情報は、監視領域、監視部、監視領域内の固定障害物、各充電部の位置が予めマッピングされた情報ファイルである。監視部及び監視領域の所定位置には、発信手段及び受信手段が設けられ、無線通信により互いの位置を把握して監視領域における監視部の位置をマッピングするようになっている。
【0016】
図11において、充電制御は、監視部が有する充電部のバッテリ残量が閾値以下になる度に起動される。図11において、
(1)まず、監視部が有するバッテリの蓄電残容量が所定の閾値以下であるか否かを判定する(ステップs1101)。閾値よりも残量が多い場合(Noの場合)には、当該処理を終了する。
(2)閾値以下であれば、現在監視部が異常発生要因に対する監視制御を行っている監視状態にあるか否かを判定する(ステップs1102)。
(3)監視状態にない場合(Noの場合)、すなわち、特定の異常発生要因に対する監視制御を行わず待機状態にある場合は、監視部が有するマッピング情報を基に、監視部と各充電部との距離を算出して優先順位付けを行う(ステップs1105)。
(4)上記ステップs1102で監視部が異常発生要因に対する監視状態にあると判定された場合は、マッピング情報に、異常発生要因の位置情報を追加する。監視部は、距離センサと方向センサを有し、異常発生要因の位置情報は、監視部の位置と各種センサから得られる監視部と異常発生要因との間の距離及び方向の情報から求める(ステップs1103)。
(5)次に、異常発生要因と各充電部との距離を算出し、優先順位付けを行う(ステップs1104)。
(6)監視部が、優先順位の高い充電部から順に、充電部の空き状況を確認する。監視部及び充電部は、発信手段及び受信手段を有しており、無線通信により確認を行う。対象とされる充電部が他の監視部の充電に使用されていると判断された場合、次に優先順位の高い充電部の空き状態の確認を行う(ステップs1106)。
(7)充電部が空き状態であると判断された場合、マッピング情報に従い、監視部は目的の充電部まで移動する(ステップs1107)。
(8)充電部へ到着後、監視部と充電部との接続及び充電を行う(ステップs1108)。
(9)充電完了後、監視部の動作を規定する。すなわち、他の監視部からの協調監視信号を受信しているか否かの判定を行う(ステップs1109)。
(10)協調監視信号を受信していれば、協調監視制御を行う(ステップf13B)。
(11)協調監視信号を受信していなければ、待機制御を行う(ステップf17)。
【0017】
上記図8〜図11で説明した構成によれば、上記図1〜図7の構成の場合と同様、監視精度の向上、監視領域内の死角の解消、監視の信頼性向上とセキュリティの強化、異常発生等に対する高即応性の確保、多機能監視等が可能となる他、さらに、バッテリの充電により、長時間の安定した移動監視が可能となる。
【0018】
図12は、移動監視システムの他の構成例である。
本構成例は、予め個別監視システム部(監視領域)2の外部に避難位置80を指定し、監視部が監視続行不可能な事態になった場合には該避難位置80に逃避する構成とする。監視続行不可能な事態としては、例えば、監視領域内で消火不能な火事が発生したとき、その異常発生要因が監視部に対し回避不能な攻撃を仕掛けてきて、監視続行が不可能となる場合等である。各監視部12A、12B、12Cの避難位置80への移動制御は、例えば、監視カメラやセンサからの情報に基づき、各監視部自身が行う。監視カメラやセンサからの情報に基づき、監視部中央制御部11や監視センタ3が移動制御命令信号を各監視部宛に送信するようにしてもよい。図7の構成を組み合わせることで、監視部に対する攻撃や致命的な状況に対して、取得した映像情報を紛失せず確実に保護することが可能となる。監視部が異常発生を検出した場合には、他の監視部に対して協調監視信号を送信する。他の監視部は該協調監視信号に応じて異常発生要因の周辺に集合し、該信号を協調監視信号を送信した監視部といっしょに、異常発生要因に対して監視を行う。
【0019】
図13は、協調監視制御の手順例を示す図である。
図13(a)は、協調監視制御において、異常発生を検出した監視部の制御の例、図13(b)は、協調監視信号を受信した監視部の制御の例、図13(c)は、協調監視制御において、異常発生要因周辺の監視部の制御の例である。
図13(a)において、監視部が異常発生を検出したとき(ステップs13A01)、異常発生要因の位置を測定し、マッピング情報にマッピングする(ステップs13A02)。その後、異常発生要因の位置情報及び、協調監視信号を他の監視部に対して送信する(ステップs13A03)。
図13(b)において、監視部が協調監視信号を受信したとき(ステップs13B01)、監視部が現在、異常発生要因に対する監視動作中か否かの判断を行う(ステップs13B02)。既に協調監視の対象となる異常発生要因またはその他の異常発生要因に対する監視動作中の場合には、当該処理を終了し、監視を続行する。また、待機状態である場合には、受信した異常発生要因の位置情報をマッピング情報にマッピングし、該マッピング情報に従い、異常発生要因周辺に移動し(ステップs13B03)、当該処理を終了する。
【0020】
図13(c)において、まず、で異常発生要因周辺における監視部数が複数か否かを求める(ステップs13C01)。1つの監視部のみで異常発生要因の監視を行っている場合は、当該処理を終了する。複数の監視部で異常発生要因の監視を行っている場合は、監視パターンデータベースとマッピング情報を基に、各監視部の監視位置すなわち監視陣形を選択し、陣形構築を行った(ステップs13C02)後、当該処理を終了する。監視パターンデータベースは、監視部数、異常パターン、マッピング情報等を要因とする、複数の監視陣形を含むデータベースである。
【0021】
図14は、監視パターンの一例を示す。
本例では、監視領域内において、障害物となる壁面の前に異常発生要因が位置し、異常発生要因周辺に3つの監視部が存在する場合を考える。本図14に示す監視パターンは、異常発生要因を中心に、距離Lだけ離れた位置から、略均等に割り付けられた角度(θ/2)で監視を行う場合である。各監視部は、無線通信により各自の監視位置を決定する。監視位置の判断は、複数監視部のうち1つの監視部が行い、他の監視部に制御命令信号を送信するようにしてもよい。また、各監視部がそれぞれ、監視部自身で判断してもよい。各監視部は、マッピング情報として、監視領域、監視領域内の固定障害物情報を共通の情報として有し、監視領域における各監視部の位置情報は、各監視部の発信手段を基に認識する。すなわち、監視部中央制御部が、各監視部からの発信情報に基づき、位置を一括して把握し、各監視部に情報提供する、もしくは各監視部が監視部中央制御部にアクセスすることで情報を得る。この構成は、各監視部に複数の監視部を位置検出する機能を持たせなくてよいため、監視部の構成を簡略にすることができる。また、異常発生要因に関しては、監視部の監視カメラやセンサからの検知情報、または、他の監視部からの異常発生要因位置情報などに基づき、各監視部が判断する。
【0022】
図15、図16は、移動監視システムにおいて、機能拡張と機能向上とを図るために、複数の監視部を連結させる場合の説明図である。図15は2つの監視部を接続インターフェースで結合したときの構成例、図16は各監視部の構成例を示す。各監視部は、他の監視部と接続するための接続インターフェース1805と、カメラ部1801と、A/D変換部1802と、移動制御等を行う内部プロセッサ1803と、内部プロセッサ1803が一時的に使用する演算用メモリ1804と、データバス1840と、送受信部1806とを備えて構成される。カメラ部1801で取り込まれた映像情報は、A/D変換部1802においてデジタル信号化され、映像信号として内部プロセッサ1803に転送される。内部プロセッサ1803では、入力される映像信号を基に所定のデジタル圧縮符号化処理を行い、送受信部1806に転送する。デジタル圧縮符号化処理の方式としては、例えばMPEGがある。各内部プロセッサは、接続インターフェースを介してデータの授受や、各データバスを介した演算用メモリへのアクセスなどを行う。A/D変換部1802によってデジタル化された映像信号は内部プロセッサ1803で処理されるが、その際、一部の圧縮符号化処理を、他の監視部が有する内部プロセッサ1903で並列的に実行することで、内部プロセッサ1803の負荷を低減する。つまり、内部プロセッサ1803と内部プロセッサ1903とを互いに並列に作動させることで、内部プロセッサ1803が単独で圧縮符号化処理する場合に比べ、より多くの量の処理を行える。例えば、MPEGを用いた圧縮符号化処理において、スライス単位、またはマクロブロック単位で並列処理させると、センサ情報の解像度の向上、取得する映像情報の解像度の向上、映像情報のフレームレートの増大の他、蓄積部への情報の記録時間の増大も可能となる。これら機能の向上化は、上記のような内部プロセッサでの並列処理の他に、内部メモリの共用によっても可能である。
【0023】
図17は、異常発生を検出していない状態、すなわち監視部が待機状態にある場合における監視動作の手順例を示す。(a)は待機制御の動作フロー例、(b)は監視部K1の位置や時間等の条件を示す表、(c)は監視部K1の監視順序の説明図である。
図17において、待機制御は、異常発生を検出していない状態、または他の監視部から協調監視信号を受信していない状態で起動するものとする。本待機制御は、待機監視データベースd1701とマッピング情報d1702とを用いて行う。待機監視データベースd1701には、監視部毎に、待機状態において監視すべき位置及び時間が格納されている。例えば、ある監視部K1に対して、(監視位置:監視時刻)[K1]=(A:5分)(B:0分)(C:5分)と記述される場合、監視部K1は、監視位置Aで5分間の固定監視を行った後、監視位置Bを経由して、監視位置Cで5分間の固定監視を行い、その後、再度監視位置Aに戻るという巡回型の監視を行う。また、(監視位置:監視時刻)[K1]=(A:固定)という定義をすることで、待機状態時には、常に決められた位置で監視を行う。ここで、監視位置A、B、Cは、マッピング情報の位置情報とリンクしているとする。例えば、マッピング情報における監視領域内を2次元座標(X、Y)で表すことで実現可能である。
【0024】
図17において、
(1)まず、待機監視データベースとマッピング情報から、監視部が待機すべき位置と経路を確認する(ステップs1701)。
(2)次に、監視部は待機監視データベースから得られた監視位置まで移動する(ステップs1702)。
(3)次に、固定監視動作に移行する(ステップs1703)。
(4)次に、監視部は待機監視データベースから得られた監視時間経過したか否かの判断を行う(ステップs1704)。経過していなければ、固定監視を続行する。また、時間を経過した場合には、上記ステップs1701に移動する。
【0025】
上記待機監視データベースは、前記監視位置及び時間の他に、待機状態における監視制御に関連する様々なパラメータを記述することができるようになっている。例えば、パラメータとしては、固定監視中のカメラ方向、カメラ方向の首振り角度及び速度等がある。本待機監視データベースを用いた制御は、各監視部に対し、固定監視、巡回監視、多方向監視等様々な形態の監視パターン、またはこれら監視パターンの連続した組み合わせを与えることができる。監視部に、柔軟な監視パターンを与えることで、特に家庭内等、固定監視だけでは死角が発生し易い監視領域に対しても、死角をなくして監視精度が良い監視システムを可能とする。また、待機監視データベースの変更のみにより、各監視部の監視パターンの変更を可能としているため、監視領域内のレイアウト変更にも容易に対応することができる。
【0026】
上記異常パターンデータベース、回避手段データベース、監視パターンデータベース、待機監視データベース、マッピング情報は、各監視部が所有してもよいし、または、特定の監視部または、各監視部を制御する監視部中央制御部が所有してもよい。監視部中央制御部が所有する場合、各監視部は、各データベースへのアクセスが必要なときに、無線通信により、監視部中央制御部から情報を取得する。また、監視部中央制御部は、各監視部が所有する発信手段からの情報を受信することで、マッピング情報における各監視部の位置情報を把握することが可能となる。
【0027】
上記実施例によれば、監視の精度を向上させることができる。監視上の死角をなくすことができる。監視の信頼性を高められる。異常発生等に対し即応性の高い監視を行うことができる。多種の検知情報に基づく多機能な監視も可能となる。異常発生要因の追尾等により監視対象を適宜絞り込んだ効率的な監視も可能となる。
【0028】
【発明の効果】
本発明によれば、監視の精度、即応性、信頼性または効率を向上できる。また、多機能な監視も可能となる。
【図面の簡単な説明】
【図1】本発明の実施例としての移動監視システムの構成例を示す図である。
【図2】図1中の監視部の内部構成例を示す図である。
【図3】図2中の監視制御部の内部構成例を示す図である。
【図4】図2の監視部の、妨害に対する回避動作例を示す図である。
【図5】図4の回避手段決定動作における手順例を示す図である。
【図6】本発明における監視部の別の構成例を示す図である。
【図7】図3の構成における情報管理部の内部構成例を示す図である。
【図8】本発明の実施例としてバッテリ充電用の充電部を備えた移動監視システムの構成例を示す図である。
【図9】充電部を備えた移動監視システムの別の構成例を示す図である。
【図10】監視部が有するマッピング情報の概念例を示す図である。
【図11】監視部のバッテリの充電動作の手順例を示す図である。
【図12】本発明の実施例として移動監視システムの他の構成例を示す図である。
【図13】複数の監視部を用いる協調監視制御の手順例を示す図である。
【図14】監視パターン例を示す図である。
【図15】複数の監視部を接続インターフェースで連結した構成例を示す図である。
【図16】接続インターフェースで連結される各監視部の構成例を示す図である。
【図17】待機状態にある監視部の監視動作の手順例を示す図である。
【符号の説明】
1…ネットワーク、 2…個別監視システム部、 3…監視センタ、 12A、12B、12C…監視部、 11…監視部中央制御部、 20、40…無線送受信部、 23…監視制御部、 24、34…移動部、 30、44…中央解析部、 35、41…情報管理部、52…蓄積部、 60、60A、60B、60C…充電部、 80…避難位置、 1803、1903…内部プロセッサ。
Claims (19)
- ネットワークを利用して監視カメラを制御する監視システムであって、
監視カメラとセンサとを有し移動可能な監視部と、
上記監視部と無線接続され、該監視部の上記監視カメラ、上記センサのいずれか一方または両方からの情報信号に基づき監視対象の異常を検出し該検出結果を情報信号としてネットワーク側に出力するとともに、ネットワーク側からの指示信号またはこれに基づく制御信号により該監視部の移動動作を制御する制御部と、
を備え、異常が発生したとき、異常発生の通知と上記監視部の移動制御とをネットワークを介した信号授受により行う構成を特徴とする監視システム。 - 監視カメラを制御して監視を行う監視システムであって、
監視カメラとセンサとを備え、移動可能で、該監視カメラ、該センサのいずれか一方または両方からの情報信号に基づき監視対象の異常を検出し該検出結果に基づく制御信号により自身の移動動作を制御可能な監視部と、
上記監視部と無線接続され、該監視部の上記検出結果の情報信号またはこれに基づく信号をネットワーク側に出力するとともに、ネットワーク側からの指示信号またはこれに基づく信号を該監視部側に送信し該監視部を制御可能な制御部と、
を備え、異常が発生したとき、上記監視部の移動制御を、該監視部自身内での信号処理、または、ネットワークを介した上記制御部との間の信号授受により行う構成を特徴とする監視システム。 - 上記制御部または上記監視部は、上記監視カメラ、上記センサのいずれか一方または両方からの情報信号に基づき上記制御信号を形成し上記監視部を制御可能な構成である請求項1または請求項2に記載の監視システム。
- 上記制御部または上記監視部は、上記監視部の上記監視カメラ、上記センサのいずれか一方または両方からの情報信号に基づき異常発生要因を識別し、該識別結果に従い該監視部を制御する構成である請求項1または請求項2に記載の監視システム。
- 上記監視部は、距離センサ、障害物センサのいずれか一方または両方を有し、上記制御部または上記監視部は、上記監視部に少なくとも上記距離センサがある場合は、該監視部の該距離センサからの情報信号に基づき異常発生位置と該監視部との距離を認識し、該認識結果に基づき該監視部に対し移動制御と追尾制御とを行い、また、上記監視部に少なくとも上記障害物センサがある場合は、上記制御部または上記監視部は、該監視部の該障害物センサからの情報信号に基づき該監視部周辺の障害物状況を認識し、該認識結果に基づき該監視部に対し移動制御を行う構成である請求項1または請求項2に記載の監視システム。
- 上記制御部または上記監視部は、上記監視部の上記監視カメラ、上記センサのいずれか一方または両方からの情報信号に基づき異常発生要因による該監視部への妨害を検出または予測し、異常発生要因または監視部周辺環境に対して妨害回避の制御が可能な構成である請求項1または請求項2に記載の監視システム。
- 上記監視部は、上記センサとして少なくとも、熱センサ、赤外線センサ、距離センサ、圧力センサ、光センサ、臭気センサのうちのいずれかを有する構成である請求項1または請求項2に記載の監視システム。
- 上記制御部または上記監視部は、上記妨害回避の制御として、臭気発生の制御、光発生の制御、音発生の制御、または所定物質放出の制御を行う構成である請求項6に記載の監視システム。
- 上記制御部または上記監視部は、情報の蓄積部を有し、異常発生前後の所定時間内に取得した、上記監視カメラ、上記センサのいずれか一方または両方からの情報を該蓄積部に保持可能な構成である請求項1または請求項2に記載の監視システム。
- 上記監視部はバッテリを有し、上記制御部または上記監視部は、該バッテリの蓄電残容量を検知し、該残容量が所定値以下になったとき、該監視部を充電部へ移動させて該バッテリの充電を行わせ、充電後は、所定の位置に移動させる構成である請求項1または請求項2に記載の監視システム。
- 上記制御部または上記監視部は、上記充電部で対応可能な監視部の数、充電部との距離または異常発生要因との距離を充電条件として充電部を特定する構成である請求項10に記載の監視システム。
- 上記制御部または上記監視部は、バッテリ充電後に監視部を、予め定められた位置に移動させる構成である請求項10に記載の監視システム。
- 上記制御部または上記監視部は、異常発生を検出したとき、複数の監視部を異常発生位置に移動させて監視を行わせる構成である請求項1または請求項2に記載の監視システム。
- 上記監視部は、接続インターフェースを有し、複数の監視部がセンサ部と制御機能を共用し、取得する映像情報の解像度、取得する映像情報のフレームレート、上記蓄積部への情報の記録時間、またはセンサ情報の解像度を向上するようにした構成である請求項9に記載の監視システム。
- 上記制御部または上記監視部は、複数の監視部の、監視領域内における順序化された監視位置または監視持続時間を予め定めた監視制御情報を有し、異常検出をしていない待機状態のとき、各監視部を、該監視制御情報に従った巡回または固定監視を行うように制御する構成である請求項1または請求項2に記載の監視システム。
- 監視カメラを備えた監視部ユニットであって、
上記監視カメラに加え、監視対象を検知するセンサと、ユニット自身を移動変位させる移動手段と、該監視カメラ、該センサのいずれか一方または両方からの情報信号に基づき監視対象の異常を検出し該検出結果に基づき制御信号を形成し上記移動手段側に出力する回路部と、該監視カメラ、該センサ、該移動手段及び該回路部とを保持する手段とを備え、少なくとも異常を検出したとき、上記制御信号により上記移動手段を制御し、上記監視カメラ、上記センサ、上記移動手段及び上記回路部を含む自ユニット全体の移動動作を制御可能な構成を特徴とする監視部ユニット。 - 上記回路部は、上記検出結果の情報信号またはこれに基づく信号を外部のネットワーク側に出力するとともに、該ネットワーク側からの指示信号またはこれに基づく信号により上記制御信号を形成可能な構成である請求項16に記載の監視部ユニット。
- ネットワークを利用して監視カメラを制御し異常を監視する異常監視方法であって、
監視カメラとセンサとを有し移動可能な監視部から、該監視カメラ、該センサのいずれか一方または両方からの情報信号を無線通信で受信するステップと、
該受信した情報信号に基づき、監視対象の異常を検出し該検出結果を解析するステップと、
該解析結果に基づき、上記異常に対応した信号を形成してネットワーク側に出力するステップと、
ネットワーク側からの指示信号またはこれに基づく制御信号により上記監視部の移動動作を制御するステップと、
を経て、異常が発生したとき、異常発生の通知と上記監視部の移動制御とをネットワークを介した信号授受により行うことを特徴とする異常監視方法。 - 監視カメラを制御して異常の監視を行う異常監視方法であって、
監視カメラとセンサとを備え移動可能な監視部内において、
該監視カメラ、該センサのいずれか一方または両方からの情報信号を無線通信で受信するステップと、
該受信した情報信号に基づき、監視対象の異常を検出し該検出結果を解析するステップと、
該解析結果に基づき、上記異常に対応した制御信号を形成するステップと、
該制御信号により該監視部自身の移動動作を制御するステップと、
を経て、異常が発生したとき、異常発生の通知と上記監視部自身の移動制御とを行うことを特徴とする異常監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002233810A JP4160799B2 (ja) | 2002-08-09 | 2002-08-09 | 監視部ユニット、それを用いた監視システム、及び異常監視方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002233810A JP4160799B2 (ja) | 2002-08-09 | 2002-08-09 | 監視部ユニット、それを用いた監視システム、及び異常監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004080090A true JP2004080090A (ja) | 2004-03-11 |
JP4160799B2 JP4160799B2 (ja) | 2008-10-08 |
Family
ID=32018842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002233810A Expired - Lifetime JP4160799B2 (ja) | 2002-08-09 | 2002-08-09 | 監視部ユニット、それを用いた監視システム、及び異常監視方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4160799B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005076621A1 (ja) * | 2004-02-03 | 2005-08-18 | Matsushita Electric Industrial Co., Ltd. | 監視システムおよびカメラ端末 |
JP2008085999A (ja) * | 2006-08-28 | 2008-04-10 | Matsushita Electric Ind Co Ltd | カメラ、カメラシステム、及び画像処理回路 |
US7787013B2 (en) | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
JP2022069339A (ja) * | 2020-10-23 | 2022-05-11 | 横河電機株式会社 | 装置、システム、方法およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012157471A1 (ja) | 2011-05-13 | 2012-11-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 複数の制御システムの異常を検知する異常検知システム |
-
2002
- 2002-08-09 JP JP2002233810A patent/JP4160799B2/ja not_active Expired - Lifetime
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005076621A1 (ja) * | 2004-02-03 | 2005-08-18 | Matsushita Electric Industrial Co., Ltd. | 監視システムおよびカメラ端末 |
JPWO2005076621A1 (ja) * | 2004-02-03 | 2008-01-10 | 松下電器産業株式会社 | 監視システムおよびカメラ端末 |
US7787013B2 (en) | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
JP2008085999A (ja) * | 2006-08-28 | 2008-04-10 | Matsushita Electric Ind Co Ltd | カメラ、カメラシステム、及び画像処理回路 |
JP2022069339A (ja) * | 2020-10-23 | 2022-05-11 | 横河電機株式会社 | 装置、システム、方法およびプログラム |
JP7415872B2 (ja) | 2020-10-23 | 2024-01-17 | 横河電機株式会社 | 装置、システム、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4160799B2 (ja) | 2008-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3238442B1 (en) | Method and apparatus for operating a security system | |
KR100920266B1 (ko) | 카메라간 협업을 이용한 영상 감시 카메라 및 방법 | |
US8977409B2 (en) | Apparatus and method for unmanned surveillance, and robot control device for unmanned surveillance | |
US7109875B2 (en) | Sensor network system managing method, sensor network system managing program, storage medium containing sensor network system managing program, sensor network system managing device, relay network managing method, relay network managing program, storage medium containing relay network managing program, and relay network managing device | |
CN106600887A (zh) | 基于变电站巡检机器人的视频监控联动系统及其方法 | |
KR102019340B1 (ko) | 복합 센서 기반 이동체 무인 상시 감시 시스템 | |
JP2015041820A (ja) | 撮像装置及びその制御方法、撮像システム、プログラム | |
KR102475148B1 (ko) | Ess 화재 예방 시스템 및 그 방법 | |
JP4160799B2 (ja) | 監視部ユニット、それを用いた監視システム、及び異常監視方法 | |
KR20060109153A (ko) | 로봇 감시 시스템 및 이를 이용하는 로봇 감시 방법 | |
Esterle et al. | The future of camera networks: Staying smart in a chaotic world | |
CN103581527A (zh) | 一种安防系统中的跟踪摄像方法、装置及安防主机 | |
WO2005081530A1 (ja) | 監視システム、監視装置および監視方法 | |
WO2018116494A1 (ja) | 監視カメラ、監視システム、監視カメラの制御方法及びプログラム | |
KR102592291B1 (ko) | 이동형 로봇을 이용한 무인 국사 모니터링 시스템 및 그 방법 | |
KR100721486B1 (ko) | 우회 통신이 가능한 로봇 감시 시스템 및 그 감시 방법 | |
KR20100049380A (ko) | 로봇을 이용한 빌딩 관리 방법 및 그 시스템 | |
JP4300060B2 (ja) | 監視システム及び監視端末 | |
KR20110038208A (ko) | 스마트센서시스템에서 상황인지 기반 정보처리 방법 | |
KR20110138711A (ko) | 보안 로봇 및 그 제어 방법 | |
KR102181743B1 (ko) | 군집제어 시스템 및 이를 이용한 군집제어 방법 | |
JP2008078729A (ja) | 監視カメラ切替システム | |
KR20220074563A (ko) | 다중 로봇 기반 보안 및 감시 장치 | |
KR100877227B1 (ko) | 다중이동물체 자동추적용 지그비 다중카메라시스템 및 그 운영방법 | |
CN111899456A (zh) | 智能监测火灾及预测跳生路线的装置、系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050803 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4160799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |