JP2016189114A - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP2016189114A
JP2016189114A JP2015068854A JP2015068854A JP2016189114A JP 2016189114 A JP2016189114 A JP 2016189114A JP 2015068854 A JP2015068854 A JP 2015068854A JP 2015068854 A JP2015068854 A JP 2015068854A JP 2016189114 A JP2016189114 A JP 2016189114A
Authority
JP
Japan
Prior art keywords
robot
flight
autonomous mobile
flying robot
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015068854A
Other languages
English (en)
Other versions
JP6594640B2 (ja
Inventor
智徳 黒田
Tomonori Kuroda
智徳 黒田
佐々木 惇
Atsushi Sasaki
惇 佐々木
正晃 伊與田
Masaaki Iyoda
正晃 伊與田
清水 智
Satoshi Shimizu
智 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2015068854A priority Critical patent/JP6594640B2/ja
Publication of JP2016189114A publication Critical patent/JP2016189114A/ja
Application granted granted Critical
Publication of JP6594640B2 publication Critical patent/JP6594640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】自律移動ロボットを用いた監視システムにおいて監視員の監視負担を軽減するシステムを実現する。【解決手段】監視領域内で異常を検知すると異常検知位置付近を目標位置として、飛行ロボット4が移動開始し、飛行ロボット4が目標位置に到着すると監視センタ6へライブ映像の送信開始を行う。監視センタ6は、飛行ロボット4からライブ映像が送られてくると、ライブ映像の受信開始時の静止画を自動取得する。これにより、監視センタの管制員は飛行ロボット4の撮影監視時の静止画を任意の操作を行うことなく取得できる。【選択図】図1

Description

本発明は、監視領域内で侵入物体等(例えば不審車両や不審者等)の異常を検知したときに、この異常を検知した位置に移動して撮影等を行う自律移動ロボットを用いた監視システムに関する。
従来、自律制御により予め定められた飛行ルートを飛行し、空中より所定の範囲の撮影を行う無人飛行体を用いた監視システムとして、下記特許文献1に開示されるものがある。特許文献1では、無人飛行体が待機場所から監視場所に到着するまではプライバシーに配慮して撮影を禁止している。
特開2014−177162号公報
ところで、上述した特許文献1に開示される無人飛行体を利用した監視システムでは、
監視センタの監視員が、対処員や警察等に提供するために、無人飛行体から送信されるライブ映像を見ながら侵入者等が写っているシーンを静止画として記録する。ところが、特許文献1では、監視センタの監視員は、監視領域内での異常検知の通報を受けてから、無人飛行体が待機場所から異常検知箇所付近に到達するまで、異常要因の映像を確認できない。
また、無人飛行体が待機所から離陸して異常検知箇所付近まで移動する間中、無人飛行体による撮影を行うことも想定されるが、必要のない映像を取得することはプライバシーの観点だけでなく、無人飛行体のバッテリの消耗の観点から好ましくない。
従って、異常検知後、無人飛行体が離陸して目的地に到達するまで撮影を制限するのが好ましいが、この場合、無人飛行体による撮影開始のタイミング把握が困難であり、監視員による見逃しの可能性がある。
監視卓の監視員は、ライブ映像を録画しておき、録画画像を再生するという方法も考えられる、ライブ映像を監視しつつ、同時に録画画像のチェックを行うのは負担である。
本発明は上記課題を解決しようとするものであり、飛行ロボットが異常検知箇所に移動して撮影開始した時点における静止画像を自動で撮影し、記憶することで監視員の負担軽減と重要なシーンの見逃しの防止を実現するものである。
上記した目的を達成するために、本発明に係る監視システムは、監視領域内での異常を検知する異常検知手段と、撮影手段を備えた自律移動ロボットと、前記自律移動ロボットと無線通信して前記自律移動ロボットの状態情報を取得するとともに、前記自律移動ロボットへの制御指示情報を送信して前記自律移動ロボットを制御する制御装置と、を備えた監視システムであって、前記制御装置は、前記異常検知手段が異常を検知すると前記異常検知箇所付近を目的地として設定し、前記自律移動ロボットへ前記目的地への移動を指示する飛行制御手段と、前記自律移動ロボットから前記状態情報として位置情報を取得し、
前記位置情報に基づき、前記自律移動ロボットが前記目的地へ移動したと判定すると、前記自律移動ロボットによる撮影を許可する撮影制御手段と、を備え、前記制御装置は、前記撮影制御手段により前記自律移動ロボットへの撮影許可を指示した後、前記自律移動ロボットからのライブ映像の受信を開始すると、当該ライブ映像の受信開始の略直後の一部を静止画像として自動取得することを特徴とする。
また、本発明の監視システムによれば、前記制御装置は、取得した前記静止画像を指定された送信先に自動転送する機能を備えることを特徴とする。
また、本発明の監視システムによれば、前記制御装置は、前記自律移動ロボットから取得した状態情報又は前記異常検知手段による検知情報を前記静止画像の付帯情報として記憶させることを特徴とする。
さらに、本発明の監視システムによれば、前記自律移動ロボットは、飛行機能を備えた飛行ロボットであることが好適である。
また、本発明の監視システムによれば、前記飛行ロボットは、飛行高度を制御する高度制御手段を備え、前記制御装置の撮影制御手段は、前記飛行ロボットから前記位置情報として取得した飛行高度が設定高度以上である場合に前記撮影手段による撮影を禁止するよう制御することを特徴とする。
本発明の監視システムによれば、監視領域内での異常を異常検知手段が検知すると、移動開始する自律移動ロボットが、異常検知箇所付近に到着して撮影を開始した時点で自動で静止画を取得する。これにより、自律移動ロボットが監視を開始したタイミングが明確になる。
また、異常検知の要因が侵入者等である場合、無人飛行体の接近に侵入者が気づくとカメラの視野外に逃れる可能性があるため、侵入者の映像は、撮影開始直後にしか写っていないことが想定される。本発明の監視システムによれば、撮影開始直後の静止画を自動で記録するので、当該静止画には、侵入者等が写っている可能性が高く、対処員、警察等に提供するのに適した静止画が取得できる。
また、静止画の取得時に自律移動ロボットの位置情報や異常検知手段の検知時刻を現在時刻と合わせて記憶することで、当該静止画をいつどこで取得したか、異常検知時からどのぐらい時間が経過しているかが把握できる。
また、取得した静止画を外部からのアクセスが可能なデータ保管サーバに自動で記憶することで、現場への対処員等に迅速に情報提供が可能となる。
さらに、自律移動ロボットとして飛行機能を備えた飛行ロボットを用い、飛行ロボットが所定高さ以上を飛行中は撮影を禁止とすることで、プライバシーに配慮しつつ、飛行ロボットが所定高さ未満の高度まで降下して撮影開始が可能となったタイミングで静止画を自動取得できる。
本発明に係る監視システムの概要を示すイメージ図である。 本発明に係る監視システムの全体構成を示す模式図である。 本発明に係る監視システムにおける飛行ロボットのブロック構成図である。 本発明に係る監視システムにおける飛行制御装置のブロック構成図である。 本発明に係る監視システムにおける飛行ロボットの具体的な制御例を示す説明図である。 本発明に係る監視システムにおける飛行制御装置が実行する対処処理のフローチャートである。 本発明に係る監視システムにおける監視センタのセンタ装置が実行するフローチャートである。
以下、本発明を実施するための形態について、添付した図面の図1〜7を参照しながら詳細に説明する。
[本発明の概要について]
本発明は、監視領域内で侵入物体等(例えば不審車両や不審者等)の異常を検知すると、この異常を検知した位置へ自律移動ロボットを移動させ、監視領域の目的箇所の撮影を行い、監視センタにライブ映像を配信する監視システムに関し、特に自律移動ロボットとして飛行機能を備えた飛行ロボットを用いた監視システムに関する。
この監視システムにおける飛行ロボットは、異常を検知した位置を目標位置として移動する場合、低速で設定高度以上まで上昇してから目標位置に向かって高速で飛行し、目標位置付近に接近すると低速で降下して撮影を行う。この際、飛行ロボットが設定高度以上を飛行中はプライバシーを配慮して撮影を禁止するよう制御する。一方、飛行ロボットの飛行高度が設定高度未満になると、撮影を許可し、ライブ映像を監視センタに配信開始する。また、ライブ映像の配信開始時に静止画を自動で保存する。監視センタでは必要に応じ、ライブ映像を監視中、監視員の手動操作にて任意のタイミングで静止画を保存し、所定の送信先へ送信できる。またライブ映像受信開始時に自動で保存された静止画は所定の送信先へ保存と同時に送信するようにすることもできる。これにより、プライバシーの確保を行えるとともに、ライブ映像配信開始時の静止画を自動で取得できる。
[監視システムの構成について]
図1及び図2に示すように、本実施の形態の監視システム1は、異常検知手段2、ロボポート3、飛行ロボット4、飛行制御装置5、監視センタ6によって構築される。監視システム1では、図1に示すように、監視領域E内で発生した異常(例えば監視領域内へ侵入してきた不審車両Mなど)を異常検知手段2が検知すると、この異常の検知が異常検知手段2から飛行制御装置5に通報される。飛行制御装置5は、異常検知手段2から異常の検知の通報があると、ロボポート3を介して飛行ロボット4に飛行指示する。飛行ロボット4は、飛行制御装置5からの飛行指示に従って監視領域Eへ向かって飛行し、監視領域Eの異常発生箇所の周辺に設定された目的箇所(例えば目標物Mを含む周辺領域)を撮影する。監視センタ6は、飛行ロボット4から飛行制御装置5を介して送信される撮影画像をモニタ(表示装置)に表示し、監視領域Eの監視を行う。以下、監視システム1を構築する各部の構成について説明する。なお、本例で用いる飛行ルートとは、飛行ロボット4が飛行する経路、すなわち、飛行経路を意味するものである。
[異常検知手段の構成について]
異常検知手段2は、監視領域Eで侵入物体等(不審車両や不審者等)の異常を検知したとき、或いは火災、ガラス等の破壊を検知したときに異常検知信号を出力し、飛行制御装置5に監視領域E内の異常を通報する各種センサで構成される。侵入物体の検知として、具体的には、レーザセンサ、マイクロ波センサ、超音波センサ、画像センサなどの各種物体検知センサ、赤外線センサなどで異常検知手段2を構成することができ、その他火災を検知する火災検知センサ、ガラス破壊を検知するガラス破壊検知センサなどを異常検知手段2として構成することができる。例えばレーザセンサで異常検知手段2を構成した場合には、図1に示すように、レーザ光を所定周期で走査し、斜線で示す走査範囲Sに侵入した異常対象の目標物(侵入物体)Mを検知したときに、例えばLANなどを介して飛行制御装置5に異常検知信号を送信して監視領域E内の異常を通報する。
[ロボポートの構成について]
ロボポート3は、飛行ロボット4の待機場所であり、飛行制御装置5からの指示を受け、飛行ロボット4の離陸や着陸を行うための設備を備える。また、ロボポート3は、飛行ロボット4が着陸するときに飛行ロボット4をポート内に収容する機構を備え、飛行ロボット4をポート内に収容したときに、飛行ロボット4に対して接触又は非接触にて給電を行う機能を有する。
[飛行ロボットの構成について]
飛行ロボット4は、飛行制御装置5から飛行指示を受けていない通常の状態ではロボポート3に待機しており、異常検知手段2が異常を検知して飛行制御装置5に通報があると、飛行制御装置5からの指示により、飛行高度に応じた速度で障害物を回避しながら目標位置(目的地)Pに向かって飛行する。
飛行ロボット4は、図3に示すように、ロータ11、ロータ駆動部12、飛行状態検知部13、位置情報受信部14、高度センサ15、撮影部16、照明17、アンテナ18、測距センサ19、照度センサ20、記憶部21、電源22、ロボ制御部23を備える。
ロータ11は、例えば4つの回転体で構成され、飛行ロボット4の機体を上昇・下降・方向転換、前進などの飛行をするようにロータ駆動部12によって駆動される。
ロータ駆動部12は、飛行ロボット4の機体を上昇・下降・方向転換、前進などの飛行をするため、後述するロータ制御手段33bの制御により、ロータ11の各回転体を駆動する。
飛行状態検知部13は、飛行ロボット4の飛行状態を検知するものであり、例えば飛行ロボット4の向きを検知する方位センサ、飛行ロボット4の姿勢や加速度を検知する加速度センサやジャイロセンサなどの各種センサで構成される。これら各種センサの検知結果は、飛行ロボット4の飛行状態情報として後述する姿勢制御手段33に入力される。
位置情報受信部14は、例えば全地球測位システム(GNSS:Global Navigation Satellite System)などの衛星測位システムを利用し、飛行ロボット4の現在位置を検知する。位置情報受信部14にて検知した飛行ロボット4の現在位置は、飛行ロボット4の位置情報(GNSS信号)として後述する自己位置測位手段33aに入力される。
高度センサ15は、ロボ制御部23の制御により、気圧センサの気圧値や飛行ロボット4の機体から鉛直下方に投受光されるレーザなどにより飛行ロボット4の現在高度を計測する。高度センサ15にて計測した飛行ロボット4の現在高度は、高度情報として後述する自己位置測位手段33aに入力される。
撮影部16は、例えば撮像素子を用いたカメラで構成され、飛行ロボット4の周囲(例えば前方や下方など)をカラー動画像にて撮影する。撮影部16は、後述する撮影制御手段34により撮影の許可(禁止解除)・禁止、撮影角度などが制御される。撮影部16にて撮影した動画像は、後述する撮影制御手段34に入力される。
照明17は、撮影部16による撮影を補助するLED照明などの照明器具で構成され、後述する照明制御手段35により点灯・消灯が制御される。照明17は、飛行中の飛行ロボット4の周囲が暗くなって設定照度以下となったときに点灯する。
アンテナ18は、ロボット本体に設けられ、小電力無線、Wi−Fiなどで、飛行制御装置5との間で無線通信を行う。
測距センサ19は、ロボ制御部23の制御により、飛行ロボット4の機体の水平方向又は鉛直下方に電磁波、可視光線、音波などを投受光し、飛行ロボット4の機体と周辺との距離を計測する。測距センサ19としては、例えばレーザセンサ、マイクロ波センサ、赤外線センサ、超音波センサなどを用いることもできる。測距センサ19による計測結果は、飛行ロボット4の周囲情報として後述する障害物検知手段32に入力される。
照度センサ20は、必要に応じて設けられるものであり、飛行ロボット4の周囲の明るさを検出する。照度センサ20の検出結果は、照度情報として後述する照明制御手段35に入力される。
記憶部21は、飛行ロボット4が飛行中のときに撮影部16が撮影した動画像を逐次記憶する。
電源22は、例えばリチウムポリマー電池などの充電式電池で構成され、飛行ロボット4の各部に必要な電力を供給する。
ロボ制御部23は、飛行ロボット4の全体を統括制御するものであり、図3に示すように、通信制御手段31、障害物検知手段32、姿勢制御手段33、撮影制御手段34、照明制御手段35を備える。
通信制御手段31は、アンテナ18を介して飛行制御装置5と無線通信を行い、各種情報(飛行制御装置5から飛行ロボット4への飛行ルート指示、目標位置Pや速度の指示、離陸指示、帰還指示、飛行ロボット4から飛行制御装置5への飛行状態情報、位置情報、高度情報など)の送受信を行う。また、通信制御手段31は、撮影部16が撮影したライブ映像を無線通信により飛行制御装置5に送信する。
障害物検知手段32は、測距センサ19にて検知した飛行ロボット4の周囲情報に基づいて飛行ロボット4の周辺における障害物の有無を判定する。
姿勢制御手段33は、飛行状態検知部13からの各種検知信号、位置情報受信部14からの位置情報、高度センサ15からの高度情報に基づいて飛行ロボット4の飛行中の姿勢を制御するものであり、自己位置測位手段33a、ロータ制御手段33bを備える。
自己位置測位手段33aは、位置情報受信部14が受信した位置情報(GNSS信号)、及び高度センサ15が測定した高度情報を用いて自己位置(緯度、経度、高度)を算出する。
ロータ制御手段33bは、障害物検知手段32による障害物の有無に応じて障害物を回避しつつ、ロータ駆動部12を制御して飛行ロボット4の高度や速度を飛行制御装置5から指示された目標値になるよう制御する。
撮影制御手段34は、撮影部16の撮影開始や終了、撮影部16の撮影角度の制御、撮影部16が撮影した動画像を取得して通信制御手段31から飛行制御装置5へライブ映像を送信するなどの処理を行う。また、撮影制御手段34は、飛行制御装置5からの指示に従って撮影の許可(禁止解除)/禁止、撮影角度の制御を行う。
照明制御手段35は、撮影画像の輝度情報、あるいは必要に応じて設けられた照度センサ20の照度情報を飛行制御装置5に送信し、この送信に伴う飛行制御装置5からの指示に従って照明17のオン/オフを制御する。
なお、照明制御手段35は、撮影画像の輝度情報、又は照度センサ20の照度情報から飛行ロボット4の周囲の照度が設定照度以下か否かを判別し、この判別結果を飛行制御装置5に送信することもできる。
[飛行制御装置の構成について]
飛行制御装置5は、例えば監視領域E内の所定箇所や監視領域Eの近傍に設置される。飛行制御装置5は、例えばLANなどを介して異常検知手段2と接続され、監視領域E内の異常時に異常検知手段2からの異常検知信号を受信する。飛行制御装置5は、異常検知手段2から異常検知信号を受信したときに、飛行ロボット4との間で無線通信し、飛行ロボット4から送信される各種情報に基づき、飛行ロボット4に各種制御指示を行う監視装置の機能を備える。なお、飛行制御装置5は、監視センタ6から飛行ロボット4による撮影指示、所定位置への飛行指示等の各種指示を受信すると、飛行ロボット4に各種制御指示を行う。
飛行制御装置5は、飛行ロボット4の飛行を制御するものであり、図4に示すように、通信部41、記憶部42、制御部43を備える。
通信部41は、飛行ロボット4との間で例えば小電力無線やWi−Fi通信などの無線通信を行い、飛行ロボット4から飛行状態情報としての位置(緯度、経度、高度)、速度等の情報を受信し、この受信した情報に応じた各種制御信号を飛行ロボット4に送信する。また、通信部41は、監視センタ6のセンタ装置6aから飛行ロボット4への飛行指示等の指示情報を受信すると、この飛行指示情報に従った各種制御信号を飛行ロボット4に送信する。さらに、通信部41は、飛行ロボット4の撮影部16が撮影したライブ映像をインターネット等の広域ネットワーク(WAN)上に構築された仮想専用ネットワーク(VPN)を介して監視センタ6のセンタ装置6aに送信する。
記憶部42は、例えばROM,RAMなどで構成され、飛行ロボット4が飛行する領域を緯度、経度、高度の3次元にて表現した飛行領域マップ、監視領域Eに関する各種情報である監視領域情報、飛行ロボット4と通信を行うためのデータや飛行ロボット4の飛行を制御するための各種パラメータ、ロボポート3の位置情報(緯度、経度情報)、監視領域E内における異常検知手段2の種別と、異常検知手段2の設置位置情報(緯度、経度情報)、これら以外に飛行制御装置5の機能を実現するための各種プログラムが記憶されている。
制御部43は、記憶部42からソフトウェアモジュールを読み出し、CPU等にて各処理を行い、各部を統括制御するものであり、飛行制御手段43a、撮影制御手段43b、状態確認手段43cを備える。
飛行制御手段43aは、通信部41を介して飛行ロボット4から飛行状態情報、位置情報、高度情報を取得し、飛行ロボット4の目標位置P、速度などの飛行ロボット4の飛行に関わる制御信号を飛行ロボット4に通信部41を介して送信し、飛行ロボット4の飛行を制御する。例えば飛行ロボット4の飛行高度が設定高度H1以上であれば、飛行ロボット4が高速(例えば5〜15m/s)で飛行するように速度を制御する。また、飛行ロボット4の飛行高度が設定高度H1未満であれば、飛行ロボット4が基準速度以下の低速(例えば2〜3m/s:障害物を検知したときに回避可能な速度)で飛行するように速度を制御する。
撮影制御手段43bは、飛行ロボット4の撮影部16による撮影を制御するもので、通信部41を介して飛行ロボット4から取得した現在位置における高度情報に基づいて撮影許可信号(撮影禁止解除信号)又は撮影禁止信号を通信部41を介して飛行ロボット4に送信する。また、撮影制御手段43bは監視センタ6のセンタ装置6aからの指示情報等により任意のタイミングで飛行ロボット4に撮影開始、撮影中断、撮影終了の指示信号を送信する。例えば現在位置における飛行ロボット4の高度情報が設定高度H1以上になると、撮影部16の撮影を禁止する撮影禁止信号を通信部41を介して飛行ロボット4に送信する。そして、飛行ロボット4の高度情報が設定高度H1以上である限り、飛行ロボット4に対し、撮影許可信号(撮影禁止解除信号)の送信を禁止する。
この場合、例えば監視センタ6のセンタ装置6aから撮影開始指示を受信したとしても、同様に飛行ロボット4に撮影開始信号の送信を禁止する。これに対し、現在位置における飛行ロボット4の高度情報が設定高度H1未満のときは、撮影部16の撮影を許可する撮影許可信号(撮影禁止解除信号)を通信部41を介して飛行ロボット4に送信する。これにより、飛行ロボット4の高度情報が設定高度H1以上により再び撮影禁止信号が飛行ロボット4に送信されるまで、飛行ロボット4の撮影部16による撮影が可能となり、飛行ロボット4から監視センタ6のセンタ装置6aへのライブ映像の送信が可能となる。
状態確認手段43cは、飛行ロボット4の状態を確認するもので、飛行ロボット4がロボポート3に待機しているときに定期的に飛行ロボット4の機能が正常か否かを確認する。
[監視センタの構成について]
監視センタ6は、図2に示すように少なくともセンタ装置6a、表示装置6b、データ保管サーバ6cを備える。
センタ装置6aは、飛行ロボット4が撮影したライブ映像を飛行制御装置5を介して受信し、モニタなどの表示装置6bに表示させる。また、センタ装置6aは、監視員が表示装置6bを見て飛行ロボット4に対する指示(飛行ルート指示、目標位置Pや速度の指示、離陸指示、帰還指示、上昇指示など)を飛行制御装置5に送信する。
また、センタ装置6aは、飛行ロボット4が監視領域Eに到達して撮影可能になった状態でライブ映像から自動取得した静止画をデータ保管サーバ6cに自動転送して記憶させるよう制御する。
さらにセンタ装置6aは、表示装置6bに表示されたライブ映像や、監視員がライブ映像上の任意のタイミングで撮影した静止画をデータ保管サーバ6c等の所定の送信先に転送させるよう制御する。
データ保管サーバ6cは、上述のように飛行ロボット4から送信されたライブ映像を記憶するとともに、ライブ映像上から切り出した静止画を記憶する。
データ保管サーバ6cは監視センタ内に置かれる必要はなく、よりセキュリティが確保されたデータセンター等におくようにしてもよい。センタ装置6aの制御によりデータ保管サーバ6cに転送され、保存されたライブ映像、静止画には、さらに上流の監視センタからアクセスして警察等への情報提供を行うことや、対処員等が携帯端末等から所定の認証によってアクセス可能とすることで迅速に現場状況の把握が可能となる。
[対処処理について]
次に、監視領域E内で異常が発生したときに、監視システム1の飛行制御装置5が実行する対処処理について図5及び図6を参照しながら説明する。
監視領域E内の異常として、監視領域E内に侵入物体(例えば不審車両や不審者など)があると、この侵入物体を目標物Mとして異常検知手段2が検知する。そして、異常検知手段2は、目標物Mによる異常検知信号を飛行制御装置5に送信し、監視領域E内で異常が発生したことを飛行制御装置5に通報する。
図6の対処処理では、まず、異常検知手段2からの異常検知信号の有無により異常検知手段2が異常を検知したか否かを判別する(ST1)。
飛行制御装置5は、異常検知手段2から異常検知信号が入力され、異常検知手段2が異常を検知したと判定すると、監視センタ6のセンタ装置6aに通報する(ST2)。
そして、飛行制御装置5は、飛行ロボット4に向かわせるべき目標位置Pと飛行ルートを算出して設定し、ロボポート3を介して飛行ロボット4に目標位置Pへの飛行ルート指示を送信する(ST3)。続いて、飛行制御装置5は、ロボポート3を介して飛行ロボット4に離陸指示を送信する(ST4)。飛行ロボット4は、ロボポート3を介して飛行制御装置5から目標位置Pへの飛行ルート指示、離陸指示を受信すると、ロータ制御手段33bによりロータ駆動部12を制御して各ロータ11を駆動し、ロボポート3から離陸し、飛行ルートに従って飛行し、目標位置Pに向かって移動する。
次に、飛行制御装置5は、目標位置Pに向かって飛行する飛行ロボット4の飛行高度が設定高度H1以上か否かを判別する(ST5)。飛行制御装置5は、飛行ロボット4の飛行高度が設定高度H1以上と判定すると、飛行ロボット4の撮影部16による撮影を禁止するため、撮影禁止指令として、飛行ロボット4に撮影禁止信号を送信する(ST6)。
ここで、ロボポート3から離陸した飛行ロボット4を設定高度H1以上まで上昇させるのは、高い高度では障害物が少なく、高速度での移動が可能であり、目標位置Pに早く到着できるからである。一方、飛行ロボット4の飛行高度が高いと撮影部16にて広範囲の撮影が可能となり、監視領域E以外の領域までが画像に映り込む可能性が有る。このため、飛行制御装置5は、プライバシーを配慮して設定高度H1以上での撮影部16による撮影を禁止するよう制御している。
ここで言う「撮影の禁止」とは、飛行ロボット4本体の記憶部21へ画像の記憶を禁止するが、飛行制御装置5へのライブ映像の送信は許可する場合、或いは双方とも禁止する場合のいずれの場合をも含む。また、撮影の禁止方法として、飛行ロボット4本体制御部による制御、撮影部16としてのカメラ自体の起動禁止制御、飛行制御装置5による指示信号の送信制御のいずれでもよい。
なお、本例では、図5に示すように、地表H0から飛行下限高度H2(例えば5m)までの高度では飛行ロボット4の飛行を禁止(離着陸時を除く)としている。また、飛行下限高度H2から設定高度H1(例えば10m)までの高度では、撮影部16による撮影を許可するとともに、飛行ロボット4の飛行速度を基準速度以下の低速に制限している。さらに、設定高度H1以上の高度では、撮影部16による撮影を禁止するとともに、飛行ロボット4の高速飛行を可能としている。また、飛行ロボット4の飛行高度が設定高度H1未満であっても、飛行下限高度H2未満である場合は撮影部16による撮影を禁止する。これは、例えば飛行ロボット4が予期せぬ不時着をした場合などに、想定外の事態による不適切な物体の撮影を防止するためである。なお、飛行ロボット4の飛行上限高度は、飛行制限高度(例えば50m)に設定されている。また、離着陸時の速度は低速度(例えば1m/sec)に設定されている。
また、設定高度H1は、飛行ロボット4が飛行する飛行ルート上に存在する建物、電柱などの構造物、樹木等の高さに応じて現場毎に固定値として適宜設定される。これにより、飛行ロボット4の破損リスクを低減して安全を確保しつつ、飛行ロボット4がより早く目標位置Pに到達できるよう制御することができる。
次に、飛行制御装置5は、飛行ロボット4が目標位置Pの付近まで飛行して移動したか否かを判別する(ST7)。飛行制御装置5は、飛行ロボット4が目標位置Pの付近まで移動していないと判定すると、ST5の処理に戻る。飛行制御装置5は、飛行ロボット4が目標位置Pの付近まで移動したと判定すると、飛行ロボット4に降下指示を送信する(ST8)。飛行ロボット4は、飛行制御装置5から降下指示を受信すると、ロータ制御手段33bによりロータ駆動部12を制御して各ロータ11を駆動し、機体を降下させる。
次に、飛行制御装置5は、飛行ロボット4が降下して飛行高度が設定高度H1以下になったか否かを判別する(ST9)。飛行制御装置5は、飛行ロボット4の飛行高度が設定高度H1以下と判定すると、撮影禁止解除指令(撮影許可指令)として、飛行ロボット4に撮影禁止解除信号を送信する(ST10)。飛行ロボット4は、飛行制御装置5から撮影禁止解除信号を受信すると、撮影制御手段43bにより撮影部16の撮影を解除し、監視領域Eの目標物Mを含む周辺の撮影が開始される。
このように、飛行ロボット4は、ロボポート3から離陸して上昇し、飛行ロボット4の飛行高度が設定高度H1以上になると撮影部16の撮影を禁止するよう飛行制御装置5による制御される。そして、撮影部16の撮影を禁止した状態で飛行ロボット4が目標位置Pの付近まで飛行して移動すると下降し、飛行ロボット4の飛行高度が設定高度H1未満になり、飛行制御装置5から撮影禁止解除信号をすると撮影部16の撮影禁止を解除して目標物(例えば車)Mを含む周辺を撮影部16にて撮影する。
飛行制御装置5は、飛行ロボット4の撮影禁止を解除して、ライブ映像の受信が開始されたか否かを判定する(ST11)。飛行制御装置5で飛行ロボット4からのライブ映像の受信が開始されると、飛行制御装置5は、受信したライブ映像を監視センタ6のセンタ装置6aへの送信を開始する(ST12)。
次に、飛行制御装置5は、飛行ロボット4の撮影部16による撮影が終了したか否かを判別する(ST13)。飛行制御装置5は、飛行ロボット4の撮影部16による撮影が終了したと判定すると、異常時の対処処理を終了する。
なお、飛行制御装置5は、上述した対処処理において、飛行ロボット4の撮影部16による撮影が終了したと判定したときに、必要に応じて飛行ロボット4に帰還指示を送信し、飛行ロボット4をロボポート3に帰還させることができる(ST14)。
次に図7のフローチャートを用いて監視センタ6のセンタ装置6aの対処処理における動作を説明する。
センタ装置6aは、飛行制御装置5からの異常通報を受信する(ST31)と、飛行制御装置5を介して飛行ロボット4からライブ映像が送信されるまで待機する(ST32)。
飛行ロボット4が目的地に移動して、撮影が開始可能になり、ライブ映像が送信されてくると、自動で静止画を取得し、データ保管サーバ6cへ転送され、記憶される。
この際、取得される静止画は、送信されたライブ映像の略開始直後の画像である。この略開始直後とは送信されたライブ映像の先頭の1枚か、或いは設定された複数枚を取得する。或いは、ライブ映像の受信開始直後は映像が安定しない場合があるため、ライブ映像取得後設定時間後(例えば5秒後)から1枚或いは複数枚の静止画を取得するようにしてもよく、さらに映像の安定度を評価して、設定された安定条件を満たすと静止画を取得するようにしてもよい。これにより、飛行ロボット4が異常検知後に、異常検知現場に到着したタイミングを監視員が把握容易となり、異常検知要因が写っている可能性が高い撮影開始直後の静止画を監視員の操作を必要とせず取得できる。
また、取得される静止画に、飛行制御装置5から取得した飛行ロボット4の位置情報を付帯情報として記憶することも可能である。付帯情報としては、異常検知手段2の検知時刻、静止画の撮影時刻なども記憶することができる。
センタ装置6aは静止画を取得するとともにライブ映像を飛行制御装置5から取得して表示装置6bに表示させる。この際に、表示装置6b上にライブ映像とともに、静止画を表示させることも可能である。
これにより、監視センタ6の監視員は対処員等を現場に向かわせるとき、現場の静止画とともに、飛行ロボットの撮影位置情報や、異常検知時刻、撮影時刻を合わせて容易に伝えることが可能となる。
ライブ映像の表示中に、監視員等がライブ映像中の任意の位置で静止画の取得要求がある(ST35)と、静止画を取得する。取得した静止画は監視員の任意の選択によりデータ保管サーバ6cや指定した送信先に送信したり、破棄したりすることができる。飛行制御装置5からのライブ映像の送信が終了(ST37)するまでST34〜ST36の処理が繰り返される。
以上、本発明に係る監視システムについて、飛行機能を有する飛行ロボット4を含む形態について説明したが、これに限定されることはない。本発明に係る監視システムに適用されるロボットは、自律移動機能を有するロボットであれば、地上走行型、天井走行型、水中航行型であってもよく、自律移動ロボットが監視領域内での異常検知後、待機場所から所定の目的地に到着し、ライブ映像を取得可能となったときの静止画を送るような監視システムに適用できる。
また、飛行制御装置5から送信されたライブ映像からの静止画の取得をセンタ装置6aが行うようにしているが、飛行ロボット4が撮影可能な状態になったとき、飛行制御装置5で取得してセンタ装置6aに送信するようにしてもよい。
さらに、飛行制御装置5の機能を監視センタ6のセンタ装置6aと総合して、監視センタ6に異常検知手段2からの異常検知信号を受信して、飛行ロボット4の制御を行うようにしてもよい。
以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。
1 監視システム
2 異常検知手段
3 ロボポート
4 飛行ロボット
5 飛行制御装置
6 監視センタ
6a センタ装置
6b 表示装置
6c データ保管サーバ
11 ロータ
12 ロータ駆動部
13 飛行状態検知部
14 GNSS受信部
15 高度センサ
16 撮影部
17 照明
18 アンテナ
19 測距センサ
20 照度センサ
21 記憶部
22 電源
23 ロボ制御部
31 通信制御手段
32 障害物検知手段
33 姿勢制御手段
33a 自己位置測位手段
33b ロータ制御手段
34 撮影制御手段
35 照明制御手段
41 通信部
42 記憶部
43 制御部
43a 飛行制御手段
43b 撮影制御手段
43c 状態確認手段

E 監視領域
H0 地表
H1 設定高度
H2 飛行下限高度
M 目標物
P 目標位置
S 走査範囲

Claims (5)

  1. 監視領域内での異常を検知する異常検知手段と、
    撮影手段を備えた自律移動ロボットと、
    前記自律移動ロボットと無線通信して前記自律移動ロボットの状態情報を取得するとともに、前記自律移動ロボットへの制御指示情報を送信して前記自律移動ロボットを制御する制御装置と、を備えた監視システムであって、
    前記制御装置は、
    前記異常検知手段が異常を検知すると前記異常検知箇所付近を目的地として設定し、前記自律移動ロボットへ前記目的地への移動を指示する飛行制御手段と、
    前記自律移動ロボットから前記状態情報として位置情報を取得し、
    前記位置情報に基づき、前記自律移動ロボットが前記目的地へ移動したと判定すると、前記自律移動ロボットによる撮影を許可する撮影制御手段と、を備え
    前記制御装置は、
    前記撮影制御手段により前記自律移動ロボットへの撮影許可を指示した後、前記自律移動ロボットからのライブ映像の受信を開始すると、当該ライブ映像の受信開始の略直後の一部を静止画像として自動取得することを特徴とする監視システム。
  2. 前記制御装置は、取得した前記静止画像を指定された送信先に自動転送する機能を備えることを特徴とする請求項1に記載の監視システム。
  3. 前記制御装置は、前記自律移動ロボットから取得した状態情報又は前記異常検知手段による検知情報を前記静止画像の付帯情報として記憶させることを特徴とする請求項1又は2に記載の監視システム。
  4. 前記自律移動ロボットは、飛行機能を備えた飛行ロボットであることを特徴とする請求項1乃至3に記載の監視システム。
  5. 前記飛行ロボットは、飛行高度を制御する高度制御手段を備え、
    前記制御装置の撮影制御手段は、前記飛行ロボットから前記位置情報として取得した飛行高度が設定高度以上である場合に前記撮影手段による撮影を禁止するよう制御することを特徴とする請求項4に記載の監視システム。



JP2015068854A 2015-03-30 2015-03-30 監視システム Active JP6594640B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015068854A JP6594640B2 (ja) 2015-03-30 2015-03-30 監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015068854A JP6594640B2 (ja) 2015-03-30 2015-03-30 監視システム

Publications (2)

Publication Number Publication Date
JP2016189114A true JP2016189114A (ja) 2016-11-04
JP6594640B2 JP6594640B2 (ja) 2019-10-23

Family

ID=57239735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015068854A Active JP6594640B2 (ja) 2015-03-30 2015-03-30 監視システム

Country Status (1)

Country Link
JP (1) JP6594640B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083798A1 (ja) * 2016-11-07 2018-05-11 株式会社ラムロック 監視システム及び移動ロボット装置
JP2018077759A (ja) * 2016-11-11 2018-05-17 株式会社富士通エフサス 監視システム、監視方法および監視プログラム
CN108537127A (zh) * 2018-03-14 2018-09-14 曹红娟 车辆现场识别系统
WO2018198317A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム 無人飛行体による空撮システム、方法及びプログラム
KR101928995B1 (ko) 2017-05-26 2018-12-13 강종수 침입 물체 감지 시스템 및 이의 제어 방법
JP2019049874A (ja) * 2017-09-11 2019-03-28 Kddi株式会社 飛行管理装置、飛行装置、及び飛行管理方法
CN109962970A (zh) * 2017-12-25 2019-07-02 丰田自动车株式会社 信息收集系统以及服务器装置
JP2019117574A (ja) * 2017-12-27 2019-07-18 トヨタ自動車株式会社 自動運転システム及び自動運転方法
US10395509B2 (en) 2017-06-08 2019-08-27 Total Sa Method of preparing and/or carrying out a ground survey in a region of interest and related apparatus
JP2019191846A (ja) * 2018-04-24 2019-10-31 鎌倉インベストメント株式会社 監視システム
JP6661187B1 (ja) * 2019-07-11 2020-03-11 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
CN111586425A (zh) * 2020-04-28 2020-08-25 微梦创科网络科技(中国)有限公司 一种基于地理位置的车载视频直播方法及装置
CN111591442A (zh) * 2019-02-20 2020-08-28 研能科技股份有限公司 微型检测装置
JP2020140444A (ja) * 2019-02-28 2020-09-03 セイコーエプソン株式会社 保守支援システム及びそれに用いられる端末
JP2021015590A (ja) * 2020-01-31 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015601A (ja) * 2020-07-02 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015584A (ja) * 2019-09-09 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015603A (ja) * 2020-07-02 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015602A (ja) * 2020-07-02 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP7317173B1 (ja) 2022-04-18 2023-07-28 三菱電機株式会社 機器制御装置、機器制御方法及び機器制御プログラム
KR102612615B1 (ko) * 2023-04-14 2023-12-12 (주)메타파스 무인 항공기 기반 자동 점검/순찰 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163673A (ja) * 1998-11-25 2000-06-16 Mitsubishi Electric Corp 監視装置
JP2002118811A (ja) * 2000-10-11 2002-04-19 Sony Corp 撮影内容記録システムおよび撮影内容記録方法
JP2004146959A (ja) * 2002-10-23 2004-05-20 Funai Electric Co Ltd デジタル監視レコーダ
JP2011197467A (ja) * 2010-03-19 2011-10-06 Olympus Imaging Corp 撮影装置
JP2014177162A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 撮影システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163673A (ja) * 1998-11-25 2000-06-16 Mitsubishi Electric Corp 監視装置
JP2002118811A (ja) * 2000-10-11 2002-04-19 Sony Corp 撮影内容記録システムおよび撮影内容記録方法
JP2004146959A (ja) * 2002-10-23 2004-05-20 Funai Electric Co Ltd デジタル監視レコーダ
JP2011197467A (ja) * 2010-03-19 2011-10-06 Olympus Imaging Corp 撮影装置
JP2014177162A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 撮影システム

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018083798A1 (ja) * 2016-11-07 2019-09-19 株式会社ラムロック 監視システム及び移動ロボット装置
CN109906614B (zh) * 2016-11-07 2021-12-10 株式会社雷姆洛克 监视系统以及移动机器人装置
WO2018083798A1 (ja) * 2016-11-07 2018-05-11 株式会社ラムロック 監視システム及び移動ロボット装置
US11377210B2 (en) 2016-11-07 2022-07-05 Ramrock, Co., Ltd. Monitoring system and mobile robot device
CN109906614A (zh) * 2016-11-07 2019-06-18 株式会社雷姆洛克 监视系统以及移动机器人装置
JP2018077759A (ja) * 2016-11-11 2018-05-17 株式会社富士通エフサス 監視システム、監視方法および監視プログラム
WO2018198317A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム 無人飛行体による空撮システム、方法及びプログラム
JP6495562B1 (ja) * 2017-04-28 2019-04-03 株式会社オプティム 無人飛行体による空撮システム、方法及びプログラム
KR101928995B1 (ko) 2017-05-26 2018-12-13 강종수 침입 물체 감지 시스템 및 이의 제어 방법
US10395509B2 (en) 2017-06-08 2019-08-27 Total Sa Method of preparing and/or carrying out a ground survey in a region of interest and related apparatus
JP2019049874A (ja) * 2017-09-11 2019-03-28 Kddi株式会社 飛行管理装置、飛行装置、及び飛行管理方法
JP2019114120A (ja) * 2017-12-25 2019-07-11 トヨタ自動車株式会社 情報収集システムおよびサーバ装置
CN109962970A (zh) * 2017-12-25 2019-07-02 丰田自动车株式会社 信息收集系统以及服务器装置
JP7052338B2 (ja) 2017-12-25 2022-04-12 トヨタ自動車株式会社 情報収集システム
US11150659B2 (en) 2017-12-25 2021-10-19 Toyota Jidosha Kabushiki Kaisha Information collection system and server apparatus
JP2019117574A (ja) * 2017-12-27 2019-07-18 トヨタ自動車株式会社 自動運転システム及び自動運転方法
JP7009987B2 (ja) 2017-12-27 2022-01-26 トヨタ自動車株式会社 自動運転システム及び自動運転方法
CN108537127A (zh) * 2018-03-14 2018-09-14 曹红娟 车辆现场识别系统
JP2019191846A (ja) * 2018-04-24 2019-10-31 鎌倉インベストメント株式会社 監視システム
CN111591442A (zh) * 2019-02-20 2020-08-28 研能科技股份有限公司 微型检测装置
JP2020140444A (ja) * 2019-02-28 2020-09-03 セイコーエプソン株式会社 保守支援システム及びそれに用いられる端末
JP6661187B1 (ja) * 2019-07-11 2020-03-11 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
WO2021005782A1 (ja) * 2019-07-11 2021-01-14 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015605A (ja) * 2019-07-11 2021-02-12 株式会社センシンロボティクス 管理サーバ及び管理システム、表示情報生成方法、プログラム
JP2021015584A (ja) * 2019-09-09 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015590A (ja) * 2020-01-31 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
CN111586425A (zh) * 2020-04-28 2020-08-25 微梦创科网络科技(中国)有限公司 一种基于地理位置的车载视频直播方法及装置
JP2021015603A (ja) * 2020-07-02 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015602A (ja) * 2020-07-02 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021015601A (ja) * 2020-07-02 2021-02-12 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP7317173B1 (ja) 2022-04-18 2023-07-28 三菱電機株式会社 機器制御装置、機器制御方法及び機器制御プログラム
JP2023158440A (ja) * 2022-04-18 2023-10-30 三菱電機株式会社 機器制御装置、機器制御方法及び機器制御プログラム
KR102612615B1 (ko) * 2023-04-14 2023-12-12 (주)메타파스 무인 항공기 기반 자동 점검/순찰 시스템 및 방법

Also Published As

Publication number Publication date
JP6594640B2 (ja) 2019-10-23

Similar Documents

Publication Publication Date Title
JP6594640B2 (ja) 監視システム
JP6539073B2 (ja) 監視システム及び飛行ロボット
JP6539072B2 (ja) 監視システム及び飛行ロボット
US10218893B2 (en) Image capturing system for shape measurement of structure, method of capturing image of structure for shape measurement of structure, on-board control device, remote control device, program, and storage medium
JP6413057B2 (ja) 無人航空機および移動体捕捉システム
KR101888930B1 (ko) 드론 모바일스테이션을 이용한 안전관리 시스템
JP6578113B2 (ja) 飛行ロボット制御システム及び飛行ロボット
US11531340B2 (en) Flying body, living body detection system, living body detection method, program and recording medium
CN112650267B (zh) 一种飞行器的飞行控制方法、装置及飞行器
JP6509599B2 (ja) 飛行ロボット制御システム及び飛行ロボット
JP6195457B2 (ja) 撮影システム
JP2014104797A (ja) 建屋内調査システム
CN107820585B (zh) 飞行器降落方法、飞行器和计算机可读存储介质
KR20180104956A (ko) 드론 관리 시스템
JP6664209B2 (ja) 飛行型調査機を用いた調査方法
JP6482857B2 (ja) 監視システム
JP7362203B2 (ja) 無人移動体
CN107908163A (zh) 一种基于无人舰艇的无人机侦查系统
JP2018055362A (ja) 監視システム
KR20190052849A (ko) 차량의 드론 이착륙 제어 장치 및 그 방법
CN110772728A (zh) 消防专用无人机、系统及其消防方法
JP7200324B1 (ja) 緊急発進ドローン装置
JP6469487B2 (ja) 飛行ロボット制御システム及び飛行ロボット
KR102365931B1 (ko) 배터리 교체형 드론의 공중 배터리 교체 방법 및 이를 위한 장치
JP6393157B2 (ja) 宇宙機の探索回収システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190925

R150 Certificate of patent or registration of utility model

Ref document number: 6594640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250