JP2019191846A - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP2019191846A
JP2019191846A JP2018082790A JP2018082790A JP2019191846A JP 2019191846 A JP2019191846 A JP 2019191846A JP 2018082790 A JP2018082790 A JP 2018082790A JP 2018082790 A JP2018082790 A JP 2018082790A JP 2019191846 A JP2019191846 A JP 2019191846A
Authority
JP
Japan
Prior art keywords
danger
unit
flying device
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018082790A
Other languages
English (en)
Other versions
JP6751501B2 (ja
Inventor
功太郎 千葉
Kotaro Chiba
功太郎 千葉
稔 中畑
Minoru Nakahata
稔 中畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kamakura Invest Co Ltd
Kamakura Investment Co Ltd
Drone IPLab Inc
Original Assignee
Kamakura Invest Co Ltd
Kamakura Investment Co Ltd
Drone IPLab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kamakura Invest Co Ltd, Kamakura Investment Co Ltd, Drone IPLab Inc filed Critical Kamakura Invest Co Ltd
Priority to JP2018082790A priority Critical patent/JP6751501B2/ja
Publication of JP2019191846A publication Critical patent/JP2019191846A/ja
Application granted granted Critical
Publication of JP6751501B2 publication Critical patent/JP6751501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】監視対象に対する危険をいち早く把握することができるようにする。【解決手段】本発明は、移動する人物を監視するシステムである。システムは、人物の位置を取得する位置取得部と、撮影部を有する飛行装置をその位置まで飛行させるように制御する飛行制御部と、飛行装置が人物を撮影するように制御する撮影制御部と、飛行装置が撮影した画像に基づいて、人物に対する危険を検出する危険検出部と、危険を報知する危険報知部と、を備える。【選択図】 図1

Description

本発明は、監視システムに関する。
飛行体を用いた監視が行われている。例えば特許文献1には、被追尾対象を特定して追尾する飛行型カメラシステムが開示されている。
特開2017−185928号公報
しかしながら、特許文献1に記載のシステムでは、被追尾対象を撮影することはできるものの、その撮影した画像を見ない限り被追尾対象がどのような状況にあるのかを把握することができない。
本発明はこのような背景を鑑みてなされたものであり、監視対象に対する危険をいち早く把握することのできる監視システムを提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、移動する人物を監視するシステムであって、前記人物の位置を取得する位置取得部と、撮影部を有する飛行装置を前記位置まで飛行させるように制御する飛行制御部と、前記飛行装置が前記人物を撮影するように制御する撮影制御部と、前記飛行装置が撮影した画像に基づいて、前記人物に対する危険を検出する危険検出部と、前記危険を報知する危険報知部と、を備える。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。
本発明によれば、監視対象に対する危険をいち早く把握することができる。
本発明の一実施形態に係る監視システムの全体構成を示す図である。 飛行装置10のハードウェア構成例を示す図である。 フライトコントローラ11のソフトウェア構成例を示す図である。 現在位置格納部151の構成例を示す図である。 ユーザ端末20のハードウェア構成例を示す図である。 ユーザ端末20のソフトウェア構成例を示す図である。 管理サーバ30のハードウェア構成例を示す図である。 管理サーバ30のソフトウェア構成例を示す図である。 経路情報記憶部321の構成例を示す図である。 飛行位置記憶部322の構成例を示す図である。 認証情報記憶部323の構成例を示す図である。 撮影画像記憶部324の構成例を示す図である。 危険パターン記憶部325の構成例を示す図である。 危険特徴量記憶部326の構成例を示す図である。 監視端末40のハードウェア構成例を示す図である。 監視端末40のソフトウェア構成例を示す図である。 ユーザ情報記憶部421の構成例を示す図である。 画像記憶部422の構成例を示す図である。 ユーザ端末20により実行される飛行装置10による監視を依頼する処理の流れを説明する図である。 開始位置指定部212が表示する画面52の一例を示す図である。 管理サーバ30により実行される監視の依頼を受け付ける処理の流れを示す図である。 飛行装置10により実行される監視を開始する処理の流れを示す図である。 ユーザ端末20により実行される、ユーザ1の監視中に係る処理の流れを示す図である。 飛行装置10により実行されるユーザ1を監視する処理の流れを示す図である。 管理サーバ30により実行されるユーザ1の監視に係る処理の流れを示す図である。 管理サーバ30により実行される危険検出処理の流れを示す図である。 監視端末40により実行されるユーザ1の監視に係る処理の流れを示す図である。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
[項目1]
移動する人物を監視するシステムであって、
前記人物の位置を取得する位置取得部と、
撮影部を有する飛行装置を前記位置まで飛行させるように制御する飛行制御部と、
前記飛行装置が前記人物を撮影するように制御する撮影制御部と、
前記飛行装置が撮影した画像に基づいて、前記人物に対する危険を検出する危険検出部と、
前記危険を報知する危険報知部と、
を備えることを特徴とする監視システム。
[項目2]
項目1に記載の監視システムであって、
危険が発生したときに観察される身体の動きのパターンである危険パターンを記憶する危険パターン記憶部をさらに備え、
前記危険検出部は、前記人物の身体の動きを検出し、検出した前記身体の動きを前記危険パターンに照合して前記危険を検出すること、
を特徴とする監視システム。
[項目3]
項目1または2に記載の監視システムであって、
人間に危険を及ぼしうる物体の特徴量である危険特徴量を記憶する危険特徴量記憶部をさらに備え、
前記飛行装置は前記人物の近傍を撮影し、
前記危険検出部は、前記飛行装置が撮影した前記画像から抽出した特徴量と前記特徴量記憶部に登録されている前記危険特徴量とを比較することにより、前記危険を検出すること、
を特徴とする監視システム。
[項目4]
項目1ないし3のいずれか1項に記載の監視システムであって、
前記飛行装置の現在位置を取得する飛行位置取得部をさらに備え、
前記位置取得部は、前記人物が移動する経路を取得し、
前記飛行制御部はさらに、前記経路上を前記飛行装置が飛行するように制御し、
前記危険検出部は、前記飛行装置が撮影した画像と前記飛行装置の現在位置とに基づいて、前記人物が前記経路を逸脱して移動しているか否かを判定し、前記経路を逸脱している場合に前記危険が発生したことを検出すること、
を特徴とする監視システム。
[項目5]
項目1ないし4のいずれか1項に記載の監視システムであって、
前記人物が操作する携帯端末から認証情報を受信し、受信した前記認証情報に基づいて前記人物の認証を行う認証処理部をさらに備えること、
を特徴とする監視システム。
[項目6]
請求項1ないし5のいずれか1項に記載の監視システムであって、
前記飛行装置は前記危険の発生を報知する報知装置を備えており、
前記危険検出部が前記危険を検出した場合に、前記飛行装置が備える前記報知装置を起動する危険報知処理部をさらに備えること、
を特徴とする監視システム。
[項目7]
項目1ないし6のいずれか1項に記載の監視システムであって、
前記飛行制御部は、前記危険検出部が前記危険を検出した場合に、前記飛行装置である第1の飛行装置とは異なる第2の飛行装置を、前記第1の飛行装置が現在する位置に飛行させるように制御し、
前記撮影制御部は、前記第2の飛行装置が前記危険の発生場所を撮影するように制御すること、
を特徴とする監視システム。
==概要・全体構成==
図1は、本発明の一実施形態に係る監視システムの全体構成を示す図である。
本実施形態の監視システムは、ユーザ1が移動時にユーザ端末20を操作して飛行装置10を呼び出し、ユーザ1に対する危険の発生を監視してもらおうとするものである。例えば、ユーザ1は夜間の帰宅路の危険を監視してもらうことができる。ユーザ1が子供である場合には下校時に危険を監視してもらうことができる。本実施形態の飛行装置10は撮影機能を有しており、飛行装置10が撮影した画像に基づいてユーザ1に対する危険を検出する。ユーザ1に対する危険が検出された場合には、飛行装置10が撮影した画像は監視端末40に伝達され、監視員2が本当に危険が発生していることを確認する。監視員2は必要に応じて現地へ警備員を派遣することもできる。さらに、飛行装置10からは例えば発光やサイレンの再生などにより、犯人に対する威嚇を行うこともできる。
図1の例に係る本実施形態の監視システムは、撮影を行う飛行装置10、ユーザ1が操作するユーザ端末20、飛行装置10に対して各種の命令を行う管理サーバ30、監視員2が運用する監視端末40を含んで構成される。飛行装置10、ユーザ端末20、管理サーバ30および監視端末40は、通信ネットワーク50を介して相互に通信可能に接続されている。本実施形態では通信ネットワーク50はインターネットを想定し、例えば無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット(登録商標)などにより構築される。また、飛行装置10とユーザ端末20とが近接している場合には、飛行装置10とユーザ端末20とは、例えば、WiFiやBlueTooth(登録商標)などのプロトコルに従って通信ネットワーク50を介さずに直接通信を行うこともできる。
(飛行装置10)
図2は、飛行装置10のハードウェア構成例を示す図である。飛行装置10は、プロペラ18と、プロペラ18にESC(Electronic Speed Controller)16を介して接続された推進機構(本実施形態ではモータ17を想定する。)と、これらを制御するフライトコントローラ11とを備える。
フライトコントローラ11は、プログラマブルプロセッサ(本実施形態では、中央演算処理装置(CPU)を想定する。)などの1つ以上のプロセッサ101を有することができる。カメラ12は、ジンバル13を介して機体に装備され、ジンバル13によって、例えば、機体に対して上下方向に回転することができる。好ましくは、機体に対して3軸方向(ピッチ角、ロール角、ヨー角)に回転できることが好ましい。また、図2の例では、飛行装置10はカメラ12を1台だけ備える構成を示しているが、2台以上のカメラを備える構成であってもよい。また、カメラ12に代えて、またはカメラ12に加えて、人感センサーなどの各種のセンサを設けるようにしてもよい。
フライトコントローラ11は、メモリ102を有しており、当該メモリ102にアクセス可能である。メモリ102は、1つ以上のステップを行うためにフライトコントローラ11が実行可能であるロジック、コード、および/またはプログラム命令を記憶する。メモリ102は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ12やセンサなどから取得したデータは、メモリ102に直接に伝達されかつ記憶されてもよい。
フライトコントローラ11はまた、各種のセンサ類103を備える。本実施形態においてセンサ類103は、例えば、慣性センサ(加速度センサ、ジャイロセンサ)、GPS(Global Positioning System)センサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
フライトコントローラ11は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)、端末、表示装置、または他の遠隔の制御器などである。)からのデータを送信および/または受け取るように構成された送受信部14と通信可能である。送受信機14は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態では、送受信部14は、主に管理サーバ30と通信を行い、必要に応じて監視端末40とも通信を行う。送受信部14は、例えば、ローカルエリアネットワーク(Local Area Network;LAN)、ワイドエリアネットワーク(Wide Area Network;WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。送受信部14は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることもできる。
飛行装置10にはまた、各種の情報を外部に報知する報知装置15が装備される。報知装置15は、例えば、投光器やフラッシュライト、回転灯などの光を放出するデバイスであってもよいし、スピーカやブザー、警鐘装置などの音を放出するデバイスであってもよい。
図3は、フライトコントローラ11のソフトウェア構成例を示す図である。フライトコントローラ11は、指示受信部111、飛行制御部112、現在位置取得部113、認証処理部114、撮影制御部115、画像送信部116、危険報知処理部117、現在位置格納部151およびGPSセンサ152を備える。
なお、指示受信部111、飛行制御部112、現在位置取得部113、認証処理部114、撮影制御部115、画像送信部116および危険報知処理部117は、プロセッサ101がメモリ102に格納されているプログラムを実行することにより実現される。また、現在位置格納部151は、メモリ102の提供する記憶領域として実現される。
指示受信部111は、飛行装置10の動作を指示する各種のコマンド(以下、飛行操作コマンドという。)を受け付ける。本実施形態では、指示受信部111は、主に管理サーバ30から飛行操作コマンドを受信することを想定するが、ユーザ端末20や監視端末40、プロポなどの送受信機から飛行操作コマンドを受信するようにしてもよい。
飛行制御部112は、飛行装置10の動作を制御する。飛行制御部112は、例えば、6自由度(並進運動x、yおよびz、並びに回転運動θx、θyおよびθz)を有する飛行装置10の空間的配置、速度、および/または加速度を調整するために、ESC16を経由してモータ17を制御する。モータ17によりプロペラが回転することで飛行装置10の揚力を生じさせる。また、飛行制御部113は、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
本実施形態では、飛行制御部112は、指示受信部111が受信した飛行操作コマンドに応じて飛行装置10の動作を制御する。例えば、指示受信部111がユーザ1を追尾する自律飛行を行うように指示する飛行操作コマンドを受信した場合には、飛行制御部112は、カメラ12が撮影したユーザ1の画像を解析してユーザ1の位置を把握するとともに、後述する現在位置取得部113が取得した当該飛行装置10の現在位置をユーザ1の位置の近傍に移動させるようにESC16を介してモータ17等を制御することにより、ユーザ1を追尾するように飛行装置10を飛行させることができる。また、飛行制御部112は、自律飛行を可能とするべく、コマンドによらずに飛行装置10が飛行を継続するように各種の制御を行うこともできる。
現在位置取得部113は、飛行装置10の現在位置を取得する。本実施形態では、センサ類103にはGPSセンサ152が含まれており、現在位置取得部113は、例えば、GPSセンサ152がGPS衛星から受信した電波から、飛行装置10の現在位置を算出することができる。現在位置取得部113は、取得した飛行装置10の現在位置をメモリ14の現在位置格納部151に格納する。図4は現在位置格納部151の構成例を示す図である。図4に示すように、現在位置格納部151には、例えば緯度経度により表現された飛行装置10の現在位置(飛行位置)が格納される。フライトコントローラ11は、現在位置格納部151を参照することにより、飛行装置10の現在位置を迅速に応答することができる。
本実施形態では、指示受信部111が飛行操作コマンドを受信した後、現在位置取得部113は、当該飛行操作コマンドの送信元(本実施形態では管理サーバ30)に対して、飛行装置10の現在位置を定期的に送信する。なお、現在位置の送信間隔は、1秒ごと、5秒ごとなど任意に設定することができる。
認証処理部114は、ユーザ端末20の認証を行う。認証処理部114は、例えば、ユーザ端末20からユーザ1を特定する情報(本実施形態では、ユーザ名を採用する。)とパスワードとの入力を受け付けて認証を行うようにすることができる。本実施形態では、飛行装置10とユーザ端末20との間の通信は、通信ネットワーク50を介さず、例えばWiFiやBlueTooth(登録商標)などのプロトコルに従い直接行われるものとする。認証処理部114は、ユーザ端末20から受信したユーザ名とパスワードと含む、認証を要求するリクエスト(以下、認証リクエストという。)を管理サーバ30送信し、認証リクエストに対する管理サーバ30からの応答により認証に成功したか否かを判断する。また、本実施形態では、認証処理部114は、ユーザ端末20が飛行装置10の正当性を認証できるように、上記監視リクエストに対する予約番号を管理サーバ30から受信してユーザ端末20に送信する。
撮影制御部115は、カメラ12を制御してカメラ12が撮影した映像を取得する。撮影制御部115は、ジンバル13を制御することも可能であり、カメラ12をユーザ1に向けてユーザ1の状況を撮影したり、カメラ12をユーザ1の周囲に向けてユーザ1の周囲の状況を撮影したりすることができる。本実施形態では、撮影制御部115は、ユーザ1にカメラ12を向けて撮影した画像(以下、ユーザ画像という。)と、ユーザ1の周囲にカメラ12を向けて撮影した画像(以下、周囲画像という。)とを順次撮影するように自動制御するものとする。また、撮影制御部115は、指示受信部111が管理サーバ30や監視端末40から、カメラ12のパン、チルト、ズーム、撮影などを指示するコマンド(以下、カメラコマンドという。)を受信した場合には、カメラコマンドに応じてカメラ12やジンバル13などを制御することもできる。
画像送信部116は、カメラ12が撮影した画像を管理サーバ30に送信する。カメラ12が撮影する画像は静止画像であっても動画像であってもよいが、本実施形態では動画像が撮影されているものとする。また、本実施形態では、画像送信部116は、ユーザ画像および周囲画像の区別と、飛行装置10の現在位置とを付帯させて管理サーバ30に送信するものとする。さらに、本実施形態では、カメラ12による撮影が開始された場合には、その後の全ての画像が管理サーバ30に送信されるものとする。なお、メモリ102にユーザ画像や周囲画像を記録しておき、管理サーバ30や監視端末40から記録しているユーザ画像や周囲画像を取得するためのコマンド(以下、画像取得コマンドという。)を受信した場合に、当該画像取得コマンドに応じて画像送信部116がユーザ画像や周囲画像を応答するようにしてもよい。
危険報知処理部117は、報知装置15を起動して、ユーザ1に対して発生した危険を報知する。報知装置15からは光を発したり、音を出したりすることができる。これにより、危険の発生原因となった犯人等に対する威嚇行為を行うことが可能となる。後述するように、本実施形態では、監視端末40から危険が発生したことを知らせる通知(以下、危険通知という。)が飛行装置10に送信され、危険報知処理部117はこの危険通知に応じて危険の報知処理を行う。なお、報知装置15からの危険の報知は、威嚇以外にも、周囲の人々に危険の発生を伝達する役割も果たすことが可能である。
(ユーザ端末20)
図5は、ユーザ端末20のハードウェア構成例を示す図である。ユーザ端末20は、CPU201、メモリ202、記憶装置203、通信装置204、GPSモジュール205、タッチパネルディスプレイ206を備える。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置204は、通信ネットワーク50を介して他の装置と通信を行う。通信装置204は、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどを含んで構成される。GPSモジュール205は、GPS衛星からの信号を受信する。タッチパネルディスプレイ206は、データを入出力するインタフェースである。ユーザ1はタッチパネルディスプレイ206に表示された情報を閲覧し、タッチパネルディスプレイ206に触れることによりデータの入力を行うことができる。
図6は、ユーザ端末20のソフトウェア構成例を示す図である。ユーザ端末20は、現在位置取得部211、開始位置指定部212、飛行装置呼出し部213、認証処理部214および危険通報部215を備える。
なお、現在位置取得部211、開始位置指定部212、飛行装置呼出し部213、認証処理部214および危険通報部215は、ユーザ端末20の備えるCPU201が記憶装置203に記憶されているプログラムをメモリ202に読み出して実行することにより実現される。
現在位置取得部211は、ユーザ端末20の現在位置を取得する。現在位置取得部211は、例えば、GPSモジュール205がGPS衛星から受信した電波に基づいてユーザ端末20の現在位置を算出することができる。また、現在位置取得部211は、通信装置204が通信するWiFiルータや基地局などの情報も利用してユーザ端末20の現在位置を高精度に求めるようにしてもよい。
開始位置指定部212は、ユーザ1の危険監視を開始する位置(以下、開始位置という。)の指定を受け付ける。本実施形態では、開始位置指定部212はまた、危険監視を開始する時間(以下、開始時間という。)と、監視を終了する位置(以下、終了位置という。)と、開始位置から終了位置までの間にユーザ1が移動する予定の経路を示す情報(以下、経路情報という。)とを併せて受け付けるものとする。開始位置指定部212は、例えば、地図をタッチパネルディスプレイ206に表示し、地図上で開始位置、終了位置よび経路をユーザ1に指定させることができる。開始位置および終了位置は、例えば緯度経度で表現することができる。経路情報は、一般的なナビゲーションシステムなどに用いられているものを採用することができる。経路情報は、例えば、GIS(Geographic Information System)で用いられる道路ネットワーク上の経路を示す情報であってもよいし、経路上の地点を緯度経度等で表現したリストであってもよい。
飛行装置呼出し部213は、飛行装置10による危険の監視を依頼する。本実施形態では、飛行装置呼出し部213は、管理サーバ30に対してリクエスト(以下、監視リクエストという。)を送信することにより監視を依頼する。監視リクエストには、開始位置および開始時間、終了位置および経路情報が含まれる。また、管理サーバ30からは監視リクエストに対して予約番号が応答される。飛行装置呼出し部213はまた、飛行装置10との直接の通信が行えない場合に、当該飛行装置10の位置を取得するためのリクエスト(以下、飛行位置取得リクエストという。)を管理サーバ30に送信し、管理サーバ30から応答される飛行装置10の現在位置を取得することができる。飛行位置取得リクエストには予約番号が設定される。
認証処理部214は、ユーザ端末20の近傍に飛来した飛行装置10に対してユーザ端末20の認証を行う。本実施形態では、認証処理部214は、ユーザ1からユーザ名とパスワードとの入力を受け付けて飛行装置10に送信することで認証を行うものとするが、認証処理部214は、ユーザ端末20の記憶装置203にユーザ名およびパスワードを記録しておき、これらを読み出して送信してもよい。さらに、認証処理部214は、飛行装置10の認証を行うこともできる。例えば、認証処理部214は、飛行装置10から予約番号を受信し、管理サーバ30から受信した予約番号と一致するかどうかにより飛行装置10の正当性を認証することができるが、この方式に限らず、各種の公知の認証手法を採用することができる。
危険通報部215は、ユーザ1に危険が発生したことを通報する。本実施形態では、危険通報部215は、ユーザ1から危険が発生したことが入力されたことを契機として、管理サーバ30に対してその旨を示す情報(以下、危険通報情報という。)を送信することにより通報を行う。なお、危険通報部215は、監視端末40に対して危険通報情報を送信してもよい。また、現在位置取得部211が継続的にユーザ端末20の現在位置を取得し、危険通報部215は、ユーザ端末20が所定時間以上のあいだ所定距離未満しか移動していないような場合に、危険通報情報を送出するようにすることもできる。
(管理サーバ30)
図7は、管理サーバ30のハードウェア構成例を示す図である。管理サーバ30は、CPU301、メモリ302、記憶装置303、通信装置304、入力装置305、出力装置306を備える。記憶装置303は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置304は、通信ネットワーク50を介して他の装置と通信を行う。通信装置304は、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSBコネクタやRS232Cコネクタなどを含んで構成される。入力装置305は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置306は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
図8は、管理サーバ30のソフトウェア構成例を示す図である。管理サーバ30は、呼出し処理部311、飛行制御部312、認証処理部313、画像受信部314、危険検出部315、危険報知部316、画像送信部317、危険通報受信部318、応援要請受信部319、経路情報記憶部321、飛行位置記憶部322、認証情報記憶部323、撮影画像記憶部324、危険パターン記憶部325、危険特徴量記憶部326を備える。
なお、呼出し処理部311、飛行制御部312、認証処理部313、画像受信部314、危険検出部315、危険報知部316、画像送信部317、危険通報受信部318および応援要請受信部319は、管理サーバ30が備えるCPU301が記憶装置303に記憶されているプログラムをメモリ302に読み出して実行することにより実現され、経路情報記憶部321、飛行位置記憶部322、認証情報記憶部323、撮影画像記憶部324、危険パターン記憶部325および危険特徴量記憶部326は、管理サーバ30の備えるメモリ302および記憶装置303が提供する記憶領域の一部として実現される。
呼出し処理部311は、ユーザ1の監視の依頼を受け付ける。本実施形態では、呼出し処理部311は、ユーザ端末20から監視リクエストを受信することにより監視の依頼を受け付ける。呼出し処理部311は、監視リクエストを受け付けたことを示す番号(予約番号)を生成してユーザ端末20に応答する。また、呼出し処理部311は、監視リクエストに含まれる経路情報を、依頼元のユーザ1を特定する情報(本実施形態ではユーザ名)と予約番号とに対応付けて経路情報記憶部321に格納する。図9は、経路情報記憶部321の構成例を示す図である。図9に示すように、経路情報記憶部321は、ユーザ名および予約番号に対応付けて経路情報を記憶する。経路情報には、開始位置、終了位置および経路が含まれる。開始位置および終了位置は、例えば緯度経度により表される値である。経路は、例えば、移動経路を複数の地点を連結したものとして表現した場合に、その地点を示す緯度経度の配列とすることができる。呼出し処理部311は、予約番号の設定された飛行位置取得リクエストをユーザ端末20から受信した場合、当該予約番号に対応する飛行装置10の現在位置を飛行位置記憶部322から読み出してユーザ端末20に応答する。
飛行制御部312は、飛行装置10を制御してユーザ1の近傍に飛行装置10を飛行させる。本実施形態では、飛行制御部312は、飛行装置10に対して飛行操作コマンドを送信することにより飛行装置10を操作する。また、飛行制御部312は、飛行操作コマンドを送信後、飛行装置10から送信される飛行装置10の現在位置を受信し、受信した飛行装置10の現在位置を飛行位置記憶部322に格納する。図10は、飛行位置記憶部322の構成例を示す図である。図10に示すように、飛行位置記憶部322は、飛行装置10を特定する情報(装置ID)と、飛行装置10の呼出し元のユーザ1を特定する情報(ユーザ名)と、予約番号とに対応付けて、飛行装置10の現在位置を記憶する。なお、飛行位置記憶部322には、飛行装置10の現在位置(飛行位置)の履歴を記録するようにすることもできる。
飛行制御部312は、飛行装置10の駐機位置から監視リクエストに含まれている開始位置までの飛行ルートを計算し、当該飛行ルートの距離と飛行装置10の飛行速度とに応じて、監視リクエストに含まれている開始時間までに飛行装置10を駐機位置から開始位置まで飛行させることができるように、飛行装置10の発進時刻を決定し、飛行ルートを指定した飛行操作コマンドを当該発進時刻に飛行装置10に送信する。また、飛行制御部312は、定期的に飛行装置10から送信される飛行装置10の現在位置を受信した場合には、当該飛行装置10に対応する飛行位置記憶部322の現在位置を更新する。
認証処理部313は、認証に関する処理を行う。認証情報記憶部323には、ユーザ1の認証に用いる情報(以下、認証情報という。)が格納される。図11は、認証情報記憶部323の構成例を示す図である。認証情報記憶部323は、ユーザ1を特定する情報(ユーザ名)に対応付けてパスワードが格納される。認証処理部313は、飛行装置10から送信される認証リクエストに応じて、認証リクエストに含まれているユーザ名およびパスワードと、認証情報記憶部323に記憶されているユーザ名およびパスワードとを照合して認証処理を行う。認証処理部313は認証結果を飛行装置10に応答する。
画像受信部14は、飛行装置10から送信される画像を受信する。画像受信部314は、受信した画像を撮影画像記憶部324に格納する。図12は、撮影画像記憶部324の構成例を示す図である。図12に示すように、撮影画像記憶部324は、画像を撮影した飛行装置10を特定する情報(装置ID)、当該飛行装置10を呼び出したユーザ1を示す情報(ユーザID)、当該呼出しに対して発行された予約番号、画像を撮影した時刻(日時)、撮影した位置、ユーザ画像であるか周囲画像であるかを示すプリセット、および画像データを記憶する。プリセットには、画像がユーザ画像であることを示す「ユーザ」、または、画像が周囲画像であることを示す「周囲」のいずれかが設定される。
危険検出部315は、ユーザ1に対する危険を検出する。本実施形態では、危険検出部315は、ユーザ画像に基づく危険の検出と、周囲画像に基づく危険の検出と、ユーザ1の移動経路に基づく危険の検出とを行う。
ユーザ画像に基づく危険の検出は、ユーザ1の身体の動きのパターンから危険を検出するものである。危険パターン記憶部325には、危険が発生したときに観察される身体の動きのパターン(以下、危険パターンという。)が記憶される。例えば、危険パターン記憶部325には、人間の身体の部位を特定する情報と、当該部位の動きを特定する情報とが対応付けて記憶させることができる。図13は、危険パターン記憶部325の構成例を示す図である。図13では危険パターンの一例として、何かに驚いて急に振り向く状況に関して、顔と認識される部位が所定値以上の移動速度で動くパターンが示されている。危険パターンとしては、その他にも例えば、転倒する状況に関して、顔と認識される部位が所定値以上の移動速度で、かつ所定値以上の距離を移動するパターン、恐怖におびえて顔を隠す状況に関して、手と認識される部位が顔と認識される部位に重なるようなパターンなどを採用することができる。危険検出部315は、ユーザ画像から解析したユーザ1の身体の動きのパターンが危険パターン記憶部325に登録されている場合に、ユーザ1に対する危険が発生したことを検出する。危険検出部315は、例えば、ユーザ画像からユーザ1の顔や腕などの部位を特定し、当該部位の位置および動きベクトルを抽出し、当該部位、位置、動きベクトルに対応するパターンが危険パターン記憶部325に記憶されていることにより、ユーザ1に対して危険が発生したことを検出することができる。
周囲画像に基づく危険の検出は、ユーザ1の周囲に危険な物体が存在するかどうかにより行うものである。危険特徴量記憶部326には、危険な物体の特徴量(以下、危険特徴量という。)が記憶される。図14は危険特徴量記憶部326の構成例を示す図である。危険特徴量としては、例えば、ナイフや自動車、自転車などの特徴量を想定することができる。また、人気の無い夜間の移動経路が想定される場合には、人間の特徴量を危険特徴量として危険特徴量記憶部326に登録しておくこともできる。危険検出部315は、周囲画像から危険特徴量記憶部326に記憶されている特徴量を抽出できたことにより危険を検出することができる。
なお、危険特徴量記憶部326には、特徴量に対応付けて当該特徴量が示す物体の動作に対する条件を記憶させておいてもよい。この場合、危険検出部315は、周囲画像から特徴量を検出できた場合に、当該特徴量が示す物体の位置および動きベクトルを求め、当該位置および動きベクトルが上記条件を満たしたときに危険が発生したと判定することができる。
移動経路に基づく危険の検出は、ユーザ1が予定された経路を逸脱したことで危険を検出するものである。危険検出部315は、飛行装置10から受信する画像に付帯される現在位置が経路情報記憶部321に記憶されている経路情報が示す経路から所定距離以上離脱していないか否かを判断し、現在位置が経路から所定距離以上離れた状態が所定時間以上続いた場合には危険が発生したと判定することができる。
危険報知部316は、危険検出部315が危険の発生を検出した場合に、その旨を報知する。本実施形態では、危険報知部316は監視端末40に対して、ユーザ1に危険が発生した旨を示す情報(以下、危険情報という。)を送信することにより危険を報知するものとする。危険情報には、ユーザ1を特定する情報(例えばユーザ名)と、ユーザ端末20の現在位置(本実施形態では飛行装置10の現在位置)とが含まれる。なお、危険報知部316は、例えば、飛行装置10およびユーザ端末20の少なくともいずれかに対して危険情報を送信し、飛行装置10およびユーザ端末20の少なくともいずれかが当該危険情報の受信を契機として、ユーザ1に対して危険が発生した旨を報知するようにしてもよい。また、危険報知部316は、管理サーバ30のオペレータに対して、画面に警告を表示したり、スピーカから発音したりして危険を報知するようにしてもよい。さらに、危険報知部316は、事前にユーザ1から緊急連絡先の登録を受け付けておき、当該緊急連絡先(例えばメールアドレスや電話番号などとすることができる。)に対して、電子メール、ショートメール、電話の発呼などにより危険を報知してもよい。
画像送信部317は、監視端末40に対して飛行装置10から送られてきた画像を送信する。本実施形態では、画像送信部317は、危険報知部316が危険の発生を検出した後は、危険発生時より所定時間前からの画像を撮影画像記憶部324から読み出して監視端末40に送信するとともに、当該危険の発生したユーザ1の近傍を飛行している飛行装置10から送信されてくる画像を全て監視端末40に転送するものとする。なお、画像送信部317は、画像のみを監視端末40に転送してもよいし、撮影画像記憶部324に格納しているようなレコードを監視端末40に送信してもよい。また、撮影画像記憶部324に格納されているレコードのうち、画像以外の情報を事前に監視端末40に送信し、画像は後から順次送信していってもよい。
危険通報受信部318は、ユーザ端末20から危険通報情報を受信する。危険報知部316および画像送信部317は、危険通報受信部318が危険通報情報を受信した場合にも、上記と同様に危険を報知し、画像を送信することができる。
応援要請受信部319は、監視端末40から現在ユーザ1の近傍を飛行している飛行装置10とは異なる他の飛行装置10(以下、応援飛行装置ともいう。)をユーザ1の近傍に飛行させるように指示するリクエスト(以下、応援要請という。)を受信する。応援要請受信部319が応援要請を受信した場合、飛行制御部312は、応援飛行装置に対して
、危険報知部316が検出した危険の原因となる物体を追尾して撮影するように飛行制御コマンドおよびカメラコマンドを送信して応援飛行装置を制御する。これにより、応援飛行装置は、例えば危険発生の原因となった犯人を追尾することができる。
(監視端末40)
図15は、監視端末40のハードウェア構成例を示す図である。監視端末40は、CPU401、メモリ402、記憶装置403、通信インタフェース404、入力装置405および出力装置406を備える。記憶装置403は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置404は、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどを含んで構成される。入力装置405は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置406は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。本実施形態では、監視端末40の入力装置405にはマイクが含まれ、出力装置406にはディスプレイとスピーカとが含まれることを想定している。
図16は、監視端末40のソフトウェア構成例を示す図である。監視端末40は、危険情報受信部411、危険報知部412、画像受信部413、危険報知処理部414、応援要請送信部415、ユーザ情報記憶部421および画像記憶部422を備える。
なお、危険情報受信部411、危険報知部412、画像受信部413、危険報知処理部414および応援要請送信部415は、監視端末40の備えるCPU401が記憶装置403に記憶されているプログラムをメモリ402に読み出して実行することにより実現され、ユーザ情報記憶部421および画像記憶部422は、監視端末40の備えるメモリ402および記憶装置403が提供する記憶領域の一部として実現される。
危険情報受信部411は、ユーザ1に係る危険情報を受信する。本実施形態では、危険情報受信部411は、管理サーバ30から送信される危険情報を受信する。
危険報知部412は、ユーザ1に対して危険が発生した旨を報知する。危険報知部412は、例えば、危険情報受信部411が危険情報を受信したことを契機として危険の発生を報知する。危険発生の報知は、例えば、ディスプレイに危険が発生した旨を表示すること、スピーカやブザーから警告音を再生すること、監視員2の電話に発呼すること、および、電子メールやショートメール、ソーシャルネットワーク上のメッセージなどによりメッセージを送信することの少なくともいずれかにより行うことができる。ユーザ情報記憶部421には、ユーザ1に関する情報(以下、ユーザ情報)が格納される。図17は、ユーザ情報記憶部421の構成例を示す図である。ユーザ情報記憶部421には、ユーザ情報として、例えば、ユーザ1を特定する情報(ユーザ名)、ユーザ1の氏名、住所、メールアドレス、緊急連絡先などが含まれる。なお、ユーザ情報としてはユーザ1の監視またはかけつけに必要と考えられる各種の情報を含めるようにすることができる。危険報知部412は、危険情報に対応するユーザ情報をユーザ情報記憶部421から読み出して出力装置406に出力することができる。
画像受信部413は、管理サーバ30から送信されるユーザ画像および周囲画像を受信する。画像受信部413は、受信した画像を、画像記憶部422に格納するとともに、ディスプレイに表示する。図18は、画像記憶部422の構成例を示す図である。図18の例では、画像記憶部422は、管理サーバ30が備える撮影画像記憶部324と同様の構成である例を示している。画像受信部413は、監視員2の操作に応じて、画像記憶部422に格納されている過去の画像を再生することもできる。
危険報知処理部414は、危険通知を飛行装置10に送信する。監視員2は画像受信部413が出力した画像を確認し、危険が発生したと判断した場合には、危険通知を送信するように指示を入力することができる。危険報知処理部414は、監視員2からの入力に応じて危険通知を飛行装置10に送信し、飛行装置10において危険の報知が行われるようにすることができる。
応援要請送信部415は、応援要請を管理サーバ30に送信する。監視員2は画像受信部413が出力した画像を確認し、危険が発生したと判断した場合には、応援要請を管理サーバ30に送信するように指示を入力することができる。応援要請送信部415は、監視員2からの入力に応じて応援要請を管理サーバ30に送信し、管理サーバ30から他の飛行装置10が応援に派遣されるようにすることができる。
==処理==
以下、本実施形態の監視システムにおける処理について説明する。まずはユーザ1が飛行装置10での監視を依頼する処理について説明する。なお、本実施形態では監視員2は監視端末40を常時監視しているものとし、監視端末40は監視の依頼に係る格別の処理は行わないものとする。
<依頼処理>
(ユーザ端末20)
図19は、ユーザ端末20により実行される飛行装置10による監視を依頼する処理の流れを説明する図である。
ユーザ端末20の開始位置指定部212は、ユーザ1が移動を予定している経路の指定をユーザ1から受け付ける(S511)。図20は、開始位置指定部212が表示する画面53の一例を示す図である。画面53は地図の表示欄531を備え、開始位置指定部212は、表示欄531に表示された地図上で開始位置532の指定を受け付けることができる。また、開始位置指定部212は、開始位置532と同様にして終了位置(不図示)の指定も受け付ける。さらに、開始位置指定部212は、開始位置から終了位置までの経路(不図示)も地図上で指定を受け付けるものとする。なお、開始位置指定部212は、公知の手法により開始位置から終了位置までの経路を計算して提示してもよい。経路が入力された後、開始位置指定部212は、開始時刻の入力欄533を表示して開始時刻の入力を受け付ける。画面53においてボタン534がタップされると、図19に戻り、飛行装置呼出し部213は、管理サーバ30に監視リクエストを送信し(S512)、管理サーバ30に監視依頼の受け付け処理を行わせる。
認証処理部214は、管理サーバ30から監視リクエストに対して応答される予約番号を受信し(S513)、飛行装置10との間で通信ネットワーク50を介さずに直接の通信が可能となるまで(S514:NO)、当該予約番号を設定した飛行位置取得リクエストを管理サーバ30に送信して、飛行装置10の現在位置を取得し(S515)、取得した現在位置を画面53の地図上に表示する(S516)。
飛行装置10とユーザ端末20との間の直接の通信が可能となった場合(S514:YES)、認証処理部214は、飛行装置10から送信される予約番号を受信し(S517)、予約番号が一致しなければ(S518:NO)、エラーを表示して処理を終了する(S519)。予約番号が一致した場合(S518:YES)、認証処理部214は、ユーザ名とパスワードの入力欄を画面53に表示して、ユーザ1からユーザ名とパスワードの入力を受け付ける(S520)。認証処理部214は、ユーザ名とパスワードを飛行装置10に送信し(S521)、飛行装置10から認証の結果を受信して画面53に表示する(S522)。
以上のようにして、ユーザ1はユーザ端末20を操作して飛行装置10を開始位置まで呼び出し、ユーザ1に危険が発生しないか否かを監視するように依頼することができる。
(管理サーバ30)
図21は、管理サーバ30により実行される監視の依頼を受け付ける処理の流れを示す図である。管理サーバ30の呼出し処理部311は、ユーザ端末20から監視リクエストを受信すると(S541)、予約番号を生成してユーザ端末20に応答し(S542)、監視リクエストに含まれる経路情報を、ユーザ名と予約番号とに対応付けて経路情報格納部321に格納する(S543)。飛行制御部312は、開始位置および予約番号を指定した飛行操作コマンドを飛行装置10に送信して、開始位置まで飛行装置10を飛行するように指示する(S544)。
呼出し処理部311は、予約番号の設定された飛行位置取得リクエストをユーザ端末20から受信した場合(S545:YES)、当該予約番号に対応する飛行装置10の現在位置を飛行位置記憶部322から読み出してユーザ端末20に応答する(S546)。また、飛行制御部312は、飛行装置10から飛行装置10の現在位置(飛行位置)を受信した場合(S547:YES)、受信した現在位置で飛行位置記憶部322を更新する(S548)。
認証処理部313が飛行装置10から認証情報(本実施形態では、ユーザ名およびパスワード)を受信するまで(S549:NO)、ステップS545からの処理を繰り返す。認証処理部313が飛行装置10から認証情報を受信した場合(S549:YES)、受信したユーザ名とパスワードとを認証情報記憶部323に照合してユーザ1の認証を行い(S550)、その結果を飛行装置10に応答する(S551)。
以上のようにして、管理サーバ30はユーザ1が操作するユーザ端末20からの依頼を受けて、開始位置まで飛行させるように飛行装置10を制御することができる。
(飛行装置10)
図22は、飛行装置10により実行される監視を開始する処理の流れを示す図である。飛行装置10の指示受信部111が管理サーバ30から飛行操作コマンドを受信すると(S561)、飛行制御部112は、開始位置まで飛行装置10を飛行させるように各種制御を行う(S562)。現在位置取得部113は、現在位置を取得して管理サーバ30に送信し(S563)、通信ネットワーク50を介さずに飛行装置10とユーザ端末20との間の直接の通信が可能となるまで(S564:NO)、定期的に現在位置を管理サーバ30に送信する(S563)。
認証処理部114は、ユーザ端末20との間の直接の通信が可能となった場合(S564)、ユーザ端末20に対して飛行操作コマンドに指定されている予約番号を送信する(S565)。認証処理部114は、ユーザ端末20から認証情報を受信した場合(S566:YES)、受信した認証情報を管理サーバ30に送信してユーザ1の認証処理を依頼する(S567)。認証処理部114は、管理サーバ30から認証結果を受信し(S568)、受信した認証結果をユーザ端末20に送信する(S569)。
以上のようにして、ユーザ1から管理サーバ30への依頼に応じて、飛行装置10は監視を開始するべく開始位置まで飛行することができる。また、飛行装置10は開始位置においてユーザ1を認証して正しく監視対象を特定することができる。
<監視処理>
次に、飛行装置10によるユーザ1の監視に係る処理について説明する。
(ユーザ端末20)
図23は、ユーザ端末20により実行される、ユーザ1の監視中に係る処理の流れを示す図である。危険通報部215は、飛行位置取得リクエストを管理サーバ30に送信し、これに対して管理サーバ30から応答される飛行装置10の飛行位置を取得し(S611)、取得した飛行位置を地図上に表示する(S612)。
危険通報部215は、飛行装置10による監視が終了したか否かを判断する(S613)。監視が終了したか否かは、例えば、飛行位置が終了位置から所定距離内に入ったか否かにより判断することができる。監視が終了していなければ(S613:NO)、危険通報部215は、ユーザ1がタッチパネルディスプレイ206上の緊急ボタンを押下したか否かを監視する(S614)。緊急ボタンが押下された場合(S614:YES)、危険通報部215は、危険通報情報を管理サーバ30に送信する(S615)。
以上のようにして、飛行装置10による監視中、ユーザ端末20は管理サーバ30から飛行装置10の飛行位置を取得して地図上に表示するとともに、緊急ボタンを提供してユーザ1から緊急時の通知を受け付けることができる。
(飛行装置10)
図24は、飛行装置10により実行されるユーザ1を監視する処理の流れを示す図である。飛行装置10の飛行制御部112は、認証したユーザ1を追尾するように飛行を制御する(S631)。なお、追尾対象を追尾する方法については公知の手法を採用することができ、ここでは説明を省略する。飛行制御部112はまた、現在位置取得部113が取得した現在位置を管理サーバ30に送信し(S632)、撮影制御部115はカメラ12を制御してユーザ画像と周囲画像とを順次撮影する(S633)。画像送信部116は、ユーザ画像および周囲画像を管理サーバ30に送信する(S634)。なお、画像送信部116は、撮影制御部115がユーザ画像または周囲画像を撮影しながら、並行して画像を連続的に送信するようにしてもよいし、撮影制御部115が一定時間(例えば10秒、30秒、1分など任意の時間を指定することができる。)撮影した画像を断続的に送信するようにしてもよい。
危険報知処理部117は、監視端末40から危険通知を受信した場合(S635:YES)、報知装置15を起動する(S636)。
以上のようにして、飛行装置10は、ユーザ1を追尾してユーザ1およびその周囲の状況を撮影することができる。また、危険が発生したことが検知された場合には、飛行装置10は報知装置15を起動することができる。したがって、ユーザ1に対する危険をもたらした犯人に対する威嚇を行うことができる。また、威嚇できないとしても、周囲の人に対して危険が発生していることを報知することができる。
(管理サーバ30)
図25は、管理サーバ30により実行されるユーザ1の監視に係る処理の流れを示す図である。飛行装置10による監視開始後においても、呼出し処理部311は、予約番号の設定された飛行位置取得リクエストをユーザ端末20から受信した場合には(S651:YES)、当該予約番号に対応する飛行装置10の現在位置を飛行位置記憶部322から読み出してユーザ端末20に応答する(S652)。また、飛行制御部312は、飛行装置10から飛行装置10の現在位置(飛行位置)を受信した場合には(S653:YES)、受信した現在位置で飛行位置記憶部322を更新する(S654)。
画像受信部14は、飛行装置10から送信されるユーザ画像および周囲画像を受信し、受信したユーザ画像および周囲画像を撮影画像記憶部324に格納する(S655)。危険検出部315は、ユーザ画像および周囲画像を解析し(S656)、危険の検出処理を行う(S657)。図26は、管理サーバ30により実行される危険検出処理の流れを示す図である。危険検出部315は、ユーザ画像からユーザ1の顔や腕などの部位を特定し、当該部位の位置および動きベクトルを抽出し(S671)、当該部位、位置、動きベクトルに対応するパターンが危険パターン記憶部325に記憶されているか否かを判定する(S672)。
上記パターンが危険パターン記憶部325に登録されていない場合(S672:NO)、危険検出部315は、周囲画像から危険特徴量記憶部326に記憶されている危険特徴量の抽出を試行し(S673)、危険特徴量を抽出できなかった場合には(S674:NO)、飛行位置記憶部322に格納されている飛行位置と、経路情報格納部321に格納されている経路情報が示す経路との距離を計算する(S675)。
危険検出部315は、当該距離が所定の閾値を超えたか否かにより飛行装置10が経路を逸脱したかどうかを判断する(S676)。危険検出部315は、飛行装置10が経路を逸脱しておらず(S676:NO)、また、ユーザ端末20から緊急情報を受信していない場合には(S677:NO)、危険が発生していないと判断する(S678)。
一方、危険検出部315は、動作パターンが危険パターン記憶部325に登録されていた場合(S672:YES)、危険特徴量をユーザ画像から抽出できた場合(S674:YES)、飛行装置10が経路を逸脱していた場合(S676:YES)、あるいは、ユーザ端末20から緊急情報を受信した場合には(S677:YES)、危険が発生したと判断する(S679)。
図25に戻り、危険検出部315は、危険があると判断した場合には(S658:YES)、危険報知部316は、ユーザ名と飛行装置10の現在位置とを含む危険情報を監視端末40に送信する(S659)。また、画像送信部317は、飛行装置10から送信されてくるユーザ画像および周囲画像を監視端末40に送信する(S660)。
また、応援要請受信部319は、応援要請を受信した場合には(S661:YES)、飛行制御部312は、ユーザ1の近傍を飛行中の飛行装置10とは異なる他の飛行装置10に対して、ユーザ1の近傍を飛行中の飛行装置10の位置に飛行させるように飛行制御コマンドを送信し(S662)、当該他の飛行装置10に対して、検出された危険の原因となる物体を追尾して撮影するように飛行制御コマンドおよびカメラコマンドを送信する(S663)。これにより、応援飛行装置は、例えば危険発生の原因となった犯人を追尾することができる。
以上のようにして、管理サーバ30は、飛行装置10が撮影した画像や飛行装置10の飛行経路に応じてユーザ1に対して危険が発生していることを検出することができる。また、ユーザ1に危険が発生した場合には、管理サーバ30は、監視端末40に対して危険の発生を報知することができる。
(監視端末40)
図27は、監視端末40により実行されるユーザ1の監視に係る処理の流れを示す図である。危険情報受信部411が管理サーバ30から送信される危険情報を受信すると(S691:YES)、危険報知部412は、監視員2に対してユーザ1に危険が発生した旨を報知する(S692)。危険報知部412は、例えば、ディスプレイに危険が発生した旨を表示し、スピーカやブザーから警告音を再生し、監視員2の電話に発呼し、あるいは電子メールやショートメール、ソーシャルネットワーク上のメッセージなどによりメッセージを送信することの少なくともいずれかにより危険の発生を報知することができる。また、危険報知部412は、ユーザ情報記憶部421に記憶されているユーザ情報を読み出して出力する(S693)。続いて管理サーバ30からはユーザ画像および周囲画像が送信されてくるため、画像受信部413は、管理サーバ30からの画像を受信して(S694)、受信した画像を出力する(S695)。
危険報知処理部414は、監視員2から危険通知を飛行装置10に送信する旨の指示を受け付けた場合には(S696:YES)、危険通知を飛行装置10に送信する(S697)。応援要請送信部415は、監視員2から応援要請を管理サーバ30に送信する旨の指示を受け付けた場合には(S698:YES)、応援要請を管理サーバ30に送信する(S699)。
以上のようにして、監視端末40は、管理サーバ30においてユーザ1に危険が発生したことが検出された場合に、監視員2に警告するとともに、飛行装置10からの映像を確認させて、必要に応じて危険通知や応援要請を出すことができる。
以上説明したように、本実施形態の監視システムによれば、飛行装置10が撮影した画像に基づいてユーザ1に対する危険を検出することができる。したがって、ユーザ1に対する危険をいち早く把握することが可能となる。
また、本実施形態の監視システムによれば、危険が発生したときに観察される身体の動きのパターン(危険パターン)を危険パターン記憶部325に登録しておき、危険パターンにマッチする動きが画像から観察できた場合に、ユーザ1に対して危険が発生したことを検出することができる。したがって、監視対象のユーザ1の動きを撮影したユーザ画像のみに基づいて危険を検出することができる。
また、本実施形態の監視システムによれば、危険物の特徴量(危険特徴量)を危険特徴量記憶部326に登録しておき、危険特徴量にマッチする特徴量を、ユーザ1の周囲を撮影した周囲画像から抽出できたことによりユーザ1に対する危険が発生したことを検出することができる。したがって、監視対象のユーザ1に直接的な危害が及ぶ前に、いち早くユーザ1に対する危険を把握することが可能となる。
また、本実施形態の監視システムによれば、ユーザ1を撮影している飛行装置10の飛行経路が予定された経路を外れていることからユーザ1に対する危険を検出することができる。したがって、例えば、隠された刃物を突きつけられて連行されそうになった場合など、予定経路を外れる危険をいち早く把握することが可能となる。
また、本実施形態の監視システムによれば、危険を検出された場合には、飛行装置10の報知装置15により危険が報知される。したがって、犯人に対する威嚇となるとともに、周囲の人々に対してユーザ1への危険発生を報知していち早く助けを求めることが可能となる。これにより、迅速な危険の排除が期待される。
また、本実施形態の監視システムによれば、危険が検出された場合には、必要に応じて応援飛行装置を派遣することができる。応援飛行装置には、逃走する犯人を追尾させることも可能であり、確実な危険の解決が期待される。
以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
==変形例==
(複数台のカメラ)
例えば、本実施形態では、飛行体10には1台のカメラが搭載され、ユーザを撮影する人物撮影モードと、ユーザの周囲を撮影する周囲撮影モードとを切り替えて運用するものとしたが、これに限らず、たとえば、ユーザの周囲だけを撮影するようにしてもよい。また、飛行体10がユーザを撮影するカメラと、ユーザの周囲を撮影するカメラとの2台のカメラを搭載して同時に撮影を行うようにしてもよい。
(ユーザ認証)
また、本実施形態では、ユーザ名とパスワードとを用いてユーザ1(ユーザ端末20)の認証を行うものとしたが、これに限らず、公開鍵方式によりユーザ端末20の認証を行うようにしてもよい。また、飛行装置10が撮影したユーザ画像よりユーザ1の特徴量が検出できるかどうかによりユーザ1を認証する、所謂顔認証を行ってもよい。同様に、ユーザ1の虹彩のパターンを認識する虹彩認証を行ってもよい。
さらに、飛行装置10がマイクを備えるようにして、ユーザ1の声を集音し、声紋が一致するか否かを照合する声紋認証を行うようにすることもできる。この場合、管理サーバ30にはユーザ1の声紋を表す信号が登録されており、当該信号または当該信号から抽出した特徴量と、マイクで集音した音声信号または当該音声信号から抽出した特徴量とを照合することができる。飛行装置10が集音した音声信号を管理サーバ30に送信し、上記照合を管理サーバ30が行うようにしてもよいし、管理サーバ30から声紋を表す信号またはそこから抽出した特徴量を飛行装置10に送信し、飛行装置10で照合を行うようにしてもよい。
(飛行装置の認証)
また、本実施形態では、飛行装置10から直接ユーザ端末20に送信された予約番号が、管理サーバ30から発行された予約番号と一致するか否かによりユーザ端末20から飛行装置10を認証するものとしたが、飛行装置10の認証については、他の一般的な機器の認証処理を採用してもよい。
(通常パターン)
また、本実施形では、危険な身体の動きのパターンとユーザ画像とを照合することにより危険を検出するものとしたが、逆に、通常の身体の動きのパターンを記憶しておき、通常のパターンに見られない(パターンとして登録されていない)動きを検出した場合に危険が発生したものとして検出するようにしてもよい。
(飛行装置10による危険検知)
また、本実施形態では、ユーザ1に危険が発生したことの検出は管理サーバ30で行うものとしたが、飛行装置10において危険を検出することもできる。この場合、飛行装置10のフライトコントローラ11が危険パターン記憶部???および危険特徴量記憶部???の少なくともいずれかと、危険検出部???とを備えるようにして、飛行体10が撮影した画像に基づいて危険を検出するようにすればよい。また、この場合において飛行体10が危険を検出したとき、危険が生じたことを管理サーバ30や監視端末40に送信してもよいし、飛行体10が監視員2の位置まで飛行してもよい。飛行体を監視員2の位置まで飛行させる場合、ユーザ1の危険を検出したときに、飛行体10が物理的に移動して直接危険を監視員2に伝達することができるので、飛行体10と管理サーバ30や監視端末40との間の通信に障害が起きていた場合でも確実に危険を監視員2に伝達することができる。
(監視員2を介さずに危険通知)
また、本実施形態では、管理サーバ30がユーザ1に対する危険を検出した場合に、一度監視端末40に対して危険の発生を報知し、監視員2が確認をしたうえで、報知装置15を起動させ、あるいは、応援飛行装置を派遣するようにしていたが、管理サーバ30が危険の発生を検出した場合には、管理サーバ30から飛行装置10に対して危険通知を送信するようにしてもよい。これにより迅速に危険の報知を行うことができる。
また、管理サーバ30または監視端末40からユーザ端末20に対して危険通知を送信し、飛行装置10は、ユーザ端末20から危険通知を受信するようにしてもよい。この場合、ユーザ端末20は、ユーザ端末20が備えるハードウェアを用いて危険の報知を行うことが可能となる。例えば、ユーザ端末20がスマートフォンであった場合には、スピーカやバイブレータなどが備えられており、これらを用いて危険を報知することができる。さらに、飛行装置10の危険報知処理部117は、報知装置15を起動することに加えて、または報知装置15を起動することに代えて、例えば、ユーザ端末20に対して電子メールやテキストメッセージ、プッシュ通知、架電などによりユーザ1に危険を通知するようにしてもよい。
(警備員の手配)
また、本実施形態では、ユーザに危険が発生した場合、発光や警告音声の再生などによる威嚇を行うものとしたが、これに加えて、あるいはこれに代えて、警備員などをユーザの位置に派遣するように手配する処理を行ってもよい。この場合、監視端末40を見て危険を把握した監視員2が手配を行ってもよいし、監視端末40から警備会社のシステムと通信を行い、警備会社に派遣を依頼するようにすることもできる。
(監視者との通話)
また、本実施形態では、危険の報知は発光やサイレンの再生などを想定していたが、監視員2の声を集音して飛行装置10に送信し、飛行装置10が備えるスピーカから監視員2の声を再生するようにしてもよい。すなわち、監視員2は飛行装置10を遠隔にあるスピーカまたは拡声器として使用することができる。これにより、危険対策を効果的に行うことが可能となる。この場合、監視端末40はマイクから集音した音声データを飛行装置10に送信する音声送信部を備えるようにする。なお、音声送信部は、音声データを管理サーバ30に送信するようにしてもよい。この場合には、管理サーバ30から飛行装置10に音声データを転送するようにしてもよい。また、管理サーバ30は監視端末40から受信した音声データを録音しておくこともできる。
(物を運搬する)
また、管理サーバ30が監視の依頼を受け付けた際に、飛行制御部312が、ユーザ1に対して物品を輸送してもよい。この場合、例えば、ユーザ1はユーザ端末20から輸送して欲しい物品を指定し、飛行装置10は、ユーザ1から指定された物品を積載したうえで開始位置まで飛行すればよい。
また、通信販売等で購入した商品の配送が予定されている場合に、当該配送品を飛行装置10に搭載して飛行してもよい。この場合、ユーザ1の安全を監視することに加えて、物流の機能も実現することが可能となり経済的である。
(地上カメラとの連携)
また、地上に設置されている監視カメラの映像を利用してもよい。例えば、飛行装置10が地上に設置された監視カメラと通信を行い、監視カメラから映像を受信して、飛行装置10が撮影した画像とともに管理サーバ30に送信することができる。これにより、飛行装置10の撮影不能範囲についても監視カメラで補完することが可能となり、監視カメラが撮影した映像についても、ユーザ1が撮影されていればユーザ画像として、ユーザ1が撮影されていなければ周囲画像として、上述した画像に基づく危険の検出処理を行うことが可能となる。周囲画像については、飛行装置10と監視カメラとの間の距離が所定距離以内の場合にのみ危険検出に利用することもできる。
1 ユーザ
2 監視員
10 飛行装置
20 ユーザ端末
30 管理サーバ
40 監視端末
50 通信ネットワーク
111 指示受信部
112 飛行制御部
113 現在位置取得部
114 認証処理部
115 撮影制御部
116 画像送信部
117 危険報知処理部
151 現在位置格納部
152 GPSセンサ
211 現在位置取得部
212 開始位置指定部
213 飛行装置呼出し部
214 認証処理部
215 危険通報部
311 呼出し処理部
312 飛行制御部
313 認証処理部
314 画像受信部
315 危険検出部
316 危険報知部
317 画像送信部
318 危険通報受信部
319 応援要請受信部
321 経路情報記憶部
322 飛行位置記憶部
323 認証情報記憶部
324 撮影画像記憶部
325 危険パターン記憶部
326 危険特徴量記憶部
411 危険情報受信部
412 危険報知部
413 画像受信部
414 危険報知処理部
415 応援要請送信部
421 ユーザ情報記憶部
422 画像記憶部

Claims (7)

  1. 移動する人物を監視するシステムであって、
    前記人物の位置を取得する位置取得部と、
    撮影部を有する飛行装置を前記位置まで飛行させるように制御する飛行制御部と、
    前記飛行装置が前記人物を撮影するように制御する撮影制御部と、
    前記飛行装置が撮影した画像に基づいて、前記人物に対する危険を検出する危険検出部と、
    前記危険を報知する危険報知部と、
    を備えることを特徴とする監視システム。
  2. 請求項1に記載の監視システムであって、
    危険が発生したときに観察される身体の動きのパターンである危険パターンを記憶する危険パターン記憶部をさらに備え、
    前記危険検出部は、前記人物の身体の動きを検出し、検出した前記身体の動きを前記危険パターンに照合して前記危険を検出すること、
    を特徴とする監視システム。
  3. 請求項1または2に記載の監視システムであって、
    人間に危険を及ぼしうる物体の特徴量である危険特徴量を記憶する危険特徴量記憶部をさらに備え、
    前記飛行装置は前記人物の近傍を撮影し、
    前記危険検出部は、前記飛行装置が撮影した前記画像から抽出した特徴量と前記特徴量記憶部に登録されている前記危険特徴量とを比較することにより、前記危険を検出すること、
    を特徴とする監視システム。
  4. 請求項1ないし3のいずれか1項に記載の監視システムであって、
    前記飛行装置の現在位置を取得する飛行位置取得部をさらに備え、
    前記位置取得部は、前記人物が移動する経路を取得し、
    前記飛行制御部はさらに、前記経路上を前記飛行装置が飛行するように制御し、
    前記危険検出部は、前記飛行装置が撮影した画像と前記飛行装置の現在位置とに基づいて、前記人物が前記経路を逸脱して移動しているか否かを判定し、前記経路を逸脱している場合に前記危険が発生したことを検出すること、
    を特徴とする監視システム。
  5. 請求項1ないし4のいずれか1項に記載の監視システムであって、
    前記人物が操作する携帯端末から認証情報を受信し、受信した前記認証情報に基づいて前記人物の認証を行う認証処理部をさらに備えること、
    を特徴とする監視システム。
  6. 請求項1ないし5のいずれか1項に記載の監視システムであって、
    前記飛行装置は前記危険の発生を報知する報知装置を備えており、
    前記危険検出部が前記危険を検出した場合に、前記飛行装置が備える前記報知装置を起動する危険報知処理部をさらに備えること、
    を特徴とする監視システム。
  7. 請求項1ないし6のいずれか1項に記載の監視システムであって、
    前記飛行制御部は、前記危険検出部が前記危険を検出した場合に、前記飛行装置である第1の飛行装置とは異なる第2の飛行装置を、前記第1の飛行装置が現在する位置に飛行させるように制御し、
    前記撮影制御部は、前記第2の飛行装置が前記危険の発生場所を撮影するように制御すること、
    を特徴とする監視システム。
JP2018082790A 2018-04-24 2018-04-24 監視システム Active JP6751501B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018082790A JP6751501B2 (ja) 2018-04-24 2018-04-24 監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018082790A JP6751501B2 (ja) 2018-04-24 2018-04-24 監視システム

Publications (2)

Publication Number Publication Date
JP2019191846A true JP2019191846A (ja) 2019-10-31
JP6751501B2 JP6751501B2 (ja) 2020-09-09

Family

ID=68390387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018082790A Active JP6751501B2 (ja) 2018-04-24 2018-04-24 監視システム

Country Status (1)

Country Link
JP (1) JP6751501B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149389A (ja) * 2019-03-14 2020-09-17 三菱電機株式会社 不審行動検知装置
JP2021117921A (ja) * 2020-01-29 2021-08-10 京セラ株式会社 情報処理システムおよび電子機器
JP7563641B2 (ja) 2020-08-11 2024-10-08 株式会社リコー 認証システム、認証装置、認証方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090602A (ja) * 2006-10-02 2008-04-17 Sachiyoshi Katsuragi 登下校時の防犯システム
JP2014178992A (ja) * 2013-03-15 2014-09-25 Sumitomo Precision Prod Co Ltd 見守りシステム及びサーバ
JP2015207149A (ja) * 2014-04-21 2015-11-19 薫 渡部 監視システム及び監視方法
JP2016189114A (ja) * 2015-03-30 2016-11-04 セコム株式会社 監視システム
JP2017114270A (ja) * 2015-12-24 2017-06-29 株式会社ナカヨ 特定ビーコン追跡機能を有する無人飛行体および追跡ビーコン発信ユニット
JP2018018161A (ja) * 2016-07-25 2018-02-01 トヨタホーム株式会社 セキュリティシステム
JP2018049365A (ja) * 2016-09-20 2018-03-29 トヨタホーム株式会社 セキュリティシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090602A (ja) * 2006-10-02 2008-04-17 Sachiyoshi Katsuragi 登下校時の防犯システム
JP2014178992A (ja) * 2013-03-15 2014-09-25 Sumitomo Precision Prod Co Ltd 見守りシステム及びサーバ
JP2015207149A (ja) * 2014-04-21 2015-11-19 薫 渡部 監視システム及び監視方法
JP2016189114A (ja) * 2015-03-30 2016-11-04 セコム株式会社 監視システム
JP2017114270A (ja) * 2015-12-24 2017-06-29 株式会社ナカヨ 特定ビーコン追跡機能を有する無人飛行体および追跡ビーコン発信ユニット
JP2018018161A (ja) * 2016-07-25 2018-02-01 トヨタホーム株式会社 セキュリティシステム
JP2018049365A (ja) * 2016-09-20 2018-03-29 トヨタホーム株式会社 セキュリティシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149389A (ja) * 2019-03-14 2020-09-17 三菱電機株式会社 不審行動検知装置
JP7285661B2 (ja) 2019-03-14 2023-06-02 三菱電機株式会社 不審行動検知装置
JP2021117921A (ja) * 2020-01-29 2021-08-10 京セラ株式会社 情報処理システムおよび電子機器
JP7408419B2 (ja) 2020-01-29 2024-01-05 京セラ株式会社 情報処理システムおよび電子機器
JP7563641B2 (ja) 2020-08-11 2024-10-08 株式会社リコー 認証システム、認証装置、認証方法、及びプログラム

Also Published As

Publication number Publication date
JP6751501B2 (ja) 2020-09-09

Similar Documents

Publication Publication Date Title
EP3229214B1 (en) System and method for tracking unauthorized intruders using drones integrated with a security system
US20230282114A1 (en) Controlling Autonomous Vehicles to Provide Automated Emergency Response Functions
EP2815389B1 (en) Systems and methods for providing emergency resources
KR101906709B1 (ko) 커넥티드 블랙박스
JP6340538B2 (ja) 生体探索システム
JP6751501B2 (ja) 監視システム
KR20220021669A (ko) 순찰 드론을 포함하는 지역 감시 시스템
KR101459104B1 (ko) 동작분석을 통하여 위급상황을 감지하는 지능형 cctv시스템 및 이를 이용한 위급상황 감지방법
US11373397B2 (en) Methods and systems for operating a moving platform to determine data associated with a target person or object
US11417214B2 (en) Vehicle to vehicle security
JP2018190199A (ja) 監視装置及び防犯システム
WO2016171740A1 (en) Camera system for car security
JP2021180374A (ja) ドローン警備システム、ドローン警備システムのプログラム、移動体警備システム、移動体警備システムのプログラム
JP7099338B2 (ja) サーバ、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
JP7102794B2 (ja) 無人航空機、および見守り方法
US10647301B2 (en) Monitoring system, monitoring center device, mounting device, monitoring method, processing method, and program
JP2018190198A (ja) 監視装置及び防犯システム
JP2013134590A (ja) 車載装置制御システム、集中制御装置、車載装置、およびプログラム
JP7470265B2 (ja) 無人航空機システムの制御方法
JP6749470B2 (ja) 地域安全システム及びサーバ
JP6390015B2 (ja) 生体探索システム
JP2011182172A (ja) カメラ管理サーバ、防犯サービス管理方法および防犯サービス管理プログラム
TWI606426B (zh) 個人週遭環境安全通報系統與方法
JP6562225B2 (ja) 車両位置案内システム
JP6945149B2 (ja) 通話システム、通話方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180920

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191107

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200402

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200409

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200710

R150 Certificate of patent or registration of utility model

Ref document number: 6751501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350