JP2020198477A - 監視システム、画像管理装置、飛翔体、及びプログラム - Google Patents

監視システム、画像管理装置、飛翔体、及びプログラム Download PDF

Info

Publication number
JP2020198477A
JP2020198477A JP2019101844A JP2019101844A JP2020198477A JP 2020198477 A JP2020198477 A JP 2020198477A JP 2019101844 A JP2019101844 A JP 2019101844A JP 2019101844 A JP2019101844 A JP 2019101844A JP 2020198477 A JP2020198477 A JP 2020198477A
Authority
JP
Japan
Prior art keywords
image
unit
captured
unmanned aerial
flying object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019101844A
Other languages
English (en)
Other versions
JP6934913B2 (ja
Inventor
弘道 今井
Hiromichi Imai
弘道 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2019101844A priority Critical patent/JP6934913B2/ja
Publication of JP2020198477A publication Critical patent/JP2020198477A/ja
Application granted granted Critical
Publication of JP6934913B2 publication Critical patent/JP6934913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】無人航空機によって電波環境に依らずにドローン等の装置を適切に遠隔制御可能にする技術を提供することが望ましい。【解決手段】全方位を撮像する撮像部及び撮像部によって撮像された撮像画像を外部に無線送信する画像送信部を有する複数の飛翔体と、複数の飛翔体によって送信された撮像画像を取得して管理する画像管理装置とを備え、画像管理装置は、撮像対象を特定する撮像対象特定部と、複数の飛翔体のうちの1又は複数の飛翔体に対して、撮像対象の撮像画像を要求する画像要求を送信する要求送信部と、画像要求に応じて1又は複数の飛翔体の少なくともいずれかが送信した撮像画像を取得する画像取得部とを有する、監視システムを提供する。【選択図】図1

Description

本発明は、監視システム、画像管理装置、飛翔体、及びプログラムに関する。
カメラ及びフライトレコーダを搭載した無人航空機が知られていた。(例えば、特許文献1参照)。
[先行技術文献]
[特許文献]
[特許文献1]特開2017−217942号公報
無人航空機によって電波環境に依らずにドローン等の装置を適切に遠隔制御可能にする技術を提供することが望ましい。
本発明の第1の態様によれば、全方位を撮像する撮像部及び撮像部によって撮像された撮像画像を外部に無線送信する画像送信部を有する複数の飛翔体と、複数の飛翔体によって送信された撮像画像を取得して管理する画像管理装置とを備える監視システムが提供される。画像管理装置は、撮像対象を特定する撮像対象特定部を有してよい。画像管理装置は、複数の飛翔体のうちの1又は複数の飛翔体に対して、撮像対象の撮像画像を要求する画像要求を送信する要求送信部を有してよい。画像管理装置は、画像要求に応じて1又は複数の飛翔体の少なくともいずれかが送信した撮像画像を取得する画像取得部を有してよい。
上記要求送信部は、上記撮像対象に関する撮像対象関連情報と時刻情報とを含む上記画像要求を上記複数の飛翔体に送信してよく、上記画像取得部は、上記複数の飛翔体のうち、上記時刻情報によって示される時刻に上記撮像対象を撮像した撮像画像を格納していた飛翔体から、上記撮像画像を取得してよい。上記要求送信部は、上記撮像対象に関する撮像対象関連情報と時刻情報とを含む上記画像要求を上記複数の飛翔体に送信してよく、上記画像取得部は、上記複数の飛翔体のうち、上記時刻情報によって示される時刻に上記撮像対象を撮像可能な飛翔体が上記画像要求に応じて撮像した上記撮像対象の撮像画像を取得してよい。上記画像管理装置は、上記撮像対象の位置に基づいて、上記複数の飛翔体から、上記画像要求を送信する対象の1又は複数の飛翔体を選択する飛翔体選択部を有してよく、上記要求送信部は、上記飛翔体選択部によって選択された1又は複数の飛翔体に対して上記画像要求を送信してよい。上記複数の飛翔体のそれぞれは、複数の無線基地局のいずれかに在圏して、在圏している無線基地局を介して上記画像管理装置と通信してよく、上記飛翔体選択部は、上記撮像対象の位置に基づいて上記複数の無線基地局から選択した無線基地局に在圏している飛翔体を選択してよい。
上記画像管理装置は、上記撮像対象の位置情報と上記複数の飛翔体のそれぞれの位置情報とに基づいて、上記複数の飛翔体から上記撮像対象を監視させる1又は複数の飛翔体を選択する飛翔体選択部を有してよく、上記要求送信部は、上記飛翔体選択部によって選択された1又は複数の飛翔体に対して上記画像要求を送信してよく、上記画像取得部は、上記画像要求に応じて上記1又は複数の飛翔体が上記撮像対象を監視しながら撮像した上記撮像対象の撮像画像を取得してよい。上記画像管理装置は、上記撮像対象の周辺状況を取得する周辺状況取得部を有してよく、上記飛翔体選択部は、上記撮像対象の周辺状況にさらに基づいて、上記撮像対象を監視させる上記1又は複数の飛翔体を選択してよい。上記飛翔体選択部は、上記複数の飛翔体のそれぞれが実行しているタスクのタスクレベルにさらに基づいて、上記撮像対象を監視させる1又は複数の飛翔体を選択してよい。
上記撮像対象特定部は、上記複数の飛翔体のうちの問題が発生した飛翔体を、上記撮像対象として特定してよい。上記撮像対象特定部は、上記複数の飛翔体のうちの衝突事故が発生した飛翔体を、上記撮像対象として特定してよい。上記画像管理装置は、上記複数の飛翔体のいずれかに問題が発生することを予測する問題予測部を有してよく、上記撮像対象特定部は、上記問題予測部によって問題が発生すると予測された飛翔体を上記撮像対象として特定してよい。上記画像取得部は、上記複数の飛翔体のそれぞれによって断続的に送信される撮像画像を取得してよく、上記問題予測部は、上記画像取得部が断続的に取得する撮像画像にさらに基づいて、上記複数の飛翔体のいずれかに衝突事故が発生することを予測してよい。上記画像管理装置は、上記複数の飛翔体が飛行するエリアの気象に関連する気象関連情報を取得する気象関連情報取得部を有してよく、上記問題予測部は、上記気象関連情報にさらに基づいて、上記複数の飛翔体のいずれかに衝突事故が発生することを予測してよい。
上記飛翔体は、上記飛翔体を識別可能な飛翔体識別情報を格納する識別情報格納部と、上記飛翔体の位置情報を取得する位置情報取得部と、上記撮像部によって撮像された撮像画像を格納する画像格納部と、上記飛翔体に対して衝撃が加わったことを検知する衝撃検知部とを有してよく、上記画像送信部は、上記衝撃検知部によって衝撃が検知された場合に、上記衝撃が加わった時刻を含む予め定められた時間範囲内に上記撮像部が撮像した撮像画像に、上記撮像画像を撮像したときの上記飛翔体の位置情報と、上記飛翔体識別情報とを対応付けて外部に無線送信してよい。上記撮像部は、上記飛翔体に搭載された複数のカメラによって撮像された画像を合成することによって上記撮像画像を生成してよい。上記画像送信部は、上記撮像画像に、上記飛翔体が在圏している無線基地局を識別する基地局識別情報を対応付けて外部に無線送信してよい。
本発明の第2の態様によれば、画像管理装置が提供される。画像管理装置は、撮像対象を特定する撮像対象特定部を備えてよい。画像管理装置は、全方位を撮像する撮像部及び撮像部によって撮像された撮像画像を外部に無線送信する画像送信部を有する複数の飛翔体のうちの1又は複数の飛翔体に対して、撮像対象の撮像画像を要求する画像要求を送信する要求送信部を備えてよい。画像管理装置は、画像要求に応じて1又は複数の飛翔体の少なくともいずれかが送信した撮像画像を取得する画像取得部を備えてよい。
本発明の第3の態様によれば、コンピュータを、上記画像管理装置として機能させるためのプログラムが提供される。
本発明の第4の態様によれば、飛翔体が提供される。飛翔体は、飛翔体を識別可能な飛翔体識別情報を格納する識別情報格納部を備えてよい。飛翔体は、飛翔体の位置情報を取得する位置情報取得部を備えてよい。飛翔体は、全方位を撮像する撮像部を備えてよい。飛翔体は、撮像部によって撮像された撮像画像を格納する画像格納部を備えてよい。飛翔体は、飛翔体に対して衝撃が加わったことを検知する衝撃検知部を備えてよい。飛翔体は、衝撃検知部によって衝撃が検知された場合に、衝撃が加わった時刻を含む予め定められた時間範囲内に撮像部が撮像した撮像画像に、撮像画像を撮像したときの飛翔体の位置情報と、飛翔体識別情報とを対応付けて外部に無線送信する画像送信部を備えてよい。
本発明の第5の態様によれば、コンピュータを、上記飛翔体として機能させるためのプログラムが提供される。
なお、上記の発明の概要は、本発明の必要な特徴のすべてを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
監視システム10の一例を概略的に示す。 画像管理部400の機能構成の一例を概略的に示す。 画像管理部400による処理の流れの一例を概略的に示す。 画像管理部400による処理の流れの一例を概略的に示す。 無人航空機100の構成の一例を概略的に示す。 制御装置140の機能構成の一例を概略的に示す。 制御装置140による処理の流れの一例を概略的に示す。 飛翔体管理システム200、画像管理部400又は制御装置140として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせのすべてが発明の解決手段に必須であるとは限らない。
図1は、監視システム10の一例を概略的に示す。本実施形態に係る監視システム10は、全方位を撮像可能な複数の無人航空機100と、複数の無人航空機100によって撮像された撮像画像を取得して管理する飛翔体管理システム200とを備える。無人航空機100は、飛翔体の一例である。無人航空機100は、いわゆるドローンであってよい。
無人航空機100は、全方位を撮像可能な撮像部を備える。図1に示す例では、無人航空機100は、カメラ112及びカメラ114を有する。カメラ112及びカメラ114は撮像部の一例であってよい。
カメラ112は、無人航空機100の上面側に設置される。カメラ114は、無人航空機100の下面側に設置される。カメラ112及びカメラ114のそれぞれは、全方位を撮像可能なカメラである。カメラ112及びカメラ114は、全方位カメラ、全天球カメラ、及び360度カメラ等と呼ばれる場合がある。
無人航空機100は、カメラ112によって撮像された画像とカメラ114によって撮像された画像とを合成した撮像画像を出力可能である。無人航空機100がカメラ112のみを有する場合、無人航空機100の機体の下方が死角になる。また、無人航空機100がカメラ114のみを有する場合、無人航空機100の機体の上方が死角になる。それに対して、カメラ112によって撮像された画像とカメラ114によって撮像された画像とを合成することによって、より死角の少ない撮像画像を出力することができる。
なお、無人航空機100は、カメラ112及びカメラ114の一方のみを備えてもよい。また、無人航空機100は、3つ以上の全方位カメラを備えてもよい。また、無人航空機100は、いわゆる超広角カメラを複数備えて、複数の超広角カメラによって撮像された画像を合成することによって、全方位の撮像画像を取得してもよい。複数の超広角カメラは、例えば、無人航空機100の機体の各場所に埋め込まれる。
ここでは、飛翔体が無人航空機100である場合の実施形態を主に説明するが、これに限らない。飛翔体の他の例として、無人航空機100と同様に全方位を撮像可能な空飛ぶ車が挙げられる。
従来、自動車に搭載されたドライブレコーダが知られている。ドライブレコーダは、主に衝突事故時の証拠保全用機器として普及している。ドライブレコーダによる証拠保全は映像によるものが一般的であり、その効果の高さはよく知られているところである。しかし、空飛ぶ車やドローンについては、従来の航空機と同様に位置測位機能やフライトログによる証拠保全が一般的である。しかし、空飛ぶ車やドローンは、従来の航空機よりもはるかに低空かつ、第三者又は物件に害が及びかねない空域を移動するため、自動車に準じた映像による証拠保全が重要と考えられる。ただし、空飛ぶ車及びドローンは、3次元空間上を移動するため、自動車と違い映像記録も360度必要となる。
本実施形態に係る無人航空機100は、全方位を撮像可能な撮像部を備え、当該撮像部によって撮像された撮像画像を格納する。特に、無人航空機100は、カメラ112によって撮像された画像とカメラ114によって撮像された画像とを合成した撮像画像を出力可能である。これにより、無人航空機100を中心とした死角の少ない全方位の撮像画像を記録することができ、無人航空機100の証拠保全能力を高めることができる。
飛翔体管理システム200は、無人航空機100の飛行管制を行う飛行管制部300と、無人航空機100によって出力された撮像画像を取得して管理する画像管理部400とを備える。飛翔体管理システム200は、画像管理装置の一例であってよい。
飛翔体管理システム200は、複数の装置によって構成されるシステムであってもよい。例えば、飛行管制部300と画像管理部400とは、それぞれ独立した装置であってよい。この場合、画像管理部400は、画像管理装置の一例であってよい。
飛翔体管理システム200と無人航空機100とは、無線基地局30及びネットワーク20を介して通信する。無人航空機100は、無線基地局30に在圏して、無線基地局30を介して飛翔体管理システム200と通信する。無人航空機100が無線基地局30に在圏するとは、無人航空機100が無線基地局30と無線通信接続を確立することであってよい。
無線基地局30は、任意の移動体通信システムに準拠していてよい。例えば、無線基地局30は、3G(3rd Generation)通信システム、LTE(Long Term Evolution)通信システム、4G(4th Generation)通信システム、及び5G(5th Generation)通信システム以降の移動体通信システムに準拠する。ネットワーク20は、移動体通信システムにおけるコアネットワークを含む。ネットワーク20は、インターネットを含んでもよい。
飛行管制部300は、複数の無人航空機100のそれぞれから断続的に位置情報を受信して、複数の無人航空機100のそれぞれの位置を管理してよい。位置情報は、緯度、経度、及び高度を含んでよい。
無人航空機100は、飛行管制部300に対して無人航空機100の位置情報を断続的に送信してよい。位置情報を断続的に送信するとは、位置情報を定期的に送信することであってよい。また、位置情報を断続的に送信するとは、予め定められたスケジュールに従って位置情報を送信することであってもよい。また、位置情報を断続的に送信するとは、予め定められた条件が満たされる毎に位置情報を送信することであってもよい。無人航空機100は、例えば、無人航空機100の位置が予め定められた距離以上変化したことに応じて位置情報を送信する。
飛行管制部300は、複数の無人航空機100のそれぞれに対して位置情報の要求を送信し、要求に応じて複数の無人航空機100のそれぞれが送信した位置情報を受信してもよい。
画像管理部400は、撮像対象を特定し、飛行している複数の無人航空機100のうちの1又は複数の無人航空機100に対して撮像対象の撮像画像を要求する画像要求を送信し、画像要求に応じて1又は複数の無人航空機100の少なくともいずれかが送信した撮像画像を取得する。
画像管理部400は、例えば、複数の無人航空機100のうちの問題が発生した無人航空機100を撮像対象として特定する。例えば、画像管理部400は、衝突事故を起こした無人航空機100を撮像対象として特定する。
次に、画像管理部400は、例えば、特定した撮像対象に関連する撮像対象関連情報と時刻情報とを含む画像要求を複数の無人航空機100に対してブロードキャストする。撮像対象関連情報は、例えば、撮像対象の位置情報を含む。また、撮像対象関連情報は、撮像対象を特定可能な情報を含む。例えば、撮像対象が無人航空機100である場合、撮像対象関連情報は、無人航空機100を識別する無人航空機識別情報を含む。時刻情報は、例えば、衝突事故が発生した時刻を示す。
そして、画像管理部400は、例えば、複数の無人航空機100のうち、時刻情報によって示される時刻に撮像対象を撮像して格納していた無人航空機100から撮像画像を受信する。これにより、衝突事故の客観的な撮像画像を取得することができる。このように、無人航空機100の衝突事故を第三者的視点で知得可能にすることで、その後の損害賠償などの証跡に利用することができる。
近年、無人航空機の普及が進んでおり、将来的に、例えば、1kmに100台のような多数の無人航空機が飛行することが想定されている。そのような無人航空機のうちの少なくともいずれか又はすべての無人航空機に、無人航空機100と同様の機能を搭載させることによって、あらゆる場所の画像を取得することが可能になり得る。
図2は、画像管理部400の機能構成の一例を概略的に示す。画像管理部400は、飛翔体情報取得部402、飛翔体情報格納部404、撮像対象特定部410、要求送信部422、画像取得部424、画像格納部426、飛翔体選択部428、周辺状況取得部430、画像送信部432、及び表示制御部434を備える。なお、画像管理部400がこれらのすべての構成を備えることは必須とは限らない。
飛翔体情報取得部402は、無人航空機100に関する飛翔体情報を取得する。飛翔体情報取得部402は、飛行管制部300から、複数の無人航空機100のそれぞれの飛翔体情報を取得してよい。飛翔体情報取得部402は、飛行管制部300によって断続的に送信される飛翔体情報を受信してよい。
また、飛翔体情報取得部402は、複数の無人航空機100のそれぞれから、飛翔体情報を受信してもよい。飛翔体情報取得部402は、複数の無人航空機100のそれぞれによって断続的に送信される飛翔体情報を受信してよい。
飛翔体情報格納部404は、飛翔体情報取得部402が取得した飛翔体情報を格納する。飛翔体情報格納部404は、飛翔体情報取得部402が断続的に取得した飛翔体情報を格納してよい。
飛翔体情報は、無人航空機100の位置情報を含んでよい。飛翔体情報は、無人航空機100の飛行速度を含んでもよい。飛翔体情報は、無人航空機100の飛行方向を含んでもよい。
飛翔体情報は、無人航空機100の状態を示す状態情報を含んでもよい。飛翔体情報は、例えば、無人航空機100が有する各構成の状態を示す構成状態情報を含む。飛翔体情報は、例えば、無人航空機100が正常に動作しているか否かを示す動作状態情報を含む。飛翔体情報は、例えば、無人航空機100が、飛行管制部300の制御に従って飛行しているか否かを示す制御状態情報を含む。
撮像対象特定部410は、撮像対象を特定する。撮像対象特定部410は、例えば、複数の無人航空機100のうちの少なくともいずれかを撮像対象として特定する。撮像対象特定部410は、例えば、複数の無人航空機100のうちの問題が発生した無人航空機100を撮像対象として特定する。
例えば、撮像対象特定部410は、衝突事故が発生した無人航空機100を撮像対象として特定する。具体例として、撮像対象特定部410は、無人航空機100同士の衝突事故が発生した場合、衝突した複数の無人航空機100を撮像対象として特定する。また、撮像対象特定部410は、鳥と衝突した無人航空機100を撮像対象として特定してよい。また、撮像対象特定部410は、建物等と衝突した無人航空機100を撮像対象として特定してよい。
また、例えば、撮像対象特定部410は、故障が発生した無人航空機100を撮像対象として特定する。撮像対象特定部410は、例えば、飛行機能に故障が発生した無人航空機100を撮像対象として特定する。
撮像対象特定部410は、複数の無人航空機100以外の無人航空機を撮像対象として特定してもよい。撮像対象特定部410は、例えば、不審な無人航空機を撮像対象として特定する。
撮像対象特定部410は、その他任意の対象を撮像対象として特定してもよい。撮像対象特定部410は、例えば、災害が発生したエリアを撮像対象として特定する。また、撮像対象特定部410は、例えば、火災現場から発生した煙を撮像対象として特定する。
撮像対象特定部410は、指定受付部411、報告情報受信部412、問題予測部413、及び気象関連情報取得部414を有する。撮像対象特定部410がこれらのすべての構成を有することは必須とは限らない。
指定受付部411は、撮像対象の指定を受け付ける。撮像対象特定部410は、指定受付部411が受け付けた指定に従って、撮像対象を特定してよい。
指定受付部411は、操作部を介して、撮像対象の入力を受け付けてよい。指定受付部411は、例えば、飛翔体管理システム200が有する操作部を介して撮像対象の入力を受け付ける。画像管理部400が独立した装置である場合、指定受付部411は、画像管理部400が有する操作部を介して撮像対象の入力を受け付けてもよい。また、指定受付部411は、通信部を介して、他の装置からの撮像対象の送信を受け付けてもよい。指定受付部411は、例えば、飛翔体管理システム200が有する通信部を介して他の装置からの撮像対象の送信を受け付ける。画像管理部400が独立した装置である場合、指定受付部411は、画像管理部400が有する通信部を介して他の装置からの撮像対象の送信を受け付けてもよい。
指定受付部411は、例えば、飛翔体管理システム200の管理者等による撮像対象の指定を受け付ける。管理者等は、例えば、無人航空機100に問題が発生したことを知得した場合に、問題が発生した無人航空機100を撮像対象として指定し得る。
指定受付部411は、さらに時刻情報の指定を受け付けてよい。飛翔体管理システム200の管理者等は、例えば、無人航空機100に問題が発生したことを知得した場合に、問題が発生した時刻を示す時刻情報を指定し得る。
報告情報受信部412は、無人航空機100によって送信された、無人航空機100に問題が発生したことを報告する報告情報を取得する。撮像対象特定部410は、報告情報受信部412が受信した報告情報に従って、撮像対象を特定してよい。
報告情報は、無人航空機100の無人航空機識別情報を含んでよい。報告情報は、無人航空機100に問題が発生したときの無人航空機100の位置情報を含んでよい。報告情報は、無人航空機100に問題が発生した時刻を示す時刻情報を含んでよい。
報告情報受信部412は、無人航空機100から報告情報を受信してよい。また、報告情報受信部412は、無人航空機100によって飛行管制部300に対して送信された報告情報を、飛行管制部300から受信してもよい。
無人航空機100は、例えば、衝突事故が発生した場合に、報告情報を飛行管制部300又は画像管理部400に送信する。例えば、無人航空機100は、無人航空機100に対する衝撃を検知する衝撃センサを有し、衝撃センサによって衝撃が検知されたことに応じて、報告情報を飛行管制部300又は画像管理部400に送信する。
また、無人航空機100は、例えば、故障が発生した場合に、報告情報を飛行管制部300又は画像管理部400に送信する。例えば、無人航空機100は、故障を検知したことに応じて、報告情報を飛行管制部300又は画像管理部400に送信する。
問題予測部413は、複数の無人航空機100のいずれかに問題が発生することを予測する。撮像対象特定部410は、問題予測部413によって問題が発生すると予測された無人航空機100を撮像対象として特定してよい。問題予測部413は、飛翔体情報格納部404に格納されている飛翔体情報に基づいて、複数の無人航空機100のいずれかに問題が発生することを予測してよい。
問題予測部413は、例えば、複数の無人航空機100のいずれかに衝突事故が発生することを予測する。問題予測部413は、例えば、複数の無人航空機100のそれぞれの位置、飛行速度、及び飛行方向に基づいて、複数の無人航空機100のいずれかに衝突事故が発生することを予測する。問題予測部413は、画像取得部424が取得する、複数の無人航空機100のそれぞれによって断続的に送信される撮像画像にさらに基づいて、複数の無人航空機100のいずれかに衝突事故が発生することを予測してよい。
問題予測部413は、複数の無人航空機100のそれぞれの位置、飛行速度、飛行方向、及び動作状態情報に基づいて、複数の無人航空機100のいずれかに衝突事故が発生することを予測してもよい。具体例として、問題予測部413は、動作状態情報が正常に動作していないことを示す無人航空機100が、他の無人航空機100に向かって予め定められた飛行速度よりも速い飛行速度で近づいている場合に、これらの無人航空機100に衝突事故が発生すると予測する。
問題予測部413は、複数の無人航空機100のそれぞれの位置、飛行速度、飛行方向、及び制御状態情報に基づいて、複数の無人航空機100のいずれかに衝突事故が発生することを予測してもよい。具体例として、問題予測部413は、制御状態情報が飛行管制部300の制御に従って飛行していないことを示す無人航空機100が、他の無人航空機100に向かって予め定められた飛行速度よりも速い飛行速度で近づいている場合に、これらの無人航空機100に衝突事故が発生すると予測する。
問題予測部413は、例えば、複数の無人航空機100のいずれかに故障が発生することを予測する。問題予測部413は、複数の無人航空機100のそれぞれの装置状態情報に基づいて、複数の無人航空機100のいずれかに故障が発生することを予測してよい。
気象関連情報取得部414は、複数の無人航空機100が飛行するエリアの気象に関連する気象関連情報を取得する。気象関連情報取得部414は、例えば、上空の各エリアの気象関連情報を提供するサーバから、ネットワーク20を介して、複数の無人航空機100が飛行するエリアの気象関連情報を受信する。問題予測部413は、気象関連情報にさらに基づいて、複数の無人航空機100のいずれかに問題が発生することを予測してもよい。例えば、問題予測部413は、気象関連情報が暴風を示す場合であって、2機の無人航空機100の間の距離が予め定められた距離よりも短い場合に、当該2機の無人航空機100に衝突事故が発生することを予測する。
要求送信部422は、複数の無人航空機100のうちの1又は複数の無人航空機100に対して、撮像対象特定部410によって特定された撮像対象の撮像画像を要求する画像要求を送信する。画像取得部424は、画像要求に応じて1又は複数の無人航空機100の少なくともいずれかが送信した撮像画像を取得する。画像取得部424は、取得した撮像画像を画像格納部426に格納する。
要求送信部422は、例えば、複数の無人航空機100に対して、撮像対象関連情報と、過去の時刻を示す時刻情報とを含む画像要求をブロードキャストする。例えば、撮像対象関連情報は、問題が発生した無人航空機100に関連する情報を含み、時刻情報は、無人航空機100に問題が発生した時刻を示す。
画像取得部424は、複数の無人航空機100のうち、時刻情報によって示される時刻に、撮像対象関連情報によって特定される撮像対象を撮像して格納していた無人航空機100から、当該時刻に撮像した撮像対象の撮像画像を取得してよい。これにより、問題が発生したときの無人航空機100の様子を示す撮像画像を取得することができる。
また、画像取得部424は、例えば、複数の無人航空機100のうち、時刻情報によって示される時刻以降に撮像対象を撮像して格納していた無人航空機100から撮像画像を受信する。これにより、問題が発生したとき以降の無人航空機100の様子を示す撮像画像を取得することができる。
また、要求送信部422は、例えば、複数の無人航空機100に対して、撮像対象関連情報と、未来の時刻を示す時刻情報とを含む画像要求をブロードキャストする。例えば、撮像対象関連情報は、問題予測部413によって問題が発生すると予測された無人航空機100に関連する情報を含み、時刻情報は、問題が発生すると予測された時刻を示す。
画像取得部424は、複数の無人航空機100のうち、時刻情報によって示される時刻に、撮像対象関連情報によって特定される撮像対象を撮像可能な無人航空機100が画像要求に応じて撮像した撮像対象の撮像画像を取得してよい。これにより、例えば、無人航空機100に問題が発生することが予測された場合に、問題が発生すると予測された時刻の無人航空機100の様子を示す撮像画像を取得することができる。
また、画像取得部424は、例えば、複数の無人航空機100のうち、時刻情報によって示される時刻以降に撮像対象を撮像可能な無人航空機100が画像要求に応じて撮像下撮像対象の撮像画像を取得してよい。これにより、例えば、無人航空機100に問題が発生することが予測された場合に、問題が発生すると予測された時刻以降の無人航空機100の様子を示す撮像画像を取得することができる。
飛翔体選択部428は、複数の無人航空機100から、画像要求を送信する対象の1又は複数の無人航空機100を選択する。要求送信部422は、飛翔体選択部428によって選択された1又は複数の無人航空機100に対して画像要求を送信するようにしてもよい。
飛翔体選択部428は、例えば、撮像対象の位置に基づいて、複数の無人航空機100から、画像要求を送信する対象の1又は複数の無人航空機100を選択する。例えば、飛翔体選択部428は、撮像対象の位置を撮像可能な範囲を特定し、複数の無人航空機100のうち、特定した範囲内に位置する1又は複数の無人航空機100を選択する。
また、例えば、飛翔体選択部428は、撮像対象の位置に基づいて、複数の無線基地局30から無線基地局30を選択し、選択した無線基地局30に在圏している1又は複数の無人航空機100を、画像要求の送信対象として選択する。画像取得部424は、例えば、カバーエリアが、撮像対象の位置情報によって示される位置を含む無線基地局30を選択し得る。これにより、画像要求を送信する対象の無人航空機100の数を適切に低減することができる。これにより、撮像対象の位置からは遠く離れており撮像対象を撮像できない無人航空機100に対して画像要求を送信することによって、当該無人航空機100に対して不必要な処理負荷が発生してしまうことを防止できる。
飛翔体選択部428は、複数の無人航空機100から、撮像対象を監視させる1又は複数の無人航空機100を選択してもよい。飛翔体選択部428は、例えば、撮像対象の位置情報と、複数の無人航空機100のそれぞれの位置情報とに基づいて、撮像対象を監視させる1又は複数の無人航空機100を選択し得る。
要求送信部422は、飛翔体選択部428によって選択された1又は複数の無人航空機100に対して、撮像対象を監視しながら撮像した撮像画像を要求する画像要求を送信してよい。画像取得部424は、当該画像要求に応じて1又は複数の無人航空機100が撮像対象を監視しながら撮像した撮像対象の撮像画像を取得してよい。
周辺状況取得部430は、撮像対象の周辺状況を取得する。周辺状況取得部430は、例えば、3次元情報を含む地図情報を予め格納しておき、撮像対象の位置情報と、地図情報とから、撮像対象の周辺状況を取得する。撮像対象の周辺状況は、例えば、撮像対象の周辺に位置する建物等の状況を示す。
飛翔体選択部428は、周辺状況取得部430が取得した周辺状況にさらに基づいて、撮像対象を監視させる1又は複数の無人航空機100を選択してよい。飛翔体選択部428は、例えば、撮像対象との間に建物等が存在することによって、撮像対象が死角となってしまう無人航空機100を除外して、撮像対象を監視させる1又は複数の無人航空機100を選択する。
飛翔体選択部428は、複数の無人航空機100のそれぞれが実行しているタスクのタスクレベルにさらに基づいて、撮像対象を監視させる1又は複数の無人航空機100を選択してもよい。飛翔体選択部428は、例えば、複数の無人航空機100のうち、タスクを実行していない又は実行しているタスクのタスクレベルが予め定められたレベルよりも低い無人航空機100から、撮像対象を監視させる1又は複数の無人航空機100を選択する。飛翔体選択部428は、例えば、複数のタスクと、それぞれのタスクのタスクレベルとが登録されたタスクレベル情報を予め格納しておき、当該タスクレベル情報を参照することによって、レベルの高低を判定し得る。
画像送信部432は、画像格納部426に格納されている撮像画像を送信する。画像送信部432は、例えば、警察及び保険会社等の外部からの、位置情報、無人航空機識別情報、及び時刻情報等をキーとした要求に基づいて、画像格納部426に格納されている撮像画像を送信する。
表示制御部434は、画像格納部426に格納されている撮像画像を、画像管理部400が備えるディスプレイ等に表示させるよう制御する。表示制御部434は、例えば、位置情報、無人航空機識別情報、及び時刻情報等をキーとした要求に基づいて、画像格納部426に格納されている撮像画像を表示させる。
図3は、画像管理部400による処理の流れの一例を概略的に示す。ここでは、撮像対象を特定してから、撮像画像を送信するまでの処理の流れの一例について説明する。
ステップ(ステップをSと省略して記載する場合がある。)102では、撮像対象特定部410が撮像対象と時刻情報とを特定する。撮像対象特定部410は、例えば、警察及び保険会社等の外部から指定された、無人航空機100の衝突事故が発生した位置を示す位置情報又は当該無人航空機100の無人航空機識別情報と、事故が発生した時刻とに従って、撮像対象と時刻情報とを特定する。
S104では、要求送信部422が、S102において特定された撮像対象の撮像対象関連情報と、時刻情報とを含む画像要求を複数の無人航空機100に対してブロードキャストする。S106では、画像取得部424が、複数の無人航空機100のうちのいずれかが画像要求に応じて送信した撮像画像を受信して、画像格納部426に格納する。
S108では、画像要求をブロードキャストしてから、予め設定された設定時間が経過したか否かを、画像送信部432が判定する。当該設定時間は任意に設定可能であってよく、変更可能であってよい。経過していないと判定した場合、S106に戻り、経過したと判定した場合、S110に進む。S110では、画像送信部432が、S106において画像格納部426に格納された撮像画像を、警察及び保険会社等の外部に対して送信する。
図4は、画像管理部400による処理の流れの一例を概略的に示す。ここでは、図3と異なる点を主に説明する。
S202では、撮像対象特定部410が撮像対象と時刻情報とを特定する。S204では、飛翔体選択部428が、複数の無人航空機100から、画像要求を送信する対象の1又は複数の無人航空機100を選択する。
S206では、要求送信部422が、S204において選択された1又は複数の無人航空機100に対して画像要求を送信する。S208では、画像取得部424が、画像要求を送信した1又は複数の無人航空機100のいずれかが画像要求に応じて送信した撮像画像を受信して、画像格納部426に格納する。
S210では、画像要求を送信してから、予め設定された設定時間が経過したか否かを、画像送信部432が判定する。経過していないと判定した場合、S208に戻り、経過したと判定した場合、S212に進む。S212では、画像送信部432が、S208において画像格納部426に格納された撮像画像を、警察及び保険会社等の外部に対して送信する。
図5は、無人航空機100の構成の一例を概略的に示す。無人航空機100は、本体部102、プロペラ104、脚部106、カメラ112、及びカメラ114を備える。
本体部102は、センサ群120、通信装置130、及び制御装置140を有する。センサ群120は、GNSSユニット121、加速度センサ122、ジャイロセンサ123、及び衝突センサ124を含む。
GNSSユニット121は、無人航空機100の位置を特定して、位置情報を出力する。加速度センサ122は、加速度を検出する。ジャイロセンサ123は、角速度を検出する。衝突センサ124は、無人航空機100への衝撃を検出する。
通信装置130は、無線基地局30を介した通信を実行する。通信装置130は、無線基地局30に在圏して、無線基地局30を介して飛翔体管理システム200と通信する。
制御装置140は、各種制御を実行する。制御装置140は、センサ群120から出力される情報を用いて、無人航空機100の飛行制御を実行する。また、制御装置140は、通信装置130が飛翔体管理システム200から画像要求を受信した場合に、状況に応じて、カメラ112及びカメラ114によって撮像された撮像画像を、飛翔体管理システム200に対して通信装置130に送信させる。
図6は、制御装置140の機能構成の一例を概略的に示す。制御装置140は、識別情報格納部142、飛行情報格納部144、センサ情報取得部146、画像取得部148、撮像画像生成部150、撮像画像格納部152、飛行制御部154、画像要求取得部156、画像送信部158、衝撃検知部160、及び報告情報送信部162を備える。なお、制御装置140がこれらのすべての構成を備えることは必須とは限らない。
識別情報格納部142は、無人航空機100の無人航空機識別情報を格納する。識別情報格納部142は、例えば、無人航空機100の製造時に無人航空機識別情報を格納する。また、識別情報格納部142は、通信装置130が飛翔体管理システム200から受信した無人航空機識別情報を格納する。
飛行情報格納部144は、無人航空機100の飛行に関する飛行情報を格納する。飛行情報は、無人航空機100の飛行予定ルートを含む。飛行情報は、無人航空機100が実行するタスクに関するタスク関連情報を含んでよい。無人航空機100が実行するタスクの例としては、荷物の搬送タスクや、監視対象を監視する監視タスク等が挙げられる。飛行情報格納部144は、通信装置130が飛行管制部300から受信した飛行情報を格納してよい。
飛行情報格納部144は、他の無人航空機100に関する情報を格納してよい。飛行情報格納部144は、例えば、他の無人航空機100の位置情報を格納する。また、飛行情報格納部144は、他の無人航空機100の飛行速度及び飛行方向を格納してもよい。飛行情報格納部144は、通信装置130が飛行管制部300から受信した他の無人航空機100の情報を格納してよい。
センサ情報取得部146は、センサ群120によって出力されたセンサ情報を取得する。センサ情報取得部146は、GNSSユニット121によって出力された位置情報を取得してよい。センサ情報取得部146は、加速度センサ122によって出力された加速度を取得してよい。センサ情報取得部146は、ジャイロセンサ123によって出力された角速度を取得してよい。センサ情報取得部146は、衝突センサ124によって出力された、無人航空機100に衝撃が加わったことを示す情報を取得してよい。
画像取得部148は、カメラ112及びカメラ114によって撮像された画像を取得する。画像取得部148は、カメラ112及びカメラ114によって撮像された画像と、飛行情報格納部144に格納されている他の無人航空機100の情報とから、画像内の無人航空機100を識別して、画像内の無人航空機100に、当該無人航空機100の無人航空機識別情報を対応付けてよい。
撮像画像生成部150は、カメラ112によって撮像された画像と、カメラ114によって撮像された画像とを合成する。撮像画像生成部150は、合成した撮像画像を撮像画像格納部152に格納する。撮像画像格納部152は、撮像画像内の無人航空機100に対して、無人航空機識別情報を対応付けてよい。
飛行制御部154は、無人航空機100の飛行を制御する。飛行制御部154は、センサ情報取得部146によって取得されるセンサ情報と、画像取得部148によって取得される画像とを用いて、飛行情報格納部144に格納されている飛行情報が示す飛行予定ルートを飛行するように無人航空機100の飛行を制御してよい。
画像要求取得部156は、画像要求を取得する。画像要求取得部156は、通信装置130が画像管理部400から受信した画像要求を取得する。
画像送信部158は、画像要求取得部156が取得した画像要求に基づいて、撮像画像格納部152に格納されている撮像画像を飛翔体管理システム200に送信する。画像送信部158は、例えば、画像要求に含まれる時刻情報が示す時刻に、画像要求に含まれる撮像対象関連情報によって特定される撮像対象を撮像した撮像画像が撮像画像格納部152に格納されている場合に、当該撮像画像を画像管理部400に送信する。
また、画像送信部158は、例えば、画像要求に含まれる時刻情報が示す時刻に、画像要求に含まれる撮像対象関連情報によって特定される撮像対象を撮像可能である場合に、当該時刻に当該撮像対象を撮像した撮像画像を画像管理部400に送信する。画像送信部158は、例えば、無人航空機100の飛行予定ルートを参照して、時刻情報が示す時刻に、撮像対象を撮像可能な位置に無人航空機100が位置するか否かを判定し、位置すると判定した場合、撮像可能であると判定する。
画像要求取得部156が、撮像対象を監視して撮像対象の撮像画像を送信することを要求する画像要求を受信した場合、飛行制御部154は、無人航空機100が撮像対象を監視可能な位置にいない場合には、監視可能な位置まで移動させ、撮像対象を撮像可能な範囲を飛行するよう無人航空機100の飛行を制御する。そして、画像送信部158は、撮像画像格納部152に格納される撮像対象を含む撮像画像を飛行管制部300に送信する。
画像要求取得部156が、撮像対象を監視して撮像対象の撮像画像を送信することを要求する画像要求を受信した場合、飛行制御部154は、撮像対象を監視可能であるか否かを判定して、監視可能と判定した場合に、撮像対象の監視を開始してもよい。飛行制御部154は、例えば、無人航空機100がタスクを実行していない場合、無人航空機100が実行している実行タスクのタスクレベルが、撮像対象を撮像する撮像タスクのタスクレベルよりも低い場合に、監視可能と判定する。
衝撃検知部160は、無人航空機100に衝撃が加わったことを検知する。衝撃検知部160は、センサ情報取得部146から、衝突センサ124によって出力された無人航空機100に衝撃が加わったことを示す情報を受信した場合に、無人航空機100に衝撃が加わったことを検知する。
報告情報送信部162は、衝撃検知部160によって無人航空機100に衝撃が加わったことが検知された場合に、無人航空機100の無人航空機識別情報を含む報告情報を飛翔体管理システム200に送信する。
画像送信部158は、衝撃検知部160によって無人航空機100に衝撃が加わったことが検知された場合に、衝撃が加わった時刻を含む予め定められた時間範囲内にカメラ112及びカメラ114によって撮像され、撮像画像生成部150によって生成された撮像画像を撮像画像格納部152から読み出し、撮像したときの位置情報と、無人航空機識別情報とを対応付けて外部に無線送信してよい。画像送信部158は、これらを飛行管制部300に対して送信してよい。画像送信部158は、撮像画像に、無人航空機100が在圏している無線基地局30の基地局識別情報を対応付けて送信してもよい。
図7は、制御装置140による処理の流れの一例を概略的に示す。図7は、衝撃検知部160によって無人航空機100に衝撃が加わったことが検知された場合に、制御装置140が実行する処理を示す。
S302では、衝撃検知部160が衝撃を検知してから予め設定された設定時間が経過したか否かを判定する。当該設定時間は任意に設定可能であってよく、変更可能であってよい。経過したと判定した場合、S304に進む。
S304では、画像送信部158が、衝撃前後の予め設定された時間範囲内の撮像画像を撮像画像格納部152から取得する。当該時間範囲は任意に設定可能であってよく、変更可能であってよい。
S306では、画像送信部158が、S304において取得した撮像画像に、無人航空機100の無人航空機識別情報を対応付けて、画像管理部400に対して送信する。画像送信部158はS306以降、断続的に撮像画像を画像管理部400に対して送信してもよい。
図8は、飛翔体管理システム200、画像管理部400、又は制御装置140として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、ICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD−ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 監視システム、20 ネットワーク、30 無線基地局、100 無人航空機、102 本体部、104 プロペラ、106 脚部、112 カメラ、114 カメラ、120 センサ群、121 GNSSユニット、122 加速度センサ、123 ジャイロセンサ、124 衝突センサ、130 通信装置、140 制御装置、142 識別情報格納部、144 飛行情報格納部、146 センサ情報取得部、148 画像取得部、150 撮像画像生成部、152 撮像画像格納部、154 飛行制御部、156 画像要求取得部、158 画像送信部、160 衝撃検知部、162 報告情報送信部、200 飛翔体管理システム、300 飛行管制部、400 画像管理部、402 飛翔体情報取得部、404 飛翔体情報格納部、410 撮像対象特定部、411 指定受付部、412 報告情報受信部、413 問題予測部、414 気象関連情報取得部、422 要求送信部、424 画像取得部、426 画像格納部、428 飛翔体選択部、430 周辺状況取得部、432 画像送信部、434 表示制御部、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ

Claims (20)

  1. 全方位を撮像する撮像部及び前記撮像部によって撮像された撮像画像を外部に無線送信する画像送信部を有する複数の飛翔体と、
    前記複数の飛翔体によって送信された撮像画像を取得して管理する画像管理装置と
    を備え、
    前記画像管理装置は、
    撮像対象を特定する撮像対象特定部と、
    前記複数の飛翔体のうちの1又は複数の飛翔体に対して、前記撮像対象の撮像画像を要求する画像要求を送信する要求送信部と、
    前記画像要求に応じて前記1又は複数の飛翔体の少なくともいずれかが送信した撮像画像を取得する画像取得部と
    を有する、
    監視システム。
  2. 前記要求送信部は、前記撮像対象に関する撮像対象関連情報と時刻情報とを含む前記画像要求を前記複数の飛翔体に送信し、
    前記画像取得部は、前記複数の飛翔体のうち、前記時刻情報によって示される時刻に前記撮像対象を撮像した撮像画像を格納していた飛翔体から、前記撮像画像を取得する、請求項1に記載の監視システム。
  3. 前記要求送信部は、前記撮像対象に関する撮像対象関連情報と時刻情報とを含む前記画像要求を前記複数の飛翔体に送信し、
    前記画像取得部は、前記複数の飛翔体のうち、前記時刻情報によって示される時刻に前記撮像対象を撮像可能な飛翔体が前記画像要求に応じて撮像した前記撮像対象の撮像画像を取得する、請求項1に記載の監視システム。
  4. 前記画像管理装置は、
    前記撮像対象の位置に基づいて、前記複数の飛翔体から、前記画像要求を送信する対象の1又は複数の飛翔体を選択する飛翔体選択部
    を有し、
    前記要求送信部は、前記飛翔体選択部によって選択された1又は複数の飛翔体に対して前記画像要求を送信する、請求項2又は3に記載の監視システム。
  5. 前記複数の飛翔体のそれぞれは、複数の無線基地局のいずれかに在圏して、在圏している無線基地局を介して前記画像管理装置と通信し、
    前記飛翔体選択部は、前記撮像対象の位置に基づいて前記複数の無線基地局から選択した無線基地局に在圏している飛翔体を選択する、請求項4に記載の監視システム。
  6. 前記画像管理装置は、
    前記撮像対象の位置情報と前記複数の飛翔体のそれぞれの位置情報とに基づいて、前記複数の飛翔体から前記撮像対象を監視させる1又は複数の飛翔体を選択する飛翔体選択部
    を有し、
    前記要求送信部は、前記飛翔体選択部によって選択された1又は複数の飛翔体に対して前記画像要求を送信し、
    前記画像取得部は、前記画像要求に応じて前記1又は複数の飛翔体が前記撮像対象を監視しながら撮像した前記撮像対象の撮像画像を取得する、請求項1に記載の監視システム。
  7. 前記画像管理装置は、
    前記撮像対象の周辺状況を取得する周辺状況取得部
    を有し、
    前記飛翔体選択部は、前記撮像対象の周辺状況にさらに基づいて、前記撮像対象を監視させる前記1又は複数の飛翔体を選択する、請求項6に記載の監視システム。
  8. 前記飛翔体選択部は、前記複数の飛翔体のそれぞれが実行しているタスクのタスクレベルにさらに基づいて、前記撮像対象を監視させる1又は複数の飛翔体を選択する、請求項6又は7に記載の監視システム。
  9. 前記撮像対象特定部は、前記複数の飛翔体のうちの問題が発生した飛翔体を、前記撮像対象として特定する、請求項1から8のいずれか一項に記載の監視システム。
  10. 前記撮像対象特定部は、前記複数の飛翔体のうちの衝突事故が発生した飛翔体を、前記撮像対象として特定する、請求項9に記載の監視システム。
  11. 前記画像管理装置は、
    前記複数の飛翔体のいずれかに問題が発生することを予測する問題予測部
    を有し、
    前記撮像対象特定部は、前記問題予測部によって問題が発生すると予測された飛翔体を前記撮像対象として特定する、請求項1から10のいずれか一項に記載の監視システム。
  12. 前記画像取得部は、前記複数の飛翔体のそれぞれによって断続的に送信される撮像画像を取得し、
    前記問題予測部は、前記画像取得部が断続的に取得する撮像画像にさらに基づいて、前記複数の飛翔体のいずれかに衝突事故が発生することを予測する、請求項11に記載の監視システム。
  13. 前記画像管理装置は、
    前記複数の飛翔体が飛行するエリアの気象に関連する気象関連情報を取得する気象関連情報取得部
    を有し、
    前記問題予測部は、前記気象関連情報にさらに基づいて、前記複数の飛翔体のいずれかに衝突事故が発生することを予測する、請求項11又は12に記載の監視システム。
  14. 前記飛翔体は、
    前記飛翔体を識別可能な飛翔体識別情報を格納する識別情報格納部と、
    前記飛翔体の位置情報を取得する位置情報取得部と、
    前記撮像部によって撮像された撮像画像を格納する画像格納部と、
    前記飛翔体に対して衝撃が加わったことを検知する衝撃検知部と
    を有し、
    前記画像送信部は、前記衝撃検知部によって衝撃が検知された場合に、前記衝撃が加わった時刻を含む予め定められた時間範囲内に前記撮像部が撮像した撮像画像に、前記撮像画像を撮像したときの前記飛翔体の位置情報と、前記飛翔体識別情報とを対応付けて外部に無線送信する、請求項1から13のいずれか一項に記載の監視システム。
  15. 前記撮像部は、前記飛翔体に搭載された複数のカメラによって撮像された画像を合成することによって前記撮像画像を生成する、請求項14に記載の監視システム。
  16. 前記画像送信部は、前記撮像画像に、前記飛翔体が在圏している無線基地局を識別する基地局識別情報を対応付けて外部に無線送信する、請求項14又は15に記載の監視システム。
  17. 撮像対象を特定する撮像対象特定部と、
    全方位を撮像する撮像部及び前記撮像部によって撮像された撮像画像を外部に無線送信する画像送信部を有する複数の飛翔体のうちの1又は複数の飛翔体に対して、前記撮像対象の撮像画像を要求する画像要求を送信する要求送信部と、
    前記画像要求に応じて1又は複数の飛翔体の少なくともいずれかが送信した撮像画像を取得する画像取得部と
    を備える画像管理装置。
  18. コンピュータを、請求項17に記載の画像管理装置として機能させるためのプログラム。
  19. 飛翔体であって、
    前記飛翔体を識別可能な飛翔体識別情報を格納する識別情報格納部と、
    前記飛翔体の位置情報を取得する位置情報取得部と、
    全方位を撮像する撮像部と、
    前記撮像部によって撮像された撮像画像を格納する画像格納部と、
    前記飛翔体に対して衝撃が加わったことを検知する衝撃検知部と、
    前記衝撃検知部によって衝撃が検知された場合に、前記衝撃が加わった時刻を含む予め定められた時間範囲内に前記撮像部が撮像した撮像画像に、前記撮像画像を撮像したときの前記飛翔体の位置情報と、前記飛翔体識別情報とを対応付けて外部に無線送信する画像送信部と
    を備える飛翔体。
  20. コンピュータを、請求項19に記載の飛翔体として機能させるためのプログラム。
JP2019101844A 2019-05-30 2019-05-30 監視システム、画像管理装置、飛翔体、及びプログラム Active JP6934913B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019101844A JP6934913B2 (ja) 2019-05-30 2019-05-30 監視システム、画像管理装置、飛翔体、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019101844A JP6934913B2 (ja) 2019-05-30 2019-05-30 監視システム、画像管理装置、飛翔体、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020198477A true JP2020198477A (ja) 2020-12-10
JP6934913B2 JP6934913B2 (ja) 2021-09-15

Family

ID=73648191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019101844A Active JP6934913B2 (ja) 2019-05-30 2019-05-30 監視システム、画像管理装置、飛翔体、及びプログラム

Country Status (1)

Country Link
JP (1) JP6934913B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023008102A1 (ja) * 2021-07-29 2023-02-02 富士フイルム株式会社 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017017984A1 (ja) * 2015-07-29 2017-02-02 株式会社日立製作所 移動体識別システムおよび識別方法
WO2018034295A1 (ja) * 2016-08-16 2018-02-22 本郷飛行機株式会社 情報処理システム
JP2018070010A (ja) * 2016-10-31 2018-05-10 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、その制御方法、及びプログラム
JP2018110304A (ja) * 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 監視システム、監視方法、及びプログラム
JP6521045B1 (ja) * 2017-12-26 2019-05-29 東京電力ホールディングス株式会社 無人飛翔体墜落報知システム、地上局、報知方法、およびプログラム
JP2019082837A (ja) * 2017-10-30 2019-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017017984A1 (ja) * 2015-07-29 2017-02-02 株式会社日立製作所 移動体識別システムおよび識別方法
WO2018034295A1 (ja) * 2016-08-16 2018-02-22 本郷飛行機株式会社 情報処理システム
JP2018070010A (ja) * 2016-10-31 2018-05-10 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、その制御方法、及びプログラム
JP2018110304A (ja) * 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 監視システム、監視方法、及びプログラム
JP2019082837A (ja) * 2017-10-30 2019-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6521045B1 (ja) * 2017-12-26 2019-05-29 東京電力ホールディングス株式会社 無人飛翔体墜落報知システム、地上局、報知方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023008102A1 (ja) * 2021-07-29 2023-02-02 富士フイルム株式会社 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム

Also Published As

Publication number Publication date
JP6934913B2 (ja) 2021-09-15

Similar Documents

Publication Publication Date Title
CN111656424B (zh) 基于大数据的自动飞行无人机系统及其自动飞行方法
US10657660B2 (en) Search assist system, search assist apparatus, and search assist method
US10424204B1 (en) Collision warnings provided by stationary vehicles
EP2780862B1 (en) Mobile and one-touch tasking and visualization of sensor data
US20180276998A1 (en) Method, user terminal, server, and detecting device for monitoring flight of unmanned aerial vehicle
JP7075967B2 (ja) 管理サーバ、通信機器、管理者端末、通信方法
CN109284801B (zh) 交通指示灯的状态识别方法、装置、电子设备及存储介质
RU2681646C2 (ru) Система и способ обнаружения передачи сотового устройства мобильного актива
US11636715B2 (en) Using dynamic triggers in dangerous situations to view sensor data for autonomous vehicle passengers
US11519743B2 (en) Stalled self-driving vehicle rescue system
KR102479959B1 (ko) 인공지능 기반 통합 경계 방법 및 객체 모니터링 장치
US20210375078A1 (en) Automated vehicle body damage detection
JP6934913B2 (ja) 監視システム、画像管理装置、飛翔体、及びプログラム
JP2021190951A (ja) システム、無人航空機、管理装置、プログラム、及び管理方法
US20200074761A1 (en) On-vehicle device, data collection system, and data collection apparatus
JP7187504B2 (ja) 制御装置、プログラム、システム、及び制御方法
US20230125597A1 (en) Information collection system
WO2019107047A1 (ja) 情報処理装置
JP2020154638A (ja) 管理装置、システム、プログラム及び管理方法
JP2019101451A (ja) 情報処理装置
JP2021135942A (ja) 制御装置、プログラム、及びシステム
US20240210918A1 (en) supervision device configured for communicating with an edge computation device onboard an aircraft and an associated electronic system for executing software applications
JP6903535B2 (ja) 情報処理装置
JP7319244B2 (ja) 制御装置、プログラム、システム、及び方法
US20240104199A1 (en) Systems and methods for robust scan and upload cyber security patch to edge node

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210824

R150 Certificate of patent or registration of utility model

Ref document number: 6934913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250