JP2021142819A - 飛行体、車両監視システム、飛行体の制御方法、及び、飛行制御プログラム - Google Patents

Abstract

【課題】撮影品質を向上させるのに適した飛行体、車両監視システム、飛行体の制御方法、及び、飛行制御プログラムを提供すること。【解決手段】本実施の形態にかかる飛行体１は、撮影対象である移動体ＴＧの移動状態を検出する移動状態検出部１１と、移動状態検出部１１によって検出された移動体ＴＧの移動状態に基づいて自機の飛行を制御する飛行制御部１２と、撮像部１４と、移動状態検出部１１によって検出された移動体ＴＧの移動状態に基づいて撮像部１４を制御する撮影制御部１３と、を備える。それにより、飛行体１は、撮影品質を向上させることができる。【選択図】図１

Description

本発明は、飛行体、車両監視システム、飛行体の制御方法、及び、飛行制御プログラムに関し、例えば、撮影品質を向上させるのに適した飛行体、車両監視システム、飛行体の制御方法、及び、飛行制御プログラムに関する。

ユーザによる遠隔操作によって上空を自由に飛行し、かつ、上空から地表面上の撮影対象を撮影する、ドローン等の飛行体の開発が進められている。

関連技術は、例えば、特許文献１及び特許文献２に開示されている。特許文献１には、発光体に対して一定の位置を維持するように飛行体の２次元的な位置及び速度を制御する技術が開示されている。特許文献２には、追従対象者に対して所定距離離れた状態で、追従対象者の移動に伴って追従するように飛行体を制御する技術が開示されている。

特開２０１７−２４６１６号公報 特開２０１６−１０１７７４号公報

しかしながら、関連技術では、発光体や追従対象者などの移動体の移動状態に関わらず、移動体と飛行体との間の距離が一定の距離に保たれる。そのため、関連技術では、例えば、移動中の移動体を所望の撮影位置から撮影できない可能性があり、その結果、撮影品質が低下してしまう、という課題があった。

本発明は、上述の課題に鑑みてなされたものであり、撮影品質を向上させるのに適した飛行体、車両監視システム、飛行体の制御方法、及び、飛行制御プログラムを提供することを目的とする。

本実施形態の一態様にかかる飛行体は、撮影対象である移動体の移動状態を検出する移動状態検出部と、前記移動状態検出部によって検出された前記移動体の移動状態に基づいて自機の飛行を制御する飛行制御部と、撮像部と、前記移動状態検出部によって検出された前記移動体の移動状態に基づいて前記撮像部を制御する撮影制御部と、を備える。

本実施形態の一態様にかかる飛行体の制御方法は、撮影対象である移動体の移動状態を検出するステップと、検出された前記移動体の移動状態に基づいて自機の飛行を制御するステップと、検出された前記移動体の移動状態に基づいて撮像部を制御するステップと、を備える。

本実施形態の一態様にかかる飛行制御プログラムは、撮影対象である移動体の移動状態を検出する処理と、検出された前記移動体の移動状態に基づいて自機の飛行を制御する処理と、検出された前記移動体の移動状態に基づいて撮像部を制御する処理と、をコンピュータに実行させる。

本実施形態によれば、撮影品質を向上させるのに適した飛行体、車両監視システム、飛行体の制御方法、及び、飛行制御プログラムを提供することができる。

実施の形態１にかかる飛行体の構成例を示すブロック図である。 実施の形態１にかかる飛行体の飛行状態、及び、当該飛行体に設けられた撮像部による撮影方向を説明するための図である。 実施の形態１にかかる飛行体の飛行状態、及び、当該飛行体に設けられた撮像部による撮影方向を説明するための図である。 実施の形態１にかかる飛行体の飛行状態、及び、当該飛行体に設けられた撮像部による撮影方向を説明するための図である。 実施の形態１にかかる飛行体の飛行状態、及び、当該飛行体に設けられた撮像部による撮影方向を説明するための図である。 実施の形態１にかかる飛行体１の飛行制御機能及び撮影制御機能のハードウェア構成の一例を示すブロック図である。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜実施の形態１＞
図１は、実施の形態１にかかる飛行体１の構成例を示すブロック図である。
本実施の形態にかかる飛行体１は、例えばドローンであって、ユーザによる遠隔操作又は自動制御によって上空を自由に飛行し、かつ、上空から地表面上を移動する移動体ＴＧを撮影することが可能に構成されている。ここで、本実施の形態にかかる飛行体１は、撮影対象である移動体ＴＧの移動状態に基づいて、飛行体１（以下、自機とも称す）の飛行、及び、飛行体１に搭載されたカメラ等の撮像部を制御する。それにより、本実施の形態にかかる飛行体１は、移動体ＴＧを所望の撮影位置から撮影することができるため、撮影品質を向上させることができる。以下、具体的に説明する。

図１に示すように、飛行体１は、移動状態検出部１１と、飛行制御部１２と、撮影制御部１３と、撮像部１４と、を少なくとも備える。撮像部１４は、所謂カメラである。

移動状態検出部１１は、撮影対象である車両や人などの移動体ＴＧの移動状態を検出する。例えば、移動状態検出部１１は、移動体ＴＧの移動速度を検出したり、移動体ＴＧが移動中であるか停止中であるかを検出したりする。

移動状態検出部１１は、移動体ＴＧが車両である場合、例えば、車両に搭載されたＧＮＳＳ(Global Navigation Satellite System)、加速度センサ、ジャイロセンサ、及び、ＣＡＮ(Controller Area Network)等から得られた車両情報を、図示しない通信部を介して車両から取得し、取得した情報に基づいて、車両の移動方向や移動速度などの移動状態を検出する。或いは、移動状態検出部１１は、移動体ＴＧが人である場合、例えば、人が携帯するスマートフォンやウェアラブルデバイス等の通信機器から、通信部を介して取得した人の位置情報、及び、加速度センサやジャイロセンサによって得られた人の向きに関する情報に基づいて、当該人の移動状態を検出する。移動状態検出部１１は、後述する撮像部が撮影した画像から画像認証を行って得られた車両の向きや人の顔の向きに関する情報に基づいて、当該人の移動状態を検出してもよい。

また、移動状態検出部１１は、移動体ＴＧが車両である場合、車両から通信部を介して取得したギアの状態情報、ステアリングの舵角情報、方向指示器の点滅情報などの車両情報に基づいて、当該移動体ＴＧの移動方向を推定可能に構成されても良い。例えば、移動状態検出部１１は、移動体ＴＧが車両である場合、ギアがバックギアにセットされたことによって、当該移動体ＴＧが後退するであろうと推定する。

飛行制御部１２は、移動状態検出部１１による検出結果に基づいて、飛行体１の飛行を制御する。また、撮影制御部１３は、移動状態検出部１１による検出結果に基づいて、撮像部１４を制御する。

続いて、図２〜図５を用いて、移動状態検出部１１による検出結果に応じた飛行体１の飛行状態及び撮像部１４の撮影方向について説明する。図２〜図５は、飛行体１の飛行状態、及び、飛行体１に設けられた撮像部１４による撮影方向、を説明するための図である。

まず、図２を用いて、移動状態検出部１１によって移動体ＴＧが前進中（ｘ軸プラス方向に進行中）であることが検出された場合について説明する。なお、図２において、車両の前後方向をｘ軸とし、車両の前進方向がｘ軸のプラス方向である。同様に車両の左右方向をy軸（車両の左方向がｙ軸のプラス）、車両の上下方向をｚ軸（車両の上方向がｚ軸のプラス）とする。この場合、飛行制御部１２は、飛行体１を移動体ＴＧから見て進行方向の上空、つまり移動体ＴＧの前方上空（移動体ＴＧを基準にしてｘ軸プラス方向且つｚ軸プラス方向）に移動させるように制御する。移動体ＴＧと飛行体１との距離は、予め定めた所定距離、たとえば３０ｍなどであってもよいが、移動体ＴＧの移動速度や移動状態に応じて制御されてもよく、ユーザが設定可能であることが好ましい。また、撮影制御部１３は、移動体ＴＧの前方上空から当該移動体ＴＧ及びその周辺（飛行体１を基準にしてｘ軸マイナス方向且つｚ軸マイナス方向）を撮影するように撮像部１４を制御する。具体的には、撮影制御部１３は、当該移動体ＴＧが撮影画像に映るように、撮像部１４の向きをパン方向およびチルト方向にそれぞれ調整する。また、撮影制御部１３は、当該移動体ＴＧが撮影画像上で傾いて撮影されないように、撮像部１４の向きをローテーション方向に調整する機能を有してもよい。撮影制御部１３は、当該移動体ＴＧが撮影画像上で適切な大きさで撮影されるように、ズーム機能を有してもよい。それにより、飛行体１は、前進中の移動体ＴＧの前方及びその周辺を効果的に撮影することが可能となる。撮像部の向きをパン方向に調整する機能は、撮影制御部１３ではなく、飛行制御部１２が有してもよい。具体的には、撮像部１４は飛行体１に固定的に搭載され、飛行制御部１２は、移動体ＴＧが撮影映像に映るように、飛行体１を回転させる機能を有してもよい。

なお、飛行制御部１２及び撮影制御部１３は、例えばギアがニュートラルの状態からフロントギアに切り替えられた場合などのように、移動状態検出部１１によって移動体ＴＧが前進するであろうと推定された場合にも、移動状態検出部１１によって移動体ＴＧが前進中であることが検出された場合と同様の制御を行うように構成されても良い。

次に、図３を用いて、移動状態検出部１１によって移動体ＴＧが停止していることが検出された場合について説明する。この場合、飛行制御部１２は、飛行体１を移動体ＴＧの上空（鉛直方向の真上；移動体ＴＧを基準にしてｚ軸プラス方向）に移動させるように制御する。また、撮影制御部１３は、移動体ＴＧの上空から当該移動体ＴＧ及びその周辺（真下；飛行体１を基準にしてｚ軸マイナス方向）を撮影するように撮像部１４を制御する。このとき、撮像部１４が撮影する移動体ＴＧの画像は、移動体ＴＧを上空から俯瞰した画像となり、移動体ＴＧの周囲に存在する人や物体などと移動体ＴＧとの位置関係が把握しやすい画像となる。この俯瞰画像は、たとえば移動体ＴＧが車両である場合に駐車動作を行う場合に用いられ、ユーザが駐車動作を行う際にユーザから見た死角を無くす、駐車動作を補佐する画像とすることができる。

次に、図４を用いて、移動状態検出部１１によって移動体ＴＧが後退中（ｘ軸マイナス方向に進行中）であることが検出された場合について説明する。この場合、飛行制御部１２は、飛行体１を移動体ＴＧから見て進行方向の上空、つまり移動体ＴＧの後方上空（移動体ＴＧを基準にしてｘ軸マイナス方向且つｚ軸プラス方向）に移動させるように制御する。移動体ＴＧと飛行体１との距離は、予め定めた所定距離、たとえば３０ｍなどであってもよいが、移動体ＴＧの移動速度や移動状態に応じて制御されてもよく、ユーザが設定可能であることが好ましい。また、撮影制御部１３は、移動体ＴＧの後方上空から当該移動体ＴＧ及びその周辺（飛行体１を基準にしてｘ軸プラス方向且つｚ軸マイナス方向）を撮影するように撮像部１４を制御する。それにより、飛行体１は、後退中の移動体ＴＧの後方及びその周辺を効果的に撮影することが可能となる。この撮影画像は、たとえば移動体ＴＧが車両である場合に駐車動作を行う場合に用いられ、ユーザが駐車動作を行う際にユーザから見た死角を無くす、駐車動作を補佐する画像とすることができる。

なお、飛行制御部１２及び撮影制御部１３は、例えばギアがバックギアにセットされた場合などのように、移動状態検出部１１によって移動体ＴＧが後退するであろうと推定された場合にも、移動状態検出部１１によって移動体ＴＧが後退中であることが検出された場合と同様の制御を行うように構成されても良い。

次に、図５を用いて、移動体ＴＧの移動速度に応じた飛行体１の飛行状態について説明する。図５を参照すると、飛行制御部１２は、移動体ＴＧの移動速度が低速である場合、飛行体１の高度ｈ１を低くする。そして、飛行制御部１２は、移動体ＴＧの移動速度が高速になるほど、飛行体１の高度ｈ１を高くして、撮像部１４の撮影範囲を広くする。それにより、飛行体１は、移動体ＴＧが高速に移動する場合でも当該移動体ＴＧを撮影範囲内に収めることができる。

飛行体１は、例えば工場等の私有地において、移動体ＴＧである車両の駐車支援に好適に用いられる。具体的には、飛行体１は、駐車動作初期（車両が比較的高速に移動する期間）には自機の高度を高くして車両を撮影範囲内に収めるようにし、駐車動作が進むにつれて（車両の移動速度が遅くなるにつれて）自機の高度を徐々に低くして車両の駐車状況をより詳細に撮影する。また、飛行体１は、車両のギアがバックギアにセットされたことを検出した場合、車両の後方上空に移動して、そこから車両の後方を撮影する。ここで、飛行体１の撮像部１４によって撮影された映像は、例えば、図示しない通信部を介して車両に搭載された表示装置に送信され、表示される。つまり、飛行体１と、車両に搭載された表示装置と、によって車両監視システムが構成される。それにより、車両の運転者は、車両に搭載された表示装置に表示された映像を見ながら容易に駐車をすることが可能となる。なお、飛行体１の撮像部１４によって撮影された映像は、車両に搭載された表示装置に表示される場合に限られず、例えば、図示しない通信部を介してユーザが持つ携帯端末の表示画面に送信され、表示されても良く、外部ネットワークに接続されるサーバなどに送信されてもよい。また、図示しない記録部によって記録されてもよい。

その他、飛行体１は、農地等の私有地において、移動体ＴＧである耕運機の走行支援に用いられても良い。或いは、飛行体１は、移動体ＴＧである人の進行方向に移動して、当該人を常に正面から撮影する等、趣味的に用いられても良い。

このように、本実施の形態にかかる飛行体１は、撮影対象である移動体ＴＧの移動状態に基づいて、飛行体１の飛行、及び、カメラ等の撮像部１４を制御することにより、移動体ＴＧを所望の位置から撮影することができる。つまり、本実施の形態にかかる飛行体１は、移動体ＴＧの移動状態によらず、移動体ＴＧを所望の位置から撮影することができ、撮影品質を向上させることができる。

なお、上記実施の形態では、飛行体１が常に自動制御される場合を例に説明したが、これに限られない。例えば、飛行体１は、撮像部１４によって撮影される映像が表示される表示装置を持つユーザによって一時的に手動で制御されても良い。

（飛行体１の飛行制御機能及び撮影制御機能のハードウェア構成）
なお、飛行体１に設けられた飛行制御部１２によって実現される飛行制御処理、及び、撮影制御部１３によって実現される撮影制御処理は、汎用的なコンピュータシステムにより実現可能である。以下、図６を用いて簡単に説明する。

図６は、飛行体１の飛行制御機能及び撮影制御機能のハードウェア構成の一例を示すブロック図である。コンピュータ１００は、例えば、制御装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、を備える。コンピュータ１００は、さらに、外部とのインターフェースであるＩＦ（Ｉｎｔｅｒ Ｆａｃｅ）１０４と、不揮発性記憶装置の一例であるＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０５と、を備える。さらに、コンピュータ１００は、その他図示しない構成として、キーボードやマウス等の入力装置やディスプレイ等の表示装置を備えていても良い。

ＨＤＤ１０５には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）（不図示）と、飛行制御処理プログラム１０６と、撮影制御処理プログラム１０７と、が記憶されている。飛行制御処理プログラム１０６は、本実施の形態に係る飛行制御処理が実装されたコンピュータプログラムであって、撮影制御処理プログラム１０７は、本実施の形態に係る撮影制御処理が実装されたコンピュータプログラムである。飛行制御処理プログラム１０６と、撮影制御処理プログラム１０７と、を組み合わせて飛行制御プログラムとも称す。ＨＤＤ１０５は、ＳＤカードなどの記録媒体やＩＣメモリ、ディスクなどで代替されてもよい。

ＣＰＵ１０１は、コンピュータ１００における各種処理、ＲＡＭ１０２，ＲＯＭ１０３，ＩＦ１０４及びＨＤＤ１０５へのアクセス等を制御する。コンピュータ１００は、ＣＰＵ１０１がＨＤＤ１０５に記憶されたＯＳ、飛行制御処理プログラム１０６、及び、撮影制御処理プログラム１０７を読み込み、実行する。これにより、コンピュータ１００は、本実施の形態にかかる飛行体１の飛行制御機能及び撮影制御処理を実現する。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

たとえば、飛行制御部１２は、移動体ＴＧが前進中または後進中である場合に、飛行体１を移動体ＴＧから見て進行方向の上空に移動させるように制御する形態に限定されない。移動体ＴＧが移動中である場合に、移動体ＴＧから見て進行方向と逆となる方向に飛行体１を移動させてもよい。このとき撮影画像は、移動体ＴＧおよびその周囲を後方から撮影する画像となり、たとえば移動体ＴＧが人である場合に、人に後方から近づく車両や不審者を撮影し、人が携帯する携帯機器に向けて送信して表示されることで、事故や事件に巻き込まれる危険性を報知することができる。また移動体ＴＧの進行方向から見て所定の角度を持った位置に飛行体１を移動させてもよい。この所定の角度は、移動体ＴＧの移動速度に応じて制御されてもよい。たとえば移動体ＴＧが車両である場合に、低速走行から高速走行になるに従って車両前方正面から斜めに飛行体１を移動させていくことで、臨場感のある画像を撮影し、記録させることができる。

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。 また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 飛行体
１１ 移動状態検出部
１２ 飛行制御部
１３ 撮影制御部
１４ 撮像部
１００ コンピュータ
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ ＩＦ
１０５ ＨＤＤ
１０６ 飛行制御処理プログラム
１０７ 撮影制御処理プログラム
ＴＧ 移動体

Claims (8)

1. 撮影対象である移動体の移動状態を検出する移動状態検出部と、
   前記移動状態検出部によって検出された前記移動体の移動状態に基づいて自機の飛行を制御する飛行制御部と、
   撮像部と、
   前記移動状態検出部によって検出された前記移動体の移動状態に基づいて前記撮像部を制御する撮影制御部と、
   を備えた、飛行体。
2. 前記移動状態検出部によって前記移動体が移動中であることが検出された場合、
   前記飛行制御部は、前記自機を前記移動体から見て進行方向の上空に移動させるように制御し、かつ、
   前記撮影制御部は、前記移動体の移動方向の上空から前記移動体を撮影するように前記撮像部を制御する、
   請求項１に記載の飛行体。
3. 前記移動状態検出部によって、前記移動体が停止中であることが検出された場合、
   前記飛行制御部は、前記自機を前記移動体から見て鉛直方向の真上に移動させるように制御し、かつ、
   前記撮影制御部は、前記移動体の上空から前記移動体を撮影するように前記撮像部を制御する、
   請求項１又は２に記載の飛行体。
4. 前記飛行制御部は、前記移動状態検出部によって検出された前記移動体の移動速度に応じて前記自機の高度を制御するように構成されている、
   請求項１〜３の何れか一項に記載の飛行体。
5. 前記移動体は、車両であって、
   前記移動状態検出部は、前記車両から車両情報を取得する通信部を備え、当該通信部によって取得された前記車両情報に基づいて前記車両の移動方向を推定するように構成され、
   前記飛行制御部は、前記移動状態検出部によって推定された前記車両の移動方向の上空に前記自機を移動させるように制御し、かつ、
   前記撮影制御部は、前記移動状態検出部によって推定された前記車両の移動方向の上空から前記移動体を撮影するように前記撮像部を制御する、
   請求項１〜４の何れか一項に記載の飛行体。
6. 請求項１〜５の何れか一項に記載の飛行体と、
   車両に搭載され、前記飛行体によって撮影された映像を表示させる表示装置と、
   を備えた、車両監視システム。
7. 撮影対象である移動体の移動状態を検出するステップと、
   検出された前記移動体の移動状態に基づいて自機の飛行を制御するステップと、
   検出された前記移動体の移動状態に基づいて撮像部を制御するステップと、
   を備えた、飛行体の制御方法。
8. 撮影対象である移動体の移動状態を検出する処理と、
   検出された前記移動体の移動状態に基づいて自機の飛行を制御する処理と、
   検出された前記移動体の移動状態に基づいて撮像部を制御する処理と、
   をコンピュータに実行させる飛行制御プログラム。

Images