JP2020155067A - 制御プログラム、制御方法及び無人移動体 - Google Patents

Abstract

【課題】撮像装置を搭載し、移動中に画像データを撮影することで検出対象を検出する無人移動体において、出動回数を減らす。【解決手段】所定区間を無人移動体１００が前進移動中に撮影した画像データから検出対象６００を検出する画像処理工程と、検出対象が検出された場合に無人移動体の前進移動を中断し、該検出対象が検出された画像データが撮影された際の位置まで無人移動体が後退移動するよう制御する制御工程と、をコンピュータに実行させるための制御プログラムであって、制御工程は、後退移動した後の所定の動作が完了すると、所定区間の前進移動を再開するよう制御することを特徴とする。【選択図】図６

Description

本発明は、制御プログラム、制御方法及び無人移動体に関する。

従来より、無人移動体（例えば、ドローン等の無人飛行機）に撮像装置を搭載し、所定区間を移動させながら撮影を行うことで、所定区間内の検査対象（または監視対象）を検査（または監視）する技術が知られている。

例えば、下記特許文献等には、ドローン等の無人飛行機に撮像装置を搭載し、所定区間を飛行させながら、高所にある検査対象（例えば、鉄塔間に張架された架空地線や電線等）を撮影することで、所定区間内の検査対象を検査する構成が開示されている。

特開平２−１４６６０８号公報 特開２００６−０２７４４８号公報 特開２０１７−１２３０１６号公報 特開２０１８−０７４７５７号公報 特開２０１８−１１４８０７号公報 特開２０１８−１４３０３６号公報

しかしながら、従来の無人飛行機の場合、飛行中に撮影した画像データを帰還してから解析装置に入力し、解析装置にて画像データの解析を行っていた。このため、例えば、解析した画像データにおいて欠陥箇所（検出対象）が検出され、当該欠陥箇所について、更なる詳細な調査が必要となった場合には、無人飛行機を、再度、欠陥箇所が検出された位置まで、飛行させる必要があった。

本発明は上記課題に鑑みてなされたものであり、撮像装置を搭載し、移動中に画像データを撮影することで検出対象を検出する無人移動体において、出動回数を減らすことを目的とする。

一態様によれば、制御プログラムは、
所定区間を無人移動体が前進移動中に撮影した画像データから検出対象を検出する画像処理工程と、
前記検出対象が検出された場合に前記無人移動体の前進移動を中断し、該検出対象が検出された画像データが撮影された際の位置まで前記無人移動体が後退移動するよう制御する制御工程と、をコンピュータに実行させるための制御プログラムであって、
前記制御工程は、後退移動した後の所定の動作が完了すると、前記無人移動体の前進移動を再開するよう制御することを特徴とする。

撮像装置を搭載し、移動中に画像データを撮影することで検出対象を検出する無人移動体において、出動回数を減らすことができる。

無人飛行機を含む無人飛行システムのシステム構成の一例を示す図である。 飛行プランの一例を示す第１の図である。 無人飛行機の外観構成及び機能構成の一例を示す図である。 無人飛行機の制御装置のハードウェア構成の一例を示す図である。 画像データ格納部に格納される情報の一例を示す図である。 欠陥箇所検出時の動作例を示す図である。 無人飛行機による検査処理の流れを示すフローチャートである。 欠陥箇所検出時の処理の流れを示すフローチャートである。 飛行プランの一例を示す第２の図である。 検出対象検出時の動作例を示す図である。 無人飛行機による監視処理の流れを示すフローチャートである。 検出対象検出時の処理の流れを示すフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜無人飛行システムのシステム構成＞
はじめに、無人移動体の一例である無人飛行機を含む、無人飛行システムのシステム構成について説明する。図１は、無人飛行機を含む無人飛行システムのシステム構成の一例を示す図である。図１に示すように、無人飛行システム１０は、無人飛行機１００と、情報処理装置１１０とを有する。

無人飛行機１００は、情報処理装置１１０において生成された飛行プランを設定し、設定した飛行プランに従って飛行する。また、無人飛行機１００は、飛行中、動画像の撮影を行う。なお、第１の実施形態において、無人飛行機１００は、検査対象である架空地線または電線を検査するための飛行を行うものとする（ただし、以下では、説明の簡略化のため、架空地線を検査するための飛行を行うものとして説明する）。

また、無人飛行機１００は、飛行中に撮影した動画像を、飛行中に処理することで各フレーム画像のいずれかより欠陥箇所（検出対象）を検出するとともに、検出結果に応じた飛行を行う。

情報処理装置１１０は、飛行プランを生成し、無人飛行機１００に送信する。また、情報処理装置１１０は、無人飛行機１００の飛行中の状態を監視し、必要に応じて、無人飛行機１００に対して、オペレータが各種指示を送信する。

＜飛行プランの説明＞
次に、無人飛行機１００に設定される飛行プランについて説明する。図２は、飛行プランの一例を示す第１の図である。このうち、図２（ａ）は、飛行プランの具体例を示す図である。図２（ａ）に示すように、飛行プラン２００には、情報の項目として、"ポイント"、"緯度、経度、高度"が含まれる。

"ポイント"には、ホームポジション（ＨＰ）と、ウェイポイント（ＷＰ）とが、飛行順序に従って格納される。図２（ａ）の例は、ＨＰ→ＷＰ１→ＷＰ２→ＷＰ３→ＷＰ４→ＨＰの飛行順序で、無人飛行機１００が飛行する予定であることを示している。"緯度、経度、高度"には、対応する各ウェイポイント（ＷＰ）等の緯度、経度、高度を示す情報が格納される。

図２（ｂ）は、飛行プラン２００に含まれる各ウェイポイント等の位置及び飛行プラン２００に基づく飛行ルートを模式的に示した図である。図２（ｂ）の例は、ＷＰ１が鉄塔２１０の上方であって、鉄塔２１０から所定距離離れた位置にあり、ＷＰ２が鉄塔２１０の頂点近傍にあることを示している。また、図２（ｂ）の例は、ＷＰ３が鉄塔２２０の頂点近傍にあり、ＷＰ４が鉄塔２２０の上方であって、鉄塔２２０から所定距離離れた位置にあることを示している。

図２（ｂ）に示すように、飛行プラン２００によれば、無人飛行機１００は、ＨＰから飛び立ってＷＰ１まで飛行した後（飛行ルート２４１参照）、ＷＰ２まで下降する（飛行ルート２４２参照）。その後、無人飛行機１００は、ＷＰ２とＷＰ３との間（所定区間）を、架空地線２３０との距離が一定となるように飛行する（飛行ルート２４３参照）。そして、無人飛行機１００は、ＷＰ３に到達すると、ＷＰ４まで上昇し（飛行ルート２４４参照）、ＷＰ４からＨＰに戻る（飛行ルート２４５参照）。

＜無人飛行機の外観構成及び機能構成＞
次に、無人飛行機１００の外観構成及び機能構成について説明する。図３は、無人飛行機の外観構成及び機能構成の一例を示す図である。図３（ａ）に示すように、無人飛行機１００は、機体部３１０と付属部３２０とを含む。また、図３（ｂ）に示すように、機体部３１０には、飛行部３１１と、制御装置３１２とが含まれ、付属部３２０には、撮像部３２１が含まれる。

飛行部３１１には、無人飛行機１００を飛行させるための機構（プロペラ、モータ等）が含まれる。

制御装置３１２は、機体部３１０の飛行部３１１や付属部３２０の撮像部３２１等を制御するための装置である。制御装置３１２には、制御プログラムがインストールされており、当該プログラムが実行されることで、制御装置３１２は、飛行制御部３１３、位置情報記録部３１４、画像処理部３１５として機能する。

飛行制御部３１３は、無人飛行機１００が、飛行データ格納部３１６に設定された飛行プラン（例えば、飛行プラン２００）に含まれる複数のウェイポイント間を接続する飛行ルートを飛行するよう、飛行中の位置座標に基づき飛行部３１１を制御する。なお、飛行制御部３１３は、ＷＰ２とＷＰ３との間を前進飛行する際、検査対象である架空地線との距離が一定となるように、飛行部３１１を制御する。

また、飛行制御部３１３は、架空地線を撮影した動画像の各フレーム画像のいずれかより欠陥箇所が検出されると、前進飛行を中断する。また、飛行制御部３１３は、欠陥箇所検出時の動作として、欠陥箇所が検出されたフレーム画像が撮影された際の飛行位置まで、無人飛行機１００が後退飛行するよう、飛行部３１１を制御する。更に、飛行制御部３１３は、当該飛行位置にて無人飛行機１００が停止するよう、飛行部３１１を制御する。なお、飛行制御部３１３は、欠陥箇所検出時の他の動作も含むが全ての動作が完了すると、後退飛行する前の位置まで戻り、飛行ルートに従った前進飛行を再開するよう、飛行部３１１を制御する。

位置情報記録部３１４は、飛行中の位置座標（緯度、経度、高度）を取得し、飛行制御部３１３に通知するとともに、画像データ格納部３１７に格納する。

画像処理部３１５は、撮像部３２１に対して撮影開始と撮影停止とを指示し、撮像部３２１により撮影された動画像を、時刻情報及び位置座標と対応付けて画像データ格納部３１７に格納する。なお、画像処理部３１５は、飛行開始とともに撮像部３２１による撮影を開始し、飛行終了とともに撮像部３２１による撮影を停止する。また、画像処理部３１５は、架空地線を撮影した動画像の各フレーム画像のいずれかより架空地線の欠陥箇所を検出し、欠陥箇所を検出したフレーム画像を特定する。更に、画像処理部３１５は、欠陥箇所検出時の動作として、無人飛行機１００が後退飛行し、上記飛行位置に停止した際、撮像部３２１が欠陥箇所に対してズーム撮影を行うよう制御する。

＜制御装置のハードウェア構成＞
次に、無人飛行機１００の制御装置３１２のハードウェア構成について説明する。図４は、無人飛行機の制御装置のハードウェア構成の一例を示す図である。図４に示すように、制御装置３１２は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を有する。なお、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３は、いわゆるコンピュータを形成する。

また、制御装置３１２は、補助記憶装置４０４、表示装置４０５、操作装置４０６、位置情報計測装置４０７、Ｉ／Ｆ（Interface）装置４０８を有する。なお、制御装置３１２の各部は、バス４１０を介して相互に接続される。

ＣＰＵ４０１は、補助記憶装置４０４にインストールされている各種プログラム（例えば、制御プログラム等）を実行する演算デバイスである。ＲＯＭ４０２は、不揮発性メモリであり、補助記憶装置４０４にインストールされている各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ４０３は、補助記憶装置４０４にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置４０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、飛行データ格納部３１６、画像データ格納部３１７は、補助記憶装置４０４において実現される。

表示装置４０５は、制御装置３１２の内部状態等を表示する出力デバイスである。操作装置４０６は、制御装置３１２に各種指示を入力する入力デバイスである。位置情報計測装置４０７は、ＧＰＳ（Global Positioning System）衛星から電波を受信することで、無人飛行機１００の飛行中の位置座標を計測する計測デバイスである。Ｉ／Ｆ装置４０８は、無人飛行機１００が情報処理装置１１０との間で通信を行うための接続デバイスである。

＜画像データ格納部に格納される情報＞
次に、無人飛行機１００の飛行中に、画像処理部３１５及び位置情報記録部３１４により画像データ格納部３１７に格納される情報について説明する。図５は、画像データ格納部に格納される情報の一例を示す図である。

図５に示すように、画像データ格納部３１７に格納される情報５００には、情報の項目として、"時刻"、"緯度、経度、高度"、"画像データ"、"欠陥箇所"が含まれる。"時刻"には、撮像部３２１が動画像を撮影した際に取得した時刻情報が格納される。"緯度、経度、高度"には、位置情報記録部３１４が位置情報計測装置４０７より取得した、無人飛行機１００の位置座標（緯度、経度、高度）が格納される。"画像データ"には、画像処理部３１５が、飛行中に取得した動画像の各フレーム画像が格納される。"欠陥箇所"には、飛行中に撮影された動画像の各フレーム画像を、画像処理部３１５が処理することで、各フレーム画像のいずれかより欠陥箇所を検出した場合に、欠陥箇所を検出したフレーム画像に対応付けて、欠陥箇所を検出したことを示す情報が格納される。図５の例は、欠陥箇所を検出したことを示す情報として、"×"が格納されることを示している。

図５の例は、位置座標（緯度、経度、高度）＝（Ｌａ１１，Ｌｏ１１，Ａｌ１１）を飛行した際に撮影されたフレーム画像において、欠陥箇所が検出されたことを示している。また、図５の例は、位置座標（緯度、経度、高度）＝（Ｌａ１００，Ｌｏ１００，Ａｌ１００）を飛行した際に撮影されたフレーム画像において、欠陥箇所が検出されたことを示している。

＜欠陥箇所検出時の動作例＞
次に、無人飛行機１００の欠陥箇所検出時の動作例について説明する。図６は、欠陥箇所検出時の動作例を示す図である。このうち、図６（ａ）は、架空地線２３０に対して所定距離を維持しながら、架空地線２３０に沿って無人飛行機１００が前進飛行している最中に、画像処理部３１５が、撮影された動画像のフレーム画像より、欠陥箇所６００を検出した様子を示している。なお、符号６１０は、撮像部３２１の通常撮影時の撮影範囲を示している。

図６（ｂ）は、画像処理部３１５が、欠陥箇所６００を検出したことで、無人飛行機１００が前進飛行を中断した様子を示している。図６（ｂ）に示すように、画像処理部３１５が欠陥箇所６００を検出したタイミングで、無人飛行機１００が前進飛行を中断しても、惰性により、無人飛行機１００は、欠陥箇所６００よりも先の位置で停止する。そこで、飛行制御部３１３は、図６（ｂ）に示すように、無人飛行機１００が、欠陥箇所６００の位置（欠陥箇所６００が検出されたフレーム画像が撮影された際の飛行位置）まで後退飛行するよう、飛行部３１１を制御する。

図６（ｃ）は、無人飛行機１００の後退飛行が完了し、無人飛行機１００が欠陥箇所６００の位置に停止した様子を示している。無人飛行機１００が欠陥箇所６００の位置に停止すると、画像処理部３１５は、欠陥箇所６００に対してズーム撮影を行う。なお、符号６２０は、撮像部３２１のズーム撮影時の撮影範囲を示している。

これにより、画像処理部３１５は、欠陥箇所６００の詳細な調査に適した動画像を取得することができる。なお、画像処理部３１５によるズーム撮影が完了すると、飛行制御部３１３は、無人飛行機１００が、後退飛行する前の位置まで戻り、再び、架空地線２３０に対して所定距離を維持しながら、架空地線２３０に沿って前進飛行するよう、飛行部３１１を制御する。このとき、撮像部３２１は、通常撮影にて動画像を撮影する。

＜無人飛行機による検査処理の流れ＞
次に、無人飛行機１００による検査処理の流れについて説明する。図７は、無人飛行機による検査処理の流れを示すフローチャートである。図７に示す検査処理は、無人飛行機１００が、ＷＰ２に到達することで実行開始し、ＷＰ３に到達することで実行終了する。

ステップＳ７０１において、飛行制御部３１３は、無人飛行機１００が架空地線２３０に対して所定距離を維持しながら、架空地線２３０に沿って前進飛行を開始するよう、飛行部３１１を制御する。

ステップＳ７０２において、画像処理部３１５は、撮像部３２１が架空地線２３０について撮影した動画像の各フレーム画像について、処理を開始する。なお、画像処理部３１５では、撮像部３２１により撮影された動画像を、時刻情報及び位置座標と対応付けて画像データ格納部３１７に格納する処理を、既に、飛行開始時に（ＷＰ２に到達する前から）開始しているものとする。

ステップＳ７０３において、画像処理部３１５は、処理対象のフレーム画像において、欠陥箇所を検出したか否かを判定する。ステップＳ７０３において、欠陥箇所を検出していないと判定した場合には（ステップＳ７０３においてＮｏの場合には）、ステップＳ７０６に進む。

一方、ステップＳ７０３において、欠陥箇所を検出したと判定した場合には（ステップＳ７０３においてＹｅｓの場合には）、欠陥箇所を検出したことを示す情報を画像データ格納部３１７に格納し、ステップＳ７０４に進む。ステップＳ７０４において、飛行制御部３１３及び画像処理部３１５は、欠陥箇所検出時の処理を実行する。なお、欠陥箇所検出時の処理の詳細は、後述する。

ステップＳ７０５において、飛行制御部３１３は、無人飛行機１００が、欠陥箇所検出時の処理を実行する前の位置まで戻るよう、飛行部３１１を制御する。また、飛行制御部３１３は、無人飛行機１００が再び架空地線２３０に対して所定距離を維持しながら、架空地線２３０に沿って前進飛行するよう、飛行部３１１を制御する。

ステップＳ７０６において、飛行制御部３１３は、検査対象である架空地線２３０を全て検査したか否か（ＷＰ３に到達したか否か）を判定する。ステップＳ７０６において、検査していない領域があると判定した場合には（ステップＳ７０６においてＮｏの場合には）、ステップＳ７０３に戻る。一方、ステップＳ７０６において、架空地線２３０を全て検査したと判定した場合には（ステップＳ７０６においてＹｅｓの場合には）、検査処理を終了する。

＜欠陥箇所検出時の処理＞
次に、欠陥箇所検出時の処理（ステップＳ７０４）の詳細について説明する。図８は、欠陥箇所検出時の処理の流れを示すフローチャートである。飛行制御部３１３は、画像データ格納部３１７を常時参照しており、欠陥箇所を検出したことを示す情報が、画像処理部３１５により格納されると、これを検知する。

そして、ステップＳ８０１において、飛行制御部３１３は、欠陥箇所を検出したことを示す情報に対応付けて格納された位置座標を取得することで、欠陥箇所が検出されたフレーム画像が撮影された際の無人飛行機１００の位置座標を特定する。また、飛行制御部３１３は、無人飛行機１００が、特定した位置座標まで後退飛行を行うよう、飛行部３１１を制御する。

ステップＳ８０２において、飛行制御部３１３は、無人飛行機１００が、特定した位置座標に到達すると、当該位置座標で無人飛行機１００が停止するよう、飛行部３１１を制御する。なお、飛行制御部３１３は、当該位置座標近傍（前後）を、無人飛行機１００が微速飛行するよう、飛行部３１１を制御してもよい。

ステップＳ８０３において、画像処理部３１５は、撮像部３２１に対してズーム撮影を行うよう指示する。また、ステップＳ８０４において、画像処理部３１５は、撮像部３２１がズーム撮影した動画像を取得し、画像データ格納部３１７に格納する。

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る無人飛行機は、
・検査対象である架空地線が張架された所定区間（ＷＰ２〜ＷＰ３）を前進飛行中に、動画像を撮影し、撮影した動画像の各フレーム画像のいずれかより欠陥箇所を検出する。
・欠陥箇所を検出した場合に、当該欠陥箇所が検出されたフレーム画像を撮影した際の無人飛行機の位置座標を特定する。
・欠陥箇所を検出した場合に前進飛行を中断し、特定した位置座標まで後退飛行した後、ズーム撮影を行う。
・ズーム撮影が完了すると、後退飛行する前の位置まで戻り、所定区間の前進飛行を再開する。

このように、第１の実施形態によれば、飛行中に欠陥箇所を検出するごとに、前進飛行を中断して後退飛行し、欠陥箇所のズーム撮影を行う。これにより、従来のように、帰還後に動画像を解析し、欠陥箇所を検出した場合に、検出した欠陥箇所について詳細な調査を行うために、再度、無人飛行機を飛行させるといった事態を回避することができる。この結果、第１の実施形態によれば、撮像装置を搭載し、飛行中に画像データを撮影することで検出対象を検出する無人飛行機において、出動回数を減らすことができる。

［第２の実施形態］
上記第１の実施形態では、所定区間を前進飛行する際、検査対象を撮影する場合について説明した。しかしながら、撮影は、特定の検査対象に限定されず、例えば、所定区間の地上領域全体に対して行ってもよい。この場合、所定区間の地上領域全体を監視対象とし、監視対象において検出すべき検出対象を予め設定しておくものとする。そして、無人飛行機は、所定区間を前進飛行している最中に、監視対象を撮影し、動画像の各フレーム画像のいずれかより検出対象を検出した場合に、前進飛行を中断し、検出対象の位置まで後退飛行したうえで、ズーム撮影を行う。更に、ズーム撮影が完了すると、無人飛行機は、後退飛行する前の位置まで戻り、所定区間の前進飛行を再開する。

これにより、従来のように、帰還後に動画像を解析し、検出対象を検出した場合に、検出対象についての詳細な調査を行うために、再度、無人飛行機を飛行させるといった事態を回避することができる。この結果、撮像装置を搭載し、飛行中に画像データを撮影することで検出対象を検出する無人飛行機において、出動回数を減らすことができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に、詳細を説明する。

＜飛行プランの説明＞
はじめに、第２の実施形態に係る無人飛行機１００に設定される飛行プランについて説明する。図９は、飛行プランの一例を示す第２の図である。このうち、図９（ａ）は、飛行プランの具体例を示す図である。図９（ａ）に示すように、飛行プラン９００には、情報の項目として、"ポイント"、"緯度、経度、高度"が含まれる。

"ポイント"には、ホームポジション（ＨＰ）と、ウェイポイント（ＷＰ）とが、飛行順序に従って格納される。図９（ａ）の例は、ＨＰ→ＷＰ１→ＷＰ２→ＨＰの飛行順序で、無人飛行機１００が飛行する予定であることを示している。"緯度、経度、高度"には、対応する各ウェイポイント（ＷＰ）等の緯度、経度、高度を示す情報が格納される。

図９（ｂ）は、飛行プラン９００に含まれる各ウェイポイント等の位置及び飛行プラン９００に基づく飛行ルートを模式的に示した図である。図９（ｂ）の例は、ＷＰ１が上空の所定の位置に設定され、ＷＰ２が上空の他の所定の位置に設定されたことを示している。

図９（ｂ）に示すように、飛行プラン９００によれば、無人飛行機１００は、ＨＰから飛び立ってＷＰ１まで飛行した後（飛行ルート９１１参照）、ＷＰ１とＷＰ２との間を直線で結ぶルートを所定区間として前進飛行する（飛行ルート９１２参照）。そして、ＷＰ２に到達すると、無人飛行機１００は、ＷＰ２からＨＰに戻る（飛行ルート９１３参照）。

なお、ＷＰ１とＷＰ２との間を直線で結ぶルートを所定区間として前進飛行している間、無人飛行機１００は、所定区間の下方の地上領域全体を監視対象として撮影を行う。そして、無人飛行機１００は、予め設定された検出対象（図９の例では、検出対象９２０）が監視対象内において検出されたか否かを判定する。

なお、第２の実施形態において、検出対象は、動画像の各フレーム画像より検出可能なものであれば、任意のものを設定することができる。具体的には、検出対象は、静止物体（例えば、建物）であっても動体であってもよい。また、動体の場合にあっては、人工物（例えば、自動車）であっても生物（人、動物）であってもよい。

＜検出対象検出時の動作例＞
次に、無人飛行機１００の検出対象検出時の動作例について説明する。図１０は、検出対象検出時の動作例を示す図である。このうち、図１０（ａ）は、飛行ルート９１２に沿って、無人飛行機１００が前進飛行している最中に、画像処理部３１５が、監視対象を撮影した動画像の各フレーム画像のいずれかより、検出対象９２０を検出した様子を示している。なお、符号１０１０は、撮像部３２１の通常撮影時の撮影範囲を示している。

図１０（ｂ）は、画像処理部３１５が、検出対象９２０を検出したことで、無人飛行機１００が前進飛行を中断した様子を示している。図１０（ｂ）に示すように、画像処理部３１５が検出対象９２０を検出したタイミングで、無人飛行機１００が前進飛行を中断しても、惰性により、無人飛行機１００は、検出対象９２０よりも先の位置で停止する。そこで、飛行制御部３１３は、図１０（ｂ）に示すように、無人飛行機１００が、検出対象９２０の位置（検出対象９２０が検出されたフレーム画像が撮影された際の飛行位置）まで後退飛行するよう、飛行部３１１を制御する。なお、図１０（ｂ）に示すように、後退飛行を行うにあたり、飛行制御部３１３は、無人飛行機１００が高度を下げ、検出対象９２０との高さ方向の距離が短くなるように、飛行部３１１を制御してもよい。

図１０（ｃ）は、無人飛行機１００の後退飛行が完了し、無人飛行機１００が検出対象９２０の位置に停止した様子を示している。無人飛行機１００が検出対象９２０の位置に停止すると、画像処理部３１５は、検出対象９２０に対してズーム撮影を行う。なお、符号１０２０は、撮像部３２１のズーム撮影時の撮影範囲を示している。

これにより、画像処理部３１５は、検出対象９２０の詳細な調査に適した動画像を取得することができる。

なお、撮像部３２１によるズーム撮影の間、無人飛行機１００は、検出対象９２０の位置に停止していてもよいし、検出対象９２０の位置の前後を、微速飛行してもよい。また、検出対象９２０が動体の場合にあっては、無人飛行機１００は、動体の移動にあわせて微速飛行してもよい。停止した状態での、あるいは、微速飛行した状態での画像処理部３１５によるズーム撮影が完了すると、飛行制御部３１３は、無人飛行機１００が、後退飛行する前の位置まで戻り、再び、飛行ルート９１２に沿って前進飛行するよう、飛行部３１１を制御する。このとき、撮像部３２１は、通常撮影にて動画像を撮影する。

＜無人飛行機による監視処理の流れ＞
次に、無人飛行機１００による監視処理の流れについて説明する。図１１は、無人飛行機による監視処理の流れを示すフローチャートである。図１１に示す監視処理は、無人飛行機１００が、ＷＰ１に到達することで実行開始し、ＷＰ２に到達することで実行終了する。

ステップＳ１１０１において、飛行制御部３１３は、無人飛行機１００が飛行ルート９１２に沿って前進飛行を開始するよう、飛行部３１１を制御する。

ステップＳ１１０２において、画像処理部３１５は、撮像部３２１が監視対象について撮影した動画像の各フレーム画像について、処理を開始する。なお、画像処理部３１５では、撮像部３２１により撮影された動画像を、時刻情報及び位置座標と対応付けて画像データ格納部３１７に格納する処理を、既に、飛行開始時に（ＷＰ１に到達する前から）開始しているものとする。

ステップＳ１１０３において、画像処理部３１５は、処理対象のフレーム画像において、検出対象を検出したか否かを判定する。ステップＳ１１０３において、検出対象を検出していないと判定した場合には（ステップＳ１１０３においてＮｏの場合には）、ステップＳ１１０６に進む。

一方、ステップＳ１１０３において、検出対象を検出したと判定した場合には（ステップＳ１１０３においてＹｅｓの場合には）、検出対象を検出したことを示す情報を、画像データ格納部３１７に格納し、ステップＳ１１０４に進む。ステップＳ１１０４において、飛行制御部３１３及び画像処理部３１５は、検出対象検出時の処理を実行する。なお、検出対象検出時の処理の詳細は、後述する。

ステップＳ１１０５において、飛行制御部３１３は、無人飛行機１００が検出対象検出時の処理を実行する前の位置まで戻るよう、飛行部３１１を制御する。また、飛行制御部３１３は、無人飛行機１００が再び飛行ルート９１２に沿って前進飛行するよう、飛行部３１１を制御する。

ステップＳ１１０６において、飛行制御部３１３は、飛行ルート９１２の監視対象を全て撮影したか否か（ＷＰ２に到達したか否か）を判定する。ステップＳ１１０６において、飛行ルート９１２の監視対象のうち撮影が完了していない領域があると判定した場合には（ステップＳ１１０６においてＮｏの場合には）、ステップＳ１１０３に戻る。一方、ステップＳ１１０６において、飛行ルート９１２の監視対象を全て撮影したと判定した場合には（ステップＳ１１０６においてＹｅｓの場合には）、監視処理を終了する。

＜検出対象検出時の処理＞
次に、検出対象検出時の処理（ステップＳ１１０４）の詳細について説明する。図１２は、検出対象検出時の処理の流れを示すフローチャートである。飛行制御部３１３は、画像データ格納部３１７を常時参照し、検出対象を検出したことを示す情報が、画像処理部３１５により格納されると、これを検知する。

そして、ステップＳ１２０１において、飛行制御部３１３は、検出対象を検出したことを示す情報に対応付けて格納された位置座標を取得することで、検出対象が検出されたフレーム画像が撮影された際の無人飛行機１００の位置座標を特定する。また、飛行制御部３１３は、無人飛行機１００が、特定した位置座標まで後退飛行を行うよう、飛行部３１１を制御する。なお、このとき、飛行制御部３１３は、無人飛行機１００が高度を下げるよう飛行部３１１を制御してもよい。

ステップＳ１２０２において、飛行制御部３１３は、無人飛行機１００が、特定した位置座標に到達すると、当該位置座標で無人飛行機１００が停止するよう、飛行部３１１を制御する。なお、飛行制御部３１３は、当該位置座標近傍（前後）を、無人飛行機１００が微速飛行するよう、飛行部３１１を制御してもよい。

ステップＳ１２０３において、画像処理部３１５は、撮像部３２１に対してズーム撮影を行うよう指示する。また、ステップＳ１２０４において、画像処理部３１５は、撮像部３２１がズーム撮影した動画像を取得し、画像データ格納部３１７に格納する。

＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る無人飛行機は、
・監視対象である地上領域の上空の所定区間（ＷＰ１〜ＷＰ２）を前進飛行中に、動画像を撮影し、撮影した動画像の各フレーム画像のいずれかより検出対象を検出する。
・検出対象を検出した場合に、当該検出対象が検出されたフレーム画像を撮影した際の無人飛行機の位置座標を特定する。
・検出対象を検出した場合に、前進飛行を中断し、特定した位置座標まで後退飛行した後、ズーム撮影を行う。
・ズーム撮影が完了すると、後退飛行する前の位置まで戻り、所定区間の前進飛行を再開する。

このように、第２の実施形態によれば、飛行中に検出対象を検出するごとに、前進飛行を中断して後退飛行し、検出対象のズーム撮影を行う。これにより、従来のように、帰還後に動画像を解析し、検出対象を検出した場合に、検出した検出対象について詳細な調査を行うために、再度、無人飛行機を飛行させるといった事態を回避することができる。この結果、第２の実施形態によれば、撮像装置を搭載し、飛行中に画像データを撮影することで検出対象を検出する無人飛行機において、出動回数を減らすことができる。

［その他の実施形態］
上記第１及び第２の実施形態では、無人移動体が、空中を飛行する無人飛行機であるとして説明したが、無人移動体は、無人飛行機に限定されない。例えば、地上を移動する無人移動体であってもよいし、海上または海中を移動する無人移動体であってもよい。

この場合、無人移動体は、所定区間を前進移動中（直線移動中）に画像データを撮影し、撮影した画像データから検出対象を検出する。また、無人移動体は、検出対象を検出した場合に前進移動を中断し、当該検出対象が検出されたフレーム画像を撮影した際の無人移動体の位置座標まで後退移動する。更に、無人移動体は、所定の動作が完了すると、後退移動する前の位置まで戻り、所定区間の前進移動を再開する。なお、このときの無人移動体の所定の動作には、後退移動した位置座標に停止した状態で、または、後退移動した位置座標の近傍を微速移動した状態で、検出対象をズーム撮影する動作が含まれる。

また、上記第１及び第２の実施形態では、欠陥箇所検出時（あるいは検出対象検出時）に、撮像部３２１がズーム撮影を自動で行うものとして説明した。しかしながら、撮像部３２１によるズーム撮影は、手動で行ってもよい。具体的には、情報処理装置１１０のオペレータからの指示に基づいて、撮像部３２１を動作させてズーム撮影を行うように構成してもよい。この場合、撮像部３２１により撮影された動画像は、例えば、情報処理装置１１０に送信され、情報処理装置１１０のオペレータは、無人移動体の後退移動が完了したタイミングで、ズーム操作を行うものとする。これにより、情報処理装置１１０のオペレータは、情報処理装置１１０に表示された動画像を見ながら、撮像部３２１を遠隔操作することができる。つまり、撮像部３２１は、情報処理装置１１０のオペレータの指示に基づいて、ズーム撮影を行うことができる。

また、上記第１及び第２の実施形態において、無人飛行機１００は、欠陥箇所（または検出対象）を検出するごとに、欠陥箇所検出時の処理（または検出対象検出時の処理）を行うものとして説明した。しかしながら、欠陥箇所検出時の処理（または検出対象検出時の処理）は、所定区間における前進飛行が完了してから、まとめて行うようにしてもよい。

例えば、第１の実施形態の場合、ＷＰ３に到達した後に、欠陥箇所の位置座標（複数の欠陥箇所が検出された場合には、複数の位置座標それぞれ）まで後退飛行し、ズーム撮影を行うように構成してもよい。また、第２の実施形態の場合、ＷＰ２に到達した後に、検出対象の位置座標（複数の検出対象が検出された場合には、複数の位置座標それぞれ）まで後退飛行し、ズーム撮影を行うように構成してもよい。

また、上記第１及び第２の実施形態において、無人飛行機１００は、欠陥箇所（または検出対象）を検出し、前進飛行の中断及び後退飛行を行った後の所定の動作として、停止（または微速飛行）及びズーム撮影を行うものとして説明した。しかしながら、所定の動作は、停止（または微速飛行）及びズーム撮影に限定されない。例えば、無人飛行機１００に、検出対象に向けて警告を行う警告部を配し、所定の動作として、停止（または微速飛行）及び検出対象に対する警告、を行うように構成してもよい。

あるいは、無人飛行機１００に、欠陥箇所（または検出対象）が検出されたことを情報処理装置１１０のオペレータに報知する報知部を配し、所定の動作として停止（または微速飛行）及び情報処理装置１１０への報知、を行うように構成してもよい。この場合、情報処理装置１１０のオペレータは、報知を受けるごとに無人飛行機１００の動作を遠隔で操作してもよい。ここでいう操作には、上述したズーム撮影の操作に限定されず、ズーム撮影の操作以外の操作が含まれていてもよい。

また、上記第１及び第２の実施形態では、無人飛行機１００の制御装置３１２を、飛行制御部３１３、位置情報記録部３１４、画像処理部３１５として機能させるものとして説明した。しかしながら、これらの一部は、情報処理装置１１０において機能させてもよい。

また、上記第１及び第２の実施形態では、撮像部３２１の種類について言及しなかったが、撮像部３２１は任意の種類（可視、近赤外、中赤外、遠赤外等）のカメラが適用可能である。

また、上記第１の実施形態では、情報処理装置１１０の機能について特に言及しなかったが、情報処理装置１１０は、例えば、画像データ格納部３１７に格納された情報５００を読み出し、欠陥箇所を検索して表示する機能を有していてもよい。また、情報処理装置１１０は、欠陥箇所を表示する際、例えば、地図情報と併せて表示する機能を有していてもよい。

また、上記第１の実施形態では、検査対象として、架空地線（または電線）を例示したが、検査対象はこれに限定されず、例えば、橋梁等の構造物を検査対象としてもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：無人飛行機
１１０ ：情報処理装置
２４３ ：飛行ルート
３１１ ：飛行部
３１２ ：制御装置
３１３ ：飛行制御部
３１４ ：位置情報記録部
３１５ ：画像処理部
３２１ ：撮像部
６００ ：欠陥箇所
９１２ ：飛行ルート
９２０ ：検出対象

Claims (14)

1. 所定区間を無人移動体が前進移動中に撮影した画像データから検出対象を検出する画像処理工程と、
   前記検出対象が検出された場合に前記無人移動体の前進移動を中断し、該検出対象が検出された画像データが撮影された際の位置まで前記無人移動体が後退移動するよう制御する制御工程と、をコンピュータに実行させるための制御プログラムであって、
   前記制御工程は、後退移動した後の所定の動作が完了すると、前記無人移動体の前進移動を再開するよう制御することを特徴とする制御プログラム。
2. 前記画像処理工程は、前記所定区間を前進移動中に撮影した画像データを、撮影時の各位置座標と対応付けて格納することを特徴とする請求項１に記載の制御プログラム。
3. 前記所定の動作は、前記位置に停止した状態で、または、前記位置の近傍を微速移動した状態で、前記検出対象をズーム撮影する動作であることを特徴とする請求項１に記載の制御プログラム。
4. 前記所定の動作には、前記位置の近傍を、前記検出対象の動きに合わせて移動した状態で、前記検出対象をズーム撮影する動作が含まれることを特徴とする請求項３に記載の制御プログラム。
5. 前記所定の動作には、前記位置よりも、前記検出対象に向かって近づいた位置に停止する動作が含まれることを特徴とする請求項３または４に記載の制御プログラム。
6. 前記所定の動作には、前記位置に停止した状態で、または、前記位置の近傍を微速移動した状態で、オペレータの指示に基づいて、前記検出対象を撮影する動作が含まれることを特徴とする請求項３乃至５のいずれか１項に記載の制御プログラム。
7. 前記制御工程は、
   前記画像処理工程において前記検出対象が検出されるごとに前進移動を中断し、前記位置まで後退移動し、前記所定の動作が完了すると、前記所定区間の前進移動を再開することを特徴とする請求項１に記載の制御プログラム。
8. 前記制御工程は、
   前記所定区間の前進移動が完了した後に、複数の前記位置に移動し、所定の動作を行うことを特徴とする請求項１に記載の制御プログラム。
9. 前記画像処理工程において前記検出対象が検出されたことを報知する報知工程を更に有することを特徴とする請求項１に記載の制御プログラム。
10. 前記画像処理工程において前記検出対象が検出された場合に、前記検出対象に向けて警告を行う警告工程を更に有することを特徴とする請求項１に記載の制御プログラム。
11. 前記検出対象は、架空地線または電線の欠陥箇所であり、前記所定区間の前進移動は、所定のウェイポイント間の架空地線または電線に沿って、所定距離を維持しながら行われる前進飛行であることを特徴とする請求項１に記載の制御プログラム。
12. 前記検出対象は、所定の静止物体または動体であり、前記所定区間の前進移動は、所定のウェイポイント間の直線移動であることを特徴とする請求項１に記載の制御プログラム。
13. 所定区間を無人移動体が前進移動中に撮影した画像データから検出対象を検出する画像処理工程と、
    前記検出対象が検出された場合に前記無人移動体の前進移動を中断し、該検出対象が検出された画像データが撮影された際の位置まで前記無人移動体が後退移動するよう制御する制御工程と、を有し、
    前記制御工程は、後退移動した後の所定の動作が完了すると、前記無人移動体の前進移動を再開するよう制御することを特徴とする制御方法。
14. 所定区間を前進移動中に画像データを撮影し、撮影した画像データから検出対象を検出する画像処理部と、
    前記検出対象が検出された場合に前進移動を中断し、該検出対象が検出された画像データが撮影された際の位置まで後退移動するよう制御する制御部と、を有し、
    前記制御部は、後退移動した後の所定の動作が完了すると、前記前進移動を再開するよう制御することを特徴とする無人移動体。

Images