JP2021026351A - 操縦システム、移動体及び操縦装置 - Google Patents

Abstract

【課題】移動体の操縦性を向上させることが可能な操縦システム、移動体及び操縦装置を提供する。【解決手段】移動体１と、移動体を遠隔から操縦する操縦装置２と、を有する操縦システムであって、移動体は、周囲に存在する対象物との相対位置情報を取得する相対位置情報取得部１２０と、周囲画像を撮像する周囲画像撮像部１３０と、周囲画像を前記操縦装置に送信する第１の送信部１４０と、移動先を指示した目標情報を操縦装置から受信する第１の受信部１１０と、移動先に前記移動体を移動させる移動制御部１５０と、移動先の近傍に存在する前記対象物に正対するように姿勢を制御する姿勢制御部と、を備え、記操縦装置は、周囲画像を受信する第２の受信部２１０と、周囲画像を表示する表示部２２０と、表示部に表示された周囲画像に基づいて目標情報の入力を受け付ける操作受付部２３０と、目標情報を前記移動体に送信する第２の送信部２５０と、を備える。【選択図】図６

Description

本開示内容は、操縦システム、移動体及び操縦装置に関する。

従来、高所や狭所、有害物質の発生個所などの構造物について、遠隔操作可能な移動体を構造物に近づけて検査する検査システムが知られている。

例えば、特許文献１には、移動体となる無人飛行装置を対象物の近傍に誘導する目的で、対象物に対して光を照射し、照射した光により対象物上に生じた輝点群の位置関係と移動体に搭載された撮像装置により輝点群を撮像して得られた画像における輝点群の位置関係とに基づき、移動体の飛行を制御する構成が開示されている。

ところで、従来の技術では、操縦者は直接目視にて移動体を確認しながら操縦する必要がある。そのため、操縦者から直接目視できない箇所（対象物）の近傍に移動体を移動させるような場合、操縦者は移動体と対象物との位置関係を確認することができず、移動体の操縦が困難であった。

上述した課題を解決すべく、本発明は、移動体と、前記移動体を遠隔から操縦する操縦装置と、を有する操縦システムであって、前記移動体は、前記移動体と当該移動体の周囲に存在する対象物との相対位置を示す相対位置情報を取得する相対位置情報取得部と、前記移動体の周囲の周囲画像を撮像する周囲画像撮像部と、前記周囲画像撮像部が撮像した前記周囲画像を前記操縦装置に送信する第１の送信部と、前記移動体の移動先を指示した目標情報を前記操縦装置から受信する第１の受信部と、前記相対位置情報と前記周囲画像とに基づいて、前記目標情報で指示された移動先に前記移動体を移動させる移動制御部と、前記移動先の近傍に存在する前記対象物に正対するように前記移動体の姿勢を制御する姿勢制御部と、を備え、前記操縦装置は、前記周囲画像を受信する第２の受信部と、前記周囲画像を表示する表示部と、前記表示部に表示された前記周囲画像に基づいて前記目標情報の入力を受け付ける操作受付部と、前記目標情報を前記移動体に送信する第２の送信部と、を備える。

本発明によれば、操縦者が操縦対象の移動体を直接目視することができない場合であっても、移動体の操縦性を向上させることができるという効果を奏する。

図１は、実施形態に係る操縦システムの概略図である。 図２は、実施形態に係る移動体の外観構成の一例を示す概略構成図である。 図３は、実施形態に係る移動体の外観構成の一例を示す概略構成図である。 図４は、実施形態に係る移動体のハードウェア構成の一例を示すブロック図である。 図５は、実施形態に係る操縦装置のハードウェア構成の一例を示すブロック図である。 図６は、実施形態に係る移動体及び操縦装置の機能構成の一例を示すブロック図である。 図７は、実施形態に係る移動体と構造物との位置関係を模式的に示す図である。 図８は、実施形態に係る操縦装置の表示部に表示された周囲画像の一例を示す図である。 図９は、実施形態の移動制御部が行う近接移動処理を説明するための図である。 図１０は、実施形態の移動制御部が行う正対移動処理を説明するための図である。 図１１は、実施形態の移動制御部が行う正対移動処理を説明するための図である。 図１２は、実施形態に係る操縦装置の表示部に表示された周囲画像の一例を示す図である。 図１３は、実施形態の移動制御部が行う平行移動処理を説明するための図である。 図１４は、実施形態の操縦装置で実行される処理の一例を示すフローチャートである。 図１５は、実施形態の移動体で実行される処理の一例を示すフローチャートである。 図１６は、実施形態の移動体で実行される近接移動処理の一例を示すフローチャートである。 図１７は、実施形態の移動体で実行される正対移動処理の一例を示すフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明
において同一要素には同一符号を付し、重複する説明は省略する。

図１は、本実施形態に係る操縦システムの概略図である。図１に示すように、操縦システムは、移動体１と操縦装置２とを有する。移動体１と操縦装置２とは、無線を介して通信することが可能となっている。かかる操縦システムは、高所や狭所、有害物質の発生個所などの構造物について、移動体１を構造物に近づけて検査する検査システムでもある。

本実施形態において移動体１は、ドローン、マルチコプタ、無人移動体等の飛行体である。図２及び図３は、移動体１の外観構成の一例を示す概略構成図である。ここで、図２は、移動体１の平面図である。図３は、図２の正面図である。

移動体１は、フレーム１０１と、駆動装置１０２と、回転翼１０３と、脚部１０４と、とを有する遠隔操縦式の飛行体である。また、移動体１は、被写体となる対象物を撮像して画像又は映像を取得する撮像装置１０５を有する移動可能な撮像装置でもある。

フレーム１０１は、図２に示すように、ウエブ部１０１ａと、ウエブ部１０１ａの両端部に配置されたフランジ部１０１ｂとが平面視においてＨ型の形状となるように配置されている。なお、フレーム１０１の形状はこの限りではない。例えば、フレーム１０１は、移動体１の中心から放射状に伸び、互いに直角をなすようにＸ字状に設けられた４本のアームを有する構成としてよい。また、フレーム１０１は、駆動装置１０２と回転翼１０３の数だけ中心から放射状にアームが伸びた構造であってよい。

駆動装置１０２は、回転翼１０３を回転させるモータである。一例として、駆動装置１０２は、ブラシレスモータを用いることができる。駆動装置１０２は、２本のフランジ部１０１ｂの先端部の各々に取り付けられ、回転翼１０３の回転軸と連結されている。各駆動装置１０２は、制御装置１００により、互いに独立して制御される。

回転翼１０３は、各駆動装置１０２のそれぞれに取り付けられており、駆動装置１０２の駆動により回転する。回転翼１０３は、各駆動装置１０２の駆動が独立して制御されることで、その回転速度が調整される。なお、回転翼１０３の数としては、図示例の４個に限定されるものではない。回転翼１０３は、３以上であれば飛行体として安定した飛行ができるよう機能し、さらには４、６、８のような偶数であることが好ましい。また、回転翼１０３は、図２及び図３に示すように、略同一平面上に複数の回転翼１０３が配置される形態に限定されるものではなく、略同一平面上に配置された複数の回転翼１０３が多段に積層される形態であってもよい。

脚部１０４は、フレーム１０１の略中央位置の下面と連結されている。脚部１０４は、下側部が逆Ｖ字形状に形成されて、移動体１が地面に着陸した際等に移動体１を衝撃から保護する。

制御装置１００は、例えばフレーム１０１のウエブ部１０１ａに内蔵される。制御装置１００は、目的に応じて設置された各種のセンサからの信号や、外部から送信される操縦信号に応じて駆動装置１０２の駆動を制御する。

また、制御装置１００は、各駆動装置１０２の駆動を独立して制御することで各々の回転翼１０３の回転速度を独立に制御し、移動体１を上昇、下降、前進、後退、ヨー軸（Ｚ軸）周りの回転、また空中へ移動してホバリング（停止飛行）等をさせる。また、制御装置１００は、移動体１の姿勢を左右に傾けることで、前進や後退と同様に移動体１を左右方向に移動させる。

撮像装置１０５は、周囲画像撮像部の一例である。撮像装置１０５は、移動体１の周囲を撮像した周囲画像を取得するカメラである。撮像装置１０５は、フレーム１０１のウエブ部１０１ａに固定されている。撮像装置１０５は、移動体１の飛行時に光軸が略水平になるよう設置されている。また、撮像装置１０５の撮像方向は、移動体１の前進方向に一致するよう設置されているものとする。

ここで、撮像装置１０５は、移動体１の周囲の一部を撮像して平面画像を取得する単眼カメラであってもよいし、移動体１の周囲を撮像して全天球（３６０°）パノラマ画像を取得する全天球カメラであってもよい。例えば、撮像装置１０５を全天球カメラとすることで、移動体１の周囲を全方位から撮像することができるため、後述する目標位置の指定操作において、移動体１を中心とした全方位に存在する対象物を目標位置として指定することができる。

また、取得される画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。さらに、取得される画像は、画像とともに音データを含んだ映像であってもよい。

測距センサ１０６は、移動体１と周囲の構造物との距離を検知するセンサである。測距センサ１０６は、前進方向側のフレーム１０１のフランジ部１０１ｂにおいて、左右の端部に設けられる。図３では、フランジ部１０１ｂの両端部に左測距センサ１０６Ｌと右測距センサ１０６Ｒとを設けた例を示している。左測距センサ１０６Ｌ及び右測距センサ１０６Ｒは、移動体１の前進方向に存在する構造物との距離を検知（計測）する。以下、左測距センサ１０６Ｌ及び右測距センサ１０６Ｒを区別しない場合、単に測距センサ１０６と呼ぶ。なお、測距センサは、例えば、ＴＯＦ（Time Of Flight）センサ、ＬＩＤＡＲ（Light Detection and Ranging）センサ等であるがこれらに限定されない。

次に、図４を参照して、移動体１のハードウェア構成について説明する。ここで、図４は、移動体１のハードウェア構成の一例を示すブロック図である。

移動体１は、移動体１の処理又は動作を制御する制御装置１００を備える。制御装置１００は、上述のように、移動体１（ウエブ部１０１ａ）の内部に備えられている。なお、制御装置１００は、移動体１の外部に設けられてもよく、又は移動体１とは別の装置として設けられていてもよい。

制御装置１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access memory）１３、記憶部１４、無線Ｉ／Ｆ（Inter Face）１５、メディアＩ／Ｆ１６、拡張Ｉ／Ｆ１７、及びバスライン１８を有する。

ＣＰＵ１１は、移動体１全体の制御を行う。ＣＰＵ１１は、ＲＯＭ１２又は記憶部１４等に格納された、プログラムもしくはデータをＲＡＭ１３上に読み出し、処理を実行することで、移動体１の各機能を実現する演算装置（プロセッサ）である。

ＲＡＭ１３は、ＣＰＵ１１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ１２は、電源を切ってもプログラム又はデータを保持することができる不揮発性のメモリである。

記憶部１４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。記憶部１４は、ＣＰＵ１１が実行可能な各種プログラムや設定情報等を記憶する。例えば、記憶部１４は、移動体１と対象物との間の近接に係る条件を設定した設定値ｄ０を記憶する。かかる設定値ｄ０は、対象物に対し移動体１をどの程度まで近接させるかを規定する設定情報である。例えば、ｄ０＝１００ｃｍと設定することで、対象物に対し１００ｃｍまで移動体１を近づけることができる。なお、ｄ０の値は特に限らず、任意に設定することが可能である。

無線Ｉ／Ｆ１５は、操縦装置２と無線通信するための通信計測インターフェースである。なお、無線通信規格は特に問わないものとするが、本実施形態では、画像伝送可能な通信規格を用いるものとする。

メディアＩ／Ｆ１６は、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスク又はフラッシュメモリ等の記録メディアに対するデータの読み出し又は書き込み（記憶）を制御する。

また、制御装置１００には、拡張Ｉ／Ｆ１７を介して、上述した駆動装置１０２、撮像装置１０５、測距センサ１０６が接続されている。さらに、制御装置１００には、拡張Ｉ／Ｆ１７を介して、測距センサ以外の各種センサ１０７、ＧＰＳ（Global Positioning System）受信部１０８等が接続される。

駆動装置１０２は、ＣＰＵ１１からの命令に基づき、回転翼１０３を回転駆動させて移動体１を飛行させて移動させる。各種センサ１０７は、例えば、飛行機能に用いられる、地磁気を検知する電子磁気コンパス、ジャイロコンパス、及び加速度センサ等のセンサである。その他気圧計、温度計、高度計、人感センサ、又は照度計等が設けられてもよい。ＧＰＳ受信部１０８は、ＧＰＳ衛星からＧＰＳ信号を受信する。

バスライン１８は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、及び各種制御信号等を伝送する。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、無線Ｉ／Ｆ１５、メディアＩ／Ｆ１６、及び拡張Ｉ／Ｆ１７は、バスライン１８を介して相互に接続されている。

上述した構成の移動体１は、例えば、人では足場を組んだりしなければ届かない橋梁等のような大型の構造物の検査等に使用することができる。さらには、移動体１は、対象物の壁面近くを飛行しながら、対象物の壁面を連続して撮像することで、位置的に連続した対象物の近接画像を得られる。別途それら近接画像を組み合わせることで、対処物の壁面内における変状部の位置を示す画像（変状展開図）や変状画像等を得ることもできる。

一方、操縦装置２は、移動体１を操縦するための装置である。操縦者Ｕは、操縦装置２を操作することで、移動体１を操縦することができる。具体的には、操縦者Ｕは、移動体１を操縦装置２で操縦して橋梁等の所望の箇所（対象物）に近づけることで、対象物の検査を行うことができる。

図５は、操縦装置２のハードウェア構成の一例を示すブロック図である。図５に示すように、操縦装置２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、無線Ｉ／Ｆ２５、操作部２６、表示部２７、及びバスライン２８を備える。

ＣＰＵ２１は、操縦装置２全体の制御を行う。ＣＰＵ２１は、ＲＯＭ２２又は記憶部２４等に格納された、プログラムもしくはデータをＲＡＭ２３上に読み出し、処理を実行することで、操縦装置２の各機能を実現する演算装置（プロセッサ）である。

ＲＡＭ２３は、ＣＰＵ２１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ２２は、電源を切ってもプログラム又はデータを保持することができる不揮発性のメモリである。記憶部２４は、ＨＤＤ、ＳＳＤ等の記憶装置である。記憶部２４は、ＣＰＵ２１が実行可能な各種プログラムや設定情報等を記憶する。

無線Ｉ／Ｆ２５は、移動体１と無線通信するためのインターフェースである。なお、無線通信規格は特に問わないものとするが、本実施形態では、画像伝送可能な通信規格を用いるものとする。

操作部２６は、操縦者Ｕが操作情報を入力し、またユーザの操作に対して力覚を返すことが可能な操作部である。操縦者Ｕは、操作部２６を操作することで、移動体１を操縦するための操作情報として、位置（Ｘ、Ｙ、Ｚ）や姿勢（ロール、ピッチ、ヨー）のそれぞれの量を入力することができる。

表示部２７は、表示部の一例である。表示部２７は、タッチパネル式のディスプレイによって実現される。表示部２７は、ＣＰＵ２１の制御の下、各種情報及び各種画像を表示する。

バスライン２８は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、及び各種制御信号等を伝送する。ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、無線Ｉ／Ｆ２５、操作部２６、表示部２７は、バスライン２８を介して相互に接続されている。

なお、操縦装置２のハードウェア構成は、図５の例に限らないものとする。例えば、操縦装置２は、ＣＰＵ２１の制御に従ってマイクやスピーカとの間で音信号の入出力を処理する音入出力Ｉ／Ｆ、ＣＰＵ２１の制御に従って通信ネットワークを介して他機器との通信を処理するネットワークＩ／Ｆ等を有していてもよい。

次に、図６を参照して、移動体１及び操縦装置２の機能構成について説明する。ここで、図６は、移動体１及び操縦装置２の機能構成の一例を示すブロック図である。

図６に示すように、移動体１は、受信部１１０、相対位置情報取得部１２０、周囲画像取得部１３０、送信部１４０、及び移動制御部１５０を備える。

移動体１には、移動体１の駆動・制御に係るプログラムがあらかじめインストールされている。移動体１（制御装置１００）のＣＰＵ１１は、例えば、インストールされたプログラムを実行することによって上述した各機能を実現する。

受信部１１０は、無線通信によって、操縦装置２から送信される各種情報を受信する。例えば、受信部１１０は、操縦装置２から操作情報を受信する。また、例えば、受信部１１０は、操縦装置２から移動体１の移動先となる目標位置を示した後述する目標情報を受信する。受信部１１０は、主に、図３に示したＣＰＵ１１の処理、及び無線Ｉ／Ｆ１５によって実現される。なお、受信部１１０は、第１の受信部に対応する。

相対位置情報取得部１２０は、測距センサ１０６の計測結果に基づき、移動体１と当該移動体１の周囲に存在する構造物（以下、周囲構造物ともいう）との相対的な位置関係を相対位置情報として取得する機能である。例えば、相対位置情報取得部１２０は、測距センサ１０６の計測結果に基づき、移動体１と周囲構造物との間の距離を相対位置情報として取得する。また、相対位置情報取得部１２０は、測距センサ１０６の計測結果や、周囲画像取得部１３０が取得する周囲画像、各種センサ１０７の計測結果等に基づき、周囲構造物に対する移動体１の相対的な姿勢を相対位置情報として取得する。

また、相対位置情報取得部１２０は、測距センサ１０６等を介して相対位置情報を計測して取得しているため、相対位置情報計測部ということもできる。相対位置情報取得部１２０は、主に、図３に示したＣＰＵ１１の処理、及び拡張Ｉ／Ｆ１７によって実現される。なお、相対位置情報取得部１２０は、相対位置情報取得部に対応する。

周囲画像取得部１３０は、撮像装置１０５によって撮像された周囲画像を取得する機能である。周囲画像取得部１３０は、主に、図３に示したＣＰＵ１１の処理、及び拡張Ｉ／Ｆ１７によって実現される。なお、周囲画像取得部１３０は、撮像装置１０５とともに周囲画像撮像部として機能する。

送信部１４０は、無線通信によって、移動体１の操縦に係る各種情報を操縦装置２に送信する。例えば、送信部１４０は、相対位置情報取得部１２０が取得した相対位置情報を操縦装置２に送信する。また、例えば、送信部１４０は、周囲画像取得部１３０が取得した周囲画像を操縦装置２に送信する。送信部１４０は、主に、図３に示したＣＰＵ１１の処理、及び無線Ｉ／Ｆ１５によって実現される。なお、送信部１４０は、第１の送信部に対応する。

移動制御部１５０は、駆動装置１０２を駆動させることによって、移動体１の移動を制
御する機能である。例えば、移動制御部１５０は、操縦装置２から送信された操縦情報に応じて駆動装置１０２を駆動することで、移動体１の位置や姿勢を制御する。

また、移動制御部１５０は、操縦装置２から目標情報が送信されると、相対位置情報取得部１２０が取得する相対位置情報や、周囲画像取得部１３０が取得する周囲画像に基づき、目標情報が指示する目標位置に移動体１を移動させるための制御を行う。移動制御部１５０は、主に、図３に示したＣＰＵ１１の処理、及び拡張Ｉ／Ｆ１７によって実現される。なお、移動制御部１５０は、移動制御部及び姿勢制御部に対応する。

一方、操縦装置２は、図６に示すように、受信部２１０、周囲画像表示部２２０、操作受付部２３０、操縦制御部２４０、及び送信部２５０を備える。

操縦装置２には、移動体１の遠隔操作に係るプログラムがあらかじめインストールされている。操縦装置２のＣＰＵ２１は、例えば、インストールされたプログラムを実行することによって上述した各機能を実現する。

受信部２１０は、無線通信を介して、移動体１から送信される各種情報の受信を行う機能である。例えば、受信部２１０は、移動体１から送信される相対位置情報を受信する。また、例えば、受信部２１０は、移動体１から送信される周囲画像を受信する。受信部２１０は、主に、図４に示したＣＰＵ２１の処理、及び無線Ｉ／Ｆ２５によって実現される。なお、受信部２１０は、第２の受信部として機能する。

周囲画像表示部２２０は、表示部２７に各種画像を表示させる機能である。例えば、周囲画像表示部２２０は、受信部２１０で受信された相対位置情報を表示部２７に表示させる。また、例えば、周囲画像表示部２２０は、受信部２１０で受信された周囲画像を表示部２７に表示させる。周囲画像表示部２２０は、主に、図４に示したＣＰＵ２１の処理、及び表示部２７によって実現される。

操作受付部２３０は、操縦装置２に対する操作入力を受け付ける機能である。例えば、操作受付部２３０は、操作部２６を介して操作情報の入力操作を受け付ける。また、例えば、操作受付部２３０は、表示部２７に表示された周囲画像に基づき、目標位置を指定する目標情報の入力操作を、タッチパネルを介して受け付ける。操作受付部２３０は、主に、ＣＰＵ２１の処理、操作部２６、及び表示部２７によって実現される。なお、操作受付部２３０は、操作受付部に対応する。

操縦制御部２４０は、操縦装置２の全体動作を制御する機能である。例えば、操縦制御部２４０は、受信部２１０が受信した周囲画像を周囲画像表示部２２０に出力することで、当該映像データを表示部２７に表示させる。また、例えば、操縦制御部２４０は、操作受付部２３０を介して操作情報や目標情報が入力されると、これらの情報を送信部２５０に引き渡すことで移動体１に送信させる。操縦制御部２４０は、主に、ＣＰＵ２１の処理によって実現される。

送信部２５０は、無線通信によって、移動体１の操縦に係る各種情報を移動体１に送信する。例えば、送信部２５０は、操作受付部２３０を介して入力された操作情報や目標情報を移動体１に送信する。送信部１４０は、主に、図４に示したＣＰＵ２１の処理、及び無線Ｉ／Ｆ２５によって実現される。なお、送信部２５０は、第２の送信部として機能する。

次に、上述した目標情報に基づく移動体１の操作方法について説明する。まず、図７及び図８を参照し、移動体１から操縦装置２に提供される周囲画像について説明する。

図７は、移動体１と構造物との位置関係を模式的に示す図である。ここで、構造物Ｔは、例えば橋梁等のような検査の対象となる構造物である。図７に示した移動体１が、破線で示す矢印方向に進行方向を向けている場合、撮像装置１０５は、撮像画角θに応じた範囲の移動体１の周囲画像を撮像することとなる。

図８は、操縦装置２の表示部２７に表示された周囲画像の一例を示す図である。上述したように、移動体１の撮像装置１０５で撮像された周囲画像は、送信部１４０によって操縦装置２に送信される。そして、移動体１から送信された周囲画像は、操縦装置２の受信部２１０によって受信された後、周囲画像表示部２２０の機能により表示部２７に表示される。

図８は、図７の撮像装置１０５で撮像された周囲画像Ｇ１を表しており、撮像装置１０５から見た構造物Ｔが被写体として表されている。点Ｏは、周囲画像Ｇ１の中心点（以下、画像中心ともいう）であり、構造物Ｔの壁面ＴＳに対する移動体１の相対的な向きに対応する。

操縦者Ｕは、表示部２７に表示された周囲画像Ｇ１に対し、移動体１の移動先となる目標位置を指定する操作を行うことができる。例えば、操縦者Ｕは、周囲画像Ｇ１に表された構造物Ｔ（壁面ＴＳ）の一部をタッチ操作することで、このタッチした位置を目標位置として指定することができる。

具体的には、操作受付部２３０は、周囲画像Ｇ１に対したタッチ操作が行われると、そのタッチされた領域の重心位置を目標位置として受け付ける。例えば、図８の周囲画像Ｇ１のうち領域Ｔａがタッチ操作されると、操作受付部２３０は、この領域Ｔａの重心位置を目標位置として受け付ける。なお、操作受付部２３０は、周囲画像表示部２２０と協働することで、タッチ操作された領域を強調表示させてもよい。

そして、操縦制御部２４０は、操作受付部２３０が受け付けた目標位置に基づき目標情報を生成すると、その目標情報を送信部２５０から移動体１に送信させる。ここで、目標情報は、例えば、周囲画像Ｇ１中における目標位置の位置座標や、画像中心Ｏと目標位置との位置関係を表す情報等によって表すことができる。

移動体１では、操縦装置２から送信された目標情報を受信部１１０が受信すると、移動制御部１５０は、目標情報で指定された目標位置に向けて移動体１を移動させるための処理を実行する。具体的には、移動制御部１５０は、目標位置に移動体１を近づけるための近接移動処理と、目標位置に移動体１を正対させるための正対移動処理とを実行する。

図９は、移動制御部１５０が行う近接移動処理を説明するための図である。なお、図９は、図７に示した移動体１と構造物Ｔとに対応するものである。

移動制御部１５０は、目標情報を受け付けると、周囲画像取得部１３０が取得する周囲画像の画像中心Ｏを原点とし、当該原点と目標情報で指定された目標位置とのずれ量（以下、誤差ともいう）を減らすように、移動体１の向きや高さを調整する。

例えば、目標情報で指示された目標位置が、図９に示した壁面ＴＳ上の位置Ｔｂに対応する場合、移動制御部１５０は、原点と位置Ｔｂとの誤差が閾値以下となるよう移動体１をヨー軸方向に回転（ヨー回転）させたり、移動体１を上下方向に移動させたりする。ここで、閾値は特に問わないものとするが、原点と目標位置（位置Ｔｂ）とが略同等となる値とすることが好ましい。なお、連続して撮像される周囲画像内での位置Ｔｂの追跡（トラッキング）は、Ｂｏｏｓｔｉｎｇ、Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ、Ｍｅｄｉａｎ Ｆｌｏｗ等の公知の技術を用いることができる。

原点と位置Ｔｂとの位置合わせが完了すると、移動制御部１５０は、移動体１を前進移動させる。このとき、移動制御部１５０は、相対位置情報取得部１２０が取得する相対位置情報に基づいて、移動体１と位置Ｔｂに存在する対象物（構造物Ｔの壁面ＴＳ）との間の距離ｄを監視し、距離ｄが設定値ｄ０に達するまで移動体１を前進移動させる。移動体１と対象物との間の距離ｄが設定値ｄ０に達すると、移動制御部１５０は、目標位置に移動体１を正対させるための正対移動処理を実行する。

なお、近接移動処理で使用する距離ｄは、左測距センサ１０６Ｌ及び右測距センサ１０６Ｒの何れで計測されたものであってもよい。例えば、予め定めた一方の測距センサ１０６の計測値を距離ｄとしてもよい。また、左測距センサ１０６Ｌ及び右測距センサ１０６Ｒの計測結果のうち、より小さな値を距離ｄとしてもよい。

次に、図１０〜図１２を参照して、移動制御部１５０が行う正対移動処理について説明する。ここで、図１０及び図１１は、移動制御部１５０が行う正対移動処理を説明するための図である。なお、図１０及び図１１は、図９に示した位置Ｔｂ付近の部分拡大図である。

まず、移動制御部１５０は、相対位置情報取得部１２０が取得する左測距センサ１０６Ｌが計測する距離ｄＬと、右測距センサ１０６Ｒが計測する距離ｄＲとをそれぞれ監視する。次いで、移動制御部１５０は、距離ｄＬ、ｄＲと設定値ｄ０との差分が閾値以下となるまで移動体１をヨー回転させたり、移動体１を前後／左右方向に移動させたりする。ここで、閾値は特に問わないものとするが、設定値ｄ０と略同等となる値とすることが好ましい。なお、移動制御部１５０は、上述した原点と位置Ｔｂとの位置合わせを継続したまま正対移動処理を実行するものとする。

例えば、図１０の場合、移動制御部１５０は、移動体１を時計周りに２０度程度回転させた後、原点と位置Ｔｂとが合うよう移動体１をＸ軸方向に移動させることで、移動体１を図１１に示す状態に移行させる。

ここで、図１１は、正対移動処理後の移動体１を示しており、移動体１が位置Ｔｂに正対するよう位置付けられた状態を示している。また、図１１に示すように、移動体１は、位置Ｔｂを含む構造物Ｔの壁面ＴＳに対しも正対するよう位置付けられる。なお、移動体１と壁面ＴＳとの離間距離は設定値ｄ０と略同等に保たれる。

また、図１２は、操縦装置２の表示部２７に表示された周囲画像の一例であり、図１１の撮像装置１０５で撮像された周囲画像Ｇ１を表している。かかる周囲画像Ｇ１では、図８で指定された領域Ｔａの重心が画像中心Ｏの位置に表示されることになる。これにより、操縦者Ｕは、表示部２７に表示された周囲画像Ｇ１に基づき、目標位置として指定した領域周辺の対象物の状態を検査することができる。

なお、図１２では、タッチ操作が行われた際の領域Ｔａの大きさを維持して表示する形態としたが、これに限らず、移動体１の前進移動に伴って、領域Ｔａの領域枠を拡大して表示させる形態としてもよい。

このように、操縦装置２では、移動体１から送信される周囲画像に基づき、移動体１の移動先となる目標位置の入力を受け付け、当該目標位置を指示した目標情報を移動体１に送信する。また、移動体１では、操縦装置２から目標情報を受信すると、この目標情報で指示された目標位置に移動体１を移動させ、当該目標位置の近傍に存在する対象物に正対するよう移動体１の姿勢を制御する。これにより、操縦者Ｕは、検査の対象となる対象物（建造物）が直接目視できない箇所にあっても、また高度な技術を保有していなくても、対象物への近接を容易且つ直観的に行うことができる。

さらに、移動制御部１５０は、正対移動処理が完了した後、目標位置の壁面に沿って移動体１を移動させる処理（平行移動処理）を実行してもよい。かかる平行移動処理は、正対移動処理後に自動で実行してもよいし、操縦装置２からの操作情報に応じて実行してもよい。

図１３は、移動制御部１５０が行う平行移動処理を説明するための図である。なお、図１３は、図１１に対応するものである。

移動制御部１５０は、正対移動処理が完了すると、相対位置情報取得部１２０が取得する距離ｄＬ及び距離ｄＲを設定値ｄ０と略同等の値に維持したまま、移動体１を水平方向又は垂直方向に移動させることで、対象物の壁面と平行に移動体１を移動させる。

例えば、図１３では、壁面ＴＳに対し移動体１をＸ軸方向（Ｐ１方向）に平行移動させた例を示している。なお、平行移動させる移動量は特に問わないものとする。例えば、予め定められた移動量を平行移動する形態としてもよいし、対象物の縁（エッジ）を検出するまで平行移動する形態としてもよい。また、平行移動させる移動経路も特に問わないものとする。例えば、目標位置から平行移動を開始した後、再度目標位置に戻る構成としてもよい。

このように、移動体１では、目標位置への移動後、対象物に正対するよう移動体１の姿勢を制御した後、その対象物の壁面に沿って移動体１を平行移動させる。これにより、移動体１は、対象物近接での移動を容易化することができるため、操縦者Ｕの利便性を向上させることができる。

以下、移動体１及び操縦装置２の動作例について説明する。

まず、図１４を参照して、操縦装置２の動作例について説明する。ここで、図１４は、操縦装置２で実行される処理の一例を示すフローチャートである。

まず、受信部２１０は、移動体１から送信される周囲画像や相対位置情報を受信する（ステップＳ１１）。次いで、周囲画像表示部２２０は、ステップＳ１１で受信された周囲画像等を表示部２７に表示させる（ステップＳ１２）。

続いて、操縦制御部２４０は、操作受付部２３０を介して、目標位置が入力されたか否かを判定する（ステップＳ１３）。ここで、目標位置が入力されない場合（ステップＳ１３；Ｎｏ）、操縦制御部２４０は、ステップＳ１１に処理を戻す。

ステップＳ１３で目標位置が入力された場合（ステップＳ１３；Ｙｅｓ）、操縦制御部２４０は、入力された目標位置を指示する目標情報を、送信部２５０から移動体１に送信させ（ステップＳ１４）、ステップＳ１１に処理を戻す。

図１５は、移動体１で実行される処理の一例を示すフローチャートである。なお、本処理の前提として、周囲画像取得部１３０で取得された周囲画像は、送信部１４０の機能により操縦装置２に送信されているものとする。

まず、移動体１の受信部１１０は、操縦装置２から目標情報が送信されると、その目標情報を受信する（ステップＳ２１）。移動制御部１５０は、操縦装置２から目標情報が指示されると、近接移動処理を実行する（ステップＳ２２）。以下、図１６を参照して近接移動処理について説明する。

図１６は、移動体１で実行される近接移動処理の一例を示すフローチャートである。まず、移動制御部１５０は、目標情報で指示された目標位置と周囲画像の画像原点との誤差を算出する（ステップＳ２２１）。次いで、移動制御部１５０は、ステップＳ２２１で算出した誤差が閾値以内か否かを判定する（ステップＳ２２２）。

ここで、算出した誤差が閾値を上回る場合（ステップＳ２２２；Ｎｏ）、移動制御部１５０は、誤差が小さくなる方向に移動体１をヨー回転、上下方向に移動させた後（ステップＳ２２３）、ステップＳ２２１に再び戻る。

また、算出した誤差が閾値以下となる場合（ステップＳ２２２；Ｙｅｓ）、移動制御部１５０は、移動体１を前進移動させる（ステップＳ２２４）。次いで、移動制御部１５０は、相対位置情報取得部１２０に対象物との距離ｄを取得（計測）させ（ステップＳ２２５）、距離ｄが設定値ｄ０に達するまで移動体１を前進移動させる（ステップＳ２２６；Ｎｏ→ステップＳ２２４）。

そして、移動制御部１５０は、距離ｄが設定値ｄ０に達する、つまり距離ｄが設定値ｄ０以下になると（ステップＳ２２６；Ｙｅｓ）、移動体１をその位置にホバリングさせ、ステップＳ２３（正対移動処理）に移行する。

図１７は、移動体１で実行される正対移動処理の一例を示すフローチャートである。まず、移動制御部１５０は、相対位置情報取得部１２０に対象物（壁面）との距離ｄＬ、ｄＲを取得（計測）させる（ステップＳ２３１）。次いで、移動制御部１５０は、｜ｄＬ−ｄ０｜及び｜ｄＲ−ｄ０｜の差分それぞれ算出し、算出した差分値が閾値以下か否かを判定する（ステップＳ２３２）。

ここで、算出した差分値の何れか一方又は両方が閾値を上回る場合（ステップＳ２３２；Ｎｏ）、移動制御部１５０は、差分値が小さくなる方向に移動体１をヨー回転、前後／左右に移動させ（ステップＳ２３３）、ステップＳ２３１に再び戻る。

そして、移動制御部１５０は、算出した差分値の両方が閾値以下になると（ステップＳ２３２；Ｙｅｓ）、移動体１をその位置にホバリングさせ、ステップＳ２４に移行する。

図１５に戻り、移動制御部１５０は、続くステップＳ２４において、移動体１を対象物（壁面）に対し平行移動させ（ステップＳ２４）、本処理を終了する。

以上説明したように本実施形態の操縦システムによれば、操縦装置２の操縦者Ｕは、移動体１の周囲の状況を周囲画像から把握して操縦することができる。また、本実施形態の操縦システムによれば、操縦装置２の操縦者Ｕは、移動体１に対し移動先となる目標位置を指示するだけで、その目標位置近傍の対象物（建造物）に移動体１を正対するよう位置付けることができる。これにより、本実施形態の操縦システムでは、移動体１が操縦者Ｕからは直接見えない、見えにくい箇所において操縦する場合や、操縦者Ｕが高度な操縦技術を有していない場合でも、移動体１を検査の対象となる対象物への近接を容易且つ直観的に行うことができる。したがって、本実施形態の操縦システムでは、移動体１の操縦性を向上させることができる。

なお、上述した実施形態は、移動体１や操縦装置２が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

［変形例１］
上述の実施形態では、操縦装置２は移動体１から送信された周囲画像をそのまま表示する形態を説明した。しかしながら、操縦装置２に表示される画像はこれに限定されない。

例えば、操縦装置２の周囲画像表示部２２０は、周囲画像に代えて、移動体１の周囲に存在する構造体の３次元形状を示す画像（以下、３次元モデルという）を表示部２７に表示させてもよい。ここで、３次元モデルは、例えば点群やメッシュ等によって表される３次元の画像データである。

具体的には、周囲画像表示部２２０は、移動体１から送信された周囲画像と相対位置情とに基づき、移動体１の周囲に存在する構造体の３次元モデルを生成する。そして、周囲画像表示部２２０は、生成した３次元モデルを表示部２７に表示させる。なお、３次元モデルの生成方法は特に問わず、公知の技術を用いてもよい。また、周囲画像表示部２２０は、ＧＰＳ等の他の位置センシング結果を移動体１から受信することで、当該センシング結果を用いて３次元モデルを生成してもよい。

これにより、操縦装置２を操作する操縦者Ｕは、表示部２７に表示された３次元モデルを見ながら、検査の対象となる対象物の位置を目標位置として指定することができる。したがって、上述した実施形態と同様、移動体１を検査の対象となる対象物への近接を容易且つ直観的に行うことができる。

［変形例２］
上述の実施形態では、操縦装置２の表示部２７をタッチパネルディスプレイとし、目標位置をタッチ操作で入力する形態を説明した。しかしながら、目標位置の入力方法はこれに限定されない。

例えば、表示部２７に対するタッチ操作の代わりに、表示部２７の画面上にカーソル等のポインタを表示させておき、操作部２６や他のポインティングデバイス等を介してポインタを移動させることで目標位置を入力する構成としてもよい。

これにより、操縦装置２を操作する操縦者Ｕは、表示部２７に表示された３次元モデルを見ながら、検査の対象となる対象物の位置を目標位置として指定することができる。したがって、上述した実施形態と同様、移動体１を検査の対象となる対象物への近接を容易且つ直観的に行うことができる。

［変形例３］
上述の実施形態では、操縦装置２は、操縦者Ｕによって把持される形態を説明したが、操縦装置２の形態はこれに限定されるものではない。

例えば、操縦装置２の表示部２７を、操縦者Ｕの頭部に装着可能なヘッドマウントディスプレイとし、表示部２７に対する入力操作を操作部２６や他のポインティングデバイスによって行う構成としてもよい。

この場合、表示部２７は、操縦者Ｕの目に対向するように周囲画像等を表示する。なお表示部２７はヘッドマウントディスプレイに限らず、デスクトップ型のディスプレイにおいて、マウスやキーボードを用いて表示位置を変更させるものであってもよい。

これにより、操縦者Ｕは、眼前に表示される周囲画像を確認しながら、検査の対象となる対象物の位置を目標位置として直観的に指定することができる。したがって、操縦装置２は、周囲画像に対する操縦者Ｕの没入感を向上させることができるとともに、操作性の向上を図ることができる。

上述の実施形態及び変形例は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

また、上述の実施形態及び変形例で説明した各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

上述の実施形態及び変形例で説明した各機能の少なくとも一部がプログラムの実行によって実現される場合、プログラムは適宜な記憶装置に予め組み込まれて提供される。また、プログラムはインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供されてもよい。また、プログラムはインターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供され得るように構成されてもよい。また、プログラムはインターネット等のネットワーク経由で提供又は配布され得るように構成されてもよい。また、プログラムは上述した各機能の少なくとも一部を含むモジュール構成となっていてもよい。

１ 移動体
１００ 制御装置
１１０ 受信部
１２０ 相対位置情報取得部
１３０ 周囲画像取得部
１４０ 送信部
１５０ 移動制御部
２ 操縦装置
２６ 操作部
２７ 表示部
２１０ 受信部
２２０ 周囲画像表示部
２３０ 操作受付部
２４０ 操縦制御部
２５０ 送信部

特開２０１７−２２４１２３号公報

Claims (9)

1. 移動体と、
   前記移動体を遠隔から操縦する操縦装置と、
   を有する操縦システムであって、
   前記移動体は、
   前記移動体と当該移動体の周囲に存在する対象物との相対位置を示す相対位置情報を取得する相対位置情報取得部と、
   前記移動体の周囲の周囲画像を撮像する周囲画像撮像部と、
   前記周囲画像撮像部が撮像した前記周囲画像を前記操縦装置に送信する第１の送信部と、
   前記移動体の移動先を指示した目標情報を前記操縦装置から受信する第１の受信部と、
   前記相対位置情報と前記周囲画像とに基づいて、前記目標情報で指示された移動先に前記移動体を移動させる移動制御部と、
   前記移動先の近傍に存在する前記対象物に正対するように前記移動体の姿勢を制御する姿勢制御部と、
   を備え、
   前記操縦装置は、
   前記周囲画像を受信する第２の受信部と、
   前記周囲画像を表示する表示部と、
   前記表示部に表示された前記周囲画像に基づいて前記目標情報の入力を受け付ける操作受付部と、
   前記目標情報を前記移動体に送信する第２の送信部と、
   を備える操縦システム。
2. 前記相対位置情報取得部は、前記相対位置情報として、前記移動体と前記対象物との間の距離、及び前記対象物に対する前記移動体の相対的な姿勢を示す情報を取得する請求項１に記載の操縦システム。
3. 前記第１の送信部は、前記相対位置情報取得部によって取得された前記相対位置情報と、前記周囲画像撮像部が撮像した前記周囲画像とを前記操縦装置に送信し、
   前記表示部は、前記第２の受信部が受信した前記相対位置情報と前記周囲画像とに応じた画像を前記表示部に表示する請求項１又は２に記載の操縦システム。
4. 前記表示部は、タッチパネルディスプレイであり、
   前記操作受付部は、前記タッチパネルディスプレイを介して前記目標情報の入力を受け付ける請求項１に記載の操縦システム。
5. 前記表示部は、操縦者が装着可能なヘッドマウントディスプレイであり、
   前記操作受付部は、ポインティングデバイスを介して前記目標情報の入力を受け付ける請求項１に記載の操縦システム。
6. 前記周囲画像撮像部は、全天球画像を撮像可能な全天球カメラである請求項１に記載の操縦システム。
7. 前記移動体は、ドローン、マルチコプタ、無人移動体である請求項１〜６の何れか一項に記載の操縦システム。
8. 操縦装置から遠隔操縦を受ける移動体であって、
   前記移動体と当該移動体の周囲に存在する対象物との相対位置を示す相対位置情報を取得する相対位置情報取得部と、
   前記移動体の周囲の周囲画像を撮像する周囲画像撮像部と、
   前記周囲画像撮像部が撮像した前記周囲画像を前記操縦装置に送信する第１の送信部と、
   前記周囲画像に基づき入力された前記移動体の移動先を指示した目標情報を前記操縦装置から受信する第１の受信部と、
   前記相対位置情報と前記周囲画像とに基づいて、前記目標情報で指示された移動先に前記移動体を移動させる移動制御部と、
   前記移動先の近傍に存在する前記対象物に正対するように前記移動体の姿勢を制御する姿勢制御部と、
   を備える移動体。
9. 移動体を遠隔から操縦する操縦装置であって、
   前記移動体から前記操縦装置に送信された、前記移動体の周囲の周囲画像を撮像する周囲画像撮像部で撮像された前記周囲画像を受信する第２の受信部と、
   前記周囲画像を表示する表示部と、
   前記表示部に表示された前記周囲画像に基づいて、前記移動体の移動先を指示した目標情報の入力を受け付ける操作受付部と、
   前記目標情報を前記移動体に送信する第２の送信部と、
   を備える操縦装置。

Images