JP2020120388A - 操作装置、移動装置、およびその制御システム - Google Patents

Abstract

【課題】 ドローン等に搭載されて位置移動が可能な撮像装置をタッチパネル機能のある操作端末で操作する場合に、その移動を直観的にわかりやすく行う。【解決手段】 撮像手段を保持する移動装置を外部から制御する操作装置であって、前記撮像手段で撮像している画像を表示する表示手段と、タッチ操作を検出するタッチ操作手段と、前記タッチ操作手段により検出されたタッチ操作に応答して、該タッチ操作がムーブ操作である場合に該ムーブ操作の操作方向に基づいて前記移動装置を移動させる指示手段と、を有し、前記タッチ操作手段により、前記ムーブ操作の後、タッチオンの状態が継続して検出されている場合は、前記指示手段は、前記ムーブ操作に基づく移動を継続させる。【選択図】 図２

Description

本発明は、ドローン等の移動装置に撮像装置を有するものの移動制御システムに関し、特にタッチパネル等の操作により撮像装置の移動を行うものに関する。

近年、ドローンと呼ばれる無線操作に応じて移動可能な飛行装置に撮像装置を有するものがあり、その操作のために一般的には専用の操作端末が用意されている。操作端末には、タッチパネルを利用して操作することが可能なものも存在するが、専用操作端末の動作を単純に置き換えたＵＩによるものが多く、直観的な操作ができず自由に操作するには操作への習熟を必要とする。また、タッチパネルによる撮像装置の操作という観点では、一般的に監視カメラの分野において直観的な操作を実現する従来技術が存在する。

特許文献１では、スマートフォンやタブレット等のタッチパネル操作で一般的なピンチイン、ピンチアウトの操作を、監視カメラのズーム動作に対応させる操作方法の発明が開示されている。これは操作者が普段からタッチパネルで行っている操作から直観的に推測できる結果と、監視カメラの動作で類似の結果が起こる処理とを関連付けている。

特開２０１４−９９７１９号公報

特許文献１では、備え付けの監視カメラに関してタッチパネル操作による撮影方向の変更及びズームの制御について開示されている。しかし、ドローン等に搭載されているような撮像装置の位置移動をタッチパネル操作によって行う構成は考えられていない。

そこで、本発明の目的は、ドローン等の移動装置に搭載されて位置移動が可能な撮像装置を、タッチパネル機能のある操作端末で操作する場合に、その移動を直観的にわかりやすく行える移動制御システムを提供することである。

上記の目的を達成するために、本発明における移動制御システムは、撮像手段を保持する移動装置を外部から制御する操作装置であって、前記撮像手段で撮像している画像を表示する表示手段と、タッチ操作を検出するタッチ操作手段と、前記タッチ操作手段により検出されたタッチ操作に応答して、該タッチ操作がムーブ操作である場合に該ムーブ操作の操作方向に基づいて前記移動装置を移動させる指示手段と、を有し、前記タッチ操作手段により、前記ムーブ操作の後、タッチオンの状態が継続して検出されている場合は、前記指示手段は、前記ムーブ操作に基づく移動を継続させることを特徴とすることを特徴とする。

本発明によれば、ドローン等に搭載されて位置移動が可能な撮像装置をタッチパネル機能のある操作端末で操作する場合に、その移動を直観的にわかりやすく行えるようになる。

本発明の第１の実施形態に係る操作システムの構成例を示すブロック図 本発明の第１の実施形態に係る操作端末の処理を示すフローチャート 本発明の第１の実施形態に係るピンチ操作について示す図 本発明の第１の実施形態に係るタッチ位置について示す図 本発明の第１の実施形態に係るピンチアウトの位置による移動方向の決定について示す図 本発明の第１の実施形態に係るピンチインの位置による移動方向の決定について示す図 本発明の第１の実施形態に係るドラッグ操作に対応する動作を示す図 本発明の第１の実施形態に係るピンチアウト操作による撮像装置の動作を示す図 本発明の第１の実施形態に係るピンチアウト操作による撮像装置の動作を示す図 本発明の第１の実施形態に係る移動装置の処理を示すフローチャート 本発明の第１の実施形態に係る移動方向を明示させるＵＩを示す図 本発明の第２の実施形態に係る移動座標系と光学座標系について示す図 本発明の第２の実施形態に係る操作端末の処理を示すフローチャート

以下図面を参照しながら、本発明の実施の形態を詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る移動制御システムの構成例を示すブロック図である。図１において、１００は移動装置、２００は操作装置（操作端末）を示す。移動装置１００と操作装置２００とを有して移動制御システムは構成される。

１１８は撮像装置であり、移動装置１００に保持部材によって保持される。撮像装置１１８は、移動装置１００に対して取り外し可能な構成であっても良いし、一体的に固定された構成であっても良い。

撮像光学系１０１は外部の光を撮像素子１０３へ集光するレンズ群、及びレンズ群を操作、固定するためのメカ機構で構成される。撮像光学系操作部１０２は、撮像光学系１０１のメカ機構を操作する電気機構であり、ＣＰＵ１０６からの操作指令により撮像光学系１０１の内部のメカ機構を操作する電気信号を出力する。撮像素子１０３は、撮像光学系１０１より取り入れた光を結像し、結像された像を電気情報に変換する。また撮像素子１０３は像面位相差方式による距離検出のための情報を取得する構成とすることが可能である。撮像信号処理部１０４は撮像素子１０３から得られた画像情報を成形するとともに、撮像素子１０３から得られる像面位相差情報から、撮像装置から撮像素子１０３の各撮像画素に結像している光源物体までの距離を算出することができる。すなわち撮像された画像の任意の局所的な部分に関して、撮像装置からどれだけの距離を以て撮像されたかが算出され、その情報を必要に応じて記録、利用することができる。算出可能な原理としては、例えば、従来から広く使用されている瞳分割による位相差ＡＦの方式の応用である。各画素単位で右目画像用情報、左目画像用情報を得られる２つのフォトダイオードを備えた構造を撮像素子１０３が有していることから位相差ＡＦ方式での距離情報検出が可能となっているものとする。

ＣＰＵ１０５は撮像装置１１８を含む移動装置１００の処理の全体統括を行う。ＲＯＭ１０６には移動装置１００の処理プログラム、処理に必要な情報が予め保持されており、ＣＰＵ１０５はこのＲＯＭ１０６に保持された処理プログラムに基づいて動作する。ＲＡＭ１０７は処理中の一時的なデータ保持の役割を担っている。

被写体認識部１０８は撮像信号処理部１０４で処理された画像情報から特定の物体を認識し、その物体の範囲などの情報を出力することができる。具体的には、予め登録されている物体情報、例えば人物の人体、顔等の検出を行うことができる。事前に登録した顔の情報などがあれば特定の人物を検出することもできる。メモリスロット１０９は記録データをメモリカード１１０に読み書きするためのインタフェースである。メモリカード１１０はメモリスロット１０９を通じて画像情報を記録されるものである。

駆動部１１１は移動装置１００の自律的な位置移動を可能にするための機構部分であり、本実施例においては具体的には４つのモータとモータ軸にとりつけられたプロペラを備えている。ＣＰＵ１０５から総合的に判断された移動命令により４つのプロペラを適切に回転駆動させ、位置の移動、姿勢変化、方向回転などの動作を行うことができる。方位検知センサ１１２は移動装置１００が東西南北どちらを向いているかを検出できる。ＧＰＳ１１３は現在の位置をＧＰＳ信号を受信し処理することで特定することができる。加速度センサ１１４は移動装置１００にかかる３次元方向の加速度を検出することができ、加速中の加速度や落下状況などを検出することができる。ジャイロ１１５は３次元の３軸方向に関する回転量を検出することができる。移動装置１００は方位検知センサ１１２〜ジャイロ１１５の構成から得られる情報を総合的に処理して、現在の位置、加速度状態、回転状態などを算出することができる。通信部１１６は操作端末２００内と通信部２０６との無線通信を介して、操作端末２００との指令のやり取り、画像情報、位置の情報等、必要な情報を送受信することができる。

撮像光学系１０２、及び撮像信号処理部１０４〜通信部１１６はバス１１７を介して指令、情報のやり取りが可能である。

ＣＰＵ２０１は操作端末２００の処理の全体統括を行う。ＲＯＭ２０２には操作端末２００の処理プログラム、処理に必要な情報が予め保持されており、ＣＰＵ２０１はこのＲＯＭ２０２に保持された処理プログラムに基づいて動作する。ＲＡＭ２０３は処理中の一時的なデータ保持の役割を担っている。

ＬＣＤ表示部２０４は、後述する通信部２０６を介して受信した撮像装置１１８で撮像している画像や映像を表示したり、タッチ操作部２０５のための操作部材を表示することが可能である。

タッチ操作部２０５はユーザからの操作・指示を受け付けるためのインターフェースである。ＣＰＵ２０１はタッチ操作部２０５への以下の操作パターン・状態を検出できる。
・タッチ操作部を指やペンで触れたこと（以下、タッチダウンと称する）。
・タッチ操作部を指やペンで触れている状態であること（以下、タッチオンと称する）。
・タッチ操作部を指やペンで触れたまま移動していること（以下、ムーブと称する）。
・タッチ操作部へ触れていた指やペンを離したこと（以下、タッチアップと称する）。
・タッチ操作部に何も触れていない状態（以下、タッチオフと称する）。

これらの操作や、タッチ操作部２０５に指やペンが触れているタッチ位置座標は非図示の内部バスを通じてＣＰＵ２０１に通知され、ＣＰＵ２０１は通知された情報に基づいてタッチ操作部２０５にどのような操作が行なわれたかを判定する。

ムーブについてはタッチ操作部２０５を移動する指やペンの移動方向についても、位置座標の変化に基づいて垂直成分・水平成分毎に判定できる。またタッチ操作部２０５をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。ムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。素早くドラッグを行い最後に指を弾くように離す操作を、フリックと判定するものとする。

また、タッチ操作部２０５に対する２箇所の同時タッチ（マルチタッチ）が行われていることも検出できる。マルチタッチの検出を利用して、図３（ａ）のように、指などでタッチパネルの２箇所に触れた状態のまま、タッチされている２点間の距離が離れるようにムーブしていること（以下、ピンチアウトと称する）も判別できる。また、逆に、図３（ｂ）のように、タッチされている２点間の距離が近づくようにムーブしていること（以下、ピンチインと称する）も判別できる。なお、ピンチインとピンチアウトを総称してピンチ操作と称するものとする。

また、タッチ操作部２０５は、ＬＣＤ表示部２０４に操作部材を表示した上で、操作部材に対応する個別操作を受け付けることも可能である。通信部２０６は移動装置１００内の通信部１１６との通信を介して、移動装置１００との指令のやり取り、画像情報、位置の情報等、必要な情報を送受信することができる。

図２は、本発明の第１の実施形態に係る操作端末の処理を示すフローチャートである。図２のフローチャートは、操作端末２００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ２０２に格納されているプログラムをＲＡＭ２０３に展開し、ＣＰＵ２０１が実行することにより実現される。

まず始めにステップＳ２０１においてタッチ操作部２０５へのタッチ操作があるか否かを判定している。タッチ操作がない場合は、ステップＳ２０１を繰り返し、タッチ操作があるまで待機する。このとき移動装置１００は、空中の１点で停止（ホバリング）し、撮像装置１１８で撮影されている映像が通信部１１６、通信部２０６を介して、操作端末２００のＬＣＤ表示部２０４にリアルタイムで表示されているものとする。また本実施例では、図１２（ｄ）のように撮像装置１１８の光軸方向と、移動装置１００の駆動部１１１で規定される移動軸方向が一致しているものとする。タッチ操作がある場合、ステップＳ２０２に進む。ステップＳ２０２では行われたタッチ操作の操作パターンが、ピンチ操作であるかどうかを判定する。ステップＳ２０２では行われたタッチ操作がピンチ操作であればステップＳ２０３に進み、そうでなければステップＳ２０９に進む。

ステップＳ２０３ではタッチ中心点がタッチパネル中央領域の内部に入っているか否かを判定する。この判定について図４に基づいて、詳細に説明する。図４（ａ）はタッチパネル上でのタッチパネル中央領域を説明する図である。タッチパネル枠４０２はタッチ操作部２０５の操作可能な領域の大きさを示している。説明のためタッチパネル枠４０２の中心点を元にｘｙ座標を設定している。タッチパネル枠４０２の中心を基準としてタッチパネル枠４０２より小さな領域としてタッチパネル中央領域４０１を設定している。図４（ｂ）（ｃ）の２つの例からステップＳ２０３の処理の分岐を説明する。図４（ｂ）において指領域４０３、４０４はそれぞれピンチ操作のために最初にタッチされた２つの指の接地領域（ピンチ操作の開始点）を示している。指領域４０３、４０４それぞれの重心位置を求め、その２つの重心位置の中間点をタッチ中心点４０５として定義している。図４（ｂ）の場合タッチ中心点４０５がタッチパネル中央領域４０１の中に入っているので、ステップＳ２０３においてはステップＳ２０４に進む分岐となる。反対の場合として図４（ｃ）では、同様に求めたタッチ中心点４０８が、タッチパネル中央領域４０１の外に存在するので、ステップＳ２０３においてはステップＳ２０５に進む分岐となる。ステップＳ２０４、Ｓ２０５における移動装置１００への移動指令での移動軸の方向の決定方法について、図５、図６に基づいて、詳細に説明する。

図５は、本発明の第１の実施形態に係るピンチアウトの位置による移動方向の決定について示す図である。図５（ａ）におけるタッチパネル中央領域４０１、タッチパネル枠４０２、指領域４０６、４０７、タッチ中心点４０８は図４（ｃ）と同様のものである。図５（ａ）では、図４のｘｙ軸に加えて説明のためにｚ軸も追加している。図５（ａ）では、タッチパネル枠４０２に対して３次元的に距離Ｌだけ離れた位置の平面枠を仮想し、この枠を仮想前方枠５０２とする。距離Ｌは予め設定されている値で、操作端末２００内のＲＯＭ２０２に格納されている値とする。手５０１で示すように実際にタッチしている平面はタッチパネル枠４０２の位置である。指領域４０６、４０７、タッチ中心点４０８を仮想前方枠５０２に射影させたものを指領域５０３、５０４、タッチ中心点５０５とする。

図５（ａ）はタッチパネル枠５０２の距離Ｌ前方に仮想枠を設定しているが、それに対し距離Ｌ後方に仮想枠を設定しているのが図６であり、この仮想枠を仮想後方枠６０６とする。指領域４０６、４０７、タッチ中心点４０８を仮想後方枠６０６に射影させたものを指領域６０１、６０２、タッチ中心点６０３とする。

ステップＳ２０４で移動軸を光軸方向に決定するが、この方向は図５（ａ）におけるｚ軸の方向である。もし前進する場合は図５（ａ）の方向５０６で定義する方向が移動装置１００の進行方向となる。もし後進する場合は図６の方向６０４で定義する方向が移動装置１００の進行方向となる。

ステップＳ２０５で決定する移動軸は、前進の場合、タッチパネル枠４０２の中心からタッチ中心点５０５へ向けた方向５０７が移動軸となる。これをｘｚ平面、ｙｚ平面への射影として示したものが図５（ｂ）、（ｃ）となる。タッチ中心点４０８，５０５のｘｙ座標を（ｘ１、ｙ１）とすると、図５（ｂ）のｘｚ平面上では原点から（ｘ、ｚ）＝（ｘ１、Ｌ）へ引いた直線のなす角度θ１で定義できる。図５（ｃ）のｙｚ平面上では（ｘ、ｚ）＝（ｙ１、Ｌ）へ引いた直線のなす角度θ２で定義できる。

もし後進の場合、図６においてタッチパネル枠４０２の中心からタッチ中心点６０３へ向けた方向６０５が移動軸となる。このように移動装置１００の移動軸を決定した後にステップＳ２０６に進む。

ステップＳ２０６では、タッチ操作の操作方向からなされたタッチ操作ピンチアウトか否かを判定する。もしピンチアウトである場合、ステップＳ２０７に移り、移動方向を移動軸の前進方向にする。この場合、もしステップＳ２０４を通過していたならば方向５０６の方向に、ステップＳ２０５を通過していたならば方向５０７の方向が移動方向として決定される。もしピンチインである場合、ステップＳ２０８に移り、移動方向を移動軸の後進方向にする。この場合、もしステップＳ２０４を通過していたならば方向６０４の方向に、ステップＳ２０５を通過していたならば方向６０５の方向が移動方向として決定される。これらの移動方向決定の後、ステップＳ２１１に進む。

ここでステップＳ２０２戻り、ステップＳ２０２においてピンチ操作以外の操作が行われた場合について説明する。

ステップＳ２０２においてピンチ操作以外の操作が行われた場合、ステップＳ２０９に進み、行われたタッチ操作がドラッグ操作であるかどうかの判定を行う。ステップＳ２０９において行われたタッチ操作がドラッグ操作と判定された場合、ステップＳ２１０に移り移動方向を決定する。ドラッグ操作が行われた場合の移動方向の決定方法を図７に基づいて詳細に説明する。

図７は、本発明の第１の実施形態に係るドラッグ操作に対応する動作を示す図である。ステップＳ２１０では、上下左右方向、もしくはそれらの組み合わせの方向が移動方向として決定される。図７（ｂ）において指領域７０１をドラッグ操作の始点とし、ドラッグ操作の操作方向が、方向（１）（上方）、方向（２）（右方向）、方向（３）（下方向）、方向（４）（左方向）の場合を考える。この時、ドラッグ操作で入力されたそれぞれの方向に対応する移動装置の進行方向を図７（ｃ）に示す。それぞれ図７（ｃ）の方向（１）（下方向）、方向（２）（左方向）、方向（３）（上方向）、方向（４）（右方向）と指領域７０１の重心点について対称な方向を移動装置１００の移動方向として設定する。この方向に一定方向進んだ場合の、撮像装置１１８で撮像されているＬＣＤ表示部２０４の表示画像を図７（ｄ）に示す。図７（ｂ）において方向（１）（２）（３）（４）の方向にそれぞれドラッグ操作をした場合、図７（ｄ）で示す画像（１）（２）（３）（４）がそれぞれ得られる。スマートフォンやタブレットの画像ビューワにおいて、画像に対して一般的なドラッグ操作を行った場合の画像の変化と同じ効果が得られる。これにより操作者はよりドラッグ操作によって、より直観的に移動装置１００すなわち撮像装置１１８の操作をできることになる。このようにドラッグ操作による移動方向決定がなされた後、ステップＳ２１１に進む。

ピンチ操作、ドラッグ操作により移動方向が決定された後は、決定した移動方向（Ｓ２１１）、移動開始コマンド（Ｓ２１２）を移動装置１００に送信し、ステップＳ２１３に進む。

ステップＳ２１３ではピンチ操作、ドラッグ操作が行われた後、タッチオンの状態が継続しているか、この場合、操作の後に指がタッチ操作部２０５から離されずに付けられたままであるかどうかを判定する。具体的にはタッチ操作の検出後も、一定時間以上タッチオン状態が継続されているかどうかで判断する。

ステップＳ２１３においてタッチ操作が継続中であると判定した場合、ステップＳ２１３を繰り返し、タッチアップされるまで待機する。すなわち、タッチオンが継続している間は、移動装置１００は指示方向への移動を継続することになる。その際、例えば、図１１に示すように、タッチ操作に応じた移動装置１００の移動方向を、矢印又は文字などで画像と一緒に表示するようにしても良い。

タッチ操作が終了している（タッチアップされた）と判定された場合、ステップＳ２１４へ進み、移動装置１００へ、移動停止コマンドを送信し、ステップＳ２０１に戻る。

ここでステップＳ２０９戻り、ステップＳ２０９においてドラッグ操作以外の操作が行われた場合について説明する。ステップＳ２０９においてドラッグ操作以外の操作が行われた場合、ステップＳ２１５へ進み、操作に対応するコマンドの有無の判定を行う。対応するコマンドがある場合は、ステップＳ２１６へ進み、移動装置１００へ対応するコマンドを送信した後、ステップＳ２０１に戻る。対応するコマンドが無い場合は、ステップＳ２０１に戻る。

以上、第１の実施形態に係る操作端末２００の処理について説明をしたが、ここで、操作端末２００からコマンドを受信した場合の、移動装置１００の動作について図１０を使って説明する。図１０は、本実施例に係る移動装置の処理を示すフローチャートである。図１０のフローチャートは、移動装置１００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現される。

まず始めにステップＳ１００１において、操作端末２００から移動方向及び移動開始コマンドを受信したか否かを判定している。移動開始コマンドを受信した場合は、ステップＳ１００２へ進み、移動装置１００は指示された移動方向への移動を開始する。受信していない場合は、ステップＳ１００１を繰り返し、操作があるまで移動制御は行わない。

ステップＳ１００２で移動制御を開始した後は、ステップＳ１００３へ進み、移動停止コマンドを受信したか否かを判定する。移動停止コマンドを受信した場合は、移動装置１００は移動を停止（Ｓ１００４）する。移動停止コマンドを受信していない場合は、ステップＳ１００２を繰り返し、操作があるまで移動を続ける。

この操作の一例としてピンチアウトを行った場合を示したのが図８、図９である。

図８は、タッチパネルの中央領域でピンチアウト操作をした場合の、移動装置１００の動作示す図である。図８（ａ）は、進行方向が「前進」のときに指領域８０１、８０２へ指を置き方向８０３、８０４へピンチアウト操作をした場合を示している。この場合、図８（ｂ）のように移動装置１００が位置８０８から８０９方向へ移動する。この時、ＬＣＤ表示部２０４に表示されている画像は図８（ｃ）のようになる。

図９は、タッチパネルの中央領域外でピンチアウト操作をした場合の、移動装置１００の動作示す図である。図９（ａ）は、指領域９０１、９０３へ指を置き方向９０３、９０４へピンチアウト操作した場合で、移動装置１００の移動方向が撮像装置１１８の光軸と並行でない。この場合、移動装置１００は斜め右上前方に移動し、この時のＬＣＤ表示部２０４に表示されている画像は図９（ｂ）のようになる。

なお、移動装置１００の移動速度は所定の速度としても良いが、操作端末２００から送信する構成としても良い。その場合、例えば、ピンチ操作の際のなぞり距離に応じて決定しても良いし、タッチオンの継続時間に応じて加速するようにしても良い。例えばピンチアウト後にタッチオンを継続したまま、ピンチインの方向に動かすなど、タッチオンを継続しながら２点を逆方向に移動させた際には、減速するようにしても良い。また、タッチアップされた後、短時間の間に繰り返しピンチ操作が行われた場合は、停止コマンドを送信せず、移動を続ける構成としても良く、またピンチ操作の繰り返し回数ごとに段階的に移動速度を変えるようにしても良い。また、移動装置１００の移動開始からの経過時間などに応じて、速度を制御する構成としても良い。

以上述べてきた第１の実施形態の処理により、ドローンなどに搭載された位置移動が可能な撮像装置をタッチパネル機能のある操作端末で操作する場合に、直観的にわかりやすい操作で撮像装置の移動制御が可能である。

（第２の実施形態）
以下、図を参照しながら、本発明の第２の実施形態における処理について説明する。なお、第１の実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。第２の実施形態では、例えば図１２（ｅ）のように、撮像装置１１８が移動装置１００に対してパンチルト角度を変更可能な構成で、操作端末２００から撮像装置１１８へコマンドを送信するなどの操作によりパンチルト制御が可能なものとする。

図１３は、本発明の第２の実施形態に係る操作端末の処理を示すフローチャートである。図１３のフローチャートは、操作端末２００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ２０２に格納されているプログラムをＲＡＭ２０３に展開し、ＣＰＵ２０１が実行することにより実現される。

ステップＳ１３０１において、操作端末２００は移動装置１００の向きに対する撮像装置１１８の撮像方向に関する情報を取得する。この情報は、例えば、一定期間ごとに操作端末２００から移動装置１００へ問い合わせたり、移動装置１００が撮像装置１１８の撮像方向を変更した際に、操作端末２００へ通知することにより取得可能である。

移動装置１００に対する撮像装置１１８の撮像方向に関する情報を取得した後は、ステップＳ１３０２に進み、パンチルト操作が行われているかどうか、すなわち、移動装置１００の正位置と撮像装置１１８の光軸方向が一致しているか否かを判定する。一致している状態とは、移動装置１００と撮像装置１１８の前後方向、上下方向、左右方向が一致していることを指す。一致している場合はステップＳ１３０４へ進む。

一致していない場合はステップＳ１３０３へ進み、そのパンチルト角において、移動装置１００の移動座標系と撮像装置１１８の光学座標系を一致させる処理を行う。ここで、移動座標系とは移動装置１００の前後方向、上下方向、左右方向を表す座標系である。光学座標系とは撮像装置１１８の前後方向、上下方向、左右方向を表す座標系を表す座標系であり、操作端末２００に表示される画像の座標系と一致する。このステップＳ１３０３における座標変換処理について図１２を用いて説明する。

図１２（ａ）はタッチ操作部の中央で指領域１２０１、１２０２に指を置き、方向１２０３、１２０４へ指を広げたピンチアウト、（ｂ）はピンチイン、（ｃ）はドラッグ操作を示している。図１２（ｄ）は、移動装置１００に対して撮像装置１１８のパンチルト角度が付いておらず、移動装置１００の移動座標系の前方方向と、撮像装置１１８の光軸方向１２１０が一致している場合である。この場合、図１２（ａ）で示すピンチアウトで図１２（ｄ）の方向（１）へ進行し、図１２（ｂ）で示すピンチイン操作で図１２（ｄ）の方向（２）へ進行する。図１２（ｃ）ドラッグ操作で方向（３）、（４）、（５）、（６）の操作をそれぞれ行った場合、図１２（ｄ）の方向（３）、（４）、（５）、（６）のへ進行する。

ここで図１２（ｅ）のように移動装置１００に対して撮像装置１１８が−９０度方向にチルト角を持っていた場合を考える。この場合、図１２（ａ）のピンチアウトに応じて鉛直下方向、すなわち図１２（ｅ）における方向（１）の方向に移動しないと、操作者が操作端末２００のＬＣＤ表示部２０４での表示に対して不自然になる。よってこの場合は、光軸方向１２１１の方向をピンチアウト動作の前進方向とし、その方向を基準として、図１２（ｅ）の方向（２）、（３）、（４）、（５）、（６）の方向座標を決定する。そのうえで、ピンチ操作により指示された移動方向を、移動装置１００と撮像装置１１８との相対関係に基づき変換し、移動装置１００の移動方向を決定する。図１２（ｅ）の例ではチルト角が−９０度の場合を示しているが、パン・チルト角が任意の値であっても、上述の要領で光軸方向をピンチアウトの方向と合わせることを基準に移動座標系の変換を行うことができる。以下の処理では、全てこの座標変換を行った上で、移動方向を決定するものとする。

続くステップＳ１３０４からステップＳ１３１９の処理は、第１の実施形態のステップＳ２０１〜ステップＳ２１６と同様であるので詳細説明は割愛する。

本実施例では、操作端末２００でタッチ操作に応じた移動方向、移動距離を算出し、移動装置１００に送信する構成を例としたが、操作端末２００から操作情報を送信し、移動装置１００で受信した操作情報から移動方向、移動速度を算出しても良い。その場合は、移動装置１００と撮像装置１１８の方向の相対関係に基づいて、移動装置１００で操作情報を変換して移動方向を算出する。

以上述べてきた第２の実施形態の処理により、ドローン等の前進方向と撮像装置の光軸の方向が任意に変更された状況でも、移動装置１００の移動をタッチ操作で直観的にわかりやすく行える。

本実施例では、移動装置１００が指定された方向に移動開始コマンドを受信してから停止コマンドを受信するまでの間移動するが、移動動作中に障害物などを認識して自動停止する構成とすることも可能である。操作端末２００からの停止コマンドを受信していない場合でも、被写体認識部１０８によって障害物などが存在する場合には、撮像素子１０３の構成から可能になる距離情報検出を用いて、安全のため衝突しない距離で停止する。この時、被写体認識部によって検出された障害物の種別によって、近づける距離の制限に変化を持たせてもよい。例えば、障害物が壁などの物体である場合は、移動装置１００が障害物から距離Ａだけ手前で停止し、障害物が人物の場合は、移動装置１００が障害物から距離Ｂだけ手前の位置で停止する（距離Ｂ＞距離Ａ）。

また、障害物等の移動制限により移動を停止した場合には、同じ方向にズーム動作をするように制御を切り替えても良い。その場合には、図１１に示す矢印の色や表示する文字列を変えて、障害物等により移動できない旨、ズーム動作に切り替えた旨を、認識しやすく表示することも可能である。同様に、ドラッグ操作による移動装置の移動を、撮像方向の変更に切り替えても良い。

また、本実施例では移動装置１００の動作に関して前後進移動、上下左右方向移動のみであったが、円環状のなぞり操作に応じて旋回動作を受け付けるようにしても良い。例えば、円環状のＵＩを用意し、指で時計方向になぞると右旋回コマンドを移動装置１００に送信し、反時計方向になぞると左旋回コマンドを移動装置１００に送信する。

また、例えばＬＣＤ表示部２０４に表示させた切替部材をタッチすることにより、ピンチ操作に対応する動作を、前後方向への移動と、ズーム動作とを切り替える構成としても良い。同様に、ドラッグ操作に対応する動作を、左右方向又は上下方向への移動と、撮像方向の変更（パンチルト動作）とを切り替えることも可能である。このように、本実施形態では、所定の条件に応じて移動装置１００に対する移動指示と、撮像装置１１８に対するズーム指示を選択的に実行可能である。

なお、本実施例では、ドローン等を例として説明したが、移動装置は三次元の移動ができなくても良く、例えば、レール等で移動方向が規制された監視カメラなどにも応用可能である。

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 移動装置
１０１ 撮像光学系
１０２ 撮像光学系操作部
１０３ 撮像素子
１０４ 撮像信号処理部
１０５ ＣＰＵ
１０６ ＲＯＭ
１０７ ＲＡＭ
１０８ 被写体認識部
１０９ メモリスロット
１１０ メモリカード
１１１ 駆動部
１１２ 方位検知センサ
１１３ ＧＰＳ
１１４ 加速度センサ
１１５ ジャイロ
１１６ 通信部
１１８ 撮像装置
２００ 操作端末
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ＬＣＤ表示部
２０５ タッチ操作部
２０６ 通信部

Claims (16)

1. 撮像手段を保持する移動装置を外部から制御する操作装置であって、
   前記撮像手段で撮像している画像を表示する表示手段と、
   タッチ操作を検出するタッチ操作手段と、
   前記タッチ操作手段により検出されたタッチ操作に応答して、該タッチ操作がムーブ操作である場合に該ムーブ操作の操作方向に基づいて前記移動装置を移動させる指示手段と、を有し、
   前記タッチ操作手段により、前記ムーブ操作の後、タッチオンの状態が継続して検出されている場合は、
   前記指示手段は、前記ムーブ操作に基づく移動を継続させることを特徴とする操作装置。
2. 前記指示手段は、前記タッチ操作の後、タッチオンの状態が継続して検出されている場合の継続時間または所定の時間内の間隔で同じ操作が繰り返されている場合の繰り返し回数が増えることに応じて、前記移動の速度を速めることを特徴とする請求項１に記載の操作装置。
3. 前記指示手段は、前記表示手段に表示されている画像が前記ムーブ操作の操作方向へ移動するように前記移動装置を移動させることを特徴とする請求項１又は２に記載の操作装置。
4. 前記指示手段は、さらに、前記移動装置と前記撮像手段の設置角度に基づいて、前記移動の方向を決定することを特徴とする請求項１乃至３のいずれか１項に記載の操作装置。
5. 前記指示手段は、前記タッチ操作手段により検出されたタッチ操作が円弧状のなぞり操作である場合に、前記移動装置を旋回動作させることを特徴とする請求項１乃至４のいずれか１項に記載の操作装置。
6. 前記表示手段は、前記移動装置の移動方向を前記画像に重畳して表示することを特徴とする請求項１乃至５のいずれか１項に記載の操作装置。
7. 請求項１乃至６のいずれか１項に記載の操作装置と、
   前記移動装置と、
   を有することを特徴とする制御システム。
8. 撮像手段を保持する移動装置を外部の操作装置から制御する制御方法であって、
   前記操作装置は、前記撮像手段により撮像された画像を表示する表示手段と、タッチ操作を検出する検出手段と、を有し、
   前記検出手段により検出されたタッチ操作に応答して、
   前記タッチ操作がムーブ操作の場合に該ムーブ操作の操作方向に基づいて前記移動装置を移動させるステップと、
   前記検出手段により、前記ムーブ操作の後、タッチオンの状態が継続して検出されている場合は、該ムーブ操作に基づく移動を継続させるステップと、
   を有することを特徴とする制御方法。
9. 前記タッチ操作の検出後、前記タッチオンの状態が継続して検出されている場合の継続時間または所定の時間内の間隔で同じ操作が繰り返されている場合の繰り返し回数が増えることに応じて、前記移動の速度を速めるステップ
   を有することを特徴とする請求項８に記載の制御方法。
10. 前記ムーブ操作の操作方向に基づいて、前記表示手段に表示されている画像が該ムーブ操作の操作方向へ移動するように前記移動装置を移動させる
    ことを特徴とする請求項８又は９に記載の制御方法。
11. 前記移動において、さらに、前記移動装置と前記撮像手段の設置角度に基づいて、前記移動の方向を決定することを特徴とする請求項８乃至１０のいずれか１項に記載の制御方法。
12. 前記検出手段により検出されたタッチ操作が円弧状のなぞり操作である場合に、前記移動装置を旋回動作させるステップと、
    を有することを特徴とする請求項８乃至１１のいずれか１項に記載の制御方法。
13. 前記移動装置の移動方向を前記画像に重畳して前記表示手段に表示するステップをさらに有することを特徴とする請求項８乃至１２のいずれか１項に記載の制御方法。
14. 前記操作装置から前記検出手段により検出されたタッチ操作のパターン及び操作方向を含む操作情報を受けとる通信手段と、
    前記操作情報に基づいて請求項８乃至１３のいずれか１項に記載の各ステップを実行する制御手段と、
    を有することを特徴とする移動装置。
15. 請求項８乃至１４のいずれか１項に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
16. 請求項１５に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。

Images