JP2015091282A - ラジコン玩具自動操縦装置及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザによるコントローラの操作がなくても、ラジコン玩具をソフトウェアで遠隔制御する。
【解決手段】ラジコン玩具自動操縦装置１は、ラジコン玩具２を撮影する撮像部１２と、ラジコン玩具２の撮影画像を表示する画面出力手段１１２と、ユーザによる操作を入力する操作入力手段１１１と、前記撮影画像に基づいてラジコン玩具２の位置及び姿勢を認識する画像処理手段１４１と、操作入力手段１１１を介したラジコン玩具２への指示を認識するユーザ指示認識手段１４２と、ラジコン玩具２の位置及び姿勢と、前記ユーザからの指示にもとづきラジコン玩具２を操縦するためのコマンドを生成するコマンド生成手段１４３と、生成されたコマンドをラジコン玩具２の受信部に向けて発信する電波送信部１５とを備える。
【選択図】図１

Description

コントローラを操作することなく、ソフトウェアが自動生成したコマンドによってラジコン玩具を遠隔制御するラジコン玩具自動操縦装置に関する。

車やヘリコプターなどの玩具を無線操縦させる方法としては、ユーザがコントローラのレバーやボタンを操作して、対象となる玩具を遠隔操縦する方法が一般的であった。しかし、最近ではカメラ機能、タッチパネルを備えた携帯端末が普及し、これをコントローラ代わりに用いることも行われるようになってきている。
例えば、特許文献１には、ラジコンカーに専用の特別なコントローラを必要とせず、携帯電話のキーボードの押し操作により、遠隔操作をすることができるとともに、直接制御だけではなく制御信号をシーケンシャルに出力し、走行玩具の走行を制御する「ラジコン玩具システム」に関する発明が開示されている。
特許文献２には、屋内環境において、子どもなど、操縦に不慣れな者が、単純で直感的な操作によって、無人機を操縦することを可能にする「無人機を操縦する装置」に関する発明が開示されている。
特許文献１・２は、玩具に関する発明であるが、実用目的に乗り物を遠隔操縦する技術として、特許文献３や特許文献４など多数が出願されている。

特開２００５−５０４号公報 特表２０１２−５０９８１２号公報 特開２００８−１７４１９２号公報 特開２００６−２６４５７３号公報

特許文献１は、携帯電話に、コマンド列を記録し、これをシーケンシャルに再現させることで一種の自動操縦を行っているとも言えるが、ユーザは経路や行き先を自由に指定することはできない。
特許文献２は、無人機を操作する装置のタッチパッド上に対象となる無人機が撮影した画像を表示し、このタッチパッド上のボタンの操作などに基づきコントロールするのであって、操作する装置が自動的にコマンドを生成してコントロールするのではない。したがって、ユーザは、ある程度操作に習熟することが必要である。

このような従来の発明の問題点に鑑み、本願発明は、ユーザによるコントローラの操作を必要とせず、ユーザが自由に指定した経路や行き先に従いラジコン玩具を自動操縦することを目的とする。

上記の目的を達成するために、請求項１に係る発明は、ラジコン玩具自動操縦装置であって、
ラジコン玩具を撮影する撮像部と、
前記ラジコン玩具の撮影画像を表示する画面出力手段と、
ラジコン玩具を自動操縦させようとする者（以下、「ユーザ」という）による操作を入力する操作入力手段と、
前記撮影画像に基づいてラジコン玩具の位置及び姿勢を認識する画像処理手段と、
前記操作入力手段を介したラジコン玩具への指示を認識するユーザ指示認識手段と、
前記ラジコン玩具の位置及び姿勢と、前記ユーザからの指示（例：経路指定や行き先指定）にもとづきラジコン玩具を操縦するためのコマンド（例えば、「前進」、「右旋回」などを遠隔制御で行わせるための制御信号）を生成するコマンド生成手段と、
前記生成されたコマンドを前記ラジコン玩具の受信部に向けて発信する電波送信部とを備えたことを特徴とする。
「ラジコン玩具」としては、ラジコンヘリやラジコンカーが代表的であるが、これらに限らず、例えばボール状でもよい。要は、あらゆる無線操縦可能な玩具を対象とする。

このように、ラジコン玩具を無線操縦するためのコマンドが自動生成されるので、ユーザによるコントローラの操作は不要となる。つまり本願発明によって、未経験者でもラジコンカーを走らせたりラジコンヘリのホバリングや飛行をさせたりして、楽しむことができるのである。

上記の目的を達成するために、請求項２に係る発明は、請求項１に記載のラジコン玩具自動操縦装置であって、
前記画像処理手段は、静止状態あるいは低速状態にあるラジコン玩具の撮影画像にもとづいて該ラジコン玩具の現在の位置及び姿勢を認識し、
前記コマンド生成手段は、認識した現在の位置及び姿勢と、前記ラジコン玩具の性能情報と、前記ユーザからの指示とにもとづき前記ラジコン玩具を操縦するためのコマンドを生成することを特徴とする。
「性能情報」とは、たとえばラジコンカーの場合のアクセル開度と速度の情報、ハンドル操作量と旋回力等である。この性能情報は、本発明のコンピュータプログラムの入手時に同時に提供されるものでも、ユーザが自分で計測するものでも、ラジコン玩具のメーカやファンなどがインターネット上で公開しているものでもよい。また、性能情報をその都度取得してもよいが、取得した情報を記憶部に保存し、その都度読み出してもよい。要は、コマンド生成のために性能情報も参照されるという点が重要なのであって、取得の仕方などは問わない。
このように、静止あるいは低速状態の画像に基づいて対象となるラジコン玩具の位置・姿勢を認識できるので、画像認識の精度が高まり、走行するラジコン玩具がユーザの指示する目標や経路から大きくずれることを回避できる。

上記の目的を達成するために、請求項３に係る発明は、請求項１または請求項２のいずれかに記載のラジコン玩具自動操縦装置であって、
前記ユーザ指示認識手段は、撮像部によって撮影されたユーザのジェスチャーを画像認識した結果に基づき、前記ユーザからの指示を認識することを特徴とする。
このように、ユーザの指示はラジコン玩具が表示された画面のタッチやマウス等を介した操作だけでなく、手指を地面に向けたり、真横を指したりといった動作によっても行える。ユーザの指差しなどのジェスチャーのとおりにラジコン玩具を動かすことで楽しさが倍加する。

上記の目的を達成するために、請求項４に係る発明は、ラジコン玩具自動操縦装置であって、
ラジコン玩具の撮影中に動かしたり向きを変えたりして用いられる撮像部と、
該撮像部による前記ラジコン玩具を含む撮影画像を表示する画面出力手段と、
前記撮影画像に基づいてラジコン玩具の位置及び姿勢を認識する画像処理手段と
前記画面出力手段に表示された撮影画像の中心を移動目的地と認識し、前記ラジコン玩具の位置及び姿勢と、前記移動目的地の位置にもとづきラジコン玩具を操縦するためのコマンドを生成するコマンド生成手段と、
前記生成されたコマンドを前記ラジコン玩具の受信部に向けて発信する電波送信部とを備えたことを特徴とする。

この請求項４に係る発明は、ユーザによる画面のタッチ等の操作の代わりに、撮像部を動かすことによって、ラジコン玩具を操縦する点で請求項１に係る発明と異なる。
例えば、スマートフォンを動かすだけでラジコン玩具を移動させることができ、ユーザにラジコン玩具の多様な楽しみ方を提供できる。

上記の目的を達成するために、請求項５に係る発明は、請求項１〜４のいずれか１に記載のラジコン玩具自動操縦装置であって、
前記ラジコン玩具はヘリコプター玩具であり、
前記コマンド生成手段は、目標（ユーザによって指定された行き先）に到達したときはホバリング状態に遷移し、ホバリング状態にあるときは現状の位置と姿勢を保つためのコマンドを生成することを特徴とする。
このように目標に到達したときは、動きを停止せずにホバリング状態を保たせ、且つホバリング中は外乱の影響を相殺するために微調整を行い、完璧なホバリング状態を実現するので、単なる子ども向けの玩具にとどまらず、マニアをも満足させ得るような高機能の玩具を提供することができる。

上記の目的を達成するために、請求項６〜１０に係る発明は、コンピュータプログラムであって、
ラジコン玩具を撮影する撮像部と、前記ラジコン玩具の撮影画像を表示する画面出力手段と、必要であればユーザによる操作を入力する操作入力手段と、電波送信部とを備えたコンピュータを、
請求項１〜請求項５のいずれかに記載のラジコン玩具自動操縦装置として動作させることを特徴とする。
撮像部等を「備えたコンピュータ」とは、撮像部等を内蔵しているコンピュータとは限らず、撮像部等が外部の装置として接続されているコンピュータでもよい。

現在のラジコン玩具の位置と姿勢を画像認識した結果にもとづき、ラジコン玩具を操縦するためのコマンドを自動生成するので、誰でもラジコン玩具を飛行・走行させて楽しむことができる。
現在普及が著しいスマートフォンと呼ばれる多機能携帯電話を、自動操縦装置として使用することもできるので、従来よりも低廉な費用でラジコン玩具の入手が可能となる。

第１の実施形態のシステムの概要及びラジコン玩具自動操縦装置の機能ブロックを示す図である。 第１の実施形態の動作の流れを説明するフロー図である。 第１の実施形態の、ユーザによる目的地の指定を説明する図である。 第１の実施形態の、ユーザによる目的地の指定を説明する図である。 第１の実施形態の、ユーザによる経路の指定を説明する図である。 第１の実施形態のコマンド自動生成処理の流れを説明するフロー図である。 第１の実施形態のホバリング時の動作の流れを説明するフロー図である。 第２の実施形態の動作の流れを説明するフロー図である。 第２の実施形態のコマンド自動生成処理の流れを説明するフロー図である。 第３の実施形態のシステムの概要及びラジコン玩具自動操縦装置の機能ブロックを示す図である。 その他の実施形態において、ユーザのジェスチャーによってラジコン玩具を自動操縦する方法を説明する図である。 その他の実施形態において、撮像部の移動によってラジコン玩具を自動操縦する方法を説明する図である。

《第１の実施形態》
以下、図面を参照しながら本願発明の第１の実施形態のシステム（以下、「本システム」）について説明する。この実施形態では、ラジコンヘリを操縦対象とする。

本システムは、図１に示すように、ラジコン玩具自動操縦装置（以下、「自動操縦装置」という）１と、自動操縦装置１によって自動操縦されるラジコン玩具（以下、「ラジコンヘリ」）２と、から構成される。
ラジコンヘリ２は市販の製品を使用する。市販のラジコンヘリ２は、ユーザが特別なコントローラを操作することによって操縦されるが、本実施形態では、コントローラがラジコンヘリ２に無線送信するコマンドを自動操縦装置１が自動生成する。したがって、コントローラは不要である。

図１を参照しながら、自動操縦装置１の機能について説明する。
この実施形態では、自動操縦装置１として、入出力部１１と、撮像部１２と、記憶部１３と、処理部１４と、電波送信部１５を１台に備えた、多機能携帯電話を使用する。
これらの各部を１台に備えているならば、腕時計や眼鏡と同様に身体に装着するタイプの情報処理装置を自動操縦装置１として用いてもよい。

入出力部１１は操作入力手段１１１と画面出力手段１１２からなる。ラジコンヘリ２を自動操縦させるためのアプリケーションプログラムの起動・終了の指示や、ラジコンヘリ２を移動させたい経路や飛行目標の指示はこの操作入力手段１１１を介して行われる。画面出力手段１１２はディスプレイ画面である。
自動操縦装置１が、タッチパネルを備えているならば、このタッチパネルが操作入力手段１１１と画面出力手段１１２とを兼ねる。

撮像部１２は、カメラレンズ及び撮像素子である。撮像部１２によって撮影されたラジコンヘリ２の画像に基づいて、現在の位置・姿勢が画像認識される。

記憶部１３は、プログラム記憶手段１３１と作業用データ記憶手段１３２を備える。
プログラム記憶手段１３１は、処理部１４による各種処理を実現するコンピュータプログラムを格納する。
作業用データ記憶手段１３２は、撮像部１２によって取得された画像、ユーザの指示などラジコンヘリ２の自動操縦の際に必要となる各種データや処理の中間結果を格納する。
他に記憶部１３は、必要であればモデル画像や３Ｄモデルデータやラジコンヘリ２を飛ばす部屋の画像なども格納する。なお、画像処理の方法によって、格納されるデータが異なる。

処理部１４は、画像処理手段１４１、ユーザ指示認識手段１４２、コマンド生成手段１４３を有する。
画像処理手段１４１は、撮像部１２によって得られたラジコンヘリ２の画像に基づいて、その位置と姿勢を認識する。
ユーザ指示認識手段１４２は、操作入力手段１１１であるタッチパネル上のユーザの指の動き（所定箇所のタッチ、パネル上をなぞる等）に基づいて、ユーザがラジコンヘリ２を飛ばす経路や飛行目的地の指示を認識する。
コマンド生成手段１４３は、ラジコンヘリ２の位置と姿勢、及びユーザの指示に基づいてラジコンヘリ２に送信するためのコマンドを自動生成する。このコマンドは、従来のコントローラがラジコンヘリ２に発信する制御信号と同一の仕様であるものとする。本実施形態では、ラジコンヘリ２として、市販の製品を使うことを想定しているからである。

処理部１４に含まれる各手段１４１〜１４３の分類は、説明の便宜のためであり、各手段が截然と分かれているわけではない。これらの手段は、プログラム記憶手段１３１に格納されている所定のプログラム（請求項６等のコンピュータプログラムが相当する）を、図示しないＣＰＵが実行することにより実現される。

電波送信部１５は、処理部１４によって生成されたコマンドをラジコンヘリ２の受信機に向けて発信する。例えばＢｌｕｅｔｏｏｔｈ（登録商標）タイプの無線技術を利用することができる。

図２の処理フロー図に従い、本実施形態の動作を説明する。
ユーザは所定の操作によって、プログラム記憶手段１３１に格納されている自動操縦プログラムを起動させることによって、一連の動作がスタートする。

ユーザは、自動操縦装置１を対象となるラジコンヘリ２の方向に向け、撮像部２の機能で、ラジコンヘリ２を撮影し、タッチパネル（画面出力手段１１２）上に表示させる（ステップＳ１）。このラジコンヘリ２を撮影した画像を、以下「カメラ画像」という。
ユーザは、ラジコンヘリ２のカメラ画像が表示されているタッチパネル（操作入力手段１１１）上の特定の位置をタッチしたり、ラジコンヘリ２を飛ばす特定の経路をなぞったりする（ステップＳ２）。タッチされた特定の位置、或は特定の経路の終端がラジコンヘリ２の飛行目的地である。

ユーザによる目的地の指定について図３を参照しながら説明する。
図３（ａ）は、ラジコンヘリ２と撮像部（カメラ）のスクリーンとの位置関係を真上から見た状態を示す図である。符号ＳＣを付したのはカメラのスクリーンであり、符号Ｆを付したのは、スクリーンＳＣに平行でラジコンヘリ２を通る仮想的な平面である。スクリーンＳＣ上の点Ｐ０は、ラジコンヘリ２がスクリーンＳＣ上で見えている位置を表す。ユーザがラジコンヘリ２の目的地にしようとする点Ｐ１‘は、スクリーンＳＣ上では点Ｐ１が対応する。
図３（ｂ）は、図３（ａ）のラジコンヘリ２がタッチパネル１１１上に表示されている状態を示す。ユーザがタッチパネル１１１上の点Ｐ１をタッチすると、図３（ａ）の点Ｐ１と点Ｐ１‘を通る直線が特定されたことになり、自動操縦プログラムは、平面Ｆ上の点Ｐ１‘を目的地と特定する。
なお、図３（ａ）のスクリーンＳＣは、（ｂ）の表示画面とは異なるが、説明の便宜上同じものとしている。
平面Ｆは、地面に垂直な平面あるいはユーザがマニュアル指定した平面でもよい。また、図４（ａ）に示すように、平面Ｆは、スクリーンＳＣに平行でなくてもよい。さらに、平面Ｆは、図４（ｂ）の平面Ｆ（１）或は平面Ｆ（２）のように、ラジコンヘリ２を通らなくてもラジコンヘリ２から一定距離だけ離れていてもよい。この距離はユーザがマニュアル指定すればよい。
目的地の指定の仕方は他にもいろいろと考えられる。例えば、三面図のようなものを考えユーザが二箇所をタッチしても目的地を指定できる。

ユーザによる経路の指定について、図５を参照しながら説明する。
ユーザは、図５（ａ）に示すように、タッチパネル１１１上で、点Ｐ１を始点とし、点Ｐ４を終点とする曲線をなぞる。点Ｐ１とＰ４以外に任意個数の中継点（図５では点Ｐ２と点Ｐ３）を取り出し、自動操縦プログラムは、図５（ｂ）に示すように、上記の目的地の指定と同じ方法でラジコンヘリ２の飛行経路Ｐ１‘→Ｐ２‘→Ｐ３‘→Ｐ４‘を特定する。ラジコンヘリ２の現在地が点Ｐ１‘であれば目的地は点Ｐ２‘、現在地がＰ２‘であれば目的地は点Ｐ３‘というように、経路を目的地の集合と解釈することが可能なので、経路が指定された場合の処理は、目的地が指定された場合の処理と同様に実行される。

画像処理手段１４１は、ステップＳ１で取得したカメラ画像を解析して、ラジコンヘリ２の３次元空間での位置と姿勢を認識する（ステップＳ３）。ラジコンヘリ２の姿勢は、進行方向からの傾きを２次元パラメータで表す。

ここで、画像解析してラジコンの位置・姿勢を計算する方法は、複数が考えられる。それらの方法の例として次に４つの方法を説明するが、これらに限定されるものではない。また、下記のいずれか一の方法だけによるのではなく、複数の方法を組み合わせてもよい。

(方法１)
ラジコンヘリ２の本体に目立ち識別しやすい点を４点以上つける（例：色分け）。
それぞれの画像において、これらの点のうち３点のカメラ画像上の位置を認識できれば、ラジコンへり２の位置・姿勢を特定できる。
なお、点の付し方は、ラジコンヘリ２の本体にペイントしてもよく、先端を着色した棒やＬＥＤを本体にとりつけてもよい。

(方法２)
対象となるラジコンヘリ２を様々な角度や距離から撮影したモデル画像を予め用意しておく。
カメラ画像のラジコンヘリ２と大きさ・形が一致するモデル画像を探せばカメラからの距離と姿勢を認識できる。
ここで、距離については特定距離のモデル画像を用意し、これを拡大・縮小してカメラ画像と比較してもよい。
なお、モデル画像の代わりに、３Ｄモデルデータを用意し、適宜再モデリングしてカメラ画像と比較してもよい。

(方法３)
ラジコンヘリ２に特定の絵をペイントしたり、絵や模様が印刷されたラベルを貼付しておき、カメラで撮影された絵やラベルの部分の画像を解析すれば位置や姿勢が認識できる。
この方法は上記の(方法１)あるいは (方法２)の変形ともいえる。

(方法４)
室内でカメラを固定設置し、カメラの撮影可能な範囲で動くラジコンヘリ２にのみ適用できる方法である。
ラジコンヘリ２がない状態の画像を記録しておき、ラジコンヘリ２がある状態の画像と比較して画面上の座標を割り出し、姿勢は少し動かしてみて調べる。つまり、ラジコンヘリ２の現在位置・姿勢と目的地の相対位置が把握できれば自動操縦可能となるのである。
この方法は、画像処理も単純であり、誤差は自動操縦で吸収できるので上記の（方法１）〜（方法３）よりも実装が容易である。

ステップＳ３では、上記のいずれか１以上の方法或はその他の方法によってラジコンヘリ２の現在の位置と姿勢を認識する。あわせて、ステップＳ３において、ユーザ指示認識手段１４２は、ステップＳ２で取得したユーザによる指示データを元に、飛行経路あるいは目標の位置を認識する。
ステップＳ１からＳ３で得られたカメラ画像、画像処理の結果、ユーザの指示などはそれぞれ作業用データ記憶手段１３２などに適宜格納するものとする。

図２のステップＳ４以降は、自動操縦プログラムによるラジコンヘリ２の自動操縦であって、特にユーザによる操作は必要ない。
撮像部２によって、ラジコンヘリ２が撮影される（ステップＳ４）。
画像処理手段１４１は、ステップＳ４のカメラ画像に基づいて現在のラジコンヘリ２の位置と姿勢を認識する（ステップＳ５）。
現在のラジコンヘリ２の位置と目標を比較して、一致しているならば（ステップＳ６でＹｅｓ）、ホバリング状態に遷移させる（ステップＳ９）。ホバリングについては後で説明する。

まだ目標に到達していなければ（ステップＳ６でＮｏ）、ラジコンヘリ２の位置と姿勢、及び経路あるいは目標に基づいて、ラジコンヘリ２の操作を決定して、操作コマンドを自動生成する（ステップＳ７）。

図６のフロー図に従い、ステップＳ７のコマンドの自動生成について詳しく説明する。
ステップＳ５において認識したラジコンヘリ２の姿勢から向きを取出し、その向きが目標への方向或は指定された経路の進行方向と一致しない場合（ステップＳ７０１でＮｏ）、ラジコンヘリ２の向きが進行方向の左側か否かを判定する（ステップＳ７０２）。
もし、左側であれば（ステップＳ７０２でＹｅｓ）、ラジコンヘリ２を右旋回あるいは右方向へシフトさせるコマンドを生成する（ステップＳ７０３）。右側であれば（ステップＳ７０２でＮｏ）、ラジコンヘリ２を左旋回あるいは左方向へシフトさせるコマンドを生成する（ステップＳ７０４）。

ステップＳ５において認識したラジコンヘリ２の位置から高度を取出し、その高度が目標の高度と一致しない場合（ステップＳ７０５でＮｏ）、ラジコンヘリ２の高度と目標の高度とを比較する（ステップＳ７０６）。
もし、ラジコンヘリ２の高度の方が低ければ（ステップＳ７０６でＹｅｓ）、ラジコンヘリ２のスロットルを上げ上昇させるコマンドを生成する（ステップＳ７０７）。高ければ（ステップＳ７０６でＮｏ）、ラジコンヘリ２のスロットルを下げ下降させるコマンドを生成する（ステップＳ７０８）。
以上で、図２のステップＳ７の処理は終了する。

電波送信部１５は、コマンド生成手段１４３によって生成されたコマンドをラジコンヘリ２に送信する（ステップＳ８）。
ラジコンヘリ２は受信したコマンドに従った動作をする。
自動操縦プログラムによる処理は、ラジコンヘリ２が飛行目標に到達するまでステップＳ４からステップＳ８までの処理が繰り返される。つまり、目的地に到達するまでの間、ラジコンヘリ２の位置と姿勢を捕捉して目的地への進行方向を大きく逸脱しないように微調整を繰り返すわけである。

ラジコンヘリ２が飛行目標に到達した場合（ステップＳ６でＹｅｓ）、終了せずにホバリング状態に遷移させる（ステップＳ９）。
ところで、ラジコンヘリには、風などの外乱の影響を受けて、その位置・姿勢で静止させることができず、常に少しずつ変化するという特徴がある。そのため、飛行目標に達しても、ステップＳ９において、常に微調整が必要である。
この微調整のための処理を、図７のフロー図を参照しながら説明する。

ラジコンヘリ２の現在位置と飛行目標を比較し（ステップＳ９０１）、目標の後方であれば、前進させ（ステップＳ９０２）、前方であれば、後進させる（ステップＳ９０３）。
ラジコンヘリ２の現在の向きと目標姿勢を比較し（ステップＳ９０４）、目標姿勢より左旋回しているならば、右旋回させ（ステップＳ９０５）、右旋回しているならば、左旋回させる（ステップＳ９０６）。
ラジコンヘリ２の現在の位置と目標を比較し（ステップＳ９０７）、目標の左側であれば、右シフトさせ（ステップＳ９０８）、右側であれば、左シフトさせる（ステップＳ９０９）。
ラジコンヘリ２の現在の高度と目標の高度を比較し（ステップＳ９１０）、目標より下方であれば、スロットルを上げ上昇させ（ステップＳ９１１）、上方であれば、スロットルを下げ下降させる（ステップＳ９１２）。

この一連の微調整が終わったなら、再度ステップＳ９０１に戻り、微調整を繰り返す。
通常のラジコンヘリでは、コントローラを操作して飛行させたりホバリングさせたりしていたので、コントローラの操作に習熟するまでは、墜落させたり、壁などに衝突させたりしがちであった。しかし、この実施形態では、ユーザはラジコンヘリのカメラ画像が表示された画面上で経路あるいは到着地点を指定さえすれば、自動操縦プログラムが自動的に行う。そのため、特に操作が難しかったホバリングも完璧に行うことができる。
なお、ホバリングを終了させるためには、ユーザが所定の操作（例：画面上に表示されている「終了」ボタンのタッチ）を行い、自動操縦プログラムが着陸のためのコマンドを生成すればよい。着陸させるためには、ラジコンヘリ２の高度を監視しゆっくり下に移動するようにスロットルを調整し、移動しなくなったところで出力を0にする。

《第２の実施形態》
この実施形態では、ラジコン玩具２は車両玩具（以下、「ラジコンカー」という）である。
システムの構成及び自動操縦装置１の機能ブロックは第１の実施形態と同様である。
以下、第１の実施形態との相違点を中心に説明する。

この実施形態の動作を図８に従い、説明する。ここで、第１の実施形態と処理内容が同じステップには同じ符号を用いる。
ユーザは、自動操縦装置１を対象となるラジコンカー２の方向に向け、撮像部２で撮影し、タッチパネル（画面出力手段１１２）上に表示させる（ステップＳ１）。
ユーザは、ラジコンカー２の画像が表示されているタッチパネル（操作入力手段１１１）上の特定の位置をタッチしたり、ラジコンカー２の現在位置から始まる特定の経路をなぞったりする（ステップＳ２）。タッチされた特定の位置、或は特定の経路の終端がラジコンカー２の走行目的地である。

ここで、ラジコンカー２の目的地の指定について説明する。
ラジコンカー２は実際は３次元空間を移動するのであるが、最初から２次元の画面上を移動するものと考えればラジコンカー２も目的地も画面（タッチパネル）上にあり、画面をタッチした点そのものが目的地となる。
なお、３次元空間内の平面を移動する場合は、画像認識に先立って補正のため平面上の特定の数点と画面上の対応点を指定すれば平面が認識される。あるいは移動するラジコンカー２の画像認識から平面を特定することもできる。この場合の目的地は、画面のタッチした点を表す直線とその平面との交点として特定される。この際、平面が多少間違っていたり一部曲面になっていてもラジコンカー２が画面上で目的地に達するまで誘導が行われるので誤差はあまり問題にならない。

画像処理手段１４１は、ステップＳ１で取得したカメラ画像を解析して、ラジコンカー２の２次元空間での位置と姿勢を認識する（ステップＳ３）。ラジコンカー２は２次元上を走行するとみなすので、ラジコンカー２の姿勢は進行方向からの傾きを１次元パラメータで表す。

ここで、画像解析してラジコンカー２の位置・向きを計算する方法は、第１の実施形態のラジコンヘリの場合と同様である。
ただし、ラジコンヘリの画像処理の（方法１）は、次の（方法１‘）のように変更する。

(方法１‘)
ラジコンカー２の本体に目立ち識別しやすい点を２点つける（例：色分け）。
ラジコンカー２の場合は二次元の平面上を動くので、本体の前部と後部の１点ずつ計2点で十分である。さらに、すこし前進させれば向きもわかるので1点でもよい。

図９のステップＳ４以降は、自動操縦プログラムによるラジコンカー２の自動操縦であって、特にユーザによる操作は必要ない。
撮像部２によって、ラジコンカー２が撮影される（ステップＳ４）。
画像処理手段１４１は、撮影されたカメラ画像に基づいて現在のラジコンカー２の位置と姿勢を認識する（ステップＳ５）。
現在のラジコンカー２の位置と走行目標を比較して、一致しているならば（ステップＳ６でＹｅｓ）、ラジコンカー２を停止させるコマンドを生成して、ラジコンカー２に送信する（ステップＳ１１）。その後、自動操縦プログラムは終了する。

まだ目標地点に到達していなければ（ステップＳ６でＮｏ）、ラジコンカー２の位置と向き、及びユーザが指定した経路あるいは走行目標に基づいて、ラジコンカー２の操作を決定して、操作コマンドを自動生成する（ステップＳ１０）。

図９のフロー図に従い、ステップＳ１０のコマンドの自動生成について詳しく説明する。
ステップＳ５において認識したラジコンカー２の位置が走行目標に一致したならば（ステップＳ１００１でＹｅｓ）、自動操縦プログラムを終了させる。一致しないならば（ステップＳ１００１でＮｏ）、まだ目標に到達していないと判定してラジコンカーを前進させるコマンドを生成する（ステップＳ１００２）。このコマンドには、走行スピードの指定も加える。すなわち、画像認識により、ラジコンカーと走行目標との距離を計算し、この距離が大きければ進行スピードを速くし、小さければ遅くするコマンドを生成する。なお、距離とスピードの対応関係は、パラメータとして記憶部１３に記憶させておくとよい。

現在のラジコンカー２の向きが走行目標への方向或は指定された経路の進行方向と一致しない場合（ステップＳ１００３でＮｏ）、ラジコンカー２の向きが進行方向の左側か否かを判定する（ステップＳ１００４）。
もし、左側であれば（ステップＳ１００４でＹｅｓ）、ラジコンカー２のハンドルを右に切るコマンドを生成する（ステップＳ１００５）。右側であれば（ステップＳ１００４でＮｏ）、ハンドルを左に切るコマンドを生成する（ステップＳ１００６）。
ここで、ラジコンカーの向きが、目標への方向に比べて大きく（小さく）左手を向いているならば、ハンドルを大きく（小さく）右にきるためのコマンドを生成する。目標への方向に比べて大きく（小さく）右手を向いているならば、ハンドルを大きく（小さく）左にきるためのコマンドを生成する。
以上で、図９のステップＳ１０の処理は終了する。

電波送信部１５は、コマンド生成手段１４３によって生成されたコマンドをラジコンカー２に送信する（ステップＳ８）。
ラジコンカー２は受信したコマンドに従い動作する。
自動操縦プログラムによる処理は、ラジコンカー２が走行目標に到達するまでステップＳ４以降の処理が繰り返される。

上記は、通常の走行を自動操縦によって行わせるものであったが、物体を投げるとラジコンカー２が自動操縦されて、その物体まで走行して車のフロント箇所に取り付けたバスケットに入れて元の場所に戻ってくるといったゲーム的な要素を付加してもよい。そのためには、ラジコンカー２へのバスケットの付加と、自動操縦プログラムの機能追加等が必要となる。

《第３の実施形態》
上記の第１・第２の実施形態は、自動操縦装置１を多機能携帯電話１台で実現していた。しかし、本実施形態では、パソコンを中心とした構成で自動操縦装置１００を実現する。

自動操縦装置１００の機能ブロックについて、図１０に従い説明する。
自動操縦装置１００は、入出力部１０１と、撮像部１０２と、記憶部１０３と、処理部１０４と、電波送信部１０５を備える。
パソコンが主体の構成となるが、図１０の二重の矩形で囲んだ構成要素は、パソコンに接続した外部の装置であってもよい。
カメラを内蔵しているパソコンであれば、撮像部１０２として、その内蔵カメラを使用すればよい。しかし、カメラを内蔵していないパソコンの場合は、外付けのカメラを撮像部１０２とする。
画面出力手段１０１２として、液晶ディスプレイなどの外部出力装置を使用するときは、操作入力手段１０１１として、キーボード、マウスなどの外部入力装置を使用する。
電波送信部１０５は、パソコンに無線通信機能があれば、それを使用してもよい。しかし、多機能携帯端末などを中継送信機として用い、パソコンの通信インターフェース手段（図示せず）を介して送信されたコマンドを中継送信機が一旦受信し、これをラジコン玩具に送信することもできる。この場合は、パソコンの通信インターフェース手段と中継送信機とが電波送信部１０５を構成することになる。

つまり、この実施形態の自動操縦装置１００は、パソコンに適宜カメラ、外部入出力装置、中継送信機として用いる多機能携帯電話などを組み合わせて実現できる。
このように、本実施形態は、第１・第２の実施形態とは構成は異なる。しかし、動作については同様である。

以上、第１〜第３の実施の形態をもとに本願発明の説明をしてきたが、これらの実施の形態は例示にすぎず、さまざまな変形が考えられる。いくつの変形例を下記に記す。

上記の実施形態では、タッチパネルなどの入力手段を介して、飛行・走行目標や経路を指定した。しかし、自分の手をカメラに写してそのジェスチャーでラジコン玩具を操ってもよい。
例えば、指でさした場所に移動させたり、指の形でヘリを上下左右奥行方向に移動させたりすることも可能である。このときの指の位置・姿勢は、カメラ画像からラジコン玩具の位置と姿勢を認識した方法（第１の実施の形態の方法１、方法３、方法４）等と同様に画像処理によって認識すればよい。ここで、目印や模様の付いたリング等を指に装着すると、画像認識が容易になる。例えば、図１１に示すように、人差し指に目印付きリングＷを１つ装着すれば、3次元空間における人差し指の座標及び指している方向の認識が容易になる。図１１に従い、このリングＷを用いた操作について説明する。ユーザの人差し指は左斜め下を指差している。撮像部（１２、１０２）によって撮影されたユーザの手指およびリングＷの画像に基づき、自動操縦プログラムは、ラジコンカーＲＣの目標位置が計算できる。また、現在ラジコンカーＲＣは右手奥に向かって走行していることも認識できる。この二つの情報から自動操縦プログラムは、ラジコンカーＲＣの目標位置までの経路を計算し、図中の矢印Ｒ（１）のように向きを変更させる。ラジコンカーＲＣは、ユーザの指示に従い矢印Ｒ（２）のように走行する。
また、人差し指だけでなく親指にも目印付きリングを装着すれば、人差し指と親指との位置関係などが認識でき、より精密な経路の指定などが可能となる。さらに、３本以上の指のそれぞれに目印付きリングを装着すれば、より複雑なジェスチャーなどを認識することも可能である。目印付きリングの形状や目印・模様は特に限定しないが、指別に目印・模様やその色を変えると画像認識が容易になる。
なお、第１の実施の形態の方法２と同様の方法によって、ユーザのジェスチャーを認識してもよい。すなわち、上記のリングＷなどの付属品を利用する代わりに、様々な指の形などを撮影したモデル画像を予め用意しておき、実際のユーザのジェスチャーと対比し、ユーザの指示を認識するわけである。

第１・第２の実施形態では、撮像部を固定させて、移動するラジコン玩具を撮影し、その位置及び姿勢を画像認識した結果に基づいて操縦していた。しかし、撮像部を動かし、画面の中心を移動目的地とすることによって、ラジコン玩具を操縦することも可能である。この方法について、図１２を参照しながら説明する。
まずラジコン玩具ＲＣが画面Ｄ１の中心に映るように、点Ｐの位置でラジコン玩具ＲＣを撮影する。この状態で、現在ラジコン玩具ＲＣは画面Ｄ１の中心に存在して静止しているとする。次に、撮像部を矢印（１）のように少し右に移動させて点Ｑの位置からラジコン玩具ＲＣを撮影すると、ラジコン玩具ＲＣは画面Ｄ２上では左に移動する。その結果、画面の中心Ｏとラジコン玩具ＲＣの位置が離れてしまったので、ラジコン玩具ＲＣは画面中心Ｏに向かって、つまり矢印（２）のように右に向かって移動を開始する。ラジコン玩具ＲＣが画面中心Ｏに到達したなら、移動を停止させる。図中、ラジコン玩具ＲＣ２は、移動後の状態を表している。
この要領で撮像部を動かしたり向きを変えたりすると、ラジコン玩具は撮像部の中心が向いている場所に移動するので、ユーザによる目的地や経路の指定がなくても操縦が可能となる。

第１・第２の実施形態では、静止状態および走行状態にあるラジコン玩具の位置と姿勢とを画像認識し、専らその結果に基づいて自動操縦を行わせるものであった。
しかしながら、一般に普及しているＷｅｂカメラやスマートフォンのカメラでは、速く動く物体は画像がぶれて認識の精度が落ちるという問題がある。しかも、画像認識などの計算のタイムラグと相まって、計算上の位置・姿勢と実際のラジコン玩具の位置・姿勢との乖離が拡がりかねない。
この点、以下の方法であれば、このような問題を回避することができる。

ラジコンカーの場合、予めアクセル開度と速度の情報（どのくらいの強さで前進させると何秒で何m進むか）や、ハンドル操作量と旋回力（どのくらいの強さでハンドルを切ってどのくらいの強さで前進させると何秒でどの程度旋回するか）等の当該ラジコンカーの性能情報を、記憶部（１３、１０３）に記憶させておく。なお、ユーザがこれらの性能を計測してもよいし、公開されている性能情報を利用してもよい。
そして静止状態のときのラジコンカーの位置・姿勢と目標の位置関係から、目標に到達するまでのアクセル開度と走行時間、ハンドル操作量と旋回時間などを計算する。この計算結果にしたがって、操作コマンドを自動生成し、ラジコンカーに送信して自動走行を制御する。この方法であれば、走行中のラジコンカーの位置・姿勢を認識しなくてもほぼ目標近くに到達できる。ラジコンカーの撮影は、静止状態にあるときに限られるので、一般的なＷｅｂカメラやスマートフォンのカメラであっても精度の問題は生じない。

上記の方法は、操作コマンド生成時に、静止状態にあるラジコンカーの位置・姿勢を画像認識して、生成されたコマンドに従いラジコンカーを目標まで走行させるものであった。
次にこの方法の変形として、走行途中の再計算も考えられる。即ち、走行途中に静止または低速状態にしてから改めて撮影して、ラジコンカーの位置・姿勢を認識し直し、これにもとづいて再計算し、操作コマンドを再生成する。これにより本来の経路と走行中経路とのずれを修正することができる。
これらの映像のぶれを回避する方法は、ラジコンカーに限らず、ラジコンヘリについてもホバリング状態から目標まで移動させる際にも応用できる。

この他にも変形例は考えられるが、要は、本願発明では、画像処理によってラジコン玩具の位置と姿勢を認識し、これに基づいてソフトウェアがラジコン玩具を無線操縦させるためのコマンドを自動生成する点が重要なのである。

これまでのラジコン玩具は難しい遊びであり、ごく一部のマニアに限定されていた。本願発明によって、ラジコン玩具の操作は容易になり、ファン層の拡大に繋がるものと期待される。またラジコン玩具の遊び方にも、新趣向を取り入れることが可能になる。このような操作の容易さ、遊びの多様化がラジコン玩具および関連するソフトウェアの需要の拡大に繋がると期待される。

１：（第１・第２の実施形態の）自動操縦装置
１１：入出力部
１１１：操作入力手段
１１２：画面出力手段
１２：撮像部
１３：記憶部
１３１：プログラム記憶手段
１３２：作業用データ記憶手段
１４：処理部
１４１：画像処理手段
１４２：ユーザ指示認識手段
１４３：コマンド生成手段
１５：電波送信部
２：ラジコン玩具
１００：（第３の実施形態の）自動操縦装置
１０１：入出力部
１０１１：操作入力手段
１０１２：画面出力手段
１０２：撮像部
１０３：記憶部
１０３１：プログラム記憶手段
１０３２：作業用データ記憶手段
１０４：処理部
１０４１：画像処理手段
１０４２：ユーザ指示認識手段
１０４３：コマンド生成手段
１０５：電波送信部

Claims (10)

1. ラジコン玩具を撮影する撮像部と、
   前記ラジコン玩具の撮影画像を表示する画面出力手段と、
   ユーザによる操作を入力する操作入力手段と、
   前記撮影画像に基づいてラジコン玩具の位置及び姿勢を認識する画像処理手段と、
   前記操作入力手段を介したラジコン玩具への指示を認識するユーザ指示認識手段と、
   前記ラジコン玩具の位置及び姿勢と、前記ユーザからの指示にもとづきラジコン玩具を操縦するためのコマンドを生成するコマンド生成手段と、
   前記生成されたコマンドを前記ラジコン玩具の受信部に向けて発信する電波送信部とを備えたことを特徴とするラジコン玩具自動操縦装置。
2. 前記画像処理手段は、静止状態あるいは低速状態にあるラジコン玩具の撮影画像にもとづいて該ラジコン玩具の現在の位置及び姿勢を認識し、
   前記コマンド生成手段は、認識した現在の位置及び姿勢と、前記ラジコン玩具の性能情報と、前記ユーザからの指示とにもとづき前記ラジコン玩具を操縦するためのコマンドを生成することを特徴とする請求項１に記載のラジコン玩具自動操縦装置。
3. 前記ユーザ指示認識手段は、前記撮像部によって撮影されたユーザのジェスチャーを画像認識した結果に基づき、前記ユーザからの指示を認識することを特徴とする請求項１または請求項２のいずれかに記載のラジコン玩具自動操縦装置。
4. ラジコン玩具の撮影中に動かしたり向きを変えたりして用いられる撮像部と、
   該撮像部による前記ラジコン玩具を含む撮影画像を表示する画面出力手段と、
   前記撮影画像に基づいてラジコン玩具の位置及び姿勢を認識する画像処理手段と
   前記画面出力手段に表示された撮影画像の中心を移動目的地と認識し、前記ラジコン玩具の位置及び姿勢と、前記移動目的地の位置にもとづきラジコン玩具を操縦するためのコマンドを生成するコマンド生成手段と、
   前記生成されたコマンドを前記ラジコン玩具の受信部に向けて発信する電波送信部とを備えたことを特徴とするラジコン玩具自動操縦装置。
5. 前記ラジコン玩具はヘリコプター玩具であり、
   前記コマンド生成手段は、目標に到達したときはホバリング状態に遷移し、ホバリング状態にあるときは現状の位置と姿勢を保つためのコマンドを生成することを特徴とする請求項１〜４のいずれか１に記載のラジコン玩具自動操縦装置。
6. ラジコン玩具を撮影する撮像部と、
   前記ラジコン玩具の撮影画像を表示する画面出力手段と、
   ユーザによる操作を入力する操作入力手段と、
   電波送信部とを備えたコンピュータに、
   前記撮影画像に基づいてラジコン玩具の位置及び姿勢を認識するステップと、
   前記操作入力手段を介したラジコン玩具への指示を認識するステップと、
   前記ラジコン玩具の位置及び姿勢と、前記ユーザからの指示にもとづきラジコン玩具を操縦するためのコマンドを生成するステップと、
   前記電波送信部に、前記生成されたコマンドを前記ラジコン玩具の受信部に向けて発信させるステップと
   を実行させることを特徴とするコンピュータプログラム。
7. 前記ラジコン玩具の位置及び姿勢の認識は、静止状態あるいは低速状態にある前記ラジコン玩具の撮影画像にもとづいて行い、
   前記ラジコン玩具の現在の位置及び姿勢と、前記ラジコン玩具の性能情報と、前記ユーザからの指示とにもとづき、前記ラジコン玩具を操縦するためのコマンドを生成することを特徴とする請求項６に記載のコンピュータプログラム。
8. 前記コンピュータに、前記操作入力手段を介したラジコン玩具への指示を認識させる代わりに、
   前記撮像部によって撮影されたユーザのジェスチャーを画像認識した結果に基づき、前記ユーザからの指示を認識するステップを実行させることを特徴とする請求項６または請求項７のいずれかに記載のコンピュータプログラム。
9. ラジコン玩具の撮影中に動かしたり向きを変えたりして用いられる撮像部と、
   該撮像部による前記ラジコン玩具を含む撮影画像を表示する画面出力手段と、
   電波送信部とを備えたコンピュータに、
   前記撮影画像に基づいてラジコン玩具の位置及び姿勢を認識するステップと
   前記画面出力手段に表示された撮影画像の中心を移動目的地と認識し、前記ラジコン玩具の位置及び姿勢と、前記移動目的地の位置にもとづきラジコン玩具を操縦するためのコマンドを生成するステップと、
   前記電波送信部に、前記生成されたコマンドを前記ラジコン玩具の受信部に向けて発信させるステップと
   を実行させることを特徴とするコンピュータプログラム。
10. 前記ラジコン玩具はヘリコプター玩具であり、
    該ヘリコプター玩具が、目標に到達したときはホバリング状態に遷移し、ホバリング状態にあるときは現状の位置と姿勢を保つためのコマンドを生成するステップを前記コンピュータに実行させることを特徴とする請求項６〜９のいずれか１に記載のコンピュータプログラム。
    
    

Images