JP2014010721A - コマンド入力装置及びコマンド入力方法 - Google Patents

Abstract

【課題】携帯端末にコマンドを入力する際にボタンやタッチパネルを操作することなく、片手だけで簡便にコマンドを入力することが可能となるコマンド入力装置及びコマンド入力方法を提供する。
【解決手段】コマンド入力装置は、カメラによって撮影した画像の画像情報を取得する画像取得部と、前記画像情報から所定の画像様式を識別する画像識別部と、識別された前記所定の画像様式に対応付けられた動作情報とコマンドを記憶するコマンド記憶部と、前記コマンド記憶部から前記画像識別部によって識別された前記所定の画像様式に対応付けられた前記動作情報と前記コマンドを取得し、前記動作情報と前記コマンドの其々の内容を示す画像または文字情報を表示装置に表示させるコマンド表示部と、前記表示装置に表示された前記画像または前記文字情報に基づいて利用者が入力した前記コマンドを実行するコマンド実行部と、を有する。
【選択図】図８

Description

本発明の実施形態は、コマンド入力装置及びコマンド入力方法に関する。

携帯端末の操作においては、利用者が携帯端末に設けられたボタン（キー）やタッチパネルを指で操作してコマンドを入力することによって、この携帯端末が持つ複数の機能の一つを実行することが一般的である。さらに近年では、音声によるコマンド入力や携帯端末の位置や姿勢の変化によってコマンドを入力する方法が考案されている。

特許第４８５３３０２号公報

従来のコマンド入力装置では、携帯端末のカメラ等で認識した画像に対する任意のコマンドを入力する際に、物理的なボタン、またはソフトウェアで実装された画面上のボタンを押す等、従来型のＵＩ（User Interface）を用いて行っていたが、片手だけで安全に簡便に操作することが難しかった。

本発明の目的は、上記したような事情に鑑み成されたものであって、携帯端末にコマンドを入力する際にボタンやタッチパネルを操作することなく、片手だけで簡便にコマンドを入力することが可能となるコマンド入力装置及びコマンド入力方法を提供することである。

上記目的を達成するために、実施形態によれば、コマンド入力装置は、カメラによって撮影した画像の画像情報を取得する画像取得部と、前記画像情報から所定の画像様式を識別する画像識別部と、識別された前記所定の画像様式に対応付けられた動作情報とコマンドを記憶するコマンド記憶部と、前記コマンド記憶部から前記画像識別部によって識別された前記所定の画像様式に対応付けられた前記動作情報と前記コマンドを取得し、前記動作情報と前記コマンドの其々の内容を示す画像または文字情報を表示装置に表示させるコマンド表示部と、前記表示装置に表示された前記画像または前記文字情報に基づいて利用者が入力した前記コマンドを実行するコマンド実行部と、を有する。

第１の実施形態に係る携帯端末１の概観斜視図。 第１の実施形態に係わる携帯端末１の構成を示したブロック図。 携帯端末１おける６方向を示した図。 第１の実施形態に係わるコマンド入力部の機能の構成を示したブロック図。 カメラの撮影対象となった物体Ａおよび物体Ｂの例を示した図。 所定の画像様式に対応付けられた動作情報とコマンドの関係を示したコマンドテーブルの例を示した図。 動作情報とコマンドの詳細な例を示した図。 画面に動作情報とコマンドの一例が表示された状態を示した図。 画面に動作情報とコマンドの他の一例が表示された状態を示した図。 コマンド入力処理の動作手順を示したフローチャート。 コマンド入力処理の手順を説明するための図。 第２の実施形態に係る携帯端末の構成を示したブロック図。 第２の実施形態に係わるコマンド入力部の機能の構成を示したブロック図。 第３の実施形態に係る携帯端末の構成を示したブロック図。 第３の実施形態に係わるコマンド入力部の機能の構成を示したブロック図。

（第１の実施形態）
図１は、第１の実施形態に係る携帯端末１の概観斜視図である。コマンド入力装置の一例である携帯端末１は、ネットワークに接続し、ネットワーク上のサーバーと情報の送受信を行うことが可能な、例えば、携帯電話、ＰＤＡ（Personal Digital Assistant）、小型のタブレット型ＰＣ（Personal computer）等の情報端末である。

携帯端末１は、無線ＬＡＮ通信手段のほかに、携帯電話網による無線通信手段を兼ね備えており、家やオフィス、或いは公衆無線ＬＡＮが利用できる駅やホテル等では無線ＬＡＮを通じてデータ通信ができ、無線ＬＡＮ通信ができない外出先では携帯電話網を利用した無線通信が可能である。なお、携帯端末１は、携帯電話網による無線通信手段が必須ではなく、無線ＬＡＮ等のネットワークに接続する通信手段だけを具備するものであってもよい。

携帯端末１は、筐体２の前面に液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等の画面４を備えた表示装置３と、画面４上にタッチパッドのような位置入力装置を組み合わせたタッチパネル５を備えており、タッチパネル５上に指やスタイラスペンを接触することで携帯端末１を操作することができる。またタッチパネル５とは別に本体の前面や側面に複数の操作ボタン６を備えている。なお、携帯端末１はタッチパネル５ではなく、表示装置とは別にキーボード等の操作キーを備えていても構わない。

携帯端末１は、携帯電話として利用する時に送話器として機能するマイクロホン７、受話器として機能するスピーカ８を備えている。また、画面４がある前面の反対側の背面にはカメラ（撮影機）９のレンズ１０が配置されている。

図２は、第１の実施形態に係わる携帯端末１の構成を示したブロック図である。アンテナ１２は、例えば、ＩＥＥＥ８０２．１１シリーズの通信方式を用いた無線ＬＡＮの信号を送受信するためのアンテナである。携帯端末１は、ネットワーク送受信部１３を介してＬＡＮあるいは、インターネット等のネットワーク１４に接続される。これにより、携帯端末１は、ネットワーク１４上にあるサーバー１５等の機器とネットワーク送受信部１３を介して情報伝送を行なうことができる。

アンテナ１６は、携帯電話網を利用した無線通信の信号を基地局１７との間で送受信するためのアンテナである。無線送受信部１８は、受信においては受信された無線信号を受信中間周波信号に変換し変復調部１９へ送信する。また、送信においては変復調部１９で変調された信号を無線波周波数にアップコンバートし、さらに所定の送信電力レベルに増幅する。

変復調部１９は、復調においては受信中間周波信号のデジタル復調が行なわれ、これによりデジタル復調信号が再生される。また、変調においては送信中間周波信号をデジタル変調し、この変調した送信中間周波信号を無線送受信部１８に入力する。

無線制御部２０は、基地局１７との間で無線通信を行うための制御を行う機能を有すると共にデジタル復調信号を受信タイムスロット毎に分離する。そして、分離したスロットのデータが音声データであればこの音声データを音声処理部２１に入力する。一方、分離したスロットのデータがパケットデータや制御データであれば、これらのデータを制御部２４に入力する。

音声処理部２１は、無線制御部２０から送信された音声信号をデコードし、スピーカ８へ出力する。また音声処理部２１は、マイクロホン９からの送信された音声信号をエンコードして無線制御部２０へ送信する。

映像処理部２２は、制御部２４の制御のもとで、表示装置３において利用者に各種情報を通知するための表示出力を制御する。表示装置３は、液晶ディスプレイや有機ＥＬディスプレイ等によって構成され、映像処理部２２の制御のもとで各種情報を画面４に表示する。

携帯端末１は、全ての動作を制御部２４によって統括的に制御されている。制御部２４はＭＰＵ（Micro Processing Unit）２５が搭載されており、バス２３を介して接続された各構成要素を制御する。ＲＡＭ（Random Access Memory）２６は、ＭＰＵ２５が動作するときにデータの加工等の作業エリアとして利用され、また映像信号、音声信号等を一時的に格納する。ＲＯＭ（Read Only Memory）２７は読出し専用のメモリであり、ＭＰＵ２５が実行する制御のプログラムやデータなどを格納している。

フラッシュメモリ２８は、書き換え可能であり、電源を切ってもデータが消えない不揮発性の半導体メモリである。フラッシュメモリ２８は、利用者によって設定された携帯端末１の機能及び動作に関する各種設定値を記憶する機能を有する。また、フラッシュメモリ２８は、動作情報と動作情報に対応付けられたたコマンド群を記憶するコマンド記憶部３２の機能を有する。

タッチパネル５は、表示装置３の画面４上の表示を指や専用のペンで操作することで携帯端末１を操作する入力装置である。画面４上の触れられた画面位置の情報を感知して制御部２４へ情報信号として出力する。制御部２４は、画面４上の位置情報に基づいて、利用者が望む適切な動作を行なう。操作ボタン６は、携帯端末１の筐体２に設けられた入力装置であり、利用者による各種の選択、指示が入力される。

カメラ９は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサを用いたカメラにより構成され、図１に示したように携帯端末１の背面にレンズ１０が設けられている。カメラ９の光軸（レンズ１０の中心から垂直方向に伸びる軸）の方向は、携帯端末１の背面の法線方向である。なお、カメラ９を携帯端末１の背面だけでなく、前面にも設けても良い。カメラ９により撮影された画像の画像情報は、フラッシュメモリ２８に記録される。あるいは、一旦ＲＡＭ２６に格納して一時的に保持した後でフラッシュメモリ２８に転送するようにしてもよい。

加速度センサ２９は、筐体２に１個または複数が内蔵されており、携帯端末１の加速度を検出する。加速度の検出方向は、Ｘ軸、Ｙ軸、Ｚ軸、及びＸ軸回りの回動、Ｙ軸周りの回動、Ｚ軸回りの回動の６方向の検出が可能である。図３は、携帯端末１における前記６方向を示した図である。スピーカ８を上側、マイクロホン７を下側として画面４を正面から見た場合に、左右方向がＸ軸、上下方向がＹ軸、画面４の法線方向がＺ軸である。これら６方向についてはそれぞれプラス方向とマイナス方向がある。これらの方向の加速度の検出情報は制御部２４に送信され、制御部２４にて演算することによって携帯端末１に加えられた動作を判定することができる。

図２において、制御部２４は、コマンド入力部３０の機能を有する。この機能は、制御部２４のＭＰＵ２５が実行するアプリケーションであり、通常はＲＯＭ２７に格納されており、使用時にはＭＰＵ２５によって読み出され実行される。

図４は、第１の実施形態に係わるコマンド入力部３０の機能の構成を示したブロック図である。コマンド入力部３０は、画像取得部３３、画像識別部３４、コマンド表示部３５、動作検出部３６、コマンド実行部３７によって構成される。画像取得部３３は、カメラ９によって撮影した画像の画像情報を取得する機能を有する。画像取得部３３は、カメラ９によって撮影した画像の画像情報をフラッシュメモリ２８に記憶させる。一旦ＲＡＭ２６に格納して一時的に保持した後でフラッシュメモリ２８に転送するようにしてもよい。

画像識別部３４は、画像情報から所定の画像様式を識別する機能を有する。画像識別部３４は、既知の画像認識技術を用いて、画像情報の画像内容を分析して、所定の画像様式であることを識別する。所定の画像様式とは、画像識別部３３が識別可能な複数の画像様式の中の一つに該当する画像様式のことである。

図５は、カメラ９の撮影対象となった物体Ａ４０および物体Ｂ４１の例を示した図である。カメラ９により撮影された物体Ａや物体Ｂの画像情報が画像取得部３３によって取得され、ＲＡＭ２６に格納される。物体Ａや物体Ｂは、それぞれ実際にある物理的な物の他に、一般の新聞、新聞の折込み広告、雑誌、ポスター等に印刷された画像、テレビの画面やＰＣモニターの画面等に表示される画像でも構わない。画像は記号やＡＲ（Augmented Reality）マーカーであっても構わない。

画像識別部３４は、物体Ａ４０や物体Ｂ４１の画像情報から所定の画像様式を識別する。画像情報によって所定の画像様式が識別できる場合もあれば、できない場合もある。画像識別部３４は、既知の画像認識用のプログラムによって画像を識別する。画像識別部３４は、画像識別するための辞書を備えていてもよい。例えば、ＲＯＭ２７あるいはフラッシュメモリ２８に予め多くの画像様式の辞書が記憶されていたり、さらに一つの撮影対象となる物体、印刷画像や表示画像の画像情報が所定の画像様式として識別できるように対処された辞書が予め多数記憶されたりした場合には、容易に短時間で識別されることが可能となる。

コマンド表示部３５は、コマンド記憶部３２から画像識別部によって識別された所定の画像様式に対応付けられた動作情報とコマンドを取得し、動作情報とコマンドの其々の内容を示す画像または文字情報を表示装置３に表示させる機能を有する。コマンド記憶部３２は、画像識別部３４で識別された所定の画像様式に対応付けられた動作情報とコマンドのテーブルを記憶している。

図６は、所定の画像様式に対応付けられた動作情報とコマンドの関係を示したコマンドテーブル４２の例を示した図である。図７は、動作情報とコマンドの詳細な例を示した図である。図７（ａ）は、動作ＡとコマンドＡ、図７（ｂ）は、動作ＢとコマンドＢの例を示す。図７（ｃ）は、矢印が示す形態端末１への動作の入力の方法（携帯端末１の動かし方）の例を示した図である。

例えば、物体Ａ４０の画像情報から画像様式Ａが所定の画像様式として識別されたとき、動作情報は動作Ａ、コマンドはコマンドＡの組合せとなる。動作Ａは、携帯端末１を右に振るという入力動作と左に振るという入力動作があることを示し、右に振った場合はＮｅｘｔコマンドが入力され、左に振った場合はＧｅｔコマンドが入力されることを示している。

また、例えば、物体Ｂ４１の画像情報から画像様式Ｂが所定の画像様式として識別されたとき、動作情報は動作Ｂ、コマンドはコマンドＢの組合せとなる。動作Ｂは、携帯端末１を上に振るという入力動作、右に振るという入力動作と下に振るという入力動作の３種類の入力動作がある。上に振った場合は拡大コマンド、右に振った場合はアクセスコマンド、下に振った場合は縮小コマンドが入力されることを示している。動作情報毎に動作の数や種類等の内容とその動作に対応するコマンドが異なる。

図７（ｃ）に示した矢印と入力動作は一例であり、図３で示したＸ軸、Ｙ軸、Ｚ軸方向の並進動作の他にＸ軸、Ｙ軸、Ｚ軸回りのプラス方向とマイナス方向の回転動作がある。動作情報の動作の中にこれらの回転動作を含めてもよい。また並進動作と回転動作を組み合わせた動作を含めてもよい。一般的な携帯端末においては、携帯端末に搭載する加速度センサの種類や数によって検出可能な動作の方向に制限がある場合があるため、動作情報における動作の種類は少ない方が多くの携帯端末に対応することができる。

コマンド記憶部３２が記憶するコマンドテーブル４２は、利用者がコマンドテーブルを管理するネットワーク上のサーバーにアクセスし、最新のコマンドテーブルを受信することによって更新することができる。例えば、第三者が被撮影用の画像と画像様式の情報、画像様式に関連付けられた動作情報と動作情報に対応付けられたコマンドの情報を、コマンドテーブルを管理するネットワーク上のサーバーに新たに登録することが考えられる。利用者は、最新の画像様式の情報やこのコマンドテーブルを受信することによって、新しいコマンドを利用することができる。

図８は、画面４に動作情報とコマンドの一例が表示された状態を示した図である。図６、図７（ａ）で示した動作ＡとコマンドＡの内容を示す画像または文字情報を表示装置３に表示した状態を示している。コマンド表示部３５は、画像識別部３４によって所定の画像様式が識別されると、この画像様式に対応付けられた動作情報とコマンドの其々の内容を示す画像または文字情報を表示装置３の画面４に表示させる。動作情報とコマンドはコマンド記憶部３２から取得する。

コマンド表示部３５は、画面４に識別画像４３と動作情報による動作の入力の方法（携帯端末１の動かし方）を矢印や簡単な図形で表示することによって利用者が容易にコマンドを入力できるようにしている。また、動作方法の図形と共にコマンドの内容を表示する。図８においては、画面４の上部に識別された識別画像４３と、左に振る動作画像４４、右に振る動作画像４５が表示されている。動作画像４４は左に向いた矢印で左に振ることを表している。動作画像４５は、右に向いた矢印で右に振ることを表している。また、左に振ればＧｅｔコマンドを実行でき、右に振ればＮｅｘｔコマンドを実行できるという内容を表示している。また、所定の画像様式が識別されたことを告知する文字情報４６が表示されている。利用者は画面４に表示された動作画像４４、４５を見て、この動作を携帯端末１に付加することにより、動作画像に対応したコマンドを形態端末１に入力することができる。

図９は、画面に動作情報とコマンドの他の一例が表示された状態を示した図である。図６、図７（ｂ）で示した動作ＢとコマンドＢの内容を示す画像または文字情報を表示装置３に表示した状態を示している。図９においては、画面４の上部に識別された識別画像４７と上に振る動作画像４８、右に振る動作画像４９、下に振る動作画像５０が表示されている。動作画像４８は上に向いた矢印で上に振ることを表わしている。動作画像４９は右に向いた矢印で右に振ることを表している。動作画像５０は下に向いた矢印で下へ振ることを表わしている。また、上に振れば拡大コマンドを実行でき、右に振ればアクセスコマンドを実行でき、下に振れば縮小コマンドを実行できるという内容を表示している。また、所定の画像様式が識別されたことを告知する文字情報５１が表示されている。

動作検出部３６は、携帯端末１に加えられた動作を検出する機能を有する。動作検出部３６は、加速度センサ２９の検出情報を取得し演算することにより、利用者によって画面４に表示された動作情報に基づいて携帯端末１に付加された動作が、コマンド入力に相当する動作であるかを検出する。

コマンド実行部３７は、表示装置３に表示された画像または文字情報に基づいて利用者が入力したコマンドを実行する機能を有する。動作検出部３６によって動作情報に基づいた動作が検出されたときコマンドを実行する。コマンド実行部３７が実行するコマンドは、携帯端末１の音の大きさを変化させたり、画面を切り換えたりするような携帯端末１自体の機能を呼び出す以外に、ネットワークに接続して、撮影対象となった物体や画像に関連したウェブサイトにアクセスし様々な情報の送受信を行うことができる。

図１０は、コマンド入力処理の動作手順を示したフローチャートである。動作付加によるコマンド入力処理はカメラを撮影可能な状態にしたときに開始される。また動作付加によるコマンド入力処理を開始する専用の操作ボタンを設けてこれを操作することによって開始できるようにしてもよい。操作ボタンはタッチパネル５によるＧＵＩ（Graphical User Interface）表示によるボタンでも構わない。

Ｓ１１において、画像取得部３３はカメラ９によって撮影した画像の画像情報をフラッシュメモリ２８に記憶、あるいは一旦ＲＡＭ２６に格納して一時的に保持した後でフラッシュメモリ２８に記憶させる。

Ｓ１２において、画像識別部３４はフラッシュメモリ２８あるいはＲＡＭ２６に記憶された画像情報の画像内容を分析して、所定の画像様式と識別できる画像情報であるかどうかを識別する。Ｓ１３において所定の画像様式と識別された場合にはＳ１４へ移り、識別されなかった場合には、Ｓ１１へ戻る。

Ｓ１４において、コマンド表示部３５は、画像識別部３４によって所定の画像様式が識別されると、コマンド記憶部３２から画像様式に対応付けられた動作情報とコマンドを取得し、動作情報とコマンドの其々の内容を示す画像または文字情報を表示装置３の画面４に表示させる。

Ｓ１５において、動作検出部３６は、加速度センサ２９の検出情報を取得、演算し、利用者によって携帯端末１に付加された動作が、コマンド入力に相当する動作であるかを検出する。Ｓ１６において、動作が検出された場合はＳ１７へ移り、検出されなかった場合はＳ１５へ戻る。Ｓ１７において、コマンド実行部３７は、動作情報に対応付けられたコマンドを実行する。コマンドを実行した後はＳ１１に戻る。

図１１は、コマンド入力処理の手順を説明するための図である。利用者が携帯端末１を左手に持ってコマンド入力処理を行う様子を順番に示している。図１１（ｂ）、図１１（ｃ）、図１１（ｄ）の携帯端末は前面と背面が説明の便宜上逆になっている。

図１１（ａ）において、利用者は携帯端末１を左片手で持ち、物体あるいは広告等に印刷された画像、テレビの画面等に表示された画像をカメラで撮影する。図１１（ｂ）において、利用者は、撮影した画像による動作情報と動作情報に対応したコマンドを、画面４を見て確認する。携帯端末１が画面に動作情報とコマンドを表示するとき、「認識しました」と音声によるアナウンスを発するようにすると利用者が確認し易い。

図１１（ｃ）において、利用者は所望のコマンドを、画面４に表示された動作情報に従って携帯端末１に動作を付加することにより入力する。図１１（ｄ）において、利用者は、コマンドが実行されたことを確認する。携帯端末１がコマンドを実行したとき、例えば、「登録しました」というような音声によるアナウンスを発するようにすると、利用者はコマンドが実行されたことを確認し易い。

以上のように、携帯端末１を片手で持った状態で、カメラで撮影し、画面４に表示された動作をそのまま片手に持った状態で、携帯端末を掴んでいる指を動かしたりせずに、携帯端末を動かすことでコマンドを入力し実行させることができる。従って携帯端末にコマンドを入力する際に操作ボタンやタッチパネルを操作することなく、片手だけで容易にコマンドを入力することが可能となり、操作を簡便化することができる。

（第２の実施形態）
図１２は、第２の実施形態に係る携帯端末６０の構成を示したブロック図である。この第２の実施形態の各部について、図２に示す第１の実施形態の各部と同一部分は同一符号である。この第２の実施形態が第１の実施形態と異なる点は、コマンド入力部３０をコマンド入力部６２に代えた構成していることにある。

第２の実施形態においては、第１の実施形態にあった所定の画像様式に関連付けられた動作情報とこの動作情報に対応付けられたコマンドのテーブルを予め記憶しているコマンド記憶部３２を持たず、所定の画像様式に関連付けられた動作情報とこの動作情報に対応付けられたコマンドをネットワーク上のサーバー１５から取得する。

図１３は、第２の実施形態に係わるコマンド入力部６２の機能の構成を示したブロック図である。コマンド入力部６２は、画像取得部３３、画像識別部３４、コマンド表示部３５、動作検出部３６、コマンド実行部３７、画像様式送信部６３、コマンド受信部６４によって構成される。画像取得部３３、画像識別部３４、コマンド表示部３５、動作検出部３６、コマンド実行部３７については、第１の実施形態と同様であるので説明を省略する。

画像様式送信部６３は、画像識別部３４によって識別された画像様式の情報をネットワーク上のサーバー１５に送信する機能を有する。コマンド受信部６４は、ネットワーク上のサーバー１５から、画像様式に対応付けられた動作情報とコマンドを受信する機能を有する。受信した動作情報とコマンドはフラッシュメモリ２８あるいはＲＡＭ２６に記憶される。

サーバー１５は、携帯端末６０から送信された所定の画像様式の情報に基づいて、この所定の画像様式に対応付けられた動作情報とこの動作情報に対応付けられたコマンドをサーバー１５が保有するコマンド群から抽出し、携帯端末６０からの要求に応じて携帯端末６０へ送信する。

携帯端末６０のコマンド表示部３５は、コマンド受信部６４が受信した動作情報とコマンドをフラッシュメモリ２８あるいはＲＡＭ２６から取得し、動作情報とコマンドの其々の内容を示す画像または文字情報を表示装置３に表示させる。

携帯端末６０は、撮影された物体や画像の画像識別を画像識別部３４にて行うが、コマンドのテーブルを予め記憶するコマンド記憶部３２の機能を持たず、常にサーバー１５から取得する。従ってサーバー１５が保有する最新のコマンド群を利用することができる。また、コマンド記憶部３２が記憶する情報の更新が不要であり、フラッシュメモリ２８の記憶領域も不要となる。

（第３の実施形態）
図１４は、第３の実施形態に係る携帯端末７０の構成を示したブロック図である。この第３の実施形態の各部について、図１２に示す第２の実施形態の各部と同一部分は同一符号である。この第３の実施形態が第２の実施形態と異なる点は、コマンド入力部６２をコマンド入力部７２に代えた構成していることにある。

第３の実施形態においては、第２の実施形態にあった撮影された画像情報から所定の画像様式を識別する画像識別部３４を持たず、画像識別をサーバー１５にて行い、所定の画像様式の情報及び所定の画像様式に対応付けられた動作情報とコマンドをネットワーク上のサーバー１５から取得する。

図１５は、第３の実施形態に係わるコマンド入力部７２の機能の構成を示したブロック図である。コマンド入力部７２は、画像取得部３３、コマンド受信部６４、コマンド表示部３５、動作検出部３６、コマンド実行部３７、画像送信部７３によって構成される。画像取得部３３、コマンド受信部６４、コマンド表示部３５、動作検出部３６、コマンド実行部３７については、第２の実施形態と同様であるので説明を省略する。

画像送信部７３は、撮影された画像情報をネットワーク上のサーバー１５に送信する機能を有する。サーバー１５は、携帯端末７０から送信された画像情報に基づいて、画像情報から所定の画像様式を識別する。サーバー１５は、既知の画像認識技術を用いて、画像情報の画像内容を分析して、所定の画像様式であることを識別する。

サーバー１５にて所定の画像様式が識別された場合は、サーバー１５は、この所定の画像様式に対応付けられた動作情報とこの動作情報に対応付けられたコマンドをサーバー１５が保有するコマンド群から抽出し、携帯端末７０からの要求に応じて携帯端末７０へ送信する。

携帯端末７０のコマンド表示部３５は、コマンド受信部５４が受信した動作情報とコマンドをフラッシュメモリ２８あるいはＲＡＭ２６から取得し、この動作情報とコマンドの其々の内容を示す画像または文字情報を表示装置３の画面４に表示させる。

携帯端末７０は、撮影された物体や画像の画像情報の識別を行わず、画像情報をサーバー１５へ送信し、サーバー１５にて画像識別を行うため、画像識別のためのプログラムや画像識別するための辞書の記憶領域が不要となる。さらにコマンドのテーブルを予め記憶するコマンド記憶部３２の機能を持たず、コマンドのテーブルの更新が不要であり、フラッシュメモリ２８の記憶領域も不要となる。常に最新の所定の画像様式やコマンド群を利用することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

１ 携帯端末
２ 筐体
３ 表示装置
４ 画面
５ タッチパネル
６ 操作ボタン
７ マイクロホン
８ スピーカ
９ カメラ
１０ レンズ
１３ ネットワーク送受信部
２１ 音声処理部
２２ 映像処理部
２４ 制御部
２５ ＭＰＵ
２６ ＲＡＭ
２７ ＲＯＭ
２８ フラッシュメモリ
２９ 加速度センサ
３０ コマンド入力部
３２ コマンド記憶部
３３ 画像取得部
３４ 画像識別部
３５ コマンド表示部
３６ 動作検出部
３７ コマンド実行部
４０ 物体Ａ
４１ 物体Ｂ
４２ コマンドテーブル
４３ 識別画像
４４、４５ 動作画像
４６ 文字情報
４７ 識別画像
４８、４９、５０ 動作画像
５１ 文字情報
６０ 携帯端末
６１ 制御部
６２ コマンド入力部
６３ 画像様式送信部
６４ コマンド受信部
７０ 携帯端末
７１ 制御部
７２ コマンド入力部
７３ 画像送信部

Claims (7)

1. カメラによって撮影した画像の画像情報を取得する画像取得部と、
   前記画像情報から所定の画像様式を識別する画像識別部と、
   識別された前記所定の画像様式に対応付けられた動作情報とコマンドを記憶するコマンド記憶部と、
   前記コマンド記憶部から前記画像識別部によって識別された前記所定の画像様式に対応付けられた前記動作情報と前記コマンドを取得し、前記動作情報と前記コマンドの其々の内容を示す画像または文字情報を表示装置に表示させるコマンド表示部と、
   前記表示装置に表示された前記画像または前記文字情報に基づいて利用者が入力した前記コマンドを実行するコマンド実行部と、
   を有するコマンド入力装置。
2. 前記コマンド表示部は、前記動作情報の前記画像を矢印や図形で前記表示装置に表示させる請求項１に記載されたコマンド入力装置。
3. 前記コマンド表示部は、前記動作情報の内容を示す前記画像または前記文字情報の其々の近辺に前記コマンドの内容を示す前記画像または前記文字情報を表示装置に表示させる請求項１に記載されたコマンド入力装置。
4. 前記コマンド表示部は、前記動作情報と前記コマンドの其々の内容を示す前記画像または前記文字情報を前記表示装置に表示させるとき、前記所定の画像様式が識別されたことを告知する文字情報を表示装置に表示させる請求項１に記載されたコマンド入力装置。
5. カメラによって撮影した画像の画像情報を取得する画像取得部と、
   前記画像情報から所定の画像様式を識別する画像識別部と、
   識別された前記所定の画像様式の情報をネットワーク上のサーバーに送信する画像様式送信部と、
   前記ネットワーク上の前記サーバーから、前記画像識別部によって識別された前記所定の画像様式に対応付けられた動作情報とコマンドを受信するコマンド受信部と、
   前記コマンド受信部から前記動作情報と前記コマンドを取得し、前記動作情報と前記コマンドの其々の内容を示す画像または文字情報を表示装置に表示させるコマンド表示部と、
   前記表示装置に表示された前記画像または前記文字情報に基づいて利用者が入力した前記コマンドを実行するコマンド実行部と、
   を有するコマンド入力装置。
6. カメラによって撮影した画像の画像情報を取得する画像取得部と、
   前記画像情報をネットワーク上のサーバーに送信する画像送信部と、
   前記ネットワーク上の前記サーバーから、前記画像情報から識別された所定の画像様式に対応付けられた動作情報とコマンドを受信するコマンド受信部と、
   前記コマンド受信部から前記動作情報と前記コマンドを取得し、前記動作情報と前記コマンドの其々の内容を示す画像または文字情報を表示装置に表示させるコマンド表示部と、
   前記表示装置に表示された前記画像または前記文字情報に基づいて利用者が入力した前記コマンドを実行するコマンド実行部と、
   を有するコマンド入力装置。
7. カメラによって撮影した画像の画像情報を取得し、
   前記画像情報から所定の画像様式を識別し、
   コマンド記憶部から識別された前記所定の画像様式に対応付けられた動作情報とコマンドを取得し、前記動作情報と前記コマンドの其々の内容を示す画像または文字情報を表示装置に表示させ、
   前記表示装置に表示された前記画像または前記文字情報に基づいて利用者が入力した前記コマンドを実行するコマンド入力方法。

Images