JP2023007204A - 入力方法、および指標入力プログラム - Google Patents

Abstract

【課題】携帯端末上で正確に指標の入力位置・座標を指定することを可能とする入力方法を提供することである。【解決手段】本件入力方法は、携帯端末を用いて指標を入力する入力方法であって、携帯端末本体の走査により、前記携帯端末に付属のカメラから読み取られた画像から走査量を計測する走査量計測工程と、相対的な操作位置を示す指標と操作項目領域とを表示部に表示する表示工程と、当該走査量に応じて表示部内を指標を移動させる指標移動工程と、前記操作項目領域が操作されたときは対応する機能を実行する実行工程とを有する。さらに、前記操作項目領域は、実行する操作項目を表示し、当該操作項目を選択できるように設定されている。【選択図】図６

Description

本発明は、入力方法、および指標入力プログラムに関する。より詳しくは、携帯端末を用いて指標を入力する入力方法、及び当該入力方法を実行するための指標入力プログラムに関する。

従来より、スマートフォンに関して、入力位置・座標を指定する方法として、タッチパネルを用いた入力方法が知られている。

しかし、スマートフォンのタッチパネル上での、指を使っての入力位置・座標の指定の操作は、精度に乏しく操作性が劣ることがあった。すなわち、たとえば文章の一部をカット・アンド・ペーストやコピー・アンド・ペーストをしてのメール作成などを行う際、対象となる文章の起点から終点を指定する際には、小さな文字の特定部分に正確に指を当て、そのまま押圧を維持してタッチパネル上に指を移動させ、小さな文字の特定部分で正確に指を離さなければならないが、細かく正確に位置の指定をするには、指とタッチパネルとの接触面の大きさが、大きすぎる場合があり、正確に起点終点の指定ができないことがあった。また、対象部分の指定にあたっては、起点から終点まで押圧を維持しながらタッチパネル上に指を移動させる必要があり、カット、コピーすべき引用部分が長い場合などには、作業途中で指の押圧が途切れ、作業を幾度もやり直す必要があることがあった。

本発明に係る入力方法は、携帯端末を用いて指標を入力する入力方法であって、携帯端末本体の走査により、前記携帯端末に付属のカメラから読み取られた画像から走査量を計測する走査量計測工程と、相対的な操作位置を示す前記指標と操作項目領域とを表示部に表示する表示工程と、当該走査量に応じて表示部内を、前記指標を移動させる指標移動工程と、前記操作項目領域が操作されたときは対応する機能を実行する実行工程と、を有し、前記操作項目領域は、実行する操作項目を表示し、当該操作項目を選択できるように設定されていること特徴とする。

本発明に係る入力方法では、指標がカメラの走査量に応じて表示部内を移動する指標移動工程を有するため、携帯端末を卓上などで動かすことによって表示部に表示された指標の位置を正確に移動させることができる。これにより、携帯端末の操作性を向上させることができる。

また、本発明に係る入力方法では、前記操作項目領域が第１領域と第２領域とを含み、前記実行工程において、前記第１領域が操作されたときは第１の機能を実行し、前記第２領域が操作されたときは第１の機能とは異なる第２の機能を実行することを特徴としてもよい。

本発明に係る入力方法では、操作項目領域を第１領域と第２領域で構成することにより、第１領域が操作されたときは第１の機能を実行し、第２領域が操作されたときは第１の機能とは異なる第２の機能を実行することができる。この結果、第１の機能を左クリックとして機能させることができ、第２の機能を右クリックとして機能させることができるので、携帯端末本体に一層光学式マウスとしての機能を持たせることができる。

また、本発明に係る入力方法では、前記指標移動工程において、前記走査量に応じて、携帯端末本体の走査方向と略逆方向に前記指標を移動させることを特徴としてもよい。走査量に応じて、携帯端末本体の走査方向と略逆方向に指標を移動させることにより、使用者の視点の移動が少なく、操作の負担が軽減される。

また、本発明に係る指標入力プログラムは、携帯端末を用いて指標を入力するための指標入力プログラムであって、携帯端末本体の走査により、前記携帯端末に付属のカメラから読み取られた画像から走査量を計測する走査量計測ステップと、相対的な操作位置を示す前記指標と操作項目領域とを表示部に表示する表示ステップと、当該走査量に応じて表示部内を、前記指標を移動させる指標移動ステップと、前記操作項目領域が操作されたときは対応する機能を実行する実行ステップとを有することができる。さらに、前記操作項目領域は、実行する操作項目を表示し、当該操作項目を選択できるように設定されていること特徴としてもよい。

本方法によると、指標がカメラの走査量に応じて表示部内を移動する指標移動工程を有するため、携帯端末を卓上などで動かすことによって表示部に表示された指標の位置を正確に移動させることができ、携帯端末本体に光学式マウスとしての機能を持たせることができる。

図１は、本実施形態に係る携帯端末のカメラの存在する面の側の平面図を示す図である。 図２は、本実施形態に係る携帯端末の表示面側の平面図を示す図である。 図３は、本実施形態に係る携帯端末の機能構成を示すブロック図を示す図である。 図４は、本実施形態に係る入力方法のフロー図を説明するための図である。 図５は、本実施形態に係る入力プログラムが起動された携帯端末の表示面を説明するための図である。 図６は、第１の実施形態による、入力プログラムが起動された携帯端末の使用状況を説明するための図である。 図７は、第１の実施形態による、指標の移動の機能が使用された携帯端末の表示面を説明するための図である。 図８は、第１の実施形態による、操作項目領域の機能が使用された携帯端末の表示面を説明するための図である。 図９は、第２の実施形態による、入力プログラムが起動された携帯端末の使用状況を説明するための図である。 図１０は、第１の実施形態による、指標が移動しうる範囲を説明するための図である。 図１１は、第２の実施形態による、指標が表示されうる範囲を説明するための図である。

以下、図面と共に本発明に係る入力方法、当該入力方法を実行するための指標入力プログラム、並びに携帯端末装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。なお、携帯端末（装置）として、スマートフォンを用いる場合を例に、図を参照して説明する。

［第１の実施形態］
まず、第１の実施形態に係る位置・座標を指定する入力プログラムの実施形態について、以下に説明する。スマートフォン１は、画像を読み取るカメラ１１（図１、図３）と、前記カメラが読み取った前記画像を記憶する記憶部１２（図３）と、前記カメラが読み取った前記画像を表示可能であって表示面に設けられた表示部１３（図２、図３）と、前記カメラと、前記記憶部と、前記表示部とを制御する制御部（ＣＰＵ）１４（図３）と、を有する。前記表示部１３は、接触することにより操作されるタッチパネルである。表示部１３は、カメラ１１の存する面の対向面に設けられている。

本件入力プログラムは、カメラ１１によってスマートフォン１の移動を検出するに応じて表示部１３に表示された指標（ポインタ）を移動・処理させる位置・座標を指定するためのプログラムである。

このようなスマートフォン１を使用して、本件入力プログラムを使用して文字列の一部分をコピー・アンド・ペーストする際の入力動作について、図３に表示されたテキストデータのうち、「同じ型式のものを追加で１５台発注する」の部分をコピー・アンド・ペーストする場合を例として、図を参照して説明する。

入力プログラムを起動（図４、ステップ１）すると、カメラ１１が起動され、またスマートフォン１の表示部１３上に、図５に示すマウスウィンドウが表示される。マウスウィンドウには、操作項目領域である右クリック領域２２と、同じく操作項目領域である左クリック領域２１と、ポインタ２３と、背景２４と、が表示される。マウスウィンドウの背景２４は、他のプログラムの画面、例えば、図５に示すようなテキストエディタのテキストデータ画面が表示されている。ポインタ２３は、本発明の指標に相当する。ポインタ２３は、矢印形をしていてもよく、テキストデータ上で見やすいように、Ｉの字形等をしていてもよい。右クリック領域２２は本発明の操作項目領域である第１領域及び第２領域のいずれか一方に相当し、左クリック領域２１は本発明の操作項目領域である第１領域及び第２領域の他方に相当する。

ユーザは、図６のようにデスク２５の上にスマートフォン１を載置して、カメラ１１とデスク２５とを対向させる。この状態でスマートフォン１をデスク２５に対して走査させる（図４、ステップ４）と、カメラ１１は、画像を読み取り（図４、ステップ５）、読み取った部分が電子画像化された画像情報を生成する。ユーザがカメラ１１とデスク３１を当接させた状態でスマートフォン１を走査させることにより、カメラ１１が連続的にデスク３１を読み取り、複数の画像情報を生成し、ＣＰＵ１４に送信する。またはカメラ１１は当該画像情報を結合して記憶部６に記憶する。ＣＰＵ１４はカメラで読み取った画像から相対的な座標を決定し（図４、ステップ６）、読み取り・記憶された複数の画像データから得られた相対的座標の値の差異を計測し、スマートフォン１本体部のデスク上のＸ方向の走査量Ｘ１および及びＹ方向の走査量Ｙ１を検出し（図４、ステップ７）、表示部１３に表示されたポインタ２３をほぼ同量（任意の倍数としてもよい）同方向に移動させる（図４、ステップ８）。すなわちＣＰＵ１４は、スマートフォン本体部を走査したときに、走査前後での座標の相対的な移動量からスマートフォン本体部の走査量を計測し、当該走査量に応じて前記表示部内を移動させる。今回の例では、ユーザは、図ポインタ２３が、テキストデータ表示上の「同じ型式のものを追加で１５台発注する」の部分の「同」の文字の表示の左端に位置するよう、図６のＲ方向にスマートフォン１を走査させる（図４、ステップ４）。上述の過程により、ＣＰＵ１４は図６のＲ２方向にポインタ２３を移動させる（図４、ステップ８）。目的の位置までポインタ２３が移動したら、ユーザはスマートフォン１を静止させ、操作項目領域である第１領域（図３の例では左クリック領域２１）の「ドラッグ」をタップする（図４、ステップ１０）。（ここで、第１領域の「ドラッグ」の部分が反転するとしてもよい。）

表示部（タッチパネル）１３は、「ドラッグ」タップの情報をＣＰＵ１４に送信する。ＣＰＵ１４は、選択された項目に対応する機能であるドラッグ（ＰＣのマウスのボタンを押したまま動かすこと）と同様の機能を開始し、以後ポインタ２３の移動に伴い、ＣＰＵ１４は軌跡上のテキストデータの選択をし、軌跡上のテキストデータを反転表示させる（図４、ステップ１１）。今回の例では、表示部１３上のテキストデータ表示の、「同じ型式のものを追加で１５台発注する」の末尾の、「る」の文字の表示の右端までポインタ２３が移動した時点で、ユーザは操作項目領域である第１領域（左クリック領域２１）（図５）の「ドロップ」をタップする（図４、ステップ１１）。表示部（タッチパネル）１３は、「ドロップ」タップの情報をＣＰＵ１４に送信する。ＣＰＵ１４は、選択された項目に対応する機能であるドロップ（ＰＣでドラッグしたアイコンを移動させたい場所で押していたマウスの左側のボタンを離す操作）と同様の機能を開始し、以後ポインタ２３の移動に伴ってテキストデータの選択はされなくなり、以後の軌跡上のテキストデータは反転表示されなくなる。これにより「ドラッグ」がタップされた際のポインタの位置から「ドロップ」がタップされた際のポインタの位置までのテキストデータ（すなわち、「同じ型式のものを追加で１５台発注する」の部分）が選択され（図４、ステップ１１）、同部分の反転表示は維持される。

ここでユーザは操作項目領域である第２領域（右クリック領域２２）の「コピー」をタップする（図４、ステップ１０）。表示部（タッチパネル）１３は、操作項目「コピー」のタップの情報をＣＰＵ１４に送信する。ＣＰＵ１４は、選択された項目に対応する機能であるコピー機能を開始し（図４、ステップ１１）、表示部（タッチパネル）１３は、選択された、「同じ型式のものを追加で１５台発注する」の部分のテキストデータ情報をＣＰＵ１４に送信し、ＣＰＵ１４はこれを受信し、記憶部１２に記憶させる。

ユーザはスマートフォン１を移動させ（図４、ステップ４）、上述と同様の操作を経て、ＣＰＵ１４は、ポインタ２３をユーザの希望の位置（今回の例では文章の末尾）に移動させる（図４、ステップ８）。ここでユーザは操作項目領域である第２領域（右クリック領域２２）の「貼り付け」をタップする（図４、ステップ１０）。表示部（タッチパネル）１３は、「貼り付け」タップの情報をＣＰＵ１４に送信する。ＣＰＵ１４は、選択された項目に対応する機能である貼り付け機能を開始し、ＣＰＵ１４は、記憶部１２に記憶されていた「同じ型式のものを追加で１５台発注する」のテキストデータ情報を表示部１３に送信し、表示部１３はこれを受信し、表示部１３上のポインタ２３以降に、「同じ型式のものを追加で１５台発注する」のテキストデータを表示させ、同時にコピー元部分の反転表示を解消させる。（ポインタ２３は、貼り付けられたテキストデータの末尾に移動する。）（図７）（図４、ステップ１１）

このようにユーザは、右クリック領域２２及び左クリック領域２１を押下することにより、表示部１３に表示されたポインタ２３を、あたかもスマートフォン１の躯体を光学式マウスとして扱うように操作することができる。

なお、マウスウィンドウには、右クリック領域２２と、左クリック領域２１とを設けたが、操作すべき項目を１つの操作項目領域に表示してもよい。

カメラと対向させる対向物はデスクに限らず、壁面、床面、膝上の太腿等、移動距離を算出できる任意のものでよい。スマートフォンを静止させ、手のひら等をカメラ１１に対向、移動させ、移動距離を算出させてもよい。

カメラが算出したスマートフォンの移動量Ｘ１，Ｙ１と、ポインタの表示部上の移動量Ｘ２，Ｙ２は等しいものとしてもよいが、たとえば精密な作業をするときは０．５倍、カメラと対向させる対向物が小さいときは２倍など、任意に設定された値で略比例するものとしてもよい。

デスク２５上を移動させる際に、摩擦によりカメラ１１のレンズに傷がつくことを防ぐため、スマートフォン１のカメラ搭載方向の躯体面よりも、カメラを凹ませて搭載してもよい。

このような構成によると、正確なポインタ操作が可能となり、スマートフォン上にて指でタッチパネル操作をするよりも、正確かつ容易に作画ソフトによる図面作成・編集やワープロソフトによる文書編集を行うことができる。

このような構成によると、ポインタ２３がカメラ１１の走査量に応じて表示部１３内を移動するため、スマートフォン１の本体を用いて表示部１３に表示されたポインタ２３の位置を動かすことができる。また、右クリック領域２２と、左クリック領域２１と、を備えることにより、スマートフォン１をあたかも光学式マウスのように操作しながら、スマートフォンの機能を使用することができる。

［第２の実施形態］
次に、第２の実施形態に係る位置・座標を指定する入力プログラムの実施形態について、以下に説明する。第１の実施形態では、スマートフォンの移動方向と、ポインタの移動方向は同方向である。これによりユーザはポインタを移動させたい方向にスマートフォンを移動させれば良いこととなり、ユーザは自然な操作感を得られる。しかし、本体を移動させ、かつ同方向にポインタを移動させるのであるから、本体移動方向と同量のポインタ移動をさせる場合、ポインタを追って移動するユーザの視点の移動量はスマートフォンの移動量の２倍となり、結局ユーザは図１０の破線４１の範囲でポインタを追って視点の移動を求められうることとなり、操作性に劣る場合がありうる。

そこで、第２の実施形態では、スマートフォン１の移動と逆方向にポインタ３１を移動させる。カメラ１１は、画像を読み取り（図４、ステップ５）、読み取った部分が電子画像化された画像情報を生成する。ユーザがカメラ１１とデスク３１を当接させた状態でスマートフォン１を走査させることにより、カメラ１１が連続的にデスク３１を読み取り、複数の画像情報を生成し、ＣＰＵ１４に送信する。またはカメラ１１は当該画像情報を結合して記憶部６に記憶する。ＣＰＵ１４はカメラで読み取った画像から相対的な座標を決定し（図４、ステップ６）、読み取り・記憶された複数の画像データから得られた相対的座標の値の差異を計測し、スマートフォン１本体部のデスク上のＸ方向の走査量Ｘ１および及びＹ方向の走査量Ｙ１を検出し、表示部１３に表示されたポインタ２３をほぼ同量逆方向に移動させる（図４、ステップ８）。すなわちＣＰＵ１４は、スマートフォン本体部を走査したときに、走査前後での座標の相対的な移動量からスマートフォン本体部の走査量を計測し（図４、ステップ７）、Ｘ方向の走査量Ｘ１および及びＹ方向走査量Ｙ１に対し、－Ｘ１，－Ｙ１である値のＸ３，Ｙ３ぶん、ポインタ３１を移動させる。（図４、ステップ８）。

そのため、スマートフォン１の移動に際し、ポインタ３１はユーザの視線からはあたかも静止している様に見える。擬似的に静止して見えるポインタ３１に対し、ユーザはデスク２５上のスマートフォン１を動かして、目的の位置にポインタ３１を位置させる。今回の例では、図９のスマートフォン１の表示面１３上に、ポインタ３１が存しているところ、ポインタ３１を現在の位置から、背景２３に表示されたテキストデータの「同じ型式のものを追加で１５台発注する」の「同」の文字の表示の左端にポインタ３１を位置させるため、スマートフォン１をＲ３方向に移動させる。上述の過程を経て、ポインタ３１は表示部１３上をＲ４方向に移動される。スマートフォン１の本体はＲ３方向に移動されるところ、ポインタ３１はＲ４方向に移動されるので、ユーザの視線からは、擬似的にポインタ３１は静止して見える。ユーザはスマートフォン１の本体を移動させ、表示部１３上の目的の位置にポインタを移動させる。その他の機能は第１の実施形態と同様である。

このような構成とすることで、ポインタ３１を追って視点が移動する範囲を、図１１の破線４２内の範囲の一点に収めることができる。そのため、視点の移動が少なく、操作の負担が軽減される。

本件のプログラムは、スマートフォンの各アプリケーション内で使用しても、スマートフォン起動後のホーム画面で使用しても良い。
また、操作項目領域には、第１領域および第２領域が描画されていても、いずれか一方のみ描画されていてもよく、第１領域と、第２領域と、第１領域及び第２領域に隣接する無反応領域と、が描画されていてもよい。

好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置および詳細において変更され得ることは、当業者によって認識される。本発明は、本実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。

１ スマートフォン
１１ カメラ
１２ 記憶部
１３ 表示部
１４ 制御部（ＣＰＵ）
２１ 操作項目領域（左クリック領域）
２２ 操作項目領域（右クリック領域）
２３，３１ 指標（ポインタ）
２４ 背景
２５ デスク
４１ 第１の実施形態の入力方法による、ポインタ２３の移動の範囲
４２ 第２の実施形態の入力方法による、ポインタ３１の表示の範囲

Claims (4)

1. 携帯端末を用いて指標を入力する入力方法であって、
   携帯端末本体の走査により、前記携帯端末に付属のカメラから読み取られた画像から走査量を計測する走査量計測工程と、
   相対的な操作位置を示す前記指標と操作項目領域とを表示部に表示する表示工程と、
   当該走査量に応じて表示部内を、前記指標を移動させる指標移動工程と、
   前記操作項目領域が操作されたときは対応する機能を実行する実行工程と、を有し、
   前記操作項目領域は、実行する操作項目を表示し、当該操作項目を選択できるように設定されていること特徴とする入力方法。
   
2. 前記操作項目領域が第１領域と第２領域とを含み、
   前記実行工程において、前記第１領域が操作されたときは第１の機能を実行し、前記第２領域が操作されたときは第１の機能とは異なる第２の機能を実行することを特徴とする請求項１に記載の入力方法。
   
3. 前記指標移動工程において、前記走査量に応じて、携帯端末本体の走査方向と略逆方向に前記指標を移動させることを特徴とする請求項１又は２に記載の入力方法。
   
4. 携帯端末を用いて指標を入力するための指標入力プログラムであって、
   携帯端末本体の走査により、前記携帯端末に付属のカメラから読み取られた画像から走査量を計測する走査量計測ステップと、
   相対的な操作位置を示す前記指標と操作項目領域とを表示部に表示する表示ステップと、
   当該走査量に応じて表示部内を、前記指標を移動させる指標移動ステップと、
   前記操作項目領域が操作されたときは対応する機能を実行する実行ステップと、を有し、
   前記操作項目領域は、実行する操作項目を表示し、当該操作項目を選択できるように設定されていること特徴とする指標入力プログラム。
   

Images