JP2016201005A - 座標入力装置および情報処理装置 - Google Patents

Abstract

【課題】タッチパネルを利用したユーザ・インターフェースにおいて、表示がますます細密化されているため、ユーザは指示したい対象を指示しにくい。また、指示したい対象が指に隠れてしまうこともある。【解決手段】入力面へ入力された位置を検出して入力座標を生成し、時系列順に入力座標を記憶し、時系列順に入力座標から指示アイテムの指示アイテム方向を算出し、入力座標と指示アイテム方向から、指示アイテムを表示すべき指示アイテム位置を算出し、画面上の指示アイテム位置に指示アイテムを合成して表示面に表示し、入力が開始されたら、入力座標に応じて指示アイテムの位置を変更するように制御し、さらに、入力軌跡が所定の条件を満たした場合は、該入力軌跡に応じて指示アイテムの方向も変更するように制御し、そして、入力が終了されたら指示アイテムの入力点の座標を確定座標とし、その座標に対応する処理を行う。【選択図】図１

Description

本発明は、コンピュータや情報端末におけるマン・マシン・インターフェースに関する。

コンピュータや情報端末に搭載されたタッチパネルによる対象を正確に指示する技術として、指示アイテムの傍に操作部を設けて、これを指で操作することにより、対象を正確に指示する技術が特許文献１として提案されている。また、指示アイテムに保持部および操舵部を設けて、これらを指で操作することにより、対象を正確に指示する技術が特許文献２として提案されている。

特開昭６２−１５０４７７号 特開平１０−２８３１１５号

近年、タッチパネルがコンピュータや情報端末に搭載されることが多くなってきた。
しかしながら、機器自体の小型化に伴って以下のような課題がある。

図５を用いて従来の課題を説明する。図５（Ａ）は、情報端末にテキストが表示されている様子である。図５（Ａ）において、６００は情報端末、６０１は指示対象付近、６０２はユーザの指である。

情報端末６００の表示がますます細密化されているため、ユーザの指６０２は指示したい対象に対して相対的に大きいので指示しにくい。また、指示したい対象が指に隠れてしまうこともある。また、図５（Ｂ）は、その指示対象付近６０１を拡大した図である。 図５（Ｂ）において、６１１は正しく指示できた場合のカーソル表示、６１２および６１３はずれてしまった場合のカーソル表示である。

このように、ユーザが指で対象を指示することは困難になってきている。

上記課題を解決するために、本発明の座標入力装置は、入力面へ入力された位置を検出して入力座標を生成する入力手段と、複数の前記入力座標を記憶して入力軌跡を生成する入力軌跡生成手段と、前記入力軌跡から前記指示アイテムの表示方向を算出する方向算出手段と、指示アイテムの画像を生成する画像生成手段と、前記入力座標と前記表示方向と前記指示アイテムの表示座標を算出する表示座標算出手段と、前記指示アイテムの画像を前記表示座標に基づいて主たる表示画像と合成した合成表示画像を生成する合成表示画像生成手段と、前記合成表示画像を表示器に表示する表示手段と、前記入力座標から入力の有無を検出する入力検出手段と、前記表示方向から前記指示アイテムの画像の中の指示点を算出する指示点算出手段と、前記入力座標と前記指示点から入力点を算出する入力点算出手段と、前記入力の有無と入力点から確定入力点を出力する確定入力点出力手段と、該入力手段と該入力軌跡生成手段と該方向算出手段と該画像生成手段と該表示座標算出手段と該合成表示画像生成手段と該表示手段と該入力検出手段と該指示点算出手段と該入力点算出手段と該確定入力点出力手段を制御する制御手段を備えたことを特徴としている。

以上のような、手段を設けたことにより、以下のような効果がある。
図６および図７を用いて発明の効果を説明する。
図６（Ａ）は、情報端末にテキストが表示されている様子である。
図６（Ａ）において、７００は情報端末、７０１は指示対象付近、７０２は指示アイテム、７０３はユーザの指、７０４軌跡である。
また、図６（Ｂ）は、その指示対象付近７０１を拡大した図である。
図６（Ｂ）において、７１１は正しく指示できた場合のカーソル表示である。
情報端末７００の表示が細密化されていても、ユーザの指７０３の軌跡７０４に応じて指示アイテム７０２が表示されるので、指示したい対象に対して正確に指示することができる。また、指示したい対象が指に隠れてしまうことがない。
図７（Ａ）および図７（Ｂ）は、アイコンを選択している様子である。
図７（Ａ）および図７（Ｂ）において、８００、８１０は情報端末、８０１、８１１、８２１はアイコン、８０２、８１２、８２２は指示アイテム、８０３、８１３、８２３はユーザの指、８０４、８１４、８２４は軌跡である。
図７（Ａ）は、アイコンが画面の隅にあるアイコンを選択している様子である。
図７（Ａ）において、ユーザの指８０３の軌跡８０４に応じて指示アイテム８０２が表示されるので、アイコン８０１を正確に指示することができる。
図７（Ｂ）は、情報端末８１０の向きが異なる場合におけるアイコンを選択している様子である。
図７（Ｂ）においても、ユーザの指８１３の軌跡８１４に応じて指示アイテム８１２が表示されるので、アイコン８１１を正確に指示することができる。また、ユーザの指８２３の軌跡８２４に応じて指示アイテム８２２が表示されるので、アイコン８２１を正確に指示することができる。

本発明による情報処理装置のブロック図 ＲＯＭ３０の内容を説明するためのメモリマップ ＲＡＭ４０の内容を説明するためのメモリマップ 座標入力プログラム３２０のフローチャート 従来の課題を説明するための図 発明の効果を説明するための図 発明の効果を説明するための図 入力座標から方向情報を算出する方法を説明するための表とグラフ

本発明を実施するための形態の例として以下の実施例で説明する。

［実施例］
まず、本発明による情報処理装置の構成を図１から図３を用いて説明する。

図１は本発明による情報処理装置のブロック図である。図１において、１はタッチパネル、２は表示パネル、１０はタッチパネル制御回路、２０は表示パネル制御回路、３０は読み出し専用メモリ（以下ＲＯＭという）、４０は作業用メモリ（以下ＲＡＭという）、５０はプロセッサ（以下ＣＰＵという）、６０はシステムバスである。

図２はＲＯＭ３０の内容を説明するためのメモリマップである。図２において、３００はＲＯＭ全体、３１０はアプリケーション・プログラム、３２０は座標入力プログラム、３３０はアイコン。ビットマップである。

図３はＲＡＭ４０の内容を説明するためのメモリマップである。図３において、４００はＲＡＭ全体、４１０はアプリケーション・プログラム作業領域、４２０は座標入力プログラム作業領域、４３０はアプリケーション・フレーム・バッファ、４４０は指示アイテム・フレーム・バッファである。座標入力プログラム作業領域４２０には、タッチパネル制御回路１０から取得したタッチ座標を保持するためのタッチ座標変数４２１を配置している。また、座標入力プログラム作業領域４２０には、座標の履歴を保持するためのリング・バッファ４２２を配置している。

さらに、座標入力プログラム作業領域４２０には、指示アイテムの方向を保持するための指示アイテム方向変数４２３を配置している。また、座標入力プログラム作業領域４２０には、指示アイテムを表示する座標を保持するための指示アイテム表示座標変数４２４を配置している。さらに、座標入力プログラム作業領域４２０には、ユーザが指示した入力座標を保持するための入力座標変数４２５を配置している。また、座標入力プログラム作業領域４２０には、ユーザが設定可能な感度設定４２８を配置している。

次に、本発明による情報処理装置の動作を説明する。タッチパネル制御回路１０は、タッチパネル１に対する入力の有無および入力座標を監視する回路である。表示パネル制御回路２０は、システムバス６０を介して、ＲＡＭ４０に配置されているアプリケーション・フレーム・バッファ４３０と指示アイテム・フレーム・バッファ４４０の内容を読み出し合成して、表示パネル２を駆動して表示を行う回路である。

ＣＰＵ５０は、ＲＯＭ３０に格納されているアプリケーション・プログラム３１０および座標入力プログラム３２０を実行する。

まず、ＣＰＵ５０は、アプリケーション・プログラム３１０を実行して、アプリケーションの画面をアプリケーション・フレーム・バッファ４３０に描画する。その後、座標入力プログラム３２０を実行して、ユーザからの操作を受け付け、アプリケーション・プログラム３１０に、その操作の情報を伝え、アプリケーション・プログラム３１０の対応する処理を実行する。

ここで、ＣＰＵ５０は、アプリケーション・プログラム３１０および座標入力プログラム３２０を実行するとき、ＲＡＭ４０に配置されたアプリケーション・プログラム作業領域４１０および座標入力プログラム作業領域４２０を作業のために利用する。

また、座標入力プログラムが実行するとき、タッチパネル制御回路１０を制御して、ユーザのタッチ操作を検出する。また、ユーザの操作に応じて、ＲＯＭ３０に格納されているアイコン・ビットマップ３３０を利用して、ユーザの操作に対応したアイコン・ビットマップを指示アイテム・フレーム・バッファ４４０に描画する。

以下、座標入力プログラム３２０の処理内容についてフローチャートを用いて詳細に説明する。図４は、座標入力プログラム３２０のフローチャートである。図４において、ステップ５００からステップ５０４までが、タッチ操作前の処理、ステップ５１１からステップ５３４までが、タッチ操作中の処理、ステップ５４１から５９９までがタッチ操作後の処理である。

ＣＰＵ５０は、アプリケーション・プログラム３１０に従って、ユーザからの入力が必要な個所で、座標入力プログラム３２０のステップ５００に制御を移す。ＣＰＵ５０は、座標入力プログラム３２０のステップ５０１において、指示アイテム方向変数４２３を初期方向に初期化する。

ステップ５０２において、リング・バッファ４２２を初期化する。ステップ５０３において、タッチパネル制御回路１０を制御して、タッチパネル１に対する入力の有無およびタッチ座標を取得してタッチ座標変数４２１に格納する。ステップ５０４において、もし、タッチ座標変数４２１を参照して、入力がない場合にはステップ５０３へ、入力がある場合にはステップ５１１へ分岐する。

以上の処理により、ＣＰＵ５０は、タッチパネル１に入力があるまで、ステップ５０３からステップ５０４の処理を繰り返す。ステップ５１１において、タッチ座標変数４２１の内容をリング・バッファ４２２に格納する。リング・バッファ４２２は、所定数のタッチ座標の履歴を保持していて、所定数を超えた場合には、古いものから上書きされ新しい座標が残る。

ここで、感度設定４２８について、説明する。感度設定４２８は、矩形の大きさで設定する項目で、リング・バッファ４２２に保持されている時系列のタッチ座標による軌跡が大きな動きか否かを判定する基準となるものであって、この矩形の大きさは、タッチパネル１およびタッチパネル制御回路１０およびユーザの好みにより調整されるものである。ステップ５１２において、リング・バッファ４２２に保持されているすべてのタッチ座標が納まる矩形を算出する。

ステップ５１３において、ステップ５１２において算出した矩形の大きさがあらかじめ設定されている感度設定４２８と比較され、もし、矩形の大きさが規定値以上の場合にはステップ５２１へ、規定値未満の場合にはステップ５２２へ分岐する。ステップ５２１において、リング・バッファ４２２に保持されている時系列順のタッチ座標のＸ座標の列とＹ座標の列、それぞれについて後述の線形回帰によりベクトルを算出した指示アイテムの方向情報を指示アイテム方向変数４２３に格納する。

ここで、ステップ５１３の分岐は、ステップ５２１の処理が実行されるか否かを判定していて、結果として、指示アイテム方向変数４２３が更新されるか、あるいは、保持されるかを判定している。ステップ５２２において、指示アイテム方向変数４２３を参照して、方向に応じた指示アイテムの画像を生成する。

ここでは処理時間を短くするため、アイコン・ビットマップ３３０には少しずつ回転した指示アイテムの画像をあらかじめ用意してあり、指示アイテム方向変数４２３の内容によって画像を選択するようにしている。
ステップ５３１において、タッチ座標変数４２１に格納されているタッチ座標と指示アイテム方向変数４２３に格納されている指示アイテムの方向情報から指示アイテムを表示する表示座標を算出して指示アイテム表示座標変数４２４に格納する。

ステップ５３２において、指示アイテム・フレーム・バッファ４４０の指示アイテム表示座標変数４２４に格納されている表示座標の位置にステップ５２２において選択した指示アイテムの画像を描画する。ステップ５３３において、ステップ５０３と同様にタッチパネル制御回路１０を制御して、タッチパネル１に対する入力の有無およびタッチ座標を取得してタッチ座標変数４２１に格納する。ステップ５３４において、もし、タッチ座標変数４２１を参照して、入力がある場合にはステップ５１１へ、入力がない場合にはステップ５４１へ分岐する。

以上の処理により、ＣＰＵ５０は、タッチパネル１に入力がある間は、ステップ５１１からステップ５３４の処理を繰り返す。

ステップ５４１において、タッチ座標変数４２１の内容と指示アイテム方向変数４２３の内容から入力点の座標を算出した入力座標を決定して入力座標変数４２５に格納する。ステップ５４２において、指示アイテム・フレーム・バッファ４４０に描画してあった指示アイテムの画像を消去する。
ステップ５４３において、入力座標変数４２５に格納されている入力座標をアプリケーションに返す。

図８は入力座標から方向情報を算出する方法を説明するための表とグラフである。図８（Ａ）はリング・バッファ４２２に格納されている過去の入力座標の例である。図８（Ｂ）は入力座標の軌跡である。図８（Ｃ）はＸ座標、Ｙ座標それぞれについて、線形回帰を適用した結果である。図８（Ｄ）は線形（Ｘ座標）と線形（Ｙ座標）から方向情報への算出を説明するための図である。

このように、入力座標のＸ座標、Ｙ座標それぞれについて線形回帰して線形（Ｘ座標）および線形（Ｙ座標）を算出して、それぞれの線の傾きから合成ベクトルを算出して、方向情報を算出している。

リング・バッファ４２２には、所定数までのタッチ座標の履歴を保持しているので、時系列のタッチ座標の最後の部分において、上記算出が行われるようになっている。

以上、説明したように、本発明によれば、ユーザがタッチパネルの操作は、ユーザの指の軌跡が感度設定以上のときには、指示アイテムが指の軌跡によって回転を伴って移動し、また、ユーザの指の軌跡が感度設定未満のときには、指示アイテムが指の軌跡によって回転を伴わずに移動することができる。

したがって、ユーザが指示したい対象に対して正確に指示することができる。また、指示したい対象が指に隠れてしまうことがない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ タッチパネル、２ 表示パネル、１０ タッチパネル制御回路、
２０ 表示パネル制御回路、３０ ＲＯＭ、４０ ＲＡＭ、５０ ＣＰＵ、
３１０ アプリケーション・プログラム、３２０ 座標入力プログラム、
３３０ アイコン・ビットマップ、４１０ アプリケーション・プログラム作業領域、
４２０ 座標入力プログラム作業領域、４２１ タッチ座標変数、
４２２ リング・バッファ、４２３ 指示アイテム方向変数、
４２４ 指示アイテム表示座標変数、４２５ 入力座標変数、４２８ 感度設定、
４３０ アプリケーション・フレーム・バッファ、
４４０ 指示アイテム・フレーム・バッファ

Claims (9)

1. 表示方向が可変な指示アイテムを有する座標入力装置であって、入力面へ入力された位置を検出して入力座標を生成する入力手段と、複数の前記入力座標を記憶して入力軌跡を生成する入力軌跡生成手段と、前記入力軌跡から前記指示アイテムの表示方向を算出する方向算出手段と、指示アイテムの画像を生成する画像生成手段と、前記入力座標と前記表示方向と前記指示アイテムの表示座標を算出する表示座標算出手段と、前記指示アイテムの画像を前記表示座標に基づいて主たる表示画像と合成した合成表示画像を生成する合成表示画像生成手段と、前記合成表示画像を表示器に表示する表示手段と、前記入力座標から入力の有無を検出する入力検出手段と、前記表示方向から前記指示アイテムの画像の中の指示点を算出する指示点算出手段と、前記入力座標と前記指示点から入力点を算出する入力点算出手段と、前記入力の有無と入力点から確定入力点を出力する確定入力点出力手段と、該入力手段と該入力軌跡生成手段と該方向算出手段と該画像生成手段と該表示座標算出手段と該合成表示画像生成手段と該表示手段と該入力検出手段と該指示点算出手段と該入力点算出手段と該確定入力点出力手段を制御する制御手段を備えたことを特徴とする座標入力装置。
2. 該制御手段は、該入力検出手段によって入力が開始されたことを検出したら、該入力座標に応じて指示アイテムの位置を変更するように制御し、さらに、該入力軌跡が所定の条件を満たした場合は、該入力軌跡に応じて指示アイテムの方向も変更するように制御することを特徴とする請求項１に記載の座標入力装置。
3. 該制御手段は、該入力検出手段によって入力が終了されたことを検出したら、該確定入力点出力手段によって、指示アイテムの入力点を確定入力点とし、その確定入力点の座標に対応する処理を行うよう制御することを特徴とする請求項１に記載の座標入力装置。
4. 該画像生成手段は、前記表示方向から指示アイテムの画像を生成することを特徴とする請求項１乃至請求項３の何れか一項に記載の座標入力装置。
5. 前記構成に加え、入力軌跡が設定された範囲に収まるとき保持モードとする方向保持判定手段を備え、
   さらに、該方向算出手段は、保持モードのときは指示アイテム方向を保持することを特徴とする請求項１乃至請求項４の何れか一項に記載の座標入力装置。
6. 前記構成に加え、入力座標の移動速度が設定された速度より遅いとき保持モードとする方向保持判定手段を備え、さらに、該方向算出手段は、保持モードのときは指示アイテム方向を保持することを特徴とする請求項１乃至請求項４の何れか一項に記載の座標入力装置。
7. 該入力検出手段は、入力が開始されたことを検出したら表示モードとし、
   さらに、該合成表示画像生成手段は、表示モードのときのみ指示アイテムの画像を主たる表示画像に合成することを特徴とする請求項１乃至請求項６の何れか一項に記載の座標入力装置。
8. 該入力検出手段は、入力が終了されたことを検出したら非表示モードとし、
   さらに、該合成表示画像生成手段は、表示モードのときのみ指示アイテムの画像を主たる表示画像に合成することを特徴とする請求項１乃至請求項７の何れか一項に記載の座標入力装置。
9. 該制御手段は、確定入力点出力手段が出力する座標に対応する処理を行うことを特徴とする請求項１乃至請求項８の何れか一項に記載の情報処理装置。