JP2012203791A - 入力装置及び入力方法 - Google Patents

Abstract

【課題】タッチＵＩ用に構成されていないＵＩ部品を有するアプリケーションソフトウェアのタッチ操作を容易にした入力装置及び入力方法を提供する。
【解決手段】ＵＩ部品を拡大表示するための表示画面上におけるジェスチャー入力による選択領域を受け取る受取手段と、選択領域内におけるＵＩ部品のみ拡大し半透明表示する拡大透明表示手段と、を備えた。
【選択図】図２

Description

本発明は、入力装置及び入力方法に関する。

入力装置としてタッチＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）付ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、カーナビゲーション装置が開発されている（例えば、特許文献１〜３参照）。

特許文献１に記載の発明は、「画面上の透明なキーボードインターフェース」に関する発明であり、具体的には「コンピュータ画面上に表示を生成するステップと、コンピュータ画面上にキーイメージを含む透明なキーボードインターフェースを生成するステップと、透明なキーボードインターフェースを通して行われたキーの選択を認識するステップと、を含む」ものである。

特許文献２に記載の発明は「カーナビゲーション装置における地図表示方法」に関するものであり、具体的には「予め定めた大きさの表示領域に予め定めた尺度で地図情報を表示し、表示領域上の少なくとも一部を含む領域が指示されたときに、領域の内部を通過する２つの直線の各通過部分の線分の長さが異なる部分領域を入力し、各通過部分の線分の長さが異なって入力された部分領域に基づいて、部分領域の中心または重心の位置を求めることによって表示すべき位置を求める」ものである。

特許文献３に記載の発明は、「変化可能な透明度の表示」に関するものであり、具体的には「コンピュータプログラムのそれぞれはグラフィカルユーザインタフェース内で表示可能な複数の制御表示を有し、複数の制御表示は制御表示の少なくとも一つが不透明である第１の形態と制御表示の少なくとも一つが少なくとも半透明である第２の形態とを有する少なくとも一つのコンピュータプログラムから成り、ポインタが制御表示のうち１つの制御表示の上に移動することから成る特定の事象の発生により当該制御表示を第１の形態と第２の形態との間で切り替えるシステム」である。

特表２００４−５１７３９１号公報 特開２００１−６６９８５号公報 特表２００１−５１６４８４号公報

しかしながら、携帯端末では表示部のサイズが数十ｍｍ角程度と小さいので、ＵＩ部品が指などでのタッチ操作が隣のボタンを誤って押してしまうなどが起こりやすく操作しづらく、単純に拡大すると元の文書自体が不必要に大きくなり文書全体が見えない、またＵＩ部品だけを拡大したとしても元の文書が拡大したＵＩ部品で隠れて見づらくなる。
また、特許文献１に発明は、キーボードを透明表示して文字入力後の画面を１つに表示しており、かつキーボード入力した文字は表示されるものの、キーボード以外の任意のＵＩ部品を透明表示することはできず、また透明なキーボードを拡大する機能は無い。

特許文献２に記載の発明は、ユーザがカーナビゲーション装置のモニタ画面の一部を円で囲むと拡大するが、地図情報だけに限定されており、任意のＵＩ部品や文字などを透明表示する機能は無い。

特許文献３に記載の発明は、複数のＵＩ部品のうち入力するもののみ濃く表示するものの、拡大する機能は無い。

そこで、本発明の目的は、タッチＵＩ用に構成されていないＵＩ部品を有するアプリケーションソフトウェアのタッチ操作を容易にした入力装置及び入力方法を提供することにある。

上記課題を解決するため、請求項１記載の発明は、ジェスチャー入力による選択領域を受け取る受取手段と、前記選択領域にＵＩ部品が含まれる場合に、表示画面上で前記選択領域内におけるＵＩ部品を拡大し半透明表示する拡大透明表示手段と、を備えたことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記受取手段が選択領域を示すジェスチャーを受取ったとき、前記選択領域にＵＩ部品が含まれない場合には、前記アプリケーションごとに前記ジェスチャーに対応づけられた動作を行わせることを特徴とする。

請求項３記載の発明は、請求項１または２記載の発明において、前記拡大したＵＩ部品の表示がされていない場合、全タッチ操作をフックするタッチ操作フック手段と、前記タッチ操作フック手段から送られたタッチ操作シーケンスから拡大ジェスチャーか否かを判別する拡大ジェスチャー判別手段と、前記ジェスチャー入力による選択領域内のＵＩ部品を収拾するＵＩ部品収拾手段と、前記収拾したＵＩ部品を予め定められた範囲内に収まるように拡大半透明表示する拡大ＵＩ部品表示手段と、を備えたことを特徴とする。

請求項４記載の発明は、請求項１から３の何れか一項記載の発明において、前記ＵＩ部品の拡大表示を、既存のＵＩ部品を含む表示画面を変更することなく、重ねて表示し、その拡大表示を停止し既存の表示画面だけの表示に戻す停止手段を備えたことを特徴とする。

請求項５記載の発明は、請求項１記載の発明において、前記受取手段は、前記ユーザのジェスチャーによって対角線が指定される矩形、前記ユーザのジェスチャーによって頂点が指定される多角形、前記ユーザのジェスチャーによって外形が指定されるアメーバ形、もしくはこれらを回転させた形状を含む領域を受け取ることを特徴とする。

請求項６記載の発明は、ＵＩ部品を拡大表示するための表示画面上におけるジェスチャー入力による選択領域を受取手段が受け取ると、拡大透明表示手段が前記選択領域内におけるＵＩ部品のみ拡大半透明表示することを特徴とする。

請求項７記載の発明は、選択領域内を示すジェスチャーを受取ったとき、前記選択領域にＵＩ部品が含まれない場合には、前記アプリケーションごとに前記ジェスチャーに対応付けられた動作を行わせることを特徴とする。

本発明によれば、タッチＵＩ用に構成されていないＵＩを有するアプリケーションソフトウェアのタッチによる操作を容易にすることができる。

本発明に係る入力装置の一実施の形態を示すブロック図である。 図１に示した入力装置に用いられるソフトウェアブロック図の一例である。 図１に示した入力装置の動作を説明するためのフローチャートの一例である。 （ａ）は、タッチパネルのジェスチャー操作の一例を示す説明図であり、図４（ｂ）は、図４（ａ）に示したジェスチャー操作により表示される半透明画像の一例である。 図１に示した入力装置に用いられるフローチャートの他の一例を示す図である。

図１は、本発明に係る入力装置の一実施の形態を示すブロック図である。
同図に示す入力装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｅｓｓ Ｍｅｍｏｒｙ）２３、Ｉ／Ｏ２４、モニタ２５、マウス１１、タッチパネル１３で構成されている。

ＣＰＵ２１は、入力装置を統括制御する回路であり、例えばマイクロプロセッサが用いられる。
ＲＯＭ２２は、例えばマウス１１やタッチパネル１３のドライバソフトウェアなどの制御プログラムを格納する回路であり、例えば、マスクＲＯＭが用いられる。
ＲＡＭ２３は、データを一時的に格納する回路であり、例えば、フラッシュメモリが用いられる。
Ｉ／Ｏ２４は、外部とデータを授受するための回路であり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓｌｉｎｅ）コネクタが挙げられる。
モニタ２５は、文字や画像を表示するための回路であり、例えば、液晶表示素子が挙げられる。
マウス１１は、ユーザが移動させることによりカーソルの位置を決定するための装置であり、有線式、無線式のいずれであってもよい。また、無くても良い。
タッチパネル１３は、ユーザがタッチ入力をすることにより、モニタ２５に表示されるカーソルの位置を特定したり、ジェスチャーを入力したりするための駆動回路である。
２６は、バスラインである。

図２は、図１に示した入力装置に用いられるソフトウェアブロック図の一例である（但し、マウス、タッチパネルのハードウェア、及びドライバソフトウェアが記載されている）。
図２に示すブロックは、マウス１１、タッチパネル１３、デバイスドライバ（図ではドライバ）１２、１４、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）１５、ＯＳ内部のタッチ操作の処理手段１５ａ、ＵＩ部品１６、アプリケーション（図ではＡＰ）１７、タッチ操作フック手段１８、拡大操作のジェスチャー認識１９、ジェスチャー入力による選択領域を受け取る受け取り手段および選択領域内のＵＩ部品を収拾するＵＩ部品収拾手段（図ではＧＵＩの収拾）２０a、収拾したＵＩ部品を予め定められた範囲内に収まるように拡大半透明表示する拡大ＵＩ部品表示手段（図では拡大ＧＵＩの表示）２０ｂで構成されている。

フックとは、トラップもしくは横取りすることを意味し、通常はドライバ１２、１４からＯＳ１５に行く信号（図ではドライバ１４からＯＳ１５へ行く信号）をタッチ操作フック手段１８が横取りしてＯＳ１５に戻すことである。フックは、割り込みとは異なる（割り込みは他の作業を停止して他の作業をすることをいう。）。
通常、ドライバ１４（もしくはドライバ１５）はＯＳ１５にタッチパネル１３の操作状態を通知する。タッチ操作フック手段１８は、ドライバ１４（もしくはドライバ１５）がＯＳ１５のどこに通知するかを、書き換えタッチ操作フック手段１８自身が通知を得る。ドライバ１４はＯＳ１５に操作状態を通知するつもりでもタッチ操作フック手段１８に通知することになる。

タッチパネル１３がユーザに指でタッチされて、例えば丸く囲まれると、拡大指示するジェスチャーであると判断する。指を押して丸を描いて離すと言う一連のストロークデータをジェスチャー認識手段１９に渡すと、ジェスチャー認識手段１９はそれを認識し、拡大ジェスチャーかを判断する。もし拡大ジェスチャーでない場合はストロークデータをＯＳ１５に、戻す。拡大ジェスチャーが認識されたたら、ＧＵＩの収拾２０ａで拡大エリアの下にどんなＵＩ部品があるか取り出して、拡大ＧＵＩの表示２０ｂで半透明で拡大表示する。すなわち、拡大表示すべきＵＩ部品が拡大表示される。タッチ操作をフックし、拡大ジェスチャーか否かを判断し、拡大ジェスチャーであると判断した場合、指定された領域に含まれていたＵＩ部品を半透明で予め決められた位置とサイズに拡大表示する。拡大半透明表示されたＵＩ部品は、他のＵＩ部品同様に入力待ちとなり、入力があった場合には元のＵＩ部品と同様の処理が行われる。

ここで、ＵＩ部品とは、ボタン、ラジオボタン、プルダウンメニュー、ポップアップメニュー、チェックボックス、セレクター等であり、ＯＳなどが用意している。つまり、ＰＣを使ってクリックできるところである。タッチ操作用でないＵＩ部品は指で操作しづらい数ｍｍ角程度のアイコンであることが多い。本発明はこれを拡大し、大きな画面で操作できるようにするものである。

図３は、図１に示した入力装置の動作を説明するためのフローチャートの一例である。
動作の主体は、ＣＰＵであり、図２に示したソフトウェアブロックである。
まず、ドライバ１４は、タッチパネル１３の操作がタッチ操作か否か判断し、タッチ操作ではないと判断した場合（ステップＳ１０／Ｎｏ）、待機する。ここで、タッチ操作であると判断した場合（ステップＳ１０／Ｙｅｓ）、ドライバ１４の信号はタッチ操作フック手段１８がフックし、ジェスチャー認識１９に送信され、そこで拡大ジェスチャーであるか否かを判断する（ステップＳ１１）。
ジェスチャー認識手段１９は、拡大ジェスチャーでないと判断した場合（ステップＳ１１／Ｎｏ）、タッチ操作フック手段１８によりＯＳ１５aへタッチ操作である旨の信号を送り（ステップＳ１５）、ステップＳ１０へ戻る。
ジェスチャー認識手段１９が拡大ジェスチャーであると判断した場合（ステップＳ１１／Ｙｅｓ）、ＧＵＩの収拾手段２０ａにより領域内部品取りを行う。領域内部品取りとはジェスチャー操作で選択された領域内の部品を収拾することである（ステップＳ１２）。
ＧＵＩの収拾手段２０ａは、領域内の部品内にＵＩ部品があるか否かを判断し（ステップＳ１３）、ＵＩ部品が無いと判断した場合（ステップＳ１３／Ｎｏ）、ステップＳ１５に戻り、ＵＩ部品が有ると判断した場合（ステップＳ１３／Ｙｅｓ）、拡大ＧＵＩの表示手段２０ｂによりＵＩ部品を拡大かつ半透明表示して終了する（ステップＳ１４）。

図４（ａ）は、タッチパネルのジェスチャー操作の一例を示す説明図であり、図４（ｂ）は、図４（ａ）に示したジェスチャー操作により表示される半透明画像の一例である。
図４(a)を参照すると、このままではＵＩ部品は指で操作するには小さすぎて、誤操作が多くなることが分かる。また、画面全体を拡大すると見える文書の領域が極端に狭くなってしまう。
図４(a)(b)は、ジェスチャー操作により選択された領域内に、フォント変更ボタンが有る。例えば、本発明の場合、文字や数字のフォント色を赤くする操作を、拡大された半透明のＵＩ部品の下に透けて見えている指定した文字列が赤くなった結果を確認しながら行うことができる。半透明であるメリットは文書変更の確認が容易に可能な点である。

例えば連続してフォントの変更を行う場合（ここでは、文字の色を赤くして下線ひく場合を示す）、関連するＵＩ部品を複数囲んでも良い。図４(a)では、下線を引くアイコン(左)と赤色にするアイコン（右）のＵＩ部品とを同時に囲んでいる。すると、図４(b)に示すように、半透明で赤色と下線のＵＩ部品が拡大される。この状態で、下線アイコンをタッチして、続けて赤色アイコンをタッチすると、選択されていた文字列に下線が引かれ、赤色になるのが確認できる。このように拡大されているＵＩ部品を閉じなくても正しい状態であることが確認でき、操作が容易になる。

図５は、図１に示した入力装置に用いられるフローチャートの他の一例を示す図である。
図５に示したフローチャートの図３に示したフローチャートとの相違点は、拡大ジェスチャーと認識された場合は、指定領域にＵＩ部品がなくても拡大ジェスチャーと認識されたタッチ操作をＯＳへ送らない点である。領域内部品取り後、ＵＩ部品が無い場合は、ＵＩ部品を拡大かつ半透明表示するステップ（Ｓ２３）で処理すべき対象がないため、単純に終了する。

動作の主体は、ＣＰＵであり、図２に示したソフトウェアブロックである。
まず、ドライバ１４は、タッチパネル１３の操作がタッチ操作か否か判断し、タッチ操作ではないと判断した場合（ステップＳ２０／Ｎｏ）、待機し、タッチ操作であると判断した場合（ステップＳ２０／Ｙｅｓ）、ドライバ１４の信号はタッチ操作フック手段１８がフックし、ジェスチャー認識１９に送信され、そこで拡大ジェスチャーであるか否かを判断する（ステップＳ２１）。
ジェスチャー認識１９は、拡大ジェスチャーでないと判断した場合（ステップＳ２１／Ｎｏ）、タッチ操作フック手段１８によりＯＳ１５aへタッチ操作である旨の信号を送り（ステップＳ２４）、ステップＳ２０へ戻る。
ジェスチャー認識手段１９が拡大ジェスチャーであると判断した場合（ステップ２１／Ｙｅｓ）、ＧＵＩの収拾手段20aにより領域内部品取りを行う（ステップＳ２２）。
拡大ＧＵＩの表示手段２０bは、ＵＩ部品を拡大かつ半透明表示して終了する。なお上述のように、処理すべきＵＩ部品が無い場合は、単純に終了する（ステップＳ２３）。

＜プログラム＞
以上で説明した本発明にかかる入力装置は、コンピュータで画像処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

実質的なコンピュータに、
受取手段が、拡大したＵＩ部品を表示するための表示画面上におけるジェスチャー入力による選択領域を受け取る手順、
拡大透明表示手段が、選択領域内におけるＵＩ部品のみ拡大半透明表示する手順、
タッチ操作フック手段が、拡大したＵＩ部品の表示がされていない場合、全タッチ操作をフックする手順、
拡大ジェスチャー判別手段が、タッチ操作フック手段から送られたタッチ操作シーケンスから拡大ジェスチャーか否かを判別する手順、
拡大ＵＩ部品収拾手段が、拡大したＵＩ部品を予め定められた範囲内に収まるように拡大半透明表示する手順、
を実行させることを特徴とする。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる入力装置を実現することができる。

＜記憶媒体＞
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（ＣＤ Ｒｅｃｏｒｄａｂｌｅ）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）が挙げられる。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

１１ マウス
１３ タッチパネル
１５ ＯＳ
１６ ＵＩ部品
１７ アプリケーション（ＡＰ）
１８ タッチ操作フック手段
１９ 拡大操作のジェスチャー認識
２０ａ ＧＵＩの収拾手段
２０ｂ 拡大ＧＵＩの表示手段
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ Ｉ／Ｏ
２５ モニタ
２６ バスライン

Claims (7)

1. ジェスチャー入力による選択領域を受け取る受取手段と、
   前記選択領域にＵＩ部品が含まれる場合に、表示画面上で前記選択領域内におけるＵＩ部品を拡大し半透明表示する拡大透明表示手段と、
   を備えたことを特徴とする入力装置。
2. 前記受取手段が選択領域を示すジェスチャーを受け取ったとき、前記選択領域にＵＩ部品が含まれない場合には、前記アプリケーションごとに前記ジェスチャーに対応づけられた動作を行わせることを特徴とする請求項１に記載の入力装置。
3. 前記拡大したＵＩ部品の表示がされていない場合、全タッチ操作をフックするタッチ操作フック手段と、
   前記タッチ操作フック手段から送られたタッチ操作シーケンスから拡大ジェスチャーか否かを判別する拡大ジェスチャー判別手段と、
   前記ジェスチャー入力による選択領域内のＵＩ部品を収拾するＵＩ部品収拾手段と、
   前記収拾したＵＩ部品を予め定められた範囲内に収まるように拡大半透明表示する拡大ＵＩ部品表示手段と、を備えたことを特徴とする請求項１または２記載の入力装置。
4. 前記ＵＩ部品の拡大表示を、既存のＵＩ部品を含む表示画面を変更することなく、重ねて表示し、その拡大表示を停止し既存の表示画面だけの表示に戻す停止手段を備えたことを特徴とする請求項１から３の何れか一項記載の入力装置。
5. 前記受取手段は、前記ユーザのジェスチャーによって対角線が指定される矩形、前記ユーザのジェスチャーによって頂点が指定される多角形、前記ユーザのジェスチャーによって外形が指定されるアメーバ形、もしくはこれらを回転させた形状を含む領域を受け取ることを特徴とする請求項１記載の入力装置。
6. ジェスチャー入力による選択領域を受取手段が受け取ると、拡大透明表示手段が前記選択領域にＵＩ部品が含まれる場合に、表示画面上で前記選択領域内におけるＵＩ部品を拡大し半透明表示することを特徴とする入力方法。
7. 選択領域内を示すジェスチャーを受け取ったとき、前記選択領域にＵＩ部品が含まれない場合には、前記アプリケーションごとに前記ジェスチャーに対応付けられた動作を行わせることを特徴とする入力方法。

Images