JP2014154091A - ユーザインタフェース装置及びユーザインタフェース方法 - Google Patents

Abstract

【課題】画面のスムーズなスクロールを実現することができるようにする。
【解決手段】描画処理部３３が、スワイプ操作実行検出部２３によりスワイプ操作の実行が検出されている間、スワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータの一部と、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリ３７に転送するＢｉｔＢＬＴ処理を実行することで、スワイプ操作中の画面を液晶パネル１に表示する。
【選択図】図１

Description

この発明は、画面に触れた状態で指を滑らせる操作であるスワイプ操作の実行を検出して、表示装置に表示されている画面をスクロールするユーザインタフェース装置及びユーザインタフェース方法に関するものである。

画面に触れた状態で指を滑らせる操作であるスワイプ操作の実行を検出する機能を有するユーザインタフェース装置が以下の特許文献１に開示されている。
このユーザインタフェース装置では、スワイプ操作の実行を検出すると、スワイプ操作の実行が検出されている間、指の移動経路上の各地点において、当該地点に対応する画面の描画データを取得してレンダンリングを行うことで、当該地点に対応する画面の全体を再描画するようにしている。

特開２０１２-０９４１７０号公報（要約書）

従来のユーザインタフェース装置は以上のように構成されているので、スワイプ操作の実行を検出すると、指の移動経路上の各地点の画面全体を再描画することで、画面のスクロールを実現している。しかし、画面全体の再描画には多くの時間を要し、例えば、再描画に要する時間が１／６０秒を超える状況下では、スクロールのスムーズさが損なわれて、画面のカクツキが生じてしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、画面のスムーズなスクロールを実現することができるユーザインタフェース装置及びユーザインタフェース方法を得ることを目的とする。

この発明に係るユーザインタフェース装置は、表示装置のタッチパネルに対するユーザの接触を検知して、ユーザが接触しているタッチパネル上の位置を特定する位置特定手段と、位置特定手段により特定された位置が所定の方向に連続して遷移している場合、画面に触れた状態で指を滑らせる操作であるスワイプ操作の実行を検出するスワイプ操作実行検出手段と、スワイプ操作実行検出手段によりスワイプ操作の実行が検出されると、スワイプ操作が実行される直前に表示装置に表示されていた画面をスワイプ元画面として、そのスワイプ元画面のビットマップデータを第１の表示バッファに格納するとともに、そのスワイプ元画面に隣接している画面のうち、上記方向と逆方向側に位置している画面をスワイプ先画面として、そのスワイプ先画面のビットマップデータを第２の表示バッファに格納するビットマップデータ格納手段とを設け、画面表示手段が、スワイプ操作実行検出手段によりスワイプ操作の実行が検出されている間、第１の表示バッファに格納されているスワイプ元画面のビットマップデータの一部と、第２の表示バッファに格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリに転送するビットブリット処理を実行することで、スワイプ操作中の画面を表示装置に表示するようにしたものである。

この発明によれば、画面表示手段が、スワイプ操作実行検出手段によりスワイプ操作の実行が検出されている間、第１の表示バッファに格納されているスワイプ元画面のビットマップデータの一部と、第２の表示バッファに格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリに転送するビットブリット処理を実行することで、スワイプ操作中の画面を表示装置に表示するように構成したので、画面のスムーズなスクロールを実現することができる効果がある。

この発明の実施の形態１によるユーザインタフェース装置を示す構成図である。 この発明の実施の形態１によるユーザインタフェース装置に適用される表示装置を示す構成図である。 この発明の実施の形態１によるユーザインタフェース方法を示すフローチャートである。 スワイプ先画面に隣接している画面を示す説明図である。 スワイプ操作のスライド方向が右方向である場合のＢｉｔＢＬＴ処理を示す説明図である。 各々のスライド方向に対応するＢｉｔＢＬＴ処理を示す説明図である。 ユーザが最初に液晶パネル１に触れている位置を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１によるユーザインタフェース装置を示す構成図であり、図２はこの発明の実施の形態１によるユーザインタフェース装置に適用される表示装置を示す構成図である。
図１及び図２において、表示装置は液晶パネル１、タッチパネル２及びガラス面３から構成されている。
ユーザインタフェース装置はユーザＩ／Ｆ部１１、全体制御部１２及び描画部１３から構成されている。

ユーザＩ／Ｆ部１１はタッチパネル２、タッチセンサ２１、位置特定部２２及びスワイプ操作実行検出部２３から構成されており、ユーザが接触しているタッチパネル上の位置を特定して、画面に触れた状態で指を滑らせる操作であるスワイプ操作の実行を検出する処理を実施する。
全体制御部１２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、ユーザＩ／Ｆ部１１によりスワイプ操作の実行が検出されると、スワイプ処理の実行指令を描画部１３に出力する処理などを実施する。
描画部１３は全体制御部１２からスワイプ処理の実行指令を受けると、スワイプ操作の実行が検出されている間、ビットマップデータをビデオメモリに転送するＢｉｔＢＬＴ処理（ビットブリット処理）を実行することで、スワイプ操作中の画面を液晶パネル１に表示する処理を実施する。

ユーザＩ／Ｆ部１１のタッチセンサ２１は表示装置のタッチパネル２に対するユーザの接触を検知して、その検知結果を出力する処理を実施する。
ユーザＩ／Ｆ部１１の位置特定部２２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、タッチセンサ２１の検知結果をタッチ座標に変換するタッチドライバ（プログラム）を実行することで、ユーザが接触しているタッチパネル２上の位置（タッチ座標）を特定する処理を実施する。
なお、タッチセンサ２１及び位置特定部２２から位置特定手段が構成されている。

ユーザＩ／Ｆ部１１のスワイプ操作実行検出部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、位置特定部２２により特定された位置が所定の方向に連続して遷移している場合、画面に触れた状態で指を滑らせる操作であるスワイプ操作の実行を検出する処理を実施する。なお、スワイプ操作実行検出部２３はスワイプ操作実行検出手段を構成している。

描画部１３の描画データ格納部３１は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、描画対象の図形や文字を構成する線や面等の情報、図形や文字を描画する位置を示す情報などを描画データとして格納している。
描画部１３の描画制御部３２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、全体制御部１２から画面の描画指令を受けると、その描画指令にしたがって描画データ格納部３１により格納されている描画データを読み出して、その描画データを描画処理部３３に出力する処理を実施する。
また、描画制御部３２は全体制御部１２からスワイプ処理の実行指令を受けると、スワイプ操作が実行される直前に液晶パネル１に表示されていた画面をスワイプ元画面として、そのスワイプ元画面のビットマップデータ（ビデオメモリ３７に書き込まれていたビットマップデータ）を描画メモリ３４内のスワイプ用描画バッファ３５に格納するとともに、スワイプ元画面に隣接している画面のうち、スワイプ操作のスライド方向（移動方向）と逆方向側に位置している画面をスワイプ先画面として、そのスワイプ先画面のビットマップデータを描画メモリ３４内のスワイプ用描画バッファ３６に格納するビットマップデータ格納指令を描画処理部３３に出力する処理を実施する。

描画部１３の描画処理部３３は例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などから構成されており、描画制御部３２から描画データを受けると、その描画データにしたがって描画対象の画面をレンダンリングし、その画面のビットマップデータを描画メモリ３５内のビデオメモリ３７に書き込むことで、描画対象の画面を液晶パネル１に表示する処理を実施する。
また、描画処理部３３は描画制御部３２からビットマップデータ格納指令を受けると、描画メモリ３４内のスワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータの一部と、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリ３７に転送するＢｉｔＢＬＴ処理を実行することで、スワイプ操作中の画面を液晶パネル１に表示する処理を実施する。
なお、描画処理部３３は画面表示手段を構成している。

描画メモリ３４は例えばＲＡＭなどから構成されている記憶装置であり、スワイプ用描画バッファ３５，３６及びビデオメモリ３７を備えている。
スワイプ用描画バッファ３５はスワイプ元画面のビットマップデータを格納する第１の表示バッファである。
スワイプ用描画バッファ３６はスワイプ先画面のビットマップデータを格納する第２の表示バッファである。
ビデオメモリ３７は液晶パネル１に表示されている画面のビットマップデータを保持しているＶＲＡＭである。
なお、描画制御部３２及び描画メモリ３４からビットマップデータ格納手段が構成されている。

図１の例では、ユーザインタフェース装置の構成要素であるユーザＩ／Ｆ部１１、全体制御部１２及び描画部１３のそれぞれが専用のハードウェアで構成されているものを想定しているが、ユーザインタフェース装置がコンピュータで構成されていてもよい。
ユーザインタフェース装置がコンピュータで構成されている場合、ユーザＩ／Ｆ部１１、全体制御部１２及び描画部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図３はこの発明の実施の形態１によるユーザインタフェース装置の処理内容（ユーザインタフェース方法）を示すフローチャートである。

次に動作について説明する。
全体制御部１２は、ユーザＩ／Ｆ部１１によりスワイプ操作の実行が検出されていないとき、例えば、ユーザの指示する画面や、何らかのプログラムが指示する画面の描画指令を描画部１３に出力する。
描画部１３の描画制御部３２は、全体制御部１２から画面の描画指令を受けると、描画データ格納部３１から、その描画指令が指示する画面の描画データを読み出し、その描画データを描画処理部３３に出力する。
描画部１３の描画処理部３３は、描画制御部３２から描画データを受けると、その描画データにしたがって描画対象の画面をレンダンリングし、その画面のビットマップデータを描画メモリ３５内のビデオメモリ３７に書き込むことで、描画対象の画面を液晶パネル１に表示する。

液晶パネル１に画面が表示されているとき、ユーザが表示装置のタッチパネル２に触れると、ユーザＩ／Ｆ部１１のタッチセンサ２１が、タッチパネル２に対するユーザの接触を検知して、その検知結果を位置特定部２２に出力する。
ユーザＩ／Ｆ部１１の位置特定部２２は、タッチセンサ２１の検知結果を受けると、その検知結果をタッチ座標に変換するタッチドライバを実行することで、ユーザが接触しているタッチパネル２上の位置（タッチ座標）を特定する（図３のステップＳＴ１）。
なお、位置特定部２２は、ユーザがタッチパネル２に触れている間、タッチセンサ２１がタッチパネル２に対するユーザの接触を連続的に検知するので、ユーザが接触しているタッチパネル２上の位置（タッチ座標）を連続的に特定する。
この実施の形態１では、説明の便宜上、タッチ座標の原点は画面左上の端点であるものとする。

ユーザＩ／Ｆ部１１のスワイプ操作実行検出部２３は、位置特定部２２が、ユーザが接触しているタッチパネル２上の位置（タッチ座標）を特定すると、その位置が所定の方向（上方向、下方向、右方向又は左方向）に連続して遷移しているか否かを判定し、位置が所定の方向に連続して遷移していれば、画面に触れた状態で指を滑らせる操作であるスワイプ操作が実行されていると判断する（ステップＳＴ２）。
即ち、スワイプ操作実行検出部２３は、位置特定部２２から出力される位置（タッチ座標）が連続しており（例えば、位置の移動方向が右方向であるとき、タッチ座標のｘ座標が１ずつ増加していれば、位置が連続していると判定し、タッチ座標のｘ座標が飛び飛びに増加、あるいは、ｘ座標が増減していれば、位置が連続していないと判定する）、かつ、その位置の移動量が所定値（所定値は予め設定された閾値）以上であれば、スワイプ操作が実行されていると判断する。

スワイプ操作実行検出部２３は、スワイプ操作が実行されていると判断すると、タッチ座標のｘ座標及びｙ座標の変化から、位置の移動方向（スワイプ操作のスライド方向）を特定する（ステップＳＴ３）。
この実施の形態１では、説明の簡単化のため、ユーザが水平方向又は垂直方向のいずれかにスライドさせるものとする。
したがって、この場合には、タッチ座標のｘ座標が増加して、ｙ座標が増減していなければ、スワイプ操作のスライド方向が右方向であると特定し、タッチ座標のｘ座標が減少して、ｙ座標が増減していなければ、スワイプ操作のスライド方向が左方向であると特定する。
また、タッチ座標のｙ座標が増加して、ｘ座標が増減していなければ、スワイプ操作のスライド方向が下方向であると特定し、タッチ座標のｙ座標が減少して、ｘ座標が増減していなければ、スワイプ操作のスライド方向が上方向であると特定する。

スワイプ操作実行検出部２３は、スワイプ操作のスライド方向を特定すると、スワイプ操作の実行を検出した旨を示す検出通知を全体制御部１２に出力する。この検出通知には、スワイプ操作のスライド方向と、位置の移動量とを示す情報が含まれている。
全体制御部１２は、ユーザＩ／Ｆ部１１のスワイプ操作実行検出部２３から検出通知を受けると、スワイプ処理の実行指令を描画部１３に出力する。このスワイプ処理の実行指令には、スワイプ操作のスライド方向と、位置の移動量とを示す情報が含まれている。

描画部１３の描画制御部３２は、全体制御部１２からスワイプ処理の実行指令を受けると、スワイプ操作が実行される直前に液晶パネル１に表示されていた画面をスワイプ元画面として、そのスワイプ元画面のビットマップデータ（ビデオメモリ３７に書き込まれていたビットマップデータ）を描画メモリ３４内のスワイプ用描画バッファ３５に格納するビットマップデータ格納指令を描画処理部３３に出力する。
これにより、描画処理部３３は、ビデオメモリ３７に書き込まれていたビットマップデータを描画メモリ３４内のスワイプ用描画バッファ３５に転送する（ステップＳＴ４）。

また、描画制御部３２は、スワイプ元画面に隣接している画面のうち、スワイプ操作のスライド方向と逆方向側に位置している画面をスワイプ先画面として、そのスワイプ先画面のビットマップデータを描画メモリ３４内のスワイプ用描画バッファ３６に格納するビットマップデータ格納指令を描画処理部３３に出力する。
このとき、描画制御部３２は、描画データ格納部３１から、そのスワイプ先画面の描画データを読み出し、その描画データを描画処理部３３に出力する。
描画処理部３３は、描画制御部３２からビットマップデータ格納指令及び描画データを受けると、その描画データにしたがってスワイプ先画面をレンダンリングし、そのスワイプ先画面のビットマップデータを描画メモリ３５内のスワイプ用描画バッファ３６に格納する（ステップＳＴ５）。

図４はスワイプ先画面に隣接している画面を示す説明図である。
スワイプ操作のスライド方向が右方向であれば、スワイプ元画面の左隣りの画面をスワイプ先画面として、そのスワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納し、スワイプ操作のスライド方向が左方向であれば、スワイプ元画面の右隣りの画面をスワイプ先画面として、そのスワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納する。
また、スワイプ操作のスライド方向が上方向であれば、スワイプ元画面の下隣りの画面をスワイプ先画面として、そのスワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納し、スワイプ操作のスライド方向が下方向であれば、スワイプ元画面の上隣りの画面をスワイプ先画面として、そのスワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納する。

描画処理部３３は、スワイプ元画面のビットマップデータをスワイプ用描画バッファ３５に格納し、スワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納すると、スワイプ操作の実行が継続している間（スワイプ操作実行検出部２３が、スワイプ操作の実行を検出した旨を示す検出通知を継続して全体制御部１２に出力し、全体制御部１２が、スワイプ処理の実行指令を継続して描画部１３に出力している間）、スワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータの一部と、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリ３７に転送するＢｉｔＢＬＴ処理を実行することで、スワイプ操作中の画面を液晶パネル１に表示する（ステップＳＴ６，ＳＴ７）。

ここで、スワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータの一部と、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリ３７に転送するＢｉｔＢＬＴ処理について具体的に説明する。
図５はスワイプ操作のスライド方向が右方向である場合のＢｉｔＢＬＴ処理を示す説明図である。
図５（ａ）はスワイプ操作が開始される前のビデオメモリ３７に格納されているビットマップデータを示しており、この段階では、スワイプ先画面のビットマップデータの全部がビデオメモリ３７に格納されている。

スワイプ操作が開始されて、少しだけユーザの指が右方向に移動すると、図５（ｂ）に示すように、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータのうち、その移動量に相当する分のビットマップデータ（スワイプ先画面の右端部分のビットマップデータ）をビデオメモリ３７の左端の領域に格納する。
また、スワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータのうち、その移動量に相当する分を除くビットマップデータ（スワイプ元画面の右端部分を除くビットマップデータ）をビデオメモリ３７の右側の領域に格納する。

スワイプ操作が継続して、ユーザの指が更に右方向に移動すると、図５（ｃ）に示すように、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータのうち、その移動量に相当する分のビットマップデータ（スワイプ先画面の右端部分のビットマップデータ）をビデオメモリ３７の左端の領域に格納する。
また、スワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータのうち、その移動量に相当する分を除くビットマップデータ（スワイプ元画面の右端部分を除くビットマップデータ）をビデオメモリ３７の右側の領域に格納する。

スワイプ操作が継続して、ユーザの指が更に右方向に移動すると、図５（ｄ）に示すように、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータのうち、その移動量に相当する分のビットマップデータ（スワイプ先画面の右端部分のビットマップデータ）をビデオメモリ３７の左端の領域に格納する。
また、スワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータのうち、その移動量に相当する分を除くビットマップデータ（スワイプ元画面の右端部分を除くビットマップデータ）をビデオメモリ３７の右側の領域に格納する。

１画面分のスワイプ操作が行われると、図５（ｅ）に示すように、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータの全部がビデオメモリ３７に格納され、スワイプ元画面のビットマップデータはビデオメモリ３７に格納されなくなる。
ここでは、スワイプ操作のスライド方向が右方向である場合のＢｉｔＢＬＴ処理を示したが、スライド方向が他の方向であっても、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータが異なるだけで、ＢｉｔＢＬＴ処理自体は同様である。

図６は各々のスライド方向に対応するＢｉｔＢＬＴ処理を示す説明図である。
図６（ａ）はスライド方向が右方向である場合のＢｉｔＢＬＴ処理であり、上述したように、スワイプ元画面の左隣りの画面（スワイプ先画面）のビットマップデータがビデオメモリ３７に転送される様子を示している。
図６（ｂ）はスライド方向が左方向である場合のＢｉｔＢＬＴ処理であり、スワイプ元画面の右隣りの画面（スワイプ先画面）のビットマップデータがビデオメモリ３７に転送される様子を示している。
図６（ｃ）はスライド方向が下方向である場合のＢｉｔＢＬＴ処理であり、スワイプ元画面の上隣りの画面（スワイプ先画面）のビットマップデータがビデオメモリ３７に転送される様子を示している。
図６（ｄ）はスライド方向が上方向である場合のＢｉｔＢＬＴ処理であり、スワイプ元画面の下隣りの画面（スワイプ先画面）のビットマップデータがビデオメモリ３７に転送される様子を示している。

以上で明らかなように、この実施の形態１によれば、描画処理部３３が、スワイプ操作実行検出部２３によりスワイプ操作の実行が検出されている間、スワイプ用描画バッファ３５に格納されているスワイプ元画面のビットマップデータの一部と、スワイプ用描画バッファ３６に格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリ３７に転送するＢｉｔＢＬＴ処理を実行することで、スワイプ操作中の画面を液晶パネル１に表示するように構成したので、画面のスムーズなスクロールを実現することができる効果を奏する。
即ち、ＢｉｔＢＬＴ処理は、単なるビットマップデータの転送処理であり、描画データから画面をレンダンリングする処理より遙かに処理負荷が低いため、短時間で処理を終了することができる。このため、スワイプ操作時に画面がカタツクことなく、スムーズなスクロールを実現することができる。

実施の形態２．
上記実施の形態１では、説明の簡単化のため、ユーザが水平方向又は垂直方向のいずれかにスライドさせるものとして説明したが、実際のスワイプ操作では、完全な水平方向や垂直方向のスライドではなく、斜め方向のスライドになる。
この実施の形態２では、スワイプ操作のスライド方向が完全な水平方向や垂直方向でない場合でも、水平方向又は垂直方向のスクロールを実現している。
具体的には、以下の通りである。

最初に、スワイプ操作のスライド方向を垂直方向に制限する場合について説明する。
スワイプ操作実行検出部２３は、位置特定部２２が、ユーザが接触しているタッチパネル２上の位置（タッチ座標）を特定すると、そのタッチ座標のｘ座標を無視して、そのタッチ座標のｙ座標を抽出する。
スワイプ操作実行検出部２３は、タッチ座標のｙ座標の変化に着目し、タッチ座標のｙ座標が連続しており、かつ、ｙ座標の変化量が所定値（所定値は予め設定された閾値）以上であれば、スライド方向が垂直方向のスワイプ操作が実行されていると判断する。
ｙ座標が連続して増加していれば、スライド方向が下方向のスワイプ操作、ｙ座標が連続して減少していれば、スライド方向が上方向のスワイプ操作であると判断する。

次に、スワイプ操作のスライド方向を水平方向に制限する場合について説明する。
スワイプ操作実行検出部２３は、位置特定部２２が、ユーザが接触しているタッチパネル２上の位置（タッチ座標）を特定すると、そのタッチ座標のｙ座標を無視して、そのタッチ座標のｘ座標を抽出する。
スワイプ操作実行検出部２３は、タッチ座標のｘ座標の変化に着目し、タッチ座標のｘ座標が連続しており、かつ、ｘ座標の変化量が所定値（所定値は予め設定された閾値）以上であれば、スライド方向が水平方向のスワイプ操作が実行されていると判断する。
ｘ座標が連続して増加していれば、スライド方向が右方向のスワイプ操作、ｘ座標が連続して減少していれば、スライド方向が左方向のスワイプ操作であると判断する。

次に、水平方向及び垂直方向のスワイプ操作を許可する場合について説明する。
スワイプ操作実行検出部２３は、位置特定部２２が、ユーザが接触しているタッチパネル２上の位置（タッチ座標）を特定すると、そのタッチ座標のｘ座標とｙ座標をそれぞれ抽出する。
スワイプ操作実行検出部２３は、タッチ座標のｘ座標とｙ座標を抽出すると、タッチ座標のｘ座標の変化に着目し、タッチ座標のｘ座標が連続しており、かつ、ｘ座標の変化量が所定値以上であるか否かを判定する（以下、「判定Ａ」と称する）。
また、スワイプ操作実行検出部２３は、タッチ座標のｙ座標の変化に着目し、タッチ座標のｙ座標が連続しており、かつ、ｙ座標の変化量が所定値以上であるか否かを判定する（以下、「判定Ｂ」と称する）。

スワイプ操作実行検出部２３は、判定Ａが成立して、判定Ｂが成立しなければ、スライド方向が水平方向のスワイプ操作が実行されていると判断する。このとき、ｘ座標が連続して増加していれば、スライド方向が右方向のスワイプ操作、ｘ座標が連続して減少していれば、スライド方向が左方向のスワイプ操作であると判断する。
スワイプ操作実行検出部２３は、判定Ｂが成立して、判定Ａが成立しなければ、スライド方向が垂直方向のスワイプ操作が実行されていると判断する。このとき、ｙ座標が連続して増加していれば、スライド方向が下方向のスワイプ操作、ｙ座標が連続して減少していれば、スライド方向が上方向のスワイプ操作であると判断する。

スワイプ操作実行検出部２３は、判定Ａが成立し、かつ、判定Ｂが成立すれば、ｘ座標の変化量と、ｙ座標の変化量とを比較し、ｘ座標の変化量がｙ座標の変化量より大きければ、スライド方向が水平方向のスワイプ操作が実行されていると判断する。このとき、ｘ座標が連続して増加していれば、スライド方向が右方向のスワイプ操作、ｘ座標が連続して減少していれば、スライド方向が左方向のスワイプ操作であると判断する。
一方、ｘ座標の変化量がｙ座標の変化量より小さければ、スライド方向が垂直方向のスワイプ操作が実行されていると判断する。このとき、ｙ座標が連続して増加していれば、スライド方向が下方向のスワイプ操作、ｙ座標が連続して減少していれば、スライド方向が上方向のスワイプ操作であると判断する。

なお、スワイプ操作実行検出部２３は、判定Ａ，Ｂの双方が成立しなければ、スワイプ操作の実行を検出しない。

この実施の形態２によれば、スワイプ操作のスライド方向が完全な水平方向や垂直方向でない場合でも、水平方向や垂直方向のスクロールを実現することができる効果を奏する。

実施の形態３．
上記実施の形態１，２では、ユーザが接触している位置の変化量が所定値以上であれば、スワイプ操作の実行を検出するものを示したが、スワイプ操作実行検出部２３が、位置特定部２２により最初に接触が検知された時点の位置からスワイプ操作のスライド方向を予測するようにしてもよい。

即ち、スワイプ操作実行検出部２３は、ユーザが最初に液晶パネル１に触れている位置が、例えば、図７（ａ）に示す斜線の領域（画面右端の領域）のいずれかである場合、指を右方向に動かす確率より、左方向に動かす確率の方が高いと考えられるため、スワイプ操作のスライド方向が左方向であると予測する。
また、ユーザが最初に液晶パネル１に触れている位置が、図７（ｂ）に示す斜線の領域（画面左端の領域）のいずれかである場合、指を左方向に動かす確率より、右方向に動かす確率の方が高いと考えられるため、スワイプ操作のスライド方向が右方向であると予測する。

ユーザが最初に液晶パネル１に触れている位置が、図７（ｃ）に示す斜線の領域（画面上端の領域）のいずれかである場合、指を上方向に動かす確率より、下方向に動かす確率の方が高いと考えられるため、スワイプ操作のスライド方向が下方向であると予測する。
また、ユーザが最初に液晶パネル１に触れている位置が、図７（ｄ）に示す斜線の領域（画面下端の領域）のいずれかである場合、指を下方向に動かす確率より、上方向に動かす確率の方が高いと考えられるため、スワイプ操作のスライド方向が上方向であると予測する。

このように、スワイプ操作実行検出部２３が、位置特定部２２により最初に接触が検知された時点の位置からスワイプ操作のスライド方向を予測することで、実際にユーザが指を動かし始める前からＢｉｔＢＬＴ処理の準備（スワイプ元画面のビットマップデータをスワイプ用描画バッファ３５に格納し、スワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納する処理）を開始することができるため、さらに、スムーズなスクロールを実現することができる効果を奏する。

実施の形態４．
上記実施の形態１〜３では、特に言及していないが、スワイプ操作のスライド方向が反転して、スワイプ操作が開始された位置に戻ることがある。例えば、右方向のスワイプ操作を行っているとき、指を離すことなく、続けて、左方向のスワイプ操作を行うと、ユーザの指の位置が、スワイプ操作が開始された位置に戻ることがある。
描画制御部３２は、ユーザの指の位置が、スワイプ操作が開始された位置に戻ったことを検知すると、スワイプ元画面に隣接している画面のうち、最初のスライド方向側に位置している画面（例えば、右方向のスワイプ操作をしてから、左方向のスワイプ操作をしている場合、スワイプ元画面の右隣の画面）をスワイプ先画面として、そのスワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納するビットマップデータ格納指令を描画処理部３３に出力する。
このとき、描画制御部３２は、描画データ格納部３１から、そのスワイプ先画面の描画データを読み出し、その描画データを描画処理部３３に出力する。
描画処理部３３は、描画制御部３２からビットマップデータ格納指令及び描画データを受けると、その描画データにしたがってスワイプ先画面をレンダンリングし、そのスワイプ先画面のビットマップデータをスワイプ用描画バッファ３６に格納する。

この実施の形態４によれば、スワイプ操作のスライド方向が反転して、スワイプ操作が開始された位置に戻ることがあっても、スワイプ用描画バッファ３５，３６以外のバッファを保持することなく、順方向及び逆方向のスワイプ操作をシームレスで実現することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 液晶パネル、２ タッチパネル、３ ガラス面、１１ ユーザＩ／Ｆ部、１２ 全体制御部、１３ 描画部、２１ タッチセンサ（位置特定手段）、２２ 位置特定部（位置特定手段）、２３ スワイプ操作実行検出部（スワイプ操作実行検出手段）、３１ 描画データ格納部、３２ 描画制御部（ビットマップデータ格納手段）、３３ 描画処理部（画面表示手段）、３４ 描画メモリ（ビットマップデータ格納手段）、３５ スワイプ用描画バッファ（第１の表示バッファ）、３６ スワイプ用描画バッファ（第２の表示バッファ）、３７ ビデオメモリ。

Claims (8)

1. 表示装置のタッチパネルに対するユーザの接触を検知して、ユーザが接触しているタッチパネル上の位置を特定する位置特定手段と、
   上記位置特定手段により特定された位置が所定の方向に連続して遷移している場合、画面に触れた状態で指を滑らせる操作であるスワイプ操作の実行を検出するスワイプ操作実行検出手段と、
   上記スワイプ操作実行検出手段によりスワイプ操作の実行が検出されると、上記スワイプ操作が実行される直前に上記表示装置に表示されていた画面をスワイプ元画面として、上記スワイプ元画面のビットマップデータを第１の表示バッファに格納するとともに、上記スワイプ元画面に隣接している画面のうち、上記方向と逆方向側に位置している画面をスワイプ先画面として、上記スワイプ先画面のビットマップデータを第２の表示バッファに格納するビットマップデータ格納手段と、
   上記スワイプ操作実行検出手段によりスワイプ操作の実行が検出されている間、上記第１の表示バッファに格納されているスワイプ元画面のビットマップデータの一部と、上記第２の表示バッファに格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリに転送するビットブリット処理を実行することで、スワイプ操作中の画面を上記表示装置に表示する画面表示手段と
   を備えたユーザインタフェース装置。
2. ビットマップデータ格納手段は、位置特定手段により特定された位置が上方向に連続して遷移している場合、スワイプ元画面の下方向側に位置している画面をスワイプ先画面に決定し、上記位置特定手段により特定された位置が下方向に連続して遷移している場合、上記スワイプ元画面の上方向側に位置している画面をスワイプ先画面に決定し、上記位置特定手段により特定された位置が右方向に連続して遷移している場合、上記スワイプ元画面の左方向側に位置している画面をスワイプ先画面に決定し、上記位置特定手段により特定された位置が左方向に連続して遷移している場合、上記スワイプ元画面の右方向側に位置している画面をスワイプ先画面に決定して、上記スワイプ先画面のビットマップデータを第２の表示バッファに格納することを特徴とする請求項１記載のユーザインタフェース装置。
3. スワイプ操作実行検出手段は、位置特定手段により特定された位置の遷移量が所定の閾値以上である場合、スワイプ操作の実行を検出することを特徴とする請求項１記載のユーザインタフェース装置。
4. スワイプ操作実行検出手段は、位置特定手段により特定された位置の垂直方向成分を抽出し、上記垂直方向成分の遷移量が所定の閾値以上である場合、垂直方向のスワイプ操作の実行を検出し、
   ビットマップデータ格納手段は、上記スワイプ操作実行検出手段によりスワイプ操作の実行が検出され、上記垂直方向が上方向であれば、スワイプ元画面の下方向側に位置している画面をスワイプ先画面に決定し、上記垂直方向が下方向であれば、上記スワイプ元画面の上方向側に位置している画面をスワイプ先画面に決定して、上記スワイプ先画面のビットマップデータを第２の表示バッファに格納することを特徴とする請求項３記載のユーザインタフェース装置。
5. スワイプ操作実行検出手段は、位置特定手段により特定された位置の水平方向成分を抽出し、上記水平方向成分の遷移量が所定の閾値以上である場合、水平方向のスワイプ操作の実行を検出し、
   ビットマップデータ格納手段は、上記スワイプ操作実行検出手段によりスワイプ操作の実行が検出され、上記水平方向が右方向であれば、スワイプ元画面の左方向側に位置している画面をスワイプ先画面に決定し、上記水平方向が左方向であれば、上記スワイプ元画面の右方向側に位置している画面をスワイプ先画面に決定して、上記スワイプ先画面のビットマップデータを第２の表示バッファに格納することを特徴とする請求項３記載のユーザインタフェース装置。
6. スワイプ操作実行検出手段は、位置特定手段により最初に接触が検知された時点の位置からスワイプ操作のスライド方向を予測する機能を備え、
   ビットマップデータ格納手段は、上記スワイプ操作実行検出手段によりスライド方向が予測された場合、スワイプ元画面に隣接している画面のうち、上記スライド方向と逆方向側に位置している画面をスワイプ先画面として、上記スワイプ先画面のビットマップデータを第２の表示バッファに格納する
   ことを特徴とする請求項１から請求項５のうちのいずれか１項記載のユーザインタフェース装置。
7. ビットマップデータ格納手段は、スワイプ操作のスライド方向が反転して、上記スワイプ操作が開始された位置に戻ると、スワイプ元画面に隣接している画面のうち、上記スライド方向側に位置している画面をスワイプ先画面として、上記スワイプ先画面のビットマップデータを第２の表示バッファに格納する
   ことを特徴とする請求項１から請求項５のうちのいずれか１項記載のユーザインタフェース装置。
8. 位置特定手段が、表示装置のタッチパネルに対するユーザの接触を検知して、ユーザが接触しているタッチパネル上の位置を特定する位置特定処理ステップと、
   スワイプ操作実行検出手段が、上記位置特定処理ステップで特定された位置が所定の方向に連続して遷移している場合、画面に触れた状態で指を滑らせる操作であるスワイプ操作の実行を検出するスワイプ操作実行検出処理ステップと、
   ビットマップデータ格納手段が、上記スワイプ操作実行検出処理ステップでスワイプ操作の実行が検出されると、上記スワイプ操作が実行される直前に上記表示装置に表示されていた画面をスワイプ元画面として、上記スワイプ元画面のビットマップデータを第１の表示バッファに格納するとともに、上記スワイプ元画面に隣接している画面のうち、上記方向と逆方向側に位置している画面をスワイプ先画面として、上記スワイプ先画面のビットマップデータを第２の表示バッファに格納するビットマップデータ格納処理ステップと、
   画面表示手段が、上記スワイプ操作実行検出処理ステップでスワイプ操作の実行が検出されている間、上記第１の表示バッファに格納されているスワイプ元画面のビットマップデータの一部と、上記第２の表示バッファに格納されているスワイプ先画面のビットマップデータの一部とをビデオメモリに転送するビットブリット処理を実行することで、スワイプ操作中の画面を上記表示装置に表示する画面表示処理ステップと
   を備えたユーザインタフェース方法。

Images