JP2004152217A - タッチパネル付き表示装置 - Google Patents
タッチパネル付き表示装置 Download PDFInfo
- Publication number
- JP2004152217A JP2004152217A JP2002319574A JP2002319574A JP2004152217A JP 2004152217 A JP2004152217 A JP 2004152217A JP 2002319574 A JP2002319574 A JP 2002319574A JP 2002319574 A JP2002319574 A JP 2002319574A JP 2004152217 A JP2004152217 A JP 2004152217A
- Authority
- JP
- Japan
- Prior art keywords
- touch panel
- touch
- input
- displayed
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】タッチパネル付き表示装置において、表示の高密度化に対応して座標入力に関わる操作性を向上する。
【解決手段】ＬＣＤ４上に重ねられた透明なタッチパネル８がオペレータの指などでタッチされると、タッチ位置の座標がタッチパネルコントローラ７により検出される。タッチされている間、タッチ位置の座標の検出結果に応じて、ＣＰＵ１の制御により、ＬＣＤ４の表示画面上でタッチ位置の近傍領域の画像が拡大されてその領域と別の位置に拡大ウィンドウとしてリアルタイムで更新して表示される。この状態でマイク６から例えば「クリック」などの所定の音声入力がなされ、それが音声認識装置５で認識されると、ＣＰＵ１はそのときに検出されたタッチ位置の座標を領域指定のための指定位置の座標として入力する。
【選択図】 図１
【解決手段】ＬＣＤ４上に重ねられた透明なタッチパネル８がオペレータの指などでタッチされると、タッチ位置の座標がタッチパネルコントローラ７により検出される。タッチされている間、タッチ位置の座標の検出結果に応じて、ＣＰＵ１の制御により、ＬＣＤ４の表示画面上でタッチ位置の近傍領域の画像が拡大されてその領域と別の位置に拡大ウィンドウとしてリアルタイムで更新して表示される。この状態でマイク６から例えば「クリック」などの所定の音声入力がなされ、それが音声認識装置５で認識されると、ＣＰＵ１はそのときに検出されたタッチ位置の座標を領域指定のための指定位置の座標として入力する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、このタッチパネル上でタッチされたタッチ位置の座標を検出して入力するタッチパネル付き表示装置に関するものである。
【０００２】
【従来の技術】
従来から、透明なタッチパネルを液晶ディスプレイなどの表示器の表示画面上に重ねたタッチパネル付き表示装置が存在している。このような装置では、表示器の表示画面上に例えばボタンを表示し、オペレータがこのボタンをタッチパネル越しに押すようにタッチパネルにタッチすると、タッチ位置の座標が検出されて入力され、それがボタンの表示位置の座標と合致した場合、ボタンが押された場合の入力処理を行うことで、あたかも実在のボタンが押下されたかのように振る舞うことができる。
【０００３】
このようなタッチパネル付き表示装置でオペレータに一度に伝える情報量を多くするためには、多くの表示内容を表示画面上に同時に表示する必要があるが、それに伴って表示される画像情報の密度が高くなるため、操作の為のタッチ位置の検出分解能を高くし、タッチ位置の検出単位面積を狭くしなければならない。その結果、オペレータによるタッチ操作が難しくなり、タッチミスが起こりやすくなるという弊害が生じていた。
【０００４】
そこで、例えば特許文献１のように、タッチパネルをタッチすると表示画面上でタッチ位置の近傍領域の画像を拡大した拡大ウィンドウを表示し、改めて拡大ウィンドウ内で所望の位置をタッチすることによりタッチ位置の座標を検出するようにした構成が提案されている。
【０００５】
【特許文献１】
特開平３−１４１２１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１のような構成では、一旦タッチパネルにタッチした後、更に拡大ウィンドウ内で目的の位置にタッチしなければならず、二度手間がかかるという問題があった。
【０００７】
更に、拡大ウィンドウの中に所望の画像情報が入っていなかった場合、拡大ウィンドウを閉じて再度所望の情報が入っている付近をタッチしなければならないという問題もあった。
【０００８】
例えば、表示画面上に表示される画像情報が予め決められているボタンなどの場合は問題ないが、文章などの不定形の情報が表示されており、その中の一部分をオペレータが任意に選択して指定する入力をタッチパネルで行うような場合、前記一部分の末尾部分が拡大ウィンドウの中に入っていない場合が多くあり、このような運用ではオペレータにとって使いやすいユーザインタフェースとは言えなかった。
【０００９】
そこで本発明の課題は、この種のタッチパネル付き表示装置において、上記のような問題を解決し、表示の高密度化に対応して座標入力に関わる操作性を向上することにある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明によれば、
画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を座標検出手段により検出して入力するタッチパネル付き表示装置において、
前記タッチパネルと別に設けられ、操作者がタッチ位置の座標入力のトリガーとなる入力を行うための入力手段と、
前記タッチパネルがタッチされている間、前記座標検出手段の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するように前記表示手段を制御する表示制御手段を有し、
前記タッチパネルへのタッチにより前記ウィンドウが表示されている状態で、前記入力手段から前記トリガーの入力があったとき、そのときに前記座標検出手段により検出されたタッチ位置の座標を入力するようにした構成を採用した。
【００１１】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を説明する。ここではタッチパネル付き表示装置を備えた携帯型電子機器における実施形態を示す。
【００１２】
図１は、本発明の一実施形態の携帯型電子機器の構成を示すブロック図である。
【００１３】
図１の構成において、ＣＰＵ１は、ＲＯＭとＲＡＭからなるメモリ２中のＲＯＭ部に格納された制御プログラムに従い、ＲＡＭ部をワーク領域に用いて、携帯型電子機器の全体を制御する。なお、メモリ２のプログラムによるＯＳ（オペレーティングシステム）は、各種デバイスからの信号をメッセージとして処理するイベントドリブン型であり、後述する本発明の特徴事項に関る拡大ウィンドウモードでの機能は、ＯＳ上のドライバやグラフィックウィンドウシステム等のソフトウェアの制御プログラムにより実現される。
【００１４】
ＬＣＤ（液晶ディスプレイ）コントローラ３は、ＣＰＵ１からの指示に従い、ＬＣＤ４上に文字、イメージ、キャレット（Ｉ字形カーソル）、ウィンドウなどの描画／消去を行う。更に、後述の拡大ウィンドウ１１の描画も行う。
【００１５】
ＬＣＤ４は、半透過型のものであり、周囲が明るい環境では外光の反射により表示内容を視認することができ、夜間など暗い環境では、ＬＣＤ４の背面側に配置されたバックライト９の照明により表示内容を視認することができる。バックライト９はＣＰＵ１の制御により点灯／消灯する。
【００１６】
音声認識装置５は、ＣＰＵ１からの指示によって音声認識処理を開始／終了することができ、マイク６からの音声信号を解析し、オペレータが発音した音声の言葉の内容を認識し、結果をＣＰＵ１に伝える。
【００１７】
マイク６は、携帯型電子機器の上面に設けられ、オペレータが発声する音声を電気信号（音声信号）に変換する。
【００１８】
タッチパネルコントローラ７は、オペレータがタッチパネル８の上面に指などでタッチしたときにタッチ位置の座標を検出し、その座標情報をＣＰＵ１に伝える。タッチ位置の座標検出は、タッチパネル８をタッチした瞬間だけでなく、タッチしている間、連続的に行われ、例えばオペレータがタッチパネル８にタッチした指をタッチしたまま移動した場合には、順次変化するタッチ位置の座標情報が連続的に送られる。
【００１９】
タッチパネル８は、透明な素材で構成されており、ＬＣＤ４の表示画面上に密接して配置され、厚さも薄いことで、タッチパネル８上に見えるＬＣＤ４の表示画面上の画像の見かけ上の位置と、ＬＣＤ４の表示画面上の実際の画像の位置とが殆どずれなく一致するように設計されている。その為、オペレータはＬＣＤ４の表示画面上のボタンや文字などを特定して操作ないし指示する際には、タッチパネル８越しにそれらが見える位置をタッチするだけでよい。なお、以下では、上記の画像の見かけ上の位置と実際の位置はずれなく一致するものとして説明する。
【００２０】
プリンタ２１は、ＣＰＵ１の制御により、携帯型電子機器が処理したデータなどの印刷を行う。
【００２１】
インターフェース２２は、携帯型電子機器が接続される不図示のホストコンピュータとデータの送受信を行うばかりでなく、周辺機器を接続する際の入出力ポートとしての機能を持つ。
【００２２】
次に、図２は、本実施形態の携帯型電子機器の外観を示している。
【００２３】
タッチパネル８とＬＣＤ４（及びバックライト９）を重ねたものが携帯型電子機器の上面に配置されており、これはオペレータにとっては一体で一つのデバイスとして認識される。また、マイク６もオペレータの声を効率良く取り込む為に携帯型電子機器の上面に配置され、電源スイッチ２３なども上面に配置される。また、携帯型電子機器の奥側の端部にはプリンタ２１、手前側の端部にはインターフェース２２が配置される。
【００２４】
次に、以上の携帯型電子機器の構成における本発明の特徴に関わる入出力動作について以下に説明する。
【００２５】
本実施形態の携帯型電子機器では、タッチパネル８による座標入力とＬＣＤ４による表示出力の入出力モードの１つとして、拡大ウィンドウモードを所定のスイッチなどの入力により選択して実行できるものとする。
【００２６】
拡大ウィンドウモードでは、図４に示すようにオペレータが指１０でタッチパネル８上の所望の位置をタッチすると、タッチ位置の座標が検出され、それに基づいて、ＬＣＤ４の表示画面上でタッチ位置から少し離れた位置に、タッチ位置の近傍領域（タッチ位置を含む）の画像が拡大されて拡大ウィンドウ１１として表示される。この拡大ウィンドウ１１は指１０がタッチパネル８をタッチしている間連続して表示され、指１０を移動させると、そのタッチ位置の移動に応じてウィンドウ１１内でタッチ位置の近傍領域の画像がリアルタイムで更新して表示される。すなわち、指１０がタッチパネル８をタッチしている間、タッチ位置の検出が連続的に行われ、その検出結果に基づいて拡大ウィンドウ１１の画像がリアルタイムで更新される。
【００２７】
さらに、このようにタッチにより拡大ウィンドウ１１が表示された状態で、オペレータが所定の単語の音声、例えば「クリック」という音声をマイク６で入力すると、これをトリガーとして、その時の指１０でのタッチ位置の座標が入力される（携帯型電子機器上のＯＳに渡され、メモリ２のＲＡＭ部に記憶される）。
【００２８】
すなわち、拡大ウィンドウモードでは、タッチパネル８をタッチしただけでは、タッチ位置の座標は検出されるものの、その座標は入力されず、タッチした上で「クリック」の音声入力をしたときに、初めてその時に検出されたタッチ位置の座標が入力される。
【００２９】
このような、拡大ウィンドウモードでの入出力動作の一例の詳細を図３〜図６により以下に説明する。
【００３０】
図３は、オペレータが指１０でタッチパネル８をタッチする直前の状態を示している。現在、ＬＣＤ４の表示画面上に文章が表示されており、オペレータはこの文章中の特定部分の領域（ここでは「ボタン」の部分の領域）を選択して指定するために、タッチパネル８で指定したい領域の行方向の先頭位置と末尾位置を指定する座標入力を行おうとしている。そこで、指１０を使って、まず先頭位置をタッチして指定しようとしているのが、この図３の状態である。
【００３１】
図３から明らかなように、この時点で既に指１０によって、オペレータが指定しようとする位置の付近が見えなくなっている。ここでＬＣＤ４に表示されている画像の密度が低ければ、たとえ指１０で隠れたとしてもある程度オペレータには指定したい位置を推測することはできるが、図３のように表示されている画像（文字）の密度が高い場合、指定したい位置を正確に把握することは困難である。
【００３２】
このため、本実施形態では、図４に示すように、オペレータが指１０でタッチパネル８をタッチするとＬＣＤ４の表示画面上に拡大ウィンドウ１１を表示する。
【００３３】
すなわち、指１０がタッチパネル８をタッチすると、タッチパネルコントローラ７がタッチ自体とタッチ位置の座標を検出し、その情報をＣＰＵ１に通知する。ＣＰＵ１はＬＣＤコントローラ３を使ってＬＣＤ４の表示画面上でタッチ位置から図中上側に少し離れた位置に拡大ウィンドウ１１を開き、タッチ位置の近傍の領域（ここでは行方向に連続する５文字の領域）の画像を拡大ウィンドウ１１内に拡大描画する。更に、本来ＬＣＤ４上でタッチされた位置を示すためのキャレット１２も同様に拡大ウィンドウ１１の中でタッチ位置に対応する位置に描画する。
【００３４】
これにより、図３で問題とされていた指１０によって隠されたＬＣＤ４上の領域の画像を視認することができ、指１０による現在の指示位置をキャレット１２の位置により確認することができる。この状態でオペレータはキャレット１２が自分の指定しようとする領域の先頭位置を正しく指示している場合は、マイク６に対して「クリック」と発声することで、それをトリガーとして、その時のタッチ位置の座標が指定したい領域の先頭位置の座標として入力される。
【００３５】
一方、キャレット１２により示されるタッチ位置が自分の指定しようとする領域の先頭位置とずれている場合、オペレータはタッチパネル８にタッチした指１０をタッチしたまま上下左右に動かすことにより、タッチ位置の移動に応じて拡大ウィンドウ１１のキャレット１２を含むタッチ位置近傍領域の画像がリアルタイムで更新されて表示される。その画像によりオペレータはタッチ位置を確認でき、所望の位置を指示することができ、目的の位置にキャレット１２が来た時に「クリック」と発声することで、その時のタッチ位置の座標が指定したい領域の先頭位置の座標として入力され、先頭位置が指定される。
【００３６】
次に、オペレータが指定したい領域の末尾位置を指定するために、指１０をタッチパネル８にタッチしたまま図５に矢印で示すように例えば右方向に移動させると、またタッチ位置の移動に応じて拡大ウィンドウ１１のキャレット１２を含むタッチ位置近傍領域の画像がリアルタイムで更新されて表示され、その表示によりオペレータは所望の末尾位置を選ぶことができる。また、この際に、図５中に符号１４で示すように、ＬＣＤ４上で上記座標入力で指定された先頭位置から現在のタッチ位置までの領域が現在選択されている選択領域として、その画像が白黒を反転して表示され、拡大ウィンドウ１１中でも、符号１３で示すように選択領域１４の画像が反転かつ拡大して表示される。これによりオペレータは現在の選択領域１４を確認しながら所望の末尾位置を選択できる。
【００３７】
そして、指１０を所望の末尾位置まで移動させてマイク６に向かって「クリック」と発声することで、それをトリガーとして、その時のタッチ位置の座標が指定したい領域の末尾位置の座標として入力され、末尾位置が指定される。すなわち、そのときの選択領域１４が目的の選択領域として指定される。
【００３８】
このように末尾位置が指定されて選択領域の指定が終了したら、ＣＰＵ１はＬＣＤコントローラ３に対し、拡大ウィンドウ１１を消去するよう指示し、図６のようにＬＣＤ４上では選択領域１４のみが反転表示されることになる。
【００３９】
次に、上述した拡大ウィンドウモードでの入出力動作を行うためのＣＰＵ１の制御動作を図７〜図９のフローチャートにより説明する。この制御動作は、メモリ２のＲＯＭ部に格納されるＣＰＵ１の制御プログラムに従って以下のように行われる。なお、図７〜図９中で「タッチ位置の座標」を「タッチ座標」と略記してある。また、図７〜図９中で符号Ａの部分どうしの間、及び符号Ｂの部分どうしの間でフローが連続しているものとする。
【００４０】
拡大ウィンドウモードが選択されている状態において、タッチパネル８へのタッチをタッチパネルコントローラ７が検出し、ＣＰＵ１へその旨を伝えると、図７のステップＳ１０で処理が開始される。
【００４１】
まず、ステップＳ１１で、タッチパネルコントローラ７からこれが検出したタッチ位置の座標を取得した後、ステップＳ１２で前記座標に基づいてＬＣＤ４の表示画面上でタッチ位置より少し上側の位置に拡大ウィンドウ１１を表示するようにＬＣＤコントローラ３に指示する。
【００４２】
その後、ステップＳ１３で拡大ウィンドウ１１内に、タッチ位置の近傍領域に描画されている文字などの画像を拡大描画させる。なお、拡大ウィンドウ１１内でタッチ位置に対応する位置にキャレット１２の画像を描画させる。この状態で、オペレータは指１０で隠されてしまったタッチ位置の近傍部分の画像を拡大ウィンドウ１１で視認することができる。
【００４３】
次に、ステップＳ１４で音声認識装置５の駆動を開始し、オペレータが選択して指定したい領域の先頭位置の座標入力のトリガーとなる音声入力を受け付ける用意をする。
【００４４】
次に、ステップＳ１５において、タッチパネルコントローラ７にタッチパネル８上のタッチ位置の座標検出を連続的に行うように指示する。更に、連続的に検出されるタッチ位置の座標に応じて拡大ウィンドウ１１内に表示されているタッチ位置の近傍領域の画像とタッチ位置を示すキャレット１２の画像をリアルタイムで更新して描画するようにＬＣＤコントローラ３に指示する。これにより、以降オペレータが指１０をタッチパネル８上で滑らせると、拡大ウィンドウ１１に表示されるタッチ位置の近傍領域の画像とキャレット１２の画像がリアルタイムで変化して拡大表示されるので、オペレータにとって細かい箇所を正確に指示することが容易になる。
【００４５】
次に、ステップＳ１６で、音声認識装置５により認識されるマイク６からの音声入力の認識結果をチェックし、ステップＳ１７でその認識結果が「クリック」という単語かどうかを調べる。なお、ここで「クリック」を例えば「タッチ」など他の単語に置き換えてもよいことは勿論である。また、ここでは、ステップＳ１５の次にステップＳ１６が来ているが、実際の製品ではイベントドリブンで処理が行われる為、先にステップＳ１６が実行される場合もあり、その順番はどちらでもよい。
【００４６】
ステップＳ１７で、音声認識結果が「クリック」でなかった場合、ステップＳ１５へ戻り、ステップＳ１５〜Ｓ１７の処理を繰り返す。また、音声認識結果が「クリック」であった場合はステップＳ１８へ進む。
【００４７】
ステップＳ１８では、ＣＰＵ１は、上記「クリック」の指示に応じて、携帯型電子機器上のＯＳに対して、タッチパネル８がタッチされたことを報知するタッチメッセージ（１）を発行する。このメッセージを受け取ったＯＳは、このとき初めてタッチパネル８がタッチされたと見なし、図８のステップＳ２０において、タッチに応じた処理として、そのときにタッチパネルコントローラ７により検出されている現在のタッチ位置の座標（１）の情報を取得し、これを先述した選択領域の先頭位置の座標の情報としてメモリ２のＲＡＭ部に記憶する。
【００４８】
次に、ステップＳ２１において、ＣＰＵ１は、ＬＣＤ４の表示画面上で上記座標（１）の位置から現在のタッチ位置までの領域の画像を反転して表示するようにＬＣＤコントローラ３に指示する。これにより、オペレータの指１０がタッチパネル８上で座標（１）の位置から移動するのに対応して、座標（１）の位置から現在のタッチ位置までの領域の画像がリアルタイムで更新されつつ反転表示される。
【００４９】
続いて、ステップＳ２２において、拡大ウィンドウ１１内で座標（１）の位置に対応する位置から現在のタッチ位置に対応する位置までの領域の画像を反転して表示するようにＬＣＤコントローラ３に指示する。これにより、ステップＳ２１と同様に、オペレータの指１０がタッチパネル８上で座標（１）の位置から移動するのに対応して、拡大ウィンドウ１１内で座標（１）に対応する位置から現在のタッチ位置に対応する位置までの領域の画像がリアルタイムで更新されつつ反転表示される。
【００５０】
オペレータは、この表示を見て、選択して指定したい領域の末尾位置を精確に選択することができる。
【００５１】
次に、ステップＳ２３で、ステップＳ１６と同様に、音声認識装置５により認識されるマイク６からの音声入力の認識結果をチェックし、ステップＳ２４で、ステップＳ１７と同様に、音声認識結果が「クリック」という単語かどうかを調べる。
【００５２】
「クリック」ではなかった場合、ステップＳ２１へ戻り、ステップＳ２１〜Ｓ２４の処理を繰り返す。
【００５３】
「クリック」であった場合、ステップＳ２５に進み、ＣＰＵ１は、携帯型電子機器上のＯＳに対して、再びタッチパネル８がタッチされたことを報知するタッチメッセージ（２）を発行する。
【００５４】
このメッセージを受け取ったＯＳは、このときまたタッチパネル８がタッチされたと見なし、ステップＳ２６において、タッチに応じた処理として、そのときにタッチパネルコントローラ７により検出されている現在のタッチ位置の座標（２）の情報を取得し、これを先述した選択領域の末尾位置の座標の情報としてメモリ２のＲＡＭ部に記憶する。
【００５５】
続いてステップＳ２７において、ＬＣＤ４の表示画面上で座標（１）の位置から座標（２）の位置までの領域がオペレータから指定された領域であるとして、その反転表示を確定する。
【００５６】
次に、図９のステップＳ３０において、音声認識装置５の動作を停止させた後、ステップＳ３１で拡大ウィンドウ１１を消去し、それまで拡大ウィンドウ１１で隠されていた部分の画像を元通りに表示するようにＬＣＤコントローラ３に指示する。
【００５７】
次に、ステップＳ３２において、それまでタッチ位置の座標の連続検出状態であったタッチパネルコントローラ７の連続検出状態を終了させ、以降は通常通りにタッチされた瞬間に座標を検出する検出状態にさせる。そしてステップＳ３３ですべての処理を終了する。
【００５８】
なお、ここではステップＳ２１、ステップＳ２２に続いてステップＳ２３が来ているが、実際の製品ではイベントドリブンで処理が行われる為、ステップＳ２１より先にステップＳ２３が実行される場合もある。しかし、この順番の違いは問題ない。
【００５９】
以上のような実施形態によれば、拡大ウィンドウモードにすれば、タッチパネル８にタッチすると、ＬＣＤ４上でタッチ位置の近傍領域の画像がその領域と別の位置に拡大ウィンドウ１１として拡大表示されるので、オペレータは自らの指１０で隠れるタッチ位置の近傍領域の文字の画像を視認して現在のタッチ位置を正確に認識でき、ＬＣＤ４の表示画面上に表示される文章の画像の密度が高くても、文章中の所望の領域の部分を選択して指定するための前記領域の先頭位置と末尾位置の座標入力を正確に行うことができる。また、その座標入力は、タッチパネル８にタッチした指１０を所望の位置に移動させて「クリック」と発声すれば、それをトリガーとして行われるので、従来例の特許文献１のように、１点の座標入力のために２度タッチする必要がなく、座標入力を簡単に行うことができる。
【００６０】
また拡大ウィンドウ１１に表示されるタッチ位置の近傍領域の画像は、タッチ位置の座標の検出結果に応じて、リアルタイムで更新されるので、タッチしたままタッチ位置を移動させれば、拡大ウィンドウ１１に表示される領域の位置を移動させることができる。従って、従来例の特許文献１のように、拡大ウィンドウの画像中に所望の情報が入っていなかった場合に拡大ウィンドウを閉じて前記所望の情報の位置の付近をタッチしたりする必要がなく、この点でもさらに操作を簡単にすることができる。
【００６１】
以上では、ＬＣＤ４の表示画面上でタッチ位置の近傍領域の画像をその領域と別の位置に拡大して拡大ウィンドウ１１として表示するものとしたが、前記画像を拡大せずに密度だけ小さくする、すなわち上記のように画像が文字列の場合、文字の間隔だけ大きくするようにしてウィンドウとして表示するようにしてもよい。
【００６２】
また、以上ではＬＣＤ４上に表示された文章中の所望の領域の先頭位置と末尾位置を指定して前記領域を指定するために、拡大ウィンドウが表示されている間（タッチパネル８が連続してタッチされている間）に座標入力のトリガーとなる「クリック」の音声入力が２回だけ有効になるものとした。つまり、２回の「クリック」の音声入力により２回の座標入力が済んだら、拡大ウィンドウ１１を消去して、またタッチをし直して拡大ウィンドウ１１を表示させない限り、「クリック」の音声入力が無効になるようにした。しかし、これに限らず、拡大ウィンドウ１１が１度連続して表示されている間に、１箇所の位置だけの座標入力を行う場合は、「クリック」の音声入力を１回だけ有効になるようにしてもよいし、３箇所以上の位置の座標入力を行う場合は３回以上有効になるようにしてもよい。また、１度に何回有効になるかのモードをスイッチの入力などにより選択できるようにしてもよい。
【００６３】
以上、本発明の実施形態を説明したが、本発明の趣旨と範囲は実施形態で説明したものに限定されないことは勿論である。本発明の実施態様の例を以下に列挙する。
【００６４】
［実施態様１］ 画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を座標検出手段により検出して入力するタッチパネル付き表示装置において、
前記タッチパネルと別に設けられ、操作者がタッチ位置の座標入力のトリガーとなる入力を行うための入力手段と、
前記タッチパネルがタッチされている間、前記座標検出手段の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するように前記表示手段を制御する表示制御手段を有し、
前記タッチパネルへのタッチにより前記ウィンドウが表示されている状態で、前記入力手段から前記トリガーの入力があったとき、そのときに前記座標検出手段により検出されたタッチ位置の座標を入力するようにしたことを特徴とするタッチパネル付き表示装置。
【００６５】
［実施態様２］ 前記表示制御手段は、前記表示画面上で前記タッチ位置の近傍領域の画像を拡大してウィンドウとして表示するように前記表示手段を制御することを特徴とする実施態様１に記載のタッチパネル付き表示装置。
【００６６】
［実施態様３］ 前記入力手段による前記トリガーの入力は、前記ウィンドウが表示されている間に所定回数だけ有効になることを特徴とする実施態様１に記載のタッチパネル付き表示装置。
【００６７】
［実施態様４］ 前記入力手段による前記トリガーの入力が前記所定回数あって前記タッチ位置の座標入力が前記所定回数行われたときに前記ウィンドウが消去されることを特徴とする実施態様３に記載のタッチパネル付き表示装置。
【００６８】
［実施態様５］ 前記入力手段は、操作者が発声する音声を電気信号に変換するマイクと、前記電気信号を解析して前記音声の内容を認識する音声認識装置からなることを特徴とする実施態様１に記載のタッチパネル付き表示装置。
【００６９】
［実施態様６］ 画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を検出して入力するタッチパネル付き表示装置の制御方法であって、
前記タッチパネルがタッチされている間、タッチ位置の座標の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するようにし、
さらに、前記タッチパネルへのタッチにより前記ウィンドウが表示された状態で、前記タッチパネル以外の入力手段から座標入力のトリガーとなる入力があったとき、そのときに検出されたタッチ位置の座標を入力するように制御することを特徴とするタッチパネル付き表示装置の制御方法。
【００７０】
［実施態様７］ 画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を検出して入力するタッチパネル付き表示装置の制御プログラムであって、
前記タッチパネルがタッチされている間、タッチ位置の座標の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するようにし、
さらに、前記タッチパネルへのタッチにより前記ウィンドウが表示された状態で、前記タッチパネル以外の入力手段から座標入力のトリガーとなる入力があったとき、そのときに検出されたタッチ位置の座標を入力するように制御するための制御手順を含むことを特徴とするタッチパネル付き表示装置の制御プログラム。
【００７１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を座標検出手段により検出して入力するタッチパネル付き表示装置において、表示手段の表示画面上に表示される文字などの画像情報の密度が高くても、タッチパネル上で表示された画像情報の所望の部分を選択して指定するための座標入力を簡単な操作で正確に行うことができ、表示の高密度化に対応して座標入力に関わる操作性を向上することができるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態の携帯型電子機器の構成を示すブロック図である。
【図２】同携帯型電子機器の外観を示す斜視図である。
【図３】拡大ウィンドウモードでの領域指定動作でタッチ直前の状態を示す説明図である。
【図４】同じく領域指定動作でタッチにより拡大ウィンドウが表示された状態を示す説明図である。
【図５】同じく領域指定動作で領域の先頭位置を指定する座標入力の後に指を移動させている状態を示す説明図である。
【図６】同じく領域指定動作で領域の末尾位置の座標入力が終了して領域が確定された状態を示す説明図である。
【図７】拡大ウィンドウモードでの入出力動作の制御手順を示すフローチャート図である。
【図８】同じく拡大ウィンドウモードでの入出力動作の制御手順を示すフローチャート図である。
【図９】同じく拡大ウィンドウモードでの入出力動作の制御手順を示すフローチャート図である。
【符号の説明】
１ ＣＰＵ
２ メモリ
３ ＬＣＤコントローラ
４ ＬＣＤ
５ 音声認識装置
６ マイク
７ タッチパネルコントローラ
８ タッチパネル
９ バックライト
１０ オペレータの指
１１ 拡大ウィンドウ
１２ キャレット
１３ 拡大ウィンドウ内で反転表示された選択領域
１４ 通常画面内で反転表示された選択領域
２１ プリンタ
２２ インターフェース
２３ 電源スイッチ
【発明の属する技術分野】
本発明は、画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、このタッチパネル上でタッチされたタッチ位置の座標を検出して入力するタッチパネル付き表示装置に関するものである。
【０００２】
【従来の技術】
従来から、透明なタッチパネルを液晶ディスプレイなどの表示器の表示画面上に重ねたタッチパネル付き表示装置が存在している。このような装置では、表示器の表示画面上に例えばボタンを表示し、オペレータがこのボタンをタッチパネル越しに押すようにタッチパネルにタッチすると、タッチ位置の座標が検出されて入力され、それがボタンの表示位置の座標と合致した場合、ボタンが押された場合の入力処理を行うことで、あたかも実在のボタンが押下されたかのように振る舞うことができる。
【０００３】
このようなタッチパネル付き表示装置でオペレータに一度に伝える情報量を多くするためには、多くの表示内容を表示画面上に同時に表示する必要があるが、それに伴って表示される画像情報の密度が高くなるため、操作の為のタッチ位置の検出分解能を高くし、タッチ位置の検出単位面積を狭くしなければならない。その結果、オペレータによるタッチ操作が難しくなり、タッチミスが起こりやすくなるという弊害が生じていた。
【０００４】
そこで、例えば特許文献１のように、タッチパネルをタッチすると表示画面上でタッチ位置の近傍領域の画像を拡大した拡大ウィンドウを表示し、改めて拡大ウィンドウ内で所望の位置をタッチすることによりタッチ位置の座標を検出するようにした構成が提案されている。
【０００５】
【特許文献１】
特開平３−１４１２１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１のような構成では、一旦タッチパネルにタッチした後、更に拡大ウィンドウ内で目的の位置にタッチしなければならず、二度手間がかかるという問題があった。
【０００７】
更に、拡大ウィンドウの中に所望の画像情報が入っていなかった場合、拡大ウィンドウを閉じて再度所望の情報が入っている付近をタッチしなければならないという問題もあった。
【０００８】
例えば、表示画面上に表示される画像情報が予め決められているボタンなどの場合は問題ないが、文章などの不定形の情報が表示されており、その中の一部分をオペレータが任意に選択して指定する入力をタッチパネルで行うような場合、前記一部分の末尾部分が拡大ウィンドウの中に入っていない場合が多くあり、このような運用ではオペレータにとって使いやすいユーザインタフェースとは言えなかった。
【０００９】
そこで本発明の課題は、この種のタッチパネル付き表示装置において、上記のような問題を解決し、表示の高密度化に対応して座標入力に関わる操作性を向上することにある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明によれば、
画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を座標検出手段により検出して入力するタッチパネル付き表示装置において、
前記タッチパネルと別に設けられ、操作者がタッチ位置の座標入力のトリガーとなる入力を行うための入力手段と、
前記タッチパネルがタッチされている間、前記座標検出手段の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するように前記表示手段を制御する表示制御手段を有し、
前記タッチパネルへのタッチにより前記ウィンドウが表示されている状態で、前記入力手段から前記トリガーの入力があったとき、そのときに前記座標検出手段により検出されたタッチ位置の座標を入力するようにした構成を採用した。
【００１１】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を説明する。ここではタッチパネル付き表示装置を備えた携帯型電子機器における実施形態を示す。
【００１２】
図１は、本発明の一実施形態の携帯型電子機器の構成を示すブロック図である。
【００１３】
図１の構成において、ＣＰＵ１は、ＲＯＭとＲＡＭからなるメモリ２中のＲＯＭ部に格納された制御プログラムに従い、ＲＡＭ部をワーク領域に用いて、携帯型電子機器の全体を制御する。なお、メモリ２のプログラムによるＯＳ（オペレーティングシステム）は、各種デバイスからの信号をメッセージとして処理するイベントドリブン型であり、後述する本発明の特徴事項に関る拡大ウィンドウモードでの機能は、ＯＳ上のドライバやグラフィックウィンドウシステム等のソフトウェアの制御プログラムにより実現される。
【００１４】
ＬＣＤ（液晶ディスプレイ）コントローラ３は、ＣＰＵ１からの指示に従い、ＬＣＤ４上に文字、イメージ、キャレット（Ｉ字形カーソル）、ウィンドウなどの描画／消去を行う。更に、後述の拡大ウィンドウ１１の描画も行う。
【００１５】
ＬＣＤ４は、半透過型のものであり、周囲が明るい環境では外光の反射により表示内容を視認することができ、夜間など暗い環境では、ＬＣＤ４の背面側に配置されたバックライト９の照明により表示内容を視認することができる。バックライト９はＣＰＵ１の制御により点灯／消灯する。
【００１６】
音声認識装置５は、ＣＰＵ１からの指示によって音声認識処理を開始／終了することができ、マイク６からの音声信号を解析し、オペレータが発音した音声の言葉の内容を認識し、結果をＣＰＵ１に伝える。
【００１７】
マイク６は、携帯型電子機器の上面に設けられ、オペレータが発声する音声を電気信号（音声信号）に変換する。
【００１８】
タッチパネルコントローラ７は、オペレータがタッチパネル８の上面に指などでタッチしたときにタッチ位置の座標を検出し、その座標情報をＣＰＵ１に伝える。タッチ位置の座標検出は、タッチパネル８をタッチした瞬間だけでなく、タッチしている間、連続的に行われ、例えばオペレータがタッチパネル８にタッチした指をタッチしたまま移動した場合には、順次変化するタッチ位置の座標情報が連続的に送られる。
【００１９】
タッチパネル８は、透明な素材で構成されており、ＬＣＤ４の表示画面上に密接して配置され、厚さも薄いことで、タッチパネル８上に見えるＬＣＤ４の表示画面上の画像の見かけ上の位置と、ＬＣＤ４の表示画面上の実際の画像の位置とが殆どずれなく一致するように設計されている。その為、オペレータはＬＣＤ４の表示画面上のボタンや文字などを特定して操作ないし指示する際には、タッチパネル８越しにそれらが見える位置をタッチするだけでよい。なお、以下では、上記の画像の見かけ上の位置と実際の位置はずれなく一致するものとして説明する。
【００２０】
プリンタ２１は、ＣＰＵ１の制御により、携帯型電子機器が処理したデータなどの印刷を行う。
【００２１】
インターフェース２２は、携帯型電子機器が接続される不図示のホストコンピュータとデータの送受信を行うばかりでなく、周辺機器を接続する際の入出力ポートとしての機能を持つ。
【００２２】
次に、図２は、本実施形態の携帯型電子機器の外観を示している。
【００２３】
タッチパネル８とＬＣＤ４（及びバックライト９）を重ねたものが携帯型電子機器の上面に配置されており、これはオペレータにとっては一体で一つのデバイスとして認識される。また、マイク６もオペレータの声を効率良く取り込む為に携帯型電子機器の上面に配置され、電源スイッチ２３なども上面に配置される。また、携帯型電子機器の奥側の端部にはプリンタ２１、手前側の端部にはインターフェース２２が配置される。
【００２４】
次に、以上の携帯型電子機器の構成における本発明の特徴に関わる入出力動作について以下に説明する。
【００２５】
本実施形態の携帯型電子機器では、タッチパネル８による座標入力とＬＣＤ４による表示出力の入出力モードの１つとして、拡大ウィンドウモードを所定のスイッチなどの入力により選択して実行できるものとする。
【００２６】
拡大ウィンドウモードでは、図４に示すようにオペレータが指１０でタッチパネル８上の所望の位置をタッチすると、タッチ位置の座標が検出され、それに基づいて、ＬＣＤ４の表示画面上でタッチ位置から少し離れた位置に、タッチ位置の近傍領域（タッチ位置を含む）の画像が拡大されて拡大ウィンドウ１１として表示される。この拡大ウィンドウ１１は指１０がタッチパネル８をタッチしている間連続して表示され、指１０を移動させると、そのタッチ位置の移動に応じてウィンドウ１１内でタッチ位置の近傍領域の画像がリアルタイムで更新して表示される。すなわち、指１０がタッチパネル８をタッチしている間、タッチ位置の検出が連続的に行われ、その検出結果に基づいて拡大ウィンドウ１１の画像がリアルタイムで更新される。
【００２７】
さらに、このようにタッチにより拡大ウィンドウ１１が表示された状態で、オペレータが所定の単語の音声、例えば「クリック」という音声をマイク６で入力すると、これをトリガーとして、その時の指１０でのタッチ位置の座標が入力される（携帯型電子機器上のＯＳに渡され、メモリ２のＲＡＭ部に記憶される）。
【００２８】
すなわち、拡大ウィンドウモードでは、タッチパネル８をタッチしただけでは、タッチ位置の座標は検出されるものの、その座標は入力されず、タッチした上で「クリック」の音声入力をしたときに、初めてその時に検出されたタッチ位置の座標が入力される。
【００２９】
このような、拡大ウィンドウモードでの入出力動作の一例の詳細を図３〜図６により以下に説明する。
【００３０】
図３は、オペレータが指１０でタッチパネル８をタッチする直前の状態を示している。現在、ＬＣＤ４の表示画面上に文章が表示されており、オペレータはこの文章中の特定部分の領域（ここでは「ボタン」の部分の領域）を選択して指定するために、タッチパネル８で指定したい領域の行方向の先頭位置と末尾位置を指定する座標入力を行おうとしている。そこで、指１０を使って、まず先頭位置をタッチして指定しようとしているのが、この図３の状態である。
【００３１】
図３から明らかなように、この時点で既に指１０によって、オペレータが指定しようとする位置の付近が見えなくなっている。ここでＬＣＤ４に表示されている画像の密度が低ければ、たとえ指１０で隠れたとしてもある程度オペレータには指定したい位置を推測することはできるが、図３のように表示されている画像（文字）の密度が高い場合、指定したい位置を正確に把握することは困難である。
【００３２】
このため、本実施形態では、図４に示すように、オペレータが指１０でタッチパネル８をタッチするとＬＣＤ４の表示画面上に拡大ウィンドウ１１を表示する。
【００３３】
すなわち、指１０がタッチパネル８をタッチすると、タッチパネルコントローラ７がタッチ自体とタッチ位置の座標を検出し、その情報をＣＰＵ１に通知する。ＣＰＵ１はＬＣＤコントローラ３を使ってＬＣＤ４の表示画面上でタッチ位置から図中上側に少し離れた位置に拡大ウィンドウ１１を開き、タッチ位置の近傍の領域（ここでは行方向に連続する５文字の領域）の画像を拡大ウィンドウ１１内に拡大描画する。更に、本来ＬＣＤ４上でタッチされた位置を示すためのキャレット１２も同様に拡大ウィンドウ１１の中でタッチ位置に対応する位置に描画する。
【００３４】
これにより、図３で問題とされていた指１０によって隠されたＬＣＤ４上の領域の画像を視認することができ、指１０による現在の指示位置をキャレット１２の位置により確認することができる。この状態でオペレータはキャレット１２が自分の指定しようとする領域の先頭位置を正しく指示している場合は、マイク６に対して「クリック」と発声することで、それをトリガーとして、その時のタッチ位置の座標が指定したい領域の先頭位置の座標として入力される。
【００３５】
一方、キャレット１２により示されるタッチ位置が自分の指定しようとする領域の先頭位置とずれている場合、オペレータはタッチパネル８にタッチした指１０をタッチしたまま上下左右に動かすことにより、タッチ位置の移動に応じて拡大ウィンドウ１１のキャレット１２を含むタッチ位置近傍領域の画像がリアルタイムで更新されて表示される。その画像によりオペレータはタッチ位置を確認でき、所望の位置を指示することができ、目的の位置にキャレット１２が来た時に「クリック」と発声することで、その時のタッチ位置の座標が指定したい領域の先頭位置の座標として入力され、先頭位置が指定される。
【００３６】
次に、オペレータが指定したい領域の末尾位置を指定するために、指１０をタッチパネル８にタッチしたまま図５に矢印で示すように例えば右方向に移動させると、またタッチ位置の移動に応じて拡大ウィンドウ１１のキャレット１２を含むタッチ位置近傍領域の画像がリアルタイムで更新されて表示され、その表示によりオペレータは所望の末尾位置を選ぶことができる。また、この際に、図５中に符号１４で示すように、ＬＣＤ４上で上記座標入力で指定された先頭位置から現在のタッチ位置までの領域が現在選択されている選択領域として、その画像が白黒を反転して表示され、拡大ウィンドウ１１中でも、符号１３で示すように選択領域１４の画像が反転かつ拡大して表示される。これによりオペレータは現在の選択領域１４を確認しながら所望の末尾位置を選択できる。
【００３７】
そして、指１０を所望の末尾位置まで移動させてマイク６に向かって「クリック」と発声することで、それをトリガーとして、その時のタッチ位置の座標が指定したい領域の末尾位置の座標として入力され、末尾位置が指定される。すなわち、そのときの選択領域１４が目的の選択領域として指定される。
【００３８】
このように末尾位置が指定されて選択領域の指定が終了したら、ＣＰＵ１はＬＣＤコントローラ３に対し、拡大ウィンドウ１１を消去するよう指示し、図６のようにＬＣＤ４上では選択領域１４のみが反転表示されることになる。
【００３９】
次に、上述した拡大ウィンドウモードでの入出力動作を行うためのＣＰＵ１の制御動作を図７〜図９のフローチャートにより説明する。この制御動作は、メモリ２のＲＯＭ部に格納されるＣＰＵ１の制御プログラムに従って以下のように行われる。なお、図７〜図９中で「タッチ位置の座標」を「タッチ座標」と略記してある。また、図７〜図９中で符号Ａの部分どうしの間、及び符号Ｂの部分どうしの間でフローが連続しているものとする。
【００４０】
拡大ウィンドウモードが選択されている状態において、タッチパネル８へのタッチをタッチパネルコントローラ７が検出し、ＣＰＵ１へその旨を伝えると、図７のステップＳ１０で処理が開始される。
【００４１】
まず、ステップＳ１１で、タッチパネルコントローラ７からこれが検出したタッチ位置の座標を取得した後、ステップＳ１２で前記座標に基づいてＬＣＤ４の表示画面上でタッチ位置より少し上側の位置に拡大ウィンドウ１１を表示するようにＬＣＤコントローラ３に指示する。
【００４２】
その後、ステップＳ１３で拡大ウィンドウ１１内に、タッチ位置の近傍領域に描画されている文字などの画像を拡大描画させる。なお、拡大ウィンドウ１１内でタッチ位置に対応する位置にキャレット１２の画像を描画させる。この状態で、オペレータは指１０で隠されてしまったタッチ位置の近傍部分の画像を拡大ウィンドウ１１で視認することができる。
【００４３】
次に、ステップＳ１４で音声認識装置５の駆動を開始し、オペレータが選択して指定したい領域の先頭位置の座標入力のトリガーとなる音声入力を受け付ける用意をする。
【００４４】
次に、ステップＳ１５において、タッチパネルコントローラ７にタッチパネル８上のタッチ位置の座標検出を連続的に行うように指示する。更に、連続的に検出されるタッチ位置の座標に応じて拡大ウィンドウ１１内に表示されているタッチ位置の近傍領域の画像とタッチ位置を示すキャレット１２の画像をリアルタイムで更新して描画するようにＬＣＤコントローラ３に指示する。これにより、以降オペレータが指１０をタッチパネル８上で滑らせると、拡大ウィンドウ１１に表示されるタッチ位置の近傍領域の画像とキャレット１２の画像がリアルタイムで変化して拡大表示されるので、オペレータにとって細かい箇所を正確に指示することが容易になる。
【００４５】
次に、ステップＳ１６で、音声認識装置５により認識されるマイク６からの音声入力の認識結果をチェックし、ステップＳ１７でその認識結果が「クリック」という単語かどうかを調べる。なお、ここで「クリック」を例えば「タッチ」など他の単語に置き換えてもよいことは勿論である。また、ここでは、ステップＳ１５の次にステップＳ１６が来ているが、実際の製品ではイベントドリブンで処理が行われる為、先にステップＳ１６が実行される場合もあり、その順番はどちらでもよい。
【００４６】
ステップＳ１７で、音声認識結果が「クリック」でなかった場合、ステップＳ１５へ戻り、ステップＳ１５〜Ｓ１７の処理を繰り返す。また、音声認識結果が「クリック」であった場合はステップＳ１８へ進む。
【００４７】
ステップＳ１８では、ＣＰＵ１は、上記「クリック」の指示に応じて、携帯型電子機器上のＯＳに対して、タッチパネル８がタッチされたことを報知するタッチメッセージ（１）を発行する。このメッセージを受け取ったＯＳは、このとき初めてタッチパネル８がタッチされたと見なし、図８のステップＳ２０において、タッチに応じた処理として、そのときにタッチパネルコントローラ７により検出されている現在のタッチ位置の座標（１）の情報を取得し、これを先述した選択領域の先頭位置の座標の情報としてメモリ２のＲＡＭ部に記憶する。
【００４８】
次に、ステップＳ２１において、ＣＰＵ１は、ＬＣＤ４の表示画面上で上記座標（１）の位置から現在のタッチ位置までの領域の画像を反転して表示するようにＬＣＤコントローラ３に指示する。これにより、オペレータの指１０がタッチパネル８上で座標（１）の位置から移動するのに対応して、座標（１）の位置から現在のタッチ位置までの領域の画像がリアルタイムで更新されつつ反転表示される。
【００４９】
続いて、ステップＳ２２において、拡大ウィンドウ１１内で座標（１）の位置に対応する位置から現在のタッチ位置に対応する位置までの領域の画像を反転して表示するようにＬＣＤコントローラ３に指示する。これにより、ステップＳ２１と同様に、オペレータの指１０がタッチパネル８上で座標（１）の位置から移動するのに対応して、拡大ウィンドウ１１内で座標（１）に対応する位置から現在のタッチ位置に対応する位置までの領域の画像がリアルタイムで更新されつつ反転表示される。
【００５０】
オペレータは、この表示を見て、選択して指定したい領域の末尾位置を精確に選択することができる。
【００５１】
次に、ステップＳ２３で、ステップＳ１６と同様に、音声認識装置５により認識されるマイク６からの音声入力の認識結果をチェックし、ステップＳ２４で、ステップＳ１７と同様に、音声認識結果が「クリック」という単語かどうかを調べる。
【００５２】
「クリック」ではなかった場合、ステップＳ２１へ戻り、ステップＳ２１〜Ｓ２４の処理を繰り返す。
【００５３】
「クリック」であった場合、ステップＳ２５に進み、ＣＰＵ１は、携帯型電子機器上のＯＳに対して、再びタッチパネル８がタッチされたことを報知するタッチメッセージ（２）を発行する。
【００５４】
このメッセージを受け取ったＯＳは、このときまたタッチパネル８がタッチされたと見なし、ステップＳ２６において、タッチに応じた処理として、そのときにタッチパネルコントローラ７により検出されている現在のタッチ位置の座標（２）の情報を取得し、これを先述した選択領域の末尾位置の座標の情報としてメモリ２のＲＡＭ部に記憶する。
【００５５】
続いてステップＳ２７において、ＬＣＤ４の表示画面上で座標（１）の位置から座標（２）の位置までの領域がオペレータから指定された領域であるとして、その反転表示を確定する。
【００５６】
次に、図９のステップＳ３０において、音声認識装置５の動作を停止させた後、ステップＳ３１で拡大ウィンドウ１１を消去し、それまで拡大ウィンドウ１１で隠されていた部分の画像を元通りに表示するようにＬＣＤコントローラ３に指示する。
【００５７】
次に、ステップＳ３２において、それまでタッチ位置の座標の連続検出状態であったタッチパネルコントローラ７の連続検出状態を終了させ、以降は通常通りにタッチされた瞬間に座標を検出する検出状態にさせる。そしてステップＳ３３ですべての処理を終了する。
【００５８】
なお、ここではステップＳ２１、ステップＳ２２に続いてステップＳ２３が来ているが、実際の製品ではイベントドリブンで処理が行われる為、ステップＳ２１より先にステップＳ２３が実行される場合もある。しかし、この順番の違いは問題ない。
【００５９】
以上のような実施形態によれば、拡大ウィンドウモードにすれば、タッチパネル８にタッチすると、ＬＣＤ４上でタッチ位置の近傍領域の画像がその領域と別の位置に拡大ウィンドウ１１として拡大表示されるので、オペレータは自らの指１０で隠れるタッチ位置の近傍領域の文字の画像を視認して現在のタッチ位置を正確に認識でき、ＬＣＤ４の表示画面上に表示される文章の画像の密度が高くても、文章中の所望の領域の部分を選択して指定するための前記領域の先頭位置と末尾位置の座標入力を正確に行うことができる。また、その座標入力は、タッチパネル８にタッチした指１０を所望の位置に移動させて「クリック」と発声すれば、それをトリガーとして行われるので、従来例の特許文献１のように、１点の座標入力のために２度タッチする必要がなく、座標入力を簡単に行うことができる。
【００６０】
また拡大ウィンドウ１１に表示されるタッチ位置の近傍領域の画像は、タッチ位置の座標の検出結果に応じて、リアルタイムで更新されるので、タッチしたままタッチ位置を移動させれば、拡大ウィンドウ１１に表示される領域の位置を移動させることができる。従って、従来例の特許文献１のように、拡大ウィンドウの画像中に所望の情報が入っていなかった場合に拡大ウィンドウを閉じて前記所望の情報の位置の付近をタッチしたりする必要がなく、この点でもさらに操作を簡単にすることができる。
【００６１】
以上では、ＬＣＤ４の表示画面上でタッチ位置の近傍領域の画像をその領域と別の位置に拡大して拡大ウィンドウ１１として表示するものとしたが、前記画像を拡大せずに密度だけ小さくする、すなわち上記のように画像が文字列の場合、文字の間隔だけ大きくするようにしてウィンドウとして表示するようにしてもよい。
【００６２】
また、以上ではＬＣＤ４上に表示された文章中の所望の領域の先頭位置と末尾位置を指定して前記領域を指定するために、拡大ウィンドウが表示されている間（タッチパネル８が連続してタッチされている間）に座標入力のトリガーとなる「クリック」の音声入力が２回だけ有効になるものとした。つまり、２回の「クリック」の音声入力により２回の座標入力が済んだら、拡大ウィンドウ１１を消去して、またタッチをし直して拡大ウィンドウ１１を表示させない限り、「クリック」の音声入力が無効になるようにした。しかし、これに限らず、拡大ウィンドウ１１が１度連続して表示されている間に、１箇所の位置だけの座標入力を行う場合は、「クリック」の音声入力を１回だけ有効になるようにしてもよいし、３箇所以上の位置の座標入力を行う場合は３回以上有効になるようにしてもよい。また、１度に何回有効になるかのモードをスイッチの入力などにより選択できるようにしてもよい。
【００６３】
以上、本発明の実施形態を説明したが、本発明の趣旨と範囲は実施形態で説明したものに限定されないことは勿論である。本発明の実施態様の例を以下に列挙する。
【００６４】
［実施態様１］ 画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を座標検出手段により検出して入力するタッチパネル付き表示装置において、
前記タッチパネルと別に設けられ、操作者がタッチ位置の座標入力のトリガーとなる入力を行うための入力手段と、
前記タッチパネルがタッチされている間、前記座標検出手段の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するように前記表示手段を制御する表示制御手段を有し、
前記タッチパネルへのタッチにより前記ウィンドウが表示されている状態で、前記入力手段から前記トリガーの入力があったとき、そのときに前記座標検出手段により検出されたタッチ位置の座標を入力するようにしたことを特徴とするタッチパネル付き表示装置。
【００６５】
［実施態様２］ 前記表示制御手段は、前記表示画面上で前記タッチ位置の近傍領域の画像を拡大してウィンドウとして表示するように前記表示手段を制御することを特徴とする実施態様１に記載のタッチパネル付き表示装置。
【００６６】
［実施態様３］ 前記入力手段による前記トリガーの入力は、前記ウィンドウが表示されている間に所定回数だけ有効になることを特徴とする実施態様１に記載のタッチパネル付き表示装置。
【００６７】
［実施態様４］ 前記入力手段による前記トリガーの入力が前記所定回数あって前記タッチ位置の座標入力が前記所定回数行われたときに前記ウィンドウが消去されることを特徴とする実施態様３に記載のタッチパネル付き表示装置。
【００６８】
［実施態様５］ 前記入力手段は、操作者が発声する音声を電気信号に変換するマイクと、前記電気信号を解析して前記音声の内容を認識する音声認識装置からなることを特徴とする実施態様１に記載のタッチパネル付き表示装置。
【００６９】
［実施態様６］ 画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を検出して入力するタッチパネル付き表示装置の制御方法であって、
前記タッチパネルがタッチされている間、タッチ位置の座標の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するようにし、
さらに、前記タッチパネルへのタッチにより前記ウィンドウが表示された状態で、前記タッチパネル以外の入力手段から座標入力のトリガーとなる入力があったとき、そのときに検出されたタッチ位置の座標を入力するように制御することを特徴とするタッチパネル付き表示装置の制御方法。
【００７０】
［実施態様７］ 画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を検出して入力するタッチパネル付き表示装置の制御プログラムであって、
前記タッチパネルがタッチされている間、タッチ位置の座標の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するようにし、
さらに、前記タッチパネルへのタッチにより前記ウィンドウが表示された状態で、前記タッチパネル以外の入力手段から座標入力のトリガーとなる入力があったとき、そのときに検出されたタッチ位置の座標を入力するように制御するための制御手順を含むことを特徴とするタッチパネル付き表示装置の制御プログラム。
【００７１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を座標検出手段により検出して入力するタッチパネル付き表示装置において、表示手段の表示画面上に表示される文字などの画像情報の密度が高くても、タッチパネル上で表示された画像情報の所望の部分を選択して指定するための座標入力を簡単な操作で正確に行うことができ、表示の高密度化に対応して座標入力に関わる操作性を向上することができるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態の携帯型電子機器の構成を示すブロック図である。
【図２】同携帯型電子機器の外観を示す斜視図である。
【図３】拡大ウィンドウモードでの領域指定動作でタッチ直前の状態を示す説明図である。
【図４】同じく領域指定動作でタッチにより拡大ウィンドウが表示された状態を示す説明図である。
【図５】同じく領域指定動作で領域の先頭位置を指定する座標入力の後に指を移動させている状態を示す説明図である。
【図６】同じく領域指定動作で領域の末尾位置の座標入力が終了して領域が確定された状態を示す説明図である。
【図７】拡大ウィンドウモードでの入出力動作の制御手順を示すフローチャート図である。
【図８】同じく拡大ウィンドウモードでの入出力動作の制御手順を示すフローチャート図である。
【図９】同じく拡大ウィンドウモードでの入出力動作の制御手順を示すフローチャート図である。
【符号の説明】
１ ＣＰＵ
２ メモリ
３ ＬＣＤコントローラ
４ ＬＣＤ
５ 音声認識装置
６ マイク
７ タッチパネルコントローラ
８ タッチパネル
９ バックライト
１０ オペレータの指
１１ 拡大ウィンドウ
１２ キャレット
１３ 拡大ウィンドウ内で反転表示された選択領域
１４ 通常画面内で反転表示された選択領域
２１ プリンタ
２２ インターフェース
２３ 電源スイッチ
Claims (1)
- 画像を表示する表示手段の表示画面上に透明なタッチパネルが重なるように配置され、該タッチパネル上でタッチされたタッチ位置の座標を座標検出手段により検出して入力するタッチパネル付き表示装置において、
前記タッチパネルと別に設けられ、操作者がタッチ位置の座標入力のトリガーとなる入力を行うための入力手段と、
前記タッチパネルがタッチされている間、前記座標検出手段の検出結果に応じて、前記表示画面上で前記タッチ位置の近傍領域の画像を該領域と別の位置にウィンドウとしてリアルタイムで更新して表示するように前記表示手段を制御する表示制御手段を有し、
前記タッチパネルへのタッチにより前記ウィンドウが表示されている状態で、前記入力手段から前記トリガーの入力があったとき、そのときに前記座標検出手段により検出されたタッチ位置の座標を入力するようにしたことを特徴とするタッチパネル付き表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319574A JP2004152217A (ja) | 2002-11-01 | 2002-11-01 | タッチパネル付き表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319574A JP2004152217A (ja) | 2002-11-01 | 2002-11-01 | タッチパネル付き表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004152217A true JP2004152217A (ja) | 2004-05-27 |
Family
ID=32462382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002319574A Pending JP2004152217A (ja) | 2002-11-01 | 2002-11-01 | タッチパネル付き表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004152217A (ja) |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007299394A (ja) * | 2006-05-03 | 2007-11-15 | Lg Electronics Inc | 移動端末機のテキスト表示方法及び移動端末機 |
| JP2009301282A (ja) * | 2008-06-12 | 2009-12-24 | Sharp Corp | 携帯情報端末、その制御方法、制御用プログラムおよび記録媒体 |
| JP2010181940A (ja) * | 2009-02-03 | 2010-08-19 | Zenrin Datacom Co Ltd | 画像処理装置および画像処理方法 |
| JP2011199662A (ja) * | 2010-03-19 | 2011-10-06 | Sony Corp | 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体 |
| CN102243547A (zh) * | 2010-05-12 | 2011-11-16 | 索尼公司 | 图像处理设备、图像处理方法和图像处理程序 |
| JP2011242821A (ja) * | 2010-05-14 | 2011-12-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP2012098705A (ja) * | 2010-10-07 | 2012-05-24 | Nikon Corp | 画像表示装置 |
| JP2012178175A (ja) * | 2012-05-16 | 2012-09-13 | Panasonic Corp | 表示制御装置、電子機器、表示制御方法、およびプログラム |
| JP2013502861A (ja) * | 2009-08-27 | 2013-01-24 | 上海合合信息科技発展有限公司 | 連絡先情報入力方法及びシステム |
| JP2013093068A (ja) * | 2013-02-22 | 2013-05-16 | Panasonic Corp | 表示制御装置、表示制御方法、およびプログラム |
| JP2013093043A (ja) * | 2012-12-28 | 2013-05-16 | Zenrin Datacom Co Ltd | 画像処理装置、画像処理方法、および、プログラム |
| JP2014525065A (ja) * | 2011-05-31 | 2014-09-25 | アップル インコーポレイテッド | 文書操作のためのデバイス、方法及びグラフィカルユーザインタフェース |
| JP2015079519A (ja) * | 2014-11-04 | 2015-04-23 | ソニー株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US9122343B2 (en) | 2011-11-18 | 2015-09-01 | International Business Machines Corporation | Facilitating operation of controls displayed in a display surface independently of the size of the display surface |
| US9569019B2 (en) | 2011-12-01 | 2017-02-14 | International Business Machines Corporation | Adaptive touch panel display |
| US9632695B2 (en) | 2006-10-26 | 2017-04-25 | Apple Inc. | Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker |
| US9846533B2 (en) | 2009-03-16 | 2017-12-19 | Apple Inc. | Methods and graphical user interfaces for editing on a multifunction device with a touch screen display |
| JP2018190469A (ja) * | 2018-08-22 | 2018-11-29 | キヤノン株式会社 | 画像形成装置、コンピュータプログラムおよび記録媒体 |
| JP2019050002A (ja) * | 2012-12-29 | 2019-03-28 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース |
| US10599331B2 (en) | 2015-03-19 | 2020-03-24 | Apple Inc. | Touch input cursor manipulation |
| US10620781B2 (en) | 2012-12-29 | 2020-04-14 | Apple Inc. | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
| US10698598B2 (en) | 2015-08-10 | 2020-06-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10705718B2 (en) | 2015-06-07 | 2020-07-07 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US10775994B2 (en) | 2012-05-09 | 2020-09-15 | Apple Inc. | Device, method, and graphical user interface for moving and dropping a user interface object |
| US10775999B2 (en) | 2012-05-09 | 2020-09-15 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US10782871B2 (en) | 2012-05-09 | 2020-09-22 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US10841484B2 (en) | 2015-06-07 | 2020-11-17 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10860177B2 (en) | 2015-03-08 | 2020-12-08 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10884608B2 (en) | 2015-08-10 | 2021-01-05 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| US10884591B2 (en) | 2012-05-09 | 2021-01-05 | Apple Inc. | Device, method, and graphical user interface for selecting object within a group of objects |
| US10908808B2 (en) | 2012-05-09 | 2021-02-02 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
| US10942570B2 (en) | 2012-05-09 | 2021-03-09 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US10969945B2 (en) | 2012-05-09 | 2021-04-06 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
| US10996788B2 (en) | 2012-05-09 | 2021-05-04 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to a gesture |
| US11003351B2 (en) | 2012-12-26 | 2021-05-11 | Gree, Inc. | Display processing method and information device |
| US11010027B2 (en) | 2012-05-09 | 2021-05-18 | Apple Inc. | Device, method, and graphical user interface for manipulating framed graphical objects |
| US11023116B2 (en) | 2012-05-09 | 2021-06-01 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US11112957B2 (en) | 2015-03-08 | 2021-09-07 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US11182017B2 (en) | 2015-08-10 | 2021-11-23 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US11231831B2 (en) | 2015-06-07 | 2022-01-25 | Apple Inc. | Devices and methods for content preview based on touch input intensity |
| US11240424B2 (en) | 2015-06-07 | 2022-02-01 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
-
2002
- 2002-11-01 JP JP2002319574A patent/JP2004152217A/ja active Pending
Cited By (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007299394A (ja) * | 2006-05-03 | 2007-11-15 | Lg Electronics Inc | 移動端末機のテキスト表示方法及び移動端末機 |
| US9632695B2 (en) | 2006-10-26 | 2017-04-25 | Apple Inc. | Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker |
| JP2009301282A (ja) * | 2008-06-12 | 2009-12-24 | Sharp Corp | 携帯情報端末、その制御方法、制御用プログラムおよび記録媒体 |
| JP2010181940A (ja) * | 2009-02-03 | 2010-08-19 | Zenrin Datacom Co Ltd | 画像処理装置および画像処理方法 |
| US10761716B2 (en) | 2009-03-16 | 2020-09-01 | Apple, Inc. | Methods and graphical user interfaces for editing on a multifunction device with a touch screen display |
| US9875013B2 (en) | 2009-03-16 | 2018-01-23 | Apple Inc. | Methods and graphical user interfaces for editing on a multifunction device with a touch screen display |
| US9846533B2 (en) | 2009-03-16 | 2017-12-19 | Apple Inc. | Methods and graphical user interfaces for editing on a multifunction device with a touch screen display |
| JP2013502861A (ja) * | 2009-08-27 | 2013-01-24 | 上海合合信息科技発展有限公司 | 連絡先情報入力方法及びシステム |
| JP2011199662A (ja) * | 2010-03-19 | 2011-10-06 | Sony Corp | 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体 |
| CN102243567A (zh) * | 2010-03-19 | 2011-11-16 | 索尼公司 | 图像处理设备和方法、图像处理程序及其记录介质 |
| US9503629B2 (en) | 2010-03-19 | 2016-11-22 | Sony Corporation | Image processing apparatus, image processing method, and computer-readable device having instructions for generating focused image |
| CN102243547A (zh) * | 2010-05-12 | 2011-11-16 | 索尼公司 | 图像处理设备、图像处理方法和图像处理程序 |
| CN102243547B (zh) * | 2010-05-12 | 2016-08-03 | 索尼公司 | 图像处理设备、图像处理方法和图像处理程序 |
| JP2011242821A (ja) * | 2010-05-14 | 2011-12-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP2012098705A (ja) * | 2010-10-07 | 2012-05-24 | Nikon Corp | 画像表示装置 |
| JP2014525065A (ja) * | 2011-05-31 | 2014-09-25 | アップル インコーポレイテッド | 文書操作のためのデバイス、方法及びグラフィカルユーザインタフェース |
| US10664144B2 (en) | 2011-05-31 | 2020-05-26 | Apple Inc. | Devices, methods, and graphical user interfaces for document manipulation |
| US11256401B2 (en) | 2011-05-31 | 2022-02-22 | Apple Inc. | Devices, methods, and graphical user interfaces for document manipulation |
| US9122343B2 (en) | 2011-11-18 | 2015-09-01 | International Business Machines Corporation | Facilitating operation of controls displayed in a display surface independently of the size of the display surface |
| US9569019B2 (en) | 2011-12-01 | 2017-02-14 | International Business Machines Corporation | Adaptive touch panel display |
| US10775994B2 (en) | 2012-05-09 | 2020-09-15 | Apple Inc. | Device, method, and graphical user interface for moving and dropping a user interface object |
| US10969945B2 (en) | 2012-05-09 | 2021-04-06 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
| US11947724B2 (en) | 2012-05-09 | 2024-04-02 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US11354033B2 (en) | 2012-05-09 | 2022-06-07 | Apple Inc. | Device, method, and graphical user interface for managing icons in a user interface region |
| US11314407B2 (en) | 2012-05-09 | 2022-04-26 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US11221675B2 (en) | 2012-05-09 | 2022-01-11 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US11068153B2 (en) | 2012-05-09 | 2021-07-20 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US11023116B2 (en) | 2012-05-09 | 2021-06-01 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US11010027B2 (en) | 2012-05-09 | 2021-05-18 | Apple Inc. | Device, method, and graphical user interface for manipulating framed graphical objects |
| US10996788B2 (en) | 2012-05-09 | 2021-05-04 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to a gesture |
| US10942570B2 (en) | 2012-05-09 | 2021-03-09 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US10775999B2 (en) | 2012-05-09 | 2020-09-15 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US10782871B2 (en) | 2012-05-09 | 2020-09-22 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US10908808B2 (en) | 2012-05-09 | 2021-02-02 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
| US10884591B2 (en) | 2012-05-09 | 2021-01-05 | Apple Inc. | Device, method, and graphical user interface for selecting object within a group of objects |
| JP2012178175A (ja) * | 2012-05-16 | 2012-09-13 | Panasonic Corp | 表示制御装置、電子機器、表示制御方法、およびプログラム |
| US11003351B2 (en) | 2012-12-26 | 2021-05-11 | Gree, Inc. | Display processing method and information device |
| JP2013093043A (ja) * | 2012-12-28 | 2013-05-16 | Zenrin Datacom Co Ltd | 画像処理装置、画像処理方法、および、プログラム |
| US10915243B2 (en) | 2012-12-29 | 2021-02-09 | Apple Inc. | Device, method, and graphical user interface for adjusting content selection |
| US10620781B2 (en) | 2012-12-29 | 2020-04-14 | Apple Inc. | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
| JP2019050002A (ja) * | 2012-12-29 | 2019-03-28 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース |
| JP2013093068A (ja) * | 2013-02-22 | 2013-05-16 | Panasonic Corp | 表示制御装置、表示制御方法、およびプログラム |
| JP2015079519A (ja) * | 2014-11-04 | 2015-04-23 | ソニー株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US11112957B2 (en) | 2015-03-08 | 2021-09-07 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US10860177B2 (en) | 2015-03-08 | 2020-12-08 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11054990B2 (en) | 2015-03-19 | 2021-07-06 | Apple Inc. | Touch input cursor manipulation |
| US11550471B2 (en) | 2015-03-19 | 2023-01-10 | Apple Inc. | Touch input cursor manipulation |
| US10599331B2 (en) | 2015-03-19 | 2020-03-24 | Apple Inc. | Touch input cursor manipulation |
| US11835985B2 (en) | 2015-06-07 | 2023-12-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10841484B2 (en) | 2015-06-07 | 2020-11-17 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US11681429B2 (en) | 2015-06-07 | 2023-06-20 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10705718B2 (en) | 2015-06-07 | 2020-07-07 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US11231831B2 (en) | 2015-06-07 | 2022-01-25 | Apple Inc. | Devices and methods for content preview based on touch input intensity |
| US11240424B2 (en) | 2015-06-07 | 2022-02-01 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10698598B2 (en) | 2015-08-10 | 2020-06-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11327648B2 (en) | 2015-08-10 | 2022-05-10 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11182017B2 (en) | 2015-08-10 | 2021-11-23 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US10884608B2 (en) | 2015-08-10 | 2021-01-05 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| US10754542B2 (en) | 2015-08-10 | 2020-08-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11740785B2 (en) | 2015-08-10 | 2023-08-29 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10963158B2 (en) | 2015-08-10 | 2021-03-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| JP2018190469A (ja) * | 2018-08-22 | 2018-11-29 | キヤノン株式会社 | 画像形成装置、コンピュータプログラムおよび記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004152217A (ja) | タッチパネル付き表示装置 | |
| US11010027B2 (en) | Device, method, and graphical user interface for manipulating framed graphical objects | |
| JP6965319B2 (ja) | 文字入力インターフェース提供方法及び装置 | |
| JP5094158B2 (ja) | 端末機及びタッチスクリーンを備えた端末機の制御方法 | |
| KR101593598B1 (ko) | 휴대단말에서 제스처를 이용한 기능 실행 방법 | |
| KR101978687B1 (ko) | 터치스크린 단말기에서 문자 입력 방법 및 장치 | |
| US8994674B2 (en) | Information viewing apparatus, control program and controlling method | |
| US20100259482A1 (en) | Keyboard gesturing | |
| US20130019158A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| US20090278806A1 (en) | Extended touch-sensitive control area for electronic device | |
| US11822780B2 (en) | Devices, methods, and systems for performing content manipulation operations | |
| JP2011034494A (ja) | 表示装置、情報入力方法及びプログラム | |
| KR20170125366A (ko) | 입력 표시 장치, 입력 표시 방법, 및 프로그램 | |
| WO2022143620A1 (zh) | 一种虚拟键盘的处理方法以及相关设备 | |
| KR20150006382A (ko) | 디스플레이 장치의 선택된 키 식별 방법 및 디스플레이 장치 | |
| JP2012088969A (ja) | 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体 | |
| JP2003248551A (ja) | タッチパネル付きディスプレイ装置およびタッチパネル付きディスプレイ装置の表示制御方法 | |
| JPH10154042A (ja) | タッチパネルつき情報処理装置 | |
| CN114764304A (zh) | 一种屏幕显示方法 | |
| JPH06289984A (ja) | 文書作成編集装置 | |
| US20040239645A1 (en) | Information processing apparatus and method of inputting character | |
| JP2003140791A (ja) | 情報処理装置及び情報処理装置の制御方法 | |
| JPH1195912A (ja) | 座標入力装置、座標入力方法及び座標入力プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| WO2022143607A1 (zh) | 一种应用界面的处理方法以及相关设备 | |
| WO2022143579A1 (zh) | 一种反馈方法以及相关设备 |