JP2010191973A - 情報入力装置およびその制御方法 - Google Patents

Abstract

【課題】 タッチパネルを使用する情報入力装置において、ハードウェアで構成された既存のキーを利用して、仮想的なキーを操作する際の操作感をユーザにフィードバックする技術を実現する。
【解決手段】 情報入力装置は、ＬＣＤ（１１５）およびタッチパネル（１１２）によって構成される複数のタッチパネルキーと、操作者に操作感を与えるように機械的に構成されたハードウェアキー（１１３）とを有する。このハードウェアキー（１１３）は文字または記号を入力するために使用される他、上記複数のタッチパネルキーから選択対象のキーを選択し確定するためにも兼用される。
【選択図】 図１

Description

本発明は、情報入力装置およびその制御方法に関し、特に、タッチパネル等を備えた情報入力装置およびその制御方法に関する。

画像形成装置を始めとするさまざまな機器において、タッチパネルを利用した情報入力装置が使用されている。タッチパネルは通常、ＣＲＴやＬＣＤなどの表示装置の表面上に設置され、接触位置検出装置として機能する。このような情報入力装置は、ユーザが表示装置上に表示された仮想的な指示対象物（仮想キー）にタッチパネル越しに触れると、その座標位置から仮想キーを特定し、その仮想キーに割り当てられた入力を検知する。

このようなタッチパネルを利用した情報入力装置によれば、表示装置が表示する画面に任意の形状や大きさの仮想キーを配置することができ、また、それらを入力指示に応じて自由に表示を切り替えることが可能である。そして、表示されている仮想キーにユーザが触れることによって操作指示の入力が行われるため、ユーザにとって直感的にわかりやすい操作性を提供することが可能である。

また、表示装置により仮想的なキー表示するので、キーの種類が増加してもその都度画面を切り替えることによって設置面積を抑えることが可能であり、キーをハードウェアで実現するよりはるかにコストを抑えることができる。

タッチパネルを利用した技術については、例えば特許文献１に記載されている。

特開平７−３１９３４０号公報

しかし、その反面、タッチパネルは表示装置上に配置された平面的なスクリーン状の入力装置であるため、突起物など操作対象の位置を手触りなどの触覚によって検知する手がかりが全くない。また、タッチパネルに触れたときも、キーの押下感やクリック感が全くない。

このため、視覚障害者など、キー操作の触感を頼りに操作を行うユーザにとっては、たとえ表示画面の内容や情報を音声などの視覚情報以外で提示しても、表示画面上の操作対象物をタッチパネルから指示することができない。

また、タッチパネルの場合にはキー操作時の押し込みストロークがきわめて小さいため操作感に乏しく、たとえ健常者が操作した場合でも、タッチパネルの操作が受け付けられたのかどうかが分からず何度も押してしまったり、押下位置の位置ずれなどによる誤操作が発生する場合がある。

このような問題の解決策としては例えば、タッチパネルによる仮想キーの他にハードウェアで構成されるキーを別途設け、これに仮想キーと同じ機能を割り当てて、ユーザに好きな方を選択させることが考えられる。ハードウェアのキーは機械的に構成されているから操作者に操作感を与えることができる。

しかし、タッチパネルによる仮想キーと同数のハードウェアのキーを増設することは、操作部の占有面積やコストの点で好ましいとはいえない。

そこで本発明は、タッチパネルを使用する情報入力装置において、ハードウェアで構成された既存のキーを利用して、仮想的なキーを操作する際の操作感をユーザにフィードバックする技術を実現することを目的とする。

上記した課題を解決するために、例えば本発明の一側面に係る情報入力装置は次の構成を備える。すなわち、操作者に操作感を与えるように機械的に構成され、所定の文字または記号を入力するためのハードウェアキーと、画像を表示する表示装置と、前記表示装置の画像表示面に重ねて設けられ、操作者が触れた位置を検出するタッチパネルと、前記表示装置に複数の操作キーの画像を表示させると共に、前記タッチパネルを用いてこれら複数の操作キーの画像に対応する領域への接触を検知し、その検知に応じた情報の入力を行うように構成された複数のタッチパネルキーとを備えた情報入力装置であって、前記ハードウェアキーに、前記所定の文字または記号を入力する機能に代えて、前記複数のタッチパネルキーの操作を行う機能を割り当てる割当て手段と、前記ハードウェアキーに前記複数のタッチパネルキーの操作を行う機能が割り当てられた場合、前記ハードウェアキーの操作に応じて前記複数のタッチパネルキーから操作対象とするタッチパネルキーを選択し確定する選択手段と、前記選択手段により選択中のタッチパネルキーおよび操作対象として確定されたタッチパネルキーに関する情報を、音声により操作者に報知する報知手段と、前記選択手段により操作対象として確定されたタッチパネルキーに割り当てられた情報を入力する入力手段とを有することを特徴とする。

本発明によれば、タッチパネルを使用する情報入力装置において、ハードウェアで構成された既存のキーを利用して、仮想的なキーを操作する際の操作感をユーザにフィードバックすることができる。これにより、キーの操作感の欠如によって生じていた誤操作を防止することが可能になる。

本発明の実施形態における画像処理装置のハードウェア構成の一例を示すブロック図である。 本発明の実施形態における操作部の外観構成の一例を示す図である。 本発明の実施形態におけるテンキー群を詳細に示す図である。 本発明の実施形態における画像処理装置の機能構成を示す図である。 本発明の実施形態におけるＬＣＤに表示される、通常状態における操作画面例を示す図である。 本発明の実施形態におけるＬＣＤに表示される、フォーカス表示モードにおける操作画面例を示す図である。 図４Ｂの状態からフォーカスが移動したときの操作画面例を示す図である。 図４Ｃの状態で確定キーを押下したときの操作画面例を示す図である。 本発明の実施形態に係る画像処理装置の動作手順を示すフローチャートである。 本発明の実施形態における画像処理装置によるフォーカス移動処理を示すフローチャートである。 本発明の実施形態における画像処理装置による第１の音声出力処理を示すフローチャートである。 本発明の実施形態における画像処理装置による第２の音声出力処理を示すフローチャートである。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。

図１は、本発明の情報入力装置が適用される画像処理装置のハードウェア構成の一例を示す図である。本実施形態における画像処理装置は例えば、プリンタ、画像入力、文書ファイリング等の機能を含む、いわゆる複合機（multi function peripheral）である。同図中、１０６が画像入力デバイスとしてのスキャナ、１０８が画像出力デバイスとしてのプリンタであり、スキャナ１０６でスキャンした画像データを、プリンタ１０８にプリントアウトする処理などが可能である。

ＣＰＵ１０１は、この画像処理装置全体を制御する中央処理装置である。ＣＰＵ１０１は、データバスなどのバス１０４によって、各部と接続されている。ＲＯＭ１０２は、ブートプログラムやＢＩＯＳ等の固定的なプログラムおよびデータを記憶している。ＲＡＭ１０３は、主記憶装置およびＣＰＵ１０１による処理実行のための作業領域を提供する作業用メモリとして機能する。また、このＲＡＭ１０３はスキャナ１０６によってスキャンされた画像を一時的に保存する際にも使用される。

スキャナコントローラ１０５は、後述する操作部１２０による設定内容に応じてスキャナ１０６の動作を制御する。スキャナ１０６は、ＣＣＤなどの光学読取装置を用いて紙などの原稿上の走査を行い、原稿の画像データを電気信号データに変換する。

プリンタコントローラ１０７は、操作部１２０による設定内容に応じてプリンタ１０８を制御して、プリント動作を行わせる。プリンタ１０８は、画像データを用紙上に画像として印字するものである。印刷の方式としては、感光体ドラムや感光体ベルトなどを用いた電子写真方式や、微小ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式などがあるが、どの方式でもかまわない。

ハードディスクコントローラ１０９は、記憶デバイスの一例であるハードディスク装置（ＨＤＤ）１１０を制御し、ＨＤＤ１１０にさまざまなデータを保存したり、保存したデータを取得したりする。このＨＤＤ１１０には、このシステム全体を制御するための制御プログラムや制御用データ、スキャンによって得られたスキャン画像データ、あるいはプリントデータなどが保存される。

操作部１２０は、図示のように、タッチパネル１１２、ハードウェアで構成されるキー（以下「ハードウェアキー」または「ハードキー」という。）１１３、および表示デバイスの一例であるＬＣＤ１１５を含む構成である。タッチパネル１１２はＬＣＤ１１５の表示面上に配置される。タッチパネル１１２は、ユーザがＬＣＤ１１５上により表示された仮想的なキーであるタッチパネルキー（以下「ソフトウェアキー」または「ソフトキー」という。）をタッチパネル１１２を介して触れると、その接触した位置の座標を検出する。この位置座標を基に、ユーザがＬＣＤ１１５上のどの仮想キーを押そうとしたのかが判断可能である。一方、ハードウェアキー１１３は、操作者に操作感を与えるように機械的に構成されたものである。

タッチパネルコントローラ１１１は、タッチパネル１１２を介してユーザの操作指示を入力する。また、ＬＣＤコントローラ１１４はＬＣＤ１１５を制御して設定操作画面を表示させる。

なお、以下では、説明上、タッチパネル１１２が接触を検出した位置座標がＬＣＤ１１５上に表示されたソフトウェアキーの表示位置と一致したと判断した場合を、「キーが押下された」と表現する。

本実施形態における画像処理装置はさらに、Ｄ／Ａコンバータ１１６、パワーアンプ１１７、スピーカ１１８を備えている。制御プログラムの動作によって、テキストデータおよび音素データに基づいて音声波形データが作成され、Ｄ／Ａコンバータ１１６およびパワーアンプ１１７を介してスピーカ１１７より音声を出力させることが可能である。

図２Ａは、本実施形態における操作部１２０の外観構成の一例を示す図である。

同図において、ＬＣＤ１１５上にはタッチパネル１１２が重ねて設けられている。ＬＣＤ１１５はシステムの操作画面およびソフトウェアキーを表示し、タッチパネル１１２はソフトウェアキーが押されるとその位置情報をＣＰＵ１０１に伝える。

２０３〜２１１はそれぞれ、ハードウェアキー１１３として構成されるもので、具体的なそれぞれの機能は次のとおりである。

スタートキー２０３は、スキャナ１０６による原稿画像の読み取り動作や、プリンタ１０８によるプリント動作などを開始する時に用いる。ストップキー２０４は稼働中の動作を止める働きをする。リセットキー２０５は操作部からの設定を初期化する時に用いる。テンキー群２０６は通常、コピー部数設定時など、数値の入力を行う際に用いる。クリアキー２０７は、入力された数値をクリアしたいときに用いる。ＩＤキー２０８は、ユーザＩＤを入力する時に用いる。

ガイドキー２０９は、設定や入力方法について、キーの機能以外のヘルプを表示するときに用いる。また、このキーを一定時間以上押しつづけることで、通常のタッチパネル操作を行うモードと、画面にフォーカスを表示し、ハードウェアキーでそのフォーカスを移動することで操作を行うモードとを切り替えることができる。これについては後ほど詳しく説明する。

ユーザモードキー２１０は、装置の動作に関する特殊な設定や詳細な設定を行うときに用いる。カウンタキー２１１は、装置がプリントした用紙の枚数を確認するときに用いる。節電キー２１２は、装置を待機状態にし、消費電力を抑えたいときに用いる。電源キー２１３は、装置の電源をＯＮまたはＯＦＦするときに用いる。

図２Ｂは、テンキー群２０６を詳細に示す図を示す。

テンキー群２０６は、２０６０〜２０６９の１０個の独立したハードウェアキーで構成される。各キーには文字または記号（図示の例では数字の０〜９のいずれか）が対応付けられている。ユーザはこのキーによって、所望する文字または記号を素早く入力することができる。また、テンキーのほぼ中央に位置する「５」キー２０６５の表面には、物理的な突起物２２０が配置される。この突起物と一般的なキーの配列により、触感を頼りに視覚障害者等でもテンキーを扱うことが可能になっている。

図３は、本発明の実施形態における画像処理装置の機能構成を示す図である。破線３００で囲まれる各制御部の機能はＨＤＤ１１０に記憶されている制御プログラムによって実現される。また、以下に説明する機能の実現に使用される各種データはＨＤＤ１１０またはＲＡＭ１０３によって保持されるものである。

入力制御部３０１は、タッチパネル１１２とハードウェアキー１１３からのユーザ入力を検知し、画面表示座標データ３０５をもとに、ユーザがどのソフトウェアキーやハードウェアキーに対して操作を行ったのかを判定する。その判定結果は、フォーカス制御部３０２および画面遷移制御部３０３に送られる。

フォーカス制御部３０２は、ＬＣＤ１１５に表示される複数のソフトウェアキーのうちどのキーが操作対象であるかを示す強調表示としてのフォーカスを制御するもので、具体的には、現在どのキーにフォーカスが表示されているかを記憶し、フォーカス表示順データ３１５データをもとに、フォーカスの移動等を制御する。また、フォーカス制御部３０２は、現在どのキーがフォーカスを持つのかを画面表示制御部３０４に通知する。

画面遷移制御部３０３は、実際にキーが押下された場合に、画面遷移データ３１１をもとに、次に表示されるべきダイアログや画面を制御する。画面の遷移に関する設定値や現在フォーカス表示を行うかどうかのモード設定もこの画面遷移制御部３０３が記憶している。また、画面遷移制御部３０３は、現在表示している画面情報をフォーカス制御部３０２、画面表示制御部３０４、および音声テキストデータ制御部３０７に通知する。画面遷移制御部３０３はさらに、フォーカス制御部３０２や音声テキストデータ制御部３０７に、現在フォーカス表示を行うモードであるかどうかの情報を通知することも行う。

画面表示制御部３０４は、画面遷移制御部３０３からの現在の画面に関するデータと、画面構成画像データ３０６をもとに、実際にＬＣＤ１１５に表示される画面のイメージデータを作成する。また、必要に応じて、フォーカス制御部３０２からのデータをもとに、画面に配置された特定のキーに対してフォーカスを描画する。画面表示制御部３０４はまた、ＬＣＤ１１５に対して画面のイメージデータを描画させる。

音声テキストデータ制御部３０７は、画面遷移制御部３０３からの画面遷移情報と、各画面やキーに関連付けられた音声テキストデータ３１２をもとに、ユーザから入力された操作に対して何らかの画面遷移やフォーカス移動があった場合に、その説明としてふさわしい音声読み上げ用のテキストデータを音声テキストデータ３１２より取得する。その後、音声テキストデータ制御部３０７は、取得した音声テキストデータを音声合成発声データ制御部３０８に渡す。

音声合成発声データ制御部３０８は、入力した音声テキストデータと、音素ごとの発声データ３１３をもとに、音声合成により音声波形データを作成し、それを音声出力制御部３０９に渡す。

音声出力制御部３０９は、受け取った音声波形データをＤ／Ａコンバータ１１６に出力する。これにより音声波形データはＤ／Ａコンバータ１１６でＤ／Ａ変換され、パワーアンプ１１６で増幅された後、スピーカ１１９より出力される。

図４Ａ〜図４Ｄは、本発明の実施形態におけるＬＣＤ１１５に表示される画面の一例を示す図である。

図４Ａは、通常状態（通常モード）における操作画面例を示している。この画面には４０１から４１６までのソフトウェアキーが表示されており、ユーザがこれらのソフトウェアキーに触れることでキー入力を行うと、入力制御部３０１はＬＣＤ１１５上に配置されたタッチパネル１１２がその入力を検知する。その後、入力制御部３０１は、その入力座標と画面表示座標データ３０５から、どのキーに対応する入力かを判断し、そのキーに対応した処理を行う。

なお、同図に示されたソフトウェアキーは具体的には次のようなものである。

キー４０１は、コピー処理に関する設定を行う画面を表示させるためのキーである。キー４０２は、スキャンしたドキュメントのネットワークやＦＡＸなどによる送信処理に関する設定を行う画面を表示するためのキーである。キー４０３は、スキャンしたドキュメントをスキャンデータとしてＨＤＤ１１０に保存したり、保存したドキュメントをプリントしたりする処理に関する設定を行う画面を表示するためのキーである。キー４０４は、スキャナからスキャンした画像をネットワーク経由でＰＣなどに保存する処理に関する設定を行う画面を表示するためのキーである。

キー４０５は、コピー処理におけるドキュメントのコピー倍率を設定する画面を表示するためのキーである。キー４０６は、コピー処理におけるコピー倍率を等倍（１００％倍率）に設定するためのキーである。

キー４０７は、コピー処理におけるスキャン原稿の読み込み面に関する設定やプリント面に関する設定を行う画面を表示するためのキーである。キー４０８は、コピー処理におけるプリントしたドキュメントのステイプル処理やソート処理などフィニッシングに関する処理の設定を行う画面を表示するためのキーである。

キー４０９は、コピー処理におけるプリンタのジョブの印刷順を変更し、優先的なプリントを設定するためのキーである。キー４１０は、コピー処理におけるプリント時の用紙を選択する画面を示すためのキーである。

キー４１１は、コピー処理におけるプリント時の濃度を１段階薄くするためのキーである。キー４１２は、コピー処理におけるプリント時の濃度を、スキャンした原稿にあわせて自動的に決定する指示を設定するためのキーである。キー４１３は、コピー処理におけるプリント時の濃度を１段階濃くするためのキーである。

キー４１４は、コピー処理におけるスキャン原稿の種類にあわせた最適なプリント結果を得るための画像処理を行うために、スキャン原稿の種類を設定する画面を表示するためのキーである。

キー４１５は、コピー処理における縮小レイアウトやとじ代設定などスキャン画像の複雑な画像処理を設定するための画面を表示するためのキーである。

キー４１６は、用紙の残量やジョブの保持状態などこの画像処理装置のさまざまな状態を表示するための画面を表示するためのキーである。

ＬＣＤ１１５上に表示されたこれらのソフトウェアキー４０１〜４１６がタッチパネル１１２を介して触れられると、上記したようなそれぞれのキー特有の処理を行う。なお、タッチパネル１１２にユーザが触れることで何らかの操作が可能な領域は、これらのソフトウェアキー４０１〜４１６の部分のみであり、それ以外の領域を触れても何も起こらない。

本実施形態における画像処理装置は例えば、ガイドキー２０９を一定時間以上押しつづけることによりフォーカス表示モードに移行する。また、フォーカス表示モードにおいて再度ガイドキー２０９を一定時間以上押しつづけると通常状態（通常モード）に戻ることができる。このようなモードの移行に係る操作は、専用のキーを使用して行うなど、どのような手段を利用するものであってもかまわないが、ソフトウェアキーではなく、ハードウェアキーや物理的なスイッチを利用した操作が望ましい。

図４Ｂは、フォーカス表示モードにおける操作画面例を示している。同図において、キー４０６は太線の枠による強調表示がなされている。これが現在操作対象となっているキーを表すフォーカスである。このフォーカスの表示は、同図のように枠線表示の形態である必要はなく、何らかのマークや目印をキーの近傍に表示させたり、キーそのものの色を変えたりするなどの表現であってもかまわない。フォーカス表示モードにおいては、フォーカスは、画面に表示されているキーのどれか１つに常に表示される。

フォーカス表示モードにおいて、テンキー２０６は、このフォーカスを移動するためのキーとして使用される。言い換えると、テンキー２０６は、複数のタッチパネルキーから操作対象のタッチパネルキーを選択するためのキーとして使用される。この例では、数字６のキー２０６６がフォーカスを順方向に進めるためのキー、数字４のキー２０６４がフォーカスを逆方向に進めるためのキーとして割り当てられる。また、数字５のキー２０６５がフォーカス表示がされているソフトウェアキーの押下を指示するための確定キーとして割り当てられる。すなわち、キー２０６５は、操作対象として選択されたタッチパネルキーに割り当てられている情報を入力するためのキーということになる。もちろん、フォーカス移動キーと確定キーが同じものでなければ、キーの割り当てはこれ以外の割り当ててもかまわない。

さらに、フォーカス表示モードにおいては、現在フォーカスが表示されているキーや画面の情報に関する説明を音声で読み上げることが好ましい。音声で読み上げる説明文の例は次のようなものである。

「フォーカス表示モードに移行しました。音声ガイドを開始します。」
「数字の４と６でフォーカスを移動します。数字の５で確定します。」
「現在の画面はコピー設定画面です。」
「等倍キーにフォーカスがあります。」
「コピーの倍率を１００％に設定するキーです。」

このように、フォーカス表示モードへの移行、テンキーの割り当ておよび操作方法の説明、現在の画面の情報、現在フォーカスを表示しているキー、フォーカスを持つキーの情報をそれぞれ音声として読み上げる。

図４Ｃは、図４Ｂの状態から数字「６」のキー２０６６を一度押下することによってフォーカスを順方向に進めたときの操作画面例を示している。図４Ｂではキー４０６に表示されていたフォーカスが、キー４０５に移動する。このように、フォーカス順方向移動キー２０６６の押下によって、キー４０２からキー４１６までの、表示画面によって操作可能なキーにフォーカスが移動していく。

各画面において、どのキーにフォーカスが表示されるか、およびフォーカスが表示されるキーのフォーカスが移動する順番は一意に決められている。全てのキーにフォーカスが移動して一巡した場合は、その画面で一番初めにフォーカスを表示したキーにフォーカスが移動する。

逆方向のフォーカス移動キー２０６４は、押下することによってフォーカスが各キーへと次々に移動していくのは同じであるが、移動する順番が順方向のフォーカス移動キー２０６６とは全く逆になる。

よって、図４Ｃに示す操作画面の状態で逆方向のフォーカス移動キー２０６４を押下すると、フォーカスはキー４０５からキー４０６に移動して、図４Ｂの状態に戻ることになる。

逆方向のフォーカス移動キー２０６４も、順方向のフォーカス移動キー２０６６のときと同様に、フォーカス表示が各キーを一巡した場合は、その画面で一番初めにフォーカスを表示していたキーにフォーカスが戻る。

フォーカス移動キーの操作によって、フォーカスが移動した場合も、フォーカスが移動したキーの情報を音声によって読み上げることが好ましい。例えば、図４Ｂの状態から図４Ｃのようにフォーカスが倍率設定画面表示キー４０５に移動した場合には、
「倍率設定画面表示キーです。」
「コピー倍率に関する設定を行う画面を開きます。」
というように、フォーカスが移動したキーについての名称や、そのキーを選択決定したときの動作などに関する説明を音声で読み上げる。

図４Ｄは、図４Ｃの状態から確定キーである数字「５」のキー２０６５を押下した場合の操作画面例を示している。この画面は、タッチパネル１１２を介してソフトウェアキー４０５の領域を触れたときに表示される画面と同じ画面である。つまり、タッチパネル１１２のキー４０５の領域を触れることと、テンキー２０６で実現されるフォーカス移動キーでソフトウェアキー４０５にフォーカスを当てておき、その状態で確定キーを押下することとは、全く同じ操作を行ったことになる。

これにより、ユーザはタッチパネルに触れることなく、テンキー２０６に割り当てられたフォーカス移動と確定操作によって、ＬＣＤ１１５上に表示された操作画面をタッチパネルによる操作と全く同様に操作することが可能になる。

また、これら２種類の操作は排他的な処理ではないため、フォーカス表示モードにおいても、タッチパネルからの操作を有効にしておくことが可能である。

これにより、ユーザはタッチパネルによる直接的な操作と、テンキー２０６からの操作を併用することができ、表示画面によって操作しやすい方法で指示を入力することが可能になる。

また、確定キーによるキー選択確定操作によって表示画面や設定が変更された場合にも、変更された画面や設定に関する情報を音声によって読み上げることが好ましい。例えば、図４Ｃの状態で確定キー２０６５によって確定操作を行い、図４Ｄのような画面が表示されたときは、
「コピー倍率に関する設定画面が開きました。」
「希望する倍率を設定するキーを選択してください。」
「現在８６％に設定するキーにフォーカスがあります。」
「これはＡ３をＢ４に、Ａ４をＢ５に縮小します。」
というように、新たに表示された画面やフォーカスが表示されているキーについて、その画面の内容や設定可能な項目に関する情報を音声によって読み上げる。

このような一連の音声の読み上げとハードウェアキーであるテンキーの操作によって、例えば目の不自由なユーザでも音声ガイドによる聴覚からの情報と、ハードウェアキーであるテンキーによる触覚を頼りとした操作指示入力によって、ＬＣＤに表示されている表示画面の内容を把握し、設定操作を行うことが可能になる。

なお、上記の説明では、通常モードからフォーカス表示モードに移行するために所定のキー操作を行う必要があったが、この装置の起動時にデフォルトでフォーカス表示モードに移行するように設定しておけば、フォーカス表示モードへの移行を意識する必要はなくなる。

図５は、これまで説明した操作画面の表示処理および音声出力処理の実行手順を示すフローチャートである。このフローチャートに対応するプログラムはＨＤＤ１１０に記憶されている制御プログラムに含まれ、この画像処理装置の電源投入後にＲＡＭ１０３にロードされてＣＰＵ１０１によって実行される。

まず、ステップＳ５０１において、入力制御部３０１は、タッチパネル１１２およびハードウェアキー１１３からの指示入力を監視する。

次に、ステップＳ５０２において、タッチパネル１１２およびハードウェアキー１１３からの指示入力があったかどうかを判定する。ステップＳ５０２において、その指示入力がないと判断された場合は、ステップＳ５０１に戻り、指示入力の監視を続ける。他方、その指示入力があったと判断された場合は、ステップＳ５０３に進む。

ステップＳ５０３では、その入力がタッチパネル１１２からの入力なのか、それともハードウェアキー１１３からの入力なのかを判定する。ここでタッチパネル１１２からの入力であると判断した場合は、ステップＳ５１１に進み、通常のタッチパネルからの入力処理を行う。これは、前述したように、画面表示座標データ３０５とタッチパネル１１２からの入力座標とに基づいて、画面表示上のどのキーによる指示入力なのかを判定し、そのキーに割り当てられた処理を行う。その後、ステップＳ５０８の処理に移行する。

一方、ステップＳ５０３において、ハードウェアキー１１３からの入力であると判断した場合は、ステップＳ５０４に進み、現在のモードが通常モードかフォーカス表示モードかを判定する。ここで、現在のモードが通常モードであると判断された場合は、ステップＳ５１０に進み、通常モードにおけるハードウェアキー処理を行う。つまり、ハードウェアキーに本来割り当てられている処理を行う。したがってこの場合、テンキー２０６は本来の、各キーに表示された数値を入力するための処理を行うことになる。ステップＳ５１０の処理の後、ステップＳ５０８に進む。

一方、ステップＳ５０４において、現在のモードがフォーカス表示モードであると判断された場合は、ステップＳ５０５に進み、入力指示されたハードウェアキーがフォーカス移動キーに割り当てられているキーであるかどうかを判定する。ここで、入力指示されたハードウェアキーがフォーカス移動キーに割り当てられているキーであると判断された場合は、ステップＳ５０９に進み、フォーカス移動処理を行う。このフォーカス移動処理については後で詳しく説明する。ステップＳ５０９のフォーカス移動処理を行った後、ステップＳ５１２において、フォーカス移動に係る第１の音声出力処理を行う。この第１の音声出力処理についても後で詳しく説明する。ステップＳ５１２の第１の音声出力処理を完了すると、ステップＳ５０８に進む。

一方、ステップＳ５０５において、入力指示されたハードウェアキーがフォーカス移動キーに割り当てられているキーでないと判断されたときは、ステップＳ５０６に進み、入力指示されたハードウェアキーが確定指示に割り当てられているキーかどうかを判定する。ここで、入力指示されたハードウェアキーが確定指示に割り当てられているキーでないと判断された場合は、ステップＳ５１０に移行し、ハードウェアキーに本来割り当てられている処理をそのまま行う。

他方、ステップＳ５０６において、入力指示されたハードウェアキーが確定指示に割り当てられているキーであると判断された場合は、ステップＳ５０７に移行し、そのキーの押下に応じた処理を行う。これは、現在操作対象として選択されフォーカスされているキーがタッチパネル上で押下操作されたときと同じ処理を行う。具体的には、図４Ｄのようにダイアログを表示したり、何らかの設定値を設定したりする処理を行う。

その後、ステップＳ５１３において、キー選択確定処理に係る第２の音声出力処理を行う。この第２の音声出力処理については後で詳しく説明する。

ステップＳ５１３の第２の音声出力処理が完了すると、ステップＳ５０８において、画面表示の更新処理を行う。これは、各タッチパネル処理やキー処理において、設定値の変更や画面表示の変更があった場合に、それを実際の表示デバイスに反映させる処理を行う。

ステップＳ５０８の処理後、ステップＳ５０１に戻りユーザからの入力の監視を続ける。

図６は、ステップＳ５０９におけるフォーカス移動処理を示すフローチャートである。このフォーカス移動処理は基本的に、フォーカス制御部３０２によって実現される。

まず、ステップＳ６０１において、現在操作対象として選択されフォーカスされているキーを取得する。

次にステップＳ６０２において、フォーカス移動指示が順方向への移動指示か逆方向への移動指示かを判断する。これは、入力指示されたハードウェアキーであるテンキーに順方向と逆方向のどちらが割り当てられているかを判断する。ここで順方向へのハードウェアキー移動指示であると判断された場合は、ステップＳ６０３に進む。

ステップＳ６０３では、現在の画面においてフォーカスが表示されているキーの次にフォーカスを表示するキーが存在するかどうかを判断する。ここで、次にフォーカスを表示するキーがあると判断された場合は、ステップＳ６０４において、次にフォーカスを表示するキーにフォーカスを表示するように画面表示制御部３０４に指示する。

一方、ステップＳ６０３において、次にフォーカスを表示するキーがないと判断された場合は、ステップＳ６０５に進み、現在の画面においてフォーカスが一巡したと判断して、フォーカス表示順の先頭のキーにフォーカスを表示するように画面表示制御部３０４に指示する。さらに、ステップＳ６０６において、キーが順方向に一巡したことをユーザに報知する。これは、ブザーなどの音による報知や画面の瞬間的な色反転などによって行う。もちろん、音声による報知でもかまわないが、その際はステップＳ５１２の処理とあわせて行うことが望ましい。

ステップＳ６０２において、フォーカス移動指示が逆方向への移動指示であると判断された場合は、ステップＳ６０７に進み、現在の画面においてフォーカスが表示されているキーの前にフォーカスを表示するキーが存在するかどうかを判断する。ここで、フォーカスを表示するキーが前にあると判断された場合は、ステップＳ６０８に進み、前にフォーカスを表示するキーにフォーカスを表示するように画面表示制御部３０４に指示する。

一方、ステップＳ６０７において、フォーカスを表示するキーが前にないと判断された場合は、ステップＳ６０９に進み、現在の画面においてフォーカスが逆方向に一巡したと判断して、フォーカス表示順の最後のキーにフォーカスを表示するように画面表示制御部３０４に指示する。さらに、ステップＳ６１０において、キーが逆方向に一巡したことをユーザに報知する。これは、上記したステップＳ６０６と同様にブザーなどの音による報知や画面の瞬間的な色反転、もしくは音声による報知によって行う。

図７は、ステップＳ５１２における第１の音声出力処理を示すフローチャートである。この第１の音声出力処理は基本的に、音声テキストデータ制御部３０７、音声合成発声データ制御部３０８、および音声出力制御部３０９によって実現される。

まず、ステップＳ７０１において、フォーカス移動後のフォーカス取得キーを識別する。

次に、ステップＳ７０２において、そのキーに関連付けられている音声テキストデータ３１２から、キーの名称に関する読み上げテキストデータを選択して、これを音声合成による読み上げを行う。

さらに、ステップＳ７０３において、このキーが有効状態であるか無効状態であるかどうかを判断する。有効状態とは、ユーザからの選択指示を正しく受け取って処理する状態であり、無効状態とは、機器の状態によって、そのキーの選択指示を受け取ることができない状態であり、ユーザからの指示が無視される状態のことである。このステップＳ７０３において、キーが有効状態と判断された場合は、何も処理を行わずにステップＳ７０５に移行する。一方、ステップＳ７０３において、キーが無効状態と判断された場合は、ステップＳ７０４において、現在このキーが無効状態であり、ユーザからの指示を受け付けないことを、音声合成により読み上げる。

次に、ステップＳ７０５において、このキーに関連付けられた説明文が音声テキストデータ３１２として存在するかどうかを判定する。ここでこのキーに関連付けられた説明文が存在しないと判断された場合は、何も処理を行わずに、ステップＳ７０７に移行する。一方、このキーに関連付けられた説明文が存在すると判断された場合は、ステップＳ７０６において、キーに関連付けられた説明文を音声合成により読み上げる。

さらに、ステップＳ７０７において、このキーに関連付けられた何らかの設定値を持つかどうかを判定する。ここで、このキーに関連付けられた設定値は無いと判断された場合は、何も処理を行わずに、この一連の処理を終了する。一方、このキーに関連付けられた設定値が存在すると判断された場合は、ステップＳ７０８において、関連付けられた設定値に関する説明を音声合成により読み上げる。

図８は、ステップＳ５１３における第２の音声出力処理を示すフローチャートである。この第２の音声出力処理も基本的に、音声テキストデータ制御部３０７、音声合成発声データ制御部３０８、および音声出力制御部３０９によって実現される。

まず、ステップＳ８０１において、選択確定されたキーを識別する。

次に、ステップＳ８０２において、選択確定されたキーが有効状態であるか無効状態であるかを判定する。ここで、選択確定されたキーが無効状態であると判断された場合は、ステップＳ８０９に進み、キーが無効状態であり確定操作を受け付けない旨を音声合成により読み上げる。その後、このステップＳ５１３の処理を抜ける。

一方、ステップＳ８０２において、選択確定されたキーが有効状態であると判断された場合は、ステップＳ８０３に進む。

ステップＳ８０３では、このキーの確定処理によって、ダイアログ画面が表示されたかどうかを判定する。このダイアログ画面の表示は、現在のダイアログの上に新たなダイアログ画面が表示された場合や、現在最上面に表示されているダイアログが閉じることで、その下に表示されていたダイアログ画面が操作画面上に再表示される場合も含む。

ステップＳ８０３において、ダイアログが表示されないと判断された場合は、ステップＳ８０７に進み、そのキーの選択確定によって何らかの設定値が変更されたかどうかを判定する。ここで、このキーの選択確定によっても設定値が変更されないと判断された場合は、何も処理を行わずに、このステップＳ５１３の処理を終了する。

一方、ステップＳ８０７において、このキーの選択確定処理によって設定値が変更されたと判断された場合は、変更された設定値を取得し、その取得した設定値に関する情報を音声合成によって読み上げる。

また、ステップＳ８０３において、ダイアログが表示されたと判断された場合は、ステップＳ８０４に進み、表示されたダイアログに関連付けられた名称を取得し、ダイアログ名称を音声として読み上げる。

さらにステップＳ８０５において、表示されるダイアログに関連付けられた説明文が音声テキストデータ３１２として存在するかどうかを判定する。ここで、ダイアログに関連付けられた説明文が無いと判断された場合は、何も処理を行わずに、このステップＳ５１３の処理を終了する。

一方、ステップＳ８０５において、ダイアログに関連付けられた説明文があると判断された場合は、関連付けられたた説明文を取得し、その説明文を音声合成により読み上げる。

以上説明した実施形態によれば、ＬＣＤ１１５によって表示される複数のソフトウェアキー（タッチパネルキー）のうち操作対象とするタッチパネルキーをハードウェアキーの操作によって選択し、別のハードキーの操作によって、その選択されたハードキーの操作を確定することが可能になる。このような操作手法によれば、タッチパネルキーをハードウェアキーを使用して操作することができるため、操作者はハードウェアキーによる操作感を得ることができるので、触感のフィードバックの欠如によって生じていた誤操作を防止することが可能になる。

また、上述の実施形態では、ハードウェアキーによるタッチパネルキーの選択操作などを音声によって報知するようにもしたので、視覚障害者など、指などからの触覚と音声などの聴覚を頼りに操作するユーザも、タッチパネル操作と同様の操作を行うことが可能になる。

（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。その場合、プログラムの機能を有していれば、その形態はプログラムである必要はない。

従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体およびそのプログラムを格納した記憶媒体も本発明を構成することになる。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体、およびそのプログラムを格納した記憶媒体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

Claims (6)

1. 操作者に操作感を与えるように機械的に構成され、所定の文字または記号を入力するためのハードウェアキーと、
   画像を表示する表示装置と、
   前記表示装置の画像表示面に重ねて設けられ、操作者が触れた位置を検出するタッチパネルと、
   前記表示装置に複数の操作キーの画像を表示させると共に、前記タッチパネルを用いてこれら複数の操作キーの画像に対応する領域への接触を検知し、その検知に応じた情報の入力を行うように構成された複数のタッチパネルキーと、
   を備えた情報入力装置であって、
   前記ハードウェアキーに、前記所定の文字または記号を入力する機能に代えて、前記複数のタッチパネルキーの操作を行う機能を割り当てる割当て手段と、
   前記ハードウェアキーに前記複数のタッチパネルキーの操作を行う機能が割り当てられた場合、前記ハードウェアキーの操作に応じて前記複数のタッチパネルキーから操作対象とするタッチパネルキーを選択し確定する選択手段と、
   前記選択手段により選択中のタッチパネルキーおよび操作対象として確定されたタッチパネルキーに関する情報を、音声により操作者に報知する報知手段と、
   前記選択手段により操作対象として確定されたタッチパネルキーに割り当てられた情報を入力する入力手段と、
   を有することを特徴とする情報入力装置。
2. 前記選択手段により選択中のタッチパネルキーを強調表示させる表示制御手段を更に有することを特徴とする請求項１に記載の情報入力装置。
3. 前記ハードウェアキーに前記複数のタッチパネルキーの操作を行う機能が割り当てられている場合であっても、操作者が前記複数のタッチパネルキーのいずれかに触れる操作が許容されることを特徴とする請求項１または２に記載の情報入力装置。
4. 操作者に操作感を与えるように機械的に構成され、所定の文字または記号を入力するためのハードウェアキーと、
   画像を表示する表示装置と、
   前記表示装置の画像表示面に重ねて設けられ、操作者が触れた位置を検出するタッチパネルと、
   前記表示装置に複数の操作キーの画像を表示させると共に、前記タッチパネルを用いてこれら複数の操作キーの画像に対応する領域への接触を検知し、その検知に応じた情報の入力を行うように構成された複数のタッチパネルキーと、
   を備えた情報入力装置の制御方法であって、
   （ａ）前記ハードウェアキーに、前記所定の文字または記号を入力する機能に代えて、前記複数のタッチパネルキーの操作を行う機能を割り当てるステップと、
   （ｂ）ステップ（ａ）で前記ハードウェアキーに前記複数のタッチパネルキーの操作を行う機能が割り当てられた場合、前記ハードウェアキーの操作に応じて前記複数のタッチパネルキーから操作対象とするタッチパネルキーを選択し確定するステップと、
   （ｃ）ステップ（ｂ）において選択中のタッチパネルキーおよび操作対象として確定されたタッチパネルキーに関する情報を、音声により操作者に報知するステップと、
   （ｄ）ステップ（ｂ）で操作対象として確定されたタッチパネルキーに割り当てられた情報を入力するステップと、
   を有することを特徴とする情報入力装置の制御方法。
5. 操作者に操作感を与えるように機械的に構成され、所定の文字または記号を入力するためのハードウェアキーと、
   画像を表示する表示装置と、
   前記表示装置の画像表示面に重ねて設けられ、操作者が触れた位置を検出するタッチパネルと、
   前記表示装置に複数の操作キーの画像を表示させると共に、前記タッチパネルを用いてこれら複数の操作キーの画像に対応する領域への接触を検知し、その検知に応じた情報の入力を行うように構成された複数のタッチパネルキーと、
   を備えた情報入力装置を制御するためのプログラムであって、
   （ａ）前記ハードウェアキーに、前記所定の文字または記号を入力する機能に代えて、前記複数のタッチパネルキーの操作を行う機能を割り当てるステップのコードと、
   （ｂ）ステップ（ａ）で前記ハードウェアキーに前記複数のタッチパネルキーの操作を行う機能が割り当てられた場合、前記ハードウェアキーの操作に応じて前記複数のタッチパネルキーから操作対象とするタッチパネルキーを選択し確定するステップのコードと、
   （ｃ）ステップ（ｂ）において選択中のタッチパネルキーおよび操作対象として確定されたタッチパネルキーに関する情報を、音声により操作者に報知するステップのコードと、
   （ｄ）ステップ（ｂ）で操作対象として確定されたタッチパネルキーに割り当てられた情報を入力するステップのコードと、
   を含むことを特徴とするプログラム。
6. 請求項１から３までのいずれかに記載の情報入力装置を有する画像処理装置。

Images