JP2012150794A - ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラム - Google Patents

Abstract

【課題】機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させてユーザの利便性を向上させること。
【解決手段】ユーザインターフェイス装置は、表示パネルと、表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、操作位置が、表示パネルに表示されている機能ボタンの表示位置であるか否か判断する判断部と、操作位置が機能ボタンの表示位置である場合に、機能ボタンに関連する所定のフィードバックをフィードバック出力部に出力させる制御部と、を備えている。
【選択図】図３

Description

本発明は、ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムに関する。

近時、複合装置等の画像形成装置及びパーソナルコンピュータ、ワードプロセッサ、電子手帳、携帯電話機等の電子情報処理装置においては、入力操作を容易にするために、表示パネルの表面にタッチパネルを重ね合わせ、表示パネルに機能ボタンを表示して、表示されている機能ボタンに対応する位置のタッチパネル上をタッチ操作することにより、該機能ボタンに割り当てられている命令、データの選択及び文字入力等の機能を実行させることのできるタッチパネル付き表示装置がユーザインターフェイス装置として用いられている。

このようなタッチパネル付き表示装置を用いたユーザインターフェイス装置においては、視覚障害者にとっては、表示パネルに表示されている機能ボタンを視覚で確認して操作することができない。

そして、従来、表示部の表示内容と同じ内容を触覚的に認識可能に表示する凹凸表示面を有し該表示部の機能ボタンと同じ機能を有する押しボタンを表示部の周囲に配置した入力装置が提案されている（例えば、特許文献１参照）。

しかしながら、上記従来技術にあっては、表示部の表示内容と同じ内容を触覚的に認識可能に表示する凹凸表示面を有し該表示部の機能ボタンと同じ機能を有する押しボタンを表示部の周囲に配置しているため、機能ボタンが表示部の表示画面一面に並べて表示される場合や操作に応じて表示画面が偏移して機能ボタンの位置が変化する場合には、対応することができず、ユーザに対する利便性が低かった。このため、より一層機能的な画面表示に対して、視覚障害者にとって機能ボタンの位置と機能を適切かつ分かりやすく認識できるようにすることが望まれている。

本発明は、上記に鑑みてなされたものであって、機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させてユーザの利便性を向上させることができるユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムを提供することを主な目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかるユーザインターフェイス装置は、表示パネルと、前記表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、前記表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、前記操作位置が、前記表示パネルに表示されている前記機能ボタンの表示位置であるか否か判断する判断部と、前記操作位置が前記機能ボタンの表示位置である場合に、前記機能ボタンに関連する所定のフィードバックを前記フィードバック出力部に出力させる制御部と、を備えていることを特徴とする。

また、本発明にかかる画像形成装置は、ユーザインターフェイス装置からの入力操作に応じて、被記録媒体に画像形成出力する画像形成装置において、前記ユーザインターフェイス装置として、上記ユーザインターフェイス装置を備えていることを特徴とする。

また、本発明にかかるユーザインターフェイス制御方法は、表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理ステップと、前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理ステップと、前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理ステップと、前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理ステップで出力させる制御処理ステップと、を有することを特徴とする。

本発明によれば、機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができるという効果を奏する。

図１は、本実施例を適用したユーザインターフェイス装置の概略構成図である。 図２は、ユーザインターフェイス装置の制御系のブロック構成図である。 図３は、本実施例のユーザインターフェイス装置の機能的構成を示すブロック図である。 図４は、マルチタッチ操作されている状態の一例を示すユーザインターフェイス装置の平面図である。 図５は、タッチ操作に応じたフィードバック出力制御処理を示すフローチャートである。 図６は、２つ以上のタッチ位置が機能ボタン上であるときのフィードバック出力制御処理を示すフローチャートである。 図７は、右側領域にフィードバック文字列が収まらない場合に下側に文字列を出力する例を示す図である。 図８は、上下左右方向にフィードバック文字列が収まるか判定して収まる方向に文字列を出力する例を示す図である。 図９は、指の移動方向にフィードバック文字列を順次出力する例を示す図である。 図１０は、指の移動方向にフィードバック文字列を出力する際に文字列が収まらずに下側に指が移動した場合の文字列の出力例を示す図である。 図１１は、既出力のフィードバック文字を順次出力する例を示す図である。 図１２は、指の移動方向が出力済みの文字と重なるときのフィードバック文字列の出力例を示す図である。 図１３は、表示可能領域と出力文字数に応じて文字の大きさを変化させてフィードバック文字列を出力する例を示す図である。

以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。なお、以下に述べる実施例は、本発明の好適な実施例であるので、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明によって不当に限定されるものではなく、また、本実施の形態で説明される構成の全てが本発明の必須の構成要件ではない。

図１〜図１３は、本発明のユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法、ユーザインターフェイス制御プログラム及び記録媒体の一実施例を示す図であり、図１は、本発明のユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法、ユーザインターフェイス制御プログラム及び記録媒体の一実施例を適用したユーザインターフェイス装置１の概略斜視図である。

図１において、ユーザインターフェイス装置１は、表示パネル２上に、フィードバックパネル３とタッチパネル４が順次積層された状態で構成されており、例えば、プリンタ装置、複写装置、複合装置等のような画像形成装置等の機器の操作表示部に適用される。特に、画像を形成する画像形成装置の場合、画像形成における設定操作等の入出力操作の行われる操作表示部に適用される。

表示パネル２は、例えば、ＬＣＤ（Liquid Crystal Display）が用いられており、所定の解像度で表示データを表示する。この表示データは、ユーザインターフェイス装置１の適用されている機器の状態や該機器からユーザに通知する各種情報、例えば、操作モードを複数備えているときには、該操作モード毎の操作ガイド情報及び該操作モードで操作する機能ボタンを表示パネル２の全面にわたって適宜の配置で表示する。

フィードバックパネル３は、タッチパネル４の表面をタッチしているユーザの指に対して、所定の触覚を与えるフォースフィードバック（以下、単に「フィードバック」という）を出力するパネルである。フィードバックパネル３としては、圧電素子方式を用いることができる。圧電素子方式は、フィードバックパネル３に多数の圧電素子を配置し、タッチパネル４のタッチした座標位置に応じて圧電素子を振動させる方式である。フィードバックパネル３に圧電素子方式を用いる場合には、例えば、特開２００７−８６９９０号公報に開示されたパネルおよび技術を用いることができる。この他、フィードバックパネル３として、静電気方式等各種方式を採用することができる。本実施例のフィードバックパネル３は、タッチパネル４の表面をタッチしている指に何らかの感触を作用させることで、文字、画像等をユーザに認識させることのできるものであれば、どのような方式のものであってもよい。

タッチパネル４は、抵抗膜方式、静電気方式、圧力センサ方式、画像取得方式、赤外線方式等の種々の方式のタッチパネルを用いることができ、方式は限定されるものではない。

ユーザインターフェイス装置１は、その制御ブロックが図２に示すように構成されており、上記表示パネル２、フィードバックパネル３及びタッチパネル４を備えているとともに、ＣＰＵ（Central Processing Unit ）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、外部Ｉ／Ｆ１４、表示コントローラ１５、フィードバックコントローラ１６及びタッチパネルコントローラ１７等を備えている。

ＲＯＭ１２は、ユーザインターフェイス装置１としての基本プログラム、本発明のユーザインターフェイス制御プログラム等のプログラム及び必要なシステムデータが格納されており、ＲＡＭ１３は、ＣＰＵ１１のワークメモリとして利用される。外部Ｉ／Ｆ１４には、ユーザインターフェイス装置１が適用される画像形成装置等の機器が接続され、外部Ｉ／Ｆ１４は、機器との間でコマンドとデータの授受を行なって、表示情報の入出力、操作データの出力等を行う。

ＣＰＵ（後述する判断部１１ａ、制御部１１ｂとして機能する）１１は、ＲＯＭ１２内のプログラムに基づいて、ＲＡＭ１３をワークメモリとして利用して、外部Ｉ／Ｆ１４から受け取った表示情報の表示コントローラ１５への出力、フィードバックコントローラ１６へのフィードバックデータの出力及びタッチパネルコントローラ１７から受け取ったタッチパネルデータの外部Ｉ／Ｆ１４を介しての機器への出力等を行う。すなわち、ＣＰＵ１１は、ＲＯＭ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory ）、ＣＤ−ＲＷ（Compact Disc Rewritable ）、ＤＶＤ（Digital Versatile Disk）、ＳＤ（Secure Digital）カード、ＭＯ（Magneto-Optical Disc）等のコンピュータが読み取り可能な記録媒体に記録されている本発明のユーザインターフェイス制御方法を実行するユーザインターフェイス制御プログラムを読み込んでＲＯＭ１２に導入することで、後述する視覚異常者にとっても機能ボタンを確認しやすく操作しやすいユーザインターフェイス制御方法を実行するユーザインターフェイス装置１として構築されている。このユーザインターフェイス制御プログラムは、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等のレガシープログラミング言語やオブジェクト指向ブログラミング言語等で記述されたコンピュータ実行可能なプログラムであり、上記記録媒体に格納して頒布することができる。

表示コントローラ１５は、ＣＰＵ１１の制御下で、ＣＰＵ１１から表示データを受け取って、該表示データを表示パネル２の指定の位置に表示出力させる。

フィードバックコントローラ１５は、ＣＰＵ１１からフィードバックデータを受け取って、ＣＰＵ１１の制御下で、該フィードバックを、フィードバックパネル３のＣＰＵ１１から指定される位置に出力する。このフィードバックローラ１５によるフィードバックは、例えば、電気刺激、振動刺激等によって点字文字をタッチパネル４にタッチしている指に付与するものである。上記フィードバックパネル３及びフィードバックコントローラ１５は、全体としてフィードバック出力部として機能している。

タッチパネルコントローラ１７は、タッチパネル４上におけるユーザの指のタッチ操作を検出して、検出した座標位置（操作位置）をＣＰＵ１１に出力する。このタッチパネルコントローラ１７は、タッチパネル４上における複数箇所の同時タッチ操作を検出する機能、すなわち、マルチタッチ検出機能を備えており、マルチタッチ操作の検出結果をＣＰＵ１１に出力する。上記タッチパネル４及びタッチパネルコントローラ１７は、全体として、操作位置検出部として機能している。

ＣＰＵ１１は、ＲＡＭ１３に表示パネル２への情報や機能ボタン等の表示データの表示位置データをＲＡＭ１３に格納しており、タッチパネルコントローラ１７から取得したマルチタッチの表示位置とＲＡＭ１３の表示一データを照らし合わせて、機能ボタンへのタッチが行われているか否か等のタッチ操作内容の確認を行う。

次に、本実施例のユーザインターフェイス装置１の機能的構成について説明する。図３は、本実施例のユーザインターフェイス装置１の機能的構成を示すブロック図である。本実施例のユーザインターフェイス装置１は、図３に示すように、上述したタッチパネル４、タッチパネルコントローラ１７、表示パネル２、表示コントローラ１５、フィードバックパネル３、フィードバックコントローラ１６の他、判断部１１ａと、制御部１１ｂとを備えている。

判断部１１ａと、制御部１１ｂは、ＲＯＭ１２に記憶されてるユーザインターフェイス制御プログラムのモジュール構成であり、ＣＰＵ１１がＲＯＭ１２からユーザインターフェイス制御ムを読み出して実行することにより、判断部１１ａと、制御部１１ｂがＲＡＭ１３上に生成されるようになっている。

判断部１１ａは、ユーザの操作が行われた座標位置（操作位置）が、表示パネル２に表示されている機能ボタンの表示位置であるか否か判断する。

より具体的には、判断部１１ａは、操作位置として複数の操作位置が検出された場合に、複数の操作位置のうち、少なくとも１つの操作位置が機能ボタンの表示位置であるか否かを判断する。また、判断部１１ａは、複数の操作位置の全てが機能ボタンの表示位置であるか否かを判断する。さらに、判断部１１ａは、出力方向に全ての記号文字列の出力を行うスペースの有無を判断する。

制御部１１ｂは、判断部１１ａによって、座標位置（操作位置）が機能ボタンの表示位置であると判断された場合に、機能ボタンに関連する所定のフィードバックを、フィードバックコントローラ１６及びフィードバックパネル３に出力させる。

より具体的には、制御部１１ｂは、判断部１１ａによって、ユーザによる複数の操作位置のうち、少なくとも１つの操作位置が機能ボタンの表示位置であると判断された場合に、フィードバックコントローラ１６及びフィードバックパネル３に、当該操作位置に、操作位置が機能ボタンであることを示すフィードバックを出力させるとともに、他の操作位置に当該機能ボタンの機能内容を示す情報のフィードバックを出力させる。

操作位置が機能ボタンであることを示すフィードバックとしては、例えば、機能ボタンの領域を振動させることにより、機能ボタンを押下している触覚をユーザの指に与えること等があげられる。また、機能ボタンの機能内容を示す情報のフィードバックとしては、例えば、機能ボタンの機能内容を点字で表して振動させること等があげられる。

また、制御部１１ｂは、判断部１１ａによって、ユーザによる複数の操作位置の全てが機能ボタンの表示位置であると判断された場合に、フィードバックコントローラ１６及びフィードバックパネル３に、最初に操作された操作位置に当該操作位置が機能ボタンであることを示すフィードバックを出力させる。

また、制御部１１ｂは、フィードバックコントローラ１６及びフィードバックパネル３に、機能ボタンの機能内容を示す情報として、当該機能内容を示す記号文字列を操作位置を起点として任意の方向に配列して出力させ、出力方向に全ての記号文字列の出力を行うスペースが無い場合には、フィードバックコントローラ１６及びフィードバックパネル３に、全ての記号文字列の出力が可能な方向に出力方向を変更して当該記号文字列を出力させる。

また、制御部１１ｂは、機能ボタンの機能内容を示す記号文字列を出力する操作位置が任意の方向になぞって移動されたことを検出された場合に、フィードバックコントローラ１６及びフィードバックパネル３に、当該操作位置の移動に応じて該記号文字列を順次出力させる。

また、制御部１１ｂは、フィードバックコントローラ１６及びフィードバックパネル３に、操作位置の移動に応じて順次出力させた記号文字列を所定の消去条件に基づいて消去させる。また、制御部１１ｂは、記号文字列の総出力文字数、出力後の経過時間、操作位置の既出力の該記号文字列との重なりを、上記消去条件として既出力の該記号文字列を消去させる。

さらに、制御部１１ｂは、操作位置の移動に応じて出力させた記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻る場合に、フィードバックコントローラ１６及びフィードバックパネル３に、当該操作位置に再度消去した記号文字列を出力させる。

加えて、制御部１１ｂは、記号文字列の出力を開始する操作位置から当該記号文字列の出力方向のスペースの大きさに合わせて、当該記号文字列の大きさを変更して当該記号文字列を出力させる。

次に、本実施例の作用について説明する。本実施例のユーザインターフェイス装置１は、タッチパネル４上へのタッチ操作に対して、機能ボタンの案内情報を適切に出力する。

すなわち、ユーザインターフェイス装置１は、図４に示すように、ＣＰＵ１１が、表示コントローラ１５を介して表示パネル２に、機能ボタン及びその他の表示情報を表示している状態で、制御部１１ｂ（ＣＰＵ１１）が、図５に示すタッチ操作に応じたフィードバック出力処理を行う。すなわち、判断部１１ａ（ＣＰＵ１１）は、図５に示すように、タッチパネルコントローラ１７からのタッチ操作の検出結果を取得して、タッチパネル４にユーザによって指が触れられているか（タッチ操作されているか）チェックし（ステップＳ１０１）、タッチ操作されると、タッチ操作された１つまたは複数の指の触れている点の座標を検出する（ステップＳ１０２）。

判断部１１ａ（ＣＰＵ１１）は、タッチ位置の座標を検出すると、２つ以上の位置に指が触れているか判別し（ステップＳ１０３）、１つの位置にのみ指が触れているときには、機能ボタン上に指が触れているかチェックする（ステップＳ１０４）。

ステップＳ１０４で、機能ボタン上に指が触れていないときには、制御部１１ｂ（ＣＰＵ１１）は、フィードバックパネル３によるフィードバックを行うこと無く、ステップＳ１０１に戻って、タッチパネル４に指が触れられているかのチェックから上記同様の処理を繰り返し行う（ステップＳ１０１〜Ｓ１０４）。

ステップＳ１０４で、機能ボタン上に指が触れていると、例えば、図４に示すように、スキャナ機能ボタン上に指が触れていると、制御部１１ｂ（ＣＰＵ１１）は、タッチ位置が機能ボタンの位置であることを示すフィードバックデータをフィードバックコントローラ１６に出力し、フィードバックコントローラ１５が、フィードバックパネル３のタッチ位置に対応する位置に、機能ボタンであることを示すフィードバックを発生させて（ステップＳ１０５）、ステップＳ１０１に戻る。

ステップＳ１０３で、タッチパネル４上の２つ以上の位置に指が触れているときには、判断部１１ａ（ＣＰＵ１１）は、機能ボタン上に指が触れているか、すなわち、タッチ位置が機能ボタンの位置であるかチェックし（ステップＳ１０６）、機能ボタン上に指が触れていないときには、フィードバックパネル３によるフィードバックを行うこと無く、ステップＳ１０１に戻って、タッチパネル４に指が触れられているかのチェックから上記同様の処理を繰り返し行う（ステップＳ１０１〜Ｓ１０６）。

ステップＳ１０６で、機能ボタン上に指が触れているときには、判断部１１ａ（ＣＰＵ１１）は、２つ以上の機能ボタン上に指が触れているかチェックし（ステップＳ１０７）、１つの指のみが機能ボタン上に触れていて、他の指は機能ボタン上から外れた位置に触れているときには、制御部１１ｂは、機能ボタンに触れている方の指に対して機能ボタンであることを示すフィードバックを、他の指に対して、触れている機能ボタンの機能の内容を示すフィードバックを行って（ステップＳ１０８）、ステップＳ１０１に戻る。例えば、図４に示したように、１つの指が機能ボタンとしてのスキャナボタンに触れており、他の指が機能ボタン以外の領域のタッチパネル４に触れているときには、制御部１１ｂ（ＣＰＵ１１）は、フィードバックコントローラ１６を介して、１つの指が触れているスキャナボタンに対応する位置で、フィードバックパネル３に、タッチ位置が機能ボタン位置である旨を通知するフィードバックを発生させ、他の指が触れている機能ボタン以外の領域に対応する位置において、フィードバックコントローラ１６を介して、触れている機能ボタンがスキャナボタンであることを通知するフィードバックを行わせる。

ここで、タッチ位置が機能ボタン位置である旨を通知するフィードバックとしては、例えば、機能ボタンの領域を振動させることにより、機能ボタンを押下している触覚をユーザの指に与えること等があげられる。

また、制御部１１ｂ（ＣＰＵ１１）は、触れている機能ボタンの機能の内容を通知するフィードバック方法としては、例えば、フィードバックパネル３に該機能ボタンの機能の内容を示す点字（例えば、図４の場合、スキャナの点字）等の記号文字列をフィードバックさせる。

そして、ステップＳ１０７で、２つ以上の指が機能ボタンに触れていると、制御部１１ｂ（ＣＰＵ１１）は、フィードバックコントローラ１６を介して、機能ボタンに触れている２つ以上の指が触れている位置に機能ボタンであることを示すフィードバックを行って（ステップＳ１０９）、ステップＳ１０１に戻る。

そして、判断部１１ａ（ＣＰＵ１１）は、タッチパネル４の機能ボタンに触れている指がタッチパネル４の機能ボタン位置から離されると、該機能ボタンのボタン操作が行われたと判断する。なお、この機能ボタンのボタン操作の判断は、機能ボタン位置から指が離れることによって判断する以外に、例えば、該機能ボタンのダブルタッチ操作等によってボタン操作であると判断してもよい。

なお、上記説明においては、タッチパネル４上の２つ以上の位置に触れている指が全て機能ボタン上であると、各指の触れている位置が機能ボタンである旨のフィードバックを行っているが、フィードバックの方法としては、上記の内容に限るものではなく、例えば、図６に示すように、タッチパネル４上の機能ボタンに１つの指が触れたまま、別の指で任意の場所を触れた場合、別の指のタッチ位置が機能ボタンの位置であっても、上記１つの指が位置している機能ボタンの機能の内容を示す点字等の記号文字列のフィードバックを行うようにしてもよい。

すなわち、図６において、判断部１１ａ（ＣＰＵ１１）は、タッチパネル４に指が触れているか、すなわち、タッチ操作されているかチェックし（ステップＳ２０１）、タッチパネル４に指が触れていないときには、制御部１１ｂ（ＣＰＵ１１）は、変数（レジスタ等に格納されている）に格納されている機能ボタンの識別情報を削除して（ステップＳ２０２）、ステップＳ２０１に戻る。

ステップＳ２０１で、タッチパネル４に指が触れられていると、１つまたは複数の指の指が触れられている点の座標位置を検出し（ステップＳ２０３）、判断部１１ａ（ＣＰＵ１１）は、タッチパネル４上の２つ以上の位置に指が触れているかチェックする（ステップＳ２０４）。

ステップＳ２０４で、タッチパネル４上の１点にのみ指が触れられているときには、判断部１１ａ（ＣＰＵ１１）は、機能ボタン上に指が触れられているかチェックし（ステップＳ２０５）、機能ボタン上に触れられていないときには、制御部１１ｂ（ＣＰＵ１１）は、変数に格納されている機能ボタンの識別情報を削除して（ステップＳ２０２）、ステップＳ２０１に戻って、上記同様に処理を行う（ステップＳ２０１〜Ｓ２０５）。

ステップＳ２０５で、機能ボタン上に指が触れられているときには、制御部１１ｂ（ＣＰＵ１１）は、変数に現在触れられている機能ボタンの識別情報を格納し（ステップＳ２０６）、フィードバックコントローラ１６を介して、触れられている位置に、該位置が機能ボタンであることを通知するフィードバックを行わせて（ステップＳ２０７）、ステップＳ２０１に戻る。

ステップＳ２０４で、タッチパネル４上の２点以上に指が触れられていると、判断部１１ａ（ＣＰＵ１１）は、機能ボタン上に指が触れられているかチェックし（ステップＳ２０８）、機能ボタン上に指が触れられていないときには、制御部１１ｂ（ＣＰＵ１１）は、変数に格納されている機能ボタンの識別情報を削除して（ステップＳ２０９）、ステップＳ２０１に戻って、上記同様に処理を行う（ステップＳ２０１〜Ｓ２０９）。

ステップＳ２０８で、機能ボタン上に指が触れられているときには、制御部１１ｂ（ＣＰＵ１１）は、変数に格納されている識別情報の機能ボタンと同じ機能ボタンであることを通知するためのフィードバックを、フィードバックコントローラ１６を介してフィードバックパネル３に行わせるとともに、他方の指の触れられている位置（タッチ位置）に対応するフィードバックパネル３において、変数に格納されている識別情報の機能ボタンに割り付けられている機能の内容を、点字等の記号文字列によって通知するフィードバックを行わせる（ステップＳ２１０）。

そして、上記機能ボタンの機能の内容のフィードバック方式として、点字等による文字情報を用いる場合、種々の方式を用いることができる。例えば、制御部１１ｂ（ＣＰＵ１１）は、点字を出力する際、点字出力側の指の位置から、点字の文字列方向を上下左右の方向を自動判断して、その判断に基づいて文字列方向を決定して、フィードバックコントローラ１６を介してフィードバックパネル３からフィードバック出力を行わせる。

このフィードバック出力を行う場合、判断部１１ａ（ＣＰＵ１１）は、上下左右方向に優先順位を設けておいて、例えば、優先順位が、右、下、左、上の順であった場合、図７に示すように、右側の表示パネル２の領域に、フィードバックする文字が収まるか否か判断して、文字が収まらないと判断すると、制御部１１ｂ（ＣＰＵ）１１）は、下方向へフィードバック文字列のフィードバック出力を行う。

また、この場合、図８に示すように、判断部１１ａ（ＣＰＵ１１）は、上下左右の全ての方向で、表示パネル２の領域に、フィードバックする文字が収まるか否か判断して、制御部１１ｂ（ＣＰＵ１１）は、文字が収まらない方向へのフィードバック出力を禁止し、文字列が収まる方向のうち適宜の方向または収まる方向全てに対してフィードバック文字列のフィードバック出力を行う。図８の場合、制御部１１ｂ（ＣＰＵ１１）は、上方向及び右方向については、文字列が収まらないため、フィードバックを禁止し、下方向及び左方向については、文字列が収まるため、フィードバックを許可する。

さらに、フィードバック文字列のフィードバック出力を行う場合、制御部１１ｂ（ＣＰＵ１１）は、フィードバック文字列の出力方向としては、上下左右に限るものではなく、斜め方向も含めて、３６０度全ての方向へ出力可能としてもよい。

また、フィードバック文字列のフィードバック出力を行う場合、制御部１１ｂ（ＣＰＵ１１）は、図９に示すように、タッチパネル４上の指が触れている位置を起点として、指が動いた方向を検知して、該指の動いた方向にフィードバック文字列を順次フィードバック出力してもよい。なお、図９において、矢印は、指の移動方向を示している。この場合、フィードバック文字列がタッチパネル４の表示領域に全て出力しきれないときには、制御部１１ｂ（ＣＰＵ１１）は、図１０に示すように、指の上下等への動きに合わせてフィードバック文字列をフィードバック出力する。

さらに、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部１１ｂ（ＣＰＵ１１）は、図１１に示すように、所定の消去条件に基づいて、既に出力したフィードバック文字列を消去してもよい。この消去条件としては、例えば、出力文字数の最大値を設定、例えば、１０文字と設定して、１０文字を超えると、最初に出力した文字から順次消去し、また、出力時間を設定、例えば、５秒と設定して、文字を出力してから出力時間が経過した文字から順次消去する。なお、図１１において、矢印は、指の移動方向を示している。

この場合、制御部１１ｂ（ＣＰＵ１１）は、前に出力されたフィードバック文字列（点字等）を読み取るために、出力されているフィードバック文字（点字等）をなぞって逆方向へ戻る操作が行われて、既に消去したフィードバック文字上に指が移動すると、再度、フィードバック文字をフィードバック出力させてもよい。

また、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部１１ｂ（ＣＰＵ１１）は、図１２に示すように、指の移動方向が変化して既に出力したフィードバック文字と重なると、該重なった出力済みフィードバック文字を消去して、出力順において該位置に出力すべきフィードバック文字を出力してもよい。なお、この場合、指の移動がフィードバック文字列上を逆戻りして、既に消去された文字上に移動すると、再度、フィードバック文字を出力するようにしてもよい。なお、図１２において、矢印は、指の移動方向を示している。

さらに、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部１１ｂ（ＣＰＵ１１）は、図１３に示すように、指の移動方向に対して表示パネル２の空き領域の大きさと出力するフィードバック文字列の文字数に基づいて、出力する文字の大きさを変化させてもよい。図１３においては、上側の「スキャナ」は、指の移動方向である右側の空き領域が大きいため、空き領域の大きさに応じた大きい文字が出力され、下側の「スキャナ」は、指の移動方向である右側の空き領域が小さいため、空き領域の大きさに応じた小さい文字が出力されている。

このように、本実施例のユーザインターフェイス装置１は、種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル４に対する表面近傍または接触した状態での操作を、タッチパネル４及びタッチパネルコントローラ１７によって検出し、制御部１１ｂ（ＣＰＵ１１）が、該操作位置を取得して、表示パネル２への操作に対して該操作位置に関連する所定のフィードバックを出力する場合に、該操作位置が表示パネル２に表示されている機能ボタンの表示位置であるか否かを判断して、該操作位置が機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを、フィードバックパネル３及びフィードバックコントローラ１６によって出力している。

したがって、表示パネル２への機能ボタンの表示位置に制約されることなく、視覚異常者に対しても、機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

また、本実施例のユーザインターフェイス装置１は、制御部１１ｂ（ＣＰＵ１１）が、タッチパネル４とタッチパネルコントローラ１７によって操作位置として複数の操作位置が検出され、複数の該操作位置のうち、少なくとも１つの操作位置が表示パネル２の機能ボタンの表示位置であると、該操作位置に該操作位置が機能ボタンであることを示す情報のフィードバックを出力するとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力している。

したがって、マルチタッチ操作によって機能ボタン位置と機能ボタン位置以外の位置がタッチ操作されると、機能ボタン位置のタッチ位置に機能ボタンであることが分かるようにすることができるとともに、機能ボタン以外のタッチ位置に機能ボタンの機能内容が分かるようにフィードバックすることができ、表示パネル２への機能ボタンの表示位置に制約されることなく、視覚異常者に対して、機能ボタンの位置や機能をより一層適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

さらに、本実施例のユーザインターフェイス装置１は、制御部１１ｂ（ＣＰＵ１１）が、タッチパネル４とタッチパネルコントローラ１７によって操作位置として複数の操作位置が検出され、複数の該操作位置の全てが表示パネル２における機能ボタンの表示位置であると、フィードバックコントローラ１６及びフィードバックパネル３によって、複数の該操作位置のうち最初に操作された操作位置に該操作位置が機能ボタンであることを示す情報のフィードバックを出力させるとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力させている。

したがって、タッチパネル４上の機能ボタン位置に１つの指で触れたまま、別の指で任意の場所を触った場合、別の指で触った位置が別の機能ボタン上であっても、最初に触れた機能ボタンの機能内容を後で触った指にフィードバックすることができ、最初に触った機能ボタンの機能内容を機能ボタン以外の領域を探すことなく、タッチパネル４の別な位置を触ることで、最初の指で触った機能ボタンの機能の内容をフィードバックして、利用性を向上させつつ、機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

また、本実施例のユーザインターフェイス装置１は、フィードバックパネル３及びフィードバックコントローラ１６によって、フィードバックとして点字等の記号文字を出力している。

したがって、色覚異常者が熟知していることの多い点字等によって、機能ボタンであるか否かや機能ボタンの機能内容をフィードバックすることができ、利用性をより一層向上させることができる。

さらに、本実施例のユーザインターフェイス装置１は、ＣＰＵ１１が、フィードバックパネル３及びフィードバックコントローラ１６に、機能ボタンの機能内容を示す情報として、該機能内容を示す点字等の記号文字列を、操作位置を起点として任意の方向に配列して出力させるとともに、該出力方向に全ての該記号文字列の出力を行うスペースが無いときには、全ての該記号文字列の出力が可能な方向に出力方向を変更して該記号文字列を出力させている。

したがって、機能ボタンの機能内容を示す記号文字列を途中で切れることなく、全て適切に出力することができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

また、本実施例のユーザインターフェイス装置１は、制御部１１ｂ（ＣＰＵ１１）が、機能ボタンの機能内容を示す点字等の記号文字列を出力する操作位置が任意の方向になぞって移動されたことを、タッチパネル４及びタッチパネルコントローラ１７が検出すると、フィードバックパネル３及びフィードバックコントローラ１６に、該操作位置の移動に応じて該記号文字列を順次出力させている。

したがって、タッチパネル４上に点字等の記号文字列を全て出力するスペースがない場合でも、指の移動する方向に文字を順次出力させることができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

さらに、本実施例のユーザインターフェイス装置１は、制御部１１ｂ（ＣＰＵ１１）が、フィードバックパネル３及びフィードバックコントローラ１６に、操作位置の移動に応じて順次出力させた点字等の記号文字列を所定の消去条件に基づいて消去させている。

したがって、出力する点字等の記号文字列の文字数が長い場合、利用者が最後まで読むために指を移動しつづけていると、既に出力された記号文字によってスペースが無くなることを防止して、利用性を向上させつつ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

また、本実施例のユーザインターフェイス装置１は、制御部１１ｂ（ＣＰＵ１１）が、記号文字列の総出力文字数、出力後の経過時間、前記操作位置の既出力の該記号文字列との重なりを、消去条件として既出力の該記号文字列を消去させている。

したがって、不必要な記号文字列を消去して、適切かつ安価に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

さらに、本実施例のユーザインターフェイス装置１は、制御部１１ｂ（ＣＰＵ１１）が、操作位置の移動に応じて出力させた記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻ると、フィードバックパネル３及びフィードバックコントローラ１６に、該操作位置に再度消去した記号文字列を出力させている。

したがって、一度消去しても、利用者の知りたい記号文字列を適切に出力することができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

また、本実施例のユーザインターフェイス装置１は、制御部１１ｂ（ＣＰＵ１１）が、記号文字列の出力を開始する操作位置から該記号文字列の出力方向のスペースの大きさに合わせて、該記号文字列の大きさを変更して該記号文字列を出力させている。

したがって、出力する記号文字列の長さと出力スペースに応じて、記号文字列の大きさを変化させることができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。

以上、本発明者によってなされた発明を好適な実施例に基づき具体的に説明したが、本発明は上記実施例で説明したものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、色覚異常者にとっても、また色覚異常者でない人にとっても機能ボタンの識別を適切かつ容易に行うことのできるタッチパネル付き表示パネルを備えたユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムに利用することができる。

１ ユーザインターフェイス装置
２ 表示パネル
３ フィードバックパネル
４ タッチパネル
１１ ＣＰＵ
１１ａ 判断部
１１ｂ 制御部
１２ ＲＯＭ
１３ ＲＡＭ
１４ 外部Ｉ／Ｆ
１５ 表示コントローラ
１６ フィードバックコントローラ
１７ タッチパネルコントローラ

特開２００４−２６５０３５号公報

Claims (14)

1. 表示パネルと、
   前記表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、
   前記表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、
   ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、
   前記操作位置が、前記表示パネルに表示されている前記機能ボタンの表示位置であるか否か判断する判断部と、
   前記操作位置が前記機能ボタンの表示位置である場合に、前記機能ボタンに関連する所定のフィードバックを前記フィードバック出力部に出力させる制御部と、
   を備えていることを特徴とするユーザインターフェイス装置。
2. 前記判断部は、前記操作位置検出部が前記操作位置として複数の操作位置を検出した場合に、前記複数の操作位置のうち、少なくとも１つの操作位置が前記機能ボタンの表示位置であるか否かを判断し、
   前記制御部は、前記複数の操作位置のうち、少なくとも１つの操作位置が前記機能ボタンの表示位置である場合に、前記フィードバック出力部に、前記操作位置に、前記操作位置が機能ボタンであることを示すフィードバックを出力させるとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力させること、
   を特徴とする請求項１記載のユーザインターフェイス装置。
3. 前記判断部は、前記複数の操作位置の全てが前記機能ボタンの表示位置であるか否かを判断し、
   前記制御部は、前記複数の操作位置の全てが前記機能ボタンの表示位置である場合に、前記フィードバック出力部に、最初に操作された操作位置に該操作位置が機能ボタンであることを示すフィードバックを出力させること、
   を特徴とする請求項２記載のユーザインターフェイス装置。
4. 前記フィードバック出力部は、前記フィードバックとして、点字による記号文字を出力すること、
   を特徴とする請求項１に記載のユーザインターフェイス装置。
5. 前記制御部は、前記フィードバック出力部に、前記機能ボタンの機能内容を示す情報として、該機能内容を示す記号文字列を前記操作位置を起点として任意の方向に配列して出力させ、
   前記判断部は、前記出力方向に全ての該記号文字列の出力を行うスペースの有無を判断し、
   前記制御部は、前記出力方向に全ての該記号文字列の出力を行うスペースが無い場合には、前記フィードバック出力部に、全ての該記号文字列の出力が可能な方向に出力方向を変更して該記号文字列を出力させること、
   を特徴とする請求項４記載のユーザインターフェイス装置。
6. 前記制御部は、前記操作位置検出部により、前記機能ボタンの機能内容を示す前記記号文字列を出力する前記操作位置が任意の方向になぞって移動されたことを検出された場合に、前記フィードバック出力部に、該操作位置の移動に応じて該記号文字列を順次出力させること、
   を特徴とする請求項４記載のユーザインターフェイス装置。
7. 前記制御部は、前記フィードバック出力部に、前記操作位置の移動に応じて順次出力させた前記記号文字列を所定の消去条件に基づいて消去させること、
   を特徴とする請求項６記載のユーザインターフェイス装置。
8. 前記制御部は、前記記号文字列の総出力文字数、出力後の経過時間、前記操作位置の既出力の該記号文字列との重なりを前記消去条件として既出力の該記号文字列を消去させること、
   を特徴とする請求項７記載のユーザインターフェイス装置。
9. 前記制御部は、前記操作位置の移動に応じて出力させた前記記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻る場合に、前記フィードバック出力部に、該操作位置に再度消去した記号文字列を出力させること、
   を特徴とする請求項７または請求項８記載のユーザインターフェイス装置。
10. 前記制御部は、前記記号文字列の出力を開始する前記操作位置から該記号文字列の出力方向のスペースの大きさに合わせて、該記号文字列の大きさを変更して該記号文字列を出力させること、
    を特徴とする請求項３から請求項９のいずれかに記載のユーザインターフェイス装置。
11. 前記フィードバック出力部は、前記フィードバックとして、前記機能ボタンを押下している触覚を出力すること、
    を特徴とする請求項１に記載のユーザインターフェイス装置。
12. ユーザインターフェイス装置からの入力操作に応じて、被記録媒体に画像形成出力する画像形成装置において、前記ユーザインターフェイス装置として、請求項１から請求項１１のいずれかに記載のユーザインターフェイス装置を備えていること、
    を特徴とする画像形成装置。
13. 表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理ステップと、
    前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理ステップと、
    前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理ステップと、
    前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理ステップで出力させる制御処理ステップと、
    を有することを特徴とするユーザインターフェイス制御方法。
14. コンピュータに、
    表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理と、
    前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理と、
    前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理と、
    前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理で出力させる制御処理と、
    を実行させることを特徴とするプログラム。

Images