JP2016081140A - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】 サーバから取得した操作画面に係る音声出力を実現するための技術を提供すること。
【解決手段】 複数のコンポーネントを含む操作画面のデータをサーバから受信し、該受信したデータに基づいて該操作画面を表示する。ユーザによる操作に応じて、複数のコンポーネントのうち何れか１つにフォーカスを移動させる。フォーカスが移動した先のコンポーネントと関連づけて上記データで定義されている音声出力内容を取得し、該取得した音声出力内容に基づいて音声出力を行う。
【選択図】 図１

Description

本発明は、サーバから取得した操作画面を表示可能な画像処理装置、画像処理装置の制御方法、及びプログラムに関するものである。

近年、パーソナルコンピュータ（ＰＣ）での文字入力や、カーナビゲーションシステムやスマートフォンでの情報検索、ファクシミリでの音声ガイダンス等のあらゆる場面において、音声合成を利用して操作をサポートするシステムが検討されている。それらは、目の不自由なユーザや年配のユーザを含むあらゆるユーザを対象とするものである。

ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）に対してもその操作をサポートするために、音声合成を用いた操作説明を行う装置も検討されている。具体的には、ＭＦＰの操作部にあるテンキーを操作することで、操作画面内にある各種ボタンへのフォーカスを移動させ、フォーカスが当たった部分の読み上げを行う、というものである（特許文献１）。

一方、ＰＣなどの情報処理装置がネットワーク上のＷｅｂサーバに接続され、Ｗｅｂサーバにより提供される操作画面を、情報処理装置が備えるＷｅｂブラウザ上に表示することが知られている。

この場合、まず情報処理装置のＷｅｂブラウザが、Ｗｅｂサーバに対して操作画面を要求（リクエスト）する。そして、Ｗｅｂサーバ上のＷｅｂアプリケーションが情報処理装置からの要求に応えて、Ｗｅｂブラウザに操作画面を表示させるためのＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データを情報処理装置に応答（レスポンス）する。情報処理装置のＷｅｂブラウザは、受信したＨＴＭＬデータを解析し、ＨＴＭＬデータの記述に基づいた操作画面を表示する。

更に、Ｗｅｂブラウザに表示された操作画面を介してユーザが指示を入力すると、入力された指示をＷｅｂブラウザがＷｅｂサーバに対して通知する。そして、この通知を受けたＷｅｂサーバ上のＷｅｂアプリケーションは、入力された指示に従って処理を実行する。

ＭＦＰの中にも、上述したようなＷｅｂブラウザを備えているものがある。このようなＭＦＰは、上述した手順を用いてＷｅｂサーバにより提供される操作画面をＭＦＰのＷｅｂブラウザに表示し、ユーザからの各種指示を受け付ける。そして、ＭＦＰが備える各機能を利用するための指示を入力する操作画面をＷｅｂサーバが提供し、ユーザがＷｅｂブラウザ上に表示された操作画面を介して、ＭＦＰに対する指示を入力するシステムも考えられている。

ところで、ＰＣ上でのＷｅｂブラウザにおいては、目の不自由なユーザのアクセシビリティを向上させるためのツールとして、スクリーンリーダと呼ばれるソフトウェアが提供されている（特許文献２）。スクリーンリーダは、表示文書の内容を音声によって出力する（すなわち、表示内容を読み上げる）。したがって、目の不自由なユーザは、スクリーンリーダによって読み上げられた音声に基づいて、独力でアプリケーション等の操作が可能であるとされている。

ＭＦＰ上のＷｅｂブラウザで表示される表示文書においては、スクリーンリーダによって読み上げられる内容は、表示文書に含まれるＨＴＭＬタグ等もそのまま読み上げるため煩雑となり、ユーザが該表示文書の内容を把握するのが困難である場合もあった。そのため特許文献３のような技術では、説明文章を別途用意し、それを読み上げることで、Ｗｅｂページの表示内容の音声出力による理解を容易化できるようにしている。

特開２００６−３１２７３号公報 特開２００５−１０９９２号公報 特開２００８−２１１０８号公報

特許文献１のように、ＭＦＰでは、テンキーを利用した操作が実現されている。一方、ＰＣ上のＷｅｂブラウザでは、スクリーンリーダのように音声による読み上げは実現されているが、ＭＦＰ上でのアプリケーションの操作を伴うＷｅｂブラウザに対しては適していない。また、ＭＦＰ上のＷｅｂブラウザでテンキーなどの操作に対応した音声読み上げは実現されていない。このため、ＭＦＰのユーザにとっては、音声読み上げに対応したアプリケーションと、Ｗｅｂブラウザを経由して操作するアプリケーションの操作に差があり、使い勝手の面で課題がある。またユーザにとっては、操作の差によって混乱を招くことになっていた。

本発明はこのような課題に鑑みてなされたものであり、サーバから取得した操作画面に係る音声出力を実現するための技術を提供する。

本発明の一様態は、複数のコンポーネントを含む操作画面のデータをサーバから受信し、該受信したデータに基づいて該操作画面を表示する画像処理装置であって、ユーザによる操作に応じて、前記複数のコンポーネントのうち何れか１つにフォーカスを移動させる移動手段と、前記移動手段によりフォーカスが移動した先のコンポーネントと関連づけて前記データで定義されている音声出力内容を取得し、該取得した音声出力内容に基づいて音声出力を行う音声出力手段とを備えることを特徴とする。

本発明の構成によれば、サーバから取得した操作画面に係る音声出力を実現することができる。

画像処理装置のハードウェア構成例を示すブロック図。 ハードキー１１３を示す図。 画像処理装置の機能構成例を示すブロック図。 ＬＣＤ１１５に表示されている画面の一例を示す図。 画像処理装置を含むシステムの一例を示す図。 サーバ５０２のハードウェア構成例を示すブロック図。 サーバ５０２の機能構成例を示すブロック図。 Ｗｅｂブラウザ部３１０の機能構成例を示すブロック図。 ＨＴＭＬデータ及びＣＳＳデータの構成例を示す図。 画像処理装置５０１が行う処理のフローチャート。 ステップＳ１００８における処理の詳細を示すフローチャート。 メインメニューの一例を示す図。 画像処理装置が行う処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）に適用した画像処理装置について説明する。先ず、本実施形態に係る画像処理装置のハードウェア構成例について、図１のブロック図を用いて説明する。なお、図１に示したハードウェア構成は、画像処理装置が行うものとして後述する各処理を実現可能な構成の一例に過ぎず、画像処理装置が行うものとして後述する各処理と同等以上の処理を実現可能な構成であれば、如何なる構成を採用しても構わない。

ＣＰＵ１０１は、ＲＡＭ１０３やＲＯＭ１０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、画像処理装置を構成する各部の動作制御を行うと共に、画像処理装置が行うものとして後述する各処理を実行する。

ＲＯＭ１０２には、画像処理装置の設定データや、起動プログラム、そして、画像処理装置が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータ等が格納されている。ＲＯＭ１０２に格納されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

ＲＡＭ１０３は、スキャナ１０６から送出された読み取り画像のデータ、ＨＤＤ（ハードディスクドライブ）１１０からロードされたコンピュータプログラムやデータ、ネットワーク装置１１９が外部装置から受信したデータ等を格納するためのエリアを有する。また、ＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ１０３は、各種のエリアを適宜提供することができる。

スキャナコントローラ１０５は、ユーザが操作部１２０を操作することで設定したスキャン設定などに従って、スキャナ１０６の動作制御を行うためのものである。スキャナ１０６は周知の通り、紙などの記録媒体に記録されている情報を画像（読み取り画像）として読み取る装置であり、スキャナ１０６が読み取った画像のデータは、スキャナコントローラ１０５を介してＲＡＭ１０３やＨＤＤ１１０に対して送出される。

プリンタコントローラ１０７は、ユーザが操作部１２０を操作することで設定した印刷設定などに従って、プリンタ１０８の動作制御を行うためのものである。プリンタ１０８は周知の通り、プリンタコントローラ１０７を介して受けた印刷データに基づいて紙などの記録媒体に画像や文字を記録するための装置である。プリンタ１０８による印刷の方式については特定の方式に限るものではない。例えば、印刷の方式は、感光体ドラムや感光体ベルトなどを用いた電子写真方式や、微小ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式など、如何なる方式を採用しても構わない。

ハードディスクコントローラ１０９は、ＨＤＤ１１０の動作制御を行うためのものであり、ＨＤＤ１１０に対する情報の読み書きを制御する。ＨＤＤ１１０には、ＯＳ（オペレーティングシステム）や、様々なコンピュータプログラムやデータが保存されている。ＨＤＤ１１０に保存されているデータには、画像処理装置が保持するものとして後述する様々なデータが含まれている。また、ＨＤＤ１１０には、ＲＯＭ１０２やＲＡＭ１０３に格納するものとして上述したコンピュータプログラムやデータの一部若しくは全部を保存しても良い。ＨＤＤ１１０に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

タッチパネルコントローラ１１１は、タッチパネル１１２の動作制御を行うためのもので、タッチパネル１１２に対するユーザ操作を検知して、該検知した結果をＣＰＵ１０１に通知する。

ＬＣＤコントローラ１１４は、ＬＣＤ１１５の動作制御を行うためのもので、ＣＰＵ１０１による処理結果を画像や文字などでもってＬＣＤ１１５に表示させる。

操作部１２０は、タッチパネル１１２、ハードキー１１３、ＬＣＤ１１５を有し、ユーザからの操作入力を受け付けると共に、ユーザに対する情報表示を行うためのものである。

タッチパネル１１２は周知の通り、ＬＣＤ１１５の表示面上に配置されるもので、ユーザからのタッチ操作を受け付け、ＬＣＤ１１５上におけるタッチ位置（座標）を検出してＣＰＵ１０１に通知する。

ハードキー１１３は周知の通り、ユーザが押下可能なボタン群であり、例えば、図２に示す如く、ボタン２０１〜２１２として提供されるものである。ボタン２０１〜２０９，２１０は数値入力を行うためのボタン（テンキー）で、ユーザが押下することでそれぞれ「０」〜「９」、「０」を入力することができるボタンである。また、テンキー群のほぼ中央に位置するボタン２０５の表面には物理的な突起物が配置され、この突起物と一般的なボタンの配列により、触感を頼りに目の不自由なユーザ等でもテンキーを扱うことが可能になっている。また、テンキーを、ＬＣＤ１１５に表示されているボタン（ソフトウェアキー）の何れかにフォーカスを移動させるためのキーとして使用しても構わない。例えば、ボタン２０４をフォーカスを逆方向に移動させる（戻る）ためのボタン、ボタン２０６をフォーカスを順方向に移動させる（進む）ためのボタン、として使用しても構わない。

ボタン２１１はユーザＩＤを入力するためにユーザが押下するボタンであり、ボタン２１２は、入力した数値をクリアするためにユーザが押下するボタンである。なお、ハードキー１１３の構成やハードキー１１３に含まれるボタンについては図２に示したものに限らず、様々な変形例が考え得る。

Ｄ／Ａ変換器１１６は、ディジタル音声データに基づくディジタル音声信号をアナログ音声信号に変換する。ＡＭＰ１１７は、Ｄ／Ａ変換器１１６により変換されたアナログ音声信号を増幅させてスピーカ１１８に対して送出する。スピーカ１１８は、ＡＭＰ１１７からのアナログ音声信号に基づく音声を出力する。

ネットワーク装置１１９は、外部装置とのデータ通信を行うためのものである。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、スキャナコントローラ１０５、プリンタコントローラ１０７、ハードディスクコントローラ１０９は何れも、バス１０４に接続されている。また、タッチパネルコントローラ１１１、ＬＣＤコントローラ１１４、Ｄ／Ａ変換器１１６、ネットワーク装置１１９も、バス１０４に接続されている。

次に、本実施形態に係る画像処理装置の機能構成例について、図３のブロック図を用いて説明する。なお、図３において、図１に示した機能部以外の機能部はハードウェアで構成しても良いし、ソフトウェアで構成しても構わない。また、２以上の機能部を１つの機能部にまとめても構わない。本実施形態では、図３において、図１に示した機能部以外の機能部をソフトウェアで実装した場合について説明する。この場合、ＣＰＵ１０１が該ソフトウェアを実行することで対応する機能部の機能が実現される。

入力制御部３０１は、タッチパネル１１２やハードキー１１３に対する操作入力を検知する。例えば、ユーザがタッチパネル１１２上をタッチした場合、入力制御部３０１は、該タッチした位置が、ＬＣＤ１１５に表示されているどのソフトウェアキーの表示領域内であるのかを判断する。また例えば、入力制御部３０１は、ユーザがハードキー１１３に含まれている上記のテンキーを操作してフォーカスを移動させた場合、移動先のフォーカスに該当するソフトウェアキーを判断する。

Ｗｅｂブラウザ部３１０については後述する。

フォーカス制御部３０２は、ＬＣＤ１１５に表示されているソフトウェアキーのうちフォーカス対象を管理しており、現在フォーカス対象としているソフトウェアキーを強調表示するように画面表示制御部３０４に対して通知する。例えば、ユーザがＬＣＤ１１５に表示されているソフトウェアキー群のうち着目ソフトウェアキーの表示領域内をタッチしたと入力制御部３０１が判断した場合、フォーカス制御部３０２は、次のように制御する。すなわち、フォーカス制御部３０２は、着目ソフトウェアキーをフォーカス対象として管理すると共に、該着目ソフトウェアキーを強調表示するように画面表示制御部３０４に対して通知する。また、若しくはユーザが上記のテンキーを操作してフォーカスを着目ソフトウェアキーに移動させたと入力制御部３０１が判断した場合も、フォーカス制御部３０２は、同様に制御する。

画面遷移制御部３０３は、現在ＬＣＤ１１５に表示されている画面が、タッチパネル１１２やハードキー１１３に対する操作入力に応じた画面に遷移するように、画面表示制御部３０４に対して通知する。

また、画面遷移制御部３０３は、フォーカスモード、非フォーカスモードの何れが設定されているのかを管理している。フォーカスモード、非フォーカスモードの設定方法については特定の設定方法に限るものではないが、本実施形態では、ユーザがボタン２１２を規定時間以上押下した場合に、現在設定されているモードからもう一方のモードに切り替わるものとする。例えば現在フォーカスモードが設定されている状態でユーザがボタン２１２を規定時間以上押下した場合には、非フォーカスモードに移行する。一方、現在非フォーカスモードが設定されている状態でユーザがボタン２１２を規定時間以上押下した場合には、フォーカスモードに移行する。このようなモードの移行に係る操作は、専用のキーを使用して行うなど、どのような方法を利用するものであってもかまわないが、ソフトウェアキーではなく、ハードウェアキーや物理的なスイッチを利用した操作が望ましい。フォーカスモード、非フォーカスモードの詳細については後述する。

画面表示制御部３０４は、画面遷移制御部３０３から画面遷移の通知を受けた場合には、ＬＣＤ１１５に表示されている画面を、タッチパネル１１２やハードキー１１３に対する操作入力に応じた画面に遷移させる。また、画面表示制御部３０４は、フォーカス制御部３０２からの通知に応じて、ＬＣＤ１１５に表示されているソフトウェアキー群のうちフォーカス対象のソフトウェアキーを強調表示する。強調表示の方法には様々な方法があり、何れの方法を採用しても構わない。例えば、フォーカス対象のソフトウェアキーに枠を付けても良いし、フォーカス対象のソフトウェアキーの近傍に何らかのマークを付けても良いし、フォーカス対象のソフトウェアキーの色を変えたり点滅させても構わない。

音声テキストデータ制御部３０７は、フォーカス対象のソフトウェアキーの説明としてふさわしい音声読み上げ用のテキストデータを音声テキストデータ３１２から取得する。音声テキストデータ３１２は、ＬＣＤ１１５に表示されうるそれぞれのソフトウェアキーのうち幾つかについて予め作成された、その説明を音声にて読み上げるためのテキストデータ、を含むものである。なお、音声テキストデータ制御部３０７は、フォーカス対象のソフトウェアキーの説明としてふさわしい音声読み上げ用のテキストデータを、音声テキストデータ３１２からではなく、Ｗｅｂブラウザ部３１０から取得しても構わない。そして音声テキストデータ制御部３０７は、取得したテキストデータを、音声合成発声データ制御部３０８に対して送出する。

音声合成発声データ制御部３０８は、音素毎の発声データを含む発声データ３１３を用いて、音声テキストデータ制御部３０７から受けたテキストデータに基づく説明を読み上げるための音声波形データを音声合成により生成する。そして音声合成発声データ制御部３０８は、生成した音声波形データを、音声出力制御部３０９に対して送出する。音声出力制御部３０９は、音声合成発声データ制御部３０８から受けた音声波形データを、Ｄ／Ａ変換器１１６に対して送出する。

Ｄ／Ａ変換器１１６は、音声出力制御部３０９から受けた音声波形データに基づくディジタル音声信号をアナログ音声信号に変換し、該変換したアナログ音声信号をＡＭＰ１１７に対して送出する。ＡＭＰ１１７は、Ｄ／Ａ変換器１１６から受けたアナログ音声信号を増幅させてスピーカ１１８に対して送出する。

ここで、フォーカスモードが設定されている場合における、ＬＣＤ１１５に表示されている画面の一例を図４に示す。図４では、「カラーモード」を指定する為のソフトウェアキーがフォーカス対象となっている。そのため、このソフトウェアキーがフォーカス対象であることを示すために該ソフトウェアキーには枠４０１を付けて表示しており、これにより該ソフトウェアキーを強調表示している。この枠４０１は上記の通り、テンキーによって移動させることができる。また、ボタン２０５を押下することで、現在フォーカス対象となっているソフトウェアキーを指示する（確定指示）ようにしても構わない。

ここで、フォーカスモードにおいては、フォーカス対象のソフトウェアキーを強調表示するだけでなく、フォーカス対象のソフトウェアキーについてその説明を音声で読み上げることが望ましい。音声で読み上げる説明文の例は次のようなものである。

「等倍キーにフォーカスがあります。」
「コピーの倍率を１００％に設定するキーです。」
このような音声出力を行う場合、「等倍キー」の表示領域と、「等倍キーにフォーカスがあります。」との音声読み上げを行うために使用するテキストデータと、が関連づけられて音声テキストデータ３１２に含まれていることになる。また、「コピーの倍率を１００％に設定するキー」の表示領域と、「コピーの倍率を１００％に設定するキーです。」との音声読み上げを行うために使用するテキストデータと、が関連づけられて音声テキストデータ３１２に含まれていることになる。

次に、本実施形態に係る画像処理装置を含むシステムの一例を図５に示す。本実施形態では、画像処理装置５０１（ネットワーク装置１１９）は図５に示す如く、ネットワーク５００を介してサーバ５０２に接続されており、ネットワーク５００を介して互いにデータ通信が可能な構成となっている。ネットワーク５００は、イントラネット、インターネット、その他のネットワークシステム、の何れであっても構わないし、無線、有線の何れであっても構わない。また、これらの組み合わせてあっても構わない。

画像処理装置５０１は、ローカルなＩＰアドレスで管理されていても良い。その場合、ネットワーク５００と画像処理装置５０１との間にゲートウェイ（不図示）が存在し、ゲートウェイはアドレス変換を行う。例えばゲートウェイにはルータが含まれる。またゲートウェイや画像処理装置５０１がファイアウォール機能を備えていても良い。

このような構成において、画像処理装置５０１は、ＬＣＤ１１５に表示する操作画面の送信要求を、ネットワーク５００を介してサーバ５０２に対して送信することができる。サーバ５０２はこの送信要求を受けると、該送信要求に応じた操作画面のデータ（レスポンスデータ）をネットワーク５００を介して画像処理装置５０１に対して送信する。画像処理装置５０１は、サーバ５０２から送信されたレスポンスデータに基づく画面、すなわちサーバ５０２に要求した操作画面を生成し、該生成した操作画面をＬＣＤ１１５に表示する。すなわち、画像処理装置５０１は、サーバ５０２に操作画面を要求し、該要求に応じてサーバ５０２から送信されたレスポンスデータに基づく操作画面を表示する、所謂ブラウザ機能を有する。このブラウザ機能は、Ｗｅｂブラウザ部３１０によって提供される。

次に、サーバ５０２のハードウェア構成例について、図６のブロック図を用いて説明する。なお、サーバ５０２のハードウェア構成については、図６に示した構成に限るものではなく、サーバ５０２が行うものとして後述する処理と同等以上の処理を実現可能な構成であれば、如何なる構成を採用しても構わない。

ＣＰＵ６０１は、ＲＡＭ６０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、サーバ５０２全体の動作制御を行うと共に、サーバ５０２が行うものとして後述する各処理を実行する。

ＲＡＭ６０２は、記憶装置６０３からロードされたコンピュータプログラムやデータを格納するためのエリア、ネットワーク装置６０４を介して画像処理装置５０１から送信されたデータを格納するためのエリア、を有する。更にＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ６０２は、各種のエリアを適宜提供することができる。

記憶装置６０３には、ＯＳやサーバ５０２が行うものとして後述する各処理をＣＰＵ６０１に実行させるためのコンピュータプログラムやデータが保存されている。記憶装置６０３に保存されているデータには、画像処理装置５０１に提供可能な様々な操作画面のレスポンスデータが含まれている。記憶装置６０３に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って適宜ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。

ネットワーク装置６０４は、サーバ５０２をネットワーク５００に接続するためのもので、サーバ５０２はこのネットワーク装置６０４を介して、ネットワーク５００に接続されている画像処理装置５０１とのデータ通信を行う。上記の各部は何れもメインバス６００に接続されている。

次に、サーバ５０２の機能構成例について、図７のブロック図を用いて説明する。Ｗｅｂアプリケーション部７１０は、プレゼンテーション部７１１及びロジック部７１２を有する。

プレゼンテーション部７１１は通信部７２０を制御して、ネットワーク５００を介して画像処理装置５０１から送信された送信要求を受信し、該送信要求に応じた操作画面のレスポンスデータを画像処理装置５０１に対して送信する。

ロジック部７１２は、プレゼンテーション部７１１が送信したレスポンスデータに応じた操作画面がＬＣＤ１１５に表示されている状態でユーザが該操作画面に対して操作した内容が画像処理装置５０１から送信されると、次のように制御する。すなわち、ロジック部７１２は、通信部７２０を制御して該内容を受信し、該受信した内容に応じて操作画面の変更指示を作成し、通信部７２０を制御して該変更指示を画像処理装置５０１に対して送信する。

通信部７２０は、ネットワーク装置６０４を制御してＨＴＴＰプロトコルでもって画像処理装置５０１との間のデータ通信を行う。

次に、画像処理装置５０１が有する上記のＷｅｂブラウザ部３１０の機能構成例を、図８のブロック図を用いて説明する。Ｗｅｂブラウザ部３１０は、通信部８０１、解析部８０２、画面表示部８０３、を有する。Ｗｅｂブラウザ部３１０は、サーバ５０２に対して操作画面を要求し、該要求に応じてサーバ５０２から送信されたレスポンスデータに基づく操作画面を生成してＬＣＤ１１５に表示する。なお、Ｗｅｂブラウザ部３１０は、サーバ５０２に限らず、外部から受信したレスポンスデータに基づく画面を表示するものである。

通信部８０１は、ＨＴＴＰプロトコルに従って、サーバ５０２の通信部７２０を介して、Ｗｅｂアプリケーション部７１０のプレゼンテーション部７１１と通信する。より具体的には、通信部８０１は、ＬＣＤ１１５に表示する操作画面の送信要求を、ネットワーク５００を介してサーバ５０２に対して送信し、該送信要求に応じてサーバ５０２から送信されたレスポンスデータを受信する。

解析部８０２は、通信部８０１がサーバ５０２から受信したレスポンスデータを解析する。レスポンスデータは、操作画面の内容を示す記述であるＨＴＭＬデータと、ＨＴＭＬデータの各要素をどのように表示するかを指示するためのＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔ）データと、を含むものである。

ＨＴＭＬデータの一例を図９（Ａ）に示す。ＣＳＳ指定部９０１は、対応するＣＳＳデータを指定する部分であり、ここでは、「voice.css」を指定している。ボタン生成タグ９０２は、操作画面に表示するボタンを生成するタグの例である。ここでは「画像選択」と表示されるボタンを生成する例になっているが、ボタンに限らずＨＴＭＬで既定のあるタグであれば種類は問わない。またid指定部９０３では、ボタン生成タグ９０２で生成するボタンに対するＩＤ（識別情報）を指定している。

ＣＳＳ指定部９０１で指定したＣＳＳデータ９１１（voice.css）の一例を図９（Ｂ）に示す。ここでは、音声文字列指定部９１２において、id指定部９０３で指定した「ＥｃｅｃｕｔｅＢｕｔｔｏｎ」というＩＤに対して「画像選択」という音声読み上げ文字列を指定している。

解析部８０２は、レスポンスデータ中のＨＴＭＬデータ中のＣＳＳ指定部９０１によって指定されているＣＳＳデータ９１１（voice.css）を参照する。そして、解析部８０２は、フォーカス対象となっているソフトウェアキーについてid指定部９０３で指定されているＩＤについて音声文字列指定部９１２が存在すれば、該音声文字列指定部９１２中のvoiceで指定されている文字列「画像選択」を抽出する。そして解析部８０２は、この抽出した文字列「画像選択」を、上記のテキストデータとして音声テキストデータ制御部３０７に対して送出する。

また、解析部８０２は、ＨＴＭＬデータを画面表示部８０３に対して送出する（必要に応じてＣＳＳデータも送出する）。なお、解析部８０２は、音声文字列指定のあったソフトウェアキーについては、フォーカス対象と成りうることを示す記述を追加してから画面表示部８０３に対して送出する。具体的には、ＨＴＭＬデータにおいて、音声文字列指定のあったソフトウェアキーに係る記述にSTYLE＝”border: 5px #ff0000 solid”のような、枠線をつけるための記述を追加する。

画面表示部８０３は、解析部８０２から受けたＨＴＭＬデータに基づく操作画面を生成し、該生成した操作画面をＬＣＤ１１５に表示する。

次に、サーバ５０２から提供されたレスポンスデータに基づく操作画面をＬＣＤ１１５に表示した後で該操作画面に対するユーザからの操作入力があった場合に画像処理装置５０１が行う処理について、同処理のフローチャートを示す図１０を用いて説明する。

＜ステップＳ１００１＞
ＣＰＵ１０１は、ハードキー１１３に含まれている何れかのボタンが押下されたか否かを監視している。そして、何れかのボタンが押下された場合には、処理はステップＳ１００２を介してステップＳ１００３に進み、何れのボタンも押下されていない場合には、処理はステップＳ１００１で待機する。

＜ステップＳ１００３＞
ＣＰＵ１０１は、現在のモードがフォーカスモード（フォーカス表示モード）、非フォーカスモード（通常モード）の何れであるのかを判断する。この判断の結果、現在のモードがフォーカスモードである場合には、処理はステップＳ１００４に進み、非フォーカスモードである場合には、処理はステップＳ１００９に進む。

＜ステップＳ１００４＞
ＣＰＵ１０１は、押下されたボタンが、フォーカスを移動させるボタンであるのか否かを判断する。例えば、ボタン２０４をフォーカスを逆方向に移動させるためのボタン、ボタン２０６をフォーカスを順方向に移動させるためのボタン、とする場合、押下されたボタンが、ボタン２０４，２０６の何れかであるのか否かを判断する。

この判断の結果、押下されたボタンが、フォーカスを移動させるボタンである場合には、処理はステップＳ１００８に進む。一方、押下されたボタンが、フォーカスを移動させるボタンではない場合には、処理はステップＳ１００５に進む。

＜ステップＳ１００５＞
ＣＰＵ１０１は、押下されたボタンが、現在フォーカス対象となっているソフトウェアキーを指示するボタンであるのか否かを判断する。例えば、ボタン２０５を、現在フォーカス対象となっているソフトウェアキーを指示するボタン、とする場合、押下されたボタンがボタン２０５であるのか否かを判断する。

この判断の結果、押下されたボタンが、現在フォーカス対象となっているソフトウェアキーを指示するボタンである場合には、処理はステップＳ１００６に進む。一方、押下されたボタンが、現在フォーカス対象となっているソフトウェアキーを指示するボタンではない場合には、処理はステップＳ１００９に進む。

＜ステップＳ１００６＞
ＣＰＵ１０１は、現在フォーカス対象となっているソフトウェアキーに割り当てられている処理を実行する。この実行する処理は、ユーザがタッチパネル１１２上で該ソフトウェアキーを直接タッチした場合に行われる処理と同じである。

＜ステップＳ１００７＞
ＣＰＵ１０１は、ＬＣＤ１１５の表示画面の更新を行うための処理を行う。これは、タッチパネル１１２の上のタッチ操作やハードキー１１３に対する操作によって、設定値の変更操作や画面表示の変更操作がなされた場合に、それをＬＣＤ１１５の表示画面に反映させるための処理である。

＜ステップＳ１００８＞
ＣＰＵ１０１は、押下されたボタンに応じた方向にフォーカスを移動させるための処理を行う。ステップＳ１００８における処理の詳細については、図１１のフローチャートを用いて後述する。

＜ステップＳ１００９＞
ＣＰＵ１０１は、押下されたボタンに応じた処理を実行する。例えば、現在のモードが通常モードである場合には、テンキーが押下されると、該テンキーに割り当てられている数値の入力処理を実行する。

＜ステップＳ１０１０＞
ＣＰＵ１０１は、現在ＬＣＤ１１５に表示中の操作画面に対応するＨＴＭＬデータ中のＣＳＳ指定部９０１によって指定されているＣＳＳデータ９１１を参照する。次に、ＣＰＵ１０１は、ステップＳ１００８における処理によって移動した先のフォーカス対象のソフトウェアキーのＩＤに対応する音声文字列指定部９１２中のvoiceで指定されている文字列を抽出する。そして、ＣＰＵ１０１は、該抽出した文字列に基づく音声をスピーカ１１８から出力させるための処理を行う。

次に、上記のステップＳ１００８における処理の詳細について、同処理のフローチャートを示す図１１を用いて説明する。

＜ステップＳ１１０１＞
ＣＰＵ１０１は、フォーカスを順方向に移動させるためのボタンが押下されたのか、それともフォーカスを逆方向に移動させるためのボタンが押下されたのか、を判断する。この判断の結果、フォーカスを順方向に移動させるためのボタンが押下された場合には、処理はステップＳ１１０２に進み、フォーカスを逆方向に移動させるためのボタンが押下された場合には、処理はステップＳ１１０５に進む。

＜ステップＳ１１０２＞
ＣＰＵ１０１は、ＬＣＤ１１５に表示中の操作画面に対応するＨＴＭＬデータを参照する。そして、ＣＰＵ１０１は、順方向において現在フォーカス対象となっているソフトウェアキーの次に、STYLE＝”border: 5px #ff0000 solid”のような、枠線をつけるための記述が付加されたソフトウェアキーが存在するか否かを判断する。この判断の結果、存在する場合には、処理はステップＳ１１０３に進み、存在しない場合には、処理はステップＳ１１０４に進む。

＜ステップＳ１１０３＞
ＣＰＵ１０１は、順方向において現在フォーカス対象となっているソフトウェアキーの次に、STYLE＝”border: 5px #ff0000 solid”のような、枠線をつけるための記述が付加されたソフトウェアキーにフォーカスを移動させる。

＜ステップＳ１１０４＞
ＣＰＵ１０１は、ＨＴＭＬデータで定義されているそれぞれのソフトウェアキーのうち、STYLE＝”border: 5px #ff0000 solid”のような、枠線をつけるための記述が存在するソフトウェアキーを特定する。そして、ＣＰＵ１０１は、該特定したソフトウェアキーのうちＨＴＭＬデータの先頭により近くで定義されているソフトウェアキーを対象として特定する。そして対象として特定したソフトウェアキーにフォーカスを移動させる。

＜ステップＳ１１０５＞
ＣＰＵ１０１は、ＬＣＤ１１５に表示中の操作画面に対応するＨＴＭＬデータを参照する。そして、ＣＰＵ１０１は、逆方向において現在フォーカス対象となっているソフトウェアキーの次に、STYLE＝”border: 5px #ff0000 solid”のような、枠線をつけるための記述が付加されたソフトウェアキーが存在するか否かを判断する。この判断の結果、存在する場合には、処理はステップＳ１１０６に進み、存在しない場合には、処理はステップＳ１１０７に進む。

＜ステップＳ１１０６＞
ＣＰＵ１０１は、逆方向において現在フォーカス対象となっているソフトウェアキーの次に、STYLE＝”border: 5px #ff0000 solid”のような、枠線をつけるための記述が付加されたソフトウェアキーにフォーカスを移動させる。

＜ステップＳ１１０７＞
ＣＰＵ１０１は、ＨＴＭＬデータで定義されているそれぞれのソフトウェアキーのうち、STYLE＝”border: 5px #ff0000 solid”のような、枠線をつけるための記述が存在するソフトウェアキーを特定する。そして、ＣＰＵ１０１は、該特定したソフトウェアキーのうちＨＴＭＬデータの後端により近くで定義されているソフトウェアキーを対象として特定する。そして対象として特定したソフトウェアキーにフォーカスを移動させる。

なお、ステップＳ１１０３，Ｓ１１０４，Ｓ１１０６，Ｓ１１０７の何れでも、フォーカスが移動すれば、強調表示対象も切り替わることになる。

このように、本実施形態によれば、ＭＦＰ上で動作するＷｅｂブラウザに表示されるＷｅｂアプリケーションに対して音声読み上げを実現することができるだけでなく、ＭＦＰ上で動作する他のアプリケーションと操作性を統一している。よって、ＭＦＰ上の操作部に対する操作に連動してＷｅｂブラウザ上に表示されている表示画面を操作し、音声の読み上げを実現することで、ＭＦＰ上で動作する他のアプリケーションとの振る舞いと統一することが可能になる。また、ユーザにアプリケーションの形態の違いを意識させることなく、スムーズな音声読み上げ機能を実現することができる。

なお、上記の説明では、ソフトウェアキーに係る説明を音声出力する例について説明したが、音声出力する対象はソフトウェアキーだけに限るものではなく、他の対象であっても良い。例えば、ＬＣＤ１１５に表示する画面が切り替わるたびに、切り替わった画面に係る説明を音声出力しても良い（例えば、「現在の画面はコピー設定画面です」のように音声出力する）。また、上記の通り、音声出力は、フォーカスモードが設定された場合に実行されるものであるので、現在のモードがフォーカスモードに切り替わった際に、「フォーカス表示モードに移行しました。音声ガイドを開始します。」のように、現在のモードがフォーカスモードであるから音声出力を開始する旨のメッセージを音声出力しても良い。また、これに加えて「数字の４と６でフォーカスを移動します。数字の５で確定します。」のように、フォーカスモードにおけるキー操作説明を音声出力しても良い。

また、本実施形態では、サーバ５０２はＨＴＴＰプロトコルに従ってリクエスト／レスポンスを送受信するＷｅｂサーバであるものとして説明した。しかしながら、上記のようにして画像処理装置５０１に操作画面及び該操作画面に含まれている１以上のソフトウェアキーに係る音声出力用の情報を提供可能な装置であれば、Ｗｅｂサーバ以外の装置であっても構わない。

すなわち、以上説明した画像処理装置は、複数のコンポーネントを含む操作画面のデータをサーバから受信し、該受信したデータに基づいて該操作画面を表示する画像処理装置である。そして、画像処理装置は、ユーザによる操作に応じて上記複数のコンポーネントのうち何れか１つにフォーカスを移動させ、フォーカスが移動した先のコンポーネントと関連づけて上記データで定義されている音声出力内容を取得する。さらに、画像処理装置は、該取得した音声出力内容に基づいて音声出力を行う装置、の一例である。

［第２の実施形態］
本実施形態では、画像処理装置が実行可能な様々なアプリケーションのアイコンが一覧表示されたメインメニューをＬＣＤ１１５に表示する場合に、次のように制御する。すなわち、音声対応しているアプリケーション、音声対応していないアプリケーション、のそれぞれで対応するアイコンの表示形態を異ならせる。

ＬＣＤ１１５に表示されるメインメニューの一例を図１２に示す。メインメニューは、例えば、ユーザが不図示のボタン（例えばメインメニューキー）を押下した場合に表示される。図１２に示す如く、メインメニュー１２０１には、画像処理装置が実行可能なアプリケーションごとに対応するアイコンが一覧表示されている。ユーザが何れか１つのアイコンをタッチするか、ハードキー１１３を用いて何れか１つのアイコンにフォーカスを移動させてそこで確定指示を入力すると、対応するアプリケーションが実行される。すなわち、それぞれのアイコンは、対応するアプリケーションにアクセスするためのショートカットボタン（Ｗｅｂブラウザーのショートカットボタン）である。

本実施形態では、このようにアイコンを一覧表示する場合に、それぞれのアイコンに対応するアプリケーションが音声対応しているか否かをチェックする。そして、音声対応しているアプリケーションに対応するアイコンについては有効（指示可能）にし、音声対応していないアプリケーションに対応するアイコンについては無効（指示不可能）にする。そして、有効にしたアイコンと無効にしたアイコンとで表示方法を異ならせる。図１２の例では、「コピー」アプリケーションに対応するアイコン（左上のアイコン）については、「コピー」アプリケーションが音声対応していることから、有効にし、更に該アイコンに実線の枠１２０２が付されている。一方、「スキャンして送信」アプリケーションに対応するアイコン（「コピー」アプリケーションに対応するアイコンの１つ右隣のアイコン）については、「スキャンして送信」アプリケーションが音声対応していない。その理由で、無効にし、更に該アイコンに点線の枠１２０３が付されている。

もちろん、音声対応しているアプリケーションに対応するアイコンと、音声対応していないアプリケーションに対応するアイコンと、で表示方法を異ならせれば良いのである。そのため、例えば、音声対応していないアプリケーションに対応するアイコンを明度を落として表示するなど、それぞれのアイコンの表示方法は図１２に示した表示方法に限るものではない。また、音声対応していないアプリケーションに対応するアイコン、については非表示としても構わない。

画像処理装置がメインメニューを表示するために行う処理について、同処理のフローチャートを示す図１３を用いて説明する。図１３のフローチャートに従った処理は、メインメニューを表示する指示が入力されたことに応じて開始される。

＜ステップＳ１３０１＞
ＣＰＵ１０１は、メインメニューのデータに、画像処理装置で実行可能な様々なアプリケーションのアイコンのデータが含まれているか否かを判断する。この判断の結果、含まれている場合には、処理はステップＳ１３０２に進み、含まれていない場合には、図１３のフローチャートに従った処理は完了し、通常通り、メインメニューのデータに基づいて該メインメニューをＬＣＤ１１５に表示する。

＜ステップＳ１３０２＞
ＣＰＵ１０１は、メインメニューのデータに含まれているアイコンのデータのうち未選択のアイコンのデータを１つ選択する。そして、ＣＰＵ１０１は、該選択したアイコンのデータに含まれているＵＲＬにアクセスして、対応するアプリケーションを規定するデータ（ＨＴＭＬコンテンツ）を取得する。

＜ステップＳ１３０３＞
ＣＰＵ１０１は、ステップＳ１３０２で取得したＨＴＭＬコンテンツ内に、音声文字列指定部９１２が存在するか否かを判断する。この判断の結果、存在する場合には、処理はステップＳ１３０４に進み、存在しない場合には、処理はステップＳ１３０５に進む。

＜ステップＳ１３０４＞
ＣＰＵ１０１は、ステップＳ１３０２で選択したアイコンを有効にし、該アイコンへのタッチ操作やハードキー１１３による指示操作を受け付けるようにする。

＜ステップＳ１３０５＞
ＣＰＵ１０１は、ステップＳ１３０２で選択したアイコンを無効にし、該アイコンへのタッチ操作やハードキー１１３による指示操作を受け付けないようにする。

＜ステップＳ１３０６＞
ＣＰＵ１０１は、メインメニューのデータに含まれている全てのアイコンのデータをステップＳ１３０２で選択したか否かを判断する。この判断の結果、全てのアイコンのデータを選択した場合には、図１３のフローチャートに従った処理は完了する。そして、メインメニューのデータに基づいて該メインメニューをＬＣＤ１１５に表示するのであるが、有効となったアイコンを、指示可能な表示形態でもって表示すると共に、無効となったアイコンを、指示不可能な表示形態でもって表示する。指示可能な表示形態では、通常通りにアイコンを表示しても良いし、枠などを付してアイコンを表示しても良い。一方、指示不可能な表示形態では、アイコンを通常の輝度よりも低い輝度でもって表示しても構わないし、「×」等の指示禁止を通知するような画像をアイコンに重ねて表示しても構わない。もちろん、上記の通り、無効となったアイコンを非表示にしても構わない。

一方、メインメニューのデータに含まれているアイコンのデータのうち未だステップＳ１３０２で未選択のアイコンのデータが残っている場合には、処理はステップＳ１３０２に戻る。

このように、本実施形態によれば、ＷｅｂブラウザからＷｅｂアプリケーションにアクセスする前に、対象となるＷｅｂアプリケーションが音声読み上げに対応しているかどうかの確認を行うことを実現している。よって、ユーザは、Ｗｅｂアプリケーションにアクセスする前に、そのＷｅｂアプリケーションが音声読み上げに対応しているかどうかを確認することができ、音声読み上げに対応していないアプリにアクセスして操作に迷うことを未然に防ぐことが可能となる。

［第３の実施形態］
第１の実施形態及び第２の実施形態ではＨＴＴＰプロトコルによる通信を例にして説明したが、それに限定するものではなく、例えばＨＴＴＰＳプロトコルによる通信でも構わない。また、ＨＴＭＬデータに限らず、例えばＸＭＬデータでも構わない。

また、第１の実施形態及び第２の実施形態では、サーバ５０２を画像処理装置５０１とは別個の装置として取り扱ったが、サーバ５０２を画像処理装置５０１内の装置として取り扱っても構わない。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：ＣＰＵ １２０：操作部 １１８：スピーカ

Claims (10)

1. 複数のコンポーネントを含む操作画面のデータをサーバから受信し、該受信したデータに基づいて該操作画面を表示する画像処理装置であって、
   ユーザによる操作に応じて、前記複数のコンポーネントのうち何れか１つにフォーカスを移動させる移動手段と、
   前記移動手段によりフォーカスが移動した先のコンポーネントと関連づけて前記データで定義されている音声出力内容を取得し、該取得した音声出力内容に基づいて音声出力を行う音声出力手段と
   を備えることを特徴とする画像処理装置。
2. 更に、
   前記データを受信すると、該データにて、音声出力内容を定義したコンポーネントを定義した記述に、フォーカス対象となりうることを示す記述を追加する手段を備え、
   前記移動手段は、ユーザによる操作に応じて、フォーカス対象となりうることを示す記述が追加されているコンポーネントのうち何れか１つにフォーカスを移動させる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 更に、
   フォーカスされているコンポーネントを強調表示するフォーカスモード、フォーカスされているコンポーネントを強調表示しない非フォーカスモードの何れかを設定する手段を備え、
   前記音声出力手段は、
   前記フォーカスモードが設定された場合には、前記フォーカスモードが設定されたことを示す音声出力、及び／又はフォーカスを移動させるための操作方法の説明を示す音声出力、を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 更に、
   前記複数のコンポーネントのそれぞれについて、該コンポーネントに対応するＵＲＬにアクセスして、該コンポーネントに対応するコンテンツを取得する手段と、
   前記複数のコンポーネントのうち、音声出力内容が定義されているコンテンツに対応するコンポーネントを指示可能にし、音声出力内容が定義されていないコンテンツに対応するコンポーネントを指示不可能にする手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
5. 更に、
   音声出力内容が定義されているコンテンツに対応するコンポーネントを、指示可能であることを示す表示形態でもって表示する表示手段を備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記表示手段は、
   音声出力内容が定義されていないコンテンツに対応するコンポーネントを、指示不可能であることを示す表示形態でもって表示することを特徴とする請求項５に記載の画像処理装置。
7. 前記表示手段は、
   音声出力内容が定義されていないコンテンツに対応するコンポーネントを非表示にすることを特徴とする請求項５に記載の画像処理装置。
8. 前記画像処理装置は、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 複数のコンポーネントを含む操作画面のデータをサーバから受信し、該受信したデータに基づいて該操作画面を表示する画像処理装置の制御方法であって、
   前記画像処理装置の移動手段が、ユーザによる操作に応じて、前記複数のコンポーネントのうち何れか１つにフォーカスを移動させる移動工程と、
   前記画像処理装置の音声出力手段が、前記移動工程でフォーカスが移動した先のコンポーネントと関連づけて前記データで定義されている音声出力内容を取得し、該取得した音声出力内容に基づいて音声出力を行う音声出力工程と
   を備えることを特徴とする画像処理装置の制御方法。
10. 請求項９に記載された画像処理装置の制御方法を、コンピュータに実行させるためのプログラム。

Images