JP2006285859A - 情報処理方法及び装置 - Google Patents

Abstract

【課題】操作ガイダンス機能を有するユーザインタフェースにおける操作性を向上させることを目的とする。
【解決手段】機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示するＨＥＬＰモードの２つの動作モードを有する情報処理装置において、ＨＥＬＰモードでの動作においてなされた操作の入力について（Ｂ）の２０１Ａ，４０１に示されるように説明が提示される。ここで、操作の入力が記憶される。そして、所定の操作入力（確定ボタン２０１Ｄ）に応じて、（Ｃ）に示すように、記憶された操作の入力に応じた動作を実行するとともに、ＨＥＬＰモードから操作モードへ動作モードが移行する。
【選択図】 図４

Description

本発明は、情報処理方法及び装置に関し、特に、ユーザが情報処理装置へ各種操作指示を行うためのユーザインタフェースに関する。

各種情報処理装置においては、それらの高機能化に伴い、ユーザがこれらを操作するためのユーザインタフェース（ＵＩ）も複雑化している。例えば、同一のキーを同一の手順で押したとしても、操作を開始するときの装置の状態が異なれば、結果として全く異なる動作が実行されることがある。このように、１つのキーやボタンに１つの機能を割り付けるのではなく、状態に応じて異なる複数の機能を割り付ける形態は、操作部品数の低減、汎用性の向上等の長所を有し、便利である。しかし、その一方で、ユーザに操作の複雑さをもたらす原因ともなっている。従って、このようなＵＩをもつ装置においては、特に、わかりやすい操作説明をユーザに提示することが必要不可欠である。

機器の状態に応じた操作説明を提示する例として、ヘルプモードの場合に、操作に対応する動作の説明を音声で出力する方法（特許文献１）や、操作キーが押された状態に応じて操作ガイダンスを選択（押下時間が短い場合は当該操作キーの機能説明を選択し、押下時間が長い場合は当該操作を確定して確定した操作内容説明を選択）し、音声出力する方法（特許文献２）が提案されている。
特開２００４-３０２３００号公報 特開２００４-６１８２７号公報

特許文献１では、ヘルプモードでボタン対応動作を音声により説明させることができる。そして、説明を行ったボタン対応動作を記憶しておき、実行キーを操作することでその動作内容を実行させることができる。この動作はヘルプモードにおいてなされるものであり、ヘルプモードから抜けるためにはユーザが明示的にヘルプモードから抜けるための操作を行わなければならない。特許文献２では、学習モードにおいて、操作キーの押下時間が２秒以下の場合は音声による当該操作キーの機能説明を行い、押下時間が６秒以上の場合は当該操作キーに対応する動作を実行することが記載されている。そのような学習モードから通常の操作モードへ移行するためには、そのための明示的な操作が必要である。このように、ヘルプモードや学習モードといった操作ガイダンスを得るための動作モードから通常の操作モードへ移行するには、必ず、何らかの明示的な操作が必要である。しかし、この形態は、操作方法を熟知していない初期のユーザには適しているが、使い慣れたユーザが時々ヘルプを利用する場合には使い勝手がよくない。

また、特許文献１及び特許文献２では、操作ボタンに関する説明の提示が具体的ではない。たとえば特許文献２では「６」キーの操作について「（メニューを）右に進みます」という機能説明がなされるのみであり、その結果どうなるという説明はなされない。すなわち、現在の装置の状態がメニューのどの位置にあるかに応じて「６」キーの操作結果は変わってくるのであるが、各状態に応じてどのような操作結果が得られるまで説明していない。また、特許文献１では「リセットボタン」に関する説明が挙げられているが、装置の状態に応じて操作結果が変化するボタンについてどのような説明を発声するかまでは記載されていない。

また、特許文献１及び特許文献２では、ユーザが音声入力する操作については考慮されていない。たとえば、特許文献１に従えば、操作説明を行うモードにおいてユーザが音声入力を開始する機能をもつボタンを押すと、当該ボタンの対応動作であるところの「このボタンを押すと音声を入力できる」ということが提示されるにとどまる。すなわち、現在の装置の状態に応じて、どのような音声入力を行えるかの説明を提示することまでは考慮されない。

また、例えば、操作説明を行うモードにおいて、ダイヤルを回す等、自動的には元の状態に戻らないような入力部に対して操作を行って動作説明を行わせた後、通常の操作モードに戻す場合が考えられる。通常の操作モードに戻した場合には、ヘルプモードに移行する直前の状態に装置の内部状態を戻すのが一般的である。したがって、このような場合、通常の操作モードに戻ったときに装置の内部状態（ダイヤル回転前の状態）と入力部の状態（ダイヤル回転後の状態）にミスマッチが起きてしまう。特許文献１及び特許文献２では、このようなハードウェア固有の特性などが考慮されていない。

本発明は、これらの課題の少なくとも一部を解決することにより、操作ガイダンス機能を有するユーザインタフェースにおける操作性を向上させることを目的とする。

上記の目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理装置であって、
前記説明モードにおいてなされた操作の入力について説明を提示する提示手段と、
前記操作の入力を記憶する記憶手段と、
所定の第１操作入力に応じて前記記憶手段に記憶された前記操作の入力に応じた動作を実行するとともに、前記説明モードから前記操作モードへ移行する移行制御手段とを備える。

また、上記の目的を達成するための本発明の他の態様による情報処理装置は以下の構成を備える。すなわち、
動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理装置であって、
前記説明モードへの移行時に当該情報処理装置の装置状態を取得する取得手段と、
前記説明モードにおいてなされた操作入力と前記装置状態とに基づいて該操作入力に対する説明の提示内容を決定する決定手段と、
前記決定手段で決定された提示内容を提示する提示手段とを備える。

さらに、上記の目的を達成するための本発明のさらに他の態様による情報処理装置は以下の構成を備える。すなわち、
動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理装置であって、
前記説明モードへの移行時に、当該情報処理装置の装置状態を取得する状態取得手段と、
前記操作モードにおいて音声入力のための操作部品が操作された場合に、前記状態取得手段で取得された装置状態に基づいて音声入力可能な語彙を取得する語彙取得手段と、
前記語彙取得手段で取得された語彙を含む説明を提示する提示手段とを備える。

本発明によれば、操作ガイダンス機能を有するユーザインタフェースにおいてその操作性が向上する。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

図１は本実施形態におけるインタフェース装置の基本構成を示すブロック図である。本実施形態のインタフェース装置は各種情報処理装置のユーザインタフェースとして用いることができるが、本実施形態では、複写装置のインタフェース装置に適用した場合を例に挙げて説明する。図１に示すように、インタフェース装置は、入力部１０１、表示部１０２、記憶部１０３、制御部１０４、音声入力部１０５、音声認識・解釈部１０６、音声出力部１０７、手動切替入力部１０８を備えている。

入力部１０１はボタン群やキーボード、マウス、タッチパネル、ペン、タブレット等の入力装置を具備し、各種の指示を装置に入力するための入力インタフェースとして機能する。表示部１０２は液晶ディスプレイ等の表示装置から構成され、画像や文字等により各種の情報を表示する。なお、表示部１０２としてタッチパネル式の表示装置を用いてもよく、その場合、表示部１０２は入力部１０１としての機能（各種の指示を本装置に入力する機能）をも有することになる。

記憶部１０３は、各種の情報を保存するためのハードディスクドライブ装置や、情報処理システムに各種の情報を提供するためのＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体にアクセス可能なドライブ装置等を備える。記憶部１０３には、各種のアプリケーションプログラム、ユーザ・インタフェース制御プログラム、そして各プログラムを実行する際に必要な各種のデータ等が記憶されている。そして、これらは後述の制御部１０４の制御により、必要に応じて本装置に読み込まれる。制御部１０４はワークメモリやＣＰＵ、ＭＰＵ等を有し、記憶部１０３に記憶されたプログラムやデータを読み出して各種の処理を実行する。

音声入力部１０５はマイクロフォンやＡ／Ｄ変換器等を備え、ユーザの音声を入力する。音声認識・解釈部１０６は音声入力部１０５より入力された音声に対して音声認識を行う。なお、音声認識技術については公知の技術を利用できる。音声出力部１０７はスピーカやヘッドフォン、Ｄ／Ａ変換器等を備えており、制御部１０４の制御の下、オーディオファイルから得られるデータや音声合成処理によって得られたデータに基づいて出力を行う。より具体的には、音声出力部１０７は、例えばＷＡＶファイルの再生出力を行う。或いは、読み上げテキストから合成音声データを作成してＤ／Ａ変換し、音として外部に出力するようにしてもよい。なお、そのような音声合成技術としては公知の技術を利用できる。

手動切替入力部１０８は、ダイヤルやスライドスイッチ等の入力装置である。手動切替入力部１０８は、自動的には元の状態（例えば、ダイヤルが１目盛回転される前の状態や、スライドスイッチを１目盛右或いは左に移動させる前の状態）に戻らない特性を有する。手動切替入力部１０８は、ユーザの手動操作による各種の指示を本装置に入力するための入力インタフェースとして機能する。

続いて、図２に、本実施形態による印刷装置及びユーザインタフェースの動作の一例を示す。図２では本実施形態のユーザインタフェースを複写装置に適用した例、すなわち情報処理装置として複写装置が用いられた場合の例が示されている。なお、図２のユーザインタフェース２０１（以下、ＵＩ２０１）は入力部１０１、表示部１０２により構成される。ＵＩ２０１において、２０１Ａはディスプレイ（表示部１０２）である。ディスプレイ２０１Ａ上には『部数』、『用紙』、『倍率』のアイコンが表示されており、フォーカスは『部数』に当たっている。

２０１Ｂはモード切替ボタン（入力部１０１）であり、当該ボタンの押下により装置の動作モードの切り替えを行う。本装置の動作モードには、『操作モード』（装置の操作を行う（動作を指示する）モード）と『ＨＥＬＰモード』（装置の操作説明を行うモード）の２つがある。

動作モードが『操作モード』の場合の、入力部１０１の各スイッチ（２０１Ｃ〜２０１Ｆ）に割り当てられた機能を説明する。２０１Ｃは左矢印ボタンであり、当該ボタンの押下により、ディスプレイ２０１Ａ上のフォーカスを１つ左のアイコンに移動する。２０１Ｄは確定ボタンであり、当該ボタンの押下により、ディスプレイ２０１Ａ上のフォーカスの当たっているアイコンの選択を確定する。２０１Ｅは右矢印ボタンであり、当該ボタンの押下により、ディスプレイ２０１Ａ上のフォーカスを１つ右のアイコンに移動する。２０１Ｆは音声ボタンであり、当該ボタンの押下後、音声の取り込みを始める。すなわち、ユーザが音声ボタン２０１Ｆを押下した後に発声すると、音声入力部１０５によりその音声が装置に取り込まれる。音声入力部１０５から音声が取り込まれると、当該音声は音声認識・解釈部１０６にて認識・解釈され、認識結果に応じた処理が行われる（例えば、「用紙」と音声入力されると『用紙』アイコンの選択を確定する）。

次に、本情報処理装置の動作モードが『操作モード』のときの動作例を示す。本装置が状態２０１のときに右矢印ボタン２０１Ｅが押されると、フォーカスを１つ右のアイコンに移動する。この結果、フォーカスは（Ｂ）に示されるように『部数』から『用紙』に移動する。次に、確定ボタン２０１Ｄが押されると、フォーカスの当たっているアイコンの選択が決定される。例えば、（Ｂ）の状態で確定ボタン２０１Ｄが押されると、『用紙』アイコンの選択が決定され、（Ｄ）に示されるように、ディスプレイ２０１Ａ上には用紙選択画面が表示される。

また、本装置が（Ａ）の状態において、音声ボタン２０１Ｆが押されると、（Ｃ）に示すように「音声取り込み中」であることが明示され、音声の取り込みが開始される。次に、ユーザによって「用紙」という音声（２０４）が入力されると、当該音声を音声認識・解釈部１０６にて認識・解釈した結果、『用紙』アイコンの選択を決定する。この結果、ディスプレイ２０１Ａ上には用紙選択画面が表示される（２０５）。

次にモード切替ボタン２０１Ｂの操作によって、装置の動作モードが『操作モード』から『ＨＥＬＰモード』に切り替えられる場合の動作を説明する。図３は操作モードからＨＥＬＰモードへの切替におけるＵＩ２０１の提示状態を説明する図である。図３の（Ａ）に示される『操作モード』の状態において、モード切替ボタン２０１Ｂが押されると（Ｂ）に示される『ＨＥＬＰモード』に切り替わる。その際、『ＨＥＬＰモード』であることをユーザに知らせるための表示３０１をディスプレイ２０１Ａ上に行う。例えば図３の（Ｂ）に示されるように「ＨＥＬＰモード」であることを明示する。もちろん、「ＨＥＬＰ」という文字だけでもよいし、別の記号を表示してもよい。或いはディスプレイ２０１Ａの背景色を変更するなど、種々の変形が考えられる。また、このとき、音声出力部１０７から所定の音声出力を行ってもよい。例えば、図３（Ｂ）に示されるように、「ＨＥＬＰモードです」という音声を出力する（３０２）。

次に、本印刷装置の動作モードが『ＨＥＬＰモード』のときの動作例を説明する。『ＨＥＬＰモード』において操作が行われると、『当該操作が行われることにより、機器がこのような状態に変わる』という説明をユーザに提示する。例えば、操作後の画面状態をディスプレイ２０１Ａ上に表示する他、操作後の状況を音声出力部１０７から音声出力する。また、『ＨＥＬＰモード』において、音声入力を可能とする操作（本例では音声ボタン２０１Ｆの押下）が行われた場合は、音声で入力可能な語彙をユーザに提示する。

なお、上記音声出力に関しては、あらかじめ状態毎に説明用の音声ファイル（ＷＡＶファイルなど）を記憶部１０３へ格納しておき、その時点における装置の状態と操作内容に応じてファイルを指定することにより、音声出力部１０７から出力（再生）する。あるいは、音声合成を用いる場合は、あらかじめ状態毎に説明用のテキストを記憶部１０３へ格納しておき、機器の状態に応じてファイルを指定することにより、音声出力部１０７から出力される。この場合、音声合成技術については既存の技術を利用する。

提示後は、『この操作を実行』、あるいは、『操作に戻る』のいずれかをユーザが選択する（確定ボタン２０１Ｄの押下により『この操作を実行』が選択され、モード切替ボタン２０１Ｂの押下により『操作に戻る』が選択される）ことにより、次の処理へ移る。もし、『この操作を実行』が選択された場合（確定ボタン２０１Ｄ押下）は、説明を行った操作内容を実行して『操作モード』へ戻る。また、『操作に戻る』が選択された場合（モード切替ボタン２０１Ｂ押下）は、当該操作を実行せず、印刷装置は『操作モード』から『ＨＥＬＰモード』に切り替わる前の状態に戻る。

図４はＨＥＬＰモードにおけるＵＩ２０１の動作例を示す図である。（Ａ）の状態ではディスプレイ２０１Ａに「ＨＥＬＰモード」が表示され（３０１）、当該装置がＨＥＬＰモードで動作中であることを示している。ここで、例えば右矢印ボタン２０１Ｅが押されると、（Ｂ）に示されるように、ディスプレイ２０１Ａ中において一つ右隣のアイコンである『用紙』にフォーカスが移動される。このとき、「フォーカスを用紙に移動します」という音声（４０１）が出力される。すなわち、右矢印ボタン２０１Ｅの押下操作に対するガイダンスとして、単に「右隣のアイコンへフォーカスを移動する」というようなものではなく、現在のフォーカス位置（装置状態）に従ってどのアイコンへフォーカスを移動するかが明示的に通知される。（Ｂ）の状態で確定ボタン２０１Ｄが押されると、『この操作を実行』が選択されたことになる。よって、（Ｃ）に示されるように『ＨＥＬＰモード』から『操作モード』に移行するとともに、『用紙』アイコンにフォーカスが当たった状態となる。また、（Ｂ）の状態でモード切替ボタン２０１Ｂが押されると、『操作に戻る』が選択される。この場合、（Ｄ）に示すように、『ＨＥＬＰモード』への移行時の状態（部数アイコンにフォーカスが当たった状態）に戻し、『操作モード』へ移行する。

図５は、『ＨＥＬＰモード』におけるＵＩ２０１の別の動作例を示す図である。図５では音声入力のための音声ボタン２０１Ｆに対するガイダンスの提示例が説明されている。（Ａ）の状態ではディスプレイ２０１Ａに「ＨＥＬＰモード」が表示（３０１）され、当該装置が『ＨＥＬＰモード』で動作中であることを示している。ここで、音声ボタン２０１Ｆが押されると、音声入力に関するガイダンスが音声出力される。この場合、単に音声入力が可能である旨を伝えるのではなく、そのときのＵＩの状態で入力可能な語彙を含めたガイダンスを行う。例えば、（Ｂ）に示されているように、「音声の取り込みを開始します。部数、用紙、倍率という語彙を発声できます。」というように音声ガイダンス（５０１）が行われる。

（Ｂ）の状態で確定ボタン２０１Ｄが押されると、『この操作を実行』が選択されたことになる。よって、（Ｃ）に示されるようにＨＥＬＰモードから操作モードに移行するとともに、音声取り込み中となる。そして、例えば、「用紙」という音声入力５０２がなされると、用紙アイコンの選択が確定した状態、すなわち（Ｄ）に示される状態となる。また、（Ｂ）の状態でモード切替ボタン２０１Ｂが押されると、『操作に戻る』が選択される。この場合、（Ｅ）に示すように、ＨＥＬＰモードへの移行時の状態（部数アイコンにフォーカスが当たった状態）で、操作モードへ移行する。

図６は『ＨＥＬＰモード』におけるさらに別の動作例を示す図であり、図３〜図５に示したＵＩとは異なり、手動切替入力部１０８を含むＵＩの例である。図６では、自動的には状態が復帰しない手動切替入力部１０８の操作に関するヘルプの提示を行った場合の動作例が示されている。図６のＵＩ６０１において、ディスプレイ６０１Ａ、モード切替ボタン６０１Ｂ、確定ボタン６０１Ｄは図４、図５の２０１Ａ，２０１Ｂ，２０１Ｄと同様の機能を有する。ＵＩ６０１は手動切替入力部１０８として、回転式のスイッチであるダイヤル６０１Ｃを有する。このダイヤル６０１Ｃにより、記憶部１０３に記憶している画像のディスプレイ６０１Ａへの表示形態を、１枚ずつ表示するか、一覧表示するかのいずれかに切り替えることができる。

図６（Ａ）に示される表示状態において、モード切替ボタン６０１Ｂが押下されると、動作モードは『ＨＥＬＰモード』へ移行し、図６（Ｂ）の状態となる。ディスプレイ６０１Ａには「ＨＥＬＰモード」を示す表示６０２がなされている。この状態でダイヤル６０１Ｃを回転し、『一覧』に合わせると、ディスプレイ６０１Ａにおける表示形態が一覧表示となり、音声６０３によりその機能（画像を一覧表示します）が説明される。この状態で確定ボタン２０１Ｄが押されると、その時点の操作状態が維持されて『操作モード』へ移行するので、図６（Ｄ）のようになる。

一方、モード切替ボタン６０１Ｂが押された場合は、ダイヤル６０１Ｃの状態を自動的（ソフトウエア的）に復帰できないので、ダイヤル６０１Ｃを戻すようメッセージ６０４をディスプレイ６０１Ａに表示する。このとき、ダイヤル６０１Ｃをどの状態に戻すのかを明瞭に指示する（図６では「１枚ずつ」に戻すことを明瞭に指示している）。この効果は次のとおりである。すなわち、図６ではダイヤルによって２つの機能のうちの一つを選択するのでユーザは操作に戸惑うこともない。しかし、３つ以上の機能から一つを選択するような場合は、ダイヤルをどのポジションに戻せばよいのか戸惑うことになる。本実施形態によれば、復帰させる位置を明瞭に示すので、ユーザはこのような戸惑いを覚えることはない。こうしてダイヤル６０１Ｃが『ＨＥＬＰモード』への移行時の状態に戻されると、装置は『操作モード』へ移行する。

次に、以上の図４〜図６により説明したＵＩの制御について、図７Ａ，Ｂのフローチャートを参照してより詳細に説明する。図７Ａ，Ｂは、ユーザの操作を検知した場合の本情報処理装置の動作手順を説明するためのフローチャートである。

ユーザの操作を検知すると、ステップＳ７０１にて当該装置の状態を検出する。続いて、動作モードが『ＨＥＬＰモード』か否かを判定する。動作モードが『操作モード』の場合はステップＳ７０３へ進み、動作モードが『ＨＥＬＰモード』の場合はステップＳ７０６へ進む。

ステップＳ７０３〜Ｓ７０５は動作モードが『操作モード』の場合の処理である。ステップＳ７０３においてユーザの操作が『モード切替ボタン２０１Ｂの押下』と判定された場合は、ステップＳ７０５へ進み、動作モードを『ＨＥＬＰモード』に設定する。また、ステップＳ７０３において判定されたユーザの操作が『モード切替ボタン２０１Ｂの押下』以外の操作であった場合は、ステップＳ７０４へ進み、当該操作に対応した動作が実行される。なお、操作に対応した動作とは、例えば、右矢印ボタン２０１Ｅが押された場合はフォーカスを１つ右のアイコンに移動する等の処理となる。

ステップＳ７０６〜Ｓ７２３に示される処理は動作モードが『ＨＥＬＰモード』の場合の処理である。ステップＳ７０６において、ユーザの操作が『確定ボタン２０１Ｄの押下』であると判定された場合はステップＳ７０７へ進む。また、ユーザによる操作が『確定ボタン２０１Ｄの押下』でない場合はステップＳ７０９へと進む。

ステップＳ７０７ではＣＮＴの値が０か否かが判定される。ここで、ＣＮＴとは、『ＨＥＬＰモード』移行後にユーザへの説明提示を行ったか否かを表す変数である。『ＨＥＬＰモード』移行後、まだユーザへの説明提示を行っていない場合はＣＮＴ＝０、既にユーザへの説明提示を行った場合はＣＮＴ＝１となる。なお、初期状態、すなわち『ＨＥＬＰモード』への移行直後におけるＣＮＴの値は０にセットされる。

ステップＳ７０７において、ＣＮＴ＝０の場合（まだ説明提示を行っていない場合）は、確定ボタンの機能説明を行うために後述のステップＳ７１２へ進む。たとえば、図４の（Ａ）の状態で確定ボタン２０１Ｄが押されると、「部数を設定する画面を提示します」という音声ガイダンスが出力され、ディスプレイ２０１Ａには部数設定用の画面（不図示）が表示される。そして、その操作内容が記憶部１０３に記憶され、ＣＮＴが１にセットされる。一方、ステップＳ７０７においてＣＮＴ＝１（既に説明提示を行った状態）の場合はステップＳ７０８へ進む。ステップＳ７０８では、記憶部１０３に記録されているユーザの操作（ステップＳ７１２にて記憶部１０３へ記録されたユーザの操作）を読み出し、当該操作に対応した動作を実行する。なお、操作に対応した動作とは、例えば、右矢印ボタン２０１Ｅが押された場合はフォーカスを１つ右に移動する等の処理である。また、上記のように確定ボタン２０１Ｄの操作であれば、その確定操作（たとえば部数を設定への移行）が実行されることになる。ステップＳ７０８で対応動作を実行すると、ステップＳ７２３において、動作モードを『操作モード』に設定し、ＣＮＴの値を０にする。

一方、ユーザの操作が『確定ボタン２０１Ｄの押下』ではないと判定された場合は、ステップＳ７０６からステップＳ７０９へ進み、当該操作が『モード切替ボタン２０１Ｂの押下』であるか否かが判定される。ステップＳ７０９において、ユーザによる操作が『モード切替ボタン２０１Ｂの押下』であった場合はステップＳ７１８へ進む。ステップＳ７１８において、ＣＮＴ＝０の場合（まだ説明提示を行っていない場合）には、モード切替ボタンの機能説明を行うために後述のステップＳ７１２へ進む。ステップＳ７１８において、ＣＮＴ＝１の場合の処理（ステップＳ７１９移行の処理）については後述する。

また、ステップＳ７０９において、ユーザによる操作が『モード切替ボタン２０１Ｂの押下』ではないと判定された場合はステップＳ７１０へ進む。ステップＳ７１０においてＣＮＴ＝１の場合（既に説明提示を行った場合）は、説明提示を行った後の操作が『確定ボタン２０１Ｄの押下』と『モード切替ボタン２０１Ｂの押下』のいずれでもないことになる。従って、ステップＳ７１１へ進み、確定ボタン２０１Ｄ及びモード切替ボタン２０１Ｂのどちらかを選択する旨のメッセージを出力する。一方、ステップＳ７１０においてＣＮＴ＝０の場合（まだ説明提示を行っていない場合）は、ステップＳ７１２へ進む。

ステップＳ７１２では、今回入力されたユーザの操作を記憶部１０３に記録し、操作に応じた説明を提示し、その操作に応じて表示内容を更新し、ＣＮＴの値を１にする。例えば、ステップＳ７０７のＹＥＳ分岐によりステップＳ７１２が実行される場合は上述のように確定ボタンの機能説明が提示される。ステップＳ７１８のＹＥＳ分岐によりステップＳ７１２が実行される場合はモード切替ボタンの機能説明が提示される。また、ステップＳ７１０のＹＥＳ分岐によりステップＳ７１２が実行される場合は操作内容に応じた機能説明が行われる。前述のように、ここでは「当該操作が行われることにより、機器がこのような状態に変わる」という説明をユーザに提示する。説明の提示の仕方としては、例えば、操作後の画面状態をディスプレイ２０１Ａ上に表示したり、操作後の状況を音声出力部１０７から音声出力することが挙げられる（図４の（Ｂ））。画面の状態の変化、音声出力のいずれか一方を実行するように構成することも可能である。

また、当該操作により音声入力が可能になる場合（例えば、図５（Ａ），（Ｂ）に示されるように音声ボタン２０１Ｆが押された場合）は、さらにステップＳ７１３からステップＳ７１４へ処理が進み、その時点の装置の状態に応じて、音声で入力可能な語彙がユーザに提示される。なお、上記入力可能語彙は、説明文と同様、あらかじめ記憶部１０３に記憶しておく。表示の更新や出力する音声の内容の登録及び選択については図８により後述する。

また、ユーザによってなされた当該操作が、ダイヤル６０１Ｃを回す等、自動的には元の状態に戻らない手動切替入力部１０８に対する操作だった場合は、ステップＳ７１５からステップＳ７１６に進み、ＦＬＡＧの値を１にセットする。一方、そのような操作でない場合は、ステップＳ７１７へ進み、ＦＬＡＧを０にセットする。すなわち、ＦＬＡＧは手動切り替え入力部１０８に対する操作の有無を表す。

さて、ステップＳ７１８においてＣＮＴ＝１と判定された場合は、説明提示を行った後にモード切替が指示された場合である。そのような場合は、図４（Ｄ）、図５（Ｅ）に示したように装置の状態を『ＨＥＬＰモード』への移行直前に戻し、『操作モード』に移行する。また、図６の（Ｅ）（Ｆ）に示したように、ダイヤル等の状態が『ＨＥＬＰモード』への移行直前に戻されたことを確認してから『操作モード』へ移行する。これらの処理がステップＳ７１９〜Ｓ７２３において行われる。

ステップＳ７１９において、ＦＬＡＧ＝１の場合は、自動的には元の状態に戻らない手動切替入力部１０８に対する操作が行われたことが示されている。よって、処理をステップＳ７２０に進め、手動切替入力部１０８の状態を元の位置に戻すよう指示する。例えば図６の（Ｅ）に示したようなメッセージをディスプレイ２０１Ａ上に表示したり、音声出力部１０７からその旨を音声出力したりする。その後、ステップＳ７２１において、手動切替入力部１０８の状態が『ＨＥＬＰモード』移行時の状態に戻されたことの確認が得られたならばステップＳ７２２に進む。また、ステップＳ７１９においてＦＬＡＧ＝０の場合（手動切替入力部１０８に対する操作が行われていない場合）にはそのままステップＳ７２２に進む。ステップＳ７２２では、装置の状態が『ＨＥＬＰモード』へ移行する前の状態に戻され、ステップＳ７２３において動作モードとして『操作モード』が設定され、ＣＮＴの値が０にセットされる。

図８は本実施形態によるヘルプ提示のための出力内容の登録状態例を説明する図である。図８は、図４（Ａ）に示されるような操作選択画面を表示している場合のヘルプ出力内容の登録状態を示している。８０１、８１１〜８１３に示される内容は装置の状態８００を示すものであり、ステップＳ７０１で検出される装置状態により決定される。また、８２１〜８２９は『ＨＥＬＰモード』においてなされた操作の内容８２０を示している。８３１〜８３４は装置の状態と操作の内容に対応してどのようにＵＩの表示（ディスプレイ２０１Ａ，６０１Ａ）を変更するかが示されている。また、８４１〜８４６は装置の状態と操作の内容に対応した音声出力内容８４０を示している。操作の例えば、図４（Ａ）の状態であれば、『操作選択画面を表示中』（８０１）であり『部数にフォーカス』（８１１）が当たった状態である。よって、この状態で右矢印２０１Ｅが押されると、８１１、８２２を経て表示変更内容８３２にたどり着く。従って、ＵＩの表示において『フォーカスを用紙に移動』が実行され、図４（Ｂ）のように表示が変化する。また、音声出力内容として８４２が関連付けられており、『フォーカスを用紙に移動します』というように、操作結果を含む音声ガイダンスの出力が得られることになる。上述したように音声出力内容は、ＷＡＶ等のファイル形式で保持されて再生出力されてもよいし、テキスト形式で保持されて音声合成により音声出力されてもよい。

また、音声ボタン２０１Ｆが操作されると、ステップＳ７１２で音声出力内容８４５が出力され、後述のステップＳ７１４で音声出力内容８４６が出力されることになる。特に、出力内容８４６は操作選択画面に特化されたものであり、別の画面がディスプレイ２０１Ａに表示されていればその内容は異なる。たとえば、図２（Ｄ）の状態で『ＨＥＬＰモード』に移行し、音声ボタン２０１Ｆが押されると、「音声取り込みを開始します。」「Ａ４，Ａ３，Ｂ５という語彙を発声できます」というガイダンスが再生される。

以上のように、図８のような出力内容の登録を各画面毎に所有することにより、適切なヘルプ表示及び音声出力が可能となる。

次に、図４〜図６に示した動作と上記フローチャートで示した処理との対応を説明する。

本装置が図４（Ａ）に示される状態のときに右矢印ボタン２０１Ｅが押されると、図４（Ｂ）に示される状態へ移行する。すなわち、ディスプレイ２０１Ａ上にはフォーカスを用紙に移動した状態が表示され、「フォーカスを用紙に移動します」という音声が出力される（ステップＳ７０２→Ｓ７０６→Ｓ７０９→Ｓ７１０→Ｓ７１２）。ここで確定ボタン２０１Ｄが押されると、その操作を実行して『操作モード』へ戻る（ステップＳ７０２→Ｓ７０６→Ｓ７０７→Ｓ７０８→ステップＳ７２３）。すなわち、フォーカスを用紙アイコンに移動して『操作モード』に移行する（図４（Ｃ））。

また、本装置が図４（Ｂ）の状態のときにモード切替ボタン２０１Ｂが押された場合は、操作を実行せず『操作モード』へ戻る（ステップＳ７０２→Ｓ７０６→Ｓ７０９→Ｓ７１８→Ｓ７１９→Ｓ７２２→Ｓ７２３）。すなわち、フォーカスは部数アイコンに当たったままである。

また、図５において、本装置が図５（Ａ）の状態のときに音声ボタン２０１Ｆが押されると、図５（Ｂ）に示す状態となり、「音声の取り込みを開始します。部数、用紙、倍率という語彙を発声できます」と音声で出力する（ステップＳ７１４）。このとき、発声可能語彙をディスプレイ２０１Ａ上に表示してもよい。続いて、確定ボタン２０１Ｄが押されると、その操作を実行して『操作モード』へ戻る（ステップＳ７０６→Ｓ７０７→Ｓ７０８→Ｓ７２３）。すなわち、音声の取り込みを開始する（図５（Ｃ））。続いてユーザによって例えば「用紙」という音声５０１が音声入力部１０５から入力されると、当該音声を音声認識・解釈部１０６にて認識・解釈した結果、用紙アイコンの選択が決定される（ステップＳ７０４）。この結果、ディスプレイ２０１Ａ上には用紙選択画面が表示される（図５（Ｄ））。

また、本装置が図５（Ｂ）の状態のときにモード切替ボタン２０１Ｂが押された場合は、操作を実行せず『操作モード』へ戻る（ステップＳ７２２、Ｓ７２３）。すなわち、音声の取り込みは開始せず、元の状態へ戻る（図５（Ｅ））。

また、図７Ａ，Ｂのフローチャートにおいて、ステップＳ７１５〜Ｓ７１７、Ｓ７１９〜Ｓ７２１は、手動切替入力部１０８が『ＨＥＬＰモード』で操作された場合の処理である。すなわち、『ＨＥＬＰモード』において、自動的には元の状態に戻らないような手動切替入力部１０８が操作され、その操作に対する説明を提示した後、その操作を実行せずに『操作モード』へ戻る場合に、手動切替入力部１０８の状態を元に戻す。

図６（Ａ）において、ディスプレイ２０１Ａ上には画像が１枚表示されている。この状態でモード切替ボタン２０１Ｂが押されると、『操作モード』から『ＨＥＬＰモード』へ移行し図６（Ｂ）の状態となる。『ＨＥＬＰモード』において、ダイヤル６０１Ａが回転され、一覧表示に合わされると、図６（Ｃ）に示されるように、ディスプレイ２０１Ａ上には画像を一覧表示した状態が表示され、「画像を一覧表示します」という音声６０２が出力される（ステップＳ７１２）。

図６（Ｃ）の状態において確定ボタン２０１Ｄが押されると、その操作を実行して『操作モード』へ戻る（ステップＳ７０６→Ｓ７０７→Ｓ７０８→Ｓ７２３）。すなわち、画像を一覧表示する（図６（Ｄ））。

また、図６（Ｃ）の状態において、モード切替ボタン２０１Ｂが押された場合は、元の状態に戻すために、回転したダイヤル６０１Ａを元に戻すよう促す（図６（Ｅ）、Ｓ７２０）。その後、ダイヤル６０１Ａが元の位置に戻されたことを検知したならば、元の状態（一枚ずつ表示する形態）へ戻り、『操作モード』へ移行する（ステップＳ７２１→Ｓ７２２→Ｓ７２３、図６（Ｆ））。

以上のように、上記実施形態によれば、『ＨＥＬＰモード』において操作が行われると、『当該操作が行われることにより、機器がこのような状態に変わる』という説明をユーザに提示するので、ユーザにとってわかりやすいヘルプを提供できる。また、操作により音声入力が可能になる場合は、音声で入力可能な語彙をユーザに提示するため、ユーザの利便性が著しく向上する。

また、『ＨＥＬＰモード』において、自動的には元の状態に戻らないような手動切替入力部１０８が操作され、その操作に対する説明を提示させた後、その操作を実行せずに『操作モード』へ戻したい場合にも本実施形態の構成は有効である。すなわち、『ＨＥＬＰモード』において手動切替入力部１０８を操作してヘルプを提示させた後、モード切替ボタン２０１Ｂを押すと、手動切替入力部１０８の状態を元に戻すよう促す（具体的にどの状態にするのかを含む）表示がなされる。このため、『ＨＥＬＰモード』中の操作により機器の手動切替入力部１０８の状態と内部状態を同一に保つことが容易となる。

以上のように、上記実施形態によれば、音声入力ＵＩやハードウェアの状態を考慮することにより、複雑化した機器のユーザインタフェースに関し、ユーザに、より使いやすくわかりやすい操作説明を提供することができる。また、機器の状況に応じて操作説明を提示するのでユーザにとってわかりやすく、また、操作に対する安心感を与えることができる。

たとえば、確定ボタン２０１Ｄ，６０１Ｄという一つの操作ににより『ＨＥＬＰモード』で説明を提示させた操作内容を実行するとともに『操作モード』への移行するので、モード移行と操作の実行を一括して行うことができ、操作性が向上する。さらに、モード切替ボタン２０１Ｂ、６０１Ｂにより『ＨＥＬＰモード』への移行直前の状態として『操作モード』へ復帰させることもできる。すなわち、ユーザはこれら２種類の『操作モード』への復帰方法を選択的に実行させることができるので操作性が向上する。

また、モード切替ボタン６０１Ｄにより『操作モード』復帰する際には、手動切替入力部１０８（ダイヤルスイッチ６０１Ｃ）の『ＨＥＬＰモード』での操作状態がチェックされる。そして、手動切替入力部１０８が操作されている場合には、当該手動切替入力部１０８を『ＨＥＬＰのモード』への移行直前の状態に復帰させるようユーザに催促する。このため、『操作モード』へ復帰した際に、装置の内部状態と手動切替入力部１０８の状態の不一致を回避できる。

また、上記実施形態によれば、『ＨＥＬＰモード』への移行時に装置の状態を取得し、操作入力に応じた説明を提示する際には、その操作の結果どのような状態になるかを提示するようにしたので、ユーザにより適切な説明を提供できる。たとえば、右矢印ボタン２０１Ｅの操作により『用紙』アイコンにフォーカスが移動する場合は、「フォーカスを用紙に移動します」というように具体的な説明が提供される。さらに、『ＨＥＬＰモード』で音声ボタン２０１Ｆが操作された場合は、上記取得した装置の状態に基づいて音声入力でどのような語彙を入力できるかまでを提示する。たとえば、図５に示した装置状態で音声ボタン２０１Ｆが操作されると、「部数、用紙、倍率」という語彙を音声入力できる旨が通知される。このため、使い勝手が向上する。

なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施形態における情報処理装置の基本構成を示す図である。 実施形態に係る情報処理装置の動作の一例を示す図である。 実施形態に係る情報処理装置の動作の一例を示す図である。 実施形態に係る情報処理装置の動作の一例を示す図である。 実施形態に係る情報処理装置の動作の一例を示す図である。 実施形態に係る情報処理装置の動作の一例を示す図である。 実施形態に係る情報処理装置の動作手順を示すフローチャートである。 実施形態に係る情報処理装置の動作手順を示すフローチャートである。 本実施形態によるヘルプ提示のための出力内容の登録状態例を説明する図である。

Claims (21)

1. 動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理装置であって、
   前記説明モードにおいてなされた操作の入力について説明を提示する提示手段と、
   前記操作の入力を記憶する記憶手段と、
   所定の第１操作入力に応じて前記記憶手段に記憶された前記操作の入力に応じた動作を実行するとともに、前記説明モードから前記操作モードへ移行する移行制御手段とを備えることを特徴とする情報処理装置。
2. 前記移行制御手段は、所定の第２操作入力があった場合は、前記説明モードへの移行直前の状態で前記操作モードへ移行することを特徴とする請求項１に記載の情報処理装置。
3. 前記移行制御手段は、前記所定の第２操作入力による前記操作モードへの移行において、前記記憶手段に記憶された前記操作の入力が、手動操作状態を維持する操作部品への操作であることを示す場合、該操作部品の状態を元に戻すことの指示を提示し、該操作部品の状態が前記説明モードへの移行直前の状態に戻ったことを確認した後に前記操作モードへ移行することを特徴とする請求項２に記載の情報処理装置。
4. 前記移行制御手段は、前記第１操作入力及び／または前記第２操作入力がなされた時点で、前記記憶手段に操作の入力が記憶されていない場合は、該第１操作入力及び／または該第２操作入力に関する説明を提示し、操作モードへの移行を行わないことを特徴とする請求項２に記載の情報処理装置。
5. 動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理装置であって、
   前記説明モードへの移行時に当該情報処理装置の装置状態を取得する取得手段と、
   前記説明モードにおいてなされた操作入力と前記装置状態とに基づいて該操作入力に対する説明の提示内容を決定する決定手段と、
   前記決定手段で決定された提示内容を提示する提示手段とを備えることを特徴とする情報処理装置。
6. 前記決定手段で決定される提示内容は、前記操作モードにおいて前記操作入力がなされた場合の操作結果の操作画面状態であることを特徴とする請求項５に記載の情報処理装置。
7. 前記決定手段で決定される提示内容は、前記操作モードにおいて前記操作入力がなされた場合の操作結果に関する音声説明であることを特徴とする請求項５に記載の情報処理装置。
8. 動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理装置であって、
   前記説明モードへの移行時に、当該情報処理装置の装置状態を取得する状態取得手段と、
   前記操作モードにおいて音声入力のための操作部品が操作された場合に、前記状態取得手段で取得された装置状態に基づいて音声入力可能な語彙を取得する語彙取得手段と、
   前記語彙取得手段で取得された語彙を含む説明を提示する提示手段とを備えることを特徴とする情報処理装置。
9. 前記提示手段は、前記語彙を含む説明を音声にて提示することを特徴とする請求項８に記載の情報処理装置。
10. 所定の操作により、前記操作モードへ移行するとともに、前記状態取得手段で取得した装置状態における音声取り込みを開始する移行制御手段をさらに備えることを特徴とする請求項８または９に記載の情報処理装置。
11. 動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理方法であって、
    前記説明モードにおいてなされた操作の入力について説明を提示する提示工程と、
    前記操作の入力を記憶手段に記憶する記憶工程と、
    所定の第１操作入力に応じて前記記憶手段に記憶された前記操作の入力に応じた動作を実行するとともに、前記説明モードから前記操作モードへ移行する移行制御工程とを備えることを特徴とする情報処理方法。
12. 前記移行制御工程は、所定の第２操作入力があった場合は、前記説明モードへの移行直前の状態で前記操作モードへ移行することを特徴とする請求項１１に記載の情報処理方法。
13. 前記移行制御工程は、前記所定の第２操作入力による前記操作モードへの移行において、前記記憶手段に記憶された前記操作の入力が、手動操作状態を維持する操作部品への操作であることを示す場合、該操作部品の状態を元に戻すことの指示を提示し、該操作部品の状態が前記説明モードへの移行直前の状態に戻ったことを確認した後に前記操作モードへ移行することを特徴とする請求項１２に記載の情報処理方法。
14. 前記移行制御工程は、前記第１操作入力及び／または前記第２操作入力がなされた時点で、前記記憶手段に操作の入力が記憶されていない場合は、該第１操作入力及び／または該第２操作入力に関する説明を提示し、操作モードへの移行を行わないことを特徴とする請求項１２に記載の情報処理方法。
15. 動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理方法であって、
    前記説明モードへの移行時に当該情報処理方法の装置状態を取得する取得工程と、
    前記説明モードにおいてなされた操作入力と前記装置状態とに基づいて該操作入力に対する説明の提示内容を決定する決定工程と、
    前記決定工程で決定された提示内容を提示する提示工程とを備えることを特徴とする情報処理方法。
16. 前記決定工程で決定される提示内容は、前記操作モードにおいて前記操作入力がなされた場合の操作結果の操作画面状態であることを特徴とする請求項１５に記載の情報処理方法。
17. 前記決定工程で決定される提示内容は、前記操作モードにおいて前記操作入力がなされた場合の操作結果に関する音声説明であることを特徴とする請求項１５に記載の情報処理方法。
18. 動作モードとして、機器への操作を実行する操作モードと、該機器への操作に対応する説明を提示する説明モードを有する情報処理方法であって、
    前記説明モードへの移行時に、当該情報処理方法の装置状態を取得する状態取得工程と、
    前記操作モードにおいて音声入力のための操作部品が操作された場合に、前記状態取得工程で取得された装置状態に基づいて音声入力可能な語彙を取得する語彙取得工程と、
    前記語彙取得工程で取得された語彙を含む説明を提示する提示工程とを備えることを特徴とする情報処理方法。
19. 前記提示工程は、前記語彙を含む説明を音声にて提示することを特徴とする請求項１８に記載の情報処理方法。
20. 所定の操作により、前記操作モードへ移行するとともに、前記状態取得工程で取得した装置状態における音声取り込みを開始する移行制御工程をさらに備えることを特徴とする請求項１８または１９に記載の情報処理方法。
21. 請求項１１乃至２０のいずれかに記載の情報処理方法をコンピュータに実行させるための制御プログラム。

Images