JP2020177510A - ユーザインターフェイス装置および画像形成装置 - Google Patents

Abstract

【課題】音声入力された問い合わせに対して、その回答内容に応じて音声又は音声以外の形態で回答を出力できるユーザインターフェイス装置を提供する。【解決手段】音声入力された問い合わせに対して、回答内容を決定し、その決定した回答内容で予め用意した回答テーブル６０を参照して、音声出力、非音声出力（電子メール、パネル表示、プリント）の中から回答方法を選択し、その選択した回答方法で問い合わせに対する回答を出力する。例えば、装置のＩＰアドレスが問われた場合は、回答方法として電子メールとし、音声入力で設定情報一覧の取得が要求されたならば、その回答方法としてプリントを選択する。【選択図】図４

Description

本発明は、音声入力、音声応答が可能なユーザインターフェイス装置およびこれを含む画像形成装置に関する。

質問や指示を音声入力で受け付ける装置においては、通常、回答を音声で出力する対話的なインターフェイスが用いられる（下記特許文献１参照）。

特開２０１８−１４７３２１号公報

音声入力された問い合わせに対する回答は、通常、音声出力により行われるが、回答内容が音声出力に適さない場合がある。たとえば、コピー、プリント、ＦＡＸなどの機能を備えた複合機を外部端末から使用するために、そのＩＰアドレスを音声で問い合わせた場合に、その回答が音声出力でなされると、ＩＰアドレスを正確に聞き取れなかったり、覚えきれなかったりする。また、問い合わせに対して複数の回答があるような場合にも、音声による回答では不便な場合がある。

本発明は、上記の問題を解決しようとするものであり、音声入力された問い合わせに対し、その回答内容に応じて音声もしくは音声以外の形態で回答を出力することのできるユーザインターフェイス装置およびこれを含む画像形成装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］音声入力部と、
前記音声入力部から入力された問い合わせに対して、その回答内容を決定する回答決定部と、
前記問い合わせに対する回答を音声で出力する音声回答部と、
前記問い合わせに対する回答を音声以外の形態で出力する１または複数の非音声回答部と、
前記回答決定部が決定した回答内容に応じて、前記音声回答部および前記非音声回答部の中から前記問い合わせに対する回答の出力に使用する回答部を選択する選択部と、
前記問い合わせに対して前記回答決定部が決定した回答内容を、前記選択部が選択した回答部に出力させる出力制御部と、
を有する
ことを特徴とするユーザインターフェイス装置。

上記発明では、問い合わせに対する回答内容を決定し、その決定した回答内容に応じて、その回答に、音声回答部を使用するか、非音声回答部を使用するかを選択する。

［２］前記選択部は、前記音声回答部と前記非音声回答部の双方を選択し得る
ことを特徴とする［１］に記載のユーザインターフェイス装置。

［３］前記非音声回答部の１つに、前記問い合わせに対する回答を電子メールで送信する送信部を含む
ことを特徴とする［１］または［２］に記載のユーザインターフェイス装置。

［４］前記非音声回答部の１つに、前記問い合わせに対する回答を表示する表示部を含む
ことを特徴とする［１］乃至［３］のいずれか１つに記載のユーザインターフェイス装置。

［５］前記非音声回答部の１つに、前記問い合わせに対する回答を記録紙に印刷出力するプリンタ部を含む
ことを特徴とする［１］乃至［４］のいずれか１つに記載のユーザインターフェイス装置。

［６］当該ユーザインターフェイス装置から所定距離以内に人が居るか否かを検出する人検知部を有し、
前記人検知部が人を検知していない場合は、前記問い合わせに対する回答の出力に前記表示部を使用しない
ことを特徴とする［４］に記載のユーザインターフェイス装置。

上記発明では、装置の近くに人が居なければ、操作パネルに表示してもそれを見る人が居ないので、表示部を回答の出力に使用しない。

［７］当該ユーザインターフェイス装置から所定距離以内に人が居るか否かを検出する人検知部を有し、
前記人検知部が人を検知していない場合は、前記問い合わせに対する回答の出力に前記プリンタ部を使用しない
ことを特徴とする［５］に記載のユーザインターフェイス装置。

上記発明では、装置の近くに人が居なければ、プリント出力してもその印刷物を受け取って見る人が居ないので、プリンタ部を回答の出力に使用しない。

［８］前記選択部が選択した回答部で良いか否かをユーザに確認する
ことを特徴とする［１］乃至［７］のいずれか１つに記載のユーザインターフェイス装置。

［９］前記選択部は、回答内容とその出力に使用する回答部とを予め対応付けて登録した所定のテーブルを参照して、前記選択を行う
ことを特徴とする［１］乃至［８］のいずれか１つに記載のユーザインターフェイス装置。

［１０］前記選択部は、前記問い合わせと共に、その回答方法を指定する音声が入力された場合は、その指定された回答方法に対応する回答部を選択する
ことを特徴とする［１］乃至［９］のいずれか１つに記載のユーザインターフェイス装置。

上記発明では、ユーザが回答方法を指定した場合は、それを優先する。

［１１］［１］乃至［１０］のいずれか１つに記載のユーザインターフェイス装置を備えた画像形成装置。

本発明に係るユーザインターフェイス装置およびこれを含む画像形成装置によれば、音声入力された問い合わせに対して、その回答内容に応じて、音声または音声以外の形態で回答が出力される。

本発明の実施の形態に係るユーザインターフェイス装置の機能を有する画像形成装置の外観を示す図である。 図１に示す画像形成装置の概略構成を示すブロック図である。 回答テーブルの一例を示す図である。 音声入力された問い合わせの内容が図３のカテゴリ１に分類された場合の画像形成装置の動作例を示す図である。 回答内容がカテゴリ１に分類されたときのユーザと画像形成装置とのやりとりの例を示す図である。 回答内容がカテゴリ１に分類されたときのユーザと画像形成装置とのやりとりの他の例を示す図である。 装置が自動選択した回答方法でよいか否かをユーザに問い合わせる場合のやりとり例を示す図である。 装置が自動選択した回答方法でよいか否かをユーザに問い合わせる場合のやりとりの他の例を示す図である。 回答内容がカテゴリ２に分類されたときのユーザと画像形成装置とのやりとりの例を示す図である。 回答内容がカテゴリ２に分類されたときのユーザと画像形成装置とのやりとりの他の例を示す図である。 回答内容がカテゴリ３に分類されたときのユーザと画像形成装置とのやりとりの例を示す図である。 回答内容がカテゴリ３に分類されたときのユーザと画像形成装置とのやりとりの他の例を示す図である。 回答内容がカテゴリ３に分類されたときのユーザと画像形成装置とのやりとりのさらに他の例を示す図である。 音声入力を受けた画像形成装置が行うメイン処理を示す流れ図である。 Ｅメール回答処理（図１４のステップＳ１０８）の詳細を示す流れ図である。 Ｅメール回答処理（図１４のステップＳ１０８）の詳細の他の例を示す流れ図である。 パネル表示回答処理（図１４のステップＳ１１０）の詳細を示す流れ図である。 印刷回答処理（図１４のステップＳ１１２）の詳細を示す流れ図である。 印刷回答処理（図１４のステップＳ１１２）の詳細の他の例を示す流れ図である。 問い合わせの際に、ユーザから回答方法の指定を受ける場合に対応したメイン処理を示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係るユーザインターフェイス装置の機能を有する画像形成装置１０の構成例を示している。画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャン機能、ＰＣ（Personal Computer）などからネットワークを通じて受信した印刷データに係る画像を記録紙に印刷して出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。

画像形成装置１０は、ユーザや管理者からの各種の設定操作を、操作パネルの画面に表示したソフトスイッチに対する操作やハードスイッチに対する操作で受け付けるほか、各種の問い合わせや要求、指示、設定等を音声入力で受け付ける機能を備えている。

図２は、画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、スキャナ部１６、画像処理部１７、プリンタ部１８、ネットワーク通信部１９、入出力Ｉ／Ｆ部２１、人検知部２２、操作パネル３０、などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、デフォルト設定値や管理者設定などの保存などに使用される。また、不揮発メモリ１４には、音声入力された問い合わせに対する回答内容や回答方法がカテゴリに分けて予め登録された回答テーブル６０が記憶される。

ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、設定画面の画面データのほか各種のプログラム、データが記憶される。

スキャナ部１６は、原稿を光学的に読み取って画像データを取得する機能を果たす。スキャナ部１６は、原稿台にセットされた複数枚の原稿を順次繰り出して読み取るための自動原稿搬送装置（ＡＤＦ）を有する。また、この自動原稿搬送装置で原稿の表裏を反転させることで原稿の表裏を読み取ることができる。

画像処理部１７は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部１８は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタのエンジン部として構成されている。画像形成は他の方式でもかまわない。

ネットワーク通信部１９は、ＬＡＮなどのネットワークを通じて各種の外部装置、サーバなどと通信する機能を果たす。ネットワーク通信部１９は、電子メールの送受信にも使用される。

入出力Ｉ／Ｆ部２１は、画像形成装置１０に各種の外部装置を接続するための接続部である。入出力Ｉ／Ｆ部２１には、ＵＳＢメモリ、外付けＨＤＤなどが接続される。

人検知部２２は、画像形成装置１０の近く（たとえば半径２ｍ程度の範囲）に人が居るか否かを検出する。人検知部２２は、たとえば、人感センサや近距離通信などを利用して近くの人を検知する。近くに居る人の検知方法は任意でよい。

操作パネル３０は、操作部３１、表示部３２、マイク３３、スピーカ３４等を備える。表示部３２には、各種の操作画面、設定画面が表示される。表示部３２は液晶ディスプレイとそのドライバなどで構成される。操作部３１はユーザから各種の操作（タッチ操作や押下操作）を受ける。操作部３１はスタートボタンやテンキーなどの各種ハードスイッチと、表示部３２の表示面上に設けられたタッチパネルなどで構成される。

マイク（Microphone）３３は音声入力部であり、ユーザが発した音声を電気信号に変換する。スピーカ（speaker）３４は、入力された音声の電気信号を音（物理振動）に変換する音声出力部である。

なお、表示部３２は、音声入力された問い合わせに対する回答を出力する回答部（非音声回答部）の１つであり、メッセージ等を画面に表示する形態で回答を出力する。スピーカ３４は、音声入力された問い合わせに対する回答を出力する回答部の１つであり、回答を音声で出力する音声回答部の機能を果たす。プリンタ部１８は回答部（非音声回答部）の１つであり、音声入力された問い合わせに対する回答を記録紙に印刷して出力する機能を果たす。ネットワーク通信部１９も回答部（非音声回答部）の１つであり、音声入力された問い合わせに対する回答を電子メールで送信する機能を果たす。

ＣＰＵ１１は、画像形成装置１０の動作全体を制御するほか、ユーザインターフェイス装置に係る機能として、問い合わせ認識部４１、回答決定部４２、選択部４３、出力制御部４４等の機能を果たす。

問い合わせ認識部４１は、マイク３３を通じて入力された音声を解析して、音声入力された問い合わせの内容を認識する。回答決定部４２は、問い合わせ認識部４１が認識した問い合わせに対して、その回答内容を決定する機能を果たす。選択部４３は、回答決定部４２が決定した回答内容に応じて、音声回答部および非音声回答部の中から、問い合わせに対する回答の出力に使用する１または２以上の回答部を選択する。出力制御部４４は、問い合わせ認識部４１が認識した問い合わせに対して回答決定部４２が決定した回答内容を、選択部４３が選択した回答部に出力させる制御を行う。たとえば、回答内容に応じた表示データ、音声データ、印刷データ、電子メールを作成し、これに基づいて回答を該当の回答部に出力させる等の処理を行う。

選択部４３は、回答決定部４２が決定した回答内容に対応する回答方法を、図３に示すような回答テーブル６０を参照して選択する。図３に示す回答テーブル６０は、回答内容をカテゴリ１〜４に分類し、カテゴリ毎に、回答内容と応答例と回答方法を対応付けて登録してある。

図４は、音声入力された問い合わせの内容が図３のカテゴリ１に分類された場合の画像形成装置１０の動作の一例を示している。図３によれば、カテゴリ１に対応する回答方法は「電子メール」である。

図４の例では、まず、会議室Ｂのユーザが、ＴＶ会議システムで接続された遠隔の会議室Ａに設置されている画像形成装置１０のＩＰアドレスを問い合わせる質問を音声で行う（Ｓ１）。会議室Ｂに居るユーザの声はＴＶ会議システムを通じで会議室Ａのスピーカから出力される（Ｓ２）。

会議室Ａの画像形成装置１０は、内蔵するマイク３３でその声を入力し、該画像形成装置１０の問い合わせ認識部４１は音声入力された問い合わせの内容が自装置のＩＰアドレスの問い合わせであることを認識し（Ｓ３）、回答決定部４２はその回答内容である自装置のＩＰアドレスを取得する（Ｓ４）。画像形成装置１０の選択部４３は、回答テーブル６０を参照することで、ＩＰアドレスを回答する際の回答方法を電子メールに選択する（Ｓ５）。出力制御部４４は、自装置のＩＰアドレスが本文に記載された電子メールを作成する（Ｓ６）。そして、この電子メールの宛先アドレスを社員管理システム４のサーバに問い合わせて取得する（Ｓ７）。自装置のＩＰアドレスが記載された文書ファイルを作成し、これを添付した電子メールを作成してもよい。

ここでは、画像形成装置１０は、入力された音声を社員管理システムに送信し、社員管理システム４は、画像形成装置１０から受信した声と、予め登録されている各社員の声とを照合（声紋照合）して、声の主である社員を特定し、その社員の電子メールアドレスを画像形成装置１０に通知する。声紋の照合によるユーザの特定は画像形成装置１０が行ってもよいし別のサーバに依頼して行うようにしてもよい。

画像形成装置１０は、社員管理システムから受け取った電子メールアドレスを宛先に設定して、先ほどの電子メールを送信する（Ｓ８）。このように、画像形成装置１０は音声入力でＩＰアドレスが問い合わされた場合は、その回答を音声出力以外の回答方法の１つである電子メールで回答する。

次に、音声による問い合わせから回答が出力されるまでの各種の例を説明する。

図５〜図８は、回答内容がカテゴリ１に分類されたときのユーザと画像形成装置１０とのやりとりの例を示している。図５では、ユーザが「ＩＰアドレスを教えて」と音声で問い合わせし（Ｐ１）、これに対して画像形成装置１０は、回答内容を決定し、それに対応する回答方法として電子メールを選択し、ＩＰアドレスが本文に記載された電子メールを作成して問い合わせ主のユーザに送信する。その後、「メールで送りました。読み上げますか？」とのメッセージを音声出力する（Ｐ２）。この例では、ユーザが「いいえ、結構です。」と応答したので（Ｐ３）、当該問い合わせに関する一連のやり取りは終了となる。

図６では、ユーザが「ＩＰアドレスを教えて」と音声で問い合わせし（Ｐ１１）、これに対して画像形成装置１０は、回答内容を決定し、それに対応する回答方法として電子メールを選択し、ＩＰアドレスを本文に埋め込んだ電子メールを作成して問い合わせ主のユーザに送信する。その後、「メールで送りました。読み上げますか？」とのメッセージを音声出力する（Ｐ１２）。この例ではユーザが「はい、お願いします。」と応答したので（Ｐ１３）、画像形成装置１０は、ＩＰアドレスを読み上げる音声を出力して（Ｐ１４）、一連のやり取りは終了となる。

図７、図８は、装置が自動選択した回答方法でよいか否かをユーザに問い合わせる場合を示している。図７では、ユーザが「ＩＰアドレスを教えて」と音声で問い合わせし（Ｐ２１）、これに対して画像形成装置１０は、回答方法として電子メールを選択し、この回答方法でよいか否か確認するメッセージを音声出力する。具体的には「メールで送ります。よろしいですか？」と音声出力する（Ｐ２２）。図７の例では、ユーザが「はい、お願いします。」と応答したので（Ｐ２３）、画像形成装置１０は、ＩＰアドレスを本文に埋め込んだ電子メールを作成し、これを問い合わせ主のユーザに送信する。その後、「メールで送りました。読み上げますか？」とのメッセージを音声出力し（Ｐ２４）、これに対してユーザが「いいえ、結構です。」と応答したので（Ｐ２５）、一連のやりとりは終了となる。

図８では、ユーザが「ＩＰアドレスを教えて」と音声で問い合わせし（Ｐ３１）、これに対して画像形成装置１０は、回答方法として電子メールを選択し、この回答方法でよいか否か確認するメッセージを音声出力する。具体的には「メールで送ります。よろしいですか？」と音声出力する（Ｐ３２）。図８の例では、ユーザが「はい、お願いします。」と応答したので（Ｐ３３）、画像形成装置１０は、ＩＰアドレスを本文に埋め込んだ電子メールを作成し、これを問い合わせ主のユーザに送信する。その後、「メールで送りました。読み上げますか？」とのメッセージを音声出力し（Ｐ３４）、これに対してユーザが「はい、お願いします。」と応答したので（Ｐ３５）、画像形成装置１０は、ＩＰアドレスを読み上げる音声を出力して（Ｐ３６）、一連のやり取りは終了となる。

図９、図１０は、回答内容がカテゴリ２に分類されたときのユーザと画像形成装置１０とのやりとりの例を示している。図９では、ユーザが「用紙設定したい！」と音声で問い合わせし（Ｐ４１）、これに対して画像形成装置１０は、回答内容を決定し、それに対応する回答方法としてカテゴリ２のパネル表示を選択し、用紙設定に係る設定画面を操作パネル３０の表示部３２に表示してユーザ操作を待機する。その後、「パネルに表示しました。読み上げますか？」とのメッセージを音声出力する（Ｐ４２）。図９の場合、ユーザが「いいえ、結構です。」と応答したので（Ｐ４３）、画像形成装置１０は、表示内容を読み上げることなく、ユーザによる操作パネル３０からの操作を受け付ける。ユーザは、操作パネル３０に表示された設定画面で各種の選択設定操作を行う（Ｐ４４）。

図１０では、ユーザが「用紙設定したい！」と音声で問い合わせし（Ｐ５１）、これに対して画像形成装置１０は、回答内容を決定し、それに対応する回答方法としてパネル表示を選択し、用紙設定に係る設定画面を操作パネル３０の表示部３２に表示してユーザ操作を待機する。その後、「パネルに表示しました。読み上げますか？」とのメッセージを音声出力する（Ｐ５２）。図１０の例では、ユーザが「はい、お願いします。」と応答したので（Ｐ５３）、画像形成装置１０は、用紙設定に係る設定画面の説明を読み上げる音声を出力する（Ｐ５４）。その後、ユーザは、操作パネル３０に表示された設定画面で各種の選択設定操作を行い（Ｐ５５）、画像形成装置１０はこの操作を受け付ける。

図１１〜図１３は、回答内容がカテゴリ３に分類されたときのユーザと画像形成装置１０とのやりとりの例を示している。図１１では、ユーザが「設定リストを確認したい！」と音声で問い合わせし（Ｐ６１）、これに対して画像形成装置１０は、回答内容を決定し、それに対応する回答方法としてプリントを選択し、設定リストの印刷データを作成し、これをプリンタ部１８で印刷出力する。その後、「回答をプリントしました。パネルにも表示しますか？メールで送りますか？」とのメッセージを音声出力する（Ｐ６２）。図１１の場合、ユーザが「いいえ、結構です。」と応答したので（Ｐ６３）、一連のやりとりは終了となる。

図１２では、ユーザが「設定リストを確認したい！」と音声で問い合わせし（Ｐ７１）、これに対して画像形成装置１０は、回答内容を決定し、それに対応する回答方法としてプリントを選択し、設定リストの印刷データを作成し、これをプリンタ部１８で印刷出力する。その後、「回答をプリントしました。パネルにも表示しますか？メールで送りますか？」とのメッセージを音声出力する（Ｐ７２）。図１２の場合、ユーザが「パネルに表示して！」と応答したので（Ｐ７３）、設定リストを操作パネル３０の表示部３２に表示して（Ｐ７４）、一連のやり取りは終了となる。

図１３では、ユーザが「設定リストを確認したい！」と音声で問い合わせし（Ｐ８１）、これに対して画像形成装置１０は、回答内容を決定し、それに対応する回答方法としてプリントを選択し、設定リストの印刷データを作成し、これをプリンタ部１８で印刷出力する。その後、「回答をプリントしました。パネルにも表示しますか？メールで送りますか？」とのメッセージを音声出力する（Ｐ８２）。図１３の場合、ユーザが「メールで送って！」と応答したので（Ｐ８３）、設定リストのデータを含む電子メールを作成し、これを問い合わせ主のユーザに送信して（Ｐ８４）、一連のやり取りは終了となる。

図１４は、音声入力を受けた画像形成装置１０が行うメイン処理（全体概要）を示す流れ図である。画像形成装置１０は、ユーザが発した音声をマイク３３で拾って入力し、音声の認識処理を行う（ステップＳ１０１）。音声認識できなかった場合は（ステップＳ１０２）、音声入力をやり直す旨のメッセージを音声出力して(ステップＳ１０３)、ステップＳ１０１に戻る。

音声認識に成功した場合は（ステップＳ１０２;Ｙｅｓ）、問い合わせ内容を問い合わせ認識部４１で認識し(ステップＳ１０４)、回答決定部４２でその問い合わせに対する回答内容を決定する（ステップＳ１０５）。そして、決定した回答内容で回答テーブル６０を参照して、この回答内容が属するカテゴリの回答方法を取得する(ステップＳ１０６)。

回答テーブル６０を回答内容で参照して取得した回答方法が「電子メール」ならば（ステップＳ１０７;Ｙｅｓ）、Ｅメール回答処理を実行する（ステップＳ１０８）。

回答テーブル６０を回答内容で参照して取得した回答方法が「パネル表示」ならば（ステップＳ１０９;Ｙｅｓ）、パネル表示処理を実行する（ステップＳ１１０）。

回答テーブル６０を回答内容で参照して取得した回答方法が「プリント」ならば（ステップＳ１１１;Ｙｅｓ）、印刷回答処理を実行する（ステップＳ１１２）。

Ｅメール回答処理、パネル表示回答処理、印刷回答処理のいずれかを行った後、さらにやりとりが必要ならばそれに対応する音声応答を行って(ステップＳ１１３)、本処理を終了する。

回答テーブル６０を回答内容で参照して取得した回答方法が「音声出力」ならば（ステップＳ１１１;Ｎｏ）、回答内容を音声出力する処理を実行して（ステップＳ１１３）、本処理を終了する。

図１５は、Ｅメール回答処理（図１４のステップＳ１０８）の詳細を示す流れ図である。出力制御部４４は、回答内容を電子メールの本文に埋め込む(ステップＳ２０１)。次に、問い合わせされた音声の声紋からユーザ(声の主)を特定し(ステップＳ２０２)、特定したユーザについて、社員管理システム４に問い合わせて、そのユーザの電子メールアドレスを取得する（ステップＳ２０３）。出力制御部４４は、社員管理システム４から取得した電子メールアドレスを先ほど作成した電子メールの宛先に設定し（ステップＳ２０４）、ネットワーク通信部１９を用いてこの電子メールを送信する(ステップＳ２０５)。その後、電子メールを送信したことを音声で回答して(ステップＳ２０６)、元の処理に戻る(リターン)。なお、回答内容は添付ファイルとしてもよい。また、声紋によるユーザの特定は、社員管理システム４等の外部サーバに依頼してもよい。

図１６は、Ｅメール回答処理（図１４のステップＳ１０８）の詳細の他の例を示す流れ図である。図１６は、図７の対話シーケンスに対応する。画像形成装置１０の選択部４３は、電子メールで回答するか否かを音声でユーザに問い合わせる（ステップＳ３０１）。ユーザが電子メールで回答することを承諾しない場合は(ステップＳ３０２;Ｎｏ)、本処理を終了して元の処理に戻る(リターン)。

ユーザが電子メールで回答することを承諾した場合は（ステップＳ３０２;Ｙｅｓ）、図１５のステップＳ２０１〜Ｓ２０６と同じ内容のステップＳ３０３〜Ｓ３０８を行って、元の処理に戻る(リターン)。

図１７は、パネル表示回答処理（図１４のステップＳ１１０）の詳細を示す流れ図である。出力制御部４４は、人検知部２２により、当該画像形成装置１０の近くに人が居るか否かを確認する(ステップＳ４０１)。人が近くに居ない場合は(ステップＳ４０１;Ｎｏ)、操作パネルの見える位置に人が居ないと判断して、本処理を終了し、元の処理に戻る(リターン)。

人が近くに居る場合は（ステップＳ４０１;Ｙｅｓ）、出力制御部４４は、回答内容に対応する表示データを作成し(ステップＳ４０２)、これを操作パネル３０の表示部３２に表示する(ステップＳ４０３)。そして、操作パネルに回答を表示した旨を音声で回答して(ステップＳ４０４)、元の処理に戻る(リターン)。

図１８は、印刷回答処理（図１４のステップＳ１１２）の詳細を示す流れ図である。出力制御部４４は、人検知部２２により、当該画像形成装置１０の近くに人が居るか否かを確認する(ステップＳ５０１)。人が近くに居ない場合は(ステップＳ５０１;Ｎｏ)、印刷物を受け取る人が近くに居ないと判断して、本処理を終了し、元の処理に戻る(リターン)。

人が近くに居るときは(ステップＳ５０１;Ｙｅｓ)、出力制御部４４は、回答内容に対応する印刷データを作成し(ステップＳ５０２)、これをプリンタ部１８に送信して印刷を行わせる(ステップＳ５０３)。その後、回答内容を印刷した旨を音声で回答すると共に、他の方法での回答をさらに希望するか否かを問い合わせる音声を出力する（ステップＳ５０４）。

ユーザから他の方法での回答が必要でない旨の応答を受けたら（ステップＳ５０５;Ｎｏ）、元の処理に戻る(リターン)。ユーザから他の方法での回答が必要である旨の応答を受けたら（ステップＳ５０５;Ｙｅｓ）、その回答方法による回答処理を実行して（ステップＳ５０６）、元の処理に戻る(リターン)。図１８は、電子メールでの回答がさらに必要とする回答を受け、Ｅメール回答処理を実行する場合の例を示す。

図１９は、印刷回答処理（図１４のステップＳ１１２）の詳細の他の例を示す流れ図である。画像形成装置１０の選択部４３は、回答を印刷するか否かを音声でユーザに問い合わせる（ステップＳ６０１）。ユーザが印刷での回答を承諾しない場合は(ステップＳ６０２;Ｎｏ)、ステップＳ６０７へ移行する。

ユーザが印刷で回答することを承諾した場合は（ステップＳ６０２;Ｙｅｓ）、出力制御部４４は、人検知部２２により、当該画像形成装置１０の近くに人が居るか否かを確認する(ステップＳ６０３)。人が近くに居ない場合は(ステップＳ６０３;Ｎｏ)、ステップＳ６０７へ移行する。

人が近くに居るときは(ステップＳ６０３;Ｙｅｓ)、出力制御部４４は、回答内容に対応する印刷データを作成し(ステップＳ６０４)、これをプリンタ部１８に送信して印刷を行わせる(ステップＳ６０５)。その後、回答内容を印刷した旨を音声で回答して（ステップＳ６０６）、ステップＳ６０７へ移行する。

ステップＳ６０７では、他の方法での回答を希望するか否かを問い合わせる音声を出力する。ユーザから他の方法での回答が必要でない旨の応答を受けたら（ステップＳ６０８;Ｎｏ）、元の処理に戻る(リターン)。ユーザから他の方法での回答が必要である旨の応答を受けたら（ステップＳ６０８;Ｙｅｓ）、その回答方法による回答処理を実行し(ステップＳ６０９)、その後、元の処理に戻る(リターン)。

図２０は、問い合わせの際に、ユーザから回答方法の指定を受ける場合に対応したメイン処理を示す流れ図である。図１４と同じ処理ステップには同じステップ番号を付してある。画像形成装置１０は、ユーザが発した音声をマイク３３で拾って入力し、音声認識を行う（ステップＳ１０１）。音声認識できなかった場合は（ステップＳ１０２）、音声入力をやり直す旨のメッセージを音声出力して(ステップＳ１０３)、ステップＳ１０１に戻る。

音声認識に成功した場合は（ステップＳ１０２;Ｙｅｓ）、問い合わせ内容を問い合わせ認識部４１で認識し(ステップＳ１０４)、回答決定部４２でその問い合わせに対する回答内容を決定する（ステップＳ１０５）。また、問い合わせ認識部４１は、入力された音声を解析し、回答方法が音声で指定されているか否かを判別する（ステップＳ１０５Ｂ）。そして、回答方法が問い合わせ時の音声で指定されている場合は、その指定された回答方法を、今回の回答方法に設定して、ステップＳ１０７へ移行する。

回答方法が問い合わせ時の音声で指定されていない場合は（ステップＳ１０５Ｂ;Ｎｏ）、ステップＳ１０５で決定した回答内容で回答テーブル６０を参照して、該当するカテゴリの回答方法を、今回の回答方法に設定する(ステップＳ１０６)。

その後（ステップＳ１０７以降）は、今回の回答方法（問い合わせ時に音声で指定されている場合はその指定された回答方法、指定されていない場合は回答内容で回答テーブル６０を参照して得た回答方法）に従って回答処理を実行する。

すなわち、今回の回答方法が「電子メール」ならば（ステップＳ１０７;Ｙｅｓ）、Ｅメール回答処理を実行する（ステップＳ１０８）。今回の回答方法が「パネル表示」ならば（ステップＳ１０９;Ｙｅｓ）、パネル表示処理を実行する（ステップＳ１１０）。今回の回答方法が「プリント」ならば（ステップＳ１１１;Ｙｅｓ）、印刷回答処理を実行する（ステップＳ１１２）。Ｅメール回答処理、パネル表示回答処理、印刷回答処理のいずれかを行った後、さらに必要ならば音声応答を行って(ステップＳ１１３)、本処理を終了する。

今回の回答方法が「音声出力」ならば（ステップＳ１１１;Ｎｏ）、回答を音声で出力による音声応答を実行して（ステップＳ１１３）、本処理を終了する。

以上説明したように、本発明によれば、音声入力で受け付けた問い合わせに対する回答を、音声出力で行うか、その他の形態で行うかを、回答内容に応じて切り替えるので、それぞれの問い合わせに対して適切な回答方法で回答することができ、ユーザの利便性を高めることができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

選択部４３は音声による回答方法と音声以外の回答方法の双方を選択してもよい。たとえば、ＩＰアドレスの問い合わせに対して、音声による回答と電子メールによる回答の双方を当初から選択し、２つの回答方を併用して回答するようにしてもよい。

回答内容から回答方法を決定するに際して実施の形態では回答テーブル６０を参照したが、別の方法で回答内容に対応する回答方法を決定してもよい。

本発明のユーザインターフェイス装置は、画像形成装置１０などの任意の装置に組み込まれるほか、独立の装置として構成されてもよい。

なお、回答内容に基づく回答方法の選択は、回答すべき情報量の大小、秘匿性などを基準にしてもよい。たとえば、問い合わせに対する回答の情報量が第１閾値未満ならば音声で回答し、第１閾値以上かつ第２閾値未満ならばパネル表示で回答し、第２閾値以上ならばプリント出力で回答する。また、回答内容が秘匿性を要する情報ならば回答方法として電子メールを選択し、秘匿性を要しない情報ならば回答方法として音声出力を選択する。

４…社員管理システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…スキャナ部
１７…画像処理部
１８…プリンタ部
１９…ネットワーク通信部
２１…入出力Ｉ／Ｆ部
２２…人検知部
３０…操作パネル
３１…操作部
３２…表示部
３３…マイク
３４…スピーカ
４１…問い合わせ認識部
４２…回答決定部
４３…選択部４３
４４…出力制御部
６０…回答テーブル

Claims (11)

1. 音声入力部と、
   前記音声入力部から入力された問い合わせに対して、その回答内容を決定する回答決定部と、
   前記問い合わせに対する回答を音声で出力する音声回答部と、
   前記問い合わせに対する回答を音声以外の形態で出力する１または複数の非音声回答部と、
   前記回答決定部が決定した回答内容に応じて、前記音声回答部および前記非音声回答部の中から前記問い合わせに対する回答の出力に使用する回答部を選択する選択部と、
   前記問い合わせに対して前記回答決定部が決定した回答内容を、前記選択部が選択した回答部に出力させる出力制御部と、
   を有する
   ことを特徴とするユーザインターフェイス装置。
2. 前記選択部は、前記音声回答部と前記非音声回答部の双方を選択し得る
   ことを特徴とする請求項１に記載のユーザインターフェイス装置。
3. 前記非音声回答部の１つに、前記問い合わせに対する回答を電子メールで送信する送信部を含む
   ことを特徴とする請求項１または２に記載のユーザインターフェイス装置。
4. 前記非音声回答部の１つに、前記問い合わせに対する回答を表示する表示部を含む
   ことを特徴とする請求項１乃至３のいずれか１つに記載のユーザインターフェイス装置。
5. 前記非音声回答部の１つに、前記問い合わせに対する回答を記録紙に印刷出力するプリンタ部を含む
   ことを特徴とする請求項１乃至４のいずれか１つに記載のユーザインターフェイス装置。
6. 当該ユーザインターフェイス装置から所定距離以内に人が居るか否かを検出する人検知部を有し、
   前記人検知部が人を検知していない場合は、前記問い合わせに対する回答の出力に前記表示部を使用しない
   ことを特徴とする請求項４に記載のユーザインターフェイス装置。
7. 当該ユーザインターフェイス装置から所定距離以内に人が居るか否かを検出する人検知部を有し、
   前記人検知部が人を検知していない場合は、前記問い合わせに対する回答の出力に前記プリンタ部を使用しない
   ことを特徴とする請求項５に記載のユーザインターフェイス装置。
8. 前記選択部が選択した回答部で良いか否かをユーザに確認する
   ことを特徴とする請求項１乃至７のいずれか１つに記載のユーザインターフェイス装置。
9. 前記選択部は、回答内容とその出力に使用する回答部とを予め対応付けて登録した所定のテーブルを参照して、前記選択を行う
   ことを特徴とする請求項１乃至８のいずれか１つに記載のユーザインターフェイス装置。
10. 前記選択部は、前記問い合わせと共に、その回答方法を指定する音声が入力された場合は、その指定された回答方法に対応する回答部を選択する
    ことを特徴とする請求項１乃至９のいずれか１つに記載のユーザインターフェイス装置。
11. 請求項１乃至１０のいずれか１つに記載のユーザインターフェイス装置を備えた画像形成装置。