JP2008271542A - ドキュメント処理装置のオーディオビジュアル制御システムおよび方法 - Google Patents

Abstract

【課題】ドキュメント処理装置のオーディオビジュアル制御システムおよび方法を提供する。
【解決手段】先ず、それぞれがドキュメント処理装置で利用可能な第１のレベルのドキュメント処理動作を表す第１のレベルのグラフィック画像が、ディスプレイ上に表示される。次に、ユーザによって選択された第１のレベルの動作の第１の可聴音声情報が受け取られる。受け取られた第１の可聴情報にしたがって、選択された第１のレベルの動作が特定される。続いて、それぞれが選択された第１のレベルの動作に対応する第２のレベルのドキュメント処理動作を表す第２のレベルの画像がディスプレイ上に表示される。次に、ユーザによって選択された第２のレベルの動作の第２の可聴音声情報が受け取られる。選択された第２のレベルの動作は、受け取られた第２の可聴音声情報にしたがって特定される。次いで、特定された第１のレベルの動作および第２のレベルの動作にしたがって、ドキュメント処理動作が開始される。
【選択図】図６

Description

本発明は、ドキュメント処理装置の制御システムおよび方法に関し、特に、ドキュメント処理装置のオーディオビジュアル制御システムおよび方法に関する。

ドキュメント処理装置は、コピー、印刷、ファクシミリ送信、画像走査、電子メールおよび保存といった機能を備えている。これらの機能をはじめ、ドキュメント処理装置への追加が続けられる新たな機能は、多機能周辺装置（Multi-Function Peripheral；以下、ＭＦＰということがある。）と呼ばれる一つの装置に一体化されることが多い。

ドキュメント処理装置の制御または操作に関連する多くの様々なオプションがあることから、最近のドキュメント処理はグラフィカル・ユーザ・インターフェイス（以下、ＧＵＩということがある。）を備えることが多い。ＧＵＩは、多様な機能または制御の視覚的描写を提供することができる。タッチ・スクリーンを用いた実施形態においては、ユーザが、それらの機能を閲覧し、対応するアイコンに触れることによって所望の機能を選択することができる。

一方、音声認識技術における進歩は、音声制御を採用する製品も生み出している。音声制御は特定の応用に有効である。しかしながら、その他の応用については、比較的伝統的なＧＵＩの方がより適合することがある。また、ユーザは、１つのタイプのインターフェイスを他方のタイプのインターフェイスより好むか、多様な機能の制御について異なる好みを有することがある。

したがって、ＧＵＩ技術と音声認識技術とを用いたハイブリッド形の、ドキュメント処理装置の制御システムおよび方法が望まれている。

本発明は、上記の従来の問題点に鑑みてなされたもので、ドキュメント処理装置のオーディオビジュアル制御システムおよび方法を提供することを目的とする。

本発明によるドキュメント処理装置のオーディオビジュアル制御システムは、可聴情報を認識し、認識された可聴情報にしたがってドキュメント処理動作を特定する認識手段と、それぞれが複数の利用可能な第１のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す複数の第１のレベルのグラフィック画像を、ディスプレイ端末上に表示する手段とを有する。また本システムは、利用可能な第１のレベルのドキュメント処理動作のうちの選択された１つに対応する第１の可聴情報（audible information）をユーザから受け取る手段と、認識手段に含まれ、受け取られた第１の可聴情報にしたがって利用可能な第１のレベルのドキュメント処理動作のうちの選択された１つのドキュメント処理動作を特定する手段を有する。本システムは、さらに、それぞれが選択された第１のレベルのドキュメント処理動作に対応する複数の利用可能な第２のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す複数の第２のレベルのグラフィック画像を、ディスプレイ端末上に表示する手段を有する。さらに本システムは、利用可能な第２のレベルのドキュメント処理動作のうちの選択された１つに対応する第２の可聴情報をユーザから受け取る手段と、認識手段に含まれ、受け取られた第２の可聴情報にしたがって利用可能な第２のレベルのドキュメント処理動作のうちの選択された１つのドキュメント処理動作を特定する手段とを有する。さらに本システムは、認識手段の出力にしたがってドキュメントに対してドキュメント処理動作を開始する手段を有する。

本発明による一実施形態においては、本システムは、選択された第１のレベルのドキュメント処理動作および第２のレベルのドキュメント処理動作のそれぞれに対応する非可聴ユーザ選択データを受け取る手段を、さらに、有する。

本発明による、別の実施形態においては、開始されるそれぞれのドキュメント処理動作は、第１のレベルのドキュメント処理動作のみの実行を含む。

本発明による追加の実施形態においては、第１のレベルのドキュメント処理動作が、コピー、または印刷、またはファクシミリ送信、または電子メール送信、または画像走査、または保存処理動作を含む。

また本発明によるさらに別の実施形態においては、第２のレベルのドキュメント処理動作は、ステープル、または孔開け（パンチ）、または丁合い、または用紙サイズの選択、またはページの向き、またはページ設定、または出力パレットの選択、または出力先、または解像度、または料金の会計処理動作を含む。好ましくは認識手段が、可聴的に受け取られた料金の会計情報に関するアカウント・データを特定する手段を含む。

本発明によるドキュメント処理装置のオーディオビジュアル制御方法は、それぞれが複数の利用可能な第１のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す複数の第１のレベルのグラフィック画像を、ディスプレイ端末上に表示するステップと、利用可能な第１のレベルのドキュメント処理動作のうちの選択された１つに対応する第１の可聴情報をユーザから受け取るステップと、受け取られた第１の可聴情報にしたがって利用可能な第１のレベルのドキュメント処理動作のうちの選択された１つのドキュメント処理動作を特定するステップと、それぞれが選択された第１のレベルのドキュメント処理動作に対応する利用可能な第２のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す第２のレベルのグラフィック画像をディスプレイ端末上に表示するステップと、利用可能な第２のレベルのドキュメント処理動作のうちの選択された１つに対応する第２の可聴情報をユーザから受け取るステップと、受け取られた第２の可聴情報にしたがって利用可能な第２のレベルのドキュメント処理動作のうちの選択された１つのドキュメント処理動作を特定するステップと、選択された１つの第１のレベルのドキュメント処理動作を特定するステップおよび選択された１つの第２のレベルのドキュメント処理動作を特定するステップの出力にしたがってドキュメントに対してドキュメント処理動作を開始するステップとを含む。

本発明によれば、ドキュメント処理装置のオーディオビジュアル制御システムおよび方法が提供される。

以下、適宜、図面を参照しながら本発明による実施形態の説明を行う。図１Ａに本発明による実施形態が適用されるオーディオビジュアル・ドキュメント処理装置制御システム全体の構成例を示す。図に示したシステム１００は、コンピュータ・ネットワーク１０２として表されている分散コンピューティング環境を利用している。コンピュータ・ネットワーク１０２は、複数の電子装置間におけるデータの交換を可能とする本技術分野で知られている任意の分散通信システムである。コンピュータ・ネットワーク１０２は、例えば、仮想ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、パーソナル・エリア・ネットワーク、ローカル・エリア・ネットワーク、インターネット、イントラネット、またはそれらの任意の組み合わせを含む本技術分野で知られている任意のコンピュータ・ネットワークである。本発明による一実施形態において、コンピュータ・ネットワーク１０２は、例えば、トークン・リング、IEEE802.11(x)、Ethernet（登録商標）またはその他の無線ベースまたは有線ベースのデータ通信メカニズム等の既存の多数のデータ転送メカニズムによって例示されるような物理レイヤおよびトランスポート・レイヤから構成される。図１Ａにはコンピュータ・ネットワーク１０２を示したが、本発明は、本技術分野で知られているスタンドアローンの形態のシステムにおいても同様に具体化可能である。

システム１００は、さらに、様々なドキュメント処理を実行するために適切な多機能周辺装置（Multi-Function Peripheral；以下、ＭＦＰということがある。）として図に表されている、少なくとも１つのドキュメント処理装置１０４を含む。しかし、ＭＦＰはドキュメント処理装置の一形態であって、本発明におけるドキュメント処理装置がＭＦＰに限定されるものではない。ドキュメント処理装置における処理動作には、例えば、ファクシミリ通信、画像走査、コピー、印刷、電子メール、ドキュメント管理、またはドキュメント保存等が含まれる。本発明による一形態においては、ドキュメント処理装置１０４は、リモート・ドキュメント処理サービスを、外部装置あるいはネットワークに接続された装置に対して提供する。ドキュメント処理装置１０４は、ユーザ、あるいはネットワークに接続された装置等とやり取りするように構成された、ハードウェア、ソフトウェアおよびこれらの任意の適切な組み合わせを含んでいる。ドキュメント処理装置１０４の構成等については、図２および図３を参照しながら、後に説明を行う。

また、本発明による一実施形態において、ドキュメント処理装置１０４は、例えば、IEEE 1394あるいはＵＳＢインターフェイスを有する各種ドライブ、多様なＩＣメモリカード等の、複数のポータブル記憶媒体を受け入れるためのインターフェイスを備える。本発明の実施形態においては、ドキュメント処理装置１０４は、さらに、タッチ・スクリーン、ＬＣＤ、タッチ・パネル、英数字キーパッド、スピーカ、またはマイクロフォン等のユーザ・インターフェイス１０６を備え、ユーザは、このようなユーザ・インターフェイスを介してドキュメント処理装置１０４と直接やり取りすることができる。

ここで図１Ｂを参照すると、ドキュメント処理装置１０４に関連する例示的なユーザ・インターフェイス１０６が示されている。本発明による一実施形態においては、ユーザ・インターフェイス１０６が、ユーザに情報を伝達し、ユーザから選択を受け取るために使用される。ユーザ・インターフェイス１０６は、本技術分野で知られているように、ユーザに対してデータを提示するように適合された多様なコンポーネントを含む。本発明による一実施形態において、後ほども説明を行うように、ユーザ・インターフェイス１０６は１つまたは複数のグラフィック要素、テキスト・データ、または画像等をユーザに表示し、ユーザから入力を受取り、受け取ったユーザからの入力内容をバックエンド・コンポーネント、例えばコントローラ１０８に伝達するように適合されたディスプレイ１１２を含む。ユーザ・インターフェイス１０６は、さらに、音声情報（speech communications）を可聴的にユーザへ送るスピーカ１１４、および音声情報をユーザから受け取るマイクロフォン１１６を含む。

図１Ａに戻り、ドキュメント処理装置１０４は、適切な通信リンク１１８を介して、コンピュータ・ネットワーク１０２とデータ通信を行う。適切な通信リンク１１８としては、例えば、WiMax（Worldwide Interoperability for Microwave Access）、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11(x)、Bluetooth（登録商標）、公衆交換電話網、専用通信ネットワーク、赤外線接続、光接続、または、本技術分野において知られている他の適切な有線または無線のデータ通信チャネルがある。

本発明による一実施形態において、ドキュメント処理装置１０４は、さらに、図においてコントローラ１０８として示した、ドキュメント処理装置１０４による処理動作を容易にする適切なバックエンド・コンポーネントを内蔵している。コントローラ１０８は、ドキュメント処理装置１０４の動作の制御、あるいはユーザ・インターフェイス１０６を介した画像の表示、または、電子画像データの操作の指示、およびユーザとの間の音声情報の送受信等の処理を容易にするように構成されたハードウェア、ソフトウェアあるいはこれらの適切な組み合わせによって実装される。以下の説明においては、コントローラ１０８という用語は、後述する動作を実行し、もしくは実行させ、もしくは制御し、またはその他の指示を行うように機能するハードウェア、ソフトウェア、またはこれらの組み合わせを含むドキュメント処理装置１０４と関連する任意の多数のコンポーネントの意味で、使用する。なお、図および上記の説明において、コントローラ１０８をドキュメント処理装置１０４に内蔵された形態としたが、コントローラ１０８は、ドキュメント処理装置１０４に通信可能に接続された外部装置の形態であってもよい。コントローラ１０８との関連において説明を行う動作は、本技術分野において知られている任意の汎用コンピューティング・システムによって実行可能である。したがって、コントローラ１０８は、このような汎用コンピューティング装置を代表しており、以下の説明において使用する際にも、そのように意図されている。また、以下の説明においてはコントローラ１０８を使用しているが、これは実施形態の例にすぎず、その他の実施形態においても、本発明によるドキュメント処理装置のオーディオビジュアル制御のためのシステムおよび方法を実施することができる。コントローラ１０８の構成等については、後ほど図４と図５を参照しながら説明を行う。

また、ドキュメント処理装置１０４にはデータ記憶装置１１０が通信可能に接続されている。データ記憶装置１１０は、例えば、ハードディスク・ドライブ、その他の磁気記憶装置、光学式記憶装置、フラッシュ・メモリまたはそれらの任意の組み合わせを含む、本技術分野で知られている大容量記憶装置である。一実施形態においては、データ記憶装置１１０は、ドキュメント処理装置１０４によって実行可能な、例えば音声認識ソフトウェア、およびグラフィカル・ユーザ・インターフェイスのソフトウェア等の類の適切なソフトウェア・アプリケーションとともに、ドキュメント・データ、画像データ、または電子データベースのデータ等を保存するように適切に適合されている。データ記憶装置１１０は、図１Ａにおいてはシステム１００の独立したコンポーネントとして例示されているが、例えば、内蔵ハードディスク・ドライブ等のような、ドキュメント処理装置１０４の内部記憶装置、あるいはコントローラ１０８のコンポーネント等として実装することができる。

システム１００は、さらに、通信リンク１２４を介したコンピュータ・ネットワーク１０２にわたる複数の装置とドキュメントの、アクセス、保存、および管理を容易にするように機能するドキュメント管理システム・サーバ１２０を含む。本発明による一実施形態において、通信リンク１２４は、コンピュータ・ネットワーク１０２を介した情報の送受信を、セキュリティ面で安全に行うことができる。適切な通信リンク１２４としては、例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11(x)、Bluetooth（登録商標）、WiMax、赤外線接続、光接続、専用通信ネットワーク、公衆交換電話網、または、本技術分野において知られている他の適切な有線または無線のデータ通信チャネルがある。

好ましくは、ドキュメント管理システム・サーバ１２０は、例えば、ドキュメント・ルーティング要求、ドキュメント出力要求、ドキュメント保存要求、および電子メール通信等を含む、コンピュータ・ネットワーク１０２を介して受信される多様な要求を、受信し、処理するように適合されている。さらにドキュメント管理システム・サーバ１２０は、複数の装置、例えば、コンピュータ・ワークステーション、スマートフォン、携帯情報端末（ＰＤＡ）、ドキュメント処理装置、ファクシミリ装置、またはプリンタ等に、コンピュータ・ネットワーク１０２を介して、ドキュメント・データを伝達することができる。

また、ドキュメント管理システム・サーバ１２０には、データ記憶装置１２２が通信可能に接続されている。データ記憶装置１２２は、例えば、ハードディスク・ドライブ、その他の磁気記憶装置、光学式記憶装置、フラッシュ・メモリまたはそれらの任意の組み合わせを含む本技術分野で知られている大容量記憶装置である。一実施形態においては、データ記憶装置１２２は、ドキュメント・データ、画像データ、電子データベースのデータ、またはアプリケーション・プログラム等を保存するように適切に適合されている。データ記憶装置１２２は、図においてはシステム１００の独立したコンポーネントとして例示されているが、例えば、内蔵ハードディスク・ドライブ等のような、ドキュメント管理システム・サーバの内部記憶コンポーネントとして実装することができる。ドキュメント管理システム・サーバ１２０およびデータ記憶装置１２２は、複数の電子ドキュメントおよびユーザ・アカウント等の、作成、保存、管理および処理を可能にするドキュメント管理システムとして機能する。

システム１００は、さらに、通信リンク１２８を介して、コンピュータ・ネットワーク１０２とのデータ通信を行うユーザ装置１２６を含む。図においてはユーザ装置１２６をデスクトップ形パーソナル・コンピュータとして示しているが、これは例示にすぎない。ユーザ装置１２６は、例えば、コンピュータ・ワークステーション、ノート形パーソナル・コンピュータ、携帯情報端末、ウェブ対応携帯電話、スマートフォン、専用通信ネットワーク用の電子装置、またはその他のウェブ対応の電子装置を含む、本技術分野において知られている任意のパーソナル・コンピューティング装置を表している。通信リンク１２８は、例えば、Bluetooth（登録商標）、WiMax、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11(x)、専用通信ネットワーク、赤外線接続、光接続、公衆交換電話網、または本技術分野において知られている他の適切な有線または無線のデータ通信チャネルである。ユーザ装置１２６は、電子ドキュメント、ドキュメント処理インストラクション、ユーザ・インターフェイスの修正、アップグレード、更新、またはパーソナル化データ等を生成し、ドキュメント処理装置１０４またはその他の任意のコンピュータ・ネットワーク１０２に接続されている類似の装置に送信するか、または、ドキュメント処理装置１０４、ドキュメント管理システム・サーバ１２０、またはその他の任意のコンピュータ・ネットワーク１０２に接続されている類似の装置から電子ドキュメント・データを受信するように適合されている。

次に、図２および図３を参照しながら、本発明による実施形態におけるシステムの動作が実行されるドキュメント処理装置のハードウェアおよび機能構成等を説明する。図２に本発明による実施形態においてシステム１００の動作が実行されるドキュメント処理装置２００（図１Ａにおいては装置１０４として表されている。）のハードウェア・アーキテクチャの構成例を示す。ドキュメント処理装置２００には、少なくとも一つのＣＰＵから構成されるプロセッサ２０２が含まれている。プロセッサ２０２は、互いに協調して動作する複数のＣＰＵから構成されることもある。また、ドキュメント処理装置２００には、ＢＩＯＳ機能、システム機能、システム構成データおよびドキュメント処理装置２００の動作に使用するその他のルーチンもしくはデータ等の静的または固定的なデータ、あるいはインストラクションのために有効に使用される、不揮発性または読出し専用メモリ（ＲＯＭ）２０４が含まれている。

また、ドキュメント処理装置２００には、ダイナミック・ランダム・アクセス・メモリ、スタティック・ランダム・アクセス・メモリ、または他の任意の適切なアドレス指定可能かつ書込み可能なメモリ・システムから構成されるＲＡＭ２０６が含まれている。ＲＡＭ２０６は、プロセッサ２０２によって処理されるアプリケーションおよびデータ処理に関係するデータ・インストラクションのための記憶領域を提供する。

ストレージ・インターフェイス２０８は、ドキュメント処理装置２００に関連するデータの不揮発性保存、大容量保存または長期的な保存ためのメカニズムを提供する。ストレージ・インターフェイス２０８は、引用符号２１６として図示したディスク・ドライブ、あるいは光学式ドライブ、テープ・ドライブ等の適切な任意のアドレス指定可能、またはシリアル記憶装置等の大容量記憶装置の他、当業者に知られている適切な任意の記憶媒体を使用する。

ネットワーク・インターフェイス・サブシステム２１０は、ネットワークとの間の入出力を適切にルーティングすることによって、ドキュメント処理装置２００が他の装置と通信することを可能にする。ネットワーク・インターフェイス・サブシステム２１０は、ドキュメント処理装置２００の外部装置との一つまたは複数のコネクションを確立する。図においては、一例として、Ethernet（登録商標）およびトークン・リング等といった固定または有線ネットワークとのデータ通信のための少なくとも一つのネットワーク・インターフェイス・カード２１４、およびWiFi（Wireless Fidelity）、WiMax、無線モデム、セルラ・ネットワークまたは適切な任意の無線通信システム等の手段を介した無線通信のために適切な無線インターフェイス２１８を示している。ネットワーク・インターフェイス・サブシステム２１０は、任意の物理的データ転送レイヤあるいは物理的データ転送レイヤではないデータ転送レイヤまたはプロトコル・レイヤを適切に利用する。図においては、ネットワーク・インターフェイス・カード２１４は、例えば、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークまたはそれらの組合せから適切に構成される物理的ネットワーク２２０を介したデータ交換を行うために、相互接続されている。

プロセッサ２０２、読出し専用メモリ（ＲＯＭ）２０４、ＲＡＭ２０６、ストレージ・インターフェイス２０８およびネットワーク・インターフェイス・サブシステム２１０の間のデータ通信は、バス２１２によって例示したバス・データ転送メカニズムを介して行われる。

ドキュメント処理装置２００における実行可能なインストラクションは、ワークステーション、他のドキュメント処理装置、サーバ等の複数の外部装置との通信を円滑に実行する。動作の際、代表的な装置は自立的に動作するが、しばしば、ローカル・ユーザによる直接的な制御が望ましい場合もある。ローカル・ユーザによる直接的な制御は、ユーザ入出力（Ｉ／Ｏ）パネル２２４へのオプションの入出力（Ｉ／Ｏ）インターフェイス２２２を介して実行することができる。

また、１つまたは複数のドキュメント処理エンジンへのインターフェイスも、バス２１２を介してデータ通信を行う。図に示した実施形態においては、印刷インターフェイス２２６、コピー・インターフェイス２２８、画像走査インターフェイス２３０およびファクシミリ・インターフェイス２３２は、それぞれ、印刷エンジン２３４、コピー・エンジン２３６、画像走査エンジン（スキャナ）２３８、およびファクシミリ・エンジン２４０との通信を容易にする。ドキュメント処理装置２００は、１つまたは複数のドキュメント処理機能を適切に実行する。複数のドキュメント処理動作を実行するシステムは、前述したように一般に、多機能周辺装置（ＭＦＰ）または多機能装置と呼ばれる。

次に図３を参照しながらシステムの動作が実行される、図１Ａにおいてはドキュメント処理装置１０４として示した適切なドキュメント処理装置の機能ブロックを説明する。図３に、本発明による実施形態のシステム１００の動作が実行されるドキュメント処理装置３００の機能ブロックの構成例を示す。図３は、ソフトウェアおよびオペレーティング・システム機能と関連して、図２に示したハードウェアの機能性を例示している。

ドキュメント処理装置３００は、１つまたは複数のドキュメント処理動作を円滑に実行するドキュメント処理エンジン３０２を含んでいる。ドキュメント処理エンジン３０２は、印刷エンジン３０４、ファクシミリ・エンジン３０６、画像走査エンジン（スキャナ）３０８およびコンソール・パネル３１０を含む。印刷エンジン３０４は、ドキュメント処理装置３００に伝達された電子ドキュメントを表す物理的なドキュメント、すなわちハードコピーの出力を可能とする。ファクシミリ・エンジン３０６は、ファクシミリ・モデム等の装置を介して、外部のファクシミリ装置との間で相互にファクシミリ通信を行う。

画像走査エンジン（スキャナ）３０８は、ハードコピー・ドキュメントを受け取り、このハードコピー・ドキュメントに対応する画像データに変換するように機能する。コンソール・パネル３１０等のユーザ・インターフェイスは、ユーザからのインストラクションの入力と、ユーザへの情報の表示を可能にする。画像走査エンジン３０８は、目に見える有形のドキュメントの入力を、ビットマップ・フォーマット、ベクター・フォーマットまたはページ記述言語（ＰＤＬ）フォーマットの電子的な形態へ変換し、さらに、光学文字認識のためにも構成されている。また、実際の目に見える有形のドキュメントの画像走査は、ファクシミリ動作においても有効に機能する。

図に示したドキュメント処理エンジン３０２は、ドライバ３２６を介したネットワークとのインターフェイス３１６も備え、例えばネットワーク・インターフェイス・カードから構成されている。ネットワークは、有線、無線あるいは光によるデータ通信のような任意の適切な物理的レイヤおよび物理的でないレイヤによって、十分なやり取りを実現している。

ドキュメント処理エンジン３０２は、１つまたは複数のデバイス・ドライバ３１４と適切な通信を行う。デバイス・ドライバ３１４は、実際のドキュメント処理動作を実行するために、ドキュメント処理エンジン３０２と、１つまたは複数の物理的装置との間のデータの相互交換を可能とする。このようなドキュメント処理動作には、ドライバ３１８による印刷、ドライバ３２０によるファクシミリ通信、ドライバ３２２による画像走査、およびドライバ３２４によるユーザ・インターフェイス機能の中の１つまたは複数のものが含まれる。これらの多様な装置は、ドキュメント処理エンジン３０２と関連する１つまたは複数の対応したエンジンと結合されている。本発明においては、ドキュメント処理動作の任意のセットまたはサブセットが想定されている。複数の利用可能なドキュメント処理選択肢を含むドキュメント処理装置はＭＦＰと呼ばれている。

次に、図４および図５を参照しながら、本発明による実施形態におけるシステムの動作が実行されるコントローラのハードウェアおよび機能構成等を説明する。図４に本発明による実施形態においてシステム１００の動作が実行されるバックエンド・コンポーネント、すなわち、図１Ａにおいてはコントローラ１０８として示したコントローラ４００のハードウェア・アーキテクチャの構成例を説明するための図を示す。尚、図においては、コントローラの構成要素の意義をより明確にするため、参照符号４３２で表した、コントローラ以外のドキュメント処理装置の構成要素の一部を併せて示している。コントローラ１０８は、本明細書に記載する動作を円滑に実行する能力を有する、本技術分野において知られている任意の汎用コンピューティング装置を表している。コントローラ４００には、少なくとも一つのＣＰＵを含むプロセッサ４０２が含まれている。プロセッサ４０２は、互いに協調して動作する複数のＣＰＵから構成されることもある。また、コントローラ４００には、ＢＩＯＳ機能、システム機能、システム構成データおよびコントローラ４００の動作に使用されるその他のルーチンもしくはデータ等の静的または固定的なデータ、あるいはインストラクションのために有効に使用される、不揮発性または読出し専用メモリ（ＲＯＭ）４０４が含まれている。

また、コントローラ４００には、ダイナミック・ランダム・アクセス・メモリ、スタティック・ランダム・アクセス・メモリ、または他の任意の適切なアドレス指定可能かつ書込み可能なメモリ・システムから構成されるＲＡＭ４０６が含まれている。ＲＡＭ４０６は、プロセッサ４０２によって処理されるデータ処理およびアプリケーションに関係するデータ・インストラクションのための記憶領域を提供する。

ストレージ・インターフェイス４０８は、コントローラ４００に関連するデータの不揮発性保存、大容量保存または長期的な保存ためのメカニズムを提供する。ストレージ・インターフェイス４０８は、引用符号４１６で示したディスク・ドライブ、あるいは光学式ドライブ、テープ・ドライブ等の適切な任意のアドレス指定可能、またはシリアル記憶装置等の大量記憶装置の他、当業者に知られている適切な任意の記憶媒体を使用する。

ネットワーク・インターフェイス・サブシステム４１０は、ネットワークとの間の入出力を適切にルーティングすることによって、コントローラ４００が他の装置と通信することを可能にする。ネットワーク・インターフェイス・サブシステム４１０は、装置４００に対する外部装置との一つまたは複数のコネクションのインターフェイスを適切にとる。図においては、例えば、Ethernet（登録商標）およびトークン・リング等といった固定または有線ネットワークとのデータ通信のための少なくとも一つのネットワーク・インターフェイス・カード４１４、およびWiFi、WiMax、無線モデム、セルラ・ネットワークまたは適切な任意の無線通信システム等の手段を介した無線通信のために適切な無線インターフェイス４１８とを示している。ネットワーク・インターフェイス・サブシステム４１０は、任意の物理的データ転送レイヤあるいは物理的データ転送レイヤではないデータ転送レイヤまたはプロトコル・レイヤを適切に利用する。図においては、ネットワーク・インターフェイス・カード４１４は、例えば、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークまたはそれらの組合せから適切に構成される物理的ネットワーク４２０を介したデータ交換を行うために、相互接続されている。

プロセッサ４０２、読出し専用メモリ（ＲＯＭ）４０４、ＲＡＭ４０６、ストレージ・インターフェイス４０８およびネットワーク・インターフェイス・サブシステム４１０の間のデータ通信は、バス４１２によって例示したバス・データ転送メカニズムを介して行われる。

また、ドキュメント・プロセッサ・インターフェイス４２２もバス４１２を介してデータ通信を行う。ドキュメント・プロセッサ・インターフェイス４２２は、様々なドキュメント処理動作を実行するために、ドキュメント処理ハードウェア４３２との接続を提供する。そのようなドキュメント処理動作には、コピー・ハードウェア４２４によって実行されるコピー、画像走査ハードウェア４２６によって実行される画像走査、印刷ハードウェア４２８によって実行される印刷、およびファクシミリ・ハードウェア４３０によって実行されるファクシミリ通信がある。コントローラ４００は、これらのドキュメント処理動作のいずれかまたは全部を適切に動作させる。複数のドキュメント処理動作を実行可能なシステムは、前述したように、ＭＦＰまたは多機能装置と呼ばれる。システム１００の機能は、ドキュメント処理装置と関連するインテリジェント・サブシステムとして図４に示したコントローラ４００（図１Ａにおいてはコントローラ１０８として示されている。）を含む、ドキュメント処理装置１０４において実行される。

次に図５を参照しながらシステムの動作が実行されるコントローラの機能ブロックと動作の概要を説明する。図５に、本発明による実施形態のシステム１００の動作が実行されるコントローラの機能ブロックの構成例を説明するための図を示す。尚、図５においても、コントローラの機能要素の意義をより明確にするため、コントローラ以外のドキュメント処理装置の機能要素の一部を併せて示している。図５は、ソフトウェアおよびオペレーティング・システム機能と関連して、図４に示したハードウェアの機能性を例示している。

コントローラの機能は、ドキュメント処理エンジン５０２を含む。一実施形態において、ドキュメント処理エンジン５０２は、印刷動作、コピー動作、ファクシミリ通信動作および画像走査動作を可能にする。これらの機能が一つの装置で実行できる装置は、産業界において一般に好まれているドキュメント処理周辺装置であるＭＦＰである。しかし、コントローラが上記のドキュメント処理動作のすべてを可能にする必要は必ずしもない。コントローラは、上記のドキュメント処理動作の一部を実行する専用のドキュメント処理装置、あるいはより限定した目的のドキュメント処理装置においても有効に用いられる。

ドキュメント処理エンジン５０２はユーザ・インターフェイス・パネル５１０と適切にインターフェイスされている。ユーザまたは管理者は、このユーザ・インターフェイス・パネル５１０を介して、ドキュメント処理エンジン５０２によって制御される機能にアクセスすることができる。アクセスは、コントローラにローカル接続されているインターフェイスを介して行われるか、または遠隔のシン・クライアント（thin client）もしくはシック・クライアント（thick client）によって遠隔から行われる。

ドキュメント処理エンジン５０２は、印刷機能部５０４、ファクシミリ通信機能部５０６および画像走査機能部５０８とデータ通信を行う。これらの機能部は、印刷、ファクシミリの送受信、およびドキュメント画像をコピーのために取得するか、またはドキュメント画像の電子バージョンを生成するための、ドキュメント画像走査の実際の処理動作を容易にする。

ジョブ・キュー（job queue）５１２は、印刷機能部５０４、ファクシミリ通信機能部５０６および画像走査機能部５０８とデータ通信を行う。ビットマップ・フォーマット、ページ記述言語（ＰＤＬ）フォーマットまたはベクター・フォーマット等の種々の画像形式は、画像走査機能部５０８からジョブ・キュー５１２を介して以降の処理のために中継される。

ジョブ・キュー５１２は、また、ネットワーク・サービス機能部５１４ともデータ通信を行う。一実施形態において、ジョブ制御、状態データまたは電子ドキュメント・データが、ジョブ・キュー５１２とネットワーク・サービス機能部５１４との間で交換される。このように、任意の適切なシン・クライアントまたはシック・クライアントとなるクライアント側ネットワーク・サービス機能５２０を介したコントローラへのネットワーク・ベースのアクセスのために、適切なインターフェイスが設けられている。一実施形態において、ウェブ・サービス・アクセスは、ハイパーテキスト転送プロトコル（HTTP）、ファイル転送プロトコル（FTP）、ユニフォーム・データ・ダイアグラム・プロトコルまたは他の任意の適切な交換メカニズムによって実行される。ネットワーク・サービス機能部５１４は、また、ＦＴＰ、電子メール、テルネット（TELNET）等による通信のために、クライアント側ネットワーク・サービス機能５２０とのデータ交換も有効に提供する。このように、コントローラ機能は、種々のネットワーク・アクセス・メカニズムによって、電子ドキュメントおよびユーザ情報の出力あるいは受信を容易にする。

ジョブ・キュー５１２は、また、画像プロセッサ５１６ともデータ通信を行う。画像プロセッサ５１６は、印刷機能部５０４、ファクシミリ通信機能部５０６または画像走査機能部５０８等の装置機能部と、電子ドキュメントを交換するために適したフォーマットに変換するラスタ画像処理（ＲＩＰ）、ページ記述言語インタープリタまたは任意の適切な画像処理を行うメカニズムである。

最後に、ジョブ・キュー５１２は、ジョブ解析部（job parser）５１８とデータ通信を行い、このジョブ解析部５１８はクライアント装置サービス部５２２等の外部装置からの印刷ジョブ言語ファイルを受け取る働きをする。クライアント装置サービス部５２２は、電子ドキュメントの印刷、ファクシミリ通信、またはコントローラ機能による処理が有効である他の適切な電子ドキュメントの入力を含む。ジョブ解析部５１８は、受け取った電子ドキュメント・ファイルを解析し、前述した機能およびコンポーネントと関連する処理のために、解析した電子ドキュメント・ファイル情報をジョブ・キュー５１２に中継する働きをする。

以下、本発明における動作の概要を説明する。先ず、ユーザ・インターフェイス１０６のディスプレイ１１２に第１のレベルのグラフィック画像が表示される。第１のレベルのグラフィック画像のそれぞれは、ドキュメント処理装置１０４によって実行可能であって利用可能な第１のレベルのドキュメント処理動作を一意的に表す。次に、ユーザによって選択された第１のレベルのドキュメント処理動作に対応する第１の可聴音声情報が、ユーザから受け取られる。次に、選択された第１のレベルのドキュメント処理動作が、受け取られた第１の可聴音声情報にしたがって、特定される。次いで、第２のレベルのグラフィック画像がディスプレイ１１２に表示される。表示される第２のレベルのグラフィック画像のそれぞれは、選択された第１のレベルのドキュメント処理動作に対応する第２のレベルのドキュメント処理動作を一意的に表す。その後、ユーザによって選択された第２のレベルのドキュメント処理動作の１つに対応する第２の可聴音声情報が、ユーザから受け取られる。次に、利用可能な第２のレベルのドキュメント処理動作から選択された処理動作が、受け取られた第２の可聴音声情報にしたがって、特定される。次いで、ドキュメント処理動作が、選択された第１のレベルのドキュメント処理動作および選択された第２のレベルのドキュメント処理動作にしたがって、ドキュメント処理装置１０４において開始される。

ここで、選択された第１のレベルのドキュメント処理動作に対応する第２のレベルのドキュメント処理動作が存在しない場合等、ドキュメント処理装置１０４において１のレベルのドキュメント処理動作のみを実行すれば良い場合もある。このような実施形態においては、先ず、ユーザ・インターフェイス１０６のディスプレイ１１２に第１のレベルのグラフィック画像が表示される。第１のレベルのグラフィック画像のそれぞれは、ドキュメント処理装置１０４によって実行可能であって利用可能な第１のレベルのドキュメント処理動作を一意的に表す。次に、ユーザによって選択された第１のレベルのドキュメント処理動作に対応する第１の可聴音声情報が、ユーザから受け取られる。次に、選択された第１のレベルのドキュメント処理動作が、受け取られた第１の可聴音声情報にしたがって、特定される。次いで、ドキュメント処理動作が、選択された第１のレベルのドキュメント処理動作にしたがって、ドキュメント処理装置１０４において開始される。

本発明による一実施形態において、適切な第１のレベルのドキュメント処理動作としては、例えば、コピー、印刷、ファクシミリ送信、電子メール送信、画像走査および保存等がある。さらに、本発明による一実施形態において、第２のレベルのドキュメント処理動作としては、例えば、ステープル、孔開け（パンチ）、丁合い、用紙サイズの選択、ページの向き、ページ設定、出力パレットの選択、出力先、解像度および料金の会計（accounting charges）等がある。

本発明の例示的な一実施形態によれば、先ず、第１のレベルのグラフィック画像がドキュメント処理装置１０４のユーザ・インターフェイス１０６のディスプレイ１１２に表示される。第１のレベルのグラフィック画像のそれぞれは、例えば、ドキュメント処理装置１０４によって実行可能な第１のレベルのドキュメント処理動作に関連付けされたアイコンである。ドキュメント処理装置１０４によって実行可能な、適切な第１のレベルのドキュメント処理動作としては、例えば、コピー、印刷、ファクシミリ送信、電子メール送信、画像走査および保存等がある。次いで、ユーザは、所望の第１のレベルのドキュメント処理動作を表す用語を発声するか、アイコンに触れる。このようなユーザ選択情報は、マイクロフォン１１６、タッチ・スクリーン・ディスプレイ１１２、またはユーザ・インターフェイス１０６のその他のユーザ入力デバイスを介して、ドキュメント処理装置１０４によって受け取られる。例えば、ディスプレイ１１２、スピーカ１１４による音声出力およびマイクロフォン１１６による音声入力、ディスプレイ制御および音声制御コンポーネントの間の通信を可能にする共通コンポーネント等を制御することができるソフトウェア・コンポーネントを採用しているコントローラ１０８が、選択された第１のレベルのドキュメント処理動作のユーザ選択入力を、ユーザ・インターフェイス１０６を介して受け取る。

本発明による特定の一実施形態において、ユーザは、ユーザ装置１２６を介し、適切なウェブ・ブラウザ・インターフェイスを使用してコンピュータ・ネットワーク１０２経由で、ドキュメント処理動作の実行を要求することができる。このような実施形態においては、ユーザ装置１２６に関連付けされたユーザ・インターフェイスが、ユーザ選択の受取りおよびユーザに対する操作画像の表示を容易にする。

次に、コントローラ１０８、またはドキュメント処理装置１０４に関連付けされたその他の適切なコンポーネントは、受け取った第１のレベルのドキュメント処理動作の選択を表すユーザ入力が、音声入力のような可聴入力であるか否か、すなわちユーザによって第１のレベルのドキュメント処理動作に関連付けされた用語が発声されたか否かを、判断する。コントローラ１０８が、可聴入力が受け取られたと判断した場合には、選択された第１のレベルの動作が可聴入力から判定される。コントローラ１０８、またはドキュメント処理装置１０４のその他の適切なコンポーネントは、音声認識機能を実装して、ユーザの選択した第１のレベルのドキュメント処理動作に関する情報を検索する。本発明による一実施形態においては、ドキュメント処理装置１０４は、ユーザの音声を分析し、音声入力を、動作要求または特徴要求としてドキュメント処理装置１０４によって解釈されるデータへ変換するために、音声認識エンジンを使用する。

次に、コントローラ１０８は、ユーザ選択によって選択された第１のレベルのドキュメント処理動作に基づいて、そのユーザに利用可能な第２のレベルのドキュメント処理動作のタイプを決定する。ユーザに利用可能な第２のレベルのドキュメント処理動作は、選択された第１のレベルのドキュメント処理動作のタイプに依存する。すなわち、第１のレベルの印刷動作は、例えば、ステープル、孔開け、および丁合い等の第２のレベルのドキュメント処理動作を含むが、第１のレベルの電子メール送信動作は、そのような第２のレベルのドキュメント処理動作を含まない。本発明による一実施形態において、利用可能とすることができる第２のレベルのドキュメント処理動作としては、例えば、ステープル、孔開け、丁合い、用紙サイズの選択、ページの向き、ページ設定、出力パレットの選択、出力先、解像度および料金の会計等がある。

選択された第１のレベルの動作に基づいて利用可能な第２のレベルのドキュメント処理動作が決定されると、ユーザ・インターフェイス１０６を介し、コントローラ１０８によってディスプレイ１１２上に第２のレベルの画像が表示される。これらの第２のレベルの画像のそれぞれは、利用可能な第２のレベルのドキュメント処理動作のうちの１つを一意的に表し、例えば、それぞれの第２のレベルの動作に関連付けされた一意的なアイコンが選択のためにユーザに表示される。次に、例えばタッチ・スクリーンのディスプレイ１１２、マイクロフォン１１６、ユーザ・インターフェイス１０６に関連付けされたその他の入力ハードウェア、またはそれらの適切な組み合わせ等のユーザ・インターフェイス１０６を介して、ユーザによって選択された第２のレベルのドキュメント処理動作を表す入力がコントローラ１０８によって受け取られる。音声入力のような可聴入力が受け取られると、マイクロフォン１１６を介して受け取られた音声情報から、ユーザによって選択された第２のレベルのドキュメント処理動作が特定され、ユーザ所望の第２のレベルのドキュメント処理動作が決定される。選択された第２のレベルのドキュメント処理動作は、次に、可聴入力または非可聴入力によって受け取られたか否かによらず、そのユーザによって選択された第１のレベル、第２のレベル、およびその後に続く任意のレベルのドキュメント処理動作を表すワークフロー・データに、追加される。ここで、ワークフロー・データは、所定のドキュメント処理要求のために実行される選択されたドキュメント処理動作のセット、すなわち、結果として、処理済みドキュメントの出力を生成するドキュメント処理装置１０４によって実行される一連の動作を表す。

次に、ディスプレイ１１２によってユーザに表示される第２のレベルのドキュメント処理動作を表す画像は、ユーザによって選択された第２のレベルのドキュメント処理動作を反映するように更新、例えば、修正される。続いて、ユーザは、表示された第２のレベルのドキュメント処理動作の画像から追加の第２のレベルのドキュメント処理動作を選択することが可能であり、その選択結果はワークフロー・データに追加される。第２のレベルのドキュメント処理動作のそれぞれの選択によって、ユーザによって行われた選択を反映するようにディスプレイ１１２の表示が更新される。

すべてのユーザ選択が行われると、例えば、すべての所望の第２のレベルのドキュメント処理動作が選択されると、コントローラ１０８が、ドキュメント処理装置１０４によるワークフローの実行に対して料金を課すべきか否か、すなわち有料か否かを判断する。本発明による一実施形態においては、ユーザは、ドキュメント処理サービスの実行に対して課金される。このように、料金が課せられる場合には、要求されたドキュメント処理動作の実行に関連するコストが生成され、ユーザ・インターフェイス１０６のディスプレイ１１２を介してユーザに表示される。ドキュメント処理要求がユーザ装置１２６から出された場合には、ドキュメント処理装置１０４によるドキュメント処理動作の実行のために計算された料金は、ユーザ装置１２６に伝達され、ユーザ装置１２６でユーザに料金が表示される。料金が課せられない場合には、ドキュメント処理装置１０４は、選択された第１のレベルのドキュメント処理動作および選択された関連する第２のレベルのドキュメント処理動作を含む、ワークフロー・データによって示されるとおりに、選択されたドキュメント処理動作の実行を開始する。

料金が課せられる場合には、ドキュメント処理装置１０４は、ユーザによる支払方法の選択を待つ。例えば、ドキュメント処理装置１０４は、ユーザが適切な支払データを入力するまで待つ。次に、プリペイド・アカウント番号、クレジット・カード・アカウント番号または請求書アカウント情報等を表すアカウント・データのユーザ入力が、コントローラ１０８によって受け取られる。本発明によるこの例の実施形態においては、アカウント・データは、例えばディスプレイ１１２またはユーザ・インターフェイス１０６のその他の入力デバイスを介してマニュアルで入力されたデータのような非可聴データ入力、または、例えばマイクロフォン１１６を介した音声情報のような可聴入力データとして、受け取られることができる。アカウント・データが受け取られると、コントローラ１０８は、例えば、ユーザによって、または支払許可システム（例えば、ドキュメント管理システム・サーバ１２０）への確認等によって、その料金が認められたか否かを判断する。料金が認められた場合には、ドキュメント処理装置１０４は、選択された第１および第２のレベルのドキュメント処理動作の実行を開始する。料金が認められなかった場合、ユーザは、代わりの支払方法を入力するか、またはドキュメント処理要求を終了することができる。

以上、図１ないし図５を参照しながら説明を行ったシステム１００およびそのコンポーネントの動作は、図６および図７を参照しながら以下に行う、本発明による実施形態におけるドキュメント処理装置のオーディオビジュアル制御の動作説明によって、理解が深まるであろう。図６に、本発明による実施形態におけるドキュメント処理装置のオーディオビジュアル制御の基本的な動作例を表すフローチャートを示す。先ず、Ｓ６０２で、それぞれが一意的に利用可能な複数の第１のレベルのドキュメント処理動作の１つを表す第１のレベルのグラフィック画像が、ディスプレイ上に表示される。適切な第１のレベルのドキュメント処理動作としては、例えば、コピー、印刷、ファクシミリ送信、電子メール送信、画像走査、および保存等がある。次にＳ６０４において、利用可能な第１のレベルのドキュメント処理動作のうちから選択された１つに対応する第１の可聴音声情報が、ユーザから受け取られる。

次いでＳ６０６において、選択された第１のレベルのドキュメント処理動作が、第１の可聴音声情報にしたがって特定される。本発明による一実施形態においては、ドキュメント処理装置１０４に関連付けされた音声認識コンポーネントが、受け取られた可聴音声情報を分析し、選択された第１のレベルのドキュメント処理動作を示す適切なデータを生成する。次にＳ６０８で、選択された第１のレベルのドキュメント処理動作に基づいて、第２のレベルのドキュメント処理動作を表すグラフィック画像がディスプレイ１１２上に表示される。それぞれの第２のレベルのグラフィック画像は、選択された第１のレベルのドキュメント処理動作に対応する第２のレベルのドキュメント処理機能を一意的に表す。第２のレベルのドキュメント処理動作のタイプは、ユーザによって選択された第１のレベルのドキュメント処理動作のタイプにしたがって異なる。したがって、印刷動作のために利用可能な第２のレベルのドキュメント処理動作が、必ずしも電子メール送信動作のために利用可能である必要はない。ユーザによって選択された第１のレベルのドキュメント処理動作が印刷動作であるとき、適切な第２のレベルのドキュメント処理動作としては、例えば、ステープル、孔開け、丁合い、用紙サイズの選択、ページの向き、ページ設定、出力パレットの選択、出力先、解像度および料金の会計等がある。

Ｓ６１０においては、利用可能な第２のレベルのドキュメント処理動作から選択された１つの第２のレベルのドキュメント処理動作に対応する第２の可聴音声情報が、ユーザから受け取られる。次に、受け取られた第２の可聴音声情報から、Ｓ６１２において、選択された第２のレベルのドキュメント処理動作が特定され、選択された第２のレベルのドキュメント処理動作が突きとめられる。その後、特定された第１のレベルの選択されたドキュメント処理動作、および特定された第２のレベルの選択されたドキュメント処理動作にしたがって、Ｓ６１４で、所望のドキュメント処理動作がドキュメント処理装置１０４によって開始される。

前述したように、選択された第１のレベルのドキュメント処理動作に対応する第２のレベルのドキュメント処理動作が存在しない場合等、ドキュメント処理装置１０４において１のレベルのドキュメント処理動作のみを実行すれば良い場合もある。このような実施形態においては、Ｓ６０８以降の動作が図６に示した動作と異なる。すなわち、Ｓ６０６において、選択された第１のレベルのドキュメント処理動作が、第１の可聴音声情報にしたがって特定されると、第１のレベルのドキュメント処理動作に対応する第２のレベルのドキュメント処理動作の特定は不要であるため、Ｓ６０８ないしＳ６１２の処理はスキップされ、Ｓ６０６で特定された第１のレベルのドキュメント処理動作のみにしたがって、所望のドキュメント処理動作がドキュメント処理装置１０４によって開始される。

次に図７を参照しながら、本発明による実施形態におけるドキュメント処理装置のオーディオビジュアル制御の動作をさらに詳細に説明する。図７に、本発明による実施形態におけるドキュメント処理装置のオーディオビジュアル制御の動作例をさらに詳細に表したフローチャートを示す。先ずＳ７０２において、第１のレベルのドキュメント処理動作に対応する画像またはアイコンがディスプレイ１１２に表示される。ここで、それぞれのアイコンはドキュメント処理装置１０４によって実行可能な第１のレベルのドキュメント処理動作に対応する。本発明による一実施形態において、適切な第１のレベルのドキュメント処理動作としては、例えば、印刷動作、画像走査動作、保存動作、ファクシミリ送信、電子メール送信およびコピー動作等がある。これまでの説明は、ユーザがドキュメント処理装置１０４の傍らにいる場合を想定しているが、ユーザは、例えばユーザ装置１２６またはその類の装置から、ドキュメント処理動作を遠隔から要求することができる。このような実施形態においては、コマンド、表示、インストラクションおよびコスト等のデータが、コンピュータ・ネットワーク１０２を介して、ユーザ装置１２６とドキュメント処理装置１０４の間の通信によって、やり取りされる。

次にＳ７０４において、第１のレベルのドキュメント処理動作を表すアイコンの１つの選択を表すユーザ入力が受け取られる。次いでＳ７０６においては、そのユーザ入力が、例えばユーザによる音声入力情報の類の可聴入力であったか否か、または、例えばタッチ・スクリーン・ディスプレイ１１２、英数字キーパッド、または専用ハードウェア・ボタン等のユーザ・インターフェイス１０６と、ユーザとの間の物理的なやり取りの類の非可聴入力であったか否かについての判断が行われる。ユーザ入力が可聴入力であると判断されると、処理はＳ７０８に進み、ユーザによって選択された第１のレベルのドキュメント処理動作が、そのユーザから受け取られた音声情報にしたがって特定される。一実施形態において、ドキュメント処理装置１０４は音声認識コンポーネントを備えており、マイクロフォン１１４を介して受け取られた音声入力の受信および処理を行い、この音声入力を、コントローラ１０８による後に続く処理に適したフォーマットに変換する。次に処理はＳ７１０に進み、受け取られた第１のレベルのドキュメント処理動作の選択にしたがって利用可能な第２のレベルのドキュメント処理動作が決定される。

同様に、ドキュメント処理装置１０４によって非可聴ユーザ入力が受け取られたと判断された場合には、処理はＳ７０６からＳ７１０に進む。すなわち、ユーザが、例えばタッチ・スクリーン、ハードウェア・ボタン等の非可聴手段を使用して第１のレベルのドキュメント処理動作を選択したときには、処理はＳ７０６からＳ７１０に進む。ユーザによって選択された第１のレベルのドキュメント処理動作が決定されると、Ｓ７１０において、第１のレベルの動作に関連付けされた対応する第２のレベルのドキュメント処理動作が決定される。適切な第２のレベルのドキュメント処理動作としては、例えば、ステープル、孔開け、丁合い、用紙サイズの選択、ページの向き、ページ設定、出力パレットの選択、出力先、解像度および料金の会計等がある。ここで、１つの第１のレベルのドキュメント処理動作に利用可能な第２のレベルのドキュメント処理動作が、異なる第１のレベルのドキュメント処理動作に利用可能でない場合がある。例えば、コピーおよび印刷といった第１のレベルのドキュメント処理動作は、ステープル、または孔開け等の第２のレベルのドキュメント処理動作を含むことが可能である。しかし、電子メール送信または保存動作といった第１のレベルのドキュメント処理動作は、これらの動作からの出力がステープル、または孔開け等の第２のレベルのドキュメント処理動作を組み込むことが不可能であるため、これらの機能を含むことがない。

次にＳ７１２において、利用可能な第２のレベルのドキュメント処理動作に対応する第２のレベルの画像がディスプレイ１１２上に表示される。表示されるそれぞれの画像またはアイコンは、第１のレベルのドキュメント処理動作に関連付けされた特定の第２のレベルのドキュメント処理動作と一意的に対応する。次いでＳ７１４において、ユーザ所望の第２のレベルのドキュメント処理動作を表すユーザ入力が受け取られる。次にＳ７１６において、ユーザ入力が可聴または非可聴の入力であるか否かについての判断が行われる。可聴入力が受け取られたと判断された場合には、処理はＳ７１８に進み、可聴入力から第２のレベルのドキュメント処理動作が特定され、利用可能な第２のレベルの動作のいずれがユーザによって選択されたかが特定される。非可聴入力が受け取られたと判断された場合には、処理はＳ７２０に進み、選択された第２のレベルのドキュメント処理動作が、すべての既に選択されたドキュメント処理動作を表すワークフロー・データに追加される。ここで、Ｓ７２０における処理は、可聴入力または非可聴の入力のいずれがユーザから受け取られたかに関わらず、実行される。選択された第２のレベルのドキュメント処理動作をワークフロー・データに追加された後、Ｓ７２２において第２のレベルのドキュメント処理動作を表す画像のディスプレイ１１２が、選択された第２のレベルのドキュメント処理動作が示されるように更新される。ディスプレイ１１２を更新するに際しては、例えばハイライト表示、アンダーライン付け、太字、影付き、または削除等を含み、対応するアイコンの変更等の任意の方法を用いることができる。

次にＳ７２４において、ユーザがさらなる第２のレベルのドキュメント処理動作を追加することを要求しているか否かが判断される。例えば、第１のレベルのドキュメント処理動作が印刷動作である場合には、ユーザが、第２のレベルのドキュメント処理動作としてステープルおよび孔開けの追加を希望する可能性がある。追加の第２のレベルのドキュメント処理動作が要求されているときには、処理はＳ７１４に戻り、追加の第２のレベルのドキュメント処理動作に対応するユーザ入力が受け取られる。その後は、Ｓ７１４〜Ｓ７２４に関して前述した処理動作が続く。追加の第２のレベルのドキュメント処理動作が要求されていないときには、処理はＳ７２６に進み、要求されたドキュメント処理動作の実行が、ユーザによるコストの支払いを必要とするか否かが判断される。すなわち、そのドキュメント処理動作の実行のためにユーザが支払いを要求されているか否かが判断される。ユーザによる支払いが不要であると判断された場合には、処理はＳ７２８に進み、ワークフロー・データにしたがって、ドキュメント処理装置１０４が要求されたドキュメント処理動作の実行を開始する。

Ｓ７２６において料金が必要であると判断された場合には、処理はＳ７３０に進み選択されたドキュメント処理動作の実行に関連するコスト・データが計算され、ディスプレイ１１２を介してユーザにコスト・データを示す表示が行われる。ユーザがドキュメント処理動作を遠隔から要求した場合には、コスト・データはコンピュータ・ネットワーク１０２を介してユーザ装置１２６に伝達され、ユーザ装置１２６に関連するユーザ・インターフェイスによってユーザに表示される。次に、Ｓ７３０で計算された料金の支払いに関する支払データまたはアカウント・データに対応するユーザ入力が、Ｓ７３２で受け取られる。次いでＳ７３４において、そのユーザ入力が可聴入力であるか、非可聴入力であるかについての判断が行われる。すなわち、ユーザが支払データ、数値的アカウント情報、ユーザ名、または請求書情報等を、発声したか、支払データをタイプ入力したか、またはクレジット・カード、プリペイド・カード等を読取り機に通したか否かについての判断が行われる。

Ｓ７３４において可聴入力が受け取られたと判断されると、Ｓ７３６において、可聴入力から料金の会計情報に関するアカウント・データが特定される。例えば、ドキュメント処理装置に関連付けされた音声認識コンポーネントが、発声されたユーザ入力からアカウント・データを特定する。可聴入力であるかまたは非可聴入力であるかに関わらず、アカウント・データが受け取られると、処理はＳ７３８に進み、料金が認められたか否かが判断される。すなわち、支払データが有効であるか否か、ユーザが料金を認めたか否か、または料金の確認が受け取られたか否か等についての判断が行われる。当業者は認識することになろうが、前払いアカウントが使用されているときには、ドキュメント処理装置１０４またはその適切なコンポーネントは、例えばドキュメント管理システム・サーバ１２０のようなバックエンド装置に、有効性の確認のためにプリペイド・アカウント情報を伝達する。有効性が確認されるか、料金が認められたと判断されると、処理はＳ７２８に進み、ドキュメント処理装置１０４は、ワークフロー・データにしたがったドキュメント処理動作、すなわち選択された第１のレベルのドキュメント処理動作および選択された第２のレベルのすべてのドキュメント処理動作を開始する。Ｓ７３８において料金が認められなかったと判断された場合には、処理はＳ７４０に進み、要求されたドキュメント処理動作の実行は拒絶され、処理動作は終了する。

以上の説明から明らかなように、本発明によれば、ドキュメント処理装置のオーディオビジュアル制御システムおよび方法が提供される。また、本発明の一実施形態によれば、発声およびグラフィカル・ユーザ・インターフェイス入力を用いたハイブリッド形式の階層型ユーザ・インターフェイスによるドキュメント処理装置のオーディオビジュアル制御システムおよび方法が提供される。

本発明は、ソース・コード、オブジェクト・コード、部分的にコンパイルされた形のようなコード中間ソースおよびオブジェクト・コードの形、あるいは本発明の実施形態で使用するために適した任意の他の形のコンピュータ・プログラムをも含む。コンピュータ・プログラムは、スタンドアローンのアプリケーション、ソフトウェア・コンポーネント、スクリプトまたは他のアプリケーションへのプラグ・インとすることができる。本発明を実施するコンピュータ・プログラムは、例えば、ＲＯＭやＲＡＭ等の記憶媒体、ＣＤ−ＲＯＭ等の光記録媒体、フロッピー（登録商標）ディスク等の磁気記録媒体等の、コンピュータ・プログラムを伝達することができる任意の実体または装置である担体上で具体化することができ、あるいは電気ケーブルまたは光ケーブルによって、または無線や他の手段によって伝えられる電気信号や光信号等の任意の担体によって伝達することができる。コンピュータ・プログラムは、サーバからインターネットを介してダウンロードすることもできる。また、コンピュータ・プログラムの機能は集積回路に組み込むこともできる。説明を行った本発明の原理を実質的にコンピュータまたはプロセッサに実行させるコードを含む任意およびすべての実施形態は、本発明の範囲内にある。

本発明の好ましい実施形態の以上の説明は、例示と説明のために行った。説明は網羅的ではなく、本発明を開示した形態に限定しようとするものでもない。以上の開示を鑑みて明らかな修正または変形が可能である。例えば、本発明による実施形態の説明に記したシステムおよび方法は、例えば、通信、汎用コンピューティング、データ処理等を含む、音声入力およびグラフィカル・ユーザ・インターフェイス入力を用いる複数の様々な電子分野に対しても適用可能であり、本発明がドキュメント処理への適用に限定されるものではない。実施形態は、本発明の原理とその実際的な応用例を最もよく示し、それにより当業者が、本発明を、意図された特定の使用に適した様々な実施形態において様々な修正で使用できるように選択され説明された。そのようなすべての修正と変形は、特許請求の範囲の記載に明示されるとおりの本発明の原理および範囲内において、当業者によって行われ得ることは明らかであり、特許請求の範囲の記載によって定められる本発明の範囲内にある。

本発明による実施形態にしたがったオーディオビジュアル・ドキュメント処理装置制御システム全体の構成例である。 本発明による実施形態オーディオビジュアル・ドキュメント処理装置制御システムに関連するユーザ・インターフェイスの拡大図である。 本発明による実施形態のシステムの動作が実行されるドキュメント処理装置のハードウェアの構成例である。 本発明による実施形態のシステムの動作が実行されるドキュメント処理装置の機能ブロックの構成例である。 本発明による実施形態のシステムの動作が実行されるコントローラのハードウェアの構成例を説明するための図である。 本発明による実施形態のシステムの動作が実行されるコントローラの機能ブロックの構成例を説明するための図である。 本発明による実施形態におけるドキュメント処理装置のオーディオビジュアル制御の基本的な動作例を表すフローチャートである。 本発明による実施形態におけるドキュメント処理装置のオーディオビジュアル制御の動作例をさらに詳細に表したフローチャートである。

符号の説明

１００ システム
１０２ コンピュータ・ネットワーク、分散通信システム
１０４ ドキュメント処理装置、ＭＦＰ
１０６ ユーザ・インターフェイス
１０８ コントローラ
１１０、１２２ データ記憶装置
１１２ ディスプレイ
１１４ スピーカ
１１６ マイクロフォン
１１８、１２４、１２８ 通信リンク
１２０ ドキュメント管理システム・サーバ
１２６ ユーザ装置
２００、３００ ドキュメント処理装置
２０２、４０２ プロセッサ
２０４、４０４ 読出し専用メモリ、ＲＯＭ
２０６、４０６ ＲＡＭ
２０８、４０８ ストレージ・インターフェイス
２１０、４１０ ネットワーク・インターフェイス・サブシステム
２１２、４１２ バス
２１４、３１６、４１４ ネットワーク・インターフェイス・カード
２１６、４１６ ディスク・ドライブ
２１８、４１８ 無線インターフェイス
２２０、４２０ 物理的ネットワーク
２２２ オプションの入出力インターフェイス
２２４ ユーザ入出力パネル
２２６ 印刷インターフェイス
２２８ コピー・インターフェイス
２３０ 画像走査インターフェイス
２３２ ファクシミリ・インターフェイス
２３４、３０４ 印刷エンジン
２３６ コピー・エンジン
２３８、３０８ 画像走査エンジン
２４０、３０６ ファクシミリ・エンジン
３１０ コンソール・パネル
３１４ デバイス・ドライバ
３１８、３２０、３２２、３２４、３２６ ドライバ
４００ コントローラ
４２２ ドキュメント・プロセッサ・インターフェイス
４２４ コピー・ハードウェア
４２６ 画像走査ハードウェア
４２８ 印刷ハードウェア
４３０ ファクシミリ・ハードウェア
４３２ ドキュメント処理ハードウェア
５０２、３０２ ドキュメント処理エンジン
５０４ 印刷機能部
５０６ ファクシミリ通信機能部
５０８ 画像走査機能部
５１０ ユーザ・インターフェイス・パネル
５１２ ジョブ・キュー
５１４ ネットワーク・サービス機能部
５１６ 画像プロセッサ
５１８ ジョブ解析部
５２０ クライアント側ネットワーク・サービス機能
５２２ クライアント装置サービス部

Claims (12)

1. 可聴情報を認識し、認識された可聴情報にしたがってドキュメント処理動作を特定する認識手段と、
   それぞれが利用可能な第１のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す複数の第１のレベルのグラフィック画像を、ディスプレイ端末上に表示する手段と、
   前記利用可能な第１のレベルのドキュメント処理動作のうちの選択された１つに対応する第１の可聴情報をユーザから受け取る手段と、
   前記認識手段に含まれ、前記受け取られた第１の可聴情報にしたがって前記利用可能な第１のレベルのドキュメント処理動作のうちの前記選択された１つのドキュメント処理動作を特定する手段と、
   それぞれが前記選択された第１のレベルのドキュメント処理動作に対応する利用可能な第２のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す第２のレベルのグラフィック画像を、前記ディスプレイ端末上に表示する手段と、
   前記利用可能な第２のレベルのドキュメント処理動作のうちの選択された１つに対応する第２の可聴情報をユーザから受け取る手段と、
   前記認識手段に含まれ、前記受け取られた第２の可聴情報にしたがって前記利用可能な第２のレベルのドキュメント処理動作のうちの前記選択された１つのドキュメント処理動作を特定する手段と、
   前記認識手段の出力にしたがってドキュメントに対してドキュメント処理動作を開始する手段と
   を有することを特徴とするドキュメント処理装置のオーディオビジュアル制御システム。
2. 前記選択された第１のレベルのドキュメント処理動作および前記第２のレベルのドキュメント処理動作のそれぞれに対応する非可聴ユーザ選択データを受け取る手段を、さらに、有することを特徴とする請求項１に記載のドキュメント処理装置のオーディオビジュアル制御システム。
3. 前記開始されるそれぞれのドキュメント処理動作は、前記第１のレベルのドキュメント処理動作のみの実行を含むことを特徴とする請求項１に記載のドキュメント処理装置のオーディオビジュアル制御システム。
4. 前記第１のレベルのドキュメント処理動作は、コピー、または印刷、またはファクシミリ送信、または電子メール送信、または画像走査、または保存処理動作を含むことを特徴とする請求項１に記載のドキュメント処理装置のオーディオビジュアル制御システム。
5. 前記第２のレベルのドキュメント処理動作は、ステープル、または孔開け、または丁合い、または用紙サイズの選択、またはページの向き、またはページ設定、または出力パレットの選択、または出力先、または解像度、または料金の会計処理動作を含むことを特徴とする請求項１に記載のドキュメント処理装置のオーディオビジュアル制御システム。
6. 前記認識手段は、可聴的に受け取られた料金の会計情報に関するアカウント・データを特定する手段を含むことを特徴とする請求項５に記載のドキュメント処理装置のオーディオビジュアル制御システム。
7. それぞれが利用可能な第１のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す複数の第１のレベルのグラフィック画像を、ディスプレイ端末上に表示するステップと、
   前記利用可能な第１のレベルのドキュメント処理動作のうちの選択された１つに対応する第１の可聴情報をユーザから受け取るステップと、
   前記受け取られた第１の可聴情報にしたがって前記利用可能な第１のレベルのドキュメント処理動作のうちの前記選択された１つのドキュメント処理動作を特定するステップと、
   それぞれが前記選択された第１のレベルのドキュメント処理動作に対応する利用可能な第２のレベルのドキュメント処理動作のうちの少なくとも１つを一意的に表す第２のレベルのグラフィック画像を、前記ディスプレイ端末上に表示するステップと、
   前記利用可能な第２のレベルのドキュメント処理動作のうちの選択された１つに対応する第２の可聴情報をユーザから受け取るステップと、
   前記受け取られた第２の可聴情報にしたがって前記利用可能な第２のレベルのドキュメント処理動作のうちの前記選択された１つのドキュメント処理動作を特定するステップと、
   前記選択された１つの第１のレベルのドキュメント処理動作を特定するステップと、前記選択された１つの第２のレベルのドキュメント処理動作を特定するステップの出力にしたがってドキュメントに対してドキュメント処理動作を開始するステップと
   を含むことを特徴とするドキュメント処理装置のオーディオビジュアル制御方法。
8. 前記選択された第１のレベルのドキュメント処理動作および前記第２のレベルのドキュメント処理動作のそれぞれに対応する非可聴ユーザ選択データを受け取るステップを、さらに、含むことを特徴とする請求項７に記載のドキュメント処理装置のオーディオビジュアル制御方法。
9. 前記開始されるそれぞれのドキュメント処理動作は、前記第１のレベルのドキュメント処理動作のみの実行を含むことを特徴とする請求項７に記載のドキュメント処理装置のオーディオビジュアル制御方法。
10. 前記第１のレベルのドキュメント処理動作は、コピー、または印刷、またはファクシミリ送信、または電子メール送信、または画像走査、または保存処理動作を含むことを特徴とする請求項７に記載のドキュメント処理装置のオーディオビジュアル制御方法。
11. 前記第２のレベルのドキュメント処理動作は、ステープル、または孔開け、または丁合い、または用紙サイズの選択、またはページの向き、またはページ設定、または出力パレットの選択、または出力先、または解像度、または料金の会計処理動作を含むことを特徴とする請求項７に記載のドキュメント処理装置のオーディオビジュアル制御方法。
12. 可聴的に受け取られた料金の会計情報に関するアカウント・データを特定するステップを、さらに、含むことを特徴とする請求項１１に記載のドキュメント処理装置のオーディオビジュアル制御方法。

Images