JP2020177131A - 音声クラウドシステム、方法およびプログラム - Google Patents

Abstract

【課題】画像形成装置からユーザーへの通知を行うことができる音声クラウドシステム、方法およびプログラムを提供する。【解決手段】複合機１１２は、エラーその他のユーザーに通知すべき事象が発生すると、スマートスピーカー１１１に起動ワードを音声入力する。スマートスピーカー１１１が起動ワードの音声データを生成して、音声ＡＩサーバー１０１へ送信すると、音声ＡＩサーバー１０１は複合機１１２との会話セッションを開始する。次に、複合機１１２が報知音をスマートスピーカー１１１に音声入力し、当該音声データをスマートスピーカー１１１が音声ＡＩサーバー１０１へ送信すると、音声ＡＩサーバー１０１は当該音声データから報知音のパターンを特定し、更に、当該報知パターンの対応する報知メッセージを特定する。その後、音声ＡＩサーバー１０１は当該報知メッセージをスマートスピーカー１１１へ送信して音声出力させる。【選択図】図２

Description

本発明は、音声クラウドシステム、方法およびプログラムに関し、特に、画像形成装置を音声操作するユーザーに対する情報提供を高機能化する技術に関する。

近年、オフィス環境などでは、画像形成装置をＬＡＮ（Local Area Network）に接続し、複数のＰＣ（Personal Computer）からジョブを送信して、印刷を行わせる利用形態が一般的になっている。このような環境下で、画像形成装置に複数のジョブが集中すると、ユーザーは、自分が投入したジョブが完了したかどうかが分かり難くなって、画像形成装置の使い勝手が低下する恐れがある。

このような問題に対して、例えば、ジョブの完了時に当該ジョブを投入したユーザー毎に固有の音声を出力したり、エラー等のイベントが発生した場合にも当該イベントに対応した音声を出力したりする印刷システムが提案されている（特許文献１を参照）。このようにすれば、出力された音声から印刷システムの動作状況を知ることができるので、印刷システムの使い勝手を向上させることができる。

更に、画像形成装置の操作パネルに設定画面を表示してから所定時間を経過しても、ユーザーからの設定入力が無い場合には、音声ガイダンスを出力して、ユーザーの設定入力を補助する画像形成装置も提案されている（特許文献２を参照）。このようにすれば、単にビープ音しか出力しない場合と比較して、画像形成装置の使い方を理解し易くすることができる。これは、画像形成装置の動作状況を通知する場合についても同様で、単なるビープ音ではなく言語を用いれば動作状況をユーザーによりよく理解させることができる。

特開２００２−０５１１７３号公報 特開２００５−０６４８８３号公報

しかしながら、画像形成装置には様々な機種があり、省スペース化を優先する機種やコストパフォーマンスを優先する機種などではガイダンス音声を合成して出力するための音声出力装置を内蔵したり、外付けで追加したりすることが難しい場合もある。

一方、近年、スマートスピーカーおよびＩｏＴ機器の普及が進んだことから、スマートスピーカーを用いて音声操作することができる機器が増加しつつあり、画像形成装置に関しても、他のＩｏＴ機器とスマートスピーカーを共用して音声操作に対応する利用形態が実用段階に到達しつつある。このため、既設のスマートスピーカーを利用すれば、画像形成装置専用の音声出力装置を追加する場合と比較してコストの上昇を抑えたり、省スペース化を図ったりすることができると期待される。

スマートスピーカーは、音声入力をマイクで受け付けて音声データをクラウドサーバー（以下、「音声クラウドシステム」という。）へ送信し、音声クラウドシステムは当該音声データを音声認識によってテキストデータに変化し、当該テキストデータを自然言語解析することによって、指示内容を特定する。更に、当該指示内容に従ってコマンドを生成して画像形成装置に入力すれば、音声指示された処理を画像形成装置に実行させることができる。

しかしながら、スマートスピーカーを用いた音声サービスでは、ユーザーとの会話セッションが終了すると、音声クラウドシステムは外部デバイスからの通知を受け取らない。このため、画像形成装置で印刷完了やエラーといったイベントが発生しても、音声クラウドシステムおよびスマートスピーカーを経由してユーザーに音声通知することができない、という問題がある。

本発明は、上述のような問題に鑑みて為されたものであって、画像形成装置からユーザーへの通知を行うことができる音声クラウドシステム、方法およびプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一形態に係る音声クラウドシステムは、音声入出力装置に入力された指示音声の音声データを、ネットワークを介して受信し、当該音声データに応じたコマンドを画像形成装置へ送信して、音声指示された処理を実行させる音声クラウドシステムであって、前記指示音声が、前記画像形成装置が音声出力した報知音であるかどうかを判別する判別手段と、前記判別手段が前記指示音声は前記報知音であると判別した場合に、当該報知音に対応する言語メッセージを前記音声入出力装置に音声出力させる出力手段と、を備えることを特徴とする。

この場合において、前記報知音に対応付けて前記言語メッセージを記憶する第1の記憶手段を備え、前記出力手段は、前記報知音に対応する言語メッセージを前記第1の記憶手段から読み出して、前記音声入出力装置に音声出力させてもよい。

また、画像形成装置の装置状態に対応付けて前記言語メッセージを記憶する第２の記憶手段と、前記第１の記憶手段が、前記指示音声に対応する前記言語メッセージを記憶していない場合に、前記画像形成装置から装置状態を取得する取得手段と、前記出力手段は、前記取得手段が取得した装置状態に対応する言語メッセージを前記第２の記憶手段から読み出して、前記音声入出力装置に音声出力させてもよい。

また、画像形成装置の装置状態に対応付けて前記言語メッセージを記憶する第３の記憶手段と、前記指示音声は前記報知音であると判別した場合に、前記画像形成装置から装置状態を取得する取得手段と、前記出力手段は、前記取得手段が取得した装置状態に対応する前記言語メッセージを前記第３の記憶手段から読み出して、前記音声入出力装置に音声出力させてもよい。

また、前記画像形成装置が報知音を出力した際に実行していたジョブが、当該報知音を受け付けた音声入出力装置と同じ音声入出力装置から受け付けた指示音声に基づくコマンドによって前記画像形成装置が実行したジョブでない場合には、前記出力手段に、当該報知音に対応する言語メッセージを前記音声入出力装置に出力させるのを禁止する禁止手段を備えてもよい。

また、前記報知音から、前記画像形成装置にエラーが発生したかどうかを判別するエラー判別手段と、エラーが発生したと判別した場合に、当該エラーの種類から画像形成装置がジョブの実行を継続することができるかどうかを判別する継続判別手段と、ジョブ実行を継続できると判別した場合に、ジョブの実行継続の要否を問い合わせる音声を前記音声入出力装置に音声出力させる問い合わせ手段と、を備えてもよい。

また、前記問い合わせに対して、ジョブ実行を継続するとの指示音声を前記音声入出力装置が受け付けた場合に、当該ジョブの実行を継続させるコマンドを前記画像形成装置へ送信する継続指示手段を備えてもよい。

また、本発明の一形態に係る方法は、音声入出力装置に入力された指示音声の音声データを、ネットワークを介して受信し、当該指示音声に応じたコマンドを画像形成装置へ送信して、音声指示された処理を実行させる音声クラウドシステムが実行する方法であって、前記指示音声が、前記画像形成装置が音声出力した報知音であるかどうかを判別する判別ステップと、前記判別ステップにおいて、前記指示音声は前記報知音であると判別した場合に、当該報知音に対応する言語メッセージを前記音声入出力装置に音声出力させる出力ステップと、を含むことを特徴とする。

また、本発明の一形態に係るプログラムは、音声入出力装置に入力された指示音声の音声データを、ネットワークを介して受信し、当該指示音声に応じたコマンドを画像形成装置へ送信して、音声指示された処理を実行させる音声クラウドシステムとして、コンピューターを動作させるプログラムであって、前記指示音声が、前記画像形成装置が音声出力した報知音であるかどうかを判別する判別ステップと、前記判別ステップにおいて、前記指示音声は前記報知音であると判別した場合に、当該報知音に対応する言語メッセージを前記音声入出力装置に音声出力させる出力ステップと、前記コンピューターに実行させることを特徴とする。

このようにすれば、既設の音声クラウドシステムおよび音声入出力装置（スマートスピーカー）を用いて、画像形成装置が、例えば、ジョブ完了などの事象を報せる報知音を音声出力した場合に、その報知音に対応する言語メッセージを音声入出力装置が出力するので、言語メッセージを出力するためのコスト削減を実現しつつ、画像形成装置にどのような事象が発生したかを音声メッセージでユーザーに報せることができる。

画像形成システムの主要な構成を示す図である。 画像形成システムの動作を例示するシーケンス図である。 スマートスピーカー１１１の主要な構成を示すブロック図である。 音声ＡＩサーバー１０１の主要な構成を示すブロック図である。 ＭＦＰ制御サーバー１０２の主要な構成を示すブロック図である。 複合機１１２の主要な構成を示す外観斜視図である。 複合機１１２の主要な構成を示すブロック図である。 音声ＡＩサーバー１０１の主要な動作を示すフローチャートである。 音声ＡＩサーバー１０１が実行する報知音処理を示すフローチャートである。 （ａ）は複合機１１２が音声出力する報知音の音声データを例示するグラフであり、（ｂ）は２種類の音声データに周波数フィルタリングを行うことによって得られる２種類の音声データを例示するグラフであって、いずれのグラフも横軸は時間を表し、縦軸は音声データの振幅を表す。 報知音パターン登録テーブル１１００を例示する表である。 音声ＡＩサーバー１０１が実行するエラー継続判定処理を示すフローチャートである。 本発明の変形例に係る報知音処理を示すフローチャートである。 ステータス情報テーブル１４００を例示する表である。 本発明の変形例に係る音声ＡＩサーバー１０１のメインルーチンを示すフローチャートである。 本発明の別の変形例に係る音声ＡＩサーバー１０１のメインルーチンを示すフローチャートである。

以下、本発明に係る音声クラウドシステム、方法およびプログラムの実施の形態について、画像形成システムを例にとり、図面を参照しながら説明する。
［１］画像形成システムの構成
まず、本実施の形態に係る画像形成システムの構成について説明する。

図１に示すように、画像形成システム１は、音声クラウドシステム１００とユーザーシステム１１０とからなっている。ユーザーシステム１１０は、音声入出力装置であるスマートスピーカー（SS: Smart Speaker）１１１と複合機（MFP: Multi-Function Peripheral）１１２とをＬＡＮ（Local Area Network）１２２に接続したものである。スマートスピーカー１１１は、複合機１１２が出力する報知音を音声入力として集音することができる場所に配置されている。

また、音声クラウドシステム１００は、フロントエンドクラウドサービスを提供する音声ＡＩ（Artificial Intelligence）サーバー１０１と、バックエンドクラウドサービスを提供するＭＦＰ制御サーバー１０２との２つのクラウドサーバーからなっており、インターネット１２１に接続されている。インターネット１２１にはＬＡＮ１２２もまた接続されている。

図２に示すように、複合機１１２のユーザーが、スマートスピーカー１１１に対して、例えば、「コピーして」との指示を音声入力すると、スマートスピーカー１１１は、アナログ音声信号から音声データを生成し、ＬＡＮ１２２とインターネット１２１を経由して、当該音声データを音声ＡＩサーバー１０１へ送信する。

音声ＡＩサーバー１０１は、音声認識処理によって、音声データからテキストデータを生成し、更に、当該テキストデータを自然言語解析処理によって、複合機１１２に対する指示内容を抽出する。音声ＡＩサーバー１０１は、公知のＡＩ技術を用いて、音声認識処理および自然言語解析処理を実行してもよいし、ＡＩ技術以外の技術を用いてもよい。

また、自然言語解析処理によってテキストデータから単語を抽出し、予め用意されているリストを参照して指示内容を特定してもよい。例えば、テキストデータから抽出した単語が「ページ集約」、「２ｉｎ１」なら、リストの中から「ページ集約」を探して、「ページ集約」に対応するアクションの一覧の中で「２ｉｎ１」に相当するものを見つけ出すことによって指示内容を特定する。音声ＡＩサーバー１０１は、抽出した指示内容をＭＦＰ制御サーバー１０２へ送信する。

ＭＦＰ制御サーバー１０２は、音声ＡＩサーバー１０１から指示内容を受信すると、当該指示内容に対応するコマンドを生成し、当該音声指示を受け付けたスマートスピーカー１１１に対応付けられている複合機１１２へ当該コマンドを送信する。コマンドは、例えば、スキャンジョブやプリントジョブ等のジョブを実行させる指示や、ジョブの設定内容を変更する指示などである。

複合機１１２は、ＭＦＰ制御サーバー１０２からコマンドを受け付けると、当該コマンドにて指定された処理内容のジョブを実行する。その後、音声指示されたジョブの完了その他の事象あるいはエラーが発生した場合、複合機１１２は起動ワードを音声出力する。複合機１１２が音声出力した起動ワードは、上述のように、複合機１１２の出力音声を集音することができる位置に配設されているスマートスピーカー１１１に音声入力される。この音声入力を受けたスマートスピーカー１１１は、起動ワードの音声データを音声ＡＩサーバー１０１へ送信する。

音声ＡＩサーバー１０１は、起動ワードが予め登録されている起動ワードに一致するかどうかを確認することによって、音声入力された起動ワードが複合機１１２の起動ワードであることを特定するとともに、複合機１１２との新たな会話セッションを開始する。複合機１１２は、起動ワードに引き続いて、報知音をスマートスピーカー１１１に音声入力する。図２においては、当該報知音はコピー処理が完了した旨を報知する報知音である。

スマートスピーカー１１１が、当該報知音の音声データを音声ＡＩサーバー１０１へ送信すると、音声ＡＩサーバー１０１は、音声データから報知音のパターンを特定し、当該パターンに対応する報知メッセージを特定して、当該報知メッセージの音声データをスマートスピーカー１１１へ送信する。当該報知メッセージは、例えば、「コピーを完了しました」のように自然言語によるメッセージである。スマートスピーカー１１１は、受信した音声データを音声出力する。
［２］スマートスピーカー１１１の構成
次に、スマートスピーカー１１１の構成について説明する。

図３に示すように、スマートスピーカー１１１は、音声処理部３０１と通信制御部３０２とを備えており、音声処理部３０１にはマイク３１１とスピーカー３１２が接続されている。マイク３１１はユーザーの指示音声や複合機１１２の出力音声を集音してアナログ音声信号を生成する。マイク３１１は音声処理部３０１からのアナログ音声信号に応じて音声出力を行う。

音声処理部３０１は、マイク３１１から受け詰めたアナログ音声信号をＡＤ（Analogue to Digital）変換し、更に圧縮符号化した音声データを生成したり、通信制御部３０２から受け付けた音声データからアナログ音声信号を復元して、スピーカー３１２に音声出力させたりする。通信制御部３０２は、インターネット１２１を経由して音声ＡＩサーバー１０１と音声データ等の送受信を行うための通信処理を実行する。
［３］音声ＡＩサーバー１０１の構成
次に、音声ＡＩサーバー１０１の構成について説明する。

図４に示すように、音声ＡＩサーバー１０１は、ＣＰＵ（Central Processing Unit）４００やＲＯＭ（Read Only Memory）４０１、ＲＡＭ（Random Access Memory）４０２等を備えており、ＣＰＵ４００はリセット後にＲＯＭ４０１からブートプログラムを読み出して起動し、ＲＡＭ４０２を作業用記憶領域として、ＨＤＤ（Hard Disk Drive）４０３からＯＳ（Operating System）その他のプログラムを読み出して実行する。

ＮＩＣ（Network Interface Card）４０４は、インターネット１２１やＬＡＮ１２２を経由してスマートスピーカー１１１やＭＦＰ制御サーバー１０２と相互接続するための通信処理を実行する。

起動処理部４０５は、スマートスピーカー１１１から受け付けた音声データの音声認識処理を行うことによって、当該音声データが起動ワードであるかどうかを判別し、当該音声データが起動ワードであれば、会話セッションを開始する。また、新たに取得した起動ワードと予め登録されている起動ワードとを比較することによって、新たに取得した起動ワードが複合機１１２の起動ワードであるかどうかを判別する。

音声処理部４０６は、起動処理部４０５が新たに取得した起動ワードが複合機１１２の起動ワード以外の起動ワードであると判別した場合に、スマートスピーカー１１１から受け付けた音声データの音声認識処理や、スマートスピーカー１１１へ送信する音声データの音声合成処理を実行する。

言語処理部４０７は、音声処理部４０６が生成したテキストデータの自然言語解析処理を実行する。これによって、ユーザーが起動ワードに引き続いて入力した音声指示を認識して、指示内容を特定し、ＭＦＰ制御サーバー１０２へ送信する。

報知音処理部４０８は、起動処理部４０５が新たに取得した起動ワードが複合機１１２の起動ワード以外の起動ワードであると判別した場合に、複合機１１２が起動ワードに引き続いて出力した報知音のパターンから報知内容を特定し、ＭＦＰ制御サーバー１０２へ送信する。
［４］ＭＦＰ制御サーバー１０２の構成
次に、ＭＦＰ制御サーバー１０２の構成について説明する。

図５に示すように、ＭＦＰ制御サーバー１０２は、ＣＰＵ５００やＲＯＭ５０１、ＲＡＭ５０２等を備えており、ＣＰＵ５００はリセット後にＲＯＭ５０１からブートプログラムを読み出して起動し、ＲＡＭ５０２を作業用記憶領域として、ＨＤＤ５０３からＯＳ等のプログラムを読み出して実行する。ＮＩＣ５０４は、インターネット１２１を経由して音声ＡＩサーバー１０１や複合機１１２と相互接続するための通信処理を実行する。

このような構成を備えることによって、ユーザーの指示内容に応じたコマンドを生成して、複合機１１２へ送信したり、複合機１１２の報知内容に応じたテキストデータを生成して、音声ＡＩサーバー１０１へ送信したりすることができる。
［５］複合機１１２の構成
次に、複合機１１２の構成について説明する。複合機１１２はモノクロおよびカラーの画像形成機能、複写機能、ファクシミリ機能などの機能を兼ね備えた画像形成装置である。

図６に示すように、複合機１１２は、画像読み取り部６１０、画像形成部６２０および給紙部６３０を備えている。画像読み取り部６１０は、原稿トレイ６１１にセットされた原稿束から、自動原稿搬送装置（ADF: Automatic Document Feeder）６１２を用いて、１枚ずつ原稿を送り出して、所謂シートスルー方式で当該原稿を読み取った後、当該原稿を排紙トレイ６１３へ排出する。このようにして、画像データが生成される。

画像形成部６２０は、トナー像を形成して記録シートに転写する作像部やトナー像を記録シートに熱定着する定着部を有しており、画像読み取り部６１０が生成した画像データやＬＡＮ１２２やインターネット１２１を経由して受信した画像データを用いて画像形成処理を実行する。給紙部６３０は、記録シートを収容しており、画像形成部６２０がトナー像を形成するのに並行して記録シートを供給する。トナー像を静電転写され、更に熱定着された記録シートは、複合機１１２の胴内空間に設けられた排紙トレイ６２１へ排出される。

画像形成部６２０は、操作パネル６００を備えており、複合機１１２のユーザーに対して情報を提示したり、ユーザーから指示入力を受け付けたりする。操作パネル６００はスピーカーを備えており、報知音を出力することができる。また、画像形成部６２０は、制御部６２２を備えており、制御部６２２は複合機１１２の動作を制御する。

図７に示すように、制御部６２２は、ＣＰＵ７００やＲＯＭ７０１、ＲＡＭ７０２等を備えており、ＣＰＵ７００はリセット後にＲＯＭ７０１からブートプログラムを読み出して起動し、ＲＡＭ７０２を作業用記憶領域として、ＨＤＤ７０３からＯＳ等のプログラムを読み出して実行する。ＮＩＣ７０４は、ＬＡＮ１２２およびインターネット１２１を経由してＭＦＰ制御サーバー１０２と相互接続するための通信処理を実行する。

このような構成を備えることによって、制御部６２２は、画像読み取り部６１０、画像形成部６２０および給紙部６３０の動作を制御する。特に、操作パネル６００は、液晶ディスプレイ（Liquid Crystal Display）６０１、タッチパッド６０２、ハードキー６０３、スピーカー６０４およびパネル制御部６０５を備えており、液晶ディスプレイ６０１とタッチパッド６０２とはタッチパネルを構成している。パネル制御部６０５は、タッチパッド６０３、ハードキー６０３の操作の検知、液晶ディスプレイ６０１での表示、及びスピーカー６０４から報知音の出力の制御を行う。
［６］画像形成システム１の動作
次に、画像形成システム１の動作について、特に、音声ＡＩサーバー１０１の動作に着目して説明する。
（６−１）メインルーチン
図８に示すように、音声ＡＩサーバー１０１は、スマートスピーカー１１１にて起動ワードを受け付けると（Ｓ８０１：ＹＥＳ）、当該起動ワードが複合機１１２の起動ワードかどうかを確認する。当該起動ワードが複合機１１２の起動ワードでない場合に（Ｓ８０２：ＮＯ）、引き続いてスマートスピーカー１１１にて音声指示を受け付けると（Ｓ８１１：ＹＥＳ）、当該指示内容を複合機１１２へ送信する（Ｓ８１２）。この場合において、音声ＡＩサーバー１０１は、上述のように、指示内容をＭＦＰ制御サーバー１０２へ送信することによって、ＭＦＰ制御サーバー１０２から複合機１１２へ指示内容に対応するコマンドを送信させる。

起動ワードが複合機１１２の起動ワードである場合は（Ｓ８０２：ＹＥＳ）、その後、スマートスピーカー１１１にて複合機１１２の報知音を受け付けると（Ｓ８０３：ＹＥＳ）、報知音処理を実行する（Ｓ８０４）。
（６−２）報知音処理（Ｓ８０４）
次に、報知音処理（Ｓ８０４）について説明する。

図９に示すように、報知音処理においては、まず、複合機１１２が出力した報知音のパターンを特定する（Ｓ９０１）。図１０（ａ）に例示する音声データ１００１のうち、複合機１１２が出力する報知音の周波数成分を抽出すると、図１０（ｂ）に例示するような音声データ１００２、１００３を得ることができる。音声データ１００２、１００３では報知音の有音部分では振幅が大きくなり、無音部分ではノイズのみなので振幅が小さくなる。このため、適当な閾値１０１０を用いて、振幅の大小を判定することによって、有音部分と無音部分とを特定することができる。

次に、最初の有音部分から順に、最初の有音部分の継続時間Ｔ０毎に、有音部分を「１」とし、無音部分を「０」とする符号化して、当該報知音のパターンとする。符号化する部分の数は予め設定しておけばよく、符号化する部分の数が１６個である場合には報知音のパターンを２桁の１６進数で表現することができる。ただし、継続時間Ｔ０を特定する必要上、ＭＳＢ（Most Significant Bit）の２ビット分は「１０ｂ」とすれば、残余の１４ビットで報知音の種別を表すことができる。例えば、「０ｘＣ０（１０１０００００ｂ）」を正常終了の報知音パターンとしたり、「０ｘＢ０（１００１００００ｂ）」を紙詰まり発生の報知音パターンとしたりすることができる。このようにすることによって、報知音のパターンを特定する。

次に、報知音パターン登録テーブルを参照して、ステップＳ９０１で特定した報知音のパターンが報知音パターン登録テーブルに登録されているか確認する。報知音パターン登録テーブルは、図１１に例示するように、報知音のパターン毎に、報知音の種別、自然言語（例えば、日本語）による報知メッセージ、報知種別およびエラー種別が登録されている。特定した報知音のパターンが、報知音パターン登録テーブル１１００に登録されている報知音のパターンＰ１〜Ｐｎのどれかに該当する場合には（Ｓ９０２：ＹＥＳ）、報知音パターン登録テーブル１１００において当該報知音のパターンに対応する報知メッセージをスマートスピーカー１１１に音声出力させる（Ｓ９１１）。

報知音パターン登録テーブル１１００に登録する報知メッセージは音声データであってもよいし、テキストデータであってもよい。登録されている報知メッセージがテキストデータである場合には、当該テキストデータから音声データを合成し、合成した音声データをスマートスピーカー１１１へ送信して、音声出力させる。

その後、報知音パターン登録テーブル１１００を参照して、報知音のパターンに対応する報知種別がジョブの実行を一時中断させる「エラー」である場合には（Ｓ９０８：ＹＥＳ）、エラー継続判定処理を実行する（Ｓ９０９）。報知種別が「エラー」でない場合（Ｓ９０８：ＮＯ）並びにエラー継続判定処理を完了した後は、メインルーチンに復帰する。

特定した報知音のパターンが報知音パターン登録テーブル１１００に登録されていない場合には（Ｓ９０２：ＮＯ）、複合機１１２に報知音の種別を問い合わせる（Ｓ９０３）。この問い合わせは、ＭＦＰ制御サーバー１０２を経由して行う。なお、ＭＦＰ制御サーバー１０２は、複合機１１２に対して問い合わせを行うことなく、自ら報知音の種別を音声ＡＩサーバー１０１に応答してもよい。

音声ＡＩサーバー１０１は、報知音の種別を受信すると（Ｓ９０４）、当該報知音の種別に対応する報知メッセージが報知音パターン登録テーブル１１００に登録されているかどうかを確認する。報知音パターン登録テーブル１１００に、当該報知音の種別に対応する報知メッセージが登録されている場合には（Ｓ９０５：ＹＥＳ）、ステップＳ９０１で特定した報知音のパターンを当該報知メッセージに対応するパターンとして、報知音パターン登録テーブル１１００に登録するとともに（Ｓ９０６）、当該報知メッセージをスマートスピーカー１１１に送信して、音声出力させる（Ｓ９０７）。その後、ステップＳ９０８へ進み、上述のような処理を実行して、メインルーチンに復帰する。

報知音パターン登録テーブル１１００に、当該報知音の種別に対応する報知メッセージが登録されていない場合には（Ｓ９０５：ＮＯ）、当該報知音の種別に対応する報知メッセージを複合機１１２に問い合わせる（Ｓ９１２）。この問い合わせも、ＭＦＰ制御サーバー１０２を経由して行う。この場合においても、ＭＦＰ制御サーバー１０２は、複合機１１２に対して問い合わせを行うことなく、自ら報知音の種別を音声ＡＩサーバー１０１に応答してもよい。

音声ＡＩサーバー１０１は、報知メッセージを受信すると（Ｓ９１３）、ステップＳ９０１で特定した報知音のパターン、報知音の種別および当該報知メッセージを対応付けて報知音パターン登録テーブル１１００に登録するとともに（Ｓ９１４）、当該報知メッセージをスマートスピーカー１１１に送信して、音声出力させる（Ｓ９１５）。その後、ステップＳ９０８へ進み、上述のような処理を実行して、メインルーチンに復帰する。
（６−３）エラー継続判定処理（Ｓ９０９）
次に、エラー継続判定処理（Ｓ９０９）について説明する。

図１２に示すように、エラー継続判定処理（Ｓ９０９）においては、報知音パターン登録テーブル１１００を参照して、当該報知音のパターンに対応するエラー種別を特定して（Ｓ１２０１）、当該エラーの発生によって一時停止したジョブの実行を再開、継続することができるかどうかを当該エラー種別から判定する。当該エラーが、ジョブの実行を再開することができるエラーである場合には（Ｓ１２０２：ＹＥＳ）、当該ジョブの実行を継続するかどうかを問い合わせる音声メッセージをスマートスピーカー１１１に送信して、音声出力させる（Ｓ１２０３）。

この音声出力に対して、スマートスピーカー１１１は継続の要否の音声入力を受け付けると、当該継続の要否を音声ＡＩサーバー１０１に送信する（Ｓ１２０４）。音声ＡＩサーバー１０１は、当該ジョブの実行を継続するとの音声入力を受け付けた場合には（Ｓ１２０５：ＹＥＳ）、複合機１１２に当該ジョブの実行を再開、継続させる（Ｓ１２０６）。その後、上位ルーチンに復帰する。また、当該エラーが、ジョブの実行を再開することができるエラーでない場合や（Ｓ１２０２：ＮＯ）、上記の音声出力に対して、当該ジョブの実行を継続するとの音声入力を受け付けなかった場合にも（Ｓ１２０５：ＮＯ）、上位ルーチンに復帰する。
［７］変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（７−１）上記実施の形態においては、報知音のパターンに応じて報知メッセージを出力する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、報知音のパターンに関わらず、報知メッセージを音声出力するための情報を取得して、当該情報に基づいて報知メッセージの音声出力を行ってもよい。この報知メッセージを音声出力するための情報とは、複合機１１２が音声出力した報知音のパターンであってもよいし、当該報知音の種別であってもよい。また、報知メッセージのテキストデータや音声データであってもよい。更に、複合機１１２のステータス情報を取得して、当該ステータス情報に応じた報知メッセージを音声出力してもよい。

すなわち、図１３に示すように、報知音処理（Ｓ８０４）において、まず、複合機１１２にステータスを問い合わせて（Ｓ１３０１）、複合機１１２からステータス情報を受信し（Ｓ１３０２）、当該ステータス情報に対応する報知メッセージがステータス情報テーブルに登録されているかどうか確認する。図１４に示すように、ステータス情報テーブル１４００は、ステータス情報と報知メッセージとを対応付けた表である。ステータス情報に対応する報知メッセージがステータス情報テーブル１４００に登録されている場合には（Ｓ１３０３：ＹＥＳ）、当該報知メッセージをスマートスピーカー１１１に送信して、音声出力させる（Ｓ１３０４）。その後、上記実施の形態と同様に、エラー継続判定処理に関連する処理を実行して、上位ルーチンに復帰する。

ステータス情報に対応する報知メッセージがステータス情報テーブル１４００に登録されていない場合には（Ｓ１３０３：ＮＯ）、当該ステータス情報に対応する報知メッセージを複合機１１２に問い合わせて（Ｓ１３１１）、複合機１１２から当該報知メッセージを受信し（Ｓ１３１２）、ステータス情報に対応付けて当該報知メッセージをステータス情報テーブル１４００に登録するとともに（Ｓ１３１３）、当該報知メッセージをスマートスピーカー１１１に送信して、音声出力させる（Ｓ１３１４）。その後、エラー継続判定処理（Ｓ１３０６）に関連する処理を実行して、上位ルーチンに復帰する。

なお、この場合において、複合機１１２は報知音を出力してもよいし、起動ワードのみを音声出力して報知音の出力は停止してもよい。
（７−２）上記実施の形態においては、複合機１１２が報知音を音声出力すると、当該報知音のパターンに対応した報知メッセージを常に音声出力する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、複合機１１２が報知音を音声出力した際に実行中であったジョブが、複合機１１２から報知音の音声入力を受けたスマートスピーカー１１１を用いて投入されたジョブでない場合には、当該報知音に対応する報知メッセージの出力を禁止してもよい。

この場合において、図１５に示すように、音声ＡＩサーバー１０１のメインルーチンにおいて、スマートスピーカー１１１が受け付けた起動ワードが複合機１１２の起動ワードでない場合に（Ｓ１５０２：ＮＯ）、当該起動ワードに引き続いて音声指示を受け付けると（Ｓ１５１１：ＹＥＳ）、音声指示の指示内容と当該音声指示を受け付けたスマートスピーカー１１１の識別子とを複合機１１２へ送信して（Ｓ１５１２）、複合機１１２に当該指示内容に係るジョブと対応付けてスマートスピーカー１１１の識別子を記憶させておく。

その後、複合機１１２が音声出力した報知音を受け付けると（Ｓ１５０３：ＹＥＳ）、当該報知音の音声入力を受けたスマートスピーカー１１１の識別子を複合機１１２に送信して、当該報知音を出力した際に実行中だったジョブに対応付けられているスマートスピーカー１１１の識別子と一致するかどうかを問い合わせる（Ｓ１５０４）。

当該報知音の音声入力を受けたスマートスピーカー１１１の識別子と、当該報知音を出力した際に実行中だったジョブに対応付けられているスマートスピーカー１１１の識別子と、の一致の有無を複合機１１２から受信すると（Ｓ１５０５）、識別子が一致する場合には（Ｓ１５０６：ＹＥＳ）、報知音処理を実行する（Ｓ１５０７）。また、識別子が一致しない場合には（Ｓ１５０６：ＮＯ）、報知音処理を実行することなく、ステップＳ１５０１へ進む。従って、この場合には、スマートスピーカー１１１は報知メッセージを音声出力しない。

このようにすれば、スマートスピーカー１１１を用いて音声指示しなかったジョブに関する報知メッセージが音声出力されることによって、当該ジョブと関係のないユーザーが煩わされるのを抑制することができる。また、報知音処理を実行しないので、エラー継続判定処理も実行されない。従って、当該ジョブと関係のないユーザーに対して、当該ジョブを実行するかどうかを無駄に問い合わせることも抑制することができる。
（７−３）上記実施の形態においては、報知音の音声入力を受け付けるスピーカーと当該報知音に対応する報知メッセージを音声出力するスピーカーとが同一である場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、図１６に示すように、音声ＡＩサーバー１０１のメインルーチンにおいて、スマートスピーカー１１１が受け付けた起動ワードが複合機１１２の起動ワードでない場合に（Ｓ１６０２：ＮＯ）、当該起動ワードに引き続いて音声指示を受け付けると（Ｓ１６１１：ＹＥＳ）、音声指示の指示内容と当該音声指示を受け付けたスマートスピーカー１１１の識別子とを複合機１１２へ送信して（Ｓ１６１２）、複合機１１２に当該指示内容に係るジョブと対応付けてスマートスピーカー１１１の識別子を記憶させておく。

その後、複合機１１２が音声出力した報知音を受け付けると（Ｓ１６０３：ＹＥＳ）、当該報知音を出力した際に実行中だったジョブに対応付けられているスマートスピーカー１１１の識別子を問い合わせて（Ｓ１６０４）、当該識別子を複合機１１２から受信すると（Ｓ１６０５）、報知音処理を実行する（Ｓ１６０６）。報知音処理（Ｓ１６０６）においては、複合機１１２から受信した識別子に対応するスマートスピーカー１１１、言い換えると報知音を出力した際に実行中だったジョブの実行を音声指示されたスマートスピーカー１１１に報知メッセージを音声出力させる。

また、報知音処理（Ｓ１６０６）においてエラー継続判定処理を実行する場合には、複合機１１２から受信した識別子に対応するスマートスピーカー１１１からジョブ実行の継続要否を問い合わせる。

このようにすれば、報知音に係る事象の発生に関連するジョブを投入したユーザーに対して報知メッセージの音声出力や、ジョブ実行の継続要否の問い合わせを行うことができるので、ユーザーの利便性を高めることができる。

また、上記に代えて、ユーザーシステム１１０内に配設されたすべてのスマートスピーカー１１１から報知メッセージを音声出力させてもよい。このようにすれば、例えば、ユーザーがオフィス内を移動しても、より確実に報知メッセージを聞かせることができる。
（７−４）上記実施の形態においては、スマートスピーカー１１１を複合機１１２の近傍に配設することによって、複合機１１２が音声出力した報知音をスマートスピーカー１１１に音声入力する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、複合機１１２が有するＵＳＢ（Universal Serial Bus）ポートにＵＳＢスピーカーのコネクターを接続して、スマートスピーカー１１１の近傍に当該ＵＳＢスピーカーを配設し、当該ＵＳＢスピーカーから報知音を音声出力してもよい。このようにすれば、スマートスピーカー１１１を複合機１１２の近傍に配設しなくても、上記実施の形態と同様の効果を得ることができる。

言うまでもなく、ＵＳＢスピーカー以外の音声出力手段を用いて報知音を出力してもよいが、できるだけ低コストの出力手段を用いるのが望ましい。この意味において、複合機１１２は複数のＵＳＢポートを有していることが多いので、ＵＳＢスピーカーを用いるのが有効である。
（７−５）上記実施の形態においては、ユーザーシステム１１０内に配置された複合機１１２のうちの１台に着目して本発明を説明したが、ユーザーシステム１１０内に複数の複合機１１２が配設されている場合には、次のようにしてもよい。

例えば、複合機１１２と同数のスマートスピーカー１１１を用意して、個々の複合機１１２の近傍にスマートスピーカー１１１を各１台ずつ配設してもよい。このようにすれば、複合機１１２毎に上記実施の形態と同様の処理を行うことによって、同様の効果を得ることができる。

また、オフィス等では複数の複合機１１２がまとめて一箇所に配設されることも珍しくない。このため、互いに近傍に配設されている複合機１１２群については、複合機１１２群ごとにスマートスピーカー１１１を配設してもよい。この場合においては、１つの複合機１１２群を構成する複数の複合機１１２どうしで起動ワードを異ならせれば、複合機１１２どうしで報知音の周波数やパターンが共通していても、どの複合機１１２が報知音を音声出力するかを判別することができる。

なお、互いに近傍に配設されている複合機１１２どうしでなくても、上記のようにＵＳＢスピーカー等を用いれば、互いに近傍に配設されていない複合機１１２どうしであってもスマートスピーカー１１１を共用することができる。

このようにすれば、スマートスピーカー１１１の設置台数を節減することができるので、報知メッセージの出力に要するコストを低減することができる。
（７−６）上記実施の形態においては、特に言及しなかったが、複合機１１２において用紙切れや紙詰まり等のエラーや扉開などの事象が発生した場合には、当該エラーや事象が解消されるまで報知音が出力され続けるのが一般的であり、当該報知音がスマートスピーカー１１１に音声入力され続けることになる。

この場合において、当該エラーや事象が解消され、当該報知音の音声出力が停止されるまで、当該報知音を音声出力する複合機１１２との会話セッションを維持し続けて、当該報知音に対応する報知メッセージをスマートスピーカー１１１に音声出力させ続けてもよい。このようにすれば、より確実にエラーや事象をユーザーに認識させることができる。

また、スマートスピーカー１１１が報知メッセージを音声出力してから、次の報知音が当該スマートスピーカー１１１に音声入力されるまでの時間間隔よりも短いタイムアウト時間を設定しておき、スマートスピーカー１１１が報知メッセージを音声出力してから当該タイムアウト時間が経過したら会話セッションを強制終了させてもよい。このようにすれば、スマートスピーカー１１１を速やかに他の用途に使用できるようにすることができる。また、同じ報知メッセージが繰り返されることによって、当該エラーや事象、当該ジョブに関係のないユーザーが騒々しさや煩わしさを感じるのを防止することができる。

また、上記のようにタイムアウト制御を行う場合には、緊急の対応を要するエラーなど、予め設定されているエラーについては、報知音を音声出力するたびに起動ワードを出力すれば、スマートスピーカー１１１に報知メッセージを音声出力させ続けることができる。これによって、重要なエラーの発生をできる限り早急にユーザーに報知することができる。
（７−７）スマートスピーカー１１１を用いてユーザーが音声指示を行う場合には、当該音声指示に先立ってユーザー毎に固有の起動ワードが音声入力させるため、ＡＩサーバー１０１は、どのユーザーが音声指示を行ったかを識別することができる。これを利用して、スマートスピーカー１１１に報知メッセージを出力する際に、併せてユーザーを特定する音声を出力してもよい。

例えば、ジョブが正常終了した際に、単に「ジョブが正常終了しました」との報知メッセージを音声出力するのに代えて、ユーザーの氏名を報知メッセージに追加して、「Ａさん、ジョブが正常終了しました」との音声出力を行ってもよい。また、氏名に代えて、ユーザー毎に固有のメロディーを音声出力してもよい。どのような音声を追加するかはユーザーに設定させてもよい。

また、ユーザー毎に報知メッセージに使用すべき言語の指定が登録されている場合には、当該言語を用いた報知メッセージを音声出力してもよい。この場合において、報知音パターン登録テーブル１１００に言語ごとに報知メッセージを予め登録しておいてもよいし、いずれかの言語を用いて報知音パターン登録テーブル１１００に登録されている報知メッセージを、ユーザー毎の指定言語に翻訳し、翻訳後の報知メッセージを音声出力してもよい。

このようにすれば、報知メッセージの意味や宛先が更に明確になるので、ユーザーの利便性を高めることができる。
（７−８）上記実施の形態においては、ＭＦＰ制御サーバー１０２を用いてバックエンドクラウドサービスを提供する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、ＭＦＰ制御サーバー１０２を省いて、音声ＡＩサーバー１０１が直接複合機１１２にアクセスする構成であっても、上記実施の形態と同様に音声ＡＩサーバー１０１を動作させることによって同様の効果を得ることができる。
（７−９）上記実施の形態においては、複合機１１２が報知音を音声出力する場合を例にとって説明したが、スキャナー装置やプリンター装置、コピー装置、ファクシミリ装置といった単機能機が報知音を音声出力する場合においても、本発明を適用することによって同様の効果を得ることができる。
（７−１０）上述したように、画像形成システム１並びにＭＦＰ制御サーバー１０１は、マイクロプロセッサーとメモリとを備えたコンピューターシステムである。メモリは、コンピュータープログラムを記憶しており、マイクロプロセッサーは、コンピュータープログラムに従って動作するとしてもよい。

ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピュータープログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、上記のコンピュータープログラムがコンピューターに実行させる方法であるとしてもよい。
（７−１１）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

本発明に係る音声クラウドシステム、方法およびプログラムは、画像形成装置を音声操作するユーザーに対する情報提供を高機能化する技術として有用である。

１…………画像形成システム
１００……音声クラウドシステム
１０１……音声ＡＩサーバー
１０２……ＭＦＰ制御サーバー
１１０……ユーザーシステム
１１１……スマートスピーカー
１１２……複合機
１２１……インターネット
１２２……ＬＡＮ
１１００…報知音パターン登録テーブル
１４００…ステータス情報テーブル

Claims (9)

1. 音声入出力装置に入力された指示音声の音声データを、ネットワークを介して受信し、当該音声データに応じたコマンドを画像形成装置へ送信して、音声指示された処理を実行させる音声クラウドシステムであって、
   前記指示音声が、前記画像形成装置が音声出力した報知音であるかどうかを判別する判別手段と、
   前記判別手段が前記指示音声は前記報知音であると判別した場合に、当該報知音に対応する言語メッセージを前記音声入出力装置に音声出力させる出力手段と、を備える
   ことを特徴とする音声クラウドシステム。
2. 前記報知音に対応付けて前記言語メッセージを記憶する第1の記憶手段を備え、
   前記出力手段は、前記報知音に対応する言語メッセージを前記第1の記憶手段から読み出して、前記音声入出力装置に音声出力させる
   ことを特徴とする請求項１に記載の音声クラウドシステム。
3. 画像形成装置の装置状態に対応付けて前記言語メッセージを記憶する第２の記憶手段と、
   前記第１の記憶手段が、前記指示音声に対応する前記言語メッセージを記憶していない場合に、前記画像形成装置から装置状態を取得する取得手段と、
   前記出力手段は、前記取得手段が取得した装置状態に対応する言語メッセージを前記第２の記憶手段から読み出して、前記音声入出力装置に音声出力させる
   ことを特徴とする請求項２に記載の音声クラウドシステム。
4. 画像形成装置の装置状態に対応付けて前記言語メッセージを記憶する第３の記憶手段と、
   前記指示音声は前記報知音であると判別した場合に、前記画像形成装置から装置状態を取得する取得手段と、
   前記出力手段は、前記取得手段が取得した装置状態に対応する前記言語メッセージを前記第３の記憶手段から読み出して、前記音声入出力装置に音声出力させる
   ことを特徴とする請求項２に記載の音声クラウドシステム。
5. 前記画像形成装置が報知音を出力した際に実行していたジョブが、当該報知音を受け付けた音声入出力装置と同じ音声入出力装置から受け付けた指示音声に基づくコマンドによって前記画像形成装置が実行したジョブでない場合には、前記出力手段に、当該報知音に対応する言語メッセージを前記音声入出力装置に出力させるのを禁止する禁止手段を備える
   ことを特徴とする請求項１から４のいずれかに記載の音声クラウドシステム。
6. 前記報知音から、前記画像形成装置にエラーが発生したかどうかを判別するエラー判別手段と、
   エラーが発生したと判別した場合に、当該エラーの種類から画像形成装置がジョブの実行を継続することができるかどうかを判別する継続判別手段と、
   ジョブ実行を継続できると判別した場合に、ジョブの実行継続の要否を問い合わせる音声を前記音声入出力装置に音声出力させる問い合わせ手段と、を備える
   ことを特徴とする請求項１から５のいずれかに記載の音声クラウドシステム。
7. 前記問い合わせに対して、ジョブ実行を継続するとの指示音声を前記音声入出力装置が受け付けた場合に、当該ジョブの実行を継続させるコマンドを前記画像形成装置へ送信する継続指示手段を備える
   ことを特徴とする請求項６に記載の音声クラウドシステム。
8. 音声入出力装置に入力された指示音声の音声データを、ネットワークを介して受信し、当該指示音声に応じたコマンドを画像形成装置へ送信して、音声指示された処理を実行させる音声クラウドシステムが実行する方法であって、
   前記指示音声が、前記画像形成装置が音声出力した報知音であるかどうかを判別する判別ステップと、
   前記判別ステップにおいて、前記指示音声は前記報知音であると判別した場合に、当該報知音に対応する言語メッセージを前記音声入出力装置に音声出力させる出力ステップと、を含む
   ことを特徴とする方法。
9. 音声入出力装置に入力された指示音声の音声データを、ネットワークを介して受信し、当該指示音声に応じたコマンドを画像形成装置へ送信して、音声指示された処理を実行させる音声クラウドシステムとして、コンピューターを動作させるプログラムであって、
   前記指示音声が、前記画像形成装置が音声出力した報知音であるかどうかを判別する判別ステップと、
   前記判別ステップにおいて、前記指示音声は前記報知音であると判別した場合に、当該報知音に対応する言語メッセージを前記音声入出力装置に音声出力させる出力ステップと、前記コンピューターに実行させる
   ことを特徴とするプログラム。

Images