JP2008257566A

JP2008257566A - 電子機器

Info

Publication number: JP2008257566A
Application number: JP2007100461A
Authority: JP
Inventors: Takashi Hamakawa; 剛史濱川
Original assignee: Kyocera Mita Corp
Current assignee: Kyocera Document Solutions Inc
Priority date: 2007-04-06
Filing date: 2007-04-06
Publication date: 2008-10-23

Abstract

【課題】周囲の雑音や複数人の会話などによる誤動作を防ぎ、指定した機器への音声指示が確実に実行されるような電子機器を提供する。
【解決手段】音声入力手段と、前記音声入力手段を介して入力された音声を認識する音声認識手段と、前記認識された音声に含まれる制御コマンドに応じた処理を実行する制御手段と、記憶手段とを具備し、前記制御手段は、前記入力された音声に自機器を指定する機器名称が含まれている場合に、当該音声の識別情報を前記記憶手段に記憶させる一方、前記機器名称を含む音声の後に入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致する場合に前記機器名称の後に入力された音声に含まれる制御コマンドに応じた処理を実行する。
【選択図】図１

Description

本発明は、電子機器に関し、特に音声認識機能を有し、入力音声に含まれる制御コマンドに応じた処理を実行する電子機器に関する。

例えば、下記特許文献１には、予め記憶された基準となる音声の特徴パラメータと、入力された音声の特徴パラメータとを比較して、当該入力された音声を認識する音声認識手段と、遠隔装置の運転を制御する信号を送出する制御出力手段とを備え、上記音声認識手段によって認識された一連の入力音声中に、上記遠隔装置の名称と、当該遠隔装置の運転を指示するコマンドとが含まれていることが判別された場合に、上記制御出力手段から上記遠隔装置に当該コマンドに対応する信号を送出させることを特徴とする音声認識制御装置が開示されている。
特開２００３−１５６８２号公報

上述した音声認識制御技術をオフィス機器等に応用した場合、周囲の雑音や複数人の会話などによって期待した機器制御を行うことができず、誤動作を起こしてしまうことがある。また、複数の音声認識可能な機器が意図せず同時に動作してしまうことがある。

本発明は、上述した事情に鑑みてなされたものであり、周囲の雑音や複数人の会話などによる誤動作を防ぎ、指定した機器への音声指示が確実に実行されるような電子機器を提供することを目的とする。

上記目的を達成するために、本発明は、電子機器に係る第１の解決手段として、音声入力手段と、前記音声入力手段を介して入力された音声を認識する音声認識手段と、前記認識された音声に含まれる制御コマンドに応じた処理を実行する制御手段と、記憶手段とを具備し、前記制御手段は、前記入力された音声に自機器を指定する機器名称が含まれている場合に、当該音声の識別情報を前記記憶手段に記憶させる一方、前記機器名称を含む音声の後に入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致する場合に前記機器名称の後に入力された音声に含まれる制御コマンドに応じた処理を実行することを特徴とする。

また、電子機器に係る第２の解決手段として、上記第１の解決手段において、前記制御手段は、前記機器名称を含む音声の入力後に音声入力待ちモードに移行して待ち時間のカウントを行ない、所定時間経過しても音声入力がない場合、前記記憶手段に記憶されている識別情報を消去した後、前記機器名称が含まれる音声の入力待ちモードである機器名称入力待ちモードに移行することを特徴とする。

また、電子機器に係る第３の解決手段として、上記第２の解決手段において、前記制御手段は、前記音声入力待ちモードにおいて前記所定時間内に音声入力があった場合、当該入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致する場合は入力された音声に前記制御コマンドが含まれているかを解析するコマンド解析モードに移行し、前記入力された音声に制御コマンドが含まれていると解析された場合に当該制御コマンドに応じた処理を実行することを特徴とする。

また、電子機器に係る第４の解決手段として、上記第３の解決手段において、前記制御手段は、前記制御コマンドに応じた処理を実行した後、前記音声入力待ちモードに移行し、前記待ち時間のカウント値をリセットして再カウントを行うことを特徴とする。

また、電子機器に係る第５の解決手段として、上記第３または第４の解決手段において、前記制御手段は、前記コマンド解析モードにおいて前記入力された音声に処理終了を指示する制御コマンドが含まれていると解析した場合、前記記憶手段に記憶されている識別情報を消去した後、前記機器名称入力待ちモードに移行することを特徴とする。

また、電子機器に係る第６の解決手段として、上記第３〜第５のいずれかの解決手段において、前記制御手段は、前記コマンド解析モードにおいて前記入力された音声に制御コマンドが含まれていないと解析された場合、前記音声入力待ちモードに移行し、前記待ち時間のカウント値をリセットして再カウントを行うことを特徴とする。

また、電子機器に係る第７の解決手段として、上記第２〜第６のいずれかの解決手段において、前記制御手段は、前記音声入力待ちモードにおいて前記所定時間内に音声入力があった場合、当該入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致しない場合は前記待ち時間のカウント値をリセットして再カウントを行い前記音声入力待ちモードを継続することを特徴とする。

また、電子機器に係る第８の解決手段として、上記第１〜第７のいずれかの解決手段において、前記識別情報は声紋データであることを特徴とする。

また、電子機器に係る第９の解決手段として、上記第１〜第８のいずれかの解決手段において、画像データを基に画像を形成する画像形成装置であることを特徴とする。

本発明に係る電子機器では、入力された音声に自機器を指定する機器名称が含まれている場合に、当該音声の識別情報を前記記憶手段に記憶させる一方、前記機器名称を含む音声の後に入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致する場合に前記機器名称の後に入力された音声に含まれる制御コマンドに応じた処理を実行する。つまり、自機器を指定する機器名称を音声入力したユーザの発する制御コマンドのみを受け付けるので、周囲の雑音や複数人の会話などによる誤動作を防ぐことができる。また、同様な機能を有する機器（電子機器）が複数設置されている場合であっても、それぞれの機器は自機器を指定する機器名称が音声入力されない限り制御コマンドを受け付けないので、複数の機器が意図せず同時に動作することを防ぐことができる。このように、本発明によれば、周囲の雑音や複数人の会話などによる誤動作を防ぎ、指定した機器への音声指示が確実に実行されるような電子機器を提供することが可能である。

以下、図面を参照して、本発明に係る電子機器の一実施形態について説明する。なお、本実施形態では、電子機器として画像データを基に画像を形成する画像形成装置を例示して説明する。

図１は、本実施形態に係る画像形成装置１００の機能ブロック図である。画像形成装置１００は、例えば複写機及び印刷機等の機能を有する複合機であり、ＣＰＵ(Central Processing Unit)１０、ＲＯＭ(Read Only Memory)１１、ＲＡＭ(Random Access Memory)１２、各種センサ群１３、用紙搬送部１４、画像読取部１５、画像データ記憶部１６、画像形成部１７、音声入力部１８、Ａ／Ｄコンバータ１９、音声認識部２０、操作部２１、表示部２２、通信Ｉ／Ｆ部２３を備えている。なお、符号２００は、外部から画像形成装置１００へ印刷指示信号や印刷用画像データを送信するための外部端末である。

ＣＰＵ（制御手段）１０は、ＲＯＭ１１に記憶されている制御プログラムや、各種センサ群１３から入力される検出信号、画像データ記憶部１６に記憶されている画像データ、
音声認識部２０（詳細には言語検索部２０b）から入力される音声認識結果（テキストデータ）、操作部２１から入力される操作信号、通信Ｉ／Ｆ部２３を介して外部端末２００から受信した印刷指示信号及び印刷用画像データ等に基づいて画像形成装置１００の全体動作を制御する。

ＲＯＭ１１は、ＣＰＵ１０で使用される制御プログラムやその他のデータを記憶する不揮発性メモリである。ＲＡＭ（記憶手段）１２は、ＣＰＵ１０が制御プログラムを実行して各種動作を行う際に、データの一時保存先に用いられるワーキングメモリである。各種センサ群１３は、例えば用紙切れ検出センサや、用紙位置検出センサ、温度センサ等の画像形成動作に必要な各種センサであり、それぞれで検出した各種の情報を検出信号としてＣＰＵ１０に出力する。用紙搬送部１４は、図示しない用紙トレイに収納されている用紙を画像形成部１７に搬送するための搬送ローラ及び搬送ローラ駆動用のモータや、画像形成処理後の用紙を図示しない排紙トレイに搬送するための搬送ローラ及び搬送ローラ駆動用のモータなどから構成されている。

画像読取部１５は、図示しない原稿台にセットされた原稿に対して走査状に照明光を照射し、その反射光をＣＣＤ(Charge Coupled Device)センサによって受光してアナログ電圧信号に変換した後、当該アナログ電圧信号をデジタル変換することにより、読み取った原稿の画像データを生成するものである。画像データ記憶部１６は、例えばフラッシュメモリであり、ＣＰＵ１０の要求に応じて、画像読取部１５によって生成された画像データ、通信Ｉ／Ｆ部２３を介して外部端末２００から受信した印刷用画像データを記憶する一方、これら記憶した画像データを要求に応じてＣＰＵ１０に出力する。画像形成部１７は、ＣＰＵ１０の制御の下、画像データ記憶部１６に記憶されている画像データに基づいて、用紙搬送部１４から搬送される用紙にトナー像を転写し、当該トナー像の定着処理（画像形成）を行う。

音声入力部（音声入力手段）１８は、例えばマイクであり、外部から入力される音声をアナログ電気信号に変換してＡ／Ｄコンバータ１９に出力する。Ａ／Ｄコンバータ１９は、音声入力部１８から入力されるアナログ電気信号をデジタル信号に変換して音声認識部２０（詳細には特徴抽出部２０a）に出力する。

音声認識部（音声認識手段）２０は、特徴抽出部２０a、言語検索部２０b、検索用データベース２０cから構成されている。特徴抽出部２０aは、Ａ／Ｄコンバータ１９から入力されるデジタル信号に高速フーリエ変換等の周波数分析処理を施して入力音声の音響的な特徴パラメータを抽出する。この音響的な特徴パラメータとしては、ケプストラム係数（ＭＦＣＣ）やホルマント周波数等、一般的な音声認識技術に用いられるパラメータを使用する。また、特徴抽出部２０aは、ＣＰＵ１０の要求に応じて、周波数分析処理によって得られる声紋データ（時間軸に対応する周波数毎のスペクトル強度を示すデータ：ソナグラム）を入力音声の識別情報としてＣＰＵ１０に出力する。なお、この声紋データを上記の音響的な特徴パラメータとして使用しても良い。

言語検索部２０bは、特徴抽出部２０aで抽出された特徴パラメータと、検索用データベース２０cに記憶されている音響モデル、単語辞書及び言語モデルとを基に、入力音声の言語として最も確率の高い言語を検索し、当該検索から得られる言語のテキストデータを音声認識結果としてＣＰＵ１０に出力する。ここで、音響モデルとは、不特定多数の音声から求めた音素（音声を構成する最小単位）の統計的な音響的特徴情報であり、例えば隠れマルコフモデル（ＨＭＭ）によってモデル化されている。また、単語辞書とは、音素と音素列（つまり単語）との対応関係を規定するものであり、言語モデルとは、単語同士の組み合わせ（つまり文章的な言い回し）の出現確率を与えるモデルである。すなわち、言語検索部２０bは、特徴抽出部２０aで抽出された特徴パラメータと音響モデルとのマッチング処理により入力音声を構成する音素として最も確率の高い音素を検索し、さらに検索された音素の時間的な並びと単語辞書及び言語モデルとを基に、入力音声の言語（文章的な言い回し）として最も確率の高い言語を検索する。
検索用データベース２０cは、上記の音響モデル、単語辞書及び言語モデルを予め記憶するものである。

操作部２１は、例えば表示部２２に設けられたコピー（複写）開始キーや各種設定キー等を含むタッチパネルによって構成されており、これら各キーの操作情報を操作信号としてＣＰＵ１０に出力する。表示部２２は、例えば上記タッチパネルが設けられた液晶ディスプレイであり、ＣＰＵ１０から入力される表示信号に基づいて、複写処理状況や印刷処理状況、上記操作部２１より入力された設定情報等の表示を行う。通信Ｉ／Ｆ部２３は、画像形成装置１００（詳しくはＣＰＵ１０）と外部端末２００との間で通信を行うためのインタフェースであり、ＬＡＮ(Local Area Network)等のネットワークによって外部端末２００と接続されている。

次に、上記のように構成された本実施形態に係る画像形成装置１００の動作について図２のフローチャートを参照して説明する。なお、本画像形成装置１００の画像形成動作（複写・印刷動作）については従来と同様であるため説明を省略し、以下では本画像形成装置１００の特徴的な動作（音声認識制御動作）について説明する。

まず、ＣＰＵ１０は、自機器を指定する機器名称を含む音声の入力待ちモードである機器名称入力待ちモードに移行する（ステップＳ１）。なお、自機器を指定する機器名称は予めＲＯＭ１１に登録（記憶）されているものとする。ここで、機器名称は自機器を指定する名称であればどのようなものでも良く、ユーザが任意に設定することが可能である。例えば、「コピー機Ａ」等の装置名の他、「１００番」等の番号、「Ｂ君（さん）」等の人名などを機器名称として使用しても良い。ただし、画像形成装置１００が複数設置されている場合や、同様な音声認識制御機能を有する他の電子機器が設置されている場合は、それぞれの機器毎に異なる機器名称を設定する必要がある。

この機器名称入力待ちモードにおいて、ＣＰＵ１０は、音声入力部１８への音声入力があったか否かを判定する（ステップＳ２）。具体的には、ＣＰＵ１０は、言語検索部２０bからテキストデータが入力されたか否かを監視することにより、音声入力部１８への音声入力があったか否かを判定する。このステップＳ２において、音声入力がないと判定された場合、つまり言語検索部２０bからテキストデータが入力されない場合（NO）、ＣＰＵ１０は、音声が入力されるまで機器名称入力待ちモードを継続する。一方、ステップＳ２において、音声入力があったと判定された場合、つまり言語検索部２０bからテキストデータが入力された場合（YES）、ＣＰＵ１０は、取得したテキストデータから入力音声に含まれる内容の解析を行い（ステップＳ３）、テキストデータに自機器を指定する機器名称が含まれているか否かを判定する（ステップＳ４）。

このステップＳ４において、テキストデータに自機器を指定する機器名称が含まれていない場合（NO）、ＣＰＵ１０は、ステップＳ２の処理に戻り、次の音声が入力されるまで機器名称入力待ちモードを継続する。一方、ステップＳ４において、テキストデータに自機器を指定する機器名称が含まれていた場合（YES）、ＣＰＵ１０は、特徴抽出部２０aからその機器名称が含まれていた音声の声紋データを取得し、当該取得した声紋データをＲＡＭ１２に保存する（ステップＳ５）。つまり、ここで保存した声紋データは、機器名称を音声入力したユーザを識別するための識別情報となる。

ＣＰＵ１０は、上記のように声紋データを保存すると、音声入力待ちモードに移行し、待ち時間のカウント値をリセットする（ステップＳ６）。そして、ＣＰＵ１０は、待ち時間のカウントを開始し（ステップＳ７）、音声入力部１８への音声入力があったか否か（つまり言語検索部２０bからテキストデータが入力されたか否か）を判定する（ステップＳ８）。このステップＳ８において、音声入力がないと判定された場合（NO）、ＣＰＵ１０は、待ち時間のカウント値を基に所定時間が経過したか否かを判定する（ステップＳ９）。このステップＳ９において、所定時間が経過していないと判定された場合（NO）、ＣＰＵ１０は、ステップＳ８の処理に戻り、音声入力待ちモードを継続する。また、ステップＳ９において、所定時間が経過したと判定された場合（YES）、ＣＰＵ１０は、ＲＡＭ１２に保存している声紋データを消去し（ステップＳ１０）、ステップＳ１の機器名称入力待ちモードに移行する。

一方、ステップＳ８において、音声入力があったと判定された場合、つまり言語検索部２０bからテキストデータが入力された場合（YES）、ＣＰＵ１０は、その時の入力音声の声紋データを特徴抽出部２０aから取得すると共に、ＲＡＭ１２に保存している声紋データを読み出し（ステップＳ１１）、両方の声紋データが一致するか否かを判定する（ステップＳ１２）。このステップＳ１２において、両方の声紋データが一致しないと判定された場合（NO）、つまり機器名称を音声入力したユーザとその後に音声入力したユーザとが異なる場合、ＣＰＵ１０は、ステップＳ６に戻って待ち時間のカウント値をリセットし、音声入力待ちモードを継続する。一方、ステップＳ１２において、両方の声紋データが一致したと判定された場合（YES）、つまり機器名称を音声入力したユーザとその後に音声入力したユーザとが一致する場合、ＣＰＵ１０は、取得したテキストデータ（つまり入力音声）に制御コマンドが含まれているかを解析するためのコマンド解析モードに移行する（ステップＳ１３）。具体的には、ＲＯＭ１１には制御コマンドが予め複数記憶されており、ＣＰＵ１０は、取得したテキストデータとＲＯＭ１１に記憶されている制御コマンドとを照合することにより、テキストデータに制御コマンドが含まれているか解析する。

このコマンド解析モードにおいて、ＣＰＵ１０は、テキストデータに制御コマンドが含まれているか否かを判定し（ステップＳ１４）、制御コマンドが含まれていない場合（NO）、ステップＳ６に戻って待ち時間のカウント値をリセットし、音声入力待ちモードに移行する。一方、ステップＳ１４において、テキストデータに制御コマンドが含まれている場合（YES）、ＣＰＵ１０は、その制御コマンドが処理終了を指示するためのコマンドか否か、つまり音声入力終了か否かを判定する（ステップＳ１５）。このステップＳ１５において、テキストデータに含まれる制御コマンドが処理終了を指示するためのコマンドであった場合、つまり音声入力終了と判定された場合（YES）、ＣＰＵ１０は、ＲＡＭ１２に保存している声紋データを消去し（ステップＳ１０）、ステップＳ１の機器名称入力待ちモードに移行する。

一方、ステップＳ１５において、テキストデータに含まれる制御コマンドが処理終了を指示するためのコマンドではなかった場合（NO）、つまり他の処理の実行を指示するための制御コマンドであった場合、ＣＰＵ１０は、その制御コマンドに応じた処理を実行する（ステップＳ１６）。例えば、テキストデータが「Ａ４用紙で５部コピー」という文字列から構成される場合、ＣＰＵ１０は、画像読取部１５を制御して原稿台にセットされた原稿を読み取って原稿の画像データを取得する一方、用紙搬送部１４を制御して用紙トレイからＡ４用紙を画像形成部１７に搬送し、さらに画像形成部１７を制御して５部分のＡ４用紙に原稿画像を形成する。そして、ＣＰＵ１０は、制御コマンドに応じた処理を実行した後、ステップＳ６に戻って待ち時間のカウント値をリセットし、音声入力待ちモードに移行する。

以上のように、本実施形態に係る画像形成装置１００によれば、自機器を指定する機器名称を音声入力したユーザの発する制御コマンドのみを受け付けるので、周囲の雑音や複数人の会話などによる誤動作を防ぐことができる。また、同様な機能を有する機器が複数設置されている場合であっても、それぞれの機器は自機器を指定する機器名称が音声入力されない限り制御コマンドを受け付けないので、複数の機器が意図せず同時に動作することを防ぐことができる。従って、周囲の雑音や複数人の会話などによる誤動作を防ぎ、指定した機器への音声指示が確実に実行されるような画像形成装置１００を提供することが可能である。

なお、上記実施形態では、入力音声の識別情報として声紋データを使用したが、これに限らず、音声を入力したユーザを識別することが可能な音響的情報であれば他の情報を使用しても良い。また、上記実施形態では、電子機器として複合機である画像形成装置１００を例示して説明したが、本発明はこのような画像形成装置１００に限らず、その他の電子機器、例えば、複合機以外のＯＡ機器（ファクシミリやパソコン等）、家電製品（洗濯機やエアコン、電子レンジ、テレビ、ビデオ、ＤＶＤレコーダ等）、携帯移動端末（携帯電話機やＰＤＡ等）、ロボットなどに適用することが可能である。

本発明の一実施形態に係る画像形成装置１００の機能ブロック図である。本発明の一実施形態に係る画像形成装置１００の動作を示すフローチャートである。

符号の説明

１００…画像形成装置、１０…ＣＰＵ(Central Processing Unit)、１１…ＲＯＭ(Read Only Memory)、１２…ＲＡＭ(Random Access Memory)、１３…各種センサ群、１４…用紙搬送部、１５…画像読取部、１６…画像データ記憶部、１７…画像形成部、１８…音声入力部、１９…Ａ／Ｄコンバータ、２０…音声認識部、２１…操作部、２２…表示部、２３…通信Ｉ／Ｆ部、２０a…特徴抽出部、２０b…言語検索部、２０c…検索用データベース、２００…外部端末

Claims

音声入力手段と、
前記音声入力手段を介して入力された音声を認識する音声認識手段と、
前記認識された音声に含まれる制御コマンドに応じた処理を実行する制御手段と、
記憶手段と、
を具備し、
前記制御手段は、前記入力された音声に自機器を指定する機器名称が含まれている場合に、当該音声の識別情報を前記記憶手段に記憶させる一方、前記機器名称を含む音声の後に入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致する場合に前記機器名称の後に入力された音声に含まれる制御コマンドに応じた処理を実行する、
ことを特徴とする電子機器。
前記制御手段は、前記機器名称を含む音声の入力後に音声入力待ちモードに移行して待ち時間のカウントを行ない、所定時間経過しても音声入力がない場合、前記記憶手段に記憶されている識別情報を消去した後、前記機器名称が含まれる音声の入力待ちモードである機器名称入力待ちモードに移行することを特徴とする請求項１記載の電子機器。
前記制御手段は、前記音声入力待ちモードにおいて前記所定時間内に音声入力があった場合、当該入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致する場合は入力された音声に前記制御コマンドが含まれているかを解析するコマンド解析モードに移行し、前記入力された音声に制御コマンドが含まれていると解析された場合に当該制御コマンドに応じた処理を実行することを特徴とする請求項２記載の電子機器。
前記制御手段は、前記制御コマンドに応じた処理を実行した後、前記音声入力待ちモードに移行し、前記待ち時間のカウント値をリセットして再カウントを行うことを特徴とする請求項３記載の電子機器。
前記制御手段は、前記コマンド解析モードにおいて前記入力された音声に処理終了を指示する制御コマンドが含まれていると解析した場合、前記記憶手段に記憶されている識別情報を消去した後、前記機器名称入力待ちモードに移行することを特徴とする請求項３または４に記載の電子機器。
前記制御手段は、前記コマンド解析モードにおいて前記入力された音声に制御コマンドが含まれていないと解析された場合、前記音声入力待ちモードに移行し、前記待ち時間のカウント値をリセットして再カウントを行うことを特徴とする請求項３〜５のいずれか一項に記載の電子機器。
前記制御手段は、前記音声入力待ちモードにおいて前記所定時間内に音声入力があった場合、当該入力された音声の識別情報と前記記憶手段に記憶されている識別情報との一致判定を行い、両方の識別情報が一致しない場合は前記待ち時間のカウント値をリセットして再カウントを行い前記音声入力待ちモードを継続することを特徴とする請求項２〜６のいずれか一項に記載の電子機器。
前記識別情報は声紋データであることを特徴とする請求項１〜７のいずれか一項に記載の電子機器。
画像データを基に画像を形成する画像形成装置であることを特徴とする請求項１〜８のいずれか一項に記載の電子機器。