JP2019144759A - 画像処理装置、画像処理装置の制御方法、およびプログラム - Google Patents

画像処理装置、画像処理装置の制御方法、およびプログラム Download PDF

Info

Publication number
JP2019144759A
JP2019144759A JP2018027205A JP2018027205A JP2019144759A JP 2019144759 A JP2019144759 A JP 2019144759A JP 2018027205 A JP2018027205 A JP 2018027205A JP 2018027205 A JP2018027205 A JP 2018027205A JP 2019144759 A JP2019144759 A JP 2019144759A
Authority
JP
Japan
Prior art keywords
screen
search
voice
command group
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018027205A
Other languages
English (en)
Other versions
JP7003720B2 (ja
Inventor
秀真 中島
Hozuma Nakajima
秀真 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018027205A priority Critical patent/JP7003720B2/ja
Priority to US16/272,360 priority patent/US10567600B2/en
Priority to CN201910113397.8A priority patent/CN110177185A/zh
Priority to EP19158045.5A priority patent/EP3528244B1/en
Publication of JP2019144759A publication Critical patent/JP2019144759A/ja
Priority to US16/740,629 priority patent/US10911618B2/en
Priority to JP2021211807A priority patent/JP7367750B2/ja
Application granted granted Critical
Publication of JP7003720B2 publication Critical patent/JP7003720B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00397Switches, knobs or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00403Voice input means, e.g. voice commands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00501Tailoring a user interface [UI] to specific requirements
    • H04N1/00509Personalising for a particular user or group of users, e.g. a workgroup or company
    • H04N1/00514Personalising for a particular user or group of users, e.g. a workgroup or company for individual users
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H04N1/00915Assigning priority to, or interrupting, a particular operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/0097Storage of instructions or parameters, e.g. customised instructions or different parameters for different user IDs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】複数の操作画面に関する複数の音声操作コマンドのうちユーザの音声入力に対応する一の音声操作コマンドを適切に検出することが可能な技術を提供する。【解決手段】MFP10は、操作画面210,230がタッチパネル45に表示されている状態で発声された音声に関する音声認識結果(音声認識データ)を取得し、探索対象文字列を決定する。MFP10は、画面210に関する音声操作コマンド群610と画面210に対するユーザ操作に応じて表示される画面230に関する音声操作コマンド群630とを含む複数の音声操作コマンドのうち、第1順位の優先順位が付与された第1のコマンド群(630等)を探索範囲とする第1の探索処理を先ず実行する。第1の探索処理によって探索対象文字列が検出されない場合、複数の音声操作コマンドのうち第2順位の優先順位が付与された第2のコマンド群(610等)を探索範囲とする第2の探索処理が実行される。【選択図】図3

Description

本発明は、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))などの画像処理装置およびそれに関連する技術に関する。
MFP等において、音声によって操作指示を付与する技術が存在する。具体的には、操作者の音声が音声データとして入力されると、当該音声データに対する音声認識処理が実行され、音声認識処理の処理結果として音声認識データ(音声をテキストデータ化したデータ)が取得される。そして、予め登録された複数の音声操作コマンド(テキストデータ)のうちの一の音声操作コマンドに当該音声認識データ(テキストデータ)が一致することが確認された後に、当該一の音声操作コマンドに対応する動作(換言すれば、当該一の音声操作コマンドに予め割り当てられた動作)が実行される。このような技術として、たとえば、特許文献1に記載の技術が存在する。
特許文献1に記載の技術においては、現在の階層の画面に対応して予め定められたキーワード群(音声操作コマンド群)を探索範囲として、音声データの認識結果に係る音声認識データを当該探索範囲内にて探索する処理が実行される。
特開2011−049705号公報
ところで、MFPなどの画像処理装置においては、現在の階層の画面が当該画面の呼出元の別の画面(呼出元の画面とも称する)とともに表示される(換言すれば、最も新しく呼び出された画面がその呼出元の画面に重畳表示される)場合等がある。
しかしながら、特許文献1に記載の技術においては、上述のような場合、現在の階層の画面に対応して予め定められたキーワード群(音声操作コマンド群)のみが音声認識データの探索範囲とされるので、現在の階層の画面以外の画面(呼出元の画面等)内の操作ボタンの指示を付与することができない。換言すれば、音声認識データの探索範囲が、常に、2つの操作画面のうち一方の階層画面(ここでは現在の階層画面)関する音声操作コマンド群に固定されているので、当該2つの操作画面のうち他の階層画面に関する音声操作コマンドを検出することができない。
そこで、本発明は、複数の操作画面に関する複数の音声操作コマンドのうちユーザの音声入力に対応する一の音声操作コマンドを適切に検出することが可能な技術を提供することを課題とする。
上記課題を解決すべく、請求項1の発明は、画像処理装置であって、表示手段と、少なくとも1つの操作画面が前記表示手段に表示されている状態にて発声された音声に関する音声認識結果である音声認識データを取得する取得手段と、前記音声認識データに基づき探索対象文字列を決定する決定手段と、前記画像処理装置に関する第1の画面に関する音声操作コマンド群と前記第1の画面に対するユーザ操作に応じて表示される第2の画面に関する音声操作コマンド群とを含む複数の音声操作コマンドのうち前記探索対象文字列に合致する一の音声操作コマンドを探索する探索処理を実行する探索手段と、前記探索手段によって探索された前記一の音声操作コマンドに応じた処理を実行するコマンド実行手段と、を備え、前記探索手段は、前記複数の音声操作コマンドのうち、第1順位の探索優先順位が付与された第1のコマンド群を探索範囲とする第1の探索処理を実行し、前記第1のコマンド群を探索範囲とする前記第1の探索処理によって前記探索対象文字列が検出されない場合、前記複数の音声操作コマンドのうち、第2順位の探索優先順位が付与された第2のコマンド群を探索範囲とする第2の探索処理を実行し、前記第1のコマンド群は、前記第1の画面と前記第2の画面との2つの操作画面のうち、前記音声の発声時にて表示中の画面であり且つ前記音声の発声時までに最も新しく呼び出された画面である第1優先画面に関する音声操作コマンド群であり、前記第2のコマンド群は、前記2つの操作画面のうち前記第1優先画面とは異なる第2優先画面に関する音声操作コマンド群であることを特徴とする。
請求項2の発明は、請求項1の発明に係る画像処理装置において、前記第1優先画面は、前記第1の画面に対するユーザ操作に応じて、前記音声の発声時にて表示されている前記第2の画面であり、前記第2優先画面は、前記第1の画面であることを特徴とする。
請求項3の発明は、請求項2の発明に係る画像処理装置において、前記2つの操作画面は、互いに異なる階層の画面であり、前記取得手段は、前記2つの操作画面の双方が前記表示手段に表示されている状態にて発声された前記音声に関する前記音声認識結果を取得することを特徴とする。
請求項4の発明は、請求項3の発明に係る画像処理装置において、前記取得手段は、前記2つの操作画面の双方が前記表示手段に表示されており且つ前記第1の画面の少なくとも一部が前記第2の画面に隠されて表示されている状態にて発声された前記音声に関する前記音声認識結果を取得し、前記探索手段は、前記第1の画面に対応する前記第2のコマンド群から、前記第2の画面に隠されている表示要素に対応するコマンドを除外した状態で、前記第2のコマンド群に関する前記第2の探索処理を実行することを特徴とする。
請求項5の発明は、請求項3の発明に係る画像処理装置において、前記取得手段は、前記2つの操作画面の双方が前記表示手段に表示されており且つ前記第1の画面の少なくとも一部は前記第2の画面に隠されて表示されている状態にて発声された前記音声に関する前記音声認識結果を取得し、前記画像処理装置は、前記第2のコマンド群に関する前記第2の探索処理の実行に際して、前記第2の画面に隠されている表示要素に対応するコマンドを前記第1の画面に対応する前記第2のコマンド群から除外するか否かを設定する設定手段、をさらに備え、前記探索手段は、前記設定手段による設定内容に基づいて前記第2のコマンド群に関する前記第2の探索処理を実行することを特徴とする。
請求項6の発明は、請求項2の発明に係る画像処理装置において、前記表示手段は、前記2つの操作画面を順次に表示し、前記取得手段は、前記表示手段において前記2つの操作画面のうちの前記第1の画面が表示されておらず且つ前記第2の画面が表示されている状態にて発声された前記音声に関する前記音声認識結果を取得することを特徴とする。
請求項7の発明は、請求項1の発明に係る画像処理装置において、前記表示手段は、前記2つの操作画面を順次に表示し、前記取得手段は、前記表示手段において前記2つの操作画面のうちの前記第1の画面が表示されており且つ前記第2の画面が未だ表示されていない状態にて発声された前記音声に関する前記音声認識結果を取得し、前記第1優先画面は、前記第2の画面の呼出元の画面であって前記音声の発声時に表示されている前記第1の画面であり、前記第2優先画面は、前記音声の発声時には未だ表示されていない前記第2の画面であって、前記第1の画面に対するユーザ操作に応じて表示される前記第2の画面であることを特徴とする。
請求項8の発明は、請求項7の発明に係る画像処理装置において、前記音声の発声時にて未だ表示されていない前記第2の画面に関するコマンド群である前記第2のコマンド群を探索範囲とする前記第2の探索処理を実行するか否かを設定する設定手段、をさらに備え、前記探索手段は、前記第2のコマンド群を探索範囲とする前記第2の探索処理を実行する旨が設定されていることを条件として、前記第2の探索処理を実行することを特徴とする。
請求項9の発明は、請求項7または請求項8の発明に係る画像処理装置において、前記表示手段は、前記探索対象文字列に合致する前記一の音声操作コマンドが前記第2のコマンド群の中から検出された場合、前記一の音声操作コマンドに対応する操作キーを含む前記第2の画面を表示させる操作を行うための第1の操作キーを特定し、前記第1の操作キーの操作イベントを発生させることによって、前記第2の画面を表示させることを特徴とする。
請求項10の発明は、請求項9の発明に係る画像処理装置において、前記表示手段は、前記第1の操作キーの前記操作イベントの発生に応じて表示された前記第2の画面内に含まれる複数の操作キーのうち、前記一の音声操作コマンドに対応する第2の操作キーを強調表示する表示処理を実行し、前記コマンド実行手段は、前記第2の操作キーの操作イベントを発生させることによって、前記一の音声操作コマンドに応じた処理を実行することを特徴とする。
請求項11の発明は、請求項2の発明に係る画像処理装置において、前記探索手段は、前記第2の画面が警告を通知する警告画面である場合には、前記第2の画面に関する音声操作コマンド群である前記第1のコマンド群を探索範囲とする前記第1の探索処理によって前記探索対象文字列が検出されないときであっても、少なくとも前記警告が解除されるまでは前記第2のコマンド群を探索範囲とする前記第2の探索処理を実行しないことを特徴とする。
請求項12の発明は、請求項1から請求項11のいずれかの発明に係る画像処理装置において、前記探索手段は、前記画像処理装置のジョブ実行状態に基づき実行不可能であると判定される操作コマンドを前記第1のコマンド群および/または前記第2のコマンド群から除外して、前記探索処理を実行することを特徴とする。
請求項13の発明は、請求項1から請求項11のいずれかの発明に係る画像処理装置において、前記探索手段は、前記画像処理装置におけるユーザ認証状態に基づき実行不可能であると判定される操作コマンドを前記第1のコマンド群および/または前記第2のコマンド群から除外して、前記探索処理を実行することを特徴とする。
請求項14の発明は、請求項1から請求項13のいずれかの発明に係る画像処理装置において、前記探索手段は、前記第1のコマンド群に含まれる2以上の操作コマンドのそれぞれに付与される優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行するとともに、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した操作コマンドを前記一の音声操作コマンドとして特定することによって、前記第1のコマンド群に関する前記第1の探索処理を実行し、前記コマンド実行手段は、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した前記一の音声操作コマンドに応じた処理を実行することを特徴とする。
請求項15の発明は、請求項14の発明に係る画像処理装置において、前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに対して予め定められた優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする。
請求項16の発明は、請求項14の発明に係る画像処理装置において、前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記第1優先画面内での対応操作キーの表示位置に基づき決定された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする。
請求項17の発明は、請求項14の発明に係る画像処理装置において、前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記画像処理装置のジョブ実行状態が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする。
請求項18の発明は、請求項14の発明に係る画像処理装置において、前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記画像処理装置におけるユーザ認証状態が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする。
請求項19の発明は、請求項14の発明に係る画像処理装置において、前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記2以上の操作コマンドのそれぞれに関する使用履歴が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする。
請求項20の発明は、請求項14の発明に係る画像処理装置において、前記探索手段は、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記2以上の操作コマンドのそれぞれに対応する各操作キーの使用履歴が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする。
請求項21の発明は、請求項14から請求項20のいずれかの発明に係る画像処理装置において、前記探索手段は、前記画像処理装置の負荷が一定程度以上であると判定される場合、所定程度より小さな優先度を有する操作コマンドを前記第1のコマンド群から除外して、前記第1のコマンド群に関する前記第1の探索処理を実行することを特徴とする。
請求項22の発明は、請求項1から請求項13のいずれかの発明に係る画像処理装置において、前記探索手段は、前記第2のコマンド群に含まれる2以上の操作コマンドのそれぞれに付与される優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行するとともに、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した操作コマンドを前記一の音声操作コマンドとして特定することによって、前記第2のコマンド群に関する前記第2の探索処理を実行し、前記コマンド実行手段は、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した前記一の音声操作コマンドに応じた処理を実行することを特徴とする。
請求項23の発明は、請求項1から請求項22のいずれかの発明に係る画像処理装置において、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群の中から前記探索対象文字列に合致する2以上のコマンドが検出される場合、当該2以上のコマンドに対応する複数の選択肢の中からユーザによる所望の選択肢の選択を受け付ける受付手段、をさらに備え、前記探索手段は、前記受付手段によって受け付けられた前記所望の選択肢に基づいて、前記一の音声操作コマンドを決定し、前記コマンド実行手段は、前記2以上のコマンドのうち前記一の音声操作コマンドに応じた処理を実行することを特徴とする。
請求項24の発明は、請求項1から請求項23のいずれかの発明に係る画像処理装置において、前記第1の画面に関する音声操作コマンド群と前記第2の画面に関する音声操作コマンド群とが予め登録されたコマンド辞書を格納する格納手段、をさらに備え、前記探索手段は、前記コマンド辞書に基づき前記第1のコマンド群を取得して前記第1の探索処理を実行し、前記コマンド辞書に基づき前記第2のコマンド群を取得して前記第2の探索処理を実行することを特徴とする。
請求項25の発明は、請求項1から請求項23のいずれかの発明に係る画像処理装置において、前記操作画面の画像に含まれる文字を認識する文字認識処理を実行する文字認識手段、をさらに備え、前記探索手段は、前記第1の画面と前記第2の画面とのそれぞれに関する文字認識処理の処理結果に基づき、前記第1のコマンド群と前記第2のコマンド群とを特定して、前記探索処理を実行することを特徴とする。
請求項26の発明は、請求項3から請求項5のいずれかの発明に係る画像処理装置において、前記操作画面の画像に含まれる文字を認識する文字認識処理を実行する文字認識手段、をさらに備え、前記表示手段は、前記第1の画面を含み且つ前記第2の画面を含まない第1の画像を表示している第1の表示状態から、前記第1の画面を含み且つ前記第2の画面をも含む第2の画像を表示している第2の表示状態へと遷移し、前記探索手段は、前記第1の表示状態における前記第1の画像と前記第2の表示状態における前記第2の画像との差分画像を生成し、当該差分画像に対する文字認識処理の処理結果に基づき、前記第2の画面に関するコマンド群を特定して、前記探索処理を実行することを特徴とする。
請求項27の発明は、請求項1から請求項26のいずれかの発明に係る画像処理装置において、前記表示手段は、前記音声認識データに含まれる文字列のうち前記一の音声操作コマンドに合致する文字列として探索された文字列を、前記探索処理の処理結果として表示することを特徴とする。
請求項28の発明は、請求項1から請求項27のいずれかの発明に係る画像処理装置において、前記表示手段は、前記音声認識データに含まれる文字列のうち前記複数の音声操作コマンドのいずれにも合致しなかった文字列を、前記探索処理の処理結果として表示することをを特徴とする画像処理装置。
請求項29の発明は、請求項1から請求項28のいずれかの発明に係る画像処理装置において、前記表示手段は、前記探索処理によって検出された前記一の音声操作コマンドに対応する表示要素の画面内位置を示すことを特徴とする。
請求項30の発明は、画像処理装置の制御方法であって、a)少なくとも1つの操作画面が画像処理装置の表示手段に表示されている状態にて発声された音声に関する音声認識結果である音声認識データを取得し、前記音声認識データに基づき探索対象文字列を決定するステップと、b)前記画像処理装置に関する第1の画面に関する音声操作コマンド群と前記第1の画面に対するユーザ操作に応じて表示される第2の画面に関する音声操作コマンド群とを含む複数の音声操作コマンドのうち前記探索対象文字列に合致する一の音声操作コマンドを探索する探索処理を実行するステップと、c)前記ステップb)にて探索された前記一の音声操作コマンドに応じた処理を実行するステップと、を備え、前記ステップb)は、b−1)前記複数の音声操作コマンドのうち、第1順位の探索優先順位が付与された第1のコマンド群を探索範囲とする第1の探索処理を実行するステップと、b−2)前記第1のコマンド群を探索範囲とする前記第1の探索処理によって前記探索対象文字列が検出されない場合、前記複数の音声操作コマンドのうち、第2順位の探索優先順位が付与された第2のコマンド群を探索範囲とする第2の探索処理を実行するステップと、を備え、前記第1のコマンド群は、前記第1の画面と前記第2の画面との2つの操作画面のうち、前記音声の発声時にて表示中の画面であり且つ前記音声の発声時までに最も新しく呼び出された画面である第1優先画面に関する音声操作コマンド群であり、前記第2のコマンド群は、前記2つの操作画面のうち前記第1優先画面とは異なる第2優先画面に関する音声操作コマンド群であることを特徴とする。
請求項31の発明は、請求項30の発明に係る制御方法を、前記画像処理装置に内蔵されたコンピュータに実行させるプログラムであることを特徴とする。
請求項1から請求項31に記載の発明によれば、複数の操作画面に関する複数の音声操作コマンドのうちユーザの音声入力に対応する一の音声操作コマンドを適切に検出することが可能である。
MFP(画像処理装置)の外観を示す正面図である。 MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))の機能ブロックを示す図である。 第1実施形態に係る動作の概要を示す概念図である。 第1実施形態に係る動作を示すフローチャートである。 コピージョブに関する基本メニュー画面を示す図である。 倍率設定画面が基本メニュー画面に重畳表示されている様子を示す図である。 倍率設定画面のみを示す図である。 基本メニュー画面に関する音声操作コマンド群を示す図である。 倍率設定画面に関する音声操作コマンド群を示す図である。 各音声操作コマンドが操作キー(操作キーのID)に対応付けて登録されている様子を示す図である。 各音声操作コマンドが操作キーの位置情報(座標値等)に対応付けて登録されている様子を示す図である。 テンキー画面が基本メニュー画面に重畳表示されている様子を示す図である。 2つの操作画面(テンキー画面を含む)に関する音声操作コマンド群を示す図である。 テンキー画面に関する音声操作コマンド群を示す図である。 スキャンジョブに関するファイル形式の詳細設定画面を示す図である。 更にプルダウンリストが表示されている様子を示す図である。 2つの操作画面(プルダウンリスト画面を含む)に関する音声操作コマンド群を示す図である。 プルダウンリスト画面に関する音声操作コマンド群を示す図である。 基本メニュー画面に警告画面が重畳表示されている様子を示す図である。 2つの操作画面(警告画面を含む)に関する音声操作コマンド群を示す図である。 第2実施形態に係る動作を示すフローチャートである。 マップ形式表示モードにおける操作画面(コピー設定)を示す図である。 マップ形式表示モードにおけるスクロール後の操作画面を示す図である。 マップ形式表示モードにおける2つの操作画面に関する音声操作コマンド群を示す図である。 マップ形式表示モードにおける2つの操作画面に関する音声操作コマンド群を示す図である。 タブ形式表示モードにおける操作画面(コピー設定)を示す図である。 タブ形式表示モードにおいて別のタブ選択後の操作画面を示す図である。 マップ形式表示モードにおける2つの操作画面に関する音声操作コマンド群を示す図である。 マップ形式表示モードにおける2つの操作画面に関する音声操作コマンド群を示す図である。 第3実施形態に係る動作を示すフローチャートである。 タブ形式表示モードにおいて更に別のタブが選択された後の操作画面を示す図である。 除外処理(第4実施形態)を示す図である。 別の除外処理を示す図である。 更に別の除外処理を示す図である。 同一探索範囲内での探索順位を決定づけるキー配置位置を示す図である(第5実施形態)。 項目「ジョブの状態」の内容に応じた優先度に基づき、或る階層の音声操作コマンドが並べ替えられた様子を示す図である。 項目「ユーザ認証状態」の内容に応じた優先度に基づき、或る階層の音声操作コマンドが並べ替えられた様子を示す図である。 ジョブ実行中であることに基づき、或る階層の音声操作コマンドが並べ替えられた様子を示す図である。 ユーザ認証後であることに基づき、或る階層の音声操作コマンドが並べ替えられた様子を示す図である。 使用履歴テーブルが更新される様子を示す図である。 MFP10の負荷が一定程度以上であると判定される場合、低優先コマンドが各段階の操作コマンドから除外される様子を示すである。 基本メニュー画面の全体にOCR処理が施される様子を示す図である(第6実施形態)。 呼び出されたテンキー画面が差分画像として抽出され、当該差分画像に対してのみOCR処理が施される様子を示す図である。 基本メニュー画面に対するOCR処理等に基づいて自動生成されたテキスト辞書を示す図である。 差分画像(テンキー画面)に対するOCR処理等にも基づいて自動生成されたテキスト辞書を示す図である。 変形例に係る動作を示すフローチャートである。 複数の候補が検出される場合における表示例を示す図である(第7実施形態)。 音声認識結果が表示される画面を示す図である。 探索処理結果が表示される画面を示す図である。 探索処理による被検出コマンドの対応操作キーの画面内位置が明示されている表示画面を示す図である。 非表示の操作キーに対応する音声操作コマンドが発声されたときの画面変化を示す図である。 非表示の操作キーに対応する音声操作コマンドが発声されたときの画面変化を示す図である。 探索処理による被検出コマンドの対応操作キー(音声操作コマンドの発声時点で非表示の操作キー)の画面内位置を明示する表示画面を示す図である。
以下、本発明の実施形態を図面に基づいて説明する。
<1.第1実施形態>
<1−1.MFP10の構成>
図1は、本発明の第1実施形態に係る画像処理装置の外観を示す正面図である。ここでは、画像処理装置として、MFP10を例示する。
図2は、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))10の機能ブロックを示す図である。
MFP10は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置(複合機とも称する)である。具体的には、MFP10は、図2の機能ブロック図に示すように、画像読取部2、印刷出力部3、通信部4、格納部5、操作部6およびコントローラ9等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。なお、MFP10は、画像形成装置などとも表現される。
画像読取部2は、MFP10の所定の位置に載置された原稿を光学的に読み取って(すなわちスキャンして)、当該原稿の画像データ(原稿画像なしいスキャン画像とも称する)を生成する処理部である。この画像読取部2は、スキャン部であるとも称される。
印刷出力部3は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。このMFP10は、電子写真方式のプリンタ(フルカラープリンタ)でもあり、印刷出力部3は、露光部、現像部、転写部、定着部などの各種のハードウエア機構(画像形成機構あるいは印刷出力機構とも称する)を有している。
通信部4は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部4は、ネットワークを介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、MFP10は、所望の相手先との間で各種のデータを授受することが可能である。通信部4は、各種データを送信する送信部4aと各種データを受信する受信部4bとを有する。
格納部5は、ハードディスクドライブ(HDD)等の記憶装置で構成される。
操作部6は、MFP10に対する操作入力を受け付ける操作入力部6aと、各種情報の表示出力を行う表示部6bとを備えている。このMFP10においては、略板状の操作パネル部40(図1参照)が設けられ、当該操作パネル部40は、その正面側にタッチパネル45(図1参照)を有している。タッチパネル(操作パネル)45は、液晶表示パネルに圧電センサ等が埋め込まれて構成され、各種の情報を表示するとともに操作者からの操作入力(操作者の手指による操作入力)を受け付けることが可能である。たとえば、タッチパネル45においては、メニュー画面等の各種の画面(ボタン画像等を含む)等が表示される。操作者は、タッチパネル45内に仮想的に配置されるボタン(ボタン画像で表現されるボタン(ソフトウエアボタンあるいはソフトウエアキーとも称する))を押下することによって、MFP10の各種設定内容を変更することなどが可能である。タッチパネル45は、操作入力部6aの一部としても機能するとともに、表示部6bの一部としても機能する。また、操作パネル部40は、ハードウエアキー(ハードウエアボタン)41〜44,46をも備えている。
コントローラ(制御部)9は、MFP10に内蔵され、MFP10を統括的に制御する制御装置である。コントローラ9は、CPUおよび各種の半導体メモリ(RAMおよびROM)等を備えるコンピュータシステムとして構成される。コントローラ9は、CPUにおいて、ROM(例えば、EEPROM(登録商標))内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理部を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されてMFP10にインストールされるようにしてもよい。あるいは、当該プログラムは、ネットワーク等を経由してダウンロードされてMFP10にインストールされるようにしてもよい。
具体的には、図2に示すように、コントローラ9は、当該プログラムの実行により、通信制御部11と入力制御部12と表示制御部13と音声認識処理部14と取得部15と決定部16と探索部17とコマンド実行部18とを含む各種の処理部を実現する。
通信制御部11は、他の装置との間の通信動作を制御する処理部である。
入力制御部12は、操作入力部6aに対する操作入力動作を制御する制御部である。たとえば、入力制御部12は、操作画面(操作画面領域とも称する)に対する操作入力を受け付ける動作を制御する。
表示制御部13は、表示部6bにおける表示動作を制御する処理部である。表示制御部13は、MFP10を操作するための操作画面等を表示部6bに表示させる。
音声認識処理部14は、ユーザが発声した音声(音声入力)に関する音声認識処理を実行する処理部である。なお、音声認識処理部14は、操作部6の一部として動作する。
取得部15は、音声入力に関する音声認識結果である音声認識データ(テキストデータ)を取得する処理部である。取得部15は、音声認識処理部14による音声認識結果等を取得する。
決定部16は、音声認識データに基づき探索対象文字列を決定する処理部である。
探索部17は、複数の音声操作コマンドのうち探索対象文字列に合致する一の音声操作コマンド(テキストデータ)を探索する探索処理を実行する処理部である。
コマンド実行部18は、探索部17によって探索された一の音声操作コマンドに応じた処理(各種設定処理および/またはジョブ実行処理等)を実行する処理部である。
探索部17は、たとえば、複数の音声操作コマンドのうち第1のコマンド群M1と第2のコマンド群M2とを含む複数のコマンド群のそれぞれに対して優先順位を付与し、各コマンド群を探索範囲とする探索処理をそのコマンド群に付与された優先順位に従って実行する。
当該探索処理は、たとえば2段階で実行される。具体的には、探索部17は、まず、複数の音声操作コマンド(たとえば現在表示中の複数の操作画面に関する複数の音声操作コマンド)の中から所定の基準にて絞り込まれた第1のコマンド群(第1の操作コマンド群とも称する)M1を探索範囲とする第1の探索処理を実行する。その後、探索部17は、第1のコマンド群M1を探索範囲とする第1の探索処理によって探索対象文字列が検出されない場合、当該複数の音声操作コマンドのうちの第2のコマンド群(第2の操作コマンド群とも称する)M2を探索範囲とする第2の探索処理を実行する。なお、第1のコマンド群M1は、第1順位の探索優先順位が付与された音声操作コマンド群であるとも表現され、第2のコマンド群M2は、第2順位の探索優先順位が付与された音声操作コマンド群であるとも表現される。
なお、後述するように、現在表示中の操作画面(210等)に関する複数の音声操作コマンドには、当該操作画面内のソフトウエアキー(タッチパネル45に表示されるキー)による操作に対応するコマンドのみならず、ハードウエアキー(スタートキー/ストップキー等)による操作に対応するコマンド(ジョブ実行開始/ジョブ実行中止等)もが含まれ得る。
<1−2.音声操作コマンド>
この実施形態では、各画面に関する音声操作コマンド群が当該各画面に関連付けて予め設定(登録)されているものとする。たとえば、基本メニュー画面210(図5参照)に関する音声操作コマンド群610として、図8に示すような複数の音声操作コマンドが予め登録されており、倍率設定画面230(図7参照)に関する音声操作コマンド群630として、図9に示すような複数の音声操作コマンドが予め登録されているものとする。具体的には、当該各音声操作コマンド群610,630等が予め登録されたコマンド辞書(テキスト辞書)が格納部5内に予め格納されているものとする。
具体的には、図8に示されるように、基本メニュー画面210(図5参照)に関する音声操作コマンド群610として、複数の音声操作コマンド「げんこうがしつ」、「からー」、「のうど」、「ようし」、「ばいりつ」、「りょうめん/ぺーじしゅうやく」、「しあがり」、「もじしゃしん」、「おーとからー」、「ふつう」、「じどう」、「ひゃくぱーせんと」等が登録されている。各音声操作コマンドは、各操作指令を示すテキストデータとして表現される。
また、これらの音声操作コマンドは、基本メニュー画面210に関する操作キー211〜217等(図5も参照)に対応付けて登録されている。
たとえば、音声操作コマンド「げんこうがしつ」および「もじしゃしん」は、それぞれ、「コピー基本」画面(基本メニュー画面210)(詳細には、基本メニュー画面210の「ベース画面領域」グループ)内の操作キー「原稿画質」(ソフトウエアキー211)に対応付けられている。
また、音声操作コマンド「ようし」および「じどう」は、それぞれ、「コピー基本」画面(基本メニュー画面210)(詳細には、基本メニュー画面210の「ベース画面領域」グループ)内の操作キー「用紙」(ソフトウエアキー214)に対応付けられている。
音声操作コマンド「ばいりつ」および「ひゃくぱーせんと」は、「コピー基本」画面(基本メニュー画面210)(詳細には、基本メニュー画面210の「ベース画面領域」グループ)内の操作キー「倍率」(ソフトウエアキー215)に対応付けられている。
同様に、他の音声操作コマンドも、他の操作キー(212,213,216,217等)のいずれかに対応付けられている。
また、図9に示されるように、倍率設定画面230(図6および図7参照)に関する音声操作コマンド群630として、複数の音声操作コマンド「じどう」、「ちいさめ」、「ぷらす」、「まいなす」、「ごじゅっぱーせんと」、「ななじゅってんななぱーせんと」、「はちじゅういちてんろくぱーせんと」、「はちじゅうろくてんろくぱーせんと」、「ひゃくぱーせんと/とうばい」等が登録されている。
また、これらの音声操作コマンドは、倍率設定画面230に関する操作キー231〜237,241〜249(ソフトウエアキー)等に対応付けて登録されている。
たとえば、音声操作コマンド「じどう」は、「コピー倍率」画面(倍率設定画面230)(詳細には、倍率設定画面230の「ベース画面領域」グループ)内の操作キー「自動」(ソフトウエアキー231)に対応付けられている。
同様に、他の音声操作コマンドも、操作キー232〜237,241〜249等のいずれかに対応付けられている。
後述するように、MFP10は、各音声操作コマンド(音声入力)を受け付けると、当該各音声操作コマンドに対応する各操作キーの押下時と同様の動作を実行する。具体的には、MFP10は、当該各操作キーの押下時と同じ操作イベント(内部イベント)を(擬似的に)発生し、当該各操作キーの押下時と同様の動作を実現する。
なお、各音声操作コマンドは、操作キーのIDに対応付けて登録されていてもよく(図10参照)、あるいは操作キーの位置情報(操作キーの代表位置の画面内における座標値等)に対応付けて登録されていてもよい(図11参照)。換言すれば、各操作キーは、予めそれぞれに付されたID(識別子)で識別されてもよく、あるいは当該画面内での座標値等で識別されてもよい。また、MFP10は、入力音声に対応する一の音声操作コマンドを探索し当該一の音声操作コマンドに対応する処理を実行する際、操作キーのIDで識別される処理(操作キーのIDに対応づけられたAPI(Application Programming Interface)実行処理等)を実行してもよく、あるいは、操作キーの代表座標値に対する押下操作等が付与されたものとみなして処理を実行してもよい。
また、基本メニュー画面210に関する音声操作コマンドには、基本メニュー画面210に表示されているソフトウエアキー(ソフトウエアボタン)に対応付けて登録されるもののみならず、操作パネル部40に設けられたハードウエアキー(ハードウエアボタン)(41,42,43,44,46)(図1参照)に対応付けて登録されるものが含まれてもよい。たとえば、図8の登録内容に加えて、さらに、音声操作コマンド「すたーと」がスタートキー(スタートボタン)41に対応付けて登録され、音声操作コマンド「すとっぷ」がストップキー(ストップボタン)42に対応付けて登録されてもよい(図32参照)。また、音声操作コマンド「りせっと」がリセットキー(リセットボタン)43に対応付けて登録されてもよく、音声操作コマンド「ほーむ」がホームキー(ホームボタン)44に対応付けて登録されてもよい。さらに、音声操作コマンド「てんきー」がテンキー呼出ボタン46に対応付けて登録されてもよい。
倍率設定画面230に関しても同様であり、当該倍率設定画面230に関する音声操作コマンドには、当該ハードウエアキー(41,42,43,44,46等)に対応付けて登録されるものが含まれてもよい。
<1−3.動作概要>
つぎに、第1実施形態に係る動作の概要について説明する。この第1実施形態では、親画面(210等)から呼び出された子画面(230等)が当該親画面とともにタッチパネル45に表示されている場合(図6等参照)において、2段階の探索処理が実行される態様(図3等参照)について主に説明する。
図3は、第1実施形態に係る動作の概要を示す概念図であり、図4は、第1実施形態に係る動作を示すフローチャートである。また、図5は、コピージョブに関する基本メニュー画面210を示す図であり、図6は、コピー倍率に関する詳細設定画面(倍率設定画面とも称する)230が基本メニュー画面210に重畳表示されている様子を示す図である。また、図7は、倍率設定画面230のみを抽出して示す図である。倍率設定画面230は、基本メニュー画面210に対するユーザ操作(基本メニュー画面210内の倍率設定ボタン215の押下等)に応じて表示される詳細設定画面である。なお、図5および図6に示されるように、基本メニュー画面210内には複数の操作キー211〜217(ソフトウエアキー)等が表示され、倍率設定画面230内には複数の操作キー231〜237,241〜249(ソフトウエアキー)等が表示される。
さて、基本メニュー画面210(図5参照)のみがタッチパネル45に表示されている場合には、音声操作コマンド群610のみを探索範囲とする探索処理(ユーザの音声認識結果を探索する処理)が実行される。具体的には、基本メニュー画面210に対応付けて登録されている音声操作コマンド群610の中から、ユーザの音声認識結果が探索される。
一方、たとえば基本メニュー画面210(図5)が表示されている状態において、基本メニュー画面210内の倍率設定ボタン215が押下されると、タッチパネル45の表示状態は図6に示されるような状態へと遷移する。図6においては、基本メニュー画面210(親画面)から呼び出された倍率設定画面230(子画面)が、基本メニュー画面210とともにタッチパネル45に表示されている。換言すれば、図6においては、互いに異なる階層の画面である2つの操作画面210,230の双方がタッチパネル45に表示されている。
このような表示状態において、仮に、上述したように音声認識データの探索範囲が常に2つの操作画面のうち一方の階層画面(たとえば現在の階層画面230)に関する音声操作コマンド群に固定される(特許文献1参照)と、当該2つの操作画面のうち他の階層画面210に関する音声操作コマンドを受け付けることができない。
たとえば、子画面(倍率設定画面)230に関する各音声操作コマンド(「じどう」等)は探索され得るものの、親画面(基本メニュー画面)210内の各ボタンに対応付けられている音声操作コマンド(たとえば、基本メニュー画面210内の原稿画質設定用ボタン211に対応付けられている音声操作コマンド「げんこうがしつ」等)は探索され得ない。
そこで、この第1実施形態では、2つの操作画面230,210の双方に関する音声操作コマンド群を探索対象とする動作が実行される。
具体的には、子画面230に関する音声操作コマンド群630を探索範囲とする第1の探索処理が行われ、次に、親画面210に関する音声操作コマンド群610を探索範囲とする第2の探索処理が行われる。より具体的には、第1の探索処理にて探索対象文字列が第1の探索範囲の中から検出されない場合、呼出元の操作画面210に関する音声操作コマンド群610を探索範囲とする第2の探索処理が実行される。
これによれば、最も新しく呼び出された操作画面230以外の操作画面(呼出元の操作画面)210に関する音声操作コマンド群610のいずれかに合致する音声操作コマンド(たとえば、「げんこうがしつ」)もが探索され得る。したがって、複数の操作画面に関する複数の音声操作コマンドのうち、ユーザの操作用音声に対応する一の音声操作コマンドを適切に検出することが可能である。
より詳細には、第1実施形態においては次のような動作が実行される。
まず、複数の音声操作コマンド群610,630の中から所定の基準(次述)で絞り込まれた第1のコマンド群M1を探索範囲とする第1の探索処理が実行される(図3も参照)。ここでは、所定の基準として、現在(詳細には、音声操作用の音声の発声時にて)表示されている少なくとも1つの操作画面のうち(当該音声の発声時までに)最も新しく(最後に)呼び出された画面(論理上の最下位階層の画面)に関する音声操作コマンド群であること、が採用される。具体的には、現在表示されている2つの操作画面210,230のうち最も新しく呼び出された(最も新しく表示された)画面230に関する音声操作コマンド群630が第1のコマンド群M1として決定される。換言すれば、音声操作コマンド群630(第1のコマンド群M1)に対して第1順位の優先順位が付与されるとともに、当該第1順位の優先順位が付与された第1のコマンド群M1(630)に関する探索処理がまず実行される。なお、操作画面230は、当該2つの操作画面のうち、最も手前に表示されている画面であり、表示上の最上位階層の画面とも称される。また、当該操作画面230は、第1順位の優先順位が付与された音声操作コマンド群630に対応する画面であることから、第1優先画面とも称される。
そして、探索対象文字列(音声認識データ)に合致する一の音声操作コマンドが第1の探索処理によって検出された場合、当該一の音声操作コマンド(探索対象文字列)に対応する処理が実行される。
たとえば、音声操作コマンド群630を探索範囲(第1の探索範囲とも称する)とする第1の探索処理によって、探索対象文字列「じどう」に合致する一の音声操作コマンド「じどう」が検出された場合、当該一の音声操作コマンド「じどう」に応じた処理が実行される。具体的には、コピーの倍率を「自動」に設定する設定処理(倍率設定画面230内のボタン231の押下操作に対応する処理)が実行される。
あるいは、探索対象文字列「ごじゅっぱーせんと」に合致する一の音声操作コマンド「ごじゅっぱーせんと」が当該第1の探索処理によって検出された場合、当該一の音声操作コマンド「ごじゅっぱーせんと」に応じた処理が実行される。具体的には、コピーの倍率を「50%」に設定する設定処理(倍率設定画面230内のボタン241の押下操作に対応する処理)が実行される。
一方、探索対象文字列(音声認識データ)に合致する一の音声操作コマンドが第1の探索処理によって検出されない場合、複数の音声操作コマンド群610,630のうちの第1のコマンド群M1以外の音声操作コマンド群610が第2のコマンド群M2として決定され、当該第2のコマンド群M2を探索範囲(第2の探索範囲とも称する)とする第2の探索処理が実行される。換言すれば、音声操作コマンド群610(第2のコマンド群M2)に対して第2順位の優先順位が付与されるとともに、当該第2順位の優先順位が付与された第2のコマンド群M2(610)に関する探索処理が実行される。なお、当該操作画面210は、第2順位の優先順位が付与された音声操作コマンド群610に対応する画面であることから、第2優先画面とも称される。
たとえば、音声操作コマンド群610を探索範囲とする第2の探索処理によって、探索対象文字列「げんこうがしつ」に合致する一の音声操作コマンド「げんこうがしつ(原稿画質)」が検出された場合、当該一の音声操作コマンド「げんこうがしつ(原稿画質)」に応じた処理が実行される。具体的には、基本メニュー画面210内のボタン211の押下操作に対応する処理が実行される。より具体的には、原稿画質に関する詳細設定画面220(不図示)を基本メニュー画面210に重畳表示する処理が実行される。
このような動作によれば、上述のように、最も新しく呼び出された操作画面230以外の操作画面(呼出元の操作画面)210に関する音声操作コマンド群610のいずれかに合致する音声操作コマンド(たとえば、「げんこうがしつ」)もが探索され得る。したがって、複数の操作画面に関する複数の音声操作コマンドのうち、ユーザの操作用音声に対応する一の音声操作コマンドを適切に検出することが可能である。
また、2つの操作画面210,230に関する探索処理が2段階で行われるので、効率的な探索処理を行うことが可能である。詳細には、最も新しく呼び出された操作画面230に関する音声操作コマンド群630を探索範囲とする第1の探索処理が先ず行われ、当該第1の探索処理が成功しない場合、他の画面210に関する音声操作コマンド610を探索範囲とする第2の探索処理が行われる。これによれば、2つの音声操作コマンド群610,630のうち、操作用音声として発声される可能性がより高い音声操作コマンド群630を探索範囲とする探索処理が先に行われ、次いで他の音声操作コマンド群610を探索範囲とする探索処理が行われるので、効率的な探索処理を行うことが可能である。
また、この第1実施形態の動作によれば、次のような利点を得ることも可能である。
ここにおいて、図6のような表示状態にて、タッチパネル45に表示されている全ての操作キーに対応する多数の音声操作コマンドのいずれかが検出され得る技術としては、次のような技術(比較例に係る技術とも称する)が考えられる。
たとえば、基本メニュー画面210に対応付けて登録されている音声操作コマンド群610と倍率設定画面230に対応付けて登録されている音声操作コマンド群630との双方の中から、(探索範囲の区別無く)ユーザの音声認識結果を一斉に探索する手法が利用され得る。
しかしながら、当該手法を用いる場合において、同じ発音の音声操作コマンドが2つの操作画面に関する2つの音声操作コマンド群の双方に存在するときには、次のような問題が生じ得る。具体的には、双方の階層画面(2つの操作画面)210,230が探索範囲とされるものの、当該双方の階層画面210,230に関する探索処理が一斉に実行されるため、意図しない方の画面に関する音声コマンドとして認識されてしまうことがある。換言すれば、2つの操作画面210,230に含まれる複数の音声操作コマンドの優先順位が指定できないことに起因して、ユーザの意図とは異なる探索結果が得られることがある。
詳細には、基本メニュー画面210内の「用紙」ボタン214(図5)に対応付けられている音声操作コマンド「じどう」と、倍率設定画面230内の自動ボタン231(図6)に対応付けられている音声操作コマンド「じどう」とのうち、ユーザの意図に沿わない一の音声操作コマンド(たとえば前者)が最初に検出されてしまい、当該一の音声操作コマンドに対応する処理が実行されることがある。たとえば、ユーザは、現在の階層画面(倍率設定画面)230内のボタン231の押下指示と同等の指示を付与したいとの意思を有していたにもかかわらず、その呼出元の階層画面(基本メニュー画面)210内のボタン214の押下指示と誤認識されてしまうことがある。
このように、同じ発音の音声操作コマンドが2つの操作画面に関する2つの音声操作コマンド群の双方に存在する場合、ユーザの意図とは異なる画面に関する音声操作コマンドが誤検出される、との問題が生じ得る。
これに対して第1実施形態では、上述のように、ユーザの音声認識結果を一斉にではなく2段階で探索する動作が実行される。
具体的には、第1のコマンド群M1(630)と第2のコマンド群M2(610)とを含む複数の音声操作コマンドに対してコマンド群ごとに優先順位を付与し、各コマンド群を探索範囲とする探索処理がそのコマンド群に付与された優先順位に従って実行される。具体的には、まず第1順位の探索処理(第1の探索処理)が実行され、探索対象文字列に合致する一の音声操作コマンドが第1の探索処理によって検出されない場合に、第2順位の探索処理(第2の探索処理)が実行される。特に、第1順位の探索処理は、表示上の最上位階層の画面に関する音声操作コマンド群630を探索範囲として実行される。
これによれば、同じ発音の音声操作コマンドが第1の探索処理における探索範囲(第1の探索範囲)と第2の探索処理における探索範囲(第2の探索範囲)との双方に含まれている場合、第1の探索処理での検出結果が優先的に採用される。特に、第1順位の探索処理は、論理上の最下位階層の画面(表示上の最上位階層の画面)230に関するコマンド群630を探索範囲として実行される。
また、一般に、ユーザは、現在表示されている操作画面であり且つ最も新しく呼び出された操作画面(ここでは画面230)に関する音声操作を行うことが多い。したがって、当該操作画面230に関する音声操作コマンド群630に対して第1順位の優先順位を付して探索処理が実行されることによれば、ユーザの意図に沿った音声操作コマンドが検出される可能性が高い。ひいては、ユーザの意図に沿った音声操作を適切に実行することが可能である。
このように、同じ発音の音声操作コマンドが2つの操作画面に関する2つの音声操作コマンド群の双方に含まれている場合であっても、ユーザの意図とは異なる画面(表示上の非最上位階層の画面(表示上の下位階層画面))に関する音声操作コマンドが誤検出されてしまうことを回避ないし抑制することが可能である。
<1−4.詳細動作>
以下、このような動作について、図4を参照しながら詳細に説明する。図4は、MFP10の動作を示すフローチャートである。
ステップS11〜S21の待機ループにおける待機中にタッチパネル45における表示内容が変化すると、ステップS11からステップS12に進む。
たとえば、倍率設定ボタン215(図5)の押下等に応じて図5の表示状態から図6の表示状態に遷移した場合、MFP10は、当該遷移前までに既に取得していたコマンド群610(基本メニュー画面210に関する音声操作コマンド群)のみならず、別のコマンド群630(倍率設定画面230に関する音声操作コマンド群)をも取得する(ステップS12)。これにより、両音声操作コマンド群610,630を含むコマンド群600(601)(図8および図9参照)が形成される。なお、図8および図9に示されるように、音声操作コマンド群601を規定するデータテーブルにおいては、基本メニュー画面210に含まれる操作キーに対しては項目「画面」の項目値として「コピー基本」が付与されており(図8)、倍率設定画面230に含まれる操作キーに対しては項目「画面」の項目値として「コピー倍率」が付与されている(図9)。なお、各コマンド群600,610,630は、それぞれ、音声操作に関するテキストデータ(音声操作コマンド)等の集合体である。
その後、図6に示すように2つの操作画面210,230がタッチパネル45に表示されている状態において、ユーザの音声入力が受け付けられると、ステップS21からステップS22に進む。
ステップS22では、MFP10の音声認識処理部14は、ユーザの音声入力に関する音声認識処理を実行する。また、MFP10の取得部15は、当該音声認識処理の処理結果である音声認識データ(テキストデータ)を音声認識処理部14から取得する。ここでは、2つの操作画面210,230の双方がタッチパネル45に表示されている状態にて発声されたユーザ音声(受け付けられた音声入力)に関する音声認識結果が取得される。さらに、MFP10(決定部16)は、音声認識データに基づき探索対象文字列を決定する。たとえば、音声認識データの文字列「げんこうがしつ」がそのまま探索対象文字列として決定される。あるいは、音声認識データの文字列「えーと、げんこうがしつ」の中から「え−と」(無意味語として予め登録された文字列)が除外され、「げんこうがしつ」(のみ)が探索対象文字列として決定されてもよい。
次に、ステップS23において、第i(ここではi=1)の探索処理における探索範囲(第1の探索範囲)である第1のコマンド群M1が決定される。具体的には、コマンド辞書に基づき第1のコマンド群M1が取得される。そして、第1のテキスト辞書(コマンド辞書から一部のコマンド群(M1)を抽出したテキスト辞書)が生成され、第1の探索範囲が設定される。ここでは、倍率設定画面230に関する音声操作コマンド群630が第1のコマンド群M1(第1の探索範囲)として決定(設定)される。
より具体的には、音声操作コマンド群600(図8および図9参照)において、複数のデータレコード(各行のデータを一の単位(データレコード)とするデータ群)の中から、その項目「画面」の項目値として、「コピー倍率」が規定されているデータレコード(倍率設定画面230に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図9の音声操作コマンド群630が第1のコマンド群M1として抽出される。
そして、当該第1の探索範囲の中から探索対象文字列を探索する第1の探索処理が実行される(ステップS24)。
ステップS25において、探索対象文字列に合致する一の音声操作コマンドが第1の探索処理にて検出されたか否かが判定される。
探索対象文字列に合致する一の音声操作コマンドが第1の探索処理にて検出された場合、ステップS30に進む。ステップS30では、当該一の音声操作コマンドに対応する処理が実行される。
一方、探索対象文字列に合致する一の音声操作コマンドが第1の探索処理にて検出されなかった場合、ステップS25からステップS26に進む。
ステップS26では、更なる探索処理を実行すべきか否かが判定される。たとえば、タッチパネル45内において、第1のコマンド群M1に対応する倍率設定画面230とは別の画面210もが表示されていることに基づき、更なる探索処理を実行すべき旨が決定される。換言すれば、探索対象の全画面数N=2の場合、値iが値Nに到達していないことに基づき、更なる探索処理を実行すべき旨が決定される。そして、値iがインクリメントされて、ステップS23に戻る。
そして、ステップS23では、第i(i=2)の探索処理における探索範囲(第2の探索範囲)である第2のコマンド群M2が決定される。具体的には、コマンド辞書に基づき第2のコマンド群M2が取得される。そして、第2のテキスト辞書(コマンド辞書から一部のコマンド群(M2)を抽出したテキスト辞書)が生成され、第2の探索範囲が設定される。ここでは、基本メニュー画面210に関する音声操作コマンド群610が第2のコマンド群M2(第2の探索範囲)として決定(設定)される。
より具体的には、音声操作コマンド群600(図8および図9参照)において、複数のデータレコードのうち、その項目「画面」の項目値として、「コピー基本」が規定されているデータレコード(基本メニュー画面210に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図8の音声操作コマンド群610が第2のコマンド群M2として抽出される。あるいは、音声操作コマンド群600から音声操作コマンド群630を除外した残余のコマンド群が第2のコマンド群M2として抽出されてもよい。
そして、当該第2の探索範囲の中から探索対象文字列を探索する第2の探索処理が実行される(ステップS24)。
次のステップS25において、探索対象文字列に合致する一の音声操作コマンドが第2の探索処理にて検出されたか否かが判定される。
探索対象文字列に合致する一の音声操作コマンドが第2の探索処理にて検出された場合、ステップS30に進む。ステップS30では、当該一の音声操作コマンドに対応する処理が実行される。
一方、探索対象文字列に合致する一の音声操作コマンドが第2の探索処理にて検出されなかった場合、ステップS25からステップS26に進む。
ステップS26においては、今度は、タッチパネル45には更なる画面が表示されていないこと(値iが値N(=2)に到達済みであること)に基づき、更なる探索処理を実行することを要しない旨が判定され、ステップS29に進む。ステップS29ではエラー処理(入力音声に対応する一の音声操作コマンドを探索できなかった旨を表示する処理等)が実行される。
このようにして、第1実施形態の動作が実行される。
なお、上記実施形態においては、図5の表示状態において基本メニュー画面210内の倍率設定ボタン215が押下されたことに応答して、図6の表示状態への遷移が行われているが、これに限定されない。たとえば、図5の表示状態においてユーザの音声入力「ばいりつ」が受け付けられたことに応答して、図6の表示状態への遷移が行われてもよい。この場合には、音声操作コマンド群610(図8)のみを探索対象として音声認識データ「ばいりつ」が探索されればよい。
また、上記実施形態では、2段階(N=2)の探索処理が実行されているが、これに限定されない。たとえば、さらに多数の段階(3段階以上)の探索処理が施されてもよい。
<1−5.2つの操作画面に関する他の例>
<テンキー画面>
上記においては、図5の表示状態から図6の表示状態へと遷移した後の動作について主に例示しているが、これに限定されない。たとえば、図5の表示状態から図12の表示状態へと遷移した後の動作についても同様である。図12においては、基本メニュー画面210(親画面)から呼び出されたテンキー画面250(子画面)が、基本メニュー画面210とともにタッチパネル45に表示されている。より詳細には、テンキー画面250が基本メニュー画面210の一部に重畳して表示(テンキー画面250が最も手前側に表示)されている。なお、図5の表示状態においてテンキー呼出ボタン46(ハードウエアキー)が押下される(あるいは音声入力「てんきー」が受け付けられる)と、タッチパネル45の表示内容は図12に示されるような内容へと変化する。
このような場合にも、上記と同様の動作が実行される。
具体的には、図5の表示状態から図12の表示状態へと遷移した際に、MFP10は、当該遷移前までに既に取得していたコマンド群610(基本メニュー画面210に関する音声操作コマンド群)のみならず、別のコマンド群650(テンキー画面250に関する音声操作コマンド群)(図13参照)をも取得する(ステップS12)。これにより、両音声操作コマンド群610,650を含むコマンド群600(602)(図13参照)が形成される。なお、図13に示されるように、テンキー画面250に含まれる操作キーに対応する音声操作コマンド群650に関しては、項目「画面内グループ」の項目値として「テンキー」が付与されている。一方、基本メニュー画面210に含まれる操作キーに対応する音声操作コマンド群610に関しては、項目「画面内グループ」の項目値として「ベース画面領域」が付与されている。
その後、MFP10は、ユーザの音声入力に関する音声認識処理の処理結果である音声認識データを音声認識処理部14から取得し、当該音声認識データに基づき探索対象文字列(たとえば、「ご(5)」)を決定する(ステップS21,S22)。
次に、テンキー画面250に関する音声操作コマンド群650(図13および図14参照)が第1のコマンド群M1として決定され、当該音声操作コマンド群650が探索範囲(第1の探索範囲)として設定される(ステップS23)。
より具体的には、音声操作コマンド群602(図13参照)において、複数のデータレコードの中から、その項目「画面内グループ」の項目値として「テンキー」が規定されているデータレコード(テンキー画面250に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図14に示すように、音声操作コマンド群650が第1のコマンド群M1として抽出される。換言すれば、テンキー画面250に関する音声操作コマンド群650が第1の探索範囲として設定される。
そして、当該第1の探索範囲の中から探索対象文字列を探索する第1の探索処理が実行される(ステップS24)。
探索対象文字列に合致する一の音声操作コマンドが第1の探索処理にて検出される場合、当該一の音声操作コマンドに対応する処理が実行される(ステップS25,S30)。
一方、探索対象文字列に合致する一の音声操作コマンドが第1の探索処理にて検出されない場合、基本メニュー画面210に関する音声操作コマンド群610(図13参照)が第2のコマンド群M2として決定され、当該音声操作コマンド群610が探索範囲(第2の探索範囲)として設定される(ステップS23)。
より具体的には、音声操作コマンド群602(図13参照)において、複数のデータレコードの中から、その項目「画面内グループ」の項目値として「ベース画面領域」が規定されているデータレコード(基本メニュー画面210に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図13の音声操作コマンド群610が第2のコマンド群M2として抽出される。あるいは、音声操作コマンド群602から音声操作コマンド群650を除外した残余のコマンド群が第2のコマンド群M2として抽出されてもよい。
そして、当該第2の探索範囲の中から探索対象文字列を探索する第2の探索処理が実行される(ステップS24)。探索対象文字列に合致する一の音声操作コマンドが第2の探索処理にて検出された場合、当該一の音声操作コマンドに対応する処理が実行される(ステップS30)。
このように、第1のコマンド群M1(650)に第1順位の優先順位が付与され且つ第2のコマンド群M2(610)に第2順位の優先順位が付与されるとともに、各コマンド群を探索範囲とする探索処理がそのコマンド群に付与された優先順位に従って実行されてもよい。
<プルダウン>
また、図15の表示状態から図16の表示状態へと遷移した後の動作についても同様である。図15においては、スキャンジョブに関するファイル形式(PDF形式)の詳細設定画面310が示されている。図15に示されるように、詳細設定画面310では、複数のソフトウエアキー(ボタン)311〜319が表示されている。また、図16においては、詳細設定画面310(図15)内の「スタンプ合成方法」ボタン313が押下されたことに応答して、「スタンプ合成方法」のプルダウンリスト(プルダウンリスト画面とも称する)330が表示されている様子が示されている。当該プルダウンリスト330では、2つの選択肢(「画像」および「文字」)が表示されており、当該2つの選択肢のいずれかが設定され得る。
このような場合にも、上記と同様の動作が実行される。
具体的には、図15の表示状態から図16の表示状態へと遷移した際に、MFP10は、当該遷移前までに既に取得していたコマンド群710(詳細設定画面310に関する音声操作コマンド群)のみならず、別のコマンド群730(プルダウンリスト330に関する音声操作コマンド群)(図17参照)をも取得する(ステップS12)。これにより、両音声操作コマンド群710,730を含むコマンド群700(701)(図17参照)が形成される。
なお、図17に示されるように、詳細設定画面310に含まれる操作キーに対応する音声操作コマンド群710に関しては、項目「画面内グループ」の項目値として「ベース画面領域」が付与されている。一方、プルダウンリスト330に含まれる操作キーに対応する音声操作コマンド群730に関しては、項目「画面内グループ」の項目値として「プルダウン領域(スタンプ合成)」が付与されている。また、音声操作コマンド群710,730のいずれに関しても、項目「画面」の項目値としては「PDF詳細設定」が付与されている。
その後、MFP10は、ユーザの音声入力に関する音声認識処理の処理結果である音声認識データを音声認識処理部14から取得し、当該音声認識データに基づき探索対象文字列(たとえば、「もじ(文字)」)を決定する(ステップS21,S22)。
次に、プルダウンリスト330に関する音声操作コマンド群730(図18も参照)が第1のコマンド群M1として決定され、当該音声操作コマンド群730が探索範囲(第1の探索範囲)として設定される(ステップS23)。
より具体的には、音声操作コマンド群701(図17参照)において、複数のデータレコードの中から、その項目「画面内グループ」の項目値として「プルダウン領域(スタンプ合成)」が規定されているデータレコード(プルダウンリスト画面330に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図18に示すように、音声操作コマンド群730が第1のコマンド群M1として抽出される。換言すれば、プルダウンリスト画面330に関する音声操作コマンド群730が第1の探索範囲として設定される。
そして、当該第1の探索範囲の中から探索対象文字列を探索する第1の探索処理が実行される(ステップS24)。
探索対象文字列に合致する一の音声操作コマンドが第1の探索処理にて検出される場合、当該一の音声操作コマンドに対応する処理が実行される(ステップS25,S30)。
一方、探索対象文字列に合致する一の音声操作コマンドが第1の探索処理にて検出されない(MFP10が当該一の音声操作コマンドを検出できない)場合、詳細設定画面310に関する音声操作コマンド群710(図17参照)が第2のコマンド群M2として決定され、当該第2のコマンド群M2が探索範囲(第2の探索範囲)として設定される(ステップS23)。
より具体的には、音声操作コマンド群701(図17参照)において、複数のデータレコード(各行のデータ群)の中から、その項目「画面内グループ」の項目値として「プルダウン領域(スタンプ合成)」が規定されているデータレコード(詳細設定画面310に対応するデータレコード)が(絞り込まれて)抽出される。あるいは、音声操作コマンド群701から音声操作コマンド群730を除外した残余のコマンド群が第2のコマンド群M2として抽出されてもよい。これにより、図17に示すように、音声操作コマンド群710が第2のコマンド群M2として抽出される。換言すれば、詳細設定画面310に関する音声操作コマンド群730が第2の探索範囲として設定される。
そして、当該第2の探索範囲の中から探索対象文字列を探索する第2の探索処理が実行される(ステップS24)。探索対象文字列に合致する一の音声操作コマンドが第2の探索処理にて検出された場合、当該一の音声操作コマンドに対応する処理が実行される。
このように、第1のコマンド群M1(730)に第1順位の優先順位が付与され且つ第2のコマンド群M2(710)に第2順位の優先順位が付与されるとともに、各コマンド群を探索範囲とする探索処理がそのコマンド群に付与された優先順位に従って実行されてもよい。
なお、ここでは、最も手前側の画面(プルダウンリスト330)と当該画面(プルダウンリスト330)の呼び出し元の画面310との2つの階層の画面(2つの画面)のみについて音声操作が行われる態様が例示されている。ただし、これに限定されず、3つ以上の階層の画面について音声操作が行われてもよい。その場合、3つ以上の階層の画面のそれぞれに対応する各音声操作コマンド群にそれぞれ優先順位が付与されるとともに、各コマンド群を探索範囲とする探索処理がそのコマンド群に付与された優先順位に従って実行されればよい。たとえば、上記と同様に第1のコマンド群M1(730)に第1順位の優先順位が付与され且つ第2のコマンド群M2(710)に第2順位の優先順位が付与されるとともに、詳細設定画面310の呼び出し元の画面305(不図示)に対応する音声操作コマンド群(不図示)に第3順位の優先順位が付与されればよい。そして、各コマンド群を探索範囲とする探索処理がそのコマンド群に付与された優先順位に従って実行されればよい。なお、図15および図16においては、詳細設定画面310の呼び出し元の画面305の図示は、省略されている。
<1−6.変形例1(一部のコマンドを探索範囲から除外)>
また、上記においては、最も手前側(上側)に表示されている画面(画面領域とも称する)に関する音声操作コマンド群(M1)を探索対象として第1の探索処理が行われた後、当該画面領域の呼び出し元の画面領域に関する音声操作コマンド群(M2)の全てを探索対象として第2の探索処理が行われている。しかしながら、これに限定されず、音声操作コマンド群M2から一部の音声操作コマンドを除外した音声操作コマンド群を探索対象として第2の探索処理が行われてもよい。
たとえば、図12においては、基本メニュー画面210内の複数のソフトウエアキー211〜217のうちの一部のソフトウエアキー216,217がテンキー画面250(詳細にはその一部)に覆われている(テンキー画面250によって隠されている)。換言すれば、2つの操作画面210,250の双方がタッチパネル45に表示されており且つ基本メニュー画面210の少なくとも一部がテンキー画面250に隠されて表示されている状態を有している。
このような状態で発声されたユーザ音声(受け付けられた音声入力)に関する音声認識結果の探索処理が実行される場合、当該一部のソフトウエアキー216,217に対応する一部の音声操作コマンド(たとえば、「りょうめん/ぺーじしゅうやく」、「しあがり」、「かためんかためん」、「すてーぷるしない」)(図8および図13参照)が音声操作コマンド群M2から除外されてもよい。そして、当該一部の音声操作コマンドが除外された音声操作コマンド群を探索対象として第2の探索処理が行われてもよい。換言すれば、第2のコマンド群M2から、テンキー画面250の少なくとも一部に隠されている操作キー(表示要素)に対応するコマンドが除外された状態で、第2のコマンド群M2に関する探索処理が実行されてもよい。
ここにおいて、他の画面によって隠されているボタン(換言すれば、ユーザが見えていないボタン)に関する音声操作が行われる可能性は一定程度よりも低いと考えられる。したがって、そのようなボタン(キー)に対応する音声操作コマンドを探索範囲から除外することによって、不要な探索を低減させて探索効率を向上させることが可能である。
ただし、他の画面によって隠されているボタンに関する音声操作をも行いたいと考えるユーザが存在する可能性をも考慮し、「隠されているボタン(キー)に対応する音声操作コマンドを探索範囲(第2の探索範囲)から除外するか否か」が、(特にユーザごとに)設定変更できるように構成されることが好ましい。換言すれば、「第2のコマンド群に関する探索処理の実行に際して、第2の画面に隠されている表示要素に対応するコマンドを第1の画面に対応する第2のコマンド群から除外するか否か」が設定変更できることが好ましい。具体的には、所定の設定画面(不図示)を用いて、ユーザの設定操作に応じて設定変更が行われればよい。そして、当該設定変更に係る設定内容に基づいて第2のコマンド群M2に関する探索処理が実行されればよい。具体的には、除外する旨が設定されている場合には、第2の画面に隠されている表示要素に対応するコマンドを除外した状態で第2のコマンド群M2に関する探索処理が実行されればよい。逆に、除外しない旨が設定されている場合には、第2の画面に隠されている表示要素に対応するコマンドを含めた状態で第2のコマンド群M2に関する探索処理が実行されればよい。
<1−7.変形例2(警告表示中)>
また、上記においては、第1の探索処理が終了すると、直ちに第2の探索処理が実行されている。しかしながら、これに限定されず、第1の探索処理が終了しても所定の条件(たとえば、「警告画面の表示中であること」等)が成立する場合には、例外的に第2の探索処理の実行が留保される(実行されない)ようにしてもよい。
たとえば、図19に示されるように、基本メニュー画面210に警告画面(警告を通知する画面)270が重畳表示されている場合には、第2の探索処理が実行されないようにしてもよい。警告が出されている場合には、警告原因の解除が最優先されることが好ましく、他の操作(警告原因解除には無関係の操作)を受け付けないことが好ましい。このような事情を考慮して、第2の探索処理が留保されるようにしてもよい。
具体的には、図19の表示状態においては、警告画面270に対応する音声操作コマンド群670(ここでは、「がいだんす」のみ)(図20)が第1のコマンド群M1として決定されて第1の探索処理が実行された後、警告原因の異常状態が解除されるまでは、第2の探索処理は実行されないようにしてもよい。換言すれば、警告画面270に関する音声操作コマンド群670(第1のコマンド群M1)を探索範囲とする第1の探索処理によって探索対象文字列が検出されないときであっても、少なくとも警告が解除されるまでは、第2のコマンド群M2(基本メニュー画面210に関する音声操作コマンド610)を探索範囲とする第2の探索処理が実行されないようにしてもよい。
<1−8.変形例3(テキスト辞書生成タイミング)>
また、上記においては、図4のフローチャートに示されるように、第iのテキスト辞書の生成処理(ステップS23)が第iの探索処理の直前(ステップS24)にて実行されているが、これに限定されない。たとえば、図46に示されるように、第iのテキスト辞書の生成処理等がステップS12の直後(ステップS13,S14)に実行されるようにしてもよい。図46においては、ステップS13にて第iのテキスト辞書の生成処理が実行され、ステップS14にてテキスト辞書の生成処理を終了すべき旨が判定されないときには、値iがインクリメントされてステップS13に戻ることが示されている。このような動作が繰り返されることによって、複数のテキスト辞書(たとえば第1のテキスト辞書および第2のテキスト辞書)が、探索処理の開始(ステップS24)に先立って(より詳細には、表示変更直後に(ステップS11の直後に))生成されてもよい。
<2.第2実施形態>
上記第1実施形態では、複数の操作画面(たとえば2つの操作画面)が同時にタッチパネル45に表示されている状態で操作用音声が発声され音声入力が受け付けられている。そして、当該複数の操作画面に関する複数の音声操作コマンド群が順次に探索対象に設定されて複数段階の探索処理が実行されている。詳細には、タッチパネル45に同時に表示されている複数の操作画面のうち、最も新しく呼び出された画面(最新呼出先画面とも称する)に関する音声操作コマンド群が第1の探索対象に設定されて第1の探索処理が先ず実行される。次に、当該最新呼出先画面の呼出元の画面に関する音声操作コマンド群が第2の探索対象に設定されて第2の探索処理が実行される。
第2実施形態では、タッチパネル45に表示される操作画面が、一の画面(第1の画面)から他の画面(第2の画面)へと切り替わる場合(当該他の画面が当該一の画面に「代えて」タッチパネル45に表示される場合)において、切替表示後の状態で操作用音声が発声され音声入力が受け付けられる。換言すれば、順次に表示される2つの操作画面のうちの当該一の画面(切替前の画面)が表示されておらず且つ当該他の画面(切替後の画面)が表示されている状態で、操作用音声が発声される。そして、これら2つの画面に関する2つの音声操作コマンド群が順次に探索対象に設定されて2段階の探索処理が順次に実行される。換言すれば、タッチパネル45に切換表示される複数の操作画面のうち、当該他の画面(最も新しく呼び出された画面)に関する音声操作コマンド群が第1の探索対象に設定されて第1の探索処理が先ず実行される。次に、当該他の画面の呼出元の画面(当該一の画面)に関する音声操作コマンド群が第2の探索対象に設定されて第2の探索処理が実行される。第2実施形態では、このような態様について、第1実施形態との相違点を中心に説明する。
ここでは、コピー設定に関する操作画面が「マップ形式表示モード」で表示される態様(図22および図23参照)について説明する。
「マップ形式表示モード」においては、その表示範囲が互いに異なる複数の操作画面が表示される。「マップ形式表示モード」では、コピー基本設定に関する7個の機能ボタン521〜527(不図示)とコピー応用設定に関する17個の機能ボタン531〜547(図22および図23等参照)とを含む合計24個の機能ボタンのうち、各時点では8個(あるいは9個)の機能ボタンがタッチパネル45に表示される。なお、24個の機能ボタンは、5つの機能グループ(「基本設定」、「原稿」、「レイアウト」、「仕立て」、「画質/濃度」)に分類されて機能グループ単位で配置されている。
たとえば、或る時点(たとえば、初期状態)の操作画面512においては、図22に示されるように8個の機能ボタン531〜538がタッチパネル45に表示される。より詳細には、「原稿」グループに属する4つの機能ボタン531〜534と「レイアウト」グループに属する4つの機能ボタン535〜538とが表示される。
その後、右向きのスクロールボタン562を押下すると、図22の操作画面512から図23の操作画面513に遷移する。図23の操作画面(設定画面)513においては、8個の機能ボタン531〜538に代えて、別の8個の機能ボタン539〜546がタッチパネル45に表示される。「レイアウト」グループに属する2つの機能ボタン539,540と「仕立て」グループに属する4つの機能ボタン541〜544と「画質/濃度」グループに属する2つの機能ボタン545,546とが表示される。
なお、画面中段のアイコン表示領域580には、24個のアイコンが横方向に一列に配置されている。当該24個のアイコン(アイコン列)は、上述の24個の機能ボタンに対応するアイコンである。このアイコン列に対するフレーム563の相対位置によって、画面上段の機能ボタン表示領域570にて現在表示されている機能ボタンが示されている。具体的には、当該24個のアイコンのうち、画面上段の機能ボタン表示領域580に現在表示されている機能ボタンに対応するアイコンが、矩形形状のフレーム563で囲われて示されている。
この第2実施形態では、図22の操作画面512から図23の操作画面513へと遷移すると、現在の表示対象の機能ボタン539〜546に対応する音声操作コマンド群830(図25参照)が第1のコマンド群M1(第1の探索範囲)として決定される。また、当該遷移直前の表示対象の機能ボタン531〜548に対応する音声操作コマンド群820(図24参照)が第2のコマンド群M2(第2の探索範囲)として決定される。そして、第1実施形態と同様の2段階の探索処理が実行される。
図21は、第2実施形態に係る動作を示すフローチャートである。図21を図4と比較すると判るように、ステップS12の動作が主に異なっている。以下では、相違点を中心に説明する。
たとえば、図22の操作画面512から図23の操作画面513に遷移する場合、第2実施形態に係るステップS12(S12b)においては、当該遷移前までに既に取得していたコマンド群820(操作画面512に関する音声操作コマンド群)のみならず、別のコマンド群830(操作画面513に関する音声操作コマンド群)もが取得される(図24および図25参照)。これにより、両音声操作コマンド群820,830を含むコマンド群800(801)が形成される。なお、図24等に示されるように、操作画面512,513に含まれる操作キーに対応する音声操作コマンド群820,830に関しては、項目「X座標範囲」の項目値として、各操作キーの存在位置(マップ形式表示モードにおける全スクロール範囲に亘る仮想的な全体画面内でのX座標範囲)が規定されている。また、音声操作コマンド群820,830のいずれに関しても、各データレコードの項目「画面」の項目値として「コピーマップ表示」が付与されている(図24および図25では図示を省略している)。
その後、操作画面513に関する音声操作コマンド群830が第1のコマンド群M1として決定され(ステップS23)、第1のコマンド群M1を探索範囲とする探索処理(第1の探索処理)が実行される(ステップS24)。
より具体的には、音声操作コマンド群801(図25参照)において、複数のデータレコードの中から、その項目「X座標範囲」の項目値として、マップ形式表示モードにおける現在の表示範囲(「1545〜2344」)内のX座標値が規定されているデータレコード(操作画面513に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図25に示すように、音声操作コマンド群830が第1のコマンド群M1として抽出される。換言すれば、操作画面513に関する音声操作コマンド群830が第1の探索範囲として設定される。
さらに、ステップS26にて更なる探索処理を実行すべき旨が判定される。第2実施形態では、或る画面(たとえば512)から別の画面(たとえば513)への表示変更が行われた場合には、1つ前の表示画面(たとえば512)に関する探索処理までが実行されるものとする。
そして、今度は、操作画面512に関する音声操作コマンド群820が第2のコマンド群M2として決定され(ステップS23)、第2のコマンド群M2を探索範囲とする探索処理(第2の探索処理)が実行される(ステップS24)。
より具体的には、音声操作コマンド群801(図24参照)において、複数のデータレコードの中から、その項目「X座標範囲」の項目値として、マップ形式表示モードにおける直前の表示範囲(「745〜1544」)内のX座標値が規定されているデータレコード(操作画面512に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図24に示すように、音声操作コマンド群820が第2のコマンド群M2として抽出される。換言すれば、操作画面512に関する音声操作コマンド群820が第2の探索範囲として設定される。そして、第2の探索処理が実行される。
第2実施形態においては、以上のような動作が行われる。
第2実施形態の動作においては、最新の操作画面513に関する音声操作コマンド群を探索範囲とする第1の探索処理にて、探索対象文字列に合致する音声操作コマンドが検出されない場合には、元の操作画面512に関する音声操作コマンド群を探索範囲とする第2の探索処理が実行される。これによれば、最も新しく呼び出された操作画面513以外の画操作面(呼出元の操作画面512)に関する音声操作コマンド群のいずれかに合致する音声操作コマンドもが探索され得る。したがって、複数の操作画面に関する複数の音声操作コマンドのうち、ユーザの操作用音声に対応する一の音声操作コマンドを適切に検出することが可能である。また、2つの操作画面513,512に関する探索処理が2段階で行われるので、効率的な探索処理を行うことが可能である。
なお、ここでは、スクロールボタン562(,561)の押下に応答して、8個単位で機能ボタンがスクロールする態様が示されているが、これに限定されない。たとえば、スクロールボタン562(,561)の押下に応答して、4個単位(あるいは機能グループ単位)で機能ボタンがスクロールしてもよい。
その場合、第1のコマンド群M1と第2のコマンド群M2とは、一部の操作コマンドが重複した状態で設定されればよい。あるいは、第1のコマンド群M1と第2のコマンド群M2との重複部分が第2のコマンド群M2から除外された状態で、更新後の第2のコマンド群M2が設定されてもよい。
<第2実施形態の他の変形例(タブ表示モード)>
上記実施形態では、「マップ形式表示モード」においてスクロール操作に応じて、一の操作画面から他の操作画面へと遷移する場合に、本発明が適用される態様について説明した。ただし、これに限定されない。たとえば、「タブ形式表示モード」におけるタブ切換操作に応じて、一の操作画面から他の操作画面へと遷移する場合に、本発明が適用されてもよい。以下では、このような変形例について説明する。
「タブ形式表示モード」においては、タブを用いた切換操作に応じて、互いに異なる複数の操作画面が選択的に表示される。「タブ形式表示モード」では、複数(ここでは24個)の機能ボタンが複数のグループ(「基本設定」グループ、「原稿」グループ、「レイアウト」グループ、「仕立て」グループおよび「画質/濃度」グループ)に分類されている。当該24個の機能ボタンは、コピー基本設定に関する7個の機能ボタン421〜427とコピー応用設定に関する17個の機能ボタン431〜447とを備える(図26および図27等参照)。
そして、タブ指定領域460(図26等参照)における操作に応じて当該複数のグループの中から一のグループが選択されると、当該選択された一のグループに属する機能ボタン群がタッチパネル45内の機能ボタン表示領域470(図26等参照)に表示される。なお、タブ指定領域460内には、複数のグループにそれぞれ対応する複数のタブ451〜455が設けられている。
たとえば、或る時点(たとえば、初期状態)の操作画面412(図26)においては、タブ指定領域460内の原稿タブ452が選択されており、当該原稿タブ452に対応する4個の機能ボタン431〜434が機能ボタン表示領域470に表示されている。
その後、タブ指定領域460内のレイアウトタブ453が選択されると、画面遷移が生じ、新たな操作画面413(図27)が表示される。操作画面413の機能ボタン表示領域470には、(4個の機能ボタン431〜434に代えて、)当該レイアウトタブ453に対応する6個の機能ボタン435〜440が表示される。
この変形例では、図26の操作画面412から図27の操作画面413へと遷移すると、現在の表示対象の機能ボタン(現在表示中の操作画面413内の機能ボタン)435〜440に対応する音声操作コマンド群880(図29参照)が第1のコマンド群M1(第1の探索範囲)として決定される。また、当該遷移直前の表示対象の機能ボタン(元の操作画面412内の機能ボタン)431〜434に対応する音声操作コマンド群870(図28参照)が第2のコマンド群M2(第2の探索範囲)として決定される。そして、第1実施形態と同様の2段階の探索処理が実行される。
より詳細には、図26の操作画面412から図27の操作画面413に遷移する場合、第2実施形態に係るステップS12(S12b)においては、当該遷移前までに既に取得していたコマンド群870(操作画面412に関する音声操作コマンド群)のみならず、別のコマンド群880(操作画面413に関する音声操作コマンド群)もが取得される(図28および図29参照)。これにより、両音声操作コマンド群870,880を含むコマンド群800(802)が形成される。
なお、図28および図29に示されるように、操作画面(原稿グループ画面)412に含まれる操作キーに対応する音声操作コマンド群870に関しては、項目「画面内グループ」の項目値として「原稿」が付与されている。操作画面413(レイアウトグループ画面)に含まれる操作キーに対応する音声操作コマンド群880に関しては、項目「画面内グループ」の項目値として「レイアウト」が付与されている。また、音声操作コマンド群870,880のいずれに関しても、各データレコードの項目「画面」の項目値として「コピータブ表示」が付与されている(図28および図29では図示を省略している)。
そして、音声操作コマンド群880が第1のコマンド群M1として決定され(ステップS23)、第1のコマンド群M1を探索範囲とする探索処理(第1の探索処理)が実行される(ステップS24)。
より具体的には、音声操作コマンド群802(図29参照)において、複数のデータレコードの中から、その項目「画面内グループ」の項目値として「レイアウト」が規定されているデータレコード(レイアウトグループ画面413(図27))に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図29に示すように、音声操作コマンド群880が第1のコマンド群M1として抽出される。換言すれば、レイアウトグループ画面413に関する音声操作コマンド群880が第1の探索範囲として設定される。
その後、ステップS26にて更なる探索処理を実行すべき旨が判定され、ステップS23に戻り、今度は音声操作コマンド群870が第2のコマンド群M2として決定される。そして、第2のコマンド群M2を探索範囲とする探索処理(第2の探索処理)が実行される(ステップS24)。
より具体的には、音声操作コマンド群802(図28参照)において、複数のデータレコードの中から、その項目「画面内グループ」の項目値として「原稿」が規定されているデータレコード(原稿グループ画面412)に対応するデータレコード)が(絞り込まれて)抽出される。これにより、図28に示すように、音声操作コマンド群870が第2のコマンド群M2として抽出される。換言すれば、原稿グループ画面412に関する音声操作コマンド群870が第2の探索範囲として設定される。そして、第2の探索処理が実行される。
以上のような動作が行われてもよい。
なお、第2実施形態等においては、図21のフローチャートに示されるように、第iのテキスト辞書の生成処理(ステップS23)が第iの探索処理の直前(ステップS24)にて実行されているが、これに限定されない。たとえば、第iのテキスト辞書の生成処理がステップS12の直後(ステップS13,S14等(図46参照))に実行されるようにしてもよい。
<3.第3実施形態>
第3実施形態では、タッチパネル45において順次に表示される2つの操作画面のうちの第1の画面が表示されており且つ第2の画面が未だ表示されていない状態で、操作用音声が発声される。換言すれば、一の画面がタッチパネル45に現在表示されている状態において、他の画面がタッチパネル45に表示される状態へと遷移する可能性が存在する状態で、操作用音声が発声される。そして、このような場合において2段階の探索処理が実行される。
具体的には、当該一の画面(表示中の画面のうち最も新しく呼び出された画面(詳細には、第2の画面の呼出元の画面であって操作用音声の発声時に表示されている第1の画面))に関する音声操作コマンド群が第1の探索対象に設定されて第1の探索処理が先ず実行される。次に、当該一の画面から呼び出され得る他の画面(操作用音声の発生時には未だ表示されていない第2の画面)に関する音声操作コマンド群が第2の探索対象に設定されて第2の探索処理が実行される。なお、当該他の画面に関する音声操作コマンド群は、当該他の画面が表示される前に予め取得される。
上記第1〜第3実施形態のいずれにおいても、第1のコマンド群M1は、MFP10に関する第1の画面と当該第1の画面に対するユーザ操作に応じて表示される第2の画面とを含む前記2つの操作画面のうちの一方の画面(詳細には、表示中の画面のうち最も新しく呼び出された画面)に関するコマンド群である。この点で第1〜第3実施形態は共通する。ただし、第1および第2実施形態では、第2の画面に関する音声操作コマンド群が第1のコマンド群M1に設定されているのに対して、第3実施形態では、第1の画面に関する音声操作コマンド群が第1のコマンド群M1に設定される。第3実施形態では、このような態様について、第1実施形態および第2実施形態との相違点を中心に説明する。
以下では、第3実施形態に係る思想を「マップ形式表示モード」(図22および図23等参照)に適用する態様について主に説明する。
たとえば、8個の機能ボタン531〜538を有する操作画面512(図22)がタッチパネル45に表示されている時点においては、当該操作画面512に関する音声操作コマンド群820(図24および図25参照)が第1のコマンド群M1に設定されて第1の探索処理が実行される。
さらに、MFP10は、操作画面512から遷移する可能性を有する画面(操作画面512の遷移先画面として可能性を有する未表示の画面)の音声操作コマンド群(830)を格納部5から先読みする(先行して予め読み出しておく)。そして、当該先読みした音声操作コマンド群が第2のコマンド群M2に設定されて第2の探索処理が実行される。ここでは、遷移先画面に関する当該音声操作コマンド群の読み出し処理は、第1の探索処理に先立って行われる。ただし、これに限定されず、当該音声操作コマンド群の読み出し処理は、第1の探索処理に並行して行われてもよく、あるいは第1の探索処理の完了後に行われてもよい。
図30は、第3実施形態に係る動作を示すフローチャートである。図30を図4(および図21)と比較すると判るように、ステップS12の動作が主に異なっている。以下では、相違点を中心に説明する。
たとえば、図22の操作画面512の表示が開始された時点で、ステップS11からステップS12(S12c)に進む。そして、ステップS12(S12c)において、現在表示中(操作用音声の発声時にて表示中)の操作画面512に関する音声操作コマンド群(テキスト辞書)820が取得されるとともに、当該操作画面512の次に表示される可能性を有する画面(操作用音声の発声時にて未表示の画面)に関する音声操作コマンド群が取得される。ここでは、当該操作画面512の次に表示される可能性を有する画面として、スクロールボタン562の押下に応答して表示される操作画面513(図23参照)を例示する。この場合、当該操作画面513に関する音声操作コマンド群830もが取得される。
そして、現在表示中の操作画面512に関する音声操作コマンド群820が第1のコマンド群M1として決定され(ステップS23)、第1のコマンド群M1を探索範囲とする探索処理(第1の探索処理)が実行される(ステップS24)。
また、ステップS26にて更なる探索処理を実行すべき旨が判定され、ステップS23に戻る。なお、第3実施形態では、或る画面(たとえば512)から別の画面(たとえば513)への表示変更が行われ得る場合において、1つ先の表示画面(たとえば513)に関する探索処理までが実行されるものとする。
当該ステップS23において、操作画面512の次に表示される可能性を有するものの未だ表示されていない操作画面513に関する音声操作コマンド群830が第2のコマンド群M2として決定される。そして、第2のコマンド群M2を探索範囲とする探索処理(第2の探索処理)が実行される(ステップS24)。
第3実施形態においては、以上のような動作が行われる。
このような動作によれば、現在表示中の画面(操作用音声の発声時における表示画面)512に関する音声操作コマンド群のみならず、次に表示され得る別の画面513に関する音声操作コマンド群もが探索処理の対象になり得る。したがって、複数の操作画面512,513に関する複数の音声操作コマンドのうちユーザの操作用音声に対応する一の音声操作コマンドを適切に検出することが可能である。
また、2つの操作画面512,513に関する探索処理が2段階で行われるので、効率的な探索処理を行うことが可能である。詳細には、現在表示中且つ最も新しく呼び出された操作画面512に関する音声操作コマンド群820を探索範囲とする第1の探索処理が先ず行われ、当該第1の探索処理が成功しない場合、他の画面513に関する音声操作コマンド群830を探索範囲とする第2の探索処理が行われる。これによれば、2つの音声操作コマンド群820,830のうち、操作用音声として発声される可能性が比較的高い音声操作コマンド群820を探索範囲とする探索処理が先に行われ、次いで他の音声操作コマンド群830を探索範囲とする探索処理が行われるので、効率的な探索処理を行うことが可能である。
なお、ここでは、当該操作画面512の次に表示される可能性を有する(少なくとも1つの)画面として、操作画面513(図23参照)が例示されているが、これに限定されず、操作画面512の次に表示される可能性を有する画面は、たとえば、操作画面512内のスクロールボタン561(図22)の押下に応答して表示される操作画面511(図31参照)であってもよい。あるいは、操作画面512の次に表示される可能性を有する画面は、操作画面511と操作画面513との双方であってもよい。
<第3実施形態の他の変形例>
上記においては、第3実施形態に係る思想をマップ形式表示モード(図22および図23等参照)に適用しているが、これに限定されない。
たとえば、タブ形式表示モード(図26および図27等参照)に第3実施形態に係る思想を適用してもよい。より具体的には、図26の操作画面412が表示されている状態で操作用音声が受け付けられ、当該操作画面412に関する音声操作コマンド群870(図28参照)が第1のコマンド群M1として設定されて第1の探索処理が実行されてもよい。さらに、操作画面412からの遷移先の複数の画面のうちの少なくとも1つの画面に関する音声操作コマンド群が第2のコマンド群M2として設定されて第2の探索処理が実行されてもよい。たとえば、当該操作画面412の次に表示される可能性を有する操作画面413(図27参照)に関する音声操作コマンド群880(図29参照)が第2のコマンド群M2として設定されて第2の探索処理が実行されてもよい。
あるいは、親画面210のみが表示されている状態(図5)で操作用音声が発声され、当該親画面210に関する音声操作コマンド群610(図8参照)が第1のコマンド群M1として設定されて第1の探索処理が実行されてもよい。さらに、操作画面210からの遷移先の複数の画面のうちの少なくとも1つの画面に関する音声操作コマンド群が第2のコマンド群M2として設定されて第2の探索処理が実行されてもよい。たとえば、当該操作画面210の次に表示される可能性を有する操作画面として、テンキーを有する子画面250(図12参照)が特定されるとともに、当該子画面250に関する音声操作コマンド群650(図13参照)が第2のコマンド群M2として設定されて第2の探索処理が実行されてもよい。あるいは、当該操作画面210の次に表示される可能性を有する操作画面として子画面230(図6参照)が特定されるとともに、当該操作画面230に関する音声操作コマンド群630(図9参照)が第2のコマンド群M2として設定されて第2の探索処理が実行されてもよい。
同様に、親画面310が表示されている状況(図15)において、当該親画面310に関する音声操作コマンド群710(図17参照)が第1のコマンド群M1として設定されて第1の探索処理が実行されてもよい。さらに、操作画面310からの遷移先の複数の画面のうちの少なくとも1つの画面に関する音声操作コマンド群が第2のコマンド群M2として設定されて第2の探索処理が実行されてもよい。たとえば、当該操作画面310の次に表示される可能性を有する操作画面として、プルダウンメニューを有する子画面330(図16参照)が特定されるとともに、当該子画面330に関する音声操作コマンド群730(図18参照)が第2のコマンド群M2として設定されて第2の探索処理が実行されてもよい。第2のコマンド群M2には、プルダウンリスト内の2つの選択肢(2つの表示要素)321(「画像」),322(「文字」)にそれぞれ対応する2つの音声操作コマンド(「がしつ」および「もじ」)が含まれる。
<第3実施形態の別の変形例>
また、第3実施形態の動作を実行するかは、設定変更できるように構成されることが好ましい。具体的には、「操作用音声の発声時にて未だ表示されていない画面に関するコマンド群(第2のコマンド群)を探索範囲とする探索処理(第2の探索処理)を実行するか否か」が、(特にユーザごとに)設定変更できるように構成されることが好ましい。具体的には、所定の設定画面(不図示)を用いて、ユーザの設定操作に応じて設定変更が行われればよい。そして、当該設定変更に係る設定内容に基づいて第2のコマンド群M2に関する探索処理が実行されるか否かが決定されればよい。詳細には、当該第2のコマンド群を探索範囲とする第2の探索処理を実行する旨が設定されていることを条件として、当該第2のコマンド群を探索範囲とする第2の探索処理が実行さればよい。なお、当該第2のコマンド群を探索範囲とする第2の探索処理を実行しない旨が設定されている場合には、当該第2のコマンド群を探索範囲とする第2の探索処理は実行されず、当該第1のコマンド群を探索範囲とする第1の探索処理までが実行されればよい。
また、第3実施形態等においては、図30のフローチャートに示されるように、第iのテキスト辞書の生成処理(ステップS23)が第iの探索処理の直前(ステップS24)にて実行されているが、これに限定されない。たとえば、第iのテキスト辞書の生成処理がステップS12の直後(ステップS13,S14等(図46参照))に実行されるようにしてもよい。
<4.第4実施形態>
第4実施形態においては、MFP10の動作状態に基づいて、各段階の探索処理における探索範囲が絞り込まれる態様について、第1実施形態等との相違点を中心に説明する。
第4実施形態においては、MFP10は、当該MFP10のジョブ実行状態に基づき実行不可能であると判定される操作コマンドを第1のコマンド群M1(および/または第2のコマンド群M2)から除外する除外処理を伴って、第1の探索処理(および/または第2の探索処理)を実行する。当該除外処理は、ステップS23,S25等において実行されればよい。
図32は、このような除外処理を説明する図である。図32の上段には、除外処理実行前の第1のコマンド群M1の一部が示されており、図32の下段には、除外処理実行後の第1のコマンド群M1の一部が示されている。
ここでは、スタートキー(スタートボタン)41とストップキー(ストップボタン)42とリセットキー(リセットボタン)43とホームキー(ホームボタン)44とを含む複数のハードウエアキーに対応する複数の音声操作コマンドが、第1のコマンド群M1の一部として設定されているものとする。図32(特に上段)においては、各操作キーに対応する各音声操作コマンドが実行可能な状態が、項目欄「ジョブの状態」に示されている。具体的には、音声操作コマンド「りせっと」および「ほーむ」はMFP10の「全状態」にて実行可能であり、音声操作コマンド「すたーと」は「ジョブ受付可能状態」にて実行可能であり、且つ、音声操作コマンド「すとっぷ」は「ジョブ実行中状態」にて実行可能である旨、が規定されている。
たとえば、MFP10がジョブ(コピージョブあるいはスキャンジョブ等)を実行している期間(すなわち、「ジョブ実行中」)においては、新たなジョブ(コピージョブ等)は受け付けられない。端的に言えば、「ジョブ実行中」は「ジョブ受付可能(状態)」ではない。この状況を考慮して、図32のデータテーブルに基づき、「ジョブ実行中」においては、項目「ジョブの状態」にて項目値「ジョブ受付可能(状態)」が規定されている音声操作コマンド(「すたーと」)が、第1のコマンド群M1から除外される。換言すれば、「ジョブ実行中」においては音声操作コマンド「すたーと」は実行不可能であると判定され、当該音声操作コマンド「すたーと」は第1のコマンド群M1から除外される。図32の下段には、音声操作コマンド「すたーと」が除外された後の第1のコマンド群M1が示されている。
あるいは、図33に示すような除外処理が行われてもよい。図33の上段には、除外処理実行前の第1のコマンド群M1の一部が示されており、図33の下段には、除外処理実行後の第1のコマンド群M1の一部が示されている。
具体的には、MFP10がジョブ(コピージョブあるいはスキャンジョブ等)を実行していない期間(すなわち、「ジョブ非実行中」)においては、ジョブの停止指示は受け付けられない。端的に言えば、「ジョブ非実行中」は「ジョブ実行中」ではない。この状況を考慮して、図33のデータテーブルに基づき、「ジョブ非実行中」においては、項目「ジョブの状態」にて項目値「ジョブ実行中」が規定されている音声操作コマンド(「すとっぷ」)が、第1のコマンド群M1から除外される。換言すれば、「ジョブ非実行中」においては音声操作コマンド「すとっぷ」は実行不可能であると判定され、当該音声操作コマンド「すとっぷ」は第1のコマンド群M1から除外される。図33の下段には、音声操作コマンド「すとっぷ」が除外された後の第1のコマンド群M1が示されている。
なお、ここでは、MFP10でのジョブ実行状態に基づいて実行不可能であると判定される操作コマンドが、第1のコマンド群M1から除外されているが、これに限定されない。たとえば、MFP10でのジョブ実行状態に基づいて実行不可能であると判定される操作コマンドが、第2のコマンド群M2から除外されてもよい。あるいは、MFP10でのジョブ実行状態に基づいて実行不可能であると判定される操作コマンドが、第1のコマンド群M1と第2のコマンド群M2との双方から除外されてもよい。
<第4実施形態の他の変形例>
同様に、MFP10におけるユーザ認証状態に基づき実行不可能であると判定される操作コマンドを第1のコマンド群M1(および/または第2のコマンド群M2)から除外する除外処理を伴って、第1の探索処理(および/または第2の探索処理)が実行されてもよい。
図34は、このような除外処理を説明する図である。図34の上段には、除外処理実行前の第1のコマンド群M1の一部が示されており、図34の下段には、除外処理実行後の第1のコマンド群M1の一部が示されている。
たとえば、ユーザ認証未完了状態(ユーザ認証を伴わないゲストユーザによる使用中等を含む)においては、ユーザ認証後(ユーザ認証完了後)にのみ使用可能な音声操作コマンドは受け付けられない。この状況を考慮して、図34のデータテーブルに基づき、「ユーザ認証未完了状態」においては、項目「ユーザ認証状態」にて項目値「ユーザ認証後にのみ使用可能」が規定されている音声操作コマンド(「ゆーざぼっくす」)が、第1のコマンド群M1から除外される。換言すれば、「ユーザ認証未完了状態」においては音声操作コマンド「ゆーざぼっくす」は実行不可能であると判定され、当該音声操作コマンド「ゆーざぼっくす」は第1のコマンド群M1から除外される。図34の下段には、音声操作コマンド「ゆーざぼっくす」が除外された後の第1のコマンド群M1が示されている。
なお、ここでは、MFP10でのユーザ認証状態に基づいて実行不可能であると判定される操作コマンドが、第1のコマンド群M1から除外されているが、これに限定されない。たとえば、MFP10でのユーザ認証状態に基づいて実行不可能であると判定される操作コマンドが、第2のコマンド群M2から除外されてもよい。あるいは、MFP10でのユーザ認証状態に基づいて実行不可能であると判定される操作コマンドが、第1のコマンド群M1と第2のコマンド群M2との双方から除外されてもよい。
<5.第5実施形態>
上記各実施形態においては、複数の操作画面に関する複数の探索処理の相互間の優先順位が付与されている態様が例示されている。この第5実施形態では、各段階の探索処理(第1の探索処理および第2の探索処理のそれぞれ)における探索範囲内での探索順序もが所定の基準に基づいて調整される態様について例示する。以下では、第1実施形態等との相違点を中心に説明する。
第5実施形態では、第1のコマンド群M1に関する探索処理において、当該第1のコマンド群M1(第1の探索範囲)に含まれる2以上の操作コマンドのそれぞれに付与される優先順位に従って当該2以上の操作コマンドのそれぞれと探索対象文字列との同一性判定処理が順次に実行される。そして、当該2以上の操作コマンドのうち最初に前記探索対象文字列に合致した一の音声操作コマンドに応じた処理が実行される。
同様に、第2のコマンド群M2に関する探索処理においては、当該第2のコマンド群M2(第2の探索範囲)に含まれる2以上の操作コマンドのそれぞれに付与される優先順位に従って当該2以上の操作コマンドのそれぞれと探索対象文字列との同一性判定処理が順次に実行される。そして、当該2以上の操作コマンドのうち最初に前記探索対象文字列に合致した一の音声操作コマンドに応じた処理が実行される。
このような動作によれば、各段階の探索処理における探索範囲内での探索をさらに効率的に実行するとともに、操作用音声の発声時点から当該操作用音声の対応処理の実行時点までの応答性を向上させることが可能である。
各段階の探索処理における探索順序(各探索範囲内での探索順序)は、たとえば当該各段階での探索対象画面内での対応操作キーの表示位置に基づいて決定される。一般に、画面内の左上側は人の注意を引きやすく、当該左上側に重要な操作キーが配置される傾向が存在する。換言すれば、或る画面内における複数の操作キーのうち、重要な操作キー(高い使用頻度を有する操作キー等)が画面内において比較的左上側に配置されることが多い。
この実施形態では、このような事情を考慮し、複数の音声操作コマンドに対して対応操作キーの位置に関する評価値F1(次述)がそれぞれ算出される。評価値F1は、各操作キーの代表点(たとえば左上の点)(図35参照)の座標値(X、Y)と画面内の左上の点(原点)との距離(Xの自乗とYの自乗との和の平方根で示される)である。そして、複数の音声操作コマンドのうち、比較的小さな評価値F1を有する音声操作コマンドに対して比較的高い優先順位が付与される。
図35においては、詳細設定画面310(図16)における各操作キーの代表点(各操作キーの左上の点(図では黒小丸))が示されている。このような詳細設定画面310において、その代表点が画面内の比較的左上側に存在する操作キーから順に、探索対象文字列との同一性判定処理が実行される。換言すれば、その代表点が比較的左上側に存在する操作キーに比較的高い優先順位が付与される。具体的には、詳細設定画面310内においては、操作キー311,312,313,314,315,316,317,318,319の順に、探索対象文字列との同一性判定処理が実行される。詳細には、まず、探索対象文字列と操作キー311に対応する音声操作コマンドとの同一性判定処理が実行され、つぎに、探索対象文字列と操作キー312に対応する音声操作コマンドとの同一性判定処理が実行される。さらに、探索対象文字列と各操作キー313,314,...に対応する音声操作コマンドとの同一性判定処理が順次に実行される。
同様に、プルダウンリスト画面330内においては、操作キー321,322の順に、探索対象文字列との同一性判定処理が実行される。
たとえば、図35の表示状態で音声入力が受け付けられた場合には、まずプルダウンリスト330内の音声操作コマンド群730(図17)を探索対象とする第1の探索処理(第1段階の探索処理)が行われ、つぎに詳細設定画面310の音声操作コマンド群710を探索対象とする第2の探索処理(第2段階の探索処理)が行われる。特に、各段階の探索処理においては、当該各段階に関する音声操作コマンド群内の2以上の音声操作コマンドと探索対象文字列との同一性判定処理が上述の順序で実行される。
このように、各段階の探索処理において、各画面内の複数の音声操作コマンドのそれぞれに対して、当該各画面内での対応操作キーの表示位置に基づく優先順位が付与される。そして、各段階の探索処理において、当該優先順位に従って当該複数の音声操作コマンドのそれぞれと探索対象文字列との同一性判定処理が順次に実行される。
<第5実施形態の変形例1>
上記第5実施形態では、各段階の探索処理内における探索順序(各探索範囲内での優先順位)が、各段階での探索対象画面内での対応操作キーの表示位置に基づいて決定されているが、これに限定されない。
具体的には、第iの音声操作コマンド群を規定する第iのテキスト辞書における特定の項目の内容に基づいて予め定められた優先順位に基づいて、各段階の探索処理における探索順序が決定されてもよい。
たとえば、図36の上段に示すように、項目「ジョブの状態」に関する各項目値(「ジョブ実行中」、「ジョブ受付可能」、「全状態」)に応じた評価値F2(F21)(優先度係数とも称する)を予め定めておく。たとえば、「全状態」には比較的低い評価値F2(たとえば、「0.5」)を割り当てておき、他の特定の状態(「ジョブ実行中」および「ジョブ受付可能状態」)には比較的高い評価値F2(たとえば、「1.0」、「0.9」)を割り当てておく。そして、或る段階での探索対象である複数の音声操作コマンドを、その評価値F2に基づいて(評価値F21の大きい順(降順)に)並べ替える(ソートする)(図36の下段参照)。当該ソート後の順序で、当該複数の音声操作コマンドと探索対象文字列との同一性判定処理が順次に実行される。具体的には、最も高い優先度係数「1.0」を有する音声操作コマンド「すとっぷ」と探索対象文字列との同一性判定処理が最も優先して(最初に)実行される。そして、次に高い優先度係数「0.9」を有する音声操作コマンド「すたーと」と探索対象文字列との同一性判定処理が次に優先して(2番目に)実行される。その後、その次に高い優先度係数「0.5」を有する音声操作コマンド「リセット」等と探索対象文字列との同一性判定処理が実行される。
あるいは、図37の上段に示すように、項目「ユーザ認証状態」に関する各項目値(「ユーザ認証後のみ使用可」、「パブリックユーザでも使用可」)に応じた評価値F2(F22)(優先度係数)を予め定めておいてもよい。たとえば、「ユーザ認証後のみ使用可」には比較的高い評価値F2(たとえば、「1.0」)を割り当てておき、「パブリックユーザでも使用可」には比較的低い評価値F2(たとえば、「0.5」)を割り当てておく。そして、或る段階での探索対象である複数の音声操作コマンドを、その評価値F2に基づいて(評価値F22の大きい順に)並べ替える(ソートする)(図37の下段参照)。当該ソート後の順序で、当該複数の音声操作コマンドと探索対象文字列との同一性判定処理が順次に実行される。具体的には、最も高い優先度係数「1.0」を有する音声操作コマンド「ゆーざぼっくす」と探索対象文字列との同一性判定処理が最も優先して(最初に)実行される。そして、次に高い優先度係数「0.5」を有する音声操作コマンド「ぱぶりっくぼっくす」と探索対象文字列との同一性判定処理が次に優先して(2番目に)実行される。その後、他の各音声操作コマンド等と探索対象文字列との同一性判定処理が、当該他の各音声操作コマンドの優先度係数の大きい順で実行される。
また、単一の項目に関する項目値に応じた評価値ではなく、複数の項目に関する項目値に応じた評価値が、評価値F2(F23等)として採用されてもよい。たとえば、複数の項目として、項目「ジョブの状態」と項目「ユーザ認証状態」とが考慮される場合には、項目「ジョブの状態」に関する各項目値に応じた評価値F21と項目「ユーザ認証状態」に関する各項目値に応じた評価値F22との積が評価値F2(F23)として求められればよい。そして、当該複数の項目に関する項目値に応じた評価値F2(F23)に基づいて、或る段階での探索対象である複数の音声操作コマンドが(その評価値F23の大きい順に)並べ替えられ(ソートされ)、並べ替え後の順序で、複数の音声操作コマンドと探索対象文字列との同一性判定処理が順次に実行されてもよい。
<第5実施形態の変形例2>
あるいは、各段階の探索処理内における探索順序(各探索範囲内での探索順序)が、MFP10の状態(ジョブの実行状態)に基づいて決定されてもよい。
具体的には、図38に示すように、(上述の評価値F2とは無関係に)ジョブの実行状態に基づいて、デフォルトの順序(図38の上段)からソート後の順序(図38の下段)へと、各音声操作コマンドの優先順位(探索順序)が変更されてもよい。
詳細には、MFP10が「ジョブ実行中」であることに基づいて、図38の下段に示すように、ストップボタン(ストップキー)に対応する音声操作コマンド「すとっぷ」に対して最も高い優先順位が付与されるようにソートが行われる。
そして、MFP10のジョブ実行状態が反映された優先順位に従って、各段階の複数の音声操作コマンドのそれぞれと探索対象文字列との同一性判定処理が順次に実行されることによって、各段階の音声操作コマンド群に関する探索処理が実行される。
これによれば、ジョブ実行中において高速に反応することが要請される「ストップ」指示が付与されたか否かが、早い段階で判定される。換言すれば、第iの探索処理の探索範囲に含まれる2以上の音声操作コマンドのうち、MFP10のジョブ実行状態を反映して早い段階で判定されるべき音声操作コマンドとの同一性判定処理が優先的に実行されるので、探索時間を短縮し反応性を向上させることが可能である。
<第5実施形態の変形例3>
あるいは、各段階の探索処理内における探索順序(各探索範囲内での探索順序)が、MFP10におけるユーザ認証状態に基づいて決定されてもよい。
具体的には、図39に示すように、(上述の評価値F2とは無関係に)ユーザ認証完了状態であることに基づき、デフォルトの順序(図39の上段)からソート後の順序(図39の下段)へと、各音声操作コマンドの優先順位(探索順序)が変更されてもよい。
ユーザ認証後においては、図39の下段に示すように、「ユーザボックス」ボタン(不図示)に対応する音声操作コマンド「ゆーざぼっくす」に対して最も高い優先順位が付与されるようにソートが行われる。
そして、MFP10のユーザ認証状態が反映された優先順位に従って、各段階の複数の音声操作コマンドのそれぞれと探索対象文字列との同一性判定処理が順次に実行されることによって、各段階の音声操作コマンド群に関する探索処理が実行される。
これによれば、ユーザ認証後においては、操作用音声として受け付けられる可能性がユーザ認証前よりも高い音声操作コマンド「ユーザボックス」との同一性判定処理が、他の音声操作コマンドとの同一性判定処理よりも早い段階で実行される。換言すれば、第iの探索処理の探索範囲に含まれる2以上の音声操作コマンドのうち、MFP10におけるユーザ認証状態を反映して早い段階で判定されるべき音声操作コマンドとの同一性判定処理が優先的に実行される。したがって、探索時間を短縮し反応性を向上させることが可能である。
<第5実施形態の変形例4>
あるいは、各段階の探索処理における探索順序(各探索範囲内での探索順序)が、各音声操作コマンドの過去の使用回数(使用履歴)に基づいて決定されてもよい。
図40は、各音声操作コマンドの過去の使用回数を格納した使用履歴テーブルを示す図である。図40に示すように、使用履歴テーブルにおける各音声操作コマンドの使用回数(図40の上段)が、音声操作コマンド「からー」の使用に応じて、使用履歴更新後の各音声操作コマンドの使用回数(図40の下段)へと更新される。図40においては、音声操作コマンド「からー」の使用回数が「10」回(上段)から「11」回(下段)に更新されている。各音声操作コマンドの使用回数が評価値F2(F24)として用いられればよい。
その後、当該使用履歴更新後の或る段階での探索対象である複数の音声操作コマンドが、当該評価値F24(各音声操作コマンドの使用回数)に基づいて(評価値F24の大きい順に)並べ替えられる(ソートされる)。そして、ソート後の順序で、複数の音声操作コマンドと探索対象文字列との同一性判定処理が順次に実行されればよい。
これによれば、第iの探索処理の探索範囲に含まれる2以上の音声操作コマンドのうち、各音声操作コマンドの使用履歴を反映して早い段階で判定されるべき音声操作コマンドとの同一性判定処理が優先的に実行される。したがって、探索時間を短縮し反応性を向上させることが可能である。
なお、ここでは、音声操作コマンド自体の使用回数のみが反映された評価値F2(F24)が利用されているが、これに限定されず、各音声操作コマンド(「からー」等)に対応する操作キー(212等(図5等参照))の使用回数のみが反映された評価値F2(F25)が利用されてもよい。あるいは、各音声操作コマンドの使用回数と当該各音声操作コマンドに対応する操作キーの使用回数との双方が反映された評価値F2(F26)が利用されてもよい。
<第5実施形態の変形例5>
また、MFP10の負荷が一定程度以上である(MFP10が高負荷状態である)と判定される場合、低優先コマンド(所定程度より小さな優先度を有する音声操作コマンド)が各段階の操作コマンド(たとえば第1のコマンド群M1)から除外された上で、各段階の探索処理(第1のコマンド群M1に関する第1の探索処理等)が実行されてもよい。
たとえば、MFP10の印刷エンジン(印刷出力部3等)の動作中である場合、MFP10の負荷が一定程度以上である(MFP10が高負荷状態である)と判定される。この場合、低優先コマンドが第1のコマンド群M1から除外する除外処理が施された上で、当該除外処理後の第1のコマンド群M1に関する第1の探索処理が実行されればよい。
なお、各音声操作コマンドが低優先コマンドであるか否かは、たとえば、図41に示すように予め定められた優先度(評価値F2(F27))に基づいて判定されればよい。図41では、各音声操作コマンド(「すとっぷ」、「ぷろぐらむ」、「からー」、「倍率」、...)に対してそれぞれ優先度(「1.0」、「0.6」、「0.4」、「0.3」、...)が予め定められている。そして、その優先度(F27)が所定値TH1(ここでは0.3)以下である音声操作コマンドが、低優先コマンドであると判定される。逆に、当該所定値より大きな優先度(F27)を有する音声操作コマンドは、低優先コマンドではないと判定される。
あるいは、上述の各種の評価値F2(図35〜図41参照)等に基づいて、音声操作コマンドが低優先コマンドであるか否かが判定されてもよい。
また、上記においては、MFP10の印刷エンジンの動作中である場合、MFP10が高負荷状態であると判定されているが、これに限定されない。たとえば、MFP10においてスキャン画像等に対する文字認識処理の実行中である場合、あるいは、MFP10においてスキャン画像等に基づくPDF形式ファイル生成処理の実行中である場合にも、MFP10が高負荷状態である旨が判定されてもよい。
<6.第6実施形態>
上記各実施形態においては、各画面に対する各音声操作コマンド群が予め登録されたコマンド辞書が利用されて、各画面に対する音声操作コマンド群(第iのテキスト辞書)が取得されているが、これに限定されない。たとえば、各操作画面の画像に含まれる文字を認識する文字認識処理(OCR処理)等が実行されることによって、各画面に対する音声操作コマンド群(第iのテキスト辞書)が取得(生成)されるようにしてもよい。
具体的には、各画面に対する画像処理(詳細には、ボタン画像抽出処理)によって複数のボタン画像(操作ボタン(操作キー)を表現する画像)が抽出されるとともに、当該複数のボタン画像内の文字列に対する文字認識処理によって当該複数のボタン画像内の文字列が認識される。そして、認識された当該文字列が、当該ボタン画像に対する音声操作コマンド群として抽出されること等によって、テキスト辞書が生成される。この際、各音声操作コマンドに対して、対応ボタン画像の代表点(たとえば、ボタン画像の中心点)の座標値が割り当てられる。これらの処理は、上記各実施形態等における2つの画面(第1の画面および第2の画面)のそれぞれに対して施される。このようにして各画面に関するテキスト辞書(第iのテキスト辞書)が生成されるようにしてもよい。なお、当該第iのテキスト辞書の生成処理は、図4のステップS23、或いは図46のステップS13等において実行されればよい。
詳細には、まず、第1の画面(たとえば、基本メニュー画面210)のみがタッチパネル45に表示されている状態(図5および図42参照)において、当該第1の画面に対してボタン画像抽出処理およびOCR処理が施される。
たとえば、図42に示されるように、タッチパネル45の全体画像(全表示領域の画像)301(極太線で囲まれた領域)を処理対象として、ボタン画像抽出処理およびOCR処理が施される。これにより、基本メニュー画面210内の複数のボタン画像が抽出されるとともに、当該複数のボタン画像内の文字列が認識される。換言すれば、第1の画面(基本メニュー画面210)を含み且つ第2の画面(テンキー画面250(図6および図43参照))を含まない第1の画像301(図42)を表示している第1の表示状態において、当該第1の画像301に対するOCR処理等が施される。
そして、各ボタン画像内の文字列がそれぞれ、当該各ボタン画像に対する音声操作コマンドであると判定され、図44に示すようなテキスト辞書が生成される。当該テキスト辞書は、基本メニュー画面210内の音声操作コマンド群610を備えて構成される。各音声操作コマンドには、それぞれ、対応するボタン画像の座標値(たとえば、当該対応ボタン画像の中央位置の座標値)が割り当てられる。たとえば、音声操作コマンド「げんこうがしつ」には、「原稿画質」ボタン(ボタン画像)211の中央位置P61の座標値が割り当てられる。他の音声操作コマンドに関しても同様である。
次に、第1の画面に対するユーザ操作に応じて当該第1の画面(たとえば基本メニュー画面210(図5および図42参照))から第2の画面(たとえばテンキー画面250(図6および図43参照))が呼び出され、テンキー画面250が基本メニュー画面210に重畳して表示される。換言すれば、タッチパネル45は、第1の画面を含み且つ第2の画面をも含む第2の画像302を表示している第2の表示状態へと遷移する。そして、MFP10は、次のような動作を実行する。
まず、MFP10は、遷移後のタッチパネル45の全体画像302(図43)と遷移前のタッチパネル45の全体画像301(図42)との差分画像303(図43)を生成(取得)する。当該差分画像303は、第2の画面の表示内容を有する画像として取得される。そして、当該差分画像303(換言すれば、第2の画面(たとえばテンキー画面250))を処理対象としてボタン画像抽出処理およびOCR処理が施される。図43では、呼び出されたテンキー画面250が差分画像(太線で囲まれた領域)として抽出され、当該差分画像に対してのみOCR処理が施される様子が示されている。
これにより、テンキー画面250内の複数のボタン画像が抽出されるとともに、当該複数のボタン画像内の文字列が認識される。そして、各ボタン画像内の文字列がそれぞれ、当該各ボタン画像に対する音声操作コマンドであると判定され、図45の太線枠で囲まれる部分のテキスト辞書が追加生成される。当該テキスト辞書は、テンキー画面250内の音声操作コマンド群650(図45参照)を備えて構成される。このようにして、差分画像303に対する文字認識処理の処理結果に基づき、第2の画面250に関するコマンド群650が特定される。また、各音声操作コマンドには、それぞれ、対応するボタン画像の座標値(たとえば、当該対応ボタン画像の中央位置の座標値)が割り当てられる。たとえば、音声操作コマンド「に」には、テンキー画面250内の「2」ボタン(ボタン画像)の中央位置の座標値が割り当てられる。他の音声操作コマンドに関しても同様である。
その後、上記各実施形態と同様の探索処理が実行される。端的に言えば、複数の段階の探索処理が順次に実行される。その結果、いずれかのボタン画像に対する音声操作コマンドに、探索対象文字列(音声認識データ)が合致していることが判定されると、当該ボタン画像の代表点が押下されたものとして、処理が実行される。
具体的には、探索対象文字列(音声認識データ)が、ボタン画像「2」に割り当てられた音声操作コマンド「に(2)」に合致していると判定される場合、当該ボタン画像の代表点の座標値(600,200)の位置が押下されたものとして、処理が実行される。具体的には、MFP10は、コピー枚数を「2」に変更する。
あるいは、探索対象文字列(音声認識データ)が、ボタン画像「倍率」に割り当てられた音声操作コマンド「ばいりつ」に合致していると判定される場合、当該ボタン画像の代表点の座標値(450,400)の位置が押下されたものとして、処理(倍率設定画面230の呼び出し処理)が実行される。具体的には、MFP10は、テンキー画面250を非表示化するとともに、倍率設定画面230を基本メニュー画面210に対して重畳表示する(図6参照)。
以上のような動作によれば、各画面に関する音声操作コマンド群がそれぞれOCR処理によって取得され、当該OCRの処理結果等に基づき第1のコマンド群M1と第2のコマンド群M2とが特定されて、各探索処理(第1の探索処理および第2の探索処理)が実行される。したがって、各画面に関する音声操作コマンド群を予め登録しておくことを要さず、登録の手間を削減することが可能である。
また、テンキー画面250に関する音声操作コマンド群650は、画面遷移後のタッチパネル45の全体画像302(図43)の全部に対するOCR処理等ではなく、全体画像302の一部である差分画像303に対するOCR処理等によって、取得される。したがって、重複した認識処理を回避し、処理の効率化を図ることが可能である。
なお、画面遷移後のタッチパネル45の全体画像と画面遷移前のタッチパネル45の全体画像との差分画像がタッチパネル45の表示領域の全域に亘るときには、全く異なる種類の画面に遷移したものと判定されてもよい。そして、その時点までに生成されていたテキスト辞書が削除され、当該全域に関する音声操作コマンド群を含む新たなテキスト辞書が、当該全域に関する画像に対するOCR処理等に基づいて生成されてもよい。
<7.第7実施形態>
上記各実施形態においては、各段階の探索処理において、探索対象文字列に最初に合致した音声操作コマンドがユーザの所望の音声操作コマンドであると判定されることを前提としているが、これに限定されない。
たとえば、各段階の探索処理において、探索対象文字列との合致の有無にかかわらず、各段階のテキスト辞書(第iのテキスト辞書)に含まれる全ての音声操作コマンドとの同一性判定処理が順次に実行されてもよい。これによれば、当該全ての音声操作コマンドのうち2以上の音声操作コマンドが探索対象文字列に合致する場合において、当該2以上の音声操作コマンドを漏れなく抽出することが可能である。第7実施形態では、このような態様について説明する。
このように各段階の探索処理において、当該段階の第iのテキスト辞書の中から探索対象文字列に合致する2以上の音声操作コマンドが検出される場合、当該2以上の音声操作コマンドのいずれがユーザの所望の音声操作コマンドであるかについては、たとえばユーザからの操作入力(ここでは音声操作)に基づいて決定されればよい。具体的には、当該2以上の音声操作コマンドに対応する複数の選択肢の中からユーザによる所望の選択肢の選択が受け付けられればよい。
図47においては、基本メニュー画面210に対して、用紙に関する詳細設定画面280が重畳して表示されている。このような表示状況において操作用音声「えーよん(A4)」がユーザによって発声され、当該発声内容(音声入力)に応じた音声操作コマンドを探索する探索動作(2段階の探索動作等)が実行されると、4つの操作キー281〜284にそれぞれ対応する4つの選択肢(音声操作コマンド)「えーよん」が検出される。そして、図47に示されるように、当該4つの操作キー281〜284のそれぞれに対して吹き出し画像が関連付けて表示される。複数の吹き出し画像には、互いを識別するための番号(識別子)が付与されている。具体的には、操作キー281には「1」、操作キー282には「2」、操作キー283には「3」、操作キー284には「4」が付与されている。
ユーザがこれらの選択肢の中から所望の選択肢に対応する番号(たとえば、「さん(3)」)をさらに発声すると、MFP10が当該発声の内容を認識(音声認識)する。これによって、当該2以上の音声操作コマンドに対応する複数の選択肢の中からユーザによる所望の選択肢(たとえば、操作キー283)の選択(指定)が受け付けられる。MFP10は、指定された選択肢(受け付けられた所望の選択肢)に基づいて当該一の音声操作コマンドを決定し、当該一の音声操作コマンドに応じた処理を実行する。
<8.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
たとえば、上記各実施形態においては、各段階の探索処理において、ユーザによって発声された音声に関する音声認識結果および探索処理結果等は表示されていないが、これに限定されず、発声された音声に関する音声認識結果等が表示されてもよい。
具体的には、基本メニュー画面210が表示されている状況で、「えーと、ばいりつ」との音声が発声(入力)された場合、図48に示されるような内容が音声認識結果としてタッチパネル45に表示されればよい。図48においては、「次の音声が入力されました。「えーと、ばいりつ」」との文字列がタッチパネル45の中央に表示されており、音声認識結果の文字列として「えーと、ばいりつ」が示されている。
あるいは、図49のような内容が探索処理の処理結果(の一部)として表示されてもよい。
図49においては、音声入力に関する音声認識結果のうち、音声操作コマンドとして認識された文字列(換言すれば、探索処理の結果、音声認識データに含まれる文字列のうち一の音声操作コマンドに合致する文字列として探索(検出)された文字列)が示されている。具体的には、「下記の単語をコマンドとして認識しました。「ばいりつ」」との文言によって、音声入力「ばいりつ」が音声操作コマンドとして認識された旨が示されている。
さらに、音声入力に関する音声認識結果のうち、音声操作コマンドとして認識されなかった文字列(換言すれば、探索処理の結果、複数の音声操作コマンドのいずれにも合致しなかった文字列(探索処理によって探索(検出)されなかった文字列))が示されている。具体的には、「下記の単語はコマンドとして認識されませんでした。「えーと」」との文言によって、音声入力「えーと」が音声操作コマンドとして認識されなかった旨が示されている。
また、図50に示されるように、探索処理によって検出された一の音声操作コマンドに対応する表示要素(操作キー等)の画面内位置が示されてもよい。図50においては、「基本メニュー画面内のこの領域でヒットしました。」との文言がタッチパネル45の中央領域に表示されるとともに、当該一の音声操作コマンドに対応する操作キー215の位置が白抜き矢印で示されている。図50のような表示態様によれば、ユーザは、音声「ばいりつ」の発声による音声操作に応じて、「倍率」キー215の押下指示と同等の指示がMFP10によって受け付けられたことを確認できる。
あるいは、第3実施形態において、図22の操作画面512が表示されている状態で「したじちょうせい(下地調整)」(未表示の操作画面513(図23)内の操作キー545に対応する音声操作コマンド)が発声された場合には、当該音声操作コマンドに対応する当該操作キー545を最終的に操作するまでの本来の操作手順(手動押下操作時の操作手順)を取得(特定)するとともに、当該操作手順に基づく画面遷移等を再現するようにしてもよい。
具体的には、MFP10は、上記各実施形態のような2段階の探索処理を行った後、探索対象文字列「したじちょうせい」に合致する一の音声操作コマンド「したじちょうせい」を検出すると、まず、一の音声操作コマンド「したじちょうせい」に対応する操作キー545を特定する。また、MFP10は、現在の表示画面512においてスクロールキー562を1回押下して画面遷移を発生させること(操作画面513を表示させること)によって、操作キー545を表示できることをも特定する。すなわち、MFP10は、スクロールキー562の押下操作と、当該押下操作に伴う画面遷移後に表示される操作キー545の押下操作とを含む操作手順を取得する。なお、操作画面512におけるスクロールキー562の押下操作は、操作画面513を表示させる操作であり、スクロールキー562は、操作画面513を表示させる操作を行うための操作キーであるとも表現される。
そして、MFP10は、このような操作手順を動画的態様で(アニメーションとして)タッチパネル45に表示させる。
詳細には、まず、MFP10は、スクロールボタン562の強調表示を所定期間(たとえば1秒間)に亘って行うことによって、操作画面512にてスクロールボタン562の選択時と同じ動作が行われつつある旨を示す(図51参照)。
その後、MFP10は、操作画面512にてスクロールボタン562が押下されたときと同じイベント、すなわちスクロールボタン562の操作イベント(スクロールボタン562の代表位置が押下された旨の内部イベント)を(擬似的に)発生させる。
そして、MFP10は、当該内部イベントの発生に応じて、操作画面512(図51)から操作画面513(図23および図52参照)への画面遷移を実行する。なお、この画面遷移は、その遷移中において表示内容が徐々にスクロールして遷移する態様が好ましい)。
この画面遷移が完了すると、MFP10は、今度は、機能ボタン545の強調表示(特定色での表示、および/または点滅表示等)を所定期間(たとえば1秒)に亘って行うことによって、操作画面513内の機能ボタン(下地調整ボタン)545の選択時と同じ動作が行われつつある旨を示す(図52参照)。
その後、MFP10は、機能ボタン545の操作イベント(機能ボタン545の代表位置が押下された旨の内部イベント等)を(擬似的に)発生させる。
そして、MFP10は、当該内部イベントの発生に応じて、機能ボタン545の押下に応じて表示される詳細表示画面(不図示)を操作画面513に重畳させて表示する。
このようにして、探索された音声操作コマンドに対応する操作キーの押下イベントを発生させることを伴いつつ、動画的態様での表示が行われるようにしてもよい。
あるいは、図22の操作画面512が表示されている状況で「したじちょうせい(下地調整)」が発声された場合(第3実施形態参照)には、図53の表示画像がタッチパネル45に表示されることによって探索処理結果が示されてもよい。図53においては、操作画面512(図22)に表示されている機能ボタン531〜538と操作画面513(図23)に表示されている機能ボタン539〜546との双方を含む多数の機能ボタン539〜547が横方向に一列に配置されている。なお、図53の表示画像においては、当該多数の機能ボタンを一列に表示するため、操作画面512に対応する領域は、図22と比較して縮小して表示されている。
図53においては、当該多数の機能ボタンが横方向に一列に配置された機能ボタン列のうち、探索処理にて探索された文字列に対応する操作キー545が音声操作による操作対象キーとして明示されている。具体的には、「所望の設定(「下地調整」)はこの位置でみつかりました。」との文言を含む吹き出し画像が、当該機能ボタン列内での操作キー545の位置を指し示しつつ表示されている。
また、上記各実施形態においては、MFP10が音声認識処理を実行し、当該音声認識処理の処理結果をMFP10がMFP10自身から取得しているが、これに限定されない。たとえば、MFP10と連携する携帯情報端末(または外部サーバ)によって音声認識処理が実行され、MFP10は、当該携帯情報端末等から音声認識処理の処理結果を取得してもよい。
10 MFP
210 基本メニュー画面
230 倍率設定画面
250 テンキー画面
270 警告画面
280 詳細設定画面
303 差分画像
330 プルダウンリスト画面
412 (タブ形式表示モードの)原稿グループ画面
413 (タブ形式表示モードの)レイアウトグループ画面
512,513 (マップ形式表示モードの)操作画面
M1 第1のコマンド群
M2 第2のコマンド群

Claims (31)

  1. 画像処理装置であって、
    表示手段と、
    少なくとも1つの操作画面が前記表示手段に表示されている状態にて発声された音声に関する音声認識結果である音声認識データを取得する取得手段と、
    前記音声認識データに基づき探索対象文字列を決定する決定手段と、
    前記画像処理装置に関する第1の画面に関する音声操作コマンド群と前記第1の画面に対するユーザ操作に応じて表示される第2の画面に関する音声操作コマンド群とを含む複数の音声操作コマンドのうち前記探索対象文字列に合致する一の音声操作コマンドを探索する探索処理を実行する探索手段と、
    前記探索手段によって探索された前記一の音声操作コマンドに応じた処理を実行するコマンド実行手段と、
    を備え、
    前記探索手段は、
    前記複数の音声操作コマンドのうち、第1順位の探索優先順位が付与された第1のコマンド群を探索範囲とする第1の探索処理を実行し、
    前記第1のコマンド群を探索範囲とする前記第1の探索処理によって前記探索対象文字列が検出されない場合、前記複数の音声操作コマンドのうち、第2順位の探索優先順位が付与された第2のコマンド群を探索範囲とする第2の探索処理を実行し、
    前記第1のコマンド群は、前記第1の画面と前記第2の画面との2つの操作画面のうち、前記音声の発声時にて表示中の画面であり且つ前記音声の発声時までに最も新しく呼び出された画面である第1優先画面に関する音声操作コマンド群であり、
    前記第2のコマンド群は、前記2つの操作画面のうち前記第1優先画面とは異なる第2優先画面に関する音声操作コマンド群であることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記第1優先画面は、前記第1の画面に対するユーザ操作に応じて、前記音声の発声時にて表示されている前記第2の画面であり、
    前記第2優先画面は、前記第1の画面であることを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記2つの操作画面は、互いに異なる階層の画面であり、
    前記取得手段は、前記2つの操作画面の双方が前記表示手段に表示されている状態にて発声された前記音声に関する前記音声認識結果を取得することを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記取得手段は、前記2つの操作画面の双方が前記表示手段に表示されており且つ前記第1の画面の少なくとも一部が前記第2の画面に隠されて表示されている状態にて発声された前記音声に関する前記音声認識結果を取得し、
    前記探索手段は、前記第1の画面に対応する前記第2のコマンド群から、前記第2の画面に隠されている表示要素に対応するコマンドを除外した状態で、前記第2のコマンド群に関する前記第2の探索処理を実行することを特徴とする画像処理装置。
  5. 請求項3に記載の画像処理装置において、
    前記取得手段は、前記2つの操作画面の双方が前記表示手段に表示されており且つ前記第1の画面の少なくとも一部は前記第2の画面に隠されて表示されている状態にて発声された前記音声に関する前記音声認識結果を取得し、
    前記画像処理装置は、
    前記第2のコマンド群に関する前記第2の探索処理の実行に際して、前記第2の画面に隠されている表示要素に対応するコマンドを前記第1の画面に対応する前記第2のコマンド群から除外するか否かを設定する設定手段、
    をさらに備え、
    前記探索手段は、前記設定手段による設定内容に基づいて前記第2のコマンド群に関する前記第2の探索処理を実行することを特徴とする画像処理装置。
  6. 請求項2に記載の画像処理装置において、
    前記表示手段は、前記2つの操作画面を順次に表示し、
    前記取得手段は、前記表示手段において前記2つの操作画面のうちの前記第1の画面が表示されておらず且つ前記第2の画面が表示されている状態にて発声された前記音声に関する前記音声認識結果を取得することを特徴とする画像処理装置。
  7. 請求項1に記載の画像処理装置において、
    前記表示手段は、前記2つの操作画面を順次に表示し、
    前記取得手段は、前記表示手段において前記2つの操作画面のうちの前記第1の画面が表示されており且つ前記第2の画面が未だ表示されていない状態にて発声された前記音声に関する前記音声認識結果を取得し、
    前記第1優先画面は、前記第2の画面の呼出元の画面であって前記音声の発声時に表示されている前記第1の画面であり、
    前記第2優先画面は、前記音声の発声時には未だ表示されていない前記第2の画面であって、前記第1の画面に対するユーザ操作に応じて表示される前記第2の画面であることを特徴とする画像処理装置。
  8. 請求項7に記載の画像処理装置において、
    前記音声の発声時にて未だ表示されていない前記第2の画面に関するコマンド群である前記第2のコマンド群を探索範囲とする前記第2の探索処理を実行するか否かを設定する設定手段、
    をさらに備え、
    前記探索手段は、前記第2のコマンド群を探索範囲とする前記第2の探索処理を実行する旨が設定されていることを条件として、前記第2の探索処理を実行することを特徴とする画像処理装置。
  9. 請求項7または請求項8に記載の画像処理装置において、
    前記表示手段は、前記探索対象文字列に合致する前記一の音声操作コマンドが前記第2のコマンド群の中から検出された場合、前記一の音声操作コマンドに対応する操作キーを含む前記第2の画面を表示させる操作を行うための第1の操作キーを特定し、前記第1の操作キーの操作イベントを発生させることによって、前記第2の画面を表示させることを特徴とする画像処理装置。
  10. 請求項9に記載の画像処理装置において、
    前記表示手段は、前記第1の操作キーの前記操作イベントの発生に応じて表示された前記第2の画面内に含まれる複数の操作キーのうち、前記一の音声操作コマンドに対応する第2の操作キーを強調表示する表示処理を実行し、
    前記コマンド実行手段は、前記第2の操作キーの操作イベントを発生させることによって、前記一の音声操作コマンドに応じた処理を実行することを特徴とする画像処理装置。
  11. 請求項2に記載の画像処理装置において、
    前記探索手段は、前記第2の画面が警告を通知する警告画面である場合には、前記第2の画面に関する音声操作コマンド群である前記第1のコマンド群を探索範囲とする前記第1の探索処理によって前記探索対象文字列が検出されないときであっても、少なくとも前記警告が解除されるまでは前記第2のコマンド群を探索範囲とする前記第2の探索処理を実行しないことを特徴とする画像処理装置。
  12. 請求項1から請求項11のいずれかに記載の画像処理装置において、
    前記探索手段は、前記画像処理装置のジョブ実行状態に基づき実行不可能であると判定される操作コマンドを前記第1のコマンド群および/または前記第2のコマンド群から除外して、前記探索処理を実行することを特徴とする画像処理装置。
  13. 請求項1から請求項11のいずれかに記載の画像処理装置において、
    前記探索手段は、前記画像処理装置におけるユーザ認証状態に基づき実行不可能であると判定される操作コマンドを前記第1のコマンド群および/または前記第2のコマンド群から除外して、前記探索処理を実行することを特徴とする画像処理装置。
  14. 請求項1から請求項13のいずれかに記載の画像処理装置において、
    前記探索手段は、前記第1のコマンド群に含まれる2以上の操作コマンドのそれぞれに付与される優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行するとともに、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した操作コマンドを前記一の音声操作コマンドとして特定することによって、前記第1のコマンド群に関する前記第1の探索処理を実行し、
    前記コマンド実行手段は、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した前記一の音声操作コマンドに応じた処理を実行することを特徴とする画像処理装置。
  15. 請求項14に記載の画像処理装置において、
    前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに対して予め定められた優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする画像処理装置。
  16. 請求項14に記載の画像処理装置において、
    前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記第1優先画面内での対応操作キーの表示位置に基づき決定された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする画像処理装置。
  17. 請求項14に記載の画像処理装置において、
    前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記画像処理装置のジョブ実行状態が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする画像処理装置。
  18. 請求項14に記載の画像処理装置において、
    前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記画像処理装置におけるユーザ認証状態が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする画像処理装置。
  19. 請求項14に記載の画像処理装置において、
    前記探索手段は、前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記2以上の操作コマンドのそれぞれに関する使用履歴が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする画像処理装置。
  20. 請求項14に記載の画像処理装置において、
    前記探索手段は、前記第1のコマンド群に含まれる前記2以上の操作コマンドのそれぞれに付与される優先順位であって前記2以上の操作コマンドのそれぞれに対応する各操作キーの使用履歴が反映された優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行することを特徴とする画像処理装置。
  21. 請求項14から請求項20のいずれかに記載の画像処理装置において、
    前記探索手段は、前記画像処理装置の負荷が一定程度以上であると判定される場合、所定程度より小さな優先度を有する操作コマンドを前記第1のコマンド群から除外して、前記第1のコマンド群に関する前記第1の探索処理を実行することを特徴とする画像処理装置。
  22. 請求項1から請求項13のいずれかに記載の画像処理装置において、
    前記探索手段は、前記第2のコマンド群に含まれる2以上の操作コマンドのそれぞれに付与される優先順位に従って前記2以上の操作コマンドのそれぞれと前記探索対象文字列との同一性判定処理を順次に実行するとともに、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した操作コマンドを前記一の音声操作コマンドとして特定することによって、前記第2のコマンド群に関する前記第2の探索処理を実行し、
    前記コマンド実行手段は、前記2以上の操作コマンドのうち最初に前記探索対象文字列に合致した前記一の音声操作コマンドに応じた処理を実行することを特徴とする画像処理装置。
  23. 請求項1から請求項22のいずれかに記載の画像処理装置において、
    前記第1のコマンド群に関する前記第1の探索処理において、前記第1のコマンド群の中から前記探索対象文字列に合致する2以上のコマンドが検出される場合、当該2以上のコマンドに対応する複数の選択肢の中からユーザによる所望の選択肢の選択を受け付ける受付手段、
    をさらに備え、
    前記探索手段は、前記受付手段によって受け付けられた前記所望の選択肢に基づいて、前記一の音声操作コマンドを決定し、
    前記コマンド実行手段は、前記2以上のコマンドのうち前記一の音声操作コマンドに応じた処理を実行することを特徴とする画像処理装置。
  24. 請求項1から請求項23のいずれかに記載の画像処理装置において、
    前記第1の画面に関する音声操作コマンド群と前記第2の画面に関する音声操作コマンド群とが予め登録されたコマンド辞書を格納する格納手段、
    をさらに備え、
    前記探索手段は、前記コマンド辞書に基づき前記第1のコマンド群を取得して前記第1の探索処理を実行し、前記コマンド辞書に基づき前記第2のコマンド群を取得して前記第2の探索処理を実行することを特徴とする画像処理装置。
  25. 請求項1から請求項23のいずれかに記載の画像処理装置において、
    前記操作画面の画像に含まれる文字を認識する文字認識処理を実行する文字認識手段、
    をさらに備え、
    前記探索手段は、前記第1の画面と前記第2の画面とのそれぞれに関する文字認識処理の処理結果に基づき、前記第1のコマンド群と前記第2のコマンド群とを特定して、前記探索処理を実行することを特徴とする画像処理装置。
  26. 請求項3から請求項5のいずれかに記載の画像処理装置において、
    前記操作画面の画像に含まれる文字を認識する文字認識処理を実行する文字認識手段、
    をさらに備え、
    前記表示手段は、前記第1の画面を含み且つ前記第2の画面を含まない第1の画像を表示している第1の表示状態から、前記第1の画面を含み且つ前記第2の画面をも含む第2の画像を表示している第2の表示状態へと遷移し、
    前記探索手段は、前記第1の表示状態における前記第1の画像と前記第2の表示状態における前記第2の画像との差分画像を生成し、当該差分画像に対する文字認識処理の処理結果に基づき、前記第2の画面に関するコマンド群を特定して、前記探索処理を実行することを特徴とする画像処理装置。
  27. 請求項1から請求項26のいずれかに記載の画像処理装置において、
    前記表示手段は、前記音声認識データに含まれる文字列のうち前記一の音声操作コマンドに合致する文字列として探索された文字列を、前記探索処理の処理結果として表示することを特徴とする画像処理装置。
  28. 請求項1から請求項27のいずれかに記載の画像処理装置において、
    前記表示手段は、前記音声認識データに含まれる文字列のうち前記複数の音声操作コマンドのいずれにも合致しなかった文字列を、前記探索処理の処理結果として表示することをを特徴とする画像処理装置。
  29. 請求項1から請求項28のいずれかに記載の画像処理装置において、
    前記表示手段は、前記探索処理によって検出された前記一の音声操作コマンドに対応する表示要素の画面内位置を示すことを特徴とする画像処理装置。
  30. 画像処理装置の制御方法であって、
    a)少なくとも1つの操作画面が画像処理装置の表示手段に表示されている状態にて発声された音声に関する音声認識結果である音声認識データを取得し、前記音声認識データに基づき探索対象文字列を決定するステップと、
    b)前記画像処理装置に関する第1の画面に関する音声操作コマンド群と前記第1の画面に対するユーザ操作に応じて表示される第2の画面に関する音声操作コマンド群とを含む複数の音声操作コマンドのうち前記探索対象文字列に合致する一の音声操作コマンドを探索する探索処理を実行するステップと、
    c)前記ステップb)にて探索された前記一の音声操作コマンドに応じた処理を実行するステップと、
    を備え、
    前記ステップb)は、
    b−1)前記複数の音声操作コマンドのうち、第1順位の探索優先順位が付与された第1のコマンド群を探索範囲とする第1の探索処理を実行するステップと、
    b−2)前記第1のコマンド群を探索範囲とする前記第1の探索処理によって前記探索対象文字列が検出されない場合、前記複数の音声操作コマンドのうち、第2順位の探索優先順位が付与された第2のコマンド群を探索範囲とする第2の探索処理を実行するステップと、
    を備え、
    前記第1のコマンド群は、前記第1の画面と前記第2の画面との2つの操作画面のうち、前記音声の発声時にて表示中の画面であり且つ前記音声の発声時までに最も新しく呼び出された画面である第1優先画面に関する音声操作コマンド群であり、
    前記第2のコマンド群は、前記2つの操作画面のうち前記第1優先画面とは異なる第2優先画面に関する音声操作コマンド群であることを特徴とする制御方法。
  31. 請求項30に記載の制御方法を、前記画像処理装置に内蔵されたコンピュータに実行させるプログラム。
JP2018027205A 2018-02-19 2018-02-19 画像処理装置、画像処理装置の制御方法、およびプログラム Active JP7003720B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018027205A JP7003720B2 (ja) 2018-02-19 2018-02-19 画像処理装置、画像処理装置の制御方法、およびプログラム
US16/272,360 US10567600B2 (en) 2018-02-19 2019-02-11 Image processing device, method for controlling image processing device, and program
CN201910113397.8A CN110177185A (zh) 2018-02-19 2019-02-14 图像处理装置、图像处理装置的控制方法及记录介质
EP19158045.5A EP3528244B1 (en) 2018-02-19 2019-02-19 Image processing device, method for controlling image processing device, and program
US16/740,629 US10911618B2 (en) 2018-02-19 2020-01-13 Image processing device for receiving an operation instruction by a voice, method for controlling image processing device, and program
JP2021211807A JP7367750B2 (ja) 2018-02-19 2021-12-27 画像処理装置、画像処理装置の制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018027205A JP7003720B2 (ja) 2018-02-19 2018-02-19 画像処理装置、画像処理装置の制御方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021211807A Division JP7367750B2 (ja) 2018-02-19 2021-12-27 画像処理装置、画像処理装置の制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019144759A true JP2019144759A (ja) 2019-08-29
JP7003720B2 JP7003720B2 (ja) 2022-01-21

Family

ID=65494048

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018027205A Active JP7003720B2 (ja) 2018-02-19 2018-02-19 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2021211807A Active JP7367750B2 (ja) 2018-02-19 2021-12-27 画像処理装置、画像処理装置の制御方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021211807A Active JP7367750B2 (ja) 2018-02-19 2021-12-27 画像処理装置、画像処理装置の制御方法、およびプログラム

Country Status (4)

Country Link
US (2) US10567600B2 (ja)
EP (1) EP3528244B1 (ja)
JP (2) JP7003720B2 (ja)
CN (1) CN110177185A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137607A1 (ja) * 2018-12-27 2020-07-02 ソニー株式会社 音声発話に基いてアイテムを選択する表示制御装置
JP2021081505A (ja) * 2019-11-15 2021-05-27 コニカミノルタ株式会社 画像処理装置及び制御方法
JP2021091182A (ja) * 2019-12-12 2021-06-17 コニカミノルタ株式会社 画像処理装置及び制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7003720B2 (ja) 2018-02-19 2022-01-21 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
KR20190136832A (ko) * 2018-05-31 2019-12-10 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환
JP7182945B2 (ja) * 2018-08-09 2022-12-05 キヤノン株式会社 画像形成システム、画像形成装置および画像形成装置の制御方法
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
JP7430034B2 (ja) * 2019-04-26 2024-02-09 シャープ株式会社 画像形成装置、画像形成方法及びプログラム
JP7418076B2 (ja) * 2019-07-16 2024-01-19 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法
CN111968640B (zh) * 2020-08-17 2024-08-13 北京小米松果电子有限公司 语音控制方法、装置、电子设备及存储介质
JP2023031795A (ja) * 2021-08-25 2023-03-09 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、およびプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08220943A (ja) * 1995-02-14 1996-08-30 Ricoh Co Ltd 画像形成装置
JPH0950291A (ja) * 1995-08-04 1997-02-18 Sony Corp 音声認識装置及びナビゲーシヨン装置
JPH11337364A (ja) * 1998-05-29 1999-12-10 Clarion Co Ltd ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP2001051694A (ja) * 1999-08-10 2001-02-23 Fujitsu Ten Ltd 音声認識装置
JP2004061576A (ja) * 2002-07-25 2004-02-26 Denso Corp 音声制御装置
JP2005257903A (ja) * 2004-03-10 2005-09-22 Canon Inc 画像形成装置および音声入力処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP2006171305A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd ナビゲーション装置およびナビゲーション装置における音声認識による情報の検索方法
JP2006181874A (ja) * 2004-12-27 2006-07-13 Fuji Xerox Co Ltd 画像形成装置及び画像処理方法
JP2006289514A (ja) * 2005-04-06 2006-10-26 Yaskawa Electric Corp ロボット制御システムおよび制御方法
JP2008027009A (ja) * 2006-07-18 2008-02-07 Canon Inc ユーザインタフェース提示装置および方法
JP2009109587A (ja) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 音声認識制御装置
JP2009230068A (ja) * 2008-03-25 2009-10-08 Denso Corp 音声認識装置及びナビゲーションシステム
JP2010049432A (ja) * 2008-08-20 2010-03-04 Konica Minolta Business Technologies Inc 表示画面制御装置およびその方法並びに情報処理装置
JP2014075139A (ja) * 1998-06-23 2014-04-24 Masanobu Kujirada 風景中の物体等のユーザーによる発見又は認識を支援するシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263307A (ja) 2001-11-29 2003-09-19 Nippon Telegr & Teleph Corp <Ntt> ハイパーテキスト音声制御方法、その装置およびプログラム
KR101502003B1 (ko) 2008-07-08 2015-03-12 엘지전자 주식회사 이동 단말기 및 그 텍스트 입력 방법
JP4811507B2 (ja) 2009-08-25 2011-11-09 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム、画像処理装置及び情報処理装置
US8996386B2 (en) 2011-01-19 2015-03-31 Denso International America, Inc. Method and system for creating a voice recognition database for a mobile device using image processing and optical character recognition
JP5812758B2 (ja) * 2011-08-22 2015-11-17 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
KR101330671B1 (ko) * 2012-09-28 2013-11-15 삼성전자주식회사 전자장치, 서버 및 그 제어방법
KR102019719B1 (ko) * 2013-01-17 2019-09-09 삼성전자 주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
US10203933B2 (en) 2014-11-06 2019-02-12 Microsoft Technology Licensing, Llc Context-based command surfacing
JP7003720B2 (ja) 2018-02-19 2022-01-21 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08220943A (ja) * 1995-02-14 1996-08-30 Ricoh Co Ltd 画像形成装置
JPH0950291A (ja) * 1995-08-04 1997-02-18 Sony Corp 音声認識装置及びナビゲーシヨン装置
JPH11337364A (ja) * 1998-05-29 1999-12-10 Clarion Co Ltd ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP2014075139A (ja) * 1998-06-23 2014-04-24 Masanobu Kujirada 風景中の物体等のユーザーによる発見又は認識を支援するシステム
JP2001051694A (ja) * 1999-08-10 2001-02-23 Fujitsu Ten Ltd 音声認識装置
JP2004061576A (ja) * 2002-07-25 2004-02-26 Denso Corp 音声制御装置
JP2005257903A (ja) * 2004-03-10 2005-09-22 Canon Inc 画像形成装置および音声入力処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP2006171305A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd ナビゲーション装置およびナビゲーション装置における音声認識による情報の検索方法
JP2006181874A (ja) * 2004-12-27 2006-07-13 Fuji Xerox Co Ltd 画像形成装置及び画像処理方法
JP2006289514A (ja) * 2005-04-06 2006-10-26 Yaskawa Electric Corp ロボット制御システムおよび制御方法
JP2008027009A (ja) * 2006-07-18 2008-02-07 Canon Inc ユーザインタフェース提示装置および方法
JP2009109587A (ja) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 音声認識制御装置
JP2009230068A (ja) * 2008-03-25 2009-10-08 Denso Corp 音声認識装置及びナビゲーションシステム
JP2010049432A (ja) * 2008-08-20 2010-03-04 Konica Minolta Business Technologies Inc 表示画面制御装置およびその方法並びに情報処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137607A1 (ja) * 2018-12-27 2020-07-02 ソニー株式会社 音声発話に基いてアイテムを選択する表示制御装置
US11941322B2 (en) 2018-12-27 2024-03-26 Saturn Licensing Llc Display control device for selecting item on basis of speech
JP2021081505A (ja) * 2019-11-15 2021-05-27 コニカミノルタ株式会社 画像処理装置及び制御方法
JP2021091182A (ja) * 2019-12-12 2021-06-17 コニカミノルタ株式会社 画像処理装置及び制御方法

Also Published As

Publication number Publication date
EP3528244A1 (en) 2019-08-21
JP7003720B2 (ja) 2022-01-21
US20200220987A1 (en) 2020-07-09
JP2022048149A (ja) 2022-03-25
US20190260884A1 (en) 2019-08-22
CN110177185A (zh) 2019-08-27
EP3528244B1 (en) 2021-09-29
JP7367750B2 (ja) 2023-10-24
US10911618B2 (en) 2021-02-02
US10567600B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
JP7367750B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2009116841A (ja) 入力装置
JP7159608B2 (ja) 操作画面の表示装置、画像処理装置及びプログラム
JP2007188479A (ja) スキャン画像管理装置
US11836442B2 (en) Information processing apparatus, method, and storage medium for associating metadata with image data
JP2006189924A (ja) 画像表示プログラム及び画像表示装置
US20060293896A1 (en) User interface apparatus and method
JP4645731B2 (ja) 画像処理装置、画像データ管理方法、およびコンピュータプログラム
JP5383089B2 (ja) 情報処理装置及びその制御方法、並びに制御プログラム
JP2011193139A (ja) 画像形成装置
JP5366647B2 (ja) 情報処理装置及び情報処理方法
JP4520262B2 (ja) 画像形成装置、画像形成方法、その方法をコンピュータに実行させるプログラム、画像処理装置、および画像処理システム
JP6992332B2 (ja) 画像処理システム、画像処理装置、端末装置及びプログラム
JP2007336008A (ja) 画像検索装置および方法
JP2007048061A (ja) 文字処理装置、文字処理方法及び記録媒体
JP6589508B2 (ja) 情報処理装置、画像形成装置及びプログラム
JP2020181044A (ja) 情報処理装置、その制御方法、およびプログラム
JP2020134745A (ja) 情報処理装置及びプログラム
JP7383885B2 (ja) 情報処理装置及びプログラム
JP5942649B2 (ja) 画像形成装置及びプログラム
JP6225775B2 (ja) 画像形成装置、検索方法、および制御プログラム
US9483163B2 (en) Information display apparatus, information display method, and computer readable medium
JP4960401B2 (ja) 画像表示プログラム及び画像表示装置
JP2010282272A (ja) 文字認識方法、文字認識プログラム及び文字認識装置
JP2006178543A (ja) 画像処理方法、画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213

R150 Certificate of patent or registration of utility model

Ref document number: 7003720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150