JP2009116841A - Input device - Google Patents

Input device Download PDF

Info

Publication number
JP2009116841A
JP2009116841A JP2008045267A JP2008045267A JP2009116841A JP 2009116841 A JP2009116841 A JP 2009116841A JP 2008045267 A JP2008045267 A JP 2008045267A JP 2008045267 A JP2008045267 A JP 2008045267A JP 2009116841 A JP2009116841 A JP 2009116841A
Authority
JP
Japan
Prior art keywords
input
voice instruction
instruction
unit
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008045267A
Other languages
Japanese (ja)
Inventor
Shun Setsu
俊 薛
Shinkin Ri
▲しん▼欣 李
Ning Le
寧 楽
Atou Go
亜棟 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2009116841A publication Critical patent/JP2009116841A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an input device capable of inputting a variety of information easily and quickly. <P>SOLUTION: The input device capable of inputting a variety of information easily and quickly is provided. A handwritten character input means 11 performs handwriting input of characters from a touch panel 10 to be a handwritten character input part 14 and the characters are recognized by a control unit 7 functioning as a handwritten character recognition part 15. In a sound instruction input means 12, an instruction is sound input through a sound input part 4 to be a sound instruction input part 16 and the instruction is recognized by the control unit 7 functioning as a sound instruction recognition part 17. The control unit 7 functioning also as a selection means 13 selectively operates the handwritten character input means 11 and the sound instruction input means 12. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、情報を入力するための入力装置に関する。   The present invention relates to an input device for inputting information.

情報処理機器には、情報を入力するための入力装置が備えられる。特許文献１には、文字を入力するための文字入力装置が開示される。この文字入力装置では、手書きによる文字入力と音声による文字入力とを併用し、総合的に入力文字を判断している。   The information processing device is provided with an input device for inputting information. Patent Document 1 discloses a character input device for inputting characters. In this character input device, character input by handwriting and character input by voice are used together, and input characters are comprehensively determined.

入力装置には、文字に限らず、種々の情報が入力される。このような入力装置は、種々の情報を容易かつ迅速に入力可能であることが望まれる。   Not only characters but also various information are input to the input device. Such an input device is desired to be able to input various information easily and quickly.

特開平７−３１１６５６号公報JP-A-7-31656

本発明の目的は、種々の情報を容易かつ迅速に入力することができる入力装置を提供することである。   The objective of this invention is providing the input device which can input various information easily and rapidly.

本発明は、文字を手書き入力するための手書き文字入力部と、前記手書き文字入力部から入力される文字を認識する手書き文字認識部とを備える手書き文字入力手段と、
指示を音声入力するための音声指示入力部と、前記音声指示入力部から入力される指示を認識する音声指示認識部とを備える音声指示入力手段と、
前記手書き文字入力手段および前記音声指示入力手段を選択的に動作させる選択手段とを含むことを特徴とする入力装置である。 The present invention is a handwritten character input means comprising a handwritten character input unit for inputting characters by handwriting, and a handwritten character recognition unit for recognizing characters input from the handwritten character input unit;
A voice instruction input means including a voice instruction input unit for inputting an instruction by voice; and a voice instruction recognition unit for recognizing an instruction input from the voice instruction input unit;
An input device comprising: selection means for selectively operating the handwritten character input means and the voice instruction input means.

また本発明は、前記音声指示認識部は、指示を表す単語だけを記憶する音声指示認識辞書を有し、前記音声指示認識辞書に記憶される単語に基づいて、前記音声指示入力部から入力される指示を認識することを特徴とする。   Further, according to the present invention, the voice instruction recognition unit has a voice instruction recognition dictionary that stores only words representing instructions, and is input from the voice instruction input unit based on words stored in the voice instruction recognition dictionary. It is characterized by recognizing instructions.

また本発明は、前記指示は、送信の指示を含み、
前記音声指示入力手段は、
送信先の名前と送信先の識別情報とを関連付ける送信先情報が予め登録される送信先登録簿を有し、前記送信先登録簿に登録される送信先情報と前記音声指示認識部による認識結果とに基づいて、送信先の識別情報を特定する送信先特定部をさらに備えることを特徴とする。 According to the present invention, the instruction includes a transmission instruction,
The voice instruction input means includes
A transmission destination registration list in which transmission destination information for associating a transmission destination name and transmission destination identification information is registered in advance, and transmission destination information registered in the transmission destination registration list and a recognition result by the voice instruction recognition unit And a transmission destination specifying unit for specifying the identification information of the transmission destination.

また本発明は、前記音声指示認識部は、指示を表す単語だけを記憶する音声指示認識辞書を有し、前記音声指示認識辞書に記憶される単語に基づいて、前記音声指示入力部から入力される指示を認識し、
前記音声指示認識辞書には、送信先の名前を、指示を表す単語として記憶することを特徴とする。 Further, according to the present invention, the voice instruction recognition unit has a voice instruction recognition dictionary that stores only words representing instructions, and is input from the voice instruction input unit based on words stored in the voice instruction recognition dictionary. Recognize the instructions
The voice instruction recognition dictionary stores a destination name as a word representing an instruction.

また本発明は、前記音声指示認識部は、複数の指示が前記音声指示入力部から入力されるとき、前記音声指示入力部から入力される各指示を個別に認識することを特徴とする。   Further, the present invention is characterized in that the voice instruction recognition unit individually recognizes each instruction input from the voice instruction input unit when a plurality of instructions are input from the voice instruction input unit.

本発明によれば、手書き文字入力手段によって文字が手書き入力され、音声指示入力手段によって指示が音声入力される。手書き文字入力手段では、手書き文字入力部から文字が手書き入力され、この文字が手書き文字認識部によって認識される。音声指示入力手段では、音声指示入力部から指示が音声入力され、この指示が音声指示認識部によって認識される。選択手段は、手書き文字入力手段および音声指示入力手段を選択的に動作させる。このような本発明では、入力情報に応じて、手書き文字入力手段および音声指示入力手段を選択的に動作させ、これによって情報を容易かつ迅速に入力することができる。   According to the present invention, characters are handwritten by the handwritten character input means, and instructions are voiced by the voice instruction input means. In the handwritten character input means, a character is input by handwriting from the handwritten character input unit, and the character is recognized by the handwritten character recognition unit. In the voice instruction input means, an instruction is inputted by voice from the voice instruction input unit, and this instruction is recognized by the voice instruction recognition unit. The selection means selectively operates the handwritten character input means and the voice instruction input means. According to the present invention as described above, the handwritten character input means and the voice instruction input means are selectively operated in accordance with the input information, whereby information can be input easily and quickly.

入力情報の１つに挙げられる文字には、同音異字が多くある。このような文字を音声入力する場合、同一の音声に対して、多くの文字が候補として挙がる。操作者は、多くの文字の中から所望の文字を選択する必要がある。したがって所望の文字を入力するのに手間を要する。これに対して、文字を手書き入力する場合、類似度の高い少数の文字が候補として挙がる。操作者は、少数の文字の中から所望の文字を選択すればよい。したがって所望の文字を入力するのに手間を要しない。このような点を考慮して本発明では、文字を入力する場合は、選択手段によって手書き文字入力手段を動作させ、これによって文字を容易かつ迅速に入力することができる。   Characters listed as one of the input information have many homophones. When inputting such characters by voice, many characters are listed as candidates for the same voice. The operator needs to select a desired character from many characters. Therefore, it takes time to input a desired character. On the other hand, when inputting characters by hand, a small number of characters with high similarity are listed as candidates. The operator may select a desired character from a small number of characters. Therefore, it is not necessary to input a desired character. In consideration of such points, in the present invention, when inputting a character, the handwritten character input unit is operated by the selection unit, whereby the character can be input easily and quickly.

文字以外の入力情報として挙げられる指示には、限られた単語しか使用されない。このような指示を音声入力する場合は、限られた単語に基づいて指示を認識すればよい。したがって文字を音声入力する場合のような問題は生じない。また指示を音声入力するのは、指示を手書き入力するのに比べて容易である。このような点を考慮して本発明では、指示を入力する場合は、選択手段によって音声指示入力手段を動作させ、これによって指示を容易かつ迅速に入力することができる。   Only a limited number of words are used for the instructions given as input information other than characters. When inputting such an instruction by voice, the instruction may be recognized based on a limited word. Therefore, there is no problem as in the case of inputting characters by voice. Also, it is easier to input an instruction by voice than to input an instruction by handwriting. In consideration of such points, in the present invention, when inputting an instruction, the voice instruction input unit is operated by the selection unit, whereby the instruction can be input easily and quickly.

手書き文字入力手段および音声指示入力手段は、選択手段によって選択的に動作される。文字は、手書き文字入力手段によって文字として入力される。指示は、音声指示入力手段によって指示として入力される。したがって誤入力を防ぐことができる。   The handwritten character input means and the voice instruction input means are selectively operated by the selection means. Characters are input as characters by handwritten character input means. The instruction is input as an instruction by the voice instruction input unit. Therefore, erroneous input can be prevented.

本発明によれば、音声指示認識部では、音声指示認識辞書に記憶される単語に基づいて、音声指示入力部から入力される指示が認識される。音声指示認識辞書には、指示を表す単語だけが記憶される。したがって指示の認識に要する時間を短縮することができる。   According to the present invention, the voice instruction recognition unit recognizes an instruction input from the voice instruction input unit based on words stored in the voice instruction recognition dictionary. Only words representing instructions are stored in the voice instruction recognition dictionary. Therefore, the time required for recognizing the instruction can be shortened.

本発明によれば、送信先登録簿には、送信先の名前と送信先の識別情報とを関連付ける送信先情報が予め登録される。送信先特定部は、送信先登録簿に登録される送信先情報と音声指示認識部による認識結果とに基づいて、送信先の識別情報を特定する。このような本発明では、送信先の名前を指示として音声入力することで、送信先の識別情報が特定される。したがって送信の指示とともに送信先の名前を音声入力することで、所望の送信先に情報を容易に送信することができる。   According to the present invention, the destination information that associates the name of the destination with the identification information of the destination is registered in advance in the destination registration list. The transmission destination specifying unit specifies transmission destination identification information based on the transmission destination information registered in the transmission destination registration list and the recognition result by the voice instruction recognition unit. In the present invention, the identification information of the transmission destination is specified by inputting the name of the transmission destination by voice. Therefore, information can be easily transmitted to a desired destination by inputting the name of the destination together with a transmission instruction.

本発明によれば、音声指示認識部では、音声指示認識辞書に記憶される単語に基づいて、音声指示入力部から入力される指示が認識される。音声指示認識辞書には、指示を表す単語だけが記憶される。したがって指示の認識に要する時間を短縮することができる。音声認識辞書には、送信先の名前も、指示を表す単語として記憶される。したがって送信先の名前も、指示として音声入力することができ、利便性を向上することができる。   According to the present invention, the voice instruction recognition unit recognizes an instruction input from the voice instruction input unit based on words stored in the voice instruction recognition dictionary. Only words representing instructions are stored in the voice instruction recognition dictionary. Therefore, the time required for recognizing the instruction can be shortened. In the speech recognition dictionary, the name of the transmission destination is also stored as a word representing an instruction. Therefore, the name of the transmission destination can also be input as an instruction, and convenience can be improved.

本発明によれば、複数の指示が音声指示入力部から入力されるとき、音声指示認識部では、音声指示入力部から入力される各指示を個別に認識する。したがって複数の指示を１度に音声入力することができ、複数の指示を効率よく入力することができる。   According to the present invention, when a plurality of instructions are input from the voice instruction input unit, the voice instruction recognition unit individually recognizes each instruction input from the voice instruction input unit. Therefore, a plurality of instructions can be inputted by voice at a time, and a plurality of instructions can be inputted efficiently.

図１は、本発明の実施の一形態である入力装置１を備える複合機２のハードウエア構成を簡略化して示すブロック図である。図１では、煩雑を避けるために、コピー動作に関連する部分だけを抽出して示す。コピー動作とは、（１）原稿を読取って原稿に基づく読取データを生成し、（２）この読取データに基づく画像を用紙に形成する、という動作をいう。   FIG. 1 is a block diagram showing a simplified hardware configuration of a multifunction machine 2 including an input device 1 according to an embodiment of the present invention. In FIG. 1, in order to avoid complication, only a portion related to the copy operation is extracted and shown. The copy operation is an operation of (1) reading an original to generate read data based on the original, and (2) forming an image based on the read data on a sheet.

情報処理機器である複合機２は、ユーザによって操作される操作部３と、ユーザによって音声が入力される音声入力部４と、原稿を読取って原稿に基づく読取データを生成する原稿読取部５と、読取データに基づく画像を用紙に形成する画像形成部６と、制御部７と、メモリ１８とを有する。操作部３は、キースイッチ８と、画面を表示する表示部９と、表示部９の前面に配置されるタッチパネル１０とを有する。複合機２には、（１）キースイッチ８を操作すること、（２）タッチパネル１０を操作すること、（３）音声入力部４に向けて音声を発すること、によって情報を入力することができる。   An MFP 2 as an information processing device includes an operation unit 3 that is operated by a user, a voice input unit 4 that receives voice input by a user, and a document reading unit 5 that reads a document and generates read data based on the document. The image forming unit 6 forms an image based on the read data on a sheet, the control unit 7, and the memory 18. The operation unit 3 includes a key switch 8, a display unit 9 that displays a screen, and a touch panel 10 that is disposed on the front surface of the display unit 9. Information can be input to the multi-function device 2 by (1) operating the key switch 8, (2) operating the touch panel 10, and (3) emitting a voice toward the voice input unit 4. .

本実施の形態の入力装置１は、情報を入力するために用いられる。入力装置１から入力される入力情報としては、文字および指示が挙げられる。入力装置１は、手書き文字入力手段１１と、音声指示入力手段１２と、選択手段１３とを含む。   The input device 1 of this embodiment is used for inputting information. The input information input from the input device 1 includes characters and instructions. The input device 1 includes handwritten character input means 11, voice instruction input means 12, and selection means 13.

手書き文字入力手段１１は、文字を手書き入力するための手書き文字入力部１４と、この手書き文字入力部１４から入力される文字を認識する手書き文字認識部１５とを備える（図３参照）。手書き文字入力部１４は、前記タッチパネル１０によって実現される。手書き文字認識部１５は、前記制御部７によって実現される。換言すれば、制御部７は、手書き文字認識部１５として機能する。   The handwritten character input means 11 includes a handwritten character input unit 14 for inputting characters by handwriting, and a handwritten character recognition unit 15 for recognizing characters input from the handwritten character input unit 14 (see FIG. 3). The handwritten character input unit 14 is realized by the touch panel 10. The handwritten character recognition unit 15 is realized by the control unit 7. In other words, the control unit 7 functions as the handwritten character recognition unit 15.

音声指示入力手段１２は、指示を音声入力するための音声指示入力部１６と、この音声指示入力部１６から入力される指示を認識する音声指示認識部１７とを備える（図４参照）。音声指示入力部１６は、マイクなどから構成される音声入力部４によって実現される。音声指示認識部１７は、前記制御部７によって実現される。換言すれば、制御部７は、音声指示認識部１７として機能する。   The voice instruction input unit 12 includes a voice instruction input unit 16 for inputting an instruction by voice and a voice instruction recognition unit 17 for recognizing an instruction input from the voice instruction input unit 16 (see FIG. 4). The voice instruction input unit 16 is realized by the voice input unit 4 including a microphone or the like. The voice instruction recognition unit 17 is realized by the control unit 7. In other words, the control unit 7 functions as the voice instruction recognition unit 17.

選択手段１３は、手書き文字入力手段１１および音声指示入力手段１２を選択的に動作させる。選択手段１３は、前記制御部７によって実現される。換言すれば、制御部７は、選択手段１３としても機能する。   The selection means 13 selectively operates the handwritten character input means 11 and the voice instruction input means 12. The selection unit 13 is realized by the control unit 7. In other words, the control unit 7 also functions as the selection unit 13.

図２は、複合機２のソフトウエア構成を簡略化して示すブロック図である。複合機２のソフトウエア２０は、複合機２全体の動作を統括的に制御するソフトウエア本体２１と、手書き文字を認識するための手書き文字認識モジュール２２と、音声指示を認識するための音声指示認識モジュール２３と、その他のモジュール２４とを含む。各モジュール２２〜２４は、ソフトウエア本体２１に組込まれる。   FIG. 2 is a block diagram showing a simplified software configuration of the multifunction machine 2. The software 20 of the multifunction device 2 includes a software main body 21 that comprehensively controls the operation of the entire multifunction device 2, a handwritten character recognition module 22 for recognizing handwritten characters, and a voice instruction for recognizing voice instructions. A recognition module 23 and other modules 24 are included. Each module 22 to 24 is incorporated in the software main body 21.

このようなソフトウエア２０は、制御部７によって実行される。制御部７は、手書き文字認識モジュール２２を実行することで、手書き文字認識部１５として機能する。制御部７は、音声指示認識モジュール２３を実行することで、音声指示認識部１７として機能する。   Such software 20 is executed by the control unit 7. The control unit 7 functions as the handwritten character recognition unit 15 by executing the handwritten character recognition module 22. The control unit 7 functions as the voice instruction recognition unit 17 by executing the voice instruction recognition module 23.

図３は、手書き文字入力手段１１の構成を示すブロック図である。前述のように、手書き文字入力手段１１は、手書き文字入力部１４および手書き文字認識部１５を有する。手書き文字認識部１５は、手書き文字認識辞書２６と、ベクトルデータ検出部２７と、ベクトルデータ記憶部２８と、文字照合処理部２９とを有する。   FIG. 3 is a block diagram illustrating a configuration of the handwritten character input unit 11. As described above, the handwritten character input unit 11 includes the handwritten character input unit 14 and the handwritten character recognition unit 15. The handwritten character recognition unit 15 includes a handwritten character recognition dictionary 26, a vector data detection unit 27, a vector data storage unit 28, and a character matching processing unit 29.

手書き文字認識辞書２６は、メモリ１８に記憶される。手書き文字認識辞書２６には、各文字に対するベクトルパターンが予め登録される。ベクトルデータ検出部２７は、手書き文字入力部１４から入力されるデータに基づいて、ベクトルデータを検出する。ベクトルデータ記憶部２８には、ベクトルデータ検出部２７によって検出されるベクトルデータが記憶される。文字照合処理部２９は、ベクトルデータ記憶部２８に記憶されるベクトルデータについて照合処理を行い、認識結果を出力する。   The handwritten character recognition dictionary 26 is stored in the memory 18. In the handwritten character recognition dictionary 26, vector patterns for each character are registered in advance. The vector data detection unit 27 detects vector data based on the data input from the handwritten character input unit 14. The vector data storage unit 28 stores vector data detected by the vector data detection unit 27. The character collation processing unit 29 performs collation processing on the vector data stored in the vector data storage unit 28 and outputs a recognition result.

文字照合処理部２９は、ベクトルデータ記憶部２８に記憶されるベクトルデータが、手書き文字認識辞書２６に登録されているベクトルパターンに一致すると、そのベクトルパターンに対応する文字の文字コードに変換して、テキストデータを作成する。文字照合処理部２９は、このテキストデータを、認識結果として出力する。   When the vector data stored in the vector data storage unit 28 matches the vector pattern registered in the handwritten character recognition dictionary 26, the character matching processing unit 29 converts the character code of the character corresponding to the vector pattern. Create text data. The character collation processing unit 29 outputs this text data as a recognition result.

手書き文字入力部１４であるタッチパネル１０上に描かれる線は、その始点から、一定の距離ごとに分割され、各分割部分についてベクトルデータが検出される。ベクトルデータは、分割部分の開始点位置および分割部分の終了点位置をパラメータとする。開始点位置および終了点位置は、ＸＹの座標データで表される。ここでは、分割部分の両端のうち、タッチパネル１０上に描かれる線上で、この線の始点に近いほうを開始点とし、遠いほうを終了点とする。このようなベクトルデータは、数学的なベクトルの考えに基づくものである。複雑な曲線は、複数の線分の集合体と考え、複数の線分に近似して扱う。前記一定の距離を短く設定するほど、データ量は増えるけれども、曲線の再現性と文字の認識性とが向上される。   A line drawn on the touch panel 10 which is the handwritten character input unit 14 is divided at a certain distance from the starting point, and vector data is detected for each divided portion. The vector data uses the start point position of the divided part and the end point position of the divided part as parameters. The start point position and the end point position are represented by XY coordinate data. Here, on the line drawn on the touch panel 10 among the both ends of the divided portion, the one closer to the start point of this line is set as the start point, and the far end is set as the end point. Such vector data is based on the idea of mathematical vectors. A complex curve is considered as an assembly of a plurality of line segments, and is handled by approximating a plurality of line segments. As the fixed distance is set shorter, the amount of data increases, but the reproducibility of the curve and the character recognition are improved.

タッチパネル１０上に描かれる線のベクトルデータを取得するには、まず、線の始点を開始点とし、線の軌跡を取込みながら、開始点からの移動距離を計測し、その移動距離が一定の値になると、その点を終了点とし、開始点位置および終了点位置をパラメータとするベクトルデータを生成する。次に、終了点を新たな開始点とし、線の軌跡をさらに取込みながら、開始点からの移動距離を計測し、その移動距離が一定の値になると、その点を終了点とし、開始点位置および終了点位置をパラメータとする新たなベクトルデータを生成する。このような処理を、線の終点まで繰返し実行し、複数のベクトルデータを生成する。   In order to obtain vector data of a line drawn on the touch panel 10, first, the starting point of the line is used as a starting point, and the moving distance from the starting point is measured while capturing the locus of the line, and the moving distance is a constant value. Then, vector data is generated with the point as the end point and the start point position and end point position as parameters. Next, measure the movement distance from the start point while taking the end point as a new start point, and further capturing the line trajectory. When the movement distance reaches a certain value, that point is taken as the end point, and the start point position Then, new vector data using the end point position as a parameter is generated. Such processing is repeatedly executed until the end point of the line to generate a plurality of vector data.

図４は、音声指示入力手段１２の構成を示すブロック図である。前述のように、音声指示入力手段１２は、音声指示入力部１６および音声指示認識部１７を有する。音声指示認識部１７は、音声指示認識辞書３１と、音響分析部３２と、類似度演算部３３と、指示照合処理部３４とを有する。   FIG. 4 is a block diagram showing a configuration of the voice instruction input unit 12. As described above, the voice instruction input unit 12 includes the voice instruction input unit 16 and the voice instruction recognition unit 17. The voice instruction recognition unit 17 includes a voice instruction recognition dictionary 31, an acoustic analysis unit 32, a similarity calculation unit 33, and an instruction matching processing unit 34.

音声指示認識辞書３１は、メモリ１８に記憶される。音声指示認識辞書３１には、指示を表す単語だけが予め登録される。音響分析部３２は、音声指示入力部１６から入力される音声をデジタル波形に変換し、短い時間間隔のフレーム毎に周波数分析し、スペクトルを表すパラメータのベクトルに変換する。周波数分析には、線形予測分析（ＬＰＣ）メルケプストラムのような表現方法が用いられる。類似度演算部３３は、音響分析部３２によって得られるパラメータのベクトルに対して、隠れマルコフモデルなどの音響モデルを作用させて、音韻毎に類似度を算出する。指示照合処理部３４は、類似度演算部３３によって算出される類似度に基づいて、音声指示認識辞書３１に予め登録されている全ての単語との照合を行い、各単語のスコアを算出し、スコアの高い単語を認識結果として出力する。   The voice instruction recognition dictionary 31 is stored in the memory 18. Only words representing instructions are registered in advance in the voice instruction recognition dictionary 31. The acoustic analysis unit 32 converts the voice input from the voice instruction input unit 16 into a digital waveform, performs frequency analysis for each frame of a short time interval, and converts it into a parameter vector representing a spectrum. For the frequency analysis, an expression method such as a linear prediction analysis (LPC) mel cepstrum is used. The similarity calculation unit 33 applies an acoustic model such as a hidden Markov model to the parameter vector obtained by the acoustic analysis unit 32 to calculate the similarity for each phoneme. Based on the similarity calculated by the similarity calculator 33, the instruction matching processor 34 performs matching with all the words registered in advance in the voice instruction recognition dictionary 31, and calculates the score of each word. A word with a high score is output as a recognition result.

図５は、表示部９に表示される画面４０の一例を簡略化して示す図である。画面４０は、操作のための操作領域４１と、情報提示のための情報提示領域４２とを有する。   FIG. 5 is a diagram schematically illustrating an example of the screen 40 displayed on the display unit 9. The screen 40 includes an operation area 41 for operation and an information presentation area 42 for presenting information.

操作領域４１は、画面上方寄りに配置される。操作領域４１には、複数の操作ボタン４３が表示される。各操作ボタン４３には、図５では省略されているけれども、処理内容を表す記号などが表示される。タッチパネル１０において操作ボタン４３に対応する領域をユーザが触ると、制御部７によってその操作ボタン４３に応じた動作が実行される。   The operation area 41 is arranged on the upper side of the screen. In the operation area 41, a plurality of operation buttons 43 are displayed. Although not shown in FIG. 5, symbols indicating the processing contents are displayed on each operation button 43. When the user touches the area corresponding to the operation button 43 on the touch panel 10, the control unit 7 executes an operation corresponding to the operation button 43.

本実施の形態では、操作ボタン４３は、音声入力開始ボタン４４を含む。タッチパネル１０において音声入力開始ボタン４４に対応する領域をユーザが触ると、音声入力開始指示が入力され、選択手段１３によって音声指示入力手段１２が選択的に動作され、音声指示入力手段１２による音声指示入力が開始される。   In the present embodiment, the operation button 43 includes a voice input start button 44. When the user touches the area corresponding to the voice input start button 44 on the touch panel 10, a voice input start instruction is input, the voice instruction input means 12 is selectively operated by the selection means 13, and the voice instruction by the voice instruction input means 12 is selected. Input begins.

情報提示領域４２は、画面下方寄りに配置される。情報提示領域４２は、音声指示入力手段１２によって入力された指示を提示する音声指示提示領域４５と、複合機２の動作状況を提示する動作状況提示領域４６とを有する。音声指示提示領域４５は、情報提示領域４２の上方寄りに配置される。動作状況提示領域４６は、情報提示領域４２の下方寄りに配置される。   The information presentation area 42 is arranged on the lower side of the screen. The information presentation area 42 includes a voice instruction presentation area 45 that presents an instruction input by the voice instruction input unit 12 and an operation status presentation area 46 that presents the operation status of the multifunction device 2. The voice instruction presentation area 45 is arranged above the information presentation area 42. The operation status presentation area 46 is arranged below the information presentation area 42.

図６は、手書き文字入力画面４１ａの一例を示す図である。手書き文字入力画面４１ａは、前記操作領域４１に表示される。手書き文字入力画面４１ａは、ユーザが文字を手書きするための手書き領域４７と、手書き文字の認識結果として複数の候補文字を提示する候補文字提示領域４８と、入力結果を並べて表示する入力結果表示領域４９と、手書き文字入力に必要な複数の操作ボタン５０とを有する。手書き領域４７には、タッチパネル１０上に描かれる線が表示される。   FIG. 6 is a diagram illustrating an example of the handwritten character input screen 41a. The handwritten character input screen 41a is displayed in the operation area 41. The handwritten character input screen 41a includes a handwriting region 47 for a user to handwrite a character, a candidate character presentation region 48 for presenting a plurality of candidate characters as a recognition result of handwritten characters, and an input result display region for displaying the input results side by side. 49 and a plurality of operation buttons 50 necessary for inputting handwritten characters. In the handwriting area 47, a line drawn on the touch panel 10 is displayed.

タッチパネル１０において手書き領域４７に対応する領域にユーザが文字を手書きすると、その手書き文字が認識され、候補文字提示領域４８には、認識結果として複数の候補文字が提示される。タッチパネル１０において所望の候補文字に対応する領域をユーザが触ることで、入力結果表示領域４９には、入力結果として前記所望の候補文字が表示される。入力結果表示領域４９には、入力結果が入力順に並ぶように表示される。   When the user handwrites a character in an area corresponding to the handwriting area 47 on the touch panel 10, the handwritten character is recognized, and a plurality of candidate characters are presented as a recognition result in the candidate character presentation area 48. When the user touches an area corresponding to the desired candidate character on the touch panel 10, the desired candidate character is displayed as an input result in the input result display area 49. In the input result display area 49, the input results are displayed in order of input.

図７は、音声指示入力後の処理を説明するためのフローチャートである。音声指示入力後の処理は、制御部７によって実行される。音声指示の入力が終了すると、ステップａ１で、入力された音声指示に基づいてキーワードを認識する。複数の指示が入力されたときは、入力された各指示を個別に認識して、複数のキーワードを認識する。次のステップａ２では、キーワードを複数の区分に分類する。複数の区分は、動作区分および設定区分を含む。次のステップａ３では、動作区分に分類されたキーワードに基づいて、タスクを作成する。次のステップ４では、設定区分に分類されたキーワードに基づいて、タスクにパラメータを設定する。この後、タスクを実行する。   FIG. 7 is a flowchart for explaining the process after the voice instruction is input. The processing after the voice instruction is input is executed by the control unit 7. When the input of the voice instruction is completed, in step a1, the keyword is recognized based on the input voice instruction. When a plurality of instructions are input, each input instruction is individually recognized to recognize a plurality of keywords. In the next step a2, the keywords are classified into a plurality of sections. The plurality of sections include an operation section and a setting section. In the next step a3, a task is created based on the keywords classified into the action categories. In the next step 4, parameters are set for the task based on the keywords classified in the setting category. After this, the task is executed.

一例として、「コピー」および「３部」という２つの単語が、音声指示として順次に入力された場合を説明する。前記ステップａ１では、「コピー」および「３部」という単語がキーワードとして認識される。前記ステップａ２では、「コピー」というキーワードが動作区分に分類され、「３部」というキーワードが設定区分に分類される。前記ステップａ３では、コピーのためのタスクが作成される。前記ステップａ４では、部数を表すパラメータとして「３」が前記タスクに設定される。前記ステップａ５では、前記タスクが実行され、原稿が３部だけコピーされる。   As an example, a case where two words “copy” and “three copies” are sequentially input as voice instructions will be described. In step a1, the words “copy” and “three copies” are recognized as keywords. In step a2, the keyword “copy” is classified into the operation category, and the keyword “three copies” is classified into the setting category. In step a3, a task for copying is created. In step a4, “3” is set in the task as a parameter indicating the number of copies. In step a5, the task is executed and only three copies of the document are copied.

図８は、入力装置１による入力動作を説明するためのフローチャートである。図９は、図８に続く入力動作を説明するためのフローチャートである。入力装置１による入力動作は、ユーザがタッチパネル１０を操作すると開始される。   FIG. 8 is a flowchart for explaining an input operation by the input device 1. FIG. 9 is a flowchart for explaining the input operation following FIG. The input operation by the input device 1 is started when the user operates the touch panel 10.

入力動作を開始すると、ステップｂ１で、文字入力用の状態が選択されたか否かを判定する。文字入力用の状態が選択されると、ステップｂ２に進み、その他の状態が選択されると、ステップｂ６に進む。文字入力用の状態としては、検索キーワード入力用の状態およびユーザ名入力用の状態などが挙げられる。   When the input operation is started, it is determined in step b1 whether or not a character input state has been selected. If the character input state is selected, the process proceeds to step b2, and if any other state is selected, the process proceeds to step b6. Examples of the character input state include a search keyword input state and a user name input state.

ステップｂ２では、選択手段１３によって手書き文字入力手段１１の動作を開始する。次のステップｂ３では、手書き文字入力手段１１によって手書き文字を入力する。次のステップｂ４では、文字入力用の状態が解除されたか否かを判定する。検索キーワード入力用の状態は、検索指示が入力されると解除される。ユーザ名入力用の状態は、確定指示が入力されると解除される。文字入力用の状態が解除されるまでステップｂ３の動作を繰返し実行し、文字入力用の状態が解除されると、ステップｂ５に進む。ステップｂ５では、選択手段１３によって手書き文字入力手段１１の動作を終了し、入力動作を終了する。   In step b2, the operation of the handwritten character input unit 11 is started by the selection unit 13. In the next step b3, handwritten characters are input by the handwritten character input means 11. In the next step b4, it is determined whether or not the character input state is released. The search keyword input state is canceled when a search instruction is input. The state for inputting the user name is canceled when a confirmation instruction is input. The operation of step b3 is repeatedly executed until the character input state is released. When the character input state is released, the process proceeds to step b5. In step b5, the operation of the handwritten character input unit 11 is terminated by the selection unit 13, and the input operation is terminated.

ステップｂ６では、前記音声入力開始指示が入力されたか否かを判定する。前記音声入力開始指示が入力されると、ステップｂ７に進み、その他の指示が入力されると、入力動作を終了する。   In step b6, it is determined whether or not the voice input start instruction has been input. When the voice input start instruction is input, the process proceeds to step b7, and when another instruction is input, the input operation is terminated.

ステップｂ７では、選択手段１３によって音声指示入力手段１２の動作を開始する。次のステップｂ８では、音声指示入力手段１２によって音声指示を入力する。次のステップｂ９では、音声指示が終了したか否かを判定する。音声指示が終了するまでステップｂ８の動作を繰返し実行し、音声指示が終了すると、ステップｂ１０に進む。ステップｂ１０では、選択手段１３によって音声指示入力手段１２の動作を終了し、入力動作を終了する。   In step b7, the operation of the voice instruction input unit 12 is started by the selection unit 13. In the next step b8, a voice instruction is input by the voice instruction input means 12. In the next step b9, it is determined whether or not the voice instruction is finished. The operation of step b8 is repeatedly executed until the voice instruction is finished, and when the voice instruction is finished, the process proceeds to step b10. In step b10, the operation of the voice instruction input unit 12 is terminated by the selection unit 13, and the input operation is terminated.

前記ステップｂ８では、音声指示認識辞書３１に予め登録される単語を表す音声が入力されたとき、その音声指示が認識される。音声指示認識辞書３１に予め登録される単語を表す音声以外の音声が入力されると、その音声は認識されない。   In step b8, when a voice representing a word registered in advance in the voice instruction recognition dictionary 31 is input, the voice instruction is recognized. When a voice other than a voice representing a word registered in advance in the voice instruction recognition dictionary 31 is input, the voice is not recognized.

前記ステップｂ９では、１または複数の音声指示の後、無音の時間が所定の時間を経過すると、音声指示が終了したと判定してもよく、あるいは、音声指示の終了を示す音声指示が入力されることで、音声指示が終了したと判定してもよい。   In the step b9, after one or a plurality of voice instructions, when a predetermined period of time has passed, it may be determined that the voice instruction has ended, or a voice instruction indicating the end of the voice instruction is input. It may be determined that the voice instruction has ended.

以上のような本実施の形態によれば、入力情報に応じて、手書き文字入力手段１１および音声指示入力手段１２を選択的に動作させ、これによって情報を容易かつ迅速に入力することができる。   According to the present embodiment as described above, the handwritten character input means 11 and the voice instruction input means 12 can be selectively operated according to the input information, whereby information can be input easily and quickly.

入力情報の１つに挙げられる文字には、同音異字が多くある。このような文字を音声入力する場合、同一の音声に対して、多くの文字が候補として挙がる。操作者は、多くの文字の中から所望の文字を選択する必要がある。したがって所望の文字を入力するのに手間を要する。これに対して、文字を手書き入力する場合、類似度の高い少数の文字が候補として挙がる。操作者は、少数の文字の中から所望の文字を選択すればよい。したがって所望の文字を入力するのに手間を要しない。このような点を考慮して本実施の形態では、文字を入力する場合は、選択手段１３によって手書き文字入力手段１１を動作させ、これによって文字を容易かつ迅速に入力することができる。   Characters listed as one of the input information have many homophones. When inputting such characters by voice, many characters are listed as candidates for the same voice. The operator needs to select a desired character from many characters. Therefore, it takes time to input a desired character. On the other hand, when inputting characters by hand, a small number of characters with high similarity are listed as candidates. The operator may select a desired character from a small number of characters. Therefore, it is not necessary to input a desired character. In consideration of such points, in the present embodiment, when inputting characters, the handwritten character input unit 11 is operated by the selection unit 13, whereby the characters can be input easily and quickly.

文字以外の入力情報として挙げられる指示には、限られた単語しか使用されない。このような指示を音声入力する場合は、限られた単語に基づいて指示を認識すればよい。したがって文字を音声入力する場合のような問題は生じない。また指示を音声入力するのは、指示を手書き入力するのに比べて容易である。このような点を考慮して本実施の形態では、指示を入力する場合は、選択手段１３によって音声指示入力手段１２を動作させ、これによって指示を容易かつ迅速に入力することができる。   Only a limited number of words are used for the instructions given as input information other than characters. When inputting such an instruction by voice, the instruction may be recognized based on a limited word. Therefore, there is no problem as in the case of inputting characters by voice. Also, it is easier to input an instruction by voice than to input an instruction by handwriting. In consideration of such points, in the present embodiment, when inputting an instruction, the voice instruction input unit 12 is operated by the selection unit 13, and thereby the instruction can be input easily and quickly.

手書き文字入力手段１１および音声指示入力手段１２は、選択手段１３によって選択的に動作される。換言すれば、手書き文字入力手段１１および音声指示入力手段１２の両者が同時に動作されることはない。文字は、手書き文字入力手段１１によって文字として入力される。指示は、音声指示入力手段１２によって指示として入力される。したがって誤入力を防ぐことができる。   The handwritten character input means 11 and the voice instruction input means 12 are selectively operated by the selection means 13. In other words, both the handwritten character input means 11 and the voice instruction input means 12 are not operated simultaneously. A character is input as a character by the handwritten character input means 11. The instruction is input as an instruction by the voice instruction input unit 12. Therefore, erroneous input can be prevented.

また本実施の形態によれば、音声指示認識部１７では、音声指示認識辞書３１に記憶される単語に基づいて、音声指示入力部１６から入力される指示が認識される。音声指示認識辞書３１には、指示を表す単語だけが記憶される。したがって指示の認識に要する時間を短縮することができる。   Further, according to the present embodiment, the voice instruction recognition unit 17 recognizes an instruction input from the voice instruction input unit 16 based on the words stored in the voice instruction recognition dictionary 31. In the voice instruction recognition dictionary 31, only words representing instructions are stored. Therefore, the time required for recognizing the instruction can be shortened.

また本実施の形態によれば、複数の指示が音声指示入力部１６から入力されるとき、音声指示認識部１７では、音声指示入力部１６から入力される各指示を個別に認識する。したがって複数の指示を１度に音声入力することができ、複数の指示を効率よく入力することができる。   Further, according to the present embodiment, when a plurality of instructions are input from the voice instruction input unit 16, the voice instruction recognition unit 17 individually recognizes each instruction input from the voice instruction input unit 16. Therefore, a plurality of instructions can be inputted by voice at a time, and a plurality of instructions can be inputted efficiently.

図１０は、他の音声指示入力手段６１の構成を示すブロック図である。図１０に示す音声指示入力手段６１は、図４に示す音声指示入力手段１２に類似するので、同一の部分には同一の符号を付して説明を省略する。音声指示入力手段６１は、送信機能を有する複合機に用いられる。送信機能としては、電子メール機能およびファクシミリ機能が挙げられる。   FIG. 10 is a block diagram showing a configuration of another voice instruction input unit 61. Since the voice instruction input unit 61 shown in FIG. 10 is similar to the voice instruction input unit 12 shown in FIG. 4, the same parts are denoted by the same reference numerals and the description thereof is omitted. The voice instruction input means 61 is used for a multifunction machine having a transmission function. Examples of the transmission function include an electronic mail function and a facsimile function.

音声指示認識辞書３１には、送信先の名前も、指示を表す単語として予め登録される。したがって送信先の名前も、指示として音声入力することができ、利便性を向上することができる。送信先の名前を音声入力すると、音声指示認識部１７による認識結果として、送信先の名前が出力される。   In the voice instruction recognition dictionary 31, the name of the transmission destination is also registered in advance as a word representing the instruction. Therefore, the name of the transmission destination can also be input as an instruction, and convenience can be improved. When the destination name is input by voice, the destination name is output as a recognition result by the voice instruction recognition unit 17.

音声指示入力手段６１は、送信先特定部６２をさらに備える。送信先特定部６２は、送信先登録簿６３と、送信先照合処理部６４とを有する。送信先登録簿６３は、メモリ１８に記憶される。送信先登録簿６３には、送信先の名前と送信先の識別情報とを関連付ける送信先情報が予め登録される。送信先照合処理部６４は、送信先登録簿６３に登録される送信先情報と音声指示認識部１７による認識結果とを照合して、送信先の識別情報を特定する。   The voice instruction input unit 61 further includes a transmission destination specifying unit 62. The transmission destination specifying unit 62 includes a transmission destination registration list 63 and a transmission destination collation processing unit 64. The transmission destination registration list 63 is stored in the memory 18. In the transmission destination registration list 63, transmission destination information that associates the transmission destination name with the identification information of the transmission destination is registered in advance. The transmission destination collation processing unit 64 collates the transmission destination information registered in the transmission destination registration list 63 with the recognition result by the voice instruction recognition unit 17 to identify transmission destination identification information.

図１１は、送信先登録簿６３に登録される送信先情報６３ａ，６３ｂを示す図である。図１１（１）は電子メール用の登録簿に登録される送信先情報６３ａを示し、図１１（２）はファクシミリ用の登録簿に登録される送信先情報６３ｂを示す。送信先登録簿６３として、電子メール用の登録簿とファクシミリ用の登録簿とが個別に設けられる。電子メール用の登録簿には、図１１（１）に示すように、送信先の名前６６と、送信先の識別情報である電子メールアドレス６７とを関連付ける送信先情報６３ａが予め登録される。ファクシミリ用の登録簿には、図１１（２）に示すように、送信先の名前６８と、送信先の識別情報であるファクシミリ番号６９とを関連付ける送信先情報６３ｂが予め登録される。   FIG. 11 is a diagram showing transmission destination information 63a and 63b registered in the transmission destination registration list 63. As shown in FIG. FIG. 11 (1) shows the destination information 63a registered in the electronic mail register, and FIG. 11 (2) shows the destination information 63b registered in the facsimile register. As the transmission destination registration list 63, an electronic mail registration list and a facsimile registration list are provided separately. As shown in FIG. 11A, transmission destination information 63a that associates a transmission destination name 66 with an electronic mail address 67 that is identification information of the transmission destination is registered in advance in the electronic mail register. In the facsimile registration list, as shown in FIG. 11B, transmission destination information 63b that associates a transmission destination name 68 with a facsimile number 69 that is identification information of the transmission destination is registered in advance.

このような音声指示入力手段６１では、送信先の名前を指示として音声入力することで、送信先の識別情報が特定される。したがって送信の指示とともに送信先の名前を音声入力することで、所望の送信先に、前記読取データなどの情報を容易に送信することができる。   In such a voice instruction input means 61, the destination identification information is specified by voice input using the destination name as an instruction. Therefore, information such as the read data can be easily transmitted to a desired transmission destination by inputting the name of the transmission destination together with a transmission instruction.

前述の実施の各形態は、本発明の例示に過ぎず、本発明の範囲内において構成を変更することができる。動作指示は、１度の音声指示につき１つである必要はなく、１度の音声指示につき複数であってもよい。１度の音声指示で複数の動作指示が入力されることで、指示の入力に関して効率化を図ることができる。この場合、複数のタスクが作成されて、各タスクが順次に実行される。   Each of the embodiments described above is merely an example of the present invention, and the configuration can be changed within the scope of the present invention. The operation instruction does not need to be one for each voice instruction, and may be plural for one voice instruction. By inputting a plurality of operation instructions with a single voice instruction, it is possible to improve the efficiency of inputting the instructions. In this case, a plurality of tasks are created and each task is executed sequentially.

たとえば、「スキャン」および「ファクシミリ」という２つの単語を含む音声指示が入力されると、スキャンのためのタスクとファクシミリのためのタスクが作成される。「Ａさんに、スキャンおよびファクシミリ」という音声指示が入力されると、スキャンのためのタスクおよびファクシミリのためのタスクに、「Ａさん」がパラメータとして設定される。「Ａさんにスキャン、Ｂさんにファクシミリ」という音声指示が入力されると、スキャンのためのタスクには、「Ａさん」がパラメータとして設定され、ファクシミリのためのタスクには、「Ｂさん」がパラメータとして設定される。   For example, when a voice instruction including two words “scan” and “facsimile” is input, a task for scanning and a task for facsimile are created. When a voice instruction “Scanning and facsimile to Mr. A” is input, “Mr. A” is set as a parameter in the task for scanning and the task for facsimile. When the voice instruction “Scan to Mr. A, Facsimile to Mr. B” is input, “Mr. A” is set as a parameter in the task for scanning, and “Mr. B” is set in the task for facsimile. Is set as a parameter.

各動作指示に対して、パラメータ登録部がそれぞれ設けられてもよい。パラメータ登録部は、メモリ１８に記憶される。各パラメータ登録部には、各動作指示に設定されるパラメータが予め登録される。たとえば、スキャン用のパラメータ登録部には、前記電子メール用の登録簿が予め登録され、ファクシミリ用のパラメータ登録部には、前記ファクシミリ用の登録簿が予め登録される。たとえば、仮に「Ａさんにスキャン」という音声指示が入力されても、Ａさんの電子メールアドレスが、スキャン用のパラメータ登録部に予め登録されていなければ、前記読取データはＡさん宛てに送信されない。   A parameter registration unit may be provided for each operation instruction. The parameter registration unit is stored in the memory 18. In each parameter registration unit, parameters set in each operation instruction are registered in advance. For example, the electronic mail registration list is registered in advance in the scan parameter registration section, and the facsimile registration list is registered in advance in the facsimile parameter registration section. For example, even if a voice instruction “Scan to Mr. A” is input, the read data is not transmitted to Mr. A unless Mr. A's e-mail address is registered in advance in the scan parameter registration unit. .

音声指示を最優先するような構成であってもよい。たとえば、両面コピーモードと片面コピーモードとにモードを切換え可能である場合、両面コピーモードが選択されていても、「片面」という単語が、「コピー」という単語とともに、音声指示として入力されると、片面コピーモードに変更されてコピーされる。   A configuration in which voice instruction is given the highest priority may be used. For example, if the mode can be switched between the double-sided copy mode and the single-sided copy mode, even if the double-sided copy mode is selected, the word “single-sided” is input as a voice instruction together with the word “copy”. The copy is changed to the single-sided copy mode.

入力装置１は、ユーザと入力装置１との間で、会話形式で入力ができるように構成されてもよい。換言すれば、入力装置１は、ユーザに対して質問を音声で出力するように構成されてもよい。   The input device 1 may be configured to enable input in a conversational format between the user and the input device 1. In other words, the input device 1 may be configured to output a question to the user by voice.

入力装置１は、複合機２に備えられるけれども、複合機２以外の情報処理機器に備えられてもよい。   Although the input device 1 is provided in the multifunction device 2, it may be provided in an information processing device other than the multifunction device 2.

本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。   The present invention can be implemented in various other forms without departing from the spirit or main features thereof. Therefore, the above-described embodiment is merely an example in all respects, and the scope of the present invention is shown in the claims, and is not restricted by the text of the specification. Further, all modifications and changes belonging to the scope of the claims are within the scope of the present invention.

本発明の実施の一形態である入力装置を備える複合機のハードウエア構成を簡略化して示すブロック図である。1 is a block diagram showing a simplified hardware configuration of a multifunction machine including an input device according to an embodiment of the present invention. 複合機のソフトウエア構成を簡略化して示すブロック図である。FIG. 2 is a block diagram showing a simplified software configuration of a multifunction machine. 手書き文字入力手段の構成を示すブロック図である。It is a block diagram which shows the structure of a handwritten character input means. 音声指示入力手段の構成を示すブロック図である。It is a block diagram which shows the structure of a voice instruction input means. 表示部に表示される画面の一例を簡略化して示す図である。It is a figure which simplifies and shows an example of the screen displayed on a display part. 手書き文字入力画面の一例を示す図である。It is a figure which shows an example of a handwritten character input screen. 音声指示入力後の処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process after an audio | voice instruction | indication input. 入力装置による入力動作を説明するためのフローチャートである。It is a flowchart for demonstrating the input operation by an input device. 図８に続く入力動作を説明するためのフローチャートである。It is a flowchart for demonstrating the input operation following FIG. 他の音声指示入力手段の構成を示すブロック図である。It is a block diagram which shows the structure of another voice instruction input means. 送信先登録簿に登録される送信先情報を示す図である。It is a figure which shows the transmission destination information registered into a transmission destination registration list.

符号の説明Explanation of symbols

１ 入力装置
２ 複合機
３ 操作部
４ 音声入力部
５ 原稿読取部
６ 画像形成部
７ 制御部
８ キースイッチ
９ 表示部
１０ タッチパネル
１１ 手書き文字入力手段
１２ 音声指示入力手段
１３ 選択手段
１４ 手書き文字入力部
１５ 手書き文字認識部
１６ 音声指示入力部
１７ 音声指示認識部
１８ メモリ
２２ 文字認識モジュール
２３ 音声指示認識モジュール
２４ その他のモジュール
２６ 手書き文字認識辞書
２７ ベクトルデータ検出部
２８ ベクトルデータ記憶部
２９ 文字照合処理部
３１ 音声指示認識辞書
３２ 音響分析部
３３ 類似度演算部
３４ 指示照合処理部
６１ 音声指示入力手段
６２ 送信先特定部
６３ 送信先登録簿
６３ａ，６３ｂ 送信先情報
６４ 送信先照合処理部
６７ 電子メールアドレス
６９ ファクシミリ番号 DESCRIPTION OF SYMBOLS 1 Input device 2 Multifunction machine 3 Operation part 4 Voice input part 5 Original reading part 6 Image formation part 7 Control part 8 Key switch 9 Display part 10 Touch panel 11 Handwritten character input means 12 Voice instruction input means 13 Selection means 14 Handwritten character input part DESCRIPTION OF SYMBOLS 15 Handwritten character recognition part 16 Voice instruction input part 17 Voice instruction recognition part 18 Memory 22 Character recognition module 23 Voice instruction recognition module 24 Other modules 26 Handwritten character recognition dictionary 27 Vector data detection part 28 Vector data storage part 29 Character collation process part 31 Voice instruction recognition dictionary 32 Acoustic analysis unit 33 Similarity calculation unit 34 Instruction collation processing unit 61 Voice instruction input means 62 Destination specifying unit 63 Destination register 63a, 63b Destination information 64 Destination collation processing unit 67 E-mail address 69 Facsimile number

Claims (5)

文字を手書き入力するための手書き文字入力部と、前記手書き文字入力部から入力される文字を認識する手書き文字認識部とを備える手書き文字入力手段と、
指示を音声入力するための音声指示入力部と、前記音声指示入力部から入力される指示を認識する音声指示認識部とを備える音声指示入力手段と、
前記手書き文字入力手段および前記音声指示入力手段を選択的に動作させる選択手段とを含むことを特徴とする入力装置。 A handwritten character input means comprising a handwritten character input unit for inputting characters by handwriting, and a handwritten character recognition unit for recognizing characters input from the handwritten character input unit;
A voice instruction input means including a voice instruction input unit for inputting an instruction by voice; and a voice instruction recognition unit for recognizing an instruction input from the voice instruction input unit;
An input device comprising: selection means for selectively operating the handwritten character input means and the voice instruction input means. 前記音声指示認識部は、指示を表す単語だけを記憶する音声指示認識辞書を有し、前記音声指示認識辞書に記憶される単語に基づいて、前記音声指示入力部から入力される指示を認識することを特徴とする請求項１に記載の入力装置。   The voice instruction recognition unit has a voice instruction recognition dictionary that stores only words representing instructions, and recognizes an instruction input from the voice instruction input unit based on a word stored in the voice instruction recognition dictionary. The input device according to claim 1. 前記指示は、送信の指示を含み、
前記音声指示入力手段は、
送信先の名前と送信先の識別情報とを関連付ける送信先情報が予め登録される送信先登録簿を有し、前記送信先登録簿に登録される送信先情報と前記音声指示認識部による認識結果とに基づいて、送信先の識別情報を特定する送信先特定部をさらに備えることを特徴とする請求項１に記載の入力装置。 The instruction includes a transmission instruction,
The voice instruction input means includes
A transmission destination registration list in which transmission destination information for associating a transmission destination name and transmission destination identification information is registered in advance, and transmission destination information registered in the transmission destination registration list and a recognition result by the voice instruction recognition unit The input device according to claim 1, further comprising: a transmission destination specifying unit that specifies identification information of the transmission destination based on the information. 前記音声指示認識部は、指示を表す単語だけを記憶する音声指示認識辞書を有し、前記音声指示認識辞書に記憶される単語に基づいて、前記音声指示入力部から入力される指示を認識し、
前記音声指示認識辞書には、送信先の名前を、指示を表す単語として記憶することを特徴とする請求項３に記載の入力装置。 The voice instruction recognition unit has a voice instruction recognition dictionary that stores only words representing instructions, and recognizes an instruction input from the voice instruction input unit based on a word stored in the voice instruction recognition dictionary. ,
The input device according to claim 3, wherein a name of a transmission destination is stored in the voice instruction recognition dictionary as a word representing an instruction. 前記音声指示認識部は、複数の指示が前記音声指示入力部から入力されるとき、前記音声指示入力部から入力される各指示を個別に認識することを特徴とする請求項１に記載の入力装置。   The input according to claim 1, wherein the voice instruction recognizing unit individually recognizes each instruction input from the voice instruction input unit when a plurality of instructions are input from the voice instruction input unit. apparatus.
JP2008045267A 2007-11-02 2008-02-26 Input device Pending JP2009116841A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2007101661001A CN101424973A (en) 2007-11-02 2007-11-02 Input device

Publications (1)

Publication Number Publication Date
JP2009116841A true JP2009116841A (en) 2009-05-28

Family

ID=40615616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008045267A Pending JP2009116841A (en) 2007-11-02 2008-02-26 Input device

Country Status (2)

Country Link
JP (1) JP2009116841A (en)
CN (1) CN101424973A (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020088679A (en) * 2018-11-28 2020-06-04 コニカミノルタ株式会社 Image formation apparatus
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
JP2020141385A (en) * 2019-03-01 2020-09-03 コニカミノルタ株式会社 Job generation apparatus, image processing apparatus, job generation method, and job generation program
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
JP2021048516A (en) * 2019-09-19 2021-03-25 コニカミノルタ株式会社 Information transmission device, information transmission method, and program
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5587119B2 (en) * 2010-09-30 2014-09-10 キヤノン株式会社 CHARACTER INPUT DEVICE, ITS CONTROL METHOD, AND PROGRAM
CN102646016B (en) * 2012-02-13 2016-03-02 百纳（武汉）信息技术有限公司 The user terminal of display gesture interactive voice unified interface and display packing thereof
KR102129374B1 (en) * 2012-08-27 2020-07-02 삼성전자주식회사 Method for providing user interface, machine-readable storage medium and portable terminal
CN111399910B (en) * 2020-03-12 2022-06-07 支付宝(杭州)信息技术有限公司 User instruction processing method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0856252A (en) * 1994-08-11 1996-02-27 Nec Corp Voice dialer
JPH0991112A (en) * 1995-07-19 1997-04-04 Toshiba Corp Multimodal interactive device and interactive method
JP2000132186A (en) * 1998-10-28 2000-05-12 Internatl Business Mach Corp <Ibm> Command boundary discriminating device, method and program memory device
JP2001014260A (en) * 1999-06-29 2001-01-19 Casio Comput Co Ltd Input controller and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0856252A (en) * 1994-08-11 1996-02-27 Nec Corp Voice dialer
JPH0991112A (en) * 1995-07-19 1997-04-04 Toshiba Corp Multimodal interactive device and interactive method
JP2000132186A (en) * 1998-10-28 2000-05-12 Internatl Business Mach Corp <Ibm> Command boundary discriminating device, method and program memory device
JP2001014260A (en) * 1999-06-29 2001-01-19 Casio Comput Co Ltd Input controller and recording medium

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP7095571B2 (en) 2018-11-28 2022-07-05 コニカミノルタ株式会社 Image forming device
JP2020088679A (en) * 2018-11-28 2020-06-04 コニカミノルタ株式会社 Image formation apparatus
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
JP7205308B2 (en) 2019-03-01 2023-01-17 コニカミノルタ株式会社 Job generation device, image processing device, job generation method and job generation program
JP2020141385A (en) * 2019-03-01 2020-09-03 コニカミノルタ株式会社 Job generation apparatus, image processing apparatus, job generation method, and job generation program
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
JP2021048516A (en) * 2019-09-19 2021-03-25 コニカミノルタ株式会社 Information transmission device, information transmission method, and program
JP7388079B2 (en) 2019-09-19 2023-11-29 コニカミノルタ株式会社 Information transmitting device, information transmitting method and program
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators

Also Published As

Publication number Publication date
CN101424973A (en) 2009-05-06

Similar Documents

Publication Publication Date Title
JP2009116841A (en) Input device
JP4416643B2 (en) Multimodal input method
JP4878471B2 (en) Information processing apparatus and control method thereof
JP3728304B2 (en) Information processing method, information processing apparatus, program, and storage medium
JP4708913B2 (en) Information processing method and information processing apparatus
JP2019144759A (en) Image processing apparatus, image processing apparatus control method, and program
JPH06138815A (en) Finger language/word conversion system
CN110534109B (en) Voice recognition method and device, electronic equipment and storage medium
JP6744025B2 (en) Work support system, management server, mobile terminal, work support method and program
JP3476007B2 (en) Recognition word registration method, speech recognition method, speech recognition device, storage medium storing software product for registration of recognition word, storage medium storing software product for speech recognition
US11900931B2 (en) Information processing apparatus and information processing method
JP2005043461A (en) Voice recognition method and voice recognition device
JP2008257566A (en) Electronic equipment
US11838459B2 (en) Information processing system, information processing apparatus, and information processing method
JP2011193139A (en) Image forming apparatus
JP2019074608A (en) Image formation apparatus
JP4702081B2 (en) Character input device
JPH0944600A (en) Method and device for input character prediction in on-line character recognition
JP2015099335A (en) Information processing device and method thereof
JP7383885B2 (en) Information processing device and program
JP6458358B2 (en) Image processing apparatus and program
US11765301B2 (en) Image processing apparatus generating image of review question, control method therefor, and storage medium storing control program therefor
US20230386508A1 (en) Information processing apparatus, information processing method, and non-transitory recording medium
JP2009271835A (en) Equipment operation controller and program
JP4787677B2 (en) Electronics

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101130