JP2001013978A - Information selection apparatus, information selection method and recording medium - Google Patents
Information selection apparatus, information selection method and recording mediumInfo
- Publication number
- JP2001013978A JP2001013978A JP18280199A JP18280199A JP2001013978A JP 2001013978 A JP2001013978 A JP 2001013978A JP 18280199 A JP18280199 A JP 18280199A JP 18280199 A JP18280199 A JP 18280199A JP 2001013978 A JP2001013978 A JP 2001013978A
- Authority
- JP
- Japan
- Prior art keywords
- information
- presented
- audio
- button
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は複数の音声情報を用
いて、その音声情報源に関連づけられた情報を選択する
情報選択方法、情報選択装置およびプログラムを記録し
たことを特徴とする記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information selection method for selecting information associated with an audio information source using a plurality of audio information, an information selection device, and a recording medium on which a program is recorded. .
【０００２】[0002]
【従来の技術】従来の技術として、複数の情報から一つ
の情報を選択する方法として、ディスプレイ上に示され
る文字情報を用いた検索エンジンなどが挙げられる。し
かし、画面に注目しつづける作業はユーザにとって負担
になる。そこで音声を利用する技術が注目されている。
また、ラジオ番組、音楽CDなどの多数候補の音声メディ
アが選択対象にあるときは、文字情報だけを用いて取捨
選択するよりも実際にその内容を聞き、直接選択するほ
うが自然である。2. Description of the Related Art As a conventional technique, as a method of selecting one piece of information from a plurality of pieces of information, there is a search engine using character information shown on a display. However, the task of keeping an eye on the screen places a burden on the user. Therefore, a technology using voice has attracted attention.
Further, when a large number of candidate audio media such as radio programs and music CDs are to be selected, it is more natural to actually listen to the content and directly select the contents than to select only using character information.
【０００３】現在知られている音声のみの情報選択イン
タフェースとしては、電話のプッシュホンサービスが挙
げられる(手法1)。これは情報を選択する際に「○○す
るには１を…押してください」という音声ガイドが流
れ、そのガイド音声にしたがって指定のボタンを押すも
のである。As a currently known voice-only information selection interface, there is a telephone touch-tone service (method 1). In this case, when selecting information, a voice guide saying “Please press 1 for XX” is played, and a designated button is pressed according to the guide voice.
【０００４】また、入力手段として音声認識機能を用い
て音声でシステムを操作する手法もある(手法2)。この
手法では、あらかじめ決められている操作コマンドを音
声で入力するか、音声認識機能に自然言語処理機能を付
け加え、日常会話のような口調でシステムを操作する手
法もある。[0004] There is also a method of operating the system by voice using a voice recognition function as an input means (method 2). In this method, there is also a method of inputting a predetermined operation command by voice or adding a natural language processing function to a voice recognition function, and operating the system in a tone similar to a daily conversation.
【０００５】また、時間とともに選択対象項目が変わっ
ていく方法が文献１（特開平６−１４９５１７号広報）
に記載されている。ここでは、ユーザやプログラムの要
求（一定時間経った後に出される）によって選択対象項
目を変えていき、その項目名を画面に表示するとともに
その項目に対応する音階をスピーカーから発生させる。
ユーザは自分の欲する項目名が現れた時に所定の入力を
行うことで、その項目を選択することができる。A method in which the selection target item changes with time is disclosed in Reference 1 (Japanese Patent Application Laid-Open No. 6-149517).
It is described in. Here, the item to be selected is changed according to the request of the user or the program (issued after a certain period of time), the item name is displayed on the screen, and the scale corresponding to the item is generated from the speaker.
The user can select a desired item name by performing a predetermined input when the item name appears.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら手法1で
は、選択できる情報の個数や内容に応じて毎回押すボタ
ンが異なってくることが生じ、一回の選択操作のたびに
音声ガイドを参照しなおさなくてはならず、時間がかか
る。また、押すことができるボタンが増えるためユーザ
がボタンの場所を覚えきれず手元のボタンの位置を確認
しながら押さなければならないという手間が生じ、同時
に視線を逸らして作業する事が危険な場面においては、
このボタンの位置確認が危険を伴う事となる。However, in the first method, the buttons to be pressed each time differ depending on the number and contents of selectable information, and the voice guide must be referred to each time the selecting operation is performed. It takes time. In addition, the number of buttons that can be pushed increases, so the user has to remember the location of the button and has to press it while checking the position of the button at hand, and at the same time it is dangerous to work while diverting his gaze Is
Confirming the position of this button involves danger.
【０００７】また、手法2では、あらかじめ音声コマン
ドが決められている場合は、決められた音声コマンドの
種類を覚えて操作しなくてはならず煩わしさを感じる。
自然言語処理機能については、自由度の高い音声入力に
対して入力された言葉がどんな内容を意味するかを理解
できる能力に乏しく、まだ実用的な段階に達するまでの
技術が確立されていないのが現状である。In the second method, when a voice command is determined in advance, it is necessary to remember the type of the determined voice command and operate the voice command.
With regard to the natural language processing function, the ability to understand what the input words mean to the speech input with high flexibility is poor, and the technology to reach the practical stage has not yet been established. Is the current situation.
【０００８】また、文献1では、必ず表示装置（ディス
プレイなど）が必要とされ、音声だけでユーザに必要な
情報を提供する事ができない。また、それぞれの情報に
ついて関連付けられている音声情報は、所定の音色によ
る音階のみである。この方法では、音色と音程情報にユ
ーザが慣れるまでは使いこなす事ができない。[0008] In Document 1, a display device (display or the like) is always required, and it is impossible to provide a user with necessary information only by voice. The audio information associated with each piece of information is only the scale of a predetermined timbre. This method cannot be used until the user gets used to the timbre and the pitch information.
【０００９】本発明は上記課題に基づいて創案されたも
ので、複数の情報から一つを選択する際に音声を利用し
たユーザインタフェースとなる情報選択手法、情報選択
装置および記録媒体を提供することを目的とする。The present invention has been made based on the above problem, and provides an information selection method, an information selection device, and a recording medium that provide a user interface using voice when selecting one from a plurality of pieces of information. With the goal.
【００１０】[0010]
【課題を解決するための手段】本発明に係る情報選択装
置は、音源を備え、複数の情報源から所望の情報源を選
択する情報選択装置であって、前記複数の情報源を音声
情報として順次切り替え、前記音源により提示する手段
と、提示された音声情報から所望の情報源に該当する音
声情報を選択する手段と、を、少なくとも備えてなるこ
とによって、上記の目的を達成する。An information selection apparatus according to the present invention is provided with a sound source and selects a desired information source from a plurality of information sources, wherein the plurality of information sources are used as audio information. The above object is achieved by providing at least a means for sequentially switching and presenting by the sound source and a means for selecting audio information corresponding to a desired information source from the presented audio information.
【００１１】このように、情報源を音声情報として音声
により提示することにより、視覚認識のみに頼ることな
く、情報源を選択することが可能になる。また、音声情
報が提示されている際に、その音声情報を選択すること
により、単一の操作で情報源を選択することが可能にな
る。As described above, by presenting an information source by voice as voice information, it becomes possible to select an information source without relying only on visual recognition. Further, when audio information is presented, by selecting the audio information, an information source can be selected by a single operation.
【００１２】本発明に係る情報選択装置は、前記音声情
報の切り替えを指示する手段、を備えてなることによっ
て、上記の目的を達成する。[0012] The information selecting apparatus according to the present invention achieves the above object by including means for instructing switching of the audio information.
【００１３】このように、音声情報の切り替えを指示に
より行うことにより、ユーザの指示による切り替えが可
能になるため、ユーザ自身の好みに適合したタイミング
で音声情報提示を行うことが可能になる。As described above, by switching the voice information according to the instruction, the switching can be performed according to the user's instruction, so that the voice information can be presented at a timing suitable for the user's own preference.
【００１４】本発明に係る情報選択装置は、前記切り替
え指示手段が、提示中の音声情報より後に提示される音
声情報、又は、提示中の音声情報より前に提示される音
声情報の提示を指示するものであることによって、上記
の目的を達成する。[0014] In the information selection device according to the present invention, the switching instructing means instructs presentation of audio information presented after the presented audio information or audio information presented before the presented audio information. By doing so, the above object is achieved.
【００１５】このように、音声情報提示中に、その音声
より後に提示される音声情報や既に提示された音声情報
を提示するよう、ユーザの指示により切り替えを行うこ
とができるため、ユーザの意思によって次々と情報を参
照することができる。この切り替えは、提示中の音声情
報の直前又は直後の音声情報に限られるものではなく、
巻き戻しや早送りによっていくつかの音声情報を飛ばし
て提示するものであってもよい。As described above, during the presentation of the voice information, the voice information presented after the voice or the voice information already presented can be switched by the user's instruction. You can refer to information one after another. This switching is not limited to the audio information immediately before or immediately after the audio information being presented,
Some audio information may be skipped and presented by rewinding or fast-forwarding.
【００１６】本発明による情報選択装置は、前記情報源
が、音声情報の他に情報を持ち、所望の音声情報が選択
されたときに、他の情報も提示する手段、を備えてなる
ことによって上記の目的を達成する。The information selection device according to the present invention is characterized in that the information source includes means for holding information in addition to audio information and presenting other information when desired audio information is selected. Achieve the above objectives.
【００１７】このように、情報源の持つ画像情報等音声
情報以外の情報を提示することにより、提示中の音声情
報の他の情報はもとより、提示していない音声情報の他
の情報も提示することが可能になり、情報源の持つより
多くの情報をユーザが一度に把握することが可能とな
る。As described above, by presenting information other than audio information such as image information held by an information source, other information of audio information that is not presented, as well as other information of audio information that is being presented, is presented. It is possible for the user to grasp more information of the information source at a time.
【００１８】情報源の持つ音声情報以外の情報として、
画像情報を記載したが、本発明はこれに限定されるもの
ではなく、ユーザの他の五感（触覚、味覚、嗅覚）に訴
えるものであっても、情報を伝えるものであればよい。
例えば、ユーザが着ている服に電流が走る、匂いがす
る、味がする等により、情報を提示することも可能であ
る。As information other than the voice information of the information source,
Although the image information has been described, the present invention is not limited to this, and any information that appeals to the user's other five senses (touch, taste, smell) may be used as long as it conveys information.
For example, information can be presented by running, smelling, or taste of the clothes worn by the user.
【００１９】本発明による情報選択装置は、前記情報源
が、音声情報の他に情報を持ち、前記音声情報の切り替
えに伴って、この情報も順次切り替えて提示する手段
を、有することによって上記の目的を達成する。The information selection device according to the present invention is characterized in that the information source has means in addition to audio information and has means for sequentially switching and presenting this information as the audio information is switched. Achieve the goal.
【００２０】このように、情報源の持つ画像情報等音声
情報以外の情報を、その音声情報提示中に、提示するこ
とにより、情報源の持つより多くの情報をユーザが一度
に把握することが可能になる。As described above, by presenting information other than audio information such as image information possessed by the information source during presentation of the audio information, the user can grasp more information possessed by the information source at a time. Will be possible.
【００２１】本発明による情報選択方法は、複数の情報
源から所望の情報源を選択する上記のいずれかの情報選
択装置を用いる情報選択方法であって、前記複数の情報
源を音声情報として順次切り替えて提示するステップ
と、提示された音声情報から所望の情報源に該当する音
声情報を選択するステップと、を、少なくとも備えてな
ることによって上記の目的を達成する。An information selection method according to the present invention is an information selection method using any one of the above information selection devices for selecting a desired information source from a plurality of information sources, wherein the plurality of information sources are sequentially converted into audio information. The above object is achieved by including at least a step of switching and presenting and a step of selecting audio information corresponding to a desired information source from the presented audio information.
【００２２】本発明による情報選択方法は、前記情報選
択方法を繰り返し用いることにより、カテゴライズされ
た情報源の中から、徐々に情報を絞り込むステップを備
えてなることによって上記の目的を達成する。The information selection method according to the present invention achieves the above object by providing a step of gradually narrowing information from categorized information sources by repeatedly using the information selection method.
【００２３】このように、カテゴライズされた情報源の
中から、徐々に情報を絞り込むことにより、大量の情報
源の中から、ユーザが得たい情報に容易に辿り着くこと
が可能となる。As described above, by gradually narrowing down the information from the categorized information sources, it is possible to easily reach the information desired by the user from a large amount of information sources.
【００２４】本発明による記録媒体は、コンピュータ
を、前記複数の情報源を音声情報として順次切り替え、
前記音源により提示する手段、 提示された音声情報か
ら所望の情報源に該当する音声情報を選択する手段、と
して機能させるためのプログラムを記録することによっ
て上記の目的を達成する。[0024] The recording medium according to the present invention comprises a computer which sequentially switches the plurality of information sources as audio information,
The above object is achieved by recording a program for functioning as means for presenting with the sound source, and means for selecting audio information corresponding to a desired information source from the presented audio information.
【００２５】[0025]
【発明の実施の形態】以下、本発明の好適な実施の形態
を図面を参照して詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the drawings.
【００２６】図８は、本発明を実現するための機器のシ
ステム構成図である。システムは、音声記憶部８１１、
主制御部８１２、メニュー制御部８１３、音声変換部８
１４、再生制御部８１５、情報記憶部８１６を含んだ制
御装置８１、ヘッドフォン、スピーカーなどの音声提示
用外部情報提示装置８２、ディスプレイなどの音声以外
の情報提示用外部情報提示装置８３、決定ボタンを少な
くとも備え、他に十字パッド、ジョグダイヤル、シャト
ルリング、マウスなどを備えた提示指示装置８４、から
なる。この図において、制御装置81と、外部情報提示装
置８２，８３、提示指示装置８４とは、ケーブルを用い
て１台のマシンに接続されているが、本願発明はこれに
限定されるものではなく、ケーブル、ネットワーク経
由、無線（電波やIR等）通信により、相互に接続されて
いてもよい。FIG. 8 is a system configuration diagram of a device for realizing the present invention. The system includes a voice storage unit 811,
Main control unit 812, menu control unit 813, voice conversion unit 8
14, a control device 81 including a reproduction control unit 815, an information storage unit 816, an external information presenting device 82 for presenting audio such as headphones and speakers, an external information presenting device 83 for presenting information other than audio such as a display, and a determination button. A presentation instruction device 84 including at least a cross pad, a jog dial, a shuttle ring, a mouse, and the like. In this figure, the control device 81, the external information presenting devices 82, 83, and the presenting instruction device 84 are connected to one machine using a cable, but the present invention is not limited to this. They may be connected to each other via a cable, a network, or wireless (radio wave or IR) communication.
【００２７】主制御部８１２は、情報記憶部８１４に格
納された情報にしたがって、音声記憶部８１１に格納さ
れている音声情報の再生、もしくは情報記憶部８１４の
内容を音声変換部８１２で変換した音声の再生を再生制
御部８１５に指示する。The main control unit 812 reproduces the audio information stored in the audio storage unit 811 or converts the content of the information storage unit 814 with the audio conversion unit 812 according to the information stored in the information storage unit 814. The reproduction control unit 815 is instructed to reproduce the sound.
【００２８】提示指示装置８４からの入力があった場
合、もしくは、主制御部８１２からの指示があった場
合、メニュー制御部８１３に従って提示情報を切り替え
前述のように再生を再生制御部８１５に指示する。 (第１の実施の形態)図１は、実施の形態の操作イメージ
図である。ユーザ１は、ヘッドフォン装置２を通して、
制御装置３が提示する音声情報を順番に聞く。制御装置
３の入力手段には戻しボタン４、決定ボタン５、送りボ
タン６を備えたコントローラが設けられている。制御装
置３は、複数の情報源に対応する音声情報を順次切り替
えて提示する。つまり、提示されるべき全ての情報Ｐが
Ｓ個あったとすると、情報ＰはＰ１からＰＳまでソーテ
ィングされており、制御装置３は、Ｐ１を提示し終わる
とＰ２の提示、Ｐ２の提示の後はＰ３…、のように、順
次切り替えて提示していく。When there is an input from the presentation instruction device 84 or an instruction from the main control unit 812, the presentation information is switched according to the menu control unit 813 and the reproduction is instructed to the reproduction control unit 815 as described above. I do. (First Embodiment) FIG. 1 is an operation image diagram of an embodiment. The user 1 passes through the headphone device 2
The sound information presented by the control device 3 is heard in order. The input means of the control device 3 is provided with a controller having a return button 4, a decision button 5, and a feed button 6. The control device 3 sequentially switches and presents audio information corresponding to a plurality of information sources. That is, assuming that there are S pieces of information P to be presented, the information P is sorted from P1 to PS, and the control device 3 presents P2 when P1 is presented, and after P2 is presented. P3... Are sequentially switched and presented.
【００２９】ここでこのユーザに提示する情報のソーテ
ィング順（並び順）は、以前に情報を選択した際のユー
ザの好みを反映するものであってもよい。Here, the sorting order (arrangement order) of the information presented to the user may reflect the preference of the user when the information was previously selected.
【００３０】図２は、図１の実施の形態の動作を説明す
る制御フロー図である。ここでは、Ｎ番目の情報ＰＮを
提示しているときについて説明する。システムを起動す
ると、まずソーティング済みの提示されるべき全ての情
報のうち、一番目に順序づけられた情報から提示し始め
ることとする。（S201）ＰＮの提示中にボタンが押され
なかった場合、ＰＮ＋１を次の提示情報とする(S205)。
このときＮ＋１がＳを越える、つまりＳ番目の情報まで
提示してしまった場合は次に１番目の情報を提示すると
する（S207）。ＰＮの提示中にボタンが押された場合は
ただちにＰＮの提示を中止する（S208）。押されたボタ
ンが戻しボタンだった場合は次に提示する情報をＰＮ−
１とする（S211）。Ｎ−１が０となる、つまりＮが１だ
った場合には、次にＳ番目の情報を提示する（S214）。
押されたボタンが送りボタンだった場合は次の提示する
情報をＰＮ＋１とする（S210）。Ｎ＋１がＳを越える場
合は前述のとおりである（S207）。押されたボタンが決
定ボタンだった場合は、ＰＮをユーザの所望の情報であ
ると判断する（S213）。 (第２の実施の形態)図３は本発明をメールアプリケーシ
ョンに応用したときの操作の流れを示している。この例
では、図２に記載の方法を複数回繰り返し利用してい
る。以下、図１、図２、図３を用いて、メールアプリケ
ーションを例にとって説明する。まず最初にアプリケー
ションをスタートするとメールが何件来ているかを音声
で知らせる（S301）。その後提示する音声情報として
「○通目○○さんより」のように差出人を読み上げたも
のと、アプリケーションを終了させる「終了します」メ
ッセージを用意し、順番に提示する(S302)。ユーザが上
記選択手段に基づいて一つメールを選択すると、選択さ
れたメールの日付、差出人、件名を読み上げ(S303)、そ
のメールに対する処理を示すメッセージを提示すべき音
声情報として提示する(S304)。以下同様に、選択できる
情報を自動的に提示し、ユーザが前期選択手段を用いて
選択していくことで動作が進行する。情報の内容を把握
するのにメッセージを最初から最後まで聞く必要のない
ときは、情報が提示されている間に送りボタン６を押す
ことで、現在提示されている情報を飛ばして次の情報の
提示を促す事ができる。同様に、前に聞いた情報の内容
を忘れてしまいもう一度確認したい場合は戻しボタン４
を押すことで前に提示されていた情報を再度提示させる
ことができる。例えば、図３において、返信メールの録
音に失敗しもう一度録音しなおしたい場合は、その他の
メッセージ「送信します(S3081)」「送信を取りやめま
す(S3082)」を送りボタン６で飛ばし、「録音をやり直
します(S3083)」をすぐに提示させることができる。ま
たは、戻しボタン４で情報の提示順を逆順に辿り、提示
させてもよい。FIG. 2 is a control flow chart for explaining the operation of the embodiment of FIG. Here, the case where the N-th information PN is presented will be described. When the system is started, first, of all the information to be presented which has been sorted, presentation is started from the first ordered information. (S201) If the button is not pressed during the presentation of the PN, PN + 1 is set as the next presentation information (S205).
At this time, if N + 1 exceeds S, that is, if the S-th information has been presented, it is assumed that the first information is presented next (S207). If the button is pressed during the presentation of the PN, the presentation of the PN is immediately stopped (S208). If the pressed button is the return button, the information to be presented next is PN-
It is set to 1 (S211). When N-1 becomes 0, that is, when N is 1, the S-th information is presented next (S214).
If the pressed button is the forward button, the next information to be presented is set to PN + 1 (S210). The case where N + 1 exceeds S is as described above (S207). If the pressed button is the enter button, it is determined that the PN is the information desired by the user (S213). (Second Embodiment) FIG. 3 shows an operation flow when the present invention is applied to a mail application. In this example, the method described in FIG. 2 is repeatedly used a plurality of times. Hereinafter, a mail application will be described by way of example with reference to FIGS. First, when the application is started, the number of mails is notified by voice (S301). After that, as the voice information to be presented, a sender who reads aloud the sender, such as “from the ○○ eyes,” and a “finish” message for terminating the application are prepared and presented in order (S302). When the user selects one mail based on the above selection means, the date, sender, and subject of the selected mail are read out (S303), and a message indicating a process for the mail is presented as audio information to be presented (S304). . Hereinafter, similarly, selectable information is automatically presented, and the operation proceeds when the user makes a selection using the selection means. When it is not necessary to listen to the message from the beginning to the end to grasp the content of the information, by pressing the forward button 6 while the information is being presented, the currently presented information is skipped and the next information is skipped. You can encourage presentation. Similarly, if you have forgotten the contents of the information you heard before and want to check it again,
By pressing, the previously presented information can be presented again. For example, in FIG. 3, if you failed to record the reply mail and want to record it again, skip the other messages "Send (S3081)" and "Cancel send (S3082)" with the send button 6 and click "Record". (S3083) "can be presented immediately. Alternatively, the information may be presented in the reverse order of the presentation order of the information by the return button 4.
【００３１】こうして、操作ボタンを３つとし、実際の
操作を音声で提示し、その音声を選択させる形をとって
操作を進めることで、操作ボタンの確認作業を軽減し、
聴覚だけで操作できるインタフェースを実現できる。In this way, the number of operation buttons is set to three, the actual operation is presented by voice, and the operation is performed in the form of selecting the voice, thereby reducing the operation of confirming the operation button.
An interface that can be operated only by hearing can be realized.
【００３２】また、情報の提示を、複数メールを提示
（S302）、選択したメールに対する操作一覧（S304,S30
6,S308）の４段階に分ける事によって、その都度必要な
情報をユーザに提示することができ、メール本体の選択
と選択したメールに対する操作を同じ方法と同じボタン
で扱うことができる。In addition, information is presented by presenting a plurality of mails (S302), and a list of operations on the selected mails (S304, S30).
6, S308), necessary information can be presented to the user each time, and the selection of the mail body and the operation for the selected mail can be handled by the same method and the same button.
【００３３】次に、図８と図３を用いて、メモリの動き
を説明する。Next, the operation of the memory will be described with reference to FIGS.
【００３４】まず、主制御部８１２は情報記憶部８１６
に従い、到着メール件数に応じて「メールが到着してい
ます。新しいメールは○件です」（S301)の部分に件数
を入れて音声変換部８１２において音声メッセージに変
換し、変換後の音声の再生を再生制御部８１５に指示す
る。その後、情報記憶部８１６に格納されている到着メ
ールの差出人一覧をそれぞれ、音声変換部８１２を通じ
てそれぞれ「○通目○○さんより」（S3021〜S3023）と
音声に変換したものと、音声記憶部８１１に格納されて
いる「終了します」（S3024)とをメール選択メニューと
して、情報記憶部８１６に格納する。First, the main control unit 812 has the information storage unit 816
According to the number of arrival mails, the number is entered in the part of “Email has arrived. New mail is ○” (S301), converted to a voice message in the voice conversion unit 812, and the converted voice is played. To the reproduction control unit 815. Thereafter, the sender list of the arriving mail stored in the information storage unit 816 is converted into a voice “from Mr. XX eyes” (S3021 to S3023) through the voice conversion unit 812, and the voice storage unit. “End” (S3024) stored in 811 is stored in the information storage unit 816 as a mail selection menu.
【００３５】メニュー制御部８１３は格納された音声メ
ニューS302をそれぞれ順に再生制御部８１５に再生する
ように指示する。The menu control unit 813 instructs the reproduction control unit 815 to sequentially reproduce the stored voice menus S302.
【００３６】ユーザ８５が、メール差出人音声（S3021
〜S3023)が再生されているときに提示指示装置８４中の
決定ボタンを押した場合、主制御部８１２は、ユーザが
ボタンを押したときに提示中であったメールに該当する
題名情報を情報記憶部８１６に問い合わせ、「○通目○
○さんより○○○について」（S303)のように何通目の
誰から来たどんな題名であるかという音声に音声変換部
８１２を通じて音声に変換し情報記憶部８１６に格納
し、再生制御部８１５で再生する。The user 85 receives the mail sender's voice (S3021).
When the user presses the enter button in the presentation instructing device 84 while (S3023) is being reproduced, the main control unit 812 sends the title information corresponding to the mail being presented when the user presses the button. The storage unit 816 is inquired and "○
As to “from ○ to ○○○” (S303), the voice of the title and the title from which the user came from is converted to voice through the voice conversion unit 812 and stored in the information storage unit 816, and the playback control unit Play at 815.
【００３７】その後、選択されたメールに対して行える
動作を読み上げた音声「読み上げます（S3041)」「次の
メールを読みます（S3042)」を音声記憶部８１１から読
み出し、機能メニュー（S304）として、情報記憶部８１
６に格納する。メニュー制御部８１３は、情報記憶部８
１６に格納された機能メニュー（S304)をそれぞれ順に
再生制御部８１５に再生するように指示する。Thereafter, the voices "Read aloud (S3041)" and "Read the next mail (S3042)" which read the actions that can be performed on the selected mail are read out from the voice storage unit 811 and set as the function menu (S304). , Information storage unit 81
6 is stored. The menu control unit 813 includes the information storage unit 8
16 is instructed to reproduce the function menu (S304) stored in the reproduction control unit 815 in order.
【００３８】以下同様にユーザ８５の指示に従って情報
記憶部816に音声メニューを読みこみ、メニュー制御部
８１３によって、音声提示が指示される。Similarly, the voice menu is read into the information storage unit 816 in accordance with the instruction of the user 85, and the menu control unit 813 instructs the voice presentation.
【００３９】図３中のS3024,S304,S305,S306,S307,S308
は固定メッセージのためあらかじめ音声記憶部８１１に
音声として記憶されており、提示するときには直接情報
記憶部８１６に読みこみ、再生制御部８１５で再生され
る。S3024, S304, S305, S306, S307, S308 in FIG.
Is stored in advance in the voice storage unit 811 as a voice because it is a fixed message. When presented, it is read directly into the information storage unit 816 and reproduced by the reproduction control unit 815.
【００４０】S301,S3021〜S3023、S303は、メールの内
容によって変わってくるため、情報記憶部８１５に格納
されているメール内容を音声変換部８１４を通じて音声
に変換し、変換後音声を情報記憶部８１５に格納し、再
生制御部８１５によって再生する。Since S301, S3021 to S3023, and S303 change depending on the contents of the mail, the mail contents stored in the information storage unit 815 are converted into voice through the voice conversion unit 814, and the converted voice is stored in the information storage unit. 815 and reproduced by the reproduction control unit 815.
【００４１】この例では、メールを扱ったために音声変
換部８１４はテキストを音声合成するものであるが、扱
う情報によっては、音声合成だけとは限らず、人声以外
の音声であってもよい。In this example, the voice conversion unit 814 synthesizes the text by voice because the mail is handled. However, depending on the information to be handled, the voice conversion is not limited to the voice synthesis and may be a voice other than a human voice. .
【００４２】また本発明は、メールアプリケーションだ
けではなく、音楽ＣＤや多チャンネル放送の番組案内な
どに応用することもできる。 (第３の実施の形態)図４に、本発明を音楽ＣＤ検索シス
テムに応用した例を示す。スタートさせると、まず、ジ
ャンルを読み上げた音声を情報として提示し(S401)、そ
の中から邦楽を選ぶと、邦楽の中のさらに細かいジャン
ルを提示する(S402)。以下同様にしてカテゴリのインデ
ックスを選択決定する動作を繰り返し、所望の情報を選
択する。図４中のS402、S405には、カテゴリのインデッ
クスを音声合成したものではなく、ＣＤのサビの部分な
どでも一意にその情報の中身が理解できるため、直接Ｃ
Ｄの音声をインデックスとして使用してもよい。以上の
ように、検索対象となる情報の数が多くなる場合にはカ
テゴライズしてインデックスをユーザに提示すること
で、所望の情報をユーザに提供する。また、元の操作に
（一つ上の階層に）戻るには、図1中の戻しボタン４、
決定ボタン５、送りボタンに新たに一つ前に戻るボタン
を付け加えてもよい。また、一つ前の階層に戻れる場合
には、提示する情報とともに「一つ前のメニューに戻
る」という音声情報を提示し、ユーザがその情報を選ん
だときには一つ前の階層に戻ることができるようにして
もよい。The present invention can be applied not only to mail applications but also to music CDs, multi-channel broadcast program guides, and the like. Third Embodiment FIG. 4 shows an example in which the present invention is applied to a music CD search system. When the game is started, first, a genre-reading voice is presented as information (S401), and if a Japanese music is selected from the information, a more detailed genre of the Japanese music is presented (S402). Thereafter, the operation of selecting and determining the index of the category is repeated in the same manner to select desired information. S402 and S405 in FIG. 4 are not speech-synthesized category indices, and the contents of the information can be uniquely understood even in the rust portion of a CD.
The voice of D may be used as an index. As described above, when the number of pieces of information to be searched increases, the information is categorized and the index is presented to the user, thereby providing the user with desired information. Also, to return to the original operation (up one level), the return button 4 in FIG.
A button for returning to the previous one may be added to the determination button 5 and the forward button. If the user can return to the previous level, the information to be presented is presented together with the voice information of "return to the previous menu", and when the user selects the information, the user can return to the previous level. You may be able to.
【００４３】図４の例では、選択できるメニュー、イン
デックスをS401, S402, S403, S405, S406, S407
の７段階に分ける事によって所望の音楽情報を得ること
ができる。また、７段階のインデックス情報に「一つ前
のメニューに戻る」メッセージを付け加え、情報本体
と、システム操作コマンドを同じ次元で扱うこともでき
る。In the example of FIG. 4, selectable menus and indices are S401, S402, S403, S405, S406, S407.
By dividing the music into seven stages, desired music information can be obtained. In addition, a message "return to the previous menu" can be added to the seven levels of index information so that the information body and the system operation command can be handled in the same dimension.
【００４４】多チャンネル放送の番組案内に本発明を応
用する場合には、チャンネル別、時間別の他に、ジャン
ル別、対象年齢別などのインデックスを用意して、ユー
ザが所望の番組を選べるように促してもよい。この場合
も、インデックス名を音声合成したものを提示音声とし
てもよいし、番組中の音声をそのまま用いてもよい。When the present invention is applied to a program guide for multi-channel broadcasting, in addition to channels and times, indexes such as genres and target ages are prepared so that a user can select a desired program. You may be prompted. In this case as well, a speech synthesized from the index name may be used as the presentation speech, or the speech in the program may be used as is.
【００４５】現在放送中の番組一覧を本発明の手法で提
示するときには、一定時間ごとにチャンネルを切り替え
て提示してもよいし、それぞれの番組における特徴のあ
る音声を番組の情報として提示してもよい。この場合
は、時間が経ち、あるチャンネルにおいて番組が次の番
組に入れ替わった場合には順次それに対応して、入れ替
わった番組の音声を提示する。When a list of programs currently being broadcast is presented by the method of the present invention, the channel may be switched at regular intervals and presented, or the characteristic sound of each program may be presented as program information. Is also good. In this case, after a lapse of time, when a program is switched to the next program in a certain channel, the sound of the replaced program is presented correspondingly in sequence.
【００４６】また、聴覚情報だけでなく、補助的に視覚
情報を用いて、視覚と聴覚の両方で情報をユーザに提示
してもよい。以下視覚情報を補助的に用いた例として図
５、図6を用いて説明する。Further, not only the auditory information but also the visual information may be used to present the information to the user both visually and auditoryly. Hereinafter, an example in which visual information is used as an auxiliary will be described with reference to FIGS.
【００４７】図5は、第2の実施の形態のイメージ図であ
る。ユーザ１は、ヘッドフォン装置２を通して、制御装
置３が提示する音声情報を順番に聞く。それと同時に、
制御装置3は、提示している音声情報に関連付けられた
画像情報をディスプレイ装置８に提示する。ディスプレ
イ装置8には、提示すべき全ての情報についての画像が
一覧表示されており、音声にて提示中の情報に関連付け
られた情報に対応する画像情報は太枠で囲むなどの、一
目で提示中の音声に関連付けられている事がわかるよう
な工夫をする。FIG. 5 is an image diagram of the second embodiment. The user 1 sequentially listens to the audio information presented by the control device 3 through the headphone device 2. At the same time,
The control device 3 presents the image information associated with the presented audio information to the display device 8. On the display device 8, images of all information to be presented are displayed in a list, and image information corresponding to the information associated with the information being presented by voice is presented at a glance, such as being surrounded by a thick frame. Make a device so that you can see that it is associated with the audio in the middle.
【００４８】図６は、提示情報が切り替わったときのデ
ィスプレイ装置８の表示の変化を示している。制御装置
３は、複数の情報源に対応する音声情報を順次切り替え
て提示すると当時に、ディスプレイ装置８に提示してい
る画像情報についても、提示音声を切り替える毎に対応
する画像情報に注目がいくような工夫をする。図6で
は、音声にて提示中の情報に関連付けられた情報に対応
する画像情報は太枠で囲んでいる。S61の状態ではGの情
報を音声にて提示中である。ここで、ユーザの指示がな
い場合もしくは、ユーザが送るボタン６を押すことによ
って次の情報の提示が指示された場合、制御装置３は、
Hの情報を提示し、太枠をHに移動する（S62）。S61の状
態で、ユーザが十字パッドの下方向キーを押したとき、
制御装置３は、ディスプレイ装置８上でGの下に表示し
ているKの情報の提示をユーザによって指示されたと判
断し、Gの音声提示を中止し、Kの音声提示を開始し、当
時に太枠をKに移動する（S63）。FIG. 6 shows a change in the display on the display device 8 when the presentation information is switched. When the control device 3 sequentially switches and presents the audio information corresponding to the plurality of information sources, at that time, the image information presented to the display device 8 also pays attention to the corresponding image information every time the presented audio is switched. Make a device like this. In FIG. 6, the image information corresponding to the information associated with the information being presented by voice is surrounded by a thick frame. In the state of S61, the information of G is being presented by voice. Here, when there is no user's instruction, or when the user presses the send button 6 to give an instruction to present the next information, the control device 3
The information of H is presented, and the thick frame is moved to H (S62). When the user presses the down key of the cross pad in the state of S61,
The control device 3 determines that the presentation of the information of K displayed below G on the display device 8 has been instructed by the user, stops the presentation of the sound of G, starts the presentation of the sound of K, Move the thick frame to K (S63).
【００４９】このように、画像情報を併用することで、
音声で提示中でない他の情報を画像情報を用いて閲覧で
き、また、戻しボタン４、送りボタン６を一回押すだけ
では提示を指示できない情報を十字パッドを用いて提示
を指示させることができる。ポインティングデバイスと
して使用する十字パッドは、マウス、シャトルリング、
ジョグダイアル、マウス、ジョイスティックなどでも構
わない。As described above, by using the image information together,
Other information that is not presented by voice can be browsed using the image information, and information that cannot be presented only by pressing the return button 4 and the forward button 6 once can be presented using the cross pad. . The cross pad used as a pointing device is a mouse, shuttle ring,
A jog dial, mouse, joystick, etc. may be used.
【００５０】以上、本発明の方法について説明したが、
図5を参照して、本発明を実現する装置について説明す
る。The method of the present invention has been described above.
An apparatus for implementing the present invention will be described with reference to FIG.
【００５１】７１はディスプレイ装置、７２はヘッドフ
ォン、７３はハードディスク、７４はメモリ、７５はＣ
ＰＵ、７６は十字パッド、決定ボタン、送りボタン、戻
しボタン、一つ前の階層に戻るボタン、を備えたコント
ローラ、である。プログラムはネットワーク経由または
プログラム媒体の形でハードディスク７３から供給さ
れ、メモリ７４に蓄えられる。ＣＰＵ７５は、メモリ７
４上のプログラムを読み、ヘッドフォン７２に供給す
る。また、提示中の音声に合わせ提示中の音声に対応し
た画像を際立たせるよう制御してディスプレイ装置７１
に供給する。コントローラ７６からの指示があるとＣＰ
Ｕ２５はコントローラ７６が押されたときにヘッドフォ
ンに供給していた音声情報に基づく情報をユーザの所望
の情報であると判断する。Reference numeral 71 denotes a display device, 72 denotes headphones, 73 denotes a hard disk, 74 denotes a memory, and 75 denotes a C.
PU, 76 is a controller provided with a cross pad, an enter button, a forward button, a return button, and a button for returning to the previous layer. The program is supplied from the hard disk 73 via a network or in the form of a program medium, and is stored in the memory 74. The CPU 75 has a memory 7
4 is read and supplied to the headphone 72. In addition, the display device 71 controls the image corresponding to the presenting voice to stand out in accordance with the presenting voice.
To supply. When there is an instruction from the controller 76, the CP
U25 determines that the information based on the audio information supplied to the headphones when the controller 76 is pressed is the information desired by the user.
【００５２】なお、本発明は上記実施の形態に限定され
るものではない。本発明は、コンピュータを制御装置３
として機能させるためのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体であってもよく、例えば、
磁気テープ、ＣＤ−ＲＯＭ、ＩＣカード、ＲＡＭカード
等のいかなるタイプの記録媒体であってもよい。The present invention is not limited to the above embodiment. According to the present invention, the computer
It may be a computer-readable recording medium that records a program for functioning as, for example,
Any type of recording medium such as a magnetic tape, a CD-ROM, an IC card, a RAM card and the like may be used.
【００５３】また、本明細書中に記述したメールアプリ
ケーション、ＣＤカタログ、多チャンネル放送への応用
のほかにも、本発明は、多くの情報の中から一つを選
ぶ、メニューの中から所望のものを選択する形の技術と
して広い分野で応用が可能である。In addition to the application to the mail application, the CD catalog, and the multi-channel broadcasting described in the present specification, the present invention selects one out of a lot of information and selects a desired one from a menu. It can be applied in a wide range of fields as a technology for selecting things.
【００５４】[0054]
【発明の効果】本発明の如く、それぞれある情報に関連
付けられた複数の音声情報を用いて、順次切り替えて再
生することで順番にユーザに情報を提示し、ユーザがボ
タンを押したときに再生されているものをユーザの所望
の情報と判断させることで、ボタン一つでも複数の情報
の中からユーザが所望の情報を選択することができる。According to the present invention, information is presented to the user in order by sequentially switching and reproducing using a plurality of pieces of audio information respectively associated with certain information, and reproduced when the user presses a button. The user can select the desired information from a plurality of pieces of information by using the button to determine what is desired by the user.
【００５５】また、ユーザの指示がなければ提示される
音声情報、提示が終わり次第すぐに次の情報の提示に移
るが、ユーザの指示により次に提示されるべき音声情報
の提示、一つ前に提示されていた情報の再提示を指示す
ることができ、時間を短縮して所望の情報を得ることも
できる。Also, if there is no user's instruction, the audio information to be presented, and as soon as presentation is completed, the next information is presented. Can be instructed to re-present the information that has been presented, and the desired information can be obtained in a reduced time.
【００５６】このように、複数の音声情報を順次再生し
ユーザに提示することで、複数の情報源の中から一つの
情報を選択する際に良好なユーザインタフェースを提供
できる。As described above, by sequentially reproducing a plurality of pieces of audio information and presenting it to the user, it is possible to provide a good user interface when selecting one piece of information from a plurality of information sources.
【００５７】また、コントローラによって選択操作され
たときに再生していた音声情報に関連付けられた情報を
ユーザの所望の情報と決めておけば、一つのボタンで情
報選択を行うことができる。また、戻し、送り、を併用
することで、提示待ち時間の節約ができ、短時間で所望
の情報を得ることができる。また、画像を併用すること
で、単にソーティングされた情報をソーティング順に参
照するだけでなく、直接選択することもできる。Further, if the information associated with the audio information being reproduced when the selection operation is performed by the controller is determined as the information desired by the user, the information can be selected with one button. Also, by using return and send together, presentation waiting time can be saved, and desired information can be obtained in a short time. In addition, by using the images together, it is possible to directly select not only the sorted information but also the information in the sorting order.
【図１】本発明の第1の実施の形態の操作イメージ図で
ある。FIG. 1 is an operation image diagram of a first embodiment of the present invention.
【図２】本発明の基本動作を説明する制御フロー図であ
る。FIG. 2 is a control flowchart illustrating a basic operation of the present invention.
【図３】本発明をメールのアプリケーションに適用した
ときの、提示情報の移り変わりの様子を示す制御フロー
図である。FIG. 3 is a control flow chart showing how presentation information changes when the present invention is applied to a mail application.
【図４】本発明を音楽ＣＤ検索に適用したときの、提示
情報の移り変わりの様子を示す制御フロー図である。FIG. 4 is a control flow chart showing how presentation information changes when the present invention is applied to music CD search.
【図５】本発明の第２の実施の形態の操作イメージ図で
ある。FIG. 5 is an operation image diagram of the second embodiment of the present invention.
【図６】本発明に画像を併用した場合の、表示の変化を
表す。FIG. 6 shows a change in display when an image is used in combination with the present invention.
【図７】本発明を実現する装置の構成図である。FIG. 7 is a configuration diagram of an apparatus for realizing the present invention.
【図8】本発明を実現する装置の構成図である。FIG. 8 is a configuration diagram of an apparatus for realizing the present invention.
フロントページの続き (72)発明者 浦野 直樹 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5D045 AA07 AB21 AC05 Continued on the front page (72) Inventor Naoki Urano 22-22 Nagaikecho, Abeno-ku, Osaka-shi, Osaka F-term (reference) 5D045 AA07 AB21 AC05
Claims (8)
報源を選択する情報選択装置であって、 前記複数の情報源を音声情報として順次切り替え、前記
音源により提示する手段と、 提示された音声情報から所望の情報源に該当する音声情
報を選択する手段と、を、少なくとも備えてなることを
特徴とする情報選択装置。1. An information selection device including a sound source and selecting a desired information source from a plurality of information sources, wherein the plurality of information sources are sequentially switched as audio information and presented by the sound source. Means for selecting audio information corresponding to a desired information source from the obtained audio information.
段、を備えてなることを特徴とする請求項１に記載の情
報選択装置。2. The information selecting apparatus according to claim 1, further comprising: means for instructing switching of the audio information.
情報より後に提示される音声情報、又は、提示中の音声
情報より前に提示される音声情報の提示を指示するもの
であることを特徴とする請求項２に記載の情報選択装
置。3. The apparatus according to claim 1, wherein the switching instruction unit is configured to instruct presentation of audio information presented after the presented audio information or presented prior to the presented audio information. The information selection device according to claim 2, wherein
ち、所望の音声情報が選択されたときに、他の情報も提
示する手段、を備えてなることを特徴とする請求項１乃
至３のいずれかに記載の情報選択装置。4. The apparatus according to claim 1, wherein the information source has information in addition to the audio information, and includes means for presenting other information when desired audio information is selected. 4. The information selection device according to any one of claims 3 to 3.
ち、前記音声情報の切り替えに伴って、この情報も順次
切り替えて提示する手段を、有することを特徴とする請
求項１乃至３のいずれかに記載の情報選択装置。5. The information source according to claim 1, wherein the information source has information in addition to the audio information, and has means for sequentially switching and presenting the information as the audio information is switched. The information selection device according to any one of the above.
る請求項１乃至５のいずれかに記載の情報選択装置を用
いる情報選択方法であって、 前記複数の情報源を音声情報として順次切り替えて提示
するステップと、 提示された音声情報から所望の情報源に該当する音声情
報を選択するステップと、を、少なくとも備えてなるこ
とを特徴とする情報選択方法。6. An information selection method using an information selection device according to claim 1, wherein a desired information source is selected from a plurality of information sources, wherein the plurality of information sources are sequentially used as audio information. An information selection method comprising at least a step of switching and presenting, and a step of selecting audio information corresponding to a desired information source from the presented audio information.
し用いることにより、カテゴライズされた情報源の中か
ら、徐々に情報を絞り込むステップを備えてなることを
特徴とする情報選択方法。7. An information selection method comprising a step of repeatedly narrowing down information from categorized information sources by repeatedly using the information selection method according to claim 6.
音源により提示する手段、 提示された音声情報から所望の情報源に該当する音声情
報を選択する手段、として機能させるためのプログラム
を記録したコンピュータ読み取り可能な記録媒体。8. A computer functioning as a means for sequentially switching the plurality of information sources as audio information and presenting the information using the sound source, and a means for selecting audio information corresponding to a desired information source from the presented audio information. Readable recording medium on which a program for recording is recorded.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18280199A JP3629384B2 (en) | 1999-06-29 | 1999-06-29 | Information selection device and recording medium |
| US09/504,438 US6983251B1 (en) | 1999-02-15 | 2000-02-15 | Information selection apparatus selecting desired information from plurality of audio information by mainly using audio |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18280199A JP3629384B2 (en) | 1999-06-29 | 1999-06-29 | Information selection device and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001013978A true JP2001013978A (en) | 2001-01-19 |
| JP3629384B2 JP3629384B2 (en) | 2005-03-16 |
Family
ID=16124670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18280199A Expired - Fee Related JP3629384B2 (en) | 1999-02-15 | 1999-06-29 | Information selection device and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3629384B2 (en) |
Cited By (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002218351A (en) * | 2001-01-23 | 2002-08-02 | Mitsubishi Electric Corp | Voice output control device |
| JP2002304409A (en) * | 2001-02-01 | 2002-10-18 | Internatl Business Mach Corp <Ibm> | Method and system for presenting database query result via audio user interface |
| JP2004531836A (en) * | 2001-06-29 | 2004-10-14 | トムソン ライセンシング ソシエテ アノニム | Method and system for providing an acoustic interface |
| WO2006068123A1 (en) * | 2004-12-21 | 2006-06-29 | Matsushita Electric Industrial Co., Ltd. | Device in which selection is activated by voice and method in which selection is activated by voice |
| WO2006107074A1 (en) * | 2005-04-05 | 2006-10-12 | Matsushita Electric Industrial Co., Ltd. | Portable terminal |
| JP2007172440A (en) * | 2005-12-26 | 2007-07-05 | Matsushita Electric Ind Co Ltd | Electric equipment |
| JP2012501035A (en) * | 2008-09-09 | 2012-01-12 | アップル インコーポレイテッド | Audio user interface |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
| US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01231100A (en) * | 1988-03-11 | 1989-09-14 | Hitachi Ltd | Sound data file retrieving method |
| JPH03198090A (en) * | 1989-12-27 | 1991-08-29 | Casio Comput Co Ltd | System for displaying menu |
| JPH0447456A (en) * | 1990-06-13 | 1992-02-17 | Personal Joho Kankyo Kyokai | Information presenting device |
| JPH05273991A (en) * | 1992-03-25 | 1993-10-22 | Sanyo Electric Co Ltd | Sentence reader |
| JPH05281987A (en) * | 1992-04-02 | 1993-10-29 | Sanyo Electric Co Ltd | Portable document reading-out device |
| JPH06149517A (en) * | 1992-11-10 | 1994-05-27 | Hitachi Ltd | Method and device for selecting menu |
| JPH07298162A (en) * | 1994-04-27 | 1995-11-10 | Toshiba Corp | Audio circuit in two-pattern television receiver |
| JPH08194492A (en) * | 1995-01-18 | 1996-07-30 | Fujitsu Ltd | Supporting device for preparation of proceeding |
| JPH0974531A (en) * | 1995-09-04 | 1997-03-18 | Sony Corp | Audio and video device |
| JPH09114493A (en) * | 1995-10-19 | 1997-05-02 | N T T Data Tsushin Kk | Interaction controller |
| JPH09282278A (en) * | 1996-04-15 | 1997-10-31 | Ricoh Co Ltd | Terminal equipment and information distribution system |
| JPH09307658A (en) * | 1996-05-13 | 1997-11-28 | Canon Inc | Information processing method and device |
| JPH1078952A (en) * | 1996-07-29 | 1998-03-24 | Internatl Business Mach Corp <Ibm> | Voice synthesizing method and device therefor and hypertext control method and controller |
| JPH10105370A (en) * | 1996-09-25 | 1998-04-24 | Canon Inc | Device and method for reading document aloud and storage medium |
| JPH10207479A (en) * | 1997-01-22 | 1998-08-07 | Yamaha Corp | Karaoke device |
| JPH11150691A (en) * | 1997-11-17 | 1999-06-02 | Sony Corp | Electronic device, function operating method in electronic device, and medium storing executable program in electronic device |
| JPH11150692A (en) * | 1997-11-17 | 1999-06-02 | Sony Corp | Electronic device, function operating method in electronic device, and medium storing executable program in electronic device |
| JPH11164215A (en) * | 1997-11-28 | 1999-06-18 | Toshiba Corp | Television receiver |
| JPH11167398A (en) * | 1997-12-04 | 1999-06-22 | Mitsubishi Electric Corp | Voice synthesizer |
-
1999
- 1999-06-29 JP JP18280199A patent/JP3629384B2/en not_active Expired - Fee Related
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01231100A (en) * | 1988-03-11 | 1989-09-14 | Hitachi Ltd | Sound data file retrieving method |
| JPH03198090A (en) * | 1989-12-27 | 1991-08-29 | Casio Comput Co Ltd | System for displaying menu |
| JPH0447456A (en) * | 1990-06-13 | 1992-02-17 | Personal Joho Kankyo Kyokai | Information presenting device |
| JPH05273991A (en) * | 1992-03-25 | 1993-10-22 | Sanyo Electric Co Ltd | Sentence reader |
| JPH05281987A (en) * | 1992-04-02 | 1993-10-29 | Sanyo Electric Co Ltd | Portable document reading-out device |
| JPH06149517A (en) * | 1992-11-10 | 1994-05-27 | Hitachi Ltd | Method and device for selecting menu |
| JPH07298162A (en) * | 1994-04-27 | 1995-11-10 | Toshiba Corp | Audio circuit in two-pattern television receiver |
| JPH08194492A (en) * | 1995-01-18 | 1996-07-30 | Fujitsu Ltd | Supporting device for preparation of proceeding |
| JPH0974531A (en) * | 1995-09-04 | 1997-03-18 | Sony Corp | Audio and video device |
| JPH09114493A (en) * | 1995-10-19 | 1997-05-02 | N T T Data Tsushin Kk | Interaction controller |
| JPH09282278A (en) * | 1996-04-15 | 1997-10-31 | Ricoh Co Ltd | Terminal equipment and information distribution system |
| JPH09307658A (en) * | 1996-05-13 | 1997-11-28 | Canon Inc | Information processing method and device |
| JPH1078952A (en) * | 1996-07-29 | 1998-03-24 | Internatl Business Mach Corp <Ibm> | Voice synthesizing method and device therefor and hypertext control method and controller |
| JPH10105370A (en) * | 1996-09-25 | 1998-04-24 | Canon Inc | Device and method for reading document aloud and storage medium |
| JPH10207479A (en) * | 1997-01-22 | 1998-08-07 | Yamaha Corp | Karaoke device |
| JPH11150691A (en) * | 1997-11-17 | 1999-06-02 | Sony Corp | Electronic device, function operating method in electronic device, and medium storing executable program in electronic device |
| JPH11150692A (en) * | 1997-11-17 | 1999-06-02 | Sony Corp | Electronic device, function operating method in electronic device, and medium storing executable program in electronic device |
| JPH11164215A (en) * | 1997-11-28 | 1999-06-18 | Toshiba Corp | Television receiver |
| JPH11167398A (en) * | 1997-12-04 | 1999-06-22 | Mitsubishi Electric Corp | Voice synthesizer |
Cited By (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| JP4672152B2 (en) * | 2001-01-23 | 2011-04-20 | 三菱電機株式会社 | Audio output control device |
| JP2002218351A (en) * | 2001-01-23 | 2002-08-02 | Mitsubishi Electric Corp | Voice output control device |
| JP2002304409A (en) * | 2001-02-01 | 2002-10-18 | Internatl Business Mach Corp <Ibm> | Method and system for presenting database query result via audio user interface |
| US7117442B1 (en) | 2001-02-01 | 2006-10-03 | International Business Machines Corporation | Efficient presentation of database query results through audio user interfaces |
| JP2010238242A (en) * | 2001-06-29 | 2010-10-21 | Thomson Licensing | Method and system for providing access to a plurality of music files, and user interface system |
| JP2004531836A (en) * | 2001-06-29 | 2004-10-14 | トムソン ライセンシング ソシエテ アノニム | Method and system for providing an acoustic interface |
| US7698134B2 (en) | 2004-12-21 | 2010-04-13 | Panasonic Corporation | Device in which selection is activated by voice and method in which selection is activated by voice |
| WO2006068123A1 (en) * | 2004-12-21 | 2006-06-29 | Matsushita Electric Industrial Co., Ltd. | Device in which selection is activated by voice and method in which selection is activated by voice |
| WO2006107074A1 (en) * | 2005-04-05 | 2006-10-12 | Matsushita Electric Industrial Co., Ltd. | Portable terminal |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| JP2007172440A (en) * | 2005-12-26 | 2007-07-05 | Matsushita Electric Ind Co Ltd | Electric equipment |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
| JP2012501035A (en) * | 2008-09-09 | 2012-01-12 | アップル インコーポレイテッド | Audio user interface |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
| US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
| US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3629384B2 (en) | 2005-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3629384B2 (en) | Information selection device and recording medium | |
| US6983251B1 (en) | Information selection apparatus selecting desired information from plurality of audio information by mainly using audio | |
| US8064888B2 (en) | Communications system that provides user-selectable data when user is on-hold | |
| US7779357B2 (en) | Audio user interface for computing devices | |
| US8046229B2 (en) | Method and apparatus for website navigation by the visually impaired | |
| Resnick et al. | Skip and scan: cleaning up telephone interface | |
| JP5963695B2 (en) | Message transmission program, message transmission device, and message distribution system | |
| US20050217459A1 (en) | Content providing apparatus, content providing system, web site changing apparatus, web site changing system, content providing method, and web site changing method | |
| EP2112650A1 (en) | Speech synthesis apparatus, speech synthesis method, speech synthesis program, portable information terminal, and speech synthesis system | |
| WO2007132690A1 (en) | Speech data summary reproducing device, speech data summary reproducing method, and speech data summary reproducing program | |
| JP2004347943A (en) | Data processor, musical piece reproducing apparatus, control program for data processor, and control program for musical piece reproducing apparatus | |
| US4899369A (en) | Radio-analogue method of audio presentation and control for audiotex services | |
| WO2009103204A1 (en) | A method and apparatus of playing dynamic audio-video menu | |
| US20050286384A1 (en) | Music selection apparatus, music selection system and music selection method | |
| JP2005202035A (en) | Conversation information analyzer | |
| WO2001009785A1 (en) | Study method and apparatus using digital audio and caption data | |
| JP3766770B2 (en) | Information presenting apparatus, information presenting method, and computer-readable recording medium recording information presenting program | |
| JP2008032786A (en) | Language learning system and program for language learning system | |
| US6885732B2 (en) | Voice message vignettes | |
| JP2005301399A (en) | Information processor and method and program | |
| EP1289244B1 (en) | Interactive voice response system | |
| US20070117080A1 (en) | Auxiliary operation system of handheld electronic device | |
| JP2006091680A (en) | Mobile communication terminal and program | |
| WO1997037344A1 (en) | Terminal having speech output function, and character information providing system using the terminal | |
| JP3596781B2 (en) | Information providing method by information providing apparatus and information providing apparatus used for implementing the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |