JP2006023860A - Information browser, information browsing program, information browsing program recording medium, and information browsing system - Google Patents
Information browser, information browsing program, information browsing program recording medium, and information browsing system Download PDFInfo
- Publication number
- JP2006023860A JP2006023860A JP2004199839A JP2004199839A JP2006023860A JP 2006023860 A JP2006023860 A JP 2006023860A JP 2004199839 A JP2004199839 A JP 2004199839A JP 2004199839 A JP2004199839 A JP 2004199839A JP 2006023860 A JP2006023860 A JP 2006023860A
- Authority
- JP
- Japan
- Prior art keywords
- data
- speech recognition
- bookmark
- information browsing
- electronic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、本発明は、例えば閲覧していた電子書籍のデータ位置を保存することが可能であり、特に画面の特定位置を直接指定できる入力装置がない、携帯電話などに好適な情報閲覧装置、情報閲覧プログラム、情報閲覧プログラム記録媒体及び情報閲覧システムに関する。 The present invention can store the data position of an electronic book that has been browsed, for example, and is an information browsing apparatus suitable for a mobile phone or the like that does not have an input device that can directly designate a specific position on the screen. The present invention relates to an information browsing program, an information browsing program recording medium, and an information browsing system.
近年、様々な情報が電子データの形態にて提供されている。そのような電子データの例として、紙によって供給されていた書籍を電子化した電子書籍がある。通常、一冊の電子書籍を一気に読むことはなく、何度か中断しながら一冊の電子書籍を読み終える。 In recent years, various information is provided in the form of electronic data. As an example of such electronic data, there is an electronic book obtained by digitizing a book supplied by paper. Normally, one e-book is not read at a stretch, and one e-book is read while being interrupted several times.
そのような状況において使い勝手を良くする発明として、特開平2−89176(以下第1従来技術と称する)及び特開2001−184354(以下第2従来技術と称する)がある。 As an invention for improving usability in such a situation, there are JP-A-2-89176 (hereinafter referred to as the first prior art) and JP-A-2001-184354 (hereinafter referred to as the second prior art).
第1従来技術では、電子読書機の電源がOFFになった際などに、その直前に表示していた電子書籍のページの位置(あるいはカーソルの位置)をしおりデータとして保存する。そして、その電子書籍を再度読む際に、前に保存したしおりデータを選択し、選択したしおりデータにて示される位置から電子書籍を表示している。 In the first related art, when the power of the electronic reading machine is turned off, the position of the page of the electronic book (or the position of the cursor) displayed immediately before is saved as bookmark data. And when reading the electronic book again, the bookmark data preserve | saved previously are selected and the electronic book is displayed from the position shown by the selected bookmark data.
また、第2従来技術では、表示している電子書籍の開始位置及び終了位置を指定して、それら指定範囲をしおりデータとして保存することができる。そして、しおりデータを選択した時に、その選択したしおりデータにて示される範囲と他の範囲とを視覚的に区別して表示している。尚、第2従来技術では、しおりデータにキーワードあるいはアイコンなどのしおり識別情報を設定する発明も開示している。
しかしながら、第1及び第2従来技術では、「電子書籍などを読む場合において、表示している電子データの最後の行まで区切れ良く読み終えるとは限らない」ことを想定していなかった。例えば、携帯電話上にて電子書籍を読む場合を考える。そのような場合では、電話がかかってきたので、表示している電子データの真中の部分までしか読んでいないのに、やむなく電子書籍を閉じなければならないことがある。 However, the first and second prior arts do not assume that “when reading an electronic book or the like, the last line of the displayed electronic data is divided and not completely read”. For example, consider a case where an electronic book is read on a mobile phone. In such a case, since a phone call has been received, the electronic book may be unavoidably closed even though only the middle part of the displayed electronic data has been read.
第1及び第2従来技術では、上記のように急に書籍を閉じ、再び書籍を読む場合に、「前回表示されていたデータのどの行(位置)まで読んでいたか」が分かり難く、使い勝手が悪いという課題があった。例えば、図24のように、表示されている電子データ1001において1002の位置まで読み、しおり保存を行った場合を考える。
In the first and second prior arts, when the book is suddenly closed as described above and the book is read again, it is difficult to understand “to which line (position) of the data displayed previously”. There was a problem of being bad. For example, as shown in FIG. 24, consider a case where the displayed
第1従来技術では、カーソルキーを用いて電子データ位置1002を指定し、その位置をしおりデータとして保存していた。従って、利用者は、手動で電子データ位置を指定する手間が必要であった。このため、利用者にとって使い勝手が悪かった。特に、マウスなど、画面の特定位置を直接指せる入力装置がない携帯電話では、カーソルキーを何度も押して電子データ位置1002を指定しなければならない。 In the first prior art, an electronic data position 1002 is designated using a cursor key, and the position is stored as bookmark data. Therefore, the user has to manually specify the electronic data position. For this reason, it was bad for the user. In particular, in a mobile phone that does not have an input device that can directly point to a specific position on the screen, such as a mouse, the electronic data position 1002 must be designated by pressing the cursor key many times.
また、第2従来技術では、表示している電子書籍の始端位置及び終端位置を指定し、それらの範囲をしおりデータとして保存する必要あった。従って、第2従来技術においても、利用者が突発的に読書を中断せざるを得ない状況では、いちいち範囲を指定するという、わずらわしい作業が必要であった。 Further, in the second prior art, it is necessary to designate the start position and the end position of the displayed electronic book and to store these ranges as bookmark data. Therefore, even in the second prior art, in the situation where the user has to interrupt reading suddenly, the troublesome work of designating the range one by one was necessary.
本発明は、上記の課題を解決するためになされたものであって、例えば、急に情報閲覧を止める必要がある状況においても、利用者が簡単に自分の読んでいる位置を保存できる、使い勝手が良い情報閲覧装置、情報閲覧プログラム、情報閲覧プログラム記録媒体及び情報閲覧システムの提供を目的としている。 The present invention has been made to solve the above-described problems. For example, even in a situation where information browsing needs to be stopped suddenly, the user can easily save the position that the user is reading. It is an object of the present invention to provide an information browsing apparatus, an information browsing program, an information browsing program recording medium, and an information browsing system.
(発明のポイント)
上記課題を解決する発明の要点は、以下のようにまとめることができる。
・例えば、電子書籍を急に閉じなければならない時に、利用者が発話した単語あるいは単語列の音声を認識し、電子書籍データの表示装置に表示しているデータ範囲からその音声認識結果と一致する文字列を検索する。そして、その音声認識結果と一致した文字列のデータ位置をしおりデータとして記憶する。
(Point of invention)
The main points of the invention for solving the above-mentioned problems can be summarized as follows.
・ For example, when an electronic book must be closed suddenly, the voice of a word or word string spoken by the user is recognized and matches the voice recognition result from the data range displayed on the electronic book data display device. Search for a string. Then, the data position of the character string that matches the voice recognition result is stored as bookmark data.
上記のように、音声入力を用いることによって、利用者はいちいち手動で電子データ位置を指定する手間がなくなる。 As described above, by using voice input, the user does not have to manually specify the electronic data position.
しかしながら、上記解決構成では、音声認識結果と一致する文字列が複数存在した場合には複数のデータ位置を1つのしおりデータとして保存するという、従来になかった状況が生じる。そして、利用者が複数のデータ位置の内でしおりデータとして保存したいデータ位置を容易に選択できるマン・マシンインターフェースが必要となる。さらに、複数のデータ位置を含むしおりデータを保存した後にそのしおりデータを選択した際に、そのしおりデータが示す複数のデータ位置の内で利用者が所望するデータ位置を容易に選択できるようなマン・マシンインターフェースも必要になる。 However, in the above-described solution configuration, when there are a plurality of character strings that match the speech recognition result, a situation that has not existed before occurs in which a plurality of data positions are stored as one bookmark data. A man-machine interface is required that allows the user to easily select a data position to be stored as bookmark data among a plurality of data positions. Further, when bookmark data including a plurality of data positions is stored and then the bookmark data is selected, the user can easily select a desired data position from among the plurality of data positions indicated by the bookmark data. -A machine interface is also required.
本発明と作用・効果の対応について、以下で詳細な説明を述べる。
本発明の情報閲覧装置は、電子データを記憶する記憶手段と、前記記憶手段に記憶されている、テキストデータを含む電子データを表示する表示手段と、前記電子データにおけるデータ位置を特定するためのしおりデータを設定するしおりデータ設定手段とを備えている情報閲覧装置において、上記しおりデータ設定手段は、音声による入力を行う音声入力手段と、前記音声入力手段から入力された音声を認識する音声認識手段と、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させるしおりデータ作成手段とを備えていることを特徴としている。
A detailed description of the correspondence between the present invention and the action / effect will be given below.
An information browsing apparatus according to the present invention includes a storage unit that stores electronic data, a display unit that displays electronic data including text data stored in the storage unit, and a data position in the electronic data. In the information browsing apparatus provided with bookmark data setting means for setting bookmark data, the bookmark data setting means includes voice input means for performing voice input, and voice recognition for recognizing voice input from the voice input means. And bookmark data for specifying the data position of the character string that matches the recognition result by the voice recognition means among the text data of the portion displayed on the display means in the electronic data, and creating the bookmark data in the storage means It is characterized by comprising bookmark data creating means for storing.
本発明の情報閲覧システムは、ネットワークサーバとしてのサーバ装置と、このネットワークサーバとネットワークを介して接続されたネットワーククライアントとしての少なくとも1台の情報閲覧端末装置とを備え、前記情報閲覧端末装置は、前記サーバ装置とデータの送受信を行う送受信手段と、前記送受信手段が受信した電子データ及びしおりデータを記憶する記憶手段と、前記記憶手段に記憶されている前記電子データを表示する表示手段と、音声による入力を行う音声入力手段と、前記音声入力手段から入力された音声を認識する音声認識手段と、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、このしおりデータを前記送受信手段により前記サーバ装置に送信させるしおりデータ作成手段とを備え、前記サーバ装置は、前記情報閲覧端末装置とデータの送受信を行う送受信手段と、データを記憶する記憶手段と、前記送受信手段が受信した前記しおりデータを前記記憶手段に記憶させるとともに、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されているテキストデータを含む電子データ及び前記しおりデータを前記送受信手段により前記情報閲覧端末装置へ送信させる制御手段とを備えていることを特徴としている。 The information browsing system of the present invention includes a server device as a network server, and at least one information browsing terminal device as a network client connected to the network server via a network. Transmission / reception means for transmitting / receiving data to / from the server device, storage means for storing electronic data and bookmark data received by the transmission / reception means, display means for displaying the electronic data stored in the storage means, and audio Of the text data of the portion displayed on the display means in the electronic data, the voice recognition means performs voice input means for performing input by the voice recognition means, voice recognition means for recognizing the voice input from the voice input means, and the voice recognition means. Create bookmark data that identifies the data position of the character string that matches the recognition result And bookmark data creation means for transmitting the bookmark data to the server device by the transmission / reception means, wherein the server device transmits / receives data to / from the information browsing terminal device, and storage means for storing data. The bookmark data received by the transmission / reception means is stored in the storage means, and the electronic data including the text data stored in the storage means and the bookmark data are stored based on a request from the information browsing terminal device. The transmission / reception means includes control means for transmitting to the information browsing terminal device.
上記の構成によれば、音声入力手段は、利用者が発話した音声を入力する。音声認識手段は、前記入力された音声を認識する。しおりデータ作成手段は、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させる。しおりデータは、例えば、前記表示手段に表示されているテキストデータの内で認識結果と一致する文字列のデータ位置とすれば良い。また、前記表示手段に表示されている電子データの先頭位置及び認識結果文字列としても良い。 According to said structure, an audio | voice input means inputs the audio | voice which the user uttered. The voice recognition means recognizes the input voice. The bookmark data creation means creates bookmark data for specifying the data position of the character string that matches the recognition result by the voice recognition means among the text data of the portion displayed on the display means in the electronic data, and Store in the storage means. The bookmark data may be, for example, the data position of a character string that matches the recognition result in the text data displayed on the display means. Moreover, it is good also as a head position and recognition result character string of the electronic data currently displayed on the said display means.
上記のように、本発明の情報閲覧装置は、音声入力手段、音声認識手段及びしおりデータ作成手段を備えるので、利用者が単語あるいは単語列を発話すると、その音声を認識し、表示されている電子データにおける認識結果と一致する文字列を指定できる。従って、利用者が、電子データの位置をわざわざ手動で指定せずに、簡単に自分の読んでいる位置を保存でき、使い勝手が良い。 As described above, the information browsing apparatus according to the present invention includes voice input means, voice recognition means, and bookmark data creation means, so that when a user utters a word or a word string, the voice is recognized and displayed. A character string that matches the recognition result in the electronic data can be specified. Therefore, the user can easily store the position where the user is reading without manually specifying the position of the electronic data, which is convenient.
さらに本発明の情報閲覧システムによれば、電子データ及びそのしおりデータをサーバ側にて一元的に管理できる。従って、電子データの不正な複製などを制限することができる。 Furthermore, according to the information browsing system of the present invention, electronic data and bookmark data can be managed centrally on the server side. Therefore, unauthorized duplication of electronic data can be restricted.
上記情報閲覧装置において、前記音声認識手段は、前記表示手段に表示されているテキストデータの単語を音声認識対象の単語と定義し、かつ前記表示手段に表示されているテキストデータの文を音声認識対象となる単語列と定義した音声認識用辞書を作成し、この音声認識用辞書に基づいて音声認識を行う構成としても良い。 In the information browsing apparatus, the speech recognition means defines a word of the text data displayed on the display means as a speech recognition target word, and recognizes a sentence of the text data displayed on the display means. A speech recognition dictionary defined as a target word string may be created, and speech recognition may be performed based on the speech recognition dictionary.
上記構成によれば、音声認識の対象となる単語及び単語列を、表示手段が表示している電子データの内容に限定するので、通常の大語彙音声認識システムと比べ、音声認識性能を向上でき、計算量を削減できる。 According to the above configuration, since the words and word strings that are subject to speech recognition are limited to the contents of the electronic data displayed by the display means, the speech recognition performance can be improved compared to a normal large vocabulary speech recognition system. , Can reduce the amount of calculation.
上記情報閲覧装置において、前記しおりデータ作成手段は、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列が複数存在する場合に、それら文字列のうちの何れかの選択を促す表示を前記表示手段に行わせ、複数の文字列のうちの何れかを選択する入力に基づいて、選択された文字列のデータ位置を特定するしおりデータを作成する構成としても良い。 In the information browsing apparatus, the bookmark data creating means may include a plurality of character strings that match the recognition result by the voice recognition means among the text data of the portion displayed on the display means in the electronic data. , Causing the display unit to display to prompt selection of any one of the character strings, and specifying the data position of the selected character string based on an input for selecting any one of the plurality of character strings A configuration may be adopted in which bookmark data is created.
上記構成によれば、前記しおりデータ保存手段は、前記表示手段に表示されているテキストデータの内で前記音声認識手段による認識結果と一致する文字列が複数ある場合には、それら文字列のうちの何れかの選択を促す表示を前記表示手段に行わせ、複数の文字列のうちの何れかを選択する入力に基づいて、選択された文字列のデータ位置を特定するしおりデータを作成する。従って、しおりデータが示すデータ位置が1つになるので、次回にしおりデータを選択した際に、前回表示していたどの位置まで読んだかが分かりやすくなる。 According to the above configuration, when there are a plurality of character strings that match the recognition result by the voice recognition means in the text data displayed on the display means, the bookmark data storage means The display unit is caused to perform a display for prompting selection of any of the above, and bookmark data for specifying the data position of the selected character string is created based on an input for selecting any of the plurality of character strings. Therefore, since the data position indicated by the bookmark data is one, when the bookmark data is selected next time, it becomes easy to understand to what position it was previously displayed.
上記情報閲覧装置は、前記音声認識手段が使用する音声認識用辞書を作成する音声認識用辞書作成手段を備え、この音声認識用辞書作成手段は、前記音声認識手段による認識結果と一致する文字列が複数存在する場合に、第1の音声認識用辞書に対して、複数存在する前記文字列を含む文の単語及び単語列に限定された第2の音声認識用辞書を作成し、前記音声認識手段は、この第2の音声認識用辞書に基づいて複数の文字列のうちの何れかを選択するために入力された音声を認識し、その認識結果と一致した文字列のデータ位置を特定するしおりデータを作成する構成としても良い。 The information browsing apparatus includes a speech recognition dictionary creation unit that creates a speech recognition dictionary used by the speech recognition unit, and the speech recognition dictionary creation unit includes a character string that matches a recognition result by the speech recognition unit. If there are a plurality of words, a second speech recognition dictionary limited to words and word strings of sentences including the plurality of character strings is created for the first speech recognition dictionary, and the speech recognition is performed. The means recognizes the input voice to select any one of the plurality of character strings based on the second speech recognition dictionary, and specifies the data position of the character string that matches the recognition result. A configuration may be adopted in which bookmark data is created.
上記構成によれば、一致した文字列の各々を含む文の単語及び単語列に音声認識対象を限定するので、認識性能を向上できるとともに、認識に要する計算量を削減できる。 According to the above configuration, since the speech recognition target is limited to words and word strings of sentences including each of the matched character strings, the recognition performance can be improved and the amount of calculation required for recognition can be reduced.
上記情報閲覧装置において、前記音声認識手段は、音節あるいは音素からなる単位音毎に音声認識結果を途中出力し、その単位音を含む単語を他の語と異なる表示形態にして前記表示手段に表示させる表示制御手段を備える構成としても良い。 In the information browsing apparatus, the voice recognition unit outputs a voice recognition result for each unit sound composed of syllables or phonemes, and displays the word including the unit sound in a display form different from other words on the display unit. It is good also as a structure provided with the display control means to be made.
上記構成によれば、前記音声認識手段を備えるので、利用者は、単語あるいは単語列の発話途中においてもしおりデータとして保存する電子データ位置の候補が明確に分かる。 According to the above configuration, since the voice recognition means is provided, the user can clearly know candidates for electronic data positions to be stored as bookmark data even during the utterance of words or word strings.
上記情報閲覧装置は、前記しおり作成手段によって作成されたしおりデータを選択するしおりデータ選択手段と、前記選択されたしおりデータが示す電子データ位置が複数ある場合には、それら電子データ位置の各々を含む文を取得し、それらの文を特定の長さに整形し、それら整形した文を前記表示手段に一覧表示させる位置特定用表示制御手段とを備えている構成としても良い。 The information browsing device includes a bookmark data selection unit that selects bookmark data created by the bookmark creation unit, and a plurality of electronic data positions indicated by the selected bookmark data, each of the electronic data positions. It is good also as a structure provided with the display control means for position specification which acquires the sentence to include, shapes those sentences into a specific length, and makes the said display means display the list of the shaped sentences.
上記構成によれば、前記しおりデータ選択手段にて選択されたしおりデータが示す電子データ位置が複数ある場合にも、前回どこまで読んでいたかを簡単に把握することができる。また、利用者は、しおりデータとして保存する電子データ位置を一つに確定する必要がないので、使い勝手が良い。尚、特に携帯電話など表示できる文字量が小さな画面では、しおりデータ選択時に表示される文章内容が把握しやすい。 According to the above configuration, even when there are a plurality of electronic data positions indicated by the bookmark data selected by the bookmark data selection means, it is possible to easily grasp how far the data has been read. In addition, since the user does not need to determine the electronic data position to be stored as bookmark data, it is easy to use. It should be noted that the content of the text displayed when selecting bookmark data is easy to grasp particularly on a screen such as a mobile phone that can display a small amount of characters.
上記発明の情報閲覧システムは、前記情報閲覧端末装置において、前記記憶手段は前記送受信手段が受信した音声認識用辞書を記憶し、音声認識手段は前記音声入力手段から入力された音声を音声認識用辞書に基づいて認識し、前記サーバ装置において、前記記憶手段は音声認識用辞書を記憶しており、制御手段は、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されている前記音声認識用辞書を前記送受信手段により前記情報閲覧端末装置へ送信させる構成としてもよい。 In the information browsing system of the above invention, in the information browsing terminal apparatus, the storage unit stores a speech recognition dictionary received by the transmission / reception unit, and the voice recognition unit uses the voice input from the voice input unit for voice recognition. Recognizing based on a dictionary, in the server device, the storage means stores a speech recognition dictionary, and the control means is stored in the storage means based on a request from the information browsing terminal device. The voice recognition dictionary may be transmitted to the information browsing terminal device by the transmission / reception means.
上記構成によれば、サーバ装置にて音声認識辞書の作成に係る処理をしておくことができるので、情報閲覧端末装置は表示するデータを変更する毎に音声認識用辞書を作成する必要が無く、情報閲覧端末装置の処理を軽減できる。 According to the above configuration, the server device can perform processing related to the creation of the speech recognition dictionary, so the information browsing terminal device does not need to create a speech recognition dictionary each time the data to be displayed is changed. The processing of the information browsing terminal device can be reduced.
上記の情報閲覧システムにおいて、前記サーバ装置は、前記音声認識用辞書として、前記記憶手段にて記憶されている、テキストデータを含む電子データの一部データ(ページ、章や、XMLの特定タグ)毎に、音声認識対象となる単語を定義する音声認識用辞書を作成し、前記テキストデータを含む電子データに対応付けて前記記憶手段に記憶させる音声認識用辞書作成手段を備えている構成としても良い。 In the information browsing system, the server device stores, as the speech recognition dictionary, partial data (page, chapter, XML specific tag) of electronic data including text data stored in the storage unit. It is also possible to create a speech recognition dictionary that defines a word to be speech-recognized for each time, and to include a speech recognition dictionary creating unit that stores the dictionary in association with electronic data including the text data. good.
上記構成によれば、サーバ装置にて音声認識辞書の作成に係る処理をしておくので、情報閲覧端末装置は表示するデータを変更する毎に音声認識用辞書を作成する必要が無く、情報閲覧端末装置の処理を軽減できる。また、上記音声認識用辞書作成手段を備えているので、音声認識辞書の小型化、つまり認識対象となる単語数と単語列数を削減できるので、認識性能を向上できるとともに、認識に要する計算量を削減できる。 According to the above configuration, since the server device performs processing related to creation of the speech recognition dictionary, the information browsing terminal device does not need to create a speech recognition dictionary every time data to be displayed is changed, and information browsing is performed. The processing of the terminal device can be reduced. In addition, since the voice recognition dictionary creating means is provided, the voice recognition dictionary can be downsized, that is, the number of words and word strings to be recognized can be reduced, so that the recognition performance can be improved and the amount of calculation required for recognition Can be reduced.
以上のように、本発明の情報閲覧装置は、しおりデータ設定手段が、音声による入力を行う音声入力手段と、前記音声入力手段から入力された音声を認識する音声認識手段と、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させるしおりデータ作成手段とを備えている構成である。 As described above, in the information browsing apparatus according to the present invention, the bookmark data setting unit includes a voice input unit that performs voice input, a voice recognition unit that recognizes voice input from the voice input unit, and the electronic data. Bookmark data creation means for creating bookmark data for specifying the data position of a character string that matches the recognition result by the voice recognition means among the text data of the portion displayed on the display means, and storing the bookmark data in the storage means; It is the structure equipped with.
上記の構成により、情報閲覧装置では、音声入力手段、音声認識手段及びしおりデータ作成手段を備えるので、利用者が単語あるいは単語列を発話すると、その音声を認識し、表示されている電子データにおける認識結果と一致する文字列を指定できる。従って、利用者が、電子データの位置をわざわざ手動で指定せずに、簡単に自分の読んでいる位置を保存でき、使い勝手が良い。 With the above configuration, the information browsing apparatus includes voice input means, voice recognition means, and bookmark data creation means. Therefore, when a user utters a word or a word string, the voice is recognized and the displayed electronic data You can specify a character string that matches the recognition result. Therefore, the user can easily store the position where the user is reading without manually specifying the position of the electronic data, which is convenient.
以下添付図面を参照して本発明の実施の形態を説明する。 Embodiments of the present invention will be described below with reference to the accompanying drawings.
[ハードウェアの構成]
図2を用いて、本発明の実施形態における情報閲覧装置のハードウェア構成について説明する。図2の情報閲覧装置は、制御装置1、入力装置2、音声入力装置3、記憶装置4、外部記憶媒体読書き装置5、表示装置6及び通信装置7によって構成され、各部はバス8によって接続される。
[Hardware configuration]
The hardware configuration of the information browsing apparatus in the embodiment of the present invention will be described with reference to FIG. 2 includes a
制御装置1は、プリプロセッサやメモリなどにより構成され、例えば記憶装置4が記憶している制御プログラムに従って動作する。さらに具体的には、後述する機能部による処理結果を記憶装置4に保存するとともに、記憶装置4が記憶しているデータ(以下記憶装置4のデータと略記する)を表示装置6及び通信装置7に出力する。
The
入力装置2は、カーソルキーなどの各種キーを備えたキーボード、ジョグダイヤル、手書きOCR、あるいはポインティングデバイス(例えばマウス)などによって構成され、入力装置2によって入力された信号(例えばキーボードで押下されたキーの信号)を制御装置1へ出力する。
The
音声入力装置3は、例えば、マイク及びA/Dコンバータによって構成され、入力された音声をデジタル化し、記憶装置4に記憶する。
The
記憶装置4は、RAMあるいはROMなどによって構成され、指定された手段、入力指示、入力データ、一時データ及び処理データを保存するためのワークエリアを有する。
The
また、記憶装置4は、テキスト、画像データあるいは音声データなどから構成される電子データ及びそれに関連付けられたしおりデータを記憶する。電子データは、例えば、XML(eXtensible Markup Language)フォーマットなどで記述しておけば良い。勿論、記憶装置4は、これらの電子データを複数記憶することが可能であり、それら電子データの各々に対して複数のしおりデータを関連付けることも可能である。しおりデータについては後述する。
The
外部記憶媒体読書き装置5は、SDメモリカード用リーダーライタなどによって構成され、記憶装置4に記憶されているデータをSDメモリカードなどの外部記憶媒体に書込み、また外部記憶媒体のデータを記憶装置4に読込む。
The external storage medium read /
表示装置6は、CRTや液晶ディスプレイなどにより構成され、記憶装置4のデータを表示する。以下、電子データの表示装置6に表示されているデータ領域を表示中電子データ領域と呼ぶ。
The
通信装置7は、ネットワークインタフェースカードなどにより構成され、ネットワークケーブルなどを介して接続されたサーバ装置とデータの送受信を行う。
The
[ブロック図による機能構成]
ここで、図1のブロック図を用いて、本実施の形態における情報閲覧装置の機能構成を説明する。
[Functional configuration based on block diagram]
Here, the functional configuration of the information browsing apparatus in the present embodiment will be described using the block diagram of FIG.
この情報閲覧装置は、手動入力部としての入力装置2、音声入力部としての音声入力装置3(音声入力手段)、記憶部としての記憶装置4(記憶手段)、表示部としての表示装置6(表示手段)、電子データ選択部10、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書作成部13(音声認識手段)、音声認識部14(音声認識手段)、しおりデータ保存部15(しおりデータ保存手段)、しおりデータ選択部16(しおりデータ選択手段)及び位置特定用表示データ作成部17(位置特定用表示制御手段)を備える。
This information browsing apparatus includes an
このうち、電子データ選択部10、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書作成部13、音声認識部14、しおりデータ保存部15、しおりデータ選択部16及び選択しおりデータ用表示データ作成部17は、制御装置1及び制御装置1が実行するプログラムによって構成される。
Among these, the electronic
電子データ選択部10は、記憶装置4の電子データの一覧(例えば電子データの題名などの一覧)を表示装置6に表示させる。そして、利用者が入力装置2あるいは音声入力装置3を用いて上記一覧から選択した電子データを記憶装置4のワークエリアに展開する。
スクロール制御部11は、入力装置2あるいは音声入力装置3からのスクロール指示に応じて、電子データの表示装置6に現在表示されているデータ位置からどれだけ移動させれば良いかを計算する。
The electronic
In response to a scroll instruction from the
電子データ用表示データ作成部12は、電子データ選択部10やスクロール制御部11の指示に従って、記憶装置4の電子データを表示装置6に出力するための表示用データを作成あるいは更新する。勿論、電子データ用表示データ作成部12は、電子データのフォーマットを解釈し、それらを表示用データに変換する機能も持っている。
The electronic data display
音声認識用辞書作成部13は、音声認識部14の認識対象となる単語を定義する単語辞書、及び認識可能な単語列を定義する言語モデルを作成し、記憶装置4に記憶させる。以下、単語辞書及び言語モデルのセットを、音声認識用辞書と呼ぶ。音声認識用辞書は新聞記事などの大量のテキストデータからあらかじめ作成したものでも良いが、後述のように、電子データ用表示データ作成部12が表示用データを作成あるいは更新する毎に音声認識用辞書を作成すると音声認識性能の向上などの効果が得られる。尚、本明細書において、言語モデルは単語をノードとしたネットワーク文法の形式のものとして説明する。ただし、言語モデルは、ネットワーク文法の形式に限定されず、単語の組合せの頻度を示した、いわゆるNgram言語モデルであっても良い。また、単語のみを認識する場合、即ち連続して単語を認識しない場合には、言語モデルは必要ない。
The speech recognition
音声認識部14は、音声認識用辞書を用いて、音声入力装置3から入力された音声を認識し、テキストに変換する。尚、音声認識部14は、LSIにて構成されたハードウェアであっても良い。
The
しおりデータ保存部15は、入力装置2あるいは音声認識部14からの指示に応じて、例えば、表示中電子データ領域の単語のデータ位置などをしおりデータとして記憶装置4に保存する。その際に、表示装置6に表示されている電子データとしおりデータとを関連付ける。しおりデータ保存部15については後に詳しく説明する。
In accordance with an instruction from the
しおりデータ選択部16は、表示装置6に表示されている電子データに関連するしおりデータが記憶装置4に記憶されている場合に、それらしおりデータの一覧を表示装置6に表示させると共に、利用者が入力装置2あるいは音声入力装置3を用いて選択したしおりデータの内容を記憶装置4のワークエリアへ展開する。また、電子データに関連するしおりデータが無い場合には、例えば「しおりデータがありません」といったテキスト文字列を表示装置6に表示させ、利用者にしおりデータが無いことを通知する。尚、しおりデータ選択部16は、利用者にしおりデータを選択させる指示を表す文字列を表示装置6に表示させずに、前回保存したしおりデータにて示されるデータ位置から自動的に電子データを表示しても良い。
When bookmark data related to the electronic data displayed on the
位置特定用表示データ作成部17は、しおりデータにて示される位置が利用者に簡単に分かる表示用データを作成し、その表示用データを表示装置6に表示する。位置特定用表示データ作成部17については後に詳しく説明する。
The position specifying display
[しおりデータ保存時の動作]
(しおりデータ保存時の処理概要)
ここで、図3のフローチャートを用いて、しおりデータ保存時の動作の概要を説明する。
[Operation when saving bookmark data]
(Outline of processing when saving bookmark data)
Here, an outline of the operation when storing bookmark data will be described with reference to the flowchart of FIG.
S1では、電子データ選択部10が、記憶装置4の電子データの一覧(例えば電子データの題名などの一覧)を表示装置6に表示させ、それらの中で利用者が指定したものをワークエリアに展開する。
In S1, the electronic
S2では、電子データ用表示データ作成部12が、S1にて選択された電子データの表示用データを作成する。
In S2, the display
S3では、S2にて作成した表示用データを表示装置6へ出力する。
S4では、音声認識用辞書作成部13が、表示中電子データ領域から、音声認識用辞書を作成する。S4にて作成された音声認識用辞書はS8にて使用される。
In S3, the display data created in S2 is output to the
In S4, the voice recognition
ここで、図4(a)〜図4(c)を用いて、音声認識用辞書の作成処理について詳細に説明する。 Here, the speech recognition dictionary creation process will be described in detail with reference to FIGS. 4 (a) to 4 (c).
まず、表示中電子データ領域200(図4(a))に対して、形態素解析により文章を単語に分割し、箇条書きで示される単語から成る単語辞書201(図4(b))を作成する。そして、表示中電子データ領域の単語列を記述した言語モデル202(図4(c))を作成する。この場合、文章だけでなく、単語のみ認識できる言語モデルを作成している。
First, for the
図4(c)の言語モデル202では、「スタート」のノードから「エンド」のノードまでの各ノード列に相当する単語列が、認識可能であることを示している。例えば、「スタート」→「また」→「右方向」→「も」→「輝」→「いて」→「見」→「える」→「エンド」というノード列は、「また右方向も輝いて見える」という単語列が認識可能であることを表している。単語辞書にない単語、及び、言語モデルにて定義されていない単語列は認識しない。このように、音声認識用辞書作成部13では、表示装置6に表示されているデータから音声認識用辞書を作成するので、認識対象となる単語数を削減でき、莫大な計算量を必要とする大語彙音声認識システムを搭載する必要がない。
The
また、図5(a)〜図5(c)のように、漢字にあらかじめ付与されたルビ文字を利用して、ルビが付与されている漢字だけを単語辞書に登録し、残りを未知語として登録しても良い。例えば、図5(a)では、表示されているデータ210の、「右方向」210a及び「下」210bの漢字にルビ文字が付与されていない。そのため、単語辞書211(図5(b))及び言語モデル212(図5(c))では、それらの単語が未知語として扱われる。このようにルビ文字を利用した場合には、形態素解析の必要がないので、計算量を削減できる。ただし、ルビ文字が付与されていない漢字は全て未知語として扱う。つまり、読み仮名がない漢字は、全て同じ単語として扱われる。この未知語の音響モデルは、例えば、全音素の特徴を学習したモデル、いわゆるガーベッジモデルとすれば良い。
In addition, as shown in FIGS. 5 (a) to 5 (c), by using the ruby characters previously given to the kanji, only the kanji to which the ruby is given is registered in the word dictionary, and the rest is set as an unknown word. You may register. For example, in FIG. 5A, ruby characters are not assigned to the “right” 210a and “down” 210b kanji in the displayed
S5では、スクロール制御部11が、利用者から電子データをスクロールさせる指示があったか否かを判定する。もし、指示があった場合には、S11の処理に移る。指示が無い場合には、S6の処理に移る。
In S5, the
S11では、スクロール制御部11が、電子データの表示装置6に現在表示されている位置からどれだけ移動すればよいかを計算する。例えば、ジョグダイヤルを1クリックした際に1行スクロールさせるなどといったルールを予め決めておけば良い。そして、電子データ用表示データ作成部12が、上記計算した位置から表示用データを作成する。
In S11, the
S6では、利用者からしおりデータ保存の指示があったか否かを判定する。しおりデータ保存部15の指示があった場合には、S7の処理に移る。
In S6, it is determined whether or not there is an instruction to save bookmark data from the user. If there is an instruction from the bookmark
S7では、音声入力装置3にて音声が入力されたか否かを判定する。もし、音声入力であったのなら、S8の処理に移る。そうでないのなら、S9の処理に移る。
In S <b> 7, it is determined whether or not voice is input from the
S8では、入力された音声を認識し、その認識結果に基づいて、しおりデータの保存を行う。このS8の処理については、以下に3通りの実施例(A、BとC)を述べる。 In S8, the input voice is recognized, and bookmark data is saved based on the recognition result. Regarding the processing of S8, three examples (A, B and C) will be described below.
S9では、入力装置2を用いた、従来技術と同じ手動によるしおり保存処理を行う。つまり、本発明は従来技術の機能も備えることができる。
In S9, the same manual bookmark storing process as that of the conventional technique using the
S10では、しおりデータ保存部15が、前記保存したしおりデータと表示装置6に表示されている電子データとを関連付ける。例えば、しおりデータに電子データの題名などを付与して両者を関連付け、電子データとしおりデータを独立したデータとして記憶すれば良い。そうすれば、図6のように、同じ内容の電子データ「ピクニック日記」に対応するしおりデータのみ外部記憶媒体9を経由して異なる情報閲覧装置XとYの間で共用できる。
In S <b> 10, the bookmark
(しおり保存時の処理−実施例A)
ここで、図7のフローチャートを用いて、S8のしおりデータ保存の処理の1実施例について詳細な説明を行う。
(Processing when saving bookmarks-Example A)
Here, with reference to the flowchart of FIG. 7, a detailed description will be given of an embodiment of the bookmark data storage process in S8.
S101では、音声認識部14が、音声入力装置3にて入力された音声を認識する。このとき、S4にて作成された音声認識用辞書が用いられる。
In S <b> 101, the
S102では、しおりデータ保存部15が、音声認識結果の文字列にて示される電子データ位置をしおりデータとして保存する。このとき、音声認識結果の文字列自体もしおりデータとして保存しても良い(以下、しおりデータとして保存した電子データ位置を、単に、しおりデータが示す電子データ位置と呼ぶ)。
In S102, the bookmark
図8は、1001のように電子データが表示されている場合に、利用者が“天気”と発話し、それが正しく認識された状況を想定している。その場合には、文字列“天気”(図8では分かりやすいように破線で囲み、太字表示している)に相当する電子データ位置が(7箇所)保存される。 FIG. 8 assumes a situation in which, when electronic data is displayed as in 1001, the user speaks “weather” and is correctly recognized. In that case, electronic data positions corresponding to the character string “weather” (in FIG. 8, surrounded by broken lines and displayed in bold) are stored (seven locations).
図9は、利用者が“天気予報をきちんと確認した”という文章を発話し、それが正しく認識された状況を想定している。その場合には、その文章(1003)に相当する電子データ位置が保存される。 FIG. 9 assumes a situation in which the user utters the sentence “I have confirmed the weather forecast properly” and is correctly recognized. In that case, the electronic data position corresponding to the sentence (1003) is stored.
ただし、しおりデータは、上記に説明したようなものに限定されるのではなく、例えば、表示している電子データの先頭位置及び認識結果文字列から構成しても良い。つまり、しおりデータから、認識結果の文字列に相当する電子データ位置が分かれば良い。 However, the bookmark data is not limited to that described above, and may be composed of, for example, the start position of the displayed electronic data and the recognition result character string. That is, it is only necessary to know the electronic data position corresponding to the character string of the recognition result from the bookmark data.
(しおり保存時の処理−実施例B)
ここで、図10のフローチャートを用いて、S8のしおりデータ保存の処理の1実施例について詳細な説明を行う。ここで説明する処理は、表示中電子データ領域に音声認識結果に一致する文字列が複数あった場合に、しおりとして保存したい電子データ位置を一意に確定させるための処理である。
(Processing when saving bookmarks-Example B)
Here, with reference to the flowchart of FIG. 10, a detailed description will be given of an embodiment of the bookmark data storage process of S8. The process described here is a process for uniquely determining an electronic data position to be stored as a bookmark when there are a plurality of character strings that match the voice recognition result in the electronic data area being displayed.
S101では、音声認識部14が、音声入力装置3にて入力された音声を認識する。このとき、S4にて作成された音声認識用辞書が用いられる。
In S <b> 101, the
S103では、表示中電子データ領域に認識結果と一致する文字列が一つしかないか否かを判定する。もし、一つしかないのならS102の処理に移る。複数あるのならS104の処理に移る。 In S103, it is determined whether or not there is only one character string that matches the recognition result in the electronic data area being displayed. If there is only one, the process proceeds to S102. If there are more than one, the process proceeds to S104.
例えば、図8のように、1001のように電子データが表示されている場合に、利用者が“天気”と発話し、正しく認識した状況を想定する。その場合には、表示中電子データ領域に認識結果と一致する文字列、天気(図8では分かりやすいように破線で囲み、太字表示している)が複数あるので、S104の処理に移る。 For example, as shown in FIG. 8, when electronic data is displayed as in 1001, a situation is assumed in which the user speaks “weather” and correctly recognizes it. In that case, since there are a plurality of character strings and weather (enclosed in broken lines and displayed in bold in FIG. 8 for easy understanding) in the electronic data area being displayed, the process proceeds to S104.
S104では、しおりデータ保存部15が、認識結果と一致する、表示中電子データ領域の文字列が一つに絞れるように、利用者に指示をする。
In S104, the bookmark
例えば、図11の1001のように電子データが表示されている場合に、利用者が“天気”と発話し、それを正しく認識した状況を想定する。その場合には、“天気”が複数あるので、1005のように、表示中電子データ領域のどの“天気”の文字列位置をしおりデータとして保存したいのかを利用者に聞く。 For example, assume that a user speaks “weather” and correctly recognizes it when electronic data is displayed as 1001 in FIG. In this case, since there are a plurality of “weathers”, the user is asked which character string position of “weather” in the electronic data area being displayed is to be stored as bookmark data, such as 1005.
S105では、S101の音声認識結果が誤っているか否かを判定する。例えば、利用者がS101の音声認識結果が正しいかを確認し、誤認識であった場合には、誤認識キー(画面上のボタンでも良い)を押す。そして、誤認識であった場合には、図10のフローチャートの処理を終える。 In S105, it is determined whether or not the voice recognition result in S101 is incorrect. For example, the user confirms whether or not the voice recognition result in S101 is correct. And when it is misrecognition, the process of the flowchart of FIG. 10 is complete | finished.
S106では、音声認識用辞書作成部13が、音声認識用辞書を制限する。具体的には、表示中電子データ領域の認識結果を含む文のみから、音声認識用辞書を作成する。なぜなら、どの電子データ位置を保存したいかを入力するだけなので、表示中電子データ領域の全単語を認識する必要はないからである。
In S106, the voice recognition
図11のような状況では、どの“天気”を選択するかを聞き返しているので、次に入力する音声は“天気”を含む文のみを認識すればよい(普通の利用者ならそれ以外のことを答えない)。従って、“天気”を含む文のみの単語から、単語辞書及び言語モデルを作成する。 In the situation shown in FIG. 11, the user selects the “weather” to be selected, so that the next input voice only needs to recognize a sentence including “weather”. Not answer). Therefore, a word dictionary and a language model are created from only words including sentences including “weather”.
音声認識辞書の限定により、認識対象となる語彙を削減できる。従って、認識性能を向上できるとともに、認識に要する計算量を削減できる。 By limiting the speech recognition dictionary, the vocabulary to be recognized can be reduced. Accordingly, recognition performance can be improved and the amount of calculation required for recognition can be reduced.
S107では、利用者が、入力装置2を用いて、表示中電子データ領域の文字列を選択したか否かを判定する。
In S <b> 107, it is determined whether or not the user has selected a character string in the electronic data area being displayed using the
S108では、利用者が、さらに、音声を入力したか否かを判定する。この次のS101の音声認識の処理では、S106にて制限した音声認識用辞書を用いる。 In S108, it is determined whether or not the user further inputs a voice. In the next speech recognition processing in S101, the speech recognition dictionary restricted in S106 is used.
S107あるいはS108にて、何も入力が無かった場合には、S102の処理に移る。この場合には、複数の電子データ位置をしおりデータとして保存することになる。
S102では、しおりデータ保存部15が、音声認識結果の文字列にて示される電子データ位置をしおりデータとして保存する。このとき、音声認識結果の文字列自体もしおりデータとして保存しても良い。ただし、しおりデータは、上記に説明したようなものに限定されるのではなく、例えば、表示している電子データの先頭位置及び認識結果文字列から構成しても良い。つまり、しおりデータから、認識結果の文字列に相当する電子データ位置が分かれば良い。
If there is no input in S107 or S108, the process proceeds to S102. In this case, a plurality of electronic data positions are stored as bookmark data.
In S102, the bookmark
このように、しおりデータとして保存する電子データ位置を一つに確定することによって、次回にしおりデータを選択した際に、前回表示していたどの位置まで読んだかが分かりやすくなる。 In this way, by determining the electronic data position to be stored as bookmark data as one, it becomes easy to understand to what position the previous display was read when the bookmark data is selected next time.
(しおり保存時の処理−実施例C)
ここで、図12のフローチャートを用いて、S8のしおりデータ保存の処理の1実施例について詳細な説明を行う。図12の処理は、基本的には図10のフローチャートと同じであるが、図10のS101の音声認識の処理が異なっている。従って、ここでは、図10と異なる、図12のS101A〜S101Dの処理について以下に説明する。尚、S101A〜S101Dの処理は、音声認識部14によって行われる。
(Processing at the time of storing bookmarks-Example C)
Here, with reference to the flowchart of FIG. 12, one embodiment of the bookmark data storage process in S8 will be described in detail. The processing in FIG. 12 is basically the same as the flowchart in FIG. 10, but the speech recognition processing in S101 in FIG. 10 is different. Therefore, here, the processing of S101A to S101D of FIG. 12 which is different from FIG. 10 will be described below. Note that the processing of S101A to S101D is performed by the
S101Aでは、入力された音声に同期して音声認識を行い、音節(あるいは音素でも良い)単位の途中認識結果を出力する。 In S101A, voice recognition is performed in synchronization with the input voice, and an intermediate recognition result in units of syllables (or phonemes) is output.
S101Bでは、表示中電子データ領域の中に、S101Aにて出力された途中認識結果を含む単語があるか否かを判定する。途中認識結果を含む単語があると判定した場合には、S101Cの処理に移る。 In S101B, it is determined whether or not there is a word including the halfway recognition result output in S101A in the electronic data area being displayed. If it is determined that there is a word including an intermediate recognition result, the process proceeds to S101C.
S101Cでは、S101Bにて該当した途中認識結果を含む単語を強調表示する。
S101Dでは、利用者の音声入力が終了したか否かを判定する。まだ入力中であるなら、S101Aの処理に戻る。
In S101C, the word including the halfway recognition result corresponding to S101B is highlighted.
In S101D, it is determined whether or not the user's voice input is completed. If it is still being input, the process returns to S101A.
図13では、利用者が「天気(てんき)」と発話しようとして、「てん」まで発声した瞬間の例を示す。S101Aにて「て」と「ん」という音節が音声認識され、S101Bにて表示中電子データ領域1011に「てん」という途中認識結果を含む単語があるか否かを判定し、S101Bにて該当した単語が強調表示(四角で囲まれており、フォントが太字になっている)されている。尚、フォントサイズの変更、フォント色の変更、背景色の変更、あるいは、アンダーラインを引くなどの方法によって、該当した単語を他の文字列よりも強調表示しても良い。
FIG. 13 shows an example of a moment when the user utters “Ten” in an attempt to speak “weather”. In S101A, the syllables “te” and “n” are recognized by voice, and in S101B, it is determined whether or not there is a word including the halfway recognition result “ten” in the displayed
上記のように、音声認識結果を途中出力して、表示中電子データ領域にその認識結果の音節を含む単語がある場合には、その音節を含む単語を強調して表示するので、発話途中においてもしおりデータとして保存する電子データ位置の候補が明確に分かる。 As described above, when the speech recognition result is output halfway and there is a word including the syllable of the recognition result in the displayed electronic data area, the word including the syllable is highlighted and displayed. Candidates for electronic data positions to be stored as cage data are clearly known.
[しおりデータ選択時の動作]
ここでは、図14のフローチャートを用いて、しおりデータ選択時の処理について説明する。ここで説明するしおりデータ選択時の処理は、上述したしおり保存時の処理の実施例A〜Cに対応するものである。
[Operation when bookmark data is selected]
Here, processing when bookmark data is selected will be described with reference to the flowchart of FIG. The process at the time of selecting bookmark data described here corresponds to the above-described embodiments A to C of the process at the time of storing bookmarks.
S501では、しおりデータ選択部16が、表示装置6に表示されている電子データに対応するしおりデータの一覧を表示装置6に表示させる。利用者は、それらの一覧の中から、しおりデータを選択する。
In step S <b> 501, the bookmark
例えば、図15のように、しおりデータの一覧を表示装置6に表示させる。ただし、図15は、しおりデータに認識結果を付与していた場合の表示例であり、各しおりデータに対応する認識結果が表示されている。
For example, as shown in FIG. 15, a list of bookmark data is displayed on the
この時、しおりデータを選択する方法は、入力装置2あるいは音声入力装置3を用いた形態のどちらでも良い。ただし、選択するしおりデータが多い場合には、何度もキーを押す必要がない音声入力の方が使い勝手が良い。
At this time, the method for selecting bookmark data may be either the
S502では、位置特定用表示データ作成部17が、S501にて利用者が選択したしおりデータに対応付けられている電子データ位置が単数か否かを判定する。単数の電子データ位置が対応付けられている場合には、S503の処理に移る。そうでない場合には、S504の処理に移る。
In S502, the position specifying display
S503では、位置特定用表示データ作成部17が、しおりデータが示す電子データ位置の近傍から、電子データを表示する。
In S503, the position specifying display
図16では、しおりデータが示す電子データ位置1101から、電子データが表示されている。図16は、図14のS501において、図15に示したしおりデータの一覧より上から3番目の「台風」が選択された場合を示している。また、図示していないが、太字、アンダーライン、フォント変更あるいは色反転表示などを用いて、しおりデータが示す電子データ位置からの1文を強調しても良い。尚、1文を全て強調する必要はなく、データ位置のみ強調するだけでも良い。
In FIG. 16, electronic data is displayed from the
S504では、位置特定用表示データ作成部17が、しおりデータが示す複数の電子データ位置を表示する。以下に、S504の具体的な実施例を2つ示す。
In S504, the position specifying display
図17は、しおりデータ保存時に、利用者が発話した単語あるいは単語列を“天気”と認識し、そのデータ位置を保存した場合の、S504の処理の1例を示すものである。図17では、しおりデータが示す電子データ位置の複数が表示されており、利用者は所望の電子データ位置を選択する。 FIG. 17 shows an example of the processing in S504 when the word or word string spoken by the user is recognized as “weather” and the data position is saved when the bookmark data is saved. In FIG. 17, a plurality of electronic data positions indicated by the bookmark data are displayed, and the user selects a desired electronic data position.
図18は、しおりデータ保存時に、利用者が発話した単語あるいは単語列を“天気”と認識し、そのデータ位置を保存した場合の、S504の処理における他の1例を示すものである。図18では、しおりデータが示す電子データ位置を含む文が、一定の長さ(この例では1行に表示できる長さ)に整形され、リスト表示されている。このように、各電子データ位置を含む文を抽出し、それらの文をリスト表示しているので、利用者はしおりデータ保存時に保存した電子データ位置を簡単に選択することができる。また、携帯電話など表示できる文字量が小さな画面では、図18のような表示は全体の文章が把握しやすいので使い勝手が良い。 FIG. 18 shows another example in the processing of S504 when the word or word string spoken by the user is recognized as “weather” and the data position is saved when the bookmark data is saved. In FIG. 18, a sentence including the electronic data position indicated by the bookmark data is shaped into a fixed length (in this example, a length that can be displayed in one line) and displayed in a list. As described above, since the sentences including the respective electronic data positions are extracted and displayed in a list, the user can easily select the electronic data positions stored when the bookmark data is stored. On the screen with a small amount of characters that can be displayed, such as a mobile phone, the display as shown in FIG. 18 is easy to use because the entire text is easy to grasp.
尚、図19のように、しおりデータの電子データ位置より少し前から各々を表示しても良い。このように、少し前から表示すると、保存した位置の文の意味が把握し易い。さらに、音声認識結果をしおりデータとして保存していた場合には、太字、アンダーライン、フォント変更あるいは色反転表示などを用いて、その認識結果に相当する文字列を他の文字列よりも強調して表示しても良い。キーワード単語を強調表示することによって、前回読んでいた位置が分かりやすい。 As shown in FIG. 19, each of the bookmark data may be displayed slightly before the electronic data position. In this way, when displayed for a while, it is easy to grasp the meaning of the sentence at the saved position. Furthermore, when the speech recognition result is saved as bookmark data, the character string corresponding to the recognition result is emphasized over other character strings by using bold, underline, font change or color reversal display. May be displayed. By highlighting the keyword word, the position read last time is easy to understand.
そして、リストの1要素が選択されると、選択された文のデータ位置から電子データを表示する。 When one element of the list is selected, electronic data is displayed from the data position of the selected sentence.
[ソフトウェアでの実施例]
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、他のシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータCPUが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
[Examples in software]
An object of the present invention is to supply a recording medium that records a program code of software that realizes the functions of the above-described embodiments to another system or apparatus, and the computer CPU of the system or apparatus is stored in the recording medium. Needless to say, this can also be achieved by reading and executing the program code.
この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。 In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード、等を用いることができる。 As a recording medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a magnetic tape, a nonvolatile memory card, and the like can be used.
また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから記録装置等へダウンロードされるものであってもよい。 The program code may be downloaded from another computer system to a recording device or the like via a transmission medium such as a communication network.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU of the expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。 When the present invention is applied to the recording medium, the recording medium stores program codes corresponding to the flowcharts described above.
[サーバ・クライアントシステムでの実施例1]
ここでは、図20を用いて、本発明の情報閲覧システムにおける、クライアントとしての複数の端末装置とサーバ装置から構成されるサーバ・クライアントシステムの1実施形態について説明する。
[
Here, an embodiment of a server / client system including a plurality of terminal devices as clients and a server device in the information browsing system of the present invention will be described with reference to FIG.
図20の情報閲覧システムでは、公衆回線やネットワークケーブルなどの通信回線99を介して、端末装置T1とサーバ装置100によって構成される。
The information browsing system shown in FIG. 20 includes a terminal device T1 and a
まず、端末装置T1について説明を行う。端末装置T1は、図2によるハードウェア構成にて実現される。そして、端末装置T1は、手動入力部としての入力装置2、音声入力部としての音声入力装置3(音声入力手段)、表示部としての表示装置6(表示手段)、データ送受信部としての通信装置7、電子データ選択部10A(電子データ受信手段)、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書作成部13(音声認識手段)、音声認識部14(音声認識手段)、しおりデータ保存指示部15A(しおりデータ保存指示手段)、しおりデータ選択部16A、位置特定用表示データ作成部17及びログイン部18(ログイン手段)から構成される。
First, the terminal device T1 will be described. The terminal device T1 is realized by the hardware configuration shown in FIG. The terminal device T1 includes an
ログイン部18は、サーバ装置100の記憶装置104に記憶されている電子データ及びしおりデータにアクセスする権限を得るためのユーザ認証を受付け、サーバ装置100のユーザ認証部111に問い合わせる。具体的には、ユーザID及びパスワードの受付を行い、それらをサーバ装置100に送信する。後述するユーザ認証部111にて認証された(アクセス権限を得た)ユーザのみがサーバ装置100の記憶装置104の電子データの閲覧及びそのしおりデータ保存が可能となる。
The
ログイン部18にてアクセス権限を得た後に、電子データ選択部10Aは、通信回線99を介して、サーバ装置100の記憶装置104に記憶されている電子データの一覧(例えば電子データの題名など)を受信し、それらを表示装置6に表示させると共に、利用者が入力装置2あるいは音声入力装置3を用いて選択した電子データを自端末装置T1の記憶装置4のワークエリアに展開する。
After obtaining the access authority at the
しおりデータ保存指示部15Aは、利用者の入力装置2あるいは音声入力装置3からの入力に応じて、現在表示されている電子データのしおりデータをサーバ装置100の記憶装置104に保存するように指示をする。このとき、しおりデータとユーザIDを関連付け、それらデータが記憶装置104に保存される。また、サーバ装置100のユーザ認証部111が、保存したしおりデータと関連付けられたユーザIDを持つ者のみをそのしおりデータへのアクセス権限をもつように制限する。しおりデータの保存処理は、保存する場所がサーバ装置100の記憶装置104である以外は、上述した実施例と同じ処理である。
The bookmark data saving
しおりデータ選択部16Aは、表示装置6に表示されている電子データに関連し、かつ、現在ログインしているユーザIDに関連付けられている、しおりデータが存在する場合(サーバ装置100の記憶装置104に記憶されている場合)には、それらしおりデータの一覧を表示装置6に表示させると共に、利用者が入力装置2あるいは音声入力装置3を用いて選択したしおりデータの内容を記憶装置4のワークエリアへ展開する。また、対応するしおりデータが無い場合には、しおりデータが無いことを利用者に通知する。
The bookmark
端末装置T1の上記以外の機能部は、図1の機能部とほぼ同じ機能を実行する。 Functional units other than those described above of the terminal device T1 perform substantially the same functions as the functional units of FIG.
次に、サーバ装置100について説明する。サーバ装置のハードウェアは、記憶装置104(記憶手段、ユーザ管理データ記憶手段、端末装置指示データ記憶手段)、通信装置107及び制御装置101によって構成される。
Next, the
制御装置101は、プリプロセッサやメモリなどにより構成され、例えば記憶装置104が記憶している制御プログラムに従って動作する。さらに具体的には、後述するユーザ認証部111(ユーザ認証手段)及び電子データ送信部110(電子データ送信手段)を構成し、それらによる処理結果を記憶装置104に保存するとともに、記憶装置104が記憶しているデータを通信装置107に出力する。
The
記憶装置104は、RAMあるいはROMなどによって構成され、一時データ及び処理データを保存するためのワークエリア、テキスト、画像データあるいは音声データなどから構成される電子データ及びそれに関連付けられたしおりデータを記憶している。また、記憶装置104は、ユーザIDとそのユーザIDに対応したパスワードを記述したユーザ管理データを記憶している。
The
通信装置107は、ネットワークインタフェースカードなどにより構成され、ネットワークケーブルなどを介して接続された端末装置T1とデータの送受信を行う。
The
ユーザ認証部111は、制御装置101及び制御装置101が実行するプログラムによって構成され、端末装置T1から送信されたユーザID及びパスワードが記憶装置104のユーザ管理データに登録されているか否かを判定する。そして、その送信されたユーザID及びパスワードがユーザ管理データに登録されていると判定した場合には、そのユーザ(ユーザIDを送信した端末装置を使用しているユーザ)に、記憶装置104の電子データ及びそのユーザのしおりデータ(送信されたユーザIDと関連付けられたしおりデータ)へのアクセス権限を与える。一方、上記ユーザID及びパスワードが登録されていない場合には、「登録されていない」ことをユーザに通知する。
The
電子データ送信部110は、端末装置T1の電子データの閲覧操作指示に従って、ユーザ認証部111にて認証したユーザのみに対して電子データあるいはしおりデータを送信する。尚、ユーザ認証部111にて認証されていないユーザに対しては何も送信しない。
The electronic
また、サーバ装置100の記憶装置104にしおりデータを記憶するのではなく、しおりデータと電子データを関連付けておけば、端末装置T1の記憶装置4にしおりデータを記憶しても良い。
Further, instead of storing bookmark data in the
また、上記の説明では端末装置T1とサーバ装置100が一対一対応の場合について説明したが、勿論、図21のように複数の端末装置T1〜Tnに対してサーバ装置100が対応する構成も可能である。
In the above description, the terminal device T1 and the
以上のサーバ・クライアントシステムの実施形態によれば、電子データ及びそのしおりデータをサーバ側にて一元的に管理できる。つまり、電子データの不正な複製などを制限することができる。また、所定の料金を支払ったユーザに対して一定期間有効なユーザID及びパスワードを発行するといったような、レンタルサービスを実現することも可能である。 According to the embodiment of the server / client system described above, electronic data and bookmark data can be centrally managed on the server side. That is, unauthorized duplication of electronic data can be restricted. It is also possible to realize a rental service such as issuing a user ID and password valid for a certain period to a user who has paid a predetermined fee.
[サーバ・クライアントシステムでの実施例2]
ここでは、図22を用いて、本発明の情報閲覧システムにおける、クライアントとしての複数の端末装置とサーバ装置から構成されるサーバ・クライアントシステムの他の実施形態について説明する。
[
Here, with reference to FIG. 22, another embodiment of a server / client system including a plurality of terminal devices and server devices as clients in the information browsing system of the present invention will be described.
上記の実施例では、情報閲覧装置(端末装置)の表示中電子データ領域が更新される毎に、情報閲覧装置の音声認識用辞書作成部13が音声認識用辞書を作成している。そのため、情報閲覧装置の制御装置に負担がかかる。
In the above embodiment, every time the electronic data area being displayed on the information browsing device (terminal device) is updated, the speech recognition
一般に、サーバ・クライアントシステムでは、サーバ装置は高性能な装置を用い構成する。従って、システム全体として考えると、サーバ装置100に音声認識用辞書作成部113を備える方が良い。以下では、その場合における実施例(図20と異なる機能部のみ)を説明する。
In general, in a server / client system, a server device is configured using a high-performance device. Therefore, considering the entire system, it is better to provide the
図22の端末装置T1は、手動入力部としての入力装置2、音声入力部としての音声入力装置3(音声入力手段)、表示部としての表示装置6(表示手段)、データ送受信部としての通信装置7、電子データ選択部10B(電子データ受信手段)、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書制限部13B(音声認識手段)、音声認識部14(音声認識手段)、しおりデータ保存指示部15A(しおりデータ保存指示手段)、しおりデータ選択部16A、位置特定用表示データ作成部17及びログイン部18(ログイン手段)から構成される。
22 includes an
図22のサーバ装置100は、ユーザ認証部111(ユーザ認証手段)、電子データ送信部110B(電子データ送信手段)及び音声認識用辞書作成部113(音声認識手段)を構成し、それらによる処理結果を記憶装置104に保存するとともに、記憶装置104が記憶しているデータを通信装置107に出力する。
22 constitutes a user authentication unit 111 (user authentication unit), an electronic
音声認識用辞書作成部113は、記憶装置104に記憶されている電子データに対応した音声認識用辞書を作成する。この場合では、音声認識用辞書を一度だけ作成すれば良いので、電子データの表示が切替わる毎に、音声認識用辞書を作成する必要が無い。
The voice recognition
また、電子データのページ、章あるいは、XMLの特定タグ毎など、細かい単位で音声認識用辞書を分割しておくと、後述する音声認識用辞書制限部13Bの処理を軽減することができる。図23では、電子データ2000において、ページ毎に音声認識用辞書2001〜200nを作成している。
In addition, if the speech recognition dictionary is divided into fine units such as electronic data pages, chapters, or XML specific tags, the processing of the speech recognition
電子データ送信部110Bは、端末装置T1の電子データの閲覧操作指示に従って、ユーザ認証部111にて認証したユーザのみに対して電子データ及びその電子データに対応した音声認識用辞書、あるいは、しおりデータを端末装置T1へ送信する。尚、ユーザ認証部111にて認証されていないユーザに対しては何も送信しない。
The electronic
電子データ選択部10Bは、通信回線99を介して、(サーバ装置100の記憶装置104に記憶されている)電子データの一覧(例えば電子データの題名など)を受信し、それらを表示装置6に表示させると共に、入力装置2あるいは音声入力装置3を用いて選択された電子データを自端末装置T1の記憶装置4のワークエリアに展開する。その際に、その電子データに対応した音声認識辞書を受信し、それを記憶装置4に保存する。
The electronic
音声認識用辞書制限部13Bは、表示中電子データ領域に従い、受信した音声認識用辞書の語彙を適宜制限する。具体的には、サーバ装置100から受信した音声認識用辞書の単語及び単語列を、さらに表示中電子データ領域のものに限定する。尚、音声認識用辞書を(図23のようにページ単位毎に)分割している場合には、ページが切替わる毎に音声認識用辞書を切替えるだけで済む。
The speech recognition
上記のように、サーバ装置100にて各電子データに対応した音声認識用辞書を予め作成し、それを端末装置T1に送信することによって、端末装置T1の処理を軽減することができる。音声認識用辞書制限部13Bは、サーバ装置から受信した音声認識用辞書の単語を制限(あるいは、音声認識用辞書の一部分を抽出)するだけであり、音声認識用辞書を作成する処理よりも計算量はずっと小さい。
As described above, by creating a speech recognition dictionary corresponding to each electronic data in the
また、音声認識用辞書を、電子データのページ、章あるいは、XMLの特定タグ毎など、細かい単位で分割しておくと、音声認識用辞書制限部13Bは表示に応じて音声認識用辞書を切替えるだけで良いので、さらに処理を軽減することができる。
When the speech recognition dictionary is divided into fine units such as electronic data pages, chapters, or XML specific tags, the speech recognition
以上のように、本発明の情報閲覧装置では、入力された音声を認識し、その認識結果と一致する文字列のデータ位置をしおりデータとして保存するので、利用者が手動で電子データ位置を指定する手間がなくなる。 As described above, in the information browsing apparatus of the present invention, the input voice is recognized, and the data position of the character string that matches the recognition result is stored as bookmark data, so the user manually specifies the electronic data position. There is no need to do.
また、しおり保存時に、現在表示されている電子データから、音声認識の対象となる単語及び単語列を定義することによって認識性能を上げることができ、さらに余分な計算量を削減できる。 Also, when storing bookmarks, recognition performance can be improved by defining words and word strings that are subject to speech recognition from the currently displayed electronic data, and the amount of extra computation can be reduced.
また、あらかじめ漢字に付与された読み仮名を音声認識の対象となる単語として登録し、読み仮名が付与されていない単語は未知語として登録するので、多大なマシンパワーが必要な形態素解析を用いなくても良い。 In addition, reading kana given to kanji in advance is registered as a word for speech recognition, and words without reading kana are registered as unknown words, so morphological analysis that requires great machine power is not used May be.
また、しおりデータとして保存する電子データ位置を一つに確定することによって、次回にしおりデータを選択した際に、前回表示していたどの位置まで読んだかが分かりやすくなる。 In addition, by confirming the electronic data position to be stored as bookmark data to one, it becomes easy to understand to what position the previous display was read when the bookmark data is selected next time.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
本発明は、以上の実施の形態において説明したような電子書籍の閲覧に加えて、例えばHTMLファイルの閲覧などテキストを含む情報を閲覧する装置及びシステムに適用可能である。 The present invention can be applied to an apparatus and a system for browsing information including text, such as browsing an HTML file, in addition to browsing an electronic book as described in the above embodiment.
1 制御装置
2 入力装置
3 音声入力装置(音声入力手段)
4 記憶装置(記憶手段)
5 外部記憶媒体読書き装置
6 表示装置
7 通信装置
8 バス
10 電子データ選択部
11 スクロール制御部
12 電子データ用表示データ作成部(表示手段)
13 音声認識用辞書作成部(音声認識手段)
14 音声認識部(音声認識手段)
15 しおりデータ保存部(しおりデータ作成手段)
16 しおりデータ選択部(しおりデータ選択手段)
17 位置特定用表示データ作成部(位置特定用表示制御手段)
DESCRIPTION OF
4. Storage device (storage means)
5 External storage medium read /
13 Voice recognition dictionary creation unit (voice recognition means)
14 Voice recognition unit (voice recognition means)
15 Bookmark data storage (bookmark data creation means)
16 Bookmark data selection part (bookmark data selection means)
17 Position specifying display data creation unit (position specifying display control means)
Claims (11)
前記記憶手段に記憶されている、テキストデータを含む電子データを表示する表示手段と、
前記電子データにおけるデータ位置を特定するためのしおりデータを設定するしおりデータ設定手段とを備えている情報閲覧装置において、
上記しおりデータ設定手段は、
音声による入力を行う音声入力手段と、
前記音声入力手段から入力された音声を認識する音声認識手段と、
前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させるしおりデータ作成手段とを備えていることを特徴とする情報閲覧装置。 Storage means for storing electronic data;
Display means for displaying electronic data including text data stored in the storage means;
In an information browsing apparatus comprising bookmark data setting means for setting bookmark data for specifying a data position in the electronic data,
The bookmark data setting means is
Voice input means for inputting by voice;
Voice recognition means for recognizing voice input from the voice input means;
Bookmark data that specifies the data position of a character string that matches the recognition result by the speech recognition means among the text data of the portion displayed on the display means in the electronic data, and stores the bookmark data in the storage means An information browsing device comprising data creating means.
前記選択されたしおりデータが示す電子データ位置が複数ある場合には、それら電子データ位置の各々を含む文を取得し、それらの文を特定の長さに整形し、それら整形した文を前記表示手段に一覧表示させる位置特定用表示制御手段とを備えていることを特徴とする請求項1に記載の情報閲覧装置。 Bookmark data selection means for selecting bookmark data created by the bookmark creation means;
When there are a plurality of electronic data positions indicated by the selected bookmark data, a sentence including each of the electronic data positions is acquired, the sentences are shaped to a specific length, and the formatted sentences are displayed. The information browsing apparatus according to claim 1, further comprising: a position specifying display control unit that causes the unit to display a list.
前記情報閲覧端末装置は、
前記サーバ装置とデータの送受信を行う送受信手段と、
前記送受信手段が受信した電子データ及びしおりデータを記憶する記憶手段と、
前記記憶手段に記憶されている前記電子データを表示する表示手段と、
音声による入力を行う音声入力手段と、
前記音声入力手段から入力された音声を認識する音声認識手段と、
前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、このしおりデータを前記送受信手段により前記サーバ装置に送信させるしおりデータ作成手段とを備え、
前記サーバ装置は、
前記情報閲覧端末装置とデータの送受信を行う送受信手段と、
データを記憶する記憶手段と、
前記送受信手段が受信した前記しおりデータを前記記憶手段に記憶させるとともに、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されているテキストデータを含む電子データ及び前記しおりデータを前記送受信手段により前記情報閲覧端末装置へ送信させる制御手段とを備えていることを特徴とする情報閲覧システム。 A server device as a network server, and at least one information browsing terminal device as a network client connected to the network server via a network,
The information browsing terminal device
Transmitting / receiving means for transmitting / receiving data to / from the server device;
Storage means for storing electronic data and bookmark data received by the transmission / reception means;
Display means for displaying the electronic data stored in the storage means;
Voice input means for inputting by voice;
Voice recognition means for recognizing voice input from the voice input means;
Of the text data of the portion displayed on the display means in the electronic data, bookmark data for specifying the data position of a character string that matches the recognition result by the voice recognition means is created, and the bookmark data is sent to the transmission / reception means. And bookmark data creation means for causing the server device to transmit,
The server device
Transmitting / receiving means for transmitting / receiving data to / from the information browsing terminal device;
Storage means for storing data;
The bookmark data received by the transmission / reception means is stored in the storage means, and electronic data including text data stored in the storage means and the bookmark data are stored on the basis of a request from the information browsing terminal device. An information browsing system comprising: control means for transmitting to the information browsing terminal device by means of transmission / reception means.
前記サーバ装置において、前記記憶手段は音声認識用辞書を記憶しており、制御手段は、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されている前記音声認識用辞書を前記送受信手段により前記情報閲覧端末装置へ送信させることを特徴とする請求項9に記載の情報閲覧システム。 In the information browsing terminal apparatus, the storage unit stores a speech recognition dictionary received by the transmission / reception unit, and the speech recognition unit recognizes a voice input from the voice input unit based on the speech recognition dictionary,
In the server device, the storage unit stores a speech recognition dictionary, and the control unit stores the speech recognition dictionary stored in the storage unit based on a request from the information browsing terminal device. The information browsing system according to claim 9, wherein transmission / reception means transmits the information to the information browsing terminal device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004199839A JP2006023860A (en) | 2004-07-06 | 2004-07-06 | Information browser, information browsing program, information browsing program recording medium, and information browsing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004199839A JP2006023860A (en) | 2004-07-06 | 2004-07-06 | Information browser, information browsing program, information browsing program recording medium, and information browsing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006023860A true JP2006023860A (en) | 2006-01-26 |
Family
ID=35797109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004199839A Withdrawn JP2006023860A (en) | 2004-07-06 | 2004-07-06 | Information browser, information browsing program, information browsing program recording medium, and information browsing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006023860A (en) |
Cited By (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009301177A (en) * | 2008-06-11 | 2009-12-24 | Seiko Epson Corp | Search device and program |
JP2010072763A (en) * | 2008-09-16 | 2010-04-02 | Digitalmax Co Ltd | Digital content browsing device and digital content browsing management system |
JP2013152724A (en) * | 2013-02-22 | 2013-08-08 | Digitalmax Co Ltd | Digital content browsing device and digital content browsing management system |
WO2013132689A1 (en) * | 2012-03-09 | 2013-09-12 | シャープ株式会社 | Terminal device, method for controlling same, storage medium, and content-playback system |
JP2014132345A (en) * | 2011-06-03 | 2014-07-17 | Apple Inc | Automatically creating mapping between text data and audio data |
JP2014519058A (en) * | 2011-06-03 | 2014-08-07 | アップル インコーポレイテッド | Automatic creation of mapping between text data and audio data |
JPWO2013089083A1 (en) * | 2011-12-14 | 2015-04-27 | 株式会社インプレスR&D | Information management system for electronic books |
US9047606B2 (en) | 2011-09-29 | 2015-06-02 | Hewlett-Packard Development Company, L.P. | Social and contextual recommendations |
US9141693B2 (en) | 2009-05-01 | 2015-09-22 | Sony Corporation | Within an electronic book environment, retrieving and displaying content associated with images or text in the electronic book |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
CN109074240A (en) * | 2016-04-27 | 2018-12-21 | 索尼公司 | Information processing equipment, information processing method and program |
US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10568032B2 (en) | 2007-04-03 | 2020-02-18 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10607140B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
-
2004
- 2004-07-06 JP JP2004199839A patent/JP2006023860A/en not_active Withdrawn
Cited By (144)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US10568032B2 (en) | 2007-04-03 | 2020-02-18 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
JP2009301177A (en) * | 2008-06-11 | 2009-12-24 | Seiko Epson Corp | Search device and program |
US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
JP2010072763A (en) * | 2008-09-16 | 2010-04-02 | Digitalmax Co Ltd | Digital content browsing device and digital content browsing management system |
US9141693B2 (en) | 2009-05-01 | 2015-09-22 | Sony Corporation | Within an electronic book environment, retrieving and displaying content associated with images or text in the electronic book |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
US10475446B2 (en) | 2009-06-05 | 2019-11-12 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US9548050B2 (en) | 2010-01-18 | 2017-01-17 | Apple Inc. | Intelligent automated assistant |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10984327B2 (en) | 2010-01-25 | 2021-04-20 | New Valuexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
US10984326B2 (en) | 2010-01-25 | 2021-04-20 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
US10607141B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
US10607140B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
US11410053B2 (en) | 2010-01-25 | 2022-08-09 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10672399B2 (en) | 2011-06-03 | 2020-06-02 | Apple Inc. | Switching between text data and audio data based on a mapping |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
JP2014132345A (en) * | 2011-06-03 | 2014-07-17 | Apple Inc | Automatically creating mapping between text data and audio data |
JP2014519058A (en) * | 2011-06-03 | 2014-08-07 | アップル インコーポレイテッド | Automatic creation of mapping between text data and audio data |
US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
US9047606B2 (en) | 2011-09-29 | 2015-06-02 | Hewlett-Packard Development Company, L.P. | Social and contextual recommendations |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
JPWO2013089083A1 (en) * | 2011-12-14 | 2015-04-27 | 株式会社インプレスR&D | Information management system for electronic books |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
WO2013132689A1 (en) * | 2012-03-09 | 2013-09-12 | シャープ株式会社 | Terminal device, method for controlling same, storage medium, and content-playback system |
JP2013186805A (en) * | 2012-03-09 | 2013-09-19 | Sharp Corp | Terminal device, control program thereof, control method thereof and content reproduction system |
US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
JP2013152724A (en) * | 2013-02-22 | 2013-08-08 | Digitalmax Co Ltd | Digital content browsing device and digital content browsing management system |
US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US11556230B2 (en) | 2014-12-02 | 2023-01-17 | Apple Inc. | Data detection |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
JPWO2017187678A1 (en) * | 2016-04-27 | 2019-02-28 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
CN109074240A (en) * | 2016-04-27 | 2018-12-21 | 索尼公司 | Information processing equipment, information processing method and program |
US11074034B2 (en) | 2016-04-27 | 2021-07-27 | Sony Corporation | Information processing apparatus, information processing method, and program |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006023860A (en) | Information browser, information browsing program, information browsing program recording medium, and information browsing system | |
JP5048174B2 (en) | Method and apparatus for recognizing user utterance | |
US7010490B2 (en) | Method, system, and apparatus for limiting available selections in a speech recognition system | |
JP2002116796A (en) | Voice processor and method for voice processing and storage medium | |
US20050131673A1 (en) | Speech translation device and computer readable medium | |
EP1405169B1 (en) | Information processing apparatus and method, and program product | |
US20170372695A1 (en) | Information providing system | |
JPH1125098A (en) | Information processor and method for obtaining link destination file and storage medium | |
US10650089B1 (en) | Sentence parsing correction system | |
JPH07222248A (en) | System for utilizing speech information for portable information terminal | |
KR100654183B1 (en) | Letter input system and method using voice recognition | |
JP3927800B2 (en) | Voice recognition apparatus and method, program, and storage medium | |
JP2005249829A (en) | Computer network system performing speech recognition | |
US20020010586A1 (en) | Voice browser apparatus and voice browsing method | |
JP2000112610A (en) | Contents display selecting system and contents recording medium | |
JP6365520B2 (en) | Audio output device, audio output method, and program | |
JP3536524B2 (en) | Voice recognition method and voice recognition device | |
JP2004170466A (en) | Voice recognition method and electronic device | |
EP1729284A1 (en) | Method and systems for a accessing data by spelling discrimination letters of link names | |
JP2003202886A (en) | Device, method, and program for text input processing | |
JPH1011457A (en) | Portable retrieval device | |
JP2002041277A (en) | Information processing unit and recording medium in which web browser controlling program is recorded | |
JP2009037433A (en) | Number voice browser and method for controlling number voice browser | |
KR20090001384A (en) | Equipment and method for latter information input in touch screen enviroment using automata | |
JP2018072509A (en) | Voice reading device, voice reading system, voice reading method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |