JP2006023860A - Information browser, information browsing program, information browsing program recording medium, and information browsing system - Google Patents

Information browser, information browsing program, information browsing program recording medium, and information browsing system Download PDF

Info

Publication number
JP2006023860A
JP2006023860A JP2004199839A JP2004199839A JP2006023860A JP 2006023860 A JP2006023860 A JP 2006023860A JP 2004199839 A JP2004199839 A JP 2004199839A JP 2004199839 A JP2004199839 A JP 2004199839A JP 2006023860 A JP2006023860 A JP 2006023860A
Authority
JP
Japan
Prior art keywords
data
speech recognition
bookmark
information browsing
electronic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004199839A
Other languages
Japanese (ja)
Inventor
Kenichi Kumagai
建一 熊谷
Kimiko Saegusa
貴三子 三枝
Yoshihiro Kitamura
義弘 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004199839A priority Critical patent/JP2006023860A/en
Publication of JP2006023860A publication Critical patent/JP2006023860A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To increase usability by enabling the current reading position to be easily saved even in situations where information browsing needs to be stopped suddenly. <P>SOLUTION: An information browser includes a display device 6 for displaying electronic data stored in a storage device 4 and including text data, and a controller 1 for setting the bookmark data needed to specify data positions within the electronic data. The controller 1 includes a voice recognition part 14 for recognizing the voice inputted, and a data storage part 15 for creating the bookmark data to specify the data position of a character string that matches the result of the recognition by the voice recognition part 14, within the text data corresponding to the part of the electronic data displayed on the display device 6, and for storing the bookmark data in the storage device 4. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、本発明は、例えば閲覧していた電子書籍のデータ位置を保存することが可能であり、特に画面の特定位置を直接指定できる入力装置がない、携帯電話などに好適な情報閲覧装置、情報閲覧プログラム、情報閲覧プログラム記録媒体及び情報閲覧システムに関する。   The present invention can store the data position of an electronic book that has been browsed, for example, and is an information browsing apparatus suitable for a mobile phone or the like that does not have an input device that can directly designate a specific position on the screen. The present invention relates to an information browsing program, an information browsing program recording medium, and an information browsing system.

近年、様々な情報が電子データの形態にて提供されている。そのような電子データの例として、紙によって供給されていた書籍を電子化した電子書籍がある。通常、一冊の電子書籍を一気に読むことはなく、何度か中断しながら一冊の電子書籍を読み終える。   In recent years, various information is provided in the form of electronic data. As an example of such electronic data, there is an electronic book obtained by digitizing a book supplied by paper. Normally, one e-book is not read at a stretch, and one e-book is read while being interrupted several times.

そのような状況において使い勝手を良くする発明として、特開平2−89176(以下第1従来技術と称する)及び特開2001−184354(以下第2従来技術と称する)がある。   As an invention for improving usability in such a situation, there are JP-A-2-89176 (hereinafter referred to as the first prior art) and JP-A-2001-184354 (hereinafter referred to as the second prior art).

第1従来技術では、電子読書機の電源がOFFになった際などに、その直前に表示していた電子書籍のページの位置(あるいはカーソルの位置)をしおりデータとして保存する。そして、その電子書籍を再度読む際に、前に保存したしおりデータを選択し、選択したしおりデータにて示される位置から電子書籍を表示している。   In the first related art, when the power of the electronic reading machine is turned off, the position of the page of the electronic book (or the position of the cursor) displayed immediately before is saved as bookmark data. And when reading the electronic book again, the bookmark data preserve | saved previously are selected and the electronic book is displayed from the position shown by the selected bookmark data.

また、第2従来技術では、表示している電子書籍の開始位置及び終了位置を指定して、それら指定範囲をしおりデータとして保存することができる。そして、しおりデータを選択した時に、その選択したしおりデータにて示される範囲と他の範囲とを視覚的に区別して表示している。尚、第2従来技術では、しおりデータにキーワードあるいはアイコンなどのしおり識別情報を設定する発明も開示している。
特開平2−89176号公報(平成2年3月29日公開) 特開2001−184354号公報(平成13年7月6日公開)
In the second conventional technique, the start position and end position of the displayed electronic book can be specified, and the specified range can be stored as bookmark data. When the bookmark data is selected, the range indicated by the selected bookmark data is visually distinguished from other ranges. The second prior art also discloses an invention in which bookmark identification information such as a keyword or an icon is set in bookmark data.
Japanese Patent Laid-Open No. 2-89176 (published March 29, 1990) JP 2001-184354 A (published July 6, 2001)

しかしながら、第1及び第2従来技術では、「電子書籍などを読む場合において、表示している電子データの最後の行まで区切れ良く読み終えるとは限らない」ことを想定していなかった。例えば、携帯電話上にて電子書籍を読む場合を考える。そのような場合では、電話がかかってきたので、表示している電子データの真中の部分までしか読んでいないのに、やむなく電子書籍を閉じなければならないことがある。   However, the first and second prior arts do not assume that “when reading an electronic book or the like, the last line of the displayed electronic data is divided and not completely read”. For example, consider a case where an electronic book is read on a mobile phone. In such a case, since a phone call has been received, the electronic book may be unavoidably closed even though only the middle part of the displayed electronic data has been read.

第1及び第2従来技術では、上記のように急に書籍を閉じ、再び書籍を読む場合に、「前回表示されていたデータのどの行(位置)まで読んでいたか」が分かり難く、使い勝手が悪いという課題があった。例えば、図24のように、表示されている電子データ1001において1002の位置まで読み、しおり保存を行った場合を考える。   In the first and second prior arts, when the book is suddenly closed as described above and the book is read again, it is difficult to understand “to which line (position) of the data displayed previously”. There was a problem of being bad. For example, as shown in FIG. 24, consider a case where the displayed electronic data 1001 is read up to a position 1002 and saved as a bookmark.

第1従来技術では、カーソルキーを用いて電子データ位置1002を指定し、その位置をしおりデータとして保存していた。従って、利用者は、手動で電子データ位置を指定する手間が必要であった。このため、利用者にとって使い勝手が悪かった。特に、マウスなど、画面の特定位置を直接指せる入力装置がない携帯電話では、カーソルキーを何度も押して電子データ位置1002を指定しなければならない。   In the first prior art, an electronic data position 1002 is designated using a cursor key, and the position is stored as bookmark data. Therefore, the user has to manually specify the electronic data position. For this reason, it was bad for the user. In particular, in a mobile phone that does not have an input device that can directly point to a specific position on the screen, such as a mouse, the electronic data position 1002 must be designated by pressing the cursor key many times.

また、第2従来技術では、表示している電子書籍の始端位置及び終端位置を指定し、それらの範囲をしおりデータとして保存する必要あった。従って、第2従来技術においても、利用者が突発的に読書を中断せざるを得ない状況では、いちいち範囲を指定するという、わずらわしい作業が必要であった。   Further, in the second prior art, it is necessary to designate the start position and the end position of the displayed electronic book and to store these ranges as bookmark data. Therefore, even in the second prior art, in the situation where the user has to interrupt reading suddenly, the troublesome work of designating the range one by one was necessary.

本発明は、上記の課題を解決するためになされたものであって、例えば、急に情報閲覧を止める必要がある状況においても、利用者が簡単に自分の読んでいる位置を保存できる、使い勝手が良い情報閲覧装置、情報閲覧プログラム、情報閲覧プログラム記録媒体及び情報閲覧システムの提供を目的としている。   The present invention has been made to solve the above-described problems. For example, even in a situation where information browsing needs to be stopped suddenly, the user can easily save the position that the user is reading. It is an object of the present invention to provide an information browsing apparatus, an information browsing program, an information browsing program recording medium, and an information browsing system.

(発明のポイント)
上記課題を解決する発明の要点は、以下のようにまとめることができる。
・例えば、電子書籍を急に閉じなければならない時に、利用者が発話した単語あるいは単語列の音声を認識し、電子書籍データの表示装置に表示しているデータ範囲からその音声認識結果と一致する文字列を検索する。そして、その音声認識結果と一致した文字列のデータ位置をしおりデータとして記憶する。
(Point of invention)
The main points of the invention for solving the above-mentioned problems can be summarized as follows.
・ For example, when an electronic book must be closed suddenly, the voice of a word or word string spoken by the user is recognized and matches the voice recognition result from the data range displayed on the electronic book data display device. Search for a string. Then, the data position of the character string that matches the voice recognition result is stored as bookmark data.

上記のように、音声入力を用いることによって、利用者はいちいち手動で電子データ位置を指定する手間がなくなる。   As described above, by using voice input, the user does not have to manually specify the electronic data position.

しかしながら、上記解決構成では、音声認識結果と一致する文字列が複数存在した場合には複数のデータ位置を1つのしおりデータとして保存するという、従来になかった状況が生じる。そして、利用者が複数のデータ位置の内でしおりデータとして保存したいデータ位置を容易に選択できるマン・マシンインターフェースが必要となる。さらに、複数のデータ位置を含むしおりデータを保存した後にそのしおりデータを選択した際に、そのしおりデータが示す複数のデータ位置の内で利用者が所望するデータ位置を容易に選択できるようなマン・マシンインターフェースも必要になる。   However, in the above-described solution configuration, when there are a plurality of character strings that match the speech recognition result, a situation that has not existed before occurs in which a plurality of data positions are stored as one bookmark data. A man-machine interface is required that allows the user to easily select a data position to be stored as bookmark data among a plurality of data positions. Further, when bookmark data including a plurality of data positions is stored and then the bookmark data is selected, the user can easily select a desired data position from among the plurality of data positions indicated by the bookmark data. -A machine interface is also required.

本発明と作用・効果の対応について、以下で詳細な説明を述べる。
本発明の情報閲覧装置は、電子データを記憶する記憶手段と、前記記憶手段に記憶されている、テキストデータを含む電子データを表示する表示手段と、前記電子データにおけるデータ位置を特定するためのしおりデータを設定するしおりデータ設定手段とを備えている情報閲覧装置において、上記しおりデータ設定手段は、音声による入力を行う音声入力手段と、前記音声入力手段から入力された音声を認識する音声認識手段と、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させるしおりデータ作成手段とを備えていることを特徴としている。
A detailed description of the correspondence between the present invention and the action / effect will be given below.
An information browsing apparatus according to the present invention includes a storage unit that stores electronic data, a display unit that displays electronic data including text data stored in the storage unit, and a data position in the electronic data. In the information browsing apparatus provided with bookmark data setting means for setting bookmark data, the bookmark data setting means includes voice input means for performing voice input, and voice recognition for recognizing voice input from the voice input means. And bookmark data for specifying the data position of the character string that matches the recognition result by the voice recognition means among the text data of the portion displayed on the display means in the electronic data, and creating the bookmark data in the storage means It is characterized by comprising bookmark data creating means for storing.

本発明の情報閲覧システムは、ネットワークサーバとしてのサーバ装置と、このネットワークサーバとネットワークを介して接続されたネットワーククライアントとしての少なくとも1台の情報閲覧端末装置とを備え、前記情報閲覧端末装置は、前記サーバ装置とデータの送受信を行う送受信手段と、前記送受信手段が受信した電子データ及びしおりデータを記憶する記憶手段と、前記記憶手段に記憶されている前記電子データを表示する表示手段と、音声による入力を行う音声入力手段と、前記音声入力手段から入力された音声を認識する音声認識手段と、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、このしおりデータを前記送受信手段により前記サーバ装置に送信させるしおりデータ作成手段とを備え、前記サーバ装置は、前記情報閲覧端末装置とデータの送受信を行う送受信手段と、データを記憶する記憶手段と、前記送受信手段が受信した前記しおりデータを前記記憶手段に記憶させるとともに、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されているテキストデータを含む電子データ及び前記しおりデータを前記送受信手段により前記情報閲覧端末装置へ送信させる制御手段とを備えていることを特徴としている。   The information browsing system of the present invention includes a server device as a network server, and at least one information browsing terminal device as a network client connected to the network server via a network. Transmission / reception means for transmitting / receiving data to / from the server device, storage means for storing electronic data and bookmark data received by the transmission / reception means, display means for displaying the electronic data stored in the storage means, and audio Of the text data of the portion displayed on the display means in the electronic data, the voice recognition means performs voice input means for performing input by the voice recognition means, voice recognition means for recognizing the voice input from the voice input means, and the voice recognition means. Create bookmark data that identifies the data position of the character string that matches the recognition result And bookmark data creation means for transmitting the bookmark data to the server device by the transmission / reception means, wherein the server device transmits / receives data to / from the information browsing terminal device, and storage means for storing data. The bookmark data received by the transmission / reception means is stored in the storage means, and the electronic data including the text data stored in the storage means and the bookmark data are stored based on a request from the information browsing terminal device. The transmission / reception means includes control means for transmitting to the information browsing terminal device.

上記の構成によれば、音声入力手段は、利用者が発話した音声を入力する。音声認識手段は、前記入力された音声を認識する。しおりデータ作成手段は、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させる。しおりデータは、例えば、前記表示手段に表示されているテキストデータの内で認識結果と一致する文字列のデータ位置とすれば良い。また、前記表示手段に表示されている電子データの先頭位置及び認識結果文字列としても良い。   According to said structure, an audio | voice input means inputs the audio | voice which the user uttered. The voice recognition means recognizes the input voice. The bookmark data creation means creates bookmark data for specifying the data position of the character string that matches the recognition result by the voice recognition means among the text data of the portion displayed on the display means in the electronic data, and Store in the storage means. The bookmark data may be, for example, the data position of a character string that matches the recognition result in the text data displayed on the display means. Moreover, it is good also as a head position and recognition result character string of the electronic data currently displayed on the said display means.

上記のように、本発明の情報閲覧装置は、音声入力手段、音声認識手段及びしおりデータ作成手段を備えるので、利用者が単語あるいは単語列を発話すると、その音声を認識し、表示されている電子データにおける認識結果と一致する文字列を指定できる。従って、利用者が、電子データの位置をわざわざ手動で指定せずに、簡単に自分の読んでいる位置を保存でき、使い勝手が良い。   As described above, the information browsing apparatus according to the present invention includes voice input means, voice recognition means, and bookmark data creation means, so that when a user utters a word or a word string, the voice is recognized and displayed. A character string that matches the recognition result in the electronic data can be specified. Therefore, the user can easily store the position where the user is reading without manually specifying the position of the electronic data, which is convenient.

さらに本発明の情報閲覧システムによれば、電子データ及びそのしおりデータをサーバ側にて一元的に管理できる。従って、電子データの不正な複製などを制限することができる。   Furthermore, according to the information browsing system of the present invention, electronic data and bookmark data can be managed centrally on the server side. Therefore, unauthorized duplication of electronic data can be restricted.

上記情報閲覧装置において、前記音声認識手段は、前記表示手段に表示されているテキストデータの単語を音声認識対象の単語と定義し、かつ前記表示手段に表示されているテキストデータの文を音声認識対象となる単語列と定義した音声認識用辞書を作成し、この音声認識用辞書に基づいて音声認識を行う構成としても良い。   In the information browsing apparatus, the speech recognition means defines a word of the text data displayed on the display means as a speech recognition target word, and recognizes a sentence of the text data displayed on the display means. A speech recognition dictionary defined as a target word string may be created, and speech recognition may be performed based on the speech recognition dictionary.

上記構成によれば、音声認識の対象となる単語及び単語列を、表示手段が表示している電子データの内容に限定するので、通常の大語彙音声認識システムと比べ、音声認識性能を向上でき、計算量を削減できる。   According to the above configuration, since the words and word strings that are subject to speech recognition are limited to the contents of the electronic data displayed by the display means, the speech recognition performance can be improved compared to a normal large vocabulary speech recognition system. , Can reduce the amount of calculation.

上記情報閲覧装置において、前記しおりデータ作成手段は、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列が複数存在する場合に、それら文字列のうちの何れかの選択を促す表示を前記表示手段に行わせ、複数の文字列のうちの何れかを選択する入力に基づいて、選択された文字列のデータ位置を特定するしおりデータを作成する構成としても良い。   In the information browsing apparatus, the bookmark data creating means may include a plurality of character strings that match the recognition result by the voice recognition means among the text data of the portion displayed on the display means in the electronic data. , Causing the display unit to display to prompt selection of any one of the character strings, and specifying the data position of the selected character string based on an input for selecting any one of the plurality of character strings A configuration may be adopted in which bookmark data is created.

上記構成によれば、前記しおりデータ保存手段は、前記表示手段に表示されているテキストデータの内で前記音声認識手段による認識結果と一致する文字列が複数ある場合には、それら文字列のうちの何れかの選択を促す表示を前記表示手段に行わせ、複数の文字列のうちの何れかを選択する入力に基づいて、選択された文字列のデータ位置を特定するしおりデータを作成する。従って、しおりデータが示すデータ位置が1つになるので、次回にしおりデータを選択した際に、前回表示していたどの位置まで読んだかが分かりやすくなる。   According to the above configuration, when there are a plurality of character strings that match the recognition result by the voice recognition means in the text data displayed on the display means, the bookmark data storage means The display unit is caused to perform a display for prompting selection of any of the above, and bookmark data for specifying the data position of the selected character string is created based on an input for selecting any of the plurality of character strings. Therefore, since the data position indicated by the bookmark data is one, when the bookmark data is selected next time, it becomes easy to understand to what position it was previously displayed.

上記情報閲覧装置は、前記音声認識手段が使用する音声認識用辞書を作成する音声認識用辞書作成手段を備え、この音声認識用辞書作成手段は、前記音声認識手段による認識結果と一致する文字列が複数存在する場合に、第1の音声認識用辞書に対して、複数存在する前記文字列を含む文の単語及び単語列に限定された第2の音声認識用辞書を作成し、前記音声認識手段は、この第2の音声認識用辞書に基づいて複数の文字列のうちの何れかを選択するために入力された音声を認識し、その認識結果と一致した文字列のデータ位置を特定するしおりデータを作成する構成としても良い。   The information browsing apparatus includes a speech recognition dictionary creation unit that creates a speech recognition dictionary used by the speech recognition unit, and the speech recognition dictionary creation unit includes a character string that matches a recognition result by the speech recognition unit. If there are a plurality of words, a second speech recognition dictionary limited to words and word strings of sentences including the plurality of character strings is created for the first speech recognition dictionary, and the speech recognition is performed. The means recognizes the input voice to select any one of the plurality of character strings based on the second speech recognition dictionary, and specifies the data position of the character string that matches the recognition result. A configuration may be adopted in which bookmark data is created.

上記構成によれば、一致した文字列の各々を含む文の単語及び単語列に音声認識対象を限定するので、認識性能を向上できるとともに、認識に要する計算量を削減できる。   According to the above configuration, since the speech recognition target is limited to words and word strings of sentences including each of the matched character strings, the recognition performance can be improved and the amount of calculation required for recognition can be reduced.

上記情報閲覧装置において、前記音声認識手段は、音節あるいは音素からなる単位音毎に音声認識結果を途中出力し、その単位音を含む単語を他の語と異なる表示形態にして前記表示手段に表示させる表示制御手段を備える構成としても良い。   In the information browsing apparatus, the voice recognition unit outputs a voice recognition result for each unit sound composed of syllables or phonemes, and displays the word including the unit sound in a display form different from other words on the display unit. It is good also as a structure provided with the display control means to be made.

上記構成によれば、前記音声認識手段を備えるので、利用者は、単語あるいは単語列の発話途中においてもしおりデータとして保存する電子データ位置の候補が明確に分かる。   According to the above configuration, since the voice recognition means is provided, the user can clearly know candidates for electronic data positions to be stored as bookmark data even during the utterance of words or word strings.

上記情報閲覧装置は、前記しおり作成手段によって作成されたしおりデータを選択するしおりデータ選択手段と、前記選択されたしおりデータが示す電子データ位置が複数ある場合には、それら電子データ位置の各々を含む文を取得し、それらの文を特定の長さに整形し、それら整形した文を前記表示手段に一覧表示させる位置特定用表示制御手段とを備えている構成としても良い。   The information browsing device includes a bookmark data selection unit that selects bookmark data created by the bookmark creation unit, and a plurality of electronic data positions indicated by the selected bookmark data, each of the electronic data positions. It is good also as a structure provided with the display control means for position specification which acquires the sentence to include, shapes those sentences into a specific length, and makes the said display means display the list of the shaped sentences.

上記構成によれば、前記しおりデータ選択手段にて選択されたしおりデータが示す電子データ位置が複数ある場合にも、前回どこまで読んでいたかを簡単に把握することができる。また、利用者は、しおりデータとして保存する電子データ位置を一つに確定する必要がないので、使い勝手が良い。尚、特に携帯電話など表示できる文字量が小さな画面では、しおりデータ選択時に表示される文章内容が把握しやすい。   According to the above configuration, even when there are a plurality of electronic data positions indicated by the bookmark data selected by the bookmark data selection means, it is possible to easily grasp how far the data has been read. In addition, since the user does not need to determine the electronic data position to be stored as bookmark data, it is easy to use. It should be noted that the content of the text displayed when selecting bookmark data is easy to grasp particularly on a screen such as a mobile phone that can display a small amount of characters.

上記発明の情報閲覧システムは、前記情報閲覧端末装置において、前記記憶手段は前記送受信手段が受信した音声認識用辞書を記憶し、音声認識手段は前記音声入力手段から入力された音声を音声認識用辞書に基づいて認識し、前記サーバ装置において、前記記憶手段は音声認識用辞書を記憶しており、制御手段は、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されている前記音声認識用辞書を前記送受信手段により前記情報閲覧端末装置へ送信させる構成としてもよい。   In the information browsing system of the above invention, in the information browsing terminal apparatus, the storage unit stores a speech recognition dictionary received by the transmission / reception unit, and the voice recognition unit uses the voice input from the voice input unit for voice recognition. Recognizing based on a dictionary, in the server device, the storage means stores a speech recognition dictionary, and the control means is stored in the storage means based on a request from the information browsing terminal device. The voice recognition dictionary may be transmitted to the information browsing terminal device by the transmission / reception means.

上記構成によれば、サーバ装置にて音声認識辞書の作成に係る処理をしておくことができるので、情報閲覧端末装置は表示するデータを変更する毎に音声認識用辞書を作成する必要が無く、情報閲覧端末装置の処理を軽減できる。   According to the above configuration, the server device can perform processing related to the creation of the speech recognition dictionary, so the information browsing terminal device does not need to create a speech recognition dictionary each time the data to be displayed is changed. The processing of the information browsing terminal device can be reduced.

上記の情報閲覧システムにおいて、前記サーバ装置は、前記音声認識用辞書として、前記記憶手段にて記憶されている、テキストデータを含む電子データの一部データ(ページ、章や、XMLの特定タグ)毎に、音声認識対象となる単語を定義する音声認識用辞書を作成し、前記テキストデータを含む電子データに対応付けて前記記憶手段に記憶させる音声認識用辞書作成手段を備えている構成としても良い。   In the information browsing system, the server device stores, as the speech recognition dictionary, partial data (page, chapter, XML specific tag) of electronic data including text data stored in the storage unit. It is also possible to create a speech recognition dictionary that defines a word to be speech-recognized for each time, and to include a speech recognition dictionary creating unit that stores the dictionary in association with electronic data including the text data. good.

上記構成によれば、サーバ装置にて音声認識辞書の作成に係る処理をしておくので、情報閲覧端末装置は表示するデータを変更する毎に音声認識用辞書を作成する必要が無く、情報閲覧端末装置の処理を軽減できる。また、上記音声認識用辞書作成手段を備えているので、音声認識辞書の小型化、つまり認識対象となる単語数と単語列数を削減できるので、認識性能を向上できるとともに、認識に要する計算量を削減できる。   According to the above configuration, since the server device performs processing related to creation of the speech recognition dictionary, the information browsing terminal device does not need to create a speech recognition dictionary every time data to be displayed is changed, and information browsing is performed. The processing of the terminal device can be reduced. In addition, since the voice recognition dictionary creating means is provided, the voice recognition dictionary can be downsized, that is, the number of words and word strings to be recognized can be reduced, so that the recognition performance can be improved and the amount of calculation required for recognition Can be reduced.

以上のように、本発明の情報閲覧装置は、しおりデータ設定手段が、音声による入力を行う音声入力手段と、前記音声入力手段から入力された音声を認識する音声認識手段と、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させるしおりデータ作成手段とを備えている構成である。   As described above, in the information browsing apparatus according to the present invention, the bookmark data setting unit includes a voice input unit that performs voice input, a voice recognition unit that recognizes voice input from the voice input unit, and the electronic data. Bookmark data creation means for creating bookmark data for specifying the data position of a character string that matches the recognition result by the voice recognition means among the text data of the portion displayed on the display means, and storing the bookmark data in the storage means; It is the structure equipped with.

上記の構成により、情報閲覧装置では、音声入力手段、音声認識手段及びしおりデータ作成手段を備えるので、利用者が単語あるいは単語列を発話すると、その音声を認識し、表示されている電子データにおける認識結果と一致する文字列を指定できる。従って、利用者が、電子データの位置をわざわざ手動で指定せずに、簡単に自分の読んでいる位置を保存でき、使い勝手が良い。   With the above configuration, the information browsing apparatus includes voice input means, voice recognition means, and bookmark data creation means. Therefore, when a user utters a word or a word string, the voice is recognized and the displayed electronic data You can specify a character string that matches the recognition result. Therefore, the user can easily store the position where the user is reading without manually specifying the position of the electronic data, which is convenient.

以下添付図面を参照して本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the accompanying drawings.

[ハードウェアの構成]
図2を用いて、本発明の実施形態における情報閲覧装置のハードウェア構成について説明する。図2の情報閲覧装置は、制御装置1、入力装置2、音声入力装置3、記憶装置4、外部記憶媒体読書き装置5、表示装置6及び通信装置7によって構成され、各部はバス8によって接続される。
[Hardware configuration]
The hardware configuration of the information browsing apparatus in the embodiment of the present invention will be described with reference to FIG. 2 includes a control device 1, an input device 2, a voice input device 3, a storage device 4, an external storage medium read / write device 5, a display device 6, and a communication device 7. Each unit is connected by a bus 8. Is done.

制御装置1は、プリプロセッサやメモリなどにより構成され、例えば記憶装置4が記憶している制御プログラムに従って動作する。さらに具体的には、後述する機能部による処理結果を記憶装置4に保存するとともに、記憶装置4が記憶しているデータ(以下記憶装置4のデータと略記する)を表示装置6及び通信装置7に出力する。   The control device 1 is configured by a preprocessor, a memory, and the like, and operates according to a control program stored in the storage device 4, for example. More specifically, the processing result by the functional unit described later is stored in the storage device 4, and data stored in the storage device 4 (hereinafter abbreviated as data in the storage device 4) is displayed on the display device 6 and the communication device 7. Output to.

入力装置2は、カーソルキーなどの各種キーを備えたキーボード、ジョグダイヤル、手書きOCR、あるいはポインティングデバイス(例えばマウス)などによって構成され、入力装置2によって入力された信号(例えばキーボードで押下されたキーの信号)を制御装置1へ出力する。   The input device 2 is composed of a keyboard having various keys such as cursor keys, a jog dial, a handwritten OCR, or a pointing device (for example, a mouse). A signal input by the input device 2 (for example, a key pressed on the keyboard) Signal) to the control device 1.

音声入力装置3は、例えば、マイク及びA/Dコンバータによって構成され、入力された音声をデジタル化し、記憶装置4に記憶する。   The voice input device 3 includes, for example, a microphone and an A / D converter, digitizes the input voice, and stores it in the storage device 4.

記憶装置4は、RAMあるいはROMなどによって構成され、指定された手段、入力指示、入力データ、一時データ及び処理データを保存するためのワークエリアを有する。   The storage device 4 includes a RAM or a ROM, and has a work area for storing designated means, input instructions, input data, temporary data, and processing data.

また、記憶装置4は、テキスト、画像データあるいは音声データなどから構成される電子データ及びそれに関連付けられたしおりデータを記憶する。電子データは、例えば、XML(eXtensible Markup Language)フォーマットなどで記述しておけば良い。勿論、記憶装置4は、これらの電子データを複数記憶することが可能であり、それら電子データの各々に対して複数のしおりデータを関連付けることも可能である。しおりデータについては後述する。   The storage device 4 stores electronic data composed of text, image data, audio data, and the like, and bookmark data associated therewith. The electronic data may be described in, for example, an XML (extensible Markup Language) format. Of course, the storage device 4 can store a plurality of these electronic data, and a plurality of bookmark data can be associated with each of the electronic data. The bookmark data will be described later.

外部記憶媒体読書き装置5は、SDメモリカード用リーダーライタなどによって構成され、記憶装置4に記憶されているデータをSDメモリカードなどの外部記憶媒体に書込み、また外部記憶媒体のデータを記憶装置4に読込む。   The external storage medium read / write device 5 includes an SD memory card reader / writer and the like, writes data stored in the storage device 4 to an external storage medium such as an SD memory card, and stores data in the external storage medium. Read to 4.

表示装置6は、CRTや液晶ディスプレイなどにより構成され、記憶装置4のデータを表示する。以下、電子データの表示装置6に表示されているデータ領域を表示中電子データ領域と呼ぶ。   The display device 6 is configured by a CRT, a liquid crystal display, or the like, and displays data in the storage device 4. Hereinafter, the data area displayed on the display device 6 for electronic data is referred to as a displayed electronic data area.

通信装置7は、ネットワークインタフェースカードなどにより構成され、ネットワークケーブルなどを介して接続されたサーバ装置とデータの送受信を行う。   The communication device 7 is configured by a network interface card or the like, and transmits / receives data to / from a server device connected via a network cable or the like.

[ブロック図による機能構成]
ここで、図1のブロック図を用いて、本実施の形態における情報閲覧装置の機能構成を説明する。
[Functional configuration based on block diagram]
Here, the functional configuration of the information browsing apparatus in the present embodiment will be described using the block diagram of FIG.

この情報閲覧装置は、手動入力部としての入力装置2、音声入力部としての音声入力装置3(音声入力手段)、記憶部としての記憶装置4(記憶手段)、表示部としての表示装置6(表示手段)、電子データ選択部10、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書作成部13(音声認識手段)、音声認識部14(音声認識手段)、しおりデータ保存部15(しおりデータ保存手段)、しおりデータ選択部16(しおりデータ選択手段)及び位置特定用表示データ作成部17(位置特定用表示制御手段)を備える。   This information browsing apparatus includes an input device 2 as a manual input unit, a voice input device 3 as a voice input unit (voice input means), a storage device 4 as a storage unit (storage means), and a display device 6 as a display unit ( Display means), electronic data selection unit 10, scroll control unit 11, display data creation unit 12 for electronic data, dictionary creation unit 13 for speech recognition (speech recognition unit), speech recognition unit 14 (speech recognition unit), bookmark data storage A section 15 (bookmark data storage means), a bookmark data selection section 16 (bookmark data selection means), and a position specifying display data creation section 17 (position specifying display control means) are provided.

このうち、電子データ選択部10、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書作成部13、音声認識部14、しおりデータ保存部15、しおりデータ選択部16及び選択しおりデータ用表示データ作成部17は、制御装置1及び制御装置1が実行するプログラムによって構成される。   Among these, the electronic data selection unit 10, the scroll control unit 11, the electronic data display data creation unit 12, the voice recognition dictionary creation unit 13, the voice recognition unit 14, the bookmark data storage unit 15, the bookmark data selection unit 16, and the selection bookmark. The data display data creation unit 17 includes a control device 1 and a program executed by the control device 1.

電子データ選択部10は、記憶装置4の電子データの一覧(例えば電子データの題名などの一覧)を表示装置6に表示させる。そして、利用者が入力装置2あるいは音声入力装置3を用いて上記一覧から選択した電子データを記憶装置4のワークエリアに展開する。
スクロール制御部11は、入力装置2あるいは音声入力装置3からのスクロール指示に応じて、電子データの表示装置6に現在表示されているデータ位置からどれだけ移動させれば良いかを計算する。
The electronic data selection unit 10 causes the display device 6 to display a list of electronic data in the storage device 4 (for example, a list of titles of electronic data). Then, the electronic data selected from the list by the user using the input device 2 or the voice input device 3 is developed in the work area of the storage device 4.
In response to a scroll instruction from the input device 2 or the voice input device 3, the scroll control unit 11 calculates how much to move from the data position currently displayed on the electronic data display device 6.

電子データ用表示データ作成部12は、電子データ選択部10やスクロール制御部11の指示に従って、記憶装置4の電子データを表示装置6に出力するための表示用データを作成あるいは更新する。勿論、電子データ用表示データ作成部12は、電子データのフォーマットを解釈し、それらを表示用データに変換する機能も持っている。   The electronic data display data creation unit 12 creates or updates display data for outputting the electronic data in the storage device 4 to the display device 6 in accordance with instructions from the electronic data selection unit 10 and the scroll control unit 11. Of course, the display data creation unit 12 for electronic data also has a function of interpreting the format of electronic data and converting them into display data.

音声認識用辞書作成部13は、音声認識部14の認識対象となる単語を定義する単語辞書、及び認識可能な単語列を定義する言語モデルを作成し、記憶装置4に記憶させる。以下、単語辞書及び言語モデルのセットを、音声認識用辞書と呼ぶ。音声認識用辞書は新聞記事などの大量のテキストデータからあらかじめ作成したものでも良いが、後述のように、電子データ用表示データ作成部12が表示用データを作成あるいは更新する毎に音声認識用辞書を作成すると音声認識性能の向上などの効果が得られる。尚、本明細書において、言語モデルは単語をノードとしたネットワーク文法の形式のものとして説明する。ただし、言語モデルは、ネットワーク文法の形式に限定されず、単語の組合せの頻度を示した、いわゆるNgram言語モデルであっても良い。また、単語のみを認識する場合、即ち連続して単語を認識しない場合には、言語モデルは必要ない。   The speech recognition dictionary creation unit 13 creates a word dictionary that defines words to be recognized by the speech recognition unit 14 and a language model that defines recognizable word strings, and stores them in the storage device 4. Hereinafter, a set of word dictionaries and language models is referred to as a speech recognition dictionary. The speech recognition dictionary may be created in advance from a large amount of text data such as a newspaper article. However, as will be described later, the speech recognition dictionary every time the electronic data display data creation unit 12 creates or updates display data. If you create, you can get the effect of improving speech recognition performance. In the present specification, the language model will be described as a network grammar format using words as nodes. However, the language model is not limited to the network grammar format, and may be a so-called Ngram language model indicating the frequency of word combinations. Further, when only the word is recognized, that is, when the word is not recognized continuously, the language model is not necessary.

音声認識部14は、音声認識用辞書を用いて、音声入力装置3から入力された音声を認識し、テキストに変換する。尚、音声認識部14は、LSIにて構成されたハードウェアであっても良い。   The voice recognition unit 14 recognizes the voice input from the voice input device 3 using the voice recognition dictionary and converts it into text. Note that the voice recognition unit 14 may be hardware configured by an LSI.

しおりデータ保存部15は、入力装置2あるいは音声認識部14からの指示に応じて、例えば、表示中電子データ領域の単語のデータ位置などをしおりデータとして記憶装置4に保存する。その際に、表示装置6に表示されている電子データとしおりデータとを関連付ける。しおりデータ保存部15については後に詳しく説明する。   In accordance with an instruction from the input device 2 or the voice recognition unit 14, the bookmark data storage unit 15 stores, for example, the data position of words in the electronic data area being displayed in the storage device 4 as bookmark data. At that time, the electronic data displayed on the display device 6 is associated with the bookmark data. The bookmark data storage unit 15 will be described in detail later.

しおりデータ選択部16は、表示装置6に表示されている電子データに関連するしおりデータが記憶装置4に記憶されている場合に、それらしおりデータの一覧を表示装置6に表示させると共に、利用者が入力装置2あるいは音声入力装置3を用いて選択したしおりデータの内容を記憶装置4のワークエリアへ展開する。また、電子データに関連するしおりデータが無い場合には、例えば「しおりデータがありません」といったテキスト文字列を表示装置6に表示させ、利用者にしおりデータが無いことを通知する。尚、しおりデータ選択部16は、利用者にしおりデータを選択させる指示を表す文字列を表示装置6に表示させずに、前回保存したしおりデータにて示されるデータ位置から自動的に電子データを表示しても良い。   When bookmark data related to the electronic data displayed on the display device 6 is stored in the storage device 4, the bookmark data selection unit 16 displays a list of the bookmark data on the display device 6, and the user Expands the contents of the bookmark data selected using the input device 2 or the voice input device 3 to the work area of the storage device 4. When there is no bookmark data related to the electronic data, for example, a text character string such as “No bookmark data” is displayed on the display device 6 to notify the user that there is no bookmark data. The bookmark data selection unit 16 does not display a character string indicating an instruction for the user to select bookmark data on the display device 6 but automatically displays electronic data from the data position indicated by the bookmark data stored last time. You may display.

位置特定用表示データ作成部17は、しおりデータにて示される位置が利用者に簡単に分かる表示用データを作成し、その表示用データを表示装置6に表示する。位置特定用表示データ作成部17については後に詳しく説明する。   The position specifying display data creating unit 17 creates display data that allows the user to easily understand the position indicated by the bookmark data, and displays the display data on the display device 6. The position specifying display data creation unit 17 will be described in detail later.

[しおりデータ保存時の動作]
(しおりデータ保存時の処理概要)
ここで、図3のフローチャートを用いて、しおりデータ保存時の動作の概要を説明する。
[Operation when saving bookmark data]
(Outline of processing when saving bookmark data)
Here, an outline of the operation when storing bookmark data will be described with reference to the flowchart of FIG.

S1では、電子データ選択部10が、記憶装置4の電子データの一覧(例えば電子データの題名などの一覧)を表示装置6に表示させ、それらの中で利用者が指定したものをワークエリアに展開する。   In S1, the electronic data selection unit 10 displays a list of electronic data in the storage device 4 (for example, a list of titles of electronic data, etc.) on the display device 6, and the one designated by the user is displayed in the work area. expand.

S2では、電子データ用表示データ作成部12が、S1にて選択された電子データの表示用データを作成する。   In S2, the display data creation unit 12 for electronic data creates display data for the electronic data selected in S1.

S3では、S2にて作成した表示用データを表示装置6へ出力する。
S4では、音声認識用辞書作成部13が、表示中電子データ領域から、音声認識用辞書を作成する。S4にて作成された音声認識用辞書はS8にて使用される。
In S3, the display data created in S2 is output to the display device 6.
In S4, the voice recognition dictionary creation unit 13 creates a voice recognition dictionary from the electronic data area being displayed. The speech recognition dictionary created in S4 is used in S8.

ここで、図4(a)〜図4(c)を用いて、音声認識用辞書の作成処理について詳細に説明する。   Here, the speech recognition dictionary creation process will be described in detail with reference to FIGS. 4 (a) to 4 (c).

まず、表示中電子データ領域200(図4(a))に対して、形態素解析により文章を単語に分割し、箇条書きで示される単語から成る単語辞書201(図4(b))を作成する。そして、表示中電子データ領域の単語列を記述した言語モデル202(図4(c))を作成する。この場合、文章だけでなく、単語のみ認識できる言語モデルを作成している。   First, for the electronic data area 200 being displayed (FIG. 4A), a sentence is divided into words by morphological analysis, and a word dictionary 201 (FIG. 4B) consisting of words indicated by bullets is created. . Then, the language model 202 (FIG. 4C) describing the word string in the electronic data area being displayed is created. In this case, a language model that can recognize not only sentences but also words is created.

図4(c)の言語モデル202では、「スタート」のノードから「エンド」のノードまでの各ノード列に相当する単語列が、認識可能であることを示している。例えば、「スタート」→「また」→「右方向」→「も」→「輝」→「いて」→「見」→「える」→「エンド」というノード列は、「また右方向も輝いて見える」という単語列が認識可能であることを表している。単語辞書にない単語、及び、言語モデルにて定義されていない単語列は認識しない。このように、音声認識用辞書作成部13では、表示装置6に表示されているデータから音声認識用辞書を作成するので、認識対象となる単語数を削減でき、莫大な計算量を必要とする大語彙音声認識システムを搭載する必要がない。   The language model 202 in FIG. 4C indicates that word strings corresponding to the respective node strings from the “start” node to the “end” node are recognizable. For example, the node sequence of “Start” → “Also” → “Right” → “M” → “Bright” → “Still” → “Look” → “Er” → “End” This means that the word string “visible” is recognizable. Words that are not in the word dictionary and word strings that are not defined in the language model are not recognized. Thus, since the speech recognition dictionary creation unit 13 creates a speech recognition dictionary from the data displayed on the display device 6, the number of words to be recognized can be reduced and an enormous amount of calculation is required. There is no need to install a large vocabulary speech recognition system.

また、図5(a)〜図5(c)のように、漢字にあらかじめ付与されたルビ文字を利用して、ルビが付与されている漢字だけを単語辞書に登録し、残りを未知語として登録しても良い。例えば、図5(a)では、表示されているデータ210の、「右方向」210a及び「下」210bの漢字にルビ文字が付与されていない。そのため、単語辞書211(図5(b))及び言語モデル212(図5(c))では、それらの単語が未知語として扱われる。このようにルビ文字を利用した場合には、形態素解析の必要がないので、計算量を削減できる。ただし、ルビ文字が付与されていない漢字は全て未知語として扱う。つまり、読み仮名がない漢字は、全て同じ単語として扱われる。この未知語の音響モデルは、例えば、全音素の特徴を学習したモデル、いわゆるガーベッジモデルとすれば良い。   In addition, as shown in FIGS. 5 (a) to 5 (c), by using the ruby characters previously given to the kanji, only the kanji to which the ruby is given is registered in the word dictionary, and the rest is set as an unknown word. You may register. For example, in FIG. 5A, ruby characters are not assigned to the “right” 210a and “down” 210b kanji in the displayed data 210. Therefore, in the word dictionary 211 (FIG. 5B) and the language model 212 (FIG. 5C), these words are treated as unknown words. When ruby characters are used in this way, the amount of calculation can be reduced because there is no need for morphological analysis. However, all Kanji characters without a ruby character are treated as unknown words. In other words, all kanji characters that do not have reading kana are treated as the same word. The unknown word acoustic model may be, for example, a so-called garbage model in which features of all phonemes are learned.

S5では、スクロール制御部11が、利用者から電子データをスクロールさせる指示があったか否かを判定する。もし、指示があった場合には、S11の処理に移る。指示が無い場合には、S6の処理に移る。   In S5, the scroll control unit 11 determines whether or not there is an instruction to scroll the electronic data from the user. If there is an instruction, the process proceeds to S11. If there is no instruction, the process proceeds to S6.

S11では、スクロール制御部11が、電子データの表示装置6に現在表示されている位置からどれだけ移動すればよいかを計算する。例えば、ジョグダイヤルを1クリックした際に1行スクロールさせるなどといったルールを予め決めておけば良い。そして、電子データ用表示データ作成部12が、上記計算した位置から表示用データを作成する。   In S11, the scroll control unit 11 calculates how much it should move from the position currently displayed on the electronic data display device 6. For example, a rule such as scrolling one line when the jog dial is clicked once may be determined in advance. Then, the electronic data display data creation unit 12 creates display data from the calculated position.

S6では、利用者からしおりデータ保存の指示があったか否かを判定する。しおりデータ保存部15の指示があった場合には、S7の処理に移る。   In S6, it is determined whether or not there is an instruction to save bookmark data from the user. If there is an instruction from the bookmark data storage unit 15, the process proceeds to S7.

S7では、音声入力装置3にて音声が入力されたか否かを判定する。もし、音声入力であったのなら、S8の処理に移る。そうでないのなら、S9の処理に移る。   In S <b> 7, it is determined whether or not voice is input from the voice input device 3. If it is a voice input, the process proceeds to S8. If not, the process proceeds to S9.

S8では、入力された音声を認識し、その認識結果に基づいて、しおりデータの保存を行う。このS8の処理については、以下に3通りの実施例(A、BとC)を述べる。   In S8, the input voice is recognized, and bookmark data is saved based on the recognition result. Regarding the processing of S8, three examples (A, B and C) will be described below.

S9では、入力装置2を用いた、従来技術と同じ手動によるしおり保存処理を行う。つまり、本発明は従来技術の機能も備えることができる。   In S9, the same manual bookmark storing process as that of the conventional technique using the input device 2 is performed. That is, the present invention can also have the functions of the prior art.

S10では、しおりデータ保存部15が、前記保存したしおりデータと表示装置6に表示されている電子データとを関連付ける。例えば、しおりデータに電子データの題名などを付与して両者を関連付け、電子データとしおりデータを独立したデータとして記憶すれば良い。そうすれば、図6のように、同じ内容の電子データ「ピクニック日記」に対応するしおりデータのみ外部記憶媒体9を経由して異なる情報閲覧装置XとYの間で共用できる。   In S <b> 10, the bookmark data storage unit 15 associates the stored bookmark data with the electronic data displayed on the display device 6. For example, the title of the electronic data may be assigned to the bookmark data to associate them, and the bookmark data may be stored as electronic data as independent data. Then, as shown in FIG. 6, only bookmark data corresponding to the electronic data “picnic diary” having the same content can be shared between the different information browsing apparatuses X and Y via the external storage medium 9.

(しおり保存時の処理−実施例A)
ここで、図7のフローチャートを用いて、S8のしおりデータ保存の処理の1実施例について詳細な説明を行う。
(Processing when saving bookmarks-Example A)
Here, with reference to the flowchart of FIG. 7, a detailed description will be given of an embodiment of the bookmark data storage process in S8.

S101では、音声認識部14が、音声入力装置3にて入力された音声を認識する。このとき、S4にて作成された音声認識用辞書が用いられる。   In S <b> 101, the voice recognition unit 14 recognizes the voice input by the voice input device 3. At this time, the speech recognition dictionary created in S4 is used.

S102では、しおりデータ保存部15が、音声認識結果の文字列にて示される電子データ位置をしおりデータとして保存する。このとき、音声認識結果の文字列自体もしおりデータとして保存しても良い(以下、しおりデータとして保存した電子データ位置を、単に、しおりデータが示す電子データ位置と呼ぶ)。   In S102, the bookmark data storage unit 15 stores the electronic data position indicated by the character string of the voice recognition result as bookmark data. At this time, the character string itself of the voice recognition result may be stored as bookmark data (hereinafter, the electronic data position stored as bookmark data is simply referred to as the electronic data position indicated by the bookmark data).

図8は、1001のように電子データが表示されている場合に、利用者が“天気”と発話し、それが正しく認識された状況を想定している。その場合には、文字列“天気”(図8では分かりやすいように破線で囲み、太字表示している)に相当する電子データ位置が(7箇所)保存される。   FIG. 8 assumes a situation in which, when electronic data is displayed as in 1001, the user speaks “weather” and is correctly recognized. In that case, electronic data positions corresponding to the character string “weather” (in FIG. 8, surrounded by broken lines and displayed in bold) are stored (seven locations).

図9は、利用者が“天気予報をきちんと確認した”という文章を発話し、それが正しく認識された状況を想定している。その場合には、その文章(1003)に相当する電子データ位置が保存される。   FIG. 9 assumes a situation in which the user utters the sentence “I have confirmed the weather forecast properly” and is correctly recognized. In that case, the electronic data position corresponding to the sentence (1003) is stored.

ただし、しおりデータは、上記に説明したようなものに限定されるのではなく、例えば、表示している電子データの先頭位置及び認識結果文字列から構成しても良い。つまり、しおりデータから、認識結果の文字列に相当する電子データ位置が分かれば良い。   However, the bookmark data is not limited to that described above, and may be composed of, for example, the start position of the displayed electronic data and the recognition result character string. That is, it is only necessary to know the electronic data position corresponding to the character string of the recognition result from the bookmark data.

(しおり保存時の処理−実施例B)
ここで、図10のフローチャートを用いて、S8のしおりデータ保存の処理の1実施例について詳細な説明を行う。ここで説明する処理は、表示中電子データ領域に音声認識結果に一致する文字列が複数あった場合に、しおりとして保存したい電子データ位置を一意に確定させるための処理である。
(Processing when saving bookmarks-Example B)
Here, with reference to the flowchart of FIG. 10, a detailed description will be given of an embodiment of the bookmark data storage process of S8. The process described here is a process for uniquely determining an electronic data position to be stored as a bookmark when there are a plurality of character strings that match the voice recognition result in the electronic data area being displayed.

S101では、音声認識部14が、音声入力装置3にて入力された音声を認識する。このとき、S4にて作成された音声認識用辞書が用いられる。   In S <b> 101, the voice recognition unit 14 recognizes the voice input by the voice input device 3. At this time, the speech recognition dictionary created in S4 is used.

S103では、表示中電子データ領域に認識結果と一致する文字列が一つしかないか否かを判定する。もし、一つしかないのならS102の処理に移る。複数あるのならS104の処理に移る。   In S103, it is determined whether or not there is only one character string that matches the recognition result in the electronic data area being displayed. If there is only one, the process proceeds to S102. If there are more than one, the process proceeds to S104.

例えば、図8のように、1001のように電子データが表示されている場合に、利用者が“天気”と発話し、正しく認識した状況を想定する。その場合には、表示中電子データ領域に認識結果と一致する文字列、天気(図8では分かりやすいように破線で囲み、太字表示している)が複数あるので、S104の処理に移る。   For example, as shown in FIG. 8, when electronic data is displayed as in 1001, a situation is assumed in which the user speaks “weather” and correctly recognizes it. In that case, since there are a plurality of character strings and weather (enclosed in broken lines and displayed in bold in FIG. 8 for easy understanding) in the electronic data area being displayed, the process proceeds to S104.

S104では、しおりデータ保存部15が、認識結果と一致する、表示中電子データ領域の文字列が一つに絞れるように、利用者に指示をする。   In S104, the bookmark data storage unit 15 instructs the user so that the character string in the displayed electronic data area that matches the recognition result can be narrowed down to one.

例えば、図11の1001のように電子データが表示されている場合に、利用者が“天気”と発話し、それを正しく認識した状況を想定する。その場合には、“天気”が複数あるので、1005のように、表示中電子データ領域のどの“天気”の文字列位置をしおりデータとして保存したいのかを利用者に聞く。   For example, assume that a user speaks “weather” and correctly recognizes it when electronic data is displayed as 1001 in FIG. In this case, since there are a plurality of “weathers”, the user is asked which character string position of “weather” in the electronic data area being displayed is to be stored as bookmark data, such as 1005.

S105では、S101の音声認識結果が誤っているか否かを判定する。例えば、利用者がS101の音声認識結果が正しいかを確認し、誤認識であった場合には、誤認識キー(画面上のボタンでも良い)を押す。そして、誤認識であった場合には、図10のフローチャートの処理を終える。   In S105, it is determined whether or not the voice recognition result in S101 is incorrect. For example, the user confirms whether or not the voice recognition result in S101 is correct. And when it is misrecognition, the process of the flowchart of FIG. 10 is complete | finished.

S106では、音声認識用辞書作成部13が、音声認識用辞書を制限する。具体的には、表示中電子データ領域の認識結果を含む文のみから、音声認識用辞書を作成する。なぜなら、どの電子データ位置を保存したいかを入力するだけなので、表示中電子データ領域の全単語を認識する必要はないからである。   In S106, the voice recognition dictionary creation unit 13 restricts the voice recognition dictionary. Specifically, a speech recognition dictionary is created from only sentences including the recognition result of the electronic data area being displayed. This is because it is not necessary to recognize all the words in the displayed electronic data area because only the electronic data position to be stored is input.

図11のような状況では、どの“天気”を選択するかを聞き返しているので、次に入力する音声は“天気”を含む文のみを認識すればよい(普通の利用者ならそれ以外のことを答えない)。従って、“天気”を含む文のみの単語から、単語辞書及び言語モデルを作成する。   In the situation shown in FIG. 11, the user selects the “weather” to be selected, so that the next input voice only needs to recognize a sentence including “weather”. Not answer). Therefore, a word dictionary and a language model are created from only words including sentences including “weather”.

音声認識辞書の限定により、認識対象となる語彙を削減できる。従って、認識性能を向上できるとともに、認識に要する計算量を削減できる。   By limiting the speech recognition dictionary, the vocabulary to be recognized can be reduced. Accordingly, recognition performance can be improved and the amount of calculation required for recognition can be reduced.

S107では、利用者が、入力装置2を用いて、表示中電子データ領域の文字列を選択したか否かを判定する。   In S <b> 107, it is determined whether or not the user has selected a character string in the electronic data area being displayed using the input device 2.

S108では、利用者が、さらに、音声を入力したか否かを判定する。この次のS101の音声認識の処理では、S106にて制限した音声認識用辞書を用いる。   In S108, it is determined whether or not the user further inputs a voice. In the next speech recognition processing in S101, the speech recognition dictionary restricted in S106 is used.

S107あるいはS108にて、何も入力が無かった場合には、S102の処理に移る。この場合には、複数の電子データ位置をしおりデータとして保存することになる。
S102では、しおりデータ保存部15が、音声認識結果の文字列にて示される電子データ位置をしおりデータとして保存する。このとき、音声認識結果の文字列自体もしおりデータとして保存しても良い。ただし、しおりデータは、上記に説明したようなものに限定されるのではなく、例えば、表示している電子データの先頭位置及び認識結果文字列から構成しても良い。つまり、しおりデータから、認識結果の文字列に相当する電子データ位置が分かれば良い。
If there is no input in S107 or S108, the process proceeds to S102. In this case, a plurality of electronic data positions are stored as bookmark data.
In S102, the bookmark data storage unit 15 stores the electronic data position indicated by the character string of the voice recognition result as bookmark data. At this time, the character string itself of the voice recognition result may be stored as bookmark data. However, the bookmark data is not limited to that described above, and may be composed of, for example, the start position of the displayed electronic data and the recognition result character string. That is, it is only necessary to know the electronic data position corresponding to the character string of the recognition result from the bookmark data.

このように、しおりデータとして保存する電子データ位置を一つに確定することによって、次回にしおりデータを選択した際に、前回表示していたどの位置まで読んだかが分かりやすくなる。   In this way, by determining the electronic data position to be stored as bookmark data as one, it becomes easy to understand to what position the previous display was read when the bookmark data is selected next time.

(しおり保存時の処理−実施例C)
ここで、図12のフローチャートを用いて、S8のしおりデータ保存の処理の1実施例について詳細な説明を行う。図12の処理は、基本的には図10のフローチャートと同じであるが、図10のS101の音声認識の処理が異なっている。従って、ここでは、図10と異なる、図12のS101A〜S101Dの処理について以下に説明する。尚、S101A〜S101Dの処理は、音声認識部14によって行われる。
(Processing at the time of storing bookmarks-Example C)
Here, with reference to the flowchart of FIG. 12, one embodiment of the bookmark data storage process in S8 will be described in detail. The processing in FIG. 12 is basically the same as the flowchart in FIG. 10, but the speech recognition processing in S101 in FIG. 10 is different. Therefore, here, the processing of S101A to S101D of FIG. 12 which is different from FIG. 10 will be described below. Note that the processing of S101A to S101D is performed by the voice recognition unit 14.

S101Aでは、入力された音声に同期して音声認識を行い、音節(あるいは音素でも良い)単位の途中認識結果を出力する。   In S101A, voice recognition is performed in synchronization with the input voice, and an intermediate recognition result in units of syllables (or phonemes) is output.

S101Bでは、表示中電子データ領域の中に、S101Aにて出力された途中認識結果を含む単語があるか否かを判定する。途中認識結果を含む単語があると判定した場合には、S101Cの処理に移る。   In S101B, it is determined whether or not there is a word including the halfway recognition result output in S101A in the electronic data area being displayed. If it is determined that there is a word including an intermediate recognition result, the process proceeds to S101C.

S101Cでは、S101Bにて該当した途中認識結果を含む単語を強調表示する。
S101Dでは、利用者の音声入力が終了したか否かを判定する。まだ入力中であるなら、S101Aの処理に戻る。
In S101C, the word including the halfway recognition result corresponding to S101B is highlighted.
In S101D, it is determined whether or not the user's voice input is completed. If it is still being input, the process returns to S101A.

図13では、利用者が「天気(てんき)」と発話しようとして、「てん」まで発声した瞬間の例を示す。S101Aにて「て」と「ん」という音節が音声認識され、S101Bにて表示中電子データ領域1011に「てん」という途中認識結果を含む単語があるか否かを判定し、S101Bにて該当した単語が強調表示(四角で囲まれており、フォントが太字になっている)されている。尚、フォントサイズの変更、フォント色の変更、背景色の変更、あるいは、アンダーラインを引くなどの方法によって、該当した単語を他の文字列よりも強調表示しても良い。   FIG. 13 shows an example of a moment when the user utters “Ten” in an attempt to speak “weather”. In S101A, the syllables “te” and “n” are recognized by voice, and in S101B, it is determined whether or not there is a word including the halfway recognition result “ten” in the displayed electronic data area 1011. The highlighted word is highlighted (enclosed in a square and the font is bold). The corresponding word may be highlighted from other character strings by changing the font size, changing the font color, changing the background color, or drawing an underline.

上記のように、音声認識結果を途中出力して、表示中電子データ領域にその認識結果の音節を含む単語がある場合には、その音節を含む単語を強調して表示するので、発話途中においてもしおりデータとして保存する電子データ位置の候補が明確に分かる。   As described above, when the speech recognition result is output halfway and there is a word including the syllable of the recognition result in the displayed electronic data area, the word including the syllable is highlighted and displayed. Candidates for electronic data positions to be stored as cage data are clearly known.

[しおりデータ選択時の動作]
ここでは、図14のフローチャートを用いて、しおりデータ選択時の処理について説明する。ここで説明するしおりデータ選択時の処理は、上述したしおり保存時の処理の実施例A〜Cに対応するものである。
[Operation when bookmark data is selected]
Here, processing when bookmark data is selected will be described with reference to the flowchart of FIG. The process at the time of selecting bookmark data described here corresponds to the above-described embodiments A to C of the process at the time of storing bookmarks.

S501では、しおりデータ選択部16が、表示装置6に表示されている電子データに対応するしおりデータの一覧を表示装置6に表示させる。利用者は、それらの一覧の中から、しおりデータを選択する。   In step S <b> 501, the bookmark data selection unit 16 causes the display device 6 to display a list of bookmark data corresponding to the electronic data displayed on the display device 6. The user selects bookmark data from the list.

例えば、図15のように、しおりデータの一覧を表示装置6に表示させる。ただし、図15は、しおりデータに認識結果を付与していた場合の表示例であり、各しおりデータに対応する認識結果が表示されている。   For example, as shown in FIG. 15, a list of bookmark data is displayed on the display device 6. However, FIG. 15 is a display example when the recognition result is given to the bookmark data, and the recognition result corresponding to each bookmark data is displayed.

この時、しおりデータを選択する方法は、入力装置2あるいは音声入力装置3を用いた形態のどちらでも良い。ただし、選択するしおりデータが多い場合には、何度もキーを押す必要がない音声入力の方が使い勝手が良い。   At this time, the method for selecting bookmark data may be either the input device 2 or the voice input device 3. However, if there is a large amount of bookmark data to be selected, voice input that does not require repeated key presses is more convenient.

S502では、位置特定用表示データ作成部17が、S501にて利用者が選択したしおりデータに対応付けられている電子データ位置が単数か否かを判定する。単数の電子データ位置が対応付けられている場合には、S503の処理に移る。そうでない場合には、S504の処理に移る。   In S502, the position specifying display data creating unit 17 determines whether or not the electronic data position associated with the bookmark data selected by the user in S501 is single. If a single electronic data position is associated, the process proceeds to S503. Otherwise, the process proceeds to S504.

S503では、位置特定用表示データ作成部17が、しおりデータが示す電子データ位置の近傍から、電子データを表示する。   In S503, the position specifying display data creating unit 17 displays electronic data from the vicinity of the electronic data position indicated by the bookmark data.

図16では、しおりデータが示す電子データ位置1101から、電子データが表示されている。図16は、図14のS501において、図15に示したしおりデータの一覧より上から3番目の「台風」が選択された場合を示している。また、図示していないが、太字、アンダーライン、フォント変更あるいは色反転表示などを用いて、しおりデータが示す電子データ位置からの1文を強調しても良い。尚、1文を全て強調する必要はなく、データ位置のみ強調するだけでも良い。   In FIG. 16, electronic data is displayed from the electronic data position 1101 indicated by the bookmark data. FIG. 16 illustrates a case where the third “typhoon” from the top of the bookmark data list illustrated in FIG. 15 is selected in S501 of FIG. Although not shown, one sentence from the electronic data position indicated by the bookmark data may be emphasized by using bold, underline, font change or color reversal display. Note that it is not necessary to emphasize all the sentences, and only the data position may be emphasized.

S504では、位置特定用表示データ作成部17が、しおりデータが示す複数の電子データ位置を表示する。以下に、S504の具体的な実施例を2つ示す。   In S504, the position specifying display data creating unit 17 displays a plurality of electronic data positions indicated by the bookmark data. Two specific examples of S504 are shown below.

図17は、しおりデータ保存時に、利用者が発話した単語あるいは単語列を“天気”と認識し、そのデータ位置を保存した場合の、S504の処理の1例を示すものである。図17では、しおりデータが示す電子データ位置の複数が表示されており、利用者は所望の電子データ位置を選択する。   FIG. 17 shows an example of the processing in S504 when the word or word string spoken by the user is recognized as “weather” and the data position is saved when the bookmark data is saved. In FIG. 17, a plurality of electronic data positions indicated by the bookmark data are displayed, and the user selects a desired electronic data position.

図18は、しおりデータ保存時に、利用者が発話した単語あるいは単語列を“天気”と認識し、そのデータ位置を保存した場合の、S504の処理における他の1例を示すものである。図18では、しおりデータが示す電子データ位置を含む文が、一定の長さ(この例では1行に表示できる長さ)に整形され、リスト表示されている。このように、各電子データ位置を含む文を抽出し、それらの文をリスト表示しているので、利用者はしおりデータ保存時に保存した電子データ位置を簡単に選択することができる。また、携帯電話など表示できる文字量が小さな画面では、図18のような表示は全体の文章が把握しやすいので使い勝手が良い。   FIG. 18 shows another example in the processing of S504 when the word or word string spoken by the user is recognized as “weather” and the data position is saved when the bookmark data is saved. In FIG. 18, a sentence including the electronic data position indicated by the bookmark data is shaped into a fixed length (in this example, a length that can be displayed in one line) and displayed in a list. As described above, since the sentences including the respective electronic data positions are extracted and displayed in a list, the user can easily select the electronic data positions stored when the bookmark data is stored. On the screen with a small amount of characters that can be displayed, such as a mobile phone, the display as shown in FIG. 18 is easy to use because the entire text is easy to grasp.

尚、図19のように、しおりデータの電子データ位置より少し前から各々を表示しても良い。このように、少し前から表示すると、保存した位置の文の意味が把握し易い。さらに、音声認識結果をしおりデータとして保存していた場合には、太字、アンダーライン、フォント変更あるいは色反転表示などを用いて、その認識結果に相当する文字列を他の文字列よりも強調して表示しても良い。キーワード単語を強調表示することによって、前回読んでいた位置が分かりやすい。   As shown in FIG. 19, each of the bookmark data may be displayed slightly before the electronic data position. In this way, when displayed for a while, it is easy to grasp the meaning of the sentence at the saved position. Furthermore, when the speech recognition result is saved as bookmark data, the character string corresponding to the recognition result is emphasized over other character strings by using bold, underline, font change or color reversal display. May be displayed. By highlighting the keyword word, the position read last time is easy to understand.

そして、リストの1要素が選択されると、選択された文のデータ位置から電子データを表示する。   When one element of the list is selected, electronic data is displayed from the data position of the selected sentence.

[ソフトウェアでの実施例]
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、他のシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータCPUが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
[Examples in software]
An object of the present invention is to supply a recording medium that records a program code of software that realizes the functions of the above-described embodiments to another system or apparatus, and the computer CPU of the system or apparatus is stored in the recording medium. Needless to say, this can also be achieved by reading and executing the program code.

この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。   In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード、等を用いることができる。   As a recording medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a magnetic tape, a nonvolatile memory card, and the like can be used.

また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから記録装置等へダウンロードされるものであってもよい。   The program code may be downloaded from another computer system to a recording device or the like via a transmission medium such as a communication network.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program code read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU of the expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。   When the present invention is applied to the recording medium, the recording medium stores program codes corresponding to the flowcharts described above.

[サーバ・クライアントシステムでの実施例1]
ここでは、図20を用いて、本発明の情報閲覧システムにおける、クライアントとしての複数の端末装置とサーバ装置から構成されるサーバ・クライアントシステムの1実施形態について説明する。
[Embodiment 1 in Server / Client System]
Here, an embodiment of a server / client system including a plurality of terminal devices as clients and a server device in the information browsing system of the present invention will be described with reference to FIG.

図20の情報閲覧システムでは、公衆回線やネットワークケーブルなどの通信回線99を介して、端末装置T1とサーバ装置100によって構成される。   The information browsing system shown in FIG. 20 includes a terminal device T1 and a server device 100 via a communication line 99 such as a public line or a network cable.

まず、端末装置T1について説明を行う。端末装置T1は、図2によるハードウェア構成にて実現される。そして、端末装置T1は、手動入力部としての入力装置2、音声入力部としての音声入力装置3(音声入力手段)、表示部としての表示装置6(表示手段)、データ送受信部としての通信装置7、電子データ選択部10A(電子データ受信手段)、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書作成部13(音声認識手段)、音声認識部14(音声認識手段)、しおりデータ保存指示部15A(しおりデータ保存指示手段)、しおりデータ選択部16A、位置特定用表示データ作成部17及びログイン部18(ログイン手段)から構成される。   First, the terminal device T1 will be described. The terminal device T1 is realized by the hardware configuration shown in FIG. The terminal device T1 includes an input device 2 as a manual input unit, a voice input device 3 (speech input unit) as a voice input unit, a display device 6 (display unit) as a display unit, and a communication device as a data transmission / reception unit. 7. Electronic data selection section 10A (electronic data receiving means), scroll control section 11, electronic data display data creation section 12, voice recognition dictionary creation section 13 (voice recognition means), voice recognition section 14 (voice recognition means) The bookmark data storage instruction unit 15A (bookmark data storage instruction unit), the bookmark data selection unit 16A, the position specifying display data creation unit 17 and the login unit 18 (login unit).

ログイン部18は、サーバ装置100の記憶装置104に記憶されている電子データ及びしおりデータにアクセスする権限を得るためのユーザ認証を受付け、サーバ装置100のユーザ認証部111に問い合わせる。具体的には、ユーザID及びパスワードの受付を行い、それらをサーバ装置100に送信する。後述するユーザ認証部111にて認証された(アクセス権限を得た)ユーザのみがサーバ装置100の記憶装置104の電子データの閲覧及びそのしおりデータ保存が可能となる。   The login unit 18 accepts user authentication for obtaining authority to access electronic data and bookmark data stored in the storage device 104 of the server device 100 and inquires of the user authentication unit 111 of the server device 100. Specifically, the user ID and password are received and transmitted to the server apparatus 100. Only a user who has been authenticated by the user authentication unit 111 (to be accessed) (to be described later) can view electronic data in the storage device 104 of the server device 100 and store bookmark data thereof.

ログイン部18にてアクセス権限を得た後に、電子データ選択部10Aは、通信回線99を介して、サーバ装置100の記憶装置104に記憶されている電子データの一覧(例えば電子データの題名など)を受信し、それらを表示装置6に表示させると共に、利用者が入力装置2あるいは音声入力装置3を用いて選択した電子データを自端末装置T1の記憶装置4のワークエリアに展開する。   After obtaining the access authority at the login unit 18, the electronic data selection unit 10 </ b> A lists electronic data stored in the storage device 104 of the server device 100 via the communication line 99 (for example, the title of electronic data). Are displayed on the display device 6 and the electronic data selected by the user using the input device 2 or the voice input device 3 is developed in the work area of the storage device 4 of the terminal device T1.

しおりデータ保存指示部15Aは、利用者の入力装置2あるいは音声入力装置3からの入力に応じて、現在表示されている電子データのしおりデータをサーバ装置100の記憶装置104に保存するように指示をする。このとき、しおりデータとユーザIDを関連付け、それらデータが記憶装置104に保存される。また、サーバ装置100のユーザ認証部111が、保存したしおりデータと関連付けられたユーザIDを持つ者のみをそのしおりデータへのアクセス権限をもつように制限する。しおりデータの保存処理は、保存する場所がサーバ装置100の記憶装置104である以外は、上述した実施例と同じ処理である。   The bookmark data saving instruction unit 15A instructs to save the bookmark data of the electronic data currently displayed in the storage device 104 of the server device 100 in response to an input from the user input device 2 or the voice input device 3. do. At this time, the bookmark data is associated with the user ID, and the data is stored in the storage device 104. In addition, the user authentication unit 111 of the server apparatus 100 restricts only a person having a user ID associated with the stored bookmark data so as to have access authority to the bookmark data. The bookmark data saving process is the same as the above-described embodiment except that the storage location is the storage device 104 of the server apparatus 100.

しおりデータ選択部16Aは、表示装置6に表示されている電子データに関連し、かつ、現在ログインしているユーザIDに関連付けられている、しおりデータが存在する場合(サーバ装置100の記憶装置104に記憶されている場合)には、それらしおりデータの一覧を表示装置6に表示させると共に、利用者が入力装置2あるいは音声入力装置3を用いて選択したしおりデータの内容を記憶装置4のワークエリアへ展開する。また、対応するしおりデータが無い場合には、しおりデータが無いことを利用者に通知する。   The bookmark data selection unit 16 </ b> A is associated with the electronic data displayed on the display device 6 and when there is bookmark data associated with the currently logged-in user ID (the storage device 104 of the server device 100). The list of the bookmark data is displayed on the display device 6 and the contents of the bookmark data selected by the user using the input device 2 or the voice input device 3 are displayed on the work of the storage device 4. Expand to the area. If there is no corresponding bookmark data, the user is notified that there is no bookmark data.

端末装置T1の上記以外の機能部は、図1の機能部とほぼ同じ機能を実行する。   Functional units other than those described above of the terminal device T1 perform substantially the same functions as the functional units of FIG.

次に、サーバ装置100について説明する。サーバ装置のハードウェアは、記憶装置104(記憶手段、ユーザ管理データ記憶手段、端末装置指示データ記憶手段)、通信装置107及び制御装置101によって構成される。   Next, the server apparatus 100 will be described. The hardware of the server device includes a storage device 104 (storage means, user management data storage means, terminal device instruction data storage means), a communication device 107, and a control device 101.

制御装置101は、プリプロセッサやメモリなどにより構成され、例えば記憶装置104が記憶している制御プログラムに従って動作する。さらに具体的には、後述するユーザ認証部111(ユーザ認証手段)及び電子データ送信部110(電子データ送信手段)を構成し、それらによる処理結果を記憶装置104に保存するとともに、記憶装置104が記憶しているデータを通信装置107に出力する。   The control device 101 includes a preprocessor and a memory, and operates according to a control program stored in the storage device 104, for example. More specifically, a user authentication unit 111 (user authentication unit) and an electronic data transmission unit 110 (electronic data transmission unit), which will be described later, are configured, and processing results thereof are stored in the storage device 104. The stored data is output to the communication device 107.

記憶装置104は、RAMあるいはROMなどによって構成され、一時データ及び処理データを保存するためのワークエリア、テキスト、画像データあるいは音声データなどから構成される電子データ及びそれに関連付けられたしおりデータを記憶している。また、記憶装置104は、ユーザIDとそのユーザIDに対応したパスワードを記述したユーザ管理データを記憶している。   The storage device 104 includes a RAM or a ROM, and stores electronic data including bookmarks associated with the work area, text, image data, audio data, and the like for storing temporary data and processing data. ing. The storage device 104 stores user management data describing a user ID and a password corresponding to the user ID.

通信装置107は、ネットワークインタフェースカードなどにより構成され、ネットワークケーブルなどを介して接続された端末装置T1とデータの送受信を行う。   The communication device 107 is configured by a network interface card or the like, and transmits / receives data to / from the terminal device T1 connected via a network cable or the like.

ユーザ認証部111は、制御装置101及び制御装置101が実行するプログラムによって構成され、端末装置T1から送信されたユーザID及びパスワードが記憶装置104のユーザ管理データに登録されているか否かを判定する。そして、その送信されたユーザID及びパスワードがユーザ管理データに登録されていると判定した場合には、そのユーザ(ユーザIDを送信した端末装置を使用しているユーザ)に、記憶装置104の電子データ及びそのユーザのしおりデータ(送信されたユーザIDと関連付けられたしおりデータ)へのアクセス権限を与える。一方、上記ユーザID及びパスワードが登録されていない場合には、「登録されていない」ことをユーザに通知する。   The user authentication unit 111 is configured by the control device 101 and a program executed by the control device 101, and determines whether or not the user ID and password transmitted from the terminal device T1 are registered in the user management data of the storage device 104. . If it is determined that the transmitted user ID and password are registered in the user management data, the user (the user who uses the terminal device that transmitted the user ID) is notified to the electronic device of the storage device 104. Access authority to the data and bookmark data of the user (bookmark data associated with the transmitted user ID) is given. On the other hand, if the user ID and password are not registered, the user is informed that “not registered”.

電子データ送信部110は、端末装置T1の電子データの閲覧操作指示に従って、ユーザ認証部111にて認証したユーザのみに対して電子データあるいはしおりデータを送信する。尚、ユーザ認証部111にて認証されていないユーザに対しては何も送信しない。   The electronic data transmission unit 110 transmits the electronic data or bookmark data only to the user authenticated by the user authentication unit 111 in accordance with the electronic data browsing operation instruction of the terminal device T1. Note that nothing is transmitted to a user who is not authenticated by the user authentication unit 111.

また、サーバ装置100の記憶装置104にしおりデータを記憶するのではなく、しおりデータと電子データを関連付けておけば、端末装置T1の記憶装置4にしおりデータを記憶しても良い。   Further, instead of storing bookmark data in the storage device 104 of the server device 100, bookmark data may be stored in the storage device 4 of the terminal device T1 as long as bookmark data and electronic data are associated with each other.

また、上記の説明では端末装置T1とサーバ装置100が一対一対応の場合について説明したが、勿論、図21のように複数の端末装置T1〜Tnに対してサーバ装置100が対応する構成も可能である。   In the above description, the terminal device T1 and the server device 100 have a one-to-one correspondence. However, as a matter of course, a configuration in which the server device 100 corresponds to a plurality of terminal devices T1 to Tn as shown in FIG. It is.

以上のサーバ・クライアントシステムの実施形態によれば、電子データ及びそのしおりデータをサーバ側にて一元的に管理できる。つまり、電子データの不正な複製などを制限することができる。また、所定の料金を支払ったユーザに対して一定期間有効なユーザID及びパスワードを発行するといったような、レンタルサービスを実現することも可能である。   According to the embodiment of the server / client system described above, electronic data and bookmark data can be centrally managed on the server side. That is, unauthorized duplication of electronic data can be restricted. It is also possible to realize a rental service such as issuing a user ID and password valid for a certain period to a user who has paid a predetermined fee.

[サーバ・クライアントシステムでの実施例2]
ここでは、図22を用いて、本発明の情報閲覧システムにおける、クライアントとしての複数の端末装置とサーバ装置から構成されるサーバ・クライアントシステムの他の実施形態について説明する。
[Embodiment 2 in Server / Client System]
Here, with reference to FIG. 22, another embodiment of a server / client system including a plurality of terminal devices and server devices as clients in the information browsing system of the present invention will be described.

上記の実施例では、情報閲覧装置(端末装置)の表示中電子データ領域が更新される毎に、情報閲覧装置の音声認識用辞書作成部13が音声認識用辞書を作成している。そのため、情報閲覧装置の制御装置に負担がかかる。   In the above embodiment, every time the electronic data area being displayed on the information browsing device (terminal device) is updated, the speech recognition dictionary creating unit 13 of the information browsing device creates a speech recognition dictionary. This places a burden on the control device of the information browsing device.

一般に、サーバ・クライアントシステムでは、サーバ装置は高性能な装置を用い構成する。従って、システム全体として考えると、サーバ装置100に音声認識用辞書作成部113を備える方が良い。以下では、その場合における実施例(図20と異なる機能部のみ)を説明する。   In general, in a server / client system, a server device is configured using a high-performance device. Therefore, considering the entire system, it is better to provide the server device 100 with the speech recognition dictionary creation unit 113. Hereinafter, an example in this case (only functional units different from those in FIG. 20) will be described.

図22の端末装置T1は、手動入力部としての入力装置2、音声入力部としての音声入力装置3(音声入力手段)、表示部としての表示装置6(表示手段)、データ送受信部としての通信装置7、電子データ選択部10B(電子データ受信手段)、スクロール制御部11、電子データ用表示データ作成部12、音声認識用辞書制限部13B(音声認識手段)、音声認識部14(音声認識手段)、しおりデータ保存指示部15A(しおりデータ保存指示手段)、しおりデータ選択部16A、位置特定用表示データ作成部17及びログイン部18(ログイン手段)から構成される。   22 includes an input device 2 as a manual input unit, a voice input device 3 (speech input unit) as a voice input unit, a display device 6 (display unit) as a display unit, and a communication as a data transmission / reception unit. Device 7, electronic data selection unit 10B (electronic data receiving unit), scroll control unit 11, electronic data display data creation unit 12, voice recognition dictionary restriction unit 13B (voice recognition unit), voice recognition unit 14 (voice recognition unit) ), A bookmark data storage instruction unit 15A (bookmark data storage instruction unit), a bookmark data selection unit 16A, a position specifying display data creation unit 17 and a login unit 18 (login unit).

図22のサーバ装置100は、ユーザ認証部111(ユーザ認証手段)、電子データ送信部110B(電子データ送信手段)及び音声認識用辞書作成部113(音声認識手段)を構成し、それらによる処理結果を記憶装置104に保存するとともに、記憶装置104が記憶しているデータを通信装置107に出力する。   22 constitutes a user authentication unit 111 (user authentication unit), an electronic data transmission unit 110B (electronic data transmission unit), and a voice recognition dictionary creation unit 113 (voice recognition unit), and processing results thereof. Is stored in the storage device 104, and data stored in the storage device 104 is output to the communication device 107.

音声認識用辞書作成部113は、記憶装置104に記憶されている電子データに対応した音声認識用辞書を作成する。この場合では、音声認識用辞書を一度だけ作成すれば良いので、電子データの表示が切替わる毎に、音声認識用辞書を作成する必要が無い。   The voice recognition dictionary creation unit 113 creates a voice recognition dictionary corresponding to the electronic data stored in the storage device 104. In this case, since the speech recognition dictionary only needs to be created once, it is not necessary to create the speech recognition dictionary each time the display of electronic data is switched.

また、電子データのページ、章あるいは、XMLの特定タグ毎など、細かい単位で音声認識用辞書を分割しておくと、後述する音声認識用辞書制限部13Bの処理を軽減することができる。図23では、電子データ2000において、ページ毎に音声認識用辞書2001〜200nを作成している。   In addition, if the speech recognition dictionary is divided into fine units such as electronic data pages, chapters, or XML specific tags, the processing of the speech recognition dictionary restriction unit 13B described later can be reduced. In FIG. 23, in the electronic data 2000, voice recognition dictionaries 2001-200n are created for each page.

電子データ送信部110Bは、端末装置T1の電子データの閲覧操作指示に従って、ユーザ認証部111にて認証したユーザのみに対して電子データ及びその電子データに対応した音声認識用辞書、あるいは、しおりデータを端末装置T1へ送信する。尚、ユーザ認証部111にて認証されていないユーザに対しては何も送信しない。   The electronic data transmission unit 110B provides electronic data and a voice recognition dictionary or bookmark data corresponding to the electronic data to only the user authenticated by the user authentication unit 111 in accordance with the electronic data browsing operation instruction of the terminal device T1. Is transmitted to the terminal device T1. Note that nothing is transmitted to a user who is not authenticated by the user authentication unit 111.

電子データ選択部10Bは、通信回線99を介して、(サーバ装置100の記憶装置104に記憶されている)電子データの一覧(例えば電子データの題名など)を受信し、それらを表示装置6に表示させると共に、入力装置2あるいは音声入力装置3を用いて選択された電子データを自端末装置T1の記憶装置4のワークエリアに展開する。その際に、その電子データに対応した音声認識辞書を受信し、それを記憶装置4に保存する。   The electronic data selection unit 10B receives a list of electronic data (stored in the storage device 104 of the server device 100) (for example, the title of the electronic data) via the communication line 99 and sends them to the display device 6. At the same time, the electronic data selected using the input device 2 or the voice input device 3 is developed in the work area of the storage device 4 of the terminal device T1. At that time, the voice recognition dictionary corresponding to the electronic data is received and stored in the storage device 4.

音声認識用辞書制限部13Bは、表示中電子データ領域に従い、受信した音声認識用辞書の語彙を適宜制限する。具体的には、サーバ装置100から受信した音声認識用辞書の単語及び単語列を、さらに表示中電子データ領域のものに限定する。尚、音声認識用辞書を(図23のようにページ単位毎に)分割している場合には、ページが切替わる毎に音声認識用辞書を切替えるだけで済む。   The speech recognition dictionary restriction unit 13B appropriately restricts the vocabulary of the received speech recognition dictionary according to the electronic data area being displayed. Specifically, the words and word strings in the speech recognition dictionary received from the server device 100 are further limited to those in the electronic data area being displayed. If the speech recognition dictionary is divided (for each page as shown in FIG. 23), it is only necessary to switch the speech recognition dictionary each time the page is switched.

上記のように、サーバ装置100にて各電子データに対応した音声認識用辞書を予め作成し、それを端末装置T1に送信することによって、端末装置T1の処理を軽減することができる。音声認識用辞書制限部13Bは、サーバ装置から受信した音声認識用辞書の単語を制限(あるいは、音声認識用辞書の一部分を抽出)するだけであり、音声認識用辞書を作成する処理よりも計算量はずっと小さい。   As described above, by creating a speech recognition dictionary corresponding to each electronic data in the server device 100 in advance and transmitting it to the terminal device T1, the processing of the terminal device T1 can be reduced. The speech recognition dictionary restriction unit 13B only restricts the words of the speech recognition dictionary received from the server device (or extracts a part of the speech recognition dictionary), and performs calculation more than the process of creating the speech recognition dictionary. The amount is much smaller.

また、音声認識用辞書を、電子データのページ、章あるいは、XMLの特定タグ毎など、細かい単位で分割しておくと、音声認識用辞書制限部13Bは表示に応じて音声認識用辞書を切替えるだけで良いので、さらに処理を軽減することができる。   When the speech recognition dictionary is divided into fine units such as electronic data pages, chapters, or XML specific tags, the speech recognition dictionary restriction unit 13B switches the speech recognition dictionary according to the display. Since it is sufficient, processing can be further reduced.

以上のように、本発明の情報閲覧装置では、入力された音声を認識し、その認識結果と一致する文字列のデータ位置をしおりデータとして保存するので、利用者が手動で電子データ位置を指定する手間がなくなる。   As described above, in the information browsing apparatus of the present invention, the input voice is recognized, and the data position of the character string that matches the recognition result is stored as bookmark data, so the user manually specifies the electronic data position. There is no need to do.

また、しおり保存時に、現在表示されている電子データから、音声認識の対象となる単語及び単語列を定義することによって認識性能を上げることができ、さらに余分な計算量を削減できる。   Also, when storing bookmarks, recognition performance can be improved by defining words and word strings that are subject to speech recognition from the currently displayed electronic data, and the amount of extra computation can be reduced.

また、あらかじめ漢字に付与された読み仮名を音声認識の対象となる単語として登録し、読み仮名が付与されていない単語は未知語として登録するので、多大なマシンパワーが必要な形態素解析を用いなくても良い。   In addition, reading kana given to kanji in advance is registered as a word for speech recognition, and words without reading kana are registered as unknown words, so morphological analysis that requires great machine power is not used May be.

また、しおりデータとして保存する電子データ位置を一つに確定することによって、次回にしおりデータを選択した際に、前回表示していたどの位置まで読んだかが分かりやすくなる。   In addition, by confirming the electronic data position to be stored as bookmark data to one, it becomes easy to understand to what position the previous display was read when the bookmark data is selected next time.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。   The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.

本発明は、以上の実施の形態において説明したような電子書籍の閲覧に加えて、例えばHTMLファイルの閲覧などテキストを含む情報を閲覧する装置及びシステムに適用可能である。   The present invention can be applied to an apparatus and a system for browsing information including text, such as browsing an HTML file, in addition to browsing an electronic book as described in the above embodiment.

本発明の実施の一形態の情報閲覧装置を示すものであって、情報閲覧装置の機能的な構成を示すブロック図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a block diagram which shows the information browsing apparatus of one Embodiment of this invention, Comprising: It is a functional block diagram of an information browsing apparatus. 図1の情報閲覧装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the information browsing apparatus of FIG. 図1に示した情報閲覧装置におけるしおりデータ保存時の動作の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of operation | movement at the time of bookmark data preservation | save in the information browsing apparatus shown in FIG. 図1に示した表示装置での表示中電子データ領域から、音声認識用辞書(単語辞書及び言語モデル)を作成する1実施例を説明するための図であり、図4(a)は表示装置に表示されている文データを示し、図4(b)は単語辞書を示し、図4(c)は言語モデルを示す。FIG. 4 is a diagram for explaining one embodiment for creating a speech recognition dictionary (a word dictionary and a language model) from the electronic data area being displayed on the display device shown in FIG. 1, and FIG. 4 (b) shows a word dictionary, and FIG. 4 (c) shows a language model. 図1に示した表示装置での表示中電子データ領域から、音声認識用辞書(単語辞書及び言語モデル)を作成する他の実施例を説明するための図であり、図5(a)は表示装置に表示されているルビ文字付の文データを示し、図5(b)は単語辞書を示し、図5(c)は言語モデルを示す。FIG. 5 is a diagram for explaining another embodiment for creating a speech recognition dictionary (a word dictionary and a language model) from the electronic data area being displayed on the display device shown in FIG. 1, and FIG. FIG. 5B shows a word dictionary and FIG. 5C shows a language model. FIG. 5B shows sentence data with ruby characters displayed on the apparatus. 同じしおりデータを用いて、異なる情報閲覧装置間にて同じ内容の電子データを閲覧する場合の動作を説明する図である。It is a figure explaining operation | movement in the case of browsing the electronic data of the same content between different information browsing apparatuses using the same bookmark data. しおりデータ保存時の図3におけるS8の処理の一例を詳細に示したフローチャートである。It is the flowchart which showed in detail the example of the process of S8 in FIG. 3 at the time of bookmark data preservation | save. 図1に示した情報閲覧装置でのしおりデータ保存の処理を説明するものであって、図7のS101の処理に対応した表示装置での表示状態を示す説明図である。FIG. 8 is a diagram illustrating bookmark data storage processing in the information browsing apparatus illustrated in FIG. 1, and is an explanatory diagram illustrating a display state on the display device corresponding to the processing in S <b> 101 of FIG. 7. 図1に示した情報閲覧装置でのしおりデータ保存の処理を説明するものであって、図7のS101の処理に対応した表示装置での表示状態の他の例を示す説明図である。FIG. 9 is a diagram illustrating bookmark data storage processing in the information browsing apparatus illustrated in FIG. 1, and is an explanatory diagram illustrating another example of a display state on the display device corresponding to the process of S <b> 101 in FIG. 7. しおりデータ保存時の図3におけるS8の処理の他の例を詳細に示したフローチャートである。It is the flowchart which showed in detail the other example of the process of S8 in FIG. 3 at the time of bookmark data preservation | save. 図10のS104の処理に対応した表示装置での表示状態を示す説明図である。It is explanatory drawing which shows the display state with the display apparatus corresponding to the process of S104 of FIG. しおりデータ保存時の図3におけるS8の処理のさらに他の例を詳細に示したフローチャートである。It is the flowchart which showed in detail the further another example of the process of S8 in FIG. 3 at the time of bookmark data preservation | save. 図12の処理に対応した表示装置での表示状態を示す説明図である。It is explanatory drawing which shows the display state with the display apparatus corresponding to the process of FIG. 図1に示した情報閲覧装置でのしおりデータ選択時の動作を示すフローチャートである。It is a flowchart which shows the operation | movement at the time of the bookmark data selection in the information browsing apparatus shown in FIG. 図14のS501の処理に対応した表示装置での表示状態を示す説明図である。It is explanatory drawing which shows the display state with the display apparatus corresponding to the process of S501 of FIG. 図14のS503の処理に対応した表示装置での表示状態の他の例示す説明図である。It is explanatory drawing which shows the other example of the display state with the display apparatus corresponding to the process of S503 of FIG. しおりデータ保存時に“天気”と認識し、それに対応するデータ位置を保存した場合の、図14のS504の処理に対応した表示装置での表示状態を示す説明図である。FIG. 15 is an explanatory diagram showing a display state on a display device corresponding to the process of S504 in FIG. 14 when “weather” is recognized when bookmark data is saved and a corresponding data position is saved. しおりデータ保存時に“天気”と認識し、それに対応するデータ位置を保存した場合の、図14のS504の処理に対応した表示装置での表示状態の他の例を示す説明図である。FIG. 15 is an explanatory diagram illustrating another example of a display state on the display device corresponding to the process of S504 in FIG. 14 when “weather” is recognized when bookmark data is stored and the corresponding data position is stored. しおりデータ保存時に“天気”と認識し、それに対応するデータ位置を保存した場合の、図14のS504の処理に対応した表示装置での表示状態のさらに他の例を示す説明図である。FIG. 15 is an explanatory diagram showing still another example of the display state on the display device corresponding to the process of S504 in FIG. 14 when “weather” is recognized when bookmark data is stored and the corresponding data position is stored. 本発明の実施の他の形態の情報閲覧システムを示すものであって、情報閲覧システムの機能構成を示すブロック図である。It is an information browsing system of the other form of implementation of this invention, Comprising: It is a block diagram which shows the function structure of an information browsing system. 図20に示した端末装置を複数台備えた情報閲覧システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information browsing system provided with two or more terminal devices shown in FIG. 本発明の実施のさらに他の形態の情報閲覧システムを示すものであって、情報閲覧システムの構成を示すブロック図である。It is a block diagram which shows the information browsing system of other form of implementation of this invention, Comprising: It is a block diagram which shows the structure of an information browsing system. 図22のサーバ装置での音声認識用辞書の作成動作を説明するための図である。It is a figure for demonstrating the creation operation | movement of the dictionary for speech recognition in the server apparatus of FIG. 従来の技術を示すものであって、カーソルキーを用いて電子データ位置を指定し、その位置をしおりデータとして保存する処理の説明図である。FIG. 10 is a diagram illustrating a conventional technique, in which an electronic data position is designated using a cursor key, and the position is stored as bookmark data.

符号の説明Explanation of symbols

1 制御装置
2 入力装置
3 音声入力装置(音声入力手段)
4 記憶装置(記憶手段)
5 外部記憶媒体読書き装置
6 表示装置
7 通信装置
8 バス
10 電子データ選択部
11 スクロール制御部
12 電子データ用表示データ作成部(表示手段)
13 音声認識用辞書作成部(音声認識手段)
14 音声認識部(音声認識手段)
15 しおりデータ保存部(しおりデータ作成手段)
16 しおりデータ選択部(しおりデータ選択手段)
17 位置特定用表示データ作成部(位置特定用表示制御手段)
DESCRIPTION OF SYMBOLS 1 Control apparatus 2 Input device 3 Voice input device (voice input means)
4. Storage device (storage means)
5 External storage medium read / write device 6 Display device 7 Communication device 8 Bus 10 Electronic data selection unit 11 Scroll control unit 12 Electronic data display data creation unit (display means)
13 Voice recognition dictionary creation unit (voice recognition means)
14 Voice recognition unit (voice recognition means)
15 Bookmark data storage (bookmark data creation means)
16 Bookmark data selection part (bookmark data selection means)
17 Position specifying display data creation unit (position specifying display control means)

Claims (11)

電子データを記憶する記憶手段と、
前記記憶手段に記憶されている、テキストデータを含む電子データを表示する表示手段と、
前記電子データにおけるデータ位置を特定するためのしおりデータを設定するしおりデータ設定手段とを備えている情報閲覧装置において、
上記しおりデータ設定手段は、
音声による入力を行う音声入力手段と、
前記音声入力手段から入力された音声を認識する音声認識手段と、
前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、前記記憶手段に記憶させるしおりデータ作成手段とを備えていることを特徴とする情報閲覧装置。
Storage means for storing electronic data;
Display means for displaying electronic data including text data stored in the storage means;
In an information browsing apparatus comprising bookmark data setting means for setting bookmark data for specifying a data position in the electronic data,
The bookmark data setting means is
Voice input means for inputting by voice;
Voice recognition means for recognizing voice input from the voice input means;
Bookmark data that specifies the data position of a character string that matches the recognition result by the speech recognition means among the text data of the portion displayed on the display means in the electronic data, and stores the bookmark data in the storage means An information browsing device comprising data creating means.
前記音声認識手段は、前記表示手段に表示されているテキストデータの単語を音声認識対象の単語と定義し、かつ前記表示手段に表示されているテキストデータの文を音声認識対象となる単語列と定義した音声認識用辞書を作成し、この音声認識用辞書に基づいて音声認識を行うことを特徴とする請求項1に記載の情報閲覧装置。   The speech recognition means defines words of text data displayed on the display means as words for speech recognition, and a sentence of text data displayed on the display means as a word string to be speech recognition targets. The information browsing apparatus according to claim 1, wherein a defined speech recognition dictionary is created, and speech recognition is performed based on the speech recognition dictionary. 前記しおりデータ作成手段は、前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列が複数存在する場合に、それら文字列のうちの何れかの選択を促す表示を前記表示手段に行わせ、複数の文字列のうちの何れかを選択する入力に基づいて、選択された文字列のデータ位置を特定するしおりデータを作成することを特徴とする請求項1に記載の情報閲覧装置。   The bookmark data creation means includes a plurality of character strings that match the recognition result by the voice recognition means among the text data of the portion displayed on the display means in the electronic data. Generating a bookmark data for specifying the data position of the selected character string based on an input for selecting any one of the plurality of character strings. The information browsing apparatus according to claim 1. 前記音声認識手段が使用する音声認識用辞書を作成する音声認識用辞書作成手段を備え、この音声認識用辞書作成手段は、前記音声認識手段による認識結果と一致する文字列が複数存在する場合に、第1の音声認識用辞書に対して、複数存在する前記文字列を含む文の単語及び単語列に限定された第2の音声認識用辞書を作成し、前記音声認識手段は、この第2の音声認識用辞書に基づいて複数の文字列のうちの何れかを選択するために入力された音声を認識し、その認識結果と一致した文字列のデータ位置を特定するしおりデータを作成することを特徴とする請求項3に記載の情報閲覧装置。   A speech recognition dictionary creating means for creating a speech recognition dictionary used by the speech recognition means; the speech recognition dictionary creating means is provided when there are a plurality of character strings that match the recognition result by the speech recognition means; Then, a second speech recognition dictionary limited to words and word strings including a plurality of the character strings is created for the first speech recognition dictionary, and the speech recognition means Recognize the input voice to select any of a plurality of character strings based on the voice recognition dictionary, and create bookmark data that identifies the data position of the character string that matches the recognition result The information browsing apparatus according to claim 3. 前記音声認識手段は、音節あるいは音素からなる単位音毎に音声認識結果を途中出力し、その単位音を含む単語を他の語と異なる表示形態にて前記表示手段に表示させる表示制御手段を備えていることを特徴とする請求項1に記載の情報閲覧装置。   The speech recognition means includes a display control means for outputting a speech recognition result for each unit sound composed of syllables or phonemes and causing the display means to display a word including the unit sound in a display form different from other words. The information browsing apparatus according to claim 1, wherein: 前記しおり作成手段によって作成されたしおりデータを選択するしおりデータ選択手段と、
前記選択されたしおりデータが示す電子データ位置が複数ある場合には、それら電子データ位置の各々を含む文を取得し、それらの文を特定の長さに整形し、それら整形した文を前記表示手段に一覧表示させる位置特定用表示制御手段とを備えていることを特徴とする請求項1に記載の情報閲覧装置。
Bookmark data selection means for selecting bookmark data created by the bookmark creation means;
When there are a plurality of electronic data positions indicated by the selected bookmark data, a sentence including each of the electronic data positions is acquired, the sentences are shaped to a specific length, and the formatted sentences are displayed. The information browsing apparatus according to claim 1, further comprising: a position specifying display control unit that causes the unit to display a list.
請求項1から6の何れか1項に記載の情報閲覧装置を動作させる情報閲覧プログラムであって、コンピュータを上記の各手段として機能させるための情報閲覧プログラム。   An information browsing program for operating the information browsing apparatus according to any one of claims 1 to 6, wherein the information browsing program causes a computer to function as each of the means. 請求項7に記載の情報閲覧プログラムが記録されたことを特徴とするコンピュータ読取り可能なプログラム記録媒体。   A computer-readable program recording medium on which the information browsing program according to claim 7 is recorded. ネットワークサーバとしてのサーバ装置と、このネットワークサーバとネットワークを介して接続されたネットワーククライアントとしての少なくとも1台の情報閲覧端末装置とを備え、
前記情報閲覧端末装置は、
前記サーバ装置とデータの送受信を行う送受信手段と、
前記送受信手段が受信した電子データ及びしおりデータを記憶する記憶手段と、
前記記憶手段に記憶されている前記電子データを表示する表示手段と、
音声による入力を行う音声入力手段と、
前記音声入力手段から入力された音声を認識する音声認識手段と、
前記電子データにおける前記表示手段に表示されている部分のテキストデータのうち、前記音声認識手段による認識結果と一致する文字列のデータ位置を特定するしおりデータを作成し、このしおりデータを前記送受信手段により前記サーバ装置に送信させるしおりデータ作成手段とを備え、
前記サーバ装置は、
前記情報閲覧端末装置とデータの送受信を行う送受信手段と、
データを記憶する記憶手段と、
前記送受信手段が受信した前記しおりデータを前記記憶手段に記憶させるとともに、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されているテキストデータを含む電子データ及び前記しおりデータを前記送受信手段により前記情報閲覧端末装置へ送信させる制御手段とを備えていることを特徴とする情報閲覧システム。
A server device as a network server, and at least one information browsing terminal device as a network client connected to the network server via a network,
The information browsing terminal device
Transmitting / receiving means for transmitting / receiving data to / from the server device;
Storage means for storing electronic data and bookmark data received by the transmission / reception means;
Display means for displaying the electronic data stored in the storage means;
Voice input means for inputting by voice;
Voice recognition means for recognizing voice input from the voice input means;
Of the text data of the portion displayed on the display means in the electronic data, bookmark data for specifying the data position of a character string that matches the recognition result by the voice recognition means is created, and the bookmark data is sent to the transmission / reception means. And bookmark data creation means for causing the server device to transmit,
The server device
Transmitting / receiving means for transmitting / receiving data to / from the information browsing terminal device;
Storage means for storing data;
The bookmark data received by the transmission / reception means is stored in the storage means, and electronic data including text data stored in the storage means and the bookmark data are stored on the basis of a request from the information browsing terminal device. An information browsing system comprising: control means for transmitting to the information browsing terminal device by means of transmission / reception means.
前記情報閲覧端末装置において、前記記憶手段は前記送受信手段が受信した音声認識用辞書を記憶し、音声認識手段は前記音声入力手段から入力された音声を音声認識用辞書に基づいて認識し、
前記サーバ装置において、前記記憶手段は音声認識用辞書を記憶しており、制御手段は、前記情報閲覧端末装置からの要求に基づいて、前記記憶手段に記憶されている前記音声認識用辞書を前記送受信手段により前記情報閲覧端末装置へ送信させることを特徴とする請求項9に記載の情報閲覧システム。
In the information browsing terminal apparatus, the storage unit stores a speech recognition dictionary received by the transmission / reception unit, and the speech recognition unit recognizes a voice input from the voice input unit based on the speech recognition dictionary,
In the server device, the storage unit stores a speech recognition dictionary, and the control unit stores the speech recognition dictionary stored in the storage unit based on a request from the information browsing terminal device. The information browsing system according to claim 9, wherein transmission / reception means transmits the information to the information browsing terminal device.
前記サーバ装置は、前記音声認識用辞書として、前記記憶手段にて記憶されている、テキストデータを含む電子データの一部データ毎に、音声認識対象となる単語を定義する音声認識用辞書を作成し、前記テキストデータを含む電子データに対応付けて前記記憶手段に記憶させる音声認識用辞書作成手段を備えていることを特徴とする請求項10に記載の情報閲覧システム。   The server device creates a speech recognition dictionary that defines a speech recognition target word for each partial data of electronic data including text data stored in the storage unit as the speech recognition dictionary. The information browsing system according to claim 10, further comprising a voice recognition dictionary creating unit that stores the data in the storage unit in association with the electronic data including the text data.
JP2004199839A 2004-07-06 2004-07-06 Information browser, information browsing program, information browsing program recording medium, and information browsing system Withdrawn JP2006023860A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004199839A JP2006023860A (en) 2004-07-06 2004-07-06 Information browser, information browsing program, information browsing program recording medium, and information browsing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004199839A JP2006023860A (en) 2004-07-06 2004-07-06 Information browser, information browsing program, information browsing program recording medium, and information browsing system

Publications (1)

Publication Number Publication Date
JP2006023860A true JP2006023860A (en) 2006-01-26

Family

ID=35797109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004199839A Withdrawn JP2006023860A (en) 2004-07-06 2004-07-06 Information browser, information browsing program, information browsing program recording medium, and information browsing system

Country Status (1)

Country Link
JP (1) JP2006023860A (en)

Cited By (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301177A (en) * 2008-06-11 2009-12-24 Seiko Epson Corp Search device and program
JP2010072763A (en) * 2008-09-16 2010-04-02 Digitalmax Co Ltd Digital content browsing device and digital content browsing management system
JP2013152724A (en) * 2013-02-22 2013-08-08 Digitalmax Co Ltd Digital content browsing device and digital content browsing management system
WO2013132689A1 (en) * 2012-03-09 2013-09-12 シャープ株式会社 Terminal device, method for controlling same, storage medium, and content-playback system
JP2014132345A (en) * 2011-06-03 2014-07-17 Apple Inc Automatically creating mapping between text data and audio data
JP2014519058A (en) * 2011-06-03 2014-08-07 アップル インコーポレイテッド Automatic creation of mapping between text data and audio data
JPWO2013089083A1 (en) * 2011-12-14 2015-04-27 株式会社インプレスR&D Information management system for electronic books
US9047606B2 (en) 2011-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Social and contextual recommendations
US9141693B2 (en) 2009-05-01 2015-09-22 Sony Corporation Within an electronic book environment, retrieving and displaying content associated with images or text in the electronic book
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
CN109074240A (en) * 2016-04-27 2018-12-21 索尼公司 Information processing equipment, information processing method and program
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10568032B2 (en) 2007-04-03 2020-02-18 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10607140B2 (en) 2010-01-25 2020-03-31 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification

Cited By (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10568032B2 (en) 2007-04-03 2020-02-18 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
JP2009301177A (en) * 2008-06-11 2009-12-24 Seiko Epson Corp Search device and program
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
JP2010072763A (en) * 2008-09-16 2010-04-02 Digitalmax Co Ltd Digital content browsing device and digital content browsing management system
US9141693B2 (en) 2009-05-01 2015-09-22 Sony Corporation Within an electronic book environment, retrieving and displaying content associated with images or text in the electronic book
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10475446B2 (en) 2009-06-05 2019-11-12 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10984327B2 (en) 2010-01-25 2021-04-20 New Valuexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10984326B2 (en) 2010-01-25 2021-04-20 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10607141B2 (en) 2010-01-25 2020-03-31 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10607140B2 (en) 2010-01-25 2020-03-31 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US11410053B2 (en) 2010-01-25 2022-08-09 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
JP2014132345A (en) * 2011-06-03 2014-07-17 Apple Inc Automatically creating mapping between text data and audio data
JP2014519058A (en) * 2011-06-03 2014-08-07 アップル インコーポレイテッド Automatic creation of mapping between text data and audio data
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9047606B2 (en) 2011-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Social and contextual recommendations
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
JPWO2013089083A1 (en) * 2011-12-14 2015-04-27 株式会社インプレスR&D Information management system for electronic books
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
WO2013132689A1 (en) * 2012-03-09 2013-09-12 シャープ株式会社 Terminal device, method for controlling same, storage medium, and content-playback system
JP2013186805A (en) * 2012-03-09 2013-09-19 Sharp Corp Terminal device, control program thereof, control method thereof and content reproduction system
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
JP2013152724A (en) * 2013-02-22 2013-08-08 Digitalmax Co Ltd Digital content browsing device and digital content browsing management system
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US11556230B2 (en) 2014-12-02 2023-01-17 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
JPWO2017187678A1 (en) * 2016-04-27 2019-02-28 ソニー株式会社 Information processing apparatus, information processing method, and program
CN109074240A (en) * 2016-04-27 2018-12-21 索尼公司 Information processing equipment, information processing method and program
US11074034B2 (en) 2016-04-27 2021-07-27 Sony Corporation Information processing apparatus, information processing method, and program
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services

Similar Documents

Publication Publication Date Title
JP2006023860A (en) Information browser, information browsing program, information browsing program recording medium, and information browsing system
JP5048174B2 (en) Method and apparatus for recognizing user utterance
US7010490B2 (en) Method, system, and apparatus for limiting available selections in a speech recognition system
JP2002116796A (en) Voice processor and method for voice processing and storage medium
US20050131673A1 (en) Speech translation device and computer readable medium
EP1405169B1 (en) Information processing apparatus and method, and program product
US20170372695A1 (en) Information providing system
JPH1125098A (en) Information processor and method for obtaining link destination file and storage medium
US10650089B1 (en) Sentence parsing correction system
JPH07222248A (en) System for utilizing speech information for portable information terminal
KR100654183B1 (en) Letter input system and method using voice recognition
JP3927800B2 (en) Voice recognition apparatus and method, program, and storage medium
JP2005249829A (en) Computer network system performing speech recognition
US20020010586A1 (en) Voice browser apparatus and voice browsing method
JP2000112610A (en) Contents display selecting system and contents recording medium
JP6365520B2 (en) Audio output device, audio output method, and program
JP3536524B2 (en) Voice recognition method and voice recognition device
JP2004170466A (en) Voice recognition method and electronic device
EP1729284A1 (en) Method and systems for a accessing data by spelling discrimination letters of link names
JP2003202886A (en) Device, method, and program for text input processing
JPH1011457A (en) Portable retrieval device
JP2002041277A (en) Information processing unit and recording medium in which web browser controlling program is recorded
JP2009037433A (en) Number voice browser and method for controlling number voice browser
KR20090001384A (en) Equipment and method for latter information input in touch screen enviroment using automata
JP2018072509A (en) Voice reading device, voice reading system, voice reading method and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20071002