JP2006243156A

JP2006243156A - Information processing apparatus, method and program

Info

Publication number: JP2006243156A
Application number: JP2005056102A
Authority: JP
Inventors: Yoshio Kurimura; 芳夫栗村
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-03-01
Filing date: 2005-03-01
Publication date: 2006-09-14
Anticipated expiration: 2025-03-01
Also published as: JP4734964B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processing apparatus and method that generate information for reading aloud a document including information regarding annotation added to the electronic document, and to provide a program therefor. <P>SOLUTION: A text information acquisition section 13 acquires text information of a text from the object electronic document and an annotation information acquisition section 12 acquires annotation information regarding the annotation added to the electronic document from the object electronic document. Then read-aloud information generation section 16 generates read-aloud information based upon the text information that the text information acquisition section 13 and the annotation information that the annotation information acquisition section 12 acquires. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、情報処理装置および方法並びにプログラムに関し、特に、電子文書に基づいて、文書読み上げ用の情報を生成する情報処理装置および方法並びにプログラムに関する。 The present invention relates to an information processing apparatus, method, and program, and more particularly, to an information processing apparatus, method, and program for generating information for reading a document based on an electronic document.

近年、音声合成の技術の向上に伴い、ワードプロセッサ等で作成された電子文書を、その内容を読み上げるための情報に変換する技術が多く提供されている。 In recent years, with the improvement of speech synthesis technology, many technologies for converting an electronic document created by a word processor or the like into information for reading out the content are provided.

このような技術には、文章を解析するために入力された文書から解析する範囲を切り出すための表記を記載した区切り表記テ−ブル手段と、区切り表記テ−ブル手段の内容を編集する手段とを設けることにより、校正精度の向上を図るものや（例えば、特許文献１参照）、文書中の表をユーザに分かり易く読み上げるようにしたもの（例えば、特許文献２参照）、メニュー階層と必要入力項目の流れの定義のみから、対話処理を行なうプログラムソースコードを自動生成し、音声応答装置の対話処理を実現できるようにしたもの（例えば、特許文献３参照）、レイアウト情報により構造化された文書をテキスト音声合成で読み上げる際に、対象文書をその包含関係等に従って階層化して、聞き手が文書構造を認識することを助けるようにしたもの（例えば、特許文献４参照）、Ｗｅｂサイトから収集したＷｅｂページに対応したもの（例えば、特許文献５参照）、ユーザが自由かつ容易に表音テキストを編集することができるようにしたもの（例えば、特許文献６参照）等がある。
特開昭６３−１０６０４０号公報特開平８−１５３０９６号公報特開平９−２３１０６２号公報特開２０００−８９７７７号公報特開２００２−１４８９３号公報特開２００３−２２３１８２号公報 In such a technique, there are a delimiter table means that describes a notation for extracting a range to be analyzed from an input document for analyzing a sentence, a means for editing the contents of the delimiter table means, To improve calibration accuracy (for example, refer to Patent Document 1), to read a table in a document in an easy-to-understand manner for a user (for example, refer to Patent Document 2), menu hierarchy and necessary input A program source code for performing interactive processing based only on the definition of the item flow so that the interactive processing of the voice response device can be realized (for example, see Patent Document 3), a document structured by layout information When text is read out by text-to-speech synthesis, the target document is hierarchized according to its inclusion relationship etc. to help the listener recognize the document structure (For example, refer to Patent Document 4), those corresponding to Web pages collected from a Web site (for example, refer to Patent Document 5), and those that allow a user to edit phonetic text freely and easily ( For example, see Patent Document 6).
JP 63-106040 A JP-A-8-153096 JP-A-9-231062 JP 2000-89777 A Japanese Patent Laid-Open No. 2002-14893 JP 2003-223182 A

ところで、最近の電子文書には、アノテーションを付加することができるものがある。電子文書に付加されるアノテーションとしては、紙文書と同様の付箋の貼付やマーカー等による記述、スタンプ等の押印があり、電子文書に特有のアノテーションとして、他の文書等のオブジェクトへのリンクがある。 By the way, some recent electronic documents can add annotations. Annotations added to electronic documents include sticky notes, descriptions with markers, etc., as with paper documents, and stamps such as stamps. Annotations specific to electronic documents include links to objects such as other documents .

このようなアノテーションは、文書の本文ではないものの有用な情報であることも多いが、従来の文書読み上げ技術にはアノテーションに対応することができるものがなく、文書の読み上げ時にアノテーションに関する情報を割愛せざるを得なかった。 Such annotations are often useful information, although they are not the text of the document. However, there is no conventional document-reading technology that can handle annotations, and information related to annotations can be omitted when reading a document. I had to.

そこで、本発明は、電子文書に付されたアノテーションに関する情報を含む文書読み上げ用の情報を生成する情報処理装置および方法並びにプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an information processing apparatus, method, and program for generating information for reading a document including information related to annotations attached to an electronic document.

上述した目的を達成するため、請求項１の発明は、音声合成技術を利用して文書の読み上げを行う文書読み上げ装置若しくは文書読み上げプログラムに対応する文書読み上げ情報を、電子文書に基づいて生成する情報処理装置において、対象となる電子文書から本文のテキスト情報を取得するテキスト情報取得手段と、前記電子文書からアノテーションに関するアノテーション情報を取得するアノテーション情報取得手段と、前記テキスト情報取得手段が取得したテキスト情報と、前記アノテーション情報取得手段が取得したアノテーション情報とのそれぞれに基づいて、読み上げ情報を生成する読み上げ情報生成手段とを具備することを特徴とする。 In order to achieve the above-described object, the invention of claim 1 is an information for generating document reading information corresponding to a document reading device or a document reading program for reading a document using a speech synthesis technology based on an electronic document. In the processing device, text information acquisition means for acquiring text information of the text from the target electronic document, annotation information acquisition means for acquiring annotation information related to annotation from the electronic document, and text information acquired by the text information acquisition means And reading information generation means for generating reading information based on each of the annotation information acquired by the annotation information acquisition means.

また、請求項２の発明は、請求項１の発明において、前記アノテーション情報取得手段は、少なくとも前記アノテーションの種別と該アノテーションが配置された前記電子文書中の位置とを前記アノテーション情報として取得し、前記読み上げ情報生成手段は、前記アノテーション情報取得手段が取得したアノテーションの種別と位置とを前記読み上げ情報に含めることを特徴とする。 The invention according to claim 2 is the invention according to claim 1, wherein the annotation information acquisition means acquires at least a type of the annotation and a position in the electronic document where the annotation is arranged as the annotation information, The reading information generation means includes the annotation type and position acquired by the annotation information acquisition means in the reading information.

また、請求項３の発明は、請求項２の発明において、前記読み上げ情報生成手段は、前記アノテーション情報取得手段が取得したアノテーションの種別と位置とに基づいて、該アノテーションが前記電子文書の本文に付されたものかページに付されたものを判断し、該判断結果に基づいて前記読み上げ情報を生成することを特徴とする。 According to a third aspect of the present invention, in the second aspect of the present invention, the reading information generating unit is configured to add the annotation to the body of the electronic document based on the type and position of the annotation acquired by the annotation information acquiring unit. It is characterized in that it is determined whether it is attached or attached to a page, and the reading information is generated based on the determination result.

また、請求項４の発明は、請求項２の発明において、辞書情報を記憶する辞書情報記憶手段をさらに具備し、前記読み上げ情報生成手段は、前記辞書情報記憶手段に記憶された辞書情報に基づいて、前記アノテーションが配置された位置を単語単位で補正することを特徴とする。 The invention of claim 4 further comprises dictionary information storage means for storing dictionary information in the invention of claim 2, wherein the reading information generation means is based on the dictionary information stored in the dictionary information storage means. The position where the annotation is arranged is corrected in units of words.

また、請求項５の発明は、請求項２の発明において、前記読み上げ情報生成手段は、前記アノテーションが不透過図形であった場合に、該アノテーションと重複するテキスト情報を前記読み上げ情報から除外することを特徴とする。 According to a fifth aspect of the present invention, in the second aspect of the present invention, when the annotation is an opaque figure, the reading information generating means excludes text information overlapping with the annotation from the reading information. It is characterized by.

また、請求項６の発明は、請求項１の発明において、前記読み上げ情報生成手段が生成した読み上げ情報のそれぞれをシンボルで表示する表示手段と、前記シンボルに対する操作を受け付け、該操作に基づいて前記読み上げ情報を編集する編集手段とをさらに具備することを特徴とする。 According to a sixth aspect of the present invention, in the first aspect of the present invention, in the first aspect, the reading information generated by the reading information generating means is displayed as a symbol, and an operation for the symbol is received. It further comprises editing means for editing the reading information.

また、請求項７の発明は、音声合成技術を利用して文書の読み上げを行う文書読み上げ装置若しくは文書読み上げプログラムに対応する文書読み上げ情報を、電子文書に基づいて生成する情報処理方法であって、情報取得手段が、対象となる電子文書から本文のテキスト情報を取得するとともにアノテーションに関するアノテーション情報を取得し、読み上げ情報生成手段が、前記テキスト情報と前記アノテーション情報とのそれぞれに基づいて、読み上げ情報を生成することを特徴とする。 The invention of claim 7 is an information processing method for generating, based on an electronic document, document reading information corresponding to a document reading device or a document reading program for reading a document using a speech synthesis technology, The information acquisition unit acquires text information of the body text from the target electronic document and acquires annotation information related to the annotation, and the reading information generation unit converts the reading information based on each of the text information and the annotation information. It is characterized by generating.

また、請求項８の発明は、請求項７の発明において、前記アノテーション情報は、少なくとも前記アノテーションの種別と該アノテーションが配置された前記電子文書中の位置とを含み、前記読み上げ情報生成手段は、前記アノテーションの種別と位置とを前記読み上げ情報に含めることを特徴とする。 The invention according to claim 8 is the invention according to claim 7, wherein the annotation information includes at least a type of the annotation and a position in the electronic document where the annotation is arranged, and the reading information generation unit includes: The annotation type and position are included in the reading information.

また、請求項９の発明は、請求項８の発明において、前記読み上げ情報生成手段は、前記アノテーション情報取得手段が取得したアノテーションの種別と位置とに基づいて、該アノテーションが前記電子文書の本文に付されたものかページに付されたものを判断し、該判断結果に基づいて前記読み上げ情報を生成することを特徴とする。 Further, the invention according to claim 9 is the invention according to claim 8, wherein the reading information generating unit is configured to add the annotation to the body of the electronic document based on the annotation type and position acquired by the annotation information acquiring unit. It is characterized in that it is determined whether it is attached or attached to a page, and the reading information is generated based on the determination result.

また、請求項１０の発明は、請求項８の発明において、前記読み上げ情報生成手段は、辞書情報記憶手段に記憶された辞書情報に基づいて、前記アノテーションが配置された位置を単語単位で補正することを特徴とする。 According to a tenth aspect of the present invention, in the invention of the eighth aspect, the reading-out information generating means corrects the position where the annotation is arranged on a word basis based on dictionary information stored in the dictionary information storage means. It is characterized by that.

また、請求項１１の発明は、請求項８の発明において、前記読み上げ情報生成手段は、前記アノテーションが不透過図形であった場合に、該アノテーションと重複するテキスト情報を前記読み上げ情報から除外することを特徴とする。 Further, in the invention of claim 11, in the invention of claim 8, when the annotation is an opaque figure, the reading information generating means excludes text information overlapping with the annotation from the reading information. It is characterized by.

また、請求項１２の発明は、請求項７の発明において、表示手段が、前記読み上げ情報のそれぞれをシンボルで表示し、編集手段が、前記シンボルに対する操作を受け付け、該操作に基づいて前記読み上げ情報を編集することを特徴とする。 According to a twelfth aspect of the present invention, in the seventh aspect of the invention, the display means displays each of the reading information as a symbol, and the editing means receives an operation on the symbol, and the reading information is based on the operation. It is characterized by editing.

また、請求項１３の発明は、音声合成技術を利用して文書の読み上げを行う文書読み上げ装置若しくは文書読み上げプログラムに対応する文書読み上げ情報を、電子文書に基づいて生成する情報処理プログラムであって、対象となる電子文書から本文のテキスト情報を取得するテキスト情報取得手段と、前記電子文書からアノテーションに関するアノテーション情報を取得するアノテーション情報取得手段と、前記テキスト情報取得手段が取得したテキスト情報と、前記アノテーション情報取得手段が取得したアノテーション情報とのそれぞれに基づいて、読み上げ情報を生成する読み上げ情報生成手段としてコンピュータを機能させることを特徴とする。 The invention according to claim 13 is an information processing program for generating document reading information corresponding to a document reading device or a document reading program for reading a document using a speech synthesis technology based on an electronic document, Text information acquisition means for acquiring text information of a body text from a target electronic document, annotation information acquisition means for acquiring annotation information related to annotation from the electronic document, text information acquired by the text information acquisition means, and the annotation The computer is caused to function as read-out information generation means for generating read-out information based on each of the annotation information acquired by the information acquisition means.

本発明によれば、読み上げ情報にアノテーションに関する情報を含めることができ、当該読み上げ情報に基づく読み上げが行われた際の聞き手は、アノテーションの説明をも受けることができ、文書全体を理解しやすくなる。 According to the present invention, information related to an annotation can be included in the read-out information, and a listener who has read out based on the read-out information can also receive an explanation of the annotation, which makes it easy to understand the entire document. .

以下、本発明に係る情報処理装置および方法並びにプログラムの一実施の形態について、添付図面を参照して詳細に説明する。 Hereinafter, an information processing apparatus and method according to an embodiment of the present invention and a program will be described in detail with reference to the accompanying drawings.

図１は、本発明を適用した情報処理装置の機能的な構成を示すブロック図である。同図に示すように、情報処理装置１０は、文書入力部１１と、アノテーション情報取得部１２、テキスト情報取得部１３、設定情報記憶部１４、辞書情報記憶部１５、読み上げ情報生成部１６、読み上げ情報出力部１７を具備して構成される。なお、情報処理装置１０は、各機能部を実現させるプログラムに基づいてコンピュータを動作させることで構成することが可能である。 FIG. 1 is a block diagram showing a functional configuration of an information processing apparatus to which the present invention is applied. As shown in the figure, the information processing apparatus 10 includes a document input unit 11, an annotation information acquisition unit 12, a text information acquisition unit 13, a setting information storage unit 14, a dictionary information storage unit 15, a reading information generation unit 16, and a reading out. An information output unit 17 is provided. The information processing apparatus 10 can be configured by operating a computer based on a program that realizes each functional unit.

文書入力部１１は、図示しない記憶部に記憶された電子文書を取得して保持する。アノテーション情報取得部１２は、文書入力部１１が保持する電子文書からアノテーションに関する情報を取得する。テキスト情報取得部１３は、文書入力部１１が保持する電子文書からテキスト情報を取得する。設定情報記憶部１４は、読み上げ情報生成部１６が読み上げ情報を生成する際に必要な各種設定を記憶する。辞書情報記憶部１５は、日本語や英語等、処理対象となる電子文書を記述した言語に対応する辞書を記憶する。読み上げ情報生成部１６は、テキスト情報取得部１３が取得したテキスト情報やアノテーション情報取得部１２が取得したアノテーション情報等に基づいて、読み上げ情報を生成する。読み上げ情報出力部１７は、読み上げ情報生成部１６が生成した読み上げ情報を、図示しない読み上げ装置や読み上げプログラム等へ出力する。 The document input unit 11 acquires and holds an electronic document stored in a storage unit (not shown). The annotation information acquisition unit 12 acquires information related to the annotation from the electronic document held by the document input unit 11. The text information acquisition unit 13 acquires text information from the electronic document held by the document input unit 11. The setting information storage unit 14 stores various settings necessary for the reading information generation unit 16 to generate reading information. The dictionary information storage unit 15 stores a dictionary corresponding to a language describing an electronic document to be processed, such as Japanese or English. The reading information generation unit 16 generates reading information based on the text information acquired by the text information acquisition unit 13, the annotation information acquired by the annotation information acquisition unit 12, and the like. The reading information output unit 17 outputs the reading information generated by the reading information generation unit 16 to a reading device or a reading program (not shown).

次に、情報処理装置１０の動作について説明する。図２は、情報処理装置２の動作の流れを示すフローチャートである。 Next, the operation of the information processing apparatus 10 will be described. FIG. 2 is a flowchart showing an operation flow of the information processing apparatus 2.

情報処理装置１０は、読み上げ情報の生成処理を開始すると、まず、読み上げ情報生成部１６が、設定情報記憶部１５に記憶されている設定情報を確認する（ステップ１０１）。確認の結果、読み上げ情報の生成に際してインライン処理が指定されていれば（ステップ１０２でＹＥＳ）、情報処理装置１０は、後述するインライン処理を実行し（ステップ１０３）、インライン処理が指定されていなければ（ステップ１０２でＮＯ）、情報処理装置１０は、後述するまとめ処理を実行する（ステップ１０４）。 When the information processing apparatus 10 starts the reading information generation process, the reading information generation unit 16 first checks the setting information stored in the setting information storage unit 15 (step 101). As a result of the confirmation, if inline processing is designated when generating read-out information (YES in step 102), the information processing apparatus 10 executes inline processing described later (step 103), and if inline processing is not designated. (NO in step 102), the information processing apparatus 10 executes a summarization process described later (step 104).

ここで、ステップ１０３のインライン処理について説明する。インライン処理とは、文書の読み上げを行う際に、アノテーション情報の読み上げを、本文中のアノテーションが出現した位置で行うように構成した読み上げ情報を生成する処理である。図３は、インライン処理の流れを示すフローチャートである。 Here, the inline processing in step 103 will be described. The in-line processing is processing for generating reading information configured to read the annotation information at the position where the annotation appears in the text when reading the document. FIG. 3 is a flowchart showing the flow of inline processing.

インライン処理では、まず、テキスト情報取得部１３が、文書入力部１１が保持している文書を読み出し（ステップ１３１）、その過程でアノテーションが検出されたら（ステップ１３２でＹＥＳ）、アノテーション情報取得部１２が、検出されたアノテーションの情報を取得する（ステップ１３３）。続いて、読み上げ情報生成部１６が、アノテーション情報に基づいて、アノテーション処理を行う（ステップ１３４）。このアノテーション処理については後述する。 In the inline processing, first, the text information acquisition unit 13 reads the document held by the document input unit 11 (step 131), and when an annotation is detected in the process (YES in step 132), the annotation information acquisition unit 12 Acquires information of the detected annotation (step 133). Subsequently, the read-out information generation unit 16 performs annotation processing based on the annotation information (step 134). This annotation process will be described later.

アノテーション処理が終了すると、その処理結果に基づいて、テキスト情報取得部１３が、テキスト情報を取得する（ステップ１３５）。取得するテキスト情報の範囲は、アノテーション処理の結果によって異なるが、例えば、ステップ１３１で文書の読み出しを開始した位置からアノテーションが付された位置までが範囲となる。 When the annotation process ends, the text information acquisition unit 13 acquires text information based on the processing result (step 135). The range of the text information to be acquired varies depending on the result of the annotation process. For example, the range is from the position where the reading of the document is started in step 131 to the position where the annotation is added.

テキスト情報取得部１３がテキスト情報を取得すると、読み上げ情報生成部１６が、ステップ１３４で処理されたアノテーション情報とステップ１３５で取得されたテキスト情報に基づいて、読み上げ情報を生成する（ステップ１３６）。 When the text information acquisition unit 13 acquires the text information, the reading information generation unit 16 generates reading information based on the annotation information processed in step 134 and the text information acquired in step 135 (step 136).

これらの処理は、文書をその終了位置まで読み出す間、繰り返して行われ（ステップ１３７でＮＯ）、その過程で生成された読み上げ情報は、その生成順に連結される。 These processes are repeated while the document is read to the end position (NO in step 137), and the read-out information generated in the process is connected in the generation order.

そして、文書の終了位置までの読み出しが終了すると（ステップ１３７でＹＥＳ）、テキスト情報取得部１３が、未取得のテキスト情報を取得し（ステップ１３８）、このテキスト情報に基づいて、読み上げ情報生成部１６が読み上げ情報を生成するとともに生成した読み上げ情報を先に生成した読み上げ情報に連結し（ステップ１３９）、インライン処理を終了する。 When reading to the end position of the document ends (YES in step 137), the text information acquisition unit 13 acquires unacquired text information (step 138), and based on this text information, a reading information generation unit 16 generates read-out information and links the generated read-out information to the previously generated read-out information (step 139), and ends the inline processing.

続いて、ステップ１０４のまとめ処理について説明する。まとめ処理とは、文書の読み上げを行う際に、アノテーション情報の読み上げを、本文の前若しくは後にまとめて行うように構成した読み上げ情報を生成する処理である。図４は、まとめ処理の流れを示すフローチャートである。 Next, the summarization process in step 104 will be described. The summary processing is processing for generating read-out information configured to collectively read annotation information before or after the text when reading a document. FIG. 4 is a flowchart showing the flow of the summarization process.

まとめ処理では、まず、テキスト情報取得部１３が、文書入力部１１が保持している文書を読み出し（ステップ１４１）、その過程でアノテーションが検出されたら（ステップ１４２でＹＥＳ）、アノテーション情報取得部１２が、検出されたアノテーションの情報を取得する（ステップ１４３）。そして、読み上げ情報生成部１６が、アノテーション情報に基づいて、アノテーション処理を行う（ステップ１４４）。このアノテーション処理については後述する。これらの処理は、文書をその終了位置まで読み出す間、繰り返して行われる（ステップ１４５でＮＯ）。 In the summary process, first, the text information acquisition unit 13 reads a document held by the document input unit 11 (step 141), and when an annotation is detected in the process (YES in step 142), the annotation information acquisition unit 12 Acquires the information of the detected annotation (step 143). Then, the reading information generation unit 16 performs annotation processing based on the annotation information (step 144). This annotation process will be described later. These processes are repeated while the document is read to the end position (NO in step 145).

そして、文書の終了位置までの読み出しが終了すると（ステップ１４５でＹＥＳ）、テキスト情報取得部１３が、テキスト情報を取得し（ステップ１４６）、このテキスト情報とステップ１４４のアノテーション処理の結果に基づいて、読み上げ情報生成部１６が読み上げ情報を生成し（ステップ１４７）、まとめ処理を終了する。読み上げ情報生成部１６が生成する読み上げ情報は、設定情報記憶部１４に記憶されている設定情報に基づいて、アノテーション情報を本文に先立って読み上げる場合は、アノテーション情報のリストに続けて本文を読み上げるように構成され、アノテーション情報を本文の後に読み上げる場合は、本文に続けてアノテーション情報のリストを読み上げるように構成される。 When reading to the end position of the document ends (YES in step 145), the text information acquisition unit 13 acquires text information (step 146), and based on the text information and the result of the annotation processing in step 144. Then, the read-out information generation unit 16 generates read-out information (step 147), and the summarization process ends. When the reading information generated by the reading information generation unit 16 is read out prior to the text based on the setting information stored in the setting information storage unit 14, the text is read out following the list of annotation information. When the annotation information is read after the text, the annotation information list is read after the text.

次に、上述のステップ１３４またはステップ１４４におけるアノテーション処理について説明する。アノテーション処理では、設定情報記憶部１４に記憶されている設定情報に基づいて、アノテーションの種別毎に対応する処理を行う。図５は、アノテーション処理の流れを示すフローチャートである。 Next, the annotation process in step 134 or step 144 will be described. In the annotation process, a process corresponding to each type of annotation is performed based on the setting information stored in the setting information storage unit 14. FIG. 5 is a flowchart showing the flow of annotation processing.

アノテーション処理では、読み上げ情報生成部１６は、まず、アノテーション情報取得部１２が取得したアノテーション情報から該当するアノテーションの種別を確認する（ステップ１５１）。 In the annotation process, the read-out information generation unit 16 first confirms the type of the corresponding annotation from the annotation information acquired by the annotation information acquisition unit 12 (step 151).

確認の結果、該当するアノテーションが付箋であった場合には（ステップ１５２でＹＥＳ）、読み上げ情報生成部１６は、設定情報記憶部１４に記憶されている設定情報に基づいて、付箋に対する処理を実行する（ステップ１５３）。 As a result of the confirmation, if the corresponding annotation is a tag (YES in step 152), the reading-out information generator 16 executes processing for the tag based on the setting information stored in the setting information storage unit 14. (Step 153).

付箋に対する処理では、読み上げ情報生成部１６は、該当する付箋を読み上げの対象とするか否かを判断する。この判断は、付箋の貼付位置に基づいて行い、例えば、図６（ａ）に示すように、付箋２１がページ２０からはみ出すことなく貼付されていた場合と、図６（ｂ）に示すように、付箋２１がページ２１からはみ出すように貼付されていた場合のそれぞれについて、設定情報記憶部１４に記憶されている設定情報に基づいて、読み上げの対象とするか否かを判断する。 In the processing for the tag, the reading information generation unit 16 determines whether or not the corresponding tag is to be read. This determination is made based on the sticking position of the sticky note. For example, as shown in FIG. 6A, the sticky note 21 is stuck without protruding from the page 20, and as shown in FIG. 6B. Whether or not the sticky note 21 is pasted so as to protrude from the page 21 is determined based on the setting information stored in the setting information storage unit 14 as to whether or not to be read out.

また、付箋に対する処理では、付箋の貼付位置の特定を行う。貼付位置の特定は、通常は、ページ上の貼付位置を取得することで行うが、図６（ｃ）に示すように、付箋２１がページ２０のヘッダの近傍に貼付されていた場合には、ページ２０に対して付箋２１が貼付されていると判断する。もちろん、付箋２１がページ２０のヘッダ近傍に貼付されていたとしても、その位置を貼付位置として特定することもできるが、いずれを貼付位置として特定するかは、設定情報記憶部１４に記憶されている設定情報に基づいて判断される。同様に、図６（ｄ）に示すように付箋２１がページ２０に貼付されている場合には、その近傍の段落に対して付箋２１が貼付されていると判断する。この場合も、実際に付箋２１が貼付されている位置を貼付位置として特定してもよく、その判断は、設定情報記憶部１４に記憶されている設定情報に基づくものとなる。 In addition, in the processing for the sticky note, the sticking position of the sticky note is specified. Normally, the pasting position is specified by acquiring the pasting position on the page. However, as shown in FIG. 6C, when the sticky note 21 is pasted near the header of the page 20, It is determined that a tag 21 is attached to the page 20. Of course, even if the sticky note 21 is affixed in the vicinity of the header of the page 20, the position can be specified as the affixing position, but which is specified as the affixing position is stored in the setting information storage unit 14. It is determined based on the setting information. Similarly, when the sticky note 21 is attached to the page 20 as shown in FIG. 6D, it is determined that the sticky note 21 is attached to a paragraph in the vicinity thereof. Also in this case, the position where the sticky note 21 is actually attached may be specified as the attachment position, and the determination is based on the setting information stored in the setting information storage unit 14.

また、読み上げ情報生成部１６は、付箋２１が、図６（ｅ）に示すように貼付されていた場合、辞書情報記憶部１５に記憶されている辞書情報を利用して、「許請求の範囲」に付箋２１が貼付されているのではなく、「特許請求の範囲」に付箋２１が貼付されていると判断する。辞書情報記憶部１５に記憶されている辞書情報を利用するか否かは、設定情報記憶部１４に記憶されている設定情報に基づいて判断される。 Further, the read-out information generation unit 16 uses the dictionary information stored in the dictionary information storage unit 15 when the tag 21 is attached as shown in FIG. It is determined that the tag 21 is not affixed to the “claims”. Whether to use the dictionary information stored in the dictionary information storage unit 15 is determined based on the setting information stored in the setting information storage unit 14.

このような処理により、例えば、文書の本文を男声で読み上げ、アノテーション情報を女声で読み上げる読み上げ情報を生成するとすれば、「（男声）・・・特許請求の範囲（女声）ここに、黄色の付箋が貼付され、当該付箋に「重要」と記述されています。（男声）・・・」のような読み上げ情報を、読み上げ情報生成部１６が生成する。 With this process, for example, if the text of a document is read out in a male voice and the reading information is read out in an annotation information in a female voice, “(male voice) ... claim (female voice) here, yellow sticky note Is affixed and “Important” is written on the tag. The reading information generation unit 16 generates reading information such as (male voice).

なお、前述のステップ１３５においてテキスト情報取得部１３がテキスト情報を取得する際には、読み上げ情報生成部１６が特定した付箋の貼付位置に基づいて、その貼付位置の直前までを取得することとなる。 When the text information acquisition unit 13 acquires the text information in the above-described step 135, the text information acquisition unit 16 acquires up to just before the pasting position based on the pasting position of the sticky note specified by the reading information generation unit 16. .

一方、アノテーションの種別を確認した結果、該当するアノテーションがリンクであった場合には（ステップ１５４でＹＥＳ）、読み上げ情報生成部１６は、設定情報記憶部１４に記憶されている設定情報に基づいて、リンクに対する処理を実行する（ステップ１５５）。 On the other hand, as a result of checking the annotation type, if the corresponding annotation is a link (YES in step 154), the reading information generating unit 16 is based on the setting information stored in the setting information storage unit 14. The process for the link is executed (step 155).

リンクに対する処理では、リンクが設定された位置の特定を行う。位置の特定は、原則としてページ上の位置であるが、前述の付箋と同様に、辞書情報記憶部１５に記憶されている辞書情報を利用してリンクの設定位置を単語単位で修正することができる。辞書情報を利用するか否かは、設定情報記憶部１４に記憶されている設定情報に基づいて判断される。リンクに基づく読み上げ情報は、リンク先を説明する内容で、例えば、「ここは、同じ文書の８ページにリンクされています。」のような内容となる。 In the processing for the link, the position where the link is set is specified. In principle, the position is determined on the page, but the link setting position can be corrected in units of words by using the dictionary information stored in the dictionary information storage unit 15 as in the above-described tag. it can. Whether to use the dictionary information is determined based on the setting information stored in the setting information storage unit 14. The read-out information based on the link has contents explaining the link destination, for example, “This is linked to page 8 of the same document.”

また、アノテーションの種別を確認した結果、該当するアノテーションが図形であった場合には（ステップ１５６でＹＥＳ）、読み上げ情報生成部１６は、設定情報記憶部１４に記憶されている設定情報に基づいて、図形に対する処理を実行する（ステップ１５７）。 Further, as a result of checking the annotation type, if the corresponding annotation is a graphic (YES in step 156), the reading information generating unit 16 is based on the setting information stored in the setting information storage unit 14. Then, processing for the graphic is executed (step 157).

種別が図形のアノテーションとは、線若しくは面で表される図形であり、図形に対する処理では、リンク情報と同様に位置の特定を行い、図形の種別を読み上げ情報とする。ただし、図形が文字と重なるように配置されている場合には、図形に特有の処理を行う。例えば、図７（ａ）に示すように、透過図形２２が文字と重なるように配置されている場合には、読み上げ情報は、「（男声）そこで、本発明は、電子（女声）ここに、赤色の透過図形が重ねられています（男声）文書に付されたアノテーションに・・・」のようになるが、図７（ｂ）に示すように、不透過図形２３が文字と重なるように配置されている場合には、読み上げ情報は、「（男声）そこで、本発明は、（女声）赤色の不透過図形により文字が隠されています（男声）文書に付されたアノテーションに・・・」のように、不透過図形により文字が隠されているものとして処理を行う。 An annotation with a type of figure is a figure represented by a line or a face. In the process for the figure, the position is specified in the same manner as the link information, and the type of the figure is used as read-out information. However, when the graphic is arranged so as to overlap the character, processing specific to the graphic is performed. For example, as shown in FIG. 7A, when the transparent figure 22 is arranged so as to overlap the character, the read-out information is “(male voice). Therefore, the present invention is electronic (female voice). The red transparent figure is superimposed (male voice), but the annotation attached to the document is like "...", but as shown in Fig. 7 (b), the opaque figure 23 is placed so as to overlap the character. If it is, the read-out information is “(male voice), where the present invention is (female voice) the text is hidden by a red opaque figure (male voice) in the annotation attached to the document. Thus, the processing is performed assuming that the characters are hidden by the opaque figure.

また、アノテーションの種別を確認した結果、該当するアノテーションがイメージであった場合には（ステップ１５８でＹＥＳ）、読み上げ情報生成部１６は、設定情報記憶部１４に記憶されている設定情報に基づいて、イメージに対する処理を実行する（ステップ１５９）。 Further, as a result of checking the annotation type, if the corresponding annotation is an image (YES in step 158), the reading information generation unit 16 is based on the setting information stored in the setting information storage unit 14. Then, processing for the image is executed (step 159).

種別がイメージのアノテーションは、日付印や「禁複写」等のスタンプを表すもので、通常は、文書若しくはページに付されるものである。したがって、イメージに対する処理では、貼付位置の特定は、ページを単位とし、「（女声）このページには、日付印が押されています」等の読み上げ情報を生成する。 An annotation of type image represents a stamp such as a date stamp or “no copy”, and is usually attached to a document or page. Therefore, in the processing for the image, the pasting position is specified in units of pages, and read-out information such as “(female voice) is date stamped on this page” is generated.

なお、アノテーションの種別は、他の種別、例えば、文字列等があり、その場合にも、読み上げ情報生成部１６は、設定情報記憶部１４に記憶されている設定情報に基づいて処理を行う。 Note that there are other types of annotation, for example, character strings, and the read-out information generation unit 16 also performs processing based on the setting information stored in the setting information storage unit 14.

図８は、実施例２における情報処理装置の機能的な構成を示すブロック図である。同図に示すように、情報処理装置３０は、文書入力部３１と、アノテーション情報取得部３２、テキスト情報取得部３３、設定情報記憶部３４、辞書情報記憶部３５、読み上げ情報生成部３６、読み上げ情報編集部３７、読み上げ情報出力部３８を具備して構成される。なお、情報処理装置１０は、各機能部を実現させるプログラムに基づいてコンピュータを動作させることで構成することが可能である。 FIG. 8 is a block diagram illustrating a functional configuration of the information processing apparatus according to the second embodiment. As shown in the figure, the information processing apparatus 30 includes a document input unit 31, an annotation information acquisition unit 32, a text information acquisition unit 33, a setting information storage unit 34, a dictionary information storage unit 35, a reading information generation unit 36, and a reading out. An information editing unit 37 and a reading information output unit 38 are provided. The information processing apparatus 10 can be configured by operating a computer based on a program that realizes each functional unit.

文書入力部３１は、図示しない記憶部に記憶された電子文書を取得して保持する。アノテーション情報取得部３２は、文書入力部３１が保持する電子文書からアノテーションに関する情報を取得する。テキスト情報取得部３３は、文書入力部３１が保持する電子文書からテキスト情報を取得する。設定情報記憶部３４は、読み上げ情報生成部３６が読み上げ情報を生成する際に必要な各種設定を記憶する。辞書情報記憶部３５は、日本語や英語等、処理対象となる電子文書を記述した言語に対応する辞書を記憶する。読み上げ情報生成部３６は、テキスト情報取得部３３が取得したテキスト情報やアノテーション情報取得部３２が取得したアノテーション情報等に基づいて、読み上げ情報を生成する。読み上げ情報編集部３７は、読み上げ情報生成部１６が生成した読み上げ情報に対する編集を行う。読み上げ情報出力部３８は、読み上げ情報編集部１７による編集された読み上げ情報を、図示しない読み上げ装置や読み上げプログラム等へ出力する。 The document input unit 31 acquires and holds an electronic document stored in a storage unit (not shown). The annotation information acquisition unit 32 acquires information related to the annotation from the electronic document held by the document input unit 31. The text information acquisition unit 33 acquires text information from the electronic document held by the document input unit 31. The setting information storage unit 34 stores various settings necessary for the reading information generation unit 36 to generate reading information. The dictionary information storage unit 35 stores a dictionary corresponding to a language describing an electronic document to be processed, such as Japanese or English. The reading information generation unit 36 generates reading information based on the text information acquired by the text information acquisition unit 33, the annotation information acquired by the annotation information acquisition unit 32, and the like. The reading information editing unit 37 edits the reading information generated by the reading information generation unit 16. The reading information output unit 38 outputs the reading information edited by the reading information editing unit 17 to a reading device or a reading program (not shown).

この情報処理装置３０では、文書入力部３１、アノテーション情報取得部３２、テキスト情報取得部３３、設定情報記憶部３４、辞書情報記憶部３５、読み上げ情報生成部３６は、それぞれ、実施例１における文書入力部１１、アノテーション情報取得部１２、テキスト情報取得部１３、設定情報記憶部１４、辞書情報記憶部１５、読み上げ情報生成部１６と同様の動作を行い、実施例１で説明したインライン処理による読み上げ情報を生成する。ただし、読み上げ情報生成部１６は、読み上げ生成した読み上げ情報の連結は行わずに、読み上げ情報編集部３７へ出力する。 In the information processing apparatus 30, the document input unit 31, the annotation information acquisition unit 32, the text information acquisition unit 33, the setting information storage unit 34, the dictionary information storage unit 35, and the reading-out information generation unit 36 are each a document in the first embodiment. The same operations as those of the input unit 11, the annotation information acquisition unit 12, the text information acquisition unit 13, the setting information storage unit 14, the dictionary information storage unit 15, and the reading information generation unit 16 are performed, and the reading is performed by the inline processing described in the first embodiment. Generate information. However, the read-out information generation unit 16 outputs the read-out information editing unit 37 to the read-out information editing unit 37 without concatenating the read-out information generated.

読み上げ情報編集部３７は、インライン処理により生成された各読み上げ情報を、アイコン等のシンボルで表したＧＵＩ（Graphical User Interface）を、図示しない表示装置に提供し、ユーザに読み上げ情報の編集を行わせる。 The reading information editing unit 37 provides a GUI (Graphical User Interface) in which each reading information generated by the inline processing is represented by a symbol such as an icon to a display device (not shown), and allows the user to edit the reading information. .

図９は、読み上げ情報編集部３７が提供するＧＵＩの表示例を示した図である。同図に示すように、ＧＵＩ４０には、文書の本文（テキスト情報）に基づく読み上げ情報を示すシンボル４１、４３、４５、リンク（アノテーション情報）に基づく読み上げ情報を示すシンボル４２、付箋（アノテーション情報）に基づく読み上げ情報を示すシンボル４４、イメージ（アノテーション情報）に基づく読み上げ情報を示すシンボル４６が表示されている。 FIG. 9 is a diagram illustrating a display example of a GUI provided by the reading information editing unit 37. As shown in the figure, the GUI 40 includes symbols 41, 43, and 45 that indicate reading information based on the body (text information) of a document, a symbol 42 that indicates reading information based on a link (annotation information), and a tag (annotation information). A symbol 44 indicating the reading information based on the image and a symbol 46 indicating the reading information based on the image (annotation information) are displayed.

これらの各シンボル（４１〜４６）は、例えば、マウス等のポインティングデバイスを利用したドラッグ操作を行うことで、任意に並び替えが可能であり、その並び替えに伴って読み上げ情報の並び順が変更される。 These symbols (41 to 46) can be rearranged arbitrarily by performing a drag operation using a pointing device such as a mouse, for example, and the arrangement order of the read-out information is changed along with the rearrangement. Is done.

また、各シンボル（４１〜４６）は、例えば、ポインティングデバイスを利用したダブルクリック操作を行うことで、対応する読み上げ情報の内容を確認することができ、内容の変更や読み上げ情報を任意の位置で分割することもできる。これにより、アノテーション情報に基づく読み上げ情報をテキスト情報に基づく読み上げ情報の任意の位置に挿入することも可能となる。 In addition, each symbol (41 to 46) can confirm the content of the corresponding read-out information by performing a double-click operation using a pointing device, for example, and can change the content or read the read-out information at an arbitrary position. It can also be divided. Thereby, it is possible to insert the reading information based on the annotation information at an arbitrary position of the reading information based on the text information.

さらに、各シンボル（４１〜４６）は、例えば、ポインティングデバイスを利用したクリック操作を行うことで、その属性の確認および変更を行うことが可能であり、対応する読み上げ情報を有効（読み上げる）とするか無効（読み上げない）とするか等の属性を変更することもできる。 Furthermore, each symbol (41 to 46) can be confirmed and changed in attribute by performing a click operation using a pointing device, for example, and the corresponding reading information is valid (reading out). It is also possible to change an attribute such as whether it is invalid or not (not read out).

本発明を適用した情報処理装置の機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of the information processing apparatus to which this invention is applied. 情報処理装置２の動作の流れを示すフローチャートである。6 is a flowchart showing a flow of operations of the information processing apparatus 2. インライン処理の流れを示すフローチャートである。It is a flowchart which shows the flow of an inline process. まとめ処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a summarization process. アノテーション処理の流れを示すフローチャートである。It is a flowchart which shows the flow of an annotation process. 付箋処理を説明するための図である。It is a figure for demonstrating a sticky note process. 図形処理を説明するための図である。It is a figure for demonstrating a graphic process. 実施例２における情報処理装置の機能的な構成を示すブロック図である。FIG. 9 is a block diagram illustrating a functional configuration of an information processing apparatus according to a second embodiment. 読み上げ情報編集部３７が提供するＧＵＩの表示例を示した図である。6 is a diagram showing a display example of a GUI provided by a reading information editing unit 37. FIG.

Explanation of symbols

１０情報処理装置
１１文書入力部
１２アノテーション情報取得部
１３テキスト情報取得部
１４設定情報記憶部
１５辞書情報記憶部
１６読み上げ情報生成部
１７読み上げ情報出力部
２０ページ
２１付箋
２２透過図形
２３不透過図形
３０情報処理装置
３１文書入力部
３２アノテーション情報取得部
３３テキスト情報取得部
３４設定情報記憶部
３５辞書情報記憶部
３６読み上げ情報生成部
３７読み上げ情報編集部
３８読み上げ情報出力部
４０ＧＵＩ
４１シンボル
４２シンボル
４３シンボル
４４シンボル
４５シンボル
４６シンボル DESCRIPTION OF SYMBOLS 10 Information processing apparatus 11 Document input part 12 Annotation information acquisition part 13 Text information acquisition part 14 Setting information storage part 15 Dictionary information storage part 16 Reading information generation part 17 Reading information output part 20 Page 21 Sticky note 22 Transparent figure 23 Impervious figure 30 Information processing apparatus 31 Document input unit 32 Annotation information acquisition unit 33 Text information acquisition unit 34 Setting information storage unit 35 Dictionary information storage unit 36 Reading information generation unit 37 Reading information editing unit 38 Reading information output unit 40 GUI
41 symbols 42 symbols 43 symbols 44 symbols 45 symbols 46 symbols

Claims

In an information processing apparatus for generating document reading-out information corresponding to a document reading-out apparatus or a document reading-out program that reads out a document using a speech synthesis technology based on an electronic document,
Text information acquisition means for acquiring text information of the body text from the target electronic document;
Annotation information acquisition means for acquiring annotation information related to annotation from the electronic document;
An information processing apparatus comprising: read-out information generating means for generating read-out information based on each of text information acquired by the text information acquisition means and annotation information acquired by the annotation information acquisition means .

The annotation information acquisition means acquires at least a type of the annotation and a position in the electronic document where the annotation is arranged as the annotation information,
The information processing apparatus according to claim 1, wherein the reading information generation unit includes the annotation type and position acquired by the annotation information acquisition unit in the reading information.

The reading information generation unit determines whether the annotation is attached to the body of the electronic document or the page based on the type and position of the annotation acquired by the annotation information acquisition unit, The information processing apparatus according to claim 2, wherein the reading information is generated based on a determination result.

It further comprises dictionary information storage means for storing dictionary information,
The information processing apparatus according to claim 2, wherein the reading information generation unit corrects a position where the annotation is arranged in units of words based on dictionary information stored in the dictionary information storage unit.

The information processing apparatus according to claim 2, wherein when the annotation is an opaque figure, the reading information generation unit excludes text information overlapping with the annotation from the reading information.

Display means for displaying each of the reading information generated by the reading information generating means as a symbol;
The information processing apparatus according to claim 1, further comprising: an editing unit that receives an operation on the symbol and edits the reading information based on the operation.

An information processing method for generating, based on an electronic document, document reading information corresponding to a document reading device or a document reading program that reads a document using a speech synthesis technology,
The information acquisition means acquires text information of the body text from the target electronic document and acquires annotation information related to the annotation,
An information processing method, wherein the reading information generation unit generates reading information based on each of the text information and the annotation information.

The annotation information includes at least a type of the annotation and a position in the electronic document where the annotation is arranged,
The information processing method according to claim 7, wherein the reading information generation unit includes the type and position of the annotation in the reading information.

The reading information generation unit determines whether the annotation is attached to the body of the electronic document or the page based on the annotation type and position acquired by the annotation information acquisition unit, The information processing method according to claim 8, wherein the reading information is generated based on a determination result.

9. The information processing method according to claim 8, wherein the reading information generation unit corrects the position where the annotation is arranged in units of words based on dictionary information stored in the dictionary information storage unit.

9. The information processing method according to claim 8, wherein when the annotation is an opaque figure, the reading information generation unit excludes text information overlapping with the annotation from the reading information.

A display means displays each of the reading information as a symbol,
The information processing method according to claim 7, wherein an editing unit receives an operation on the symbol and edits the reading information based on the operation.

An information processing program for generating document read-out information corresponding to a document read-out device or a document read-out program that reads out a document using speech synthesis technology based on an electronic document,
Text information acquisition means for acquiring text information of the body text from the target electronic document;
Annotation information acquisition means for acquiring annotation information related to annotation from the electronic document;
Information processing characterized by causing a computer to function as reading information generation means for generating reading information based on each of text information acquired by the text information acquisition means and annotation information acquired by the annotation information acquisition means program.