JP2008234639A

JP2008234639A - 文書処理装置、文書処理方法、及び記録媒体

Info

Publication number: JP2008234639A
Application number: JP2008043222A
Authority: JP
Inventors: Katashi Nagao; 確長尾; Kazuyuki Marukawa; 和幸丸川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-02-25
Filing date: 2008-02-25
Publication date: 2008-10-02
Anticipated expiration: 2019-08-02
Also published as: JP4798150B2

Abstract

【課題】文書データに関連したビデオデータ出力による情報提示の実現。
【解決手段】電子文書データに付加された１又は複数のビデオデータ指定情報を検出し、１又は複数の特定のビデオデータを選択するビデオ選択手段と、１又は複数の電子文書データのうちの或る電子文書データを提示するために出力制御する文書出力制御手段と、文書出力制御手段の制御により出力された電子文書データに対応して、ビデオ選択手段で選択されたビデオデータを出力制御するビデオ出力制御手段とを備える。
【選択図】図１

Description

本発明は電子文書処理に関し、特に電子文書データと関連するビデオデータを出力することのできる文書処理装置に関するものである。

従来、インターネットにおいて、ウィンドウ形式でハイパーテキスト型情報を提供するアプリケーションサービスとしてＷＷＷ（World Wide Web）が提供されている。

ＷＷＷは、文書の作成、公開または共有化の文書処理を実行し、新しいスタイルの文書の在り方を示したシステムである。しかし、文書の実際上の利用の観点からは、文書の内容に基づいた文書の分類や要約といった、ＷＷＷを越える高度な文書処理が求められている。このような高度な文書処理には、文書の内容の機械的な処理が不可欠である。

しかしながら、文書の内容の機械的な処理は、以下のような理由から依然として困難である。
第１に、ハイパーテキストを記述する言語であるＨＴＭＬ（Hyper Text Markup Language）は、文書の表現については規定するが、文書の内容についてはほとんど規定しない。第２に、文書間に構成されたハイパーテキストのネットワークは、文書の読者にとって文書の内容を理解するために必ずしも利用しやすいものではない。第３に、一般に文章の著作者は読者の便宜を念頭に置かずに著作するが、文書の読者の便宜が著作者の便宜と調整されることはない。

このように、ＷＷＷは新しい文書の在り方を示したシステムであるが、文書を
機械的に処理しないので、高度な文書処理をおこなうことができなかった。換言すると、高度な文書処理を実行するためには、文書を機械的に処理することが必要となる。

そこで、文書の機械的な処理を目標として、文書の機械的な処理を支援するシステムが自然言語研究の成果に基づいて開発されている。自然言語研究による文書処理として、文書の著作者等による文書の内部構造についての属性情報、いわゆるタグの付与を前提とした、文書に付与されたタグを利用する機械的な文書処理が提案されている。

ところで、近年のコンピュータの普及や、ネットワーク化の進展に伴い、文章処理や、文書の内容に依存した索引などで、テキスト文書の作成、ラベル付け、変更などをおこなう文書処理の高機能化が求められている。たとえば、ユーザの要望に応じた文書の要約や、文書の分類等が望まれる。
また、文書やその要約を表示する文書ビューワや表示部の形態に適した表示スタイルや、表示とともに行われる読み上げ機能、さらには文書や画像の表示と読み上げの連動など、よりユーザーにとって好適な処理が求められている。
そしてさらに、文書データに関連して動画や静止画などのビデオデータを出力することができるようにすれば、ユーザーにとって、より多様かつ高度であり、さらに的確な情報を提供できることが期待されるが、従って、各種の文書処理に加えてビデオデータとの連携化が望まれている。

本発明は、このような事情に鑑みて提案されたものであって、文書処理装置において提示する文書データに対応してビデオデータを出力することができるようにし、ユーザーに対する的確、多様、高度な情報を提示できるようにすることを目的とする。

このため本発明の文書処理装置は、電子文書データに付加された１又は複数のビデオデータ指定情報を検出し、１又は複数の特定のビデオデータを選択するビデオ選択手段と、１又は複数の電子文書データのうちの或る電子文書データを提示するために出力制御する文書出力制御手段と、文書出力制御手段で出力制御された電子文書データに対応して、ビデオ選択手段で選択されたビデオデータを出力制御するビデオ出力制御手段とを備えるようにする。
つまり、各電子文書データにおいてビデオデータ指定情報（タグ）が付されていることに応じて、その電子文書データに関連するビデオデータを判別し、電子文書データに対応して、電子文書データの出力と同時又は個別に、その関連するビデオデータを出力できるようにする。
また、電子文書データ及びビデオデータを、同時もしくは個別に表示する表示手段を当該文書処理装置内に備えるようにしてもよい。
また上記構成に加えて、文書本文としての電子文書データから、その要約文としての電子文書データを作成することのできる要約作成手段を備えるようにし、ビデオ出力制御手段は、文書出力制御手段が要約作成手段により作成された要約文を出力制御する際に、ビデオ選択手段で選択されたビデオデータを出力制御するようにする。
つまり要約文の提示とともに、関連するビデオデータを提示する。
また文書出力制御手段は、電子文書データが部分毎の切換表示もしくは移動表示（テロップ表示）されるように、電子文書データを出力制御するとともに、ビデオ出力制御手段は、文書出力制御手段の制御による電子文書データ出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御する。
つまり本文又は要約文としての電子文書データのテロップ表示の進行に対応して、ビデオデータが切り換えられていくようにする。
また上記構成に加えて、電子文書データが読み上げ音声として出力されるように制御する音声出力制御手段を備え、ビデオ出力制御手段は、音声出力制御手段により電子文書データが読み上げ音声として出力制御される際に、ビデオ選択手段で選択されたビデオデータを出力制御するようにする。
つまり本文又は要約文としての電子文書データの読み上げとともに、関連するビデオデータを提示する。
またビデオ出力制御手段は、音声出力制御手段の制御による読み上げ音声出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御する。
つまり本文又は要約文としての電子文書データの読み上げの進行に対応して、ビデオデータが切り換えられていくようにする。

本発明の文書処理方法は、電子文書データに付加された１又は複数のビデオデータ指定情報を検出し、１又は複数の特定のビデオデータを選択するビデオ選択手順と、１又は複数の電子文書データのうちの或る電子文書データを提示するために出力制御する文書出力制御手順と、文書出力制御手順で出力制御された電子文書データに対応して、ビデオ選択手順で選択されたビデオデータを出力制御するビデオ出力制御手順とが行われるようにする。
また、文書本文としての電子文書データから、その要約文としての電子文書データを作成することのできる要約作成手順を有するようにし、ビデオ出力制御手順では、要約作成手順で作成された要約文が文書出力制御手順において出力制御される際に、ビデオ選択手順で選択されたビデオデータを出力するようにする。
また、文書出力制御手順では、電子文書データが部分毎の切換表示もしくは移動表示（テロップ表示）されるように、電子文書データを出力制御するとともに、ビデオ出力制御手順では、文書出力制御手順での制御による電子文書データ出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御する。
また電子文書データが読み上げ音声として出力されるように制御する音声出力制御手順を有するようにし、ビデオ出力制御手順では、音声出力制御手順での制御により電子文書データが読み上げ音声として出力される際に、ビデオ選択手順で選択されたビデオデータが出力されるように制御する。
またビデオ出力制御手順では、音声出力制御手順の制御による読み上げ音声出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御する。
また本発明の記録媒体は、以上のような各手順を有する動作制御プログラムが記録されているものとする。

以上の説明からわかるように本発明では、次のような効果が得られる。
即ち本発明の文書処理装置及び文書処理方法によれば、各電子文書データにおいてビデオデータ指定情報（ビデオタグ）が付されていることに応じて、その電子文書データに関連するビデオデータを判別し、電子文書データに対応して、電子文書データの出力と同時又は個別に、その関連するビデオデータを出力することができる。従って、文書の提示だけでなく、その文書内容と関連する映像をユーザーに提示でき、ユーザーに対して的確で、かつ多様、高度な情報を提供できるという効果がある。
ビデオデータとしては、提供できる情報量の多い動画や、イメージを的確に伝えることのできる静止画を、それぞれ適切に用いることで、ユーザーに対する適切な情報提示が可能となる。

また本文としての電子文書データから作成された要約文を出力する際に、それに関連するビデオデータを出力するようにすれば、要約文と映像の両方により、ユーザーにとって文書内容をわかりやすく提供できる。

さらに、本文又は要約文などの電子文書データの読み上げとともに、それに関連するビデオデータを出力するようにすれば、読み上げ音声と映像の両方により、ユーザーにとって文書内容をわかりやすく提供できる。

また、本文又は要約文などの電子文書データを部分毎の切り換えもしくは移動による表示、即ちテロップ表示を行う場合や、或いは本文又は要約文などの電子文書データの読み上げを行う場合は、そのテロップ表示や読み上げの進行に時間的に対応してビデオデータを切り換えていくようにすることで、テロップ表示や読み上げ音声と、ビデオデータを適切にリンクさせてユーザーに提示でき、ユーザーにとって好適な情報提供を実現できる。

さらに本発明の記録媒体によれば、本発明の文書処理方法を実現するプログラムを提供できることになり、例えば汎用のパーソナルコンピュータ等を用いて、本発明の文書処理装置を容易に実現できるようになる。これにより、一般ユーザーは容易に上記効果を享受できるものとなる。

以下、本発明の実施の形態について次の順序で説明する。
１．文書処理装置の構成
２．文書データ構造
３．文書データに対する手動分類処理
３−１処理手順
３−２インデックス作成
３−３文書閲覧／分類作成／分類操作
３−４分類モデル作成／登録
４．文書データに対する自動分類処理
４−１処理手順
４−２自動分類
５．読み上げ処理
６．要約作成／表示処理
７．ビデオファイルの出力処理
７−１ビデオファイル及びタグ
７−２ビデオ出力処理
７−３要約出力時のビデオ出力処理
７−４読み上げ時のビデオ出力処理
７−５各種のビデオ出力形態
８．文書処理装置の機能ブロック構成

１．文書処理装置の構成
本発明の実施の形態としての文書処理装置１は、図１に示すように、制御部１１およびインターフェース１２を備える本体１０と、ユーザからの入力を受けて本体１０に送る入力部２０と、外部との信号の送受信を行う通信部２１と、本体１０からの出力を表示する表示部３０と、記録媒体３２に対して情報を記録／再生する記録／再生部３１と、音声出力部３３と、ＨＤＤ（ハードディスクドライブ）３４を有している。

本体１０は、制御部１１およびインターフェース１２を有し、この文書処理装置１の主要な部分を構成している。
制御部１１は、この文書処理装置１における処理を実行するＣＰＵ１３と、揮発性のメモリであるＲＡＭ１４と、不揮発性のメモリであるＲＯＭ１５とを有している。
ＣＰＵ１３は、たとえばＲＯＭ１５に記録された手順にしたがって、必要な場合にはデータを一時的にＲＡＭ１４に格納して、プログラムを実行するための制御をおこなう。
この制御部１１の動作としては、詳しくはそれぞれ後述していくが、供給された文書データに関する分類処理、要約作成処理、読み上げ動作のための音声読み上げ用ファイルの生成処理、及びこれらの処理に必要な文書解析などがある。さらに、文書データに関連するビデオデータの出力制御処理も行う。そしてこれらの動作のために必要なプログラムやアプリケーションソフトが、ＲＯＭ１５や、ＨＤＤ３４、あるいは記録媒体３２に記憶されている。
なお、制御部１１が用いる文書処理プログラムは上記のようにあらかじめＲＯＭ１５に格納されたり、あるいは、記録媒体３２やＨＤＤ３４から取り込むことが考えられるが、例えば通信部２１を介してインターネット等のネットワークから、外部サーバ等が提供する文書処理プログラムをダウンロードすることも考えられる。

インターフェース１２は、制御部１１、入力部２０、通信部２１、表示部３０、記録／再生部３１、音声出力部３３、ＨＤＤ３４に接続される。
そしてインターフェース１２は、制御部１１の制御の下に、入力部２０からのデータの入力、通信部２１との間のデータの入出力、表示部３０へのデータの出力、記録／再生部３１に対するデータの入出力、音声出力部３３へのデータの出力、ＨＤＤ３４に対するデータの入出力の各動作を行う。具体的には制御部１１と上記各部の間でのデータの入出力のタイミングを調整したり、データの形式を変換することなどを行う。

入力部２０は、この文書処理装置１に対するユーザの入力を受ける部分である。この入力部２０は、たとえばキーボードやマウスにより構成される。ユーザは、この入力部２０を用い、キーボードによリキーワード等の文字を入力したり、マウスにより表示部３０に表示されている電子文書のエレメントを選択することなどができる。
なお、以下では文書処理装置１で扱う電子文書を、「文書データ」又は単に「文書」と称することにする。また「エレメント」とは文書を構成する要素であって、たとえば文書、文および語が含まれる。

通信部２１は、この文書処理装置１に外部からたとえば通信回線を介して送信される信号を受信したり、通信回線に信号を送信する部位である。この通信部２１は、外部から送信された１又は複数の文書等のデータを受信し、受信したデータを本体１０に送る。もちろん通信回線を介して外部装置にデータを送信することも行われる。
また、文書データに付随して、もしくは独立して、１又は複数のビデオデータ（ビデオファイル）が通信部２１により取り込まれることもある。

表示部３０は、この文書処理装置１の出力としての文字や画像情報を表示する部位である。この表示部３０は、たとえば陰極線管（cathode ray tube；CRT）や液晶表示装置（Liquid crystal display；LCD）などにより構成され、たとえば単数または複数のウィンドウを表示し、このウィンドウ上に文字、図形等を表示する。

記録／再生部３１は、たとえばいわゆるフロッピーディスクのような記録媒体３２に対してデータの記録／再生をおこなう。
なお、ここでは記録媒体３２の例としてフロッピーディスク（磁気ディスク）を例をあげているが、もちろん光ディスク、光磁気ディスク、メモリカードなど、可搬性メディアであれば記録媒体３２の例として適用できる。そして記録／再生部３１は、メディアに応じた記録再生装置（ディスクドライブ、カードドライブなど）であればよい。

記録媒体３２が、文書を処理するための文書処理プログラムが記録されているものである場合は、記録／再生部３１は、その記録媒体３２から文書処理プログラムを読み出して制御部１１に供給することができる。
また記録媒体３２に文書データやビデオデータが記録されていれば、記録／再生部３１でそれを読み出して制御部１１に供給することができる。即ち文書処理装置１にとって、通信部２１による文書データ及びビデオデータの受信とは別の、文書データ及びビデオデータの入力態様となる。
さらに、制御部１１は当該文書処理装置１で処理した文書データを記録／再生部３１において記録媒体３２に記録させることもできる。

音声出力部３３は、文書処理装置１の出力としての文書を、読み上げ音声として出力する部位である。
即ち音声出力部３３は、制御部１１が文書情報（後述する読み上げ用ファイル）に基づいた音声合成処理により生成した音声信号が供給された際に、その音声信号の出力処理を行うことで、表示部３０とともに文書処理装置１の出力手段として機能する。

ＨＤＤ３４は、文書処理装置１における大容量の記録領域を提供する。ＨＤＤ３４は、制御部１１の制御に基づいて情報の記録／再生を行う。
このＨＤＤ３４は、制御部１１で実行される各種処理のためのアプリケーションプログラム、例えば音声合成のためのプログラムなどの格納するために用いられたり、例えば当該文書処理装置１に取り込まれた文書データやビデオデータ等を格納しておく部位として用いることなどが可能となる。

２．文書データ構造
続いて、本例における文書データの構造について説明する。本例においては、文書処理は、文書に付与された属性情報であるタグを参照しておこなわれる。本例で用いられるタグには、文書の構造を示す統語論的（syntactic）タグと、多言語間で文書の機械的な内容理解を可能にするような意味的（semantic）・語用論的タグとがある。

統語論的なタグとしては、文書の内部構造を記述するものがある。
タグ付けによる内部構造は、図２に示すように、文書、文、語彙エレメント等の各エレメントが互いに、通常リンク、参照・被参照リンクによりリンクされて構成されている。
図中において、白丸“○”はエレメントを示し、最下位の白丸は文書における最小レベルの語に対応する語彙エレメントである。また、実線は文書、文、語彙エレメント等のエレメント間のつながり示す通常リンク（normal link）であり、破線は参照・被参照による係り受け関係を示す参照リンク（reference link）である。
文書の内部構造は、上位から下位への順序で、文書（documemt）、サブディビジョン（subdivision）、段落（paragraph）、文（sentence）、サブセンテンシャルセグメント（subsentential segment）、・・・、語彙エレメントから構成される。このうち、サブディビジョンと段落はオプションである。

一方、意味論・語用論的なタグ付けとしては、多義語の意味のように意味等の情報を記述するものがある。
本例におけるタグ付けは、ＨＴＭＬ（Hyper Text Markup Language）と同様なＸＭＬ（Extensible Markup Language）の形式によるものである。

タグ付けの一例を次に示すが、文書へのタグ付けはこの方法に限られない。また、以下では英語と日本語の文書の例を示すが、タグ付けによる内部構造の記述は他の言語にも同様に適用することができる。

たとえば、“Time flies like an arrow.”という文については、下記のようなタグ付けをすることができる。＜＞が、文書に対して付与されたタグである。

＜文＞＜名詞句語義＝“time０”＞time＜／名詞句＞
＜動詞句＞＜動詞語義＝“fly１”＞flies＜／動詞＞
＜副詞句＞＜副詞語義＝like０＞like＜／副詞＞＜名詞句＞an
＜名詞語義＝“arrow０”＞arrow＜／名詞＞＜／名詞句＞
＜／副詞句＞＜／動詞句＞．＜／文＞

ここで＜文＞、＜名詞＞、＜名詞句＞、＜動詞＞、＜動詞句＞、＜副詞＞、＜副詞句＞は、それぞれ文、名詞、名詞句、動詞、動詞句、形容詞／副詞（前置詞句または後置詞句を含む）、形容詞句／副詞句、を示している。つまり文の統語構造（syntactic structure）を表している。

これらのタグは、エレメントの先端の直前および終端の直後に対応して配置される。エレメントの終端の直後に配置されるタグは、記号“ ／”によりエレメントの終端であることを示している。エレメントとは統語的構成素、すなわち句、節、および文のことである。
なお、語義（word sense）＝“time０”は、語“time”の有する複数の意味、すなわち複数の語義のうちの第０番目の意味を指している。具体的には、語“time”には少なくとも名詞、形容詞、動詞の意味があるが、ここでは語“time”が名詞（＝第０番目の意味）であることを示している。同様に、語“オレンジ”は少なくとも植物の名前、色、果物の意味があるが、これらも語義によって区別することができる。

本例では、文書データについては、図３に示すように、表示部３０上のウィンドウ１０１において、その統語構造を表示することができる。このウィンドウ１０１においては、右半面１０３に語彙エレメントが、左半面１０２に文の内部構造がそれぞれ表示されている。

例えば図示するようにこのウィンドウ１０１には、タグ付けにより内部構造が記述された文章「Ａ氏のＢ会が終わったＣ市で、一部の大衆紙と一般紙がその写真報道を自主規制する方針を紙面で明らかにした。」の一部が表示されている。この文書のタグ付けの例は次のようになる。

＜文書＞＜文＞＜副詞句関係＝“場所”＞＜名詞句＞＜副詞句場所＝“Ｃ市”＞
＜副詞句関係＝“主語”＞＜名詞句識別子＝“Ｂ会”＞＜副詞句関係＝“所属”＞＜人名識別子＝“Ａ氏”＞Ａ氏＜／人名＞の＜／副詞句＞＜組織名識別子＝“Ｂ会”＞Ｂ会＜／組織名＞＜／名詞句＞が＜／副詞句＞
終わった＜／副詞句＞＜地名識別子＝“Ｃ市”＞Ｃ市＜／地名＞＜／名詞句＞で、＜／副詞句＞＜副詞句関係＝“主語”＞＜名詞句識別子＝“press” 統語＝“並列”＞＜名詞句＞＜副詞句＞一部の＜／副詞句＞大衆紙＜／名詞句＞と＜名詞＞一般紙＜／名詞＞＜／名詞句＞が＜／副詞句＞
＜副詞句関係＝“目的語”＞＜副詞句関係＝“内容” 主語＝“press”＞＜副詞句関係＝“目的語”＞＜名詞句＞＜副詞句＞＜名詞共参照＝“Ｂ会”＞そ＜／名詞＞の＜／副詞句＞写真報道＜／名詞句＞を＜／副詞句＞
自主規制する＜／副詞句＞方針を＜／副詞句＞
＜副詞句間係＝“位置”＞紙面で＜／副詞句＞
明らかにした。＜／文＞＜／文書＞

このようにタグ付されることで、各一対のタグ＜＞〜＜／＞によって文書の構造が表現される。
例えば＜文書＞〜＜／文書＞で１つの文書の範囲が示され、同様に＜文＞〜＜／文＞で１つの文の範囲が示される。また例えば、＜名詞句識別子＝“Ｂ会”＞〜＜／名詞句＞により、「Ａ氏のＢ会」という部分が「Ｂ会」を識別子とする名詞句として表現される。
即ち上記タグ付により、図３の左半面１０２に示した文の内部構造が表現される。

さらに、この文書においては、「一部の大衆紙と一般紙」は、統語＝“並列”というタグにより並列であることが表されている。並列の定義は、係り受け関係を共有するということである。特に何も指定がない場合、たとえば、＜名詞句関係＝ｘ＞＜名詞＞Ａ＜／名詞＞＜名詞＞Ｂ＜／名詞＞＜／名詞句＞は、ＡがＢに依存関係があることを表す。関係＝ｘは関係属性を表す。

関係属性は、統語、意味、修辞についての相互関俵を記述する。主語、目的語、間接目的語のような文法機能、動作主、被動作者、受益者などのような主題役割、および理由、結果などのような修辞関係はこの関係属性により記述される。本例では、主語、目的語、間接目的語のような比較的容易な文法機能について関係属性を記述する。

また、この文書においては、“Ａ氏”、“Ｂ会”、“Ｃ市”のような固有名詞について、地名、人名、組織名等のタグにより属性が記述されている。これら地名、人名、組織名等のタグが付与されることで、その語が固有名詞であることが表現される。

３．文書データに対する手動分類処理
３−１処理手順
本例の文書処理装置１では、例えば通信部２１（又は記録／再生部３１）により外部から文書データが取り込まれると、その文書データを内容に応じて分類する処理を行う。なお、以下の説明では、外部からの文書データは通信部２１を介して取り込まれるとして述べていくが、その説明は、外部からフロッピーディスク等の可搬性メディアの形態で供給され、記録／再生部３１から文書データが取り込まれる場合も同様となるものである。

分類処理としては、文書データ内容に応じてユーザーが手動で分類する手動分類処理と、文書処理装置１が自動的に分類する自動分類処理がある。
これらの分類処理は、後述する分類モデルに基づいて行われるわけであるが、文書処理装置１においては、初期状態では分類モデルは存在しない。そのため初期状態にある時点では、手動分類処理として、分類モデルの作成を含む分類処理が必要になる。そして、分類モデルが生成された後においては、入力された文書データに対して自動分類処理が可能となるものである。
まずここでは、最初に実行することが必要とされる手動分類処理について説明する。即ちこの手動分類処理とは、初期状態にある文書処理装置１が外部から送られた文書データを受信した際に、ユーザーの操作に基づいて、制御部１１が分類モデルの作成及び文書データの分類を行う動作となる。

まず手動分類処理としての全体の処理手順を図４に示す。なお、各処理ステップの詳細な処理については後述する。

図４のステップＦ１１は、文書処理装置１の受信部２１による文書受信処理を示している。このステップＦ１１では、受信部２１は、たとえば通信回線を介して送信された１又は複数の文書を受信する。受信部２１は、受信した文書を文書処理装置の本体１０に送る。制御部１１は供給された１又は複数の文書データをＲＡＭ１４又はＨＤＤ３４に格納する。

なお、文書受信時には、その文書に関連するビデオデータ（動画又は静止画データ）を含むビデオファイルが受信される場合があり（もちろんビデオデータのみの受信もあり得る）、１又は複数のビデオファイルが受信された場合は、制御部１１はそのビデオファイルを取り込んでＲＡＭ１４又はＨＤＤ３４に格納する。ビデオファイルに関する処理については後に詳述する。

ステップＦ１２では、文書処理装置１の制御部１１は、受信部２１から送られた複数の文書の特徴を抽出し、それぞれの文書の特徴情報すなわちインデックスを作成する。制御部１１は、作成したインデックスを、たとえばＲＡＭ１４又はＨＤＤ３４に記憶させる。
後述するがインデックスは、その文書に特徴的な、固有名詞、固有名詞以外の語義などを含むものであり、文書の分類や検索に利用できるものである。

ステップＦ１３の文書閲覧は、ユーザーの必要に応じて実行される処理である。つまりユーザーの操作に応じて行われる。なお、このステップＦ１３や次のステップＦ１４は、ユーザ操作に基づく処理である。
入力された文書データに対しては、ユーザーは所要の操作を行うことにより、表示部３０の画面上で、その文書内容を閲覧することができる。
そして文書閲覧中は、ユーザーは画面上のアイコン等に対する操作により、例えば後述する要約作成などの各種処理を指示できるが、この手動分類処理に関しては、ステップＦ１４として示すように、分類項目の作成及び分類操作としての処理に進むことになる。
ステップＦ１４では、ユーザーが分類項目（なお本明細書では、分類項目のことをカテゴリともいう）を設定する操作を行うことに応じて、制御部１１は分類項目を生成／表示していく。またユーザーが文書データを、設定された分類項目に振り分けていく操作も行うことになり、それに応じて制御部１１は文書データの振り分け／表示を行うことになる。

ステップＦ１５では、制御部１１は、ステップＦ１４でユーザーが行った分類項目作成及び分類操作に応じて、分類モデルを作成する。
分類モデルは、文書を分類する複数の分類項目（カテゴリ）から構成されるとともに、各カテゴリに対して各文書のインデックス（ステップＦ１２で作成した各文書のインデックス）を対応づけることで、分類状態を規定するデータである。
このような分類モデルを生成したら、ステップＦ１６で、その分類モデルを登録する。即ち制御部１１は、分類モデルをたとえばＲＡＭ１４に記憶させることで登録を行う。
以上の図４の処理により、文書処理状態１が初期状態にある時に入力された１又は複数の各文書データについて、手動分類及び分類モデルの作成が行われたことになる。
この図４のステップＦ１２以下の処理について詳しく述べていく。

３−２インデックス作成
ステップＦ１４では、制御部１１は入力された文書データについてインデックスの作成を行う。
まず、或る１つの文書データに対して作成されたインデックスの具体例を示す。

＜インデックス日付＝“AAAA/BB/CC” 時刻＝“DD:EE:FF” 文書アドレス＝“1234”＞
＜ユーザの操作履歴最大要約サイズ＝“100”＞
＜選択エレメントの数＝“10”＞ピクチャーテル＜／選択＞
・・・
＜／ユーザの操作履歴＞
＜要約＞減税規模、触れず−Ｘ首相の会見＜／要約＞
＜語語義＝“0003” 中心活性値＝“140.6”＞触れず＜／語＞
＜語語義＝“0105” 識別子＝“Ｘ” 中心活性値＝“67.2”＞首相＜／語＞＜人名識別子＝“Ｘ” 語語義＝“6103” 中心活性値＝“150.2”＞Ｘ首相＜／語／人名＞
＜語語義＝“5301” 中心活性値＝“120.6”＞求めた＜／語＞
＜語語義＝“2350” 識別子＝“Ｘ” 中心活性値＝“31.4”＞首相＜／語＞
＜語語義＝“9582” 中心活性値＝“182.3”＞強調した＜／語＞
＜語語義＝“2595” 中心活性値＝“93.6”＞触れる＜／語＞
＜語帝義＝“9472” 中心活性値＝“12.0”＞予告した＜／語＞
＜語語義＝“4934” 中心活性値＝“46.7”＞触れなかった＜／語＞
＜語語義＝“0178” 中心活性値＝“175.7”＞釈明した＜／語＞
＜語語義＝“7248” 識別子＝“Ｘ” 中心活性値＝“130.6”＞私＜／語＞
＜語語義＝“3684” 識別子＝“Ｘ” 中心活性値＝“121.9”＞首相＜／語
＞
＜語語義＝“1824” 中心活性値＝“144.4.”＞訴えた＜／語＞
＜語語義＝“7289” 中心活性値＝“176.8”＞見せた＜／語＞
＜／インデックス＞

このインデックスにおいては、＜インデックス＞および＜／インデックス＞は、インデックスの始端および終端を、＜日付＞および＜時刻＞はこのインデックスが作成された日付および時刻を、＜要約＞および＜／要約＞はこのインデックスの内容の要約の始端および終端を、それぞれ示している。
また、＜語＞および＜／語＞は語の始端および終端を示している。
さらに例えば、語義＝“0003”は、第３番目の語義であることを示している。他についても同様である。上述したように、同じ語でも複数の意味を持つ場合があるので、それを区別するために語義ごとに番号が予め決められており、その該当する語義が番号で表されているものである。

また、＜ユーザの操作履歴＞および＜／ユーザの操作履歴＞は、ユーザの操作履歴の始端および終端を、＜選択＞および＜／選択＞は、適訳されたエレメントの始端および終端を、それぞれ示している。最大要約サイズ＝“100”は、要約の最大のサイズが１００文字であることを、エレメントの数＝“10”は、選択されたエレメントの数が１０であることを示している。

この例のように、インデックスは、その文書に特徴的な、固有名詞、固有名詞以外の語義などを含むものである。
例えばこのようなインデックスを作成するステップＦ１２の処理を、図５〜図８で説明する。なお、図５は１つの文書データに対するインデックス作成処理を示しており、従って複数の文書データについて処理を行う場合は、各文書データについてこの図５の処理が行われることになる。
また図５のステップＦ３１の詳細な処理を図７に示し、さらに図７のステップＦ４３の詳細な処理を図８に示している。

上述した図４のステップＦ１２のインデックス作成処理としては、まず図５のステップＦ３１の活性拡散が行われる。
この活性拡散とは、文書データについて、エレメントの中心活性値を文書の内部構造に基づいて拡散することで、中心活性値の高いエレメントと関わりのあるエレメントにも高い中心活性値を与えるような処理である。
即ち、文書を構成する各エレメントに対して初期値としての中心活性値を与えた後、その中心活性値を、文書の内部構造、具体的にはリンク構造に基づいて拡散する。
この中心活性値は、タグ付けによる内部構造に応じて決定されるので、文書の特徴の抽出等に利用されるものである。
制御部１１は、このステップＦ３１として、活性拡散を行い、活性拡散の結果として得られた各エレメントの中心活性値を、たとえばＲＡＭ１４に記憶させることになる。

ステップＦ３１の活性拡散について、図６〜図８で詳しく説明していく。
まずエレメントとエレメントのリンク構造の例を図６に示す。
図６においては、文書を構成するエレメントとリンクの構造の一部として、エレメントＥ１、Ｅ２の周辺を示している。Ｅ１〜Ｅ８はエレメントの例であり、この中でエレメントＥ１、Ｅ２に注目して説明する。

エレメントＥ１の中心活性値はｅ１であるとし、またエレメントＥ２の中心活性値はｅ２であるとする。
このエレメントＥ１，Ｅ２は、リンクＬ１２（上述した通常リンクもしくは参照リンク）にて接続されている。
リンクＬ１２のエレメントＥ１に接続する端点をＴ１２、エレメントＥ２に接続する端点をＴ２１とする。
エレメントＥ１は、さらにエレメントＥ３，Ｅ４，Ｅ５と、それぞれリンクＬ１３，Ｌ１４，Ｌ１５で接続されている。各リンクＬ１３，Ｌ１４，Ｌ１５におけるエレメントＥ１側の端点をそれぞれＴ１３，Ｔ１４，Ｔ１５とする。
またエレメントＥ２は、エレメントＥ６，Ｅ７，Ｅ８とも、それぞれリンクＬ２６，Ｌ２７，Ｌ２８で接続されている。各リンクＬ２６，Ｌ２７，Ｌ２８におけるエレメントＥ２側の端点をそれぞれＴ２６，Ｔ２７，Ｔ２８とする。
このようなリンク構造の例を用いながら、図７、図８の活性拡散処理を説明していく。

図７のステップＦ４１で制御部１１は、インデックス作成対象としての文書データについて活性拡散を開始するにあたり、まず文書データの全エレメントについて中心活性値の初期設定を行う。
中心活性値の初期値としては、例えば固有名詞や、ユーザーが選択（クリック）したエレメント等に高い値を与えるようにする。
また制御部１１は、参照リンクと通常リンクに関して、エレメントを連結するリンクの端点Ｔ(xx)の端点活性値を０に設定する。制御部１１は、このように付与した端点活性値の初期値を、たとえばＲＡＭ１４に記憶させる。

ステップＦ４２においては、制御部１１は、文書を構成するエレメントＥｉを計数するカウンタの初期化をおこなう。すなわち、エレメントを計数するカウンタのカウント値ｉを１に設定する。ｉ＝１の場合、このカウンタは、第１番目のエレメント（例えば図６のエレメントＥ１）を参照することになる。

ステップＦ４３においては、制御部１１は、カウンタが参照するエレメントについて、新たな中心活性値を計算する中心活性値更新処理を実行する。
この中心活性値更新処理について、エレメントＥ１についての処理を例に挙げながら、図８で詳しく説明する。
この中心活性値更新処理は、エレメントについての端点活性値を更新し、さらに更新された端点活性値と現在の中心活性値を用いて、新たな中心活性値を算出する処理となる。

図８のステップＦ５１では、制御部１１は、文書を構成するエレメントＥｉ（例えばこの場合Ｅ１）に一端が接続されたリンクの数を計数するカウンタの初期化をおこなう。すなわち、リンクを計数するカウンタのカウント値ｊを１に設定する。ｊ＝１の場合、このカウンタは、エレメントＥｉと接続された第１番目のリンクＬ（yy）を参照することになる。図６の例では、エレメントＥ１についての第１のリンクとして例えばリンクＬ１２を参照する。

ステップＦ５２で制御部１１は、参照中のリンク、つまりエレメントＥ１とＥ２を接続するリンクＬ１２について、関係属性のタグを参照することにより通常リンクであるか否かを判断する。制御部１１は、リンクＬ１２が通常リンクであればステップＦ５３に、一方リンクＬ１２が参照リンクであればステップＦ５４に処理を進める。

リンクＬ１２が通常リンクと判断されてステップＦ５３に進んだ場合は、制御部１１は、エレメントＥ１の通常リンクＬ１２に接続された端点Ｔ１２の新たな端点活性値を計算する処理をおこなう。
端点Ｔ１２の端点活性値ｔ１２は、リンク先のエレメントＥ２の端点活性値のうち、リンクＬ１２以外のリンクに接続するすべての端点の各端点活性値（この場合Ｔ２６、Ｔ２７、Ｔ２８の各端点活性値ｔ２６、ｔ２７，ｔ２８）と、エレメントＥ２の中心活性値ｅ２を加算し、この加算で得た値を、文書に含まれるエレメントの総数で除することにより求められる。
制御部１１は、この様な演算を、ＲＡＭ１４から読み出した各端点活性値および各中心活性値を用いて行うことで、通常リンクと接続された端点についての新たな端点活性値を算出し、算出した端点活性値を、ＲＡＭ１４に記憶させる。つまり端点Ｔ１２の端点活性値ｔ１２を更新する。

一方、ステップＦ５２でリンクＬ１２が参照リンクであると判断され、ステップＦ５４に進んだ場合は、同じく制御部１１は、通常リンクＬ１２に接続されたエレメントＥ１の端点Ｔ１２の新たな端点活性値を計算する処理をおこなうことになるが、端点活性値の算出のための演算は次のようになる。
即ちこの場合は、端点Ｔ１２の端点活性値ｔ１２は、リンク先のエレメントＥ２の端点活性値のうち、リンクＬ１２以外のリンクに接続するすべての端点の各端点活性値（この場合Ｔ２６、Ｔ２７、Ｔ２８の各端点活性値ｔ２６、ｔ２７，ｔ２８）と、エレメントＥ２の中心活性値ｅ２を加算した値とする。（つまり除算がない点が上記通常リンクの場合と異なるものとなる）
そして制御部１１は、この様な演算を、ＲＡＭ１４から読み出した各端点活性値および各中心活性値を用いて行うことで、参照リンクと接続された端点についての新たな端点活性値を算出し、算出した端点活性値を、ＲＡＭ１４に記憶させる。つまり端点Ｔ１２の端点活性値ｔ１２を更新する。

このようなステップＦ５３又はＦ５４の処理を行なったら、制御部１１はステップＦ５５での判別処理を介して（判別結果がＮＯであれば）ステップＦ５７に進み、カウント値ｊをインクリメントしてステップＦ５２に戻る。
即ち続いて、カウント値ｊ＝２とされることにより、エレメントＥ１についての第２のリンク（例えばリンクＬ１３）が参照されることになるため、上記同様にステップＦ５２以降の処理でリンクＬ１３に接続される端点Ｔ１３の端点活性値ｔ１３が算出／更新されることになる。

ステップＦ５５では、制御部１１は、現在カウント値ｉで参照中のエレメントＥｉ（Ｅ１）について、全てのリンクについての新たな端点活性値が計算されたか否かを判別して処理を分岐するものであるため、端点活性値の更新処理は、参照中のエレメントＥｉの全ての端点活性値が更新されるまで行われる。
つまりステップＦ５７でカウント値ｊがインクリメントされながら処理が繰り返されることで、例えばエレメントＥ１については、端点Ｔ１２，Ｔ１３，Ｔ１４，Ｔ１５についてそれぞれ端点活性値ｔ１２，ｔ１３，ｔ１４，ｔ１５が更新されていき、その全てが更新された時点で、処理はステップＦ５５からＦ５６に進むことになる。

エレメントＥｉについての全ての端点活性値が求められたことに応じて、ステップＦ５６では、更新された端点活性値を用いて、エレメントＥｉの新たな中心活性値ｅｉを算出する。
エレメントＥｉの新たな中心活性値ｅｉは、エレメントＥｉの現在の中心活性値ｅｉとエレメントＥｉのすべての端点の新たな端点活性値の和で求められる。例えば図６のエレメントＥ１の場合は、新たな中心活性値ｅ１(new)は、
ｅ１(new)＝ｅ１＋ｔ１２＋ｔ１３＋ｔ１４＋ｔ１５
となる。

制御部１１は、このようにして現在カウント値ｉで参照中のエレメントＥｉの中心活性値ｅｉを算出する。そして、制御部１１は、計算した新たな中心活性値ｅｉをＲＡＭ１４に記憶させる。つまりエレメントＥｉの中心活性値ｅｉを更新する。（但しこの時点では、後述するステップＦ４５の処理で用いるため、旧中心活性値も保持しておく）

図７のステップＦ４３の中心活性値更新処理として、以上図８に示したような処理が行われるたら、制御部１１の処理は図７のステップＦ４４に進み、制御部１１は、文書中のすべてのエレメントについて中心活性値更新処理が完了したか否かを判断する。具体的には、制御部１１は、カウント値ｉが、文書に含まれるエレメントの総数に達したか否かを判断する。
制御部１１は、すべてのエレメントについて中心活性値更新処理が完了していないときは、ステップＦ４７に処理を進め、カウント値ｉをインクリメントしてステップＦ４３に戻る。
例えば上記のようにエレメントＥ１についての処理が終わった後であれば、カウント値ｉ＝２とされて、今度はエレメントＥ２が参照されることになる。
そしてエレメントＥ２について、ステップＦ４３の中心活性値更新処理（即ち図８の処理）が上記同様に行われる。
重複説明となるため詳細は述べないが、図６のリンク例でいえば、エレメントＥ２の場合は、図８の処理において端点Ｔ２１，Ｔ２６，Ｔ２７，Ｔ２８の各端点活性値ｔ２１，ｔ２６，ｔ２７，ｔ２８が更新された後、新たな中心活性値ｅ２(new)が、
ｅ２(new)＝ｅ２＋ｔ２１＋ｔ２６＋ｔ２７＋ｔ２８
として算出され、更新されることになる。

図７の処理においては、このようにステップＦ４７でカウント値ｉがインクリメントされて参照エレメントが変更されながらステップＦ４３の中心活性値更新処理が繰り返されることで、文書に含まれる全てのエレメントの中心活性値が更新されていくことになる。

文書中のすべてのエレメントについて中心活性値の更新が完了したときは、処理はステップＦ４４からＦ４５に進むことになる。
ステップＦ４５においては、制御部１１は、文書に含まれるすべてのエレメントの中心活性値の変化分、すなわち新たに計算された中心活性値の元の中心活性値に対する変化分について平均値を計算する。
例えば制御部１１は、ＲＡＭ１４に記憶された旧中心活性値と、更新した新たな中心活性値を、文書に含まれるすべてのエレメントについて読み出す。そして各エレメントについて新中心活性値と旧中心活性値の差分を求め、その差分の総和をエレメントの総数で除することにより、すべてのエレメントの中心活性値の変化分の平均値を計算する。
制御部１１は、このように計算したすべてのエレメントの中心活性値の変化分の平均値を、たとえばＲＡＭ１４に記憶させる。

続いてステップＦ４６において制御部１１は、ステップＦ４５で計算した平均値が、あらかじめ設定された閾値以内であるか否かを判断する。
そして、制御部１１は、上記平均値が閾値以内である場合は、活性拡散処理としての一連の行程を終了するが、上記平均値が閾値以内でないときには、ステップＦ４２にもどって、上述した一連の行程を再び実行する。

この一連の活性拡散処理は、中心活性値が高いエレメントに関連のある（リンクする）エレメントについて、その中心活性値を引き上げていく処理といえるものである。
ところが、この活性拡散を１回行うのみでは、インデックス作成処理の目的を考えたときに、本来中心活性値を引き上げられるべきエレメントの中で、中心活性値が十分に引き上げられないものが発生する場合もありうる。例えば、１回の活性拡散では、中心活性値の初期値が高く設定されたエレメントに直接リンクするエレメントについては、或る程度中心活性値が引き上げられるが、直接リンクしていないエレメントは、それがインデックスとして重要なエレメントであっても十分に中心活性値が引き上げられないことが生ずる。
そこで、ステップＦ４６の判断を介して、必要に応じて活性拡散処理を複数回行うようにすることで、全体的に中心活性値が収束されるようにし、中心活性値が引き上げられない重要なエレメントがなるべく生じないようにするものである。
なお、複数回の活性拡散で、全体的に中心活性値が収束されていくのは、活性拡散処理で更新された各エレメントの中心活性値に基づいて、さらに次の活性拡散処理で各エレメントの中心活性値が更新されていくためである。但し、このような活性拡散処理が多数回行われすぎると、全エレメントの中心活性値が収束しきってほぼ同値となるような事態となり、不適切である。
このため、ステップＦ４５，Ｆ４６の処理として、中心活性値の変化分の平均値を求めるように、その変化分に基づいて活性拡散処理の終了タイミングを判断することで、インデックス作成に好適な活性拡散が実現されることになる。

以上の図７、図８のような活性拡散処理（即ち図５のステップＦ３１）が完了したら、制御部１１の処理は図５のステップＦ３２に進むことになる。
ステップＦ３２においては、制御部１１は、ステップＦ３１で得られた各エレメントの中心活性値に基づいて、中心活性値があらかじめ設定された閾値を超えるエレメントを抽出する。制御部１１は、このように抽出したエレメントをＲＡＭ１４に記憶させる。

続いてステップＦ３３においては、制御部１１は、ステップＦ３２にて抽出したエレメントをたとえばＲＡＭ１４から読み出す。そして制御部１１は、この抽出したエレメントの中からすべての固有名詞を取り出してインデックスに加える。固有名詞は語義を持たず、辞書に載っていないなどの特殊の性質を有するので固有名詞以外の語とは別に扱うものである。なお語義とは、前述したように、語の有する複数の意味のうちの各意味に対応したものである。
各エレメントが固有名詞であるか否かは、文書に付されたタグに基づいて判断することができる。たとえば、図３に示したタグ付けによる内部構造においては、“Ａ氏”、“Ｂ会”および“Ｃ市”は、タグによる関係属性がそれぞれ“人名”、“組織名”および“地名”であるので固有名詞であることが分かる。そして、制御部１１は、取り出した固有名詞をインデックスに加え、その結果をＲＡＭ１４に記憶させる。

次のステップＦ３４においては、制御部１１は、ステップＦ３２にて抽出したエレメントの中から、固有名詞以外の語義を取り出してインデックスに加え、その結果をＲＡＭ１４に記憶させる。

以上の処理により、例えば上記した具体例のようなインデックスが生成される。即ちインデックスは、タグ付けされた文書の特徴を発見して、その特徴を配列したものとなり、その文書の特徴は、文書の内部構造に応じて拡散処理された中心活性値に基づいて判断されるものとなる。
そしてこのようなインデックスは、文書を代表するような特徴を表す語義および固有名詞を含むので、所望の文書を参照する際に用いることができる。
なお、インデックスには、文書の特徴を表す語義および固有名詞とともに、その文書がＲＡＭ１４（又はＨＤＤ３４）において記憶された位置を示す文書アドレスを含めておく。

３−３文書閲覧／分類作成／分類操作
以上の図５〜図８で説明したインデックス作成処理は図４のステップＦ１２で行われるものとなる。従って図４の手動分類処理としては、続いてステップＦ１３，Ｆ１４の処理、即ち上述したようにユーザーによる閲覧及び手動分類の処理に移る。

上述のように、図４のステップＦ１３においては、ユーザーは表示部３０に表示される文書を閲覧することができる。
またステップＦ１４においては、ユーザーが分類項目を設定する操作や、文書データを、設定された分類項目に振り分けていく操作を行うことができる。
このステップＦ１３，Ｆ１４で行われる操作や、それに対応する制御部１１の処理及び表示部３０の表示例は以下のようになる。

図９、図１０は表示部３０における表示の具体例を示している。
まず図９は、詳しくは後述する分類モデルに対応した文書分類ウインドウ２０１の表示例である。即ち、文書分類の表示に用いられるグラフィックユーザインターフェース（graphic user interface；GUI）の具体例となる。
この文書分類ウィンドウ２０１には、操作用のボタン表示２０２として、画面のウィンドウの状態を初期の位置にもどすポジションリセット（position reset）ボタン２０２ａと、文書の内容を閲読するブラウザ（browser）を呼び出すブラウザボタン２０２ｂと、このウィンドウからの脱出（exit）ボタン２０２ｃとが表示される。

また、この文書分類ウィンドウ３０１は、分類モデルに対応する分類項目に応じた小ウインドウとして、文書分類エリア２０３，２０４，２０５・・・が形成される。
文書分類エリア２０３は、“他のトピックス”を表示するエリアとされる。この”他のトピックス”の文書分類エリア２０３は、まだ分類されていない文書が提示される領域となる。例えば図４のステップＦ１１で受信された各文書（つまりこれから分類しようとする文書）は、この”他のトピックス”の文書分類エリア２０３に提示される。
文書分類エリア２０４は、例えば”ビジネスニュース”に分類された文書が提示される領域となる。
文書分類エリア２０５は、例えば”政治ニュース”に分類された文書が提示される領域となる。
これら以外にも、図中で符号を付していない文書分類エリアは、それぞれ特定の分類項目に応じた文書が提示される領域となる。

これらの各文書分類エリア２０３，２０４・・・では、その各文書分類エリアに設定された分類項目（カテゴリ）に分類された文書が、その文書のアイコンと文書のタイトルにより提示される。タイトルがない場合には、一文の要約が表示される。
また各文書分類エリア２０３，２０４・・・の大きさは固定的ではなく、ユーザーがドラッグ操作などにより各文書分類エリアを区切る区切枠２１１，２１２，２１３・・・を移動させることにより、各文書分類エリア２０３，２０４・・・の面積を任意に変更させることができる。文書分類エリアの数もユーザーが任意に増減できる。

また各文書分類エリア２０３，２０４・・・のタイトル（例えば「政治ニュース」など）は、ユーザーが任意に設定、変更できるものである。
なお、この文書分類エリアの数及び各タイトルは、後述する分類モデルの分類項目に応じたものとなる。言い換えれば、ユーザーがこの分類ウインドウ２０１においてマウスやキーボード等による入力部２０からの操作で、文書分類エリアの設定や削除、或いはタイトル設定を行うことで、分類モデルの分類項目の数やタイトルが設定されることになる。

図１０は、ユーザーが文書データの内容を閲覧する閲覧ウインドウ３０１の例を示している。
例えばユーザーが、図９の分類ウインドウ２０１において或る文書をクリックして選択した状態としたうえで、ブラウザボタン２０２ｂをクリックすることで、制御部１１は図１０のように選択された文書を表示する閲覧ウインドウ３０１を開くようにする。

この閲覧ウインドウ３０１には、文書データファイルのファイル名を表示するファイル名表示部３０２、そのファイル名の文書データを表示する文書表示部３０３、文書表示部３０３に表示された文書の要約文を表示する要約表示部３０４、キーワードの入力／表示を行うキーワード表示部３０５が設けられる。また操作用のボタン表示３０６として、要約文の作成を指示するための要約作成ボタン３０６ａ、アンドゥ操作（操作取消）を行うためのアンドゥボタン３０６ｂ、読み上げ動作を実行させるための読み上げボタン３０６ｃ、ビデオデータの表示を指示するためのビデオボタン３０６ｄなどが表示される。

この様な閲覧ウインドウ３０１において、ユーザーは文書表示部３０３に表示される文書を閲覧することができる。なお、文書の全体を表示しきれないときは、文書の一部が表示される。もちろんスクロール操作を行うことで、全文を閲覧できる。
また、ユーザーは要約作成ボタン３０６ａをクリックすることで、文書表示部３０３に表示される文書についての要約文を作成させ、要約表示部３０４に表示させることができる。
さらにユーザーは、読み上げボタン３０６ｃをクリックすることで、文書表示部３０３に表示されている文書の本文又は要約文についての読み上げを実行させることができる。
また、ユーザーはビデオボタン３０６ｄをクリックすることで、文書表示部３０３に表示されている文書の本文、または要約表示部３０４に表示されている要約文に関連するビデオデータの表示を実行させることができる。
なお、要約文作成のための制御部１１の処理、読み上げ動作についての処理、及びビデオ出力動作についての処理はそれぞれ後述する。

以上のような分類ウインドウ２０１、閲覧ウインドウ３０１は、図４の手動分類処理の際に限らず、ユーザーの操作に応じて随時表示部２０に表示されるものであるが、図４の手動分類処理に関していえば、ユーザーは受信した文書の種類や内容を、分類ウインドウ２０１、閲覧ウインドウ３０１で確認することができるものである。
具体的には、図４のステップＦ１１で受信された１又は複数の文書は、ステップＦ１２でのインデックス作成処理の後、図９のような分類ウインドウ２０１における”他のトピックス”の文書分類エリア２０３に表示される。
この分類ウインドウ２０１において、ユーザーは、文書分類エリア２０３に表示された各文書を手動で分類していくことになるが、例えば文書のタイトルだけ等では内容がわからない場合は、図１０の閲覧ウインドウ３０１により文書内容を確認する。そのようにユーザの必要に応じて行われる閲覧が図４のステップＦ１３の処理となる。

ステップＦ１４としては、ユーザーは分類ウインドウ２０１上において分類項目の追加、更新、削除等を任意に行うことができ、その操作に応じて、制御部１１は表示される文書分類エリア２０３、２０４・・・の表示態様（数、面積、タイトル等）を変更させていく。
なお、ユーザーによる分類項目（文書分類エリアのタイトル）の設定／変更は、それが後述する分類モデルに反映されることになる。

ユーザーは必要に応じて分類項目の設定を行った後、文書分類エリア２０３に表示されている各文書を、各文書分類エリアに振り分けていく。つまりユーザーの手動により、文書を分類する。
具体的には、”他のトピックス”の文書分類エリア２０３に表示されている文書のアイコンを、例えば入力部２０のマウスを用い、所望の分類項目（カテゴリ）に対応する文書分類エリアにドラッグすることによりおこなう。
例えばユーザーは、「スポーツ」というタイトルの文書分類エリアを設定したうえで、”他のトピックス”の文書分類エリア２０３に表示されているスポーツ関連の文書のアイコンを、“スポーツ”の文書分類エリアにドラッグするような操作を行う。
このようにして手動で分類された各文書のアイコンやタイトルは、以降、そのドラッグされた先の文書分類エリア内で表示される。

３−４分類モデル作成／登録
以上のようにユーザーによる手動分類操作が行われたら、制御部１１は図４のステップＦ１５において、ユーザの分類操作に基づいた複数のカテゴリからなる分類モデルを作成する。すなわち制御部１１は、各カテゴリに分類された上記複数の文書のインデックスを集めて、分類モデルを生成する。そして、分類モデルの各カテゴリに上記複数の文書を分類する。

分類モデルは、文書を分類する複数の分類項目（カテゴリ）から構成される。そして各カテゴリについて、分類された文書が示されるデータ形態となる。
各文書については、上記ステップＦ１２などでインデックスが形成されるが、分類モデルは例えば図１１（ａ）に示すように、各カテゴリについて分類された文書のインデックスが対応づけられたようなデータ構造となる。
この図１１（ａ）では、カテゴリとして「スポーツ」「会社」「コンピュータ」・・・等が設定されているが、これらは上記のように分類ウインドウ２０１においてユーザーが設定した分類項目となる。なお、もちろんユーザーが設定しなくとも、予め設定されている（つまり分類ウインドウで文書分類エリアとして表示される）カテゴリがあってもよい。
そして各分類項目にはインデックスＩＤＸ１、ＩＤＸ２・・・が対応づけられるが、即ち各分類項目には、ユーザーが上記のように分類した文書のインデックスが対応づけられるものとなる。

各分類項目に対応づけられるインデックスは、分類ウインドウ２０１においてその分類項目の文書分類エリアに表示されている文書のインデックスである。
例えばインデックスＩＤＸ１がカテゴリ「スポーツ」に対応づけられているのは、ユーザーが、分類ウインドウ２０１において「スポーツ」をタイトルとする文書分類エリアを作成し、さらにインデックスＩＤＸ１の文書のアイコンを、その「スポーツ」をタイトルとする文書分類エリアにドラッグするという手動分類を行ったことに基づくものとなる。

ところで上述のように各文書のインデックスは、固有名詞、固有名詞以外の語義や文書アドレス等を含んでいる。
そして、例えば図１１（ａ）のように１つの分類項目には１又は複数のインデックスが対応づけられるが、インデックスとして固有名詞、語義、文書アドレス等が含まれるため、分類モデルは図１１（ｂ）のようにも表すことができる。

即ち図１１（ｂ）に示すように、分類モデルは、各カテゴリに対応するカテゴリインデックスとして、固有名詞、固有名詞以外の語義、文書アドレスの欄を有する構造となる。
そして分類モデルにおいては、各カテゴリ「スポーツ」「社会」「コンピュータ」「植物」「美術」「イベント」に対して、固有名詞“Ａ氏、・・・”、“Ｂ氏、・・・”、“Ｃ社、Ｇ社、・・・”、“Ｄ種、・・・”、“Ｅ氏、・・・”および“Ｆ氏”等の固有名詞が割り当てられる。
また、“野球（４５４６）、グランド（２３４３）、・・・”、“労働（３１１２）、固有（９８２１）、・・・”、“モバイル（２１０２）、・・・”、“桜１（１１１１１）、オレンジ１（９９１１）”、“桜２（１１１１２）、オレンジ２（９９１２）”および“桜３（１１１１３）”等の語義も各カテゴリに割り当てられる。
さらに文書アドレス“ＳＰ１、ＳＰ２、ＳＰ３、・・・”、“Ｓ０１、Ｓ０２、Ｓ０３、・・・”、“ＣＯ１、ＣＯ２、ＣＯ３、・・・”、“ＰＬ１、ＰＬ２、ＰＬ３、・・・”、“ＡＲ１、ＡＲ２、ＡＲ３、・・・”および“ＥＶ１、ＥＶ２、ＥＶ３、・・・”も各カテゴリに割り当てられる。

なお、“桜１”“桜２”“桜３”は、“桜”の第１の語義（１１１１１）、第２の語義（１１１１２）、第３の語義（１１１１３）を示している。また、“オレンジ１”“オレンジ２”は、“オレンジ”の第１の語義（９９１１）、第２の語義（９９１２）を示している。たとえば“オレンジ１”は植物のオレンジを表し、“オレンジ２”はオレンジ色を表す。
固有名詞以外の場合に語そのものではなく語義を用いるのは、この様に、同じ語でも複数の意味を有することがあるからである。

図４のステップＦ１５では、ユーザーの手動分類操作に応じて例えばこの様な分類モデルが生成される。そしてステップＦ１６として分類モデルが登録、即ちＲＡＭ１５（又はＨＤＤ３４）に記録される。
このように分類モデルが生成／登録されることにより、文書の分類が行われたことになる。

なお、このように図４におけるステップＦ１５、Ｆ１６として分類モデルの作成／登録が行われた後は、後述する自動分類処理や、ユーザーの分類項目の編集、或いは手動分類操作などに応じて、分類モデルは逐次更新されていくことになる。
分類モデルが更新されると、分類モデルに更新日時が記録される。図１１には、更新日時として“１９９８年１２月１０日１９時５６分１０秒”が記録されている。

４．文書データに対する自動分類処理
４−１処理手順
本例の文書処理装置１では、上記のように一旦分類モデルが作成された後は、例えば通信部２１により外部から取り込まれた文書データを、自動的に分類していく自動分類処理が可能となる。
即ち以下説明する自動分類処理とは、文書処理装置１が外部から送られた文書データを受信した際に、その文書データを分類モデルに対して分類していく処理となる。
なお、この例では、一つの文書を受信する毎に以下説明する自動分類処理をおこなうこととするか、複数の所定数の文書を受信する度におこなってもよいし、ユーザが図９の画面を開く操作をしたときにそれまでに受信した全文書に対して自動分類処理をおこなうようにしてもよい。

自動分類処理としての全体の処理手順を図１２に示す。
図１２のステップＦ２１は、文書処理装置１の受信部２１による文書受信処理を示している。このステップＦ２１では、受信部２１は、たとえば通信回線を介して送信された１又は複数の文書を受信する。受信部２１は、受信した文書を文書処理装置の本体１０に送る。制御部１１は供給された１又は複数の文書データをＲＡＭ１４又はＨＤＤ３４に格納する。
なお文書データとともに（又は文書データとは独立して）、１又は複数のビデオファイルが受信された場合は、制御部１１はそのビデオファイルを取り込んでＲＡＭ１４又はＨＤＤ３４に格納することになる。

続いてステップＦ２２に進み、制御部１１は、ステップＦ２１で取り込まれた文書についてインデックスを作成する。

ステップＦ２３では、制御部１１は、分類モデルに基づいて、インデックスを付された各文書を、分類モデルのいずれかのカテゴリに自動分類する。そして、制御部１１は、分類の結果をたとえばＲＡＭ１４に記憶させる。自動分類の詳細については後述する。

ステップＦ２４では、制御部１１は、ステップＦ２３での新たな文書の自動分類の結果に基づいて、分類モデルを更新する。
そしてステップＦ２５では、制御部１１は、ステップＦ２４で更新された分類モデルを登録する。例えば分類モデルをＲＡＭ１４に記憶させる。

以上の図１２の処理により、文書処理状態１に入力された文書データが、分類モデル上で分類されるように自動分類処理が行われることになる。
すなわちこの自動分類処理においては、受信した文書に対してはインデックスが作成され、さらに自動分類が行われた後、そのインデックスを構成している固有名詞、語義、文書アドレス等が、上記図１１のように分類モデル上で或るカテゴリーに対応づけられることになる（分類モデルが更新される）。

ステップＦ２１、Ｆ２２の処理は、上述した手動分類処理におけるステップＦ１１，Ｆ１２と同様である。即ちステップＦ２２のインデックス作成処理としては、図５〜図８で説明した処理が行われるものであり、ここでの繰り返しの説明は避ける。
また、ステップＦ２４の分類モデルの更新は、ステップＦ２３の自動分類の分類結果に応じてものとなる。
以下、上述の手動分類処理とは異なる処理として、ステップＦ２３の自動分類について詳細に説明する。

４−２自動分類
図１２のステップＦ２３での自動分類の詳しい処理を図１３に示す。
図１３のステップＦ６１では、制御部１１は、分類モデルのカテゴリＣｉに含まれる固有名詞の集合と、ステップＦ２１で受信した文書から抽出されインデックスに入れられた語のうちの固有名詞の集合とについて、これらの共通集合の数をＰ（Ｃｉ）とする。そして制御部１１は、このようにして算出した数Ｐ（Ｃｉ）をＲＡＭ１４に記憶させる。

ステップＦ６２においては、制御部１１は、その文書のインデックス中に含まれる全語義と、各カテゴリＣｉに含まれる全語義との語義間関連度を、後述する図１５に示す語義間関連度の表を参照して、語義間関連度の総和Ｒ（Ｃｉ）を演算する。
すなわち制御部１１は、分類モデルにおける固有名詞以外の語について、全語義間関連度の総和Ｒ（Ｃｉ）を演算する。そして制御部１１は、演算した語義間関連度の総和Ｒ（Ｃｉ）をＲＡＭ１４に記憶させる。

ここで語義間関連度について説明しておく。
語義間関連度は、図１４の処理により文書処理装置１が備える電子辞書に含まれる語義について予め算出し、その結果を図１５のように保持しておけばよい。つまり、制御部１１が予め一度だけ図１４の処理を実行しておくようにすることで、図１３の自動分類処理の際に用いることができる。

制御部１１が予め実行しておく図１５の処理は次のようになる。
まずステップＦ７１において、制御部１１は、電子辞書内の語の語義の説明を用いて、この辞書を使って語義のネットワークを作成する。
すなわち、辞書における各語義の説明とこの説明中に現れる語義との参照関係から、語義のネットワークを作成する。
ネットワークの内部構造は、上述したようなタグ付けにより記述される。文書処理装置の制御部１１は、たとえばＲＡＭ１４に記憶された電子辞書について、語義とその説明を順に読み出して、ネットワークを作成する。
制御部１４は、このようにして作成した語義のネットワークをＲＡＭ１４に記憶させる。

なお、上記ネットワークは、文書処理装置の制御部１１が辞書を用いて作成する他に、受信部２１にて外部から受信したリ、記録／再生部３１にて記録媒体３２から再生したりすることにより得ることもできる。
また上記電子辞書は、受信部２１にて外部から受信したり、記録／再生部３１にて記録媒体３２から再生したりすることにより得ることができる。

ステップＦ７２においては、ステップＦ７１で作成された語義のネットワーク上で、各語義のエレメントに対応する中心活性値の拡散処理をおこなう。この活性拡散により、各語義に対応する中心活性値は、上記辞書により与えられたタグ付けによる内部構造に応じて与えられる。中心活性値の拡散処理は、図７で説明した処理となる。

ステップＦ７３においては、ステップＦ７１で作成された語義のネットワークを構成するある一つの語義Ｓｉを選択し、続くステップＦ７４においては、この語義Ｓｉに対応する語彙エレメントＥｉの中心活性値ｅｉの初期値を変化させ、このときの中心活性値の差分△ｅｉを計算する。

さらにステップＦ７５においては、ステップＦ７４におけるエレメントＥｉの中心活性値ｅｉの差分△ｅｉに対応する、他の語義Ｓｊに対応するエレメントＥｊの中心活性値ｅｊの差分△ｅｊを求める。
ステップＦ７６においては、ステップＦ７５で求めた差分△ｅｊを、ステップＦ７４で求めた△ｅｉで除した商△ｅｊ／△ｅｉを、語義Ｓｉの語義ｓｊに対する語義間関連度とする。

ステップＦ７７においては、一の語義Ｓｉと他の語義Ｓｊとのすべての対について語義間関連度の演算が終了したか否かについて判断する。
すべての語義の対について語義間関連度の演算が終了していないときには、ステップＦ７３にもどり、語義間関連度の演算が終了していない対について語義間関連度の演算を継続する。
このようなステップＦ７３からステップＦ７７のループにおいて、制御部１１は、必要な値をたとえばＲＡＭ１４から順に読み出して、上述したように語義間関連度を計算する。制御部１１は、計算した語義間関連度をたとえばＲＡＭ１４に順に記憶させる。
そして、すべての語義の対について語義間関連度の演算が終了したときには、ステップＦ７７から、この一連の処理を終了する。

このような語義間関連度の算出は、或る１つの語義の中心活性値を変化させた時に、それにつられて中心活性値が変化する語義を、関連度が高いものとする処理といえる。
つまりステップＦ７４で或る語義の中心活性値を変化させると、それに応じて関連する（リンクされた）語義の中心活性値が変化するものとなるため、その変化の度合いを調べれば、或る語義に対する他の各語義の関連度がわかるものである。（或るエレメントＥｉの中心活性値は、上述した活性拡散の説明において述べたように、リンク先のエレメントの中心活性値と端点活性値が反映されて、そのエレメントＥｉ端点活性値が更新されたうえで、そのエレメントＥｉの端点活性値と現在の中心活性値の和から求められるため、リンク先との関連度が大きいほど中心活性値の変化量は大きくなる）
このような処理を各語義から他の全ての語義に対して行っていくことで、すべての語義の対（組み合わせ）について、関連度を算出することができる。

このように計算された語義間関連度は、図１５に示すように、それぞれの語義と語義の間に定義される。この図１５の表においては、語義間関連度は０から１までの値をとるように正規化されている。そしてこの表においては一例として“コンピュータ”、“テレビ”、“ＶＴＲ”の間の相互の語義間関連度が示されている。“コンピュータ”と“テレビ”の語義間関連度は０．５５、“コンピュータ” と“ＶＴＲ”の語義間関連度は０．２５、“テレビ”と“ＶＴＲ”の語義間関連度は０．６０である。

以上のように予め算出されていた語義間関連度を用いて図１３のステップＦ６２の処理が行われたら、続いて制御部１１は、ステップＦ６３として、カテゴリＣｉに対する文書の文書分類間関連度Ｒｅｌ（Ｃｉ）を
Ｒｅｌ（Ｃｉ）＝ｍ１Ｐ（Ｃｉ）＋ｎ１Ｒ（Ｃｉ）
として算出する。
ここで、係数ｍ１、ｎ１は定数で、それぞれの値の文書分類間関連度への寄与の度合いを表すものである。
制御部１１は、ステップＦ６１で算出した共通集合の数Ｐ（Ｃｉ）およびステップＦ６２で算出した語義間関連度の総和Ｒ（Ｃｉ）を用いて、上記式の演算を行い、文書分類間関連度Ｒｅｌ（Ｃｉ）を算出する。
制御部１１は、このように算出した文書分類間関連度Ｒｅｌ（Ｃｉ）をＲＡＭ１４に記憶させる。

なお、これらの係数ｍ１、ｎ１の値としては、たとえばｍ１＝１０、ｎ１＝１とすることができる。
また係数ｍ１、ｎ１の値は、統計的手法を使って推定することもできる。すなわち、制御部１１は、複数の係数ｍおよびｎの対について文書分類間関連度Ｒｅｌ（Ｃｉ）が与えられることで、上記係数を最適化により求めることができる。

ステップＦ６４においては、制御部１１は、カテゴリＣｉに対する文書分類間関連度Ｒｅｌ（Ｃｉ）が最大で、その文書分類間関連度Ｒｅｌ（Ｃｉ）の値がある閾値を越えているとき、そのカテゴリＣｉに文書を分類する。
すなわち制御部１１は、複数のカテゴリに対してそれぞれ文書分類間関連度を作成し、最大の文書分類間関連度が閣値を越えているときには、文書を最大の文書分類間関連度を有する上記カテゴリＣｉに分類する。これにより文書が自動的に所要のカテゴリに分類されることになる。
なお最大の文書分類間関連度が閾値を越えていないときには、文書の分類はおこなわない。

以上のような図１３の処理として、図１２のステップＦ２３の自動分類が行われたら、ステップＦ２４、Ｆ２５で、それに応じて分類モデルを更新し、登録することで、一連の自動分類が完了する。
即ち文書処理装置１に受信された文書データは、自動的に分類されたことになり、ユーザーは例えば図９の分類ウインドウ２０１において、所要の文書分類エリアにおいて、受信された文書データを確認できることになる。

５．読み上げ処理

続いて、文書データについての読み上げを行う処理について述べる。
上述したようにユーザーは、文書を選択して図１０のような閲覧ウインドウ３０１を開くことにより、文書の本文を閲覧することができる。例えば上述した手動分類処理におけるステップＦ１３の時点や、その他任意の時点において、図９で説明した分類ウインドウ２０１から、閲覧ウインドウ３０１を開くことができる。

例えば分類ウインドウ２０１において或る文書を選択した状態でブラウザボタン２０２ｂをクリックすることで、後述する図２６のように、文書表示部３０３に選択された文書の本文が表示された閲覧ウインドウ３０１が開かれる。
なお文書表示部３０３に文書全文が表示できないときには、その文書の一部が表示される。
また要約文が作成されていない時点では、図２６のように要約表示部３０４は空白とされる。要約文の作成及び表示動作については後述する。

このように文書処理装置１は、タグ付けされた文書を受信すると、その本文や詳しくは後述する要約文を表示してユーザーに提示できるが、さらに受信した文書を音声でユーザーに提示することもできる。
即ちＣＰＵ１３により、ＲＯＭ１５やＨＤＤ３４に記録されている電子文書処理プログラムのうちの音声読み上げプログラムを起動することで、図１６に示すような一連の工程を経ることによって、文書の読み上げを行うことができる。
まずここでは、簡略化した各工程の説明を行い、その後、具体的な文書例を用いて、各工程の説明を詳細に行う。

制御部１１の処理として、図１６のステップＦ１０１は、図４のステップＦ１１（又は図１２のステップＦ２１）と同様の文書受信／記憶処理である。上述ののように、受信した文書（タグ付文書）については手動又は自動での分類処理が行われるが、それと同様に、受信した文書について読み上げ処理も実行可能という意味で図１６にステップＦ１０１を記したものである。ここでは特に処理手順として、分類処理と読み上げ処理の順序その他を規定するものではない。

なお、文書読み上げ処理の対象となる文書（受信文書）には、後述するように、音声合成を行うために必要なタグが付与されていることが必要である。但し、文書処理装置１は、タグ付けされた文章を受信したうえで、その文書に音声合成を行うために必要なタグを新たに付与して文書を作成することもできる。以下では、このようにして受信又は作成されて用意されたタグ付き文書を、タグファイルと記す。

文書処理装置１の文書読み上げ処理としては続いてステップＦ１０２において、ＣＰＵ１３の制御のもとに、タグファイルに基づいて読み上げ用ファイルを生成する。この読み上げ用ファイルは、後述するように、タグファイル中のタグから、読み上げのための属性情報を導出し、この属性情報を埋め込むことにより生成される。

続いてステップＦ１０３において文書処理装置１は、ＣＰＵ１３の制御のもとに、読み上げ用ファイルを用いて、音声合成エンジンに適した処理を行う。
なお、この音声合成エンジンは、ハードウェアで構成してもよいし、ソフトウェアで実現するようにしてもよい。音声合成エンジンをソフトウェアで実現する場合には、そのアプリケーションプログラムは、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている。
本例の文書処理装置１において、読み上げ処理や、後述する要約作成／表示処理、ビデオ出力処理などを実行するために形成される機能ブロック構成については、図４７を用いて最後にまとめて説明するが、上記音声合成エンジンは、その図４７における音声合成エンジン６０１に相当する。

続いて文書処理装置１はステップＦ１０４において、ユーザが後述するユーザインターフェースを用いて行う操作に応じて処理を行う。
文書処理装置１は、このような処理を行うことによって、与えられた文書を読み上げることができる。これらの各工程について、以下詳細に説明する。

まず、ステップＦ１０１におけるタグ付けされた文書の受信又は作成について説明する。
文書処理装置１は、例えば通信部２１から文書（音声合成を行うために必要なタグが既に付与されている文書）を受信する。
または、文書処理装置１は、タグ付けされた文書を受信し、その文書に音声合成を行うために必要なタグを新たに付与して文書を作成する。

説明上の例として、以下のような、日本語、及び英語の文書にタグ付けがなされたタグファイルが、受信又は作成されものとする。

まずタグファイルの元となる日本語文書は、次のような文書とする。
「［素敵にエイジング］／８ガン転移、抑えられる！？
がんはこの十数年、わが国の死因第一位を占めている。その死亡率は年齢が進むとともに増加傾向にある。高齢者の健康を考えるとき、がんの問題を避けて通れない。
がんを特徴づけるのは、細胞増殖と転移である。人間の細胞には、自動車でいえばアクセルに当たり、がんをどんどん増殖する「がん遺伝子」と、ブレーキ役の「がん抑制遺伝子」がある。
双方のバランスが取れていれば問題はない。正常な調節機能が失われ、細胞内でブレーキが利かない変異が起こると、がんの増殖が始まる。高齢者の場合、長い年月の間にこの変異が蓄積し、がん化の条件を備えた細胞の割合が増え、がん多発につながるわけだ。
ところで、もう一つの特徴、転移という性質がなければ、がんはそれほど恐れる必要はない。切除するだけで、完治が可能になるからである。転移を抑制することの重要性がここにある。
この転移、がん細胞が増えるだけでは発生しない。がん細胞が細胞と細胞の間にある蛋白（たんぱく）質などを溶かし、自分の進む道をつくって、血管やリンパ管に入り込む。循環しながら新たな“住み家”を探して潜り込む、といった複雑な動きをすることが、近年解明されつつある。」

タグファイルの元となる英語の文書の例は次のようなものとする
「During its centennial year, The Wall Street Journal will report events of the past century that stand as milestones of American business history. THREE COMPUTERS THAT CHANGED the face of personal computing were Iaunched in 1977. That year the Apple II, Commodore Pet and Tendy TRS came to market. The computers were crude by today's standerds. Apple ll owners, for example,had to use their television sets as screens and stored data on audiocassettes.」

文書処理装置１は、このような日本語又は英語の文書についてタグが付された文書を受信すると、分類処理や、後述する図２６、図２７のようにその本文を表示したり、要約文を作成して表示することができる。

ここで上記の日本語又は英語の文書は、それそれ、図１８又は図１９に示すようなタグファイルとして構成されている。
日本語文書のタグファイルとしては、図１８（ａ）に見出しの部分である「〔素敵にエイジング〕／８ガン転移、抑えられる！？」を抜粋したものを示し、図１８（ｂ）に、文書中の最後の段落である「この転移、がん細胞が・・・・近年解明されつつある。」を抜粋したものを示している。残りの段落については省略してある。
なお、実際のタグファイルは、見出し部分から最後の段落までが１つのファイルとして構成されている。

図１８（ａ）に示す見出し部分において、＜見出し＞というタグは、この部分が見出しであることを示している。
この図１８（ａ）（ｂ）に示すタグファイルは基本的には、図２を用いて文書データ構造を説明した際に用いたタグファイル例と同様にタグが付されているものであり、上述した各タグについての細かい説明は省略するが、所要各所に、音声合成を行うために必要なタグが付与されているものである。

音声合成を行うために必要なタグとしては、例えばまず、図中「例１」の部分に示すように、「蛋白（たんぱく）」のように元の文書に読み仮名を示す情報が与えられているときに付与されるものがある。すなわち、この場合では、「たんぱくたんぱく」と重複して読み上げてしまうことを防ぐために、発音＝“null”という読み属性情報が記述されており、「（たんぱく）」の部分読み上げを禁止するタグが付与されている。
また、音声合成を行うために必要なタグとしては、図中「例２」「例３」に示すように、「リンパ管」のような専門用語や「住み家」のように、誤った読み上げを行う可能性のある難訓部分に付与されるものがある。すなわち、この場合では、「りんぱくだ」や「すみいえ」と読み上げてしまうことを防ぐために、それぞれ、発音＝“りんぱかん”、発音＝“すみか”という読み仮名を示す読み属性情報が記述されている。

一方、図１９に示すタグファイルにおける音声合成を行うために必要なタグとしては、図中「例４」として示す部分のように、「ＩＩ」というローマ数字に対して、発音＝“two”という読み属性情報が記述されている。これは、「ＩＩ」を「トゥ（two）」と読み上げさせたい場合に、「セカンド（second）」と読み上げてしまうことを防ぐために記述されているものである。

また、例えば文書内に引用文が含まれている場合、このようなタグファイルには、図示しないが、その文が引用文であることを示すタグが付与される。さらに、タグファイルには、例えば文書内に疑問文がある場合、図示しないが、その文が疑問文であることを示すタグが付与される。

文書処理装置１は、先に図１６に示したステップＦ１０１において、例えば以上の例のように、音声合成を行うために必要なタグが付与された文書を受信又は作成するものとなる。

つぎに、図１６のステップＦ１０２における読み上げ用ファイルの生成について説明する。
文書処理装置１は、タグファイル中のタグから、読み上げめための属性情報を導出し、この属性情報を埋め込むことによって読み上げ用ファイルを生成する。
具体的には、文書処理装置１は、文書の段落、文、句の先頭を示すタグを見つけ出し、これらのタグに対応して読み上げのための属性情報を埋め込む。また文書処理装置は、文書の要約文を作成した場合には、その要約文に含まれる部分の先頭を文書から見つけ出し、読み上げの際に音量を増大させる属性情報を埋め込み、要約文に含まれる部分であることを強調することなどもできる。

文書処理装置１は、図１８又は図１９に示したタグファイルから図２０又は図２１に示すような読み上げ用ファイルを生成する。なお、図２０（ａ）（ｂ）は図１８（ａ）（ｂ）に示した部分に対応するものである。実際の読み上げ用ファイルは、上述した見出し部分から最後の段落までが１つのファイルとして構成されていることは勿論である。

図２０に示す読み上げ用ファイルには、文書の先頭に対応してCom=Lang***という属性情報が埋め込まれている。この属性情報は、文書を記述している言語を示す。ここでは、Com=Lang=JPNという属性情報であり、文書を記述している言語が日本語であることを示している。文書処理装置においては、この属性情報を参照することで、文書毎に言語に応じた適切な音声合成エンジンを選択することができる。

また、この読み上げ用ファイルには各所に、Com=begin_p、Com=begin_s、Com=begin_phという属性情報が埋め込まれている。これらの属性情報は、それぞれ、文書の段落、文及び句の先頭を示す。文書処理装置１は、上述したタグファイル中のタグに基づいて、これらの段落、文及び句の先頭を識別する。
なお、読み上げ用ファイルにおいて、例えば上述したタグファイル中の＜形容動詞句＞＜名詞句＞のように、同じレベルの統語構造を表すタグが連続して表れる部分に対しては、それぞれに対応する数のCom=begin_phが埋め込まれずに、まとめられて１つのCom=begin_phが埋め込まれる。

さらに、読み上げ用ファイルには、Com=begin_p、Com=begin_s、及びCom=begin_phに対応して、それぞれ、Pau=500、Pau=100及びPau=50という属性情報が埋め込まれている。これらの属性情報は、それぞれ、読み上げの際に５００ミリ秒、１００ミリ秒及び５０ミリ秒の休止期間を設けることを示す。
すなわち文書処理装置１が、文章の段落、文及び句の先頭こおいて、それぞれ、５００ミリ秒、１００ミリ秒及び５０ミリ秒の休止期間を設けて文書を音声合成エンジンにより読み上げるようにするための情報である。
なお、これらの属性情報は、Com=begin_p、Com=begin_s及びCom=begin_phに対応して埋め込まれる。そのため、例えばタグファイル中の＜副詞句＞＜名詞句＞のように、同じレベルの統語構造を表すタグが連続して表れる部分は、１つの句として捉えられ、それぞれに対応する数のPau=50が埋め込まれずに、まとめられて１つのPau=50が埋め込まれる。
また、例えばタグファイル中の＜段落＞＜文＞＜名詞句＞のように、異なるレベルの統語構造を表すタグが連続して表れる部分については、それぞれに対応するPau=***が埋め込まれる。そのため文書処理装置１は、このような部分を読み上げる際には、例えば文書の段落、文及び句のそれぞれの休止期間を加算して得られる６５０ミリ秒の休止期間を設けて読み上げるようにする。
このように、文書処理装置１は、段落、文及び句に対応した休止期間を設けることで、段落、文及び句の切れ目を考慮した違和感のない読み上げを行うことができる。なお、この休止期間は、文書の段落、文及び句の先頭において、それぞれ、６００ミリ秒、１００ミリ秒及び５０ミリ秒である必要はなく、適宜変更することができる。

さらにまた、読み上げ用ファイルにおいては、タグファイル中で記述されている発音＝“null”という読み属性情報に対応して、「（たんぱく）」が除かれているとともに、発音＝“りんぱかん”、発音＝“すみか”という読み属性情報に対応して、「リンパ管」、「住み家」が、それぞれ、「りんぱかん」、「すみか」に置換されている。文書処理装置１は、このような読み属性情報を埋め込むことで、音声合成エンジンが参照する辞書の不備による読み誤りをすることがないようにしている。

また、読み上げ用ファイルには、文書内に含まれた引用文であることを示すタグに基づいて、この引用文のみを別の音声合成エンジンを用いるように指定するための属性情報が埋め込まれてもよい。
さらに、読み上げ用ファイルには、疑問文であることを示すタグに基づいて、その文の語尾のイントネーションを上げるための属性情報が埋め込まれるようにしてもよい。
さらにまた、読み上げ用ファイルには、必要に応じて、いわゆる「である調」の文体を「ですます調」の文体に変換するための属性情報を埋め込むこともできる。なお、この場合、文書処理装置１は、このような属性情報を読み上げ用ファイルに埋め込むのではなく、「である調」の文体を「ですます調」の文体に変換して音声読み上げ用ファイルを生成するようにしてもよい。

一方、図２１に示す読み上げ用ファイルには、文書の先頭に対応してCom=Lang=ENGという属性情報が埋め込まれており、文書を記述している言語が英語であることを示している。
また、読み上げ用ファイルには、Com=Vol=***という属性情報が埋め込まれている。この属性情報は、読み上げの時の音量を示す。例えば、Com=Vol=0は、文書処理装置のデフォルトの音量で読み上げることを示している。また、Com=Vol=80は、デフォルトの音量を８０％増量した音量で読み上げることを示している。任意の、Com=Vol=***は、次のCom=Vol=***まで有効である。
さらに、読み上げ用ファイルにおいては、タグファイル中で記述されている発音＝“two”という読み属性情報に対応して、「ＩＩ」が「two」に置換されている。

文書処理装置１は、図１７に示す一連の工程を経ることによって、このような読み上げ用ファイルを生成する。
まず文書処理装置１は、ステップＦ２０１において、ＣＰＵ１３によって、受信又は作成したタグファイルを解析する。ここで文書処理装置１は、文書を記述している言語を判別するとともに、文書の段落、文及び句の先頭や、読み属性情報をタグに基づいて探し出す。
続いて文書処理装置１は、ステップＦ２０２において、ＣＰＵ１３によって、文書を記述している言語に応じて文書の先頭にCom=Lang=***という属性情報を埋め込む。

次に文書処理装置１は、ステップＦ２０３において、ＣＰＵ１３によって、文書の段落、文及び句の先頭を読み上げ用ファイルにおける属性情報に置換する。すなわち文書処理装置１は、タグファイル中の＜段落＞、＜文＞及び＜＊＊＊句＞を、それぞれ、Com=begin_p、Com=begin_s及びCom=begin_phに置換する。

さらに文書処理装置１は、ステップＦ２０４において、ＣＰＵ１３によって、同じレベルの統語構造が表れて同じCom=begin_***が重複しているものを、１つのCom=begin_***にまとめる。
続いて文書処理装置１は、ステップＦ２０５において、ＣＰＵ１３によって、Com=begin_***に対応してPau=***を埋め込む。すなわち文書処理装置１は、Com=begin_pの前にPau=500を埋め込み、Com=begin_sの前にPau=100を埋め込み、Com=begin_phの前にPau=50を埋め込む。
そして文書処理装置１は、ステップＦ２０６において、ＣＰＵ１３によって、読み属性情報に基づいて、正しい読みに置換する。すなわち文書処理装置１は、発音＝“null”という読み属性情報に基づいて、「（たんぱく）」を除去するとともに、発音＝“りんぱかん”、発音＝“すみか”という読み属性情報に基づいて、「リンパ管」、「住み家」を、それぞれ、「りんぱかん」、「すみか」に置換する。

文書処理装置１は、先に図１６に示したステップＦ１０２において、この図１７に示す処理を行うことによって、読み上げ用ファイルを自動的に生成する。文書処理装置１は、生成した読み上げ用ファイルをＲＡＭ１４に記憶させる。

つぎに、図１６のステップＦ１０３における読み上げ用ファイルを用いた処理について説明する。
文書処理装置１は、読み上げ用ファイルを用いて、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている音声合成エンジンに適した処理をＣＰＵ１３の制御のもとに行う。
具体的には、文書処理装置１は、読み上げ用ファイルに埋め込まれているCom=Lang=***という属性情報に基づいて、使用する音声合成エンジンを選択する。
音声合成エンジンは、言語や男声／女声等の種類に応じて識別子が付されており、その情報が例えば初期設定ファイルとしてＨＤＤ３４に記録されている。文書処理装置１は、初期設定ファイルを参照し、言語に対応した識別子の音声合成エンジンを選択する。

また文書処理装置１は、読み上げ用ファイルに埋め込まれているCom=begin_***を音声合成エンジンに適した形式に変換する。
例えば文書処理装置１は、Com=begin_phをMark=10000のように１００００番台の番号でマーク付けする。またCom=begin_sをMark=1000のように１０００番台の番号でマーク付けし、Com=begin_pをMark=100のように１００番台の番号でマーク付けする。
これは、＜句＞、＜文＞、＜段落＞の先頭が、それぞれ１００００番台、１０００番台、１００番台の番号で示されることを意味し、このマークによって＜句＞、＜文＞、＜段落＞の先頭が識別できるようになる。
さらに、読み上げ用ファイルにおいては、音量の属性情報がVoll=***のようにデフォルトの音量の百分率で表されていることから、文書処理装置１は、この属性情報に基づいて、百分率の情報を絶対値の情報に変換して求める。

文書処理装置１は、先に図１６に示したステップＦ１０３において、このような読み上げ用ファイルを用いた処理を行うことによって、読み上げ用ファイルを音声合成エンジンが文書を読み上げることが可能な形式に変換するものとなる。

つぎに、図１６のステップＦ１０４におけるユーザインターフェースを用いた操作について説明する。
文書処理装置１は、ユーザが例えば入力部２０のマウス等を操作して、先に図１０に示した読み上げボタン３０６ｃをクリックすることによって、音声合成エンジンを起動する。
そして文書処理装置１は、図２２に示すようなユーザインターフェース用の読み上げウインドウ４０１を表示部３０に表示する。

この読み上げウインドウ４０１は、図示するように、文書を読み上げさせるための再生ボタン４２０と、読み上げを停止させるための停止ボタン４２１と、読み上げを一時停止させるための一時停止ボタン４２２とを有する。
また、この読み上げウインドウ４０１は、文単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１１、早戻しボタン４１２及び早送りボタン４１３と、段落単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１４、早戻しボタン４１５及び早送りボタン４１６と、句単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１７、早戻しボタン４１８及び早送りボタン４１９とを有する。

さらに、読み上げウインドウ４０１は、読み上げる対象を全文とするか、上述したようにして作成された要約文とするかを選択するための選択スイッチ４２３，４２４を有する。
また、読み上げ時に画像を表示する画像表示エリア４０３が設定され、読み上げている人のイメージを表示したり、テロップ表示エリア４０２が設けられ、読み上げ音声に対応して文字がテロップ表示できるようにされている。

なお、ここでは図示しないが、例えば、音声を増減させるためのボタンや読み上げの速さを増減させるためのボタン、男声／女声等の声を変化させるためのボタン等を有していてもよい。

文書処理装置１は、ユーザがこれらの各種ボタン／スイッチを例えば入力部２０のマウス等を操作してクリック／選択することに応じて、音声合成エンジンによる読み上げ動作を行う。
例えば、文書処理装置１は、ユーザが再生ボタン４２０をクリックすることによって、文書の読み上げを開始する。具体的には制御部１１は音声合成処理により生成した音声信号を音声出力部３３に供給し、音声として出力する。
また文書処理装置１は、停止ボタン４２１、一時停止ボタン４２２のクリックにおいて、読み上げ処理の停止や一時停止を行う。

また、読み上げの途中でユーザが頭出しボタン４１１を押すことによって、現在読み上げている文の先頭にジャンプして再び読み上げる。頭出しボタン４１４、４１７についても同様に、それぞれ現在読み上げている段落や句の先頭にジャンプして再び読み上げを行う。
制御部１１は、この頭出しボタン４１１、４１４、４１７の操作に関しては、上記したマーク付により、ジャンプ先を認識するものとなる。即ち、文に関する頭出しボタン４１１が操作された際には、制御部１１は、現在読み上げている文の途中位置から文を遡っていき、１０００番台のマークをサーチする。そして１０００番台のマークが検出されたら、そこから読み上げを再開するものとなる。段落や句の場合は、それぞれ１００番台、１００００番台のマークを探して読み上げを再開するものとなる。
この様な処理によって、例えば文書中でユーザが所望の部分を繰り返し再生させたいといった要求に応えることができる。

文書処理装置１は、図１６のステップＦ１０４において、ユーザがこのような読み上げウインドウ４０１でのユーザインターフェースを用いた操作を行うことに応じて、音声合成エンジンにより文書を読み上げる。
このようにして文書処理装置１は、所望の文書を音声合成エンジンにより違和感なく読み上げることができる。

ところで読み上げる対象の文書としては文書データの本文でもよいし、後述するように生成される要約文であってもよい。本文か要約文かは、選択スイッチ４２３，４２４のクリックにより選択されるが、いずれにしても、本文又は要約文としてのタグファイルについて、図１６のステップＦ１０２，Ｆ１０３の処理が行われることで、音声合成エンジンによる文書読み上げが可能となる。

なお本例では、受信又は作成したタグファイルから読み上げ用ファイルを生成するものとしたが、このような読み上げ用ファイルを生成せずに、タグファイルに基づいて直接読み上げを行うようにしてもよい。
この場合、文書処理装置１は、タグファイルを受信又は作成した後、音声合成エンジンを用い、タグファイルに付与されている段落、文及び句を示すタグに基づいて、段落、文及び句の先頭に所定の休止期間を設けて読み上げる。このようにすることによって、文書処理装置１は、音声読み上げ用ファイルを生成することなく、タグファイルに基づいて直接読み上げることができる。

６．要約作成／表示処理
続いて、文書データについての要約文を作成する処理について述べる。
上述したようにユーザーは、文書を選択して図１０のような閲覧ウインドウ３０１を開くことにより、文書の本文を閲覧することができる。
そして閲覧ウインドウ３０１においては、選択された文書の本文及び要約文が表示される。
但し、また要約文が作成されていない時点では、図２６のように要約表示部３０４は空白とされる。

この閲覧ウインドウ３０１において要約作成ボタン３０６ａがクリックされると、文書表示部３０３に表示されている文書についての要約文が作成され、図２７に示すように要約表示部３０４に表示される。
つまり制御部１１は、ソフトウエアもしくはハードウエアで構成される要約作成エンジン（図４７で後述）を起動させることにより、ユーザーの要約作成操作に応じて、以下説明するような要約文作成処理を行い、作成後、それを表示する制御を行うものとなる。
文書から要約を作成する処理は、文書のタグ付けによる内部構造に基づいて実行される。

なお要約文は、通常は、要約表示部３０４のサイズに応じて生成される。そして本文表示部３０３と要約表示部３０４の面積は、ユーザーが仕切枠３１２を移動させることで変化させることができる。
つまり要約文は、要約作成が指示された時点での要約表示部３０４のサイズに応じたサイズ（文書長）で作成されることになる。
例えば図２６では要約表示部３０４は非常に狭いものとなっているが、ユーザーが仕切枠３１２を移動させて要約表示部３０４を広くした上で、要約作成を指示することで、例えば図２７のように広げられた要約表示部３０４に、そのエリアサイズに合った文書長の要約文が作成され、表示されるものとなる。

但し、例えば図２６のように要約表示部３０４が非常に狭い場合に、そのサイズに応じた要約文を作成するとすると、その要約文は不十分な内容となってしまうことが多い。つまり十分な文書長で要約文を作成できないため、実質的に要約としての機能を果たさない文章となってしまう。
そこで本例では、要約表示部３０４としてのウインドウサイズ（ウインドウ内に表示可能な文書長）が所定値以下、例えば図２６のような画面上での行数でいうと１〜２行程度未満の場合などには、要約表示部３０４のサイズを越える文書長の要約文を作成するようにし、ソフトウエアもしくはハードウエアで構成されるテロップ作成エンジン（図４７で後述）により、それをテロップ化して表示するようにしている。

以下、このようなテロップ表示を含む、本例の要約文の作成及び表示動作について説明していく。

閲覧ウインドウ３０１上で要約作成ボタン３０６ａがクリックされることにより、制御部１１（要約作成エンジン）によって図２３の要約作成処理が開始される。なお図２３の要約作成処理が終了すると、続いて図２４の要約文表示処理が実行され、また場合によっては、その要約文表示処理中で図２５のテロップ表示処理が行われるものとなる。

図２３の要約作成処理としては、まずステップＦ８１として制御部１１は活性拡散を行う。本例においては、活性拡散により得られた中心活性値を重要度として採用することにより、文書の要約を行うものである。すなわち、タグ付けによる内部構造を与えられた文書においては、活性拡散を行うことにより、各エレメントにタグ付けによる内部構造に応じた中心活性値を付与することができる。
ステップＦ８１で行う活性拡散処理は、図６〜図８で説明したものと同様の処理となるが、上述したように活性拡散は、中心活性値の高いエレメントと関わりのあるエレメントにも高い中心活性値を与えるような処理である。すなわち、活性拡散は、照応（共参照）表現とその先行詞の間で中心活性値が等しくなり、それ以外では中心活性値が減衰するような中心活性値についての演算である。この中心活性値は、タグ付けによる内部構造に応じて決定されるので、タグ付けによる内部構造を考慮した文書の分析に利用することができる。

次にステップＦ８２で、その時点の要約表示部３０４のサイズｗｓｙを確認し、要約表示部サイズｗｓｙが予め設定されている所定サイズｗｓｔｈ以上であるか否かを確認する。
この所定サイズｗｓｔｈとは、通常、要約文としては十分な文書長（文字数）を表示できるウインドウサイズとして設定されているものである。所定サイズｗｓｔｈとしての具体的な値は、システム設計上、適切な値が決められるものとなる。

まず、要約表示部サイズｗｓｙが予め設定されている所定サイズｗｓｔｈ以上であった場合について説明していく。これは要約表示部サイズｗｓｙに応じた要約文が作成される場合の処理となる。
この場合、制御部１１の処理は、ステップＦ８３に進み、制御部１１は、その時点で表示部３０に表示されている閲覧ウィンドウ３０１の要約表示部３０４のサイズｗｓｙ（具体的にはこの要約表示部３０４に表示可能な最大文字数）を変数（最大文字数）ｗｓと設定する。
また制御部１１は、要約の文字列（要約文を保持する内部レジスタ）ｓを初期化して初期値ｓ（０）＝””と設定する。制御部１１は、このように設定した、最大文字数ｗｓおよび文字列ｓの初期値ｓ（０）を、ＲＡＭ１４に記録する。

次にステップＦ８５に進み、制御部１１は、文の骨格の抽出処理をカウントするカウンタのカウント値ｉを「１」に設定する。
そしてステップＦ８６で制御部１１は、カウンタのカウント値ｉに基づいて、文章からｉ番目に平均中心活性値の高い文の骨格を抽出する。
平均中心活性値とは、一つの文を構成する各エレメントの中心活性値を平均したものである。
制御部１１は、たとえばＲＡＭ１４に記録した文字列ｓ（ｉ−１）を読み出し、この文字列ｓ（ｉ−１）に対して、抽出した文の骨格の文字列を加えて、Ｓ（ｉ）とする。そして制御部１１は、このようにして得た文字列ｓ（ｉ）をＲＡＭ１４に記録する。
初回は、文字列ｓ（ｉ−１）は初期値ｓ（０）であるので、今回抽出した文の骨格が文字列Ｓ（ｉ）としてＲＡＭ１４に記憶されることになる。
また以降においてステップＦ８４の処理が行われる場合は、抽出された文の骨格が文字列Ｓ（ｉ）に、それまでの文字列Ｓ（ｉ）（つまりその時点では文字列Ｓ（ｉ−１））に追加されていくものとなる。
また同時に、制御部１１はこのステップＦ８４において、上記文の骨格に含まれないエレメントの中心活性値順のリストＬ（ｉ）を作成し、このリストＬ（ｉ）をＲＡＭ１４に記録する。

すなわち、このステップＦ８６においては、要約のアルゴリズムは、活性拡散の結果を用いて、平均中心活性値の大きい順に文を選択し、選択された文の骨格の抽出する。文の骨格は、文から抽出した必須要素により構成される。必須要素になりうるのは、エレメントの主辞（head）と、主語（subject）、目的語（object）、間接目的語（indirect object）、所有者（possessor）、原因（cause）、条件（condition）または比較（comparison）の関係属性を有する要素と、等位構造が必須要素のときにはそれに直接含まれるエレメントとが必須要素を構成するものである。そして、文の必須要素をつなげて文の骨格を生成し、要約に加える。

ステップＦ８７では制御部１１は、文字列ｓ（ｉ）の長さが、閲覧ウィンドウ３０１の要約表示部１０４の最大文字数ｗｓより大きいか否かを判断する。
このステップＦ８７は、要約表示部３０４のサイズに応じた要約文を作成するための判断処理となる。

制御部１１は、文字列ｓ（ｉ）の長さが最大文字数ｗｓに達していないときは、処理をステップＦ８８に進める。
ステップＦ８８では制御部１１は、文書中で、（ｉ＋１）番目に平均中心活性値が高い文のエレメントの中心活性値と、上記ステップＦ８６で作成したリストＬ（ｉ）の最も中心活性値が高いエレメントの中心活性値を比較する。
つまり、上記ステップＦ８６において要約として採用された文の次に平均中心活性値が高い文（即ち次に要約文に付加する候補となる文）と、ステップＦ８６において要約として採用された文の中で骨格ではないとして要約からは排除されたエレメントの中心活性値を比較する。

このステップＦ８８の処理は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文において骨格として採用されなかったものから選ぶか、或いは他の文から選ぶかを判断する処理となる。

（ｉ＋１）番目に平均中心活性値が高い文におけるエレメントの中心活性値よりも、リストＬ（ｉ）における最も高い中心活性値の方が、中心活性値が高い値であった場合は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文において骨格として採用されなかったものから選ぶようにする。
このため制御部１１の処理はステップＦ９０に進み、リストＬ（ｉ）における最も中心活性値が高いエレメントを、その時点で記憶されている文字列Ｓ（ｉ）に加え、文字列ＳＳ（ｉ）とする。
またこのとき、文字列ＳＳ（ｉ）に加えたエレメントをリストＬ（ｉ）から削除する。
そして、ステップＦ９１において、文字列ＳＳ（ｉ）が、最大文字数ｗｓより大きいか否かを判断し、大きくなければステップＦ８８に戻る。

ステップＦ８８において、（ｉ＋１）番目に平均中心活性値が高い文のエレメントとして、リストＬ（ｉ）における最も高い中心活性値よりも中心活性値が高いエレメントがあった場合は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文とは別の文から選ぶこととしてステップＦ８９でカウント値ｉをインクリメントしてステップＦ８６に戻ることになる。
つまりステップＦ８８で、（ｉ＋１）番目に平均中心活性値が高い文とされた文について、ステップＦ８６で骨格を抽出し、それを文字列Ｓ（ｉ）に加えるようにする。

以上のように、ステップＦ８６又はステップＦ９０で文の骨格となるエレメントやその他のエレメントとして、中心活性値の高いものを基準として文字列に加えていきながら、ステップＦ８７又はステップＦ９１で、文字列Ｓ（ｉ）又はＳＳ（ｉ）を最大文字数ｗｓと比較していくことで、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列を作成していくことになる。

例えばステップＦ８７で文字列Ｓ（ｉ）が最大文字数ｗｓを越えた場合は、制御部１１の処理はステップＦ９２に進み、直前のステップＦ８６で骨格を加える前の文字列Ｓ（ｉ−１）を、要約文とする。
つまり、これはステップＦ８６で文の骨格を加えたことにより、最大文字数ｗｓを越えてしまったことになるため、その骨格を加える前の文字列Ｓ（ｉ−１）が、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列であると判断して、それを要約文とするものである。

なお、このため初めてステップＦ８６で文字列Ｓ（ｉ）を生成した時点（ｉ＝１の時点）で、ステップＦ８７で、文字列Ｓ（ｉ）が最大文字数ｗｓを越えた場合は、文字列Ｓ（ｉ−１）は、ステップＦ８３で設定した初期値としての文字列Ｓ（０）となるため、実質的に要約文は作成できなかったことになる。
これは、要約表示部３０４のサイズが小さすぎたことに起因するため、ユーザーは画面上で要約表示部３０４の面積を広げた上で、再度、要約作成ボタン３０６ａをクリックして、図２３の処理が開始されるようにすればよい。
但し、本例の場合、ステップＦ８２において要約表示部３０４のサイズが小さすぎる場合が判別され、そのような場合は後述するように、要約表示部３０４のサイズで表示可能な文書長より長い文書長の要約文が作成される処理となるため、実質的に要約文が作成できなくなる事態は、ほとんど発生しない。

ステップＦ８７で文字列Ｓ（ｉ）が最大文字数ｗｓを越えていない場合は、上述のように制御部１１の処理はステップＦ８８に進み、次に文字列に加える部分を判断することになる。
そして上記のようにステップＦ９１に進んだ場合は、文字列ＳＳ（ｉ）が最大文字数ｗｓを越えたか否かを判別する。
ここで文字列ＳＳ（ｉ）が最大文字数ｗｓを越えた場合は、制御部１１の処理はステップＦ９３に進み、直前のステップＦ９０で或るエレメントを加える前の文字列Ｓ（ｉ）を、要約文とすることになる。
つまり、これはステップＦ９０でエレメントを加えたことにより、最大文字数ｗｓを越えてしまったことになるため、そのエレメントを加える前の文字列Ｓ（ｉ）が、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列であると判断して、それを要約文とするものである。

以上の処理説明は、ステップＦ８２→Ｆ８３→Ｆ８５と進んだ場合として説明した。従って、図２３の処理を終えた時点で、要約表示部３０４のサイズに適合した文書長の要約文が作成されたことになる。そしてその要約文の内容は、平均中心活性値の高い１又は複数の文の骨格、及び骨格以外の中心活性値の高いエレメントが用いられたものとなる。
この様に作成された要約文は、ＲＡＭ１４に記憶されるとともに、図２７のように要約表示部３０４に、その要約文全体が固定的に表示される。

つまり、図２３の要約作成処理が終了されると続いて制御部１１の処理は図２４の要約文表示処理に進む。要約文表示処理としては、まずステップＦ９４で、要約表示部３０４のサイズｗｓｙがその時点での最大文字数ｗｓと一致しているか否かを確認する。つまり直前の要約作成処理で用いられていた最大文字数ｗｓは、ステップＦ８３で要約表示部３０４のサイズｗｓｙが代入されたものであるか否かを判別する。
ｗｓｙ＝ｗｓの場合とは、上記の処理により、その時点の要約表示部３０４のサイズに適合した要約文が作成された場合である。そこでその場合は、ステップＦ９６に進み、作成された要約文を要約表示部３０４に表示させる。
これにより、図２７のように要約文全体が固定表示される。つまり、ユーザーが予め要約表示部３０４のサイズを任意に設定した上で要約作成を指示することで、要約表示部３０４のサイズに応じた文書長の要約が固定的に（つまりテロップ化として切り換えや移動なしに）表示されることになる。

なお、表示された要約文を見てユーザーがより詳しい要約文を見たいと思った場合、或いはより短い要約文を見たいと思った場合は、閲覧ウインドウ３０１の要約表示部３０４のサイズ（面積）を増減した上で、再度要約作成ボタン３０６ａをクリックすればよい。
すると、要約表示部３０４のサイズｗｓｙが、所定サイズｗｓｔｈ以上である限りは、図２３の上述した処理により、その時点の要約表示部３０４のサイズに応じた文書長の要約書が作成され、表示されることになる。

ところで、例えば図２６のように要約表示部３０４が非常に小さいサイズとされている状態でユーザーが要約作成ボタン３０６ａをクリックし、図２３の要約作成処理が開始された場合などで、ステップＦ８２において要約表示部３０４のサイズｗｓｙが、所定サイズｗｓｔｈ未満であると判断された場合は、以下のような処理が行われることとなる。

この場合は制御部１１の処理はステップＦ８４に進み、最大文字数ｗｓとして、予め設定された固定値ｗｓｆｉｘを代入する。この固定値ｗｓｆｉｘとは、要約文として最低限必要であるとして設定された文字数に相当する値であり、システム設計上、適切な値が設定される。例えばｗｓｆｉｘ＝ｗｓｔｈとしてもよい。
さらに、固定値ｗｓｆｉｘ＝（ｗｓｆｉｘ−ｉ）×Ｖとし、固定値初期値ｗｓｆｉｘ−ｉを保持するとともに、係数Ｖの値をユーザーが任意に入力できるようにすることで、固定値ｗｓｆｉｘをユーザーが任意に設定できるようにしてもよい。

また、制御部１１は、要約の文字列（要約文を保持する内部レジスタ）ｓを初期化して初期値ｓ（０）＝””と設定する。制御部１１は、このように設定した、最大文字数ｗｓおよび文字列ｓの初期値ｓ（０）を、ＲＡＭ１４に記録する。

続いて制御部１１はステップＦ８５で変数ｉ＝１とした後、ステップＦ８６以降の処理に進むが、これは上述したとおりとなるため重複説明は避ける。
即ちこの場合も、最大文字数ｗｓを越えない範囲で、最大文字数ｗｓに最も近い文字数としての要約文を作成していくことになる。但しこの場合は、最大文字数ｗｓ＝ｗｓｆｉｘとされているため、その時点の要約表示部３０４のサイズに応じた文字数とはならず、実際には要約表示部３０４での表示可能な文字数を越える文字数（文書長）の要約文が生成されることになる。

ステップＦ８６〜Ｆ９３の処理により要約文が作成されたら、制御部１１は図２４の要約文表示処理を実行する。
そしてこの場合は最大文字数ｗｓは要約表示部サイズｗｓｙではないため、ステップＦ９４からＦ９５に進み、テロップ作成エンジンを用いて、生成した要約文をテロップ化して表示していく処理を行うことになる。

このステップＦ９５のテロップ表示処理の例を図２５に詳しく示す。
まず制御部１１（テロップ作成エンジン）はステップＦ５０１で変数ｎ＝１とセットする。そしてステップＦ５０２で、生成した要約文から第ｎの文を抽出する。従ってまず要約文を構成している第１の文が抽出される。

次にステップＦ５０３で、抽出した文の文長Ｌｓ（語数）が、要約表示部サイズｗｓｙを越えているか否かを判別する。
例えば要約文を構成している１又は複数の文のうちの第１の文が、その時点の要約表示部サイズｗｓｙにおいて表示可能な語数以下であったとすると、制御部１１の処理はステップＦ５０４に進む。そして、文長Ｌｓに所定の係数ｋを乗算して、テロップ表示時間Ｔ１を算出する。

続いてステップＦ５０５で制御部１１は内部タイマのカウントをスタートさせるとともに、ステップＦ５０６で、その第１の文を要約表示部３０４に表示させる。このとき、文長Ｌｓは要約表示部サイズｗｓｙ以下であるため、その第１の文の全体が、テロップとして要約表示部３０４に表示される。
この表示動作中には、制御部１１はステップＦ５０７でタイムカウント値を監視しており、タイマによりＴ１時間が計数された時点で、ステップＦ５１５に進む。そして、ステップＦ５１５で要約文の最後の文の表示までが完了したか否かを判断し、完了していなければステップＦ５１６で変数ｎをインクリメントしたうえでステップＦ５０２に戻る。従って、次に要約文を構成している文のうちの第２の文を抽出することになる。

続いて制御部１１は、第２の文についてステップＦ５０３の判別を行うが、ここで、第２の文の文長が要約表示部サイズｗｓｙを越えていたとすると（つまり一度に文全体を表示できない場合）、制御部１１の処理はステップＦ５０８に進み、要約表示部に表示可能な文長Ｌｗｓｙに所定の係数ｋを乗算して、テロップ表示時間Ｔ１を算出する。
続いてステップＦ５０９で制御部１１は内部タイマのカウントをスタートさせるとともに、ステップＦ５１０で、その第２の文をテロップとして要約表示部３０４に表示させる。但し、このとき、文長Ｌｓは要約表示部サイズｗｓｙを越えているため、表示可能な先頭部分のみを表示することになる。つまり第２の文のうちの、先頭から文長Ｌｗｓｙに相当する部分を表示する。
この表示動作中には、制御部１１はステップＦ５１１でタイムカウント値を監視しており、タイマによりＴ１時間が計数された時点で、ステップＦ５１２に進む。

ステップＦ５１２では、表示されている文を、１文字分スクロールさせる。そしてステップＦ３１３でＴ２時間待機する。そして、ステップＦ５１４で第２の分の最後の文字までが表示されたか否かを判断し、まだ最後の文字まで達していなければ、ステップＦ５１２に戻って１文字分スクロールさせる。
待機時間としてのＴ２時間は、スクロールタイミングを規定する時間となり、これもシステム設計上設定される値となるが、例えば０．５〜１秒程度とすると、適切な速度で、文がスクロールされていくことになる。

このようなステップＦ５０８〜Ｆ５１４の処理により、要約表示部３０４に表示しきれない文については、まず先頭部分がＴ１時間表示された後、Ｔ２時間毎に１文字づつ表示がスクロールされていき、その文の最後の文字に至るまで表示されることになる。

スクロールにより文の最後の文字までが表示されたら、制御部１１の処理はステップＦ５１４からＦ５１５に進み、要約文の最後の文の表示までが完了したか否かを判断し、完了していなければステップＦ５１６で変数ｎをインクリメントしたうえでステップＦ５０２に戻る。従って、次に要約文を構成している文のうちの第３の文を抽出することになる。
そして第３の文について、ステップＦ５０４〜Ｆ５０７、もしくはステップＦ５０８〜Ｆ５１４の処理によりテロップ表示を実行する。

ステップＦ５１５で、要約文を構成する全ての文について表示を終了したと判断すると、処理はステップＦ５１７に進み、要約文の先頭部分を表示する。即ち要約表示部サイズｗｓｙにおいて表示可能な先頭部分を表示する状態とする。またステップＦ５１８で、後述するスクロールバー３０７を表示して、テロップ表示処理を終了する。

以上のようなテロップ表示処理で実現される表示動作は、次のようになる。
例えば図２６のように要約表示部３０４が非常に狭くされた状態の閲覧ウインドウ３０１において要約作成ボタン３０６ａがクリックされ、要約文が作成されるとする。
このとき、上述の図２３の処理で要約表示部３０４での表示可能な文書長よりも長い要約文が作成される。

例えば図２６において本文表示部３０３に表示されている本文に対して、次のような要約文が生成されたとする。
「［素敵にエイジング］／８ガン転移、抑えられる！？がんを特徴づけるのは、細胞増殖と転移である。人間の細胞には、「がん遺伝子」と、「がん抑制遺伝子」がある。高齢者の場合、長い年月の間に正常な調節機能が失われ、細胞内でブレーキが利かない変異が蓄積し、細胞の割合が増え、がん多発につながるわけだ。転移、がん細胞が増えるだけでは発生しない。がん細胞が蛋白質などを溶かし、道をつくって、血管やリンパ管に入り込む。がんの診断、治療の面から（ｎｍ２３）の期待が集まっている。」

このような要約文は、次のように1〜7の７つの文から構成されているが、上述した本例のテロップ表示処理では、文単位でテロップ化する。
1［素敵にエイジング］／８ガン転移、抑えられる！？
2がんを特徴づけるのは、細胞増殖と転移である。
3人間の細胞には、「がん遺伝子」と、「がん抑制遺伝子」がある。
4高齢者の場合、長い年月の間に正常な調節機能が失われ、細胞内でブレーキが利かない変異が蓄積し、細胞の割合が増え、がん多発につながるわけだ。
5転移、がん細胞が増えるだけでは発生しない。
6がん細胞が蛋白質などを溶かし、道をつくって、血管やリンパ管に入り込む。
7がんの診断、治療の面から（ｎｍ２３）の期待が集まっている。

図２５の処理により、まず最初に第１の文1が抽出され、図２８のように要約表示部３０４に表示される。
この図２５の状態以降の要約表示部３０４のテロップ表示状態を図２９（ａ）〜（ｊ）で説明していく。

図２８の文1は、文長Ｌｓ≦ｗｓｙである（文全体を表示可能である）ため、図２５のステップＦ５０４〜Ｆ５０７の処理で、図２９（ａ）の表示状態が、文長に応じて算出されたＴ１時間継続される。
続いて文2、3も文長Ｌｓ≦ｗｓｙとなるため、それぞれステップＦ５０４〜Ｆ５０７の処理で、文長に応じて算出されたＴ１時間づつ、図２９（ｂ）（ｃ）の表示が実行される。

次の文4は、文長Ｌｓ＞ｗｓｙである（文全体を表示不能である）ため、図２５のステップＦ５０８〜Ｆ５１４の処理が行われる。
即ちまず図２９（ｄ）のように文の先頭部分が、算出されたＴ１時間表示された後、Ｔ２時間毎に、図２９（ｅ）→（ｆ）のように、表示が１文字づつスクロールされる。
その後同様にスクロールが進み、図２９（ｇ）の状態となることで、文4の表示が完了することになる。

続いて文5、6、7がそれぞれ順次抽出され、これらは文長Ｌｓ≦ｗｓｙであるため、それぞれステップＦ５０４〜Ｆ５０７の処理で、文長に応じて算出されたＴ１時間づつ、図２９（ｈ）（ｉ）（ｊ）の表示が実行される。

以上のように各文毎にテロップとして順次表示され、また文長が長くて表示しきれない場合は、その表示しきれなかった部分がスクロールにより表示される。
そして、要約文を構成する全文のテロップ表示を完了したら、図２５のステップＦ５１７、Ｆ５１８として、図３０に示すように要約文の先頭部分が表示されるとともに、スクロールバー３０７が表示される。
即ち、上記テロップ表示により、要約文全体をユーザーに提示した後は、スクロールバー３０７を用意することで、その後ユーザーが、要約表示部３０４上の文字を任意にスクロールさせて、要約文内容を確認できるようにするものである。

本例の要約文の作成及び表示は以上のように実行されるが、これによりユーザーにとって好適な要約提示が可能となる。
まず、ユーザーは、要約表示部３０４のサイズを任意に設定することで、生成される要約文の文書長を設定できる。
つまり詳しい要約文を見たいときには要約表示部３０４を広くしてから要約作成ボタン３０６ａをクリックし、一方、簡単な内容の要約文を見たいときには要約表示部３０４を狭くしてから要約作成ボタン３０６ａをクリックすればよい。それにより、ユーザーの望むサイズの要約文が生成され、テロップではなく固定表示される。

また、もしユーザーが要約表示部３０４を狭くしすぎてしまった場合は、そのウインドウサイズに関わらず最低限必要な文書長の要約文が作成され、上述のようにテロップ化されて表示されることになる。
従って、例えばユーザーが本文表示部３０３を広くとりたいためにやむおえず要約表示部３０４をかなり狭くしたような場合でも、ユーザーは適切な内容の要約文を見ることができるようになる。これにより内容を正確に認識できる。

また本例のテロップ表示処理では、要約文を文単位でテロップ化しているが、１つの文の表示時間（Ｔ１）は、その文長に応じて算出しているため、各文（テロップ）は、ユーザーが読むのに適切な表示時間となる。
さらに、文が長い場合は、スクロール表示を実行するため、ユーザーが１つの文を認識することに好適である（後続部分は切換表示でなく移動表示されるために、１つの文が続いていることをユーザーが認識しやすい）。

なお、テロップ表示処理の例としては図２５の例に限らず各種の処理例が考えられる。
例えば文単位でなく、文節、句などの単位でテロップ化するようにしてもよいし、文や文節の長さに応じて、表示の区切を変更するようにしてもよい。
また、要約文全体を最初から最後までスクロール表示していくことも考えられる。
いずれにしても、切換表示又は移動表示、もしくはその組み合わせにより、要約文の全体がユーザーに提示されるようにすればよい。

また各テロップとしての表示期間や切換タイミング、スクロールタイミングの設定は多様に考えられる。
上述のように本例では本文や要約文についての読み上げも可能であるが、テロップ作成エンジンにより行われるテロップ表示のタイミングを、読み上げ音声の出力タイミングに合わせて設定することも可能である。
例えば上述したように読み上げ処理においては、タグファイルから読み上げ用ファイルを生成し、その読み上げ用ファイルを音声合成エンジンに適した形態に変換した上で、音声合成エンジンによって、人が話すような自然な感じでの速度や、段落、文、句の区切によって読み上げが実行されるようにしている。
従って、そのような段落、文、句の区切や、読み上げ速度と同様のテロップ区切や、表示期間の設定を行うことで、ユーザーにとって読みやすいテロップ表示を実現できる。
具体的な手法例としては、上述したように音声合成エンジンによる読み上げ処理を実行させ（但し読み上げ音声の出力は実行させない）、ＣＰＵ１３はその読み上げタイミングを参照して、テロップ表示の区切及び切換タイミングを設定すればよい。例えば音声合成エンジンによって或る句の読み上げが実行されている期間（実際には音声は出力しない）に、その句としての文字列をテロップ表示するとともに、読み上げ音声が次の句に進んだ時点で、次の句のテロップ表示に切り換えるような処理となる。
このような音声合成エンジンとテロップ作成エンジンの連動を実現する構成も図４７で後述する。

７．ビデオファイルの出力処理
７−１ビデオファイル及びタグ
以上の説明は本例の文書処理装置１において主に文書データのみを対象とした処理についてであるが、本例の文書処理装置１では、上記のような各種処理、例えば本文の表示出力、要約文の表示出力、読み上げ音声の出力などと連携して、もしくは独立して、文書データに関連するビデオデータを出力することができる。以下、ビデオデータに関する各種処理を説明していく。

まず、ビデオデータとしてのデータファイル（以下、ビデオファイルという）及び、ビデオファイルを文書データと関連づけるために文書データに付与されているタグ構造について説明する。
上述したように、例えば通信部２１や記録媒体３２から文書処理装置１に文書データが取り込まれる際には、同時にビデオファイルが取り込まれることがある。また文書データとは別にビデオファイルが入力されることもある。
図４、図１２などで説明したように、文書処理装置１に取り込まれた文書データやビデオファイルは、ＲＡＭ１４やＨＤＤ３４などに格納される。そして制御部１１は必要に応じて格納された文書データを取り出すことで、上述のように文書の本文の表示や、要約作成及び表示、読み上げなどを実行できるが、格納されているビデオファイルに関しても、処理対象となっている文書データに対応するビデオファイルを取り出して表示出力することができる。

図３１に、文書処理装置１内に格納されている文書データ及びビデオファイルのイメージを示す。
文書データ、即ちタグファイルとしては、図示するようにタグファイルＴＧ１、ＴＧ２、ＴＧ３・・・・というように、各種文書データが格納されている。
一方、ビデオファイルとしても、例えばビデオファイルＶ１、Ｖ２・・・・というように、各種のファイルが格納されている。
ビデオファイルの内容は多様であり、それぞれ文書データやビデオデータを供給するサーバ側が任意に作成するものであるが、例えばビデオファイルＶ１では複数のシーンとしての動画データＶＭ１〜ＶＭ４が含まれている。ビデオファイルＶ３は２つの動画データＶＭ５、ＶＭ６が、ビデオファイルＶ５は１つの動画データＶＭ９が含まれている。
またビデオファイルＶ２は、複数の静止画データＶＳ１〜ＶＳ７が含まれている。
ビデオファイルＶ４では、複数の静止画データＶＳ８，ＶＳ９と、複数の動画データＶＭ７，ＶＭ８が含まれている。
もちろんこれ以外にも、多様なビデオファイルが存在する。
ビデオデータは、例えばＭＰＥＧデータなどとされる。

また動画データには、オーディオデータが含まれているものとしている。但し静止画データには、基本的にはオーディオデータは含まれないが、静止画映像に関連するオーディオデータが付加されていてもよい。
なお、ここでいうオーディオデータとは、動画もしくは静止画としての画像に対応して記録されたオーディオデータであり、関連関係にある文書データの本文や要約文の内容が読み上げられたようなオーディオデータではない（上述のように音声合成処理により発生される読み上げ音声信号のことではなく、また読み上げ音声と同内容の音声信号ではない）。
つまりオーディオデータは、ビデオデータに付随する音声のデータのことをいっており、直接的に文書データと一致するものではない。例えば記録された映像の収録時の周囲音声、効果音、アナウンス／説明等の音声など、通常のビデオデータに含まれる音声データのことである。（但し、情報提供者側の意向により、或る文書データに対応するビデオデータに、その文書データをそのまま読み上げたような内容のオーディオデータを付加することはあり得る。）

また、各ビデオファイルは、例えば、時／分／秒／フレームとしてのタイムコードＴＣがビデオデータを構成するフレーム単位で付されている。例えばビデオファイルＶ１では図示するように、先頭のフレームから終端のフレームまでにおいて「００：００：００：００」〜「００：０３：３９：０５」のタイムコードＴＣが付されている。
このタイムコードＴＣはビデオファイルにおける各部のアドレス的に機能し、例えばタイムコードを指定することで、任意の箇所（任意の区間）を再生させることができる。例えばビデオファイルＶ１における動画データＶＭ２を再生させる場合などは、その動画データＶＭ２としての区間の開始フレームと終了フレームのタイムコードが指定されればよい。

このようにビデオファイルは、それぞれ１又は複数の動画や静止画のデータで構成されるが、文書データ（タグファイル）は、その文書内容に関連するビデオデータとして、ビデオファイル名や各動画データ、静止画データを指定するタグが付されている。
つまりタグファイルとしては、文書全体、段落、文、句などの任意の単位で、タグにより関連するビデオデータを指定することができ、文書処理装置１は、そのようなタグ（以下、ビデオデータを指定するタグを、ビデオタグという）に基づいて、文書データに関連するビデオデータを判別し、出力することができる。

ビデオタグが付されたタグファイルの例を図３２、図３３に示す。
図３２は、前述した図１８と同一の内容としてのタグファイルに、ビデオタグが付加された例である。
図１８の場合は、文書範囲を規定するタグとして＜文書＞〜＜／文書＞が付されていたが、この場合、（例１１）としての部分に示すように、文書範囲を示すタグにおいてビデオタグが付加され、
＜文書ビデオファイル＝“Ｖ３”＞＜シーン＝“ＶＭ５” ｉｎ＝“００：００：００：００” ｏｕｔ＝“００：００：０３：１２”＞・・・・・＜／シーン＞＜／文書＞
とされている。
このようなタグによって、この文書データの全体に関連するビデオデータが、図３１に示したビデオファイルＶ３に含まれる動画データＶＭ５であることが表されている。また、ｉｎ＝“００：００：００：００”とｏｕｔ＝“００：００：０３：１２”により、ビデオファイルＶ３内における動画データＶＭ５としてのシーンの開始時間（開始フレーム）と終了時間（終了フレーム）、即ちタイムコードが指定されている。
このようなタグ構造により、制御部１１は、当該タグファイルに関連するビデオデータを判別でき、必要に応じて再生出力させることができる。

また図３３は、前述した図１９と同一の内容としてのタグファイルに、ビデオタグが付加された例である。
この例は、文書データ内の１つの文ごとに、対応する１つの静止画データが指定されている例である。
まず、＜文書ビデオファイル＝“Ｖ２”＞・・・・＜／文書＞というタグにより、この文書に関連するビデオデータがビデオファイルＶ２に含まれていることが示される。
そして各文は、＜文＞〜＜／文＞というタグで、その範囲が示されるが、（例１２）〜（例１６）において示すように、それぞれ各文についてのタグが、
＜文シーン＝“ＶＳ１”＞・・・・＜／文＞
＜文シーン＝“ＶＳ２”＞・・・・＜／文＞
＜文シーン＝“ＶＳ３”＞・・・・＜／文＞
＜文シーン＝“ＶＳ４”＞・・・・＜／文＞
＜文シーン＝“ＶＳ５”＞・・・・＜／文＞
とされており、つまり、各文のそれぞれに、静止画データＶＳ１、ＶＳ２、ＶＳ３、ＶＳ４、ＶＳ５が対応していることが示されている。

なお、ビデオファイルＶ２において各静止画データＶＳ１〜ＶＳ７がそのデータ名称「ＶＳ１」・・・「ＶＳ７」として再生指定できる管理構造がとられていることを前提とすれば、このようなシーンをデータ名称のみで指定するビデオタグでよいが、静止画データについても上記の動画データと同様にビデオタグ内でタイムコードにより指定されるようにしてもよい。
また逆に、動画データの再生区間をデータ名称のみで指定できる場合は、必ずしも上記のようにタイムコードを指定する必要はない。

この図３２、図３３のようなタグ構造により、制御部１１は、当該タグファイルの各文に関連するビデオデータを判別でき、必要に応じて再生出力させることができる。

上記図３２の例は、文書全体に１つの動画データが対応づけられた例で、図３３は文書の各文に、それぞれ静止画データが対応づけられた例であるが、タグファイルによるビデオデータの対応付は、多様なバリエーションで可能となる。
即ち、＜段落＞〜＜／段落＞、＜＊＊句＞〜＜／＊＊句＞などのタグにビデオタグを付加すれば、段落単位や句単位など、任意の単位で或るビデオデータを対応づけることが可能である。
また、１つのタグファイル内で、複数の動画データを対応付けしたり、静止画データと動画データを複合的に対応付けすることも当然可能である。

７−２ビデオ出力処理
以上の例のようなタグファイルによれば、文書処理装置１はタグファイルに関連づけてビデオデータを出力することができる。
以下、ビデオデータに関する各種の出力処理（ビデオ出力処理、要約出力時のビデオ出力処理、読み上げ時のビデオ出力処理）を説明していく。
まずここでは、図３４〜図３６を用いて、要約表示や読み上げに連動しない通常のビデオ出力処理について述べる。

なお、動画や静止画としてのビデオデータの実際の出力形態（タイミング、表示期間など）は、タグファイルの構造や動画／静止画の別、さらには要約表示処理や読み上げ処理の事情などにより、多様に考えられるため、それについては各種のビデオ出力形態として図４１以降を用いてまとめて後述する。

図３５は制御部１１によるビデオ出力処理を示す。この処理は、例えば上述した図２６のように閲覧ウインドウ３０１が表示されている状態で、ビデオボタン３０６ｄがクリックされることにより開始される。もちろん図２７のように要約文が作成され、表示された状態にあるときに、ビデオボタン３０６ｄがクリックされた場合でもよい。

ビデオボタン３０６ｄがクリックされることに応じて、制御部１１は、まず図３５のステップＦ６０１として、閲覧ウインドウ３０１上に表示されている文書データのタグファイルを確認し、そのタグファイルが上記図３２、図３３のようにビデオタグを含むものであるか、或いは図１８、図１９のようにビデオタグが存在しないものであるかを確認する。

もしビデオタグが存在しないタグファイルについて、閲覧ウインドウ３０１が開かれていた状態であったときは、表示されている文書データに関連するビデオデータは存在しないと判断し、ステップＦ６０１からビデオ出力処理を終える。つまりその場合は、ビデオボタン３０６ｄのクリックは無効な操作となる。

ところが、閲覧ウインドウ３０１で表示されている文書データのタグファイルにビデオタグが含まれていた場合は、その文書データに関連するビデオデータが指定されていることになるため、制御部１１は処理をステップＦ６０２に進め、ビデオ出力用ファイルを生成する。
ビデオ出力用ファイルとは、例えば図３４（ａ）（ｂ）に示すように、タグファイルからビデオタグを抽出して生成するファイルである。
図３４（ａ）は図３２のタグファイルから生成したビデオ出力用ファイルであり、この場合、上述したビデオタグが抽出され、図示するようにビデオファイルＶ３における動画データＶＭ５を指定するファイル内容となる。
また図３４（ｂ）は図３３のタグファイルから生成したビデオ出力用ファイルであり、この場合、図示するようにビデオファイルＶ２における静止画データＶＳ１〜ＶＳ５を指定するファイル内容となる。

このようなビデオ出力用ファイルは、文書処理装置１内のビデオエンジンによるビデオ再生動作の実行のためのファイルとなる。
ビデオエンジンは、ハードウェアで構成してもよいし、ソフトウェアで実現するようにしてもよい。ビデオエンジンをソフトウェアで実現する場合には、そのアプリケーションプログラムは、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている。ビデオエンジンを含む機能構成については図４７で後述する。

なお、図３４はビデオ出力用ファイルの構造としての一例であり、実際にビデオ出力用ファイルがこのような構造に限定されるものではない。
また、この図３５の処理や後述する図３７、図３９の処理では、ビデオ出力用ファイルに基づいてビデオデータが出力されるものとしているが、ビデオエンジンが直接タグファイルに基づいてビデオデータの再生を行うようにすることもできる。

続いて制御部１１はステップＦ６０３で、ビデオエンジンを起動する。
また制御部１１はステップＦ６０４で、表示部３０に例えば図３６に示すようなビデオウインドウ５０１を開く。
このビデオウインドウ５０１には、文書データファイルのファイル名を表示するファイル名表示部５０２、そのファイル名の文書データに関連するビデオデータを表示するビデオ表示部５０３、ビデオ表示部５０３で表示されている映像の位置（動画データの再生進行位置）を示すビデオバー５０４、表示されている映像の開始位置としてのタイムコードを表示する開始位置表示部５２１、表示されている映像の現在の再生位置（カレントポジション）としてのタイムコードを表示する現在位置表示部５２２、表示されている映像の終了位置としてのタイムコードを表示する終了位置表示部５２３などが表示される。
さらに、画像再生動作をユーザーが指示するために、再生ボタン５０５、一時停止ボタン５０６、停止ボタン５０７、早戻しボタン５０８、早送りボタン５０９、戻し方向の頭出しボタン５１０、送り方向の頭出しボタン５１１などが表示される。

このようなビデオウインドウ５０１を開いたら、制御部１１はステップＦ６０５としてユーザーインターフェースの操作に応じた処理を行うことになる。
例えば図３４（ａ）のようなビデオ出力用ファイルによれば、図３１に示したビデオファイルＶ３の動画データＶＭ５の再生が指定されたことになるが、ビデオウインドウ５０１で再生ボタン５０５がクリックされた場合は、制御部１１はビデオエンジンにより、動画データＶＭ５の再生を開始させる。これによりビデオ表示部５０３に動画データＶＭ５の動作映像が表示される。なおこのとき動画データＶＭ５に含まれるオーディオデータは音声出力部３３から音声として出力されることになる。

また、一時停止ボタン５０６がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生を一時停止させる。
停止ボタン５０７がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生を停止させる。
早戻しボタン５０８、又は早送りボタン５０９がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生動作の早戻し又は早送りを実行させる。
戻し方向の頭出しボタン５１０、又は送り方向の頭出しボタン５１１がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生箇所として、例えば前後のシーン（又はポイントとなる特定箇所）の先頭箇所に戻し（又は送り）、その箇所からの再生を実行させる。
さらに、ユーザーがビデオバー５０４における現在位置の表示部分をドラッグした場合は、それに応じて、ビデオエンジンによる動画データＶＭ５の再生箇所の戻し方向又は進み方向に移動させる。

ところで、例えば図３４（ｂ）のようなビデオ出力用ファイルに基づく場合など、表示されるビデオデータが静止画データである場合は、一時停止ボタン５０６、早戻しボタン５０８、早送りボタン５０９操作は実質的に意味がないため表示されないようにしてもよい。
そしてその場合は、再生ボタン５０５のクリックにより、静止画データの表示が開始され、またタグファイルにより複数の静止画データが指定されていた場合は、戻し方向の頭出しボタン５１０、又は送り方向の頭出しボタン５１１のクリックに応じて、静止画データが切り換えられていくようにすればよい。

このようなユーザーインターフェース操作に応じた処理により、ユーザーは、ビデオデータを任意の状態で視聴できることになる。
そして、このように閲覧ウインドウ３０１で表示されている文書データに関連したビデオデータがビデオウインドウ５０１において表示されることで、ユーザーは文書内容に関連したビデオデータを見ることができ、文書内容（情報内容）をより的確かつ詳細に知ることができる。

７−３要約出力時のビデオ出力処理
次に、図３７、図３８を用いて、要約出力時に行われるビデオ出力処理について述べる。
上述したように、例えば図２６のような閲覧ウインドウ３０１において要約作成ボタン３０６ａをクリックすると、その時点の要約表示部３０４のサイズに応じた文書長の要約文が作成され、その要約文が要約表示部３０４に固定的に表示される。又は、要約表示部３０４のサイズが小さい場合は、要約表示部３０４のサイズより長い文書長の要約文が作成され、その要約文が要約表示部３０４にテロップ化されて表示される（切り換え又は移動表示）。

ここで、要約文の元となる本文タグファイルにビデオタグが付されていた場合はその全部又は一部のビデオタグが要約文のタグファイルにも付加されることで、要約文の表示の際に、ビデオデータを表示させることができる。
このようなビデオデータ出力を含む、制御部１１による要約作成／表示の際の全体の処理を図３７に示す。

閲覧ウインドウ３０１において要約作成ボタン３０６ａがクリックされると、制御部１１は、まず図３７のステップＦ７０１として、閲覧ウインドウ３０１上に表示されている文書データのタグファイルを確認し、そのタグファイルがビデオタグを含むものであるか否かを確認する。

もしビデオタグが存在しないタグファイルについて、閲覧ウインドウ３０１が開かれていた状態であったときは、表示されている文書データに関連するビデオデータは存在しないと判断し、ステップＦ７０１からＦ７０２、Ｆ７０３に進み、図２３で説明した要約作成処理、及び図２４（及び図２５）で説明した要約文表示処理を実行する。
即ち、図２６〜図３０で説明したとおり、要約文が作成されるとともに、その要約文が固定表示もしくはテロップ表示により表示される。

ところがステップＦ７０１において、閲覧ウインドウ３０１で表示されている文書データのタグファイルにビデオタグが含まれていると判断された場合は、その文書データに関連するビデオデータは存在することになるため、制御部１１は処理をステップＦ７０４以降に進め、要約作成／表示とともにビデオ出力を行う処理を開始する。

まずステップＦ７０４で、図２３で説明した要約作成処理を実行する。このとき上述したように本文から文や句が抽出されて要約文が作成されることになるが、そのとき要約文として生成されるタグファイルには、抽出した文、句等の部分にかかるビデオタグも含まれることになる。
従って、要約文のタグファイルには、本文タグファイルに含まれるビデオタグの全部又は一部が含まれることになる。
なお、ビデオタグの一部のみが要約文タグファイルに含まれ、要約文タグファイルに含まれなくなるビデオタグが存在する場合とは、例えば本文タグファイル上で、要約文として抽出されなかった文、句等のみにかかるビデオタグがあった場合である。例えば図３３の本文タグファイルから（例１４）の部分の文（第３番目の文）が要約文として抽出されなかった場合、その第３番目の文のみにかかるビデオタグ「シーン＝“ＶＳ３”」は要約文タグファイルには含まれないことになる。

続いて制御部１１はステップＦ７０５で、要約文としてのタグファイルに基づいて、図３４で説明したようなビデオ出力用ファイルを生成する。
続いて制御部１１はステップＦ７０６で、ビデオエンジンを起動する。

そして制御部１１はステップＦ７０７で、図２４で説明した処理により要約文の表示（固定表示又はテロップ表示）を実行するとともに、ビデオエンジンによるビデオ再生を開始させ、その動画映像又は静止画映像を表示させる。なおこのときビデオデータに含まれるオーディオデータは音声出力部３３から音声として出力される。
例えば図３８に示すように、閲覧ウインドウ３０１上で、要約表示部３０４に作成した要約文を表示させるとともに、本文表示部３０３とされていた領域を利用してビデオ表示部３３０を設定して、ビデオエンジンにより出力される画像を表示させる。
なおこのとき閲覧ウインドウ３０１上には、ビデオ表示部３３０で表示されている映像の位置を示すビデオバー３３１、表示されている映像の開始位置としてのタイムコードを表示する開始位置表示部３３２、表示されている映像の現在の再生位置（カレントポジション）としてのタイムコードを表示する現在位置表示部３３３、表示されている映像の終了位置としてのタイムコードを表示する終了位置表示部３３４なども表示させる。

このように要約文とともにビデオデータの表示を開始させた後は、ステップＦ７０８で、ビデオデータの再生終了もしくは要約文のテロップ表示の場合のテロップ完了を監視し、ビデオ終了もしくはテロップ完了に応じて、ステップＦ７０９で本文表示を復帰させ、例えば図２７や図３０のようなウインドウ状態に戻して、処理を終了する。

以上のように、タグファイル上で文書に関連するビデオデータが指定されている場合は、要約表示の際に、関連するビデオデータがユーザーに提示されることになり、これによってユーザーにとって要約内容（文書内容）がより理解しやすいものとなる。

７−４読み上げ時のビデオ出力処理
次に、図３９、図４０を用いて、読み上げ時に行われるビデオ出力処理について述べる。
上述したように、例えば図２６のような閲覧ウインドウ３０１において読み上げボタン３０６ｃをクリックすると、その閲覧ウインドウ３０１において表示されている本文又は要約文の読み上げが実行される。
このとき、本文又は要約文のタグファイルにビデオタグが付されていた場合、読み上げ音声の出力とともに、ビデオデータを表示させることができる。
このようなビデオデータ出力を含む、制御部１１による文書読み上げの際の全体の処理を図３９に示す。

閲覧ウインドウ３０１において読み上げボタン３０６ｃがクリックされると、制御部１１は、まず図３９のステップＦ８０１として、閲覧ウインドウ３０１上に表示されている文書データのタグファイル（本文タグファイル又は要約文タグファイル）を確認し、そのタグファイルがビデオタグを含むものであるか否かを確認する。

もしビデオタグが存在しないタグファイルについて閲覧ウインドウ３０１が開かれていた状態であったときは、表示されている文書データに関連するビデオデータは存在しないと判断し、ステップＦ８０１からＦ８０２、Ｆ８０３に進み、図１６で説明した読み上げ用ファイルの生成及び読み上げ用ファイルを用いた処理、即ち図１６のステップＦ１０２，Ｆ１０３の処理を行った後、ステップＦ８０３に進んで、ユーザーインターフェースの操作に応じた読み上げ処理を実行する。即ち図１６のステップＦ１０４で説明した処理である。
これにより、図２２に示した読み上げウインドウ４０１において、ユーザーが行う操作に応じて、上述したように読み上げが行われる。

一方、ステップＦ８０１において、閲覧ウインドウ３０１で表示されている文書データのタグファイルにビデオタグが含まれていると判断された場合は、その文書データに関連するビデオデータは存在することになるため、制御部１１は処理をステップＦ８０４以降に進め、読み上げとともにビデオ出力を行う処理を開始する。

まずステップＦ８０４で、図１６で説明した読み上げ用ファイルの生成及び読み上げ用ファイルを用いた処理（ステップＦ１０２，Ｆ１０３）を行った後、ステップＦ８０５で、図３４で説明したようなビデオ出力用ファイルを生成する。
続いて制御部１１はステップＦ８０６で、ビデオエンジンを起動する。

そしてステップＦ８０７で制御部１１は、ユーザーインターフェースの操作に応じた読み上げ処理（図１６のステップＦ１０４）を実行するが、このとき、読み上げ処理に連動してビデオエンジンによるビデオ再生を実行させる。なお、この場合は、ビデオデータに含まれるオーディオデータは出力させないようにする（音声出力部３３からは読み上げ音声が出力されるため）。但し、オーディオデータが読み上げ音声とともに出力されるようにしてもよい。

このステップＦ８０７での表示状態としては、例えば図４０に示すように、読み上げウインドウ４０１上で、ビデオ表示部４３０を設定して、ビデオエンジンにより出力される画像を表示させる。
つまり再生ボタン４２０のクリックにより読み上げ音声出力が開始されることに応じて、動画データ又は静止画データとしての表示出力を実行する。
なお図示していないが、このとき読み上げウインドウ４０１上で、上記図３８のようなビデオバー、開始位置表示部、現在位置表示部、終了位置表示部などを表示させるようにしてもよい。

以上のように、タグファイル上で文書に関連するビデオデータが指定されている場合は、読み上げの際に、関連するビデオデータがユーザーに提示されることになり、これによってユーザーにとって読み上げ内容（文書内容）がより理解しやすいものとなる。

７−５各種のビデオ出力形態
以上、本例の文書処理装置１においてビデオデータが出力される際の処理例を説明したが、実際のビデオデータ出力時の出力形態としては、タグファイルの構造や動画／静止画の別、さらには要約表示処理や読み上げ処理の事情などにより、ビデオ再生期間、再生タイミング、再生箇所などがそれぞれ多様な状態となる。以下、図４１〜図４６でビデオデータの出力形態の各種の例を説明していく。

図４１、図４３、図４５は、それぞれ本文タグファイル、本文タグファイルから生成される要約文タグファイル、及び読み上げ時に作成される本文の読み上げ用ファイル、要約文の読み上げ用ファイルを、模式的に示している。
即ち、文書処理装置１に供給される本文タグファイルから、上述した文書処理装置１の処理よって要約文タグファイルが生成され、またこれらタグファイルから読み上げファイルが生成される場合の模式図である。

まず図４１は、本文タグファイルに、上述したビデオタグにより、本文全体に関連して動画データＶＭ５が指定されている場合を示している。これは本文タグファイルが例えば図３２のようなタグファイルであった場合に相当する。
このとき、このような本文タグファイルに基づいて生成される要約文タグファイルにも、ビデオタグが含まれ、同じく要約文全体について動画データＶＭ５が指定される状態となる。

このような状態において実行される、各場合でのビデオ出力動作を図４２に示す。なお、この図４２及び後述する図４４、図４６は横方向を時間軸として、ビデオ出力動作を模式的に示すものである。また、これら各図において、実線矢印は、情報内容が時間的に進行する情報の出力（即ち動画データ出力、テロップ表示、読み上げ音声出力）を示し、破線は、固定的な出力（即ち本文又は要約文の固定表示、静止画データ出力）を示すこととしている。

図４１に示す本文タグファイル、又は要約文タグファイルが閲覧ウインドウ３０１に表示されている状態で、ビデオボタン３０６ｄがクリックされることにより実行される、上記図３５のビデオ出力処理によるビデオ出力動作は図４２（ａ）のようになる。
この場合、図３６のようなビデオウインドウ５０１上で、ユーザーが再生ボタン５０５をクリックすることで、例えばｔ１時点から動画データＶＭ５の再生（及びオーディオデータの再生）が行われ、動画データＶＭ５の再生終了により、例えばｔ２時点で動画データＶＭ５の再生が終了される。
なお、もちろんこの場合は、ビデオウインドウ５０１上でのユーザーインターフェース操作に応じて、ビデオデータ再生の一時停止、早送り、早戻し、頭出し、再生途中での停止などもあり得る。
また、ｔ２時点で再生が終了した後は、ビデオウインドウ５０１を閉じるようにしてもよいが、そのままビデオウインドウ５０１上で再びリピート再生したり、或いは特定の場面を静止画として継続表示するようにしてもよい。

図４１の本文タグファイルについての要約文の作成が指示（要約作成ボタン３０６ａのクリック）された際に、上記図３７の処理により要約文表示とともに行われるビデオ出力動作は図４２（ｂ）又は（ｃ）のようになる。

まず、図４２（ｂ）は作成された要約文が固定表示される場合を示している。
この場合、図３８のような閲覧ウインドウ３０１上で、例えばｔ１１時点から要約文が固定表示され、その固定表示は以降継続される。
そしてそれとともに、ｔ１１時点からビデオ表示部３３０で動画データＶＭ５の再生（及びオーディオデータの再生）が行われる。例えばｔ１２時点で動画データＶＭ５の再生が終了されたとすると、閲覧ウインドウ３０１上でビデオ表示部３３０が閉じられて本文表示部３０３に戻され、本文の表示が復帰される。例えばｔ１２時点以降は、図２７のような表示状態となる。

図４２（ｃ）は作成された要約文がテロップ表示される場合を示している。
この場合、図３８のようにビデオ表示部３３０が設定された閲覧ウインドウ３０１上における要約表示部３０４において、図２８、図２９で説明したようなテロップ表示がｔ２１時点から開始される。また、そのテロップ表示がｔ２２時点で完了されたとすると、ｔ２２時点以降は図３０に示すように要約文の一部が固定表示されることになる。
ここで閲覧ウインドウ３０１におけるビデオ表示部３３０では、ｔ２１時点から動画データＶＭ５の再生（及びオーディオデータの再生）が開始される。
そしてｔ２２時点でテロップ表示が完了すると、動画データＶＭ５の再生がまだ終了していなくても、テロップ完了とともに中止終了され、ｔ２２時点以降は図３０に示すように本文が固定表示されている状態に復帰することになる。

図４１に示す本文タグファイル又は要約文タグファイルについての読み上げ指示（読み上げボタン３０６ｃのクリック）があって図３９の処理が実行された際のビデオ出力、つまり読み上げウインドウ４０１が開かれた状態において、読み上げとともに行われるビデオ出力動作は図４２（ｄ）又は（ｅ）のようになる。

まず、図４２（ｄ）は本文の読み上げが実行される場合を示している。
例えば図４０に示す読み上げウインドウ４０１で再生ボタン４２０がクリックされることで、ｔ３１時点から本文の読み上げが開始されるが、それと同時に、ビデオ表示部４３０において動画データＶＭ５の再生が開始される（この場合はオーディオデータの再生出力は行われない）。
なお、読み上げ音声に連動して、読み上げウインドウ４０１上のテロップ表示部４０２で本文のテロップ表示も行われる。
ここで、ｔ３２時点で本文の読み上げが完了したとすると、動画データＶＭ５の再生がまだ終了していなくても、読み上げ完了とともに中止終了されることになる。

図４２（ｅ）は要約文の読み上げが実行される場合を示している。
例えば読み上げウィンドウ４０１で再生ボタン４２０のクリックにより、ｔ４１時点から要約文の読み上げが開始されると、それと同時に、ビデオ表示部４３０において動画データＶＭ５の再生が開始される（この場合もオーディオデータの再生出力は行われない）。また読み上げ音声に連動して、テロップ表示部４０２で要約文のテロップ表示も行われる。
そしてｔ４２時点で要約文の読み上げが完了したとすると、動画データＶＭ５の再生は、まだ終了していなくても、読み上げ完了とともに中止終了される。

なお、図４２（ｃ）（ｄ）（ｅ）の場合には動画データが中止終了されるとしたが、中止終了となるタイミング以前に動画データの再生が完了していた場合は、その余った期間は、動画データを再度先頭位置などから再生させたり、或いは特定の場面を静止画として表示させるようにしてもよい。

次に、図４３は、本文タグファイルに、上述したビデオタグにより、例えばそれぞれの段落や文などの単位で、それぞれに関連して複数の動画データＶＭ１〜ＶＭ４が指定されている場合を示している。
そしてこのような本文タグファイルに基づいて生成される要約文タグファイルには、動画データＶＭ１、ＶＭ４を指定するビデオタグが含まれたとする。

このような状態において実行される、各場合でのビデオ出力動作を図４４に示す。
図４３に示す本文タグファイルが閲覧ウインドウ３０１に表示されている状態で、ビデオボタン３０６ｄがクリックされることにより実行される、上記図３５のビデオ出力処理によるビデオ出力動作は図４４（ａ）のようになる。

この場合、図３６のようなビデオウインドウ５０１上で、ユーザーが再生ボタン５０５をクリックすることで、例えばｔ１０１時点から動画データＶＭ１の再生（及びオーディオデータの再生：以下同様）が行われる。動画データＶＭ１の再生がｔ１０２時点で終了すると、続いて動画データＶＭ２が再生される。さらにｔ１０３時点からは動画データＶＭ３が、またｔ１０４時点からは動画データＶＭ４が、それぞれ順次再生される。そして動画データＶＭ４の再生終了に伴って、ｔ１０５時点でビデオデータの再生が終了される。

なお、もちろんこの場合は、ビデオウインドウ５０１上でのユーザーインターフェース操作に応じて、ビデオデータ再生の一時停止、早送り、早戻し、頭出し、再生途中での停止などもあり得る。
また、ｔ１０２時点で再生が終了した後は、ビデオウインドウ５０１を閉じるようにしてもよいが、そのままビデオウインドウ５０１上で再びリピート再生したり、或いは特定の場面を静止画として継続表示するようにしてもよい。

図４３に示す本文タグファイルについての要約文の作成が指示（要約作成ボタン３０６ａのクリック）された際に、図３７の処理により要約文表示とともに行われるビデオ出力動作は図４４（ｂ）又は（ｃ）のようになる。

まず、図４４（ｂ）は作成された要約文が固定表示される場合を示している。
この場合、図３８のような閲覧ウインドウ３０１上で、例えばｔ１１１時点から要約文が固定表示され、その固定表示は以降継続される。
そしてそれとともに、ｔ１１１時点からビデオ表示部３３０で動画データＶＭ１の再生（オーディオデータ再生を含む）が行われる。ｔ１１２時点で動画データＶＭ１の再生が終了すると、続いて動画データＶＭ４の再生（オーディオデータ再生を含む）が行われる。
なお、図４３の例の場合、要約文タグファイルには動画データＶＭ２、ＶＭ３を指定するビデオタグが付されていないため、これらは再生されない。
ｔ１１３時点で動画データＶＭ４の再生が終了されると、閲覧ウインドウ３０１上でビデオ表示部３３０が閉じられて本文表示部３０３に戻され、本文の表示が復帰される。例えばｔ１１３時点以降は、図２７のような表示状態となる。

図４４（ｃ）は作成された要約文がテロップ表示される場合を示している。
この場合、図３８のようにビデオ表示部３３０が設定された閲覧ウインドウ３０１上における要約表示部３０４において、図２８、図２９で説明したようなテロップ表示がｔ１２１時点から開始される。また、そのテロップ表示がｔ１２３時点で完了されたとすると、ｔ１２３時点以降は図３０に示すように要約文の一部が固定表示されることになる。
ここで閲覧ウインドウ３０１におけるビデオ表示部３３０では、ｔ１２１時点から動画データＶＭ１の再生（オーディオデータ再生を含む）が開始される。
その後、ｔ１２２時点で、要約文のテロップが、動画データＶＭ４に対応する部分に到達したとすると、動画データＶＭ１の再生はまだ終了していなくても中止され、続いて動画データＶＭ４の再生が開始される。
そしてｔ１２３時点でテロップ表示が完了すると、動画データＶＭ４の再生は、まだ終了していなくても中止終了され、ｔ１２３時点以降は図３０に示すように本文が固定表示されている状態に復帰することになる。

図４３に示す本文タグファイル又は要約文タグファイルについての読み上げ指示（読み上げボタン３０６ｃのクリック）があって図３９の処理が実行された際のビデオ出力、つまり読み上げウインドウ４０１が開かれた状態において、読み上げとともに行われるビデオ出力動作は図４４（ｄ）又は（ｅ）のようになる。

まず、図４４（ｄ）は本文の読み上げが実行される場合を示している。
例えば読み上げウインドウ４０１で再生ボタン４２０がクリックされることで、ｔ１３１時点から本文の読み上げが開始されるが、それと同時に、図４０に示したビデオ表示部４３０において動画データＶＭ１の再生が開始される（なお、この場合はオーディオデータの再生出力は行われない：以下同様）。
なお、読み上げ音声に連動して、読み上げウインドウ４０１上のテロップ表示部４０２で本文のテロップ表示も行われる。
ｔ１３２時点で、本文の読み上げが動画データＶＭ２に対応する部分に到達したとすると、動画データＶＭ１の再生は中止終了され、続いて動画データＶＭ２の再生が開始される。以降同様に読み上げの進行に応じて、ｔ１３３時点で動画データＶＭ２の再生は中止終了されて動画データＶＭ３の再生が開始され、さらにｔ１３４時点で動画データＶＭ３の再生が中止終了されて動画データＶＭ４の再生が開始される。
そしてｔ１３５時点で本文の読み上げが完了したとすると、動画データＶＭ４の再生は中止終了される。即ち読み上げ完了とともにビデオデータ再生が終了されることになる。

図４４（ｅ）は要約文の読み上げが実行される場合を示している。
例えば再生ボタン４２０のクリックにより、ｔ１４１時点から要約文の読み上げが開始されると、それと同時に、図４０に示したビデオ表示部４３０において動画データＶＭ１の再生が開始される（オーディオデータの再生出力は行われない）。また読み上げ音声に連動して、読み上げウインドウ４０１上のテロップ表示部４０２で要約文のテロップ表示も行われる。
ｔ１４２時点で、要約文の読み上げが動画データＶＭ４に対応する部分に到達したとすると、動画データＶＭ１の再生は中止終了され、続いて動画データＶＭ４の再生が開始される。
そしてｔ１４３時点で要約文の読み上げが完了したとすると、動画データＶＭ４の再生は中止終了される。即ち読み上げ完了とともにビデオデータ再生が終了される。

なお、図４４（ｃ）（ｄ）（ｅ）の各場合には、各動画データが中止終了されるとしたが、中止終了となるタイミング以前に動画データの再生が完了していた場合は、その余った期間は、動画データを再度先頭位置などから再生させたり、或いは特定の場面を静止画として表示させるようにしてもよい。

次に図４５は、本文タグファイルに、上述したビデオタグにより、例えばそれぞれの段落や文などの単位でそれぞれに関連する、複数の静止画データＶＳ１〜ＶＳが指定されている場合を示している。
そしてこのような本文タグファイルに基づいて生成される要約文タグファイルには、静止画データＶＳ１、ＶＳ３、ＶＳ５を指定するビデオタグが含まれたとする。

このような状態において実行される、各場合でのビデオ出力動作を図４６に示す。
図４５に示す本文タグファイルが閲覧ウインドウ３０１に表示されている状態で、ビデオボタン３０６ｄがクリックされることにより実行される、上記図３５のビデオ出力処理によるビデオ出力動作は図４６（ａ）のようになる。
この場合、図３６のようなビデオウインドウ５０１上で、ユーザーが再生ボタン５０５をクリックすることで、例えばｔ２０１時点から静止画データＶＳ１の再生が行われる。この静止画データＶＳ１の再生表示は例えば一定時間ＴＳだけ行われる。
一定時間を経過したｔ２０２時点からは、同様に一定時間ＴＳの間、静止画データＶＳ２の再生表示が行われる。
以降同様に一定時間ＴＳづつ、静止画データＶＳ３、ＶＳ４、ＶＳ５が順次再生表示されていく。
そしてｔ２０６時点で、ビデオデータの再生が終了される。

なお、もちろんこの場合は、ビデオウインドウ５０１上でのユーザーインターフェース操作に応じて、静止画の送り／戻し（頭出し操作）や、再生途中での停止などもあり得る。
また、ｔ２０２時点で一連の静止画の再生が終了した後は、ビデオウインドウ５０１を閉じるようにしてもよいが、そのままビデオウインドウ５０１上で再び各静止画データを順次再生したり、或いは特定の静止画データを継続表示するようにしてもよい。
なお、上記のようにＴＳ時間毎に静止画データを切り換えることはせずに、ユーザーの操作（戻し方向又は送り方向の頭出しボタン５１０，５１１のクリック）に応じて画像を切り換えていくようにしてもよい。

図４５に示す本文タグファイルについての要約文の作成が指示（要約作成ボタン３０６ａのクリック）された際に、図３７の処理により要約文表示とともに行われるビデオ出力動作は図４６（ｂ）又は（ｃ）のようになる。

まず、図４６（ｂ）は作成された要約文が固定表示される場合を示している。
この場合、図３８のような閲覧ウインドウ３０１上で、例えばｔ２１１時点から要約文が固定表示され、その固定表示は以降継続される。
そしてそれとともに、ｔ２１１時点からビデオ表示部３３０で静止画データＶＳ１の再生が一定時間ＴＳの間、行われる。ＴＳ時間後の時点ｔ２１２からは、続いて静止画データＶＭ３の再生表示が行われる。さらにＴＳ時間後の時点ｔ２１３からは、続いて静止画データＶＳ５の再生表示が行われる。
なお、図４５の例の場合、要約文タグファイルには動画データＶＳ２、ＶＳ４を指定するビデオタグが付されていないため、これらは再生されない。
ｔ２１４時点で各静止画データＶＳ１、ＶＳ３、ＶＳ５のＴＳ時間づつの再生が終了されると、閲覧ウインドウ３０１上でビデオ表示部３３０が閉じられて本文表示部３０３に戻され、本文の表示が復帰される。例えばｔ２１４時点以降は、図２７のような表示状態となる。

ところで静止画データにオーディオデータが付随されている場合もあり得るが、オーディオデータが存在する場合は、上記図４６（ａ）（ｂ）の各場合において各静止画データの表示期間を一定時間ＴＳとはせずに、それぞれ付随するオーディオデータの再生が完了するまでの期間とするようにしてもよい。

図４６（ｃ）は作成された要約文がテロップ表示される場合を示している。
この場合、図３８のようにビデオ表示部３３０が設定された閲覧ウインドウ３０１上における要約表示部３０４において、図２８、図２９で説明したようなテロップ表示がｔ２２１時点から開始される。また、そのテロップ表示がｔ２２３時点で完了されたとすると、ｔ２２３時点以降は図３０に示すように要約文の一部が固定表示されることになる。
ここで閲覧ウインドウ３０１におけるビデオ表示部３３０では、ｔ２２１時点から静止画データＶＳ１の再生表示が開始される。
その後、ｔ２２２時点で、要約文のテロップが、静止画データＶＳ３に対応する部分に到達したとすると、静止画データＶＳ１の再生は終了され、続いて静止画データＶＳ３が再生表示される。
またｔ２２３時点で、要約文のテロップが、静止画データＶＳ５に対応する部分に到達したとすると、静止画データＶＳ３の再生は終了され、静止画データＶＳ５が再生表示される。
そしてｔ２２４時点でテロップ表示が完了すると、ビデオデータ再生も終了され、ｔ２２４時点以降は図３０に示すように本文が固定表示されている状態に復帰することになる。

図４５に示す本文タグファイル又は要約文タグファイルについての読み上げ指示（読み上げボタン３０６ｃのクリック）があって図３９の処理が実行された際のビデオ出力、つまり読み上げウインドウ４０１が開かれた状態において、読み上げとともに行われるビデオ出力動作は図４６（ｄ）又は（ｅ）のようになる。

まず、図４６（ｄ）は本文の読み上げが実行される場合を示している。
例えば読み上げウインドウ４０１で再生ボタン４２０がクリックされることで、ｔ２３１時点から本文の読み上げが開始されるが、それと同時に、図４０に示したビデオ表示部４３０において静止画データＶＳ１の再生が開始される。
なお、読み上げ音声に連動して、読み上げウインドウ４０１上のテロップ表示部４０２で本文のテロップ表示も行われる。
ｔ２３２時点で、本文の読み上げが静止画データＶＳ２に対応する部分に到達したとすると、静止画データＶＳ１の再生は終了され、続いて静止画データＶＳ２の再生表示が行われる。以降同様に読み上げの進行に応じて、対応する静止画データＶＳ３、ＶＳ４、ＶＳ５の表示がそれぞれ行われていく。
ｔ２３６時点で本文の読み上げが完了したとすると、静止画としてのビデオデータ再生が終了されることになる。

図４４（ｅ）は要約文の読み上げが実行される場合を示している。
例えば再生ボタン４２０のクリックにより、ｔ２４１時点から要約文の読み上げが開始されると、それと同時に、図４０に示したビデオ表示部４３０において静止画データＶＳ１の再生が開始される。この場合も、読み上げ音声に連動して、読み上げウインドウ４０１上のテロップ表示部４０２で本文のテロップ表示も行われる。
ｔ２４２時点で、要約文の読み上げが静止画データＶＳ３に対応する部分に到達すると、静止画データＶＳ１の再生は終了され、静止画データＶＳ３の再生表示が行われる。また同様に読み上げの進行に応じて、例えばｔ２４３時点で、静止画データＶＳ５の再生表示に切り換えられる。
ｔ２４４時点で要約文の読み上げが完了したとすると、静止画としてのビデオデータ再生が終了されることになる。

以上、各種のビデオ出力形態を例示したが、このように、指定されるビデオデータが動画であるか、静止画であるかの別や、ビデオ出力時の動作状況、即ちビデオボタン３０６ｄのクリックにより開始される、ビデオ再生を主とする動作状況であるか、或いは要約や読み上げの補助的なビデオ再生を行う動作状況であるかなどにより、多様な出力形態が実行されることになる。
もちろん例示した以外にも各種のビデオ出力形態が考えられる。また例えば１つのタグファイルで静止画データと動画データが複合的に指定された場合なども、上記各例に準じてビデオ再生が行われるものとなる。
さらにビデオ出力の期間、開始／終了タイミング、テロップや読み上げとの同期状態など、多様な観点で、ビデオ出力形態としての変形例も考えられる。

８．文書処理装置の機能ブロック構成
以上、文書処理装置１において実現される各種の動作を説明してきた。
本例の文書処理装置１では、これらの処理を実行するために、例えば制御部１１内のソフトウエア構成（もしくはハードウエア構成でもよい）及びファイル群構成として、図４７のような機能ブロックが形成されている。

即ち上述した音声合成エンジン６０１、テロップ作成エンジン６０２、要約作成エンジン６０３、ビデオエンジン６０４が設けられる。また音声出力部３３に対する音声信号の出力処理部として音声制御部６０５や、表示部３０に対する画像信号の出力処理部として表示制御部６０６が設けられる。
さらに、ユーザーインターフェース６０７として、表示される各種ウインドウ上でのボタンについてのユーザー操作（入力部２０としてのマウスのクリック等による操作）についての処理を行う部位が設けられる。
そして、これらの機能ブロックの制御を行うコントローラ６００が形成される。

またファイルとしては、上述してきた読み上げ用ファイル６０８、本文タグファイル６０９、要約文タグファイル６１０、ビデオファイル６１１、ビデオ出力用ファイル６１２がある。
上述したように、本文タグファイル６０９及びビデオファイル６１１は、通信部２１もしくは記録／再生部３１（記録媒体３２）から取り込まれるものとなる。また、要約文タグファイル６１０は、要約作成エンジン６０３によって本文タグファイル６０９から生成される。
読み上げ用ファイル６０８は、本文タグファイル６０９もしくは要約文タグファイル６１０が変換されて生成される。
ビデオ出力用ファイル６１２は、本文タグファイル６０９もしくは要約文タグファイル６１０から変換されて（具体的にはビデオタグが抽出されて）生成される。

上述してきた各動作を実現するための図４７の機能ブロックの処理を、以下説明していく。

・読み上げ処理
図１６〜図２２で説明した読み上げ処理の際には、まず本文タグファイル６０９もしくは要約文タグファイル６１０から読み上げ用ファイル６０８が生成される。
そして音声合成エンジン６０１はコントローラ６００の指示に基づいて読み上げ用ファイル６０８を参照し、読み上げ用ファイル６０８に基づいた音声合成処理を行う。
生成された合成音声信号（読み上げ音声信号）Ｙｏｕｔは音声制御部６０５において出力レベル調整等が行われ、音声出力部３３に供給されて出力される。
またコントローラは表示制御部６０６から読み上げウインドウ４０１としての画像信号を出力させ、表示部３０に表示させる。
また読み上げウインドウ４０１に対するユーザー操作の情報はユーザーインターフェース６０７で取り込まれてコントローラ６００に伝えられ、コントローラ６００は、ユーザー操作に応じて音声合成エンジン６０１の動作を制御する。

・要約作成処理
図２３で説明した要約作成処理の際には、コントローラ６００は要約作成エンジン６０３に指示を出し、本文タグファイル６０９について要約作成を実行させる。これにより要約文タグファイルが形成される。
なおコントローラ６００は、要約作成エンジン６０３に対して、要約表示部３０４のサイズ情報を伝えることで、上述のように要約表示部３０４のサイズに応じた要約生成処理が行われる。

・要約固定表示処理
図２３、図２４、図２７で説明したように、要約表示部３０４のサイズが所定値ｗｓｔｈ以上であった場合は、そのサイズに応じた文書長の要約文タグファイル６１０が生成され、それが固定表示されることになる。
この場合、生成された要約文タグファイル６１０は、要約作成エンジン６０３によって表示文書出力Ｓｏｕｔとして処理され、表示制御部６０６に供給される。そして表示制御部６０６で、閲覧ウインドウ３００の画像に合成され、表示部３０で図２７のように表示される。

・要約文／本文のテロップ表示処理
図２３〜図３０で説明したように、要約表示部３０４のサイズが所定値ｗｓｔｈ未満であった場合は、そのサイズを越える文書長の要約文タグファイル６１０が生成され、それがテロップ表示されることになる。
この場合、生成された要約文タグファイル６１０は、テロップ作成エンジン６０２によってテロップ化処理が行われる。そしてテロップ表示文書出力Ｔｏｕｔとして逐次出力されていく。表示制御部６０６では、テロップ表示文書出力Ｔｏｕｔを閲覧ウインドウ３００の画像に合成し、表示部３０で図２８〜図３０のような表示が実行されていくようにする。

・読み上げタイミングでのテロップ表示処理
テロップ表示の変形例として、テロップの進行タイミングを読み上げ音声タイミングに合わせることができることを述べた。
その場合、要約文タグファイル６１０から変換された読み上げ用ファイル６０８が、音声合成エンジン６０１とテロップ作成エンジン６０２の共有ファイルとして用いられる。（図中破線で示す信号系が形成される。）
コントローラ６００の制御に基づいて、音声合成エンジン６０１は読み上げ用ファイル６０８を用いた音声合成／読み上げ出力を行う。但しこの場合、音声制御部６０５は生成された合成音声信号Ｙｏｕｔについて出力レベルをゼロとすることで、ユーザーに対して読み上げ音声が出力されないようにする。
テロップ作成エンジン６０２は、読み上げ用ファイル６０８を用いてテロップ作成を行うが、この際、テロップ作成エンジン６０２と音声合成エンジン６０１は相互にタイミング信号の授受を行う。つまり、テロップ作成エンジン６０２は、読み上げ用ファイル６０８からのタイミング信号に基づいてテロップ作成／テロップ表示文書出力Ｔｏｕｔを実行していく。これにより読み上げ速度によるテロップ表示が実行される。
なお、読み上げ速度（つまりこの場合はテロップ速度）については、ユーザーインターフェース６０７からの情報に基づいてコントローラ６００が音声合成エンジン６０１での設定を変更することで、変更可能となる。

・ビデオ出力処理
図３５、図３６で説明したビデオ出力処理は、ユーザーインターフェース６０７からの情報に基づくコンピュータ６００の指示によって、ビデオエンジン６０４の処理で行われる。
ビデオエンジン６０４は、本文タグファイル６０９もしくは要約文タグファイル６１０から生成されたビデオ出力用ファイル６１２を参照し、再生すべきビデオデータを判別して、ビデオファイル６１１を読み出す。
読み出されたビデオデータは、ビデオエンジン６０４によって出力用の映像信号Ｖｏｕｔとして処理され、表示制御部６０６に供給される。そして表示制御部６０６で、ビデオウインドウ５０１の画像に合成され、表示部３０で図３６のように表示される。時間軸上で見れば図４２（ａ）、図４４（ａ）、図４６（ａ）のような出力が行われる。
またビデオデータに含まれるオーディオデータについても、ビデオエンジン６０４によって出力用の音声信号Ａｏｕｔとして処理され、音声制御部６０５に供給されてレベル調整等の処理が行われる。そして音声出力部３３から再生音声として出力される。
ビデオ出力中には、ビデオウインドウ５０１に対するユーザー操作の情報はユーザーインターフェース６０７で取り込まれてコントローラ６００に伝えられ、コントローラ６００は、ユーザー操作に応じてビデオエンジン６０１の動作を制御する。

・要約作成時のビデオ出力
図３７、図３８で説明した要約作成時のビデオ出力処理は、コンピュータ６００の指示に基づいて、ビデオエンジン６０４及び要約作成エンジン６０３の処理により行われる。また、要約文がテロップ表示される場合は、ビデオエンジン６０４によるビデオ出力は、テロップ作成エンジン６０２からのテロップ出力タイミングに連動して行われる。
まず要約文が固定表示される場合は、上記の要約固定表示処理とともに、ビデオエンジン６０４が要約文タグファイル６１０から生成されたビデオ出力用ファイル６１２を参照し、再生すべきビデオデータを判別して、ビデオファイル６１１を読み出す。そしてビデオエンジン６０４は出力用の映像信号Ｖｏｕｔを表示制御部６０６に供給し、また出力用の音声信号Ａｏｕｔを音声制御部６０５に供給する。
表示制御部６０６では、閲覧ウインドウ３０１の画像に出力用の映像信号Ｖｏｕｔを合成し、表示部３０で図３８のような表示を実行される。時間軸上で見れば図４２（ｂ）、図４４（ｂ）、図４６（ｂ）のような出力が行われる。
また音声制御部６０５は、音声出力部３３からの再生音声出力を実行させる。
要約文がテロップ表示される場合は、上記の要約のテロップ表示処理とともに、ビデオエンジン６０４が要約文タグファイル６１０から生成されたビデオ出力用ファイル６１２を参照し、再生すべきビデオデータを判別して、ビデオファイル６１１を読み出す。そしてビデオエンジン６０４は出力用の映像信号Ｖｏｕｔを表示制御部６０６に供給し、また出力用の音声信号Ａｏｕｔを音声制御部６０５に供給することで、同様に表示部３０で図３８のような表示を実行させ、また音声出力部３３からの再生音声出力を実行させる。
但しこの場合、ビデオエンジン６０４はコントローラ６００を介して（又は直接）テロップ作成エンジン６０２のタイミング情報を受け取り、テロップの進行に合わせて出力するビデオデータの切り換えを行っていく。これにより時間軸上で図４２（ｃ）、図４４（ｃ）、図４６（ｃ）で説明したような出力が行われる。

・読み上げ時のビデオ出力
図３９、図４０で説明した読み上げ時のビデオ出力処理は、コンピュータ６００の指示に基づいて、ビデオエンジン６０４及び音声合成エンジン６０１の処理により行われる。この場合ビデオエンジン６０４によるビデオ出力は、音声合成エンジン６０１からの読み上げ音声出力タイミングに連動して行われる。
即ち上記の読み上げ処理とともに、ビデオエンジン６０４が本文タグファイル６０９又は要約文タグファイル６１０から生成されたビデオ出力用ファイル６１２を参照し、再生すべきビデオデータを判別して、ビデオファイル６１１を読み出す。そしてビデオエンジン６０４は出力用の映像信号Ｖｏｕｔを表示制御部６０６に供給する。なお、この場合出力用の音声信号Ａｏｕｔは音声制御部６０５には供給しない。
表示制御部６０６では、読み上げウインドウ４０１の画像に出力用の映像信号Ｖｏｕｔを合成し、表示部３０で図４０のような表示を実行される。
但しこの場合、ビデオエンジン６０４はコントローラ６００を介して（又は直接）音声合成エンジン６０１のタイミング情報を受け取り、読み上げの進行に合わせて出力するビデオデータの切り換えを行っていく。これにより時間軸上で図４２（ｄ）（ｅ）、図４４（ｄ）（ｅ）、図４６（ｄ）（ｅ）で説明したような出力が行われる。
また音声制御部６０５では合成音声信号（読み上げ音声信号）Ｙｏｕｔについて出力レベル調整等を行ない、音声出力部３３から読み上げ音声を出力させる。
また読み上げウインドウ４０１に対するユーザー操作の情報はユーザーインターフェース６０７で取り込まれてコントローラ６００に伝えられ、コントローラ６００は、ユーザー操作に応じて音声合成エンジン６０１の動作を制御する。これに伴ってビデオエンジン６０４の動作も制御される。

以上、図４７の機能ブロックについて説明したが、機能ブロック構成や動作形態はこれに限られるものではない。
また図４７は、ここで説明した表示部３０又は音声出力部３３からの出力動作に関連する部位のみを示したものであり、例えば文書受信処理、分類処理などを実現する機能ブロックについては省略した。

以上本発明の実施の形態について説明してきたが、これはあくまで一例であり、文書処理装置１のハードウエアもしくはソフトウエア構成、及び処理例は多様に考えられる。
また文書処理装置１を構成する具体的なデバイス例は多様であり、例えば文書処理装置１における入力部２０を例に挙げれば、キーボードやマウスだけでなく、タブレット、ライトペン、赤外線等を利用した無線コマンダ装置等の他のデバイスが考えられる。

また実施の形態においては、通信部２２に外部から電話回線等を介して文書やビデオファイルが送信されてくるものとして説明したが、本発明は、これに限定されるものではない。例えば、衛星等を介して文書やビデオファイルが送信される場合にも適用できる他、記録／再生部３１において記録媒体３２から読み出されたり、ＲＯＭ１５に予め文書やビデオファイルが書き込まれていてもよい。

また実施の形態において、文書へのタグ付けの方法の一例を示したが、本発明がこのタグ付けの方法に限定されないことはもちろんである。
さらに、上述の実施の形態においては、日本語および英語の文章を例示したが、本発明がこれらの言語に限られないことはいうまでもない。
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

さらにまた、本発明においては、記録媒体３２として、上述した電子文書処理プログラムが書き込まれたディスク状記録媒体やテープ状記録媒体等を提供することが容易に実現できる。
即ち本発明の記録媒体が実現できる。なお、図１に示したＨＤＤ３４としても同様に本発明の記録媒体とすることができる。
そしてそのような記録媒体３２によれば、上記してきた文書処理方法を実現するプログラムを提供できることになり、例えば汎用のパーソナルコンピュータ等を用いて、本発明の文書処理装置を容易に実現できる。
もちろん記録媒体３２としては、フロッピーディスクの他に、光ディスク、光磁気ディスク、磁気テープ、フラッシュメモリ等によるメモリカード、メモリチップ等としてもよい。
さらに本発明の文書処理方法を実現するプログラムは、例えばインターネット等のネットワーク通信を介しても提供することができるものであり、従って、プログラムサーバ側もしくは通信過程における記録媒体としても本発明は適用できるものである。

また記録媒体としては、上記処理を実現する動作制御プログラムとともに、そのプログラムの処理対象となる文書データやビデオデータをも記録しているものも有用となる。
つまり、文書処理装置１に対して、記録媒体から電子文書データを提供するときに、同時に動作制御プログラムやビデオファイルをも提供することで、その文書処理装置において、上記のような文書データに対応したビデオ出力処理を実行できるものとなる。

本発明の実施の形態の文書処理装置のブロック図である。実施の形態で用いる文書構造の説明図である。実施の形態の文章構造を表示するウインドウの説明図である。実施の形態の手動分類処理のフローチャートである。実施の形態のインデックス作成処理のフローチャートである。実施の形態のエレメントの活性値の説明図である。実施の形態の活性拡散処理のフローチャートである。実施の形態の中心活性値更新処理のフローチャートである。実施の形態の分類ウインドウの説明図である。実施の形態の閲覧ウインドウの説明図である。実施の形態の分類モデルの説明図である。実施の形態の自動分類処理のフローチャートである。実施の形態の自動分類のフローチャートである。実施の形態の語義間関連度算出処理のフローチャートである。実施の形態の語義間関連度の説明図である。実施の形態の文書読み上げ処理のフローチャートである。実施の形態の読み上げ用ファイル生成処理のフローチャートである。実施の形態のタグファイル例の説明図である。実施の形態のタグファイル例の説明図である。実施の形態の読み上げ用ファイル例の説明図である。実施の形態の読み上げ用ファイル例の説明図である。実施の形態の読み上げウインドウの説明図である。実施の形態の要約作成処理のフローチャートである。実施の形態の要約文表示処理のフローチャートである。実施の形態のテロップ表示処理のフローチャートである。実施の形態の閲覧ウインドウの表示例の説明図である。実施の形態の閲覧ウインドウの要約文を含む表示例の説明図である。実施の形態の閲覧ウインドウでのテロップ表示例の説明図である。実施の形態のテロップ表示動作の説明図である。実施の形態の閲覧ウインドウでのテロップ表示後の表示例の説明図である。実施の形態のタグファイル及びビデオファイルの説明図である。実施の形態のビデオタグ付のタグファイルの説明図である。実施の形態のビデオタグ付のタグファイルの説明図である。実施の形態のビデオ出力用ファイルの説明図である。実施の形態のビデオ出力処理のフローチャートである。実施の形態のビデオ出力処理によるビデオウインドウの説明図である。実施の形態の要約出力処理のフローチャートである。実施の形態の要約出力時のビデオ出力の説明図である。実施の形態の文書読み上げ処理のフローチャートである。実施の形態の文書読み上げ時のビデオ出力の説明図である。実施の形態のビデオタグ付加例の説明図である。実施の形態のビデオ出力形態の説明図である。実施の形態のビデオタグ付加例の説明図である。実施の形態のビデオ出力形態の説明図である。実施の形態のビデオタグ付加例の説明図である。実施の形態のビデオ出力形態の説明図である。実施の形態の文書処理装置の機能ブロックの説明図である。

符号の説明

１文書処理装置、１０本体、１１制御部、１２インターフェース、１３ＣＰＵ、１４ＲＡＭ、１５ＲＯＭ、２０入力部、２１通信部、２２携帯端末リーダ、３０表示部、３１記録再生部、３２記録媒体、３３音声出力部、３４ＨＤＤ、１０１ウインドウ、２０１分類ウインドウ、３０１閲覧ウインドウ、３０３文書表示部、３０４要約表示部、４０１読み上げウインドウ、５０１ビデオウインドウ、６００コントローラ、６０１音声合成エンジン、６０２テロップ作成エンジン、６０３要約作成エンジン、６０４ビデオエンジン、６０５音声制御部、６０６表示制御部、６０７ユーザーインターフェース

Claims

電子文書データに付加された１又は複数のビデオデータ指定情報を検出し、１又は複数の特定のビデオデータを選択するビデオ選択手段と、
１又は複数の電子文書データのうちの或る電子文書データを提示するために出力制御する文書出力制御手段と、
前記文書出力制御手段の制御により出力された電子文書データに対応して、前記ビデオ選択手段で選択されたビデオデータを出力制御するビデオ出力制御手段と、
を備えたことを特徴とする文書処理装置。
前記文書出力制御手段により出力制御される電子文書データ、及び前記ビデオ出力制御手段により出力制御されるビデオデータを、同時もしくは個別に表示する表示手段を備えることを特徴とする請求項１に記載の文書処理装置。
文書本文としての電子文書データから、その要約文としての電子文書データを作成することのできる要約作成手段を備え、
前記ビデオ出力制御手段は、前記文書出力制御手段が前記要約作成手段により作成された要約文を出力制御する際に、前記ビデオ選択手段で選択されたビデオデータが出力されるように制御することを特徴とする請求項１に記載の文書処理装置。
前記ビデオ選択手段は、前記要約作成手段により作成された要約文に関連する１又は複数のビデオデータを選択することを特徴とする請求項３に記載の文書処理装置。
前記文書出力制御手段は、電子文書データが部分毎の切換表示もしくは移動表示されるように、電子文書データを出力制御するとともに、
前記ビデオ出力制御手段は、前記文書出力制御手段の制御による電子文書データ出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御することを特徴とする請求項１に記載の文書処理装置。
電子文書データが読み上げ音声として出力されるように制御する音声出力制御手段を備え、
前記ビデオ出力制御手段は、前記音声出力制御手段の制御により電子文書データが読み上げ音声として出力される際に、前記ビデオ選択手段で選択されたビデオデータが出力されるように制御することを特徴とする請求項１に記載の文書処理装置。
前記ビデオ出力制御手段は、前記音声出力制御手段の制御による読み上げ音声出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御することを特徴とする請求項６に記載の文書処理装置。
前記ビデオデータは動画データであることを特徴とする請求項１に記載の文書処理装置。
前記ビデオデータは静止画データであることを特徴とする請求項１に記載の文書処理装置。
電子文書データに付加された１又は複数のビデオデータ指定情報を検出し、１又は複数の特定のビデオデータを選択するビデオ選択手順と、
１又は複数の電子文書データのうちの或る電子文書データを提示するために出力制御する文書出力制御手順と、
前記文書出力制御手順での制御により出力された電子文書データに対応して、前記ビデオ選択手順で選択されたビデオデータを出力制御するビデオ出力制御手順と、
が行われることを特徴とする文書処理方法。
文書本文としての電子文書データから、その要約文としての電子文書データを作成することのできる要約作成手順を有し、
前記ビデオ出力制御手順では、前記要約作成手順で作成された要約文が前記文書出力制御手順での制御により出力される際に、前記ビデオ選択手順で選択されたビデオデータが出力されるように制御することを特徴とする請求項１０に記載の文書処理方法。
前記ビデオ選択手順では、前記要約作成手順により作成された要約文に関連する１又は複数のビデオデータを選択することを特徴とする請求項１１に記載の文書処理方法。
前記文書出力制御手順では、電子文書データが部分毎の切換表示もしくは移動表示されるように、電子文書データを出力制御するとともに、
前記ビデオ出力制御手順では、前記文書出力制御手順での制御による電子文書データ出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御することを特徴とする請求項１０に記載の文書処理方法。
電子文書データが読み上げ音声として出力されるように制御する音声出力制御手順を有し、
前記ビデオ出力制御手順では、前記音声出力制御手順での制御により電子文書データが読み上げ音声として出力される際に、前記ビデオ選択手順で選択されたビデオデータが出力されるように制御することを特徴とする請求項１０に記載の文書処理方法。
前記ビデオ出力制御手順では、前記音声出力制御手順の制御による読み上げ音声出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御することを特徴とする請求項１４に記載の文書処理方法。
電子文書データに付加された１又は複数のビデオデータ指定情報を検出し、１又は複数の特定のビデオデータを選択するビデオ選択手順と、
１又は複数の電子文書データのうちの或る電子文書データを提示するために出力制御する文書出力制御手順と、
前記文書出力制御手順での制御により出力された電子文書データに対応して、前記ビデオ選択手順で選択されたビデオデータを出力制御するビデオ出力制御手順と、
を有する動作制御プログラムが記録されていることを特徴とする記録媒体。
文書本文としての電子文書データから、その要約文としての電子文書データを作成することのできる要約作成手順を有し、
前記ビデオ出力制御手順では、前記要約作成手順で作成された要約文が前記文書出力制御手順での制御により出力される際に、前記ビデオ選択手順で選択されたビデオデータが出力されるように制御する動作制御プログラムが記録されていることを特徴とする請求項１６に記載の記録媒体。
前記ビデオ選択手順では、前記要約作成手順により作成された要約文に関連する１又は複数のビデオデータを選択することを特徴とする請求項１７に記載の記録媒体。
前記文書出力制御手順では、電子文書データが部分毎の切換表示もしくは移動表示されるように、電子文書データを出力制御するとともに、
前記ビデオ出力制御手順では、前記文書出力制御手順での制御による電子文書データ出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御する動作制御プログラムが記録されていることを特徴とする請求項１６に記載の記録媒体。
電子文書データが読み上げ音声として出力されるように制御する音声出力制御手順を有し、
前記ビデオ出力制御手順では、前記音声出力制御手順での制御により電子文書データが読み上げ音声として出力される際に、前記ビデオ選択手順で選択されたビデオデータが出力されるように制御する動作制御プログラムが記録されていることを特徴とする請求項１６に記載の記録媒体。
前記ビデオ出力制御手順では、前記音声出力制御手順の制御による読み上げ音声出力の進行に対応したタイミングで、出力するビデオデータを切り換えるように制御する動作制御プログラムが記録されていることを特徴とする請求項２０に記載の記録媒体。