JP2008233969A - コンピュータの処理対象のオブジェクトが各ノードを成す、木構造により表現される、構造化電子文書を編集するためのコンピュータプログラム、方法及び装置 - Google Patents

Abstract

【課題】視認により理解され得るサブコンテンツ間の関係を、コンテンツのデータ構造が反映するように、データ構造を変更すること。
【解決手段】コンピュータの処理対象のオブジェクトが各ノードを成す、木構造により表現される、構造化電子文書を編集するための、コンピュータプログラムが提供される。当該プログラムは、コンピュータを、前記各ノードのうち、所与のノードを選択する手段と、前記木構造中、前記所与のノードの後方に位置する少なくとも１つの別のノードを選択する手段と、前記選択された別のノードの意味（Semantics）が、前記所与のノードの意味と関連付けら得るか否かを判定する手段と、前記関連付けが可能と判定された場合には、前記別のノードが前記所与のノードの子ノードになるように、前記木構造を変更する手段、として動作させる。
【選択図】図２

Description

本発明は、コンピュータの処理対象のオブジェクトが各ノードを成す、木構造により表現される、構造化電子文書を編集するためのコンピュータプログラム、方法及び装置に関し、特に、ディスプレイに表示された構造化電子文書に対するユーザーの操作に応答して、当該木構造を変更し、電子文書の操作仕様を逐次変更することの可能なコンピュータプログラム、方法及び装置に関する。

WWW(World Wide Web)上には、数多くのマルチメディア・コンテンツが存在する。マルティメディア・コンテンツには、SVG（Scalable VectorGraphics）、DHTML(Dynamic HTML)、Adobe Flashのように、グラフィカルな表示内容を動的に変化させるための技術が用いられ、コンテンツの表現態様を豊かなものにしている。
一般に、これらマルチメディアコンテンツは、階層構造をなして相互に関連付けられる、テキスト、グラフィックデータ若しくはプログラムにより構成されている。階層構造は、最も典型的には木構造で表現される。
木構造は、マルチメディアコンテンツを見たり、操作したりするユーザに対して与えられるガイドの基礎になり得る。

例えば、企業の活動を紹介するコンテンツを木構造で表現し、木の各ノードが当該企業の各事業所や各部門に対応するようにしておけば、ユーザは、コンテンツのブラウジングを進めるに従い、その企業の組織構成を容易に理解することができる。同時に、企業組織の全体像を理解することにより、各組織に従属する子ノードに対応するコンテンツの理解も進む。また、ユーザが所望するコンテンツの検索も容易になるだろう。

このように、マルチメディアコンテンツが木構造により表現され、かつ木構造が各ノードの意味の観点から整理されていることは、視覚障碍者にとって有益である。
視覚障碍者にとって、コンピュータディスプレイに表示されたコンテンツの内容を、瞬時に把握することは難しい。このため、典型的には、ユーザは、音声読み上げ技術を用いて、コンピュータディスプレイに表示されるコンテンツを逐一音読させ、音声ガイドに沿い、更に深い階層にあるコンテンツにアクセスする。ユーザは、このような操作を繰り返して、コンテンツの構成の理解を進める。

ところが、WWW上の既存のマルチメディアコンテンツの全てにおいて、それに含まれるサブコンテンツが、意味(Semantics)の観点から、木構造を成すように整理されているわけではない。
マルチメディアコンテンツの設計、運用及び更新をする者の立場からは、各サブコンテンツの意味を慎重に吟味し、木構造上に正確に配置することは煩雑かもしれない。
そうすると、視覚障碍を持つユーザにとって、コンピュータディスプレイに表示され、読み上げられるコンテンツを、木構造に沿って理解を進め、目的のコンテンツにアクセスすることが非常に困難になる。例えば、既にユーザーが辿ってきた木構造により表現される文脈に適合しないコンテンツが、突然出現するような事態に遭遇するだろう。

或いは、コンピュータディスプレイ上では、意味の観点から相互に関連する複数のコンテンツが相互に近接して表示されていても、木構造の中ではそれらのコンテンツ間の距離が遠い（例えば、兄弟や子孫の関係にない）場合もあるだろう。そのような場合には、ユーザは相互に関連する複数のコンテンツを全ては把握することが困難になろう。音声ガイドでは、そのような複数のコンテンツは、時間的に離れたタイミングで読み上げられるからである。

公開特許公報２００４−１７８０１５号には、階層型データベースにおける、クラス間の包含関係を、適切かつ効果的に表示することのできる、階層構造表示装置及び方法が記載されている。
しかし、当該公報は、木構造内での位置から示唆されるサブコンテンツの意味と、コンピュータディスプレイ上に表示されたサブコンテンツの態様から示唆或いは理解され得る当該サブコンテンツの意味、との間の不一致を是正する技術は開示されていない。

公開特許公報２００６−１０３２８０号には、構造化言語で記述されたコンテンツの構造化文章を、複数の要素から成る解析木に置き換えた後に印刷するプリンタが開示されているが、解析木をコンテンツの意味の観点で見直し、再構成する技術は開示されていない。
上述したAdobe Flashによれば、構造化された順序付き木構造（OrderedTree）に基づいてコンテンツが表示されるが、一旦形成された木構造は再構成可能なものではない。

Assets2006 Saito, Takaki, and Asakawa. Transforming Flash to XML for AccessibilityEvaluations. In proceedings of The 8th international ACM SIGACESS conference onComputers and Accessibility, pp. 157-164, 2006. には、既存のフラッシュコンテンツの中に、プロキシを経由して、ダイナミックにブリッジを挿入し、ActionScriptを利用して当該コンテンツの木構造を取得する手法が開示されている。しかし、当該文献は、得られた木構造を変更する手法を開示も示唆もするものではない。
特開２００４−１７８０１５号公報 特開２００６−１０３２８０号公報 Assets2006 Saito,Takaki, and Asakawa.Transforming Flash to XML for Accessibility Evaluations. In proceedings of The8th international ACM SIGACESS conference on Computers and Accessibility, pp.157-164, 2006.

上記に鑑み、本発明の目的の一つは、コンピュータディスプレイ上でのコンテンツの表示態様に基づいてユーザに理解される、そのコンテンツの意味と、そのコンテンツの表示の基になっている木構造内でのそのコンテンツの意味が一致するように、木構造を変更することにある。
また、本発明の別の目的は、ユーザが木構造を辿りながらコンテンツの理解を進める過程において、上記不一致が検出された場合には、リアルタイムに木構造を変更することにある。

本発明によれば、コンピュータの処理対象のオブジェクトが各ノードを成す、木構造により表現される、構造化電子文書を編集するための、コンピュータプログラムが提供される。当該プログラムによりコンピュータが以下の各々の手段として動作する。即ち、コンピュータは、（１）各ノードのうち、所与のノードを選択する手段と、（２）木構造中、所与のノードの後方に位置する少なくとも１つの別のノードを選択する手段と、（３）選択された別のノードの意味（Semantics）が、所与のノードの意味と関連付けら得るか否かを判定する手段と、及び（４）関連付けが可能と判定された場合には、別のノードが所与のノードの子ノードになるように、木構造を変更する手段として動作する。

例えば、コンピュータのユーザが、木構造上の所与のノードを操作中に、そのノードの後方に位置する別のノードについて、当該所与のノードと当該別のノードが意味上の関係を有するか否かが判断され、その結果に基づいて、木構造が変更される。
従って、オブジェクトの木構造内での位置が示唆する当該オブジェクトの意味と、コンピュータディスプレイ上等に表現された当該オブジェクトの意味が一致する。
その結果、視覚障碍者は、木構造に沿い各オブジェクトのブラウズを進めることにより、現実にコンピュータディスプレイに表示されている各オブジェクトの意味を正しく把握することができるようになる。

上記判定手段は、所与のノード及び別のノードに対応するオブジェクトの各々のコンピュータディスプレイ上における表現態様に基づいて判定をすることができる。
例えば、判定手段は、所与のノードに対応するオブジェクトの少なくとも一部が、別のノードに対応するオブジェクトと、コンピュータディスプレイ上で重なって表示される場合には、別のノードの意味と所与のノードの意味が関連付けられるものと判定しても良い。
尚、関連付けが可能と判断されず、かつ別のノードが所与のノードの子孫である場合には、別のノードが所与のノードの弟ノードになるように、前記木構造を変更しても良い。

また、別のノードを選択する手段は、所与のノードの弟ノード若しくは弟ノードの子孫ノードの中から、少なくとも１つの別のノードを選択しても良い。
木構造の再構成の対象を所与のノードよりも木構造内で後方にあるノードに限ることには次のような利点がある。
即ち、例えば、上記所与のノードが、ユーザが現在ブラウズ中のノードである場合、ユーザにより既に辿られた木構造には変更が及ばない。従って、ユーザは、それまでに理解した木構造に基づいてブラウジングを進めることができる。
また、木構造再構成の対象が限定されることで、処理速度が向上し、ユーザのブラウズ操作に木再構成がより迅速に追随できる。

或いは、木再構成の対象は、必要に応じて広げることもでき、別のノードを選択する手段は、更に所与のノードの親ノード若しくは親ノードの子孫であって、所与のノードよりも後位に位置するノードの中からも、少なくとも１つの別のノードを選択しても良い。
更に、所与のノードを選択する手段は、コンピュータの読み上げ装置によりその内容が読み上げられているオブジェクトに対応する、ノードを所与のノードとして選択するように構成されても良い。
本発明のその他の特徴は、以下の発明を実施するための最良の形態の記載により明らかにされる。

A 用語の説明
まず始めに、本明細書を通じて使用される用語の説明を行う。
＜オブジェクト＞ 本明細書では、文脈に従い、（１）コンピュータディスプレイ上に、グラフィックや文字として表示されているデータ若しくはコンテンツ、（２）コンピュータプログラムによる処理の対象となるデータ、（３）或いはコンピュータにより実行可能な形式のプログラムコード等を指す。

＜コンテンツ＞ 本明細書では、文脈に応じ、コンテンツをオブジェクトと同義に使用する場合もある。例えば、アイコンやテキスト等、コンピュータディスプレイ上でひとまとめの情報として把握され得るオブジェクトをコンテンツと呼ぶ場合もある。また、別の場合には、一つのWebページを構成する、表示オブジェクトの群を総称し、コンテンツと呼ぶ。

＜木構造＞ マルチメディアコンテンツの構造の一表現形式である。
典型的にはマルチメディアコンテンツは、XML情報の形式で、サーバ等のコンピュータ内に格納されている。XML情報から、マルチメディアコンテンツを成す、サブコンテンツ間の関係を抽出すると、その関係は、例えば図５に例示される如くの木構造により表現される。
各ノードは各々のサブコンテンツに対応する。
サブコンテンツは相互に、親子、兄弟等の関係により関連付けられており、その関連が線分で表現される。
ここで、親子、兄弟等の意義、及び木構造中の親子、兄弟の先後関係は、データ構造の分野で用いられる定義に従う。

本明細書では、コンピュータによる処理の対象として、木構造及びノードの用語を使用する場合もあるが、上記の如くの抽象的なサブコンテンツ間の関係を処理の対象とするのではなく、木構造により表現される、コンピュータ内に記憶されているデータを処理の対象とすることを意図するものであることは、当業者には容易に理解され得るであろう。

＜意味＞
本明細書では、意味とは、あるコンテンツがどのような現実、思考或いは表現態様と結びつくかを表すものとする。
同種の或いは上位概念、下位概念の関係にある現実、思考或いは表現態様と関係付けられているコンテンツはしばしば、グループ化されてコンピュータディスプレイ上に表示される。
典型的には、類似の意味を持つコンテンツは相互に近接して表示されるし、その意味が上位概念、下位概念の関係にあるコンテンツは、階層を成すように表示されることが多い。
すなわち、コンピュータを用いたあらゆる表示媒体上では、コンテンツのコンピュータディスプレイ上での表現態様から、ユーザが、それぞれのコンテンツの意味の関連性を認識できるようにされていることが多い。
このような経験上得られる知見に基づき、逆に、近接してコンピュータディスプレイ上に表示されているコンテンツの意味は相互に近似するものと判断することもできる。
例えば、コンピュータディスプレイ上で、その表示領域が包含関係にある、二つのコンテンツは、意味の観点からも包含関係にあるものと判断することが可能である。すなわち、二つのコンテンツのコンピュータディスプレイ上での表示領域が包含関係にあるとき、その二つのコンテンツの意味が関連付けられると判断することもできる。表示領域の包含関係に限らず、重複の度合い、色彩のコントラスト等から二つのコンテンツの意味の関連性を判断することもできるだろう。

B ハードウエア構成
図１は、本発明のコンピュータ装置１００を実施するためのハードウエア構成の概観図である。
コンピュータ装置１００は、中央処理装置（CPU）１０４とメモリ１０２とを含む。CPU１０４とメモリ１０２は、バス１３０、ハードディスクコントローラ１１８を介して補助記憶装置としてのハードディスク装置１２０と接続されている。
このハードディスク装置１２０若しくはROM１０６などの記憶媒体には、オペレーティングシステムと協働してCPU１０４等に命令を与え、本発明を実施するためのコンピュータ・プログラムのコードや各種データを記録することができる。

コンピュータ・プログラムのコードは、メモリ１０２にロードされることにより実行される。このコンピュータ・プログラムのコードは、複数に分割して、複数の記憶媒体にまたがって記録することもできる。或いは、その複数に分割されたコードの一部は、通信アダプタ１２２、通信ネットワーク１２４を介して、コンピュータ装置１００に接続された、他の情報処理装置内の記憶媒体に記録し、分割されたコードを相互に協働させることもできる。複数の装置に分割されたコードを分散し、そのコードを協働させることは、例えばクライアントサーバーシステムとして具現化されており、それぞれの装置にどのコードを実行させ、それぞれの機能を実現させるかはシステムの設計に際し適宜選択できる事項であり、本発明はそのいずれの形態をも包含する。

コンピュータ装置１００は更に、ユーザーインターフェースハードウエアを備える。ユーザインターフェースハードウエアとして、例えば、画面位置情報を入力するためのポインティングデバイス（マウス、ジョイスティック、タッチパッド等）１１２、キー入力をサポートするキーボード１１０や、編集対象の文書イメージをユーザーに提示するためのディスプレイ１１６がある。

また、コンピュータ装置１００は、音声処理部１２６を備えていても良い。例えば、CPU１０４により実行されるコンピュータプログラムが、メモリ１０２内に記憶され、ディスプレイ１１６に表示されているデータの内容を音声処理部１２６に送信しても良い。
音声処理部１２６はそのデータを音声信号に変換し、スピーカ１２８から音声が出力される。この一連の処理により、ディスプレイに表示されている内容の音声による読み上げが実現される。

上記のハードウエア構成は、パーソナルコンピュータ、ワークステーション、事務機器、家電製品、携帯電話、車両搭載機器等、あらゆる情報処理装置として具体化することができる。
ただし、上記の各構成要素は例示であり、全ての構成要素が本発明の必須構成要素となるわけではない。
オペレーティングシステムとしては、Windows（登録商標） XP(R)、AIX(R)、Linux(R)など、標準でグラフィック・ユーザーインターフェースマルチウインドウ環境をサポートするものが好ましいが、他のオペレーティングシステムでも良く、本発明は特定のオペレーティングシステム環境には限定されない。

C システム構成
次に、図２を参照して、本発明のシステム構成を説明する。
図２に示される機能ブロックは、論理的機能ブロックであって、各々一つのまとまりを持ったハードウエアやソフトウエアによって実現されることを必ずしも意味するのではない。
個々の機能ブロックは、別個の独立したハードウエア若しくはハードウエアの協働、或いは共通のハードウエア若しくはソフトウエアにより具現化可能である。

本発明の好適な実施例においては、コンピュータ装置１００は、コンテンツ取得部２０２、コンテンツ解析部２０４、コンテンツ構造記憶部２０６、ノード選択部２０８、判定部２１０、コンテンツ構造変更部２１２、コンテンツ構造出力部２１４を含む。
コンテンツとは、好適には構造化文書、例えば、XMLで記述されたWebページや文書である。

ここで、コンピュータ装置１００の詳細動作説明に入る前に、コンピュータ装置１００が、WWWに代表されるコンピュータネットワークシステム内において、どのような対象に、どのように作用するかについて説明する。
図３は、コンピュータネットワーク内で、Webページ等のコンテンツが、コンピュータ若しくはその上で動作するソフトウエアにより、どのように加工されるかを説明するための流れ図である。
コンテンツは、例えばXMLにより記述され、XML文書３０２の形式で、ウェブサーバ等のコンピュータ内に記憶される。
このXML文書３０２を、各コンピュータのユーザの下で動作する、クライアントコンピュータのディスプレイに表示させるには、大略二つの途がある。
一つは、クライアントコンピュータに、XML対応Webブラウザ３０４を用意し、このブラウザを動作させて、XML文書３０２を解析させ、クライアントコンピュータのディスプレイ上にコンテンツを表示させる方法である。

もう一つは、XMLパーサ３０６にXML文書３０２を解析させ、更に解析結果に基づき、DOM（Document Object Model）３０８に、そのXML文書をオブジェクト化させる。
オブジェクト化されたXML情報３１０は、DOMを備える他のソフトウエア３１２を介して、Java（登録商標）等のプログラミング言語で記述された他のソフトウエア３１４により、更に加工され、クライアントコンピュータのディスプレイに表示される。

上記、何れの途においても、構造化文書の解析、及びユーザからの入力処理が存在する。
本発明による、構造化文書を編集するための方法、装置、及びソフトウエアを、これら構造化文書の解析、若しくはユーザからの入力処理に介在させるか付加することが可能である。
例えば、本発明によるプログラムを、XML対応Webブラウザ３０４の一部として、或いは、XMLパーサ３０６の一部として具現化することが可能である。
しかし、本発明により実現される機能が、図３に示される処理フローの中にどのように分散され得るかに関しては、コンピュータネットワークの構成に応じ、適宜選択できる事項であり、かつその態様が特定のものに限定されることはない。
要するに、本発明のコンピュータ装置、プログラム等が、図３に例示される、構造化文書の処理に、如何なる態様でインプリメントされても、発明の本質が変更されるものではない。

さて、図２に戻り、コンピュータ装置１００の各部の動作を説明する。
コンテンツ取得部２０２は、サーバ等に記憶されているXML文書等の構造化文書にアクセスし、コンピュータ装置１００のメモリ１０２やハードディスク装置１２０に記憶させ、コンテンツ解析部２０４にその位置を通知する。
上記動作の契機は、上述のXML対応Webブラウザ３０４のユーザによる操作や、XMLパーサ３０６の起動であっても良い。
コンテンツ解析部２０４は、コンテンツ取得部２０２により取得された、構造化文書の構造を解析し、その結果をコンテンツ構造記憶部２０６に記憶させる。
ここで、コンテンツ解析部２０４は、取得されたコンテンツの全ての部分を解析の対象としても、或いはその一部を解析の対象としても良い。

本発明においては、最も好適には、コンテンツ解析部２０４は、後述するように、ユーザによるコンテンツの操作に応じて、コンテンツの一部、例えば、ユーザの操作の対象となっている部分或いは木構造におけるその周縁を解析することが望ましい。
以下では、説明の便宜上、図４に示されるWebページ（コンテンツ）全体が、コンテンツ解析部２０４により解析される様子を説明する。

図４に示されるWebページは、ある環境保護団体が、啓蒙用に一般消費者に対して無償配布している、DVDとその内容を紹介するためのものである。
背景画像４０１の上には、DVDジャケットを模した画像４０２が表示される。画面左半分には、DVDの内容に対応する項目がメニュー形式で表示されている。表示オブジェクト４０３は、当該団体を表すロゴマークである。表示オブジェクト４０４、４０５は共にDVDのタイトルを表す。タイトルの下に、各項目が列挙表示されている。更に下には、特別企画によるレポートの標題が表示される。
Webページの閲覧者は、各項目をクリックすることにより、DVDの内容をコンピュータディスプレイに表示させることができる。

以上の如く、画面の左半分には、DVDの内容に関連する事項が列挙表示されている。
一方、画面の右半分には、DVDディスクを模した画像４０６の上に、講演会の案内４０７と、当該団体のロゴマーク４０８が表示される。
即ち、画面の右半分と、画面の左半分では、目的を異にする情報を表すオブジェクトが表示される。

さて、Webページ４００は、典型的にはXMLにより記述されていることは前に述べた。
XMLによる記述を解析することにより、Webページの木構造を得ることができる。
図５は、コンテンツ解析部２０４が、Webページ４００のXMLによる記述を解析して得られる木構図を示す。
上述した表示オブジェクト４０２乃至４０６は、背景を表すオブジェクト４０１の子である。表示オブジェクト４０７及び４０８は、DVDを表す表示オブジェクト４０６の子である。

木構造は、コンテンツ構造記憶部２０６に記憶される。
木構造の、コンテンツ記憶部２０６内における表現形式は、公知の技術を用いて当業者が適宜選択し得る事項である。例えば、木の各ノードを表示オブジェクトの名称と、オブジェクトのデータへのポインタ、及び子、親ノードへのポインタのセットとして表現することができる。
ところで、画面４００の右半分と、左半分とは、ユーザに提示される意味が異なることは既に述べた。
右半分は講演会の案内を、左半分はDVDの内容紹介をその目的としている。
Webコンテンツ４００の全体像を見ることができるユーザならば、それぞれの表示オブジェクトの表示態様、例えば、オブジェクトの配置、相互間距離等からこれら目的の相違を把握可能である。

しかし、視覚障碍者にはこのような理解は容易ではない。なぜならば、視覚障碍者は、図５に示される木構造に基づく、コンピュータシステムからのガイドに依存しなければならないからである。
例えば、コンピュータシステムは、Webコンテンツ４００をディスプレイに表示した後、木構造５００に基づいて、表示オブジェクト４０１、４０２、４０３、４０４、４０５、４０６の内容を順次読み上げる。
このガイドを聴くユーザは、オブジェクト４０１に、オブジェクト４０２乃至４０６が従属しているものと理解する。

しかし、前述のように、実際には、オブジェクト４０１はCDのケーシング、オブジェクト４０２乃至４０６はDVDの内容案内、オブジェクト４０７及び４０８は講演会の案内、というように、各々のオブジェクトはその意味の共通性に応じてグループ化されてガイドされるべきものである。
後に、図６に基づいて、上述のようなWebコンテンツを視認することにより理解される、Ｗｅｂコンテンツの構造と、コンテンツ解析部２０４により取得されたコンテンツを解析することにより得られる木構造により表現されるＷｅｂコンテンツの構造との相違を軽減するための方法を詳説する。

再び図２に戻り、コンテンツ記憶部２０６は、上記の如くのＷｅｂコンテンツの木構造を記憶する。
以前説明した通り、必ずしもＷｅｂコンテンツの木構造の全体を一度に記憶する必要はない。ユーザのＷｅｂコンテンツ操作に応じて判明した、一部の木構造を記憶しても良い。
ノード選択部２０８は、ユーザによるＷｅｂコンテンツの操作内容がコンピュータシステムから送信されると（２０７）、それに応じて、コンテンツ構造記憶部２０６に記憶された木構造に含まれるノードを選択する。
選択されたノードを対象ノードとも呼ぶ。
具体的には、例えば、ユーザが表示オブジェクト４０２を選択すると、木構造中の対応するノードを選択する。選択がなされると、その表示オブジェクトに含まれるテキストが、音声処理部１２６により読み上げられるようにしても良い。この場合、読み上げられているノードが始点ノードになる。
このようにして選択されたノードを、以下では始点ノードと呼び、木構造の再構成を開始する時に、最初に再構成処理がなされるノードを意味する。

判定部２１０は、ノード選択部２０８から通知された始点ノードから、その周辺のノードに向けて、木構造の変更の要否判定の対象を順次移してゆく。
最も好ましくは、始点ノードの子若しくは始点ノードの子の子孫に判定対象を移す。
このように判定対象を限定することで、始点ノードに至るまでユーザが辿ってきた木構造には変更が及ばない。すなわち、ユーザが既にその構造を理解している木構造は変更されない。
始点ノードに更に、兄弟ノードが存在する場合には、兄弟ノードの中で、始点ノードよりも後順位のノードを判定対象とするのが好ましい。
先順位の兄弟ノードは、ユーザによりその構造が理解されている場合が多いからである。
更に、始点ノードの親の更なる祖先には、始点ノードより後順位のノードが存在する場合もあるが、必要に応じ、これらのノードも判定の対象に加えても良い。
これら後順位のノードも、ユーザにとって未知の、即ち、木構造がＷｅｂコンテンツの操作を通じて辿られていない場合が多いからである。

判定部２１０が、木構造の変更の要否を判断する際には、Ｗｅｂコンテンツ４００内での各表示オブジェクトの表示態様２１１を基礎にする。
表示態様とは、例えば、表示オブジェクトの表示位置、面積、色彩、ブリンキング等の動作を指す。
これらの情報は、ディスプレイコントローラ１１４、オペレーティングシステム或いはＷｅｂブラウザ等のアプリケーションソフトウエアとの協働により取得することができる。
例えば、表示オブジェクト４０３は、表示オブジェクト４０１に包含されているが、むしろ、表示オブジェクト４０２に直接包含されているから、ノード４０３は、ノード４０２の子ノードであることが好ましい。
同様に、ノード４０４、４０５、４０６は、ノード４０２の子ノードであることが好ましい。
ノード４０７、４０８は、ＤＶＤの画像オブジェクト４０６に直接包含されているから、いずれもノード４０６の子ノードであることが好ましい。
以上の判定をまとめると、図５に示される木構造５００は、図６に示される木構造６００に変更されることが好ましい。

以上の判定結果は、コンテンツ構造変更部２１２に送信される。
コンテンツ構造変更部２１２は、コンテンツ構造記憶部２０６内の木構造を、新しい木構造６００に更新する。
書き換えられた木構造は、コンテンツ構造出力部２１４を通じて、必要に応じて、外部ソフトウエアやシステムに送信される（２１５）。必要に応じてというのは、図３を用いて説明した通り、本発明によるコンピュータ装置１００と協働して、ＸＭＬ文書等の構造化文書を処理する、他のソフトウエア、ハードウエアであって、当該情報を必要とするものの要請に応じて、との意である。

D 動作のアウトライン
コンピュータ装置１００の動作の詳細は以上の通りであるが、ここで、図７を用いてその動作の全容を俯瞰しておく。
ＸＭＬ対応Ｗｅｂブラウザ３０４に対するユーザによる操作、例えば表示オブジェクトの選択、或いはＸＭＬパーサ３０６の起動等を契機に、木構造の変更処理が開始する（ステップ７０２）。
まず最初に、ノード選択部２０８により、始点ノードが選択される（ステップ７０４）。
上述の通り、始点ノードは、音声処理部１２６によりその内容が読み上げられている最中のノードであって良い。
そして、ノード選択部２０８は、始点ノードの後方にあるノードで、判定部２１０の判定の対象に未だされていないノードを選択する（ステップ７０６）。選択の基準は既に述べた。

選択されたノードウ（対象ノードとも呼ぶ）が、始点ノードよりも木構造内で下位に位置しており、かつ始点ノードの祖先と意味的に関連付けられていると、判定部２１０に判断された場合には（ステップ７０８）、木構造の変更は行わない。
祖先に関連付けられているか否かは、上記説明した通り、表示オブジェクトの表示態様に基づいても良い。そして、その選択されたノードが処理済みであることを示すフラグを付与する（ステップ ７２４）。
フラグは、コンテンツ構造記憶部２０６の木構造に付加されても良い。

一方、選択されたノードが、始点ノードよりも下位のレベルに位置しており、かつ始点ノードの祖先と関係を有さない場合には（ステップ７０８）、判定部２１０は、始点ノードが対象ノードに関連付け可能か否かを判定する（ステップ７１０）。
関連付け可能な場合には、判定部２１０は、その選択されたノードが始点ノードの子孫か否かを判断する（７１２）。
既に子孫である場合には木構造の変更は行わない（ステップ７２４）。
そうでない場合には、更に、選択されたノードを始点ノードの子に移動させて、木構造を変更する（ステップ７１４）。そして選択されたノードが処理済である旨のフラグを記録する。

一方、ステップ７１０において、選択されたノードが始点ノードに関連付けできないと判断された場合には、更に、その選択されたノードが始点ノードの子孫か否かが、判定部２１０により判断される（ステップ７１８）。
子孫でない場合には、木構造の変更は行わず、その選択ノードが処理済みであることを示すフラグを木構造に付加する（ステップ７２４）。
子孫の場合には、コンテンツ構造変更部２１２は、選択されたノードが、始点ノードの弟に移動させられるように、コンテンツ構造記憶部２０６内の木構造を変更する（ステップ７２０）。
その後、選択されたノードが処理済であるとの情報を木構造に付加する（ステップ７２４）。
対象になるノードについて木構造の変更処理を終えた場合には（ステップ７２６）、処理を終了させる（ステップ７２８）。何れの範囲を処理対象のノードとするのが好ましいかは既に述べた。

E 別の実施例
最後に、図８乃至図１１を参照しながら、Ｗｅｂコンテンツ８００（図８）が、本発明によるコンピュータ装置１００により処理された場合に、木構造がどのように変更されるかを説明する。
Ｗｅｂコンテンツ８００は、アニメーション等の動的表示オブジェクトを含む点で、静的なオブジェクトのみで構成されるＷｅｂコンテンツ４００と異なる。
このようなＷｅｂコンテンツに対しても、本発明によるコンピュータ装置１００は、ユーザが正しくその内容を理解できるように、木構造の変更を行うことができる。

Ｗｅｂコンテンツは、背景となるビューオブジェクト８０２、メニュー１オブジェクト８０４、メニューの細目である、Ｉｔｅｍ１ ８０６、Ｉｔｅｍ２ ８０８、Ｉｔｅｍ３ ８１３オブジェクトを含む。
メニューオブジェクトの右隣には、スクリーンオブジェクト８１２が配置される。
スクリーンオブジェクトの中には、Ｗｅｂコンテンツ内を動き回るアイコンが表示されている。
この動くアイコンは、上述の固定オブジェクトと、意味上の関連性を持つものではない。例えば、広告用バナーや、動物の形をなぞらえたマスコットアイコンであり、画面内を移動する。

図９は、Ｗｅｂコンテンツ８００の木構造を示す。
さてここで、ユーザがＩｔｅｍ１ ８０６をクリックすると、Ｉｔｅｍ１は、スクリーンオブジェクト８１２上に移動する。
更に、移動先には、Ｉｔｅｍ１と関連するテキスト８２２が表示される。
この時、本発明の好ましい実施例によれば、木構造変更処理の始点ノードは、Ｉｔｅｍ１（図１１の８０６）になる。ユーザーがＩｔｅｍ１をクリックしたからである。
この場合、好ましい実施例によれば、ノード選択部２０８により選択されるのは、新たに出現したＴｅｘｔ ８２２ノードのみであり、Ｓｃｒｅｅｎ ８１２ノードの子ノードであるアイコン ８２０は選択されない。
Ｔｅｘｔオブジェクト８２２は、既に述べたオブジェクトの表示態様に関する判断基準によれば、Ｉｔｅｍ１ ８０６に直接包含されるので、木構造は、Ｔｅｘｔ ８２２がＩｔｅｍ１ ８０６の子になるように更新される（図１１）。

アイコン８２０に関しては、処理対処として、ノード選択部２０８により選択されないので、木構造は維持される。
以上の処理の結果、Ｉｔｅｍ１ ８０６をクリックしたユーザは、それがＳｃｒｅｅｎ ８１２上に移動しても、移動先にたままた存在したアイコン８２０に関するガイド（音声読み上げなど）を受けずに、テキスト ８２２に関するガイドのみを聴くことができる。
このようにして、ユーザは、表示内容がユーザの操作に応じて変化するＷｅｂコンテンツについても、その意味上の構造を正しく理解することが可能になる。

音声読み上げを用いた非視覚的コンテンツアクセスは、視覚的なアクセスと比較して情報取得のバンド幅（単位時間当たりにユーザが取得できる情報量）が著しく狭いという特徴がある。
スクリーンリーダ等を用いて、コンテンツにアクセスする場合、ユーザは、音声等によるナビケーションに従い、個々の表示内容に順次アクセスする（探索）ことにより、徐々にコンテンツの全体構造を理解してゆく。
この探索に、時間を要する点で、一瞥してコンテンツの構造全体を把握する、視覚的アクセスと、非視覚的アクセスは相違する。

動画を含むコンテンツでは、コンテンツの構造が、ユーザによるアクセスの途中で大きく変化する。そのため、ユーザは、変化が起こる都度、コンテンツの構造を把握するために、上記探索を要する。
このことは、近年増大するダイナミックマルチメディアコンテンツに、非視覚的にアクセスすることを困難にしている。
上記説明した本発明によれば、ユーザが着目している表示オブジェクトの周囲に限定して、木構造の変化を最低限にすることができるので、ユーザは、既に理解しているコンテンツの構造に基づいて、変化を起した表示内容の位置付けを正しく把握することができる。

本発明のコンピュータ装置１００を実施するためのハードウエア構成の概観図である。 本発明のコンピュータ装置１００の機能ブロックダイヤグラムである。 構造化文書の処理フローダイヤグラムである。 本発明のコンピュータ装置１００の作用対象となるＷｅｂページの平面図である。 Ｗｅｂページの木構造を示すダイヤグラム。 本発明のコンピュータ装置１００により、変更された木構造を示すダイヤグラム。 本発明のコンピュータ装置１００による、処理手順を示すフローダイヤグラム。 本発明のコンピュータ装置１００により処理される、別のＷｅｂページの平面図。 別のＷｅｂページの木構造を示すダイヤグラム。 ユーザによりＩｔｅｍ１がクリックされた後のＷｅｂページの平面図。 クリック後、本発明によるコンピュータ装置１００により生成されるＷｅｂページの木構造を示すダイヤグラム。

符号の説明

１００ コンピュータ装置
１０２ メモリ
１０４ ＣＰＵ
１１０ キーボード
１１６ ディスプレイ
１２０ ＨＤＤ
１２６ 音声処理部
２０４ コンテンツ解析部
２０６ コンテンツ構造記憶部
２０８ ノード選択部
２１０ 判定部
２１２ コンテンツ構造変更部
４００ Ｗｅｂコンテンツの一例
５００ Ｗｅｂコンテンツ４００の当初木構造
６００ Ｗｅｂコンテンツ４００の変更後木構造
８００ Ｗｅｂコンテンツの別の一例

Claims (13)

1. コンピュータの処理対象のオブジェクトが各ノードを成す、木構造により表現される、構造化電子文書を解析するための、コンピュータプログラムにおいて、コンピュータを、
   （１） 前記各ノードのうち、所与のノードを選択する手段と、
   （２） 前記木構造中、前記所与のノードの後方に位置する少なくとも１つの別のノードを選択する手段と、
   （３） 前記選択された別のノードの意味が、前記所与のノードの意味と関連付けら得るか否かを判定する手段と、
   （４） 前記関連付けが可能と判定された場合には、前記別のノードが前記所与のノードの子ノードになるように、前記木構造を変更する手段、
   として動作させる、前記コンピュータプログラム。
2. 請求項１に記載の前記コンピュータプログラムにおいて、前記判定手段は、前記所与のノード及び前記別のノードに対応するオブジェクトの各々の表現態様に基づいて判定を行う、前記コンピュータプログラム。
3. 請求項２に記載の前記コンピュータプログラムにおいて、前記表現態様はコンピュータディスプレイ上における表現態様である、前記コンピュータプログラム。
4. 請求項３に記載の前記コンピュータプログラムにおいて、前記判定手段は、前記所与のノードに対応するオブジェクトの少なくとも一部が、前記別のノードに対応するオブジェクトと、前記コンピュータディスプレイ上で重なって表示される場合には、前記別のノードの意味と前記所与のノードの意味が関連付けられると判定する、前記コンピュータプログラム。
5. 請求項１に記載のコンピュータプログラムにおいて、前記関連付けが可能と判断されず、かつ前記別のノードが前記所与のノードの子孫である場合には、前記別のノードが前記所与のノードの弟ノードになるように、前記木構造を変更する手段、
   として更に動作させる、前記コンピュータプログラム。
6. 請求項１に記載のコンピュータプログラムにおいて、前記別のノードを選択する手段は、前記所与のノードの弟ノード若しくは前記弟ノードの子孫ノードの中から、前記少なくとも１つの別のノードを選択する、前記コンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムにおいて、前記別のノードを選択する手段は、更に前記所与のノードの親ノード若しくは前記親ノードの子孫であって、前記所与のノードよりも後位に位置するノードの中から、前記少なくとも１つの別のノードを選択する、前記コンピュータプログラム。
8. 請求項１に記載のコンピュータプログラムにおいて、前記木構造を変更する手段は、前記別のノードとその子孫ノードとの関係を維持して、前記木構造を変更する、前記コンピュータプログラム。
9. 請求項１に記載のコンピュータプログラムにおいて、前記所与のノードを選択する手段は、ユーザーからの入力に基づいて、前記所与のノードを選択する、前記コンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムにおいて、前記所与のノードを選択する手段は、前記ユーザーがコンピュータディスプレイ上で選択したオブジェクトに対応するノードを、前記所与のノードとして選択する、前記コンピュータプログラム。
11. 請求項１に記載のコンピュータプログラムにおいて、前記所与のノードを選択する手段は、コンピュータによりその内容が読み上げられているオブジェクトに対応する、ノードを前記所与のノードとして選択する、前記コンピュータプログラム。
12. コンピュータの処理対象のオブジェクトが各ノードを成す、木構造により表現される、構造化電子文書を編集するための、コンピュータにおいて、
    （１） 前記各ノードのうち、所与のノードを選択する手段と、
    （２） 前記木構造中、前記所与のノードの後方に位置する少なくとも１つの別のノードを選択する手段と、
    （３） 前記選択された別のノードの意味が、前記所与のノードの意味と関連付けら得るか否かを判定する手段と、
    （４） 前記関連付けが可能と判定された場合には、前記別のノードが前記所与のノードの子ノードになるように、前記木構造を変更する手段、を含む、前記コンピュータ。
13. コンピュータの処理対象のオブジェクトが各ノードを成す、木構造により表現される、構造化電子文書を編集するための方法において、
    （１） 前記各ノードのうち、所与のノードを選択し、
    （２） 前記木構造中、前記所与のノードの後方に位置する少なくとも１つの別のノードを選択し、
    （３） 前記選択された別のノードの意味が、前記所与のノードの意味と関連付けら得るか否かを判定し、
    （４） 前記関連付けが可能と判定された場合には、前記別のノードが前記所与のノードの子ノードになるように、前記木構造を変更する、前記方法。

Images